JP6177462B2 - 画像記録装置 - Google Patents

画像記録装置 Download PDF

Info

Publication number
JP6177462B2
JP6177462B2 JP2016567429A JP2016567429A JP6177462B2 JP 6177462 B2 JP6177462 B2 JP 6177462B2 JP 2016567429 A JP2016567429 A JP 2016567429A JP 2016567429 A JP2016567429 A JP 2016567429A JP 6177462 B2 JP6177462 B2 JP 6177462B2
Authority
JP
Japan
Prior art keywords
image
moving image
unit
medical
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016567429A
Other languages
English (en)
Other versions
JPWO2016190022A1 (ja
Inventor
八巻　正英
正英 八巻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016190022A1 publication Critical patent/JPWO2016190022A1/ja
Application granted granted Critical
Publication of JP6177462B2 publication Critical patent/JP6177462B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00011—Operational features of endoscopes characterised by signal transmission
    • A61B1/00018—Operational features of endoscopes characterised by signal transmission using electrical cables
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • A61B1/0669—Endoscope light sources at proximal end of an endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B18/00—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body
    • A61B18/04—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating
    • A61B18/12—Surgical instruments, devices or methods for transferring non-mechanical forms of energy to or from the body by heating by passing a current through the tissue to be heated, e.g. high-frequency current
    • A61B18/14—Probes or electrodes therefor
    • A61B2018/1405—Electrodes having a specific shape
    • A61B2018/1412—Blade
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M13/00—Insufflators for therapeutic or disinfectant purposes, i.e. devices for blowing a gas, powder or vapour into the body
    • A61M13/003—Blowing gases other than for carrying powders, e.g. for inflating, dilating or rinsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services; Handling legal documents

Description

本発明は、内視鏡等の医療装置によって得られる画像を記録する画像記録装置に関する。
従来、内視鏡は医療用分野等において広く採用されている。近年、内視鏡の高画質（ハイビジョン）化が進み、腹膜構造や血管走行等の腹腔内の組織が明瞭に視認できるようになり、より安全・確実に内視鏡手術を進められるようになってきた。
医療機関においては、内視鏡やＸ線、超音波診断装置等の多くのモダリティを組み合わせて、内視鏡画像、超音波画像、Ｘ線画像等の各種医療画像を記録することがある。医療画像を記録する従来の画像記録装置においては、記録後のデータを用途に応じて様々な形式で出力可能としている。例えば、術中においては、リアルタイムでコンピュータ編集可能なフォーマットにより、ＵＳＢメモリ等の半導体記録装置や光学メディアに記録することができる。また、汎用のビデオプレーヤーで再生可能なフォーマットで光学メディアに記録することも可能である。更に、医療画像をネットワーク経由でサーバに転送して記録し、データを共有化することも可能である。
ところで、症例を記録する目的として、医療画像を証拠画像等のバックアップ用として用いることや、教育用素材として用いることが考えられる。例えば、症例中の重要な解剖シーンについては、記録画像を学会や院内カンファレンスで共有して、若手ドクターらの教育に活用することができる。また、技術認定制度の利用のために、内視鏡の手技等を記録して、記録画像から手技の認定を行うこともできる。
バックアップ用として記録する場合には、長時間の症例全体を記録する必要があることから、記録容量を考慮して、比較的低画質での記録が行われることもある。また、教育用素材として症例の記録を行う場合には、記録画像から症例の観察を容易とするために、必要な部分のみを最高の画質で記録することもある。
ところで、医療画像を記録する画像記録装置は、手術室等において必ずしも操作しやすい場所、記録の設定を確認しやすい場所に設置されるとは限らない。リモコン装置等によって録画設定ができたとしても、一般的には、画像記録装置は記録されている画像を確認しにくい場所に設置されることが多い。このため、症例途中において、教育や学会発表等のために記録しておきたい必要なシーン毎に記録開始操作及び停止操作を行うことは可能であるが、記録し忘れのリスクが大きいことを考慮して、１症例の全てを記録する方法が採用されることが多い。
しかしながら、この場合には、教育や学会発表等のための動画像を作成するために記録画像の編集作業が必要であり、また、少ない記録容量で証拠記録を残すために、記録された動画像に対する圧縮処理が必要となることもあり、記録後の作業が極めて煩雑となる。
そこで、日本国特開２０１１−３６３７２号公報においては、電気メスの使用中において、電気メスに流れる電流を検出し、また、生体情報の変化を検出するとことで、特徴点を認識し、当該特徴点のみを集めたダイジェスト版の動作画像を作成するようにした装置が開示されている。
しかしながら、日本国特開２０１１−３６３７２号公報の装置を利用したとしても、例えば学会用に必要なシーンの記録を自動的に行うことはできない。内視鏡では、安全、安心な手術を行うことが最優先であり、このため症例記録動画として重要なシーンとしては、例えば、切除や剥離処置、止血処置等が考えられる。切除、剥離処置は把持鉗子を用いて行われており、危険操作を排除するための鉗子のアプローチが適切な角度になっている否かを確認できる期間に記録を行う必要がある。また、止血処置では、出血時に確実な止血ができているかの確認を十分に行ったか否かを判断できる期間に記録を行う必要がある。しかしながら、電気メスや生体モニタ等の出力を監視したとしても、このような記録すべき期間を特定することはできない。
また、電気メスを用いる手技においても、電気メスに電力が出力される前の段階における患部への鉗子のアプローチ、鉗子の把持の仕方、剥離の仕方等について記録した方が良い場合があり、このようなシーンについては電気メス等の出力を利用したとしても記録することはできない。また、内視鏡を用いた手技では、内視鏡を挿入するスコピストの操作が重要であり、例えば腹腔の全体を把握でき、ブラインド操作の排除が徹底できているか等を確認する必要があり、このような内視鏡の視野確保状態についても、電気メス等の出力を用いたとしても記録すべき期間を特定することはできない。
本発明は、記録動画の用途に応じた必要なシーンの複数の動画を記録することができる画像記録装置を提供することを目的とする。
本発明の一態様による画像記録装置は、被制御機器から医療画像を取り込む医療画像取り込み部と、入力した前記医療画像を所定の画像形式の映像信号にエンコードする、単一のエンコーダと、前記エンコーダにおいてエンコードされた前記医療画像であって基準時間情報に対応付けられた医療画像に基づいて、第１の画質である第１の用途用の第１の動画像を生成すると共に、入力した前記医療画像であって前記第１の画質より高画質である第２の画質の動画像を出力する第１の動画生成部と、外部機器からの状態信号に基づく第１の検出タイミング及び操作部の操作信号に基づく第２の検出タイミングの少なくとも一方を検出する検出部と、前記第１の動画生成部から出力された前記第２の画質の動画像を所定期間分蓄積する可変動画バッファメモリと、前記検出部が検出した検出タイミングで前記可変動画バッファメモリに蓄積されている前記第２の画質の動画像にかかる複製を生成する複製部と、前記複製部が複製した前記第２の画質の動画像に基づいて、前記第１の動画像とは異なる第２の用途用の第２の動画像を生成する第２の動画生成部と、前記第１の動画像を記録すると共に、前記第２の動画像を前記基準時間情報に対応付けて記録する記録部と、を具備する。
本発明の第１の実施の形態に係る画像記録装置を示すブロック図。 図１の画像記録装置が配置される手術室の様子を示す説明図。 タイムシフト量のテーブルの一例を説明するための説明図。 第１の実施の形態の動作を説明するためのフローチャート。 本発明の第２の実施の形態を説明するための説明図。 第２の実施の形態の動作を説明するためのフローチャート。 第２の実施の形態の動作を説明するための説明図。 変形例を示すブロック図。 変形例の動作を説明するためのフローチャート。 本発明の第３の実施の形態を説明するためのブロック図。 本発明の第４の実施の形態を説明するためのブロック図。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像記録装置を示すブロック図である。また、図２は図１の画像記録装置が配置される手術室の様子を示す説明図である。
まず、図２を参照して手術室２における画像記録装置６０の配置の様子を説明する。図２に示すように、手術室２内に配置される医療システム３には、患者４８が横たわる手術台１０や電気メス装置１３等の医療機器を制御するシステムコントローラ４１が設けられている。手術室２には、第１カート１１及び第２カート１２が設けられており、第１カート１１上にシステムコントローラ４１が載置されている。
また、第１カート１１には、被制御装置である医療機器として例えば電気メス装置１３、気腹装置１４、内視鏡プロセッサ１５、光源装置１６及びビデオレコーダ１７等の装置類と、二酸化炭素を充填したガスボンベ１８が載置されている。内視鏡プロセッサ１５は、カメラケーブル３１ａを介して第１の内視鏡３１に接続される。
光源装置１６は、ライトガイドケーブル３１ｂを介して第１の内視鏡３１に接続される。また、第１カート１１には、表示装置１９、第１の集中表示パネル２０、操作パネル５１等が載置されている。表示装置１９は、内視鏡画像等を表示する、例えばＴＶモニタである。
集中表示パネル２０は、手術中のあらゆるデータを選択的に表示させることが可能な表示手段となっている。操作パネル５１は、例えば液晶ディスプレイ等の表示画面とこの表示画面上に一体的に設けられた例えばタッチセンサ等により構成され、非滅菌域にいる看護師等が操作する集中操作装置になっている。
集中制御装置であるシステムコントローラ４１には、手術台１０と無影灯６と電気メス装置１３と気腹装置１４と内視鏡プロセッサ１５と光源装置１６とビデオレコーダ１７とが、図示しない通信線を介して接続されている。システムコントローラ４１には、ヘッドセット型のマイク３３が接続できるようになっており、システムコントローラ４１はマイク３３から入力された音声を認識し、術者の音声により各機器を制御できるようになっている。
また、内視鏡プロセッサ１５からの内視鏡画像は画像記録装置６０に供給されるようになっている。また、電気メス装置１３、気腹装置１４、内視鏡プロセッサ１５、光源装置１６及び画像記録装置６０は、所定のネットワーク２１（図１参照））内に構築されており、各機器の状態を示す情報が画像記録装置６０に供給されるようになっている。なお、ネットワーク２１としては、各種通信規格の通信回線を採用することができ、例えばフレックスレイ（FlexRay）を用いてもよい。
また、第１カート１１には、第１の内視鏡３１や、電気メス装置１３の処置具などに埋め込まれているＩＤタグにより、物の個別ＩＤ情報を無線にて読み取り／書き取りできるＲＦＩＤ（Radio Frequency Identification）端末３５が設けられている。
一方、第２カート１２には、被制御装置であるビデオプロセッサ２３、光源装置２４、画像処理装置２５、表示装置２６及び第２の集中表示パネル２７が載置されている。ビデオプロセッサ２３はカメラケーブル３２ａを介して第２の内視鏡３２に接続される。光源装置２４はライトガイドケーブル３２ｂを介して第２の内視鏡３２に接続される。
表示装置２６は、ビデオプロセッサ２３でとらえた内視鏡画像等を表示する。第２の集中表示パネル２７は、手術中のあらゆるデータを選択的に表示させることが可能になっている。
これらビデオプロセッサ２３と光源装置２４と画像処理装置２５とは、第２カート１２に載置された中継ユニット２８に図示しない通信線を介して接続されている。そして、この中継ユニット２８は、中継ケーブル２９によって、第１カート１１に搭載されているシステムコントローラ４１に接続されている。
こうして、システムコントローラ４１は、これらの第２カート１２に搭載されているビデオプロセッサ２３、光源装置２４及び画像処理装置２５と、第１カート１１に搭載されている、電気メス装置１３、気腹装置１４、内視鏡プロセッサ１５、光源装置１６及びビデオレコーダ１７と、手術台１０とを集中制御することができるようになっている。システムコントローラ４１は、システムコントローラ４１とこれらの装置との間で通信が行われている場合、操作パネル５１の表示画面上に、接続されている装置の設定状態や操作スイッチ等の設定画面を表示することができるようになっている。さらに、システムコントローラ４１は、所望の操作スイッチが触れられて所定領域のタッチパネルが操作されることによって設定値の変更等の操作入力が行えるようになっている。
リモートコントローラ３０は、滅菌域にいる執刀医等が操作する第２集中操作装置であり、通信が成立している他の装置を、システムコントローラ４１を介して操作することができるようになっている。
また、システムコントローラ４１には、通信手段である赤外線通信ポート（図示せず）が取り付けられている。この赤外線通信ポートは、表示装置１９の近傍等の赤外線が照射しやすい位置に設けられ、システムコントローラ４１との間がケーブルで接続されている。
このシステムコントローラ４１は、ケーブル９により患者モニタシステム４に接続されており、患者モニタシステム４は生体情報を解析し、この解析結果を所要の表示装置に表示させることができる。
なお、手術室２内には、手術台１０等の医療機器等を撮像するカメラ３７も設けられている。カメラ３７によって手術台１０等の医療機器を撮像し、その撮像画像を解析することで、その動作状態を判定することが可能である。この判定結果やカメラ３７による撮像画像はシステムコントローラ４１に供給されるようになっている。
図１は図２中の画像記録装置６０の具体的な構成の一例を示している。
本実施の形態は医療画像を出力する装置として内視鏡プロセッサ１５を用いた例について説明する。なお、医療画像を出力する装置としては、ビデオプロセッサ２３を採用してもよく、また、内視鏡プロセッサ１５とビデオプロセッサ２３の両方を採用してもよい。内視鏡プロセッサ１５は、図示しない内視鏡等からの画像を取り込んで画像信号処理を行い、内視鏡画像等の医療画像を生成することができる。内視鏡プロセッサ１５は、内視鏡画像を高精細画像として出力することができるようになっている。内視鏡プロセッサ１５からの医療画像は、画像記録装置６０の映像ＩＦ６１に供給される。
画像記録装置６０にはＵＩＩＦ６２も設けられており、ＵＩＩＦ６２には、術者の操作によって発生する操作信号が入力される。例えば、術者によるフットスイッチ（ＳＷ）の操作、内視鏡に設けられたスコープＳＷの操作、術者の音声入力操作に基づく操作信号等が入力される。ＵＩＩＦ６２は、術者の操作に基づく操作信号を受信して制御部６３に出力するようになっている。なお、図１では３種類の操作信号が入力される例を示したが、ＵＩＩＦ６２に入力される操作信号としては、術者が術中において操作可能な操作部によって発生する各種操作信号を採用することができる。
制御部６３は、画像記録装置６０の各部を制御することができるようになっている。制御部６３としては、図示しないＣＰＵ等のプロセッサによって構成されて、メモリ６４に格納されたプログラムに従って動作して各部を制御するものであってもよい。
映像ＩＦ６１は、画像伝送に適したインターフェースであり、内視鏡プロセッサ１５からの医療画像を取り込む。なお、映像ＩＦ６１は、ＤＶＩ(Digital Visual Interface)端子、ＳＤＩ(Serial Digital Interface)端子、ＲＧＢ端子、Ｙ／Ｃ端子、ＶＩＤＥＯ端子等の種々の端子を採用することができる。映像ＩＦ６１は、内視鏡プロセッサ１５だけでなく、例えば、超音波装置、術野カメラ、Ｘ線観測装置、内視鏡プロセッサ１５とは別の内視鏡プロセッサ等からの各種医療画像を取り込むことができる。
映像ＩＦ６１が取り込んだ医療画像は、画像処理部６５の動画及び複製生成部７９内のエンコーダ６６に与えられる。エンコーダ６６は、入力された医療画像をフレームメモリ６７に記憶させると共に読み出してエンコード処理を行うことで、入力された医療画像を所定の画像形式の映像信号にエンコードする。例えば、エンコーダ６６は、入力された医療画像をＭＰＥＧ２形式やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４形式等の映像信号に変換可能である。エンコーダ６６からの医療画像は動画生成部６８に与えられる。
本実施の形態においては、動画生成部６８は、制御部６３に制御されて、予め設定されている第１の用途に適した動画像を生成してメディアドライバ６９に出力するようになっている。記録部としてのメディアドライバ６９は、動画生成部６８によって生成された動画像を外部の記録媒体に与えて記録させると共に、内蔵されたハードディスク装置（ＨＤＤ）７０に与えて記録させることができるようになっている。なお、図１では外部の記録媒体としては、ＢＤ（ブルーレイディスク）、ＤＶＤ、ＵＳＢ及びネットワーク上のサーバ等を例示してあるが、それ以外の記録媒体を採用してもよい。
例えば、制御部６３は、動画生成部６８に設定する第１の用途として、訴訟用の証拠記録を設定することができ、この場合には、例えば低画質の動画像が生成されるように動画生成部６８を制御する。
ところで、従来、記録する動画像の画質等を設定することは可能であり、また、フットスイッチの出力や電気メス出力等を用いることで、動画像の記録の開始及び終了を制御することも可能である。しかしながら、記録のし忘れを防止するためには症例の全てを例えば高画質で記録する必要があることが多く、この場合、証拠記録用に画質を下げたり、学会発表用として編集したりする作業が記録後に必要であった。また、電気メス出力等を用いて記録の開始及び終了を制御する場合にも、証拠記録のために、別系統のエンコーダ（記録装置）を設けて症例の全てを記録しておく必要がある。この場合、２系統のエンコーダをそれぞれ操作する必要があり、記録操作が煩雑となる。
そこで、本実施の形態においては、エンコーダ６６の出力から医療画像の１つ以上の複製を生成して、生成した複製から各用途に適した動画像を生成するようになっている。そして、本実施の形態においては、複製に基づく動画像の記録開始及び終了並びに用途を術者による操作信号や外部機器からの状態信号に基づいて制御するようになっている。
動画生成部６８は、エンコーダ６６の出力をそのまま可変動画バッファメモリ７１に与えることができるようになっている。可変動画バッファメモリ７１は、動画生成部６８から医療画像が与えられる。なお、この医療画像はエンコーダ６６から出力される最も高画質の画像である。即ち、動画生成部６８は、第１の用途用の動画像だけでなく、エンコーダ６６からの最高画質の動画像を出力できるようになっている。可変動画バッファメモリ７１は、所定期間分の医療画像を蓄積する容量を有しており、順次入力された医療画像を更新しながら記憶するリングバッファである。動画複製部７２は、制御部６３に制御されて、可変動画バッファメモリ７１からの医療画像を読み出して複製を作成して動画生成部７３，７４に与える。エンコーダ６６、フレームメモリ６７、動画生成部６８、可変動画バッファメモリ７１及び動画複製部７２によって、動画及び複製生成部７９が構成される。
動画生成部７３は、制御部６３に制御されて、第２の用途に適した動画像を生成してメディアドライバ６９に出力し、動画生成部７４は、制御部６３に制御されて、第３の用途に適した動画像を生成してメディアドライバ６９に出力するようになっている。メディアドライバ６９は、動画生成部６８，７３，７４によって生成された動画像を外部の記録媒体に与えて記録させると共に、ＨＤＤ７０に与えて記録させることができる。
例えば、メディアドライバ６９は、ブルーレイディスク等の光学メディアに対する記録再生を行う光学ドライブ装置、ＵＳＢメモリ等のＵＳＢメディアに対して記録再生を行うＵＳＢ記録再生部等を備える（図示省略）。また、メディアドライバ６９は、図示しないネットワークサーバに対して医療画像を転送して記録再生させるネットワークインタフェース等を備える（図示省略）。
本実施の形態においては、動画複製部７２による複製のタイミングは、制御部６３によって制御されるようになっている。検出部としての制御部６３は、ＵＩＩＦ６２に入力される操作信号のタイミング又はネットワーク２１に接続された外部機器からの状態信号に基づくタイミングにおいて、動画複製部７２による複製の開始及び終了を制御する。例えば、制御部６３は、フットＳＷが押されたタイミングで動画複製部７２の複製を開始させ、フットＳＷが離されたタイミングで動画複製部７２の複製を終了させてもよく、また、例えば、スコープＳＷが押されるタイミング毎に動画複製部７２に複製の開始又は複製の終了を行わせてもよい。
更に、本実施の形態においては、制御部６３は、動画複製部７２が読み出す可変動画バッファメモリ７１のアドレスを制御することで、医療画像の時間を遡って複製を行うタイムシフト複製を可能にする。例えば、術者が、出血が生じた後に複製の開始のための操作をした場合でも、動画複製部７２が出血前に撮像されて可変動画バッファメモリ７１に記録されている医療画像のデータ部分から読み出しを開始することで、出血部分における医療画像の複製を生成することができる。また、制御部６３は、タイムシフト量を術者の操作によって、変更するようにしてもよい。例えば、タイムシフト量を記述したテーブルをメモリ６４に記憶させておくことで、簡単な操作によってタイムシフト量の変更が可能である。
図３はタイムシフト量のテーブルの一例を説明するための説明図である。図３はタイムシフト量について３種類のプリセットを有するテーブルの例を示している。プリセットＡは、フットＳＷが押される毎に−１５秒ずつタイムシフト量を変化させることを示している。同様に、プリセットＢ，Ｃは、それぞれフットＳＷが押される毎に−３０秒ずつ又は−６０秒ずつタイムシフト量を変化させることを示している。図３の例では、フットＳＷが１回押された場合には、タイムシフトさせることなく、フットＳＷが操作されたタイミングで撮像された画像以降の医療画像が複製される。
例えば、プリセットＡが設定されている状態で、フットＳＷが連続的に２回押されると、制御部６３は、メモリ６４に格納されたテーブルに基づいて、フットＳＷの操作時点から１５秒前に撮像された画像以降の医療画像が複製されるように制御を行う。また、例えば、プリセットＣが設定されている状態で、フットＳＷが連続的に３回押されると、制御部６３は、メモリ６４に格納されたテーブルに基づいて、フットＳＷの操作時点から１２０秒前に撮像された画像以降の医療画像が複製されるように制御を行う。
制御部６３は、タイムシフト量の情報をイベントタイミング制御部７５に出力する。ＴＣカウンタ７６は、エンコーダ６６のエンコード処理における時間基準となる時間情報を画像処理部６５及びイベントタイミング制御部７５に与えている。ＴＣカウンタ７６からの時間情報に基づいて、動画生成部６８からの医療画像（動画像）のタイムコードが規定されている。
本実施の形態においては、イベントタイミング制御部７５は、ＴＣカウンタ７６からの時間情報と制御部６３からのタイムシフト量の情報とに基づいて、動画複製部７２が複製している医療画像のタイムコードを求める。これらのタイムコードは、動画生成部６８からの医療画像と動画複製部７２が複製した医療画像とについて共通の時間軸を有するものであり、動画複製部７２が複製する医療画像が動画生成部６８からの医療画像のいずれの時間に相当するかが明らかとなる。
イベントタイミング制御部７５は、求めた時間情報をメタ生成部７７に出力する。メタ生成部７７は入力された時間情報をメタ情報に変換する。メタ生成部７７は、ＨＤＤ７０に与えられて記録される医療画像に、時間情報を含むメタ情報を付加して記録させるようになっている。なお、動画生成部６８からの医療画像については、エンコード時又は動画生成時にタイムコードが付与されているが、イベントタイミング制御部７５の制御によって、メタ生成部７７による時間情報を含むメタ情報を動画生成部６８からの医療画像に付加して記録することも可能である。
制御部６３は、ネットワーク２１に接続された外部機器からの状態信号に基づいて動画複製部７２に医療画像を複製させた場合には、複製された医療画像を動画生成部７３に与えるように制御を行う。この場合には、制御部６３は、動画生成部７３を例えば、第２の用途に適した動画像を生成するように各種設定を行う。第２の用途として、例えば技術認定に用いることを想定した場合には、動画生成部７３は、例えばＤＶＤのビデオ形式で中画質の動画像を生成する。なお、画質は、動画複製部７２からの読み出し時に決定されるので、制御部６３は、ネットワーク２１に接続された外部機器からの状態信号に基づいて動画複製部７２に医療画像を複製させる場合に、用途に応じて読み出しを制御する。例えば、電気メス装置１３が使用される場合には、動画生成部７３から中画質でＤＶＤ形式の医療画像がメディアドライバ６９に出力されることになる。
しかし、ネットワーク２１に接続された外部機器からの状態信号に基づいて記録制御では、上述したように、必ずしも必要なシーンの記録を行うことができない。このようなシーンについては、必ず術者が指定する必要がある。そこで、制御部６３は、ＵＩＩＦ６２において操作信号が受信されると、第３の用途を設定する。例えば、制御部６３は、ＵＩＩＦ６２において操作信号が受信されると、動画複製部７２によって複製された医療画像を動画生成部７４に与えると共に、動画生成部７４を第３の用途に適した動画像を生成するように各種設定を行う。
第３の用途として、例えば学会発表用に用いることを想定した場合には、動画生成部７４は、例えばフルＨＤの高画質の動画像を生成する。即ち、制御部６３は、ＵＩＩＦ６２において操作信号が受信されると、動画複製部７２に医療画像を複製させる場合に、高画質の医療画像が得られるように読み出しを制御する。例えば、術者がスコープＳＷを操作すると、動画複製部７２は高ビットレートで医療画像を読み出し、動画生成部７４は高画質の医療画像をメディアドライバ６９に出力することになる。
次に、このように構成された実施の形態の動作について図４のフローチャートを参照して説明する。
内視鏡プロセッサ１５は、図示しない内視鏡からの撮像信号に基づく内視鏡画像を生成する。内視鏡プロセッサ１５は、生成した内視鏡画像を医療画像として画像記録装置６０に出力する。画像記録装置６０は、ステップＳ１において医療画像の記録を開始する。この医療画像は映像ＩＦ６１によって画像記録装置６０に取り込まれて画像処理部６５のエンコーダ６６に供給される。エンコーダ６６は、入力された医療画像に対して所定のエンコード処理を施して出力する。例えば、エンコーダ６６は、最高ビットレートでの画像、例えばフルＨＤ画質の画像を生成する符号化処理を行う。
エンコーダ６６の出力は動画生成部６８に供給される。動画生成部６８は、入力された医療画像から第１の用途に適した動画像を生成する。例えば、動画生成部６８は、第１の用途として証拠記録に用いる画像、例えば、低画質の医療画像のファイル化を行って（ステップＳ２）、メディアドライバ６９に出力する。メディアドライバ６９は、入力された医療画像を外部のメディアに記録すると共に、ＨＤＤ７０に与えて記録する。また、エンコーダ６６からの医療画像は、動画生成部６８を介して可変動画バッファメモリ７１に供給されて保持される（ステップＳ３）。
次のステップＳ４において、制御部６３はネットワーク２１に接続された外部機器からの状態信号に基づいて、動画記録のトリガが発生したか否かを判断する。例えば、光源装置１６からの状態信号に基づいて特殊光観察モードで内視鏡観察が開始されたことが示された場合や電気メス装置１３からの状態信号に基づいて電気メス装置１３が使用可能な状態になったことが示された場合等のように、外部機器のパラメータの変化が発生したことが状態信号によって示された場合等においては、制御部６３は、動画記録のトリガが発生したものと判断して、処理をステップＳ５に移行して、動画複製部７２に医療画像の複製を指示する。
動画複製部７２は、制御部６３によって設定されたタイムシフト量だけ前の時間の医療画像を可変動画バッファメモリ７１から読み出して動画生成部７３に与える。この場合には、動画複製部７２は、第２の用途に適した画質、例えば中程度の画質が得られるように読み出しを行う。動画生成部７３は、入力された医療画像から第２の用途に適した形式の動画像を生成してメディアドライバ６９に与える。メディアドライバ６９は入力された医療画像をＨＤＤ７０に与えて記録する。
一方、制御部６３は、複製を指示したタイミングでタイムシフト量の情報をイベントタイミング制御部７５に出力しており、イベントタイミング制御部７５は、ＴＣカウンタ７６の出力に基づいて、動画生成部７３において生成されている動画像の時間情報を生成してメタ生成部７７に出力する。メタ生成部７７は、時間情報をメタ情報に変換して、ＨＤＤ７０に与えて、動画生成部７３によって生成された動画像に付加する（ステップＳ６）。メディアドライバ６９は、メタ情報が付加された医療画像をＨＤＤ７０から読み出して、外部のメディアに記録する。
更に、制御部６３は、ステップＳ７において、ＵＩＩＦ６２によって受信された操作信号に基づいて、動画記録のトリガが発生したか否かを判断する。例えば、術者が重要であると判断したシーン等においてスコープＳＷを押すと、制御部６３は、動画記録のトリガが発生したものと判断して、処理をステップＳ８に移行して、動画複製部７２に医療画像の複製を指示する。
動画複製部７２は、制御部６３によって設定されたタイムシフト量だけ前の時間の医療画像を可変動画バッファメモリ７１から読み出して動画生成部７４に与える。この場合には、動画複製部７２は、第３の用途に適した画質、例えばフルＨＤ画質が得られるように読み出しを行う。動画生成部７４は、入力された医療画像から第３の用途に適した形式の動画像を生成してメディアドライバ６９に与える。メディアドライバ６９は入力された医療画像をＨＤＤ７０に与えて記録する。
また、イベントタイミング制御部７５は、制御部６３からのタイムシフト量の情報及びＴＣカウンタ７６の出力に基づいて、動画生成部７４において生成されている動画像の時間情報を生成してメタ生成部７７に出力する。メタ生成部７７は、時間情報をメタ情報に変換して、ＨＤＤ７０に与えて、動画生成部７４によって生成された動画像に付加する（ステップＳ９）。メディアドライバ６９は、メタ情報が付加された医療画像をＨＤＤ７０から読み出して、外部のメディアに記録する。なお、メタ生成部７７は、用途毎のＩＤ（用途ＩＤ）に基づくメタ情報を生成することができ、ステップＳ６，Ｓ９では、用途を示すメタ情報も対応する医療画像に付加することができる。
このように本実施の形態においては、エンコーダの出力から所定の用途に適した動画像を生成すると共に、エンコーダの出力から医療画像の１つ以上の複製を生成して、生成した複製から各用途に適した動画像を生成するようになっている。そして、複製に基づく動画像の記録開始及び終了並びに用途を術者による操作信号や外部機器からの状態信号に基づいて制御するようになっている。これにより、複数の用途に適した複数の動画像を同時に記録することが可能である。しかも、外部機器からの状態信号に基づいて所定の用途に適した動画像を自動的に記録することができると共に、術者の操作に基づいて任意のタイミングで所定の用途に適した動画像を記録することができる。これにより、記録のし忘れを防止しながら、各用途用の動画像を記録することができ、記録後に各用途用の動画像を得るための編集作業を省略することが可能である。また、医療画像の複製の作成に際して、記録開始のトリガ発生より前の時点からの医療画像を記録することができ、必要なシーンを確実に記録することができる。しかも、各用途用の医療画像に時間軸が共通のタイムコードに応じたメタ情報を付加しており、各医療画像を共通のタイムコードによって管理することができる。これにより、例えば、第１の用途用の医療画像の再生時に、自動的に第２の用途用の医療画像の再生を開始させることも可能である。
なお、上記第１の実施の形態においては、動画生成部６８によって第１の用途用の医療画像を生成し、外部機器の状態信号に基づいて動画生成部７３により第２の用途用の医療画像を生成し、術者の操作に基づく操作信号によって動画生成部７４により第３の用途用の医療画像を生成する例を示したが、動画生成部６８，７３，７４のいずれにおいていずれの用途用の医療画像を生成するようにしてもよい。また、外部機器の状態信号及び術者の操作に基づく操作信号のいずれによっていずれの動画生成部６８，７３，７４による動画像が生成されるようになっていてもよい。
（第２の実施の形態）
図５は本発明の第２の実施の形態を説明するための説明図である。本実施の形態におけるハードウェア構成は第１の実施の形態と同様である。第２の実施の形態は、プレイリストを用意することで、複数の動画生成部に割当てる用途及びトリガ発生の判定を自由に設定可能にしたものである。
図５は複数の動画生成部に割当てる用途の設定及びトリガ発生の判定の条件の設定のためのプレイリストの一例を説明するための説明図である。このプレイリストはメモリ６４に記憶させることができ、制御部６３は、メモリ６４から読み出したプレイリストに従って、用途の割当て、即ち、用途に適した動画像を生成するための制御を行うと共に、当該用途用の動画像の記録タイミングを与えるトリガ発生の判定条件を決定する。
図５のプレイリストは、画像記録の発生トリガとして、内視鏡画像の有無、３Ｄモニタの設定及び術者の操作を判定する例を示している。例えば、映像ＩＦ６１を介して内視鏡画像の入力が開始されると、制御部６３は、動画生成部６８に対して、用途として訴訟用の証拠記録に適した動画像の生成を指示して、当該動画像の記録を自動的に開始させる。また、制御部６３は、映像ＩＦ６１を介して内視鏡画像が入力されなくなった場合には、当該動画像の記録を停止させる。
また、制御部６３は、内視鏡画像を図示しない２Ｄモニタから３Ｄモニタに表示させるように切換えが行われたことを状態信号によって検出した場合には、動画生成部７３に対して、用途として学会用の発表素材に適した動画像の生成を指示して、当該動画像の記録を開始させる。また、制御部６３は、内視鏡画像を３Ｄモニタから２Ｄモニタに表示させるように切換えが行われた場合には、当該動画像の記録を停止させる。
また、制御部６３は、術者がフットＳＷをオンにする操作を操作信号によって検出した場合には、動画生成部７４に対して、用途として教育用の素材に適した動画像の生成を指示して、当該動画像の記録を開始させる。また、制御部６３は、術者がフットＳＷをオフにする操作を検出した場合には、当該動画像の記録を停止させる。
なお、制御部６３は、ユーザによる図示しない入力装置の操作によって、プレイリストを更新することができるようになっている。
次にこのように構成された実施の形態の動作について図６及び図７を参照して説明する。図６は第２の実施の形態の動作を説明するためのフローチャートである。図６において図４と同一の手順について同一の符号を付して説明を省略する。図７は第２の実施の形態の動作を説明するための説明図である。図７は横軸に時間をとり、腹腔鏡手術を例に、各手技の処置の流れ、記録される医療画像との関係を示している。
図６のフローはステップＳ１１において、制御部６３は、メモリ６４からプレイリストを読み込むようになっている。制御部６３は、読み込んだプレイリストに従って、医療画像の記録の開始及び終了のためのトリガの発生を判定すると共に、記録する医療画像の用途に応じた記録制御を行う。
いま、メモリ６４に図５に内容を示したプレイリストが格納されており、図７に示す腹腔鏡手術が行われるものとして説明する。図７は各処置の開始タイミング及びモニタのモード切換を矢印にて示しており、処置として患者ＩＤ入力、穿刺と送気、内視鏡の挿入、術野展開、解剖確認、剥離、結紮、切離、止血、摘出、閉創が順次行われることを示している。また、モニタモードは、２Ｄモードで開始され、剥離処置を含む期間と、結紮及び切離処置を含む期間にのみ３Ｄモードに設定される。
図７の例では、先ず患者ＩＤの入力作業が行われる。更に、穿刺及び送気処置が行われる。次に、内視鏡が挿入される。内視鏡からの画像は内視鏡プロセッサ１５に供給され、内視鏡プロセッサ１５は内視鏡画像を画像記録装置６０の映像ＩＦ６１に供給する。制御部６３は、図５に示すように、動画生成部６８に対して訴訟の証拠記録用の医療画像の生成及び記録を指示する。これにより、図７の破線による記録ａに示すように、証拠用の動画像の記録が開始される。この記録ａは、内視鏡画像が入力される間、閉創処置まで続けられる。
制御部６３は、図６のステップＳ４において、状態信号に基づくトリガ発生を判定し、ステップＳ７において、操作信号に基づくトリガ発生を判定している。術者がスコープ挿入時において、フットＳＷを所定期間オンにするものとする。そうすると、制御部６３は、図５に示すように、動画生成部７４に対して教育用の素材の医療画像の生成を指示する。こうして、図７の破線に示す期間だけ、教育用の動画像の記録ｄが行われる。同様に、術者は解剖確認処置時においても所定期間フットＳＷをオンにする。こうして、図７の破線に示す期間だけ、教育用の動画像の記録ｅが行われる。
次に、剥離処置において内視鏡画像を２Ｄモニタから３Ｄモニタに切換えて表示させるものとする。この場合には、制御部６３は、モニタからの状態信号に基づいて、図５に示すように、動画生成部７３に対して学会用発表用の素材の医療画像の生成を指示する。こうして、図７の破線による記録ｂに示すように、３Ｄモニタへの表示期間だけ、学会発表用の動画像の記録が行われる。
以後、同様にして、内視鏡画像を３Ｄモニタに表示している期間には、図７の破線による記録ｃに示すように、学会発表用の動画像の記録が行われ、術者がフットＳＷをオンにしている期間には、図７の破線による記録ｆ〜ｊに示すように、教育用の動画像の記録が行われる。なお、メタ生成部７７は、イベントタイミング制御部７５の出力に基づいて、ＨＤＤ７０に記録した医療画像に時間情報を付加する。
また、メタ生成部７７は、用途毎のＩＤ（用途ＩＤ）に基づくメタ情報を生成することができ、ステップＳ６，Ｓ９では、用途を示すメタ情報も対応する医療画像に付加される。
図６の例では、制御部６３は、状態信号に基づいて記録される医療画像又は操作信号に基づいて記録される医療画像（以下、これらの医療画像をショートクリップともいう）が存在する場合には、ステップＳ１２から処理をステップＳ１３に移行して、同一の用途ＩＤが付されたショートクリップをまとめるようになっている。例えば、制御部６３は、図７に示すように、証拠記録用の動画像（記録ａ）をネットワークサーバに出力させ、学会発表用の動画像（記録ｂ，ｃ）をまとめてブルーレイディスクに記録し、教育用の動画像（記録ｄ〜ｊ））をまとめてＵＳＢハードディスクに記録する。
このように本実施の形態においても、第１の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、ユーザが適宜設定したプレイリストに従って記録制御が可能であり、各種用途に対応した医療画像を適宜のタイミングで生成することができる。
（変形例）
図８は変形例を示すブロック図である。図８において図１と同一の構成要素には同一符号を付して説明を省略する。上記各実施の形態においては、動画生成部７３，７４は、動画生成部６８の出力と同じ画質の動画像を出力することもでき、また、動画生成部６８の出力に拘わらず、例えば再エンコードによって、任意の画質の動画像を出力することもできる。動画生成部７３，７４において再エンコード機能を有する場合には、このエンコード機能を別回路によって実現するようにしてもよい。
図８はこの場合の例を示しており、画像記録装置８０の画像処理部８１は、動画及び複製生成部７９、切換部８２、エンコーダ８３ａ，８３ｂ並びに動画生成部８４ａ，８４ｂによって構成されている。動画及び複製生成部７９の動画複製部７２が複製した画像（複製画像）は切換部８２を介してエンコーダ８３ａ，８３ｂに与えられる。切換部８２は、制御部６３に制御されて、複製画像をエンコーダ８３ａ，８３ｂの一方又は両方に供給するようになっている。
エンコーダ８３ａ，８３ｂは、それぞれ入力された医療画像を図示しないフレームメモリに記憶させると共に読み出してエンコード処理を行うことで、入力された医療画像を所定の画像形式の映像信号に再エンコードする。例えば、エンコーダ８３ａ，８３ｂは、入力された医療画像をＭＰＥＧ２形式やＭＰＥＧ−４ＡＶＣ／Ｈ．２６４形式等の映像信号に再変換可能である。エンコーダ８３ａ，８３ｂからの医療画像はそれぞれ動画生成部８４ａ，８４ｂに与えられる。
なお、動画生成部６８は、エンコーダ６６から出力される最も高画質の画像を可変動画バッファメモリ７１に供給し、動画複製部７２は、最高画質の医療画像を出力できるように、可変動画バッファメモリ７１からの読み出しが制御されるようになっていてもよい。
動画生成部８４ａは、制御部６３に制御されて、エンコーダ８３ａによってエンコードされた医療画像に基づいて第２の用途に適した動画像を生成してメディアドライバ６９に出力し、動画生成部８４ｂは、制御部６３に制御されて、エンコーダ８３ｂによってエンコードされた医療画像に基づいて第３の用途に適した動画像を生成してメディアドライバ６９に出力するようになっている。
次に、このように構成された変形例の動作について図９のフローチャートを参照して説明する。図９において図４と同一の手順には同一符号を付して説明を省略する。図９のフローは、ステップＳ５，Ｓ８にそれぞれ代えて必ずエンコード処理を行うステップＳ１５，１８を採用した点が図４のフローと異なるのみである。なお、図９は図４に示す第１の実施の形態に対応するフローチャートを示したが、本変形例は図６の第２の実施の形態にも同様に適用可能であることは明らかである。
制御部６３は、ステップＳ４においてネットワーク２１に接続された外部機器からの状態信号に基づいて動画記録のトリガが発生したものと判断すると、ステップＳ１５に処理を移行する。ステップＳ１５においては、動画複製部７２は医療画像の複製を作成する。動画複製部７２からの医療画像は切換部８２を介してエンコーダ８３ａに供給される。エンコーダ８３ａは、入力された医療画像に対して再エンコード処理を施す。エンコーダ８３ａは、制御部６３に制御されて所望の画質の動画像を生成することができる。例えば、エンコーダ８３ａは、第２の用途に適した画質として、中程度の画質の動画像を生成してもよい。エンコーダ８３ａはエンコード後の動画像を動画生成部８４ａに与える。動画生成部８４ａは、エンコード結果に基づいて第２の用途に適した形式の動画像を生成してメディアドライバ６９に与える。メディアドライバ６９は例えば入力された医療画像をＨＤＤ７０に与えて記録する。
また、制御部６３は、ステップＳ７において術者の操作に基づいて記録開始のトリガが発生したものと判定した場合には、ステップＳ１８に処理を移行する。ステップＳ１８においては、動画複製部７２は医療画像の複製を作成する。動画複製部７２からの医療画像は切換部８２を介してエンコーダ８３ｂに供給される。エンコーダ８３ｂは、入力された医療画像に対して再エンコード処理を施す。エンコーダ８３ｂは、制御部６３に制御されて所望の画質の動画像を生成することができる。例えば、エンコーダ８３ｂは、第３の用途に適した画質として、フルＨＤ画質の動画像を生成してもよい。エンコーダ８３ｂはエンコード後の動画像を動画生成部８４ｂに与える。動画生成部８４ｂは、エンコード結果に基づいて第３の用途に適した形式の動画像を生成してメディアドライバ６９に与える。メディアドライバ６９は例えば入力された医療画像をＨＤＤ７０に与えて記録する。
他の作用は上記各実施の形態と同様である。
このようにこの変形例では、複製した医療画像に対して独立したエンコーダを用いた再エンコード処理が可能である。例えば、動画及び複製生成部７９の動画生成部６８の出力の画質や解像度等に拘わらず、エンコーダ８３ａ，８３ｂにおいて、任意の画質や解像度等に変換して、出力メディアに最適な動画像を得ることが可能である。例えば、出力メディアがタブレットＰＣである場合には、エンコーダ８３ａ，８３ｂのエンコード処理によって、タブレットＰＣにおいて扱うことができる指定された画像サイズや容量等に適した記録を行うことが可能となる。この場合には、手術途中において、術者は、例えば証拠記録用の低画質の動画像をネットワークサーバに出力させながら、学会発表に用いるタブレットＰＣに、学会発表用の高画質の動画像を記録させることも可能である。
（第３の実施の形態）
図１０は本発明の第３の実施の形態を説明するためのブロック図である。図１０において図８と同一の構成要素には同一符号を付して説明を省略する。上記各実施の形態においては、動画及び複製生成部７９において、１系統の入力医療画像をエンコードして第１の用途用の記録用の医療画像を生成すると共にその複製を作成し、複製画像に基づいて第２、第３の用途用の記録用医療画像の生成を可能にするものであった。これに対し、本実施の形態は、２系統の入力医療画像に対応可能な例を示している。
ネットワーク２１内には、２つの内視鏡プロセッサ１５ａ，１５ｂが設けられている。手術等において、複数の内視鏡が使用されることがある。例えば、胃や十二指腸等の消化器の手術に際して、消化器内視鏡と外科内視鏡とが同時に使用されることがある。このような場合において、内視鏡プロセッサ１５ａ，１５ｂは、それぞれ図示しない各内視鏡からの画像を取り込んで画像信号処理を行い、医療画像を出力することができる。
内視鏡プロセッサ１５ａ，１５ｂからの各医療画像は、画像記録装置９０の映像ＩＦ９５に供給される。映像ＩＦ９５は、画像伝送に適したインターフェースであり、２系統の内視鏡プロセッサ１５ａ，１５ｂからの医療画像を取り込む。なお、映像ＩＦ９５は、ＤＶＩ(Digital Visual Interface)端子、ＳＤＩ(Serial Digital Interface)端子、ＲＧＢ端子、Ｙ／Ｃ端子、ＶＩＤＥＯ端子等の種々の端子を採用することができる。映像ＩＦ９５は、内視鏡プロセッサ１５ａ，１５ｂだけでなく、例えば、超音波装置、術野カメラ、Ｘ線観測装置、内視鏡プロセッサ１５ａ，１５ｂとは別の内視鏡プロセッサ等からの２系統の各種医療画像を同時に取り込むことができる。
映像ＩＦ９５によって取り込まれた２つの医療画像は、画像合成処理部９２に与えられる。画像合成処理部９２は、制御部６３に制御されて、入力された２つの医療画像をそのまま出力することができると共に、入力された２つの医療画像を合成して出力することができる。例えば、画像合成処理部９２は、入力された２つの医療画像を並べて表示するＰＯＰ（ピクチャアウトピクチャ）方式で画像合成することもでき、また、入力された２つの医療画像のうち一方の画像を他方の画像の子画像としてＰＩＰ（ピクチャーインピクチャ）方式で画像合成することもできる。画像合成処理部９２は、２つの入力医療画像のうちの一方又は合成画像を動画及び複製生成部７９に与え、２つの入力医療画像のうちの他方又は合成画像を切換部９３に与えることができる。なお、制御部６３は、メモリ６４に記憶された合成設定情報に基づいて画像合成処理部９２の合成処理を制御するようになっていてもよく、メモリ６４に記憶される合成切換設定情報は、ユーザ操作によって適宜変更可能に構成されていてもよい。
動画及び複製生成部７９は、入力された合成画像又は医療画像をエンコーダ６６によってエンコードする。動画及び複製生成部７９は、エンコード結果に基づく複製画像を切換部９３に出力すると共に、エンコード結果に基づく動画像を生成してメディアドライバ６９に出力する。
切換部９３には、画像合成処理部９２から２つの入力医療画像の一方がそのまま与えられるか又は２つの入力医療画像の合成画像が与えられる。また、切換部９３には動画及び複製生成部７９から複製された画像が与えられる。切換部９３は、制御部６３に制御されて、画像合成処理部９２からの画像をエンコーダ８３ａ，８３ｂのいずれか一方に与え、エンコーダ８３ａ，８３ｂの他方には、動画及び複製生成部７９からの画像を与える。また、切換部９３は、動画及び複製生成部７９からの画像をエンコーダ８３ａ，８３ｂの両方に与えるようにしてもよい。なお、制御部６３は、メモリ６４に記憶された切換設定情報に基づいて切換部９３の切換えを制御するようになっていてもよく、メモリ６４に記憶される切換設定情報は、ユーザ操作によって適宜変更可能に構成されていてもよい。
他の構成は上記各実施の形態と同様である
このように構成された実施の形態においては、動画及び複製生成部７９によって、２つの入力医療画像のいずれか一方又は２つの入力医療画像の合成画像に基づく複製画像が生成される。また、動画及び複製生成部７９は、２つの入力医療画像のいずれか一方又は２つの入力医療画像の合成画像（以下、これらの画像を複製画像に対してマスター画像という）に基づく第１の用途用の動画像を生成する。動画及び複製生成部７９によって、マスター画像に基づく動画像がメディアドライバ６９に供給される。
動画及び複製生成部７９からの複製画像は、切換部９３に与えられる。切換部９３には、画像合成処理部９２から、２つの入力医療画像のいずれか一方又は２つの入力医療画像の合成画像、即ち、マスター画像が与えられる。切換部９３は、制御部６３に制御されて、画像合成処理部９２からのマスター画像をエンコーダ８３ａ，８３ｂの一方に与え、動画及び複製生成部７９からの複製画像をエンコーダ８３ａ，８３ｂの他方に与えるか、又は、動画及び複製生成部７９からの複製画像をエンコーダ８３ａ，８３ｂの両方に与える。
エンコーダ８３ａは、入力された画像をエンコード処理又は再エンコード処理して、所望の画質等の動画像を得て動画生成部８４ａに出力する。また、エンコーダ８３ｂは、入力された画像をエンコード処理又は再エンコード処理して、所望の画質等の動画像を得て動画生成部８４ｂに出力する。動画生成部８４ａはエンコード結果を第２の用途用の動画像としてメディアドライバ６９に与え、動画生成部８４ｂはエンコード結果を第３の用途用の動画像としてメディアドライバ６９に与える。
こうして、メディアドライバ６９には、最大で３つの用途に適した動画像が入力される。即ち、切換部９３の切換制御によって、メディアドライバ６９には、１又は２つのマスター画像に基づく動画像と１つの複製画像に基づく動画像が入力されるか又は１つのマスター画像に基づく動画像と２つの複製画像に基づく動画像が入力される。
例えば、映像ＩＦ９５に入力される医療画像が消化器内視鏡による内視鏡画像と外科内視鏡による内視鏡画像とであるものとする。この場合には、例えば、消化器内視鏡による内視鏡画像（マスター画像）に基づく第１の用途用の動画像と、外科内視鏡による内視鏡画像（マスター画像）に基づく第２の用途用の動画像と、消化器内視鏡による内視鏡画像の複製画像に基づく第３の用途用の動画像とをメディアドライバ６９に供給することができる。また、例えば、消化器内視鏡及び外科内視鏡による２つの内視鏡画像の合成画像（マスター画像）に基づく第１の用途用の動画像と、２つの内視鏡画像の合成画像の複製画像に基づく第２の用途用の動画像と、２つの内視鏡画像の合成画像の複製画像に基づく第３の用途用の動画像とをメディアドライバ６９に供給することもできる。また、例えば、消化器内視鏡と外科内視鏡による２つの内視鏡画像の合成画像（マスター画像）に基づく第１の用途用の動画像と、２つの内視鏡画像の合成画像の複製画像に基づく第２の用途用の動画像と、消化器内視鏡による内視鏡画像（マスター画像）に基づく第３の用途用の動画像とをメディアドライバ６９に供給することもできる。
また、例えば、映像ＩＦ９５に入力される医療画像として、１つの３Ｄ内視鏡の出力に基づく３Ｄ画像及び２Ｄ画像であってもよい。この場合には、例えば、２Ｄ画像（マスター画像）に基づく第１の用途用の低画質の動画像と、３Ｄ画像（マスター画像）に基づく第２の用途用の高画質の動画像と、２Ｄ画像の複製画像に基づく第３の用途用の高画質の動画像とをメディアドライバ６９に供給することができる。
このように本実施の形態においては、２つの入力医療画像のいずれか一方又は２つの入力医療画像の合成画像をマスター画像とし、２種類のマスター画像に基づく動画像と１種類のマスター画像の複製画像に基づく動画像とを記録することができるか又は１種類のマスター画像に基づく動画像と１種類のマスター画像の複製画像に基づく２種類の動画像とを記録することができる。２つの医療画像に対する合成処理及び第２及び第３の用途用のエンコーダへの入力を切換える切換え処理の制御によって、多種類の動画像の中から最大で３種類の動画像を選択して記録することが可能である。
なお、第３の実施の形態において、切換部９３が画像合成処理部９２からの２つの入力医療画像のいずれか一方又は２つの入力医療画像の合成画像をそれぞれエンコーダ８３ａ，８３ｂの両方に与えるように制御することも可能である。この場合には、複製画像に基づく動画像を記録することはできないが、マスター画像に基づく３種類の動画像を記録することが可能となる。
（第４の実施の形態）
図１１は本発明の第４の実施の形態を説明するためのブロック図である。図１１において図１０と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は画像合成処理部９２を省略し、複製生成部９８を追加し、切換部９３に代えて切換部９９を採用した点が第３の実施の形態と異なる。
映像ＩＦ９５は、入力された２つの医療画像の一方を動画及び複製生成部７９に与え、他方を動画及び複製生成部９８に与える。動画及び複製生成部９８は、動画及び複製生成部７９と同一構成である。動画及び複製生成部７９及び９８は、いずれもそれぞれ入力された医療画像をマスター画像としこのマスター画像に基づく動画像を生成すると共に、マスター画像の複製画像を生成して、生成した動画像及び複製画像を切換部９９に出力する。
切換部９９は、制御部６３に制御されて、動画及び複製生成部７９，９８から４種類の画像のうち３種類の画像をそれぞれエンコーダ８３ａ，８３ｂ及びメディアドライバ６９に与える。なお、切換部９９は、４種類の画像のうち少なくとも１つの複製画像を選択して出力するようになっている。
なお、制御部６３は、メモリ６４に記憶された切換設定情報に基づいて切換部９９の切換えを制御するようになっていてもよく、メモリ６４に記憶される切換設定情報は、ユーザ操作によって適宜変更可能に構成されていてもよい。
他の構成は上記各実施の形態と同様である
このように構成された実施の形態においては、動画及び複製生成部７９は、映像ＩＦ９５に入力される２つの入力医療画像のいずれか一方をマスター画像とし、このマスター画像に基づく動画像及びマスター画像に基づく複製画像を生成する。また、同様に、動画及び複製生成部９８は、２つの入力医療画像の他方をマスター画像とし、このマスター画像に基づく動画像及びマスター画像に基づく複製画像を生成する。動画及び複製生成部７９，９８が生成した４種類の画像は切換部９９に供給される。切換部９９は、制御部６３に制御されて、４入力のうち少なくとも１つの複製画像を含む３つの入力画像をエンコーダ８３ａ，８３ｂ又はメディアドライバ６９に与える。
こうしてこの場合には、２つの医療画像のいずれをマスター画像とすることも可能であり、また、２つの医療画像のいずれのマスター画像を複製していずれの用途用の動画像を生成することも可能である。
他の作用及び効果は上記各実施の形態と同様である。
なお、上記第３及び第４の実施の形態においては、エンコーダは省略可能である。
また、上記各実施の形態においては、３つの用途に適した医療画像を生成して記録する例を説明したが、動画生成部の数に応じて任意の数の用途に適した医療画像を同時に生成して記録することができる。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本出願は、２０１５年５月２７日に日本国に出願された特願２０１５−１０７８０７号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。

Claims (6)

  1. 被制御機器から医療画像を取り込む医療画像取り込み部と、
    入力した前記医療画像を所定の画像形式の映像信号にエンコードする、単一のエンコーダと、
    前記エンコーダにおいてエンコードされた前記医療画像であって基準時間情報に対応付けられた医療画像に基づいて、第１の画質である第１の用途用の第１の動画像を生成すると共に、入力した前記医療画像であって前記第１の画質より高画質である第２の画質の動画像を出力する第１の動画生成部と、
    外部機器からの状態信号に基づく第１の検出タイミング及び操作部の操作信号に基づく第２の検出タイミングの少なくとも一方を検出する検出部と、
    前記第１の動画生成部から出力された前記第２の画質の動画像を所定期間分蓄積する可変動画バッファメモリと、
    前記検出部が検出した検出タイミングで前記可変動画バッファメモリに蓄積されている前記第２の画質の動画像にかかる複製を生成する複製部と、
    前記複製部が複製した前記第２の画質の動画像に基づいて、前記第１の動画像とは異なる第２の用途用の第２の動画像を生成する第２の動画生成部と、
    前記第１の動画像を記録すると共に、前記第２の動画像を前記基準時間情報に対応付けて記録する記録部と、
    を具備したことを特徴とする画像記録装置。
  2. 前記第２の画質の動画像は、前記エンコーダから出力される最も高画質の動画像であり、前記第１の画質である前記第１の動画像は、前記第２の画質より低画質である訴訟記録用の動画像である
    ことを特徴とする請求項１に記載の画像記録装置。
  3. 前記複製部が複製した前記第２の画質の動画像に基づいて、第３の用途用の第３の動画像を生成する第３の動画生成部をさらに有し、
    前記第２の動画生成部は、前記検出部が検出した前記第１の検出タイミングで前記複製部が複製した前記第２の画質の動画像に基づく前記第２の用途用の第２の動画像を生成する処理部を有し、
    前記第３の動画生成部は、前記検出部が検出した前記第２の検出タイミングで前記複製部が複製した前記第２の画質の動画像に基づく前記第３の用途用の第３の動画像を生成する処理部を有する
    ことを特徴とする請求項１に記載の画像記録装置。
  4. 前記記録部は、前記基準時間情報が与えられて前記第２の動画生成部が生成した動画像上の時間を求めるイベントタイミング制御部と、
    前記イベントタイミング制御部が求めた時間に基づくメタ情報を生成して前記第２の動画生成部が生成した動画像に関連付けて記録するメタ生成部とを具備する
    ことを特徴とする請求項１に記載の画像記録装置。
  5. 前記イベントタイミング制御部は、前記基準時間情報と前記検出タイミングの情報とに基づいて、前記第２の動画生成部が生成した動画像上の時間を求める
    ことを特徴とする請求項４に記載の画像記録装置。
  6. 前記状態信号及び操作信号と前記医療画像の記録用途に対応した動画生成制御との関連を示すプレイリストを保持する記憶部と、
    前記プレイリストに従って、前記複製部並びに前記第１及び第２の動画生成部を制御する制御部と、
    を具備したことを特徴とする請求項１に記載の画像記録装置。
JP2016567429A 2015-05-27 2016-04-25 画像記録装置 Active JP6177462B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015107807 2015-05-27
JP2015107807 2015-05-27
PCT/JP2016/062936 WO2016190022A1 (ja) 2015-05-27 2016-04-25 画像記録装置

Publications (2)

Publication Number Publication Date
JPWO2016190022A1 JPWO2016190022A1 (ja) 2017-06-08
JP6177462B2 true JP6177462B2 (ja) 2017-08-09

Family

ID=57394078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016567429A Active JP6177462B2 (ja) 2015-05-27 2016-04-25 画像記録装置

Country Status (4)

Country Link
US (1) US20180092509A1 (ja)
JP (1) JP6177462B2 (ja)
CN (1) CN107613841B (ja)
WO (1) WO2016190022A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110678116B (zh) * 2017-06-05 2022-11-04 索尼公司 医疗系统和控制单元
CN108652675A (zh) * 2018-02-11 2018-10-16 江苏金羿智芯科技有限公司 一种基于人工智能的内窥镜图像去雾系统
JP7339005B2 (ja) * 2019-03-26 2023-09-05 日本光電工業株式会社 生体情報監視システム
JP7414585B2 (ja) * 2020-02-28 2024-01-16 富士フイルムヘルスケア株式会社 医用画像録画装置およびｘ線撮像装置
CN113689949A (zh) * 2020-05-18 2021-11-23 日本电气株式会社 信息处理方法、电子设备和计算机存储介质
CN116997289A (zh) * 2021-03-25 2023-11-03 索尼集团公司 手术室系统、图像记录方法、程序和医疗信息处理系统
EP4074240A1 (en) * 2021-04-13 2022-10-19 Ambu A/S Endoscope image recording unit
JP2023034761A (ja) * 2021-08-31 2023-03-13 株式会社OPExPARK 医療映像編集システム、医療映像編集サーバ、医療映像編集プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011036372A (ja) * 2009-08-10 2011-02-24 Tohoku Otas Kk 医療画像記録装置
US8293602B2 (en) * 2010-11-19 2012-10-23 Micron Technology, Inc. Method of fabricating a finFET having cross-hair cells
JP5378612B2 (ja) * 2011-05-30 2013-12-25 オリンパスメディカルシステムズ株式会社 医療情報記録装置

Also Published As

Publication number Publication date
JPWO2016190022A1 (ja) 2017-06-08
CN107613841B (zh) 2019-08-27
CN107613841A (zh) 2018-01-19
US20180092509A1 (en) 2018-04-05
WO2016190022A1 (ja) 2016-12-01

Similar Documents

Publication Publication Date Title
JP6177462B2 (ja) 画像記録装置
JP5347089B1 (ja) 医療情報記録装置
JP5690450B2 (ja) 画像記録装置
JP5378612B2 (ja) 医療情報記録装置
JP2009081857A (ja) 映像記録・画像キャプチャ装置
WO2018163600A1 (ja) 医療情報管理装置、医療情報管理方法、及び医療情報管理システム
JP5905168B2 (ja) 医療用動画記録再生システム及び医療用動画記録再生装置
US10275905B2 (en) Color integration system for medical images and recording and color management apparatus for medical images
WO2011152489A1 (ja) 画像記録システム及び画像記録方法
US20210203875A1 (en) Image recording and reproduction apparatus, image recording method, and endoscope system
JP2017093996A (ja) 内視鏡システム及びその表示方法
WO2020202527A1 (ja) 画像記録装置
JP2015226216A (ja) 医療用画像記録装置
KR0155895B1 (ko) 내시경 수술시스템 주변장치 및 그 제어방법
WO2019097804A1 (ja) 画像記録装置及び画像記録方法
JP5551522B2 (ja) 医療情報記録装置
WO2016080414A1 (ja) 内視鏡ビデオプロセッサ

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170711

R151 Written notification of patent or utility model registration

Ref document number: 6177462

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250