JPWO2020039593A1 - 画像記録再生装置、画像記録方法及び内視鏡システム - Google Patents

画像記録再生装置、画像記録方法及び内視鏡システム Download PDF

Info

Publication number
JPWO2020039593A1
JPWO2020039593A1 JP2020538003A JP2020538003A JPWO2020039593A1 JP WO2020039593 A1 JPWO2020039593 A1 JP WO2020039593A1 JP 2020538003 A JP2020538003 A JP 2020538003A JP 2020538003 A JP2020538003 A JP 2020538003A JP WO2020039593 A1 JPWO2020039593 A1 JP WO2020039593A1
Authority
JP
Japan
Prior art keywords
chapter
unit
recording
information
chapter information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020538003A
Other languages
English (en)
Other versions
JP7143421B2 (ja
Inventor
裕亮 櫻田
裕亮 櫻田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2020039593A1 publication Critical patent/JPWO2020039593A1/ja
Application granted granted Critical
Publication of JP7143421B2 publication Critical patent/JP7143421B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006Operational features of endoscopes characterised by electronic signal processing of control signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/309Table of contents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004Operational features of endoscopes provided with input arrangements for the user for electronic operation

Abstract

画像記録再生装置は、入力された映像信号に基づく記録データを生成する記録データ生成部と、前記記録データ生成部において記録する映像信号にチャプタ情報を付加するための操作を受け付ける1つ以上の操作指示部に対する1人以上の操作に基づいて発生した信号を受信する操作入力部と、前記操作入力部が受信した信号を発生した操作指示部及びその操作を行った人の少なくとも一方を判別して判別結果を出力する操作系統判別部と、前記操作系統判別部の判別結果に基づくチャプタ種別のチャプタ情報を発生して前記記録データ生成部に与えることで、前記映像信号に前記チャプタ情報を関連付けた記録データを生成させる記録制御部と、を具備する。

Description

本発明は、画像を記録する画像記録再生装置及び内視鏡システムに関する。
従来、内視鏡は医療用分野等において広く採用されている。内視鏡によって得られる医療画像は、診断や症例の記録のために、種々のメディアに記録される。近年、記録媒体の大容量化に伴って、内視鏡からの動画像の記録も行われるようになってきた。
例えば、内視鏡を用いた手技や検査では、手技や検査中における内視鏡画像、超音波画像、X線画像だけでなく、術者の手元の画像や室内の様子の画像等の種々の画像(以下、医療画像という)を動画記録することがある。このような画像記録装置においては、画像記録装置本体だけでなく、内視鏡に配設されたスコープスイッチ等によって記録操作が可能なものもある。
例えば、国際公開2012−165381号公報においては、医療画像を第1の期間の全期間に亘って第1の記録領域に記録すると共に、ユーザ操作のタイミングの前後の所定の第2の期間に、医療画像の複製を第2の記録領域に記録する技術をが開示されている。
ところで、症例を記録する目的として、医療画像を証拠画像等のバックアップ用として用いることや、教育用素材として用いることが考えられる。例えば、症例中の重要な解剖シーンについては、記録画像を学会や院内カンファレンスで共有して、若手ドクターらの教育に活用することができる。また、技術認定制度の利用のために、内視鏡の手技等を記録して、記録画像から手技の認定を行うこともできる。
バックアップ用として記録する場合には症例全体を記録する必要があり、例えば、外科手術等においては、比較的長時間に渡って画像記録が行われる。これに対し、教育用途に用いる画像は、手技や検査期間のうちの一部の期間である場合が多い。このため、症例全体を記録して得た記録画像を教育用途に利用する場合には、所望のシーンの検索に手間がかかってしまうことがある。
そこで、医療画像の記録途中において、スコープスイッチ等によって再生ポイントを指定するためのチャプタ情報を付加しながら画像記録を行う方法が考えられる。このチャプタ情報を利用することで再生ポイントの頭出しを可能にして、所望のシーンの画像の検索を簡単に行うことができる。
しかしながら、上述したように、医療画像は様々な用途に利用されるものであり、チャプタ情報を付加したとしても、所望の再生ポイントに頭出しできるとは限らない。例えば、ドクターは学会発表用として手技の要部のみの再生を希望し、若手ドクターは勉強用として手技の基本手順のみの再生を希望し、ナースはサポート役視点での注意点を確認するための再生を希望することがある。従って、記録された医療画像を参照する人によって、チャプタ情報を付加したい位置及び付加されたチャプタ情報の位置のうち再生を希望する位置が異なる。このため、例え再生ポイントとして希望されるであろう全ての位置にチャプタ情報を付加したとしても、再生時において必ずしも希望する再生ポイントを簡単に指定することができるとは限らないという問題があった。
本発明は、チャプタ情報を複数のチャプタ種別に分類し、チャプタ種別毎にチャプタ情報の付加及びチャプタ情報を利用した再生を可能にすることにより、希望する再生位置を簡単に指定することができる画像記録再生装置及び内視鏡システムを提供することを目的とする。
本発明の一態様による画像記録再生装置は、入力された映像信号に基づく記録データを生成する記録データ生成部と、前記記録データ生成部において記録する映像信号にチャプタ情報を付加するための操作を受け付ける1つ以上の操作指示部に対する1人以上の操作に基づいて発生した信号を受信する操作入力部と、前記操作入力部が受信した信号を発生した操作指示部及びその操作を行った人の少なくとも一方を判別して判別結果を出力する操作系統判別部と、前記操作系統判別部の判別結果に基づくチャプタ種別のチャプタ情報を発生して前記記録データ生成部に与えることで、前記映像信号に前記チャプタ情報を関連付けた記録データを生成させる記録制御部とを具備する。
本発明の一態様による内視鏡システムは、上記画像記録再生装置と、内視鏡とを具備し、前記内視鏡は、前記操作指示部として機能する。
本発明の第1の実施の形態に係る画像記録再生装置を示すブロック図。 図1の画像記録再生装置が配置される内視鏡システムを示す説明図。 チャプタ情報テーブルの一例を示す説明図。 チャプタ情報メタデータの一例を示す説明図。 表示部62の表示画面62a上に表示される医療画像及びメニュー表示の表示例を示す説明図。 医療画像に付加して出力するチャプタ情報の一例を示す説明図。 第1の実施の形態の動作を説明するための説明図。 本発明の第2の実施の形態を説明するための説明図。 本発明の第2の実施の形態を説明するための説明図。 本発明の第2の実施の形態を説明するための説明図。 本発明の第2の実施の形態を説明するための説明図。 本発明の第3の実施の形態を示すブロック図。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る画像記録再生装置を示すブロック図である。また、図2は図1の画像記録再生装置が配置される内視鏡システムを示す説明図である。
本実施の形態はチャプタ情報を複数の種別(系統)に分類し、チャプタ種別(チャプタ系統ともいう)毎に人又は機器を対応付けてチャプタ情報を記録する。例えば、所定のチャプタ種別のチャプタ情報の記録を指定可能な機器を設定し、各機器と人とを対応付けておくことで、人毎(機器毎)に異なるチャプタ種別のチャプタ情報の記録を可能にするものである。
通常、手術室には、ドクター及びナースが複数人配置されて手技が行われるようになっており、手技中においては、各人が操作する機器は決まっていることが多い。本実施の形態においては、医療画像の記録時には、各人の機器の操作に応じて、対応するチャプタ種別のチャプタ情報を記録するようになっている。なお、本実施の形態においては、医療画像の記録の例を説明するが、記録する画像の種類は特に限定されるものではなく、医療機器に限らず各種画像の記録再生装置に適用可能である。
まず、図2を参照して手術室2における画像記録再生装置50の配置の様子を説明する。図2に示すように、手術室2内に配置される内視鏡システム3には、患者48が横たわる手術台10や電気メス装置13等の医療機器を制御するシステムコントローラ41が設けられている。手術室2には、第1カート11及び第2カート12が設けられており、第1カート11上にシステムコントローラ41が載置されている。
また、第1カート11には、被制御装置である医療機器として例えば電気メス装置13、気腹装置14、ビデオプロセッサ15及び光源装置16等の装置類と、二酸化炭素を充填したガスボンベ18が載置されている。ビデオプロセッサ15は、カメラケーブル31aを介して第1の内視鏡31に接続される。
光源装置16は、ライトガイドケーブル31bを介して第1の内視鏡31に接続される。また、第1カート11には、表示装置19、第1の集中表示パネル20、操作パネル49等が載置されている。表示装置19は、例えばビデオプロセッサ15からの内視鏡画像等を表示する、例えばTVモニタである。
集中表示パネル20は、手術中のあらゆるデータを選択的に表示させることが可能な表示手段となっている。操作パネル49は、例えば液晶ディスプレイ等の表示画面とこの表示画面上に一体的に設けられた例えばタッチセンサ等により構成され、非滅菌域にいる看護師等が操作する集中操作装置になっている。
集中制御装置であるシステムコントローラ41には、手術台10と無影灯6と電気メス装置13と気腹装置14とビデオプロセッサ15と光源装置16とが、図示しない通信線を介して接続されている。
また、第1カート11には、第1の内視鏡31や、電気メス装置13の処置具などに埋め込まれているIDタグにより、物の個別ID情報を無線にて読み取り/書き取りできるRFID(Radio Frequency Identification)端末35が設けられている。
一方、第2カート12には、被制御装置であるビデオプロセッサ23、光源装置24、画像処理装置25、表示装置26、第2の集中表示パネル27及び画像記録再生装置50が載置されている。ビデオプロセッサ23はカメラケーブル32aを介して第2の内視鏡32に接続される。光源装置24はライトガイドケーブル32bを介して第2の内視鏡32に接続される。
表示装置26は、ビデオプロセッサ23でとらえた内視鏡画像等を表示する。第2の集中表示パネル27は、手術中のあらゆるデータを選択的に表示させることが可能になっている。
これらビデオプロセッサ23と光源装置24と画像処理装置25と画像記録再生装置50とは、第2カート12に載置された中継ユニット28に図示しない通信線を介して接続されている。そして、この中継ユニット28は、中継ケーブル29によって、第1カート11に搭載されているシステムコントローラ41に接続されている。
こうして、システムコントローラ41は、これらの第2カート12に搭載されているビデオプロセッサ23、光源装置24、画像処理装置25及び画像記録再生装置50と、第1カート11に搭載されている、電気メス装置13、気腹装置14、ビデオプロセッサ15及び光源装置16と、手術台10とを集中制御することができるようになっている。システムコントローラ41は、システムコントローラ41とこれらの装置との間で通信が行われている場合、操作パネル49の表示画面上に、接続されている装置の設定状態や操作スイッチ等の設定画面を表示することができるようになっている。さらに、システムコントローラ41は、所望の操作スイッチが触れられて所定領域のタッチパネルが操作されることによって設定値の変更等の操作入力が行えるようになっている。
リモートコントローラ30は、滅菌域にいる執刀医等が操作する第2集中操作装置であり、通信が成立している他の装置を、システムコントローラ41を介して操作することができるようになっている。
また、システムコントローラ41には、通信手段である赤外線通信ポート(図示せず)が取り付けられている。この赤外線通信ポートは、表示装置19の近傍等の赤外線が照射しやすい位置に設けられ、システムコントローラ41との間がケーブルで接続されている。
このシステムコントローラ41は、ケーブル9により患者モニタシステム4に接続されており、患者モニタシステム4は生体情報を解析し、この解析結果を所要の表示装置に表示させることができる。
なお、手術室2内には、手術台10等の医療機器等を撮像するカメラ37も設けられている。カメラ37によって手術台10等の医療機器を撮像し、その撮像画像を解析することで、その動作状態を判定することが可能である。この判定結果やカメラ37による撮像画像はシステムコントローラ41に供給されるようになっている。
ビデオプロセッサ15,23は、それぞれ内視鏡31,32の出力に基づく内視鏡画像を生成することができるようになっている。ビデオプロセッサ15,23からの内視鏡画像は画像記録再生装置50に供給されるようになっている。また、ビデオプロセッサ15,23と画像記録再生装置50とは、図示しないネットワークを介して接続されており、ビデオプロセッサ15,23から検査情報を含む各種情報が画像記録再生装置50に供給されるようになっている(図1では省略)。なお、ビデオプロセッサ15,23と画像記録再生装置50とを接続するネットワークとしては、各種通信規格の通信回線を採用することができる。
本実施の形態においては、この各種通信規格の通信回線を経由して、手術室2内の各種機器からの操作信号を画像記録再生装置50に供給することができるようになっている。例えば、第1の内視鏡31,第2の内視鏡32に設けた各種スイッチの操作に基づく操作信号、電気メス装置13等の医療機器からの操作信号、図示しないフットスイッチの操作信号、操作パネル49の操作信号等の各種操作信号が画像記録再生装置50に供給される。
また、画像記録再生装置50には、ヘッドセット型のマイク33を接続できるようになっている。マイク33は装着者が発した音声を収音して音声信号を画像記録再生装置50に出力する。なお、図1では、1つのマイク33のみを示しているが、画像記録再生装置50には複数のマイク33を接続可能であり、画像記録再生装置50は、複数のマイク33からの音声を取得することができるようになっている。また、マイク33はケーブルにより有線接続された例を示しているが、Wi−Fi(登録商標)やブルートゥース(登録商標)等の無線伝送路を介して音声信号を画像記録再生装置50に伝送することができるものであってもよい。
また、手術室2内には、図示しない支持部材に支持されて、マイク34も設けられている。マイク34は、図示しないケーブルやWi−Fiやブルートゥース等の無線伝送路を介して画像記録再生装置50に接続されており、手術室2内の音声を収音して音声信号を画像記録再生装置50に供給することができるようになっている。
図1は図2中の画像記録再生装置50の具体的な構成の一例を示している。
画像記録再生装置50には、映像入力部52が設けられている。映像入力部52は、画像伝送に適したインターフェースであり、各種医療画像(映像信号)を取り込む。なお、映像入力部52は、DVI(Digital Visual Interface)端子、SDI(Serial Digital Interface)端子、RGB端子、Y/C端子、VIDEO端子等の種々の端子を採用することができる。映像入力部52は、例えば、ビデオプロセッサ15,23からの内視鏡画像や、超音波装置、術野カメラ、X線観測装置、ビデオプロセッサ15,23とは別の図示しない内視鏡プロセッサ等からの各種医療画像を取り込むことができる。
映像入力部52が取り込んだ医療画像は、記録データ生成部55に与えられる。記録データ生成部55は、入力された医療画像に対して所定のエンコード処理を行うことで、入力された医療画像を所定の画像形式の映像信号に変換する。例えば、記録データ生成部55は、入力された医療画像をMPEG2形式やMPEG−4AVC/H.264形式等の映像信号に変換して記録データとして出力することができるようになっている。
本実施の形態においては、記録データ生成部55は、記録制御部51に制御されて、記録データにチャプタ情報を付加することができるようになっている。例えば、記録データ生成部55は、記録データである画像ファイル中にメタ情報としてチャプタ情報を含めてもよく、また、画像ファイルとは別のチャプタ情報を含むファイルを生成してもよく、これらの2種類のチャプタ情報を記録するようになっていてもよい。
記録制御部51は、記録に関して画像記録再生装置50の各部を制御することができるようになっている。記録制御部51としては、図示しないCPU等のプロセッサによって構成されて、図示しないメモリに格納されたプログラムに従って動作して各部を制御するものであってもよく、フィールドプログラマブルゲートアレイ(FPGA)等によって構成されていてもよい。
本実施の形態においては、記録制御部51は、上述したように、チャプタ情報を複数のチャプタ種別に分類し、各チャプタ種別毎にチャプタ情報を設定するようになっている。記録制御部51は、このチャプタ種別毎のチャプタ情報の設定を操作入力部53及び操作系統判別部54の出力に基づいて行う。
操作入力部53は、各種伝送規格の通信回線を介して、操作指示部としての各種機器からの操作信号が与えられる。また、操作入力部53には、音声信号が入力されることもある。操作入力部53は、例えば、RS232C等のシリアル通信規格や所定の通信規格に対応した複数の入力ポートを備えており、例えば、上述した第1の内視鏡31,第2の内視鏡32に設けたスコープスイッチの操作に基づく操作信号、電気メス装置13等の医療機器からの操作信号、図示しないフットスイッチの操作信号、操作パネル49の操作信号等の各種操作信号を各入力ポートを介して受信するようになっている。操作入力部53は、各入力ポートを介して入力された操作信号を操作系統判別部54に出力するようになっている。
また、画像記録再生装置50には、LCD(液晶パネル)等により表示画面が構成された表示部62が設けられている。表示部62は、表示画面上に、映像入力部52を介して入力された医療画像や、後述する記憶部56に記憶された医療画像の再生画像を表示することができるようになっている。また、表示部62は、画像記録再生装置50の制御に関する各種メニュー画面を表示することもできるようになっている。
表示部62の表示画面上には、タッチパネル63が配設されている。タッチパネル63は、表示部62の表示画面上に表示されたメニュー画面に対するユーザのタッチ操作を受け付け、タッチ操作に基づく操作信号を操作入力部53に出力することができるようになっている。操作入力部53は、タッチパネル63に対するユーザ操作に基づく操作信号についても、操作系統判別部54に出力するようになっている。なお、画像記録再生装置50には、タッチパネル63以外の操作部が設けられていてもよく、その操作部からの信号も操作入力部53を介して操作系統判別部54に供給されるようになっている。
操作系統判別部54は、操作入力部53から入力された操作信号がタッチパネル63を含むいずれの機器の操作により発生したものかを判別(以下、操作系統の判別という)し、判別結果を記録制御部51に出力するようになっている。例えば、操作系統判別部54は、操作入力部53の入力ポートに対応した入力ポートを備え、操作入力部53は、操作信号が入力された入力ポートに対応する操作系統判別部54の入力ポートに、操作信号を与えるようにしてもよい。この場合には、操作系統判別部54は、いずれの入力ポートに操作信号が入力されたかによって、操作系統の判別を行ってもよい。
また、例えば、操作入力部53は、操作信号を操作系統判別部54に出力するのではなく、操作信号が入力された入力ポートに設定された番号の情報を操作系統判別部54に出力するようになっていてもよい。この場合には、操作系統判別部54は、入力された番号の情報に基づいて、操作入力部53の入力ポートに設定されている機器を判別し、操作系統の判別結果を記録制御部51に出力するようになっていてもよい。
また、操作系統判別部54は、操作信号に、当該操作信号を発生した機器のID情報が含まれている場合には、当該ID情報にもとづいて操作系統の判別を行い、判別結果を記録制御部51に出力するようになっていてもよい。
記録制御部51は、操作入力部53から操作信号が与えられ、この操作信号について、操作系統判別部54から与えられた判別結果に基づいて、チャプタ種別を決定する。即ち、記録制御部51は、同一の操作系統を示す判別結果が与えられた操作信号については同一のチャプタ種別を設定し、異なる操作系統を示す判別結果が与えられた操作信号については異なるチャプタ種別を設定する。
つまり、記録制御部51は、操作された機器に対応したチャプタ種別のチャプタ情報を生成する。記録制御部51は、図示しない内蔵タイマを用いて、記録データ生成部55による医療画像の記録時に時間情報を付加するようになっている。即ち、記録制御部51は、例えば記録データ生成部55の記録開始時刻を基準とした記録時間(記録位置)を把握している。記録制御部51は、操作系統判別部54から判別結果を受信する毎、即ち、操作入力部53に操作信号が入力される毎に、操作系統に対応したチャプタ種別のチャプタ情報を生成して、記録データ生成部55に出力するようになっている。チャプタ情報としては、操作された機器の情報と記録時間(記録位置)の情報とを含む。
記録データ生成部55は、映像入力部52からの医療画像に、記録制御部51からのチャプタ種別毎のチャプタ情報をメタデータ(以下、チャプタ情報メタデータ)として付加するか又は、映像入力部52からの医療画像とは別に、チャプタ種別毎のチャプタ情報を含むテーブル(以下、チャプタ情報テーブルという)を作成するようになっている。記録データ生成部55は、医療画像とチャプタ情報テーブルとを記録データとするか又はチャプタ情報メタデータを含む医療画像を記録データとして、生成した記録データを記憶部56に出力するようになっている。記憶部56としては、例えば、ハードディスク装置やメモリ媒体等を採用することができる。記憶部56は、記録制御部51に制御されて、記録データを画像ファイルとして記録する。
ところで、手術や検査等においては、医療機器を操作する人は決まっている場合が多い。例えば、内視鏡31,32のスコープスイッチを操作する人、フットスイッチを操作する人、タッチパネル63を操作する人は、相互に別の人であって決まった人であることが多い。このような場合には、操作信号を発生した機器を判別する操作系統の判別は、人の判別と考えてもよい。従って、この場合には、記録制御部51は、人毎に異なるチャプタ種別を設定してチャプタ情報を生成していると言ってもよい。
図3及び図4はチャプタ情報を説明するための説明図であり、図3はチャプタ情報テーブルの一例を示し、図4はチャプタ情報メタデータの一例を示している。
図3において、System1,System2,System3は、チャプタ種別を示しており、操作指示部としての機器又は人に対応する。図3の例では3つの機器(又は人)に対応した3つのチャプタ種別についてのチャプタ情報を示している。記録制御部51は、操作信号が入力される毎に、対応するチャプタ種別の欄に、例えば記録開始からの時間情報をチャプタ位置の情報として記述する。図3では、例えば、System2で指定されるチャプタ種別については、記録開始から7分40秒、22分12秒、30分15秒の位置にチャプタ情報が設定されていることを示している。
また、図4は図3のチャプタ情報テーブルと同一のチャプタ情報を有するチャプタ情報メタデータの例を示している。図4において図3のSystem1,System2,System3の3つのチャプタ種別を[Sys1Chapterlnfo]、[Sys2Chapterlnfo]、[Sys3Chapterlnfo]によって示している。記録制御部51は、操作信号が入力される毎に、対応するチャプタ種別の欄に、例えば記録開始からの時間情報をチャプタ位置の情報として記述する。図4では、例えば、[Sys2Chapterlnfo]で指定されるチャプタ種別については、一番目のチャプタ情報を示すSys02chap001=00:07:40によって、記録開始から7分40秒の位置にチャプタ情報が設定されたことを示している。同様に、Sys02chap002=00:22:12及びSys02chap003=00:30:15によって、22分12秒、30分15秒の位置にチャプタ情報が設定されていることを示している。
画像記録再生装置50には再生制御部61が設けられている。記録制御部61は、再生に関して画像記録再生装置50の各部を制御することができるようになっている。記録制御部61としては、図示しないCPU等のプロセッサによって構成されて、図示しないメモリに格納されたプログラムに従って動作して各部を制御するものであってもよく、フィールドプログラマブルゲートアレイ(FPGA)等によって構成されていてもよい。
再生制御部61は、記憶部56から記録データを読出して表示部62又は映像出力部64に出力することができる。再生制御部61は、記録データの読み出しに際して、操作入力部53からの操作信号に基づいて指定されたチャプタ種別(チャプタ系統)を指定することができるようになっている。再生制御部61によってチャプタ種別が指定されると、記憶部56は、指定されたチャプタ種別の情報のみを出力することができるようになっている。或いは、再生制御部61は、記憶部56からの記録データの読出しに際して、指定されたチャプタ種別のみを有効とする情報を付加して出力してもよい。
映像出力部64は入力された記録データ、即ち、チャプタ情報を含む医療画像が与えられ、チャプタを指定するためのメニュー表示を含む医療画像を外部モニタ66の表示画面上に表示させるようになっている。また、表示部62も同様に、チャプタ情報を含む医療画像が与えられ、チャプタを指定するためのメニュー表示を含む医療画像を表示画面上に表示させるようになっている。再生時には、このメニュー表示に対するタッチパネル63からの操作信号は操作入力部53を介して再生制御部61に供給される。再生制御部61は、タッチパネル63の操作に応じて、再生位置の移動や、チャプタ種別の選択等を行うことができる。例えば、チャプタによる再生位置の移動が指示されると、再生制御部61は、当該再生位置の医療画像を再生するように記憶部56を制御する。また、チャプタ種別の選択操作が行われた場合には、再生制御部61は、選択されたチャプタ種別のチャプタ情報を出力するように記憶部56を制御する。
図5は表示部62の表示画面62a上に表示される医療画像及びメニュー表示の表示例を示す説明図である。図5の左右に示す表示画面62aの表示例は、同一の医療画像についての同一の再生位置における表示を示している。
図5に示すように、表示画面62a上には、表示領域71が設けられると共に、チャプタ種別の選択のための種別選択表示72及び現在の再生位置及びチャプタ位置を示すタイムバー表示73が表示されている。表示領域71には、医療画像が表示される。種別選択表示72には、プルダウンメニュー中の選択されているチャプタ種別を示す選択表示72a及びチャプタ種別を選択するためのプルダウンメニューを表示させるためのマーク72bとが表示されている。
例えば、ユーザがマーク72b上をタッチ操作することで、再生制御部61は表示部62の表示を制御して、チャプタ種別を選択するためのプルダウンメニューを表示させることができる。ユーザが表示されたプルダウンメニューからチャプタ種別を選択するタッチ操作を行うことで、再生制御部61は記憶部56を制御して、選択されたチャプタ種別のチャプタ情報を選択して出力する。また、再生制御部61は表示部62の表示を制御して、選択されているチャプタ種別を示す選択表示72aを表示させる。図5の左側は、Sys1の表示によって図3のSystem1又は図4の[Sys1Chapterlnfo]のチャプタ種別が選択されていることを示しており、図5の右側は、Sys2の表示によって図3のSystem2又は図4の[Sys2Chapterlnfo]のチャプタ種別が選択されていることを示している。
また、表示画面62a上のタイムバー表示73は、表示領域71に表示されている医療画像について無地部分と塗り潰し部分との境界位置が現在の再生位置であることを示す再生位置表示73aと医療画像に付されたチャプタの位置を示すチャプタ位置表示73bとを含む。同一の医療画像の再生であっても、チャプタ種別のSystem1とSystem2とでは、チャプタ情報の付加位置が相互に異なり、図5の例では、System1のチャプタ種別については、現在の再生位置は2番目のチャプタの位置を過ぎているのに対し、System2のチャプタ種別については、現在の再生位置は2番目のチャプタの位置の手前である。
図5に示すように、ユーザの選択によって指定されたチャプタ種別に対応したタイムバー表示73を表示させると共に、指定されたチャプタ種別のチャプタ情報に基づく再生位置の制御が可能である。ユーザは、自分が操作した機器に対応したチャプタ種別のチャプタ情報を医療画像に付加して記録させることができると共に、当該チャプタ情報を指定して表示させることで、自分が機器の操作によって指定したチャプタ位置での頭出し再生を簡単に行うことができる。
なお、上記説明では、タッチパネル63を用いて、種別選択表示72上のタッチ操作を行うことで、チャプタ情報の切換えが可能である例を説明したが、再生制御部61は、機器からの操作信号に基づいて、チャプタ情報を切換えるようにしてもよい。例えば、再生時に、内視鏡31,32のスコープスイッチの操作を行った場合には、再生制御部61は、操作入力部53から当該操作に基づく操作信号を受信し、当該操作に対応したチャプタ種別のチャプタ情報を選択的に読み出すように、記憶部56を制御する。これにより、記録時にチャプタを指定する操作を行った機器を用いて、再生時に当該機器の操作に基づくチャプタ種別のチャプタ情報を用いた頭出し再生が可能となる。
再生制御部61は、記憶部56から記録データを読み出して記録データ生成部55に与え、記録データ生成部55において医療画像に付加するチャプタ情報を新たに生成した後、外部メディア書出し部65に出力させることができる。この場合には、再生制御部61は、操作入力部53からの操作信号に基づいてチャプタ種別(チャプタ系統)を指定することができるようになっている。即ち、再生制御部61は、記録データの外部機器への出力時にチャプタ種別が指定されると、記憶部56から指定されたチャプタ種別の情報のみを出力させることができるようになっている。例えば、ユーザはタッチパネル63の操作によって、外部機器に医療画像を出力する際に付加するチャプタ情報のチャプタ種別を指定することができる。なお、ユーザは、1つ以上のチャプタ種別を指定することができ、記録データ生成部55は、再生制御部61に制御されて、指定された全てのチャプタ種別のチャプタ情報を付加した医療画像を出力することができる。
図6は医療画像に付加して出力するチャプタ情報の一例を示す説明図である。図6の例は図4の[Sys1Chapterlnfo]のチャプタ種別が選択された場合の例を示している。図6においては、[ChapterInfo]中に図4のチャプタ情報Sys01chap001=00:05:25、Sys01chap002=00:19:36及びSys01chap003=00:30:03が記述されている。
外部メディア書出し部65は、記憶部56からの記録データを図示しない外部の記録媒体である外部メディア67に与えて記録させることができるようになっている。なお、外部メディア67としては、BD(ブルーレイディスク)、DVD、USBだけでなく、ネットワーク上のサーバ等を採用してもよく、また、それ以外の記録媒体を採用してもよい。
次に、このように構成された実施の形態の動作について図7を参照して説明する。図7は第1の実施の形態の動作を説明するための説明図である。
図7では縦軸に手技中、手技後及び閲覧時の時間をとり、手技中における動作と手技後及び閲覧時における動作を説明するものである。手技中には、画像記録再生装置50は、映像入力部52を介して入力された医療画像の記録を行う。記録データ生成部55は、記録制御部51に制御されて、医療画像の記録データを生成して記憶部56に与えて記憶させる。
いま、スコープスイッチは術者Aによって操作され、フットスイッチは術者Bによって操作され、画像記録再生装置50のタッチパネル63(本体操作)は看護師Cによって操作されるものとする。これらの操作に基づく操作信号は、画像記録再生装置50の操作入力部53に与えられる。
記録制御部54は、操作入力部53に入力される各操作の操作系統を判別して、判別結果を記録制御部51に出力する。記録制御部51は、各操作系統に対応したチャプタ種別のチャプタ情報を生成して、記録データ生成部55に与える。これにより、記録データ生成部55は、映像入力部52から入力される医療画像の記録時間に対応したチャプタ情報をチャプタ種別情報と共に記録する。なお、このチャプタ情報は、上述したように、チャプタ情報テーブル又はチャプタ情報メタデータとして記録される。こうして、術者A、術者B及び看護師Cは、各人が希望するタイミングで記録する医療画像にチャプタを付加することができる。
図7はこのチャプタ情報の記録の様子をタイムバー75Sys1,75Sys2,75Sys3によって示している。なお、図7では術者Aのスコープスイッチの操作によってチャプタ情報が付加される位置(時間)を、Sys1(スコープ)にて示すタイムバー75Sys1上のチャプタ位置表示76によって示し、術者Bのフットスイッチの操作によってチャプタ情報が付加される位置(時間)を、Sys2(フット)にて示すタイムバー75Sys2上のチャプタ位置表示76によって示し、看護師Cの本体操作によってチャプタ情報が付加される位置(時間)を、Sys3(本体)にて示すタイムバー75Sys3上のチャプタ位置表示76によって示している。
なお、記録データ生成部55により3つの医療画像が記録される訳ではなく、1つの医療画像について3つのチャプタ種別の情報を含むチャプタ情報が付加される。図7の例では、タイムバー75Sys1,75Sys2,75Sys3の無地の部分と塗り潰し部分の境界位置まで記録が行われている段階で、術者Aのスコープスイッチの操作によって、2箇所のチャプタ位置表示76にて示す時間にチャプタが付加され、術者Bのフットスイッチの操作によって、1箇所のチャプタ位置表示76にて示す時間にチャプタが付加され、看護師Cの本体操作によって、1箇所のチャプタ位置表示76にて示す時間にチャプタが付加されていることを示している。
手技が終了すると、例えば、ユーザ操作に基づいて、記録制御部51は、記録データ生成部55に記録の終了を指示する。これにより、記憶部56には、チャプタ情報をメタデータとして含む医療画像又はチャプタ情報がテーブルとして関連付けられた医療画像がファイル化されて記録される。
次に、手技後又は閲覧時に再生が行われるものとする。なお、図7では、手技後とは、例えば図2の各部が電気的に接続されたままの状態のことであり、内視鏡31,32からの操作信号が操作入力部53に供給可能な状態を示している。この場合には、チャプタ位置への頭出し等の再生指示を、タッチパネル63だけでなくこれらの機器の操作によって行うことも可能である。また、閲覧時とは、図2の各部の電気的な接続が解除された状態のことであり、チャプタ位置への頭出し等の再生指示は、タッチパネル63によって行われる。
再生制御部61は、例えば、タッチパネル63の操作によって再生が指示されると、表示部62の表示画面62a上に、図7の再生画像81、82又は83を表示させる。再生画像81〜83は、図5と同様の画像を示しており、医療画像の表示領域71の外に、チャプタ種別の選択のための種別選択表示72及びタイムバー表示73を含む。再生画像81は術者Aのスコープスイッチの操作に基づくチャプタ種別の表示に対応する画像であり、再生画像82は術者Bのフットスイッチの操作に基づくチャプタ種別の表示に対応する画像であり、再生画像83は看護師Cの本体操作に基づくチャプタ種別の表示に対応する画像である。
種別選択表示72によってSys1(スコープ)を選択することによって、術者Aは自身のスコープスイッチ操作によって付加したチャプタ情報を利用した頭出し再生が可能である。同様に、種別選択表示72によってSys2(フット)を選択することによって、術者Bは自身のフットスイッチ操作によって付加したチャプタ情報を利用した頭出し再生が可能である。また、種別選択表示72によってSys3(本体)を選択することによって、看護師Cは自身の本体操作によって付加したチャプタ情報を利用した頭出し再生が可能である。
なお、再生制御部61は、記録した医療画像を表示部62に表示する例を説明したが、外部モニタ66に表示させるようにしてもよい。この場合には、再生制御部61は、チャプタ情報が付加された医療画像を記憶部56から読み出して映像出力部64に出力する。映像出力部64は、入力された医療画像を外部モニタ66に与えて図7の画像81〜83と同様の表示を表示させる。この場合においても、外部モニタ66の図示しない操作部の操作又はタッチパネル63の操作によって、チャプタ種別の切換えや頭出し等の再生制御が可能である。
次に、例えば、タッチパネル63により、医療画像の外部機器への書き出しの指示するものとする。一般的な再生装置においては、複数のチャプタ種別を認識した頭出し制御を行うことはできない。そこで、この場合には、ユーザが希望するチャプタ種別のチャプタ情報を選択的に医療画像に付加する。再生制御部61は、操作入力部53から、チャプタ種別の指定を含む外部機器への書き出し要求が発生すると、指定されたチャプタ種別のチャプタ情報を選択的に医療画像に付加するための制御を行う。
即ち、記憶部56は、再生制御部61に制御されて、記録された医療画像を記録データ生成部55に出力すると共に、指定されたチャプタ種別のチャプタ情報のみを選択的に記録データ生成部55に出力する。記録データ生成部55は、指定されたチャプタ種別のチャプタ情報を医療画像に付加して外部メディア書出し部65に出力する。外部メディア書出し部65はチャプタ情報が付加された医療画像を外部メディア67に与えて記録する。
外部メディア67に記録された医療画像を一般的な再生装置において再生した場合でも、指定されたチャプタ種別のチャプタ情報に基づくチャプタ位置への頭出し再生が可能となる。なお、再生制御部61は、複数のチャプタ種別のチャプタ情報を選択して、医療画像に付加させるように制御を行ってもよい。
このように本実施の形態においては、各機器からの操作信号に基づいて、機器毎のチャプタ種別のチャプタ情報を生成して医療画像に付加する。これにより、各機器を操作する人が決まっている場合には、機器毎、即ち、人毎のチャプタ種別のチャプタ情報を記録することができ、再生時において、人毎(機器毎)の操作に応じたチャプタ位置での頭出し再生が可能となる。こうして、各ユーザは、自身の希望するタイミングで設定したチャプタを用いた頭出し再生が可能となり、閲覧や編集時の利便性を著しく向上させることができる。
(第2の実施の形態)
図8から図11は本発明の第2の実施の形態を説明するための説明図である。本実施の形態のハードウェア構成は図1と同様である。
第1の実施の形態においては、手術等において機器を操作する人が固定されているものと仮定し、機器に対応したチャプタ種別のチャプタ情報を記録することで、各ユーザ毎に自身が設定したチャプタ位置での頭出し再生を可能にした。これに対し、本実施の形態は、機器と、機器を操作する人とが1対1に対応しない場合においても、各ユーザが自身で設定したチャプタ位置での頭出しを可能にするようにしたものである。
本実施の形態においては、各機器から操作入力部53に入力される操作信号には、各機器を操作した人を特定するための情報が付加されている。例えば、タッチパネル63を操作する場合には、各ユーザは、自分を識別するID情報を入力した後チャプタを設定するための操作を行ってもよい。また、表示部62において、各ユーザ毎のGUI(グラフィカルユーザインタフェース)表示を表示させることで、タッチパネル63からの操作信号に各ユーザを識別する情報を付加するようになっていてもよい。また、内視鏡31,32のスコープスイッチの操作では、スコープスイッチのオン,オフを複数回行い、その回数によって操作者を特定する情報を得るようになっていてもよい。
操作系統判別部54は、操作入力部53の出力から、第1の実施の形態と同様の手法により入力された操作信号を発生した機器を判別すると同時にその操作者を判別し、判別結果を記録制御部51に出力するようになっている。記録制御部51は、チャプタ情報を機器毎で且つ人毎のチャプタ種別に分類し、判別結果に基づくチャプタ種別のチャプタ情報を発生して記録データ生成部55に出力する。即ち、チャプタ情報としては、操作された機器及びその操作者の情報と記録時間(記録位置)の情報とを含む。
記録データ生成部55は、映像入力部52からの医療画像に、記録制御部51からのチャプタ種別毎のチャプタ情報をチャプタ情報メタデータとして付加するか又は、映像入力部52からの医療画像とは別に、チャプタ種別毎のチャプタ情報を含むチャプタ情報テーブルを作成するようになっている。記録データ生成部55は、医療画像とチャプタ情報テーブルとを記録データとするか又はチャプタ情報メタデータを含む医療画像を記録データとして、生成した記録データを記憶部56に出力するようになっている。記憶部56は、記録制御部51に制御されて、チャプタ情報が付加された医療画像の記録データを画像ファイルとして記録する。
図8は第2の実施の形態におけるチャプタ情報テーブルの一例を示し、図9は第2の実施の形態におけるチャプタ情報メタデータの一例を示している。
図8において、System1,System2,System3は、機器の区別を示しており、また、ユーザは、各機器を操作した人の区別を示している。図8の例では3つの機器と3人のユーザに対応したチャプタ種別についてのチャプタ情報を示している。記録制御部51は、操作信号が入力される毎に、対応する機器を操作した人毎に割り当てたチャプタ種別の欄に、例えば記録開始からの時間情報をチャプタ位置の情報として記述する。図8では、例えば、System2で指定される機器を操作したユーザAのチャプタ種別については、記録開始から7分40秒及び22分12秒の位置にチャプタ情報が設定されていることを示している。なお、System2で指定される機器を操作したユーザCに対応したチャプタ種別については、記録開始から30分15秒の位置にチャプタ情報が設定されていることを示している。
また、図9は図8のチャプタ情報テーブルと同一のチャプタ情報を有するチャプタ情報メタデータの例を示している。図9において図8のSystem1,System2,System3の3つの機器を[Sys1Chapterlnfo]、[Sys2Chapterlnfo]、[Sys3Chapterlnfo]によって示している。記録制御部51は、操作信号が入力される毎に、対応する機器を操作した人毎に割り当てたチャプタ種別の欄に、例えば記録開始からの時間情報をチャプタ位置の情報として記述する。図9では、例えば、[Sys2Chapterlnfo]で指定されるチャプタ種別については、一番目のチャプタ情報を示すSys02_USER_Achap001=00:07:40によって、ユーザAがSystem2の機器を記録開始から7分40秒のタイミングで操作したことでチャプタ情報が設定されたことを示している。同様に、Sys02_USER_Cchap003=00:30:15によって、記録開始から30分15秒の位置にユーザCがSystem2の機器を操作することで、チャプタ情報を設定したことを示している。
再生制御部61は、チャプタ情報テーブル又はチャプタ情報メタデータを利用することで、各ユーザ毎、各機器毎のチャプタ情報を用いた頭出し再生が可能である。例えば、再生制御部61は、ユーザAが操作した全ての機器によるチャプタ位置で頭出し再生が可能であり、また、全てのユーザが操作したSystem1の機器からの操作信号に基づくチャプタ位置での頭出し再生も可能である。また、再生制御部61は、所定のユーザが操作した所定の機器によるチャプタ情報に従って、頭出し再生することも可能である。
図10は図5に対応した表示であって、再生時の画像表示の一例を示すものであり、例えば表示部62の表示画面62a上に表示される医療画像及びメニュー表示の表示例を示している。図10において図5と同一の表示については同一符号を付して説明を省略する。図10の左右に示す表示画面62aの表示例は、同一の医療画像についての同一の再生位置における表示を示している。
図10に示すように、本実施の形態においては、ユーザ選択表示77が設けられている。表示画面62aに表示された種別選択表示72は、機器を選択するためのものであり、System1〜System3のいずれか又は全てを指定することができるようになっている。また、ユーザ選択表示77は、ユーザを選択するためのものであり、ユーザA〜ユーザCのいずれか又は全てを指定することができるようになっている。
図10の左側は、ユーザBがSystem1で示す機器を操作して設定したチャプタ情報を利用するための表示を示しており、図10の右側は、ユーザAがSystem2で示す機器を操作して設定したチャプタ情報を利用するための表示を示している。種別選択表示72及びユーザ選択表示77を用いた選択操作によって、例えばSystem1で示す機器の操作によって設定された全てのチャプタ情報を用いた再生を可能にすることもでき、また、例えばユーザAが操作した全ての機器からの操作信号に基づいて設定された全てのチャプタ情報を用いた再生を可能にすることもできる。
また、再生制御部61は、記憶部56及び記録データ生成部55を制御して、任意のチャプタ種別を付加した医療画像を外部メディア書出し部65に与えて外部機器に出力させることが可能である。
図11は医療画像に付加して出力するチャプタ情報の一例を示す説明図である。図11の例は図9の[Sys1Chapterlnfo]の全てのユーザのチャプタ種別が選択された場合の例を示している。外部機器への書き出しの際にも、再生制御部61は、ユーザ毎や機器毎やユーザ及び機器毎等の任意のチャプタ種別を指定することが可能である。
他の構成及び作用は、第1の実施の形態と同様である。
このように本実施の形態においては、第1の実施の形態と同様の効果を得ることができる。更に、本実施の形態においては、ユーザとユーザが操作する機器とが1対1に対応していない場合でも、ユーザ毎、機器毎或いはユーザ及び機器毎のチャプタ種別を設定してチャプタ情報を医療画像に付加することができる。これにより、ユーザは、自身が設定した希望するチャプタ位置での頭出し再生等が可能である。
(第3の実施の形態)
図12は本発明の第3の実施の形態を示すブロック図である。図12において図1と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は音声入力によってチャプタ情報の付加を可能にしたものである。
本実施の形態においては、画像記録再生装置50には音声取得部81が設けられている。音声取得部81には、マイク33,34等からの音声信号(音声1、音声2、音声3)が入力される。音声取得部81は、入力される音声信号の伝送路が有線の場合にはケーブルが接続されるコネクタ等により構成され、入力される音声信号の伝送路が無線の場合には無線信号を受信するアンテナや受信機等により構成されて、入力された音声信号を取り込んで音声解析部82に出力する。
音声取得部81により取得された音声信号は操作系統判別部54に供給される。操作系統判別部54は、各音声信号がいずれのマイクにより収音されたものであるかを検出可能である。例えば、操作系統判別部54は、音声信号の伝送が有線で行われる場合には、各ケーブルに接続されたコネクタによっていずれのマイクにより収音された音声信号であるかを検出することができ、音声信号の伝送が無線で行われる場合には、例えば無線通信の確立時に取得した機器ID等によっていずれのマイクにより収音された音声信号であるかを検出することができる。
音声解析部82は、入力された音声に対する解析処理を行って音声解析結果を得る。例えば、音声解析部82は、予めシステムに用意されている音響モデル、単語辞書及び言語モデル等を利用して音声認識を行う。例えば、音声解析部82は、音声認識処理によって、マイク33,34等によって収音したドクターやナースの発話内容を解析し、ドクターやナースが発話した単語や会話の音声認識結果を取得して解析結果として判定部83に出力する。判定部83は、マイク33,34等による収音音声がいずれの人の声であるかを判定して判定結果を記録制御部51に出力するようになっている。
こうして、記録制御部51には、操作系統判別部54から収音に用いられたマイクの判別結果が与えられ、判定部83から発声した人の判定結果が与えられる。記録制御部51は、判定部83から人の声の判定結果が得られる毎に、マイク(機器)毎で且つ人毎のチャプタ種別のチャプタ情報を生成して出力する。
他の構成及び作用は第2の実施の形態と同様である。
このように本実施の形態においては、人の声及び人が収音に用いたマイクを判別することで、機器毎及び人毎のチャプタ種別のチャプタ情報を医療画像に付加することが可能であり、第2の実施の形態と同様の効果を得ることができる。また、本実施の形態では、チャプタ情報の設定を声で行うことができ、術者等は手技自体に集中することができるという利点がある。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
例えば、実施形態において、部(セクションやユニット)として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイクロプロセッサ及びCPU等のプロセッサ、あるいはシーケンサを組み合わせて構成されてもよい。
本発明は、画像を記録する画像記録再生装置、画像記録方法及び内視鏡システムに関する。
本発明の一態様による内視鏡システムは、上記画像記録再生装置と、内視鏡とを具備し、前記内視鏡は、前記操作指示部として機能する。
本発明の一態様による画像記録方法は、入力された映像信号に基づく記録データを生成し、前記記録データに記録される映像信号にチャプタ情報を付加するための操作を受け付ける1つ以上の操作指示に対する1人以上の操作に基づいて発生した信号を操作入力信号として受信し、前記操作入力信号を前記操作指示及びその操作を行った人の少なくとも一方を判別して操作系統の判別結果を出力し、前記操作系統の判別結果に基づくチャプタ種別のチャプタ情報を発生して前記記録データに与えることで、前記映像信号に前記チャプタ情報を関連付けた記録データを生成させる。

Claims (14)

  1. 入力された映像信号に基づく記録データを生成する記録データ生成部と、
    前記記録データ生成部において記録する映像信号にチャプタ情報を付加するための操作を受け付ける1つ以上の操作指示部に対する1人以上の操作に基づいて発生した信号を受信する操作入力部と、
    前記操作入力部が受信した信号を発生した操作指示部及びその操作を行った人の少なくとも一方を判別して判別結果を出力する操作系統判別部と、
    前記操作系統判別部の判別結果に基づくチャプタ種別のチャプタ情報を発生して前記記録データ生成部に与えることで、前記映像信号に前記チャプタ情報を関連付けた記録データを生成させる記録制御部と、
    を具備したことを特徴とする画像記録再生装置。
  2. 前記チャプタ情報は、前記判別結果によって与えられた前記操作指示部及びその操作を行った人の少なくとも一方の情報と前記記録データの記録開始からの時間情報とを含む
    ことを特徴とする請求項1に記載の画像記録再生装置。
  3. 前記記録制御部は、前記チャプタ情報を含むテーブルを生成して前記記録データと共に記録させる
    ことを特徴とする請求項1に記載の画像記録再生装置。
  4. 前記記録制御部は、前記チャプタ情報を前記記録データのメタデータとして記録させる
    ことを特徴とする請求項1に記載の画像記録再生装置。
  5. 前記操作系統判別部は、前記操作入力部の複数の入力ポートのうちいずれの入力ポートに入力された信号であるかによって前記判別を行う
    ことを特徴とする請求項1に記載の画像記録再生装置。
  6. 前記操作系統判別部は、前記操作入力部が受信した信号に含まれる情報に基づいて前記判別を行う
    ことを特徴とする請求項1に記載の画像記録再生装置。
  7. 前記チャプタ情報が関連付けて記録された記録データの再生を制御するものであって、前記チャプタ情報のうちユーザによって指定されたチャプタ種別のチャプタ情報のみを再生制御に用いる再生制御部
    を更に具備したことを特徴とする請求項1に記載の画像記録再生装置。
  8. 前記再生制御部は、表示部に、前記チャプタ情報のうちいずれのチャプタ種別のチャプタ情報を再生制御に用いるかを選択するための選択表示を表示させる
    ことを特徴とする請求項7に記載の画像記録再生装置。
  9. 前記再生制御部は、前記表示部に、前記記録データに基づく画像と共に前記ユーザによって指定されたチャプタ種別のチャプタ情報の記録位置を示すタイムバー表示を表示させる
    ことを特徴とする請求項8に記載の画像記録再生装置。
  10. 前記記録制御部は、手技中に前記チャプタ情報を前記記録データに付加して記録させ、
    前記再生制御部は、前記手技の終了後に、前記チャプタ種別のうち所定のチャプタ種別を選択して再生制御に用いる
    ことを特徴とする請求項7に記載の画像記録再生装置。
  11. 前記再生制御部は、前記操作指示部に対する操作が行われると、当該操作指示部に応じたチャプタ種別のチャプタ情報を再生制御に用いるために選択する
    ことを特徴とする請求項7に記載の画像記録再生装置。
  12. 前記チャプタ情報が関連付けて記録された記録データの再生を制御するものであって、前記チャプタ情報のうちユーザによって指定されたチャプタ種別のチャプタ情報のみを有効にした前記記録データを出力する再生制御部
    を更に具備したことを特徴とする請求項1に記載の画像記録再生装置。
  13. 複数の音声情報を取得する音声取得部を更に具備し、
    前記操作系統判別部は、前記音声取得部により取得された音声情報に基づいて、前記判別を行う
    ことを特徴とする請求項1に記載の画像記録再生装置。
  14. 請求項1から13のいずれか1つに記載の画像記録再生装置と、
    内視鏡とを具備し、
    前記内視鏡は、前記操作指示部として機能する
    ことを特徴とする内視鏡システム。
JP2020538003A 2018-08-24 2018-08-24 画像記録再生装置、内視鏡システム及び画像記録再生装置の作動方法 Active JP7143421B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/031439 WO2020039593A1 (ja) 2018-08-24 2018-08-24 画像記録再生装置及び内視鏡システム

Publications (2)

Publication Number Publication Date
JPWO2020039593A1 true JPWO2020039593A1 (ja) 2021-08-12
JP7143421B2 JP7143421B2 (ja) 2022-09-28

Family

ID=69592978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538003A Active JP7143421B2 (ja) 2018-08-24 2018-08-24 画像記録再生装置、内視鏡システム及び画像記録再生装置の作動方法

Country Status (4)

Country Link
US (1) US11483515B2 (ja)
JP (1) JP7143421B2 (ja)
CN (1) CN112640442A (ja)
WO (1) WO2020039593A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021191320A (ja) * 2018-09-11 2021-12-16 ソニーグループ株式会社 手術支援システム、表示制御装置、および表示制御方法
JP7403895B1 (ja) 2023-05-10 2023-12-25 株式会社クオトミー 施術動画のタグ付け装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005040223A (ja) * 2003-07-24 2005-02-17 Olympus Corp 医療用画像表示装置
JP2006122375A (ja) * 2004-10-29 2006-05-18 Toshiba Corp 手術記録装置及び脳機能検査装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4272753B2 (ja) 1999-06-22 2009-06-03 キヤノン株式会社 再生装置及びその制御方法、並びにコンピュータ読み取り可能な記憶媒体
JP2006271870A (ja) 2005-03-30 2006-10-12 Olympus Medical Systems Corp 内視鏡用画像処理装置
JP2006271871A (ja) 2005-03-30 2006-10-12 Olympus Medical Systems Corp 内視鏡用画像処理装置
JP2006332856A (ja) * 2005-05-24 2006-12-07 Funai Electric Co Ltd 再生装置
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
CN103475837B (zh) * 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
JP2010123204A (ja) * 2008-11-20 2010-06-03 Toshiba Corp 映像記録再生装置および映像記録再生方法
US8555169B2 (en) * 2009-04-30 2013-10-08 Apple Inc. Media clip auditioning used to evaluate uncommitted media content
CN102404609A (zh) * 2010-09-15 2012-04-04 日立民用电子株式会社 发送装置及接收装置
JP5378612B2 (ja) 2011-05-30 2013-12-25 オリンパスメディカルシステムズ株式会社 医療情報記録装置
EP2800363B1 (en) * 2011-12-28 2019-07-03 Panasonic Corporation Recording device for moving image data, and message display method
JP2014033931A (ja) * 2012-08-10 2014-02-24 Hoya Corp 内視鏡装置
JP6143446B2 (ja) * 2012-12-05 2017-06-07 キヤノン株式会社 印刷設定装置及びその制御方法、並びにプログラム
WO2016084779A1 (ja) * 2014-11-27 2016-06-02 オリンパス株式会社 画像再生装置および画像再生プログラム
US10401975B2 (en) * 2016-01-26 2019-09-03 Imaging Advantage Llc System and method for medical imaging report input
JP6608111B2 (ja) * 2016-09-28 2019-11-20 富士フイルム株式会社 医用画像保存再生装置および方法並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005040223A (ja) * 2003-07-24 2005-02-17 Olympus Corp 医療用画像表示装置
JP2006122375A (ja) * 2004-10-29 2006-05-18 Toshiba Corp 手術記録装置及び脳機能検査装置

Also Published As

Publication number Publication date
CN112640442A (zh) 2021-04-09
JP7143421B2 (ja) 2022-09-28
WO2020039593A1 (ja) 2020-02-27
US11483515B2 (en) 2022-10-25
US20210203875A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
JP5347089B1 (ja) 医療情報記録装置
JP5690450B2 (ja) 画像記録装置
JP6177462B2 (ja) 画像記録装置
WO2018163600A1 (ja) 医療情報管理装置、医療情報管理方法、及び医療情報管理システム
JP2004181229A (ja) 遠隔手術支援システム及び支援方法
WO2019181432A1 (ja) 手術支援システム、情報処理装置、及びプログラム
US20160323514A1 (en) Medical video recording and reproducing system and medical video recording and reproducing device
US11483515B2 (en) Image recording and reproduction apparatus, image recording method, and endoscope system
US8154589B2 (en) Medical operation system for verifying and analyzing a medical operation
US10275905B2 (en) Color integration system for medical images and recording and color management apparatus for medical images
WO2011152489A1 (ja) 画像記録システム及び画像記録方法
JP6099849B1 (ja) 医療システム
WO2019097804A1 (ja) 画像記録装置及び画像記録方法
JP7451707B2 (ja) 制御装置、データログの表示方法及び医療用集中制御システム
US20230149100A1 (en) Control apparatus, medical central control system, and surgery-related information display method
JP6912925B2 (ja) 画像記録再生装置及び内視鏡システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220914

R151 Written notification of patent or utility model registration

Ref document number: 7143421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151