JP5905168B2 - 医療用動画記録再生システム及び医療用動画記録再生装置 - Google Patents

Description

本発明は、医療機器にて撮像した医療用の動画を記録し、記録した動画や撮像中の動画を再生する医療用動画記録再生システム及び医療用動画記録再生装置に関する。

従来は、内視鏡検査において前回の検査で発見した患部を再度確認するために、過去の検査で撮像した内視鏡映像の中から、患部の画像を探し出して静止画像をＰｉｎＰ（ピクチャーインピクチャー）表示している。あるいは、ＶＴＲで記録した内視鏡映像をＰｉｎＰ表示している。術者は、ＰｉｎＰ表示した患部の静止画像や過去の内視鏡映像を参照して、今回の検査で対応する箇所を探し出し、前回に比べて患部がどのように変化しているかを見て診断等を行う。

短期間かつ簡単な操作で有益な動画を表示、再生することができる医療画像記録装置に関しては、取得した医療用の動画の中から特徴点を検出し、動画の再生時には、特徴点を検出した時点から動画を再生する技術が開示されている（例えば、特許文献１）。

特開２０１１−３６３７０号公報

過去に撮像して得られた映像を再生しながら内視鏡検査を行い、過去の映像のうち、患部の現れている箇所で再生を停止させて、撮像中の映像の対応する箇所と比較をする方法では、過去の映像を停止させる操作は、内視鏡装置に接続されたキーボード等を介して行う。このため、減菌域で検査を行っている術者自身は、過去の映像の再生を停止させるための操作を行うことができず、不潔域にいる術者以外の者がこれを行う必要がある。

また、上記の特許文献１に記載された技術によれば、過去の動画の中から特徴点の検出された箇所から再生がなされる。検査開始からの映像を再生するものではないため、術者にとっては、挿入経路がつかみにくく、内視鏡検査において患部の箇所を探すのに手間取ることがある。

このように、内視鏡装置のユーザである術者にとっては、操作性が高く、かつ内視鏡検査にて患部までの挿入経路をイメージし易くすることのできる技術が求められている。

本発明は、内視鏡検査において、高操作性を有し、且つ患部までの挿入経路を把握し易くすることを可能とする技術を提供することを目的とする。

本発明の一態様によれば、医療用動画データの記録及び再生を行う医療用動画記録再生システムであって、被検体を撮像して撮像信号を取得する撮像部と、前記撮像信号に基づいて、前記被写体の動画データを生成する動画データ生成部と、前記動画データを構成するフレームのうち、指定されたフレームに対して前記被写体の画像として特徴を有する画像であることを示す特徴点情報を生成する特徴点情報生成部と、前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部と、前記記録部から読み出した１以上の動画データに基づき、少なくとも１つの過去の動画の再生を制御する再生制御部と、前記動画データ生成部において生成したライブの動画データと前記再生制御部から与えられる過去の動画データとを、前記ライブの動画データに基づくライブ動画と前記過去の動画データに基づく過去動画とが同時に表示されるように合成した合成画像データを生成して、得られた合成画像データを出力する合成部と、前記合成部から出力された前記合成画像データに基づく合成画像を表示する表示部と、を有し、前記再生制御部は、前記過去の動画データの前記特徴点情報の付されたフレームにおいて、再生を一時停止させる制御を行うことを特徴とする。

また、本発明の他の一態様によれば、医療用動画データの記録及び再生を行う医療用動画記録再生装置であって、被検体を撮像して撮像信号を取得する撮像部と、前記撮像信号に基づいて、前記被写体の動画データを生成する動画データ生成部と、前記動画データを構成するフレームのうち、指定されたフレームに対して前記被写体の画像として特徴を有する画像であることを示す特徴点情報を生成する特徴点情報生成部と、前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部から読み出した１以上の動画データに基づき、少なくとも１つの過去の動画の再生を制御する再生制御部と、前記動画データ生成部において生成したライブの動画データと前記再生制御部から与えられる過去の動画データとを、前記ライブの動画データに基づくライブ動画と前記過去の動画データに基づく過去動画とが同時に表示されるように合成した合成画像データを生成して、得られた合成画像データを表示部に出力する合成部と、を有し、前記再生制御部は、前記過去の動画データの前記特徴点情報の付されたフレームにおいて、再生を一時停止させる制御を行うことを特徴とする。

本発明によれば、内視鏡検査において、高操作性を有し、且つ術者が患部までの挿入経路を把握し易くなる。

医療用動画記録再生システムの全体構成図である。 医療用動画記録再生システムの全体ブロック図である。 合成部にて合成して得られた合成画像データに基づきモニタに表示した合成画像を例示する図である。 内視鏡観察装置のビデオプロセッサにおける合成部の詳細ブロックを示す図である。 表示モードの選択画面を例示する図である。 表示モードの具体例を示す図である。 モニタへの表示形態の変更例について説明する図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
図１は、本実施形態に係る医療用動画記録再生システムの全体構成図である。図１に示す医療用動画記録再生システム１００は、内視鏡観察装置１、モニタ２、スコープ３、画像ファイリングサーバー（以下サーバーと略記）４、キーボード５、無線ＬＡＮ（Local Area Network）６及びタブレットＰＣ（Personal Computer）７を有する。

図１の医療用動画記録再生システム１００は、内視鏡検査においてスコープ３にて取得した撮像信号を、内視鏡観察装置１にて必要な処理を施し、動画データを得る。得られた動画データは、サーバー４に記録する。サーバー４に記録した動画データは、読み出して内視鏡観察装置１のビデオプロセッサにて処理し、モニタ２にて再生することもできる。内視鏡検査や動画データの記録、再生に必要な各種情報の入力や設定は、スコープ３の操作スイッチ、キーボード５、タブレットＰＣ７等の各種の入力手段を介して行うことができる。

医療用動画記録再生システム１００を構成する各装置のうち、内視鏡観察装置１は、ビデオプロセッサ、光源装置、モニタ２等の装置がトローリー状に組まれた装置であり、スコープ３で取得した医療用動画に必要な処理を施し、モニタ２に出力表示させる。

スコープ３は、その先端部が被検体の体腔内に挿入されて、取得した体腔内の撮像信号を内視鏡観察装置１に出力する。モニタ２は、内視鏡観察装置１のビデオプロセッサにて撮像信号処理して得られた動画データを内視鏡観察装置１から受信して、画面上に動画を表示させる。

サーバー４は、無線ＬＡＮルータ６を介して内視鏡観察装置１において画像処理して得られた動画データを受信し、受信した動画データを記録する。本実施形態においては、サーバー４は、動画データに、被検体すなわち患者を識別する患者情報や、動画データのうち術者等が指定してフレーム画像を表す特徴点情報を関連付けて記録する。特徴点情報の詳細については、図２等を参照して後に詳しく説明する。

なお、図１に示すように、本実施形態においては、内視鏡観察装置１、サーバー４及びタブレットＰＣ７は、互いに無線ＬＡＮを介して接続される構成であるが、これに限定されず、有線ＬＡＮにて接続される構成としてもよい。また、各装置間のネットワークは、ＬＡＮに限定されず、公知の各種のネットワークを使用してもよい。

キーボード５は、接続されている内視鏡観察装置１に対して、各種の設定や指示を入力するための入力手段の一つである。キーボード５から入力する設定や指示としては、内視鏡検査に関する設定や指示のほか、動画データの再生やその停止等の動画データのモニタ２における再生に関する指示や、特徴点情報の付与等の指示を含む。

タブレットＰＣ７は、キーボード５と同様に、動画データのモニタ２における再生に関する指示や、特徴点情報の付与等の指示を入力するための入力手段の一つである。
本実施形態に係る医療用動画記録再生システム１００では、内視鏡検査において、まず、内視鏡観察装置１が、これから検査を行おうとしている患者を識別する患者情報を元に、サーバー４に患者情報の一致する動画データがすでに記録されていか否かを確認する。サーバー４に患者情報の一致する動画データが記録されているときは、その動画データを、無線ＬＡＮルータ６を介して内視鏡観察装置１に送信する。内視鏡観察装置１は、スコープ３から受信した動画をライブでモニタ２に表示し、これとともに、サーバー４から受信して自装置のメモリ等に保存した動画データに基づき、過去の動画をモニタ２に表示させる。モニタ２には、過去の動画が再生されるとともに、スコープ３にて撮像中のライブ動画が表示されることとなる。術者は、スコープ３を患者の体腔内に挿入していき、精査を要する箇所、すなわち過去の動画で患部等の現れている箇所を過去の動画を参照して判断し、観察を行う。

動画の再生、停止、早送り及び巻き戻し等の操作は、スコープ３の術者の手元に位置する操作スイッチや図１においては不図示の足元のフットスイッチ、不潔域にいるスタッフ等が操作するキーボード５を介して行うことができる構成とする。この他にも、例えば、サーバー４に記録された動画を検査後に再確認する際には、タブレットＰＣ７等を介して行うことも可能な構成とする。上記のとおり、特徴点情報を動画データに付与する操作についても、これらの手段を用いて行うことが可能である。

本実施形態に係る医療用動画記録再生システム１００によれば、内視鏡検査において、患部部等の現れているフレーム画像と上記の特徴点情報とを関連付けて記録しておく。後日再度の内視鏡検査を行うときには、サーバー４から読み出してモニタ２に過去の動画を再生、表示し、特徴点情報の付与されているフレーム画像の箇所で、過去の動画の再生を一時停止させる。医療用動画記録再生システム１００が特徴点情報を動画データに付与し、これを後の検査において利用する方法について、以下に具体的に説明する。

図２は、本実施形態に係る医療用動画記録再生システム１００の全体ブロック図である。なお、図２においては、医療用動画記録再生システム１００の構成として、図１のキーボード５や無線ＬＡＮルータ６は省略し、フットスイッチ８及びＵＳＢ（Universal Serial Bus）メモリ９を追加している。また、図２においては、本実施形態に係る医療用動画の記録や再生の方法に係わる構成のみを記載し、他の構成については記載を省略している。

スコープ３は、撮像部３１、スコープスイッチ３２及び処置具挿入検知部３３を有する。撮像部３１は、レンズやＣＣＤ（Charge Coupled Device）を有し、被検体の撮像信号を取得する。スコープスイッチ３２は、術者が手元で使用する操作部に配置され、内視鏡検査の各種操作や、撮像中の動画の特徴点情報の付与の指示を内視鏡観察装置１のビデオプロセッサ５０に対して与える。処置具挿入検知部３８は、例えば、スコープ３先端に設けられた鉗子孔に設けられるセンサーからなり、センサーにより、ユーザである術者が、鉗子孔を通じて鉗子を利用したことを検知する。処置具挿入検知部３８の検知結果の利用法については、第１の変形例の説明において詳しく述べることとする。

フットスイッチ８は、内視鏡検査や手術におけるスコープ３の操作や、動画の再生や特徴点情報の付与に関する各種の操作の入力をするために使用する。

タブレットＰＣ７は、音声入力受信部７１及び音声入力送信部７２を有する。本実施形態においては、タブレットＰＣ７は、音声入力受信部７１にてユーザの音声入力を受け付けると、音声入力送信部７２は、タブレットＰＣ７に入力された音声データを、ビデオプロセッサ５０に向けて送信する。ビデオプロセッサ５０は、タブレット通信部２２を通じてタブレットＰＣ７の音声入力送信部７２から送信された音声データを受信する。

なお、音声データを受信したビデオプロセッサ５０は、図２においては不図示の解析部にて音声データを解析して必要な情報を取得し、取得した情報を、ビデオプロセッサ５０を構成する各部へと与える。また、タブレットＰＣ７とビデオプロセッサ５０との通信は、図２に例示する音声データの通信に限定されるものではない。

内視鏡観察装置１のビデオプロセッサ５０は、画像処理部１１、合成部１２、記録用動画データ生成部１３、動画記録領域１４、デコーダ１５、再生制御部１６、トリガ識別部１７、トリガ種別情報生成部１８、フレーム番号データ生成部１９、タイムスタンプ生成部２０、挿入長データ生成部２１、タブレット通信部２２、挿入長検知部２３、特徴点情報生成部２４及び特徴点情報記録領域２５及びプロセッサ内部メモリ２６を有する。ビデオプロセッサ５０は、スコープ３の撮像部３１で撮像して得られた撮像信号に対し必要な処理を施して動画データを得て、モニタ２に動画データを出力する。

ビデオプロセッサ５０のうち、画像処理部１１は、スコープ３から入力された撮像信号に必要な画像処理を施し、動画データを得る。合成部１２は、画像処理部１１から入力された動画データ、すなわちライブ動画のデータと、サーバー４やＵＳＢメモリ９から読み出した過去の動画データとを、ライブ動画データに基づくライブ動画と過去の動画データに基づく過去動画とが同時にモニタ２に表示されるように合成した合成画像データを生成して、これをモニタ２に送信する。

記録用動画データ生成部１３は、例えばエンコーダからなり、画像処理部１３から入力された動画データに対してエンコード等の必要な処理を施す。記録用動画データには、上述の特徴点情報のほか、フレーム番号やタイムスタンプ、スコープ３の挿入長等の各種情報を関連付けて記録してもよい。

動画記録領域１４は、記録用動画データ生成部１３で生成した記録用の動画データや、あるいは、サーバー４やＵＳＢメモリ９から読み出した動画データを一時的に保持するための領域である。

デコーダ１５は、動画記録領域１４に保持されている動画データをデコードする。デコードされた動画データは、再生制御部１６に与えられる。
再生制御部１６は、デコーダ１５においてデコードした動画データ及びこれに関連付けられた特徴点情報に基づき、過去の動画の再生を制御する。再生制御部１６は、再生を制御している過去の動画のデータを、特徴点情報とともに、合成部１２に出力する。

ビデオプロセッサ５０のうち、特徴点情報の生成に係わる構成について説明する。
トリガ識別部１７は、特徴点情報をこれと対応するフレーム画像に関連付ける際のトリガとなるユーザの操作を認識する。トリガとなるユーザの操作は、スコープスイッチ３２、フットスイッチ８、タブレットＰＣ７、及び図２においては不図示の図１のキーボード５等の操作をいう。タブレットＰＣ７との通信は、上述のとおり、タブレット通信部２２を介して行う。

トリガ種別情報生成部１８は、トリガ識別部１７にて認識したユーザの操作が、いずれの手段により入力されたかを表す情報を生成する。トリガ種別情報は、具体的には、例えばスコープ３（のスコープスイッチ３２や処置具挿入検知部３３）、フットスイッチ８、タブレットＰＣ７、キーボード５等である。

フレーム番号データ生成部１９は、スコープ３等から特徴点情報付与の操作がなされると、対応するフレーム画像のフレーム番号を表すデータを生成する。タイムスタンプ生成部２０は、特徴点情報付与の操作がなされた日時を検出し、タイムスタンプを生成する。挿入長データ生成部２１は、挿入長検知部２３にて検知した特徴点情報付与の操作がなされたタイミングにおけるスコープ３の挿入長に基づき、スコープ３の挿入長データを生成する。挿入長データ生成部２１において、挿入長検知部２３の検知結果より挿入長データを生成する技術については、公知の技術を用いている。挿入長データの具体的な利用方法については、第２の変形例の説明において詳しく述べることとする。

特徴点情報生成部２４は、トリガ種別情報生成部１８、フレーム番号データ生成部１９、タイムスタンプ生成部２０及び挿入長データ生成部２１から入力されるデータより、特徴点情報を生成する。特徴点情報は、術者その他の医療用動画記録再生システム１００のユーザがスコープスイッチ３２等を操作したタイミングに対応するフレーム画像のフレーム番号、タイムスタンプ、スコープ３の挿入長等を含む。特徴点情報は、これ以外の情報を含んでもよいし、この中の一部を含む構成であってもよい。特徴点情報の付与されたフレーム画像は、ユーザが動画の中から指定した、患部等の現れているフレーム画像であることを示す。

特徴点情報記録領域２５は、ビデオプロセッサ５０内に生成した特徴点情報を保持しておくための領域である。実施形態では、特徴点情報に加えて、観察モード（通常光観察モード、狭帯域光観察モード、蛍光観察モード、赤外光観察モード等）等の撮影条件についても特徴点情報記録領域２５に保持する。ビデオプロセッサ５０は、上記の動画記録領域１４に保持されている動画データと関連付けて、特徴点情報記録領域２５の特徴点情報等の情報をサーバー４やＵＳＢメモリ９に記録する。

再生制御部１６の動作の説明に戻ると、再生制御部１６は、特徴点情報のフレーム番号を参照し、過去の動画データのうち、特徴点情報と対応するフレーム番号のフレームにおいて再生を一時停止させる。

合成部１２は、画像処理部１１から入力されるライブ動画のデータと再生制御部１６から入力される過去の動画のデータとに基づき、モニタ２に表示させる合成画像データを生成し、モニタ２に生成した合成画像データを出力する。再生制御部１６により過去の動画が一時停止した場合には、過去の動画が特徴点情報の付されたフレームにおいて静止した状態の合成画像データを生成し、モニタ２に出力する。モニタ２は、合成部１２から受信した合成画像データに基づき、合成画像を表示する。

図３は、合成部１２にて合成して得られた合成画像データに基づきモニタ２に表示した合成画像を例示する図である。
図３に示す例では、モニタ２上には、ライブ動画Ｐ１及び過去の動画Ｐ２を並べて表示する。また、図３に示すように、過去の動画Ｐ２脇には、プログレスバーＰＢを表示してもよい。

図３のプログレスバーＰＢは、過去の内視鏡検査の動画の開始から終了までの期間のうち、特徴点情報の付与されているタイミングの動画の中における相対的な位置、及びその動画開始からの経過時間を表示している。具体的には、過去の動画Ｐ２の撮影時間Ｔは２０分であり、動画Ｐ２には特徴点情報ｆ１、ｆ２及びｆ３の３つの特徴点情報が付与されている。そして、特徴点情報ｆ１、ｆ２及びｆ３は、それぞれ動画の開始時間から「５分」、「７分」及び「１２分」のタイミングに付与されていることが、ユーザである術者等にとって視覚的に把握し易いように表示されている。

術者は、プログレスバーＰＢを参照して、スコープ３を挿入して検査を開始（動画の撮影を開始）してから、特徴点情報の付与されている箇所、すなわち、患部等までの所要時間等を認識する。上記のとおり、特徴点情報ｆ１〜ｆ３の付与されているフレームにおいて過去の動画Ｐ２は一時停止する。術者は、プログレスバーＰＢを参照して患部等の位置を判断し、特徴点情報ｆ１〜ｆ３の付与されている過去の患部等のフレーム画像とライブ動画とを比較して、精査を行う。

先にも述べたとおり、図２のビデオプロセッサ５０は、合成部１２にてライブ動画と合成される過去の動画のデータについては、特徴点情報と関連付けて、サーバー４やＵＳＢメモリ９に記録を行っておく。

サーバー４は、動画記録領域４１、特徴点情報記録領域４２及び特徴点情報生成部４３を有する。動画記録領域４１は、内視鏡観察装置１のビデオプロセッサ５０から受信した動画データを記録するための領域である。特徴点情報記録領域４２は、ビデオプロセッサ５０から動画データとともに受信した特徴点情報を記録するための領域である。特徴点情報生成部４３の動作については、ビデオプロセッサ５０の特徴点情報生成部２４と同様であり、サーバー４に直接あるいはネットワークを介して間接に入力された情報より、特徴点情報を生成する。

ＵＳＢメモリ９は、動画記録領域９１及び特徴点情報記録領域９２を有する。動画記録領域９１及び特徴点情報記録領域９２は、それぞれサーバー４の動画記録領域４１及び特徴点情報記録領域４２と同様に、それぞれ動画データ及び特徴点情報を保持するための領域である。

なお、プロセッサ内部メモリ２６は、プロセッサ５０内に設けられる記憶手段である。プロセッサ内部メモリ２６は、図２に示すように、動画記録領域２７及び特徴点情報記録領域２８を有する。動画記録領域２７及び特徴点情報記録領域２８は、サーバー４やＵＳＢメモリ９と同様に、それぞれ動画データ及び特徴点情報を保持するために設けられる領域である。

このように、本実施形態に係る医療用動画記録再生システム１００によれば、内視鏡観察装置１のビデオプロセッサ５０において、ライブ動画、すなわち内視鏡検査において撮像中の映像とともに、過去に同一の患者（情報）の検査の動画をモニタ２に表示させる。過去の動画は、検査開始から再生してゆき、特徴点情報の付与されている箇所で一時停止させる。これにより、術者は、過去の検査で特徴点情報を付与した患部等の箇所で一時停止させるよう不潔域のスタッフに依頼する必要もなく、患部までのスコープ３の挿入経路を容易に把握して検査を行うことができる。

なお、上記においては、１台のモニタ２にライブ動画及び過去の動画の両方を並べて表示させる場合について説明しているが、本実施形態に係る医療用動画の記録再生方法は、これに限定されるものではない。例えば、ライブ動画と過去の動画を別個のモニタに表示させることとてもよい。これによれば、モニタ２の使用環境等に応じて、各モニタの配置をユーザが任意に決定することが可能となる。
＜第１の変形例＞

上記においては、スコープ３の操作スイッチ等を通じて、あるいは内視鏡観察装置１に接続されるキーボード５や無線ＬＡＮルータ６を介して無線通信可能なタブレットＰＣ７を通じて、特徴点情報の付与を行う。これに対し、本変形例では、図２の処置具挿入検知部３３にて鉗子等の処置具が挿入されたことを認識して、これを特徴点情報付与のトリガと判断する。

内視鏡観察装置１のビデオプロセッサ５０は、鉗子等の処置具がスコープ３の鉗子孔を通じて挿入されたことを検知すると、挿入を検知したときのスコープ３の位置に患部等があるものと判断する。そして、鉗子の挿入を検知した時点におけるフレーム画像に対して特徴点情報を付与する。

このような構成をとることで、動画データのうち、再検査等において参照すべきフレーム画像に対して簡便に特徴点情報を関連付けることが可能となる。
＜第２の変形例＞

上記においては、内視鏡検査が開始すると、これと併せて過去の動画の再生を開始する。これに対し、本変形例においては、医療用動画記録再生システム１００のユーザがキーボード５やタブレットＰＣ７等の入力手段を介して指定したスコープ３の挿入長に応じた箇所から過去の動画を再生する。

上記のとおり、特徴点情報には、スコープ３の挿入長を含む。このことを利用して、ビデオプロセッサ５０は、複数の特徴点情報のスコープ３挿入長データより、ユーザが指定した挿入長に対応するフレーム番号を算出し、そこから過去の動画の再生を開始させる。

これにより、検査の開始から最初の特徴点情報の付与されているフレームまでが長いような場合や所定の箇所の画像のみが必要なことが事前に判明しているような場合等には、ユーザが再生を必要とする箇所から動画を再生させることが可能となる。
＜第２の実施形態＞

上記実施形態においては、図３のように、ライブ動画と過去の動画とを並べてモニタ２に表示する構成をとる。本実施形態に係る医療用動画記録再生システム１００によれば、更に、術者等のユーザがライブ動画を過去の動画と比較しながら検査を行う際の利便性を考慮したモニタ２への表示方法をとる。以下に、図４〜図７を参照して、本実施形態に係る医療用動画記録再生システム１００による動画のモニタ２への表示方法について具体的に説明する。

なお、以下においては、上記の実施形態と異なる点を中心に説明することとし、上記の実施形態と同様である点については説明を省略する。医療用動画記録再生システム１００のシステム構成については、先に図１や図２を参照して説明したとおりである。

図４は、内視鏡観察装置１のビデオプロセッサ５０における合成部１２の詳細ブロックを示す図である。図４を参照して、まず、ライブ動画と過去の動画とを合成してどのようにモニタ２に表示する合成画像を生成するかについて、具体的に説明する。

図４に示すように、合成部１２は、ライブ観察用文字データ生成部５１、ライブ観察用文字データ重畳部５２、ライブ観察動画要表示枠重畳部５３、文字データ重畳位置設定部５４、記録動画要文字データ生成部５５、撮影条件識別部５６、記録動画要文字データ重畳部５７、表示枠形状設定部５８、記録動画用表示枠重畳部５９、加算部６０、表示内容記憶域６１、表示内容選択部６２及び表示内容選択種別記憶域６３を有する。

文字データ重畳位置設定部５４は、図２の画像処理部１１から入力されるライブ動画データ及び再生制御部１６から入力される過去の動画データのそれぞれよりライブ動画及び過去の動画モニタ２に表示するときに、各動画がライブ動画または過去の動画のいずれであるかを示す文字等の位置を設定する。これらの文字等の位置については、ユーザが図１のタブレットＰＣ７やキーボード５等を介して設定した内容に基づいて決定される。

ライブ観察用文字データ生成部５１は、モニタ２に表示する２つの動画のうち、ライブ動画であることを表す文字データを生成する。ライブ観察用文字データ重畳部５２は、画像処理部１１から入力されたライブ動画のデータに、ライブ観察用文字データ生成部５１において生成した文字データを重畳させる。ライブ観察動画用表示枠重畳部５３は、ライブ観察用文字データ重畳部５２にてライブ動画に文字データを重畳させたデータに、更にライブ動画用の表示枠を重畳させる。

撮影条件識別部５６は、再生制御部１６から入力される情報より、動画の撮影条件を取得する。撮影条件としては、例えば、観察モード、すなわち、通常光観察または特殊光観察（狭帯域光観察、蛍光観察、赤外光観察等）のいずれによるが等が挙げられる。記録動画用文字データ生成部５５は、撮影条件識別部５６で取得した撮影条件に基づき、モニタ２に表示する２つの動画のうち、過去の動画であること及びその撮影条件を表示する文字データを生成する。記録動画用文字データ重畳部５７は、再生制御部１６から入力された過去の動画のデータに、記録動画用文字データ生成部５５で生成した文字データを重畳させる。記録動画用表示枠重畳部５９は、記録動画用文字データ重畳部５７にて過去の動画に文字データを重畳させたデータに、更に過去の動画用の表示枠を重畳させる。

本実施形態においては、過去の動画用の表示枠としては、ユーザがモニタ２上でライブ動画と区別を容易にするために、ライブ動画用の表示枠とは異なる形状等を設定する。表示枠形状設定部５８は、ユーザがタブレットＰＣ７やキーボード等の入力手段を介して設定した表示モードにしたがって、過去の動画の表示枠を設定する。記録動画用表示枠重畳部５９は、過去の動画及び文字データに対して、表示枠形状設定部５８に設定されている過去の動画用の表示枠を重畳させる。

加算部６０にて、ライブ動画及び過去の動画のデータにそれぞれの文字データ及び表示枠を重畳させて得られるデータをそれぞれ画面上の所定の位置に配置させて、モニタ２に表示させる合成画像データを生成し、モニタ２に出力する。

上述のとおり、本実施形態に係る医療用動画記録再生システム１００では、ライブ動画及び過去の動画のデータに対して、重畳させる文字や表示枠として何をどのように使用するかについては、ユーザが所望の文字や表示枠を選択可能である。表示内容選択部６２は、これら文字や表示枠についてのユーザが選択した内容を、タブレットＰＣ７等の上記の各種入力手段を介して選択した内容を受け付ける。表示内容選択種別記憶域６３は、医療用動画記録再生システム１００が提供可能な各種の表示可能な文字や表示枠の種別を記憶させておくための領域である。表示内容記憶域６１は、表示内容選択種別記憶域６３に記憶されている各種の文字や表示枠の種別の中から、ユーザが選択したものを記憶させておくための領域である。以下においては、医療用動画記録再生システム１００がユーザに提供可能な文字や表示枠等の表示形態の種別を、「表示モード」とする。

本実施形態では、ユーザは、モニタ２に表示されるモード選択画面を通じて表示モードを選択可能とする。これについて、図５及び図６を参照して説明する。
図５は、表示モードの選択画面を例示する図である。図５（ａ）は、表示モードの設定変更画面Ｗ１を例示し、図５（ｂ）は、ユーザが設定可能な表示モードの一覧を表示する画面Ｗ２を例示する。

内視鏡観察装置１のビデオプロセッサ５０は、図５（ａ）の表示モード設定変更画面Ｗ１のうち、「画像表示選択モード」をタブレットＰＣ７やキーボード等を介してユーザが選択した場合は、表示内容記憶域６１に格納されている情報にしたがって、図５（ｂ）の表示モード一覧画面Ｗ２をモニタ２に表示させる。ビデオプロセッサ５０は、図５（ａ）の表示モード設定変更画面Ｗ１の「通常モード」をユーザが選択した場合は、通常モードにおいてモニタ２に表示する文字や表示枠の情報を表示内容選択種別記憶域６３に保持すると、例えば図３に例示する画面へと表示を切り替える。

図５（ｂ）の表示モード一覧画面Ｗ２には、８とおりの表示モードを例示する。ユーザは、図５（ｂ）の画面Ｗ２の中から一の表示モードを選択する。合成部１２は、選択された表示モードに対応する文字や表示枠の情報を表示内容選択種別記憶域６３に保持し、以降のモニタ２への動画の表示は、これにしたがって行うこととする。

なお、図５（ｂ）においては紙面の制約上記載を省略しているが、画面Ｗ２には、各表示モードのサンプル画面を示し、ユーザが選択した表示モードに設定することとしてもよい。表示モードの具体例を、図６（ａ）〜（ｈ）に示す。

図６（ａ）や図６（ｂ）の表示モードは、各動画の表示枠内に、動画がそれぞれライブ動画及び過去の動画であることを示す文字「ＬＩＶＥ」及び「ＰＡＳＴ（ＡＦＩモード）」を示す。このうち、図６（ａ）は、文字を表示枠内上部に、図６（ｂ）は、文字を表示枠内下部に表示する。本実施形態では、図に例示するように、過去の動画であることを示す文字には、過去の動画の観察モードがＡＦＩ（蛍光観察）モードであることを示す文字も併せて表示させる。

図６（ｃ）や図６（ｄ）の表示モードは、各動画の表示枠外に、動画がそれぞれライブ動画及び過去の動画であることを示す文字を示す。図６（ｃ）は、表示枠外の枠近傍のうち、上部に、図６（ｄ）は表示枠外の枠近傍のうち、下部に文字を表示する。

図６（ｅ）や図６（ｆ）の表示モードは、ユーザがモニタ２上のライブ動画と過去の動画とを取り違えることのないよう、過去の動画の表示枠を、ライブ動画の表示枠と異なる色や形状としている。図６（ｅ）は、過去の動画の表示枠を二重の矩形で囲み、図６（ｆ）は、過去の動画の表示枠を円形とすることで、ライブ動画の一重の矩形の表示枠と異なる形状としている。

図６（ｇ）や図６（ｈ）の表示モードは、複数の過去の動画を同時にモニタ２に表示させる。図６（ｇ）は、ライブ動画と共に２つの過去の動画を表示させ、過去の動画については今回の検査において参照する映像であるので、相対的にライブ動画よりも小さく表示させている。また、本実施形態では、過去の動画同士についてもユーザが識別可能なように、過去の動画のそれぞれの撮影条件も併せて表示する。図６（ｈ）は、ライブ動画と共に３つの過去の動画を表示させる場合である。図６（ｇ）と同様に、過去の動画についてはライブ動画に対して相対的に小さい表示としている。過去の動画の表示枠は、一見して過去の動画とユーザが判断可能なように、円形としている。また、図６（ｇ）と同様に、過去の動画のそれぞれの撮影条件についても表示している。

なお、図６に例示した表示モードは、図示するものに限定されず、これらの表示モードを適宜組み合わせてもよい。
また、図６においては、過去の動画の撮影条件として観察モードを文字で表示する場合を例示しているが、文字として表示する撮影条件は、これには限らない。観察モードに加えて、あるいは、観察モード以外にも、例えば、スコープを識別する情報、拡大倍率等の情報を表示してもよい。これらの撮影条件を表示するか否か、また表示する場合にはいずれの情報を表示するかについても、ユーザに選択させてこれに基づき表示を行う構成とすることもできる。

また、図５に例示するような表示モード変更画面を通じて設定変更を行う以外にも、画面上に表示する文字の位置をデフォルトの位置から移動させるには、ユーザが、タッチパネルモニタやタブレットＰＣ７の操作等により変更可能な構成としてもよい。これによれば、例えば、図６（ａ）の表示枠内の上部に文字を表示する表示モードから、図６（ｂ）のように、表示枠内の下部に文字を表示する表示モードや、図６（ｃ）の表示枠外の枠近傍に文字を表示する表示モードへと変更される。

なお、文字として表示する撮影条件については、過去の動画データをサーバー４やＵＳＢメモリ９、あるいはビデオプロセッサ５０から動画データと対応付けて記録されている情報を読み出して、これを表示する。

更には、ビデオプロセッサ５０の合成部１２は、動画の画像の状態に応じて、表示形態を変更する構成とすることもできる。これについて、図７を参照して説明する。
図７は、モニタ２への表示形態の変更例について説明する図である。

内視鏡観察映像は、観察モードや体腔内の観察位置により、画像自体が暗くなることがある。表示枠内に上記の各種の文字を表示する表示モードを設定している場合、画像が黒っぽくなると、ユーザにとって表示枠内の文字が読み取りにくくなることがある。そこで、図７の網掛けの領域の色値を所定のしきい値と比較する等により、網掛け領域内の画像の色値が文字の色値に近づいたと判定し、文字色を例えば白色に切り替える構成としてもよい。このように、文字色と背景である画像とのコントラストがはっきりとなるように文字色がリアルタイムに自動的に切り替わることにより、ユーザは、画像によって文字が読み取りにくくなることを効果的に防ぐ。

文字色の切り替えを行うか否かについては、ユーザが任意に設定可能な構成とすることができる。すなわち、ユーザが文字色を固定する旨の設定を行った場合には、画像の色値に応じてモニタ２に表示される文字色が頻繁に切り替わったりする等を効果的に防ぐことが可能となる。

以上説明したように、本実施形態に係る医療用動画記録再生システム１００によれば、内視鏡の手技中において、術者等のユーザが、モニタ２に表示されている複数の動画のいずれがライブ動画であるかを識別し易いように、ユーザが所望の表示モードを設定可能である。これにしたがってライブ動画と過去の動画とを表示させることで、ユーザは所望の位置に各動画を配置させて、ユーザがライブ動画と過去の動画とを見間違えてしまうことを効果的に防止することが可能となる。

また、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

１ 内視鏡観察装置
２ モニタ
３ スコープ
４ 画像ファイリングサーバー（サーバー）
５ キーボード
６ 無線ＬＡＮルータ
７ タブレットＰＣ
５０ ビデオプロセッサ
１００ 医療用動画記録再生システム

Claims (10)

1. 医療用動画データの記録及び再生を行う医療用動画記録再生システムであって、
   内視鏡装置に備えられた、被検体を撮像して撮像信号を取得する撮像部と、
   前記撮像部から出力された前記撮像信号に基づいて、前記被写体の動画データを生成する動画データ生成部と、
   前記動画データを構成するフレームのうち、前記内視鏡装置の鉗子孔を通じて鉗子が挿入されたことを検知したタイミングのフレームに対して特徴点情報を生成する特徴点情報生成部と、
   前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部と、
   前記記録部から読み出した１以上の動画データの再生を制御する再生制御部と、
   を備え、
   前記再生制御部は、前記動画データの前記特徴点情報の付されたフレームにおいて、再生を一時停止させる制御を行う
   ことを特徴とする医療用動画記録再生システム。
2. 前記動画データ生成部において生成したライブの動画データに基づくライブ動画と前記再生制御部から与えられる過去の動画データに基づく過去動画とを併せて出力する合成部と、
   前記合成部により出力された前記ライブ動画と前記過去動画とを同時に表示する表示部と、を更に備えたことを特徴とする請求項１に記載の医療用動画記録再生システム。
3. 前記合成部は、前記記録部から読み出して再生した過去の動画の再生状況を表すプログレスバーを合成させた合成画像を生成して前記表示部に出力する
   ことを特徴とする請求項２に記載の医療用動画記録再生システム。
4. 前記合成部は、前記表示部に表示される撮像中及び過去の動画が、それぞれ過去の動画及び撮像中の動画であることを示す文字を重畳させた合成画像を生成して前記表示部に出力する
   ことを特徴とする請求項２に記載の医療用動画記録再生システム。
5. 前記合成部は、前記表示部に表示される撮像中及び過去の動画のそれぞれに対して、指定された表示枠を重畳させた合成画像を生成して前記表示部に出力する
   ことを特徴とする請求項２に記載の医療用動画記録再生システム。
6. 前記合成部は、前記表示される過去の動画の観察モードを表す文字を重畳させた合成画像を生成して前記表示部に出力する
   ことを特徴とする請求項２に記載の医療用動画記録再生システム。
7. 前記表示部は、ユーザが設定可能な前記動画に重畳させる文字及び表示枠の種別を表示させ、前記合成部は、前記表示部に表示した前記種別の中からユーザが選択した文字及び表示枠を用いて前記合成画像を生成する
   ことを特徴とする請求項４に記載の医療用動画記録再生システム。
8. 前記特徴点情報生成部は、内視鏡装置の操作スイッチ、フットスイッチ、前記医療用動画記録再生システムのキーボード及びこれに接続される端末装置を介して指定されたタイミングで、前記特徴点情報を生成する
   ことを特徴とする請求項１に記載の医療用動画記録再生システム。
9. 内視鏡装置の挿入部の前記被写体の体腔内への挿入長を検知する挿入長検知部と
   を更に備え、
   前記再生制御部は、ユーザにより指定された前記挿入部の挿入長に対応する箇所から前記動画データを再生させる
   ことを特徴とする請求項１に記載の医療用動画記録再生システム。
10. 医療用動画データの記録及び再生を行う医療用動画記録再生装置であって、
    内視鏡装置に備えられた被検体を撮像する撮像部から出力された撮像信号に基づいて、前記被写体の動画データを生成する動画データ生成部と、
    前記動画データを構成するフレームのうち、前記内視鏡装置の鉗子孔を通じて鉗子が挿入されたことを検知したタイミングのフレームに対して特徴点情報を生成する特徴点情報生成部と、
    前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部と、
    前記特徴点情報と前記動画データの対応するフレームとを関連付けて記録する記録部から読み出した１以上の動画データの再生を制御する再生制御部と、
    を備え、
    前記再生制御部は、前記動画データの前記特徴点情報の付されたフレームにおいて、再生を一時停止させる制御を行うことを特徴とする医療用動画記録再生装置。

Images