JPWO2016084779A1 - 画像再生装置および画像再生プログラム - Google Patents

Abstract

本発明にかかる処理装置３は、再生対象の動画像データから再生用動画像データを生成する動画像処理部３５ａと、動画像処理部３５ａが生成した再生用動画像データを表示装置５に再生させる表示制御部３２と、表示装置５に再生用動画像データが再生されている間に、再生中レリーズ信号の入力を受け付けるレリーズ指示入力部３６ａと、再生中レリーズ信号の入力時に表示装置５に再生されていた再生画像に対応するレリーズ画像データを動画像データから生成する静止画像生成部３５ｃと、静止画像生成部３５ｃが生成したレリーズ画像データを動画像データに対応付けて記録装置６に記録させる記録制御部３３ａと、を備える。

Description

本発明は、記録装置に記録された動画像データを再生する画像再生装置および画像再生プログラムに関する。

従来、医療分野においては、被検体内部の検査のために内視鏡システムが用いられている。内視鏡システムは、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から照明光を照明し、この照明光の反射光を挿入部先端の撮像部で受光することによって、体内画像を順次撮像する。このように撮像された一連の複数の体内画像は、処理装置で所定の画像処理が施された後、ほぼリアルタイムで、この内視鏡システムのディスプレイに動画像形式の映像として表示される。医師等は、ディスプレイに表示された映像を通じて生体内を観察しながら、検査を行う。

近年、内視鏡検査中に、撮像した生体画像を動画像形式で記録しながら、所望の部位の静止画像データも生成することができる技術が提案されている（たとえば、特許文献１参照）。この技術では、内視鏡の操作部に設けられたレリーズボタンが押されると、処理装置は、レリーズボタンが押されたタイミングの静止画像データを生成し、生成した静止画像データを動画像データに対応付けて記録する。

特開２０１２−４５４１９号公報

ところで、実際の医療現場では、医師等が、内視鏡検査中に記録した動画像データや静止画像データを検査終了後に改めて再生して、患者に対する診断やカンファレンスを行う場合がある。この場合、従来の内視鏡システムでは、動画像データ再生中に、検査中に記録された静止画像データ以外に新たに静止画像として記録したいシーンがあっても、新たな静止画像データの追加取得ができなかった。

本発明は、上記に鑑みてなされたものであって、動画像データの再生中においても新たな静止画像データを取得することができる画像再生装置および画像再生プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像再生装置は、記録装置に記録された動画像データのうち、再生対象の動画像データが入力されるデータ入力部と、前記データ入力部から入力された動画像データから再生用動画像データを生成する動画像処理部と、前記動画像処理部が生成した再生用動画像データを表示装置に再生させる表示制御部と、前記再生用動画像データの再生中にレリーズ信号の入力を受け付けるレリーズ指示入力部と、前記レリーズ信号の入力時に前記表示装置に再生されていた再生画像に対応する静止画像データを前記動画像データから生成する静止画像生成部と、前記静止画像生成部が生成した静止画像データを前記動画像データに対応付けて前記記録装置に記録させる記録制御部と、を備えたことを特徴とする。

また、本発明にかかる画像再生装置は、前記表示制御部は、前記動画像データの束を時系列に沿って直線的に並べた中で、前記表示装置で再生中の画像の再生位置を示す再生位置情報を前記表示装置に表示させることを特徴とする。

また、本発明にかかる画像再生装置は、前記記録制御部は、前記動画像データの記録中にレリーズ信号の入力があった場合、前記動画像データに前記レリーズ信号の入力情報を対応付けて記録させることを特徴とする。

また、本発明にかかる画像再生装置は、前記表示制御部は、前記再生位置情報に、前記動画像データの再生中に入力された前記レリーズ信号の入力タイミングを示す第１のマークと、前記動画像データに対応付けて記録された前記入力情報に基づく前記レリーズ信号の入力タイミングを示す、前記第１のマークとは表示態様の異なる第２のマークとを表示させることを特徴とする。

また、本発明にかかる画像再生装置は、前記動画像データは、内視鏡検査中に内視鏡先端の撮像部が生成した一連の画像データであって、前記内視鏡検査中に入力されたレリーズ信号の入力情報が対応付けられて前記記録装置に記録された画像データであることを特徴とする。

また、本発明にかかる画像再生装置は、前記記録制御部は、前記動画像データを前記レリーズ信号の入力タイミングでチャプタ分割した状態で前記記録装置に記録させることを特徴とする。

また、本発明にかかる画像再生装置は、前記レリーズ信号の入力情報は、分割された各チャプタの識別情報、または、前記レリーズ信号の入力タイミングを示す時間情報であることを特徴とする。

また、本発明にかかる画像再生装置は、前記記録制御部は、前記動画像データ、前記レリーズ信号の入力情報、ならびに、前記静止画像生成部が生成した静止画像データを、一つの動画像ファイル形式で記録させることを特徴とする。

また、本発明にかかる画像再生装置は、前記記録制御部は、前記動画像データ、前記レリーズ信号の入力情報、ならびに、前記静止画像生成部が生成した静止画像データを、それぞれ別個のファイルに記録させることを特徴とする。

また、本発明にかかる画像再生装置は、前記表示制御部は、前記記録装置に記録された複数の前記動画像データの中から再生対象の動画像データを選択するための動画像選択画面として、各動画像データの代表画像、各動画像データにそれぞれ対応付けられた前記静止画像データ、ならびに、前記レリーズ信号の入力タイミングをそれぞれ示す前記第１のマークまたは前記第２のマークが示された前記再生位置情報を含む前記動画像選択画面を、前記表示装置に表示させることを特徴とする。

また、本発明にかかる画像再生プログラムは、記録装置に記録された動画像データのうち再生対象の動画像データを表示装置で再生させる画像再生装置に、前記再生対象の動画像データから再生用動画像データを生成し、該生成した再生用動画像データを表示装置に再生させる動画像再生手順と、前記再生用動画像データの再生中にレリーズ信号の入力を受け付けるレリーズ指示入力手順と、前記レリーズ信号の入力時に前記表示装置に再生されていた再生画像に対応する静止画像データを前記動画像データから生成する静止画像生成手順と、前記静止画像生成手順において生成された静止画像データを前記動画像データに対応付けて前記記録装置に記録させる記録手順と、を実行させることを特徴とする。

本発明によれば、動画像データから生成された再生用動画像データの再生中にレリーズ信号の入力を受け付けた場合、該レリーズ信号の入力時に表示装置に再生されていた再生画像に対応する静止画像データを動画像データから生成し、該生成した静止画像データを動画像データに対応付けて記録装置に記録させるため、動画像データの再生中においても新たな静止画像データを取得することができる。

図１は、本発明の実施の形態にかかる内視鏡システムの構成を模式的に示すブロック図である。 図２は、内視鏡検査中のライブ映像が表示される表示装置の表示画面の一例を示す図である。 図３は、図１に示す処理装置が、再生対象の動画像データを表示装置に再生させるまでの処理手順を示すフローチャートである。 図４は、図１に示す表示装置に表示される動画像選択画面の一例を示す図である。 図５は、図４に示すシークバーの一部を拡大した図である。 図６は、図１に示す表示装置に表示される動画像選択画面の他の例を示す図である。 図７は、内視鏡検査の動画像が再生される表示装置における表示画面の一例を示す図である。 図８は、図７に示すシークバーの一部を拡大した図である。 図９は、図３に示す再生中レリーズ画像生成処理およびチャプタ分割処理を説明するための模式図である。 図１０は、図１に示す記録制御部が記録する動画像ファイルの構成の一例を示す図である。 図１１は、図１に示す記録制御部が記録する動画像ファイルの構成の他の例を示す図である。

以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。

（実施の形態）
図１は、本発明の実施の形態にかかる内視鏡システムの構成を模式的に示すブロック図である。

図１に示すように、本実施の形態にかかる内視鏡システム１は、被検体内に導入され、被検体の体内を撮像して被検体内の画像データを順次生成する内視鏡２（スコープ）と、内視鏡２によって順次撮像された画像データや記録装置６から入力された動画像データに対して所定の画像処理を行うとともに内視鏡システム１の各部を制御する処理装置３（画像再生装置）と、内視鏡２の照明光（観察光）Ｌを生成する光源装置４と、液晶または有機ＥＬ（Electro Luminescence）を用いた表示ディスプレイ等を用いて構成され、処理装置３が画像処理を施した動画像データ等の各種画像を表示する表示装置５と、内視鏡２が撮像した体内の動画像データと該動画像データの付加情報とを含む動画像ファイルＭａを複数記録する記録装置６と、を備える。

内視鏡２は、被検体内部の画像（体内画像）を撮像する撮像部２１と、操作者が把持する操作部２２と、処理装置３のコネクタに着脱可能に接続する内視鏡２の基端のコネクタ２３と、光源装置４が生成した照明光Ｌを内視鏡２の先端に供給するライトガイドケーブル２４と、を有する。撮像部２１は、対物レンズ等の光学系と、ＣＣＤ撮像素子あるいはＣＭＯＳ撮像素子とによって構成され、内視鏡２の先端に設けられる。操作部２２は、内視鏡２を湾曲させるための湾曲ノブ、処置具挿入部が設けられるとともに、処理装置３、光源装置４、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のボタンが設けられる。操作部２２は、レリーズボタン２２ａを有し、内視鏡検査中にレリーズボタン２２ａが押圧された場合には、押圧された際に表示装置５に表示されていた画像を静止画像データ（レリーズ画像データ）として生成することを指示する検査中レリーズ信号を、後述する処理装置３の制御部３３に入力する。この検査中レリーズ信号の入力にしたがって、制御部３３の制御のもと、後述する画像生成部３５が、検査中レリーズ信号の入力タイミング時に表示装置５に表示されていた画像をもとに、レリーズ画像データを生成する。

処理装置３は、内視鏡画像処理部３１、表示制御部３２、制御部３３、データ送受信部３４、画像生成部３５、入力部３６、出力部３７、および、記憶部３８を備える。

内視鏡画像処理部３１は、内視鏡２から入力された画像データに対し、クランプ処理、ノイズ低減処理、ゲイン調整処理、アナログ／デジタル（Ａ／Ｄ）変換処理、オプティカルブラック減算処理、画像データの同時化処理、ガンマ補正処理、ホワイトバランス（ＷＢ）調整処理、カラーマトリクス演算処理、色再現処理、エッジ強調処理、拡大縮小処理、入力部３６から入力される文字データ等である表示データの重畳処理、および、ピクチャ・イン・ピクチャ処理等を含む各種画像処理を行う。内視鏡２からは、連続した一連の内視鏡画像データが順次入力され、内視鏡画像処理部３１は、画像処理を施した後の内視鏡画像データを、表示制御部３２および画像生成部３５に出力する。

表示制御部３２は、入力された画像データから、表示装置５に表示させるための表示用画像データを生成し、表示装置５へ出力する。表示装置５に出力される表示用画像信号は、たとえば、ＳＤＩ，ＤＶＩ，ＨＤＭＩ（登録商標）形式等のデジタル信号である。あるいは、表示制御部３２は、表示用画像信号をデジタル信号からアナログ信号に変換後、変換したアナログ信号の画像データをハイビジョン方式等のフォーマットに変更して、表示装置５へ出力してもよい。

内視鏡検査が行われている場合には、表示制御部３２に、内視鏡画像処理部３１が処理を施した内視鏡画像データが入力されるため、表示装置５の表示画面には、内視鏡２による検査画像がライブ映像として映される。図２は、内視鏡検査中のライブ映像が表示される表示装置５の表示画面の一例である。図２に示すように、表示装置５の表示画面には、検査画像表示用のウィンドウＷ１が表示される。ウィンドウＷ１において、左側上部には領域Ａ１が設けられ、右側には領域Ａ２が設けられ、中央部付近には領域Ａ３が設けられる。領域Ａ１には、被検体（患者）情報（たとえば名前、ＩＤ、生年月日等）が表示される。領域Ａ２には、内視鏡２によって撮像されている体内画像Ｇ１が表示される。領域Ａ３には、この内視鏡検査中においてレリーズボタン２２ａの押圧に応じて生成されたレリーズ画像Ｒ１−１〜Ｒ１−４がインデックス表示される。レリーズ画像Ｒ１−１〜Ｒ１−４は、領域Ａ２に実際に表示されている体内画像Ｇ１の撮像タイミングと、各レリーズ画像における検査中レリーズ信号の入力タイミングとの差が小さいものから順に、領域Ａ３の上から下に向かって順に表示される。なお、レリーズ画像Ｒ１−１〜Ｒ１−４は、実際の大きさよりも縮小された状態でウィンドウＷ１に表示される。

また、記録装置６に記録された任意の内視鏡検査の動画像データの再生が指示された場合には、表示制御部３２に、後述する画像生成部３５における動画像処理部３５ａから再生用動画像データが入力される。この結果、表示装置５の表示画面には、再生を指示された過去の内視鏡検査の動画像データが再生映像として映される。

制御部３３は、ＣＰＵ等を用いて実現される。制御部３３は、処理装置３の各部の処理動作を制御する。制御部３３は、処理装置３の各構成に対する指示情報やデータの転送等を行うことによって、処理装置３の動作を制御する。制御部３３は、各ケーブルを介して撮像部２１、光源装置４の各構成部位および表示装置５に接続されており、撮像部２１、光源装置４および表示装置５の動作についても制御を行う。制御部３３は、記録制御部３３ａを備える。記録制御部３３ａは、後述するデータ送受信部３４を介して記録装置６に接続し、記録装置６に対してデータの記録制御を行う。制御部３３は、後述する入力部３６を介して、記録装置６に記録された任意の動画像データの再生が指示された場合には、データ送受信部３４を経由して、再生対象の動画像データを記録装置６から受信し、画像生成部３５に入力する。この場合、制御部３３は、再生用動画像データとともに、再生対象の動画像データに対応付けられた検査中レリーズ信号の入力情報およびレリーズ画像データなどの付加情報も取得し、表示制御部３２および画像生成部３５に出力する。

データ送受信部３４は、ＵＳＢメモリ等の可搬記録媒体、画像記録装置、映像記録装置、または有線ＬＡＮや無線ＬＡＮ等の通信回線と接続可能なインタフェースであり、ＵＳＢポートやＬＡＮポートなどを含んでいる。実施の形態において、データ送受信部３４は、記録装置６と接続され、制御部３３の制御のもと、記録装置６との間で、動画像データおよび該動画像データに関する付加情報を含む各種データの送受信を行う。

画像生成部３５は、動画像データに関する処理、および、レリーズ画像の生成処理を行う。画像生成部３５は、動画像処理部３５ａ、画像生成部３５において処理されているデータを一時的に保持するＲＡＭ３５ｂ、および、静止画像生成部３５ｃを有する。

動画像処理部３５ａは、内視鏡検査が行われている場合には、この内視鏡検査に対応する動画像データを生成する。動画像処理部３５ａは、内視鏡画像処理部３１から入力された連続した一連の内視鏡画像データから、所定形式の動画像データを生成（エンコード）して制御部３３に出力する。また、動画像処理部３５ａは、記録装置６に記録された任意の動画像データの再生が指示された場合には、データ送受信部３４および制御部３３を介して記録装置６から入力された再生対象の動画像データの形式を、表示用の形式に変換することによって、表示装置５に表示するための再生用動画像データを生成する。動画像処理部３５ａは、生成した再生用動画像データを表示制御部３２に出力する。動画像処理部３５ａは、エンコード・デコード回路を含む画像処理回路によって構成される。

静止画像生成部３５ｃは、レリーズ信号の入力が受け付けられた場合、レリーズ信号の入力時に表示装置５に表示されていた画像に対応するレリーズ画像データを生成する。静止画像生成部３５ｃは、内視鏡検査中にレリーズボタン２２ａの押圧によって操作部２２から検査中レリーズ信号が入力された場合には、内視鏡画像処理部３１から入力された内視鏡画像データのうち、検査中レリーズ信号の入力タイミング時に表示装置５に表示されていた内視鏡画像データから、検査中レリーズ画像データを生成する。また、静止画像生成部３５ｃは、内視鏡検査の動画像データの再生中に、操作者の入力デバイスの操作によって、後述するレリーズ指示入力部３６ａから、再生中レリーズ信号が入力された場合には、再生中レリーズ信号の入力時に表示装置５に再生されていた再生画像に対応する再生中レリーズ画像データを生成して、制御部３３に出力する。静止画像生成部３５ｃは、エンコード・デコード回路を含む画像処理回路によって構成される。

前述した制御部３３では、記録制御部３３ａが、画像生成部３５の動画像処理部３５ａから出力された内視鏡検査の動画像データを、データ送受信部３４を介して記録装置６に記録させる。記録制御部３３ａは、内視鏡検査中、すなわち、動画像データの記録中に操作者によってレリーズボタン２２ａが押圧された場合には、レリーズボタン２２ａの押圧によって入力された検査中レリーズ信号の入力情報と、検査中レリーズ信号の入力にしたがって生成された検査中レリーズ画像データとを、内視鏡検査に対応する動画像データに対応付けた動画像ファイルＭａを、記録装置６に記録する。また、記録制御部３３ａは、内視鏡検査に対応する動画像データの再生中に、レリーズ指示入力部３６ａから再生中レリーズ信号が入力された場合には、再生中レリーズ信号の入力情報と、再生中レリーズ信号の入力にしたがって生成された再生中レリーズ画像データとを、記録装置６における再生対象の動画像データにさらに対応付けて記録する。

入力部３６は、マウス、キーボードおよびタッチパネル等の入力デバイスを用いて実現され、各種指示情報の入力を受け付ける。具体的には、入力部３６は、内視鏡２が検査を行っている被検体の情報（たとえばＩＤ、生年月日、名前等）、内視鏡２の識別情報（たとえばＩＤや検査対応項目）、および、検査内容等の各種指示情報の入力を受け付ける。入力部３６は、表示装置５に再生用動画像データが再生されている間に、再生中レリーズ画像データの生成を指示する再生中レリーズ信号の入力を受け付けるレリーズ指示入力部３６ａを備える。レリーズ指示入力部３６ａは、表示装置５の動画像再生用のウィンドウ内に表示されたレリーズアイコンと、該レリーズアイコンを選択できるポインティングデバイスとによって構成される。もちろん、前述した操作部２２におけるレリーズボタン２２ａの押圧によっても再生中レリーズ信号を入力でき、レリーズ指示入力部３６ａによっても検査中レリーズ信号を入力できる構成としてもよい。

出力部３７は、スピーカーやプリンタ等を用いて実現され、制御部３３の制御にしたがい、内視鏡画像データのライブ映像の表示処理、あるいは、記録装置６に記録された動画像データの再生処理に関する情報を出力する。

記憶部３８は、揮発性メモリや不揮発性メモリを用いて実現され、内視鏡２、処理装置３、光源装置４および表示装置５を動作させるための各種プログラムを記憶する。記憶部３８は、処理装置３が処理した各種画像データおよび付加情報等を記憶することもできる。記憶部３８は、処理装置３の外部から装着されるメモリカード等を用いて構成されてもよい。

図３は、処理装置３が、再生対象の動画像データを表示装置５に再生させるまでの処理手順を示すフローチャートである。たとえば、医師等の操作者が、内視鏡検査終了後に検査レポートを作成するときなど、内視鏡検査中に記録された内視鏡検査の動画像データを、検査後に改めて見返す場合に、図３の各処理が実行される。

図３に示すように、まず、処理装置３では、操作者の入力デバイスの操作によって、記録装置６に記録された各動画像データの中から、再生対象の動画像データを選択する選択情報が入力部３６から入力される再生動画像選択処理が行われる（ステップＳ１）。

再生動画像選択処理では、制御部３３の制御のもと、まず、表示制御部３２が、記録装置６に記録された複数の動画像データの中から再生対象の動画像データを選択するための動画像選択画面を表示装置５に表示させる。図４は、表示装置５に表示される動画像選択画面の一例を示す図である。

図４に示すように、動画像選択画面Ｗ２では、左側に領域Ａ４が設けられ、中央から右側に向かって大きな領域Ａ５が設けられ、下部に領域Ａ６が設けられる。領域Ａ４には、選択可能である動画像データＭ１〜Ｍ５を識別するための代表画像が各動画像データＭ１〜Ｍ５の順に一列に配列されている。中央領域Ａ４−１に代表画像が表示される動画像データは、選択候補の動画像データとして扱われ、他の動画像データの代表画像よりも大きく表示される。中央領域Ａ４−１に表示される動画像データＭ３の代表画像には、動画像データＭ３に対応する患者情報Ｐ３（たとえばＩＤ、名前、生年月日等）が重畳して表示される。代表画像は、任意に設定可能であり、たとえば、動画像データの３チャプタの１番目の画像である。領域Ａ４の上部には、動画像選択ページ戻りアイコンＢ１が表示され、領域Ａ４の下部には、動画像選択ページ送りアイコンＢ２が表示される。操作者は、このアイコンＢ１，Ｂ２を選択することによって、領域Ａ４で示される動画像データを前または後のものに変更できる。領域Ａ５には、中央領域Ａ４−１に表示された動画像データＭ３の検査中レリーズ画像（Ｒ３−１，Ｒ３−２，・・・）のサムネイル画像が検査中レリーズ信号の入力順で行列状に表示される。領域Ａ５の下方には、レリーズ画像戻りアイコンＢ３、レリーズ画像送りアイコンＢ４が表示されており、操作者は、このアイコンＢ３，Ｂ４を選択することによって、領域Ａ５に表示される検査中レリーズ画像を前または後のものに変更できる。

領域Ａ６には、中央領域Ａ４−１に代表画像が表示された動画像データＭ３のシークバーＴ３が表示される。シークバーＴ３は、動画像データＭ３の束を時系列に沿って直線的に並べた中で、表示装置５で再生中の画像の再生位置を示す再生位置情報である。シークバーＴ３の右側には、動画像データＭ３の検査期間が表示され、左側には、動画像データＭ３に対して内視鏡検査中に生成された検査中レリーズ画像の総数が表示される。図５は、図４に示すシークバーＴ３の一部を拡大した図である。図５に示すように、シークバーＴ３内部には、検査期間における各検査中レリーズ信号の各入力タイミングを示す縦棒形状のマークＭｓが示される。

操作者は、この動画像選択画面Ｗ２を視認することによって、選択候補の動画像データとともに各動画像データに対応付けられた検査中レリーズ画像および検査中レリーズ信号の入力タイミングを確認しながら再生目的の動画像データを選択することができ、再生目的の動画像データを容易に見つけ出すことができる。操作者の入力デバイスの操作によって、再生目的の動画像データの代表画像が選択されると、入力部３６は、該代表画像に対応する動画像データを再生対象の動画像データとして選択した選択情報を制御部３３に入力する。

また、ステップＳ１において、表示制御部３２は、図６に示す動画像選択画面Ｗ３を表示装置５に表示させてもよい。動画像選択画面Ｗ３は、たとえば４分割され、分割した領域ごとに、動画像データＭ１〜Ｍ４の各代表画像、検査中レリーズ画像のサムネイル画像、シークバーがそれぞれ表示される。

たとえば、動画像選択画面Ｗ３の領域Ａ７には、動画像データＭ１が対応し、このうちの領域Ａ７−１に動画像データＭ１の代表画像が表示され、領域Ａ７−２に動画像データＭ１の検査中レリーズ画像Ｒ１−１〜Ｒ１−１６のサムネイル画像が表示され、領域Ａ７−３に動画像データＭ１のシークバーＴ１が表示される。領域Ａ７−１の代表画像には、動画像データＭ１の患者情報Ｐ１が重畳して表示される。また、領域Ａ７−２の下方には、検査中レリーズ画像の戻りおよび進みを選択できるレリーズ画像戻りアイコンＢ３、レリーズ画像送りアイコンＢ４が表示される。動画像選択画面Ｗ３の左端および右端には、画面上に表示される各動画像データの戻りおよび送りを選択できる動画像選択ページ戻りアイコンＢ１、動画像選択ページ送りアイコンＢ２が表示される。操作者は、この動画像選択画面Ｗ３を視認する場合も、選択候補の動画像データに対応付けられた検査中レリーズ画像および検査中レリーズ信号の入力タイミングを確認しながら再生目的の動画像データを選択することができる。

データ送受信部３４には、制御部３３の制御のもと、選択情報で再生を指示された動画像データが記録装置６から入力される（ステップＳ２）。この場合、再生対象の動画像データとともに、該動画像データと対応付けられた検査中レリーズ信号の入力情報および検査中レリーズ画像データも記録装置６から入力される。データ送受信部３４は、制御部３３を介して、動画像データを画像生成部３５に入力するとともに、該動画像データと対応付けられた検査中レリーズ信号の入力情報と検査中レリーズ画像データとを表示制御部３２に入力する。

画像生成部３５では、動画像処理部３５ａが、入力された動画像データから再生用動画像データを生成し、表示制御部３２に出力する再生用動画像データ生成処理を行う（ステップＳ３）。表示制御部３２は、入力された再生用動画像データを表示装置５に表示させる動画像再生処理を行う（ステップＳ４）。

図７は、内視鏡検査の動画像が再生される表示装置５の表示画面の一例である。ステップＳ４においては、表示装置５の表示画面には、たとえば図７に示す検査画像再生用のウィンドウＷ４が表示される。

ウィンドウＷ４において、左側上部には領域Ａ８が設けられ、右側には領域Ａ９が設けられ、左側の中央部よりに領域Ａ１０が設けられ、領域Ａ１０の右側に領域Ａ１１が設けられ、左側下部に領域Ａ１２が設けられ、下部に領域Ａ１３が設けられる。領域Ａ８には、患者情報が表示される。領域Ａ９には、再生を指示された動画像データが再生される。領域Ａ１０には、再生が可能である動画像データＭ２〜Ｍ５の各代表画像が一列に表示される。図７では、このうちの動画像データＭ３が領域Ａ９において再生される場合を示す。領域Ａ１１には、領域Ａ９における動画像データＭ３の再生中にレリーズ指示された４枚の再生中レリーズ画像Ｒｐ３−１〜Ｒｐ３−４が、現に領域Ａ９で再生されている動画像データの撮像タイミングと、各再生中レリーズ画像における再生中レリーズ信号の入力タイミングとの差が小さいものから順に、上から下に向かって順に表示される。

領域Ａ１２には、画像表示を制御するためのアイコン画像が表示される。アイコン画像は、先頭コマ移動アイコンＢ１１、チャプタ戻りアイコンＢ１２、停止アイコンＢ１３、再生アイコンＢ１４、一時停止アイコンＢ１５、レリーズアイコンＢ１６、チャプタ送りアイコンＢ１７および最終コマ移動アイコンＢ１８がある。このうち、レリーズアイコンＢ１６は、前述したように、レリーズ指示入力部３６ａを構成し、領域Ａ９での動画像データ再生中にレリーズアイコンＢ１６が選択されると、再生中レリーズ信号が制御部３３に入力される。この結果、レリーズアイコンＢ１６が選択された時に領域Ａ９に表示されていた再生画像に対応する再生中レリーズ画像が、静止画像生成部３５ｃによって生成され、記録制御部３３ａによって、該動画像データＭ３に対応付けて記録される。これにともない、領域Ａ１１では、列の一番下の再生中レリーズ画像は削除され、他の再生中レリーズ画像は１枚ずつ下に移動し、列の先頭に新しく生成された再生中レリーズ画像が配置される。

領域Ａ１３には、領域Ａ９において再生されている動画像データＭ３のシークバーＴｐ３が表示される。シークバーＴｐ３の右側には、動画像データＭ３の全検査期間が表示される。シークバーＴｐ３には、領域Ａ９において現に再生されている画像の動画像データＭ３全体における再生位置を示すスライダーＴｓが表示される。

図８は、図７に示すシークバーＴｐ３の一部を拡大した図である。図８に示すように、シークバーＴｐ３上には、表示装置５で再生中の画像の再生位置を示すスライダーＴｓが表示されるとともに、スライダーＴｓの左側の再生済み期間に対応する部分は、スライダーＴｓの右側の未再生期間とは異なる色またはパターンで表示される。シークバーＴｐ３には、図５と同様に、検査期間における各検査中レリーズ信号の各入力タイミングを示す縦棒形状のマークＭｓが示される。さらに、シークバーＴｐ３の下端には、この動画像データＭ３の再生中に入力された再生中レリーズ信号の各入力タイミングを示す白抜き三角形のマークＭｐが表示される。本実施の形態では、検査中レリーズ信号に対応するマークＭｓの表示態様と、再生中レリーズ信号に対応するマークＭｐの表示態様とを変えることで、検査中および再生中のいずれのレリーズ信号に対応するものであるかを区別できるようにしている。シークバーＴｐ３におけるマークＭｓがタップされると、領域Ａ９に再生されている動画像データＭ３の再生位置が、タップされたマークＭｓに対応する検査中レリーズ信号の入力位置まで移動する。なお、領域Ａ１１に表示される再生中レリーズ画像も再生位置に応じて直近の再生中レリーズ画像に切り替わる。同様に、シークバーＴｐ３におけるマークＭｐがタップされると、領域Ａ９に再生されている動画像データＭ３の再生位置が、タップされたマークＭｐに対応する再生中レリーズ信号の入力タイミングに対応した位置まで移動する。なお、動画像データＭ３の再生が２回目である場合には、１回目の再生と、２回目の再生とで、再生中レリーズ信号の入力タイミングを示すマークの表示態様を変えればよい。

制御部３３は、前述したレリーズアイコンＢ１６の選択により、レリーズ指示入力部３６ａから再生中レリーズ信号が入力されたか否かを判断する（ステップＳ５）。制御部３３は、再生中レリーズ信号が入力されたと判断した場合には（ステップＳ５：Ｙｅｓ）、レリーズ処理の指示を行う（ステップＳ６）。この指示によって、静止画像生成部３５ｃは、再生中レリーズ信号が入力された時の再生画像に対応する再生中レリーズ画像データを生成して、制御部３３に出力する再生中レリーズ画像生成処理を行う（ステップＳ７）。記録制御部３３ａは、再生中の動画像データＭ３を、再生中レリーズ信号の入力タイミングでチャプタ分割するチャプタ分割処理を行う（ステップＳ８）。ステップＳ７およびステップＳ８は、並列処理である。

図９は、図３に示すステップＳ７およびステップＳ８の処理を説明するための模式図である。図９の（ａ）は、静止画像生成部３５ｃによる動画像データＭ３の再生中レリーズ画像データの生成処理を説明する図であり、図９の（ｂ）は、再生対象の動画像データＭ３の各コマの一部をコマ順に並べた模式図であり、図９の（ｃ）は、チャプタ分割後の動画像データＭ３−Ｃの各コマの一部をコマ順に並べた模式図である。図９の（ｂ），（ｃ）では、動画像データＭ３，Ｍ３−Ｃの先頭コマから２４コマまでを図示する。

図９の（ｂ）の矢印Ｙ１に示すように、動画像データＭ３のうちの５コマ目の画像が再生されている時に再生中レリーズ信号Ｅ１が入力された場合について説明する。この場合、静止画像生成部３５ｃは、矢印Ｙ１１のように、この再生中レリーズ信号Ｅ１の入力タイミングに再生されていた５コマ目の画像に対応する再生中レリーズ画像データＲ４−１（図９の（ａ）参照）を生成する。これとともに、矢印Ｙ１２のように、記録制御部３３ａは、再生中の動画像データＭ３の先頭コマから４コマまでをチャプタ１として分割する（図９の（ｃ）参照）。すなわち、記録制御部３３ａは、この再生中レリーズ信号Ｅ１の入力タイミングに再生されていた５コマ目の画像が、チャプタ２の先頭コマとなるように、チャプタ分割を行う。

また、図９の（ｂ）の矢印Ｙ２に示すように、１０コマ目の画像の再生時に次の再生中レリーズ信号Ｅ２が入力された場合、静止画像生成部３５ｃは、矢印Ｙ２１のように、この１０コマ目の画像に対応する再生中レリーズ画像データＲ４−２（図９の（ａ）参照）を生成し、記録制御部３３ａは、矢印Ｙ２２のように、再生中の動画像データＭ３の５コマから９コマまでをチャプタ２として分割する（図９の（ｃ）参照）。同様に、図９の（ｂ）の矢印Ｙ３に示すように、２３コマ目の画像再生時に再生中レリーズ信号Ｅ３が入力された場合、静止画像生成部３５ｃは、矢印Ｙ３１のように、この２３コマ目の画像に対応する再生中レリーズ画像データＲ４−３（図９の（ａ）参照）を生成し、記録制御部３３ａは、矢印Ｙ３２のように、再生中の動画像データＭ３の１０コマから２２コマまでをチャプタ３として分割する（図９の（ｃ）参照）。

記録制御部３３ａは、ステップＳ７で生成された再生中レリーズ画像データと、ステップＳ８で分割されたチャプタ情報とを動画像データＭ３に対応付ける対応付け処理を行い（ステップＳ９）、記憶部３８に一時的に、対応付けた各データを保持する。

ステップＳ９が終了した場合、または、制御部３３が、再生中レリーズ信号が入力されていないと判断した場合（ステップＳ５：Ｎｏ）、制御部３３は、再生された画像が最終コマであるか否かを判断する（ステップＳ１０）。制御部３３が、再生された画像が最終コマでないと判断した場合には（ステップＳ１０：Ｎｏ）、ステップＳ３に戻り、次の再生コマに対する再生用動画像データ生成処理が動画像処理部３５ａにおいて実行される。

一方、制御部３３が、再生された画像が最終コマであると判断した場合には（ステップＳ１０：Ｙｅｓ）、記録制御部３３ａは、再生が終了した動画像データに対し、今回の再生中に入力された各再生中レリーズ信号の入力情報、ならびに、今回の再生中に静止画像生成部３５ｃが生成した再生中レリーズ画像データを対応付けた動画像ファイルを記録装置６に記録させる動画像ファイル記録処理を行う（ステップＳ１１）。

図１０に示すように、記録制御部３３ａは、動画像データＤｍ、検査中レリーズ信号および再生中レリーズ信号の入力情報とチャプタ情報と音声データなどとの付加情報Ｄｐ、ならびに、静止画像生成部３５ｃが生成した各レリーズ画像データＲ（検査中レリーズ画像データおよび再生中レリーズ画像データ）を、一つのコンテナファイルＭＡで記録させる。この場合には、１検査に関する全てのデータが１つのファイルに収まるため、データ管理が容易になる。たとえば、コンテナファイルＭＡは、ｍｐ４、ｍｏｖなどの形式である。動画像データＤｍは、ｍｐｅｇ−１、ｍｐｅｇ−２、ｍｐｅｇ−４、Ｈ２６４／ＡＶＣなどのデータ形式である。また、レリーズ画像データＲは、ｊｐｅｇ、ｐｎｇ、ｔｉｆｆなどのデータ形式である。

また、図１１に示すように、記録制御部３３ａは、動画像データＤｍと音声データ等の付加情報Ｄａ、チャプタ情報またはレリーズ信号の入力情報等を含む付加情報Ｄｒ、ならびに、静止画像生成部３５ｃが生成したレリーズ画像データＲを、それぞれ別個のデータファイルＦｍ、制御情報ファイルＦｒ、レリーズ画像ファイルＦｇに記録させ、各ファイルを互いに対応付けてもよい。この場合には、どのファイルも汎用性を維持できるため、いずれのサーバにおいても、動画像データ、チャプタ情報またはレリーズ信号の入力情報およびレリーズ画像データを参照することができる。たとえば、データファイルＦｍは、ａｖｉ、ｍｐｇなどの形式である。なお、記録制御部３３ａは、ステップＳ１１において、動画像データを、再生中レリーズ信号の入力タイミングでチャプタ分割した状態で記録装置６に記録させる。再生中レリーズ信号の入力情報は、分割された各チャプタの識別情報、または、再生中レリーズ信号の入力タイミングを示す時間情報である。また、付加情報Ｄａは、入力部３６により入力された文字データを含んでもよく、また、動画再生時に動画像データに対して文字データを重畳するようにしてもよい。このようなデータ構成にすることによって、動画記録に際してのエンコードの圧縮率によらず、文字情報を見やすく表示することができる。

このように、本実施の形態では、内視鏡２の検査中に限らず、記録された内視鏡検査の動画像データを改めて再生している最中にも、新たな再生中レリーズ画像データを取得することができる。本実施の形態では、たとえば、内視鏡検査中に取得したレリーズ画像に、拍動などによってぶれやぼけがあり診断材料として使えない場合があっても、動画像データの再生中に所望の場所が適切に表されたレリーズ画像を新たに取得できる。このため、本実施の形態によれば、診断に要するレリーズ画像を適切に取得できるため、円滑な診断を支援することができる。さらに、本実施の形態によれば、動画像データの再生中もレリーズ画像データを取得できるため、内視鏡検査中でのレリーズ画像データの取得は必須ではなくなる。したがって、本実施の形態によって、レリーズ画像取得のための操作者による操作を省くことも可能となり、内視鏡検査に要する時間の短縮化および内視鏡検査の効率化を図ることができる。

また、実施の形態では、動画像選択時に、選択可能である動画像データの代表画像とともに、それぞれ対応する各検査中レリーズ画像も合わせて表示された動画像選択画面Ｗ２、Ｗ３（図４および図６参照）が表示装置５に表示される。このため、操作者は、動画像データに対応するレリーズ画像を確認しながら、動画像データを選択できるため、再生対象の動画像データを容易に見つけることができる。

また、実施の形態では、動画像データの再生時には、検査画像再生用のウィンドウＷ４のように、検査中レリーズ信号の入力タイミングを示すマークＭｓ、再生中レリーズ信号の入力タイミングを示すマークＭｐが表示されたシークバーＴｐ３が表示される。実施の形態では、動画像データの再生中に各マークＭｐ，Ｍｓがタップされると、タップされたマークＭｓ，Ｍｐに対応したレリーズ信号の入力位置まで、動画像データの再生位置が移動するため、操作者は、各マークＭｐ，Ｍｓをタップするだけで、レリーズ画像の生成を指示したシーン、すなわち、診断のために確認が必要となるシーンを容易に検索し、再生することができる。

なお、本実施の形態では、図３を参照して、処理装置３が、再生中レリーズ信号の入力があった場合に、再生中レリーズ画像データの生成に加えて、再生中の動画像データを再生中レリーズ信号の入力タイミングでチャプタ分割し、チャプタ情報を動画像データに対応付けて記録する処理について説明したが、内視鏡検査中においても同様の処理を実行可能である。すなわち、処理装置３は、内視鏡検査中に検査中レリーズ信号の入力があった場合に、検査中レリーズ画像データの生成に加えて、記録対象の動画像データを検査中レリーズ信号の入力タイミングでチャプタ分割し、チャプタ情報を動画像データに対応付けて記録することもできる。

また、本実施の形態では、内視鏡２が接続される処理装置３が、再生中レリーズ画像データを生成した場合を例に説明したが、もちろん、これに限らない。表示装置および記録装置に接続可能であって、画像生成部３５を有するものであれば、いずれのプロセッサでも、動画像データの再生、再生時のレリーズ画像データ生成、および該動画像データへの付加情報の対応付け処理を行うことができる。

また、本実施の形態にかかる処理装置３で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

１ 内視鏡システム
２ 内視鏡
３ 処理装置
４ 光源装置
５ 表示装置
６ 記録装置
２１ 撮像部
２２ 操作部
２２ａ レリーズボタン
２４ ライトガイドケーブル
３１ 内視鏡画像処理部
３２ 表示制御部
３３ 制御部
３３ａ 記録制御部
３４ データ送受信部
３５ 画像生成部
３５ａ 動画像処理部
３５ｂ ＲＡＭ
３５ｃ 静止画像生成部
３６ 入力部
３６ａ レリーズ指示入力部
３７ 出力部
３８ 記憶部

Claims (11)

1. 記録装置に記録された動画像データのうち、再生対象の動画像データが入力されるデータ入力部と、
   前記データ入力部から入力された動画像データから再生用動画像データを生成する動画像処理部と、
   前記動画像処理部が生成した再生用動画像データを表示装置に再生させる表示制御部と、
   前記再生用動画像データの再生中にレリーズ信号の入力を受け付けるレリーズ指示入力部と、
   前記レリーズ信号の入力時に前記表示装置に再生されていた再生画像に対応する静止画像データを前記動画像データから生成する静止画像生成部と、
   前記静止画像生成部が生成した静止画像データを前記動画像データに対応付けて前記記録装置に記録させる記録制御部と、
   を備えたことを特徴とする画像再生装置。
2. 前記表示制御部は、前記動画像データの束を時系列に沿って直線的に並べた中で前記表示装置で再生中の画像の再生位置を示す再生位置情報を前記表示装置に表示させることを特徴とする請求項１に記載の画像再生装置。
3. 前記記録制御部は、前記動画像データの記録中にレリーズ信号の入力があった場合、前記動画像データに前記レリーズ信号の入力情報を対応付けて記録させることを特徴とする請求項２に記載の画像再生装置。
4. 前記表示制御部は、前記再生位置情報に、前記動画像データの再生中に入力された前記レリーズ信号の入力タイミングを示す第１のマークと、前記動画像データに対応付けて記録された前記入力情報に基づく前記レリーズ信号の入力タイミングを示す、前記第１のマークとは表示態様の異なる第２のマークとを表示させることを特徴とする請求項２に記載の画像再生装置。
5. 前記動画像データは、内視鏡検査中に内視鏡先端の撮像部が生成した一連の画像データであって、前記内視鏡検査中に入力されたレリーズ信号の入力情報が対応付けられて前記記録装置に記録された画像データであることを特徴とする請求項３に記載の画像再生装置。
6. 前記記録制御部は、前記動画像データを前記レリーズ信号の入力タイミングでチャプタ分割した状態で前記記録装置に記録させることを特徴とする請求項１に記載の画像再生装置。
7. 前記レリーズ信号の入力情報は、分割された各チャプタの識別情報、または、前記レリーズ信号の入力タイミングを示す時間情報であることを特徴とする請求項６に記載の画像再生装置。
8. 前記記録制御部は、前記動画像データ、前記レリーズ信号の入力情報、ならびに、前記静止画像生成部が生成した静止画像データを、一つの動画像ファイル形式で記録させることを特徴とする請求項３に記載の画像再生装置。
9. 前記記録制御部は、前記動画像データ、前記レリーズ信号の入力情報、ならびに、前記静止画像生成部が生成した静止画像データを、それぞれ別個のファイルに記録させることを特徴とする請求項３に記載の画像再生装置。
10. 前記表示制御部は、前記記録装置に記録された複数の前記動画像データの中から再生対象の動画像データを選択するための動画像選択画面として、各動画像データの代表画像、各動画像データにそれぞれ対応付けられた前記静止画像データ、ならびに、前記レリーズ信号の入力タイミングをそれぞれ示す前記第１のマークまたは前記第２のマークが示された前記再生位置情報を含む前記動画像選択画面を、前記表示装置に表示させることを特徴とする請求項４に記載の画像再生装置。
11. 記録装置に記録された動画像データのうち再生対象の動画像データを表示装置で再生させる画像再生装置に、
    前記再生対象の動画像データから再生用動画像データを生成し、該生成した再生用動画像データを表示装置に再生させる動画像再生手順と、
    前記再生用動画像データの再生中にレリーズ信号の入力を受け付けるレリーズ指示入力手順と、
    前記レリーズ信号の入力時に前記表示装置に再生されていた再生画像に対応する静止画像データを前記動画像データから生成する静止画像生成手順と、
    前記静止画像生成手順において生成された静止画像データを前記動画像データに対応付けて前記記録装置に記録させる記録手順と、
    を実行させることを特徴とする画像再生プログラム。

Images