JPWO2018043585A1 - 内視鏡装置、内視鏡装置の記録・再生方法、情報処理装置およびプログラム - Google Patents

Abstract

内視鏡装置において、所望するシーンを容易に再生表示する。
動画像記録、再生表示が可能な内視鏡装置（１００）において、動画像記録中にオペレータが静止画保存操作を行うと、操作時のシーンに応じたフレーム画像（チャプター画像）をメタデータとして動画ファイルに記録する。そして、動画像再生モード設定時、動画再生開始シーンを選択可能な編集画面をＬＣＤ（１３６）に表示する。このとき、チャプター画像相応のメタデータを動画ファイルから抽出し、編集画面に一覧表示する。オペレータが所望するチャプター画像を選択すると、そのチャプター画像のシーンから動画像を再生開始させる。

Description

本発明は、体内器官などを撮像し、必要に応じて処置等を行う内視鏡装置、情報処理装置およびプログラムに関し、特に、動画像の記録、再生処理に関する。

内視鏡装置では、観察中あるいは処置／手術中、スコープによって撮影される画像を動画像として記録することが可能である。オペレータが、スコープ操作部あるいはプロセッサのフロントパネルなどに設けられたボタンを押下すると、動画像データがプロセッサと接続する外部記録装置あるいはプロセッサ内部のメモリに送られ、動画ファイルとして記録される（例えば、特許文献１参照）。

手術などの作業開始から作業終了までの全期間に渡って動画像記録を行った場合、動画像再生時には、所望するシーンを効率よく抽出することが望まれる。そのため、記録された動画像データの中から特定シーンの動画像部分を抽出し、再生表示できるように構成されている（特許文献２参照）。

具体的には、対外から体内へスコープを挿入したときなど撮影画像に変化が生じた場合、その変化を検知し、動画像記録データに編集ポイントをメタ情報として付加し、また、画像の種別、電気メス装置など周辺機器の使用状況をメタ情報として関連付けて記録する。

動画像再生前の編集画面では、編集ポイントが付与された一連のサムネイル（縮小）画像とともに、メニュー画面で画像の種別を表す項目、周辺機器の使用状況を表す項目が表示される。オペレータが再生したいシーンの項目を選択、設定すると、そのシーンの編集ポイント画像が表示され、実行操作することによってその動画部分が再生される。

特開２０１５−８５０２９号公報 特開２０１６−７４４４号公報

内視鏡装置側で自動的に再生開始（区切り）となるシーンを抽出する場合、動画像記録中どのシーンが抽出されたかオペレータにはわからない。そのため、動画像再生時において、文字情報で表示される項目と一連の抽出された映像シーンとを関連付けることが難しく、抽出されたシーンがどのシーンであるか直感的に理解しづらく、所望するシーンを見つけ出すことが難しい。

したがって、所望するシーンをオペレータが容易に見出して動画像を再生表示することが求められる。

本発明に係る内視鏡装置は、リアルタイムの動画像を動画ファイルとしてメモリに記録する記録処理部と、動画ファイルを読み出して動画像をモニタに再生表示する再生処理部と、再生開始シーンを選択可能な編集画面を表示部に表示する編集処理部とを備え、記録処理部が、動画像記録中、オペレータ指定のシーンに応じたフレーム画像（以下、チャプター画像）を、メタデータとして動画ファイルに保存し、編集処理部が、チャプター画像に応じたメタデータを抽出して、編集画面にチャプター画像を表示し、再生処理部が、オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始する。ここで、「前後のシーン」とは、チャプター画像から所定数（例えば数フレーム）のフレーム分だけ前あるいは後ろのフレーム画像を表し、ほぼ同じような被写体とみなせる範囲のフレーム画像を意味する。

例えば記録処理部は、オペレータによる静止画保存操作時のシーンに応じたチャプター画像を、メタデータとして動画ファイルに保存することができる。また、編集処理部は、メタデータの中にあるフレーム画像を、静止画ファイルとして取り出すことが可能である。

例えば記録処理部は、スコープの種類および画像処理設定内容の少なくともいずれか一方を、チャプター画像とともにメタデータとして動画ファイルに保存してもよい。また、編集処理部は、記録された動画像データの中で先頭シーンに応じた先頭フレーム画像を、チャプター画像とともに表示し、再生処理部が、オペレータによって先頭フレーム画像が選択されると、先頭フレーム画像から動画像の再生を開始することが可能である。

例えば内視鏡装置のプロセッサは、内視鏡作業関連映像を表示するととともに映像信号を出力可能な外部周辺機器と接続可能である。記録処理部は、オペレータによる静止画保存操作時に表示されていた内視鏡作業関連静止画像を、メタデータとして動画ファイルに保存することができる。再生処理部は、内視鏡作業関連静止画像に応じたメタデータを抽出し、内視鏡関連静止画像を動画像再生時に表示してもよい。

一方、内視鏡装置のプロセッサは、ファイリング装置と接続可能である。再生処理部は、リアルタイムの動画像とファイリング装置に記録された記録画像（静止画像、動画像いずれも含む）とを同時表示可能であり、記録処理部は、オペレータによる静止画保存操作時の再生シーンに応じた再生フレーム画像を、メタデータとして動画ファイルに保存することができる。

本発明の他の態様における内視鏡装置の記録・再生方法は、リアルタイムの動画像を動画ファイルとしてメモリに記録し、動画ファイルを読み出して動画像をモニタに再生表示し、再生開始シーンを選択可能な編集画面を表示部に表示する方法であって、動画像記録中、オペレータ指定のシーンに応じたフレーム画像（以下、チャプター画像）を、メタデータとして動画ファイルに保存し、チャプター画像に応じたメタデータを抽出して、編集画面にチャプター画像を表示し、オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始する。

一方、メタデータ記録の観点から導かれる内視鏡装置のプロセッサは、内視鏡作業関連映像を表示するととともに映像信号を出力可能な外部周辺機器と接続可能であり、リアルタイムの動画像を動画ファイルとしてメモリに記録する記録処理部を備える。そして、記録処理部が、動画像記録中、オペレータによる静止画保存操作時に表示されていた内視鏡作業関連静止画像を、メタデータとして動画ファイルに保存する。同様な技術的特徴を有する内視鏡装置のプロセッサは、ファイリング装置と接続可能であり、リアルタイムの動画像を動画ファイルとしてメモリに記録する記録処理部と、再生処理部は、リアルタイムの動画像とファイリング装置に記録された記録画像とを同時表示可能であり、記録処理部は、オペレータによる静止画保存操作時の再生シーンに応じた再生フレーム画像を、メタデータとして動画ファイルに保存する。

本発明の他の態様における情報処理装置は、動画像と、前記動画像の撮影中の所定の時刻に切り出されたチャプター画像に関するメタデータとを含む動画ファイルを取得する第１取得部と、前記第１取得部が取得した前記動画ファイルから抽出した前記チャプター画像を一覧表示する表示部と、前記表示部が一覧表示した前記チャプター画像からの選択を受け付ける受付部と、前記受付部が選択を受け付けた前記チャプター画像に対応する時刻に基づいて前記動画像を再生する再生部とを備える。

本発明の他の態様における情報処理装置は、前記動画像は、内視鏡を用いて撮影された画像であり、前期第１取得部は、前記内視鏡に設けられたボタンが操作された時刻に切り出されたチャプター画像に関するメタデータを含む動画ファイルを取得する。

本発明の他の態様における情報処理装置は、前記内視鏡が接続される内視鏡接続部と、前記内視鏡接続部を介して取得した動画像と時刻とに基づいて、前記動画ファイルを記録する記録部とを備える。

本発明の他の態様における情報処理装置は、撮影されたリアルタイム画像を取得する第２取得部を備え、前記表示部は、第２取得部が取得したリアルタイム画像と、前記チャプター画像または前記動画像とを同時に表示する。

本発明の他の態様におけるプログラムは、動画像と、前記動画像の撮影中の所定の時刻に切り出されたチャプター画像に関するメタデータとを含む動画ファイルを取得し、取得した前記動画ファイルから抽出した前記チャプター画像を一覧表示し、一覧表示した前記チャプター画像からの選択を受け付け、選択を受け付けたチャプター画像に対応する時刻に基づいて前記動画像を再生する処理をコンピュータに実行させる。

本発明によれば、内視鏡装置において、所望するシーンを容易に再生表示することができる。

第１の実施形態である内視鏡装置のブロック図である。 動画像記録処理を示したフローチャートである。 記録される動画像データの抽出フレーム画像を示した図である。 動画像再生前の編集処理のフローチャートである。 フロントパネルのＬＣＤに表示される編集画面を示した図である。 動画像再生開始処理のフローチャートである。 第２の実施形態におけるライブ画像および記録画像の同時表示画面を示した図である。 第３の実施形態におけるフロントパネルのＬＣＤに表示される編集画面を示した図である。 第３の実施形態における画像再生処理のフローチャートである。 第４の実施形態である内視鏡装置のブロック図である。 第４の実施形態における表示画面を説明する説明図である。 第４の実施形態の処理の流れを示すフローチャートである。

［第１の実施形態］
以下、図面を参照して本発明の実施形態である内視鏡装置について説明する。

図１は、第１の実施形態である内視鏡装置のブロック図である。

内視鏡装置１００は、ビデオスコープ１１０とプロセッサ１２０とを備え、ビデオスコープ１１０は、プロセッサ１２０に着脱自在に接続可能である。またプロセッサ１２０には、モニタ１５０、キーボード１７０が接続されるとともに、ファイリング装置１４０、生体情報モニタリング装置１６０が接続されている。なお、ビデオスコープ１１０は、後述するようにイメージセンサ１１１を用いて消化管等の内部を観察する際に使用する、内視鏡の一例である。

プロセッサ１２０は、キセノンランプなどの光源１２４を備え、光源１２４から放射された光は、集光レンズ１２８を介してビデオスコープ１１０内に設けられたライトガイド１１７の入射端に入射する。ライトガイド１１７から射出した光は、配光レンズ１１９Ａを介してスコープ先端部１１０Ｔから被写体（観察対象）に向けて照射される。光源１２４とライトガイド１１７との間には絞り１２９が設けられており、絞り１２９の開閉によって照明光量が調整される。

被写体で反射した照明光は、スコープ先端部１１０Ｔに設けられた対物レンズ１１９Ｂによって結像し、被写体像がイメージセンサ１１１の受光面に形成される。ＣＭＯＳセンサ、あるいはＣＣＤなどによって構成されるイメージセンサ１１１は駆動回路１１３によって駆動され、１フィールドもしくは１フレーム分の画素信号がイメージセンサ１１１から所定のフィールド／フレーム間隔（例えば１／６０秒あるいは１／３０秒間隔）で読み出される。イメージセンサ１１１の受光面上には、Ｃｙ、Ｙｅ、Ｇ、ＭｇあるいはＲ、Ｇ、Ｂなどのカラーフィルタを配列させたカラーフィルタアレイ（図示せず）が配設されている。

イメージセンサ１１１から読み出された画素信号は、アナログ信号処理回路において増幅処理などが施されたさた後、プロセッサ１２０の信号処理回路１２５へ送られる。信号処理回路１２５では、デジタル画素信号に対し、色変換処理、ガンマ補正処理などの画像信号処理が施される。これにより、Ｒ、Ｇ、Ｂのカラー画像信号が生成される。

Ｒ，Ｇ，Ｂ画像信号は、ＲＡＭなどの画像メモリ（図示せず）に一時的に保存された後、後段信号処理回路１３５へ送られる。後段信号処理回路１３５では、オペレータの入力操作に伴う輪郭強調処理、スーパーインポーズ処理、あるいは複数の画像を同時表示するための編集処理などが施される。映像信号がモニタ１５０に出力されることにより、リアルタイムの観察画像が動画像としてモニタ１５０に表示される。

ＣＰＵ（Central Processing Unit）などを含むシステムコントロール回路１２１は、タイミングコントローラ１２７、モータ１３０、後段信号処理回路１３５などへ制御信号を出力し、プロセッサ１２０の動作を制御する。動作制御プログラムは、あらかじめメモリ１２３に記憶されている。

スコープコントローラ１１５は、タイミングコントローラ１１４を制御するとともに、フリーズボタン１１８などからのボタン操作に応じて、システムコントロール回路１２１へ操作信号を送る。ビデオスコープ１１０がプロセッサ１２０に接続されると、ビデオスコープ１１０のメモリ１１６に記憶されたスコープ関連データが読み出され、プロセッサ１２０のＲＡＭ１２２に保存される。具体的には、スコープ機種名などのデータが読み出される。

ビデオスコープ１１０による撮像によって観察画像を表示する間、オペレータはキーボード１７０などに対する操作によって動画像を記録することが可能である。動画像記録操作が行われると、信号処理回路１２５において生成される各フレームの画像データは、システムコントロール回路１２１において圧縮処理され、ＲＡＭ１２２に動画ファイルとして記録される。また、必要に応じてファイリング装置１４０へ出力される。ここでは、ＭＰＥＧ方式に従った動画圧縮処理が行われる。また、後述するように、オペレータが動画像記録中にフリーズボタン１１８を操作すると、その操作時のシーンのフレーム画像データがメタデータとして記録される。

プロセッサ１２０のフロントパネル１２６には、表示部としてＬＣＤ１３６が設けられており、ＬＣＤ１３６の画面枠に合わせてタッチパネル１３８が設置されている。オペレータは、表示される輪郭強調用マーク、明るさレベルマークの部分をタッチすることで、画像処理、明るさ調整などが実行される。また、後述するように、動画像再生時、動画像再生開始シーンを選択可能な編集画面を表示可能である。

ファイリング装置１４０は、装置本体１４１と、ファイリングモニタ１４２とを備え、装置本体１４１は、コントローラ１４４と、メモリ１４５とを備えている。コントローラ１４４は、プロセッサ１２０から送られてくる画像データなどを受信し、ファイリングしてメモリ１４５に記録する。プロセッサ１２０から動画ファイル読み出しの指示があると、メモリ１４５から対象となる動画ファイルを読み出し、動画像データをプロセッサ１２０へ送信する。生体情報モニタリング装置１６０は、患者に取り付けられた各種センサからの信号に基づき、心拍数、脈拍、それらのパルス波形などを専用モニタ１６５に表示する。

図２は、動画像記録処理を示したフローチャートである。図３は、記録される動画像データの抽出フレーム画像を示した図である。図２、３を用いて、動画像記録時の静止画保存について説明する。

オペレータの操作によって動画像記録処理が開始されると（Ｓ１０１）、オペレータはビデオスコープ１１０を操作しながら、スコープ先端部１１０Ｔを移動させていく。そして、所望するシーンの観察画像が表示されると、フリーズボタン１１８を押下する。オペレータによって静止画保存のためフリーズボタン１１８が操作されたと判断されると（Ｓ１０２）、その操作時のフレーム画像をメタデータとしてメモリ１２３あるいはＲＡＭ１２２に記録する（Ｓ１０３）。

図３では、動画像記録中、オペレータが静止画保存のためにフリーズボタン１１８を３度操作したときのフレーム画像を示している。記録開始から時間Ｔ１経過したＪ番目のフレーム画像ＡＪは、スコープ先端部１１０Ｔが観察対象部位に到達し、視野範囲に入ったときの画像に相当する。オペレータは、動画像再生開始ポイント（指標）となる画像としてフレーム画像保存を行う。具体的には、フレーム画像ＡＪに関するメタデータを付与し、アノテーションを取得させる。

このとき、フレーム番号あるいは動画開始からの時刻の情報とともに、スコープの種類、画像処理設定内容（輪郭強調など）の情報がメタデータとして付与され、動画ファイルに記録される。さらに本実施形態では、フレーム画像ＡＪがメタデータｍ１として付与され、動画ファイルに記録される。すなわち、フレーム画像ＡＪ自身がメタデータｍ１として扱われる。

動画ファイルでは、音声データ、圧縮動画データ、音声、動画の同期データなどがメインの格納領域となるコンテナに収納されるともに、メタデータが付随して所定領域に格納される。また、メタデータには、上述した記録開始からの時刻、フレーム番号などの記述メタデータとともに、ユーザが任意にフォーマットを規定できるメタデータの領域が定められており、オペレータ操作によって指定されたフレーム画像データが、メタデータとして格納される。動画記録方式は、任意の方式（例えばＭＰ４、ＭＸＦフォーマットなど）を採用することが可能である。

記録開始から時間Ｔ２が経過したＭフレーム目のフレーム画像ＡＭは、ビデオスコープ１１０が病変部を捉えているシーンに応じたフレーム画像であり、オペレータがフリーズボタン１１８を操作することによって、フレーム画像ＡＭがメタデータｍ２として付与され、動画ファイルに記録される。また、Ｎフレーム目のフレーム画像ＡＮは、異なる部位に移動したときのシーンに応じたフレーム画像であり、メタデータｍ３として付与され、動画ファイルに記録される。キーボード１７０などによる動画像記録終了操作が行われるまで（Ｓ１０４）、ステップＳ１０２〜Ｓ１０４が繰り返し実行される。

図４は、動画像再生前の編集処理のフローチャートである。図５は、フロントパネル１２６のＬＣＤ１３６に表示される編集画面を示した図である。図６は、動画再生開始処理のフローチャートである。図４〜６を用いて、動画像再生開始シーンの選択、設定について説明する。

オペレータのキーボード１７０等による操作によって動画像再生モードが設定されると、図５に示すような編集画面が表示される。オペレータによって再生対象となる動画ファイルが検索されると（Ｓ２０１）、その先頭フレーム画像が縮小画像（以下、サムネイル画像という）としてＬＣＤ１３６に表示される（Ｓ２０２）。このとき、チャプター画像以外にメタデータとして記録されたスコープ種類、画像処理設定内容を文字情報で表示することが可能である。そして、検索された動画ファイルに書き込まれたメタデータの中に、フレーム画像データが存在するか否かが判断される（Ｓ２０３）。

フレーム画像データがメタデータとして存在する場合、そのメタデータを抽出し、編集用の画像（以下、チャプター画像という）としてＬＣＤ１３６に表示する（Ｓ２０４）。すべてのメタデータに対してステップＳ２０３、Ｓ２０４が実行されることによって（Ｓ２０５）、メタデータに含まれるチャプター画像が一覧表示される。ただし、メタデータにフレーム画像データが含まれない場合、サムネイル画像のみ表示され、含まれないことを示す文字情報が表示される。

図５では、編集画面において、動画先頭シーンのサムネイル画像Ｍ０と、抽出されたチャプター画像Ｃ１、Ｃ２、Ｃ３が表示されている。チャプター画像Ｃ１、Ｃ２、Ｃ３は、図３のフレーム画像ＡＪ、ＡＭ、ＡＮにそれぞれ対応する。

ここでは、先頭シーンのサムネイル画像Ｍ０と、チャプター画像Ｃ１〜Ｃ３は同サイズのイメージであり、チャプター画像Ｃ１〜Ｃ３は静止画保存操作の順番で並んで表示されている。オペレータは、タッチパネル１３８を操作することで、一連のチャプター画像Ｃ１〜Ｃ３のシーンを、動画再生開始ポイントとして選択することができる。

なお、サムネイル画像Ｍ０とチャプター画像Ｃ１〜Ｃ３とのサイズは、異なっていても良い。両者のサイズを異なるように表示することにより、オペレータがサムネイル画像Ｍ０とチャプター画像Ｃ１〜Ｃ３とを容易に区別することができる。チャプター画像Ｃ１〜Ｃ３同士のサイズは、相互に異なっていても良い。

オペレータがサムネイル画像を選択すると（図６のＳ３０１参照）、動画ファイルの先頭シーンから動画像がモニタ１５０に再生開始される（Ｓ３０２）。一方、オペレータによってチャプター画像が選択されると、選択されたチャプター画像に応じたシーンから動画像が再生開始される（Ｓ３０３、Ｓ３０４）。具体的には、チャプター画像とともにメタデータとして記録された記録開始からの時刻あるいはフレーム番号（例えば、時刻Ｔ１、フレーム番号Ｊ）に基づき、そのチャプター画像に応じたフレーム画像から再生開始される。

以上のように本実施形態によれば、動画像記録、再生表示が可能な内視鏡装置１００において、動画像記録中にオペレータが静止画保存操作を行うと、操作時のシーンに応じたフレーム画像（チャプター画像）がメタデータとして動画ファイルに記録される。そして、動画像再生モード設定時には、動画再生開始シーンを選択可能な編集画面がＬＣＤ１３６に表示される。このとき、チャプター画像相応のメタデータが動画ファイルから抽出され、編集画面に一覧表示される。オペレータが所望するチャプター画像を選択すると、そのチャプター画像のシーンから動画像が再生開始される。

オペレータの意図に合わせて動画像記録中の１シーンの静止画像データを記録するため、再生表示前の編集画面に表示されるチャプター画像がどのシーンであるかすぐに把握することができる。また、フレーム画像データを動画像ファイルに埋め込むような形でメタデータとして記録するため、動画像、静止画像を別ファイル化することなく記録することができる。さらに、メタデータとして静止画像データが動画データと関連付けて記録されているため、どのような状況静止画を記録したのか把握するのが容易となる。特に、メタデータの中にある画像データを探索し、抽出するだけでチャプター画像を一覧表示することができるため、編集画面の表示も煩雑な処理を伴わない。

一方、動画ファイルがファイリング装置１４０ではなくプロセッサ１２０内のメモリに記録されるため、専用の接続ケーブル、コマンド送信など必要としない。また、スコープ種類、画像処理設定内容もメタデータとして記録されるため、動画記録時の作業状況などを後で把握することが可能となる。

なお、チャプター画像に応じたフレーム画像のシーンではなく、その前後のシーンから動画像再生開始させてもよい。例えば、内視鏡操作においてスコープ先端部１１０Ｔを観察対象部位まで送り込み、徐々にスコープ先端部１１０Ｔを引き戻しながら部位を観察する作業において動画像記録処理を行った場合、チャプター画像の数秒前のフレーム画像から再生開始させ、所望シーンを見逃さないようにすることができる。この場合、チャプター画像に付随する記録時刻あるいはフレーム番号のメタデータに対して、あらかじめ定めたシフトフレーム数あるいは時間によって再生表示開始シーンを修正すればよい。

なお、メタデータの中のフレーム画像データ抽出に関しては、メタデータごとに静止画像データを取り出すのではなく、動画ファイル全体のデータの中から、フレーム画像データを静止画ファイルとして取り出すようにしてもよい。この場合、図４のステップＳ２０３〜Ｓ２０５の代わりに、静止画ファイル作成処理のステップが実行される。

リアルタイムの動画像（ライブ画像）と記録動画像とを、モニタ１５０に同時表示するようにしてもよい。例えば、オペレータがキーボード１７０を操作することにより、同時表示モードを設定することができる。また、オペレータのスコープボタン操作以外の手法によって、オペレータの指定するタイミングでフレーム画像データを記録してもよい。編集画面については、プロセッサ以外の表示部に表示してもよく、例えば、モニタ１５０に表示させるように構成してもよい。

オペレータが、キーボード１７０を用いて特定の入力操作を行った場合、又は、フットスイッチを操作した場合等に、その操作時のシーンのフレーム画像データがメタデータとして動画ファイルに記録されても良い。メタデータは、フレーム画像データ以外のデータでも良い。

［第２の実施形態］
次に、図７を用いて、第２の実施形態である内視鏡装置について説明する。第２の実施形態では、生体情報モニタリング装置およびファイリング装置の画像データをメタデータとして記録、再生表示することが可能である。

図７は、第２の実施形態におけるライブ画像および記録画像の同時表示画面を示した図である。

第２の実施形態では、オペレータが静止画保存操作を行うと、その操作時のシーンに応じたフレーム画像データだけでなく、生体情報モニタリング装置１６０の専用モニタ１６５において操作時に表示されていた生体情報表示画像（静止画像）が、メタデータとして記録される。生体情報モニタリング装置１６０は、プロセッサ１２０から保存データ送信要求を受けると、操作時に表示されていた生体情報表示画面データを静止画像データとしてプロセッサ１２０へ送信する。プロセッサ１２０では、送られてきた静止画像データをメタデータとして動画ファイルに記録する。なお、プロセッサ１２０に設けられたキャプチャーボード（図示せず）を使い、静止画像データを映像信号として取り込むようにしてもよい。

そして、第１の実施形態の説明で示した編集画面でチャプター画像が選択された場合、そのチャプター画像に付随して記録された生体情報表示画像が、動画像記録再生開始とともに表示される。

図７では、動画像再生時のモニタ１５０に表示されるリアルタイム動画像Ｉ１、記録再生動画像Ｉ２、および生体情報表示画像Ｉ３を示している。オペレータは、過去に記録した動画ファイルの中でリアルタイム動画像と同じ部位を写し出したシーンから再生表示開始させることで、現在の部位の病状と過去の病状とを比較することができる。また、それとともに、過去の生体情報表示画像をモニタ１５０で確認することにより、今現在専用モニタ１６５に表示されている生体情報と比較することができる。

さらに、オペレータが静止画保存操作を行うと、そのとき表示されていたリアルタイム画像のフレーム画像データがメタデータとして記録されるとともに、そのとき表示されていた記録再生動画像のフレーム画像（再生フレーム画像）が合わせてメタデータとして記録される。ファイリング装置１４０では、コントローラ１４４にて復元された動画像データの操作時シーンに応じた再生フレーム画像データがプロセッサ１２０へ送信される。なお、ファイリング装置から静止画像を取得して、リアルタイム動画像と同時に静止画像を再生表示し、その静止画像をメタデータとして記録してもよい。

図７には、記録されるリアルタイムのフレーム画像データｍ５と再生フレーム画像データｍ６とを示している。ここでは、１つのメタデータとしてリアルタイムフレーム画像データｍ５、再生フレーム画像データｍ６が記録される。このとき、あらかじめ定められたコメントの文字情報ＣＭ（経過観察の確認お願いしますなど）を添付した形で記録してもよい。これにより、現在と過去の患部の状態を比較観察することができる。なお、コメントについては、ユーザが任意にコメントを入力してコメントデータを保存し、必要な場面でコメントを記録させてもよい。

なお、生体情報画像データのメタデータとしての記録および再生表示は、第１の実施形態のように記録された動画像のみの再生表示に適用してもよい。また、第２の実施形態において、生体情報画像データのメタデータとしての記録および再生を行わず、再生動画像とリアルタイムの動画像の再生表示のみ行ってもよい。これらの場合、リアルタイム動画像のフレーム画像データと関係なく、メタデータとして記録してもよい。また、生体情報モニタリング装置以外の外部周辺機器で映像信号出力可能な装置についても適用可能である。

［第３の実施形態］
本実施形態は、オペレータにより選択されたチャプターに対応する時刻付近の動画を繰り返し再生する内視鏡装置１００に関する。第１の実施形態と共通する部分については、説明を省略する。

図８は、第３の実施形態におけるフロントパネル１２６のＬＣＤ１３６に表示される編集画面を示した図である。オペレータにより、サムネイル画像Ｍ０又はチャプター画像Ｃ１からＣ３がシングルタップされた場合の動作は、第１の実施形態と同様である。

図８は、オペレータによりチャプター画像Ｃ１がダブルタップされた場合に、ＬＣＤ１３６に表示される画像の例を示す。選択されたチャプター画像Ｃ１の周囲が太枠３１により囲まれ、選択中であることが示される。

太枠３１の内側に、チャプター画像Ｃ１が記録された時刻を中心にして、所定の繰り返し時間の範囲の動画像が繰り返し再生表示される。繰り返し時間は、数秒間、例えば３秒間程度である。太枠３１の内側の領域は、本実施の形態の再生部の一例である。

画面の下部に、タイムバー３２が表示される。タイムバー３２の全長は、繰り返し時間を示す。タイムバー３２にカーソル３３が表示される。カーソル３３は、繰り返し時間の範囲内で、太枠３１に表示されている画像が撮影された時刻を示す。なお、オペレータがキーボード１７０又はタッチパネルを操作することにより、繰り返し時間および再生速度を適宜変更することが可能であっても良い。

内視鏡検査においては、オペレータは病変などの重要な部分を発見した際にフリーズボタン１１８を操作して静止画像を記録する。第１の実施形態において説明したとおり、フリーズボタン１１８が操作された場合に、動画像ファイルにチャプター画像等のメタデータが記録される。

しかしながら、オペレータがフリーズボタンを押した時刻に、必ずしも診断等に最適な画像が表示されているとは限らない。また、静止画像よりも動画像の方が、例えば病変部の立体的な形状等を把握しやすい場合がある。

図８に示すように、チャプター画像の前後の短い時間の動画像を繰り返し再生することにより、オペレータは内視鏡検査時に注目した部分の再観察を容易に行うことが可能である。

図９は、第３の実施形態における画像再生処理のフローチャートである。ステップＳ３０１およびステップＳ３０２は、図６を使用して説明した第１の実施形態の処理と同様であるので、説明を省略する。

本実施形態においては、ステップＳ３０３のチャプター画像の選択は、チャプター画像のシングルタップ又はダブルタップによって行われる。なお、シングルタップ又はダブルタップの代わりに、例えばスワイプ、複数の指による同時タップ、所定の領域へのドラッグアンドドロップ、又はキーボード操作等の、任意の操作を用いることができる。

シングルタップによってチャプター画像が選択された場合（ステップＳ３０３でシングルタップ）、第１の実施形態のステップＳ３０４と同様に、選択されたチャプター画像に応じたシーンから動画像が再生開始される（ステップＳ３０４）。

ダブルタップによってチャプター画像が選択された場合（ステップＳ３０３でダブルタップ）、図８を使用して説明したように、フロントパネル１２６に太枠３１、タイムバー３２及びカーソル３３が表示される。太枠３１内に、選択されたチャプター画像が保存された時刻の前後の動画像が繰り返し再生される（ステップＳ３０５）。ステップＳ３０４又はステップＳ３０５の終了後、処理は終了される。

動画像は、大きく拡大して表示されても良い。動画像は、フロントパネル１２６とは異なる表示装置、例えばモニタ１５０に表示されても良い。

なお、プロセッサ１２０は、ステップＳ３０２、ステップＳ３０４又はステップＳ３０５の動画像再生処理を行いながら、並行してステップＳ３０１に戻り、オペレータによる次の操作を受け付けても良い。

本実施の形態によると、チャプター画像の前後の短い時間の動画像を繰り返し再生する内視鏡装置１００を提供できる。本実施の形態の内視鏡装置１００を用いることにより、オペレータは内視鏡検査時に注目した部分の再観察を容易に行うことが可能である。

図６又は図９を使用して説明したフローチャートは、内視鏡検査中に記録されたメタデータを含む動画ファイルを読み込み可能な汎用のパソコン、タブレット等の情報処理装置で実行されても良い。例えば、メタデータを含む動画ファイルを、ネットワークを介して接続されたＨＩＳ（Hospital Information System：病院内情報システム）の記録装置に記録しておき、内視鏡検査室とは異なる部屋に設置されたパソコンを用いて、再生することができる。

［第４の実施形態］
本実施形態は、主にソフトウエア処理に基づいて動作するプロセッサ１２０を備える内視鏡装置１００に関する。第１の実施形態と共通する部分については、説明を省略する。

図１０は、第４の実施形態である内視鏡装置のブロック図である。内視鏡装置１００は、ビデオスコープ１１０と、プロセッサ１２０と、表示装置９０とを備える。ビデオスコープ１１０の内部の構成は、図１を使用して説明した実施の形態１のビデオスコープ１１０と同様であるので、図示を省略する。

表示装置９０は、表示部９１と入力部９２とを備える。表示部９１は、例えば液晶表示パネルである。入力部９２は、表示部９１の表面に配置されており、表示部９１と連動してタッチパネルを構成するタッチセンサである。入力部９２は、キーボード又はマウス等でも良い。

プロセッサ１２０は、ＣＰＵ１１、主記憶装置１２、補助記憶装置１３、通信部１４、表示Ｉ／Ｆ（Interface）１５、入力Ｉ／Ｆ１６、スコープＩ／Ｆ１７、光源１２４およびバスを備える。本実施の形態のプロセッサ１２０は、ＣＰＵ１１がプログラムを実行することにより動作する情報処理装置の一例である。

ＣＰＵ１１は、本実施の形態にかかるプログラムを実行する演算制御装置である。ＣＰＵ１１には、一又は複数のＣＰＵ又はマルチコアＣＰＵ等が使用される。ＣＰＵ１１は、バスを介してプロセッサ１２０を構成するハードウェア各部と接続されている。

主記憶装置１２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置１２には、ＣＰＵ１１が行う処理の途中で必要な情報およびＣＰＵ１１で実行中のプログラムが一時的に保存される。

補助記憶装置１３は、ＳＲＡＭ、フラッシュメモリ、ハードディスク又は磁気テープ等の記憶装置である。補助記憶装置１３には、ＣＰＵ１１に実行させるプログラム、動画ファイルおよびプログラムの実行に必要な各種情報が保存される。なお、動画ファイルはＨＩＳ等のネットワーク等を介してプロセッサ１２０に接続された外部の大容量記憶装置等に保存されていても良い。

通信部１４は、ネットワークとの通信を行うインターフェイスである。表示Ｉ／Ｆ１５は、表示部９１とバスとを接続するインターフェイスである。入力Ｉ／Ｆは、入力部９２とバスとを接続するインターフェイスである。スコープＩ／Ｆ１７は、ビデオスコープ１１０とバスとを接続するインターフェイスである。スコープＩ／Ｆ１７は、内視鏡が接続される内視鏡接続部の一例である。図１に示すアナログ信号処理回路１１２、タイミングコントローラ１１４およびスコープコントローラは、それぞれスコープＩ／Ｆ１７を介してバスに接続される。

図１１は、第４の実施形態における表示画面を説明する説明図である。図１１に示す画面は、表示部９１に表示される。図１１に示す画面は、サムネイル画像Ｍ０と、チャプター画像Ｃ１、Ｃ２およびＣ３と、リアルタイム動画像Ｉ１と、記録再生動画像Ｉ２とを含む。なお、チャプター画像は、２行以上に並べて一覧表示されても良い。

リアルタイム動画像Ｉ１には、ビデオスコープ１１０のイメージセンサ１１１により撮影された画像がリアルタイムで表示される。サムネイル画像Ｍ０と、チャプター画像Ｃ１、Ｃ２およびＣ３には、例えば内視鏡検査中の患者が過去に同様の内視鏡検査を受けた際の動画ファイルから抽出されたサムネイル画像とチャプター画像とが表示される。オペレータにより選択されたサムネイル画像Ｃ２は、太枠３１により囲まれている。

記録再生画像Ｉ２には、動画ファイルを太枠３１で囲まれたチャプター画像が記録された時刻から再生した再生画像が表示される。記録再生画像Ｉ２には、チャプター画像が記録された時刻に撮影された静止画像が表示されても良い。記録再生画像Ｉ２には、太枠３１で囲まれたチャプター画像が拡大表示されても良い。記録再生画像Ｉ２が表示される領域は、本実施の形態の再生部の一例である。

なお、動画ファイルは、オペレータの指示に基づいて、補助記憶装置１３に蓄積された動画ファイルから選択されても良い。動画ファイルは、オペレータの指示に基づいてＨＩＳから取得されて補助記憶装置１３に一時的に記録されても良い。動画ファイルは、検査中の患者のＩＤ（Identifier）等に基づいて、自動的にＨＩＳから取得されて補助記憶装置１３に記録されても良い。例えば、定期的な内視鏡検査による経過観察を行う患者の場合には、患者ＩＤに基づいてＣＰＵ１１が前回の内視鏡検査で記録した動画ファイルを選択することができる。

図１１に示す画面を表示する手順の概要を説明する。オペレータは、内視鏡検査を開始する前に、内視鏡検査中に再生する動画ファイルを選択するか、又はＣＰＵ１１に選択させるために必要な患者ＩＤ等の情報をＣＰＵ１１に入力する。

ＣＰＵ１１は、動画ファイルに含まれるメタデータから、チャプター画像を抽出して、表示する。オペレータが内視鏡検査を開始した場合、ＣＰＵ１１はスコープＩ／Ｆを介してビデオスコープ１１０から取得した信号に基づいて、リアルタイム動画像Ｉ１を表示する。

オペレータは、例えばシングルタップ等の操作により、リアルタイム動画像Ｉ１と対比確認したいチャプター画像を選択する。ＣＰＵ１１は、選択を受け付けたチャプター画像に基づいて、記録再生画像Ｉ２を表示する。

以上により、オペレータは例えば前回の内視鏡検査時と今回の内視鏡検査との病変部位の変化の様子を対比することができる。オペレータは、ビデオスコープ１１０を操作して、記録再生画像Ｉ２と同様の向きから病変部を撮影することができるこのようにして撮影したリアルタイム動画像Ｉ１と、記録再生画像Ｉ２とを比較することにより、病変の変化の有無等を詳細に観察することができる。

オペレータは、例えば健康な人の内視鏡画像を撮影した動画ファイルを選択しても良い。オペレータは、記録再生画像Ｉ２に表示した健康な人の内視鏡画像を、リアルタイム動画像Ｉ１と比較することができる。

図１２は、第４の実施形態の処理の流れを示すフローチャートである。ＣＰＵ１１は、動画ファイルを取得する（ステップＳ３１１）。ＣＰＵ１１は、ステップＳ３１１により動画ファイルを取得する第１取得部の機能を実現する。ＣＰＵ１１は、動画ファイルからチャプター画像を抽出する（ステップＳ３１２）。ＣＰＵ１１は、抽出したチャプター画像を、図１１を使用して説明したように一覧表示する。

ＣＰＵ１１はスコープＩ／Ｆを介してビデオスコープ１１０から取得した信号に基づいて、リアルタイム動画像Ｉ１を表示する（ステップＳ３１４）。なお、ＣＰＵ１１は以後に説明する処理と平行して、リアルタイム動画像Ｉ１を更新し続ける。ＣＰＵ１１は、ステップＳ３１４によりリアルタイム画像を取得する第２取得部の機能を実現する。

ＣＰＵ１１は一覧表示したチャプター画像から、いずれかのチャプター画像の選択を受け付けたか否かを判定する（ステップＳ３１５）。ＣＰＵ１１は、ステップＳ３１５によりチャプター画像の選択を受け付ける受付部の機能を実現する。受け付けたと判定した場合（ステップＳ３１５でＹＥＳ）。ＣＰＵ１１は記録再生画像Ｉ２を表示する（ステップＳ３１６）。なお、記録再生画像Ｉ２が動画像である場合には、ＣＰＵ１１は再度選択を受け付けるまで、記録再生画像Ｉ２の再生を継続する。

ＣＰＵ１１は、処理を終了するか否かを判定する（ステップＳ３１７）。例えば、内視鏡検査が終了した場合に、ＣＰＵ１１は処理を終了すると判定する。処理を終了すると判定した場合（ステップＳ３１７でＹＥＳ）、ＣＰＵ１１は処理を終了する。

処理を終了しないと判定した場合（ステップＳ３１７でＮＯ）、ＣＰＵ１１はステップＳ３１５に戻る。

本実施の形態によると、内視鏡検査中に、リアルタイム画像Ｉ１とオペレータが選択した記録再生画像とを並べて表示する内視鏡装置１００を提供できる。

例えば画像処理等の、ＣＰＵが行う処理の一部を、バスに接続された専用の回路基板で実行しても良い。

ＣＰＵ１１は、画像のパターンマッチング等の処理により、リアルタイム画像Ｉ１と類似するチャプター画像を自動的に選択しても良い。

各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１１ ＣＰＵ
１２ 主記憶装置
１３ 補助記憶装置
１４ 通信部
１５ 表示Ｉ／Ｆ
１６ 入力Ｉ／Ｆ
１７ スコープＩ／Ｆ ３１ 太枠
３２ タイムバー
３３ カーソル
１００ 内視鏡装置
１１０ ビデオスコープ（ビデオスコープ、内視鏡）
１２０ プロセッサ
１２１ システムコントロール回路（編集処理部、再生処理部）
１３５ 後段信号処理回路（編集処理部、再生処理部、記録処理部）
１３６ ＬＣＤ（表示部）
１５０ モニタ

本発明は、体内器官などを撮像し、必要に応じて処置等を行う内視鏡装置、内視鏡装置の記録・再生方法、情報処理装置およびプログラムに関し、特に、動画像の記録、再生処理に関する。

本発明に係る内視鏡装置は、リアルタイムの動画像を動画ファイルとして内蔵メモリに記録する記録処理部と、動画ファイルを読み出して動画像をモニタに再生表示する再生処理部と、再生開始シーンを選択可能な編集画面をフロントパネルに設けられた表示部に表示する編集処理部とを備え、記録処理部が、動画像記録中、オペレータ指定のシーンに応じたフレーム画像（以下、チャプター画像）を、メタデータとして動画ファイルに保存し、編集処理部が、チャプター画像に応じたメタデータを抽出して、前記編集画面にチャプター画像を表示し、再生処理部が、オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始する。ここで、「前後のシーン」とは、チャプター画像から所定数（例えば数フレーム）のフレーム分だけ前あるいは後ろのフレーム画像を表し、ほぼ同じような被写体とみなせる範囲のフレーム画像を意味する。

Claims (14)

1. リアルタイムの動画像を動画ファイルとしてメモリに記録する記録処理部と、
   前記動画ファイルを読み出して動画像をモニタに再生表示する再生処理部と、
   再生開始シーンを選択可能な編集画面を表示部に表示する編集処理部とを備え、
   前記記録処理部が、動画像記録中、オペレータ指定のシーンに応じたフレーム画像（以下、チャプター画像）を、メタデータとして前記動画ファイルに保存し、
   前記編集処理部が、チャプター画像に応じたメタデータを抽出して、編集画面にチャプター画像を表示し、
   前記再生処理部が、オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始することを特徴とする内視鏡装置。
2. 前記記録処理部が、オペレータによる静止画保存操作時のシーンに応じたチャプター画像を、メタデータとして前記動画ファイルに保存することを特徴とする請求項１に記載の内視鏡装置。
3. 前記編集処理部が、メタデータの中にあるフレーム画像を、静止画ファイルとして取り出すことを特徴とする請求項１又は２に記載の内視鏡装置。
4. 前記記録処理部が、スコープの種類および画像処理設定内容の少なくともいずれか一方を、チャプター画像とともにメタデータとして前記動画ファイルに保存することを特徴とする請求項１乃至３のいずれかに記載の内視鏡装置。
5. 前記編集処理部が、記録された動画像データの中で先頭シーンに応じた先頭フレーム画像を、チャプター画像とともに表示し、
   前記再生処理部が、オペレータによって先頭フレーム画像が選択されると、先頭フレーム画像から動画像の再生を開始することを特徴とする請求項１乃至４のいずれかに記載の内視鏡装置。
6. 前記内視鏡装置のプロセッサが、内視鏡作業関連映像を表示するととともに映像信号を出力可能な外部周辺機器と接続可能であり、
   前記記録処理部が、オペレータによる静止画保存操作時に表示されていた内視鏡作業関連静止画像を、メタデータとして前記動画ファイルに保存することを特徴とする請求項１乃至５のいずれかに記載の内視鏡装置。
7. 前記再生処理部が、内視鏡作業関連静止画像に応じたメタデータを抽出し、内視鏡関連静止画像を動画像再生時に表示することを特徴とする請求項６に記載の内視鏡装置。
8. 前記内視鏡装置のプロセッサが、ファイリング装置と接続可能であり、
   前記再生処理部が、リアルタイムの動画像と前記ファイリング装置に記録された記録画像とを同時表示可能であり、
   前記記録処理部が、オペレータによる静止画保存操作時の再生シーンに応じた再生フレーム画像を、メタデータとして前記動画ファイルに保存することを特徴とする請求項１乃至７のいずれかに記載の内視鏡装置。
9. リアルタイムの動画像を動画ファイルとしてメモリに記録し、
   前記動画ファイルを読み出して動画像をモニタに再生表示し、
   再生開始シーンを選択可能な編集画面を表示部に表示する方法であって、
   動画像記録中、オペレータ指定のシーンに応じたチャプター画像を、メタデータとして前記動画ファイルに保存し、
   チャプター画像に応じたメタデータを抽出して、編集画面にチャプター画像を表示し、
   オペレータに選択されたチャプター画像のシーンもしくはその前後のシーンから、動画像の再生を開始することを特徴とする内視鏡装置の記録・再生方法。
10. 動画像と、前記動画像の撮影中の所定の時刻に切り出されたチャプター画像に関するメタデータとを含む動画ファイルを取得する第１取得部と、
    前記第１取得部が取得した前記動画ファイルから抽出した前記チャプター画像を一覧表示する表示部と、
    前記表示部が一覧表示した前記チャプター画像からの選択を受け付ける受付部と、
    前記受付部が選択を受け付けた前記チャプター画像に対応する時刻に基づいて前記動画像を再生する再生部とを備える
    情報処理装置。
11. 前記動画像は、内視鏡を用いて撮影された画像であり、
    前期第１取得部は、前記内視鏡に設けられたボタンが操作された時刻に切り出されたチャプター画像に関するメタデータを含む動画ファイルを取得する
    請求項１０に記載の情報処理装置。
12. 前記内視鏡が接続される内視鏡接続部と、
    前記内視鏡接続部を介して取得した動画像と時刻とに基づいて、前記動画ファイルを記録する記録部とを備える
    請求項１１に記載の情報処理装置。
13. 撮影されたリアルタイム画像を取得する第２取得部を備え、
    前記表示部は、第２取得部が取得したリアルタイム画像と、前記チャプター画像または前記動画像とを同時に表示する
    請求項１０から請求項１２のいずれか一つに記載の情報処理装置。
14. 動画像と、前記動画像の撮影中の所定の時刻に切り出されたチャプター画像に関するメタデータとを含む動画ファイルを取得し、
    取得した前記動画ファイルから抽出した前記チャプター画像を一覧表示し、
    一覧表示した前記チャプター画像からの選択を受け付け、
    選択を受け付けたチャプター画像に対応する時刻に基づいて前記動画像を再生する
    処理をコンピュータに実行させるプログラム。

Images