JP7183256B2 - 内視鏡業務支援システムおよび内視鏡業務支援方法 - Google Patents

Description

本発明は、内視鏡業務を支援する技術に関する。

内視鏡検査では、患者の体内に挿入された内視鏡により取得されている映像を内視鏡画像を表示装置にリアルタイムで表示させる。医師は、表示装置に表示されている映像を観察することにより、所見を得る。また、内視鏡検査では、通常、複数の内視鏡画像が記録される。

特開２０１６－０６２４８８号公報

検査において記録された内視鏡画像は、患者の診断に使用される場合がある。例えばセカンド・オピニオンのための診断に使用される場合がある。医師は、診断をする際、生体表面の凹凸を観察することが多い。内視鏡画像を使用して診断する場合、その医師には、生体表面の凹凸をより的確に把握するために、用意された内視鏡画像とは異なる位置、方向から撮影した内視鏡画像を見たいとの要求が生じうる。

このような課題は、患者の体内を撮影した内視鏡画像により患者を診断する場合に限らず、他の観察対象を撮影した画像によりその観察対象を診断する場合、例えばパイプ、機械、構造物などの内部を撮影した画像によりそれらを診断する場合にも起こりうる。

本発明はこうした状況に鑑みなされたものであり、その目的は、内視鏡画像を用いて観察対象をより的確に診断できる技術を提供することにある。

上記課題を解決するために、本発明のある態様の画像処理システムは、時系列に取得された複数の内視鏡画像を記憶する画像記憶部と、画像記憶部に記憶された複数の内視鏡画像に基づいて、観察対象の所定部位の三次元形状を示す三次元データを生成する三次元データ生成部と、三次元データ生成部によって生成された三次元データから、入力された視点位置および視線方向に対応する二次元画像を生成する二次元画像生成部と、二次元画像生成部によって生成された二次元画像を、所定の表示部に表示させる表示制御部と、を備える。

本発明の別の態様は、画像処理方法である。この方法は、時系列に取得された複数の内視鏡画像を記憶する所定の記憶領域にアクセス可能な画像処理システムに実行させる方法であって、記憶領域に記憶された複数の内視鏡画像に基づいて、体内の所定部位の三次元形状を示す三次元データを生成するステップと、生成された三次元データから、入力された視点位置および視線方向に対応する二次元画像を生成するステップと、生成された二次元画像を、所定の表示部に表示させるステップと、を含む。
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

第１の実施の形態に係る内視鏡業務支援システムの構成を示す図である。 図１の画像管理装置の構成を示す図である。 図２の検査情報記憶部のデータ構造を示す図である。 診断支援装置の構成を示す図である。 検査情報一覧の例を示す図である。 抽出部による内視鏡画像の抽出を説明するための図である。 図７（ａ）～（ｃ）は、検査時の内視鏡の先端部１２１ａの様子を示す図である。 第５の実施の形態に係る内視鏡業務支援システムの画像管理装置の構成を示す図である。

以下、図面を参照しながら、本発明を実施するための形態について詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を適宜省略する。

（第１の実施の形態）
図１は、実施の形態に係る内視鏡業務支援システム１の構成を示す図である。内視鏡業務支援システム１は、内視鏡業務を支援するためのシステムであり、内視鏡システム１０で総称される複数の内視鏡システム１０ａ、１０ｂ、画像管理装置２０および診断支援装置３０で総称される複数の診断支援装置３０を備える。内視鏡システム１０および診断支援装置３０は、ネットワークによって画像管理装置２０と接続されている。診断支援装置３０は、内視鏡システム１０と地理的に離れた場所に設置されてもよい。同様に、画像管理装置２０は、内視鏡システム１０および／または診断支援装置３０と地理的に離れた場所に設置されてもよい。

内視鏡システム１０は、内視鏡１２、処理装置１４および表示装置１６を備える。内視鏡１２は、挿入部１２１および操作部１２２を含む。挿入部１２１の先端に位置する先端部１２１ａには、撮像素子が設けられる。第１の医師は、内視鏡１２の挿入部１２１を、例えば口や鼻から患者の体内に挿入する。先端部１２１ａに設けられた撮像素子は、患者の体内を撮影する。撮影された画像（以下、「内視鏡画像」という）は、処理装置１４に出力される。操作部１２２は、検査開始時に押下される検査開始ボタン、検査終了時に押下される検査終了ボタン、および先端部１２１ａの向きを変えるためのすなわち挿入部１２１の先端を曲げるためのアングルノブを含む。

処理装置１４は、内視鏡システム１０全体を統括的に制御する。処理装置１４の一つの重要な役割は、内視鏡１２により時系列に取得された複数の内視鏡画像を画像管理装置２０に送信してデータベースに記憶させることであり、もう一つの重要な役割は、内視鏡１２により取得されている映像を表示装置１６にリアルタイムで表示させることである。

内視鏡検査（以下、単に「検査」という）の開始前、第１の医師は、検査を識別するための情報である検査ＩＤ、および患者を識別するための情報である患者ＩＤを、キーボードなどのユーザインタフェースを用いて処理装置１４に入力する。第１の医師は、内視鏡１２の操作部１２２の開始ボタンを押下して検査を開始する。処理装置１４は、検査ＩＤ、患者ＩＤおよび検査日を含む検査開始情報を画像管理装置２０に送信する。第１の医師は、内視鏡１２を操作しながら表示装置１６にリアルタイムに表示される映像を観察することにより、所見を得る。第１の医師は、終了ボタンを押下して検査を終了する。処理装置１４は、検査ＩＤ、患者ＩＤおよび検査日を含む検査終了情報を画像管理装置２０に送信する。

開始ボタンが押下されてから終了ボタンが押下されるまでの検査の間、内視鏡１２から処理装置１４に、一定の時間間隔（例えば（Ａ）秒間隔）で内視鏡画像が出力される。処理装置１４は、上述の２つの重要な役割のうちの前者の役割において、一定の時間間隔で出力される内視鏡画像にメタデータを付加する。処理装置１４は、メタデータが付加された内視鏡画像を、出力されるたびに、または検査の終了後にまとめて、画像管理装置２０に送信する。メタデータには、内視鏡画像を識別するための情報（画像ＩＤ）、患者を識別するための情報（患者ＩＤ）、検査を識別するための情報（検査ＩＤ）および撮影日を示す撮影日情報が少なくとも含まれる。

図２は、画像管理装置２０の構成を示す図である。画像管理装置２０は、内視鏡１２により撮像された内視鏡画像を管理する。画像管理装置２０は、制御部２２および記憶部２４を備える。制御部２２は、内視鏡画像登録部２２１、検査情報登録部２２２、抽出部２２３、三次元データ生成部２２４、検査情報送信部２２５および三次元データ送信部２２６を含む。記憶部２４は、検査情報記憶部２４１、内視鏡画像記憶部２４２および三次元データ記憶部２４３を含む。

制御部２２の機能は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。後述の制御部３６についても同様である。
記憶部２４は、大容量の補助記憶装置であって、ＨＤＤ（ハードディスクドライブ）またはフラッシュメモリにより構成されてよい。後述の記憶部３８についても同様である。

内視鏡画像記憶部２４２は、処理装置１４から送信された内視鏡画像を記憶し、具体的には各検査において検査開始から検査終了までに一定の時間間隔で撮影されたすべての画像を記憶する。内視鏡画像は、画像ＩＤおよび検査ＩＤと対応付けて記憶される。

三次元データ記憶部２４３は、三次元データ生成部２２４によって後述のように生成される三次元データを記憶する。

図３は、検査情報記憶部２４１のデータ構造を示す図である。検査情報記憶部２４１は、検査情報を記憶し、具体的には、検査ＩＤ、患者ＩＤ、検査日および画像情報を対応づけて記憶する。「画像情報」には、各検査で実際に撮像された内視鏡画像の画像ＩＤが記憶される。例えば、検査ＩＤ「２」の検査情報に、画像ＩＤ「１００１～２００５」が記憶されている。これは、検査ＩＤ「２」の検査情報に、画像ＩＤ「１００１～２００５」の内視鏡画像が対応付けられていること、すなわち検査ＩＤ「２」の検査で画像ＩＤ「１００１～２００５」の内視鏡画像が取得されたこと示す。なお内視鏡画像自体は、上述のように内視鏡画像記憶部２４２に記憶される。

内視鏡画像登録部２２１は、処理装置１４から送信された内視鏡画像を、内視鏡画像記憶部２４２に登録する。内視鏡画像登録部２２１は特に、内視鏡画像のメタデータから画像ＩＤおよび検査ＩＤを特定し、内視鏡画像を、特定した画像ＩＤおよび検査ＩＤと対応付けて内視鏡画像記憶部２４２に登録する。

検査情報登録部２２２は、内視鏡システム１０から検査開始情報が送られると、検査開始情報に含まれる検査ＩＤ、患者ＩＤおよび検査日を取得し、それらを検査情報記憶部２４１に登録する。また検査情報登録部２２２は、内視鏡画像記憶部２４２に新たな内視鏡画像が登録されると、そのメタデータから検査ＩＤを特定し、対応する検査情報に紐付ける。具体的には検査情報登録部２２２は、対応する検査情報の「画像情報」に、新たに登録された内視鏡画像の画像ＩＤを登録する。

抽出部２２３は、内視鏡システム１０から検査終了情報が送られると、検査終了情報に含まれる検査ＩＤを取得し、検査情報記憶部２４１を参照してその検査ＩＤに紐付けられている複数の内視鏡画像の各画像ＩＤを特定する。抽出部２２３は、特定した複数の画像ＩＤに対応する各内視鏡画像を内視鏡画像記憶部２４２から抽出する。つまり、抽出部２２３は、検査ＩＤに対応付けられているすべての内視鏡画像、すなわち検査ＩＤが示す検査で取得されたすべての内視鏡画像を抽出する。

三次元データ生成部２２４は、抽出部２２３により抽出された複数の内視鏡画像（二次元画像）に基づいて、検査で撮影された患者の体内の所定部位（胃、小腸、大腸）の三次元形状を示す三次元データを生成する。例えば三次元データ生成部２２４は、抽出部２２３により抽出された複数の内視鏡画像に対して、ＳＦＭ（Structure from Motion）とＭＶＳ（Multi-view Stereo）を適用することにより、三次元データを生成してもよい。三次元データ生成部２２４は、生成した三次元データを、検査ＩＤと対応付けて三次元データ記憶部２４３に登録する。

抽出部２２３および三次元データ生成部２２４による処理は、内視鏡システム１０を用いた第１の医師による検査と時間的に非同期に行われる。

検査情報送信部２２５は、後述のように診断支援装置３０から検査情報一覧の表示要求を取得すると、検査情報記憶部２４１に記憶される検査情報を診断支援装置３０に送信する。送信される検査情報には、例えば検査ＩＤ、患者ＩＤおよび検査日が含まれる。

三次元データ送信部２２６は、後述のように診断支援装置３０から検査ＩＤを含む三次元データの送信要求を取得すると、三次元データ記憶部２４３から検査ＩＤに対応する三次元データを特定して診断支援装置３０に送信する。

図４は、診断支援装置３０の構成を示す図である。診断支援装置３０は、第１入力装置３１、第２入力装置３２および表示装置３４と接続される。第１入力装置は、キーボードやマウスである。第２入力装置３２は、内視鏡１２の操作部１２２を模した入力装置であり、アングルノブ、送り込みスイッチおよび引き抜きスイッチを含む。送り込みスイッチが押下されると、実際の内視鏡において医師が手で挿入部を送り込む場合と同様に、視点位置が奥側に進む。引き向きスイッチが押下されると、実際の内視鏡において医師が手で挿入部を引き抜く場合と同様に、視点位置が手前側すなわち挿入部１２１の挿入口（例えば口や鼻）側に進む。

診断支援装置３０は、制御部３６および記憶部３８を備える。制御部３６は、三次元データ要求部３６１、三次元データ登録部３６２、視点視線特定部３６３、二次元画像生成部３６４および表示制御部３６５を含む。記憶部３８は、三次元データ記憶部３８１を含む。三次元データ記憶部３８１は、三次元データを検査ＩＤと対応づけて記憶する。

第２の医師は、第１入力装置３１を介して検査情報一覧の表示要求を入力する。三次元データ要求部３６１は、検査情報一覧の表示要求を画像管理装置２０に送信する。画像管理装置２０において、検査情報送信部２２５は、検査情報一覧の表示要求を取得すると、検査情報記憶部２４１に記憶される検査情報を診断支援装置３０に送信する。

図５は、検査情報一覧の例を示す図である。この例では、一覧表示される情報には、検査ＩＤ、患者ＩＤ、検査日が含まれる。第２の医師は、検査情報一覧の中から１つの検査情報を選択する。三次元データ要求部３６１は、選択された検査情報の検査ＩＤを含む三次元データの送信要求を画像管理装置２０に送信する。画像管理装置２０において、三次元データ送信部２２６は、三次元データの送信要求を取得すると、三次元データ記憶部２４３から、送信要求に含まれる検査ＩＤに対応する三次元データを特定して診断支援装置３０に送信する。三次元データ登録部３６２は、送信された三次元データを取得し、取得した三次元データを検査ＩＤと対応付けて三次元データ記憶部３８１に登録する。

二次元画像生成部３６４は、選択された検査情報の三次元データから二次元画像を生成する。二次元画像生成部３６４は、例えば透視投影変換によって、三次元データから二次元画像を生成する。二次元画像生成部３６４は特に、三次元データが示す体内の所定部位を、第２の医師が指定した視点位置から視線方向に見た二次元画像を生成する。表示制御部３６５は、二次元画像生成部３６４によって生成された二次元画像を表示装置３４に表示させる。

なお初期表示させる二次元画像の視点位置および視線方向は、二次元画像生成部３６４が決定してもよい。第２の医師は、表示された二次元画像から視点位置および／または視線方向を変更する場合、第２入力装置を操作してそれらを変更する。視点視線特定部３６３は、第２入力装置３２の操作に基づいて、具体的にはのアングルノブ、送り込みスイッチまたは引き抜きスイッチに対する操作に基づいて、変更された視点位置および／または視線方向を特定する。二次元画像生成部３６４は、三次元データが示す体内の所定部位を、視点視線特定部３６３が特定した変更後の視点位置から視線方向に見た二次元画像を生成する。

以上のように構成された内視鏡システム１０の動作を説明する。
第１の医師は、内視鏡１２の挿入部１２１を患者の体内に挿入する。内視鏡１２から処理装置１４に、一定の時間間隔で、患者の体内を撮影した内視鏡画像が出力される。処理装置１４は、出力された内視鏡画像を画像管理装置２０に送信する。画像管理装置２０は、内視鏡システム１０から送信された検査ごとの複数の内視鏡画像に基づいて、その検査の患者の体内の所定部位の三次元形状を示す三次元データを生成する。診断支援装置３０は、第２の医師が指定した検査の三次元データの送信要求を画像管理装置２０に送信する。画像管理装置２０は、送信要求を取得すると、送信要求に対応する三次元データを特定して診断支援装置３０に送信する。診断支援装置３０は、送信要求に基づいて画像管理装置２０から送信された三次元データから、三次元データが示す体内の所定部位を、第２の医師が指定した視点位置から視線方向に見た二次元画像を生成する。

以上のように、本実施の形態に係る内視鏡システム１０によれば、第２の医師は、自身で内視鏡１２を操作して内視鏡検査する場合と同様に、自身が望む視点位置から視線方向に見た体内の所定部位の様子を観察できる。このため、より高い精度で診断することが可能となる。

（第２の実施の形態）
第１の実施の形態では、或る検査において取得されたすべての内視鏡画像を抽出し、それらに基づいてその検査に対応する三次元データを生成する場合について説明した。第２の実施の形態では、或る検査において取得されたすべての内視鏡画像のうちの一部の内視鏡画像を抽出し、それらに基づいてその検査に対応する三次元データを生成する。以下、第１の実施の形態との相違点を中心に説明する。

処理装置１４は、本実施の形態では、内視鏡画像に付加するメタデータに、撮影された際の内視鏡１２に対する操作を示す操作情報をさらに含める。操作情報には、先端部１２１ａの向きを示す先端部情報が少なくとも含まれる。先端部情報は、この例では、撮影時のアングルノブの角度情報である。

画像管理装置２０において、内視鏡画像登録部２２１は、処理装置１４から送信された内視鏡画像を内視鏡画像記憶部２４２に登録する。内視鏡画像登録部２２１は特に、内視鏡画像のメタデータから画像ＩＤ、検査ＩＤおよび操作情報を特定し、内視鏡画像を、特定した画像ＩＤ、検査ＩＤおよび操作情報と対応付けて内視鏡画像記憶部２４２に登録する。

図６は、抽出部２２３による内視鏡画像の抽出を説明するための図である。本実施の形態では、抽出部２２３は、まずは第１の実施の形態と同様にして、検査ＩＤに紐付けられている複数の内視鏡画像の各画像ＩＤを特定する。そして抽出部２２３は、特定した各画像ＩＤの内視鏡画像のうち、内視鏡１２に対する操作量が多い期間、すなわち操作量が所定の閾値以上である期間の内視鏡画像を抽出する。操作量は、操作情報に基づいて特定される。操作量は、内視鏡１２の先端部に対する操作量であってもよい。この場合、操作量は、単位時間当たりのアングルノブの角度変化の絶対値であり、各内視鏡画像の操作情報に含まれる先端部情報（アングルノブの角度情報）と内視鏡画像の取得間隔から算出される。図６の例では、２つの期間の操作量が閾値以上となっており、これらの期間の内視鏡画像が抽出される。なお抽出部２２３は、検査ＩＤに基づいて抽出された内視鏡画像から、操作量が多くない期間、すなわち操作量が閾値未満である期間の内視鏡画像を除外しているともいえる。

例えば病変の診断のために、第１の医師が体内のある領域に注目すると、その領域を見やすい位置、角度から見ようとして、第１の医師による内視鏡１２に対する操作量が増える。つまり、操作量が多い期間に撮影された内視鏡画像は、第１の医師が注目した領域（以下、単に「注目領域」ともよぶ）を撮影した内視鏡画像である可能性が高い。一方、操作量が多くない期間に撮影された内視鏡画像は、注目領域を撮影した内視鏡画像である可能性が低い。

そうすると、本実施の形態によると、抽出部２２３は、注目領域を撮影した内視鏡画像である可能性が高い内視鏡画像を、三次元データを生成するための内視鏡画像として抽出できる。一方で、抽出部２２３は、注目領域を撮影した内視鏡画像である可能性が低い内視鏡画像を、三次元データを生成するための内視鏡画像から除外できる。つまり、本実施の形態によると、注目領域を撮影した内視鏡画像を三次元データを生成するための内視鏡画像として抽出しつつ、生成に用いる内視鏡画像の数を抑えることが出来る。これにより、三次元データ生成部２２４の処理時間を短くできる。また、三次元データの容量が小さくなり、保存のための領域を少なくできる。

変形例では、抽出部２２３は、操作量が所定の閾値以上である操作量が多い期間とその近傍の期間に撮影された内視鏡画像を抽出してもよい。近傍の期間は、操作量が閾値以上である期間の後続の所定期間であってもよい。第１の医師は、注目領域が見やすい位置、角度に内視鏡１２が調整されると、内視鏡をその位置、角度で止めて、注目領域を観察すると考えられる。したがって、後続の所定期間が操作量が多くない期間であっても、その期間に撮影された内視鏡画像には、注目領域を撮影した内視鏡画像が含まれている可能性が高い。したがって、後続の所定期間に撮影された内視鏡画像も抽出することで、注目領域を撮影した内視鏡画像を、より確実に、三次元データを生成するための内視鏡画像に含めることができる。

また、近傍の期間は、操作量が閾値以上である期間の先行の所定期間と後続の所定期間の両方を含んでもよい。これにより、注目領域を撮影した内視鏡画像を、より確実に、三次元データを生成するための内視鏡画像に含めることができる。なお上述のように、後続の所定期間に撮影された内視鏡画像には、注目領域を撮影した内視鏡画像が含まれている可能性が高いため、先行の所定期間よりも後続の所定期間を長くしてもよい。

（第３の実施の形態）
第３の実施の形態では、画像管理装置２０において、三次元データ生成部２２４による処理を高速化する方法を説明する。以下、第１の実施の形態との相違点を中心に説明する。

処理装置１４は、第２の実施の形態と同様に、内視鏡画像に付加するメタデータに、先端部情報を少なくとも含む操作情報をさらに含める。

画像管理装置２０において、内視鏡画像登録部２２１は、内視鏡画像のメタデータから画像ＩＤ、検査ＩＤおよび操作情報を特定する。内視鏡画像登録部２２１は、内視鏡画像を、特定した画像ＩＤ、検査ＩＤおよび操作情報と対応付けて内視鏡画像記憶部２４２に登録する。本実施の形態では、内視鏡画像登録部２２１は、内視鏡画像記憶部２４２の操作情報の先端部情報には、アングルノブの角度情報そのものではなく、それを順方向（０°以上６０°未満）、横方向（６０°以上１２０°未満）または反転方向（１２０°以上１８０°以下）にコード化した角度情報を登録する。

ここで、第１の実施の形態では詳しく説明しなかったが、三次元データ生成部２２４は、二次元画像である内視鏡画像から三次元データを生成するときに、抽出部２２３が抽出した内視鏡画像のそれぞれに対して、その内視鏡画像と抽出された他の内視鏡画像との間で対応する特徴点を探索する。この際、抽出された他の内視鏡画像のすべてを探索対象とすると、三次元データ生成部２２４による探索処理が長時間化する。

そこで本実施の形態では、三次元データ生成部２２４は、他の内視鏡画像のうち、対応する特徴点が含まれる可能性が高い内視鏡画像のみを探索対象とする。これについて図７（ａ）～（ｃ）を用いて具体的に説明する。なお以下では、検査の開始前に内視鏡１２の挿入部１２１を奥まで挿入し、検査では挿入部１２１を引き抜きながら観察したことを前提としている。

図７（ａ）～（ｃ）は、検査時の内視鏡の先端部１２１ａの様子を示す図である。図７（ａ）～（ｃ）において、矢印は挿入部１２１を引き抜く向きを示す。図７（ａ）は、アングルノブの角度を順方向（例えば０°）に操作したときの先端部１２１ａの様子を示し、図７（ｂ）は、アングルノブの角度を横方向（例えば９０°）に操作したときの先端部１２１ａの様子を示し、図７（ｃ）は、アングルノブの角度を逆方向（例えば１８０°）に操作したときの先端部１２１ａの様子を示す。

被探索対象である或る内視鏡画像の先端部情報が順方向の場合、当該被探索対象の内視鏡画像は、先端部１２１ａが図７（ａ）に示すような状態にあるときに撮影された内視鏡画像すなわち奥側を撮影した内視鏡画像であると考えられる。そうすると、挿入部１２１を引き抜きながら観察していることを考慮すると、被探索対象の内視鏡画像よりも以前に撮影された内視鏡画像に、具体的に例えば図７（ａ）において点線で囲まれた範囲に先端部１２１ａがあったときに撮影された内視鏡画像に、被探索対象の内視鏡画像に対応する特徴点が含まれている可能性が高いと考えられる。したがってこの場合、三次元データ生成部２２４は、被探索対象の内視鏡画像よりも前に撮影された内視鏡画像、あるいは被探索対象の内視鏡画像よりも前の所定期間に撮影された内視鏡画像を、探索対象とする。

また、被探索対象である或る内視鏡画像の先端部情報が横方向の場合、当該被探索対象の内視鏡画像は、先端部１２１ａが図７（ｂ）に示すような状態にあるときに撮影された内視鏡画像すなわち臓器の壁面４側を撮影した内視鏡画像であると考えられる。そうすると、被探索対象の内視鏡画像の前後に撮影された内視鏡画像に、具体的に例えば図７（ｂ）において点線で囲まれた範囲に先端部１２１ａがあったときに撮影された内視鏡画像に、被探索対象の内視鏡画像に対応する特徴点が含まれる可能性が高いと考えられる。したがってこの場合、三次元データ生成部２２４は、被探索対象の内視鏡画像の前後の所定期間に撮影された内視鏡画像を探索対象とする。

また、被探索対象である或る内視鏡画像の先端部情報が反転方向の場合、当該被探索対象の内視鏡画像は、先端部１２１ａが図７（ｃ）に示すような状態にあるときに撮影された内視鏡画像すなわち挿入部１２１の挿入口側を撮影した内視鏡画像であると考えられる。そうすると、挿入部１２１を引き抜きながら観察していることを考慮すると、被探索対象の内視鏡画像よりも以後に撮影された内視鏡画像に、具体的に例えば図７（ｃ）において点線で囲まれた範囲に先端部１２１ａがあったときに撮影された内視鏡画像に、被探索対象の内視鏡画像に対応する特徴点が含まれている可能性が高いと考えられる。したがってこの場合、三次元データ生成部２２４は、被探索対象の内視鏡画像よりも後に撮影された内視鏡画像、あるいは被探索対象の内視鏡画像よりも後の所定期間に撮影された内視鏡画像を探索対象とする。

本実施の形態によれば、三次元データ生成部２２４は、抽出された内視鏡画像のそれぞれに対して、対応する特徴点が含まれる可能性が高い内視鏡画像のみを探索対象とするため、処理時間が短くなる。

第３の実施の形態の変形例として、三次元データ生成部２２４は、被探索対象である或る内視鏡画像と先端部情報が同じである内視鏡画像を探索対象としてもよい。この変形例によれば、第３の実施の形態と同様の作用効果を奏することができる。

（第４の実施の形態）
第４の実施の形態では、画像管理装置２０と診断支援装置３０との間のネットワーク負荷の軽減する方法を説明する。以下、第１の実施の形態との相違点を中心に説明する。

診断支援装置３０において、三次元データ要求部３６１は、第２の医師の操作に応じた三次元データを要求する。具体的には三次元データ要求部３６１は、第３の実施の形態と同様に検査では挿入部１２１を引き抜きながら観察した場合を前提とすると、第２の医師が第２入力装置３２のアングルノブの角度を０°以上６０°未満（すなわち順方向）に操作した場合は、そのときの視点位置よりも奥側の所定範囲の三次元データの部分を要求し、６０°以上１２０°未満（すなわち横方向）に操作した場合は、そのときの視点位置の奥側および挿入口側の所定範囲の三次元データの部分を要求し、１２０°以上１８０以下（すなわち反転方向）に操作した場合は、そのときの視点位置よりも挿入口側の所定範囲の三次元データの部分を要求する。

画像管理装置２０において、三次元データ送信部２２６は、送信要求に対応する三次元データから、第２の医師の操作に応じた部分を切り出して診断支援装置３０に送信する。

本実施の形態によれば、画像管理装置２０から診断支援装置３０に送信される三次元データの容量が比較的小さくなるため、画像管理装置２０と診断支援装置３０との間のネットワーク負荷を軽減できる。

（第５の実施の形態）
第５の実施の形態は、ひとつの検査で取得された内視鏡画像に基づいて、複数の三次元データを生成する場合について説明する。

処理装置１４は、第２の実施の形態と同様に、内視鏡画像に付加するメタデータに、先端部情報を少なくとも含む操作情報をさらに含める。先端部情報は、アングルノブの角度情報そのものであっても、順方向（０°以上６０°未満）、横方向（６０°以上１２０°未満）または反転方向（１２０°以上１８０°以下）にコード化した角度情報であってもよい。

図８は、画像管理装置２０の構成を示す図である。本実施の形態では、制御部２２は、分類部２２７をさらに含む。

内視鏡画像登録部２２１は、内視鏡画像のメタデータから画像ＩＤ、検査ＩＤおよび操作情報を特定する。内視鏡画像登録部２２１は、内視鏡画像を、特定した画像ＩＤ、検査ＩＤおよび操作情報と対応付けて内視鏡画像記憶部２４２に登録する。

分類部２２７は、抽出部２２３によって抽出された複数の内視鏡画像を、各内視鏡画像に対応付けられた操作情報に含まれる先端部情報に基づいて、複数のグループに分類する。ここでは分類部２２７は、複数の内視鏡画像を、先端部情報が順方向であるグループ、先端部情報が横方向であるグループ、先端部情報が反転方向であるグループの３つに分類する。

三次元データ生成部２２４は、分類部２２７により分類されたグループごとに、三次元データを生成する。ここでは三次元データ生成部２２４は、順方向のグループに含まれる複数の内視鏡画像に基づく三次元データ（以下、順方向三次元データともよぶ）、横方向のグループに含まれる複数の内視鏡画像に基づく三次元データ（以下、横方向三次元データともよぶ）、および反転方向のグループに含まれる複数の内視鏡画像に基づく三次元データ（以下、反転方向三次元データともよぶ）を生成する。

診断支援装置３０において、三次元データ要求部３６１は、各グループの三次元データのうち、第２の医師の操作に応じた三次元データを要求する。具体的には三次元データ要求部３６１は、第２の医師が第２入力装置３２のアングルノブの角度を０°以上６０°未満に操作した場合は、順方向のグループの三次元データを要求し、６０°以上１２０°未満に操作した場合は、横方向のグループの三次元データを要求し、１２０°以上１８０°以下に操作した場合は、反転方向のグループの三次元データを要求する。また、三次元データ要求部３６１は、送信された三次元データを取得し、取得した三次元データを、検査ＩＤおよび三次元データのグループ（順方向、横方向、または反転方向）と対応付けて三次元データ記憶部３８１に記憶する。

二次元画像生成部３６４は、順方向三次元データ、横方向三次元データまたは反転方向三次元データから二次元画像を生成する。二次元画像生成部３６４は例えば、第２の医師が第２入力装置３２のアングルノブの角度を０°以上６０°未満（すなわち順方向）に操作した場合は、順方向三次元データから二次元画像を生成する。この場合、三次元データ記憶部３８１にすでに順方向三次元データが記憶されていれば、その順方向三次元データから二次元データを生成する。三次元データ記憶部３８１に順方向三次元データが記憶されていなければ、二次元画像生成部３６４による処理に先立って、三次元データ要求部３６１が上述のようにして順方向三次元データを取得して三次元データ記憶部３８１に登録する。

なお初期表示させる二次元画像の視点位置および視線方向は、第１の実施の形態と同様に、二次元画像生成部３６４が決定してもよく、例えば最も奥側の端部を順方向（例えばアングルが角度０°の方向）に見た二次元画像を生成してもよい。この場合は、二次元画像生成部３６４が初期表示させる二次元画像を生成するのに先立って、三次元データ要求部３６１が順方向三次元データを要求して取得する。

本実施の形態によれば、アングルノブの角度が対応する三次元データから二次元画像が生成されるため、そうでない場合と比べ、実際に内視鏡１２により撮影された内視鏡画像に近い画質の二次元画像を三次元データから生成できる。

ここで、三次元データ生成部２２４による三次元データの生成には、三次元形状の復元とテクスチャのマッピングが含まれる。変形例では、三次元データ生成部２２４は、グループごとの三次元データの生成において、三次元形状の復元には、抽出部２２３によって抽出されたすべての内視鏡画像を用い、テクスチャのマッピングには、そのグループに含まれる複数の内視鏡画像を用いてもよい。例えば、三次元データ生成部２２４は、順方向三次元データの生成においては、三次元形状の復元には、抽出部２２３によって抽出されたすべての内視鏡画像を用い、テクスチャのマッピングには、順方向のグループに含まれる複数の内視鏡画像を用いてもよい。内視鏡１２による観察では、照明の当たり方などの様々な要因によって、同じ領域であっても見る方向によって明るさや色が異なる。この変形例によれば、二次元画像生成部３６４は、内視鏡１２を用いて観察した場合と同様の明るさや色の二次元画像を生成できる。

以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

第１～第５の実施の形態では、診断支援装置３０が二次元画像生成部３６４を備える場合について説明したが、画像管理装置２０が二次元画像生成部の機能を備えてもよい。この場合、診断支援装置３０において、視点視線特定部３６３は、変更された視点位置および／または視線方向を特定すると、それらを画像管理装置２０に送信する。

第１～第５の実施の形態および上述の変形例では特に言及しなかったが、処理装置１４は、第１の医師が指定した内視鏡画像のメタデータに、その旨を示す指定情報を含めてもよい。第１の医師の指定は、内視鏡１２が注目すべき領域を撮影した際に、医師が操作部１２２に対して所定の操作をすることによってなされてもよい。また、第１の医師は、検査の所見を示すレポートに添付するための内視鏡画像を取得することがある。例えば操作部１２２がレリーズスイッチを含み、第１の医師がレリーズスイッチを押すと内視鏡画像が取得される。第１の医師の指定は、内視鏡画像を取得するための操作すなわちレリーズスイッチを押下することによってなされてもよい。

画像管理装置２０において、抽出部２２３は、指示情報が付加された内視鏡画像を含む複数の内視鏡画像を、例えば指示情報が付加された内視鏡画像とその前後の所定期間に撮影された内視鏡画像を、抽出してもよい。

第１～第５の実施の形態および上述の変形例では、内視鏡１２は患者の体内を撮影するための医療用の内視鏡であり、したがって内視鏡画像は患者の体内を撮影した画像である場合について説明したが、これに限られない。例えば、内視鏡１２が工業用の内視鏡であり、内視鏡画像がパイプ、機械、構造物などの内部を撮影した画像である場合にも、本実施の形態の技術思想を適用できる。つまり、内視鏡画像がどのような観察対象を撮影した画像であるかは問わない。

１ 内視鏡業務支援システム、 １０ 内視鏡システム、 ２０ 画像管理装置、 ３０ 診断支援装置。

本発明は、内視鏡業務を支援する内視鏡業務支援システムに利用できる。

Claims (8)

1. 第１の操作者により操作され、複数の画像を時系列に取得する内視鏡システムと、
   前記内視鏡システムによって時系列に取得された複数の内視鏡画像を記憶する画像記憶部と、前記画像記憶部に記憶された複数の内視鏡画像に基づいて、観察対象の所定部位の三次元形状を示す三次元データを生成する三次元データ生成部と、を有する画像管理装置と、
   前記第１の操作者とは異なる第２の操作者によって操作される入力装置と、
   前記三次元データ生成部によって生成された三次元データから、前記入力装置に入力された視点位置および視線方向に対応する二次元画像を生成する二次元画像生成部と、前記二次元画像生成部によって生成された二次元画像を、所定の表示部に表示させる表示制御部と、を有する診断支援装置と、
   を備え、
   前記画像記憶部は、複数の内視鏡画像のそれぞれを、撮影された際の内視鏡に対する操作を示す操作情報と対応付けて記憶し、
   前記画像記憶部に記憶された複数の内視鏡画像から、操作情報に基づいて内視鏡画像を抽出する抽出部をさらに備え、
   前記三次元データ生成部は、前記抽出部によって抽出された内視鏡画像に基づいて、三次元データを生成し、
   前記抽出部は、操作情報に基づいて内視鏡の挿入部に対する操作量を特定し、操作量が多い期間、または操作量が多い期間とその近傍の期間、に撮影された内視鏡画像を前記画像記憶部に記憶された複数の内視鏡画像から抽出することを特徴とする内視鏡業務支援システム。
2. 前記抽出部は、内視鏡の挿入部に対する操作量として、内視鏡の挿入部の先端部に対する操作量を特定することを特徴とする請求項１に記載の内視鏡業務支援システム。
3. 第１の操作者により操作され、複数の画像を時系列に取得する内視鏡システムと、
   前記内視鏡システムによって時系列に取得された複数の内視鏡画像を記憶する画像記憶部と、前記画像記憶部に記憶された複数の内視鏡画像に基づいて、観察対象の所定部位の三次元形状を示す三次元データを生成する三次元データ生成部と、を有する画像管理装置と、
   前記第１の操作者とは異なる第２の操作者によって操作される入力装置と、
   前記三次元データ生成部によって生成された三次元データから、前記入力装置に入力された視点位置および視線方向に対応する二次元画像を生成する二次元画像生成部と、前記二次元画像生成部によって生成された二次元画像を、所定の表示部に表示させる表示制御部と、を有する診断支援装置と、
   を備え、
   前記画像記憶部は、複数の内視鏡画像のそれぞれを、撮影された際の内視鏡に対する操作を示す操作情報と対応付けて記憶し、
   操作情報は、内視鏡画像が撮影された際の内視鏡の挿入部の先端部の向きを示す先端部情報を含み、
   前記画像記憶部に記憶された複数の内視鏡画像を、先端部情報に基づいて複数のグループに分類する分類部をさらに備え、
   前記三次元データ生成部は、グループごとに、三次元データを生成することを特徴とする内視鏡業務支援システム。
4. 前記二次元画像生成部は、前記三次元データ生成部によって生成された複数の三次元データのうち、入力された視線方向に対応するグループに基づく三次元データから、二次元画像を生成することを特徴とする請求項３に記載の内視鏡業務支援システム。
5. 時系列に取得された複数の内視鏡画像を記憶する所定の記憶領域にアクセス可能な画像処理システムに実行させる方法であって、
   第１の操作者が内視鏡システムを操作することによって取得した複数の内視鏡画像を前記記憶領域に記憶させるステップと、
   前記記憶領域に記憶された複数の内視鏡画像に基づいて、体内の所定部位の三次元形状を示す三次元データを生成するステップと、
   生成された三次元データから、前記第１の操作者とは異なる第２の操作者が入力装置を操作することによって入力された視点位置および視線方向に対応する二次元画像を生成するステップと、
   生成された二次元画像を、所定の表示部に表示させるステップと、を含み、
   前記記憶させるステップでは、複数の内視鏡画像のそれぞれを、撮影された際の内視鏡に対する操作を示す操作情報と対応付けて前記記憶領域に記憶させ、
   前記記憶領域に記憶された複数の内視鏡画像から、操作情報に基づいて内視鏡画像を抽出するステップをさらに含み、
   前記三次元データを生成するステップでは、前記抽出するステップにおいて抽出された内視鏡画像に基づいて、三次元データを生成し、
   前記抽出するステップでは、操作情報に基づいて内視鏡の挿入部に対する操作量を特定し、操作量が多い期間、または操作量が多い期間とその近傍の期間、に撮影された内視鏡画像を前記記憶領域に記憶された複数の内視鏡画像から抽出することを特徴とする内視鏡業務支援方法。
6. 時系列に取得された複数の内視鏡画像を記憶する所定の記憶領域にアクセス可能な画像処理システムに実行させる方法であって、
   第１の操作者が内視鏡システムを操作することによって取得した複数の内視鏡画像を前記記憶領域に記憶させるステップと、
   前記記憶領域に記憶された複数の内視鏡画像に基づいて、体内の所定部位の三次元形状を示す三次元データを生成するステップと、
   生成された三次元データから、前記第１の操作者とは異なる第２の操作者が入力装置を操作することによって入力された視点位置および視線方向に対応する二次元画像を生成するステップと、
   生成された二次元画像を、所定の表示部に表示させるステップと、を含み、
   前記記憶させるステップでは、複数の内視鏡画像のそれぞれを、撮影された際の内視鏡に対する操作を示す操作情報と対応付けて前記記憶領域に記憶させ、
   操作情報は、内視鏡画像が撮影された際の内視鏡の挿入部の先端部の向きを示す先端部情報を含み、
   前記記憶領域に記憶された複数の内視鏡画像を、先端部情報に基づいて複数のグループに分類するステップをさらに含み、
   前記三次元データを生成するステップでは、グループごとに、三次元データを生成することを特徴とする内視鏡業務支援方法。
7. 時系列に取得された複数の内視鏡画像を記憶する所定の記憶領域にアクセス可能な画像処理システムに、
   第１の操作者が内視鏡システムを操作することによって取得した複数の内視鏡画像を前記記憶領域に記憶させる機能と、
   前記記憶領域に記憶された複数の内視鏡画像に基づいて、体内の所定部位の三次元形状を示す三次元データを生成する機能と、
   生成された三次元データから、前記第１の操作者とは異なる第２の操作者が入力装置を操作することによって入力された視点位置および視線方向に対応する二次元画像を生成する機能と、
   生成された二次元画像を、所定の表示部に表示させる機能と、を実現させ、
   前記記憶させる機能は、複数の内視鏡画像のそれぞれを、撮影された際の内視鏡に対する操作を示す操作情報と対応付けて前記記憶領域に記憶させ、
   前記画像処理システムに、前記記憶領域に記憶された複数の内視鏡画像から、操作情報に基づいて内視鏡画像を抽出する機能をさらに実現させ、
   前記三次元データを生成する機能は、前記抽出する機能によって抽出された内視鏡画像に基づいて、三次元データを生成し、
   前記抽出する機能は、操作情報に基づいて内視鏡の挿入部に対する操作量を特定し、操作量が多い期間、または操作量が多い期間とその近傍の期間、に撮影された内視鏡画像を前記記憶領域に記憶された複数の内視鏡画像から抽出することを特徴とするプログラム。
8. 時系列に取得された複数の内視鏡画像を記憶する所定の記憶領域にアクセス可能な画像処理システムに、
   第１の操作者が内視鏡システムを操作することによって取得した複数の内視鏡画像を前記記憶領域に記憶させる機能と、
   前記記憶領域に記憶された複数の内視鏡画像に基づいて、体内の所定部位の三次元形状を示す三次元データを生成する機能と、
   生成された三次元データから、前記第１の操作者とは異なる第２の操作者が入力装置を操作することによって入力された視点位置および視線方向に対応する二次元画像を生成する機能と、
   生成された二次元画像を、所定の表示部に表示させる機能と、を実現させ、
   前記記憶させる機能は、複数の内視鏡画像のそれぞれを、撮影された際の内視鏡に対する操作を示す操作情報と対応付けて前記記憶領域に記憶させ、
   操作情報は、内視鏡画像が撮影された際の内視鏡の挿入部の先端部の向きを示す先端部情報を含み、
   前記画像処理システムに、前記記憶領域に記憶された複数の内視鏡画像を、先端部情報に基づいて複数のグループに分類する機能をさらに実現させ、
   前記三次元データを生成する機能は、グループごとに、三次元データを生成することを特徴とするプログラム。

Images