JP4753104B2 - ３次元画像構築装置及び方法並びにプログラム - Google Patents

Description

【技術分野】
【０００１】
本発明は、トンネル，下水管，患者の消化管や管腔臓器等の管状構造物内に配置された若しくは挿入されたカメラや内視鏡により観察された管状構造物内面の連続的画像、またはビデオ映像から算出された管状構造物内面の各点と対物レンズとの相対的距離に基づき、高速度で連続的な３次元画像を構築する３次元画像構築装置に関する。
【背景技術】
【０００２】
従来、内視鏡デバイスの使用に際しては、一般に、管状構造物内に挿入された内視鏡の視野に依存する観察領域が、肉眼で又はビデオカメラを介して観察され表示され、観察者により指定された記録範囲で、写真撮影又はビデオ撮影により記録される。この場合、観察及び表示範囲は内視鏡の観察視野に限定され、局部的な記録を繰り返すことで全体が記録される。これによれば、全体を切れ目のない１枚の写真として表示することはできないので、関心領域の位置の特定に客観性が乏しい。全体を連続的に記録する別の方法としては、ビデオ映像で撮影する方法もあるが、この方法では、同時に全体表示が不可能である上に閲覧に時間がかかる。また、従来の方法では、平面的な画像を記録するだけなので、立体構造を把握することはできない。さらに、従来法では管腔構造物を構成する組織の硬度や動きを客観的に記録することはできない。
【０００３】
例えば下記特許文献１には、この種の管状構造物内面の連続した繋ぎ目のない展開静止画像データを作成する画像作成システムが開示されている。この画像作成システムは、デジタル画像データ取り込み手段と、取り込まれたデジタル画像データの１フレーム毎に管状構造物内面の周方向の展開図を作成するパイプ投影変換手段と、モザイキング処理手段と、画像データ圧縮手段と、圧縮画像データ格納手段とにより構成されており、ここでは、内視鏡ビデオ映像の１フレーム毎の周方向の展開図が管状構造物の中心軸方向につなげられることで、全体画像が構築される。
【０００４】
また、例えば下記特許文献２には、管状構造物内を移動するカメラの姿勢及び位置情報をモニタしながら、管の内面を撮影し、カメラの観察野に符合させながら複数枚の画像をつなげることで全体画像を作成する方法が開示されている。
【０００５】
更に、例えば下記特許文献３には、内視鏡先端に有向走査照明装置を装着し、有向照明により身体内面の形状を立体的に計測する方法が開示され、また、例えば下記特許文献４には、内視鏡先端に干渉縞投影ユニットと距離計測のためのレーザースポット投影ユニットを装着し、被検体に形成された干渉縞と測距情報により被検体の３次元情報を計算する方法が公開されている。
【０００６】
例えば、下記特許文献５では照明光の振幅を変化させながら任意の時間差をおいて撮像し、撮像の各点の輝度および撮像利得の変化の程度により各点の距離を計測することで立体情報を検出する方法が開示されている。
【０００７】
例えば、下記特許文献６では管渠内を移動するカメラの前に設置した凸面鏡または魚眼レンズでカメラ周囲３６０度の空間の映像から短冊状の画像を作成し、これをカメラの移動方向に補正をかけながらつなげることで全体を一枚の画像として表示する方法が開示されている。
【０００８】
例えば、下記特許文献７では単一断面を有するパイプ内面を移動する内視鏡で観察したパイプ内面の内視鏡画像から、パイプと内視鏡の相対的位置を計算した上で対象物の長さや面積を算出する方法が開示されている。
【０００９】
例えば、下記特許文献８では、光学的パラメーターを変更しながら撮像された複数の２次元画像から３次形状モデルを作成する画像処理手段が開示されている。また下記特許文献９では光学的パラメーターを変化させて撮像した複数の画像から３次元モデルを作成する技術が開示されている。さらに、下記特許文献１０では、色フィルタを搭載した内視鏡により観察物を色成分に分解し、視差により立体情報を抽出する技術が開示されている。
【００１０】
例えば、特許文献１１には内視鏡先端に装着した超音波トランスデューサから発射される超音波により変位が加えられた生体組織からの反射信号を演算することで、生体組織の硬度を計測する技術が開示されている。
【００１１】
【特許文献１】
特開２００３−３２６７４号公報
【特許文献２】
特開平１１−６６３１６号公報
【特許文献３】
特表２００３−５３５６５９号公報
【特許文献４】
特開平５−２１１９８８号公報
【特許文献５】
特開２０００−１２１３３９号公報
【特許文献６】
特開２０００−３３１１６８号公報
【特許文献７】
特開平５−３４０７２１号公報
【特許文献８】
特開平１１−３３７８４５号公報
【特許文献９】
特開２００２−１９１５５４号公報
【特許文献１０】
特開２０００−１９４２４号公報
【特許文献１１】
特開２００１−２２４５９４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上記特許文献１，６に開示される技術では、カメラ１台で撮像された画像から展開画像を作成するものであるが、管状構造物の中心軸を画像より抽出する必要があり、不整形の管状構造物内に内視鏡が通過する状況、すなわちカメラの光軸と管状構造物の中心軸との相対位置が常に大きく変動している状況では、画像をつなぐことができない。
【００１３】
また、上記特許文献２に開示される技術では、カメラの姿勢，位置が常に計測されるため、その機器や情報処理装置が必要になり、調整や計算が煩雑になる。上記特許文献３、４及び９に開示された技術では、内視鏡本体に新たな複数の装置の装着が必要である。
【００１４】
上記特許文献５に開示される技術は、振幅の変化する照明光で任意の時間差で撮像される対象物からの反射光の輝度の変化の程度によりカメラとの距離を算出するものであり、分解能の優れたセンサーなどの高価な装置が必要である。また対象物がカメラに接近している場合や対象物が早い運動や変形を繰り返す場合には計測は不可能である。上記特許文献８に開示される技術も光学的パラメーターを変化させながら撮像した複数の画像から３次元モデルを作成するものであり、被写体の動きが速い場合には応用ができないほか、光学的な装置を新たに設定する必要がある。上記特許文献７に開示される技術は単一断面を有するパイプ内部での対象物の計測を前提にしており、不整形の管状構造物に応用することはできない。上記特許文献１０に開示される技術では新たな立体内視鏡および装置が必要であり、連続した立体画像の表示には視差による立体情報と色情報を再構成して適宜配列する必要があり、計算が煩雑になるので早い動きには対応ができない。上記特許文献１１に開示される技術は内視鏡先端に装着する超音波装置が必要であり、また、超音波装置と生体組織の間に空気が介在してはならないので、新たな装置と複雑な演算が必要であり、且つ医療における応用分野が限定される。
［００１５］
本発明は、上記技術的課題に鑑みてなされたもので、不整形で動きのある管状構造物の中心軸と撮影手段の光軸との相対位置が変動する状態において、該管状構造物の３次元画像を簡単に構築することができる３次元画像構築装置及び方法並びにプログラムを提供することを目的とする。
課題を解決するための手段
［００１６］
そこで本願発明は、観察対象である管状構造物内面の画像に基づき３次元画像を構築する３次元画像構築装置を提供する。この３次元画像構築装置は、上記管状構造物の軸方向に延びる光軸を備え、所定の照明条件下で、上記管状構造物内に移動しつつ複数フレーム画像を取得する撮像手段と、該撮像手段により取得された管状構造物内面の各フレーム画像の所定範囲に対応する画素の輝度情報を抽出する輝度情報抽出手段と、該輝度情報抽出手段により抽出された輝度情報に基づき、深さ方向における、管状構造物内面の各点と対物レンズ（撮像手段）の相対的距離を算出する距離情報算出手段と、上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対的距離を反映して配列し、複数フレーム画像分のデータの配列を組み合わせることで、上記管状構造物内面の３次元画像を連続的に構築する３次元画像構築手段と、を有している。
［００１７］
本願発明の１つの態様において、３次元画像構築装置は、は、撮像手段（例えば、内視鏡）の周方向と軸方向の変化量を計測する変化量検出装置をさらに備える。３次元画像構築手段は、管状構造物内面の各フレーム画像の所定範囲に対応する画素を変化量検出装置により計測される撮像手段先端の周方向と軸方向の運動情報（検出情報）を反映しつつ複数フレーム画像分のデータ配列を組み合わせることで、上記管状構造物内面の３次元画像を構築する。
［００１８］
また、本願発明のもう１つの態様において、３次元画像構築装置は、上記輝度情報抽出手段による輝度情報抽出対象となるフレーム画像の所定範囲として、上記各フレーム画像上に、上記撮像手段の光軸に対応した点を中心とする試験線を設定する試験線設定手段をさらに有する。この場合、上記輝度情報抽出手段が、上記フレーム画像毎に上記試験線上に存在する画素の輝度情報を抽出する。
［００１９］
更に、３次元画像構築装置は、上記撮像手段により撮像された管状構造物内面の各フレーム画像を構成する画素の色彩情報を抽出する色彩情報抽出手段と、上記３次元画像構築手段により構築された３次元画像を構成する各画素に対して、上記色彩抽出手段により抽出された色彩情報を付加する色彩情報付加手段と、を有していてもよい。
［００２０］
また、更に、上記輝度情報は、各フレーム画像を構成する画素の赤色又は緑色若しくは青色あるいはこれらの混合色に関する輝度情報であってもよい。加えて、上記撮像手段は、内視鏡であってもよい。
発明の効果
［００２１］
本願発明によれば、不整形で動きのある管状構造物の中心軸と撮影手段の光軸との相対位置が変動する状態において、該管状構造物の３次元画像を容易に高速で構築することができる。３次元画像を高速に構築することにより、内視鏡診断時において従来の形状と色彩による診断の他に、管腔自体の動きを正確に診断、記録することも可能となる。さらに、内視鏡診断時に管腔臓器内腔に至適な気体や液体を内腔に注入しながら３次元画像を高速に構築することにより、管腔を構成する生体組織の硬度や張力の情報を記録することも可能になる。
［００２２］
また、従来、内視鏡画像を記録するために多数の撮影画像が必要であったが、観察範囲全体を含む３次元画像を構築することができるため、ユーザは、病変部の位置や形状を容易に認識することができ、内視鏡検査の診断精度が向上する。加えて、画像の格納のためのメモリ容量を縮小することができ、また、画像の閲覧時間を短縮することができる。
【００２３】
更に、３次元画像を構成する各画素に対して色彩情報が付加されることで、実際の観察対象により忠実な３次元画像を構築することができ、また、観察対象の特徴を一層容易に把握することができる。
また、更に、観察対象の色調に応じて、赤色又は緑色若しくは青色あるいはこれらの混合色の輝度情報を使い分けることにより、実際の観察対象に忠実な３次元画像を構築することができる。例えば、観察対象が患者の消化管や管腔臓器である場合に、輝度情報として、観察対象の色調の補色に類似した波長の色調、例えば緑色に関する輝度情報を用いることにより、実際の観察対象に一層忠実な３次元画像を構築することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る３次元画像構築装置の全体構成を示すブロック図である。
【図２】上記３次元画像構築装置を構成する情報処理装置の基本的な構成を示すブロック図である。
【図３】上記３次元画像構築装置を構成する内視鏡デバイスにおける内視鏡スコープ先端部の構成を示す図である。
【図４】（ａ）管腔内に挿入された内視鏡スコープが下方に傾斜した状態における観察領域をあらわす図である。（ｂ）管腔内に挿入された内視鏡スコープが上方に傾斜した状態における観察領域をあらわす図である。
【図５】ビデオファイルから抽出されたフレーム画像上に、輝度情報抽出対象となる所定範囲として円形の試験線が設定された態様をあらわす図である。
【図６】各フレーム画像から抽出された画素の展開配列及びその後の組合せ処理についての説明図である。
【図７】各フレーム画像上に設定された試験線に対応して抽出された画素の輝度情報の変化をあらわす図である。
【図８】図７と比較対照するために、従来方法により構築される管腔内面の展開画像を示す図である。
【図９】（ａ）３次元画像を構成する各画素の赤色についての輝度情報の分布を示す３次元グラフである。（ｂ）３次元画像を構成する各画素の緑色についての輝度情報の分布を示す３次元グラフである。（ｃ）３次元画像を構成する各画素の青色についての輝度情報の分布を示す３次元グラフである。
【図１０】図９の（ａ），（ｂ）及び（ｃ）中の輝度軸方向正側にあり、「時間」及び「試験線上の位置」にそれぞれ対応した軸からなる平面に対し垂直な方向に設定された視点からみた管腔内面の展開画像を示す図である。
【図１１】図７と比較対照するために、従来方法により構築される管腔内面の展開画像を示す図である。
【図１２】輝度と距離との間の相対変化をあらわすグラフである。
【図１３】（ａ）深さ方向正側にあり、ＸＹ平面に対し垂直な方向に設定された視点からみた３次元画像を示す図である。（ｂ）図１３の（ａ）に示される画像が左斜め上に引き上げられ、Ｙ軸まわりに回転させられてなる３次元画像を示す図である。（ｃ）図１３の（ａ）に示される画像が右斜め下に引き下げられ、Ｙ軸まわりに回転させられてなる３次元画像を示す図である。
【図１４】実施の形態１における３次元画像構築処理についてのフローチャートである。
【図１５】実施の形態２における３次元画像構築装置の動き検出装置を示す図である。
【図１６】実施の形態２における周方向の画像の補正を説明するための図である。
【図１７】実施の形態２における軸方向の画像の補正を説明するための図である。
【図１８】（ａ）周方向及び軸方向の補正を行わない場合の管腔内面の展開画像を示す図である。（ｂ）周方向及び軸方向の補正後の展開画像を示す図である。
【図１９】実施の形態２における３次元画像構築処理についてのフローチャートである。
【符号の説明】
【００２５】
１…３次元画像構築装置，２…内視鏡スコープ，２ａ…対物レンズ，２ｂ…照明用ファイバ，３…制御ユニット，１０…内視鏡デバイス，１８…光ディスク，１９…フロッピーディスク，２０…情報処理装置，２１…ＣＰＵ，２２…ＲＯＭ，２３…ＲＡＭ，２４…ハードディスク，２５…モニタ，２７…画像プロセッサ，３０…管腔，３０ａ…管腔内面，５０…動き検出装置，５１…周方向センサ，５１…軸方向センサ，Ｆ…対物レンズの光軸，Ｓ１，Ｓ２…観察領域。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施形態について、添付図面を参照しながら説明する。
【００２７】
（実施の形態１）
図１は、本発明の第１の実施形態に係る３次元画像構築装置の全体構成を概略的に示すブロック図である。この３次元画像構築装置１は、例えば管腔臓器の内面を撮像し、複数フレーム画像から構成されるビデオファイルを取得する内視鏡デバイス１０と、内視鏡デバイス１０と接続され、内視鏡デバイス１０により取得されたビデオファイルを表示出力するとともに、そのビデオファイルから抽出したフレーム画像に基づき、擬似的な３次元画像を構築する処理を実行する汎用のＰＣからなる情報処理装置２０と、を有している。内視鏡デバイス１０と情報処理装置２０とは、例えばＵＳＢケーブル等のケーブル１１を介して接続されており、両機器間では、内視鏡デバイス１０により取得されたビデオファイルを情報処理装置２０へ伝送したり、情報処理装置２０から内視鏡デバイス１０へコマンド信号を伝送したりすることができる。内視鏡デバイス１０と情報処理装置２０との間にビデオキャプチャボードが介在してもよい。
【００２８】
内視鏡デバイス１０は、例えば管腔臓器内に挿入されて該管腔内面を撮像する内視鏡スコープ２と、内視鏡スコープ２を制御するとともに、内視鏡スコープ２を介して入力される信号に基づきビデオファイルを作成する制御ユニット３と、を有している。内視鏡スコープ２の構成は、図３を参照しながら説明する。他方、制御ユニット３は、そのユニット３内の各構成を制御する制御部３ａと、内視鏡スコープ２を介して入力される信号に基づき管腔内面のビデオファイルを作成する信号処理部３ｂと、内視鏡スコープ２の先端部から観察対象に対して照射される照明光の光源である光源部３ｃと、備えている。制御部３ａは、ユーザの操作に応じて、内視鏡スコープ２による撮像や照明のオンオフ切換えを制御したり、光源部３ｃからの内視鏡スコープ２に供給される光量を調節したりする。
【００２９】
なお、３次元画像構築装置１の構成は、これに限定されるものでなく、例えば管腔臓器の内面を観察対象とする内視鏡デバイス１０の代わりに、トンネル又は下水管の内壁を観察対象とする内視鏡デバイスやビデオカメラシステムが用いられてもよい。また、情報処理装置２０としては、据え置き型（デスクトップ型）ＰＣの代わりに、ラップトップ型ＰＣが用いられてもよい。
【００３０】
図２は、情報処理装置２０の基本構成を示すブロック図である。この情報処理装置２０は、基本ソフトウェアであるオペレーティングシステム（ＯＳ）等のプログラムに基づき、情報処理装置２０内の各構成をシーケンス制御するＣＰＵ２１と、情報処理装置２０の起動時に実行されるブートプログラムを記録するＲＯＭ２２と、プログラムの実行に必要なワークエリアのバッファエリアとして利用されるＲＡＭ２３と、ＯＳやアプリケーションプログラムや各種のデータを格納するハードディスク（図中の「ＨＤ」）２４と、アプリケーション画面等の各種の情報を表示し得る表示出力デバイスとしてのモニタ２５と、マウス２６ａやキーボード２６ｂ等の入力デバイス２６と、内視鏡デバイス１０から入力されてきたビデオファイルに基づき、種々の処理を行いつつ３次元画像を構築する画像プロセッサ２７と、外部デバイスとの間で各種データの送受信を行なうための外部インターフェース部（図中の「外部Ｉ／Ｆ」）２８と、を有している。また、特に図示しないが、情報処理装置２０は、例えば、光ディスクドライブ，フロッピー（登録商標）ディスクドライブ等の構成を有していてもよい。
【００３１】
本実施形態では、３次元画像構築プログラムがＲＯＭ２２（又はハードディスク２４）に格納されており、このプログラムが読み出され実行されるに伴い、情報処理装置２０の画像プロセッサ２７において、内視鏡デバイス１０から入力されてきたビデオファイルから複数のフレーム画像が順次に抽出され、各フレーム画像からそれぞれ取得された、そして、展開配列後の画素が複数フレーム画像分組み合わせられることで、３次元画像が構築される。なお、内視鏡デバイス１０から入力されてきたビデオファイルは、情報処理装置２０側で、ハードディスク２４に格納されても、若しくは、所定のフレーム画像について印字出力のためにプリンタ（不図示）へ転送されてもよい。
【００３２】
また、図３は、内視鏡スコープ２の先端部を拡大して示す図である。この図から分かるように、内視鏡スコープ２の先端部では、観察対象となる対物レンズ２ａと、一対の照明用の光ファイバ２ｂと、鉗子チャンネルや吸引チャンネル等の操作チャンネル２ｃとがそれぞれ露出するように設けられている。なお、かかる構成は、従来周知であり、また、内視鏡スコープ２としては、これに限定されることなく、例えば、単一の又は３つ以上の照明用の光ファイバが設けられたものが採用されてもよい。この内視鏡スコープ２では、対物レンズ２ａが、内視鏡スコープ２の中心軸（符号Ｂで示す）に平行又は一定の角度を保持して延びる光軸Ｆを備え、また、その光軸Ｆに対して、上下左右θ°の視野角を有している。
【００３３】
ところで、管腔内面の撮像に際して、内視鏡スコープ２は管腔内で管腔の中心軸に沿って移動させられることが理想的であるが、実際には管腔が不整形であるとともに動きをもつため、管腔内で内視鏡スコープ２の姿勢が変化し、これにより、管腔の中心軸と対物レンズ２ａの光軸Ｆとの相対位置が常に変動する。
【００３４】
図４の（ａ）及び（ｂ）を参照しながら、管腔３０内での内視鏡スコープ２の姿勢の変化に伴う対物レンズ２ａによる観察領域の変化、及び、対物レンズ２ａから観察対象までの距離と対物レンズ２ａへの入射光の強度との関係について説明する。図４の（ａ）に示されるように、管腔３０内に挿入された内視鏡スコープ２が、管腔上下方向における略中央に位置しつつ下方へ傾斜した場合、光軸Ｆは下方に傾斜し、観察領域は、符号Ｓ１で示されるような領域となる。すなわち、この場合、管腔３０の上側内面については、対物レンズ２ａからより遠方の領域が観察領域Ｓ１に収まり、他方、管腔３０の下側内面については、対物レンズ２ａに近い領域が観察領域Ｓ１に収まるようになる。
【００３５】
また、図４の（ｂ）に示されるように、管腔３０内に挿入された内視鏡スコープ２が、管腔上下方向における略中央に位置しつつ上方へ傾斜した場合、光軸Ｆは上方に傾斜し、観察領域は、符号Ｓ２で示されるような領域となる。すなわち、この場合、管腔３０の上側内面については、対物レンズ２ａに近い領域が観察領域Ｓ２に収まり、他方、管腔３０の下側内面については、対物レンズ２ａからより遠方の領域が観察領域Ｓ２に収まるようになる。
【００３６】
管腔内面３０ａの撮像の間、内視鏡スコープ２の照明用ファイバ２ｂからは一定光量の照明光が管腔内面３０ａに対して照射され、この照明光に対する管腔内面３０ａからの反射光が対物レンズ２ａに入射することとなるが、この場合、反射光の輝度は対物レンズ２ａから管腔内面３０ａまでの距離に反比例する関係に基づき（図１２）、対物レンズ２ａから遠方に位置する管腔内面３０ａからの反射光の輝度は弱くなり、他方、対物レンズ２ａに近い管腔内面３０ａからの反射光の輝度は強くなる。そして、この反射光の輝度の強弱は、反射光が内視鏡スコープ２に組み込まれたＣＣＤ（不図示）等により電気信号に変換されることで取得される管腔内面３０ａの各フレーム画像を構成する画素の輝度の大小に反映される。
【００３７】
本実施形態では、このように観察対象からの反射光の強弱が反映されたビデオファイルの各フレーム画像から、所定範囲に対応する画素の輝度情報が抽出されるようになっている。輝度情報抽出対象となる所定範囲としては、各フレーム画像上に、対物レンズ２ａの光軸Ｆに対応した点を中心とする円形の試験線が設定される。これによりレンズと試験線を結ぶ円錐状の深さ軸が設定される。図５には、内視鏡デバイス１０により取得されるフレーム画像上に、輝度情報抽出対象となる所定範囲としての試験線（円形の白線）が設定される態様を示す。かかる試験線が設定されることで、ビデオファイルを構成する各フレーム画像から、それぞれ、管腔内面３０ａの周方向に位置する画素が抽出されることとなる。また、輝度情報抽出対象となるが画素が決定されれば、各画素について、ＲＧＢ値が取得され、それに基づき、輝度情報が取得され、輝度情報から深さ軸方向の相対的距離が算出される。なお、この試験線の半径は任意に設定可能であり、ある観察対象の３次元画像取得のために設定された１つの試験線はビデオファイルから抽出される全フレーム画像に共通して適用される。
【００３８】
また、その後、フレーム画像から抽出された試験線上の画素は仮想空間上に展開配列され、更に、展開配列後の画素が複数フレーム画像分組み合わせられることで、３次元画像が構築される。図６には、管腔内面３０ａの周方向に位置する画素が展開配列され、複数フレーム画像分組み合わせられる態様を概念的に示す。図中の左右方向は管腔３０の軸方向に対応し、また、上下方向は管腔３０の内径に対応する。展開配列後の画素ｈ１〜ｈ８の組合せに際し、対物レンズ２ａの中心軸に対応する画素（ここでは試験線の６時に位置する画素）が基準画素とされ、各展開配列後の画素は、基準画素が一致するように位置決めされつつ組み合わせられる。
【００３９】
本実施形態では、また、画素の展開配列に際し、試験線上の各画素の輝度に応じて、上下方向における幅が変化されるようになっている。例えば、輝度が高い画素については幅が小さくなるように、他方、輝度が低い画素については幅が大きくなるように、各画素がプロットされる。これにより、管腔３０の内径の情報が付加される。
【００４０】
なお、図６では、画素の展開配列及びその後の組合せについての説明を簡略化するために、画素が同じ平面上に配置されるように示されたが、実際には、各画素について抽出された輝度情報が図６の紙面に対して垂直な方向（深さ方向）に反映されるように画素が展開配列され、これにより、画像が３次元的に構築されることとなる。
【００４１】
図７は、複数のフレーム画像からそれぞれ抽出された画素の輝度情報の変化をあらわすグラフが並列されて表示される図である。ここでは、１０のフレーム画像ｆ１〜ｆ１０から抽出された画素の輝度情報の変化が、フレーム画像の抽出順にシフトされつつ並列されている。図中の左右方向は管腔３０の内径に対応し、また、上下方向は管腔３０の軸方向に対応する。なお、この図７においては、実際には図の紙面に対して垂直な方向（深さ方向）に反映されるべき輝度情報の変化が図中の上下方向において表現されている。
【００４２】
図７と比較対照するために、図８には、本実施形態で採用されたビデオファイルと同じファイルに基づき、従来方法を用いて構築された管腔内面３０ａの展開画像を示す。図７と同様に、図中の左右方向は管腔３０の内径に対応し、また、上下方向は管腔３０の軸方向に対応する。これら図７及び８から、本実施形態に係る方法により取得された輝度情報の変化は、従来方法により取得された輝度情報の変化におおよそ一致することが分かる。
【００４３】
次に、図９の（ａ），（ｂ）及び（ｃ）には、それぞれ、管腔内面３０ａの３次元画像を構成する各画素の赤色，緑色及び青色についての輝度情報の分布を示す３次元グラフを示す。かかる３次元グラフでは、「輝度」をあらわす軸以外に、管腔３０の軸方向に対応した「時間」及び管腔３０の内径に対応した「試験線上の位置」をそれぞれあらわす軸が設定される。また、図１０には、図９の（ａ），（ｂ）及び（ｃ）に対応して、輝度軸方向正側にあり、「時間」及び「試験線上の位置」の軸からなる平面に対し垂直な方向に設定された視点からみた展開画像を示す。
【００４４】
更に、図１０と比較対照するために、図１１には、本実施形態で採用されたビデオファイルと同じファイルに基づき、従来方法を用いて構築された管腔内面３０ａの展開画像を示す。なお、この図１１は、図８に示す展開画像を反時計回りに９０°回転させたものに該当し、図１１中の白枠内に示された領域が、図１０に示す展開画像に対応した領域である。また、図１１中の「時間」及び「内腔断面上の位置」をあらわす方向は、それぞれ、図９及び１０中の「時間」及び「試験線上の位置」をあらわす軸の方向に対応する。
図１０及び１１からも、本実施形態に係る方法により取得された輝度情報の変化が、従来方法により取得された輝度情報の変化におおよそ一致することが分かる。
【００４５】
また、本願出願人が行った検証によれば、管腔内面３０ａを観察対象とする場合に、３次元画像を構築する上で緑色の輝度情報を採用した場合に、最も良好な検出感度が得られ、実際の観察対象の形状により忠実な３次元画像が取得された。続いて、青色，赤色の順で、良好な検出感度が得られた。基本的には、観察対象の色調に応じて、緑色又は青色若しくは赤色あるいはこれらの混合色の輝度情報を使い分けることにより、実際の観察対象に忠実な３次元画像を構築することができた。例えば、観察対象が患者の消化管や管腔臓器である場合に、輝度情報として、観察対象の色調の補色に類似した波長の色調、例えば緑色に関する輝度情報を用いることにより、実際の観察対象に一層忠実な３次元画像を構築することができる。
【００４６】
更に、厳密に、本実施形態では、画素の展開配列に際して、画素の輝度情報に基づき算出された深さ方向における位置情報が反映されるようになっている。位置情報は、例えば、図１２に示すように、輝度及び距離が指数関数的に相対変化する関係に基づき、各画素の輝度情報から深さ方向における位置情報が算出される。具体的には、輝度情報が大きいほど、対物レンズ２ａ（図４参照）から観察対象までの距離が短く、観察対象が突出していると判断され、深さ方向における位置情報は大きく設定される。このようにして、観察対象の深さ方向における凹凸を把握することができる。
【００４７】
また、図１３の（ａ）は、深さ方向（Ｚ軸方向）正側にあり、ＸＹ平面に対し垂直な方向に設定された視点からみた３次元画像を示す図である。ここでは図示しないが、Ｚ軸は、深さ方向に沿って紙面手前側が正方向になるように延びる。
【００４８】
図１３の（ｂ）は、図１３の（ａ）に示される画像が左斜め上に引き上げられ、Ｙ軸まわりに回転させられることで取得される３次元画像を示す図である。他方、図１３の（ｃ）は、図１３の（ａ）に示される画像が右斜め下に引き下げられ、Ｙ軸まわりに回転させられてなる３次元画像を示す図である。
【００４９】
なお、これら図１３の（ａ），（ｂ）及び（ｃ）に示される画像を構成する画素には、予め抽出されたＲＧＢ値が付加されてもよい。この場合には、実際の観察対象により忠実な３次元画像を構築することができ、また、観察対象となる管腔内面３０ａの特徴を一層容易に把握することができる。
【００５０】
図１４は、情報処理装置２０側で３次元画像構築プログラムに基づき実行される３次元画像構築処理であり、内視鏡デバイス１０側で取得されたビデオファイルが情報処理装置２０側に読み込まれてから３次元画像が構築されるまでの処理についてのフローチャートである。
【００５１】
この処理では、まず、内視鏡デバイス１０側で取得されたビデオファイルが読み込まれ（＃１１）、その後、図５に示したような試験線が設定される（＃１２）。なお、この試験線は、これ以降のステップでビデオファイルから抽出される全てのフレーム画像に共通して適用される。さらにステップ＃１２では、３次元画像を構築する上で、深さ方向における各画素の位置情報をあらわすために、図１３を参照して説明したＺ軸に対応する深さ軸が設定される。
【００５２】
続いて、読み込まれたビデオファイルから１フレーム画像が抽出され（＃１３）、その後、ステップ＃１２で設定された試験線上に存在する各画素の色情報としてのＲＧＢ値が取得される（＃１４）。
【００５３】
その後、ステップ＃１４で取得されたＲＧＢ値に基づき、試験線上の各画素の輝度が算出される（＃１６）。その後、この輝度から、図１２に示したような距離と輝度とが指数関数的に相対変化する関係に基づき、試験線上における深さ方向の相対的距離に関する情報が取得される（＃１７）。具体的には、内視鏡２の対物レンズから、試験線上における管腔構造物内面の各点までの相対的距離が算出される。本発明では、このような内視鏡の対物レンズから管腔構造物内面の各点までの相対的距離に基づいて３Ｄ画像が生成される。このように試験線上の画素の相対的距離情報すなわち位置情報が取得されると、１フレーム画像から抽出された画素がその位置情報を反映しつつ展開配列される（＃１８）。
【００５４】
更に、全フレーム画像について＃１４〜＃１８のステップが終了したか否かが判断され（＃１９）、その結果、全てのフレーム画像についてまだ終了していないと判断された場合には、ステップ＃１３へ戻り、異なるフレーム画像に関して、それ以降のステップが繰り返される。他方、ステップ＃１９の結果、全てのフレーム画像についてステップが終了したと判断された場合には、続いて、展開配列後の画素が組み合わせられることにより３次元画像が構築される（＃２０）。最後に、図９に示したような３次元グラフが表示され（＃２１）、処理が終了される。
【００５５】
なお、ステップとして特に含めないが、ステップ＃２０及び＃２１における３次元画像及び３次元グラフは、必要に応じて、ハードディスク２４に格納されてもよい。また、前述した３次元画像構築処理は、内視鏡デバイス１０側でのビデオファイルの取得と並行して実行されても、あるいは、内視鏡デバイス１０側で取得されたビデオファイルが情報処理装置２０側に一旦格納された上で、必要に応じて実行されてもよい。更に、前述した３次元画像構築処理は、情報処理装置２０のＲＯＭ２２又はハードディスク２４に格納される３次元画像構築プログラムが読み出されることで実行されるが、このプログラムは、情報処理装置２０のＣＰＵ１１による制御の基になるプログラムの一部として予め組み込まれるものであっても、あるいは、３次元画像構築プログラムとして、例えばＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ等の光ディスク１８又はフロッピーディスク１９（共に図１参照）等の外部記録媒体を用いて若しくはネットワーク経由でダウンロードされることで、情報処理装置２０のハードディスク２４に追加的に格納されるものであってもよい。
【００５６】
以上の説明から明らかなように、本実施形態に係る３次元画像構築装置１によれば、不整形で動きのある管腔内面３０ａの３次元画像を、輝度情報に基づき容易に構築することができる。また、従来、内視鏡画像を記録するために多数の撮影画像が必要であったが、観察範囲全体を含む３次元画像を構築することができるため、ユーザは、病変部の位置や形状を容易に認識することができる他、組織の硬度や動きの情報も客観的に記録することができる。これにより、内視鏡検査の診断精度が向上する。加えて、画像の格納のためのメモリ容量を縮小することができ、また、画像の閲覧時間を短縮することができる。
【００５７】
（実施の形態２）
本実施形態では、内視鏡スコープ２の周方向、軸方向の動きを検出し、その動きに基づき展開画像の補正を行う。これにより、より精度よく実際の管腔内面の状態を再現した画像を得ることができる。このため、本実施形態の３次元画像構築装置は実施の形態１の構成に加えて、内視鏡スコープ２の動きを検出する動き検出装置をさらに備える。
【００５８】
図１５に動き検出装置の構成を示す。動き検出装置５０は、内視鏡スコープ２の軸方向の移動量を検出する軸方向センサ５１と、内視鏡スコープ２の周方向の変化量を検出する周方向センサ５２とを備える。軸方向センサ５１と周方向センサ５２は例えばパーソナルコンピュータに対する指示デバイスとして一般的に使用されるマウスの機構を用いることで容易に実現できる。動き検出装置５０は、軸方向の基準位置からの内視鏡スコープ２の移動量と、周方向の基準位置からの内視鏡スコープ２の周方向の変化量とを検出し、情報処理装置２０に出力する。情報処理装置２０は、動き検出装置５０から検出データを受信すると、その受信時刻（検出時刻に対応）を示す時間情報と、軸方向の移動量と、周方向の変化量とを関連づけて、内視鏡スコープの動き情報として、ハードディスク２４等の所定の記憶装置に格納する。情報処理装置２０は、画像を展開配列する際に、その動き情報に基づき周方向及び軸方向の補正を行う。なお、受信時刻（検出時刻に対応）を示す時間情報は、ビデオファイルの各画像フレームの撮影時刻と、動き検出装置５０による検出値との対応がとれる情報であればよく、例えば、ＪＳＴ（Japan Standard Time）、ＧＭＴ(Greenwich Mean Time)等の標準時刻や、ビデオ画像の撮影開始時からの経過時間を示す情報が使用できる。
【００５９】
図１６を参照して周方向の画像の補正について説明する。動き検出装置５０の周方向センサ５２は、内視鏡スコープ２の周方向の変化量すなわち回転した量を検出する。周方向センサ５２により検出された変化量がΔｌであった場合、展開画像において、図１６（ｂ）に示すように、試験線上の画素のデータ（以下「画素列データ」という。）、変化量Δｌに応じた量Δｌ'だけ周方向にシフトして配置する。このように補正することで、内視鏡スコープ２の回転に伴う画像の歪みを補正することができる。
【００６０】
次に、図１７を参照し、軸方向の画像の補正について説明する。動き検出装置５０の軸方向センサ５１は、内視鏡スコープ２の軸方向の移動量を検出する。実施の形態１では、図１７（ａ）に示すように、ビデオファイルから時系列で得られた画素列データを順次配置することで展開画像を得ていた。しかしながら、実際には、内視鏡スコープ２の進行速度は一定であるとは限らない。すなわち、内視鏡スコープ２の進行速度がほぼゼロの場合、管腔内面の同じ位置の画像が複数得られてしまい、他方、内視鏡スコープ２の進行速度が速いほど、管腔内面のより離れた位置の画像が得られることになる。
【００６１】
図１７（ｂ）は、ビデオファイルから時系列で得られた画素列データを実際の物理的な位置に対応させて配置した場合の一例を示した図である。同図において、画素列データ２〜４、画素列データ５〜６、画素列データ８〜９の取得時の軸方向の位置（移動量）はほぼ同じであることから、重なって示されている。これは、これらのデータの取得時における内視鏡スコープ２の進行速度がゼロまたは非常に遅いことを意味している。一方、隣接する画素列データ０と画素列データ１及び画素列データ７と画素列データ８は、それらのデータの取得時における軸方向の移動量の差が大きいことから、離れた位置に配置される。これは、これらのデータの取得時における内視鏡スコープ２の進行速度が速かったことを意味する。この場合、画素列データ０（または８）に対応する管腔内面の位置と、画素列データ１（または９）に対応する管腔内面の位置との間の比較的長い部分の画素データが取得されていないことを意味する。
【００６２】
そこで、本実施形態では、図１７（ｃ）に示すように、画素列データ２〜４、画素列データ５〜６、画素列データ８〜９のように、管腔内面のほぼ同じ位置の画像を示す画素列データが複数ある場合はいずれか１つのデータのみを採用するようにする。一方、画素列データ０と画素列データ１の間、画素列データ７と画素列データ８の間のように、間隔が開いている場合は、その間のデータを両端のデータから補間する。例えば、図１７（ｃ）のように、画素列データ０と画素列データ１から補間データＡを生成し、画素列データ０と画素列データ１の間に配置する。また、画素列データ間に配置する補間データの数は間隔に応じて適宜決定するのが好ましい。例えば、画素列データ７と画素列データ８の間のようにそれらの間隔が大きい場合は、複数の補間データＢ，Ｃを線形補間により生成して配置する。より具体的には、展開画像において軸方向（時間方向）に解像度（単位時間あたりに配置する画素列データの数）を設定しておき、その解像度に基づき画素列データの間引き、補間を行うようにすればよい。
【００６３】
以上のように、軸方向、周方向それぞれの検出値に基づき画像を補正することで、実際の管腔内面の状態により近い画像を再現することができる。このように管腔内面の状態の再現性を向上できるため、診断時において、管腔内面の生体組織の硬度や管腔内面の動きをより正確に判断することも可能となる。
【００６４】
図１８（ａ）は、軸方向、周方向の補正を行わない場合の、すなわち、実施の形態１の方法で展開配列された画像の例を示した図である。図１８（ａ）に示す画像のデータに対して本実施形態の軸方向、周方向の補正を行うことにより、図１８（ｂ）に示すような補正画像が得られる。
【００６５】
図１９は、本実施形態における、内視鏡スコープ２の動きに基づく補正を行いつつ３次元画像構築処理を実行する処理のフローチャートである。本フローチャートでは、実施の形態１における図１４のフローチャートにおいてステップ＃１５が追加されており、また、ステップ＃１８の処理内容が異なる。ステップ＃１５では、情報処理装置２０は、検出装置５０により取得され、情報処理装置２０内に格納された動き情報を読み出し、周方向、軸方向の位置情報を取得する。そして、ステップ＃１８の画素の展開配列処理において、前述した周方向および軸方向の補正を行いながら画素列データの展開配置を行う。他のステップの処理は実施の形態１のものと同様である。
【００６６】
なお、本実施形態では、周方向および軸方向の双方に関して補正を行ったが、少なくともいずれかにおいて補正を行えばよい。この場合でも、実際の管腔内面の状態により近い画像を再現することができる。
【００６７】
以上、本発明は特定の実施の形態について説明したが、本発明の思想は例示された実施形態に限定されるものでなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。例えば、前述した実施形態では、管腔３０を観察対象とした例が取り上げられたが、本発明は、具体的に、胃，十二指腸，食道等の上部消化管、及び、大腸，小腸等の下部消化管、並びに、尿道，尿管等を含み、様々な管腔臓器に適用可能である。

Claims (10)

1. 観察対象である管状構造物内面の画像に基づき、連続的な３次元画像を構築する３次元画像構築装置において、
   上記管状構造物の軸方向に延びる光軸を備え、所定の照明条件下で、上記管状構造物内に移動しつつ複数フレーム画像を取得する撮像手段と、
   上記撮像手段により取得された管状構造物内面の各フレーム画像の所定範囲に対応する画素の輝度情報を抽出する輝度情報抽出手段と、
   上記輝度情報抽出手段により抽出された輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズの相対的距離を算出する距離情報算出手段と、
   上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対的距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の３次元画像を構築する３次元画像構築手段と、
   上記撮像手段の周方向及び／または軸方向の動きを検出する検出手段とを備え、
   上記３次元画像構築手段は、上記検出手段による検出値に基づき、展開配列する画像の周方向及び／または軸方向における補正を行うことを特徴とする３次元画像構築装置。
2. 観察対象である管状構造物内面の画像に基づき、連続的な３次元画像を構築する３次元画像構築装置において、
   上記管状構造物の軸方向に延びる光軸を備え、所定の照明条件下で、上記管状構造物内に移動しつつ複数フレーム画像を取得する撮像手段と、
   上記撮像手段により取得された管状構造物内面の各フレーム画像の所定範囲に対応する画素の輝度情報を抽出する輝度情報抽出手段と、
   上記輝度情報抽出手段により抽出された輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズの相対的距離を算出する距離情報算出手段と、
   上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対的距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の３次元画像を構築する３次元画像構築手段と、
   上記輝度情報抽出手段による輝度情報抽出対象となるフレーム画像の所定範囲として、上記各フレーム画像上に、上記撮像手段の光軸に対応した点を中心とする試験線を設定する試験線設定手段とを有しており、
   上記輝度情報抽出手段が、上記フレーム画像毎に上記試験線上に存在する画素の輝度情報を抽出する、ことを特徴とする３次元画像構築装置。
3. 更に、上記撮像手段により撮像された管状構造物内面の各フレーム画像を構成する画素の色彩情報を抽出する色彩情報抽出手段と、
   上記３次元画像構築手段により構築された３次元画像を構成する各画素に対して、上記色彩抽出手段により抽出された色彩情報を付加する色彩情報付加手段と、を有していることを特徴とする請求項１又は２に記載の３次元画像構築装置。
4. 上記輝度情報が、赤色又は緑色若しくは青色あるいはこれらの混合色に関する輝度情報であることを特徴とする請求項１〜３のいずれか一に記載の３次元画像構築装置。
5. 上記撮像手段が、内視鏡であることを特徴とする請求項１〜４のいずれか一に記載の３次元画像構築装置。
6. 上記観察対象である管状構造物内面の画像は、管状構造物内面の連続的画像若しくは管状構造物内面のビデオ映像であることを特徴とする請求項１〜４のいずれか一に記載の３次元画像構築装置。
7. 観察対象である管状構造物内面の画像に基づき、連続的な３次元画像を構築する３次元画像構築方法において、
   上記管状構造物の軸方向に延びる光軸を備えた撮像手段により、所定の照明条件下で、上記管状構造物内での移動に際して取得された該管状構造物内面の各フレーム画像の所定範囲に対応した画素の輝度情報を抽出するステップと、
   上記輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズとの相対距離を算出するステップと、
   上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の３次元画像を構築するステップと、を有し
   更に、上記輝度情報抽出対象となるフレーム画像の所定範囲として、上記各フレーム画像上に、上記撮像手段の光軸に対応した点を中心とする試験線を設定するステップを有しており、
   上記輝度情報抽出ステップでは、上記試験線上に存在する画素の輝度情報が抽出される、ことを特徴とする３次元画像構築方法。
8. 観察対象である管状構造物内面の画像に基づき、連続的な３次元画像を構築する３次元画像構築方法において、
   上記管状構造物の軸方向に延びる光軸を備えた撮像手段により、所定の照明条件下で、上記管状構造物内での移動に際して取得された該管状構造物内面の各フレーム画像の所定範囲に対応した画素の輝度情報を抽出するステップと、
   上記輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズとの相対距離を算出するステップと、
   上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の３次元画像を構築するステップと、を有し
   更に、上記撮像手段の周方向及び／または軸方向の動きを検出するステップを有しており、
   上記３次元画像を構築するステップにおいて、上記撮像手段の周方向及び／または軸方向の動きに連動して、展開配列後の画素を複数フレーム画像分組み合わせる、ことを特徴とする３次元画像構築方法。
9. 観察対象である管状構造物内の撮像画像に基づき、連続的な３次元画像を構築するために、所定の情報処理装置にインストールされた３次元画像構築プログラムであって、
   上記管状構造物の軸方向に延びる光軸を備えた撮像手段により、所定の照明条件下で、上記管状構造物内での移動に際して取得された該管状構造物内面の各フレーム画像の所定範囲に対応した画素の輝度情報を抽出する手順と、
   抽出された輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズとの相対距離を算出する手順と、
   上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の３次元画像を構築する手順と、を上記情報処理装置に実行させ、
   更に、上記情報処理装置に、
   上記輝度情報抽出対象となるフレーム画像の所定範囲として、上記各フレーム画像上に、上記撮像手段の光軸に対応した点を中心とする試験線を設定する手順を実行させるとともに、
   上記輝度情報抽出手順として、上記試験線上に存在する画素の輝度情報を抽出する手順を実行させる、ことを特徴とする３次元画像構築プログラム。
10. 観察対象である管状構造物内の撮像画像に基づき、連続的な３次元画像を構築するために、所定の情報処理装置にインストールされた３次元画像構築プログラムであって、
    上記管状構造物の軸方向に延びる光軸を備えた撮像手段により、所定の照明条件下で、上記管状構造物内での移動に際して取得された該管状構造物内面の各フレーム画像の所定範囲に対応した画素の輝度情報を抽出する手順と、
    抽出された輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズとの相対距離を算出する手順と、
    上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の３次元画像を構築する手順と、を上記情報処理装置に実行させ、
    更に、上記情報処理装置に、
    上記撮像手段の周方向及び／または軸方向の動きを検出する手順を実行させるとともに、
    上記３次元画像を構築する手順において、上記撮像手段の周方向及び／または軸方向の動きに連動して、展開配列後の画素を複数フレーム画像分組み合わせる、ことを特徴とする３次元画像構築プログラム。

Images