WO2007139187A1

WO2007139187A1 - ３次元画像構築装置及び方法並びにプログラム

Info

Publication number: WO2007139187A1
Application number: PCT/JP2007/061100
Authority: WO
Inventors: Tatsuo Igarashi; Satoki Zenbutsu
Original assignee: National University Corporation Chiba University
Priority date: 2006-05-31
Filing date: 2007-05-31
Publication date: 2007-12-06
Also published as: JPWO2007139187A1; JP4753104B2; US20090207241A1; US9247865B2; EP2030558A4; EP2030558B1; EP2030558A1

Abstract

　観察対象である管状構造物内面の画像に基づき、疑似的な３次元画像を構築する３次元画像構築装置において、管状構造物の軸方向に延びる光軸を備えた撮像手段により、所定の照明条件下で、管状構造物内での移動に際して取得された管状構造物内面の各フレーム画像の所定範囲に対応した画素の輝度情報を抽出し、管状構造物内面の各フレーム画像の所定範囲に対応する画素の輝度情報を抽出し、輝度情報に基づき、深さ方向における各点と対物レンズとの相対的距離を算出し、管状構造物内面の各フレーム画像の所定範囲に対応する画素を相対的距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、管状構造物内面の３次元画像を構築する。

Description

明細書

3次元画像構築装置及び方法並びにプログラム

技術分野

[0001] 本発明は、トンネル，下水管，患者の消化管や管腔臓器等の管状構造物内に配置された若しくは揷入されたカメラや内視鏡により観察された管状構造物内面の連続的画像、またはビデオ映像から算出された管状構造物内面の各点と対物レンズとの相対的距離に基づき、高速度で連続的な 3次元画像を構築する 3次元画像構築装置に関する。

背景技術

[0002] 従来、内視鏡デバイスの使用に際しては、一般に、管状構造物内に挿入された内視鏡の視野に依存する観察領域が、肉眼で又はビデオカメラを介して観察され表示され、観察者により指定された記録範囲で、写真撮影又はビデオ撮影により記録される。この場合、観察及び表示範囲は内視鏡の観察視野に限定され、局部的な記録を繰り返すことで全体が記録される。これによれば、全体を切れ目のない 1枚の写真として表示することはできないので、関心領域の位置の特定に客観性が乏しい。全体を連続的に記録する別の方法としては、ビデオ映像で撮影する方法もあるが、この方法では、同時に全体表示が不可能である上に閲覧に時間がかかる。また、従来の方法では、平面的な画像を記録するだけなので、立体構造を把握することはできなレ、。さらに、従来法では管腔構造物を構成する組織の硬度や動きを客観的に記録することはできない。

[0003] 例えば下記特許文献 1には、この種の管状構造物内面の連続した繋ぎ目のない展開静止画像データを作成する画像作成システムが開示されている。この画像作成システムは、デジタル画像データ取り込み手段と、取り込まれたデジタル画像データの 1フレーム毎に管状構造物内面の周方向の展開図を作成するパイプ投影変換手段と、モザィキング処理手段と、画像データ圧縮手段と、圧縮画像データ格納手段とにより構成されており、ここでは、内視鏡ビデオ映像の 1フレーム毎の周方向の展開図が管状構造物の中心軸方向につなげられることで、全体画像が構築される。 [0004] また、例えば下記特許文献 2には、管状構造物内を移動するカメラの姿勢及び位置情報をモニタしながら、管の内面を撮影し、カメラの観察野に符合させながら複数枚の画像をつなげることで全体画像を作成する方法が開示されている。

[0005] 更に、例えば下記特許文献 3には、内視鏡先端に有向走査照明装置を装着し、有向照明により身体内面の形状を立体的に計測する方法が開示され、また、例えば下記特許文献 4には、内視鏡先端に干渉縞投影ユニットと距離計測のためのレーザースポット投影ユニットを装着し、被検体に形成された干渉縞と測距情報により被検体の 3次元情報を計算する方法が公開されている。

[0006] 例えば、下記特許文献 5では照明光の振幅を変化させながら任意の時間差をおレ、て撮像し、撮像の各点の輝度および撮像利得の変化の程度により各点の距離を計測することで立体情報を検出する方法が開示されている。

[0007] 例えば、下記特許文献 6では管渠内を移動するカメラの前に設置した凸面鏡または魚眼レンズでカメラ周囲 360度の空間の映像から短冊状の画像を作成し、これをカメラの移動方向に補正をかけながらつなげることで全体を一枚の画像として表示する方法が開示されている。

[0008] 例えば、下記特許文献 7では単一断面を有するパイプ内面を移動する内視鏡で観察したパイプ内面の内視鏡画像から、パイプと内視鏡の相対的位置を計算した上で対象物の長さや面積を算出する方法が開示されている。

[0009] 例えば、下記特許文献 8では、光学的パラメーターを変更しながら撮像された複数の 2次元画像から 3次形状モデルを作成する画像処理手段が開示されてレ、る。また下記特許文献 9では光学的パラメーターを変化させて撮像した複数の画像から 3次元モデルを作成する技術が開示されている。さらに、下記特許文献 10では、色フィルタを搭載した内視鏡により観察物を色成分に分解し、視差により立体情報を抽出する技術が開示されている。

[0010] 例えば、特許文献 11には内視鏡先端に装着した超音波トランスデューサから発射される超音波により変位が加えられた生体組織からの反射信号を演算することで、生体組織の硬度を計測する技術が開示されている。

[0011] 特許文献 1 :特開 2003— 32674号公報特許文献 2：特開平 1 1 66316号公報

特許文献 3：特表 2003— 535659号公報

特許文献 4 :特開平 5— 21 1988号公報

特許文献 5 :特開 2000— 121339号公報

特許文献 6 :特開 2000— 331 168号公報

特許文献 7：特開平 5— 340721号公報

特許文献 8：特開平 1 1一 337845号公報

特許文献 9 :特開 2002— 191554号公報

特許文献 10：特開 2000— 19424号公報

特許文献 11：特開 2001— 224594号公報

発明の開示

発明が解決しょうとする課題

[0012] 上記特許文献 1 , 6に開示される技術では、カメラ 1台で撮像された画像から展開画像を作成するものであるが、管状構造物の中心軸を画像より抽出する必要があり、不整形の管状構造物内に内視鏡が通過する状況、すなわちカメラの光軸と管状構造物の中心軸との相対位置が常に大きく変動している状況では、画像をつなぐことができない。

[0013] また、上記特許文献 2に開示される技術では、カメラの姿勢，位置が常に計測されるため、その機器や情報処理装置が必要になり、調整や計算が煩雑になる。上記特許文献 3、 4及び 9に開示された技術では、内視鏡本体に新たな複数の装置の装着が必要である。

[0014] 上記特許文献 5に開示される技術は、振幅の変化する照明光で任意の時間差で撮像される対象物からの反射光の輝度の変化の程度によりカメラとの距離を算出するものであり、分解能の優れたセンサーなどの高価な装置が必要である。また対象物力 Sカメラに接近している場合や対象物が早い運動や変形を繰り返す場合には計測は不可能である。上記特許文献 8に開示される技術も光学的パラメーターを変化させな力 Sら撮像した複数の画像から 3次元モデルを作成するものであり、被写体の動きが速い場合には応用ができないほか、光学的な装置を新たに設定する必要がある。上記特許文献 7に開示される技術は単一断面を有するパイプ内部での対象物の計測を前提にしており、不整形の管状構造物に応用することはできない。上記特許文献 10 に開示される技術では新たな立体内視鏡および装置が必要であり、連続した立体画像の表示には視差による立体情報と色情報を再構成して適宜配列する必要があり、計算が煩雑になるので早い動きには対応ができない。上記特許文献 11に開示される技術は内視鏡先端に装着する超音波装置が必要であり、また、超音波装置と生体組織の間に空気が介在してはならないので、新たな装置と複雑な演算が必要であり、且つ医療における応用分野が限定される。

[0015] 本発明は、上記技術的課題に鑑みてなされたもので、不整形で動きのある管状構造物の中心軸と撮影手段の光軸との相対位置が変動する状態において、該管状構造物の 3次元画像を簡単に構築することができる 3次元画像構築装置及び方法並びにプログラムを提供することを目的とする。課題を解決するための手段

[0016] そこで本願発明の 1つの態様においては、観察対象である管状構造物内面の画像に基づき 3次元画像を構築する 3次元画像構築装置が提供される。この 3次元画像構築装置は、上記管状構造物の軸方向に延びる光軸を備え、所定の照明条件下で、上記管状構造物内に移動しつつ複数フレーム画像を取得する撮像手段と、該撮像手段により取得された管状構造物内面の各フレーム画像の所定範囲に対応する画素の輝度情報を抽出する輝度情報抽出手段と、該輝度情報抽出手段により抽出された輝度情報に基づき、深さ方向における、管状構造物内面の各点と対物レンズ（撮像手段)の相対的距離を算出する距離情報算出手段と、上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対的距離を反映して配列し、複数フレーム画像分のデータの配列を組み合わせることで、上記管状構造物内面の 3次元画像を連続的に構築する 3次元画像構築手段と、を有している。

[0017] 本願発明のもう 1つの態様においては、撮像手段（例えば、内視鏡）の周方向と軸方向の変化量を計測する変化量検出装置をさらに備え、 3次元画像構築手段は、管状構造物内面の各フレーム画像の所定範囲に対応する画素を変化量検出装置により計測される撮像手段先端の周方向と軸方向の運動情報 (検出情報)を反映しつつ複数フレーム画像分のデータ配列を組み合わせることで、上記管状構造物内面の 3 次元画像を構築する。

[0018] また、 3次元画像構築装置は、上記輝度情報抽出手段による輝度情報抽出対象となるフレーム画像の所定範囲として、上記各フレーム画像上に、上記撮像手段の光軸に対応した点を中心とする円形の試験線を設定する試験線設定手段を有していてもよレ、。この場合、上記輝度情報抽出手段が、上記フレーム画像毎に上記試験線上に存在する画素の輝度情報を抽出することとなる。

[0019] 更に、 3次元画像構築装置は、上記撮像手段により撮像された管状構造物内面の各フレーム画像を構成する画素の色彩情報を抽出する色彩情報抽出手段と、上記 3 次元画像構築手段により構築された 3次元画像を構成する各画素に対して、上記色彩抽出手段により抽出された色彩情報を付加する色彩情報付加手段と、を有していてもよい。

[0020] また、更に、上記輝度情報は、各フレーム画像を構成する画素の赤色又は緑色若しくは青色あるいはこれらの混合色に関する輝度情報であってもよい。カロえて、上記撮像手段は、内視鏡であってもよい。

発明の効果

[0021] 本願発明によれば、不整形で動きのある管状構造物の中心軸と撮影手段の光軸との相対位置が変動する状態において、該管状構造物の 3次元画像を容易に高速で構築すること力 Sできる。 3次元画像を高速に構築することにより、内視鏡診断時におレ、て従来の形状と色彩による診断の他に、管腔自体の動きを正確に診断、記録することも可能となる。さらに、内視鏡診断時に管腔臓器内腔に至適な気体や液体を内腔に注入しながら 3次元画像を高速に構築することにより、管腔を構成する生体組織の硬度や張力の情報を記録することも可能になる。

[0022] また、従来、内視鏡画像を記録するために多数の撮影画像が必要であつたが、観察範囲全体を含む 3次元画像を構築することができるため、ユーザは、病変部の位置や形状を容易に認識することができ、内視鏡検査の診断精度が向上する。加えて、画像の格納のためのメモリ容量を縮小することができ、また、画像の閲覧時間を短縮すること力 Sできる。 [0023] 更に、 3次元画像を構成する各画素に対して色彩情報が付加されることで、実際の観察対象により忠実な 3次元画像を構築することができ、また、観察対象の特徴を一層容易に把握することができる。

また、更に、観察対象の色調に応じて、赤色又は緑色若しくは青色あるいはこれらの混合色の輝度情報を使い分けることにより、実際の観察対象に忠実な 3次元画像を構築することができる。例えば、観察対象が患者の消化管や管腔臓器である場合に、輝度情報として、観察対象の色調の補色に類似した波長の色調、例えば緑色に関する輝度情報を用いることにより、実際の観察対象に一層忠実な 3次元画像を構築すること力 Sできる。

図面の簡単な説明

[0024] [図 1]本発明の実施形態に係る 3次元画像構築装置の全体構成を示すブロック図である。

[図 2]上記 3次元画像構築装置を構成する情報処理装置の基本的な構成を示すプロック図である。

[図 3]上記 3次元画像構築装置を構成する内視鏡デバイスにおける内視鏡スコープ先端部の構成を示す図である。

[図 4] (a)管腔内に挿入された内視鏡スコープが下方に傾斜した状態における観察領域をあらわす図である。（b)管腔内に挿入された内視鏡スコープが上方に傾斜した状態における観察領域をあらわす図である。

[図 5]ビデオファイルから抽出されたフレーム画像上に、輝度情報抽出対象となる所定範囲として円形の試験線が設定された態様をあらわす図である。

[図 6]各フレーム画像から抽出された画素の展開配列及びその後の組合せ処理についての説明図である。

[図 7]各フレーム画像上に設定された試験線に対応して抽出された画素の輝度情報の変化をあらわす図である。

[図 8]図 7と比較対照するために、従来方法により構築される管腔内面の展開画像を示す図である。

[図 9] (a) 3次元画像を構成する各画素の赤色についての輝度情報の分布を示す 3 次元グラフである。（b) 3次元画像を構成する各画素の緑色についての輝度情報の分布を示す 3次元グラフである。（c) 3次元画像を構成する各画素の青色についての輝度情報の分布を示す 3次元グラフである。

[図 10]図 9の（a) , (b)及び (c)中の輝度軸方向正側にあり、「時間」及び「試験線上の位置」にそれぞれ対応した軸からなる平面に対し垂直な方向に設定された視点からみた管腔内面の展開画像を示す図である。

[図 11]図 7と比較対照するために、従来方法により構築される管腔内面の展開画像を示す図である。

[図 12]輝度と距離との間の相対変化をあらわすグラフである。

[図 13] (a)深さ方向正側にあり、 XY平面に対し垂直な方向に設定された視点からみた 3次元画像を示す図である。（b)図 13の（a)に示される画像が左斜め上に引き上げられ、 Y軸まわりに回転させられてなる 3次元画像を示す図である。

(c)図 13の（a)に示される画像が右斜め下に引き下げられ、 Y軸まわりに回転させられてなる 3次元画像を示す図である。

[図 14]実施の形態 1における 3次元画像構築処理についてのフローチャートである。

[図 15]実施の形態 2における 3次元画像構築装置の動き検出装置を示す図である。

[図 16]実施の形態 2における周方向の画像の補正を説明するための図である。

[図 17]実施の形態 2における軸方向の画像の補正を説明するための図である。

[図 18] (a)周方向及び軸方向の補正を行わない場合の管腔内面の展開画像を示す図である。（b)周方向及び軸方向の補正後の展開画像を示す図である。

[図 19]実施の形態 2における 3次元画像構築処理についてのフローチャートである。符号の説明

1 · · · 3次元画像構築装置， 2…内視鏡スコープ， 2a…対物レンズ， 2b…照明用ファィバ， 3…制御ユニット， 10…内視鏡デバイス， 18…光ディスク， 19…フロッピーディスク， 20…情報処理装置， 21 - - -CPU, 22- - -ROM, 23· · -RAM, 24…ハードデイスク， 25…モニタ， 27…画像プロセッサ， 30…管腔， 30a…管腔内面， 50…動き検出装置， 51…周方向センサ， 51…軸方向センサ， F…対物レンズの光軸， SI, S2- - - 観察領域。発明を実施するための最良の形態

[0026] 以下、本発明の実施形態について、添付図面を参照しながら説明する。

[0027] (実施の形態 1)

図 1は、本発明の第 1の実施形態に係る 3次元画像構築装置の全体構成を概略的に示すブロック図である。この 3次元画像構築装置 1は、例えば管腔臓器の内面を撮像し、複数フレーム画像から構成されるビデオファイルを取得する内視鏡デバイス 10 と、内視鏡デバイス 10と接続され、内視鏡デバイス 10により取得されたビデオフアイルを表示出力するとともに、そのビデオファイルから抽出したフレーム画像に基づき、擬似的な 3次元画像を構築する処理を実行する汎用の PCからなる情報処理装置 20 と、を有している。内視鏡デバイス 10と情報処理装置 20とは、例えば USBケーブル等のケーブル 11を介して接続されており、両機器間では、内視鏡デバイス 10により取得されたビデオファイルを情報処理装置 20へ伝送したり、情報処理装置 20から内視鏡デバイス 10へコマンド信号を伝送したりすることができる。内視鏡デバイス 10と情報処理装置 20との間にビデオキヤプチャボードが介在してもよい。

[0028] 内視鏡デバイス 10は、例えば管腔臓器内に挿入されて該管腔内面を撮像する内視鏡スコープ 2と、内視鏡スコープ 2を制御するとともに、内視鏡スコープ 2を介して入力される信号に基づきビデオファイルを作成する制御ユニット 3と、を有している。内視鏡スコープ 2の構成は、図 3を参照しながら説明する。他方、制御ユニット 3は、そのユニット 3内の各構成を制御する制御部 3aと、内視鏡スコープ 2を介して入力される信号に基づき管腔内面のビデオファイルを作成する信号処理部 3bと、内視鏡スコープ 2の先端部から観察対象に対して照射される照明光の光源である光源部 3cと、備えている。制御部 3aは、ユーザの操作に応じて、内視鏡スコープ 2による撮像や照明のオンオフ切換えを制御したり、光源部 3cからの内視鏡スコープ 2に供給される光量を調節したりする。

[0029] なお、 3次元画像構築装置 1の構成は、これに限定されるものでなぐ例えば管腔臓器の内面を観察対象とする内視鏡デバイス 10の代わりに、トンネル又は下水管の内壁を観察対象とする内視鏡デバイスやビデオカメラシステムが用いられてもよい。また、情報処理装置 20としては、据え置き型（デスクトップ型) PCの代わりに、ラップトップ型 PC力 s用いられてもよレヽ。

[0030] 図 2は、情報処理装置 20の基本構成を示すブロック図である。この情報処理装置 2 0は、基本ソフトウェアであるオペレーティングシステム（OS)等のプログラムに基づき、情報処理装置 20内の各構成をシーケンス制御する CPU21と、情報処理装置 20 の起動時に実行されるブートプログラムを記録する ROM22と、プログラムの実行に必要なワークエリアのバッファエリアとして利用される RAM23と、〇Sやアプリケーシヨンプログラムや各種のデータを格納するハードディスク（図中の「HD」） 24と、アプリケーシヨン画面等の各種の情報を表示し得る表示出力デバイスとしてのモニタ 25と、マウス 26aやキーボード 26b等の入力デバイス 26と、内視鏡デバイス 10から入力されてきたビデオファイルに基づき、種々の処理を行いつつ 3次元画像を構築する画像プロセッサ 27と、外部デバイスとの間で各種データの送受信を行なうための外部ィンターフェース部（図中の「外部 I/F」） 28と、を有している。また、特に図示しないが、情報処理装置 20は、例えば、光ディスクドライブ，フロッピー（登録商標）ディスクドライブ等の構成を有してレ、てもよレ、。

[0031] 本実施形態では、 3次元画像構築プログラムが ROM22 (又はハードディスク 24)に格納されており、このプログラムが読み出され実行されるに伴い、情報処理装置 20の画像プロセッサ 27において、内視鏡デバイス 10から入力されてきたビデオフアイノレ力複数のフレーム画像が順次に抽出され、各フレーム画像からそれぞれ取得された、そして、展開配列後の画素が複数フレーム画像分組み合わせられることで、 3次元画像が構築される。なお、内視鏡デバイス 10から入力されてきたビデオファイルは、情報処理装置 20側で、ハードディスク 24に格納されても、若しくは、所定のフレーム画像について印字出力のためにプリンタ（不図示）へ転送されてもよい。

[0032] また、図 3は、内視鏡スコープ 2の先端部を拡大して示す図である。この図から分かるように、内視鏡スコープ 2の先端部では、観察対象となる対物レンズ 2aと、一対の照明用の光ファイバ 2bと、鉗子チャンネルや吸引チャンネル等の操作チャンネル 2c とがそれぞれ露出するように設けられている。なお、かかる構成は、従来周知であり、また、内視鏡スコープ 2としては、これに限定されることなぐ例えば、単一の又は 3つ以上の照明用の光ファイバが設けられたものが採用されてもよい。この内視鏡スコープ 2では、対物レンズ 2aが、内視鏡スコープ 2の中心軸（符号 Bで示す）に平行又は一定の角度を保持して延びる光軸 Fを備え、また、その光軸 Fに対して、上下左右 Θ ° の視野角を有している。

[0033] ところで、管腔内面の撮像に際して、内視鏡スコープ 2は管腔内で管腔の中心軸に沿って移動させられることが理想的であるが、実際には管腔が不整形であるとともに動きをもっため、管腔内で内視鏡スコープ 2の姿勢が変化し、これにより、管腔の中心軸と対物レンズ 2aの光軸 Fとの相対位置が常に変動する。

[0034] 図 4の（a)及び (b)を参照しながら、管腔 30内での内視鏡スコープ 2の姿勢の変化に伴う対物レンズ 2aによる観察領域の変化、及び、対物レンズ 2aから観察対象までの距離と対物レンズ 2aへの入射光の強度との関係について説明する。図 4の（a)に示されるように、管腔 30内に挿入された内視鏡スコープ 2が、管腔上下方向における略中央に位置しつつ下方へ傾斜した場合、光軸 Fは下方に傾斜し、観察領域は、符号 S1で示されるような領域となる。すなわち、この場合、管腔 30の上側内面については、対物レンズ 2aからより遠方の領域が観察領域 S 1に収まり、他方、管腔 30の下側内面にっレ、ては、対物レンズ 2aに近レ、領域が観察領域 S 1に収まるようになる。

[0035] また、図 4の（b)に示されるように、管腔 30内に挿入された内視鏡スコープ 2が、管腔上下方向における略中央に位置しつつ上方へ傾斜した場合、光軸 Fは上方に傾斜し、観察領域は、符号 S2で示されるような領域となる。すなわち、この場合、管腔 3 0の上側内面については、対物レンズ 2aに近い領域が観察領域 S2に収まり、他方、管腔 30の下側内面については、対物レンズ 2aからより遠方の領域が観察領域 S2に収まるようになる。

[0036] 管腔内面 30aの撮像の間、内視鏡スコープ 2の照明用ファイバ 2bからは一定光量の照明光が管腔内面 30aに対して照射され、この照明光に対する管腔内面 30aからの反射光が対物レンズ 2aに入射することとなるが、この場合、反射光の輝度は対物レンズ 2aから管腔内面 30aまでの距離に反比例する関係に基づき（図 12)、対物レンズ 2aから遠方に位置する管腔内面 30aからの反射光の輝度は弱くなり、他方、対物レンズ 2aに近い管腔内面 30aからの反射光の輝度は強くなる。そして、この反射光の輝度の強弱は、反射光が内視鏡スコープ 2に組み込まれた CCD (不図示）等により電気信号に変換されることで取得される管腔内面 30aの各フレーム画像を構成する画素の輝度の大小に反映される。

[0037] 本実施形態では、このように観察対象からの反射光の強弱が反映されたビデオファィルの各フレーム画像から、所定範囲に対応する画素の輝度情報が抽出されるようになっている。輝度情報抽出対象となる所定範囲としては、各フレーム画像上に、対物レンズ 2aの光軸 Fに対応した点を中心とする円形の試験線が設定される。これによりレンズと試験線を結ぶ円錐状の深さ軸が設定される。図 5には、内視鏡デバイス 10 により取得されるフレーム画像上に、輝度情報抽出対象となる所定範囲としての試験線（円形の白線）が設定される態様を示す。力、かる試験線が設定されることで、ビデオファイルを構成する各フレーム画像から、それぞれ、管腔内面 30aの周方向に位置する画素が抽出されることとなる。また、輝度情報抽出対象となるが画素が決定されれば、各画素について、 RGB値が取得され、それに基づき、輝度情報が取得され、輝度情報力深さ軸方向の相対的距離が算出される。なお、この試験線の半径は任意に設定可能であり、ある観察対象の 3次元画像取得のために設定された 1つの試験線はビデオファイルから抽出される全フレーム画像に共通して適用される。

[0038] また、その後、フレーム画像から抽出された試験線上の画素は仮想空間上に展開配列され、更に、展開配列後の画素が複数フレーム画像分組み合わせられることで、 3次元画像が構築される。図 6には、管腔内面 30aの周方向に位置する画素が展開配列され、複数フレーム画像分組み合わせられる態様を概念的に示す。図中の左右方向は管腔 30の軸方向に対応し、また、上下方向は管腔 30の内径に対応する。展開配列後の画素 hl〜h8の組合せに際し、対物レンズ 2aの中心軸に対応する画素（ここでは試験線の 6時に位置する画素）が基準画素とされ、各展開配列後の画素は、基準画素が一致するように位置決めされつつ組み合わせられる。

[0039] 本実施形態では、また、画素の展開配列に際し、試験線上の各画素の輝度に応じて、上下方向における幅が変化されるようになっている。例えば、輝度が高い画素については幅が小さくなるように、他方、輝度が低い画素については幅が大きくなるように、各画素がプロットされる。これにより、管腔 30の内径の情報が付加される。

[0040] なお、図 6では、画素の展開配列及びその後の組合せについての説明を簡略化するために、画素が同じ平面上に配置されるように示されたが、実際には、各画素について抽出された輝度情報が図 6の紙面に対して垂直な方向（深さ方向）に反映されるように画素が展開配列され、これにより、画像が 3次元的に構築されることとなる。

[0041] 図 7は、複数のフレーム画像からそれぞれ抽出された画素の輝度情報の変化をあらわすグラフが並列されて表示される図である。ここでは、 10のフレーム画像 fl〜fl 0から抽出された画素の輝度情報の変化力フレーム画像の抽出順にシフトされつつ並列されている。図中の左右方向は管腔 30の内径に対応し、また、上下方向は管腔 30の軸方向に対応する。なお、この図 7においては、実際には図の紙面に対して垂直な方向（深さ方向）に反映されるべき輝度情報の変化が図中の上下方向において表現されている。

[0042] 図 7と比較対照するために、図 8には、本実施形態で採用されたビデオファイルと同じファイルに基づき、従来方法を用いて構築された管腔内面 30aの展開画像を示す。図 7と同様に、図中の左右方向は管腔 30の内径に対応し、また、上下方向は管腔 30の軸方向に対応する。これら図 7及び 8から、本実施形態に係る方法により取得された輝度情報の変化は、従来方法により取得された輝度情報の変化におおよそ一致することが分かる。

[0043] 次に、図 9の（a) , (b)及び（c)には、それぞれ、管腔内面 30aの 3次元画像を構成する各画素の赤色，緑色及び青色についての輝度情報の分布を示す 3次元グラフを示す。力かる 3次元グラフでは、「輝度」をあらわす軸以外に、管腔 30の軸方向に対応した「時間」及び管腔 30の内径に対応した「試験線上の位置」をそれぞれあらわす軸が設定される。また、図 10には、図 9の（a) , (b)及び（c)に対応して、輝度軸方向正側にあり、「時間」及び「試験線上の位置」の軸からなる平面に対し垂直な方向に設定された視点からみた展開画像を示す。

[0044] 更に、図 10と比較対照するために、図 11には、本実施形態で採用されたビデオフアイルと同じファイルに基づき、従来方法を用いて構築された管腔内面 30aの展開画像を示す。なお、この図 1 1は、図 8に示す展開画像を反時計回りに 90° 回転させたものに該当し、図 11中の白枠内に示された領域が、図 10に示す展開画像に対応した領域である。また、図 11中の「時間」及び「内腔断面上の位置」をあらわす方向は、それぞれ、図 9及び 10中の「時間」及び「試験線上の位置」をあらわす軸の方向に対応する。

図 10及び 11からも、本実施形態に係る方法により取得された輝度情報の変化が、従来方法により取得された輝度情報の変化におおよそ一致することが分かる。

[0045] また、本願出願人が行った検証によれば、管腔内面 30aを観察対象とする場合に、 3次元画像を構築する上で緑色の輝度情報を採用した場合に、最も良好な検出感度が得られ、実際の観察対象の形状により忠実な 3次元画像が取得された。続いて、青色，赤色の順で、良好な検出感度が得られた。基本的には、観察対象の色調に応じて、緑色又は青色若しくは赤色あるいはこれらの混合色の輝度情報を使い分けることにより、実際の観察対象に忠実な 3次元画像を構築することができた。例えば、観察対象が患者の消化管や管腔臓器である場合に、輝度情報として、観察対象の色調の補色に類似した波長の色調、例えば緑色に関する輝度情報を用いることにより、実際の観察対象に一層忠実な 3次元画像を構築することができる。

[0046] 更に、厳密に、本実施形態では、画素の展開配列に際して、画素の輝度情報に基づき算出された深さ方向における位置情報が反映されるようになっている。位置情報は、例えば、図 12に示すように、輝度及び距離が指数関数的に相対変化する関係に基づき、各画素の輝度情報から深さ方向における位置情報が算出される。具体的には、輝度情報が大きいほど、対物レンズ 2a (図 4参照）から観察対象までの距離が短ぐ観察対象が突出していると判断され、深さ方向における位置情報は大きく設定される。このようにして、観察対象の深さ方向における凹凸を把握することができる。

[0047] また、図 13の（a)は、深さ方向（Z軸方向）正側にあり、 XY平面に対し垂直な方向に設定された視点からみた 3次元画像を示す図である。ここでは図示しないが、 Z軸は、深さ方向に沿って紙面手前側が正方向になるように延びる。

[0048] 図 13の（b)は、図 13の（a)に示される画像が左斜め上に引き上げられ、 Y軸まわりに回転させられることで取得される 3次元画像を示す図である。他方、図 13の（c)は、図 13の（a)に示される画像が右斜め下に引き下げられ、 Y軸まわりに回転させられてなる 3次元画像を示す図である。

[0049] なお、これら図 13の（a)，（b)及び（c)に示される画像を構成する画素には、予め抽出された RGB値が付加されてもよい。この場合には、実際の観察対象により忠実な 3 次元画像を構築することができ、また、観察対象となる管腔内面 30aの特徴を一層容易に把握することができる。

[0050] 図 14は、情報処理装置 20側で 3次元画像構築プログラムに基づき実行される 3次元画像構築処理であり、内視鏡デバイス 10側で取得されたビデオファイルが情報処理装置 20側に読み込まれてから 3次元画像が構築されるまでの処理についてのフロ一チャートである。

[0051] この処理では、まず、内視鏡デバイス 10側で取得されたビデオファイルが読み込まれ（# 1 1)、その後、図 5に示したような試験線が設定される（# 12)。なお、この試験線は、これ以降のステップでビデオファイルから抽出される全てのフレーム画像に共通して適用される。さらにステップ # 12では、 3次元画像を構築する上で、深さ方向における各画素の位置情報をあらわすために、図 13を参照して説明した Z軸に対応する深さ軸が設定される。

[0052] 続いて、読み込まれたビデオファイルから 1フレーム画像が抽出され（# 13)、その後、ステップ # 12で設定された試験線上に存在する各画素の色情報としての RGB 値が取得される（# 14)。

[0053] その後、ステップ # 14で取得された RGB値に基づき、試験線上の各画素の輝度が算出される（# 16)。その後、この輝度から、図 12に示したような距離と輝度とが指数関数的に相対変化する関係に基づき、試験線上における深さ方向の相対的距離に関する情報が取得される（# 17)。具体的には、内視鏡 2の対物レンズから、試験線上における管腔構造物内面の各点までの相対的距離が算出される。本発明では、このような内視鏡の対物レンズ力管腔構造物内面の各点までの相対的距離に基づレ、て 3D画像が生成される。このように試験線上の画素の相対的距離情報すなわち位置情報が取得されると、 1フレーム画像力抽出された画素がその位置情報を反映しつつ展開配列される ( # 18)。

[0054] 更に、全フレーム画像について # 14〜# 18のステップが終了したか否かが判断され（# 19)、その結果、全てのフレーム画像についてまだ終了していないと判断された場合には、ステップ # 13へ戻り、異なるフレーム画像に関して、それ以降のステツプが繰り返される。他方、ステップ # 19の結果、全てのフレーム画像についてステツプが終了したと判断された場合には、続いて、展開配列後の画素が組み合わせられることにより 3次元画像が構築される（# 20)。最後に、図 9に示したような 3次元グラフが表示され（ # 21)、処理が終了される。

[0055] なお、ステップとして特に含めないが、ステップ # 20及び # 21における 3次元画像及び 3次元グラフは、必要に応じて、ハードディスク 24に格納されてもよい。また、前述した 3次元画像構築処理は、内視鏡デバイス 10側でのビデオファイルの取得と並行して実行されても、あるいは、内視鏡デバイス 10側で取得されたビデオファイルが情報処理装置 20側に一旦格納された上で、必要に応じて実行されてもよい。更に、前述した 3次元画像構築処理は、情報処理装置 20の ROM22又はハードディスク 2 4に格納される 3次元画像構築プログラムが読み出されることで実行されるが、このプログラムは、情報処理装置 20の CPU11による制御の基になるプログラムの一部として予め組み込まれるものであっても、あるいは、 3次元画像構築プログラムとして、例えば CD— ROM, DVD— ROM等の光ディスク 18又はフロッピーディスク 19 (共に図 1参照）等の外部記録媒体を用いて若しくはネットワーク経由でダウンロードされることで、情報処理装置 20のハードディスク 24に追加的に格納されるものであってもよレ、。

[0056] 以上の説明力明らかなように、本実施形態に係る 3次元画像構築装置 1によれば、不整形で動きのある管腔内面 30aの 3次元画像を、輝度情報に基づき容易に構築すること力 Sできる。また、従来、内視鏡画像を記録するために多数の撮影画像が必要であったが、観察範囲全体を含む 3次元画像を構築することができるため、ユーザは、病変部の位置や形状を容易に認識することができる他、組織の硬度や動きの情報も客観的に記録することができる。これにより、内視鏡検査の診断精度が向上する。カロえて、画像の格納のためのメモリ容量を縮小することができ、また、画像の閲覧時間を短縮することができる。

[0057] (実施の形態 2)

本実施形態では、内視鏡スコープ 2の周方向、軸方向の動きを検出し、その動きに基づき展開画像の補正を行う。これにより、より精度よく実際の管腔内面の状態を再現した画像を得ることができる。このため、本実施形態の 3次元画像構築装置は実施の形態 1の構成に加えて、内視鏡スコープ 2の動きを検出する動き検出装置をさらに備える。

[0058] 図 15に動き検出装置の構成を示す。動き検出装置 50は、内視鏡スコープ 2の軸方向の移動量を検出する軸方向センサ 51と、内視鏡スコープ 2の周方向の変化量を検出する周方向センサ 52とを備える。軸方向センサ 51と周方向センサ 52は例えばパ一ソナルコンピュータに対する指示デバイスとして一般的に使用されるマウスの機構を用いることで容易に実現できる。動き検出装置 50は、軸方向の基準位置からの内視鏡スコープ 2の移動量と、周方向の基準位置からの内視鏡スコープ 2の周方向の変化量とを検出し、情報処理装置 20に出力する。情報処理装置 20は、動き検出装置 50から検出データを受信すると、その受信時刻 (検出時刻に対応)を示す時間情報と、軸方向の移動量と、周方向の変化量とを関連づけて、内視鏡スコープの動き情報として、ハードディスク 24等の所定の記憶装置に格納する。情報処理装置 20は、画像を展開配列する際に、その動き情報に基づき周方向及び軸方向の補正を行う。なお、受信時刻（検出時刻に対応）を示す時間情報は、ビデオファイルの各画像フレームの撮影時刻と、動き検出装置 50による検出値との対応がとれる情報であればよぐ例えば、 JST (Japan Standard Time)、 GMT(Greenwich Mean Time)等の標準時刻や、ビデオ画像の撮影開始時からの経過時間を示す情報が使用できる。

[0059] 図 16を参照して周方向の画像の補正について説明する。動き検出装置 50の周方向センサ 52は、内視鏡スコープ 2の周方向の変化量すなわち回転した量を検出する。周方向センサ 52により検出された変化量が Δ 1であった場合、展開画像において、図 16 (b)に示すように、試験線上の画素のデータ（以下「画素列データ」という。）、変化量 Δ 1に応じた量 Δ Ι'だけ周方向にシフトして配置する。このように補正することで、内視鏡スコープ 2の回転に伴う画像の歪みを補正することができる。

[0060] 次に、図 17を参照し、軸方向の画像の補正について説明する。動き検出装置 50の軸方向センサ 51は、内視鏡スコープ 2の軸方向の移動量を検出する。実施の形態 1 では、図 17 (a)に示すように、ビデオファイルから時系列で得られた画素列データを順次配置することで展開画像を得ていた。しかしながら、実際には、内視鏡スコープ 2の進行速度は一定であるとは限らない。すなわち、内視鏡スコープ 2の進行速度がほぼゼロの場合、管腔内面の同じ位置の画像が複数得られてしまい、他方、内視鏡スコープ 2の進行速度が速いほど、管腔内面のより離れた位置の画像が得られることになる。

[0061] 図 17 (b)は、ビデオファイルから時系列で得られた画素列データを実際の物理的な位置に対応させて配置した場合の一例を示した図である。同図において、画素列データ 2〜4、画素列データ 5〜6、画素列データ 8〜9の取得時の軸方向の位置（移動量）はほぼ同じであることから、重なって示されている。これは、これらのデータの取得時における内視鏡スコープ 2の進行速度がゼロまたは非常に遅いことを意味している。一方、 P 接する画素列データ 0と画素列データ 1及び画素列データ 7と画素列データ 8は、それらのデータの取得時における軸方向の移動量の差が大きいことから、離れた位置に配置される。これは、これらのデータの取得時における内視鏡スコープ 2の進行速度が速かったことを意味する。この場合、画素列データ 0 (または 8)に対応する管腔内面の位置と、画素列データ 1 (または 9)に対応する管腔内面の位置との間の比較的長い部分の画素データが取得されていないことを意味する。

[0062] そこで、本実施形態では、図 17 (c)に示すように、画素列データ 2〜4、画素列データ 5〜6、画素列データ 8〜9のように、管腔内面のほぼ同じ位置の画像を示す画素列データが複数ある場合はいずれ力 1つのデータのみを採用するようにする。一方、画素列データ 0と画素列データ 1の間、画素列データ 7と画素列データ 8の間のように、間隔が開いている場合は、その間のデータを両端のデータから補間する。例えば、図 17 (c)のように、画素列データ 0と画素列データ 1から補間データ Aを生成し、画素列データ 0と画素列データ 1の間に配置する。また、画素列データ間に配置する補間データの数は間隔に応じて適宜決定するのが好ましい。例えば、画素列データ 7と画素列データ 8の間のようにそれらの間隔が大きい場合は、複数の補間データ B, Cを線形補間により生成して配置する。より具体的には、展開画像において軸方向（時間方向）に解像度（単位時間あたりに配置する画素列データの数）を設定しておき、その解像度に基づき画素列データの間引き、補間を行うようにすればよい。

[0063] 以上のように、軸方向、周方向それぞれの検出値に基づき画像を補正することで、実際の管腔内面の状態により近い画像を再現することができる。このように管腔内面の状態の再現性を向上できるため、診断時において、管腔内面の生体組織の硬度や管腔内面の動きをより正確に判断することも可能となる。

[0064] 図 18 (a)は、軸方向、周方向の補正を行わない場合の、すなわち、実施の形態 1の方法で展開配列された画像の例を示した図である。図 18 (a)に示す画像のデータに対して本実施形態の軸方向、周方向の補正を行うことにより、図 18 (b)に示すような補正画像が得られる。

[0065] 図 19は、本実施形態における、内視鏡スコープ 2の動きに基づく補正を行いつつ 3 次元画像構築処理を実行する処理のフローチャートである。本フローチャートでは、実施の形態 1における図 14のフローチャートにおいてステップ # 15が追加されており、また、ステップ # 18の処理内容が異なる。ステップ # 15では、情報処理装置 20 は、検出装置 50により取得され、情報処理装置 20内に格納された動き情報を読み出し、周方向、軸方向の位置情報を取得する。そして、ステップ # 18の画素の展開配列処理において、前述した周方向および軸方向の補正を行いながら画素列データの展開配置を行う。他のステップの処理は実施の形態 1のものと同様である。

[0066] なお、本実施形態では、周方向および軸方向の双方に関して補正を行ったが、少なくともいずれかにおいて補正を行えばよい。この場合でも、実際の管腔内面の状態により近レ、画像を再現することができる。

[0067] 以上、本発明は特定の実施の形態について説明したが、本発明の思想は例示された実施形態に限定されるものでなぐ本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。例えば、前述した実施形態では、管腔 30を観察対象とした例が取り上げられたが、本発明は、具体的に、胃，十二指腸，食道等の上部消化管、及び、大腸，小腸等の下部消化管、並びに、尿道，尿管等を含み、様々な管腔臓器に適用可能である。

Claims

請求の範囲

[1] 観察対象である管状構造物内面の画像に基づき、連続的な 3次元画像を構築する 3次元画像構築装置において、

上記管状構造物の軸方向に延びる光軸を備え、所定の照明条件下で、上記管状構造物内に移動しつつ複数フレーム画像を取得する撮像手段と、

上記撮像手段により取得された管状構造物内面の各フレーム画像の所定範囲に対応する画素の輝度情報を抽出する輝度情報抽出手段と、

上記輝度情報抽出手段により抽出された輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズの相対的距離を算出する距離情報算出手段と、上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対的距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の 3次元画像を構築する 3次元画像構築手段と、を有していることを特徴とする 3次元画像構築装置。

[2] 更に、上記輝度情報抽出手段による輝度情報抽出対象となるフレーム画像の所定範囲として、上記各フレーム画像上に、上記撮像手段の光軸に対応した点を中心とする円形の試験線を設定する試験線設定手段を有しており、

上記輝度情報抽出手段が、上記フレーム画像毎に上記試験線上に存在する画素の輝度情報を抽出する、ことを特徴とする請求項 1記載の 3次元画像構築装置。

[3] 更に、上記撮像手段により撮像された管状構造物内面の各フレーム画像を構成する画素の色彩情報を抽出する色彩情報抽出手段と、

上記 3次元画像構築手段により構築された 3次元画像を構成する各画素に対して、上記色彩抽出手段により抽出された色彩情報を付加する色彩情報付加手段と、を有していることを特徴とする請求項 1又は 2に記載の 3次元画像構築装置。

[4] 上記輝度情報が、赤色又は緑色若しくは青色あるいはこれらの混合色に関する輝度情報であることを特徴とする請求項：!〜 3のいずれか一に記載の 3次元画像構築装置。

[5] 上記撮像手段が、内視鏡であることを特徴とする請求項 1〜4のいずれか一に記載の 3次元画像構築装置。

[6] さらに、上記撮像手段の周方向及び/または軸方向の動きを検出する検出手段をさらに備え、上記 3次元画像構築手段は、上記検出手段による検出値に基づき、展開配列する画像の周方向及び/または軸方向における補正を行うことを特徴とする請求項:!〜 4のいずれか一に記載の 3次元画像構築装置。

[7] 上記観察対象である管状構造物内面の画像は、管状構造物内面の連続的画像若しくは管状構造物内面のビデオ映像であることを特徴とする請求項 1〜4のいずれか一に記載の 3次元画像構築装置。

[8] 観察対象である管状構造物内面の画像に基づき、連続的な 3次元画像を構築する 3次元画像構築方法にぉレ、て、

上記管状構造物の軸方向に延びる光軸を備えた撮像手段により、所定の照明条件下で、上記管状構造物内での移動に際して取得された該管状構造物内面の各フレーム画像の所定範囲に対応した画素の輝度情報を抽出するステップと、

上記管状構造物内面の各フレーム画像の所定範囲に対応する画素の輝度情報を抽出するステップと、

上記輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズとの相対距離を算出するステップと、

上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の 3次元画像を構築するステップと、を有していることを特徴とする 3次元画像構築方法。

[9] 更に、上記輝度情報抽出対象となるフレーム画像の所定範囲として、上記各フレーム画像上に、上記撮像手段の光軸に対応した点を中心とする円形の試験線を設定するステップを有しており、

上記輝度情報抽出ステップでは、上記試験線上に存在する画素の輝度情報が抽出される、ことを特徴とする請求項 8記載の 3次元画像構築方法。

[10] 更に、上記撮像手段の周方向及び/または軸方向の動きを検出するステップを有しており、

上記 3次元画像を構築するステップにおいて、上記撮像手段の周方向及び Zまたは軸方向の動きに連動して、展開配列後の画素を複数フレーム画像分組み合わせる、ことを特徴とする請求項 8記載の 3次元画像構築方法。

[11] 観察対象である管状構造物内の撮像画像に基づき、連続的な 3次元画像を構築するために、所定の情報処理装置にインストールされた 3次元画像構築プログラムであって、

上記管状構造物の軸方向に延びる光軸を備えた撮像手段により、所定の照明条件下で、上記管状構造物内での移動に際して取得された該管状構造物内面の各フレーム画像の所定範囲に対応した画素の輝度情報を抽出する手順と、

抽出された輝度情報に基づき、深さ方向における管状構造物内面の各点と対物レンズとの相対距離を算出する手順と、

上記管状構造物内面の各フレーム画像の所定範囲に対応する画素を上記相対距離を反映しつつ展開配列し、展開配列後の画素を複数フレーム画像分組み合わせることで、上記管状構造物内面の 3次元画像を構築する手順と、を上記情報処理装置に実行させる 3次元画像構築プログラム。

[12] 上記情報処理装置に、

更に、上記輝度情報抽出対象となるフレーム画像の所定範囲として、上記各フレーム画像上に、上記撮像手段の光軸に対応した点を中心とする円形の試験線を設定する手順を実行させるとともに、

上記輝度情報抽出手順として、上記試験線上に存在する画素の輝度情報を抽出する手順を実行させる、ことを特徴とする請求項 11記載の 3次元画像構築プログラム

[13] 上記情報処理装置に、

更に、上記撮像手段の周方向及び/または軸方向の動きを検出する手順を実行させるとともに、

上記 3次元画像を構築する手順において、上記撮像手段の周方向及び/または軸方向の動きに連動して、展開配列後の画素を複数フレーム画像分組み合わせる、ことを特徴とする請求項 11記載の 3次元画像構築プログラム。