JP4487077B2 - 単一の撮像装置で連続取得したビデオ映像による立体表示方法 - Google Patents

Description

本発明は、単一の撮像装置で連続取得したビデオ映像による立体表示方法、例えば単眼軟性内視鏡ビデオ映像から立体視に適した画像対を自動的に抽出し、表示する方法に利用できる単一の撮像装置で連続取得したビデオ映像による立体表示方法に関する。

上部消化管（胃、食道等）、下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡は、従来単眼、すなわち１つの内視鏡カメラを用いて実現されている。２つのカメラを組み込んで立体視すれば、単眼内視鏡では医師が経験的に判断している管壁の凹凸を、直接立体視することができるはずである。そこで、従来から双眼立体視内視鏡の開発が何度も試みられてきた。しかし、狭い（直径１０ｍｍ程度以下）内視鏡先端に２つのレンズを組み込むことによる明るさと解像度の低下、立体視表示に特殊な装置を用い特殊な眼鏡の着用を要するシステムが多いこと、立体視をする医師の疲労などの理由により、実用に供されているものはまだない。単眼軟性内視鏡のビデオ映像を立体視可能にするシステムと称するもの（橋本大定氏の提案）もあるが、擬似的な立体視に留まっている。

ＶＴＲやビデオカメラ等から出力されたり、ＴＶ放送により伝送された２次元画像を立体視画像に変換する方法が提案されている。特許文献１記載の発明も、その一つであり、動きベクトルという概念を用いて、視線方向との関連を付けている。非特許文献１は、前記動きベクトルと同じ概念（オプティカルフロー）についての詳細な説明をしている。

特許文献２記載の発明は、内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体に関するものである。運動視差の原理を用い、内視鏡自身に取り付けられた位置・方向センサにより得られる内視鏡の動きとこれに伴って変化する内視鏡像の対応位置の変化から、運動視差に相当する情報を演算処理により得ることにより、単眼でも奥行きの情報を得られるようにした内視鏡システムを提案している。
特開平７−２７４２０９号公報 特開２０００−２１０２４８号公報 太田 直哉著，「信頼性指標をもつ移動ベクトルの検出」，コンピュータビジョン’９０，情報処理学会シンポジウム論文集，Ｖｏｌ．９０，Ｎｏ．２，ｐｐ．２１−３０，１９９０

特許文献２記載の発明は内視鏡の実施例として、単眼硬性内視鏡を示しているが、このような内視鏡は人の胃壁の診断等には適さない。
本発明の目的は、単一の撮像装置で連続取得したビデオ映像による立体表示方法、例えば上部消化管（胃、食道等）、下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする方法を提供することにある。
本発明のさらに詳細な目的は、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することにある。

前記目的を達成するために、本発明による単一の撮像装置で連続取得したビデオ映像による立体表示方法は、単一の撮像装置で連続取得したビデオ映像による立体表示方法であって、ビデオ映像を連続取得可能な撮像装置と、前記撮像装置の視野を連続的に変更させることができる操作システムと、前記撮像装置の映像出力を表示するモニタと、１以上の立体視画像形成条件を記憶する動作メモリと、前記立体視画像形成条件の選択の入力および希望する立体像を表示する時点を指定する入力手段と、前記入力手段により指定された時点の前後において、立体像をなす左画像（フレームｔ）と右画像（フレームｓ）を選定する演算手段と、前記対のフレームに基づく立体像を表示する立体表示手段と、前記各構成にシステムバスを介して接続され制御を行なうＣＰＵとによりシステムを構成し、前記演算手段は、(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数Ｋ，Ｌを用意するステップと、(b) フレームｔとフレームｓの探索範囲を設定するステップと、(c) 最初の（フレームｔ）に対する（フレームｓ）の移動ベクトルの算出ステップと、(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して前記立体表示手段に表示するステップと、(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記（フレームｔ）（フレームｓ）の組とは異なる組について前記(c) 〜(e) のステップを実行するように構成されている。

本発明による請求項２記載の単眼軟性内視鏡のビデオ映像による立体表示方法は、単一の撮像装置で連続取得したビデオ映像による立体表示方法であって、ビデオ映像を連続取得可能な撮像装置と、前記撮像装置の視野を連続的に変更させることができる操作システムと、前記撮像装置の映像出力を表示するモニタと、１以上の立体視画像形成条件を記憶する動作メモリと、前記立体視画像形成条件の選択の入力および希望する立体像を表示する時点を指定する入力手段と、前記入力手段により指定された時点の前後において、立体像をなす左画像（フレームｔ）と右画像（フレームｓ）を選定する演算手段と、前記対のフレームに基づく立体像を表示する立体表示手段と、前記各構成にシステムバスを介して接続され制御を行なうＣＰＵとによりシステムを構成し、前記演算手段は、(a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数Ｋ，Ｌを用意するステップと、(b) フレームｔとフレームｓの探索範囲を設定するステップと、(c) 最初の（フレームｔ）に対する（フレームｓ）の移動ベクトルの算出ステップと、(d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、(e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して前記立体表示手段に表示するステップと、(f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記（フレームｔ）（フレームｓ）の組とは異なる組について前記(c) 〜(e) のステップを実行するように構成されている。

本発明による請求項３記載の単眼軟性内視鏡のビデオ映像による立体表示方法は、請求項２記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法において、前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである。

本発明による請求項４記載の単眼軟性内視鏡のビデオ映像による立体表示方法は、請求項２記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法において、前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値が予め定められた角度以上であることを条件とするものである。

前記方法によれば、単一の撮像装置で連続取得したビデオ映像による立体表示方法を実現できる。また、本発明による単眼軟性内視鏡カメラのビデオ映像による立体表示方法によれば、上部消化管（胃、食道等）、下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断が可能となる。また、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。オプティカルフローにより、フレームを選択するのであり、軟性内視鏡カメラの方向や位置を他の手段で特定する必要はない。

本発明による方法を実施するための装置の実施例を示すブロック図である。 本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。 本発明による方法の実施例を説明するための流れ図である。

符号の説明

１ モニタ（２Ｄ）
２ フレームメモリ
３ ３Ｄ表示手段
４ ＣＰＵ
５ システムバス
６ 入力手段
７ カメラ操作手段
８ メモリ
１０ 単眼軟性内視鏡カメラ
１０ａ，１０ｂ カメラ先端の位置
１３ 医師
１４ 体内腔（例えば胃）

以下、本発明による単一の撮像装置で連続取得したビデオ映像による立体表示方法の実施態様を、単眼軟性内視鏡カメラのビデオ映像による立体表示方法を例にして詳しく説明する。
（本発明によるフレーム対選択の原理）図１は、本発明による方法を実施するための装置の実施例を示すブロック図である。本発明による方法は、単眼軟性内視鏡カメラ１０から得られるビデオ映像から、数フレーム離れた任意の２つのフレーム（フレームｔとフレームｓ）間で、画像内容の移動方向（つまり、カメラの移動方向の逆方向）の推定を行う。移動方向の推定には、既存の任意の推定方法を利用できるが、本願では、オプティカルフローとして知られている画像の局所相互相関を用いる。単眼軟性内視鏡カメラ１０の移動方向の前進／後退成分および回転成分が小さく、従ってカメラの光軸にほぼ垂直な併進運動とみなされる（これを立体視画像形成条件と呼ぶ）フレーム対のみを処理対象として取り出す。

併進運動の方向がほぼ水平であるフレーム対の２枚の画像を立体視表示可能な表示装置に送り、立体表示する。併進運動の方向が水平に近くない場合には、その方向が水平となるよう２枚の画像を回転して立体視可能な表示装置に表示する。表示する立体視表示装置の種類・原理は種々あるが、本発明による方法では、３Ｄ表示用のディスプレイ３を用いた。

前述したフレームｔは医師が内視鏡を被験者の体内で操作中に、何らかの手段で指令を発し、その時点から少し前までのビデオ映像から前記手段で立体視に適切なフレームｔとフレームｓの対を選んでリアルタイムの立体視表示をするものである。本システムを単眼軟性内視鏡から記録したビデオ映像に対して事後に立体視表示を行なうこともできる。

（フレーム対選択のツールとしてのオプティカルフロー）対の画像選定のために用いるオプティカルフローについて説明する。図２は、本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。オプティカルフローは、前時刻の画像中の各点が、後時刻の画像においてどの点に移動したかを表すベクトル群（以下では、各ベクトルを移動ベクトルと呼ぶ）である。内視鏡の撮影対象は静止しているものと仮定すると、オプティカルフローは内視鏡カメラ自身の動きを表す。なお、そのために、
１．対象物は大まかに言って、カメラの画像面と平行であると仮定する（対象物を、斜め方向からでなく、正面から映すという仮定であり、通常成り立つと考える）。
２．計算されたオプティカルフローを各点の移動ベクトルには誤差の大きいものも含まれるが、全体的として見れば誤差の小さいものが多い。

次に、カメラの動きをいくつかの場合に分けて検討する。
（イ）カメラが対象物に対して前進（後退）している場合には、オプティカルフローはある点から発する（ある点に至る）放射状の移動ベクトル群となる。すなわち、これらの場合、移動ベクトルの方向は、ほぼあらゆる方向にわたる。
（ロ）カメラがその光軸を軸として回転している場合には、オプティカルフローの移動ベクトル群は光軸と画像面との交点を中心とする回転運動になる。この場合も、移動ベクトルの方向はあらゆる方向にわたる。
（ハ）カメラがその光軸と直行する軸回りに回転している場合には、以下に述べるカメラの併進運動で近似する。
（ニ）カメラが画像面に平行に併進運動している場合には、オプティカルフローの移動ベクトルはカメラの動きと逆向きの動きを示し、その方向はすべての移動ベクトルにおいて同一である。
なお、移動ベクトルの長さは、カメラから近い点では長く、遠い点では短くなる。しかし、内視鏡画像において、各点の個々のオプティカルフローが正確に求められることは期待薄のため、この情報から直接に対象物の３次元形状を得ることはできない。
（ホ）一般には、カメラの運動は以上の運動成分を合成したものになる。その中から（ニ）の平行移動成分が主で、他は無視できるようなフレームの対だけを選び出すことが目的となる。

以上の原理を背景に、カメラの運動が主として平行移動成分のみであるフレーム対を検出するには、オプティカルフローを構成する移動ベクトルの方向の一様性を何らかの方法でチェックすればよい。次の方法のいずれかまたは双方を併用する。
（方法その１）まず、移動ベクトルの方向の平均値を求め、それを画像全体の移動方向（平均移動ベクトルと呼ぶ）とする。この方向から、ある限界（例えば±１０°）内の移動ベクトルが全体のある割合（例えば３０％）以上あれば、平行移動成分が主であると判定する（図２Ａ）。
（方法その２）画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求める。これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値がある角度（例えば７５°）以上であれば、平行移動成分が主であると判定する（図２Ｂ）。

以下、図面等を参照して本発明による方法の実施例をさらに詳しく説明する。図１は、本発明による方法を実施するための装置の実施例を示すブロック図である。単眼軟性内視鏡カメラ１０は、口から体内（例えば胃）腔１４内に挿入され、カメラの先端は医師１３がカメラ操作手段７を操作することにより先端が移動させられる。図中に、単眼軟性内視鏡カメラ１０の先端の移動例を１０ａ，１０ｂの符号を付して拡大して示してある。この単眼軟性内視鏡カメラ１０および前記操作手段７等の構成は従来用いられているものと異ならない。カメラ１０からの映像はカメラインタフェイス１ｂを介してモニタ１とフレームメモリ２に接続されている。この部分も、単眼内視鏡に付随して従来用いられているものと異ならない。システムバス５には前述したカメラ１０がカメラインタフェイス１ｂを介して、３Ｄ表示手段３が、インタフェイス３ａを介して接続されている。ＣＰＵ４、医師１３が立体視をしたい時点を指示する入力手段６、メモリ８がさらに接続されている。医師１３は、モニタ（２Ｄ）１に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段６または、カメラ操作手段７に併設されている操作ボタン等を操作して入力する。入力手段６は立体視画像形成条件の選択の入力にも用いられる。

図３は、本発明による方法の実施例を説明するための流れ図である。
（ステップ１０１）
入力手段６等による医師の指示により、前述したシステムを起動する。このときカメラ１０はすでにある時間移動しつつ映像をモニタに表示し、かつフレームメモリに記録している。
（ステップ１０２）
ＫとＬを用意する。
Ｋ：あるフレームｔに対して、その相手となるフレームｓを探す区間の幅
Ｌ：基準となるフレームｔを番号Ｔから前後に探す区間の幅
ｔ＝Ｔ，Ｔ−１，Ｔ＋１，Ｔ−２，Ｔ＋２，・・・Ｔ−Ｌ，Ｔ＋Ｌ
ｓ＝ｔ−Ｋ，ｔ−Ｋ＋１，・・・ｔ−１
これらの設定値は、測定用の単眼軟性内視鏡カメラ１０の形式、測定部位等により予め定めておく。
（ステップ１０３）
医師がモニタ（２Ｄ）１に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段６または、カメラ操作手段７に併設されている操作ボタン等を操作して入力する。これにより、最初のフレームｔが決定される。
（ステップ１０４）
前記フレームに対応するフレームｔより前のフレームｓがステップ１０２で入力された設定に基づいて決定される。前のステップで指定されたフレームｔ（＝Ｔ）に対してフレームｓ（＝ｔ−Ｋ）を選ぶ。
（ステップ１０５）
フレームｔとフレームｓの画像から移動ベクトルを算出する。

（ステップ１０６）
前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。
（ステップ１０７）
多数の移動ベクトルから平均移動方向を決定する。
（ステップ１０８）
平均移動方向が水平になるようにフレームｔとｓの画像を回転する。
（ステップ１０９）
ステレオ表示がなされる。
（ステップ１１０）
前記表示が医師が満足できるものであるかを判断させる。医師が満足できるものであれば、ステップ１１４で終了する。

（ステップ１１１），（ステップ１１２）
前記１０６のステップで判定が成立しないとき、および前記１１０で満足すべきもので無いとされた場合は、前記ｔ，ｓに関連して他の対を選択して、ステップ１０３〜１０５を行い他の組についての演算を行なう。
（ステップ１１３）
予め予定するｔ，ｓの組み合わせの検討を行なっても、判定が成立しないときは、その旨の表示を行なう。
（ステップ１１４）
終了し、医師の次の立体視表示の時点の指示を持つ。

本発明による方法によれば、上部消化管（胃、食道等）、下部消化管（直腸、大腸等）の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断が可能となる。また、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。

Claims (4)

1. 単一の撮像装置で連続取得したビデオ映像による立体表示方法であって、
   ビデオ映像を連続取得可能な撮像装置と、
   前記撮像装置の視野を連続的に変更させることができる操作システムと、
   前記撮像装置の映像出力を表示するモニタと、
   １以上の立体視画像形成条件を記憶する動作メモリと、
   前記立体視画像形成条件の選択の入力および希望する立体像を表示する時点を指定する入力手段と、
   前記入力手段により指定された時点の前後において、立体像をなす左画像（フレームｔ）と右画像（フレームｓ）を選定する演算手段と、
   前記対のフレームに基づく立体像を表示する立体表示手段と、
   前記各構成にシステムバスを介して接続され制御を行なうＣＰＵとによりシステムを構成し、
   前記演算手段は、
   (a) 選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数Ｋ，Ｌを用意するステップと、
   (b) フレームｔとフレームｓの探索範囲を設定するステップと、
   (c) 最初の（フレームｔ）に対する（フレームｓ）の移動ベクトルの算出ステップと、
   (d) 立体視画像形成条件を満たしているかの判断をする判断ステップと、
   (e) 前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して前記立体表示手段に表示するステップと、
   (f) 前記(d) の条件を満たさなかった場合または前記(e) での表示が不満足である場合は、前記（フレームｔ）（フレームｓ）の組とは異なる組について前記(c) 〜(e) のステップを実行するように構成されている単一の撮像装置で連続取得したビデオ映像による立体表示方法。
2. 請求項１記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法は、単眼軟性内視鏡のビデオ映像による立体表示方法であって、
   前記ビデオ映像を連続取得可能な撮像装置は、単眼軟性内視鏡であり、
   前記撮像装置の視野を連続的に変更させることができる操作システムは、体内腔で前記内視鏡の先端を移動させる操作システムであり、
   前記撮像装置の映像出力を表示するモニタは、前記内視鏡の映像出力を表示するモニタであり、
   前記立体視画像形成条件の選択の入力および希望する立体像を表示する時点を指定する入力手段は、必要に応じて前記立体視画像形成条件の選択の入力および医師により立体像を表示する時点を指定する入力手段である単一の撮像装置で連続取得したビデオ映像による立体表示方法。
3. 前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである請求項２記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法。
4. 前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を４分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす４つの角の平均値が予め定められた角度以上であることを条件とするものである請求項２記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法。

Images