WO2005091649A1

WO2005091649A1 - 単一の撮像装置で連続取得したビデオ映像による立体表示方法

Info

Publication number: WO2005091649A1
Application number: PCT/JP2005/005095
Authority: WO
Inventors: Susumu Terakawa; Keiichi Abe
Original assignee: National University Corporation Shizuoka University; National University Corporation, Hamamatsu University School Of Medicine
Priority date: 2004-03-22
Filing date: 2005-03-22
Publication date: 2005-09-29
Also published as: JP4487077B2; JPWO2005091649A1

Abstract

　単一の撮像装置で連続取得したビデオ映像による立体表示方法を提供する。　前記方法によれば、軟性内視鏡カメラを用いて、立体視診断を可能にする方法により、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供できる。前記方法は、単眼軟性内視鏡カメラ１０から得られるビデオ映像から、数フレーム離れた任意の２つのフレーム（フレームｔとフレームｓ）間で、カメラの移動方向の推定を行う。移動方向の推定には既存の任意の推定方法を利用できるが、本願では、オプティカルフローとして知られている画像の局所相互相関を用いる。単眼軟性内視鏡カメラ１０の移動方向の前進／後退成分および回転成分が小さく、従って対象物にほぼ平行な併進運動とみなされるフレーム対のみを処理対象として取り出す。フレーム対の２枚の画像を立体視表示可能な表示装置に送り、立体表示する。

Description

明細書

単一の撮像装置で連続取得したビデオ映像による立体表示方法技術分野

[0001] 本発明は、単一の撮像装置で連続取得したビデオ映像による立体表示方法、例えば単眼軟性内視鏡ビデオ映像から立体視に適した画像対を自動的に抽出し、表示する方法に利用できる単一の撮像装置で連続取得したビデオ映像による立体表示方法に関する。

背景技術

[0002] 上部消化管（胃、食道等)、下部消化管 (直腸、大腸等)の内視鏡検査に用いられる軟性内視鏡は、従来単眼、すなわち 1つの内視鏡カメラを用いて実現されている。 2つのカメラを組み込んで立体視すれば、単眼内視鏡では医師が経験的に判断している管壁の凹凸を、直接立体視することができるはずである。そこで、従来から双眼立体視内視鏡の開発が何度も試みられてきた。しかし、狭い（直径 10mm程度以下）内視鏡先端に 2つのレンズを組み込むことによる明るさと解像度の低下、立体視表示に特殊な装置を用い特殊な眼鏡の着用を要するシステムが多いこと、立体視をする医師の疲労などの理由により、実用に供されているものはまだない。単眼軟性内視鏡のビデオ映像を立体視可能にするシステムと称するもの（橋本大定氏の提案)もあるが、擬似的な立体視に留まっている。

[0003] VTRやビデオカメラ等から出力されたり、 TV放送により伝送された 2次元画像を立体視画像に変換する方法が提案されている。特許文献 1記載の発明も、その一つであり、動きベクトルという概念を用いて、視線方向との関連を付けている。非特許文献 1は、前記動きベクトルと同じ概念（オプティカルフロー）についての詳細な説明をしている。

[0004] 特許文献 2記載の発明は、内視鏡システムおよび内視鏡画像の奥行き情報検出用制御プログラムを記録した記録媒体に関するものである。運動視差の原理を用い、内視鏡自身に取り付けられた位置 ·方向センサにより得られる内視鏡の動きとこれに伴つて変化する内視鏡像の対応位置の変化から、運動視差に相当する情報を演算処理により得ることにより、単眼でも奥行きの情報を得られるようにした内視鏡システムを提案している。

特許文献 1：特開平 7 - 274209号公報

特許文献 2：特開 2000 - 210248号公報

非特許文献 1 :太田直哉著，「信頼性指標をもつ移動べ外ルの検出」，コンピュータビジョン， 90，情報処理学会シンポジウム論文集， Vol. 90， No. 2, pp. 21—30, 1 990

発明の開示

発明が解決しょうとする課題

[0005] 特許文献 2記載の発明は内視鏡の実施例として、単眼硬性内視鏡を示しているが、このような内視鏡は人の胃壁の診断等には適さない。

本発明の目的は、単一の撮像装置で連続取得したビデオ映像による立体表示方法、例えば上部消化管（胃、食道等）、下部消化管 (直腸、大腸等)の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断を可能にする方法を提供することにある。

本発明のさらに詳細な目的は、前記診断をリアルタイムでし力も十分な診断を可能にする良質な立体像を提供することにある。

課題を解決するための手段

[0006] 前記目的を達成するために、本発明による単一の撮像装置で連続取得したビデオ映像による立体表示方法は、単一の撮像装置で連続取得したビデオ映像による立体表示方法であって、ビデオ映像を連続取得可能な撮像装置と、前記撮像装置の視野を連続的に変更させることができる操作システムと、前記撮像装置の映像出力を表示するモニタと、 1以上の立体視画像形成条件を記憶する動作メモリと、前記立体視画像形成条件の選択の入力および希望する立体像を表示する時点を指定する入力手段と、前記入力手段により指定された時点の前後において、立体像をなす左画像 (フレーム）と右画像 (フレーム s)を選定する演算手段と、前記対のフレームに基づく立体像を表示する立体表示手段と、前記各構成にシステムバスを介して接続され制御を行なう CPUとによりシステムを構成し、前記演算手段は、 (a)選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数 K, Lを用意するステップと、 (b)フレーム tとフレーム sの探索範囲を設定するステップと、（c)最初の（フレーム）に対する（フレーム s)の移動べタトノレの算出ステップと、 (d)立体視画像形成条件を満たしているかの判断をする判断ステップと、 (e)前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して前記立体表示手段に表示するステップと、 (f)前記 (d)の条件を満たさなかった場合または前記 (e)での表示が不満足である場合は、前記（フレーム t) (フレーム s)の組とは異なる組について前記 (c) -(e)のステップを実行するように構成されている。

[0007] 本発明による請求項 2記載の単眼軟性内視鏡のビデオ映像による立体表示方法は、単一の撮像装置で連続取得したビデオ映像による立体表示方法であって、ビデォ映像を連続取得可能な撮像装置と、前記撮像装置の視野を連続的に変更させることができる操作システムと、前記撮像装置の映像出力を表示するモニタと、 1以上の立体視画像形成条件を記憶する動作メモリと、前記立体視画像形成条件の選択の入力および希望する立体像を表示する時点を指定する入力手段と、前記入力手段により指定された時点の前後において、立体像をなす左画像 (フレーム t)と右画像（フレーム s)を選定する演算手段と、前記対のフレームに基づく立体像を表示する立体表示手段と、前記各構成にシステムバスを介して接続され制御を行なう CPUとによりシステムを構成し、前記演算手段は、 (a)選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数 K, Lを用意するステップと、 (b)フレーム tとフレーム sの探索範囲を設定するステップと、（c)最初の（フレーム）に対する（フレーム s)の移動べタトノレの算出ステップと、 (d)立体視画像形成条件を満たしている力、の判断をする判断ステップと、 (e)前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して前記立体表示手段に表示するステップと、 (f)前記 (d)の条件を満たさなかった場合または前記 (e)での表示が不満足である場合は、前記（フレーム t) (フレーム s)の組とは異なる組について前記 (c) -(e) のステップを実行するように構成されてレ、る。

[0008] 本発明による請求項 3記載の単眼軟性内視鏡のビデオ映像による立体表示方法は、請求項 2記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法において、前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動べタトルの割合が予め定められた割合を越えることを条件とするものである。

[0009] 本発明による請求項 4記載の単眼軟性内視鏡のビデオ映像による立体表示方法は、請求項 2記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法において、前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を 4分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす 4 つの角の平均値が予め定められた角度以上であることを条件とするものである。発明の効果

[0010] 前記方法によれば、単一の撮像装置で連続取得したビデオ映像による立体表示方法を実現できる。また、本発明による単眼軟性内視鏡カメラのビデオ映像による立体表示方法によれば、上部消化管（胃、食道等）、下部消化管 (直腸、大腸等)の内視鏡検査に用いられる軟性内視鏡カメラを用いて、立体視診断が可能となる。また、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供することができる。オプティカルフローにより、フレームを選択するのであり、軟性内視鏡カメラの方向や位置を他の手段で特定する必要はなレ、。

図面の簡単な説明

[0011] [図 1]本発明による方法を実施するための装置の実施例を示すブロック図である。

[図 2]本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。

[図 3]本発明による方法の実施例を説明するための流れ図である。

符号の説明

[0012] 1 モニタ（2D)

2 フレームメモリ

3 3D表示手段

4 CPU

5 システムバス 7 カメラ操作手段

8 メモリ

10 単眼軟性内視鏡カメラ

10a, 10b カメラ先端の位置

13 医師

14 体内腔 (例えば胃）

発明を実施するための最良の形態

[0013] 以下、本発明による単一の撮像装置で連続取得したビデオ映像による立体表示方法の実施態様を、単眼軟性内視鏡カメラのビデオ映像による立体表示方法を例にして詳しく説明する。

(本発明によるフレーム対選択の原理）図 1は、本発明による方法を実施するための装置の実施例を示すブロック図である。本発明による方法は、単眼軟性内視鏡カメラ 10から得られるビデオ映像から、数フレーム離れた任意の 2つのフレーム（フレームとフレーム s)間で、画像内容の移動方向（つまり、カメラの移動方向の逆方向）の推定を行う。移動方向の推定には、既存の任意の推定方法を利用できるが、本願では、オプティカルフローとして知られている画像の局所相互相関を用いる。単眼軟性内視鏡カメラ 10の移動方向の前進/後退成分および回転成分が小さぐ従ってカメラの光軸にほぼ垂直な併進運動とみなされる（これを立体視画像形成条件と呼ぶ)フレーム対のみを処理対象として取り出す。

[0014] 併進運動の方向がほぼ水平であるフレーム対の 2枚の画像を立体視表示可能な表示装置に送り、立体表示する。併進運動の方向が水平に近くない場合には、その方向が水平となるよう 2枚の画像を回転して立体視可能な表示装置に表示する。表示する立体視表示装置の種類'原理は種々あるが、本発明による方法では、 3D表示用のディスプレイ 3を用いた。

[0015] 前述したフレーム tは医師が内視鏡を被験者の体内で操作中に、何らかの手段で指令を発し、その時点から少し前までのビデオ映像から前記手段で立体視に適切なフレーム tとフレーム sの対を選んでリアルタイムの立体視表示をするものである。本システムを単眼軟性内視鏡から記録したビデオ映像に対して事後に立体視表示を行なうことちできる。

[0016] (フレーム対選択のツールとしてのオプティカルフロー）対の画像選定のために用いるオプティカルフローについて説明する。図 2は、本発明による方法で使用する立体視画像形成条件の算出の原理を説明するための略図である。オプティカルフローは、前時刻の画像中の各点が、後時刻の画像においてどの点に移動したかを表すべクトル群（以下では、各ベクトルを移動ベクトルと呼ぶ）である。内視鏡の撮影対象は静止しているものと仮定すると、オプティカルフローは内視鏡カメラ自身の動きを表す。なお、そのために、

1.対象物は大まかに言って、カメラの画像面と平行であると仮定する（対象物を、斜め方向からでなぐ正面から映すという仮定であり、通常成り立つと考える）。

2.計算されたオプティカルフローを各点の移動べタトノレには誤差の大きいものも含まれる力全体的として見れば誤差の小さいものが多い。

[0017] 次に、カメラの動きをいくつかの場合に分けて検討する。

(ィ)カメラが対象物に対して前進（後退)している場合には、オプティカルフローはある点から発する（ある点に至る）放射状の移動ベクトル群となる。すなわち、これらの場合、移動ベクトルの方向は、ほぼあらゆる方向にわたる。

(口）カメラがその光軸を軸として回転している場合には、オプティカルフローの移動ベクトル群は光軸と画像面との交点を中心とする回転運動になる。この場合も、移動ベクトルの方向はあらゆる方向にわたる。

(ハ）カメラがその光軸と直行する軸回りに回転している場合には、以下に述べる力メラの併進運動で近似する。

(ュ）カメラが画像面に平行に併進運動してレ、る場合には、オプティカルフローの移動ベクトルはカメラの動きと逆向きの動きを示し、その方向はすべての移動ベクトルにおいて同一である。

なお、移動ベクトルの長さは、カメラから近い点では長ぐ遠い点では短くなる。しかし、内視鏡画像において、各点の個々のオプティカルフローが正確に求められることは期待薄のため、この情報から直接に対象物の 3次元形状を得ることはできない。 (ホ）一般には、カメラの運動は以上の運動成分を合成したものになる。その中から（二）の平行移動成分が主で、他は無視できるようなフレームの対だけを選び出すことが目的となる。

[0018] 以上の原理を背景に、カメラの運動が主として平行移動成分のみであるフレーム対を検出するには、オプティカルフローを構成する移動ベクトルの方向の一様性を何らかの方法でチェックすればよい。次の方法のいずれ力、または双方を併用する。

(方法その 1)まず、移動ベクトルの方向の平均値を求め、それを画像全体の移動方向（平均移動ベクトルと呼ぶ）とする。この方向から、ある限界（例えば土 10° )内の移動ベクトルが全体のある割合 (例えば 30。/。）以上あれば、平行移動成分が主であると判定する（図 2A)。

(方法その 2)画像の中心を通る水平線および垂直線によって画像を 4分割し、各部分画像中の平均移動ベクトルを求める。これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす 4つの角の平均値がある角度（例えば 75 ° )以上であれば、平行移動成分が主であると判定する（図 2B)。

実施例

[0019] 以下、図面等を参照して本発明による方法の実施例をさらに詳しく説明する。図 1 は、本発明による方法を実施するための装置の実施例を示すブロック図である。単眼軟性内視鏡カメラ 10は、口から体内（例えば胃）腔 14内に挿入され、カメラの先端は医師 13がカメラ操作手段 7を操作することにより先端が移動させられる。図中に、単眼軟性内視鏡カメラ 10の先端の移動例を 10a, 10bの符号を付して拡大して示してある。この単眼軟性内視鏡カメラ 10および前記操作手段 7等の構成は従来用いられているものと異ならない。カメラ 10からの映像はカメラインタフェイス lbを介してモニタ 1とフレームメモリ 2に接続されている。この部分も、単眼内視鏡に付随して従来用いられているものと異ならない。システムバス 5には前述したカメラ 10がカメラインタフエイス lbを介して、 3D表示手段 3が、インタフェイス 3aを介して接続されている。 CPU 4、医師 13が立体視をしたい時点を指示する入力手段 6、メモリ 8がさらに接続されてレ、る。医師 13は、モニタ（2D) 1に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段 6または、カメラ操作手段 7に併設されている操作ボタン等を操作して入力する。入力手段 6は立体視画像形成条件の選択の入力にも用いられる。

[0020] 図 3は、本発明による方法の実施例を説明するための流れ図である。

(ステップ 101)

入力手段 6等による医師の指示により、前述したシステムを起動する。このときカメラ 10はすでにある時間移動しつつ映像をモニタに表示し、かつフレームメモリに記録している。

(ステップ 102)

Kと Lを用意する。

K :あるフレーム tに対して、その相手となるフレーム sを探す区間の幅

L :基準となるフレーム tを番号 T力前後に探す区間の幅

t=T, T-1, T+ l， Τ-2, Τ+ 2, - - -T-L, T + L

s = t-K, t-K+ 1, · · «t-l

これらの設定値は、測定用の単眼軟性内視鏡カメラ 10の形式、測定部位等により予め定めておく。

(ステップ 103)

医師がモニタ（2D) 1に表示されている映像に関連して、立体情報を取得したいときは、その命令を入力手段 6または、カメラ操作手段 7に併設されている操作ボタン等を操作して入力する。これにより、最初のフレーム tが決定される。

(ステップ 104)

前記フレームに対応するフレーム tより前のフレーム sがステップ 102で入力された設定に基づいて決定される。前のステップで指定されたフレーム t (=T)に対してフレーム s (=t_K)を選ぶ。

(ステップ 105)

フレーム tとフレーム sの画像から移動べクトノレを算出する。

[0021] (ステップ 106)

前記ステップの算出結果を判定して、ステレオ画像が形成できる対であるか否かの判定をする。 (ステップ 107)

多数の移動ベクトルから平均移動方向を決定する。

(ステップ 108)

平均移動方向が水平になるようにフレーム tと sの画像を回転する。

(ステップ 109)

ステレオ表示がなされる。

(ステップ 110)

前記表示が医師が満足できるものであるかを判断させる。医師が満足できるものであれば、ステップ 114で終了する。

[0022] (ステップ 111) , (ステップ 112)

前記 106のステップで判定が成立しないとき、および前記 110で満足すべきもので無いとされた場合は、前記 t， sに関連して他の対を選択して、ステップ 103— 105を行レ、他の組にっレ、ての演算を行なう。

(ステップ 113)

予め予定する t, sの組み合わせの検討を行なっても、判定が成立しないときは、その旨の表示を行なう。

(ステップ 114)

終了し、医師の次の立体視表示の時点の指示を持つ。

産業上の利用可能性

[0023] 本発明による方法によれば、上部消化管（胃、食道等）、下部消化管（直腸、大腸等）の内視鏡検査に用レ、られる軟性内視鏡カメラを用いて、立体視診断が可能となる。また、前記診断をリアルタイムでしかも十分な診断を可能にする良質な立体像を提供すること力 Sできる。

Claims

請求の範囲

[1] 単一の撮像装置で連続取得したビデオ映像による立体表示方法であって、

ビデオ映像を連続取得可能な撮像装置と、

前記撮像装置の視野を連続的に変更させることができる操作システムと、前記撮像装置の映像出力を表示するモニタと、

1以上の立体視画像形成条件を記憶する動作メモリと、

前記立体視画像形成条件の選択の入力および希望する立体像を表示する時点を指定する入力手段と、

前記入力手段により指定された時点の前後において、立体像をなす左画像 (フレーム t)と右画像 (フレーム s)を選定する演算手段と、

前記対のフレームに基づく立体像を表示する立体表示手段と、

前記各構成にシステムバスを介して接続され制御を行なう CPUとによりシステムを構成し、

前記演算手段は、

(a)選択された立体視画像形成条件による命令およびフレームの探索範囲を定める定数 K， Lを用意するステップと、

(b)フレーム tとフレーム sの探索範囲を設定するステップと、

(c)最初の（フレーム t)に対する（フレーム s)の移動ベクトルの算出ステップと、

(d)立体視画像形成条件を満たしてレ、るかの判断をする判断ステップと、

(e)前記判断ステップで条件を満たしているときは移動方向が水平になるように両フレームを回転して前記立体表示手段に表示するステップと、

(f)前記 (d)の条件を満たさなかった場合または前記 (e)での表示が不満足である場合は、前記（フレーム t) (フレーム s)の組とは異なる組について前記 (c) -(e)のステツプを実行するように構成されている単一の撮像装置で連続取得したビデオ映像による立体表示方法。

[2] 請求項 1記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法は、単眼軟性内視鏡のビデオ映像による立体表示方法であって、

前記ビデオ映像を連続取得可能な撮像装置は、単眼軟性内視鏡であり、前記撮像装置の視野を連続的に変更させることができる操作システムは、体内腔で前記内視鏡の先端を移動させる操作システムであり、

前記撮像装置の映像出力を表示するモニタは、前記内視鏡の映像出力を表示するモニタであり、

前記立体視画像形成条件の選択の入力および希望する立体像を表示する時点を指定する入力手段は、必要に応じて前記立体視画像形成条件の選択の入力および医師により立体像を表示する時点を指定する入力手段である単一の撮像装置で連続取得したビデオ映像による立体表示方法。

[3] 前記選択された立体視画像形成条件は、前記移動ベクトルの方向の平均値である平均移動ベクトルを求め、その方向から、予め定めた限界内の移動ベクトルの割合が予め定められた割合を越えることを条件とするものである請求項 2記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法。

[4] 前記選択された立体視画像形成条件は、画像の中心を通る水平線および垂直線によって画像を 4分割し、各部分画像中の平均移動ベクトルを求め、これらの平均移動ベクトルと、画像全体の中心と部分画像の中心とを結ぶ直線とのなす 4つの角の平均値が予め定められた角度以上であることを条件とするものである請求項 2記載の単一の撮像装置で連続取得したビデオ映像による立体表示方法。