JP6400328B2 - 画像生成装置の作動方法、画像生成装置、及び画像生成装置を備えた内視鏡検査装置 - Google Patents

Description

本発明は、画像生成方法、画像生成装置、及び画像生成装置を備えた内視鏡検査装置に関する。

内視鏡は観察野を汎焦点にするため、絞りと広角レンズによる深い被写界深度を担保していた。近年内視鏡手術領域における技術革新によって、早期がんや腺腫の治療は病変部分の内視鏡的一括切除が治療の基本とされるようになった結果、病変部の領域診断をより厳密に精緻に行う必要が生じてきた。この問題を解決すべく、可変焦点距離内視鏡を用いた病変部の拡大観察が広く施行されている現状にある（非特許文献１参照）。

金子卓、光本直樹、川原伸章，「可変焦点レンズを用いたデジタル全焦点システム」デンソーテクニカルレビュー，Ｖｏｌ．５，Ｎｏ．１，ｐｐ．２７−３２，２０００．

しかしながら、長焦点レンズによる拡大観察では被写界深度が浅いため、検査時に注目したい箇所の映像を得るためには、操作者による巧みな技術が必要となっている。特に、特定の対象に焦点を合わせて検査する場合、操作者は限られた内視鏡の機能を用いて検査を遂行しなければならず、内視鏡操作の熟練を要する。そのため、より簡便に内視鏡検査を遂行するために、拡大観察時でも合焦点した画像を供することを可能とする技術が望まれてきた。

本発明は、上記課題に鑑みてなされたものであり、その目的は、簡便に内視鏡検査を遂行することができる画像生成装置、及び画像生成方法を提供することにある。また、本発明の目的は、簡便に内視鏡検査を遂行することができる画像生成装置を備えた内視鏡検査装置を提供することにある。

本発明の画像生成方法は、第１画像及び第２画像を含む複数の画像から全焦点画像を生成する画像生成方法であって、前記第１画像に対する前記第２画像の移動量を推定する推定工程と、前記移動量に基づいて前記第２画像を補正する補正工程と、前記第１画像と前記補正後の第２画像との各々に対して焦点を評価し、前記評価結果に応じて前記全焦点画像を生成する生成工程とを包含する。

本発明の画像生成方法において、前記複数の画像は、Ｎ枚（Ｎは３以上の整数）の画像であり、前記推定工程は、前記第１画像に対する、前記第２画像から第Ｎ画像までの各々の移動量を推定し、前記補正工程は、前記各々の移動量に基づいて前記第２画像から前記第Ｎ画像までの各々を補正し、前記生成工程は、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々とに対して焦点を評価し、前記評価結果に応じて前記全焦点画像を生成し得る。

本発明の画像生成方法において、前記生成工程は、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々とのうち、焦点が合っていないと判定された画像が所定の割合を超えた場合に、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々とから前記全焦点画像を生成し得る。

本発明の画像生成方法において、前記生成工程は、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々との同一画素における焦点の評価結果を比較する工程と、前記同一画素のうち、最も評価結果が良い画素の画素値を抽出する工程と、前記抽出した画素値を用いて、前記全焦点画像を生成する工程とを含み得る。

本発明の画像生成方法は、前記生成工程において、ＩＱＭ値に基づいて、深度マップを生成し得る。

本発明の画像生成方法において、前記推定工程は、前記第１画像の第１特徴点と前記第２画像の第２特徴点とを検出する検出工程と、前記第１特徴点と前記第２特徴点とを対応付ける工程と、前記第１画像に対する前記第２画像の前記移動量を推定する工程とを含み得る。

本発明の画像生成方法において、前記検出工程は、ＳＩＦＴアルゴリズム又はＳＵＲＦアルゴリズムによって実行され得る。

本発明の画像生成方法において、前記移動量は、前記第１特徴点と前記第２特徴点との並進量、回転量、及び拡大量のうちの少なくとも１つによって示され得る。

本発明の画像生成方法において、前記生成工程は、前記第２画像から第Ｎ画像までの各々の移動量のうち所定の値より大きい移動量に対応する画像を除去して前記全焦点画像を生成し得る。

本発明の画像生成方法において、第１画像及び第２画像は、アンシャープマスクを適用した画像であり得る。

本発明の画像生成装置は、第１画像及び第２画像を含む複数の画像から全焦点画像を生成する画像生成装置であって、前記第１画像に対する前記第２画像の移動量を推定する推定手段と、前記移動量に基づいて前記第２画像を補正する画像補正手段と、前記第１画像と前記補正後の第２画像との各々に対して焦点を評価し、前記評価結果に応じて前記全焦点画像を生成する生成手段とを備える。

本発明の画像生成装置において、前記画像群は、Ｎ枚（Ｎは３以上の整数）の画像を含み、前記推定手段は、前記第１画像に対する、前記第２画像から第Ｎ画像までの各々の移動量を推定し、前記画像補正手段は、前記各々の移動量に基づいて前記第２画像から前記第Ｎ画像までの各々を補正し、前記生成手段は、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々とに対して焦点を評価し、前記評価結果に応じて前記全焦点画像を生成し得る。

本発明の内視鏡検査装置は、第１画像及び第２画像を含む複数の画像を取得する内視鏡装置と、前記複数の画像から全焦点画像を生成する画像生成装置とを備えた内視鏡検査装置であって、前記画像処理装置は、前記第１画像に対する前記第２画像の移動量を推定する推定手段と、前記移動量に基づいて前記第２画像を補正する画像補正手段と、前記第１画像と前記補正後の第２画像との各々に対して焦点を評価し、前記評価結果に応じて前記全焦点画像を生成する生成手段とを備える。

本発明の画像生成方法及び画像生成装置によれば、簡便に内視鏡検査を遂行することができる。さらに、本発明の画像生成装置を備えた内視鏡検査装置によれば、簡便に内視鏡検査を遂行することができる。

実施形態１に係る内視鏡検査装置１を示す。 鮮鋭化フィルタ適用前後の状態を示す。 推定手段を示す。 ＳＩＦＴアルゴリズムの詳細を説明する図である。 ＳＩＦＴアルゴリズムの詳細を説明する図である。 ＳＩＦＴアルゴリズムの詳細を説明する図である。 ＳＩＦＴアルゴリズムの詳細を説明する図である。 ＳＩＦＴアルゴリズムの詳細を説明する図である。 ＳＩＦＴアルゴリズムの詳細を説明する図である。 ＳＵＲＦアルゴリズムの詳細を説明する図である。 ＳＵＲＦアルゴリズムの詳細を説明する図である。 移動量推定手段による移動量の推定の詳細を説明する図である。 生成手段の詳細を説明する図である。 本発明の実施形態２に係る内視鏡検査装置を用いた画像生成工程を示すフローチャートである。

以下、図面を参照して本発明に係る実施形態を説明する。ただし、本発明は以下の実施形態に限定されない。

（実施形態１）
図１は、実施形態１に係る内視鏡検査装置１を示す。内視鏡検査装置１は、内視鏡装置１０と画像生成装置２０とを備える。内視鏡装置１０は、第１画像及び第２画像を含む複数の画像を取得する。内視鏡装置１０は、本実施形態において、患者の体内を撮影し体内の画像を取得することができる内視鏡である。

画像生成装置２０は、複数の画像から全焦点画像を生成する。全焦点画像の詳細については、図１３を参照して後述される。画像生成装置２０は、前処理手段２１と推定手段２２と補正手段２３と生成手段２４とを備える。

前処理手段２１は、第１画像及び第２画像に対して画像の鮮鋭化アルゴリズムを適用する。後述する特徴点抽出アルゴリズムを適用する前に画像を鮮鋭化することで特徴点抽出アルゴリズムの精度を向上させることが可能である。画像の鮮鋭化の代表的な処理としてアンシャープマスク処理がある。アンシャープマスク処理とは入力画像から２次微分を引くフィルタリング処理である。すなわち、エッジの両側で明るい(画素値大きい) 部分はより明るく、暗い(画素値が小さい) 部分はより暗くなり、エッジが強調される。

図２（a）は鮮鋭化フィルタ適用前の状態を示し、図２（ｂ）は鮮鋭化フィルタ適用後の状態を示す。図２（a）および図２（ｂ）の比較から、画素値の変化が大きい箇所が強調されていることが理解できる。画像に適用される場合、図２（ｃ）、図２（ｄ）のような形となる係数ｋはフィルタの強度を表しており、係数ｋの値を変更することでフィルタの強さを調整可能である。アンシャープマスク処理は、医用画像処理においては診断支援の目的で用いられている。

図１に示す推定手段２２は、第１画像に対する第２画像の移動量を推定する。推定手段２２の詳細については、図３を参照して後述する。

補正手段２３は、推定手段２２によって推定された移動量に基づいて第２画像を補正する。生成手段２４は、第１画像と補正後の第２画像との各々に対して焦点を評価し、評価結果に応じて前記全焦点画像を生成する。生成手段２４の詳細については、図１３を参照して後述する。

内視鏡装置１０によって取得された複数の画像が、Ｎ枚（Ｎは３以上の整数）の場合、推定手段２２は、第１画像に対する、第２画像から第Ｎ画像までの各々の移動量を推定し、補正手段２３は、各々の移動量に基づいて第２画像から第Ｎ画像までの各々を補正する。更に、生成手段２４は、第１画像と補正後の第２画像から第Ｎ画像までの各々とに対して焦点を評価し、評価結果に応じて全焦点画像を生成する。

図３を参照して、推定手段２２の詳細を説明する。推定手段２２は、検出手段２２２と対応付け手段２２４と移動量推定手段２２６とを備える。

検出手段２２２は、第１画像の第１特徴点と第２画像の第２特徴点とを検出する。検出手段２２２は、例えば、ＳＩＦＴアルゴリズム又はＳＵＲＦアルゴリズムを実行することによって実現される。ＳＩＦＴアルゴリズム及びＳＵＲＦアルゴリズムの詳細については、図４〜図１１を参照して後述する。

対応付け手段２２４は、第１画像の第１特徴点と第２画像の第２特徴点とを対応付ける。移動量推定手段２２６は、第１画像に対する第２画像の移動量を推定する。移動量の推定の詳細については、図１２を参照して後述する。

以下、図４〜図９を参照して、ＳＩＦＴアルゴリズムの詳細を説明する。上述したように、検出手段２２２は、ＳＩＦＴアルゴリズムを実行することによって実現される。画像内におけるモデル物体の検出手法が多く提案される中で画像の照明条件、回転や拡大収縮に頑健なアルゴリズムとして、ＳＩＦＴアルゴリズムが考案された。ＳＩＦＴアルゴリズムによって第１画像及び第２画像を処理することで、第１画像の第１特徴点と第２画像の第２特徴点とが検出される。

特徴点の検出では、キーポイントと呼ばれる点の検出を行う。初めに、大まかなキーポイントの検出とスケール探索を行うために、Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ（ＤｏＧ処理)を行う。キーポイント候補点は、スケールの異なるガウス関数Ｇ(ｘ、ｙ、σ)と入力画像Ｉ（ｕ、ｖ）を畳み込んだ平滑化画像Ｌ（ｕ、ｖ、σ）の差分（ＤоＧ画像）から求める。

ＤоＧの結果の画像をＤ（ｕ、ｖ、σ）とすると、ＤоＧ画像は次式で求まる。

この処理をσ₀からｋ倍ずつ大きくした異なるスケール間で行い、図４に示すような複数のＤоＧ画像を求める。σが一定の割合で増加し続けると、ガウシアンフィルタのウィンドウサイズが大きくなり、処理できない端領域の拡大と計算コストという問題が発生する。この問題に対し、ＳＩＦＴアルゴリズムでは画像のダウンサンプリングによりσの変化の連続性を保持した平滑化処理を行っている。

σの連続性を保持した効率的な平滑化処理を図５に示す。はじめに、入力画像を初期値であるσ₀で平滑化し、平滑化画像Ｌ₁（σ₀）を得る。次にσ₀をｋ倍した値ｋσ₀で平滑化を行いＬ₁（ｋσ₀）を得る。同様の処理により、σの異なる複数の平滑化画像を得る。ここまでの処理１セットを１オクターブとする。

次に、複数生成された平滑化画像の中から２σ₀で平滑化された画像Ｌ₁（２σ₀）を１／２のサイズにダウンサンプリングする。１オクターブにおける処理回数については増加率ｋの設定とともに後述する。１／２のサイズにダウンサンプリングされた画像Ｌ₂（σ₀）と、２σ₀で平滑化を行った画像Ｌ₁（２σ₀）には以下の関係が成り立つ。

この関係を利用することで、σの最大値を制限することが出来るため、ガウシアンフィルタのウィンドウサイズによる計算量の増加を防ぐことが出来る。

σの増加率ｋは、１オクターブにおけるスケール範囲を何分割するかにより決定する。分割数をsとした場合、１オクターブではスケールをσ₀から２σ₀まで増加するため、σの増加率ｋはｋ＝２^1/sとなる。極値探索にはＤоＧ画像を３枚１組で処理する必要があるため、ｓ枚の極値検出の対象となる画像を得るためにはｓ＋２枚のＤоＧ画像が必要となる。さらｓ＋２枚のＤоＧ画像を得るためにはｓ＋３枚の平滑化画像が必要になる。したがって、１オクターブにおける画像の平滑化の回数はｓ＋３回となる。

１枚の入力画像に対するオクターブ数は，入力画像のサイズに依存する。入力画像は、次オクターブへ進む際に１／２にダウンサンプリングされる。ダウンサンプリングされ続けた結果、画像の一辺のサイズがある値以下になったときに処理を終了する。

次に、ＤоＧ画像からの極値検出を説明する。ＤоＧは異なるスケールによる平滑化画像の差分のため、ＤоＧの値が大きくなるσでは、スケールの変化領域にエッジ等の情報量を多く含んでいるといえる。ＤоＧの値が最大となるσは、キーポイントを中心とした領域の濃淡情報をより多く含む領域に対応することになる。そこで、ＤоＧ画像から極値を検出し、候補となるキーポイントのスケールを決定する。極値の検出は図６のようにＤоＧ画像３枚１組で行う。ＤоＧ画像の注目画素とその周りの２６近傍を比較し、極値であった場合は、その画素をキーポイント候補点として検出する。これにより、空間とスケールの両方を考慮したキーポイント候補点を検出することが可能となる。

極値検出は、σの値が小さいＤоＧ画像から行う。一度極値が検出された画素は、より大きなスケールで極値が検出されても候補点としない。この処理をスケールの異なるＤоＧ画像の全画素に対して行う。またＤоＧの極値は拡大縮小に対して不変である。

既に検出されたキーポイント候補点の中には、ＤоＧ出力値が小さい点（低コントラスト)やエッジ上の点が含まれており、これらの点はノイズや開口問題の影響を受けやすい。そこで、エッジ上に存在するキーポイント候補点の削除により安定したキーポイントを絞り込み、さらに、キーポイントのサブピクセル推定によりキーポイントの位置とスケールを推定する。

次に、エッジ上に存在するキーポイント候補点の削除方法について述べる。キーポイント候補点における２次元ヘッセ行列Ｈを次式により計算する。

行列内の導関数は、キーポイント候補位置でのＤоＧ出力値の２次微分から得られる。ここで、ヘッセ行列から求められる第１固有値をα、第２固有値をβ（α＜β）とする。このときヘッセ行列の対角成分の和Ｔ_r（Ｈ）と行列式Ｄｅｔ（Ｈ）は次のように計算できる。

さらに、γを第１固有値と第２固有値の比率とし、α＝γβとすると次式のようになる。

得られる値は固有値そのものではなく、固有値α、βの比率で決まる。従って、固有値を求めることなくエッジ上の点であるかを判別することが可能となる。この値を次式のようにしきい値処理することで、不要なキーポイント候補点を削除する。

この処理は、式９を満たすような点をキーポイント候補とする。しきい値はγ_thにより決定する。例えば、γ_th＝１０のとき、しきい値は１２．１となる。

次に、キーポイントのサブピクセル位置を推定する。３変数（ｘ、ｙ、σ）の２次関数をフィッティングすることで、キーポイント候補点のサブピクセル位置とスケールを算出する。ある点ｘ＝（ｘ、ｙ、σ）^TでのＤоＧ関数Ｄ（ｘ）をテイラー展開すると次式のようになる。

式１０についてｘに関する偏導関数を求め、０とすると次式が得られる。

このときxはキーポイント候補点（極値）のサブピクセル位置を表している。この式を変形し次式を得る。

この式は次のように表される。

この式をキーポイント候補点のサブピクセル位置ｘを得るために変形する。

得られた式１４を解くことにより、キーポイント候補点のサブピクセル位置とスケールx＝（ｘ、ｙ、σ）を得る。

次に、コントラストによるキーポイントの絞り込みを説明する。サブピクセル位置でのＤоＧ出力を算出し、コントラストによるキーポイントの絞り込みを行う。式１５は次のように表される。

式１５を式１０に代入すると次式が得られる。

ＤはＤоＧ関数であり、xはサブピクセル位置を表しているため、式１６はサブピクセル位置でのＤоＧ出力値となる。このＤоＧの値からキーポイント削除の判別を行う。サブピクセル位置でのＤоＧ出力の絶対値がしきい値より小さい場合（つまり、コントラストが低い場合）ノイズに影響されやすいため削除する。

次にオリエンテーションを算出する。検出したキーポイントに対して、第２段階の処理である特徴量の記述を行う。まず、検出された各キーポイントのオリエンテーションを求める。オリエンテーションはキーポイントにおける方向を表し、特徴量記述の際にオリエンテーションにより向きの正規化を行うことで、回転に不変な特徴量を得ることが出来る。キーポイントのオリエンテーションを求めるには、まずキーポイントが検出された平滑化画像Ｌ（ｕ、ｖ）の勾配強度ｍ（ｕ、ｖ）と勾配方向θ（ｕ、ｖ）を以下の式により求める。

局所領域における勾配強度ｍ（ｘ、ｙ）と勾配方向θ（ｘ、ｙ）から図７に示すような重み付き方向ヒストグラムｈ（θ`）を以下の式により作成する。

ここで、ｈ（θ`）は、勾配方向を３６方向に量子化したヒストグラムである。ｗ（ｘ、ｙ）は画素（ｘ、ｙ）に対する重みであり、キーポイントの中心に近いほど高い重みとなるガウス窓が用いられる。δはクロネッカのデルタ関数であり、勾配方向θ（ｘ、ｙ）を量子化した際に、量子化勾配方向θ`に該当する場合１を返す。また、このときガウスの窓にはキーポイントを持つスケールを用いる。ガウス窓による重み付けにより、キーポイントに近い特徴量がより強く反映される。この３６方向のヒストグラムの最大値から８０％以上となるピークをキーポイントのオリエンテーションとして割り当てる。図７の例ではキーポイントに割り当てられるオリエンテーションは１方向のみであるが、コーナーのようなキーポイントでは２方向となり、２つのオリエンテーションを持つ。この場合はそれぞれのオリエンテーションに対して特徴量を記述することになる。

次に特徴量の記述を説明する。検出したオリエンテーションをもとに、１２８次元の特徴量を記述する。まず、図８に示すように特徴量を記述する領域をキーポイントのオリエンテーション方向に回転する。特徴量の記述には、キーポイント周辺領域が持つ勾配情報を用いる。勾配情報は、キーポイントを中心とし、図８のようにキーポイントが持つスケールが内接する矩形領域内から求める。スケールが内接する矩形領域の一辺を均等に４ブロック、計１６プロックに分割する。図９に示すようにブロックごとに８方向の勾配方向ヒストグラムを作成する。

画像変化に対するＳＩＦＴ特徴量に関しては、原画像に回転、スケール変化、照明変化、ノイズが発生した画像と原画像とを比べても、同じような特徴量を示している。一方で、画像に回転や並進移動の変化がある場合、画像のゆがみに変化が出るため、スケールと方向を正規化して特徴を記述するだけでは不十分である。一方で微小変化時には、スケール変化や照明変化には頑健であり、アフィン変換に対してもある程度頑健といえる。

以下、図１０〜図１１を参照して、ＳＵＲＦアルゴリズムの詳細を説明する。上述したように、検出手段２２２は、ＳＩＦＴアルゴリズムと同様、ＳＵＲＦアルゴリズムを実行することによっても実現される。ＳＵＲＦアルゴリズムによって第１画像及び第２画像を処理することで、第１画像の第１特徴点と第２画像の第２特徴点とが検出される。

ＳＵＲＦアルゴリズムは、ＳＩＦＴアルゴリズムを高速化したアルゴリズムである。検出する特徴量がＳＩＦＴアルゴリズムと比較して少なく、処理時間が半分以下である。加えて、特徴点検出精度はＳＩＦＴアルゴリズムと変わらない。ＳＵＲＦアルゴリズムではＳＩＦＴアルゴリズムのキーポイント検出と特徴量記述の処理をＢоｘフィルタと積分画像を用いることで近似することが可能となり、大幅な高速化を実現している。

キーポイント検出について、ＳＩＦＴアルゴリズムでは、キーポイントとスケールの検出のために、σの異なるＬоＧ（実際にはＬоＧを近似したＤоＧ) を複数回処理する必要があった。この処理はＳＩＦＴアルゴリズムの中で最も計算コストが大きい。そこで、ＳＵＲＦアルゴリズムでは、キーポイントとスケールの検出のために、Ｈｅｓｓｉａｎ−Ｌａｐｌａｃｅ検出器を近似したＢоｘフィルタを用いる。Ｂоｘフィルタの出力は、積分画像を用いることで高速に求めることが可能となる。Ｈｅｓｓｉａｎ−Ｌａｐｌａｃｅ検出器は次式で表すヘッセ行列を用いる。

ただし、Ｌ_xx（ｘ、σ）は画像Ｉ中の点ｘにおけるガウシアン二次微分ｆｒａｃｄ²ｄｘ²ｇ（σ）の畳み込み結果である。Ｌ_xy（ｘ、σ）、Ｌ_yy（ｘ、σ）においても同様である。このヘッセ行列の行列式を各スケールの画像に対して求め、ＳＩＦＴと同様にｘ、ｙ、σの３次元空間における極大値を検出する。検出された点をキーポイントとする。

ＳＵＲＦアルゴリズムでは，このＨｅｓｓｉａｎ−Ｌａｐｌａｃｅ検出器の近似としてＢоｘフィルタを用いる。Ｂоｘフィルタとは加重平均値フィルタの一種であり、図１０に示すように、ガウシアンフィルタと二次微分フィルタをかけた結果の近似を得ることができる。異なるスケールの結果も、Ｂоｘフィルタのサイズを変化させることで得ることができる。Ｂоｘフィルタによって得られる近似値をそれぞれＤ_xx、Ｄ_yy、Ｄ_xyとするとき、Ｂоｘフィルタによる近似Ｈｅｓｓｉａｎ−Ｌａｐｌａｃｅ検出器Ｄeｔ（Ｈ_apprо_x）は次式で定義される。

ＳＵＲＦアルゴリズムでは、Ｈａａｒ−ｌｉｋｅ（図１１）を計算することで輝度の勾配を求める。まず、回転に対する不変性を得るためにキーポイントのオリエンテーションを求め、キーポイントを中心とした半径６ｓ（ｓはスケール）の領域から、ｘ、ｙ方向それぞれのＨａａｒ−ｌｉｋｅ(サイズ４ｓ×４ｓ)を計算する。次に、キーポイントを中心にσ＝２．５ｓのガウシアンフィルタを用いて重みをかける。最後に、求められた半径６ｓの領域内の重みつき輝度勾配をｘ、ｙ方向ごとに総和する。

以上の処理を、キーポイントを中心としてπ／３ずつ回転させながら繰り返し、求められた最も値の大きい方向をキーポイントのオリエンテーションとして採用する。特徴量記述では、キーポイントを中心とした２０ｓ×２０ｓの正方形の領域を４×４のグリッド領域に分割し、各グリッド領域について、Ｈａａｒ−ｌｉｋｅ(サイズ２ｓｓ)を計算することで輝度勾配を求める。この輝度勾配のｘ、ｙ方向の値をそれぞれｄ_x、ｄ_yとするとき、４次元のベクトルｖ＝（Σｄ_x、Σｄ_y、Σ｜ｄ_x｜、Σ｜ｄ_y｜）をそれぞれ求める。従って、１６領域×４次元＝６４次元の特徴ベクトルを得る。この値がＳＵＲＦアルゴリズムの特徴量となる。

図１２は、移動量推定手段２２６による移動量の推定の詳細を説明する図である。移動量推定手段２２６は、第１画像に対する第２画像の移動量として、第１画像の第１特徴点と第２画像の第２特徴点との並進量、回転量、及び拡大量のうちの少なくとも１つを推定する。

並進量、回転量、及び拡大量は２×２の回転行列を用いて求めることが出来る。理想的な状態において、テンプレート画像（第１画像）の特徴点の座標を（ｘ、ｙ）とし、比較する入力画像（第２画像）の特徴点の座標を（Ｘ、Ｙ）とする。回転角度をθ、倍率をα、平行移動量を（ｘ_t、ｙ_t）とすると、

と表される。これより図１２における任意の点（ｘ_i、ｙ_i）とそれ以外の点（ｘ_k、ｙ_k）（ｋ＝１、２、３、・・・） に対して、

が成り立つ。この２式より、

を得る。式２８における両辺ベクトルと水平軸とのなす角は、

と表せる。すなわち回転角度θは、２つのベクトルの水平軸とのなす角の差分から求めることが出来る。次に式２８の両辺のベクトルの絶対値を求めると、

が得られる。上式より、倍率αは両辺のベクトルの絶対値の比率によって求めることが出来る。また、求めた回転角度θと倍率αを式２７に代入することで平行移動量（ｘ_t、ｙ_t）が求まる。

まず、式２９を変形することで回転角度θが求まる。

次に式３０を変形することで倍率αが求まる。

以上より、回転角度（回転量）と倍率（並進量）を求めることが出来たので、平行移動（並進量）（ｔ_x、ｔ_y）は、

と表すことができる。

図１３を参照して、生成手段２４の詳細を説明する。生成工程２４は、第１画像と補正後の第２画像から第Ｎ画像までの各々とのうち、焦点が合っていないと判定された画像が所定の割合を超えた場合に、第１画像と補正後の第２画像から第Ｎ画像までの各々とから全焦点画像を生成する。

生成工程２４は、比較手段２４２と抽出手段２４４と全焦点画像生成２４６とを備える。比較手段２４２は、第１画像と補正後の第２画像から第Ｎ画像までの各々との同一画素における焦点程度を比較する。抽出手段２４４は、同一画素のうち、最も焦点程度が良い画素の画素値を抽出する。全焦点画像生成２４６は、抽出した画素値を用いて、全焦点画像を生成する。

焦点程度は、ＩＱＭ値によって判定される。式３４に示すＩＱＭ値は、局所領域における合焦度を表す評価式である。

この手法はＤｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ理論を基に、焦点距離、物体距離、又は画像距離を動かしながら撮影した画像に対して局所空間分析を行い、焦点の合っている点では、高週波成分が強く現れることに注目した評価手法である。

ＩＱＭに関しては、下記に示す参考文献に詳細な記載があるため、本明細書において参照する。

参考文献：J. C. Pedraza, K. Ohba, J. W. Rodriguez, K. Tanie, All in focus camera vision system for robot navigation and manipulation based on the DFF criteria, International Conference on Intelligent Robots and Systems, Vol.2, pp. 758-763, 2001.

以下に全焦点画像生成の工程を示す。

ステップＳ１：初めに、注目画素領域のＩＱＭ値を式３４から求める。

ステップＳ２：次に、すでに処理のすんだ他の画像における同一画素におけるＩＱＭ値と注目画素領域のＩＱＭ値とを比較する。

ステップＳ３：次に、現在のＩＱＭ値が最大となる時、最大値を更新する。

ステップＳ４：ステップＳ１〜ステップＳ３の処理を全ての画素に対して行う。

ステップＳ５：ステップＳ１〜ステップＳ４の処理でＩＱＭ値の最大値が求められるので、その情報を基に全焦点画像と深度マップを生成する。

全焦点画像は全ての面に焦点が合っており、同時に３次元の情報も取得可能であることが理解できる。３次元情報は深度マップを生成することで得た奥行き情報から計算し得る。

以上、図１〜図１３を参照して本実施形態の内視鏡検査装置を説明した。なお、生成手段２４による生成工程では、第２画像から第Ｎ画像までの各々の移動量のうち所定の値より大きい移動量に対応する画像を除去したうえで、全焦点画像を生成し得る。具体的には、ＲＡＮＳＡＣアルゴリズムを適用する。本発明のある実施形態においては、ＳＵＲＦアルゴリズムによって抽出及びマッチングを行い、連続画像とＲＡＮＳＡＣアルゴリズムとを使用して外れ値を除去することで画像の動きを修正するパラメータをより正確に求めることができる。この除去処理は、全焦点画像を生成するために使用する全ての画像に適用する。この除去処理の後、全焦点画像生成アルゴリズムを修正済画像に適用する。

（実施形態２）
以下、図１４を参照して、本発明に係る画像生成工程を説明する。図１４は、本発明の実施形態２に係る内視鏡検査装置を用いた画像生成工程を示すフローチャートである。なお、画像生成工程においては、推定手段２２による推定工程ではＳＵＲＦアルゴリズムを適用し、除去工程ではＲＡＮＳＡＣアルゴリズムを適用し、補正手段２３による補正工程ではアフィン変換を適用し、画像の評価値としてＩＱＭ値を使用した。

ステップＳ１１：画像生成装置２０は、内視鏡装置１０から出力される映像信号を画像として取り込む。以降の処理を行うため、画像生成装置２０は、Ｎ枚の画像を取得する。

ステップＳ１２：Ｎ枚取得した画像のうち、１枚目の画像（第１画像）を基準画像に定める。以降の処理では、推定手段２２と補正手段２３とは、基準画像からの変位量を推定し、補正する。

ステップＳ１３：１枚目の画像（第１画像）と２枚目の画像（第２画像）の双方に特徴点検出アルゴリズム（ＳＵＲＦアルゴリズム）を適用し、第１画像の第１特徴点と第２画像の第２特徴点とを検出する。続いて、２枚の画像間の特徴点の対応付け（マッチング）を行う。推定手段２２は、この対応関係から１枚目と２枚目の画像の間での並進・回転・拡大量を推定する。

ステップＳ１４：推定結果において、明らかにおかしい推定量（外れ値）が得られた対応点が見つかった場合、後に行う補正画像を用いた全焦点画像の生成処理において悪影響を及ぼすことから、ＲＡＮＳＡＣアルゴリズムを適用し、外れ値を除去する処理を行う。
ステップＳ１５：推定結果に基づき、第２画像を第１画像と同じ条件にするために、推定した並進・回転・拡大量を用いて、第２画像を補正する。

ステップＳ１６：第１画像を基準としながら、ステップＳ１３〜ステップＳ１５の処理を、３枚目、４枚目．．．Ｎ枚目の画像に適用し、推定された並進・回転・拡大量を用いて画像の補正を行う。

ステップＳ１７：ステップＳ１６までで得られたＮ枚の画像それぞれに対して、評価値（ＩＱＭ値）を使用して焦点の合い具合の評価を行う。ＩＱＭ値は焦点が合っている場合は高くなり、焦点が合っていない場合は低くなる。この特性を利用して、注目している画像において、多くの画素で焦点が合っている場合、全焦点画像を生成する必要がないと判断し、Ｎ枚の画像のうち最もＩＱＭ値が高い画像を全焦点画像として選択し、ステップＳ１１に戻る。一方で、焦点の合っていない箇所が一定以上の割合を占めている場合は、全焦点画像生成の必要性があると判断し、ステップＳ１８の処理に進む。

ステップＳ１８：ステップＳ１７の処理で焦点が合っていないと判断された場合、全焦点画像を生成する。全焦点画像の生成においては、すべての画像の同一画素におけるＩＱＭ値を比較し、一番高いＩＱＭ値を有する画素の画素値を抽出するという手順をすべての画素において行い、抽出した画素値を用いて、１枚の全焦点画像を生成する。

全焦点画像生成後、処理はステップＳ１１に戻り、一連の処理を繰り返す。複数の全焦点画像を連続的に提示することで、映像として視認できる。

本発明によれば、最初に全焦点画像を生成するための規定枚数の画像を取得し、取得した画像の変化を補正し、取得画像すべての形を揃える。そして、ＩＱＭ値を比較し、同時にブレ画像の検出を行い全焦点画像を生成する。次の全焦点画像を生成するとき、新たに画像を1枚取得し、全焦点画像生成画像群の最も古い画像と入れ替え画像群の更新を行う。そして、最新画像の変化を補正し、ＩＱＭ値を比較して全焦点画像を生成する。以上のアルゴリズムにより，すべての面に焦点の合った内視鏡画像を得ることができ、動画システムへの組み込みも可能となる。

全焦点画像を更新するとき、全焦点画像生成に用いるＮ枚の画像のうち、Ｎ−１枚の画像は１枚目の画像に対する画像変化パラメータが既に求められている。よって、更新した画像の画像変化パラメータのみ求めることが出来れば、全体の画像の形を揃えることが可能となり、全焦点画像の生成が可能となる。つまり、特にＳＵＲＦアルゴリズムを適用した場合には、特徴点抽出とマッチングの処理が1回になるため、大幅に計算時間を改善することができる。

本発明によれば、上記既存の拡大内視鏡に比べて，内視鏡の操作者のスキルを求めることなく、患部の拡大観察が可能となる。さらに、本発明によれば、速やかに臨床利用が可能となる。内視鏡のように患者の体内に挿入して施行される検査機器は、その安全性と有効性を十分に検証して後上市されるべきである。本発明では、既存の内視鏡装置を改良するものではなく、従って新たな安全性の検証をする必要はない。

本発明は既存の内視鏡を患者に挿入し、得られる映像信号を用いて画像を演算処理することによって汎焦点内視鏡画像を検査者に提示しうる装置であるため、臨床への導入が容易であり、多くの内視鏡へと導入できる可能性を持っている。また、本発明により、検査効率の向上が期待できることから、検査時間の短縮による患者の負担軽減につながることが期待される。

観察対象となる消化管粘膜は、呼吸や心拍、蠕動などで常に予測の付かない動きをする。内視鏡装置は合焦点機構を有さないため、検査者はこの観察対象を被写界深度の浅い高倍率内視鏡で観察し、内視鏡先端部の位置を変えながら数十枚の画像を撮影し、それらによって粘膜の異常の範囲を画像から診断してきた。検査者のみならず患者にも大いなる苦痛を与えている現状にあり、目的とする画像取得には長年の経験による熟達した手技が必要であった。本発明では観察対象に対して内視鏡先端部の位置を変化させて連続観察するだけで各粘膜部位の合焦点した画素が取得可能であり、手技上の習熟は必要がない。一定時間の動画から合焦点画素の組み合わせによる汎焦点画像が得られるため、観察は短時間で患者の苦痛も軽減できる。

本発明に係る画像生成方法、画像生成装置、及び画像生成装置を備えた内視鏡検査装置は、内視鏡検査装置など、医療機器の分野に適用することができる。

１ 内視鏡検査装置
１０ 内視鏡装置
２０ 画像生成装置
２１ 前処理手段
２２ 推定手段
２３ 補正手段
２４ 生成手段

Claims (13)

1. 第１画像及び第２画像を含む複数の画像から全焦点画像を生成する画像生成装置の作動方法であって、
   前処理手段が、前記第１画像及び前記第２画像に対して画像の鮮鋭化アルゴリズムを適用して、前記第１画像及び前記第２画像を鮮鋭化する前処理工程と、
   推定手段が、前記鮮鋭化された第１画像に対する前記鮮鋭化された第２画像の移動量を推定する推定工程と、
   補正手段が、前記移動量に基づいて前記第２画像を補正する補正工程と、
   生成手段が、前記第１画像と前記補正後の第２画像との各々に対して焦点を評価し、評価結果に応じて前記全焦点画像を生成する生成工程と
   を包含する、画像生成装置の作動方法。
2. 前記複数の画像は、Ｎ枚（Ｎは３以上の整数）の画像であり、
   前記前処理工程では、前記前処理手段は、前記Ｎ枚の画像に対して画像の鮮鋭化アルゴリズムを適用して、前記Ｎ枚の画像を鮮鋭化し、
   前記推定工程では、前記推定手段は、前記鮮鋭化された第１画像に対する、前記鮮鋭化された第２画像から第Ｎ画像までの各々の移動量を推定し、
   前記補正工程では、前記補正手段は、前記各々の移動量に基づいて前記第２画像から前記第Ｎ画像までの各々を補正し、
   前記生成工程では、前記生成手段は、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々とに対して焦点を評価し、評価結果に応じて前記全焦点画像を生成する、請求項１に記載の画像生成装置の作動方法。
3. 前記生成工程では、
   前記生成手段は、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々とのうち、焦点が合っていないと判定された画像が所定の割合を超えた場合に、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々とから前記全焦点画像を生成する、請求項２に記載の画像生成装置の作動方法。
4. 前記生成工程では、
   前記生成手段が、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々との同一画素における焦点の評価結果を比較する工程と、
   前記生成手段が、前記同一画素のうち、最も評価結果が良い画素の画素値を抽出する工程と、
   前記生成手段が、前記抽出した画素値を用いて、前記全焦点画像を生成する工程と
   を含む、請求項２又は請求項３に記載の画像生成装置の作動方法。
5. 前記生成工程において、前記生成手段が、ＩＱＭ値に基づいて、深度マップを生成する、請求項４に記載の画像生成装置の作動方法。
6. 前記推定工程では、
   前記推定手段が、前記第１画像の第１特徴点と前記第２画像の第２特徴点とを検出する検出工程と、
   前記推定手段が、前記第１特徴点と前記第２特徴点とを対応付ける工程と、
   前記推定手段が、前記第１画像に対する前記第２画像の前記移動量を推定する工程と
   を含む、請求項１〜請求項５のうちの１項に記載の画像生成装置の作動方法。
7. 前記推定手段は、前記検出工程を、ＳＩＦＴアルゴリズム又はＳＵＲＦアルゴリズムによって実行する、請求項６に記載の画像生成装置の作動方法。
8. 前記移動量は、前記第１特徴点と前記第２特徴点との並進量、回転量、及び拡大量のうちの少なくとも１つによって示される、請求項６又は請求項７に記載の画像生成装置の作動方法。
9. 前記生成工程では、前記生成手段は、前記第２画像から第Ｎ画像までの各々の移動量のうち所定の値より大きい移動量に対応する画像を除去して前記全焦点画像を生成する、請求項２〜請求項８のうちの１項に記載の画像生成装置の作動方法。
10. 前記前処理工程では、前記前処理手段は、前記第１画像及び前記第２画像にアンシャープマスクを適用して、前記第１画像及び前記第２画像を鮮鋭化する、請求項１〜請求項９のうちの１項に記載の画像生成装置の作動方法。
11. 第１画像及び第２画像を含む複数の画像から全焦点画像を生成する画像生成装置であって、
    前記第１画像及び前記第２画像に対して画像の鮮鋭化アルゴリズムを適用して、前記第１画像及び前記第２画像を鮮鋭化する前処理手段と、
    前記鮮鋭化された第１画像に対する前記鮮鋭化された第２画像の移動量を推定する推定手段と、
    前記移動量に基づいて前記第２画像を補正する画像補正手段と、
    前記第１画像と前記補正後の第２画像との各々に対して焦点を評価し、評価結果に応じて前記全焦点画像を生成する生成手段と
    を備えた、画像生成装置。
12. 前記複数の画像は、Ｎ枚（Ｎは３以上の整数）の画像を含み、
    前記前処理手段は、前記Ｎ枚の画像に対して画像の鮮鋭化アルゴリズムを適用して、前記Ｎ枚の画像を鮮鋭化し、
    前記推定手段は、前記鮮鋭化された第１画像に対する、前記鮮鋭化された第２画像から第Ｎ画像までの各々の移動量を推定し、
    前記画像補正手段は、前記各々の移動量に基づいて前記第２画像から前記第Ｎ画像までの各々を補正し、
    前記生成手段は、前記第１画像と前記補正後の第２画像から第Ｎ画像までの各々とに対して焦点を評価し、評価結果に応じて前記全焦点画像を生成する、請求項１１に記載の画像生成装置。
13. 第１画像及び第２画像を含む複数の画像を取得する内視鏡装置と、
    前記複数の画像から全焦点画像を生成する画像生成装置と
    を備えた、内視鏡検査装置であって、
    前記画像生成装置は、
    前記第１画像及び前記第２画像に対して画像の鮮鋭化アルゴリズムを適用して、前記第１画像及び前記第２画像を鮮鋭化する前処理手段と、
    前記鮮鋭化された第１画像に対する前記鮮鋭化された第２画像の移動量を推定する推定手段と、
    前記移動量に基づいて前記第２画像を補正する補正手段と、
    前記第１画像と前記補正後の第２画像との各々に対して焦点を評価し、評価結果に応じて前記全焦点画像を生成する生成手段と
    を備えた、内視鏡検査装置。