WO2021070822A1 - 形状測定装置、形状測定方法、形状測定プログラム及び内視鏡システム - Google Patents

Abstract

物体の表面の各点の法線ベクトルと物体の表面の各点までの深度とをそれぞれ独立に算出して、不連続面を有する物体についても、高精度に表面形状を測定するため、少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する光源ユニットと、少なくとも１波長の光の物体による反射光量を検知する光量検知部と、反射光量から、物体の表面の各点の法線ベクトルと、光量検知部から物体の表面の各点までの媒体中の深度と、を各点において独立に算出する算出部と、を備えた。

Description

形状測定装置、形状測定方法、形状測定プログラム及び内視鏡システム

　本発明は、３次元物体の形状を測定する技術に関する。

　上記技術分野において、特許文献１には、２波長あるいは３波長の光を照射し、媒質を介した反射光を受光して、媒質の表面から物体の表面までの深度から物体の形状を測定する技術が開示されている。

国際公開ＷＯ２０１８／０６６６９８

Erik Reinhard, Erum Arif Khan, Ahmet Oguz Akyz, and Garrett M. Johnson "Color Imaging" Fundamentals and Applications. A. K. Peters, Ltd., Natick, MA, USA, 2008. 3 Yuta Asano, Yinqiang Zheng, Ko Nishino, and Imari Sato. "Shape from water" Bispectral light absorption for depth recovery. In Proceedings of European Conference on Computer Vision, pages 635-649, 2016. 2, 3, 4, 5, 6 Gene H. Golub and Charles F. Van Loan. "Matrix Computations (3rd Ed.)" pages 256-258. Johns Hopkins University Press, Baltimore, MD, USA, 1996. 5 Matt Pharr, Wenzel Jakob, and Greg Humphreys. "Physically based rendering" From theory to implementation. Morgan Kaufmann, 2016. 6 Robert T. Frankot and Rama Chellappa. "A method for enforcing integrability in shape from shading algorithms" IEEE Transactions on Pattern Analysis and Machine Intelligence, 10(4):439-451, 1988. 6

　しかしながら、上記文献に記載の技術では、深度から法線ベクトルを求めるためには深度マップの微分による導出過程が含まれるので、物体表面が連続面であることが条件となり、不連続な表面を有する物体に対しては有効ではなかった。

　本発明の目的は、上述の課題を解決する技術を提供することにある。

　上記目的を達成するため、本発明に係る装置は、
　少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する光源ユニットと、
　前記少なくとも１波長の光の前記物体による反射光量を検知する光量検知部と、
　前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記光量検知部から前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
　を備えた形状測定装置である。

　上記目的を達成するため、本発明に係るシステムは、
　　体内に挿入して、少なくとも１波長の光を少なくとも４方向から媒体中の生体内部表面に照射する光源ユニットと、
　前記体内に挿入して、前記少なくとも１波長の光の前記生体内部表面による反射光量を検知する光量検知部と、
　前記反射光量から、前記生体内部表面の各点の法線ベクトルと、前記光量検知部から前記生体内部表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
　を備えた内視鏡システムである。

　上記目的を達成するため、本発明に係る方法は、
　少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する照射ステップと、
　前記少なくとも１波長の光の前記物体による反射光量を検知する光量検知ステップと、
　前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
　を含む形状測定方法である。

　上記目的を達成するため、本発明に係るプログラムは、
　少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する前提として、前記光の方向と、前記光の明るさと、前記光の波長と、前記光に関する前記媒体の光吸収率（absorption coefficient）とを設定する設定ステップと、
　前記設定ステップで設定された値および前記光を照射した際の前記物体からの反射光量に基づいて、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
　をコンピュータに実行させる形状測定プログラムである。

　本発明によれば、不連続面を有する物体についても、高精度に表面形状を測定することができる。

本発明の第１実施形態に係る形状測定装置の構成を示すブロック図である。 本発明の第２実施形態の係る水中の対象物体を復元する原理を説明する図である。 本発明の第２実施形態の係る水中の対象物体を復元する原理を説明する図である。 本発明の第２実施形態の係る水中の対象物体を復元する原理を説明する図である。 本発明の第２実施形態の係る方法により水中の対象物体を復元した実験結果と、従来の方法による復元結果とを対比した図である。 補助光源の数によるガウスノイズによる法線算出誤差および深度算出エラーを示す図である。 本発明の第２実施形態の係る方法により水中の静止した対象物体を復元した実験結果を説明する図である。 本発明の第２実施形態の係る方法により水中の移動する対象物体を復元する実験装置を説明する図である。 本発明の第２実施形態の係る方法により水中の移動する対象物体を復元した実験結果を説明する図である。 本発明の第２実施形態の係る方法により水中の移動する対象物体を復元した他の実験結果を説明する図である。 本発明の第２実施形態に係る形状測定装置を含む情報処理システムの構成を示すブロック図である。 本発明の第２実施形態に係る形状測定装置の機能構成を示すブロック図である。 本発明の第２実施形態に係る光源パラメータの構成を示す図である。 本発明の第２実施形態に係るカメラパラメータの構成を示す図である。 本発明の第２実施形態に係る検知光量蓄積部の構成を示す図である。 本発明の第２実施形態に係る画素単位検知光量テーブルの構成を示す図である。 本発明の第２実施形態に係る法線深度算出用テーブルの構成を示す図である。 本発明の第２実施形態に係るキャリブレーション用テーブルの構成を示す図である。 本発明の第２実施形態に係る形状測定装置を含む情報処理装置のハードウェア構成を示すブロック図である。 本発明の第２実施形態に係る形状測定装置を含む情報処理装置の処理手順を示すフローチャートである。 本発明の第２実施形態に係る形状測定装置を含む情報処理装置のキャリブレーション処理の手順を示すフローチャートである。 本発明の第２実施形態に係る形状測定装置を含む情報処理装置の反射光量蓄積処理の手順を示すフローチャートである。 本発明の第２実施形態に係る形状測定装置を含む情報処理装置の法線深度ベクトル算出処理の手順を示すフローチャートである。 本発明の第２実施形態に係る形状測定装置を含む情報処理装置の３次元物体復元処理の手順を示すフローチャートである。 本発明の第３実施形態に係る形状測定装置を含む情報処理システムの構成を示すブロック図である。 本発明の第３実施形態に係る形状測定装置を含む情報処理装置の反射光量蓄積処理の手順を示すフローチャートである。

　以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素は単なる例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。

　［第１実施形態］
　本発明の第１実施形態としての形状測定装置１００について、図１を用いて説明する。形状測定装置１００は、３次元物体の形状を測定する装置である。

　図１に示すように、形状測定装置１００は、光源ユニット１０１と、光量検知部１０２と、算出部１０３と、を含む。光源ユニット１０１は、少なくとも１波長の光を少なくとも４方向から媒体１１０中の物体１１１に照射する。光量検知部１０２は、少なくとも１波長の光の物体１１１による反射光量１２１を検知する。算出部１０３は、反射光量１２１から、物体１１１の表面の各点の法線ベクトルと、光量検知部１０２から物体１１１の表面の各点までの媒体１１０中の深度とを各点において独立に算出する（１３１）。ここで、「独立して」とは、両者を物体表面上において互いに依存する数量として算出するのではなく、物体表面上各点において両者を他の点に対して別個の数量として算出することを意味する。

　本実施形態によれば、物体の表面の各点の法線ベクトルと深度とを独立に算出するので、不連続面を有する物体についても、高精度に表面形状を測定することできる。また、物体表面の座標および向きをリアルタイムに導出できるため、動いている物体の形状を短時間に正確に算出できる。また、カメラを動かしながら広範囲の表面形状を短時間に算出できる。

　［第２実施形態］

　《形状測定の原理》
　まず、本実施形態に係る形状測定の原理について詳細に説明する。

　（概要）
　本実施形態で説明する形状測定方法は、水中の動的物体の表面法線と深さを計測する新しい方法である。従来から、形状復元方法は、形状（つまり深度）または表面法線を推定するためにさまざまな視覚的手掛かりを活用してきた。深度と法線を推定するため従来は、両者を物体表面上において互いに依存する数量として算出していた。本実施形態の新しい方法では、物体が水中で観察されるときに、法線と深度という２つの幾何学的表面特性を、各ピクセルにつき独立に求めることができる。表面反射によるシェーディングと組み合わせて、水中の光路長に応じた光の吸収を活用することがポイントである。水を用いる方法と、そのイメージングパラメータ値を決定するための実用的なキャリブレーション方法との組合せにより、表面の法線と深度計測のための原理を導き出す。この方法はワンショット計測システムとしても実装できる。オフラインイメージングシステムと、ビデオレートイメージングシステムの両方に適用可能である。実世界に存在する、多くの静的物体および動的物体に対して本実施形態にかかる方法は有効である。その結果、他の方法では測定できない複雑な表面的特徴を有する物体形状を測定できるようになった。

　（イントロダクション）
　コンピュータビジョン研究により、フォーカスからテクスチャまで様々な視覚的手掛かりを用いた効果的な３次元形状復元方法として様々なものが考案されてきた。そのほとんどは、shape-from-Xアプローチによるものであるが、物体表面各点の３次元座標とその法線のどちらかを復元することはできるものの、同時に両方を復元することはできなかった。物体表面の法線が推定された物体表面の３次元座標集合（すなわち形状）から算出されるか、あるいは物体表面形状が、物体表面の法線集合から算出されるかのいずれかであった。従来の方法では、複数のカメラまたは複数のアクティブ深度センサが必要であり、原理的に、一回のセンシングでは実現不可能であり、動的に表面を復元することもできなかった。各ピクセルに対応する物体表面各点における法線と３次元座標とを同時にかつ独立に（他の物体表面点に依存することなく）算出することは、任意の複雑な幾何的特徴を有する表面形状を３次元的に復元するにあたり非常に重要である。

　本実施形態によれば、水中の物体について、表面のピクセルごとに、法線と深度を独立した数量として算出できる。言い換えれば、本実施形態は、図１に示すように、３次元幾何形状を直接復元する。本実施形態では、例として水中の３次元形状の復元を行っているが、本発明の「媒体」は水に限定されるものではなく、油や、溶けたガラスなどの液体でもよく、光の吸収があれば、気体や固体でも良く、適応範囲は広い。特に、医学（内視鏡検査など）、生物学、海洋学、考古学などを含む幅広い分野で重要な用途がある。

　本実施形態では、表面のシェーディング測定と同時に、水中の複数の光路に沿って異なる波長の近赤外光がどの程度吸収されるかを測定し、この近赤外光の減衰と表面のシューディングの統合により深度と法線の同時算出を実現する。

　水中の物体表面の各点について法線と深度を求めるには、少なくとも４つの近赤外平行光源が必要である。その光源からの光が物体表面で反射し、反射光が正射影カメラによって捕捉される。４つの光源を使用する場合、理論では、光源の１つ（基本光源と呼ぶ）は他の光源が形成する仮想的な多角錐内に存在する必要がある。残りの光源は、異なる有効吸収係数を実現していれば、カメラの視線方向と同じ極角（polar angle）をなす位置でもよい。

　本実施形態にかかる方法は、複雑な形状を有する実空間での静的物体および動的物体に対して有効である。この方法を実現するイメージングシステムとしては２種類のものが考えられる。一つはモノクロカメラと交換可能な近赤外線バンドパスフィルタを使用したオフラインキャプチャ用システムであり、もう一つはカスタマイズされた多波長カメラを使用したビデオレートキャプチャ用システムである。

　図２Ａは、水が光を吸収する吸収率が光の波長によってどのように変換するかを示す図である。可視光の範囲では、吸収率は極端に小さいが（水が透明な理由でもある）、近赤外の範囲ではほとんど直線的に上昇する。図２Ｂに示すように、水中での光の吸収はBeer-Lambertの法則（非特許文献１）で正確にモデル化が可能である。Beer-Lambertの法則によれば、式（１）のように、透過放射輝度Ｅは、通過距離ｄが大きくなるにつれて指数関数的に減衰する入射光の輝度Ｌ₀の関数であらわされる。

　ここで、λは光の波長、α(λ）は波長に依存する吸収率である。

　２つの近赤外波長で同じ面を撮像することによる、形状復元については、非特許文献２に記載がある。非特許文献２では、近赤外の平行光源とそれに同軸に配置されたカメラシステムとを用いている。また、９０５nmと９５０nmといった、２つの異なる近赤外光のみを透過させるバンドパスフィルタを用いている。非特許文献２によれば、水による近赤外光の吸収率は波長に依存するため、異なる近赤外光の物体表面での反射光が異なることが分かる。すなわち、２つの近赤外波長を有する光を照射した場合の物体による反射光の比から、物体表面までの光透過距離を推定でき、それにより深度を推定している。表面反射のスペクトル特性は近赤外光については一定であると一般に仮定できる。

　（近赤外の複数波長による画像処理）
　本実施形態では、図２Ｃのように、１つの基準光源を含むＫ個の平行光源と、１台の正射影カメラを用いる。取り扱うパラメータを以下のように定義する。なお、座標系は全てカメラ座標系を基準とする。^→ｌ_cと^→ｌ_iは、視線方向と、波長λ_iおよび強度ｌ_iの光源ｉの方向をそれぞれ示している。

　水面から深度ｄ(x)の表面点への入射光は、水の中を距離｛ｄ(x)／^→ｌ_c ^T→ｌ_i｝だけ進み、画素ｘによりその反射光が補足される物体表面上の点で反射してｄ(x)進んでカメラに到達する。近赤外光は、空気中ではほぼ吸収されず、水中のみで吸収されると一般に仮定できる。

　式（１）から、物体表面の波長依存反射率をｓ(λ)、物体表面の形状依存反射率をｒ(ω)とすると、反射係数ｓ(λ)ｒ(ω)の面に対して、カメラで撮像された光強度は式（２）のようになる。

　ここで、＾α_iは、式（３）で表される実効吸収率である。

　ここで波長依存項α（λ_i）は、式（４）のように近赤外光に対して変化しないと近似する。

　水による近赤外光の吸収に加えて物体表面における陰影を活用するので、物体表面が完全拡散面 (Lambertian surface)であると仮定する。完全拡散反射は法線^→n(x)と入射光線方向^→l_iを用いて、式（５）で表される。

　そして、式（６）を得る。

　なお波長依存成分ρは各ピクセルで異なっていてもよく、対象表面上で一様である必要はない。

　同じ点（カメラ画像の同じ画素位置）の他の観察は、他の近赤外光源ｊで与えられる。

　同じ強度の光源を用いて、Ｌ_i＝Ｌ_jとすると、

　各光源に対応する式（８）を並べて行列形式にすると、式（９）となる。

ここで、深度ベクトル^→ｄ(x)∈Ｒ^(K-1)x1と、光源行列Ｌ＝［ｌ₂...ｌ_K］^T∈Ｒ^(K-1)x3を定義した。ｌ₁を基準光源とし、光源行列Ｌ内の他の全光源を補助光源とする。

　（深度と法線ベクトルの復元）
　式（９）は、深度ｄ(x)と法線ベクトル^→ｎ(x)両方を変数とする非線形連立方程式である。閉形式解は持たないが、式（９）から画素ｘの先に存在する物体の深度ｄ(x)と法線ベクトル^→ｎ(x)を一意に復元することができる。式（９）の両辺に対し、Moore-Penroseの擬似逆行列Ｌ⁺ ＝ (Ｌ^T Ｌ）^-1Ｌ^Tを左から掛けると、式（１０）となる。

　次に、^→ｌ₁ ^Tを左から両辺に掛けると、式（１１）になる。

　ここで後述する条件を満たすように事前に光源を設計しておくことにより、式（１２）から一意な大域的最適解として^→ｄ(x)を得ることができる。すなわち式（１２）の右辺は単調関数となるためNewton-Raphson法のような既存の数値最適化を用いて大域的最適解を効率的に得ることができる。さらに、最適化には、^→ｄ(x)に関するｂ^→ｄ(x)の一階導関数および二階導関数を用いることができる。ｂ^→ｄ(x)が指数関数の和であることから、その導関数もまた簡潔な指数関数の和の形式で与えられる。

　式（１２）から深度^→ｄ(x)が与えられると、式（１０）の右辺を用いて、^→ｌ₁T_ｎ(x)でスケーリングした法線ベクトルが算出される。この法線ベクトル^→ｎ(x)は式（１３）で与えられる。

　この導出が示すように、１つの視点から撮像された光源の重なり領域の各画素において、法線ベクトルと深度とを復元できる。滑らかさなどの対象物体表面の補助的な幾何学的制約には依存していない。

　（物体形状復元の条件）
　一意な深度と法線ベクトルを復元する条件を分析する。一旦、深度が推定されると、式（１３）から、行列Ｌの階数(rank)が少なくとも３でなければならないと分かる。行列Ｌは光源方向を並べたものであったので、それらが３次元空間を張る必要があるという条件は、一般的な照度差ステレオと同じである。しかしながら、基準光源に加えて、少なくとも３つの補助光源が必要であり、光源の総数は少なくとも４つとなる（Ｋ≧４）。

　深度が復元された場合、式（１２）から、補助光源の実効吸収率は式（１４）のように全て基準光源の吸収率と異なるべきであると分かる。

　式（３）の実効吸収率は、吸収率α_iと完全拡散反射ｌ_c ^Tｌ_iとの両方の関数である。実効吸収率が満たすべき要件は、式（１４）を成立させることであるので、全ての光源が異なる波長を持つことや、または、視線方向に対する異なる極角を持つことを常には必要としない。

　式（１２）の右辺はベクトル^→ｄ(x)の一般的な指数関数の和であり、閉形式解を持たない。しかしながら、ｂ_i（ベクトル^→ｂのｉ番目の要素）と^α_i－^α₁との組の全符号が一致していれば、それはｄ(x)の単調関数である。実際には光源は同一半球内に配置する必要があるため、ベクトル^→ｂの要素は全てが非負か全てが負かいずれかとなる。この場合に、単調増加関数の和は単調増加関数となるため、^α_i－^α₁がｉ＝２，...，Ｋそれぞれで全て非負か全て負である場合、単調性は維持される。段落００３８で説明するように基準光源の実効吸収率^α₁は全光源の実効吸収率の最小値となる場合に最も深度推定精度の観点から有利である。この場合、基準光源からの全ての実効吸収率の差は正になるので、ベクトル^→ｂの全要素が非負の場合に一意な解が得られる。

　非特許文献３で証明されているように、擬似逆行列Ｌ⁺によって得られるｂ＝^→ｌ₁ ^T→Ｌ⁺は、^→ｌ₂...^→ｌ_iの線形結合としてｌ₁を復元するうえでの最小ノルム解である。Ｋ＝４、すなわち３つの補助光源の場合、もし他の３つの光源が形成する三角錐内に基準光源があれば、ベクトル^→ｂの全要素は非負となり一意な大域的最適解を得ることができる。これは、直感的に、ベクトルｂの全要素が負になることは、基準光源の反対側から補助光源がターゲットを照射している状況を意味するため物理的に実現不可能であることを意味する。

　Ｋ＞４の場合、ｂ≧０が成り立つ条件は自明ではない。しかしながら、実際には、^α_iと^→ｂとは吸収率と光源の方向とのみに依存し、全画素で共有されるので、一旦、照射方向がキャリブレートされたら直ちに基準光源の最小有効級数係数^α₁と要素^→ｂの非負性が確認される。すなわち、一旦、キャリブレートされた光源方向が非負の制約を満たせば、式（１２）による深度推定は、一意な大域的最適解を得られる単調関数であることを保証する。

　水中から法線ベクトルと形状とを得るには、次の条件が満たされなければならない。・少なくとも４つの近赤外の平行光源・補助光源の方向が、互いに独立であること・補助光源の実効吸収率は、基準光源の実効吸収率と異なること・ｂの全要素が負でないこと
　これらの条件は、光の波長と方向の異なる組み合わせによる実効吸収率の実現の余地がある。例えば、もし補助光源が同じ波長を持つように選んだら、補助光源の方向の各々は基準光源に対し互いに異ならなければならない。もし補助光源の波長が全て異なるならば、全ての補助光源が視線方向に対して同じ極角となるように配置できる。後者の場合、波長の異なる光は互いに干渉しないので、一回の露光による撮像で法線ベクトルと形状の復元のために必要な情報を全て得ることができる。基準光源と補助光源とが、１波長の光を物体に照射してもよく、補助光源がそれぞれバラバラの極角を持てばいい。実効吸収率の差を極角だけでつくる構成も可能である。

　（深度の精度分析）
　仮に全ての光源を同じ方向^→ｌ_i＝^→ｌ₁に設定した場合、式（９）の右辺は全てが"１"のベクトルとなり、深度は各iに対して式（１５）のようになる。

　これは、非特許文献２によって深度を推定することと等価である。式（１５）は、観測された反射光の放射輝度の比が大きいほど深度の推定がより正確になることを示唆する。この関係は基準光源と各補助光源全ての間で成り立つので、実際には、基準光源のもとでの観測輝度と、全ての補助光源のもとでの観測輝度の比ができるだけ大きいことが望ましいことを意味する。

　もし入力画像への追加ノイズεを考慮すると、絶対深度誤差は式（１６）となる。

　式（１６）は、観察された放射輝度が大きくなるにつれて、絶対誤差が小さくなる（ノイズに強くなる）ことを示唆する。
　これら結果は、実効吸収率の差は最大化するように、一方、各光源のもとで観察される放射輝度はできるだけ大きくなるように、波長と光源の方向を選択すると精度向上が望めることを示唆する。

　（キャリブレーション）
　以上、カメラの投影モデルが厳密に正射影であることや、光源が同じ強度の平行光源であることを仮定してきた。しかし、実際には、これらの要件が満たされず、例えば、光の強度に応じて測定値を増減させることを考慮しなければならない。一般に光源方向は金属球(chrome ball)をターゲットの配置場所に置くことで推定できるが、ハイライトを使用すると推定が正確なものとはならない。そこで、光源方向と光源強度の両方を同時に推定し、形状と法線の確実で正確な推定を実現する、実用的なキャリブレーション方法を提供する。

　特に、ターゲットがカバーする空間内に、カメラから既知の相異なる深度で完全拡散球(Lambertian sphere)を浸す。完全拡散球の半径はあらかじめ計測することで既知であるとし、完全拡散球面上の任意の点xにおける深度の真値^ｄ(x)と法線ベクトルの真値^ｎ(x)を算出することができる。このとき光源の方向ベクトル^→ｌ＝｛^→ｌ₁...^→ｌ_K｝と光源の強度^→Ｌ＝{^→Ｌ₁...^→Ｌ_K｝が、式（１７）のＬ２ノルムを最小とすることで推定することができる。

ここで、ｎは撮像画像の数、ｍは有効な画素数、ｋ₁およびｋ₂はスカラー重み、ｄは推定深度、^→ｎは推定法線ベクトルである。
　（実験結果）
　仮想光源および９００nmから１０００nmの範囲の近赤外の実光源を使用して、上記方法を検証した。上記範囲の赤外線光の吸収率は５×１０^-3から３×１０^-2の間で劇的に変化する。

　ＰＢＲＴ(Physically Based Rendering：非特許文献４)で生成された８ビット合成画像を用いて、本方法の復元の精度とノイズへの頑健性とを定量的に検証した。Ｋ個の光源の下でターゲットを正投影カメラで撮影したように画像を生成した。Ｋ個の光源の１つは基準光源としてカメラと同軸に配置され、他の光源は補助光源として基準光源の周りに正（Ｋ－１）角形を形成するするように配置された。Ｋ個の吸収率は、５×１０^-3から３×１０^-2の間で等差数列となるように設定された。

　図２Ｄは、４個の光源を用いた場合の結果を示す図である。(a)および(b)は、本実施形態にかかる方法で復元した法線ベクトルと深度を示している。また、(c)には、従来の方法として、推定された深度から画像内の近傍点を用いた数値微分によって算出された法線ベクトルが示され、(d)には、推定された法線ベクトルから画像内の近傍点を用いて積分された深度（非特許文献５）が示されている。誤差ＥnとＥdは、法線ベクトルの推定程度と、物体サイズにより正規化された推定深度とのＲＭＳＥ(Root Mean Square Error：平均平方二乗誤差)を表している。これらの結果は、明らかに本実施形態にかかる物体形状測定方法による画素単位の法線ベクトルと深度との同時推定が優れていることを示している。従来の方法は必然的に他を得るために一方の推定に依存しており、その結果、精度が著しく低下する。

　図２Ｅは、異なるノイズレベルで推定誤差をプロットしたものである。値σは、[0:1]の範囲で印加されたゼロ平均ガウス雑音の標準偏差である。異なる線は、３個から８個の補助電源を使用した場合の結果を示している。実線は、カメラと同心に配置された５×１０^-3と３×１０^-2の吸収率の２つの光源を用いた非特許文献２による結果を示している。これらの結果は、誤差がノイズの増加と共に直性的に増加するが、光源数の増加はノイズの影響を弱めることを示している。

　（静止物体の復元）
　フレネルレンズを有する４つの光源と、切替可能な近赤外バンドパスフィルタを備えたモノクロカメラとを備えた画像処理システムを用いて、水中の静止物体の、オフラインの法線ベクトルと形状を復元する例について説明する。４つの光源は８８０nm、９０５nm、９２５nm、９５０nmの４つの近赤外波長の光を照射する。４つの光源は多角錐の要件を満たすように、視点方向に対して異なる角度に配置された。実効吸収率が最大に異なるように、４つの異なる波長および方向の光を照射した。
　吸収率は、水中において既知の位置に置かれた平らな白いターゲットを撮像することにより、Beer-Lambertの法則で計算する。光源の方向と強度は共に、本キャリブレーション方法により推定される。キャリブレーション前後のＥnおよびＥdは、それぞれ27.039と0.183、7.728と0.002であった。異なる位置に置かれたキャリブレーションで使用されない他の球体のＥnおよびＥdは、7.85と0.002であり、キャリブレーションの正確さを検証できる。

　図２Ｆは、上記方法を、鋭い隆起や折り目、不連続を含む複雑な幾何形状をもつ実際の物体に適用した結果として、推定された法線と深度とを示している。本方法が正確な画素単位の深度および法線を復元できることが分かる。すなわち、表面の不連続や法線向きの急激な変化にかかわらず表面の細部が復元されている。

　（動的物体の復元）
　本方法を、ビデオレートの３次元検知システムとして実装した。図２Ｇに示すように、各波長１４fps(frame/sec)において６つの異なる波長の動画像を撮像できる１０ビットのマルチ波長カメラを使用した。ここでは８５２nm、８８０nm、９０５nm、９５０nmの近赤外バンドパスフィルタを使用した。また、８５２nmと組み合わせて、可視光のＲＧＢカラー情報を提供するため、グリーンおよびブルー波長範囲の２つの追加のフィルタを用いた。カラー情報を得るため、図２Ｇに示すように、可視光の光源（右上の「Texture light source」）を加えた。
　この可視光光源からの照射光は、近赤外光源からの照射光に干渉しない。法線および深度と同時に色情報を得られることは、本方法のさらなる優位点である。本実装においては、ビデオレート多波長撮像カメラとして、６つの画像が時間的に連続して取得されるものを用いた。実際には異なる波長間での時間差は、実験で用いた動的物体に対して十分に小さい。必要であれば、推定されたオプティカルフローを用いて観察結果を位置合わせすることができる。図２Ｈおよび図２Ｉは、ビデオ速度の法線と深度を復元した、泳いでいる魚のいくつかのフレームを示している。

　《情報処理システムの構成と動作》
　以下、図３Ａ乃至図７Ｄを参照して、本実施形態の情報処理システム３００の構成と動作を詳細に説明する。図３Ａは、本実施形態に係る形状測定部３３０を含む情報処理システム３００の構成を示すブロック図である。

　情報処理システム３００は、水中３１０の対象物体３２０と、４方向から水中３１０の物体に照射する光源３０１～３０４と、４つの異なる波長の画像を撮像するマルチ波長撮像カメラユニット３０５と、情報処理装置３０６とを含む。

　光源３０１～３０４は異なる波長の光を４方向から水中３１０の対象物体３２０に照射する。マルチ波長撮像カメラユニット３０５は、カメラ３５１とカメラ３５１のレンズ前で回転して異なる４つの波長を透過するバンドパスフィルタ３５２とを含むが、異なる４つの波長の画像を撮像可能な撮像装置であれば限定されない。これはあくまでも例示であり、本発明はこの実装に限定されるものではなく、例えば屈折光学系を用いて、４波長以上の光を完全同期撮影する単一視点撮像系を用いてもワンショット画像処理システムを構成できる。

　情報処理装置３０６は、本実施形態の形状測定部３３０としての形状測定部と、３次元物体復元部３４０と、３次元物体の復元像を表示する表示部３５０と、情報処理装置３０６の各構成要素を操作する操作部３６０と、を有する。

　本実施形態の形状測定部３３０は、光源制御部３３１と、光量検知部３３２と、算出部３３３と、キャリブレーション制御部３３４と、を備える。光源制御部３３１および光源３０１～３０４は、少なくとも１波長の光を少なくとも４方向から水中３１０の物体３２０に照射する。光量検知部３３２は、物体３２０からの反射光量を検知する。算出部３３３は、反射光量に基づいて、物体の表面の各点の法線ベクトルと物体の表面の各点までの水中３１０の深度とをそれぞれ各画素ごとに独立に算出する。光源３０１～３０４は、波長と方向との少なくともいずれかがそれぞれ異なる４つ以上の光を物体に照射し、光量検知部３３２は、４つ以上の光による反射光量を別々に検知する。ここで、少なくとも１波長の光は、互いに異なる４波長の光であってもよい。光源３０１～３０４は、同じ１波長の光を照射してもよく、１つの方向に対して他の３つの方向がなす角度が異なってもよい。算出部３３３は、法線ベクトルおよび深度を、光の方向と、光の明るさと、光の波長と、少なくとも１波長に含まれる各波長に関する水中の光吸収率（absorption coefficient）とに基づいて、算出する。また、光源３０１～３０４が水中３１０の対象物体に照射する光は、近赤外光であり、８００ｎｍから１０００ｎｍの間に含まれる波長を有する。キャリブレーション制御部３３４は、光の方向と強度との両方を同時にキャリブレートすることができる。

　光源制御部３３１は、光源３０１～３０４の照射を制御する。本実施形態では、光源３０１～３０４は照射しつづければよく、タイミング制御は不要である。異なる波長を使っている限りは干渉しないからである。しかし、本発明はこれに限定されるものではなく、光源が全ての波長を含み、能動的に点灯を制御してもよい。同じ波長の場合は、照射と撮像を同期しつつタイミングをずらす必要がある。光量検知部３３２は、それぞれの光源で照射された対象物体３２０からの反射光の各画素の光量を検知する。算出部３３３は、光量検知部３３２が検知した、それぞれの光源で照射された対象物体３２０からの各画素の光量から、対象物体３２０表面の各画素の深度と法線ベクトルとを算出する。キャリブレーション制御部３３４は、形状測定部３３０による対象物体３２０表面の各画素の深度と法線ベクトルとの算出に先だって、各構成要素、特に、本実施形態においては光の方向と光の強度との両方を同時にキャリブレーションする。

　《形状測定部の機能構成》
　図３Ｂは、本実施形態に係る形状測定部３３０の機能構成を示すブロック図である。

　形状測定部３３０は、図３Ａの構成要素に加えて、各種パラメータやデータを格納するデータベース３３５を備える。データベース３３５には、光源パラメータ３４１と、カメラパラメータ３４２と、法線ベクトル・深度算出式３４３と、検知光量蓄積部３４５と、キャリブレーションアルゴリスム３４６と、が格納される。光源パラメータ３４１は、光源制御部３３１に接続された光源のパラメータを格納する。カメラパラメータ３４２は、光量検知部３３２に検知した光量を送出するマルチ波長撮像カメラユニット３０５のパラメータを格納する。法線ベクトル・深度算出式３４３は、算出部３３３が、各画素の４つの異なる反射光量から対象物体３２０の表面画素の法線ベクトルおよび深度を算出するための算出式やアルゴリズムを格納する。検知光量蓄積部３４５は、光量検知部３３２が検知した４つの異なる波長の各画素の光量を蓄積する。キャリブレーションアルゴリスム３４６は、形状測定前に行う本実施形態のキャリブレーションのアルゴリズムを格納する。

　形状測定部３３０の算出部３３３は、法線ベクトル・深度算出部３７１と、画素単位データ取得部３７３と、法線深度算出用テーブル３７５と、データ出力部３７６と、を備える。法線ベクトル・深度算出部３７１は、データベース３３５の各パラメータや法線ベクトル・深度算出式３４３を参照して、各画素の異なる検知光量から画素ごとに独立に法線ベクトルおよび深度を算出する。画素単位データ取得部３７３は、画素単位検知光量テーブル３７４を有する。光量検知部３３２は、４つの異なる光源による撮像画像に対応して検知光量を取得し、検知光量蓄積部３４５に蓄積する。画素単位データ取得部３７３は、蓄積された検知光量を、各画素単位の４つの検知光量として取得して、光源制御部３３１と法線ベクトル・深度算出部３７１とに送出する。法線深度算出用テーブル３７５は、データベース３３５の各パラメータや算出式に基づいて、法線深度算出用の中間データおよび形状測定の条件を記憶する。データ出力部３７６は、光源制御部３３１と法線ベクトル・深度算出部３７１とが算出した各画素の深度および法線ベクトルをセットにして出力する。

　（光源パラメータ）
　図４Ａは、本実施形態に係る光源パラメータ３４１の構成を示す図である。光源パラメータ３４１は、深度および法線ベクトルの算出に用いられる各光源のパラメータを光源インデックスｉに対応付けて格納する。図４Ａには、本実施形態で使用可能な２つの光源パラメータの組が示されている。

　光源パラメータ３４１の１つは、光源インデックス４１１に対応付けて、波長４１２と、吸収率４１３と、方向ベクトル４１４を記憶する。この組では、４つの光の波長４１２が異なる場合が示されている。この場合には、前述の実効吸収率の条件を満たせば方向ベクトル４１４が異なることは必須ではない。

　光源パラメータ３４１のもう１つは、光源インデックス４１１に対応付けて波長４１５と、吸収率４１６と、方向ベクトル４１７を記憶する。この組では、４つの光の波長４１５が等しい場合が示されている。この場合には、前述の実効吸収率の条件を満たすために方向ベクトル４１７は異なることが必須である。

　なお、図４Ａには２つの極端な例を示したが、前述の実効吸収率の条件を満たす組み合わせであれば、その光源の組み合わせが使用可能である。

　（カメラパラメータ）
　図４Ｂは、本実施形態に係るカメラパラメータ３４２の構成を示す図である。カメラパラメータ３４２は、深度および法線ベクトルの算出に用いられるマルチ波長撮像カメラユニット３０５の各種パラメータである。

　カメラパラメータ３４２は、方向ベクトル４２１と、バンドパスフィルタ情報４２４とを記憶する。そして、バンドパスフィルタ情報４２４として、光源インデックス４１１に対応付けられたインデックスｉに対応して、バンドパスフィルタで透過する波長λiを記憶する。

　（検知光量蓄積部）
　図４Ｃは、本実施形態に係る検知光量蓄積部３４５における蓄積情報を示す図である。検知光量蓄積部３４５は、データベース３３５に設けられ、光量検知部３３２が検知した光量を異なる波長に対応づけて格納する。

　検知光量蓄積部３４５は、光源インデックス４３１に対応して、撮像画像内の全画素の検知光量４３２が格納される。検知光量４３２は、画素（ｘ）にそれぞれ対応して光量Ｅ（ｘ）を記憶する。

　（画素単位光量テーブル）
　図４Ｄは、本実施形態に係る画素単位検知光量テーブル３７４の構成を示す図である。画素単位検知光量テーブル３７４は、検知光量蓄積部３４５に蓄積された撮像画像単位の検知光量を画素単位の光量に変換したテーブルであり、各画素の深度および法線ベクトルの算出に用いられる。

　画素単位検知光量テーブル３７４は、画素インデックス４４１に対応付けて、光源１を照射した場合の反射光データ４４２と、光源２を照射した場合の反射光データ４４３と、光源３を照射した場合の反射光データ４４４と、光源４を照射した場合の反射光データ４４５とを記憶する。ここで、画素インデックスＸ=(x, y)は画像面上の座標である。各光源ｉを照射した場合の反射光データとしては、波長λi、吸収率αi、方向ベクトル^→ｌiと、検出光量Ｅi(x)とを含む。

　（法線深度算出用テーブル）
　図４Ｅは、本実施形態に係る法線深度算出用テーブル３７５の構成を示す図である。法線深度算出用テーブル３７５は、本実施形態で使用される実効吸収率に関連するテーブル４５０と、法線ベクトルおよび深度を算出するために使用されるテーブル４６０と、本実施形態における形状測定を可能とする条件を記憶するテーブル４８０と、を含む。法線ベクトル・深度算出部３７１は、これらの法線深度算出用テーブル３７５を参照しつつ、反射光量に基づいて、法線ベクトルと深度を算出する。

　テーブル４５０は、光源インデックス４５１に対応して実効吸収率４５２を記憶する。また、実効吸収率を算出するパラメータである、光源吸収率４５３と、光源方向ベクトル４５４と、カメラ方向ベクトル４５５と、を記憶する。
　テーブル４６０は、深度ｄ（ｘ）４６１と法線ベクトル４６２を算出する式４６３、４６４を記憶する。
　テーブル４８０は、物体形状を測定する条件として、光源条件４８１、媒体条件４８２、および物体条件４８３を定義している。

　（キャリブレーション用テーブル）
　図４Ｆは、本実施形態に係るキャリブレーション用テーブル３８１の構成を示す図である。キャリブレーション制御部３３４は、光の方向と光の強度を一度にキャリブレーションするために、キャリブレーション用テーブル３８１を用いる。

　キャリブレーション用テーブル３８１は、完全拡散球の特徴４９１と、完全拡散球を用いて測定した基準深度と基準法線とを含む基準値４９２と、キャリブレーション式４９３と、を記憶する。そして、キャリブレーション式４９３に基づいてキャリブレーションされた、光の方向と光の強度とを含む光源パラメータ４９４を記憶する。

　《形状測定部を含む情報処理装置のハードウェア構成》
　図５は、本実施形態に係る形状測定部３３０を含む情報処理装置３０６のハードウェア構成を示すブロック図である。

　図５で、ＣＰＵ５１０は演算制御用のプロセッサであり、プログラムを実行することで図３Ａの機能構成を実現する。ＣＰＵ(Central Processing Unit)５１０は１つであっても複数であってもよい。ＲＯＭ(Read Only Memory)５２０は、初期データおよびプログラムなどの固定データおよびプログラムを記憶する。ネットワークインタフェース５３０は、ネットワークを介して他の装置との通信を制御する。

　ＲＡＭ(Random Access Memory)５４０は、ＣＰＵ５１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ５４０には、本実施形態の実現に必要なデータを記憶する領域が確保されている。光源別検知光量データ５４１は、カメラが撮像した対象物体からの光源別の反射光量のデータである。画素単位検知光量テーブル３７４は、図４Ｄで説明したように、画素単位の異なる光源による反射光量のデータである。法線深度算出用テーブル３７５は、図４Ｅで説明したように、各画素の深度と法線ベクトルを算出するためのデータを一時保持する。算出された深度データ５４２は、光源制御部３３１で算出された各画素の深度を示すデータである。算出された法線ベクトルデータ５４３は、法線ベクトル・深度算出部３７１で算出された各画素の法線ベクトルを示すデータである。（３次元画素座標、法線ベクトル）データ５４４は、各画素に対応する、算出された深度を含む３次元座標と算出された法線ベクトルとの組のデータである。キャリブレーション用テーブル３８１は，図４Ｆで説明したように、キャリブレーション制御部３３４における光源の方向と強度との同時のキャリブレーションのためのデータである。３次元物体復元データ５４５は、３次元物体復元部３４０における深度と法線ベクトルとを用いた３次元物体の復元のためのデータである。入出力データ５４６は、入出力インタフェース５６０を介して入出力機器と入出力するデータである。送受信データ５４７は、ネットワークインタフェース５３０を介して送受信されるデータである。

　ストレージ５５０は、ＣＰＵ５１０が使用する、本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。光源パラメータ３４１は、図４Ａで説明したように、深度と法線ベクトル算出に用いられる各光源のパラメータを格納する。カメラパラメータ３４２は、図４Ｂで説明したように、深度と法線ベクトル算出に用いられるカメラのパラメータを格納する。法線ベクトル・深度算出式３４３は、法線ベクトルと深度の算出に用いられる算出式を格納する。検知光量蓄積部３４５は、図４Ｃで説明したように、光量検知部３３２が検知した反射光量を格納する。

　ストレージ５５０には、以下のプログラムが格納される。情報処理プログラム５５１は、形状測定部３３０を含む情報処理装置３０６の全体を制御するプログラムである。形状測定プログラム５５２は、形状測定部３３０の全体を制御するプログラムである。キャリブレーション制御モジュール５５３は、光源の方向と強度とを同時にキャルブレーションするモジュールである。光源照射・光量検知制御モジュール５５４は、光源の照射と光量検知とを同期させながら制御するモジュールである。法線深度ベクトル算出モジュール５５５は、各光源による照射の反射光量から各画素の深度と法線ベクトルを算出するモジュールである。３次元物体復元モジュール５５６は、各画素の深度と法線ベクトルとを用いて水中の３次元物体を復元するモジュールである。

　入出力インタフェース５６０は、入出力デバイスとのデータ入出力を制御するためのインタフェースを行なう。本実施形態においては、入出力インタフェース５６０には、光源３０１～３０４を切り替えて照射するための光源ドライバ５６１、マルチ波長撮像カメラユニット３０５、表示部３５０、操作部３６０などが接続される。

　なお、図５のＲＡＭ５４０やストレージ５５０には、情報処理装置３０６が有する汎用の機能や他の実現可能な機能に関連するプログラムやデータは図示されていない。

　《形状測定装置を含む情報処理装置の処理手順》
　図６は、本実施形態に係る形状測定部３３０を含む情報処理装置３０６の処理手順を示すフローチャートである。このフローチャートは、図５のＣＰＵ５１０がＲＡＭ５４０を用いて実行し、図２および図３の機能構成を実現する。

　情報処理装置３０６は、ステップＳ６１１において、キャリブレーションの起動であるか否かを判定する。キャリブレーションの起動であると判定すると、情報処理装置３０６は、ステップＳ６１３において、キャリブレーション処理を実行する。

　キャリブレーションの起動でないと判定すると、情報処理装置３０６は、ステップＳ６２１において、水中の物体からの反射光量の取得であるか否かを判定する。反射光量の取得であると判定すると、情報処理装置３０６は、ステップＳ６２３において、反射光量蓄積処理を実行する。

　キャリブレーションの起動でなく、反射光量の取得でないと判定すると、情報処理装置３０６は、ステップＳ６３１において、水中の物体からの反射光量に基づく深度および法線ベクトルの算出であるか否かを判定する。深度および法線ベクトルの算出であると判定すると、情報処理装置３０６は、ステップＳ６３３において、法線深度ベクトル算出処理を実行する。

　キャリブレーションの起動でなく、反射光量の取得でなく、深度および法線ベクトルの算出でないと判定すると、情報処理装置３０６は、ステップＳ６４１において、算出された深度および法線ベクトルを用いた３次元物体の復元であるか否かを判定する。３次元物体の復元であると判定すると、情報処理装置３０６は、ステップＳ６４３において、３次元物体復元処理を実行する。

　（キャリブレーション処理）
　図７Ａは、本実施形態に係るキャリブレーション処理（Ｓ６１３）の手順を示すフローチャートである。

　情報処理装置３０６は、ステップＳ７１１において、完全拡散球を水中の既知の深度ｄ1...ｄnに浸す。情報処理装置３０６は、ステップＳ７１３において、基準深度^ｄ(x)と基準法線^→^ｎ(x)を算出して基準を設定する。情報処理装置３０６は、ステップＳ７１５において、深度ｄ(l, L, x)と法線ベクトル^→ｎ(l. L, x)とを算出する。そして、式（１７）に従って、各光源の光源方向ｌと光源強度Ｌとをキャリブレーションして設定する。

　（反射光量蓄積処理）
　図７Ｂは、本実施形態に係る反射光量蓄積処理（Ｓ６２３）の手順を示すフローチャートである。

　光源制御部３３１は、ステップＳ７２１において、光源を駆動し、光源からの光を物体に照射する。次にステップＳ７２３において、ｉを１に設定する。さらにステップＳ７２５において、光量検知部３３２は、カメラ３５１およびバイパスフィルタ３５３を制御して、水中３１０の物体３２０を撮像させて、画素ごとの波長λ_iの反射光量を取得する。そして、光量検知部３３２は、ステップＳ７２７において、波長λ_iに対応付けて画素ごとの波長λ_iの反射光量を検知光量蓄積部３４５に蓄積する。

　光量検知部３３２は、ステップＳ７２９において、ｉ≧４であるか否かを判定する。ｉ≧４でなければ、光量検知部３３２は、ステップＳ７３１において、ｉに１を加え（ｉ←ｉ＋１）、ステップＳ７２５に戻り、他の波長の光の反射光量の取得を繰り返す。ｉ≧４であれば、全４波長の反射光量を全て取得したことになるため反射光量蓄積処理を終了する。

　（法線深度ベクトル算出処理）
　図７Ｃは、本実施形態に係る深度・法線ベクトル算出処理（Ｓ６３３）の手順を示すフローチャートである。

　情報処理装置３０６は、ステップＳ７４１において、データベース３３５から、光源パラメータ、カメラパラメータ、法線ベクトル・深度算出式を取得する。情報処理装置３０６は、ステップＳ７４３において、法線深度算出用テーブル３７５を生成する。情報処理装置３０６は、ステップＳ７４５において、画素インデックスｘ_mnをｘ₁₁(x₁,y₁)に初期化する。

　情報処理装置３０６は、ステップＳ７４７において、画素インデックスx_mnにおける、光源λ₁～λ_Kに対応する光量のＥ₁～Ｅ_Kをデータベース３３５から取得する。情報処理装置３０６は、ステップＳ７４９において、光量E₁～E_Kから画素x_mnの法線ベクトル^→ｌ(x)および深度ｄ(x)を算出する。そして、情報処理装置３０６は、ステップＳ７５３において、画素x_mnの（法線ベクトル^→ｌ(x)，深度ｄ(x)）の組を出力する。なお、画素単位に出力しても、全画素や一部画素の組を一括して出力してもよい。

　情報処理装置３０６は、ステップＳ７５５において、ｍ≧βかつｎ≧γであるか否かを判定する。ｍ≧βかつｎ≧γでなければ、情報処理装置３０６は、ステップＳ７５７において、ｍまたはｎに１を加えて（ｍ←ｍ＋１ or ｎ←ｎ＋１）、ステップＳ７４７に戻って、他の画素の法線ベクトルおよび深度の算出を繰り返す。ｍ≧βかつｎ≧γであれば、情報処理装置３０６は、ステップＳ７５９において、光源が照射した物体表面画素の（法線ベクトルｌ(x)，深度ｄ(x)）の組を、３次元物体復元処理のために記憶する。

　（３次元物体復元処理）
　図７Ｄは、本実施形態に係る３次元物体復元処理（Ｓ６４３）の手順を示すフローチャートである。

　情報処理装置３０６は、ステップＳ７６１において、物体表面画素の位置(x,y,算出深度）と法線ベクトルとを取得する。情報処理装置３０６は、ステップＳ７６３において、視点を変更するか否かを判定する。視点を変更すると判定されれば、情報処理装置３０６は、ステップＳ７６５において、全画素の位置と法線ベクトルとに対応して３次元画像を生成する。一方、視点を変更しないと判定されれば、情報処理装置３０６は、ステップＳ７６７において、全画素の位置と法線ベクトルとを視点の変更ししたがって変更して、３次元画像を生成する。そして、情報処理装置３０６は、ステップＳ７６９において、生成された３次元画像を、水中の対象物体の３次元復元像として出力する。

　本実施形態によれば、物体の表面の各点の法線ベクトルと深度とをそれぞれ独立に算出するので、不連続面を有する物体についても、高精度に表面形状を測定することできる。また、物体表面の座標および向きをリアルタイムに導出できるため、動いている物体の形状を短時間に正確に認識できる。また、カメラを動かしながら広範囲の表面形状を短時間に認識できる。さらに、光源の方向と強度とのキャリブレーションを容易に精度よく行なうことができる。

　［第３実施形態］
　次に、本発明の第３実施形態に係る形状測定装置について説明する。本実施形態に係る形状測定装置は、上記第２実施形態と比べると、生体内に挿入される内視鏡によって生体内の３次元物体の形状を測定する点で異なる。本実施形態の形状測定装置は、生体内の媒体中に挿入された内視鏡から少なくとも４方向からの光を照射し、内視鏡から反射画像の画素光量を取得して、生体内部表面の深度と法線ベクトルを算出する。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。なお、ここで「生体内」とは、脳内、耳鼻咽喉内、胸腔内、気管支内、上部消化管内、腹腔内、十二指腸内、膵管内、胆道内、小腸内、大腸内、直腸内、膀胱内、尿道内、尿管内、子宮内、羊水内、骨盤腔内、または血管内を意味する。

　《内視鏡システムの構成》
　図８は、本実施形態に係る形状測定部３３０を含む内視鏡システム８００の構成を示すブロック図である。なお、図３Ａと同様の構成要素には同じ参照番号を付して、重複する説明を省略する。

　本実施形態の図３Ａとの相違点は、内視鏡のホース中を４つの光源８０１～８０４のための光と、カメラ８０５への光を通す光ファイバ８５１を有することである。また、情報処理装置８０６が媒体制御部８７０を有することである。媒体制御部８７０は、人体８１１の内部に媒体８１０が満たされるように媒体を補給するために用いられる。

　表示部３５０には、本実施形態により復元された生体内部の３次元画像８５０が表示される。

　《形状測定装置の反射光量蓄積処理》
　図９は、本実施形態に係る形状測定部３３０を含む情報処理装置８０６の反射光量蓄積処理の手順を示すフローチャートである。なお、図７Ｂと同様のステップには同じステップ番号を付して、重複する説明を省略する。

　情報処理装置８０６は、ステップＳ９２０において、体内の観測対象の腔内を媒体で満たす。例えば、水や経口補給水などで腔内を満たす。

　本実施形態によれば、内視鏡によって生体内部の３次元画像のリアルタイムでの復元精度を高めることができる。なお、顕微鏡においても同様の構成で適用でき、同様の効果を奏することができる。また、水道管等の内部を移動しながら、壁面の凹凸を測定することにも本発明を同様に適用することができる。

　［他の実施形態］
　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。

　また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。

　この出願は、２０１９年１０月１１日に出願された日本出願特願２０１９－１８８２０８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (12)

1. 　少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する光源ユニットと、
   　前記少なくとも１波長の光の前記物体による反射光量を検知する光量検知部と、
   　前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記光量検知部から前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
   　を備えた形状測定装置。
2. 　前記光源ユニットは、波長と方向との少なくともいずれかがそれぞれ異なる４つ以上の光を前記物体に照射し、
   　前記光量検知部は、前記４つ以上の光による反射光量を別々に検知する請求項１に記載の形状測定装置。
3. 　前記少なくとも１波長の光は、互いに異なる４波長の光である請求項２に記載の形状測定装置。
4. 　前記少なくとも１波長の光は、１波長の光であり、前記４方向は、１つの方向に対して他の３つの方向がなす角度が異なる請求項２に記載の形状測定装置。
5. 　前記算出部は、前記光の方向と、前記光の明るさと、前記光の波長と、前記少なくとも１波長に含まれる各波長に関する前記媒体の光吸収率（absorption coefficient）とに基づいて、前記法線ベクトルおよび前記深度を算出する請求項１乃至４のいずれか１項に記載の形状測定装置。
6. 　前記光は近赤外光である請求項１乃至５のいずれか１項に記載の形状測定装置。
7. 　前記媒体は水であり、
   　前記少なくとも１波長の光は、８００ｎｍから１０００ｎｍの間に含まれる波長を有する請求項６に記載の形状測定装置。
8. 　照射する前記光のインデックスをi、前記光の波長をλ_i、前記光の吸収率をα(λ_i)、前記照射する光の方向ベクトルを^→ｌ_i、光源行列をＬ=[^→ｌ₂ ... ^→ｌ_K](Kは照射する光の総数：K≧4)、前記光量検知部の方向ベクトルを^→ｌ_c、前記物体の表面画素のインデックスをｘ、前記表面画素の法線ベクトルを^→ｎ(x)、前記表面画素の深度をｄ(x)、とし、
   

   

   の^α_iを前記光の有効吸収率と定義した場合に、
   　前記光量検知部で検知した光量Ｅ₁～Ｅ_Kに基づいて、
   

   

   から、法線ベクトル^→ｎ(x)と深度ｄ(x)との解を求める請求項１乃至７のいずれか１項に記載の形状測定装置。
9. 　前記光の方向と強度との両方を同時にキャリブレートするキャリブレーション制御部を、さらに備えた請求項１乃至８のいずれか１項に記載の形状測定装置。
10. 　体内に挿入して、少なくとも１波長の光を少なくとも４方向から媒体中の生体内部表面に照射する光源ユニットと、
    　前記体内に挿入して、前記少なくとも１波長の光の前記生体内部表面による反射光量を検知する光量検知部と、
    　前記反射光量から、前記生体内部表面の各点の法線ベクトルと、前記光量検知部から前記生体内部表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出部と、
    　を備えた内視鏡システム。
11. 　少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する照射ステップと、
    　前記少なくとも１波長の光の前記物体による反射光量を検知する光量検知ステップと、
    　前記反射光量から、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
    　を含む形状測定方法。
12. 　少なくとも１波長の光を少なくとも４方向から媒体中の物体に照射する前提として、前記光の方向と、前記光の明るさと、前記光の波長と、前記光に関する前記媒体の光吸収率（absorption coefficient）とを設定する設定ステップと、
    　前記設定ステップで設定された値および前記光を照射した際の前記物体からの反射光量に基づいて、前記物体の表面の各点の法線ベクトルと、前記物体の表面の各点までの前記媒体中の深度と、を各点において独立に算出する算出ステップと、
    　をコンピュータに実行させる形状測定プログラム。

Images