JP6425406B2 - 情報処理装置、情報処理方法、プログラム - Google Patents

Description

本発明は、パターンを投影して物体の位置姿勢を計測する技術に関する。

物体の位置姿勢計測では画像を利用する三次元計測技術が広く使われている。画像を利用する三次元計測技術の代表的な方法の一つであるステレオ法では、相対的な位置及び姿勢が既知な二台のカメラ（ステレオカメラ）により撮影された画像から三角測量の原理に基づいて三次元計測を行う。ステレオカメラを利用する場合、画像上での輝度変化が少ない領域ではカメラ間で対応する点を探索するのが困難である。そのため、ステレオカメラに加えてプロジェクタなどの照明装置によって計測対象にパターンを投影することで対応点探索を容易にすることが広く行われている。また、ステレオカメラの一方のカメラをプロジェクタなどの照明装置に置き換え、カメラと照明装置をステレオペアとして利用する三次元計測も広く行われている。

このような照明装置を用いたステレオ計測においては投影パターンとして複数の線から成るパターンがしばしば用いられるが、その場合パターンの向きによって計測して得られる三次元計測点の分布や精度が変動する。特許文献１は、それぞれ異なる位置に２つのプロジェクタを配置し、まず一方のプロジェクタからパターンを投影しカメラで撮像する。撮像された画像に、投影されたパターンにより生じる影の影響が多く含まれ、三次元計測に適さないと判断された場合に、もう一方のプロジェクタによりパターンを投影することを開示している。

特開平７―２３４１１３号公報

しかしながら特許文献１に開示されている方法では、対象物体の三次元的な形状を考慮していないため、設定された線パターンは好適でない場合もある。例えば、対象物体の表面である方向に凹凸が繰り返されるような場合に、その凹凸が繰り返される方向に対して、垂直な方向に線パターンの長手方向を設定すると、表面の凹凸を測定することができない。

本発明は以上の課題に鑑みてなされたものであり、好適に対象物体の位置姿勢計測を行うためのパターンの方向を決定する方法ことを目的とする。

本発明の情報処理装置は、撮像手段により撮像された、対象物体を含む画像を取得する画像取得手段と、前記画像に基づいて、前記対象物体の形状の変化を示す情報を算出する算出手段と、前記形状の変化を示す情報に基づいて、投影手段により前記対象物体に投影するパターンの向きを決定する決定手段と、前記決定手段で決定されたパターンの向きを有するパターンを投影する投影手段と、前記パターンが投影された対象物体を撮像する複数の撮像手段とを備え、前記画像取得手段は、前記複数の撮像手段で撮像された複数の画像を取得し、更に、前記取得した複数の画像それぞれにおいて、前記画像中で、前記対象物体の三次元計測が不能な領域を導出し、該導出された領域の大きさに基づいて、前記対象物体の三次元計測に用いるための画像を決定する画像決定手段とを備える。

本発明により、対象物体の特性を考慮することで対象物体の位置姿勢計測を精度良く行うのに最適なパターン方向を決定することが可能になる。

本発明の情報処理装置を用いた位置姿勢計測システムの構成を示す。 本発明の第１の実施形態に係る装置の構成図を示す。 本発明の第１の実施形態に係るフローチャートを示す。 本発明の第１の実施形態の形状変化の分布の算出方法に係るフローチャートを示す。 本発明の第１の実施形態に係る処理過程を示す図を示す。 本発明の第１の実施形態に係る処理結果を提示する画面を示す。 本発明の第２の実施形態の情報処理装置の構成図を示す。 本発明の第２の実施形態の形状変化の分布の算出方法に係るフローチャートを示す。 本発明の第３の実施形態の形状変化の分布の算出方法に係るフローチャートを示す。 本発明の第５の実施形態に係る情報処理装置の構成を示す。 本発明の第５の実施形態に係るプロジェクタへのパターンの設定を補助する画面の例を示す。 本発明の第６の実施形態に係る装置の構成を示す。 本発明の第６の実施形態に係るフローチャートを示す。 本発明の第６の実施形態に係る選択した画面又はカメラをユーザに提示する画面の例を示す。 本発明の情報処理装置のハードウェア構成を示す。

本発明にかかる各実施形態を説明するのに先立ち、各実施形態に示す情報処理装置が実装されるハードウェア構成について、図１５を用いて説明する。

図１５は、本実施形態における情報装置のハードウェア構成図である。同図において、ＣＰＵ１５１０は、バス１５００を介して接続する各デバイスを統括的に制御する。ＣＰＵ１５１０は、読み出し専用メモリ（ＲＯＭ）１５２０に記憶された処理ステップやプログラムを読み出して実行する。オペレーティングシステム（ＯＳ）をはじめ、本実施形態に係る各処理プログラム、デバイスドライバ等はＲＯＭ１５２０に記憶されており、ランダムアクセスメモリ（ＲＡＭ）１５３０に一時記憶され、ＣＰＵ１５１０によって適宜実行される。また、入力Ｉ／Ｆ１５４０は、外部の装置（表示装置や操作装置など）から情報処理装置１で処理可能な形式で入力信号として入力する。また、出力Ｉ／Ｆ１５５０は、外部の装置（表示装置）へ表示装置が処理可能な形式で出力信号として出力する。

これらの各機能部は、ＣＰＵ１５１０が、ＲＯＭ１５２０に格納されたプログラムをＲＡＭ１５３０に展開し、後述する各フローチャートに従った処理を実行することで実現されている。また例えば、ＣＰＵ１５１０を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。

（第１の実施形態）
本実施形態では、物体の特性として形状変化の分布、具体的には物体表面の法線方向の変化の分布を考慮し、法線方向の変化が激しい方向の距離点を密に計測できるよう投影パターンの向きを決定する。本実施形態では法線方向の変化が激しい方向を、対象物体を撮影した二次元画像をフーリエ変換し周波数のフーリエスペクトルが大きい方向とみなしてパターンの向きを決定する。これは法線方向の変化が激しい方向の周波数のフーリエスペクトルは大きくなると考えるからである。一般的に平行線のパターンを用いたアクティブステレオ方式の三次元計測では平行線の方向で最も密に距離点が計測できるので物体の法線方向の変化が激しい方向に平行線の方向が合うように投影パターンの向きを決定する。

以下、本実施形態の詳細を説明する。

図１は本実施形態に係る位置姿勢計測システムの構成の一例を示した図である。

本実施形態の情報処理装置１０は、カメラ１１０と投影装置１２０と表示装置に接続されている。情報処理装置１０は取得した画像中のパターンの検出結果に基づいて画像中の画素と液晶プロジェクタの投影画像中の画素の対応付けを行い三角測量により三次元形状を計算する。本実施形態はこのような三次元計測システムにおいて位置姿勢を計測するのに最適な投影光のパターンの向きを決定する情報処理装置である。

物体１００は、位置姿勢を計測する対象物体である。

カメラ１１０は、対象物体１００の画像を撮像する。カメラ１１０は、モノクロカメラでもよいしカラーカメラでもよい。カメラ１１０の焦点距離や画像中心、レンズ歪みパラメータといった内部パラメータは予めキャリブレーションされているものとする。また、プロジェクタ１２０に対するカメラ１１０の相対的な位置及び姿勢（外部パラメータ）も予めキャリブレーションされているものとする。

プロジェクタ１２０は、対象物体１００にパターンを投影する。プロジェクタ１２０には、例えば液晶プロジェクタが用いられるが、これに限られるものではない。パターン１２１は投影されたプロジェクタ１２０から投影されるパターンである。投影されるパターンは、平行線と各平行線を一意に識別できるように平行線上に付与した符号から構成される。パターンの投影は、液晶プロジェクタで画像を出力することで行い、出力する画像を変えることでパターンの方向を制御できる。カメラ１１０とプロジェクタ１２０の相対位置姿勢は予めキャリブレーションされており既知である。

図２は本実施形態に係る情報処理装置１０の構成を示した図である。

画像取得部１３０は、カメラ１１０によって撮影された画像を取得する。

パターン出力部１４０は、プロジェクタ１２０を制御してパターンを投影する。

形状変化算出部１５０は、対象物体の形状変化の分布を算出する。具体的には、対象物体の画像を処理してパターン方向を決定する為に用いる計測対象の形状変化の分布を算出する。

パターン方向決定部１６０は、プロジェクタ１２０によって投影されるパターンの方向を決定する。形状変化の分布に基づいてパターン方向を決定する。

三次元形状計算部１７０は、対象物体の三次元形状を計算する。具体的には、決定された方向でパターンが投影された対象物体の画像を処理して、対象物体表面の各位置の三次元座標を計算する。

モデル保持部１８０は、対象物体の三次元形状を表す形状モデルを保持する。本実施形態では、情報処理装置１０の内部の記憶領域に保持されているとして説明するが、外部の記憶媒体にモデルを保持しておき、その記憶媒体から取得してもかまわない。

位置姿勢導出部１９０は、対象物体の位置姿勢を導出する。三次元形状計算部２４０が算出した対象物体の三次元座標に対象物体の形状モデルをフィッティングすることで対象物体の位置姿勢を算出する。

図３は本実施形態に係る処理手順を示したフローチャートである。

（ステップＳ３０１）
ステップＳ３０１では、形状変化算出部１５０が、対象物体の形状変化の分布を算出する。この処理についてはさらに図４のフローチャートを用いて詳しく説明する。

（ステップＳ４０１）
ステップＳ４０１では、カメラ１１０が、対象物体の画像をプロジェクタでパターンを投影していない状態で撮影する。図５（ａ）はこのようにして取得した対象物体の画像を表す図である。

（ステップＳ４０２）
ステップＳ４０２では、形状変化算出部１５０は、取得した画像ｆ（ｘ、ｙ）の離散的フーリエ変換Ｆ（ｕ、ｖ）を得る。（ｘ、ｙは取得画像上の画素の二次元座標であり、ｆは当該画素の輝度値である。ｕ、ｖはそれぞれｘ方向、ｙ方向の空間周波数を表しＦは当該周波数の複素数である。）
（ステップＳ４０３）
ステップＳ４０３では、形状変化算出部１５０は、パターンの方向を表すｂｉｎを作成する。ここでは１８０度を２２．５度毎に分割して８個のｂｉｎを作成する。それぞれのｂｉｎは０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度を基準としたパターンの方向を表し、ｂｉｎのスコアはその方向が三次元計測にどの程度適しているかを示す数値である。各ｂｉｎのスコアは０で初期化する。本実施形態ではｂｉｎの数を８としたが、プロジェクタが切り替え可能なパターン方向の分解能に応じて分割数とその方向を決めてもよい。

（ステップＳ４０４）
ステップＳ４０４では、形状変化算出部１５０は、離散的フーリエ変換で得られた各ｕ、ｖにおいてフーリエスペクトルを計算し、ｕ、ｖに対応するｂｉｎのスコアに加算する。ここでフーリエスペクトルとはｕ、ｖにおける複素数Ｆの絶対値

であり

で定義される値である。ただし、Ｒｅ｛Ｆ（ｕ、ｖ）｝、Ｉｍ｛Ｆ（ｕ、ｖ）｝はそれぞれＦ（ｕ、ｖ）の実部と虚部を表す。こうして全てのデータにおいて、対応するｂｉｎのスコアにフーリエスペクトルの値を加算したものを形状変化の分布とする。図５（ｂ）は離散的フーリエ変換の結果をｕ、ｖ平面上にフーリエスペクトルを輝度として画像にしたものである。この図上で線分で区切られた領域４００〜４７０がそれぞれ上記で説明したｂｉｎの０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度に対応している。このようにして各領域において輝度（フーリエスペクトル）を加算したものを形状変化の分布とする。図５（ｃ）は形状変化の分布をヒストグラムにして図示したものである。

説明を図３のフローチャートに戻して続きを説明する。

（ステップＳ３０２）
ステップＳ３０２では、パターン方向決定部１６０が、形状変化の分布で最もスコアが高いｂｉｎが表す方向をパターン方向として決定する。図５（ｃ）の例では０度方向が取得される。本実施形態ではｂｉｎのスコアのみに基づいてパターン方向を決定したが、ｂｉｎのスコア以外の指標を組み合わせて使っても良い。例えば液晶プロジェクタの場合はパターン方向によってはアンチエイリアスがかかりパターンの像がボケるのでｂｉｎのスコアが良い方向の中からアンチエイリアスがかからない方向を優先的に選択しても良い。

（ステップＳ３０３）
ステップＳ３０３では、パターン出力部１４０が、ステップＳ３０２で決定した方向でパターンを投影する。液晶プロジェクタでは内蔵する液晶パネルに出力した画像がそのまま投影パターンになるので決定されたパターン方向の画像を生成し液晶プロジェクタに出力することで決定された方向でパターンを投影する。

（ステップＳ３０４）
ステップＳ３０４では、画像取得部１３０が、パターンが投影されている状態の対象物体の画像を取得する。

（ステップＳ３０５）
ステップＳ３０５では、三次元形状算出部１７０が、取得した画像を処理して対象物体の三次元形状、具体的には対象物体の表面上の距離点群を計算する。

（ステップＳ３０６）
ステップＳ３０６では、位置姿勢導出部１９０が、モデル保持部１８０から対象物体の形状モデルを取得する。

（ステップＳ３０７）
ステップＳ３０７では、位置姿勢導出部１９０が、対象物体の距離点群に対象物体の形状モデルをフィッティングすることで対象物体の位置姿勢を算出する。モデルフィッティングは具体的には公知のＩＣＰアルゴリズムを使って対象物体の距離点群とモデルの間の三次元距離を最小化する位置姿勢を算出する。この時、対象物体の距離点群が凹凸に乏しく平面的であると平面内での位置が定まりにくい。本実施形態では上記で説明したように対象物体の凹凸が激しい方向を密に距離点群を計測することで位置が定まりやすくなり、位置姿勢の計測精度を向上することができる。

なお、本実施形態ではパターンを複数の平行線のパターンとしたが、投影方向によって計測密度が異なるようなパターンであれば他の幾何模様をしたパターンでも本発明の実施は可能である。例えば平行線を識別するために符号を付与する代わりに平行線の各線の色を変えたパターンでもよい。更に、三次元計測は一枚のパターンを照射・撮影して行う方法だけでなく、複数のパターンを投影・撮影してもよい。例えば空間コード化法に用いる線幅の異なる複数のバイナリパターンでもよいし、位相シフト法に用いる複数の正弦波パターンでもよい。

本実施形態ではｂｉｎの分割は領域同士の重なりをなくして排他的に行ったが、近傍のｂｉｎと重なりを持たせて設定しても良い。例えばプロジェクタのパターン方向の切り替え分解能が１度である場合は基準方向を１度ずつ１８０のｂｉｎを作成し、各ｂｉｎの幅を例えば３０度としてもよい。こうすることでｂｉｎの分割数が多くなったときにノイズなどの影響で偶然的にスコアが高くなったｂｉｎが不適切に選択されるケースを除くことできる。

本実施形態では最も高いスコアのｂｉｎが表す方向をパターン方向としたが実際には、プロジェクタのハードウェアの制約やカメラの位置の制約であらかじめ投影可能な方向の候補が絞り込まれている場合がある。例えば三次元計測における対応点を探索するエピポーラ線の方向とパターンの平行線の方向が平行に近いと、カメラ画像と液晶プロジェクタの投影画像間の対応画素を検出する精度が低下するのでこのようなパターン方向は適切ではない。また、そもそもハードウェアの機構的な制約であらゆる方向にはパターンの方向を設定できない場合も考えられる。このような状況を考慮してあらかじめパターン方向の設定可能な範囲を決めておき、この範囲の中で最も高いスコアのｂｉｎが表す方向をパターンの方向として決定してもよい。また、最もスコアの高いｂｉｎが表す方向以外に二番目、三番目にスコアの高いｂｉｎに対応する方向もパターン方向の候補として保持しておきユーザに提示し、最終的な判断をユーザ指示に基づいて決定してもよい。

本実施形態では、プロジェクタを液晶プロジェクタとして、液晶パネルへの出力を切り替えることでパターンの投影方向を切り替える方法を説明したが、本発明の実施はこれに限るものではない。すなわち、対象物体に対する投影するパターンの方向を機械的に切り替える手段を備えてもよい。例えば液晶プロジェクタの筐体もしくは液晶パネルを機械的に回転させることでパターンの投影方向を制御する方法でも良い。プロジェクタが、液晶プロジェクタではなく照射光をパターンが刻まれたスリット板に通すことでパターンの投影を行う方式のものである場合はスリット板を機械的に回転させることでパターンの投影方向を変えてもよい。さらにはパターンの投影方向を変えずに、対象物体を設置している台を回転させることで対象物体に対するパターンの投影方向を切り替えてもよい。

以上述べたように、物体の凹凸が激しい方向を密に三次元計測できるよう投影するパターンの方向を決定することで位置姿勢計測を高精度化することができる。

［変形例１−１］
第１の実施形態では、ステップＳ３０１において、形状変化算出部１５０が、形状変化の分布を法線方向の変化の分布とみなし、法線方向の変化の分布を対象物体の画像の離散的フーリエ変換によって算出する例を説明した。しかし、法線方向の変化の分布が求められるのであれば算出方法はこの方法に限るものではない。例えば対象物体の法線方向が激しく変化する方向は観測される画像の輝度変化も激しくなると考えて画像の輝度勾配に基づいて求めても良い。その場合は対象物体を撮影した画像の各画素における輝度勾配ベクトルを算出し、その輝度勾配ベクトルの方向に対応するｂｉｎのスコアに輝度勾配ベクトルの大きさを加算したものを形状変化の分布とする。

［変形例１−２］
第１の実施形態ではステップＳ３０１において、形状変化算出部１５０が、対象物体の画像全体から形状変化の分布を算出した。しかし、画像中に対象物体以外のものが写り込んでいる場合は先にテンプレートマッチングなどで対象物体の画像中における位置を絞り込んで、その領域についてのみ形状変化の分布を算出してパターン方向を決めてもよい。こうすることで対象物体以外の物体や背景の影響を除くことができる。さらに対象物体が画像中に複数あり、領域的に分離可能な場合は、領域を分割して各領域に対して形状変化の分布を算出してパターン方向を決めても良い。この場合、プロジェクタが液晶プロジェクタのように領域毎にパターン方向を切り替えることができる装置であれば一回の計測で領域毎に最適なパターン方向で計測することが可能である。

［変形例１−３］
第１の実施形態では決定したパターン方向で対象物体の三次元形状を計測する方法を説明したが、さらに決定されたパターン方向をユーザへ提示する手段を伴ってもよい。この場合はパターン出力部１４０が外部の表示装置に決定されたパターン方向を出力し、表示装置は、パターン方向を提示する画面を表示する。

図６は決定されたパターンをユーザに提示する表示画面の一例である。領域５００は、パターンの候補投影方向を示す領域であり、カメラで撮影した対象物体の画像が表示されている。線５１０は、決定したパターン方向で投影したパターンを表している。この図のように対象物体の画像にパターンを重畳して表示しても良いし、対象物体の位置姿勢と形状モデルが既知であるならばプロジェクタまたはカメラから見た対象物体とパターンの様子をシミュレーションでレンダリングした画像を表示してもよい。領域５２０は、領域５００で選択されているパターンの投影方向を示す数値を表示する領域である。

このようにして決定したパターンが対象物体に投影される様子を図示することでユーザへパターン方向を提示することが可能である。

なお、ここで示した画面は一例であり、パターン方向を表示する画面であれば画面の構成要素やレイアウトはこの例に限らない。またパターン方向を決定する際に形状変化の分布から得られた２番目、３番目にふさわしいとされる候補方向についても画面に備えるボタンを押すことで切り替えて表示しても良いし、リストにして表示しても良い。

（第２の実施形態）
第１の実施形態では対象物体を撮影した二次元画像に基づいて形状変化の分布を算出したが、本実施形態では対象物体の三次元形状に基づいて形状変化の分布を算出する方法を説明する。本実施形態においても第１の実施形態と同様に、物体の特性として形状変化の分布、具体的には物体表面の法線方向の変化の分布を考慮し、法線方向の変化が激しい方向が密に計測できるよう投影パターンの向きを決める。ここでは法線方向の変化が激しい方向を対象物体の位置姿勢と形状モデルとから生成した距離画像をフーリエ変換し周波数のフーリエスペクトルが大きい方向とみなしてパターンの向きを決定する。このように対象物体の二次元画像ではなく三次元形状に基づいて形状変化の分布を算出することで物体の凹凸が激しい方向をパターン方向として、より正確に決定することができる。

本実施形態に係る三次元計測システムの構成を図１に、情報処理装置２０の構成図を図７に示す。本実施形態は、第１の実施形態と、形状変化算出部２２０によるステップＳ３０１の処理が異なる。以降この差異について説明する。

図７は処理ステップＳ３０１を本実施形態に係る方法で実施するときの詳細な手順を表すフローチャートである。

（ステップＳ８０１）
ステップＳ８０１では、形状変化算出部７５０が、モデル保持部７８０から対象物体の形状モデルを取得する。

（ステップＳ８０２）
ステップＳ８０２では、画像取得部７３０が、カメラ１１０から対象物体の画像を取得する。

（ステップＳ８０３）
ステップＳ８０３では、形状変化算出部７５０が、テンプレートマッチングで対象物体の位置姿勢を算出（推定）する。具体的には事前に対象物体の形状モデルに基づいて対象物体の様々な姿勢の画像をシミュレーションにより生成し、テンプレート画像としておく。ステップＳ８０２で取得した対象物体の画像上でテンプレート画像をスライドさせて照合し、最もマッチするテンプレート画像を生成した対象物体の姿勢とその検出位置を対象物体の位置姿勢とする。

（ステップＳ８０４）
ステップＳ８０４では、形状変化算出部７５０が、カメラから見た物体の距離画像をシミュレーションで生成する。具体的にはステップＳ７０３までで算出した対象物体の位置姿勢と形状モデル情報とを用いてカメラで撮影した場合の各画素の光線方向でぶつかる物体表面の距離を算出し各画素の値とすることで距離画像とする。

（ステップＳ８０５）
ステップＳ８０５では、形状変化算出部７５０が、距離画像ｆ（ｘ、ｙ）の離散的フーリエ変換Ｆ（ｕ、ｖ）を得る。（ｘ、ｙは距離画像上の画素の二次元座標であり、ｆは当該画素の距離値である。ｕ、ｖはそれぞれｘ方向、ｙ方向の空間周波数を表しＦは当該周波数の複素数である。）
ステップＳ８０６、ステップＳ８０７はそれぞれステップＳ４０３、ステップＳ４０４と同様の処理を距離画像の離散的フーリエ変換結果に対して行う。

上記の処理の他は、第１の実施形態と同様の処理を行うことでパターン方向を決定し対象物体の位置姿勢を計測することができる。

なお、本実施形態では対象物体の画像中における位置姿勢をテンプレートマッチングで算出したが、位置姿勢の算出方法はこの方法に限らない。例えば、仮のパターン方向で計測した対象物体の三次元計測結果に対象物体の形状モデルをフィッティングすることで、より精度の高い位置姿勢を求める。そして、求められた位置姿勢に基づいてシミュレーションで距離画像を生成し、フーリエ変換をして形状変化の分布を算出してもよい。さらに、対象物体の位置姿勢は外部の供給装置（ロボットなど）から直接取得してもよい。

以上述べたように、物体の凹凸が激しい方向を密に三次元計測できるようパターン方向をより正確に算出するために、対象物体の二次元画像ではなく三次元形状に基づいて決定する方法を説明した。対象物体の凹凸が激しい方向を密に距離点群を計測することで位置が定まりやすくなり、位置姿勢計測を高精度化することができる。

（第３の実施形態）
本実施形態では精度よく位置姿勢計測を行うためには三次元距離点の精度が高くなるよう三次元形状を計測することが望ましいと考える。一般的に平行線のパターンを用いたアクティブステレオ方式の三次元計測ではパターンが当たっている表面がパターンの平行線の方向に直交する方向に傾斜すると光の線が太くなり、画像中から線を検出する精度が落ちる。一方でパターンの平行線の方向に傾斜している場合は光の線の太さは変わらないため検出精度も落ちない。そこで本実施形態では物体の特性として形状変化の分布、具体的にはパターンが当たる対象物体の表面の法線方向の分布を考慮する。そして、対象物体の傾斜方向と平行線の方向が同じ方向になるようパターンの投影方向を決めることで三次元形状計測を高精度に行う方法を説明する。

本実施形態に係る三次元計測システムの構成、及びシステム構成に含まれる情報処理装置の構成図は第２の実施形態で示した図１、図７と同様であるため、各機能部の番号は、第１の実施形態と同じ番号を与えて説明する。本実施形態では、第２の実施形態の形状変化算出部７５０によるステップＳ８０３〜８０５の処理が異なる。以降この差異について説明する。

図９はステップＳ３０１を本実施形態に係る方法で実施するときの詳細な手順を表すフローチャートである。

（ステップＳ９０１）
ステップＳ９０１では、形状変化算出部７５０は、対象物体の形状モデルを取得する。

（ステップＳ９０２）
ステップＳ９０２では、形状変化算出部７５０は、対象物体の位置姿勢を算出する。この算出方法は第２の実施形態で説明したステップＳ８０３の処理と同様であるのでここでの説明は割愛する。

（ステップＳ９０３）
ステップＳ９０３では、形状変化算出部７５０は、プロジェクタから対象物体の表面を観測した時の、表面法線の方向を算出する。具体的にはステップＳ９０２までで算出した対象物体の位置姿勢と形状モデル情報を用いてカメラで撮影した場合の各画素の光線方向でぶつかる物体表面の法線方向を算出する。

（ステップＳ９０４）
ステップＳ９０４では、形状変化算出部７５０は、パターンの方向を表すｂｉｎを作成する。ここでは１８０度を２２．５度毎に分割して８個のｂｉｎを作成する。そして各ｂｉｎのスコアを０で初期化する。

（ステップＳ９０５）
ステップＳ９０５では、形状変化算出部７５０は、ステップＳ８０３で算出した各画素における対象物体の法線方向のカメラ視線方向に対する傾斜方向を算出する。そして、傾斜方向に対応するｂｉｎのスコアに１を加算する。こうして全ての画素においてｂｉｎのスコアに加算したものを形状変化の分布とする。

上記の処理の他は第１の実施形態と同様の処理を行う。ステップＳ３０２では第１の実施形態と同様にパターン方向決定部１６０が形状変化の分布で最もスコアが高いｂｉｎが表す方向をパターン方向として決定する。これにより、対象物体の傾斜方向と平行線の方向が同じ方向になり対象物体の位置姿勢を精度良く計測することができる。

本実施形態では各画素で傾斜方向に対応するｂｉｎのスコアに１を加算したが、プロジェクタに対する傾斜角度が大きいほどパターンの太さも太くなり計測精度もより低くなる。そこで一律同じ値を加算するのではなく例えば傾斜方向における傾斜角度を加算することで重みを付けても良い。

本実施形態では法線方向の分布を対象物体の形状モデルと位置姿勢に基づいて算出したが、法線方向の分布の算出方法はこの方法に限らない。例えば別途三次元計測を行って得られた三次元点群にメッシュを張って法線を計算しても良い。

以上述べたように、パターンが当たる対象物体の表面の傾斜方向と平行線の方向が同じ方向になるようパターン方向を決めることで三次元計測の精度を上げ、位置姿勢計測を高精度化する方法を説明した。

（第４の実施形態）
本実施形態の情報処理装置の構成は、図２の第１の実施形態に係る情報処理装置１０と同様である。第１の実施形態のステップＳ３０７において対象物体の位置姿勢計算部２６０が行うモデルフィッティングでは対象物体の距離点群とモデルの間の三次元距離を最小化する方式を説明したが、本実施形態では、異なる方式でフィッティングを行う。

本実施形態では、対象物体の表面にテクスチャがある場合、その対象物体に対して、上記のような二次元画像と距離点群に対するモデルフィッティングをハイブリッドに実施する場合の投影するパターンの方向を決定する方法について説明する。

本実施形態は、第１の実施形態のステップＳ３０１、ステップＳ３０２、ステップＳ３０７の処理が異なる。
（ステップＳ３０１）
ステップＳ３０１では、形状変化算出部１５０は、取得した対象物体の画像に基づいて勾配の変化の画像，すなわちエッジ画像を算出する。

（ステップＳ３０２）
ステップＳ３０２では、パターン方向決定部１６０は、ステップＳ３０１で得られた二次元画像の輝度勾配の変化に基づいて、投影するパターンの方向を決定する。本実施形態では、上記のように、ステップＳ３０７で行うフィッティングの方式が第１の実施形態と異なるため、パターンの方向の決定についても異なる処理を行う。

すなわち、本実施形態では、エッジ画像とモデルとのフィッティングと、距離点群とモデルとのフィッティングとをハイブリッドに実施する。具体的には対象物体の三次元形状，すなわち距離点群とモデルの間の三次元距離と，対象物体のエッジ画像上のエッジとエッジ画像に投影したモデルの間の二次元距離とを同時に最小化して位置姿勢を算出する。

このようなハイブリッドなモデルフィッティングにおけるパターンの方向の決定の仕方について以下で説明する。

まず、二次元画像に対する輝度勾配に基づいたモデルフィッティングでは輝度勾配の変化が大きい方向の位置姿勢は精度よく定まるが、その一方で輝度勾配の変化が小さい方向の位置姿勢は定まりにくい。そこで本実施形態のハイブリッドなモデルフィッティング方式では，二次元画像の輝度勾配の変化が少ない方向に投影光のパターン方向を合わせて密に三次元形状（距離点群）を計算する。こうすることで二次元画像のみに対してフィッティングする場合の位置姿勢の精度不足を補償し，最終的に得る位置姿勢の計測精度を向上させることができる。

二次元画像の輝度勾配変化の小さい方向の算出は第１の実施形態のステップＳ４０３と同様にパターン方向に対応するbinを作成する．次に対象物体を撮影した画像の各画素における輝度勾配変化のベクトルを算出し、その輝度勾配変化ベクトルの方向に対応するbinのスコアに輝度勾配変化ベクトルの大きさを加算してできたヒストグラムを形状変化の分布とし，この分布において最もスコアの小さい方向を選択する。こうして得られたパターン方向は第１〜３の実施形態で説明した方法で得られるパターン方向とは異なる方向になるが，二次元画像に対するフィッティングで算出した位置姿勢の精度不足を補うことができることから，本実施形態におけるハイブリッドなフィッティング方式では最適なパターン方向である。

なお、本実施形態では、輝度勾配の変化を算出し、輝度勾配の変化に基づいて、パターンの方向を決定したが、輝度勾配を算出し、輝度勾配に基づいてパターンの方向を算出してもかまわない。

（ステップＳ３０７）
ステップＳ３０７では、位置姿勢導出部１９０は、上記のハイブリッドなフィッティング方式で、対象物体の位置姿勢を導出する。

以上本実施形態では、二次元画像と距離画像とに対するモデルフィッティングをハイブリッドに実施する位置姿勢計測システムにおいて、二次元画像のフィッティングで位置が定まりにくい方向を密に三次元計測できるようパターン方向を決定する。これにより、位置姿勢計測を高精度化することができる。

（第５の実施形態）
本実施形態の情報処理装置９０は、図１０に示すように、外部に表示装置９１が接続されている。プロジェクタの外部パラメータが定まっていないシステムにおいては、第１の実施形態のステップＳ３０３において決定されたパターン方向をプロジェクタに自動的に設定することができない。このようなシステムでは第１〜第４の実施形態のいずれかに係る方法で決定したパターン方向をユーザがプロジェクタに設定するのを補助する機能を備えてもよい。本実施形態ではユーザがプロジェクタに決定したパターン方向を設定するのを補助する手段を伴う実施方法を説明する。

図１１は、表示装置９１の表示画面に表示される対象物体の様子を確認しながら決定されたパターン方向に実際のパターンの投影方向を設定するのを補助する画面の例である。表示装置９１は、パターン出力部９４０から出力されるパターンを受け取り、表示画面に表示する。この点で、パターン出力部は表示制御部として機能する。

領域６００はカメラで撮影した対象物体を表示する領域である。パターン６１０は、設定したい見本として表示しているは第１〜第４の実施形態のいずれかに係る方法によって決定したパターンである。パターン６２０は、現在の設定角度で実際にプロジェクタから投影されているパターンである。スライダバー６３０は、プロジェクタのパターン方向を調整するスライダバーでありスライダバーの値に連動してプロジェクタのパターン方向を変えることができる。ユーザは画面で確認しながらパターン６２０がパターン６１０に重なるようにスライダバー６３０を調整することでパターンの方向を調節することできる。数値６４０は現在のプロジェクタが投影しているパターンの方向を示す数値である。

なお、パターン方向を切り替える機構が備わっていないシステムにおいてはスライダバー６３０を使用せずにユーザが画面を確認しながら手動でプロジェクタのパターン方向を設定しても良い。

なお、あくまでこの画面は一例であり決定されたパターン方向で投影できるようプロジェクタを設定する為の情報を表示することでユーザを補助できる構成を備える画面であれば画面の構成要素やレイアウトはこの例に限らない。

以上述べたように、本実施形態は、第１〜第４の実施形態のいずれかに係る方法で決定したパターン方向をユーザがプロジェクタに設定するのを補助する画面を表示することについて説明した。これにより、パターン方向を切り替える機構が備わっていない装置を用いる場合や、プロジェクタの外部パラメータが定まっていないシステムにおいてもユーザが効率よくプロジェクタのパターン方向を設定することができる。

（第６の実施形態）
第１〜第５の実施形態では三次元計測システムの構成においてカメラが１台の場合の説明をしたが本実施形態ではカメラが複数台の場合について説明する。複数台のカメラを用いる構成においては第１〜第５の実施形態のいずれかに係る方法で決定した方向でパターンを投影して対象物体の三次元形状を計測する際に、三次元形状計測を行うべき画像を決定する手段を備える必要がある。画像の決定は当該画像の三次元形状の計算における適性に基づいて決定する。平行線のパターンを用いたアクティブステレオ方式の三次元計測においては画像中におけるステレオの対応探索を行うエピポーラ線の方向と平行線のパターン方向が９０度に近い程対応を精度よく求めることができる。そこで本実施形態では画像中におけるエピポーラ線の方向と平行線のパターン方向が９０度に近い程、三次元形状の計算における適性が高いとする。複数台のカメラから取得され得る各画像に対して三次元形状の計算における適性を算出して最も適性が高い画像を三次元形状計算に用いるべき画像として決定する。以下本実施形態による対象物体の位置姿勢の算出方法を説明する。なお、本実施形態においても第１の実施形態と同様に物体の特性として形状変化の分布、具体的には物体表面の法線方向の変化の分布を考慮し、法線方向の変化が激しい方向が密に計測できるよう投影パターンの向きを決める。

図１２は、本実施形態に係る情報処理装置６０の構成を示している。本実施形態では画像取得部１２３０に複数台のカメラ１１０が接続されている。画像決定部１２９１は、複数のカメラが取得する画像から現在投影しているパターン方向に基づいて三次元形状の計算に用いる画像を決定する。対象物体の三次元形状計算部１２７０は選択された画像を用いて三次元形状の計算を行う。その他の装置構成は第１の実施形態と同様である。

図１３は本実施形態に係る処理手順を示したフローチャートである。以降このフローチャートに沿って本実施形態に係る具体的な処理手順を説明する。

（ステップＳ１３０１）
ステップＳ１３０１では、形状変化算出部１２５０が、形状変化の分布を算出する。複数のカメラで取得した各画像に対してこれまでの実施形態で説明したいずれかの方法で算出した対象物体の形状変化の分布の和を本実施形態における形状変化の分布とする。

ステップＳ１３０２、ステップ１３０３はそれぞれステップＳ３０２、ステップＳ３０３と同様の処理でありこれまでに説明した実施形態のいずれかの方法で実現される。

（ステップＳ１３０４）
ステップＳ１３０４では、画像取得部１２３０が複数のカメラで画像を取得する。

（ステップＳ１３０５）
ステップＳ１３０５では、画像決定部１２９１が、三次元形状計算に使用すべき画像を選択する。まず、各カメラが取得する画像中におけるパターンの方向を求める。この方向はステップＳ１３０２で決められたパターン方向とあらかじめキャリブレーションによって求められているプロジェクタと当該カメラとの相対位置姿勢によって算出される。次にステレオの対応付けに用いるエピポーラ線の方向を求める。この方向は当該カメラとプロジェクタとの相対位置姿勢によって算出される。この相対位置姿勢もあらかじめキャリブレーションによって求められている。こうして画像中における平行線のパターンの方向とエピポーラ線の方向の成す角度を各カメラの画像について求め、角度が最も９０度に近いカメラの画像に決定する。

ステップＳ１３０６以降の処理は、ステップＳ３０５以降の処理と同様の処理でありこれまでに説明した実施形態のいずれかの方法で実現される。

本実施形態のステップＳ１３０１では、複数のカメラで画像を取得して形状変化の分布を算出したが必ずしも複数のカメラを使用する必要はなく、パターン方向を決定する為の画像を取得するのに適した一台のカメラを選択してもよい。例えばプロジェクタに最も近いカメラで取得した画像を用いて求めた形状変化の分布を用いてパターンの向きを決定してもよい。

本実施形態では、プロジェクタの投影画像とカメラの画像との間でステレオ対応を取ることを想定して１台のカメラの画像に決定する方法を説明した。しかし、ステレオ対応にプロジェクタを用いずにカメラ同士の組み合わせを選択する場合でも同様に本発明の実施は可能である。その場合は全てのカメラの組み合わせにおいて同様に平行線のパターンの方向とエピポーラ線の方向の成す角度を算出し、算出された角度が最も９０度に近いカメラの組み合わせを選択すればよい。

本実施形態では画像中におけるパターンの方向はプロジェクタとカメラの相対位置姿勢に基づいた幾何計算で求めたが、複数のカメラで実際に画像を取得し、各画像からパターンを検出することでより厳密に画像中におけるパターンの方向を算出しても良い。

本実施形態において使用する画像をパターン方向とプロジェクタとカメラの相対位置姿勢から静的に求められる場合は、当該画像を撮影するカメラのみで画像を撮影することで、それ以外のカメラで撮影した画像の処理は省いて効率化してもよい。

本実施形態ではステレオ対応探索を行うエピポーラ線の方向と平行線のパターンの方向の成す角度が９０度に近い画像に決定する方法を説明した。しかし、必ずしも画像の取捨選択をする必要はなく、エピポーラ線の方向とパターン方向の成す角度に基づいて重みを決定してその重みを用いて複数のカメラの画像を用いた三次元形状計算結果を統合しても良い。

以上述べたように、ステレオ対応探索を行うエピポーラ線の方向と平行線のパターンの方向の成す角度が９０度に近い画像を選択することにより、三次元形状計算の精度を上げ、位置姿勢計測を高精度化することができる。

［変形例６−１］
アクティブステレオ方式の三次元計測では画像中からパターンの検出が困難な鏡面反射が起こっている領域やパターンが届かない領域では三次元点が計測できない。そこで、本変形例では、三次元形状の計算における適性として上記で説明した画像中におけるパターンの方向とエピポーラ線の方向の成す角度の他に、計測可能領域を考慮する例を説明する。

具体的にはステップＳ１３０４においてパターン方向とエピポーラ線の方向の成す角度が所定の角度よりも大きい画像を複数確保し、これらの画像の中から鏡面反射や影による計測不能領域が最も小さいものを選択する。計測不能領域はプロジェクタの全画素を点灯した状態でカメラで対象物体を撮影し、画像中の輝度が所定値よりも大きい領域を鏡面反射によって計測不能な領域とし、所定値よりも小さい領域を影によって計測不能な領域として判定する。

なお、上記では計測不能領域を画像の輝度に基づいて算出したが、対象物体の形状と表面の性質、プロジェクタ及びカメラの位置姿勢を別途取得可能であればこれらの情報に基づいて幾何的に算出しても良い。この場合、カメラから見てプロジェクタから発する光線が対象物体の表面で反射したのちにカメラに正面から入射するときに対象物体上の反射した領域が鏡面反射する素材である場合は、そこで鏡面反射が発生しており計測不能な領域とする。対象物体の表面で反射せずプロジェクタからの光が届かない領域で且つカメラから観測できる領域を影によって計測不能な領域として判定する。

上記ではパターン方向とエピポーラ線の方向の成す角度が９０度に近く且つ計測不能領域が最も小さいカメラの画像を選択した。しかし、必ずしも一つの画像を選択する必要はなく、領域毎に使用する画像を切り替えてもよい。例えばまずパターン方向とエピポーラ線の方向の成す角度が最も９０度に近いカメラの画像を選ぶ。そして、その画像中で計測可能な領域はその画像を用いて三次元形状を計算し、計測不能な領域は角度がなるべく９０度に近い別のカメラで、且つ当該領域を計測可能であるカメラの画像を用いて三次元形状を計算すればよい。さらに領域毎に三次元形状に使用する画像を切り替えるだけでなく、投影光のパターン方向を切り替えてもよい。

以上述べたように、画像の輝度に基づき計測可能な領域を算出することで対象物体の計測が困難な鏡面反射や影の領域があっても対象物体の三次元形状を計測し高精度に位置姿勢を計測する方法を説明した。

［変形例６−２］
本実施形態で説明した画像の決定部１２９１はステップＳ１３０５において決定したカメラ及びその画像をユーザに提示しても良い。

図１４はステップＳ１３０５で決定したカメラ及びその画像をユーザに提示する画面の一例である。領域７００は候補カメラを選択するボタン７６０で現在選択されているカメラの画像を表示する領域である。パターン７１０は、投影されているパターンであり、領域７２０はこのカメラとプロジェクタとのステレオ対応を探索するエピポーラ線の方向を示している。領域７３０は決定された画像の属性を表示する領域で当該画像を撮影するカメラの番号、画像中におけるパターンの方向、エピポーラ探索方向、エピポーラ探索方向とパターンの方向が成す角度などを表示する。領域７４０はシステムの構成要素であるプロジェクタとカメラの配置を表示する領域である。対象物体の形状と位置姿勢が別途取得可能な場合は対象物体も表示する。図中ではステップＳ１３０５で決定された画像を撮影しているカメラが分かるよう当該カメラを強調して表示する（７５０）。７６０は候補カメラを選択するボタンであり、Ｓ１３０５で算出された当該カメラの画像の三次元形状の計算における適性の順に候補が並べられている。このボタンで選択することで任意のカメラ及び画像を領域７００、領域７４０に表示することができる。

以上述べたように、ステップＳ１３０５において画像決定部２６０が決定したカメラ及び画像をユーザが確認できるように提示する方法を説明した。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

＜定義＞
本発明における物体の特性とは三次元計測で得られる結果を特徴づける物体の特性であればどのようなものであってもよい。一例が第１〜３の実施形態の形状変化の分布である。

本発明における物体の形状変化の分布とは物体の形状に起因して三次元計測で得られる結果を特徴づけるものであればどのようなものであってもよい。その一例が第１、２の実施形態の法線方向の変化の分布や、第３の実施形態の法線方向の分布である。

本発明における法線方向の変化の分布とは、直接算出するのが困難であれば二次元画像の特徴から求めた法線方向の変化に相関のある値も含む。その一例が第１の実施形態の対象物体の二次元画像のフーリエ変換のフーリエスペクトルの強度の分布や、二次元画像の勾配の強度の分布である。また、第２の実施形態の対象物体の距離画像のフーリエ変換のフーリエスペクトルの強度の分布もその一例である。

本発明における三次元形状の算出に適した画像とは、当該画像で三次元形状の計算をする場合の条件が好適なものであればその尺度はどのようなものであってもよい。一例が第６の実施形態で説明した画像中におけるステレオ対応探索を行うエピポーラ線の方向と平行線のパターンの方向の成す角度に基づくもので三次元形状の計算の精度を尺度としている。また、［変形例６−１］で説明した画像中における対象物体の計測が困難な鏡面反射や影の領域の大きさが小さいことも尺度の一例である。

１１０ カメラ
１２０ プロジェクタ
１３０ 画像取得部
１４０ パターン出力部
１５０ 形状変化算出部
１６０ パターン方向決定部
１７０ 三次元形状計算部
１８０ モデル保持部
１９０ 位置姿勢導出部

Claims (15)

1. 撮像手段により撮像された、対象物体を含む画像を取得する画像取得手段と、
   前記画像に基づいて、前記対象物体の形状の変化を示す情報を算出する算出手段と、
   前記形状の変化を示す情報に基づいて、投影手段により前記対象物体に投影するパターンの向きを決定する決定手段と、
   前記決定手段で決定されたパターンの向きを有するパターンを投影する投影手段と、
   前記パターンが投影された対象物体を撮像する複数の撮像手段とを備え、
   前記画像取得手段は、前記複数の撮像手段で撮像された複数の画像を取得し、
   更に、前記取得した複数の画像それぞれにおいて、前記画像中で、前記対象物体の三次元計測が不能な領域を導出し、該導出された領域の大きさに基づいて、前記対象物体の三次元計測に用いるための画像を決定する画像決定手段を備えることを特徴する情報処理装置。
2. 前記算出手段は、前記画像に基づいて、前記対象物体の位置姿勢を推定し、該位置姿勢に基づいて、前記形状の変化を示す情報を算出することを特徴とする請求項１に記載の情報処理装置。
3. 前記形状の変化を示す情報は、前記対象物体の表面の法線方向の分布または前記対象物体の表面の法線方向の変化の分布であることを特徴とする請求項１または２に記載の情報処理装置。
4. 前記決定手段は、前記形状の変化を示す情報に基づいて、形状の変化がより多く現れる方向を前記パターンの向きとして決定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記決定手段は、前記形状の変化を示す情報と前記投影手段が投影可能なパターンの向きとに基づいて前記パターンの向きを決定することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記画像決定手段は、前記複数の撮像装置それぞれと前記投影装置との配置に基づいて、前記取得した複数の画像のうちから、前記対象物体の三次元計測に用いるための画像を決定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記画像決定手段で決定された画像を撮像した撮影手段を表示手段に表示させる表示制御手段を有することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 更に、前記画像決定手段により決定された画像に基づいて、前記対象物体の三次元形状を導出する手段を備えることを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 対象物体を含む二次元画像と該対象物体を示す距離点群それぞれと、前記対象物体のモデルとを対応づけることにより、前記対象物体の位置姿勢を取得する位置姿勢計測システムで用いられる前記距離点群を取得するためのパターンの方向を決定するための情報処理装置であって、
   撮像手段により撮像された、対象物体を含む画像を取得する画像取得手段と、
   前記画像に基づいて、前記画像の輝度勾配の変化を導出する導出手段と、
   前記導出した輝度勾配の変化に基づいて、投影手段により前記対象物体に投影するパターンの向きを決定する決定手段とを備えることを特徴する情報処理装置。
10. 前記決定手段は、前記輝度勾配がより少なく現れる方向を前記パターンの向きとして決定することを特徴とする請求項９に記載の情報処理装置。
11. 前記決定手段により決定された前記パターンの向きを表示手段に表示させる表示制御手段を更に備えることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 更に、前記決定手段により決定したパターンの向きで前記対象物体にパターンを投影する投影手段を備えることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 撮像手段により撮像された、対象物体を含む画像を取得する画像取得工程と、
    前記画像に基づいて、前記対象物体の形状の変化を示す情報を算出する算出工程と、
    前記形状の変化を示す情報に基づいて、投影手段により前記対象物体に投影するパターンの向きを決定する決定工程と、
    前記決定工程で決定されたパターンの向きを有するパターンを投影する投影工程とを備え、
    前記画像取得工程では、前記パターンが投影された対象物体を複数の撮像手段で撮像した複数の画像を取得し、
    更に、前記取得した複数の画像それぞれにおいて、前記画像中で、前記対象物体の三次元計測が不能な領域を導出し、該導出された領域の大きさに基づいて、前記対象物体の三次元計測に用いるための画像を決定する画像決定工程を備えることを特徴する情報処理方法。
14. 対象物体を含む二次元画像と該対象物体を示す距離点群それぞれと、前記対象物体のモデルとを対応づけることにより、前記対象物体の位置姿勢を取得する位置姿勢計測システムで用いられる前記距離点群を取得するためのパターンの方向を決定するための情報処理方法であって、
    撮像手段により撮像された、対象物体を含む画像を取得する画像取得工程と、
    前記画像に基づいて、前記画像の輝度勾配を導出する導出工程と、
    前記導出した輝度勾配に基づいて、投影手段により前記対象物体に投影するパターンの向きを決定する決定工程とを備えることを特徴する情報処理方法。
15. コンピュータで実行されることにより、該コンピュータ装置を請求項１乃至１２のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images