JP6657880B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

三次元計測技術の一つであるステレオ法では、一方のカメラで撮像した画像中の画素ブロックと相関を有する画素ブロックを、他方のカメラで撮像した画像において特定し（対応点を抽出し）、両画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。距離データの算出精度を高めることを目的として、対応点抽出の密度を高くするために、多くの特徴点を有するパターン（例えば不規則なパターンを有するランダムパターン）を使用する技術が知られている。

例えば特許文献１には、均一性と分散性とを向上させることを目的として、ランダムパターンに含まれる低周波数成分をカット（除去）する技術が開示されている。

しかしながら、従来技術では、撮像距離（撮像時におけるカメラとランダムパターンとの間の距離）を考慮せずにランダムパターンを生成しているので、安定して特徴点を抽出することができないという問題がある。

上述した課題を解決し、目的を達成するために、本発明は、複数の空間周波数と１対１に対応する複数の第１の画像を取得する取得部と、前記取得部により取得された前記複数の第１の画像を合成して第２の画像を生成する生成部と、を備え、前記取得部は、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、画像処理装置である。

本発明によれば、パターンの撮像距離が変化しても、安定して特徴点を抽出できる。

図１は、実施形態のシステムの構成の一例を示す図である。 図２は、撮像画像に含まれる所定のパターン画像の見え方と撮像距離との関係の一例を示す模式図である。 図３は、パターン投影装置のハードウェア構成の一例を示す図である。 図４は、パターン投影装置が有する機能の一例を示す図である。 図５は、第１の画像の生成方法の一例を説明するための図である。 図６は、取得部による処理の一例を示すフローチャートである。 図７は、第２の画像の生成方法の一例を説明するための図である。 図８は、パターン投影装置の動作例を示すフローチャートである。 図９は、変形例のシステムの構成の一例を示す図である。 図１０は、変形例の被撮像用具を撮像する様子を示す模式図である。 図１１は、変形例の被撮像用具を撮像する様子を示す模式図である。 図１２は、変形例の算出部が有する機能の一例を示す図である。 図１３は、変形例の算出部の動作例を示すフローチャートである。

以下、添付図面を参照しながら、本発明に係る画像処理装置、画像処理方法およびプログラムの実施形態を詳細に説明する。以下では、本発明が適用される画像処理装置の一例として、画像投影装置の一態様であるパターン投影装置を例に挙げて説明するが、これに限られるものではない。

図１は、本実施形態のシステム１の構成の一例を示す図である。図１に示すように、本実施形態のシステム１は、パターン投影装置１０と、三次元測定装置２０とを備える。

パターン投影装置１０は、後述の撮像画像の座標値を補正するための補正パラメータの決定に用いられる被撮像用具３０（対象物の一例）の表面に対して、多数の特徴点を含む第２の画像（後述）に基づく光を投影する。これにより、被撮像用具３０の表面（投影面）には、後述の第２の画像を表す投影像が形成される。見方を変えれば、パターン投影装置１０によって、被撮像用具（対象物）３０には後述の第２の画像が表示されると考えることもできる。パターン投影装置１０の詳細な構成については後述する。

三次元測定装置２０は、一対のカメラで構成されるステレオカメラを用いて、一方のカメラによる撮像で得られた画像（以下の説明では「撮像画像」と称する場合がある）中の画素ブロックと相関を有する画素ブロックを、他方のカメラによる撮像で得られた撮像画像において特定し、両撮像画像における相対的なずれ量である視差から三角測量の原理を用いて距離データを算出する。なお、本明細書において、「撮像」とは、レンズなどの光学系により結像された被写体（撮像対象）の像を、電気信号に変換することを指す。

本実施形態では、三次元測定装置２０は、撮像部２１と算出部２２と測定部２３とを有する。撮像部２１は、後述の第２の画像が表示された被撮像用具３０を撮像する。この例では、撮像部２１はステレオカメラで構成される。

算出部２２は、被撮像用具３０が映り込んだ撮像画像と、撮像部２１と被撮像用具３０との間の距離（既知の距離）と、に基づいて、撮像部２１による撮像で得られた撮像画像を補正するための補正パラメータを算出する。この補正パラメータを算出する方法としては、公知の様々な技術を利用することができる。例えば、特許第４１０９０７７号公報や特許第４５０１２３９号公報に開示された方法などを利用できる。本実施形態では、算出部２２は、ステレオカメラを構成する一方のカメラ（第１のカメラ）による撮像で得られた撮像画像を補正するための補正パラメータ（第１の補正パラメータ）、および、他方のカメラ（第２のカメラ）による撮像で得られた撮像画像を補正するための補正パラメータ（第２の補正パラメータ）をそれぞれ算出する。

測定部２３は、撮像部２１による撮像で得られた撮像画像を、算出部２２により算出された補正パラメータを用いて補正することで得られた補正画像に基づいて距離データを測定する。この距離データの算出方法としては、公知の様々な技術を利用することができる。例えば、ＳＡＤ（Sum of Absolute Difference）やＮＣＣ（Normalized Cross Correlation)等によるマッチング処理が行われて視差値が計算され、必要に応じて視差値が距離変換される。本実施形態では、測定部２３は、第１のカメラによる撮像で得られた撮像画像を第１の補正パラメータを用いて補正することで得られた第１補正画像と、第２のカメラによる撮像で得られた撮像画像を第２の補正パラメータを用いて補正することで得られた第２補正画像とから視差を計算し、第１の補正画像および第２の補正画像のうち基準となる方の画像の各画素値の奥行き値（デプス）を示す視差画像（デプスマップ）を生成して出力することができる。

次に、パターン投影装置１０の構成について説明する。具体的な内容の説明に先立ち、本実施形態のパターン投影装置１０の特徴の概要を説明する。図２は、上述の三次元測定装置２０の撮像部２１が、パターン投影装置１０によって任意のパターン画像（多数の特徴点を含むパターン画像、説明の便宜上「所定のパターン画像」と称する）が表示された被撮像用具３０を撮像することで得られた撮像画像に含まれる所定のパターン画像の見え方と、撮像距離（撮像時における撮像部２１と被撮像用具３０との距離）との関係の一例を示す模式図である。図２の例では、被撮像用具３０に表示された所定のパターン画像は、撮像距離が中距離の場合に当該所定のパターン画像を正確に認識できるものとする。つまり、ここでの所定のパターン画像に対応する空間周波数は、撮像距離が中距離の場合に所定のパターン画像を正確に認識できるような値を示すものとする。

撮像距離がｘ倍になると、撮像画像に映り込んだ物体の大きさは１／ｘ倍に見える、つまり、空間周波数としては元の空間周波数のｘ倍相当になるので、所定のパターン画像に含まれるパターン（模様）は、より細かなパターンとして見えるようになる。したがって、図２の例では、撮像距離が中距離よりも大きくなると（遠距離になると）、所定のパターン画像に含まれるパターンがより細かなパターンとして見えることになり、ひとつひとつのパターンが認識できないくらいにつぶれてしまい、コントラストも低下する。反対に、撮像距離が中距離よりも小さくなると（近距離になると）、所定のパターン画像の一部しか見えなくなってしまい、ひとつのパターン（例えば黒色の四角形）が数十ピクセル（１ピクセルは１画素分のサイズを表す）を覆うようになると、当該パターンの中心部では特徴（典型的には濃淡の変化）がなくなり、特徴点を抽出することができなくなる。したがって、所定のパターン画像が表示された被撮像用具３０と撮像部２１との距離（撮像距離）が、中距離よりも大きい場合（遠距離の場合）や中距離よりも小さい場合（近距離の場合）においては、安定して特徴点を抽出することができず、撮像画像の校正（補正）や距離データの算出を高精度に行うことができないという問題が起こる。すなわち、算出部２２によるパラメータ算出および測定部２３による距離測定が正確にできなくなるという問題が起こる。

そこで、本実施形態では、パターン投影装置１０は、１つのパターン画像の中に、各距離に適した空間周波数の成分（パターン）を含める。すなわち、撮像距離が中距離よりも小さいことを想定する場合は、パターン画像の中に中距離のものより小さい空間周波数成分（中距離よりも小さい距離に適した空間周波数成分）を含めるようにする。逆に、撮像距離が中距離よりも大きいことを想定する場合は、パターン画像の中に中距離のものより大きい空間周波数成分（中距離よりも大きい距離に適した空間周波数成分）を含めるようにする。これにより、撮像距離が変化しても、変化後の距離に適した空間周波数のパターンが特徴として現れるので、安定して特徴点を抽出することができる。なお、その距離に適した空間周波数は、レンズ画角や特徴点抽出における抽出範囲等にも依存するため、三次元測定装置２０において各距離で特徴点の抽出に有利なものが、適宜に選択される。以下、本実施形態のパターン投影装置１０の具体的な構成を説明する。

図３は、パターン投影装置１０のハードウェア構成の一例を示す図である。図３に示すように、パターン投影装置１０は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、投影部１０４と、Ｉ／Ｆ部１０５とを備える。

ＣＰＵ１０１は、パターン投影装置１０の動作を統括的に制御する。

ＲＯＭ１０２は、プログラム等の各種のデータを記憶する不揮発性のメモリである。

ＲＡＭ１０３は、ＣＰＵ１０１が実行する各種の演算の処理の作業領域（ワークエリア）として機能する揮発性のメモリである。

投影部１０４は、ＣＰＵ１０１の制御の下、投影用画像（この例では後述の第２の画像）に基づく光を投影対象物に投影する。図３の例では、投影部１０４は、光源１０６と、画像形成部１０７と、レンズ部１０８とを含む。画像形成部１０７には、光源１０６から射出された光が供給される。画像形成部１０７は、光源１０６から供給された光を、投影用画像（後述の第２の画像）に基づく光に変換して、レンズ部１０８へ出力する機能を有する。例えば画像形成部１０７は、透過型液晶素子であってもよいし、反射型液晶素子やＤＭＤ（Digital Micro mirror Device）等であってもよい。レンズ部１０８は、画像形成部１０７から出力された光を投影対象物に向けて投影する。レンズ部１０８は、例えば複数のレンズ、プリズム、ミラー等の光学素子によって構成される。

Ｉ／Ｆ部１０５は、外部装置と接続するためのインタフェースである。

図４は、本実施形態のパターン投影装置１０が有する機能の一例を示す図である。図４に示すように、パターン投影装置１０は、取得部１１０と、生成部１２０と、出力制御部１３０とを有する。説明の便宜上、図４では、本発明に係る機能を主に例示しているが、パターン投影装置１０が有する機能はこれらに限られるものではない。

また、本実施形態では、パターン投影装置１０が有する機能（取得部１１０、生成部１２０、出力制御部１３０）は、ＣＰＵ１０１がＲＯＭ１０２等に格納されたプログラムを実行することにより実現されるが、これに限られるものではない。例えば、パターン投影装置１０が有する機能のうちの少なくとも一部が専用のハードウェア回路（半導体集積回路等）によって実現される形態であってもよい。

取得部１１０は、複数の空間周波数と１対１に対応する複数の第１の画像を取得する。より具体的には、複数の第１の画像の各々は、対応する空間周波数の成分（パターン）を少なくとも含む。本実施形態では、取得部１１０は、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する。この例では、画像領域のサイズは第１の画像のサイズよりも小さく、取得部１１０は、生成した原画像のサイズを第１の画像と同じサイズに拡大することで、複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成することができる。

一例として、ある空間周波数に対応する第１の画像を生成する場合を例に挙げて説明する。この例では、第１の画像のサイズは横方向（左右方向）に６ピクセル、縦方向（上下方向）に４ピクセルであることを想定して説明するが、第１の画像のサイズはこれに限られるものではない。図５に示すように、取得部１１０は、所望の第１の画像のサイズの１／２のサイズ（図５の例では、横方向に３ピクセル、縦方向に２ピクセルのサイズ）の画像領域を確保する。そして、当該画像領域内に含まれる複数の画素（３×２＝６画素）の各々の画素値を、乱数等によって決めることにより原画像を生成する。図５の例では、グレースケール２５６階調の画像と仮定し、各画素の画素値を、０（最小の階調値）または２５５（最大の階調値）の何れかに設定している。なお、画素値については、最小の階調を示す「０」または最大の階調を示す「２５５」の２値に限らず、２５６段階の中から任意の値を選択する形態であってもよい。また、画素が複数の色を有するカラー画像であっても、白または黒を示すモノクロ画像であっても、同様の処理を行うことができる。

そして、取得部１１０は、原画像のサイズを、所望の第１の画像のサイズにするため、横方向および縦方向の各々のサイズを２倍に拡大する。これにより、原画像の１／２の空間周波数（ある空間周波数に相当）を示すパターン画像を第１の画像として生成することができる。この例では、最近傍法（ニアレストネイバー法）による補間を行っているが、これに限らず、線形拡大法（バイリニア法）や三次補間法（バイキュービック法）などの補間処理を行う形態であってもよい。図５の例では、横方向および縦方向の各々のサイズを２倍にしているため、拡大後の画像は、原画像の１／２の空間周波数を示すパターン画像（第１の画像）として扱える。

図６は、取得部１１０による処理の一例を示すフローチャートである。図６に示すように、まず取得部１１０は、第１の画像のサイズ（所望のサイズ）よりも小さい画像領域を確保する（ステップＳ１）。次に、取得部１１０は、画像領域に含まれる複数の画素の各々の画素値を、乱数等によりランダムに決定することで（ステップＳ２）、原画像を生成する。次に、取得部１１０は、生成した原画像のサイズを第１の画像と同じサイズに拡大する（ステップＳ３）。これにより、複数の空間周波数のうちの一の空間周波数（原画像の１／２の空間周波数）を示すパターン画像を、第１の画像として生成することができる。

なお、この例では、第１の画像が表すパターン（模様）は、不規則なパターンであるが、これに限らず、第１の画像が表すパターンは規則的なパターンであってもよい。例えば取得部１１０は、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値を所定の規則に従って決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、第１の画像を生成することもできる。所定の規則は任意に設定可能であり、例えば最大の階調値を示す画素の集合で構成される列と、最小の階調値を示す画素の集合で構成される列とが交互に配置されるように画像領域の各画素の画素値を決定する形態であってもよいし、例えば最大の階調値を示す画素と、最小の階調値を示す画素とが、行方向および列方向の各々において交互に配置されるように画像領域の各画素の画素値を決定する形態であってもよい。

また、本実施形態では、取得部１１０は、複数の空間周波数と１対１に対応する複数の第１の画像を生成しているが、これに限らず、取得部１１０は、外部のサーバ装置（あるいは外部の記憶装置）やパターン投影装置１０の内部のメモリ等から、予め生成された複数の第１の画像を取得する形態であってもよい。なお、複数の空間周波数と１対１に対応する複数の第１の画像の生成方法は任意であり、例えば複数の空間周波数は、所望する複数の距離と１対１に対応する形態であってもよい。つまり、撮像距離が一の距離の場合に、当該一の距離に対応する空間周波数の成分が特徴として現れる（観察者が正確に認識できる）よう、各距離に対応する空間周波数が設定（例えば実験等により予め設定）される形態であってもよい。なお、被撮像用具（対象物）３０に表示された画像の見え方は、撮像距離だけでなく、カメラの焦点距離やぼけ具合などに応じても変わるので、それらも考慮して、空間周波数を選定することが望ましい。

図４に戻って説明を続ける。生成部１２０は、取得部１１０により取得された複数の第１の画像を合成して第２の画像を生成する。本実施形態では、生成部１２０は、複数の第１の画像の各々に含まれる複数の画素ごとに、複数の第１の画像の各々における当該画素の輝度値の平均を求めて設定することで、第２の画像を生成する。例えば図７に示すように、取得部１１０によって、空間周波数ｆ＝１／６４を示す第１の画像、空間周波数ｆ＝１／１６を示す第１の画像、および、空間周波数ｆ＝１／４を示す第１の画像の各々が生成された場合を想定する。この例では、取得部１１０により生成される複数の第１の画像の各々のサイズは同一であるので、３つの第１の画像の各々に含まれる複数の画素ごとに、３つの第１の画像の各々における当該画素の輝度値の平均を求める。そして、第１の画像と同じサイズの画像領域内の各画素の画素値を、３つの第１の画像の各々における当該画素の輝度値の平均値に設定することで、第２の画像（合成画像）を生成することができる。

図８は、第２の画像を生成する場合のパターン投影装置１０の動作例を示すフローチャートである。図８に示すように、まず取得部１１０は、複数の空間周波数と１対１に対応する複数の第１の画像を生成する（ステップＳ１１）。具体的な内容は上述したとおりである。次に、生成部１２０は、ステップＳ１１で生成された複数の第１の画像を合成して第２の画像を生成する（ステップＳ１２）。具体的な内容は上述したとおりである。

図４に戻って説明を続ける。出力制御部１３０は、生成部１２０により生成された第２の画像に基づく出力を制御する。本実施形態では、出力制御部１３０は、生成部１２０により生成された第２の画像に基づく光を被撮像用具３０に投影するよう、投影部１０４を制御する。

なお、本実施形態では、本発明が適用される画像処理装置として、パターン投影装置を例に挙げて説明したが、本発明が適用される画像処理装置の種類は任意に変更可能である。要するに、本発明が適用される画像処理装置は、上述の取得部１１０に対応する機能と、上述の生成部１２０に対応する機能とを少なくとも備える形態であればよい。

また、生成部１２０により生成された第２の画像に基づく出力の形態は、本発明が適用される画像処理装置の種類に応じた形態となる。例えば本発明が適用される画像処理装置が、画像形成装置の一態様である印刷装置である場合、出力制御部１３０は、生成部１２０により生成された第２の画像を、記録媒体（紙や金属板等）上に形成するよう、印刷エンジン部を制御する形態であってもよい。例えば記録媒体がアルミ板で構成される場合は、第２の画像が印刷された当該アルミ板を、被撮像用具３０として利用してもよい。また、例えば記録媒体が用紙などで構成される場合は、第２の画像が印刷された当該用紙を板状の部材の表面に貼付することで、被撮像用具３０を作成する形態であってもよい。

また、例えば本発明が適用される画像処理装置は、自身が生成した第２の画像に基づいて、板状の型（例えば遮光性の型）を作成する装置であってもよい。この場合、当該装置を挟んで対象物（例えば被撮像用具３０）とは反対側に光源が配置され、当該光源から型および対象物に向けて射出される光によって、型に応じた投影像が対象物の表面に形成される形態とすることもできる。また、自ら発光する板であってもよい。いわゆる電子ペーパのようなものでもよい。

以上に説明したように、本実施形態では、被撮像用具３０に表示するパターン画像として、複数の空間周波数と１対１に対応する複数の第１の画像を合成した第２の画像を生成する。これにより、パターン画像の撮像距離が変化しても、変化後の距離に適した空間周波数のパターンが特徴として現れるので、安定して特徴点を抽出することができるという有利な効果を達成できる。

以上、本発明に係る実施形態について説明したが、本発明は、上述の実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上述の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

例えば特願２０１４−２０８８９７号明細書に記載された構成のように、三次元測定装置２０と、上述の第２画像が表示された被撮像用具３０との間の距離（撮像距離）を変えながら撮像を行い、複数の距離ごとに、その距離での撮像により得られた撮像画像（第２の画像が表示された被撮像用具３０が映り込んだ撮像画像）と、その距離（既知の値）とに基づいて、補正パラメータを算出することもできる。要するに、算出部２２は、対象物が映り込んだ撮像画像と、撮像部２１と対象物との間の距離（既知の距離）と、に基づいて、撮像部２１による撮像で得られた撮像画像を補正するための補正パラメータを算出する形態であればよい。例えば図９に示すように、撮像部２１は、水平方向に所定の距離（基線長）Ｂを設けて配置された一対の第１カメラ２４ａおよび第２カメラ２４ｂを有するものとする。第１カメラ２４ａおよび第２カメラ２４ｂの各々は、撮像レンズ２５と撮像素子（例えばＣＣＤイメージセンサ）２６とを有し、撮像レンズ２５により結像された被写体の像が撮像素子２６の撮像面に撮像される。

まず、図１０に示すように、第２の画像が表示された被撮像用具３０と撮像部２１との間を距離Ｘ１（例えば５ｍ）に設定した状態で、第１カメラ２４ａおよび第２カメラ２４ｂによる撮像を行い、次に、図１１に示すように、第２の画像が表示された被撮像用具３０と撮像部２１との間を距離Ｘ２（例えば１ｍ）に設定した状態で、第１カメラ２４ａおよび第２カメラ２４ｂによる撮像を行い、それぞれの距離で得られた撮像画像を元に、補正パラメータを算出することができる。

図１２は、本変形例の算出部２２が有する機能の一例を示す図である。図１２に示すように、算出部２２は、第１取得部３１と、第１算出部３２と、第２取得部３３と、第２算出部３４と、第３算出部３５とを備える。

第１取得部３１は、撮像部２１から第１距離Ｘ１（この例では５ｍ）だけ離れた被撮像用具３０（第２の画像が表示された被撮像用具３０）を第１カメラ２４ａで撮像することで得られた撮像画像（以下の説明では、「第１撮像画像」と称する場合がある）と、該被撮像用具３０を第２カメラ２４ｂで撮像することで得られた撮像画像（以下の説明では、「第２撮像画像」と称する）とを取得する。

第１算出部３２は、第１距離Ｘ１（この例では５ｍ）、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像のうちの少なくとも一方について、第２の画像が表示された被撮像用具３０が映り込んだ画像領域（本変形例においては撮像画像の中央領域）を示す第１画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する。なお、被撮像用具３０を、第１カメラ２４ａおよび第２カメラ２４ｂの各々で撮像した場合、第１カメラ２４ａの位置と第２カメラ２４ｂの位置とは異なるので、第１撮像画像に映り込んだ被撮像用具３０と、第２撮像画像に映り込んだ被撮像用具３０とでは見え方に差がある（視差がある）。すなわち、被撮像用具３０に表示された第２の画像内の同一の特徴点に対応する第１撮像画像の位置および第２撮像画像の位置は視差分だけ離れる（ずれる）ことになる。

第１算出部３２は、第１撮像画像のうち上述の第１画像領域に含まれる（映り込んだ）複数の特徴点ごとに、当該特徴点に対応する第１撮像画像の座標値および第２撮像画像の座標値を特定するとともに理想ずれ量を求める。なお、同一の特徴点に対応する第１撮像画像の座標値および第２撮像画像の座標値の各々を特定する手法（対応点探索方法）としては、公知の様々な技術（例えばＳＡＤ（Sum Of Absolute Difference）やＰＯＣ（位相限定相関など）を利用可能である。その後、第１算出部３２は、第１画像領域に含まれる複数の特徴点ごとに、理想的な座標値（理想の視差を得るための位置、以下、「目標座標値」と称する場合がある）を求める。

以上のようにして、第１算出部３２は、第１距離Ｘ１、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像の各々について、上述の第１画像領域に含まれる複数の特徴点と１対１に対応する複数の座標値（補正前の撮像画像の座標値）ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する。なお、この例では、第１算出部３２は、第１撮像画像に対応する第１対応データと、第２撮像画像に対応する第１対応データとをそれぞれ算出しているが、これに限らず、例えば第１算出部３２は、第１撮像画像および第２撮像画像のうちの一方に対応する第１対応データのみを算出する形態であってもよい。

要するに、第１算出部３２は、第１距離Ｘ１、第１撮像画像、第２撮像画像に基づき、第１撮像画像および第２撮像画像のうちの少なくとも一方について、第２の画像が表示された対象物（この例では第２の画像が表示された被撮像用具３０）が映り込んだ第１画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第１対応データを算出する形態であればよい。

図１２の説明を続ける。第２取得部３３は、撮像部２１から第２距離Ｘ２（この例では１ｍ）だけ離れた被撮像用具３０（第２の画像が表示された被撮像用具３０）を第１カメラ２４ａで撮像することにより得られた第３撮像画像と、該被撮像用具３０を第２カメラ２４ｂで撮像することで得られた第４撮像画像とを取得する。なお、本変形例では、上述の第１取得部３１および第２取得部３３を別体として記載するが、これに限らず、例えば第１取得部３１および第２取得部３３は同一の構成要素であってもよい。つまり、第１取得部３１および第２取得部３３のうちの一方が他方の機能も兼ねる形態であってもよい。

第２算出部３４は、第２距離Ｘ２（この例では１ｍ）、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像のうちの少なくとも一方について、第２の画像が表示された被撮像用具３０が映り込んだ画像領域のうち、上述の第１画像領域に相当する部分以外の画像領域を示す第２画像領域（本変形例においては撮像画像の中央領域以外の画像領域）に含まれる複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを算出する。

第２対応データの算出方法は、基本的には上述の第１対応データの算出方法と同様である。本変形例の第２算出部３４は、第２距離Ｘ２、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像の各々について、上述の第２画像領域に含まれる複数の特徴点と１対１に対応する複数の座標値（補正前の撮像画像の座標値）ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを生成する。

この例では、第２算出部３４は、第３撮像画像に対応する第２対応データと、第４撮像画像に対応する第２対応データとをそれぞれ生成しているが、これに限らず、例えば第２算出部３４は、第３撮像画像および第４撮像画像のうちの一方に対応する第２対応データのみを生成する形態であってもよい。要するに、第２算出部３４は、第２距離Ｘ２、第３撮像画像、第４撮像画像に基づき、第３撮像画像および第４撮像画像のうちの少なくとも一方について、第２の画像が表示された対象物（この例では第２の画像が表示された被撮像用具３０）が映り込んだ画像領域のうち、第１画像領域に相当する部分以外の画像領域を示す第２画像領域内の複数の特徴点と１対１に対応する複数の座標値ごとに、理想の視差を得るための目標座標値を対応付けた第２対応データを算出する形態であればよい。

図１２の説明を続ける。第３算出部３５は、上述の第１対応データと上述の第２対応データとに基づいて、第１カメラ２４ａまたは第２カメラ２４ｂによる撮像で得られる撮像画像を補正するための補正パラメータを算出する。より具体的には、第３算出部３５は、上述の第１対応データおよび上述の第２対応データの各々に含まれる座標値と目標座標値とがそれぞれ対応付けられた複数の組から、最小二乗法により、第１カメラ２４ａまたは第２カメラ２４ｂによる撮像で得られる撮像画像の座標値と目標座標値との関係を表す補正式の係数を、補正パラメータとして算出する。補正式は、例えば以下の式１で表すことができる。式１において、ｘは、補正前の撮像画像の左右方向の座標値を示し、ｙは、補正前の撮像画像の上下方向の座標値を示す。また、ｘ’は、撮像画像の左右方向の目標座標値を示し、ｙ’は、撮像画像の上下方向の目標座標値を示す。なお、補正式は、以下の式１のようなアフィン変換式に限定されるものではなく、他の形でも構わない。

本変形例では、第３算出部３５は、上述の第１撮像画像に対応する第１対応データに含まれる複数のデータセット（補正前の座標値と目標座標値との組）と、上述の第３撮像画像に対応する第２対応データに含まれる複数のデータセットとから、最小二乗法により、第１カメラ２４ａによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す補正式（以下の説明では、「第１補正式」と称する場合がある）の係数ａ〜ｆ（第１の補正パラメータであると考えることができる）を算出する。また、第３算出部３５は、上述の第２撮像画像に対応する第１対応データに含まれる複数のデータセットと、上述の第４撮像画像に対応する第２対応データに含まれる複数のデータセットとから、最小二乗法により、第２カメラ２４ｂによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す補正式（以下の説明では、「第２補正式」と称する場合がある）の係数ａ〜ｆ（第２の補正パラメータであると考えることができる）を算出する。

以上のようにして、第３算出部３５は、第１カメラ２４ａによる撮像で得られた撮像画像の座標値と目標座標値との関係を表す第１補正式と、第２カメラ２４ｂによる撮像で得られた撮像画像の座標値と目標値との関係を表す第２補正式とをそれぞれ求める。そして、測定部２３は、第１補正式を用いて、第１カメラ２４ａによる撮像で得られた撮像画像の座標値を補正することで、第１補正画像を得る。また、測定部２３は、第２補正式を用いて、第２カメラ２４ｂによる撮像で得られた撮像画像の座標値を補正することで、第２補正画像を得る。そして、第１補正画像と第２補正画像とから視差を計算し、第１補正画像および第２補正画像のうち基準となる方の画像の各画素の奥行き値（デプス）を示す視差画像（デプスマップ）を生成して出力することができる。

本変形例においても、距離Ｘ１に対応する空間周波数の成分と、距離Ｘ２に対応する空間周波数の成分とを含むように第２の画像を生成することで、何れの距離（Ｘ１、Ｘ２）で撮像を行う場合であっても、安定して特徴点を抽出することができる。また、本変形例においては、キャリブレーションに用いられる被撮像用具３０の数は１つで済むので、構成を簡素化できるという利点もある。

図１３は、変形例の算出部２２の動作例を示すフローチャートである。

まず、第１取得部３１は、撮像部２１から第１距離Ｘ１（この例では５ｍ）だけ離れた被撮像用具３０（第２の画像が表示された被撮像用具３０）を第１カメラ２４ａで撮像することで得られた第１撮像画像と、該被撮像用具３０を第２カメラ２４ｂで撮像することで得られた第２撮像画像とを取得する（ステップＳ２１）。次に、第１算出部３２は、ステップＳ２１で取得された第１撮像画像および第２撮像画像と、既知の第１距離Ｘ１（この例では５ｍ）とに基づいて、上述の第１対応データを算出する（ステップＳ２２）。この第１対応データの算出方法は、上述したとおりである。

次に、第２取得部３３は、撮像部２１から第２距離Ｘ２（この例では１ｍ）だけ離れた被撮像用具３０（第２の画像が表示された被撮像用具３０）を第１カメラ２４ａで撮像することにより得られた第３撮像画像と、該被撮像用具３０を第２カメラ２４ｂで撮像することで得られた第４撮像画像とを取得する（ステップＳ２３）。次に、第２算出部３４は、ステップＳ２３で取得された第３撮像画像および第４撮像画像と、既知の第２距離Ｘ２（この例では１ｍ）とに基づいて、上述の第２対応データを算出する（ステップＳ２４）。この第２対応データの算出方法は、上述したとおりである。

次に、第３算出部３５は、ステップＳ２２で算出された第１対応データと、ステップＳ４で算出された第２対応データとに基づいて補正パラメータを算出する（ステップＳ２５）。上述したように、第３算出部３５は、第１撮像画像に対応する第１対応データと、第３撮像画像に対応する第２対応データとに基づいて、第１カメラ１１ａによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す第１補正式の係数を、補正パラメータとして算出する。また、第３算出部３５は、第２撮像画像に対応する第１対応データと、第４撮像画像に対応する第２対応データとに基づいて、第２カメラ１１ｂによる撮像で得られる撮像画像の座標値と、目標座標値との関係を表す第２補正式の係数を、補正パラメータとして算出する。

そして、測定部２３は、ステップＳ２５で算出した補正パラメータを用いて、撮像画像の補正（校正）を行う（ステップＳ２６）。上述したように、測定部２３は、第１補正式を用いて、第１カメラ２４ａによる撮像で得られた撮像画像の座標値を補正することで、第１補正画像を得る。また、測定部２３は、第２補正式を用いて、第２カメラ２４ｂによる撮像で得られた撮像画像の座標値を補正することで、第２補正画像を得る。

以上のような校正方法（撮像画像の座標値を補正する方法）は、校正パターン（チャート等も含む）を用いてステレオカメラを校正する校正方法であって、校正パターンとして複数の空間周波数と１対１に対応する複数の第１の画像を合成して生成された第２の画像に基づく校正パターンを用い、第１の撮像ステップと第２の撮像ステップと校正ステップとを含むと考えることができる。第１の撮像ステップは、第１の距離での撮像によって、校正パターンを含む画像（以上の例では第１撮像画像、第２撮像画像に対応）を得るステップである。第２の撮像ステップは、第１の距離とは異なる第２の距離での撮像によって、校正パターンを含む画像（以上の例では第３撮像画像、第４撮像画像に対応）を得るステップである。校正ステップは、第１の距離で得られた画像および第２の距離で得られた画像に基づいて、ステレオカメラの校正を行うステップである。

また、上記実施形態および変形例におけるパターン投影装置１０は、ステレオカメラの校正（キャリブレーション）のみに用いられるわけではなく、ステレオカメラ動作時の視差の計算にも利用できる。例えば、特開２００７−１０１２７６号公報等のようなパターン照射を利用するステレオカメラを備えたシステムにも用いられ得る。すなわち、照射したパターンに基づいて視差の計算を行うシステムであって、パターンとして、複数の空間周波数と１対１に対応する複数の第１の画像を合成して生成された第２の画像に基づくパターンを用い、そのパターンに基づいて、視差の計算を行うシステムであってもよい。

（プログラム）
上述した実施形態のパターン投影装置１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよいし、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、各種プログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

１ システム
１０ パターン投影装置
２０ 三次元測定装置
２１ 撮像部
２２ 算出部
２３ 測定部
３０ 被撮像用具
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 投影部
１０５ Ｉ／Ｆ部
１０６ 光源
１０７ 画像形成部
１０８ レンズ部
１１０ 取得部
１２０ 生成部
１３０ 出力制御部

特開２０１１−１１８３２８号公報

Claims (7)

1. 複数の空間周波数と１対１に対応する複数の第１の画像を取得する取得部と、
   前記取得部により取得された前記複数の第１の画像を合成して第２の画像を生成する生成部と、を備え、
   前記取得部は、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、
   画像処理装置。
2. 前記複数の第１の画像の各々は、対応する空間周波数の成分を少なくとも含む、
   請求項１に記載の画像処理装置。
3. 前記画像領域のサイズは第１の画像のサイズよりも小さく、
   前記取得部は、生成した原画像のサイズを第１の画像と同じサイズに拡大することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、
   請求項１に記載の画像処理装置。
4. 前記生成部は、前記複数の第１の画像の各々に含まれる複数の画素ごとに、前記複数の第１の画像の各々における当該画素の輝度値の平均を求めて設定することで、前記第２の画像を生成する、
   請求項１乃至３のうちの何れか１項に記載の画像処理装置。
5. 前記第２の画像に基づく出力を制御する出力制御部をさらに備える、
   請求項１乃至４のうちの何れか１項に記載の画像処理装置。
6. 複数の空間周波数と１対１に対応する複数の第１の画像を取得する取得ステップと、
   前記取得ステップにより取得された前記複数の第１の画像を合成して第２の画像を生成する生成ステップと、を含み、
   前記取得ステップは、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、
   画像処理方法。
7. コンピュータに、
   複数の空間周波数と１対１に対応する複数の第１の画像を取得する取得ステップと、
   前記取得ステップにより取得された前記複数の第１の画像を合成して第２の画像を生成する生成ステップと、を実行させ、
   前記取得ステップは、第１の画像のサイズとは異なるサイズの画像領域に含まれる複数の画素の各々の画素値をランダムに決定することで原画像を生成し、該原画像のサイズを第１の画像と同じサイズに変更することで、前記複数の空間周波数のうちの一の空間周波数に対応する第１の画像を生成する、
   ためのプログラム。