JP6254849B2 - 画像処理装置、画像処理方法 - Google Patents
画像処理装置、画像処理方法 Download PDFInfo
- Publication number
- JP6254849B2 JP6254849B2 JP2014007270A JP2014007270A JP6254849B2 JP 6254849 B2 JP6254849 B2 JP 6254849B2 JP 2014007270 A JP2014007270 A JP 2014007270A JP 2014007270 A JP2014007270 A JP 2014007270A JP 6254849 B2 JP6254849 B2 JP 6254849B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- pattern
- projection pattern
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Description
本発明は、被写体の三次元形状を計測するための技術に関するものである。
所定のパターンを被写体に投影して、その撮像画像から所定のパターンの歪みを計算することで、被写体の三次元形状や表面の歪みを計測する技術が従来から実施されている。特に、被写体に対してランダムパターンを投影し、局所的な変位量を相関演算によって計算して被写体の三次元形状や表面の歪み具合を計測できる手法が広く知られている。しかし、被写体の位置がパターンの結像範囲外に存在するような条件下では、投影されるパターンにボケが生じてコントラストが低下し、正確な計測を行えなくなるという課題がある。
このような課題を解決するために、パターンが投影された被写体の画像を評価し、適切なパターンではないと判定された場合はその他のパターンに切り替えるような適応的な手法が提案されている。特許文献１では、テクスチャを有する被写体に対してパターンを投影し、適切なパターンかどうかを評価して、適切でなければその他のパターンに切り替える方式としている。このような方式は、被写体のテクスチャに対してだけでなく、ボケに対して適用することも可能である。
しかし、上記従来技術では、投影するパターンを任意に変更することが可能な投影装置を必要としており、構造が複雑で高価な画像プロジェクタ等を使用しなければならない、という課題がある。また、パターンの切り替えに時間を要し、撮影枚数も増加する、という課題もある。
本発明は、このような問題に鑑みてなされたものであり、投影パターンの投影対象である被写体が該投影パターンの結像範囲外に存在するような条件下においても、より簡便な構成でもって、より高精度に該被写体の三次元形状を計算するための技術を提供する。
本発明の一様態は、被写体に対して投影パターンを投影する投影手段と、
前記投影パターンが投影された被写体を撮像する撮像手段と、
前記投影手段により投影された投影パターンと、前記撮像手段により撮像された画像と、に基づいて、前記被写体の概略距離情報を計測する第１の計測手段と、
前記概略距離情報に基づいて、前記撮像手段により撮像された画像中における前記投影パターンのそれぞれの領域が暈けているか否かを判断する判断手段と、
前記判断手段により暈けていると判断された領域について、前記撮像手段により撮像された画像と前記投影パターンに対する暈かし処理を行うことで得られる画像との相関に基づいて前記被写体に対する距離情報を計測する第２の計測手段と
を備えることを特徴とする。
前記投影パターンが投影された被写体を撮像する撮像手段と、
前記投影手段により投影された投影パターンと、前記撮像手段により撮像された画像と、に基づいて、前記被写体の概略距離情報を計測する第１の計測手段と、
前記概略距離情報に基づいて、前記撮像手段により撮像された画像中における前記投影パターンのそれぞれの領域が暈けているか否かを判断する判断手段と、
前記判断手段により暈けていると判断された領域について、前記撮像手段により撮像された画像と前記投影パターンに対する暈かし処理を行うことで得られる画像との相関に基づいて前記被写体に対する距離情報を計測する第２の計測手段と
を備えることを特徴とする。
本発明の構成により、投影パターンの投影対象である被写体が該投影パターンの結像範囲外に存在するような条件下においても、より簡便な構成でもって、より高精度に該被写体の三次元形状を計算することができる。
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
［第１の実施形態］
本実施形態では、三次元形状を有する対象物の三次元形状を計測する画像処理装置について説明する。先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。
本実施形態では、三次元形状を有する対象物の三次元形状を計測する画像処理装置について説明する。先ず、本実施形態に係る画像処理装置の機能構成例について、図１のブロック図を用いて説明する。
プロジェクタ１０２は、三次元形状を計測する対象となる被写体１０１に対し、投影パターン生成部１０３が生成した投影パターンを投影する。ここで、プロジェクタ１０２の光軸に沿って奥行きの方向をｚ軸方向とした場合に、プロジェクタ１０２は、投影パターンが、被写体１０１よりも遠方の位置（最遠方ｚｆ）で合焦するように、該投影パターンを投影する。
投影パターン生成部１０３は、図２に示すような投影パターンＥを生成する。投影パターンＥは図２に示すように、後述する手順によって配置された輝点群で構成されており、ランダム性により自己相関のピークを良好に検出でき、投影パターンＥ以外の画像との相互相関性が低いという性質を有する。さらに、被写体１０１がプロジェクタ１０２の被写界深度外に存在し、該被写体１０１に投影された投影パターンＥにボケが生じた場合にも、コントラストの低下が少ない、という性質を有する。
カメラ１０４は、プロジェクタ１０２によって投影パターンＥが投影された被写体１０１を撮像して撮像画像Ｃを生成する。なお、本実施形態では処理を簡易にするために、プロジェクタ１０２及びカメラ１０４の画角は同一であり、且つ投影パターンＥと撮像画像Ｃとは同じ画像サイズ（同じ解像度）を有するものとする。また、プロジェクタ１０２及びカメラ１０４は、それぞれの光軸が並行となるように配置されている。
視差計算部１０５は、撮像画像Ｃ中に写っている被写体１０１上の投影パターンＥと、投影パターン生成部１０３が生成した投影パターンＥと、の間でマッチングを行って、プロジェクタ１０２とカメラ１０４との間で発生する被写体１０１上の視差を計算する。
三次元形状計算部１０６は、視差計算部１０５が計算した視差と、プロジェクタ１０２とカメラ１０４との間の基線の長さ（基線長）と、カメラ１０４の焦点距離と、を用いて、カメラ１０４から観察した被写体１０１の奥行き（三次元形状）を計算する。
次に、本実施形態に係る画像処理装置が、被写体１０１の三次元形状を計算するために行う処理について、同処理のフローチャートを示す図３を用いて説明する。
＜ステップＳ３０１＞
投影パターン生成部１０３は、第一の二次元パターン画像と第二の二次元パターン画像（第一の二次元パターン画像と同じ画像サイズ（解像度））と、を合成した合成画像である投影パターンＥを生成する。ステップＳ３０１における処理の詳細について、図４のフローチャートを用いて説明する。
投影パターン生成部１０３は、第一の二次元パターン画像と第二の二次元パターン画像（第一の二次元パターン画像と同じ画像サイズ（解像度））と、を合成した合成画像である投影パターンＥを生成する。ステップＳ３０１における処理の詳細について、図４のフローチャートを用いて説明する。
＜ステップＳ４０１＞
投影パターン生成部１０３は、投影パターンＥの画素数と同じ要素数を有する二次元配列を高密度乱数列Ｒｈとして生成する。例えば、投影パターンＥのｘ方向（水平方向）の画素数をｐｘ、ｙ方向（垂直方向）の画素数をｐｙとすると、高密度乱数列Ｒｈは、ｐｘ（水平方向）×ｐｙ（垂直方向）の二次元配列である。また、高密度乱数列Rhは、各要素が０〜２５５からランダムに選択された値を有する二次元の配列である。高密度乱数列Rhの各要素の値を画素値（以下では輝度値）として該高密度乱数列Ｒｈを画像として表したもの（第一の二次元パターン画像）を図５に示す。
投影パターン生成部１０３は、投影パターンＥの画素数と同じ要素数を有する二次元配列を高密度乱数列Ｒｈとして生成する。例えば、投影パターンＥのｘ方向（水平方向）の画素数をｐｘ、ｙ方向（垂直方向）の画素数をｐｙとすると、高密度乱数列Ｒｈは、ｐｘ（水平方向）×ｐｙ（垂直方向）の二次元配列である。また、高密度乱数列Rhは、各要素が０〜２５５からランダムに選択された値を有する二次元の配列である。高密度乱数列Rhの各要素の値を画素値（以下では輝度値）として該高密度乱数列Ｒｈを画像として表したもの（第一の二次元パターン画像）を図５に示す。
＜ステップＳ４０２＞
投影パターン生成部１０３は、投影パターンＥの画素数の１／１６の要素数を有する二次元配列を低密度乱数列Ｒｌとして生成する。例えば、投影パターンＥのｘ方向（水平方向）の画素数をｐｘ、ｙ方向（垂直方向）の画素数をｐｙとすると、低密度乱数列Ｒｌは、ｐｘ／４（水平方向）×ｐｙ／４（垂直方向）の二次元配列である。また、低密度乱数列Ｒｌは、各要素が０〜２５５からランダムに選択された値を有する二次元の配列である。
投影パターン生成部１０３は、投影パターンＥの画素数の１／１６の要素数を有する二次元配列を低密度乱数列Ｒｌとして生成する。例えば、投影パターンＥのｘ方向（水平方向）の画素数をｐｘ、ｙ方向（垂直方向）の画素数をｐｙとすると、低密度乱数列Ｒｌは、ｐｘ／４（水平方向）×ｐｙ／４（垂直方向）の二次元配列である。また、低密度乱数列Ｒｌは、各要素が０〜２５５からランダムに選択された値を有する二次元の配列である。
＜ステップＳ４０３＞
投影パターン生成部１０３は、ステップＳ４０１で生成した高密度乱数列Rhと、ステップＳ４０２で生成した低密度乱数列Rlと、を合成した二次元の合成乱数列Raを生成する。ここで、低密度乱数列Rl中の位置（x,y）における値をrlxy、高密度乱数列Rh中の位置（x,y）における値をrhxyとすると、合成乱数列Ra中の位置（x,y）における値raxyは以下の式（１）で表わされる。
投影パターン生成部１０３は、ステップＳ４０１で生成した高密度乱数列Rhと、ステップＳ４０２で生成した低密度乱数列Rlと、を合成した二次元の合成乱数列Raを生成する。ここで、低密度乱数列Rl中の位置（x,y）における値をrlxy、高密度乱数列Rh中の位置（x,y）における値をrhxyとすると、合成乱数列Ra中の位置（x,y）における値raxyは以下の式（１）で表わされる。
以上の説明からすれば、第二の二次元パターン画像とは、第二の二次元パターン画像中の画素位置（ｘ、ｙ）における画素値がrl（x／４）（y／４）であるような画像であることが分かる。このような第二の二次元パターン画像を図６に示す。
然るに、高密度乱数列Rh上の全てのｘ、ｙについて式（１）に従った計算を行うことで、各要素が０〜５１０の何れかの値を有し且つ高密度乱数列Rhと同じ画像サイズ（解像度）を有する合成乱数列Raを生成することができる。合成乱数列Raの各要素の値を画素値（輝度値）とする画像を図７に示す。
なお、第一の二次元パターン画像、第二の二次元パターン画像のそれぞれは上記の例に限るものではない。即ち、第一の二次元パターン画像、第二の二次元パターン画像のそれぞれは以下のようなものであれば、如何なる形態をとることもできる。
すなわち、１画素若しくは複数画素から成る矩形領域を第一単位領域、該矩形領域よりも大きいサイズの矩形領域を第二単位領域とする。このとき、第一の二次元パターン画像におけるそれぞれの第一単位領域には、複数の画素値のうち何れかが割り当てられており、第二の二次元パターン画像におけるそれぞれの第二単位領域には、複数の画素値のうち何れかが割り当てられている。
＜ステップＳ４０４＞
投影パターン生成部１０３は、合成乱数列中の各要素の値を二値化する。この二値化では、閾値を２５５とする。そして合成乱数列の各要素のうち２５５以下の値を０に修正し、２５５を超えている値を２５５に修正する。これにより、合成乱数列を構成する各要素の値は０若しくは２５５となり、このような合成乱数列を投影パターンＥとする。
投影パターン生成部１０３は、合成乱数列中の各要素の値を二値化する。この二値化では、閾値を２５５とする。そして合成乱数列の各要素のうち２５５以下の値を０に修正し、２５５を超えている値を２５５に修正する。これにより、合成乱数列を構成する各要素の値は０若しくは２５５となり、このような合成乱数列を投影パターンＥとする。
＜ステップＳ３０２＞
プロジェクタ１０２は、ステップＳ３０１で投影パターン生成部１０３によって生成された投影パターンＥを、被写体１０１に対して投影する。上記でも述べたように、投影パターンＥがボケることなく投影される合焦位置は、被写体１０１の取り得るｚ方向の最遠方ｚｆに設定されている。そして、被写体１０１のｚ位置がカメラ１０４に近いほど、被写体１０１上の投影パターンＥのボケ量が増大するようになっている。
プロジェクタ１０２は、ステップＳ３０１で投影パターン生成部１０３によって生成された投影パターンＥを、被写体１０１に対して投影する。上記でも述べたように、投影パターンＥがボケることなく投影される合焦位置は、被写体１０１の取り得るｚ方向の最遠方ｚｆに設定されている。そして、被写体１０１のｚ位置がカメラ１０４に近いほど、被写体１０１上の投影パターンＥのボケ量が増大するようになっている。
＜ステップＳ３０３＞
カメラ１０４は、投影パターンＥが投影されている被写体１０１を撮像して、図１３に例示するような、０〜２５５の範囲でグレースケールの輝度値を画素単位で有する撮像画像Ｃを取得する。
カメラ１０４は、投影パターンＥが投影されている被写体１０１を撮像して、図１３に例示するような、０〜２５５の範囲でグレースケールの輝度値を画素単位で有する撮像画像Ｃを取得する。
＜ステップＳ３０４＞
視差計算部１０５は、ステップＳ３０３で取得した撮像画像Ｃと、ステップＳ３０１で生成した投影パターンＥと、を用いて、被写体１０１上におけるプロジェクタ１０２とカメラ１０４との間の視差を、撮像画像Ｃの解像度よりも粗い単位で計算し、概略視差画像Ｄｄを生成する。ステップＳ３０４における処理の詳細について、図８のフローチャートを用いて説明する。
視差計算部１０５は、ステップＳ３０３で取得した撮像画像Ｃと、ステップＳ３０１で生成した投影パターンＥと、を用いて、被写体１０１上におけるプロジェクタ１０２とカメラ１０４との間の視差を、撮像画像Ｃの解像度よりも粗い単位で計算し、概略視差画像Ｄｄを生成する。ステップＳ３０４における処理の詳細について、図８のフローチャートを用いて説明する。
＜ステップＳ８０１＞
視差計算部１０５は先ず、撮像画像Ｃの縮小画像Ｃｄと、投影パターンＥの縮小画像である縮小投影パターンＥｄと、を生成する。縮小した画像のサイズは、元の画像のサイズの１／４とする。画像の縮小処理においては、隣接画素に対して線形補間によるサンプリングを行い、エイリアシングの抑制を行う。
視差計算部１０５は先ず、撮像画像Ｃの縮小画像Ｃｄと、投影パターンＥの縮小画像である縮小投影パターンＥｄと、を生成する。縮小した画像のサイズは、元の画像のサイズの１／４とする。画像の縮小処理においては、隣接画素に対して線形補間によるサンプリングを行い、エイリアシングの抑制を行う。
＜ステップＳ８０２＞
縮小画像Ｃｄにおいて未だ未処理の画素位置における画素を、視差を計算する対象となる画素ｐｄとして設定する。第１回目のステップＳ８０２では、縮小画像Ｃｄの左上隅位置の画素を画素ｐｄとして設定し、第２回目のステップＳ８０２では、左上隅位置の１つ右隣の画素位置の画素を画素ｐｄとして設定する。このようにして、縮小画像Ｃｄの左上隅位置から右下隅位置までの各画素を順次、画素ｐｄとして設定する。
縮小画像Ｃｄにおいて未だ未処理の画素位置における画素を、視差を計算する対象となる画素ｐｄとして設定する。第１回目のステップＳ８０２では、縮小画像Ｃｄの左上隅位置の画素を画素ｐｄとして設定し、第２回目のステップＳ８０２では、左上隅位置の１つ右隣の画素位置の画素を画素ｐｄとして設定する。このようにして、縮小画像Ｃｄの左上隅位置から右下隅位置までの各画素を順次、画素ｐｄとして設定する。
＜ステップＳ８０３＞
図９に示す如く、画素ｐｄを中心とする１１画素×１１画素の矩形領域を、縮小画像ウィンドウＷｐｄとして設定する。なお、縮小画像Ｃｄの端部近傍に縮小画像ウィンドウＷｐｄを設定した場合、縮小画像Ｃｄの外側部分が縮小画像ウィンドウＷｐｄに含まれてしまうことになる。この場合、この外側部分は、輝度値＝０として取り扱う。
図９に示す如く、画素ｐｄを中心とする１１画素×１１画素の矩形領域を、縮小画像ウィンドウＷｐｄとして設定する。なお、縮小画像Ｃｄの端部近傍に縮小画像ウィンドウＷｐｄを設定した場合、縮小画像Ｃｄの外側部分が縮小画像ウィンドウＷｐｄに含まれてしまうことになる。この場合、この外側部分は、輝度値＝０として取り扱う。
＜ステップＳ８０４＞
変数Rpdminを、取り得る最大の値である最大評価値Rmaxで初期化する。
変数Rpdminを、取り得る最大の値である最大評価値Rmaxで初期化する。
＜ステップＳ８０５＞
変数xpdminを、ステップＳ８０２で画素ｐｄを設定した画素位置のｘ座標値で初期化する。図９の場合、画素ｐｄを設定した画素位置（ｘｐｄ、ｙｐｄ）のｘ座標値は「ｘｐｄ」であるから、変数xpdminを、ｘｐｄで初期化する。
変数xpdminを、ステップＳ８０２で画素ｐｄを設定した画素位置のｘ座標値で初期化する。図９の場合、画素ｐｄを設定した画素位置（ｘｐｄ、ｙｐｄ）のｘ座標値は「ｘｐｄ」であるから、変数xpdminを、ｘｐｄで初期化する。
＜ステップＳ８０６＞
縮小投影パターンＥｄにおいて、ｙ座標＝ｙｐｅｄとなるライン上に、上記の画素ｐｄに対応する画素ｐｅｄを設定する。ここで、プロジェクタ１０２とカメラ１０４との位置関係から、画素ｐｅｄの取り得る範囲は、画素ｐｄのｙ座標ｙｐｄに対応した投影パターン上のｙ座標ｙｐｅｄ（yｐｅｄ＝ｙｐｄ）上に限定される。また、第１回目のステップＳ８０６では、画素位置（０，ｙｐｅｄ）に画素ｐｅｄを設定し、第２回目のステップＳ８０６では、画素位置（１，ｙｐｅｄ）に画素ｐｅｄを設定する。このようにして、縮小投影パターンＥｄにおいて、ｙ座標＝ｙｐｅｄとなるラインの左端から右端までの各画素を順次、画素ｐｅｄとして設定する。
縮小投影パターンＥｄにおいて、ｙ座標＝ｙｐｅｄとなるライン上に、上記の画素ｐｄに対応する画素ｐｅｄを設定する。ここで、プロジェクタ１０２とカメラ１０４との位置関係から、画素ｐｅｄの取り得る範囲は、画素ｐｄのｙ座標ｙｐｄに対応した投影パターン上のｙ座標ｙｐｅｄ（yｐｅｄ＝ｙｐｄ）上に限定される。また、第１回目のステップＳ８０６では、画素位置（０，ｙｐｅｄ）に画素ｐｅｄを設定し、第２回目のステップＳ８０６では、画素位置（１，ｙｐｅｄ）に画素ｐｅｄを設定する。このようにして、縮小投影パターンＥｄにおいて、ｙ座標＝ｙｐｅｄとなるラインの左端から右端までの各画素を順次、画素ｐｅｄとして設定する。
＜ステップＳ８０７＞
図１０に示す如く、画素ｐｅｄを中心とする１１画素×１１画素の矩形領域を、縮小評価ウィンドウＷｐｅｄとして設定する。なお、縮小投影パターンＥｄの端部近傍に縮小評価ウィンドウＷｐｅｄを設定した場合、縮小投影パターンＥｄの外側部分が縮小評価ウィンドウＷｐｅｄに含まれてしまうことになる。この場合、この外側部分は、輝度値＝０として取り扱う。
図１０に示す如く、画素ｐｅｄを中心とする１１画素×１１画素の矩形領域を、縮小評価ウィンドウＷｐｅｄとして設定する。なお、縮小投影パターンＥｄの端部近傍に縮小評価ウィンドウＷｐｅｄを設定した場合、縮小投影パターンＥｄの外側部分が縮小評価ウィンドウＷｐｅｄに含まれてしまうことになる。この場合、この外側部分は、輝度値＝０として取り扱う。
＜ステップＳ８０８＞
縮小画像ウィンドウＷｐｄ内の各画素と、縮小評価ウィンドウＷｐｅｄ内の各画素と、で同じ画素位置の画素同士の輝度値の差分を計算し、それぞれの画素位置の差分の合計値を評価値Ｒｐｅｄとして計算する。例えば、評価値Ｒｐｅｄは、以下の式（２）を計算することで求めることができる。
縮小画像ウィンドウＷｐｄ内の各画素と、縮小評価ウィンドウＷｐｅｄ内の各画素と、で同じ画素位置の画素同士の輝度値の差分を計算し、それぞれの画素位置の差分の合計値を評価値Ｒｐｅｄとして計算する。例えば、評価値Ｒｐｅｄは、以下の式（２）を計算することで求めることができる。
ここで、Ｉｗｐｄ（ｘｗ）は、縮小画像ウィンドウＷｐｄ内の画素位置ｘｗにおける輝度値を表しており、Ｉｗｐｅｄ（ｘｗ）は、縮小評価ウィンドウＷｐｅｄ内の画素位置ｘｗにおける輝度値を表している。式（２）では、縮小画像ウィンドウＷｐｄ（縮小評価ウィンドウＷｐｅｄ）内の各画素位置ｘｗについて、画素値の差分の二乗を計算し、画素位置ｘｗごとに計算した二乗値の合計値を、評価値Ｒｐｅｄとして求めている。
＜ステップＳ８０９＞
ステップＳ８０８で求めた評価値Ｒｐｅｄと、変数Ｒｐｄｍｉｎの値である最小評価値と、の大小比較を行う。この大小比較の結果、Ｒｐｄｍｉｎ＞Ｒｐｅｄであれば、処理はステップＳ８１０に進む。一方、Ｒｐｄｍｉｎ≦Ｒｐｅｄであれば、処理はステップＳ８１２に進む。
ステップＳ８０８で求めた評価値Ｒｐｅｄと、変数Ｒｐｄｍｉｎの値である最小評価値と、の大小比較を行う。この大小比較の結果、Ｒｐｄｍｉｎ＞Ｒｐｅｄであれば、処理はステップＳ８１０に進む。一方、Ｒｐｄｍｉｎ≦Ｒｐｅｄであれば、処理はステップＳ８１２に進む。
＜ステップＳ８１０＞
変数Ｒｐｄｍｉｎに、評価値Ｒｐｅｄを代入する。
変数Ｒｐｄｍｉｎに、評価値Ｒｐｅｄを代入する。
＜ステップＳ８１１＞
変数ｘｐｄｍｉｎに、現在の画素ｐｅｄのｘ座標位置であるｘｐｅｄを代入する。
変数ｘｐｄｍｉｎに、現在の画素ｐｅｄのｘ座標位置であるｘｐｅｄを代入する。
＜ステップＳ８１２＞
画素ｐｅｄのｘ座標位置が、ｙ座標＝ｙｐｅｄとなるラインの右端位置に達した場合には、処理はステップＳ８１３に進み、まだ達していない場合には、画素ｐｅｄの現在のｘ座標位置に１を加えてから、処理はステップＳ８０６に戻る。
画素ｐｅｄのｘ座標位置が、ｙ座標＝ｙｐｅｄとなるラインの右端位置に達した場合には、処理はステップＳ８１３に進み、まだ達していない場合には、画素ｐｅｄの現在のｘ座標位置に１を加えてから、処理はステップＳ８０６に戻る。
＜ステップＳ８１３＞
変数Ｒｐｄｍｉｎの値である最小評価値と、予め定められている基準評価値Ｒｒｅｆｄと、の大小比較を行う。この大小比較の結果、Ｒｐｄｍｉｎ＜Ｒｒｅｆｄであれば、最小評価値は信頼がある評価値として判断し、処理はステップＳ８１４に進む。すなわち、最小評価値が小さいほど、縮小画像ウィンドウＷｐｄ内の画素群と、縮小評価ウィンドウＷｐｅｄ内の画素群と、は輝度値について類似度が高いことになる。一方、Ｒｐｄｍｉｎ≧Ｒｒｅｆｄであれば、最小評価値は信頼がない評価値として判断し、処理はステップＳ８１５に進む。
変数Ｒｐｄｍｉｎの値である最小評価値と、予め定められている基準評価値Ｒｒｅｆｄと、の大小比較を行う。この大小比較の結果、Ｒｐｄｍｉｎ＜Ｒｒｅｆｄであれば、最小評価値は信頼がある評価値として判断し、処理はステップＳ８１４に進む。すなわち、最小評価値が小さいほど、縮小画像ウィンドウＷｐｄ内の画素群と、縮小評価ウィンドウＷｐｅｄ内の画素群と、は輝度値について類似度が高いことになる。一方、Ｒｐｄｍｉｎ≧Ｒｒｅｆｄであれば、最小評価値は信頼がない評価値として判断し、処理はステップＳ８１５に進む。
＜ステップＳ８１４＞
画素ｐｄのｘ座標位置であるｘｐｄと、変数ｘｐｄｍｉｎが表すｘ座標位置と、の差分を、画素ｐｄにおける視差ｄｐｄとして求める。
画素ｐｄのｘ座標位置であるｘｐｄと、変数ｘｐｄｍｉｎが表すｘ座標位置と、の差分を、画素ｐｄにおける視差ｄｐｄとして求める。
＜ステップＳ８１５＞
画素ｐｄにおける視差ｄｐｄとして、ＮａＮを設定する。以降、この画素pdにおける視差dpdは計算不能として、その後の計算に使用しない。
画素ｐｄにおける視差ｄｐｄとして、ＮａＮを設定する。以降、この画素pdにおける視差dpdは計算不能として、その後の計算に使用しない。
＜ステップＳ８１６＞
ステップＳ８０２〜ステップＳ８１５の処理を、縮小画像Ｃｄを構成する全ての画素について行ったか否かを判断する。この判断の結果、縮小画像Ｃｄを構成する全ての画素についてステップＳ８０２〜ステップＳ８１５の処理を行った場合には、処理はステップＳ３０５に進む。一方、縮小画像Ｃｄを構成する画素のうち未だステップＳ８０２〜ステップＳ８１５の処理を行っていない画素が残っている場合には、処理はステップＳ８０２に戻る。
ステップＳ８０２〜ステップＳ８１５の処理を、縮小画像Ｃｄを構成する全ての画素について行ったか否かを判断する。この判断の結果、縮小画像Ｃｄを構成する全ての画素についてステップＳ８０２〜ステップＳ８１５の処理を行った場合には、処理はステップＳ３０５に進む。一方、縮小画像Ｃｄを構成する画素のうち未だステップＳ８０２〜ステップＳ８１５の処理を行っていない画素が残っている場合には、処理はステップＳ８０２に戻る。
以上説明した、図８のフローチャートに従った処理を行うことで、縮小画像Ｃｄを構成する各画素について、視差ｄｐｄを計算することができる。そして視差計算部１０５は、縮小画像Ｃｄ中の画素の並びに従って、対応する視差ｄｐｄを並べたものを、概略視差画像Ｄｄとして生成する。即ち、概略視差画像Ｄｄ中の画素位置（ｘ、ｙ）における値（視差ｄｐｄ）は、縮小画像Ｃｄ中の画素位置（ｘ、ｙ）の画素に対応する視差を表していることになる。
＜ステップＳ３０５＞
三次元形状計算部１０６は、ステップＳ３０４で生成した概略視差画像Ｄｄと、後述するプロジェクタ１０２―カメラ１０４間の基線の長さ（基線長）と、カメラ１０４の焦点距離と、を用いて、被写体１０１の概略三次元形状を求める。
三次元形状計算部１０６は、ステップＳ３０４で生成した概略視差画像Ｄｄと、後述するプロジェクタ１０２―カメラ１０４間の基線の長さ（基線長）と、カメラ１０４の焦点距離と、を用いて、被写体１０１の概略三次元形状を求める。
図１１に、プロジェクタ１０２と、カメラ１０４と、被写体１０１上の点ｓｄと、の位置関係を簡略化した模式図を示す。三次元形状計測結果を表現するための座標系として、撮像画像と同一のx方向、y方向に加えて、奥行きを示すz方向が、カメラ１０４の主点を原点ｏとした光軸方向に設定された空間座標系を定義する。また、プロジェクタ１０２とカメラ１０４の主点は基線長ｂだけ離れており、主点間を結ぶ直線は、プロジェクタ１０２及びカメラ１０４の視軸と直角をなすものとする。
この空間座標系において、カメラ１０４で被写体１０１上の任意の点sd(xsd,ysd,zsd)を観察する場合を考える。点sdが、撮像画像中でsc(xsc,ysc)の位置に観察されるとすると、点sdの空間座標(xsd, ysd, zsd)は以下の式（３）で表わされる。
ここで、ｆはカメラ１０４の焦点距離、ｋはパラメータを示す。また、プロジェクタ１０２から投影された点sd上の投影パターンの座標をsp(xsp,ysp)とすると、ysc＝yspであり、且つ該点ｓｄについてステップＳ３０４で求めた視差はxscとxspの差を意味している。概略視差画像Ｄｄ中の点scに対応する視差dscを用いて、点sdの奥行きzsdは以下の式（４）で表わされる。
式（３）と式（４）とを用いてパラメータｋを消去することにより、点sdの三次元空間上の座標(xsd, ysd, zsd)は以下の式（５）で得ることができる。
然るに、概略視差画像Ｄｄを構成する各画素のうちＮａＮの値を有する画素以外の画素について、点sdの三次元座標位置を計算することで、被写体１０１の概略三次元形状を表す概略距離画像Ｓｄを求めることができる。
＜ステップＳ３０６＞
視差計算部１０５は投影パターンＥと撮像画像Ｃと概略距離画像Ｓｄとを用いて被写体１０１上におけるプロジェクタ１０２とカメラ１０４との間の視差を、撮像画像Ｃの画素単位で詳細に計算し、該画素単位の視差を画素値とする詳細視差画像Ｄｆを生成する。ステップＳ３０６における処理の詳細について、図１２のフローチャートを用いて説明する。
視差計算部１０５は投影パターンＥと撮像画像Ｃと概略距離画像Ｓｄとを用いて被写体１０１上におけるプロジェクタ１０２とカメラ１０４との間の視差を、撮像画像Ｃの画素単位で詳細に計算し、該画素単位の視差を画素値とする詳細視差画像Ｄｆを生成する。ステップＳ３０６における処理の詳細について、図１２のフローチャートを用いて説明する。
＜ステップＳ１２０１＞
先ず、概略距離画像Ｓdにアップサンプリング処理を適用して、撮像画像Ｃと同サイズの拡大距離画像Ｓuを生成する。アップサンプリング処理においては、最近傍画素によるサンプリングを行い、隣接画素値に対しての補間は行わない。
先ず、概略距離画像Ｓdにアップサンプリング処理を適用して、撮像画像Ｃと同サイズの拡大距離画像Ｓuを生成する。アップサンプリング処理においては、最近傍画素によるサンプリングを行い、隣接画素値に対しての補間は行わない。
＜ステップＳ１２０２＞
撮像画像Ｃにおいて未だ未処理の画素位置における画素を、視差を計算する対象となる画素ｐとして設定する。第１回目のステップＳ１２０２では、撮像画像Ｃの左上隅位置の画素を画素ｐとして設定し、第２回目のステップＳ１２０２では、左上隅位置の１つ右隣の画素位置の画素を画素ｐとして設定する。このようにして、撮像画像Ｃの左上隅位置から右下隅位置までの各画素を順次、画素ｐとして設定する。
撮像画像Ｃにおいて未だ未処理の画素位置における画素を、視差を計算する対象となる画素ｐとして設定する。第１回目のステップＳ１２０２では、撮像画像Ｃの左上隅位置の画素を画素ｐとして設定し、第２回目のステップＳ１２０２では、左上隅位置の１つ右隣の画素位置の画素を画素ｐとして設定する。このようにして、撮像画像Ｃの左上隅位置から右下隅位置までの各画素を順次、画素ｐとして設定する。
＜ステップＳ１２０３＞
図１３に示す如く、画素ｐを中心とする１１画素×１１画素の矩形領域を、撮像画像ウィンドウＷｐとして設定する。なお、撮像画像Ｃの端部近傍に撮像画像ウィンドウＷｐを設定した場合、撮像画像Ｃの外側部分が撮像画像ウィンドウＷｐに含まれてしまうことになる。この場合、この外側部分は、輝度値＝０として取り扱う。
図１３に示す如く、画素ｐを中心とする１１画素×１１画素の矩形領域を、撮像画像ウィンドウＷｐとして設定する。なお、撮像画像Ｃの端部近傍に撮像画像ウィンドウＷｐを設定した場合、撮像画像Ｃの外側部分が撮像画像ウィンドウＷｐに含まれてしまうことになる。この場合、この外側部分は、輝度値＝０として取り扱う。
＜ステップＳ１２０４＞
変数Rpminを、取り得る最大の値である最大評価値Rmaxで初期化する。
変数Rpminを、取り得る最大の値である最大評価値Rmaxで初期化する。
＜ステップＳ１２０５＞
変数xpminを、ステップＳ１２０２で画素ｐを設定した画素位置のｘ座標値で初期化する。図１３の場合、画素ｐを設定した画素位置（ｘｐ、ｙｐ）のｘ座標値は「ｘｐ」であるから、変数xpminを、ｘｐで初期化する。
変数xpminを、ステップＳ１２０２で画素ｐを設定した画素位置のｘ座標値で初期化する。図１３の場合、画素ｐを設定した画素位置（ｘｐ、ｙｐ）のｘ座標値は「ｘｐ」であるから、変数xpminを、ｘｐで初期化する。
＜ステップＳ１２０６＞
ステップＳ１２０１で生成した拡大距離画像Ｓuと、投影パターンＥと、を用いて、撮像画像ウィンドウＷｐとの間で類似度比較を行うためにウィンドウを設定する対象となる投影パターンＥｎを決定する。
ステップＳ１２０１で生成した拡大距離画像Ｓuと、投影パターンＥと、を用いて、撮像画像ウィンドウＷｐとの間で類似度比較を行うためにウィンドウを設定する対象となる投影パターンＥｎを決定する。
図１４に示す如く、被写体１０１上の点sudのz位置がプロジェクタ１０２の被写界深度DOF内（境界最近位置zb〜最遠方位置zfの範囲とする）である場合、被写体１０１上に投影された投影パターンＥはボケることなく結像する。このように、画素ｐに対応する拡大距離画像Su内の点sudのz位置が、被写界深度DOFの範囲内に存在する場合は、投影パターンＥを投影パターンＥｎとする。
一方、点sudのz位置が被写界深度DOFを外れた場合（例えば、境界最近位置zbよりも手前に存在する場合）、投影パターンＥはボケた状態で撮像される。ここで、撮像画像Ｃ内に写っている投影パターンがぼけているのに対し、この撮像画像Ｃ内に設定した撮像画像ウィンドウＷｐと類似度計算を行うウィンドウ内の投影パターンがぼけておらず鮮明であれば、ウィンドウ間のマッチングの精度は低下する。然るに、本実施形態では、撮像画像Ｃ内に写っている投影パターンがぼけていれば、この撮像画像Ｃ内に設定した撮像画像ウィンドウＷｐと類似度計算を行うウィンドウ内の投影パターンを同様に暈かす。そこで、点sudのz位置が被写界深度DOFを外れた場合には、投影パターンＥに対してガウシアンフィルタを施した投影パターンを、投影パターンＥｎとして生成する。投影パターンＥに対してガウシアンフィルタを施した投影パターンの一例を図１５に示す。
ガウシアンフィルタは、ボケた状態を再現するための畳み込みフィルタの一種であり、ステップＳ１２０６においては、投影パターンＥに対して図１６に示すような５×５のフィルタの畳み込み演算を行う。本実施形態における本フィルタの各数値は、図１４に示す如く、被写体１０１の存在範囲をＺｓとした場合、被写界深度ＤＯＦと存在範囲Ｚｓの差の中間に当たる中間位置Ｚnに投影パターンＥが投影された場合とボケ量が等しくなるよう設定している。
このように、拡大距離画像Ｓｕの各画素の画素値を参照し、該画素の画素値が表す距離が、プロジェクタ１０２の被写界深度内であれば、該画素に対する投影パターンＥｎを投影パターンＥとする。一方、被写界深度外であれば、投影パターンＥにガウシアンフィルタを施したものを該画素に対する投影パターンＥｎとする。このようにして、拡大距離画像Ｓｕ（撮像画像Ｃ）の画素毎に、投影パターンＥ及び投影パターンＥにガウシアンフィルタを施した投影パターンの何れか一方を、該画素について使用する投影パターンとして決定する。
＜ステップＳ１２０７＞
投影パターンＥｎにおいて、ｙ座標＝ｙｐｅｎとなるライン上に、上記の画素ｐに対応する画素ｐｅｎを設定する。ここで、プロジェクタ１０２とカメラ１０４との位置関係から、画素ｐｅｎの取り得る範囲は、画素ｐのｙ座標ｙｐに対応した投影パターン上のｙ座標ｙｐｅｎ（ｙｐｅｎ＝ｙｐ）上に限定される。また、第１回目のステップＳ１２０７では、画素位置（０，ｙｐｅｎ）に画素ｐｅｎを設定し、第２回目のステップＳ１２０７では、画素位置（１，ｙｐｅｎ）に画素ｐｅｎを設定する。このようにして、投影パターンＥｎにおいて、ｙ座標＝ｙｐｅｎとなるラインの左端から右端までの各画素を順次、画素ｐｅｎとして設定する。
投影パターンＥｎにおいて、ｙ座標＝ｙｐｅｎとなるライン上に、上記の画素ｐに対応する画素ｐｅｎを設定する。ここで、プロジェクタ１０２とカメラ１０４との位置関係から、画素ｐｅｎの取り得る範囲は、画素ｐのｙ座標ｙｐに対応した投影パターン上のｙ座標ｙｐｅｎ（ｙｐｅｎ＝ｙｐ）上に限定される。また、第１回目のステップＳ１２０７では、画素位置（０，ｙｐｅｎ）に画素ｐｅｎを設定し、第２回目のステップＳ１２０７では、画素位置（１，ｙｐｅｎ）に画素ｐｅｎを設定する。このようにして、投影パターンＥｎにおいて、ｙ座標＝ｙｐｅｎとなるラインの左端から右端までの各画素を順次、画素ｐｅｎとして設定する。
＜ステップＳ１２０８＞
図１５に示す如く、画素ｐｅｎを中心とする１１画素×１１画素の矩形領域を、評価ウィンドウＷｐｅｎとして設定する。なお、投影パターンＥｎの端部近傍に評価ウィンドウＷｐｅｎを設定した場合、投影パターンＥｎの外側部分が評価ウィンドウＷｐｅｎに含まれてしまうことになる。この場合、この外側部分は、輝度値＝０として取り扱う。
図１５に示す如く、画素ｐｅｎを中心とする１１画素×１１画素の矩形領域を、評価ウィンドウＷｐｅｎとして設定する。なお、投影パターンＥｎの端部近傍に評価ウィンドウＷｐｅｎを設定した場合、投影パターンＥｎの外側部分が評価ウィンドウＷｐｅｎに含まれてしまうことになる。この場合、この外側部分は、輝度値＝０として取り扱う。
＜ステップＳ１２０９＞
撮像画像ウィンドウＷｐ内の各画素と、評価ウィンドウＷｐｅｎ内の各画素と、で同じ画素位置の画素同士の輝度値の差分を計算し、それぞれの画素位置の差分の合計値を評価値Ｒｐｅｎとして計算する。例えば、評価値Ｒｐｅｎは、以下の式（６）を計算することで求めることができる。
撮像画像ウィンドウＷｐ内の各画素と、評価ウィンドウＷｐｅｎ内の各画素と、で同じ画素位置の画素同士の輝度値の差分を計算し、それぞれの画素位置の差分の合計値を評価値Ｒｐｅｎとして計算する。例えば、評価値Ｒｐｅｎは、以下の式（６）を計算することで求めることができる。
ここで、Ｉｗｐ（ｘｗ）は、撮像画像ウィンドウＷｐ内の画素位置ｘｗにおける輝度値を表しており、Ｉｗｐｅｎ（ｘｗ）は、評価ウィンドウＷｐｅｎ内の画素位置ｘｗにおける輝度値を表している。式（６）では、撮像画像ウィンドウＷｐ（評価ウィンドウＷｐｅｎ）内の各画素位置ｘｗについて、画素値の差分の二乗を計算し、画素位置ｘｗごとに計算した二乗値の合計値を、評価値Ｒｐｅｎとして求めている。
＜ステップＳ１２１０＞
ステップＳ１２０９で求めた評価値Ｒｐｅｎと、変数Ｒｐｍｉｎの値である最小評価値と、の大小比較を行う。この大小比較の結果、Ｒｐｍｉｎ＞Ｒｐｅｎであれば、処理はステップＳ１２１１に進む。一方、Ｒｐｍｉｎ≦Ｒｐｅｎであれば、処理はステップＳ１２１３に進む。
ステップＳ１２０９で求めた評価値Ｒｐｅｎと、変数Ｒｐｍｉｎの値である最小評価値と、の大小比較を行う。この大小比較の結果、Ｒｐｍｉｎ＞Ｒｐｅｎであれば、処理はステップＳ１２１１に進む。一方、Ｒｐｍｉｎ≦Ｒｐｅｎであれば、処理はステップＳ１２１３に進む。
＜ステップＳ１２１１＞
変数Ｒｐｍｉｎに、評価値Ｒｐｅｎを代入する。
変数Ｒｐｍｉｎに、評価値Ｒｐｅｎを代入する。
＜ステップＳ１２１２＞
変数ｘｐｍｉｎに、現在の画素ｐｅｎのｘ座標位置であるｘｐｅｎを代入する。
変数ｘｐｍｉｎに、現在の画素ｐｅｎのｘ座標位置であるｘｐｅｎを代入する。
＜ステップＳ１２１３＞
画素ｐｅｎのｘ座標位置が、ｙ座標＝ｙｐｅｎとなるラインの右端位置に達した場合には、処理はステップＳ１２１４に進み、まだ達していない場合には、画素ｐｅｎの現在のｘ座標位置に１を加えてから、処理はステップＳ１２０７に戻る。
画素ｐｅｎのｘ座標位置が、ｙ座標＝ｙｐｅｎとなるラインの右端位置に達した場合には、処理はステップＳ１２１４に進み、まだ達していない場合には、画素ｐｅｎの現在のｘ座標位置に１を加えてから、処理はステップＳ１２０７に戻る。
＜ステップＳ１２１４＞
変数Ｒｐｍｉｎの値である最小評価値と、予め定められている基準評価値Ｒｒｅｆと、の大小比較を行う。この大小比較の結果、Ｒｐｍｉｎ＜Ｒｒｅｆであれば、最小評価値は信頼がある評価値として判断し、処理はステップＳ１２１５に進む。すなわち、最小評価値が小さいほど、撮像画像ウィンドウＷｐ内の画素群と、評価ウィンドウＷｐｅｎ内の画素群と、は輝度値について類似度が高いことになる。一方、Ｒｐｍｉｎ≧Ｒｒｅｆであれば、最小評価値は信頼がない評価値として判断し、処理はステップＳ１２１６に進む。
変数Ｒｐｍｉｎの値である最小評価値と、予め定められている基準評価値Ｒｒｅｆと、の大小比較を行う。この大小比較の結果、Ｒｐｍｉｎ＜Ｒｒｅｆであれば、最小評価値は信頼がある評価値として判断し、処理はステップＳ１２１５に進む。すなわち、最小評価値が小さいほど、撮像画像ウィンドウＷｐ内の画素群と、評価ウィンドウＷｐｅｎ内の画素群と、は輝度値について類似度が高いことになる。一方、Ｒｐｍｉｎ≧Ｒｒｅｆであれば、最小評価値は信頼がない評価値として判断し、処理はステップＳ１２１６に進む。
＜ステップＳ１２１５＞
画素ｐのｘ座標位置であるｘｐと、変数ｘｐｍｉｎが表すｘ座標位置と、の差分を、画素ｐにおける視差ｄｐとして求める。
画素ｐのｘ座標位置であるｘｐと、変数ｘｐｍｉｎが表すｘ座標位置と、の差分を、画素ｐにおける視差ｄｐとして求める。
＜ステップＳ１２１６＞
画素ｐにおける視差ｄｐとして、ＮａＮを設定する。以降、この画素pにおける視差dpは計算不能として、その後の計算に使用しない。
画素ｐにおける視差ｄｐとして、ＮａＮを設定する。以降、この画素pにおける視差dpは計算不能として、その後の計算に使用しない。
＜ステップＳ１２１７＞
ステップＳ１２０２〜ステップＳ１２１６の処理を、撮像画像Ｃを構成する全ての画素について行ったか否かを判断する。この判断の結果、撮像画像Ｃを構成する全ての画素についてステップＳ１２０２〜ステップＳ１２１６の処理を行った場合には、処理はステップＳ３０７に進む。一方、撮像画像Ｃを構成する画素のうち未だステップＳ１２０２〜ステップＳ１２１６の処理を行っていない画素が残っている場合には、処理はステップＳ１２０２に戻る。
ステップＳ１２０２〜ステップＳ１２１６の処理を、撮像画像Ｃを構成する全ての画素について行ったか否かを判断する。この判断の結果、撮像画像Ｃを構成する全ての画素についてステップＳ１２０２〜ステップＳ１２１６の処理を行った場合には、処理はステップＳ３０７に進む。一方、撮像画像Ｃを構成する画素のうち未だステップＳ１２０２〜ステップＳ１２１６の処理を行っていない画素が残っている場合には、処理はステップＳ１２０２に戻る。
以上説明した、図１２のフローチャートに従った処理を行うことで、撮像画像Ｃを構成する各画素について、視差ｄｐを計算することができる。そして視差計算部１０５は、撮像画像Ｃ中の画素の並びに従って、対応する視差ｄｐを並べたものを、詳細視差画像Ｄとして生成する。即ち、詳細視差画像Ｄ中の画素位置（ｘ、ｙ）における値（視差ｄｐ）は、撮像画像Ｃ中の画素位置（ｘ、ｙ）の画素に対応する視差を表していることになる。
＜ステップＳ３０７＞
三次元形状計算部１０６は、詳細視差画像Ｄと、プロジェクタ１０２―カメラ１０４間の基線の長さ（基線長）と、カメラ１０４の焦点距離と、を用いて、上記のステップＳ３０５と同様の処理を行うことで、被写体１０１の詳細な三次元形状を求める。ステップＳ３０７における計算処理では、詳細視差画像Ｄを構成する各画素のうちＮａＮの値を有する画素以外の画素について、対応する点sdの三次元座標位置を計算することで、被写体１０１の詳細な三次元形状を表す詳細距離画像Ｓを求める。
三次元形状計算部１０６は、詳細視差画像Ｄと、プロジェクタ１０２―カメラ１０４間の基線の長さ（基線長）と、カメラ１０４の焦点距離と、を用いて、上記のステップＳ３０５と同様の処理を行うことで、被写体１０１の詳細な三次元形状を求める。ステップＳ３０７における計算処理では、詳細視差画像Ｄを構成する各画素のうちＮａＮの値を有する画素以外の画素について、対応する点sdの三次元座標位置を計算することで、被写体１０１の詳細な三次元形状を表す詳細距離画像Ｓを求める。
このように、本実施形態では、１画素若しくは複数画素から成る矩形領域単位でランダムな画素値を有するパターン画像と、該矩形領域よりも大きいサイズの矩形領域単位でランダムな画素値を有するパターン画像とを合成した投影パターンを用いる。これにより、被写体の位置が投影パターンの結像範囲外に存在するような条件下においても、パターンのボケによるコントラスト低下を軽減させることができる。そしてこれにより、被写体の三次元形状計測をより正確に行うことができる。
なお、本実施形態では、ステップＳ３０１において、高密度乱数列Ｒｈと低密度乱数列Ｒｌの２つを用いて投影パターンＥを生成しているが、被写体のｚ位置がより広い範囲に存在しうる場合には、三種類以上の乱数列を用いて生成してもよい。このような場合においても、同様に各乱数列に基づくパターン画像を構成する数値の足し合せを行い、中間の数値を閾値として二値化を行えばよい。
また、本実施形態では、高密度乱数列Ｒｈと低密度乱数列Ｒｌはランダムな数列として生成しているが、これに限るものではない。数学的特性から、数列中で一意となる部分数列が明確に定義可能な疑似ランダム系列の一種であるＭ系列などを用いてもよい。このような数列を使用することで、より小さい撮像画像ウィンドウ、評価ウィンドウの領域で視差計算が可能となり、結果として計測可能な被写体の領域も増加する。
また本実施形態では投影パターンＥを生成するために高密度乱数列Ｒｈと低密度乱数列Ｒｌを生成しているが、このような乱数列を生成する代わりに、予め用意された、乱数列の数値をグレースケールの輝度値として有する画像を取得するようにしても構わない。
また、本実施形態では、第一の二次元パターン画像、第二の二次元パターン画像のそれぞれは、「１画素若しくは複数画素から成る矩形領域」単位、「該矩形領域よりも大きいサイズの矩形領域」単位で画素値が決まっていた。しかし、何れのパターン画像も、均一サイズの矩形領域単位で画素値を決めなくても構わない。例えば、パターン画像の中央部に近いほど矩形領域のサイズを小さくすることで、中央部で被写体の存在しうる距離範囲が減少する一方で、より詳細な計測を行うことができる。
また、本実施形態では、ステップＳ１２０６において、投影パターンＥｎを生成する際に、投影パターンＥが中間位置に投影された場合とボケ量が等しくなるように設定しているが、これに限るものではない。数値的により良好な視差計算が行えるガウシアンフィルタの各数値が存在する場合には、最適な数値へ任意に変更してもよい。また、純粋なガウシアンフィルタでなく、例えばプロジェクタ１０２の諸収差の影響を考慮して数値を設定したフィルタを適用することで、より良好な視差計算を行うことができる。
また、本実施形態では、投影パターンＥは、矩形の画素形状で構成されているが、これに限るものではない。たとえば、画素密度をより高めることのできる三角形や、六角形の画素形状を用いてもよい。これらの画素形状を用いることで、より小さい撮像画像ウィンドウ、評価ウィンドウの領域で視差計算が可能となり、結果として計測可能な被写体の領域も増加する。
また、投影パターン生成部１０３、視差計算部１０５、三次元形状計算部１０６は何れもハードウェアで構成しても構わないし、ソフトウェア（コンピュータプログラム）で構成しても構わない。
前者の場合、投影パターン生成部１０３、視差計算部１０５、三次元形状計算部１０６のそれぞれは別個の装置としても構わないし、１つの装置内の専用ハードウェアとしても構わない。
後者の場合、このようなコンピュータプログラムを保持するメモリと、該メモリから該コンピュータプログラムを読み出して実行するプロセッサと、を有する装置であれば、本実施形態に係る画像処理装置に適用することができる。もちろん、投影パターン生成部１０３、視差計算部１０５、三次元形状計算部１０６の全ての機能をハードウェア、ソフトウェアの何れかのみで実装することに限らず、部分的な機能をハードウェア、ソフトウェアの何れかで実装するようにしても構わない。
［第２の実施形態］
本実施形態では、ステップＳ３０１における処理のみが第１の実施形態と異なる。然るに以下では本実施形態に係るステップＳ３０１における処理について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。なお、本実施形態では、カメラ１０４については、第１の実施形態と比較して、より広いダイナミックレンジを持ち、低ノイズのものを用いることが望ましい。
本実施形態では、ステップＳ３０１における処理のみが第１の実施形態と異なる。然るに以下では本実施形態に係るステップＳ３０１における処理について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。なお、本実施形態では、カメラ１０４については、第１の実施形態と比較して、より広いダイナミックレンジを持ち、低ノイズのものを用いることが望ましい。
本実施形態に係るステップＳ３０１における処理について、図１７のフローチャートを用いて説明する。ステップＳ１７０１〜Ｓ１７０３の各ステップにおける処理は、それぞれ、上記のステップＳ４０１〜Ｓ４０３における処理と同様であるので、これらのステップに係る説明は省略する。
＜ステップＳ１７０４＞
投影パターン生成部１０３は、合成乱数列に対する階調削減を行って投影パターンＥを生成する。例えば、第一閾値Ｔ１をＴ１＝１７１、第二閾値Ｔ２をＴ２＝３７４とした場合、投影パターンＥ中の画素位置（ｘ、ｙ）における輝度値ｅｘｙは、合成乱数列Ra中の位置（x,y）における値raxyから以下の式（７）に従って計算される。
投影パターン生成部１０３は、合成乱数列に対する階調削減を行って投影パターンＥを生成する。例えば、第一閾値Ｔ１をＴ１＝１７１、第二閾値Ｔ２をＴ２＝３７４とした場合、投影パターンＥ中の画素位置（ｘ、ｙ）における輝度値ｅｘｙは、合成乱数列Ra中の位置（x,y）における値raxyから以下の式（７）に従って計算される。
そして、式（７）に従った、第一閾値及び第二閾値を用いた輝度値の量子化を、合成乱数列Ｒａ中の各画素位置について行うことで、０を最低輝度、１２７を中間輝度、２５５を最大輝度とした３値からなる画像である投影パターンＥを生成することができる。このようにして生成された投影パターンＥの一例を図１８に示す。
このように、本実施形態によれば、二値と比較して多くの情報量を有する三値の投影パターンを用いることになるので、より確実に視差画像を取得することができるため、被写体の三次元形状が計測不能な領域を削減することができる。
なお、本実施形態では、ステップＳ１７０４において、三段階の場合分けによって三値の投影パターンＥを生成しているが、これに限るものではない。ダイナミックレンジや低ノイズ性能について、より高性能なカメラ１０４が使用できる場合には、さらに場合分けを細かく行って、より多値の投影パターンを生成してもよい。より多値の投影パターンを用いることで、さらに被写体の三次元形状が計測不能な領域を削減することができる。
［第３の実施形態］
本実施形態では、ステップＳ３０１における処理のみが第１の実施形態と異なる。然るに以下では本実施形態に係るステップＳ３０１における処理について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。
本実施形態では、ステップＳ３０１における処理のみが第１の実施形態と異なる。然るに以下では本実施形態に係るステップＳ３０１における処理について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。
本実施形態に係るステップＳ３０１における処理について、図１９のフローチャートを用いて説明する。ステップＳ１９０１〜Ｓ１９０３の各ステップにおける処理は、それぞれ、上記のステップＳ４０１〜Ｓ４０３における処理と同様であるので、これらのステップに係る説明は省略する。
＜ステップＳ１９０４＞
投影パターン生成部１０３は、合成乱数列Raに対して、Floyd-Steinbergディザリング処理を適用することで疑似多階調化を行い、二値化された投影パターンＥを生成する。ステップＳ１９０４における処理の詳細について、図２０のフローチャートを用いて説明する。
投影パターン生成部１０３は、合成乱数列Raに対して、Floyd-Steinbergディザリング処理を適用することで疑似多階調化を行い、二値化された投影パターンＥを生成する。ステップＳ１９０４における処理の詳細について、図２０のフローチャートを用いて説明する。
＜ステップＳ２００１＞
合成乱数列Ｒａ及び投影パターンＥ上に対象画素位置を設定する。本ステップにおける処理を最初に行う場合には、合成乱数列Ｒａの左上隅の画素位置を対象画素位置に設定すると共に、投影パターンＥの左上隅の画素位置を対象画素位置に設定する。
合成乱数列Ｒａ及び投影パターンＥ上に対象画素位置を設定する。本ステップにおける処理を最初に行う場合には、合成乱数列Ｒａの左上隅の画素位置を対象画素位置に設定すると共に、投影パターンＥの左上隅の画素位置を対象画素位置に設定する。
＜ステップＳ２００２＞
合成乱数列Ｒａ中の対象画素位置（ｘ、ｙ）における値raxyを二値化した結果を、投影パターンＥ中の対象画素位置（ｘ、ｙ）における画素値ｅｘｙに設定する。raxyは０〜５１０の値を取るため、中間の２５５を閾値として、raxyが２５５よりも大きければ５１０、raxyが２５５よりも小さければ０を、画素値ｅｘｙに設定する。
合成乱数列Ｒａ中の対象画素位置（ｘ、ｙ）における値raxyを二値化した結果を、投影パターンＥ中の対象画素位置（ｘ、ｙ）における画素値ｅｘｙに設定する。raxyは０〜５１０の値を取るため、中間の２５５を閾値として、raxyが２５５よりも大きければ５１０、raxyが２５５よりも小さければ０を、画素値ｅｘｙに設定する。
＜ステップＳ２００３＞
投影パターンＥ中の対象画素位置（ｘ、ｙ）における画素値ｅｘｙと、合成乱数列Ｒａ中の対象画素位置（ｘ、ｙ）における画素値raxyと、を用いて、量子化誤差errを、以下の式（８）を計算することで求める。
投影パターンＥ中の対象画素位置（ｘ、ｙ）における画素値ｅｘｙと、合成乱数列Ｒａ中の対象画素位置（ｘ、ｙ）における画素値raxyと、を用いて、量子化誤差errを、以下の式（８）を計算することで求める。
＜ステップＳ２００４＞
ステップＳ２００３で計算した量子化誤差errを、合成乱数列Ｒａ中の対象画素位置（ｘ、ｙ）の周囲に拡散させる。対象画素位置（ｘ、ｙ）の右隣の画素位置における画素値をｒａ（ｘ＋１）ｙ、左下の画素位置における画素値をｒａ（ｘ−１）（ｙ＋１）、真下の画素位置における画素値をｒａｘ（ｙ＋１）、右下の画素位置における画素値をｒａ（ｘ＋１）（ｙ＋１）とする。このとき、上記拡散により、これらの画素値を以下の式（９）に従って更新する。
ステップＳ２００３で計算した量子化誤差errを、合成乱数列Ｒａ中の対象画素位置（ｘ、ｙ）の周囲に拡散させる。対象画素位置（ｘ、ｙ）の右隣の画素位置における画素値をｒａ（ｘ＋１）ｙ、左下の画素位置における画素値をｒａ（ｘ−１）（ｙ＋１）、真下の画素位置における画素値をｒａｘ（ｙ＋１）、右下の画素位置における画素値をｒａ（ｘ＋１）（ｙ＋１）とする。このとき、上記拡散により、これらの画素値を以下の式（９）に従って更新する。
＜ステップＳ２００５＞
合成乱数列Ｒａ（投影パターンＥ）上の全ての画素位置を対象画素位置として設定したか否かを判断する。この判断の結果、合成乱数列Ｒａ（投影パターンＥ）上の全ての画素位置を対象画素位置として設定した場合には、処理はステップＳ３０２に進む。
合成乱数列Ｒａ（投影パターンＥ）上の全ての画素位置を対象画素位置として設定したか否かを判断する。この判断の結果、合成乱数列Ｒａ（投影パターンＥ）上の全ての画素位置を対象画素位置として設定した場合には、処理はステップＳ３０２に進む。
一方、合成乱数列Ｒａ（投影パターンＥ）上の全ての画素位置のうち未だ対象画素位置として設定していない画素位置が残っていた場合には、現在の対象画素位置の１つ右隣の画素位置を次の対象画素位置とすべく、処理はステップＳ２００１に戻る。なお、現在の対象画素位置が合成乱数列Ｒａ（投影パターンＥ）の右端であり、その１つ右隣の画素位置が存在しない場合、現在の対象画素位置のｙ座標値を１つインクリメントすると共に、ｘ座標値を０（左端）に設定する。以上説明したステップＳ２００１〜Ｓ２００５の処理を行うことで、生成される投影パターンＥの一例を図２１に示す。
本実施形態においては、階調削減として周辺画素を用いた疑似多階調化を行っている。このため、第１の実施形態と比較して全体的に暗点と輝点が均等に分散する投影パターンとなる。このような投影パターンを用いる事で、計測可能な範囲内における被写体の三次元計測は、より良好に行うことができる。ただし、被写界深度が浅くなるため、被写体の存在しうるz位置の範囲はより狭くなる。
なお、本実施形態では、ステップＳ２００２で投影パターンＥを二値化しているが、これに限るものではない。ダイナミックレンジや低ノイズ性能について、より高性能なカメラ１０４が使用できる場合には、さらに場合分けを細かく行って、三値以上（Ｎ（Ｎは３以上の整数）値化）の投影パターンを生成してもよい。より多値の投影パターンを用いることで、さらに被写体の三次元形状が計測不能な領域を削減することができる。
また、本実施形態では、ステップＳ１９０４で階調削減としてFloyd-Steinbergディザリングアルゴリズムを採用しているが、これに限るものではない。よりボケに対してコントラストが低下しにくい投影パターンを生成したい場合や、逆に、より詳細な投影パターンを生成したい場合など、目的に応じてその他の疑似多階調化の手法を用いてもよい。例えば、平均ディザリング法を用いれば、よりボケに対してコントラストが低下しにくい投影パターンが生成できる。また、ランダムディザリング法を用いれば、より詳細な投影パターンを生成できる。
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
Claims (15)
- 被写体に対して投影パターンを投影する投影手段と、
前記投影パターンが投影された被写体を撮像する撮像手段と、
前記投影手段により投影された投影パターンと、前記撮像手段により撮像された画像と、に基づいて、前記被写体の概略距離情報を計測する第１の計測手段と、
前記概略距離情報に基づいて、前記撮像手段により撮像された画像中における前記投影パターンのそれぞれの領域が暈けているか否かを判断する判断手段と、
前記判断手段により暈けていると判断された領域について、前記撮像手段により撮像された画像と前記投影パターンに対する暈かし処理を行うことで得られる画像との相関に基づいて前記被写体に対する距離情報を計測する第２の計測手段と
を備えることを特徴とする画像処理装置。 - 前記投影手段による前記投影パターンの合焦位置は、該投影手段から見て、前記被写体の位置よりも遠方に位置することを特徴とする請求項１に記載の画像処理装置。
- 前記投影パターンは、第１の二次元パターン画像と第２の二次元パターン画像とを合成することで得られる画像であり、
前記投影パターンの各画素の画素値は、前記第一の二次元パターン画像及び前記第二の二次元パターン画像において該画素に対応する画素の画素値の和を、Ｎ（Ｎは２以上の整数）値化した値であることを特徴とする請求項１又は２に記載の画像処理装置。 - 前記投影パターンは、第１の二次元パターン画像と第２の二次元パターン画像とを合成することで得られる画像であり、
前記投影パターンは、前記第一の二次元パターン画像と前記第二の二次元パターン画像とを合成したパターン画像に対して疑似多階調化を行ったパターン画像であることを特徴とする請求項１又は２に記載の画像処理装置。 - 前記第１の計測手段は、前記投影パターンを縮小した縮小投影パターンと、前記撮像画像を縮小した縮小画像と、に基づいて、前記被写体の概略距離情報を計測することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
- 前記被写体の概略距離情報は、前記被写体の表面の三次元座標であることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
- 前記投影パターンは、第１の二次元パターン画像と第２の二次元パターン画像とを合成することで得られる画像であり、
１画素若しくは複数画素から成る領域を第一単位領域とし、該領域よりも大きいサイズの領域を第二単位領域とした場合、
前記第一の二次元パターン画像におけるそれぞれの第一単位領域には、複数の画素値のうち何れかが割り当てられており、
前記第二の二次元パターン画像におけるそれぞれの第二単位領域には、複数の画素値のうち何れかが割り当てられている
ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 - 前記第１の計測手段は、前記撮像手段により撮像された画像に基づく画像内の所定の大きさの領域内の画素値と、前記投影手段により投影された前記投影パターンに基づく画像内の所定の大きさの領域内の画素値と、の間の相関に基づいて、前記被写体の概略距離情報を計測することを特徴とする請求項１に記載の画像処理装置。
- 前記第２の計測手段は、前記判断手段により暈けていないと判断された領域について、前記撮像手段により撮像された画像と前記投影パターンとの相関に基づいて前記被写体に対する距離情報を計測することを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
- 前記判断手段は、前記撮像手段により撮像された画像中の投影パターンの領域に対応する距離が前記投影手段の被写界深度よりも大きい場合には、前記撮像手段により撮像された画像中の投影パターンの領域は暈けていると判断することを特徴とする請求項１に記載の画像処理装置。
- 前記第一単位領域及び前記第二単位領域には、前記複数の画素値のうちランダム若しくは疑似ランダムに決定された画素値が割り当てられていることを特徴とする請求項７に記載の画像処理装置。
- 前記第一単位領域及び前記第二単位領域のサイズは均一であることを特徴とする請求項７に記載の画像処理装置。
- 前記第一単位領域のサイズは、前記第一の二次元パターン画像の中央部に近いほど小さく、
前記第二単位領域のサイズは、前記第二の二次元パターン画像の中央部に近いほど小さいことを特徴とする請求項７に記載の画像処理装置。 - 画像処理装置が行う画像処理方法であって、
前記画像処理装置の投影手段が、被写体に対して投影パターンを投影する投影工程と、
前記画像処理装置の撮像手段が、前記投影パターンが投影された被写体を撮像する撮像工程と、
前記画像処理装置の第１の計測手段が、前記投影工程で投影された投影パターンと、前記撮像工程で撮像された画像と、に基づいて、前記被写体の概略距離情報を計測する第１の計測工程と、
前記画像処理装置の判断手段が、前記概略距離情報に基づいて、前記撮像工程で撮像された画像中における前記投影パターンのそれぞれの領域が暈けているか否かを判断する判断工程と、
前記画像処理装置の第２の計測手段が、前記判断工程で暈けていると判断された領域について、前記撮像工程で撮像された画像と前記投影パターンに対する暈かし処理を行うことで得られる画像との相関に基づいて前記被写体に対する距離情報を計測する第２の計測工程と
を備えることを特徴とする画像処理方法。 - 撮像手段、投影手段、第１の計測手段、第２の計測手段を有するコンピュータに、請求項１４に記載の画像処理方法の各工程を実行させるためのコンピュータプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014007270A JP6254849B2 (ja) | 2014-01-17 | 2014-01-17 | 画像処理装置、画像処理方法 |
| US14/593,249 US9689668B2 (en) | 2014-01-17 | 2015-01-09 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014007270A JP6254849B2 (ja) | 2014-01-17 | 2014-01-17 | 画像処理装置、画像処理方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2015135293A JP2015135293A (ja) | 2015-07-27 |
| JP2015135293A5 JP2015135293A5 (ja) | 2017-02-16 |
| JP6254849B2 true JP6254849B2 (ja) | 2017-12-27 |
Family
ID=53544503
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014007270A Active JP6254849B2 (ja) | 2014-01-17 | 2014-01-17 | 画像処理装置、画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US9689668B2 (ja) |
| JP (1) | JP6254849B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6636252B2 (ja) * | 2015-03-19 | 2020-01-29 | 株式会社メガチップス | 投影システム、プロジェクター装置、撮像装置、および、プログラム |
| US10360693B2 (en) * | 2017-03-01 | 2019-07-23 | Cognex Corporation | High speed structured light system |
| JP6879168B2 (ja) * | 2017-11-01 | 2021-06-02 | オムロン株式会社 | ３次元測定装置、３次元測定方法及びプログラム |
| JP7028623B2 (ja) * | 2017-12-07 | 2022-03-02 | Ckd株式会社 | 三次元計測装置 |
| JP7168077B2 (ja) * | 2019-05-22 | 2022-11-09 | オムロン株式会社 | ３次元計測システム及び３次元計測方法 |
| CN113660407B (zh) * | 2020-04-28 | 2023-11-17 | 合肥美亚光电技术股份有限公司 | 成像设备、成像设备的控制方法及存储介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3668019B2 (ja) * | 1998-10-27 | 2005-07-06 | 株式会社ソニー・コンピュータエンタテインメント | 記録媒体、画像処理装置および画像処理方法 |
| JP4110501B2 (ja) | 1999-11-22 | 2008-07-02 | ソニー株式会社 | ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体 |
| JP4480488B2 (ja) * | 2003-08-28 | 2010-06-16 | 富士通株式会社 | 計測装置、コンピュータ数値制御装置及びプログラム |
| CA2528791A1 (en) * | 2005-12-01 | 2007-06-01 | Peirong Jia | Full-field three-dimensional measurement method |
| JP5299054B2 (ja) * | 2009-04-21 | 2013-09-25 | ソニー株式会社 | 電子機器、表示制御方法およびプログラム |
| TWI432699B (zh) * | 2009-07-03 | 2014-04-01 | Koh Young Tech Inc | 用於檢查測量物件之方法 |
| JP5576726B2 (ja) | 2010-06-29 | 2014-08-20 | キヤノン株式会社 | 三次元計測装置、三次元計測方法、及びプログラム |
| GB2497031A (en) | 2010-09-08 | 2013-05-29 | Canon Kk | Method and apparatus for 3D-measurement by detecting a predetermined pattern |
| JP5595211B2 (ja) * | 2010-10-12 | 2014-09-24 | キヤノン株式会社 | 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム |
| JP5132832B1 (ja) * | 2011-07-11 | 2013-01-30 | キヤノン株式会社 | 計測装置および情報処理装置 |
| AU2011224051B2 (en) * | 2011-09-14 | 2014-05-01 | Canon Kabushiki Kaisha | Determining a depth map from images of a scene |
| DE102012108567B4 (de) * | 2011-10-05 | 2017-04-27 | Electronics And Telecommunications Research Institute | Verfahren zum Erlangen von Tiefeninformationen unter Verwendung eines Lichtmusters |
| JP2013124884A (ja) | 2011-12-13 | 2013-06-24 | Canon Inc | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| JP6112769B2 (ja) * | 2012-03-05 | 2017-04-12 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
| US9389067B2 (en) * | 2012-09-05 | 2016-07-12 | Canon Kabushiki Kaisha | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, program, and storage medium |
-
2014
- 2014-01-17 JP JP2014007270A patent/JP6254849B2/ja active Active
-
2015
- 2015-01-09 US US14/593,249 patent/US9689668B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015135293A (ja) | 2015-07-27 |
| US9689668B2 (en) | 2017-06-27 |
| US20150204661A1 (en) | 2015-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6254849B2 (ja) | 画像処理装置、画像処理方法 | |
| JP6480902B2 (ja) | 投影パターン作成装置および３次元計測装置 | |
| EP2568253B1 (en) | Structured-light measuring method and system | |
| US9025862B2 (en) | Range image pixel matching method | |
| JP2021507440A (ja) | 対象物の３次元画像を生成するための方法およびシステム | |
| JP6566768B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| CN107534731B (zh) | 图像处理装置和图像处理方法 | |
| JP2017181298A (ja) | ３次元形状測定装置および３次元形状測定方法 | |
| JP2011237296A (ja) | ３次元形状計測方法、３次元形状計測装置、及びプログラム | |
| KR20110089299A (ko) | 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체 | |
| Svoboda et al. | Matching in catadioptric images with appropriate windows, and outliers removal | |
| JP2012141758A (ja) | 三次元データ処理装置、方法及びプログラム | |
| US20160086311A1 (en) | High-resolution image generation apparatus, high-resolution image generation method, and high-resolution image generation program | |
| US20190313082A1 (en) | Apparatus and method for measuring position of stereo camera | |
| US20170116739A1 (en) | Apparatus and method for raw-cost calculation using adaptive window mask | |
| US9936189B2 (en) | Method for predicting stereoscopic depth and apparatus thereof | |
| CN107534730B (zh) | 图像处理装置及图像处理方法 | |
| JP2019120590A (ja) | 視差値算出装置、視差値算出方法及びプログラム | |
| CN109859313B (zh) | 3d点云数据获取方法、装置、3d数据生成方法及系统 | |
| JP6867766B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
| CN107534729B (zh) | 图像处理装置和图像处理方法 | |
| JP6991700B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
| KR20220078447A (ko) | 저밀도 영역을 복원하는 이미지 복원 장치의 동작 방법 | |
| JP2006058092A (ja) | ３次元形状測定装置および方法 | |
| JP4925112B2 (ja) | 自由視点画像の生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170106 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170106 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171010 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171102 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171201 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6254849 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |