JP4577126B2 - ステレオ対応づけのための投光パターンの生成装置及び生成方法 - Google Patents

ステレオ対応づけのための投光パターンの生成装置及び生成方法 Download PDF

Info

Publication number
JP4577126B2
JP4577126B2 JP2005200927A JP2005200927A JP4577126B2 JP 4577126 B2 JP4577126 B2 JP 4577126B2 JP 2005200927 A JP2005200927 A JP 2005200927A JP 2005200927 A JP2005200927 A JP 2005200927A JP 4577126 B2 JP4577126 B2 JP 4577126B2
Authority
JP
Japan
Prior art keywords
pattern
sequence
value
image data
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005200927A
Other languages
English (en)
Other versions
JP2007017355A (ja
Inventor
正樹 諏訪
大輔 光本
佳誠 麻生川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2005200927A priority Critical patent/JP4577126B2/ja
Priority to US11/482,499 priority patent/US7940981B2/en
Priority to CN2006101017645A priority patent/CN1896680B/zh
Publication of JP2007017355A publication Critical patent/JP2007017355A/ja
Priority to US12/914,393 priority patent/US8103089B2/en
Application granted granted Critical
Publication of JP4577126B2 publication Critical patent/JP4577126B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Description

本発明は、ステレオ法におけるステレオ対応づけのために計測対象に対して投光するパターンの画像データの生成に関するものである。
従来、互いに異なる2つの位置から計測対象を撮影することにより得られた2つの撮影画像を用いて計測対象の3次元形状情報や計測対象までの距離情報を得る「ステレオ法」が知られている。このステレオ法では、2つの撮影画像間において生じる計測対象の結像位置ずれ(視差)を利用して、三角測量の原理に基づくことにより奥行き距離を算出する。
ステレオ法において視差を求めるためには、各撮影画像において互いに対応する点(対応点)を探索する必要がある。この探索を「ステレオ対応づけ」と呼ぶ。ステレオ対応づけの方法としては、ウィンドウマッチングが知られている。
図12に基づいてウィンドウマッチングの処理内容を説明すれば次のとおりである。
まず、一方の撮影画像を第1画像Gとし、この第1画像Gにおいて基準画素Pを設定し、その基準画素Pに対応するウィンドウWを認識する。ウィンドウWは、基準画素Pと、基準画素Pに対して予め定められた位置関係にある画素の集合とからなる画素領域であり、図12の例では基準画素Pを中心とする3×3画素からなる画素領域である。
次に、他方の撮影画像を第2画像Gとし、この第2画像Gにおけるある画素を対象画素Pとしてこの対象画素Pに対応するウィンドウWを認識する。ウィンドウWは、基準画素Pと、基準画素Pに対して上記ウィンドウWと同じように定められた位置関係にある画素の集合とからなる画素領域である。
そして、上記ウィンドウWを構成する各画素の輝度値I(i)と、上記ウィンドウWを構成する各画素の輝度値I(i)とを用いて次式(式(1))で表される正規化相関関数Cを算出する。
式(1)における「i」は、ウィンドウW及びウィンドウWを構成する各画素をその位置によって識別するための識別番号であり、この識別番号はウィンドウWとウィンドウWとの間において、同じルールに基づいて設定されたものである。つまり、ウィンドウWとウィンドウWとの間において同一識別番号の2つ画素は、ウィンドウWにおける位置とウィンドウWにおける位置とが一致している。
また、式(1)における「W」は、各ウィンドウW・Wを構成する画素数(ウィンドウサイズ)であり、図12の例では3×3=9である。
式(1)により算出される正規化相関関数Cは、上記基準画素Pに対する上記対象画素Pの類似度を示す値(−1から1の値をとる)であり、この値が大きいほど(1に近いほど)これら画素に対応関係がある可能性が高くなる。
そこで、第2画像Gの各画素を順次対象画素Pに設定し、上記と同じ処理によりその画素に関する正規化相関関数Cを算出し、正規化相関関数Cが最も大きくなる画素を上記基準画素Pに対応する画素とみなし、これらを対応点とする。
式(1)を用いる手法は正規化相関法と呼ばれており、ステレオ対応づけのための代表的手法の1つである。
この手法では、輝度値I(i)(i=1〜W)がI’(i)=αI(i)+β(α、βは実数)に変化した場合であっても同じ結果を得ることができる。つまり、輝度値I(i),I(i)(i=1〜W)により算出される正規化相関関数Cと、輝度値I’(i),I(i)により算出される正規化相関関数C’とは同じ値になる。
このことから、第1画像Gを撮影するカメラ1と、第2画像Gを撮影するカメラ2との間の出力特性の相違などにより、各画像における輝度値の間に線形的なずれが生じたとしても、このずれを吸収することにより適切な対応づけを行うことができるようになる。
上記ウィンドウマッチングは画素の輝度値の分布特性に基づいて対応関係を判別する手法であるため、例えば計測対象が単一色の表面をもつ物体である場合のように、計測対象の表面の輝度分布が一様であり、撮影画像において輝度値に変化の生じ難い場合には、ステレオ対応づけを行うことが困難になる。
これに対して、特許文献1、2及び非特許文献1には、計測対象の表面に対して所定の投光パターンを投光して計測対象の表面に模様を付すことにより、上記の問題を解消する技術が開示されている。
より具体的には、特許文献1には、所定の輝度階調を有する輝度ブロックをランダムに(すなわち、輝度変化に規則性がないように)配置したランダムパターンを用いることが開示されている。
また、特許文献2には、一様乱数や正規乱数に基づき、ドットのサイズ、線の長さ、太さ、位置、濃度等に周期性を持たない非周期的投光パターンを用いることが開示されている。また、特許文献2には、生成した投光パターンに対してパターン変化率、特徴量、分散値、パターンマッチング等による評価を行うことにより、その投光パターンの適性を判定することが開示されている。
また、非特許文献1には、M系列擬似乱数列に基づく投光パターン、白及び黒からなるバイナリーコードパターン、グレースケールやカラーによって表される投光パターンなどの種々の投光パターンが開示されている。
なお、図12において、測定点MPとカメラ1の結像点IPとカメラ2の結像点IPとによって形成される平面はエピポーラ平面と呼ばれ、測定点MPと結像点IP・IPそれぞれとを結ぶ直線はエピポーララインと呼ばれる。カメラ1とカメラ2との位置関係が既知であれば、対象画像G上において、測定点MPと結像点IPとを結ぶエピポーララインの方向も分かることになるので、エピポーラライン上でのみ対応づけを行えばよいことは周知のとおりである。
特開2001−91247公報(公開日2001年4月6日) 特開2001−147110公報(公開日2001年5月29日) Jordi Pages、外3名、"Overview of coded light projection techniques for automatic 3D profiling"IEEE International Conference on Robotics and Automation, ICRA 2003, pp. 133-138, Taipei, Taiwan, 14-19th September 2003 金子俊一、外3名、「増分符号相関による孔壁3次元形状のステレオ画像計測」精密工学会誌,vol.67, no.1, pp.81-85, 2001
しかしながら、上記特許文献1、2及び非特許文献1に開示されている何れの投光パターンを用いた場合でも、ウィンドウを構成する画素の輝度値を一列に並べてベクトルとみなすと、同一撮影画像における互いに異なるウィンドウに関し、それぞれに対応するベクトルが互いにスカラー倍の関係(つまり大きさは異なるが方向が同一となる関係)になる可能性がある。
例えば、1×3画素の画素領域からなるウィンドウを想定すると、撮影画像において、あるウィンドウに対応するベクトルが(50,43,23)であり、他のウィンドウに対応するベクトルが(100,86,46)となる場合がある。
上述したように、正規化相関関数C(式(1))を用いることにより、各撮影画像における輝度値の間に線形的なずれが生じたとしてもこのずれを吸収することができる。その反面、正規化相関関数Cでは、従来の投光パターンを用いることにより上記のように互いにスカラー倍の関係が生じた場合には、これらの間で誤って対応づけされる危険性がある。
このことは、正規化相関関数C(式(1))を用いた場合に限らず、例えば非特許文献2に示されている増分符号相関を行う場合にも該当する。
したがって、従来の投光パターンでは、対応点を一意に決定することができずに誤った対応づけを行う危険性があるという問題があった。
なお、上記特許文献2には、投光パターンの適性を判定することにより誤った対応づけがなされる危険性を低減しようとしているが、この技術では、パターンを投光してそれを撮影した後に、撮影された画像を評価し、基準に合致しなかった場合は別のパターンを作成して再度投光、撮影、評価を行うものであるので、誤った対応づけを引き起こさないようなパターンを最初から生成できるとは限らない。
本発明は、上記の課題を解決するためになされたものであり、その目的は、ステレオ法におけるステレオ対応づけのために計測対象に対して投光するパターンとして、より適切なパターンの生成を実現することにある。
本発明に係るパターン生成装置は、ステレオ法におけるステレオ対応づけのために計測対象に対して投光するパターンの画像データを生成するパターン生成装置であって、M値(Mは2以上の整数)の数値を項とする数列を生成する数列生成手段と、前記数列生成手段によって生成された数列の各数値を、当該各数値に応じた階調値に変換することにより前記画像データを生成する画像データ生成手段とを備え、前記数列生成手段は、生成する数列を構成する所定長の部分数列について、当該各部分数列によって表されるベクトルが互いに方向の異なるベクトルとなるように、前記数列を生成することを特徴としている。
上記構成では、数列生成手段によってM値の数値を項とする数列を生成する。ここで、M値の数値は、例えば、M=2の場合は「0」及び「1」(2進数表示)の2値の数値となり、M=4の場合は「00」、「01」、「10」及び「11」(2進数表示)の4値の数値となる。
また、上記構成では、数列生成手段によって生成される数列は、生成する数列を構成する所定長の部分数列について、当該各部分数列によって表されるベクトルが互いに方向の異なるベクトル(このようにベクトルの集合においてあるベクトルが他のベクトルとは方向が異なっていることをベクトルの方向の「一意性」と称する。)となるような数列である。ここで、「所定長の部分数列」とは、数列生成手段によって生成される数列の一部をなす、連続する所定長の数列を意味する。
そして、上記構成では、画像データ生成手段によって上記数列の各数値を、当該各数値に応じた階調値に変換することにより画像データを生成する。
このようにして得られた画像データでは、上記所定長に対応する画素列の階調値によって表されるベクトルの方向は一意性を有しており互いにスカラー倍の関係にはないことから、正規化相関関数や増分符号相関関数などの評価関数(ステレオ画像間の輝度の線形的なずれを吸収する評価関数)を用いた場合に誤った対応づけがなされる危険性を低減し、的確な対応づけを行うことができる。
本発明に係るパターン生成装置は、上記パターン生成装置において、前記画像データ生成手段は、前記数列生成手段によって生成された数列を行とし、この行を列方向に複数並べることにより行列状の画像データを生成してもよい。
ステレオ法では、観測点とステレオカメラの各結像点とは三角形(エピポーラ平面)を形成するので、対応づけは三角形の1辺(エピポーラライン)上で行えばよいことになる。したがって、予めステレオカメラにおける各カメラ間の位置関係を確定しておくことによってエピポーララインの方向も知ることができるので、その方向においてステレオ対応づけを行えばよいことになる。
上記構成では、画像データの行方向ではベクトルの方向の一意性が確保されるので、この方向において的確な対応づけを行うことができる。したがって、この方向を上記エピポーララインの方向にあわせることによって、全体としても的確な対応づけを行うことができる。
本発明に係るパターン生成装置は、上記パターン生成装置において、前記画像データ生成手段は、前記数列生成手段によって生成された数列を行とし、この行を前記所定長分行方向にずらしながら列方向に複数並べることにより行列状の画像データを生成してもよい。
上記構成では、上記所定長分に対応する行数及び列数からなる正方行列を考えたときに、得られる画像データにおける任意の正方行列は互いにスカラー倍の関係にはないことになる。したがって、2次元的な対応づけを行うことができるようになるため、上記のようにエピポーララインを考慮しなくとも、あるいはエピポーララインに対してある程度の誤差を考慮に入れても的確な対応づけを行うことができる。
本発明に係るパターン生成装置は、上記パターン生成装置において、上記数列を求めるためには、例えば次のようにすればよい。すなわち、前記M値の数値はNビットの数値であり、この数値を前記所定長分並べたものを2進数の候補値とみなすと、前記数列生成手段は、前記候補値を2倍するとともに2−1回を超えない範囲で1加えることによって新たな候補値を得る演算を繰り返し行うとともに、新たな候補値が得られるとその候補値によって表されるベクトルが以前に得られた候補値によって表されるベクトルとは方向の異なるベクトルであるか否かを確認し、方向の異なるベクトルであった場合にその候補値を採用し、採用された候補値の下位Nビットを順に並べることによって前記数列を生成することができる。
上記何れかのパターン生成装置と、前記パターン生成装置によって生成されたパターンを計測対象に対して投光する投光装置とを備えることにより、本発明に係るパターン投光装置を構成することができる。
また、前記パターン投光装置と、前記パターン投光装置によってパターンが投光された計測対象を撮影するステレオ撮影装置とを備えることによって距離計測装置を構成することもできる。
あるいは、前記パターン投光装置と、前記パターン投光装置によってパターンが投光された計測対象を撮影するステレオ撮影装置とを備えることによって3次元形状計測装置を構成することもできる。
さらに、上記何れかのパターン生成装置と、前記パターン生成装置によって生成されたパターンに応じた露光を行う露光装置とを備えることにより、本発明に係るパターン形成装置を構成することができる。
本発明に係るパターン生成方法は、ステレオ法におけるステレオ対応づけのために計測対象に対して投光するパターンの画像データを生成するパターン生成方法であって、M値(Mは2以上の整数)の数値を項とする数列を生成する数列生成処理と、前記数列生成処理によって生成された数列の各数値を、当該各数値に応じた階調値に変換することにより前記画像データを生成する画像データ生成処理とを含み、前記数列生成処理では、生成する数列を構成する所定長の部分数列について、当該各部分数列によって表されるベクトルが互いに方向の異なるベクトルとなるように、前記数列を生成することを特徴としている。
上記方法により得られた画像データでは、上記パターン生成装置に関して説明したように、上記所定長に対応する画素列の階調値によって表されるベクトルの方向は一意性を有しており互いにスカラー倍の関係にはないことから、正規化相関関数や増分符号相関関数などの評価関数(ステレオ画像間の輝度の線形的なずれを吸収する評価関数)を用いた場合に誤った対応づけがなされる危険性を低減し、的確な対応づけを行うことができる。
上記パターン生成方法によるパターン生成工程と、このパターン生成工程により生成されたパターンを光学フィルタに形成するパターン形成工程とを含むことにより、本発明に係る光学フィルタ製造方法を構成することができる。
また、本発明に係る光学フィルタは、上記パターン生成方法により生成されたパターンを有する光学フィルタである。
なお、上記何れかのパターン生成装置としてコンピュータを動作させるパターン生成プログラムであって、コンピュータを前記各手段として機能させることを特徴とするパターン生成プログラム、及びこのパターン生成プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の範疇に属する。
本発明に係るパターン生成装置は、M値(Mは2以上の整数)の数値を項とする数列を生成する数列生成手段と、数列生成手段によって生成された数列の各数値を、当該各数値に応じた階調値に変換することにより画像データを生成する画像データ生成手段とを備え、数列生成手段は、生成する数列を構成する所定長の部分数列について、当該各部分数列によって表されるベクトルが互いに方向の異なるベクトルとなるように、前記数列を生成する構成である。
また、本発明に係るパターン生成方法は、M値(Mは2以上の整数)の数値を項とする数列を生成する数列生成処理と、数列生成処理によって生成された数列の各数値を、当該各数値に応じた階調値に変換することにより画像データを生成する画像データ生成処理とを含み、数列生成処理では、生成する数列を構成する所定長の部分数列について、当該各部分数列によって表されるベクトルが互いに方向の異なるベクトルとなるように、数列を生成する方法である。
上記構成及び方法により得られた画像データでは、上記所定長に対応する画素列の階調値によって表されるベクトルの方向は一意性を有しており互いにスカラー倍の関係にはないことから、正規化相関関数などを用いた場合に誤った対応づけがなされる危険性を低減し、的確な対応づけを行うことができる。
〔実施形態1〕
本発明の第1の実施形態について図1から図8に基づいて説明すると以下の通りである。
本実施形態の3次元形状計測装置1の構成を図1のブロック図に基づいて説明する。3次元形状計測装置1は、ステレオ法を用いて計測対象MOの3次元形状を計測する装置である。
3次元形状計測装置1は、ステレオカメラ11と、ステレオ画像処理装置12と、プロジェクタ21と、パターン生成装置22とを備えている。
ステレオカメラ11は、第1カメラ11aと第2カメラ11bとを備えたステレオカメラであり、互いに異なる位置から計測対象MOを撮影することにより、撮影画像データをそれぞれ生成するものである。
ステレオ画像処理装置12は、第1及び第2カメラ11a・11bによって生成された各撮影画像データを用いたステレオ法によって計測対象MOの3次元形状を算出するものである。より具体的には、ステレオ画像処理装置12は、上記各撮影画像データを用いることにより、2つの撮影画像間において生じる計測対象の結像位置ずれ(視差)を利用して、三角測量の原理に基づくことにより奥行き距離を算出し、この奥行き距離から計測対象MOの3次元形状を算出する。そして、ステレオ画像処理装置12は、上記視差を求めるために、背景技術欄において説明したウィンドウマッチングによるステレオ対応づけを行う。
なお、ステレオカメラ11及びステレオ画像処理装置12は、従来より周知であるので、その詳細な構成や処理内容については説明を省略する。
プロジェクタ21は、例えば液晶プロジェクタなどからなっており、パターン生成装置22によって生成されたパターンの画像データを、そのパターンに応じた輝度の光に変換して計測対象MOに対して投光する投光装置として機能するものである。
上記パターンは、上記ステレオ画像処理装置12においてウィンドウマッチングによるステレオ対応づけをより的確に行えるよう、計測対象MOの表面に所定の輝度分布をもたせる(計測対象MOの表面をコード化する)ために投光するパターンである。
すなわち、ウィンドウマッチングは画素の輝度値の分布特性に基づいて2つの撮影画像間での対応関係を判別する手法であるため、計測対象MOが単一色の表面をもつ場合のように、計測対象MOの表面の輝度分布が一様であり、撮影画像において輝度値に変化の生じ難い場合には、ウィンドウマッチングを行うことが困難になる。このような場合であっても的確なウィンドウマッチングを行えるよう、計測対象MOの表面に所定の輝度分布をもたせるために上記パターンを計測対象MOの表面に投光する。
パターン生成装置22は、上記パターンの画像データを生成し、プロジェクタ21に供給するための装置である。パターン生成装置22は、M値(Mは2以上の整数)の数値を項とする数列{a}を生成する数列生成部22aと、数列生成部22aによって生成された数列{a}の各数値(各項、「コード」ともいう)aを、当該各数値に応じた階調値に変換することにより上記パターンの画像データを生成する画像データ生成部22bと、画像データ生成部22bによって生成された画像データを記憶する記憶部22cと、記憶部22cに記憶された画像データをプロジェクタ21に対して出力する出力部22dとを備えている。
なお、以下では各数値aは2進数の数値であるものとして説明する。上記M値の数値は、例えば、M=2の場合は「0」及び「1」の2値の数値となり、M=4の場合は「00」、「01」、「10」及び「11」の4値の数値となる。
上記数列生成部22a及び画像データ生成部22bにおいて行われる処理内容を図2のフローチャートに基づいて説明する。
まず、数列生成部22aはパラメータの初期設定を行い(ステップS1)、演算において使用するカウンタi,j,nを初期値1に設定する(ステップS2)。
上記ステップS1の初期設定では、数列{a}を生成するために使用するパラメータの初期設定を行う。初期設定を行うパラメータは、階調ビットN、ウィンドウ幅W、候補値の初期値C、及び所望コード長Lである。
階調ビットNは、パターンを構成する階調数に対応したビット数であり、例えばN=1ビットの場合は2=2階調、N=2ビットの場合は2=4階調となる。ウィンドウ幅Wは、ウィンドウマッチングを行う際に想定するウィンドウの幅(行方向の画素数)である。所望コード長Lは、生成する数列{a}の必要項数であり、パターンの幅(行方向の画素数)に対応する。
数列生成部22aでは、これらを設定する際に、L<<2W×Nとなるように設定する。例えば、ウィンドウ幅W及び所望コード長Lは、実際にステレオ対応づけを行う際の状況(計測対象の大きさや計測対象とカメラとの間の距離など)に併せて設定され、数列生成部22aに入力される。これらの値を用いて、L<<2W×Nとなるようにビット数Nを設定すればよい。このとき、2W×NをLよりもどの程度大きくとるべきかは経験によって設定することになるが、L<<2W×Nを一応の目安とすることにより、階調ビットNのビット数を必要以上に大きくとってしまうことによる演算量の増大を回避することができる。
候補値Cは、数列{a}を生成する過程において用いる数値であり、Nビットの数値をW個分並べてこれを2進数の数値とみなした、(N×W)桁の2進数の数値である。例えば、N=1、W=3の場合は「xxx」(xは0又は1)であり、N=2、W=3の場合は「xxxxxx」である。この候補値Cは、Nビットの数値を要素とするW次元のベクトルとみなすこともできる。例えば、N=1、W=3の場合はベクトル(x,x,x)とみなすことができ、N=2、W=3の場合はベクトル(xx,xx,xx)とみなすことができる。
そして、候補値の初期値Cは、演算の開始時に設定される任意の候補値Cである。また、採用値Eは、所定の条件を満たすことにより採用された候補値Cである。
また、数列生成部22aには、フラグFの数列{F}(kは0〜2NW−1)が予め準備されている。このフラグFは、候補値Cに対応するものであり(k=CのときのFとCとが対応)、対応する候補値Cに関して後述するステップS5の処理を既に行った(F=1)か否か(F=0)を示すものである。
上記パラメータの初期設定(ステップS1)及びカウンタの初期化(ステップS2)の実行後、まず、フラグFCiが0か否かを判定し(ステップS3)、0である場合(ステップS3、YES)にはフラグFCiに1を設定(ステップS4)した後、後述するステップS5に移り、0ではない場合(ステップS3、NO)にはステップS4・S5を省略して後述するステップS6に移る。
ステップS5では、候補値Cをベクトルとみなしたときに、そのベクトルの方向が既に得られた採用値Eに対して一意性を有しているか否かを判定する。ベクトルの方向が一意性を有しているとは、当該ベクトルが所定のベクトルの集合における他のベクトルとは方向が異なっていることを意味する。したがって、上記ステップS5では、候補値Cのベクトルが、既に得られた採用値Eそれぞれに対応するベクトルとは方向が異なっているか否かを判定することになる。
候補値Cのベクトルの方向が一意性を有していない場合には(ステップS5、NO)、ステップS6に移り、未だ0に設定されているフラグFが存在するか否かを判定する(ステップS6)。
未だ0に設定されているフラグFが存在する場合には(ステップS6、YES)、候補値Cに対して1を加算することにより候補値Cを更新して(ステップS8・S9)上記ステップS3からの処理を繰り返すのであるが、この繰り返しが(2−1)回を超えないようにする(ステップS7・S10)。
なお、上記候補値Cはその桁数が(N×W)桁に定められているので、上記更新において桁あふれが生じる場合がある。その場合には更新後の下(N×W)桁を新たな候補値Cとすればよい。換言すると、候補値Cに対して1を加算した結果を2WNで除し、その余りを新たな候補値Cとすればよい。
上記ステップS3〜S10の処理において、ベクトルの方向が一意性を有する候補値Cが得られた場合には(ステップS5、YES)、その候補Cを採用値Eとして採用する(ステップS11)。そして、採用値Eの数nがL個に達しているか否かを判定し(ステップS12)、達していない場合には(ステップS12、NO)、未だ0に設定されているフラグFが存在するか否かを判定し(ステップS13)、未だ0に設定されているフラグFが存在する場合には(ステップS13、YES)、カウンタnをインクリメントするとともに(ステップS14)、候補値Cに対して2を乗算することにより候補値Cを更新し(ステップS15・S16)、カウンタjを1に初期化して(ステップS17)、再度上記ステップS3からの処理を繰り返す。
なお、上記候補値Cの更新についても、上記ステップS9の場合と同じく、桁あふれが生じた場合には更新後の下(N×W)桁を新たな候補値Cとすればよい。換言すると、候補値Cに対して2を乗算した結果を2WNで除し、その余りを新たな候補値Cとすればよい。
一方、上記ステップS9の更新を(2−1)回繰り返してもなお候補値Cが一意性を有さない場合には(ステップS7、NO)、上記ステップS15へ移ってそこからの処理を行う。
このようにして候補値Cを更新しつつ一意性を有する候補値Cを採用値Eとして採用していくことにより、採用値Eの数nがL個に達すると、各採用値Eの下位Nビットをそれぞれ数列{a}の各項aとすることにより、数列{a}を生成する(ステップS18)。
また、採用値Eの数nがL個に達することなく、0に設定されているフラグFが存在しなくなった場合には(ステップS6・S13、NO)、これ以上処理を続けても新たな採用値が得られる見込みはないので、無限ループに陥ることを回避するために、上記ステップS18に移る。このとき、生成される数列{a}は必要項数を満たさないことになる。これは、上述したL<<2W×Nの関係においてLに対して十分大きな2W×Nが設定されなかったことに起因するので、階調ビットN及び/又はウィンドウ幅Wをより大きな値に再設定して再度最初から処理を行えばよい。
以上のステップS1〜S18の処理は数列生成部22aによって実行される。
次に、画像データ生成部22bにより、上記数列{a}の各項aの値を、それぞれの値に応じた階調値へ変換する(ステップS19)。この変換は、異なる値が同一階調値に変換されてしまうことさえ避ければどのような変換であってもよい。なお、2つの階調値があまりにも近い値に設定されると、それらを撮影画像において区別する処理(しきい値処理)が困難になるので、ある程度分散するように階調値を設定することが望ましい。
上記のようにして得られた数列{a}において、この数列{a}を構成し、かつ、連続するW個分の部分数列を考えたときに、任意の部分数列によって表されるベクトルの方向は、他の任意の部分数列によって表されるベクトルの方向と異なる、すなわち一意性を有するものになることが分かっている。
したがって、数列{a}の各項aの値をそれぞれの値に応じた階調値へ変換して得られた画像データでは、ウィンドウ幅Wに対応する画素列の階調値によって表されるベクトルの方向は一意性を有しており互いにスカラー倍の関係にはないことから、ステレオ画像処理装置12において正規化相関関数を用いたウィンドウマッチングを行う際に誤った対応づけがなされる危険性が低減され、的確な対応づけが実現される。
なお、このことは、正規化相関関数を用いた場合に限らず、増分符号相関関数などの他の評価関数(ステレオ画像間の輝度の線形的なずれを吸収する評価関数)を用いた場合にも該当する。
また、画像データ生成部22bは、上記のようにして得られた1行分の画像データを用いて、行列状の画像データを生成する(ステップS20)。
行列状の画像データを生成するための1つの手法として、上記1行分の画像データをそのまま列方向に複数並べるようにすることができる。これにより得られた画像データは、エピポーララインを考慮した対応づけにおいて利用することができる。
すなわち、ステレオ法では、観測点とステレオカメラ11の各結像点とは三角形(エピポーラ平面)を形成するので、対応づけは三角形の1辺(エピポーラライン)上で行えばよいことになる。したがって、予めステレオカメラ11における第1及び第2カメラ11a・11b間の位置関係を確定しておくことによってエピポーララインの方向も知ることができるので、その方向においてステレオ対応づけを行えばよいことになる。
上記画像データの行方向ではベクトルの方向の一意性が確保されるので、この方向において的確な対応づけを行うことができる。したがって、この方向を上記エピポーララインの方向にあわせることによって、全体としても的確な対応づけを行うことができる。
なお、この場合、上記1行分の画像データを列方向に複数並べることなく、1行分の画像データをそのまま用いてもよい。
また、行列状の画像データを生成するための他の手法として、上記1行分の画像データをウィンドウ幅W分行方向にずらしながら列方向に複数並べるようにすることができる(なお、ずらすことによって一方の端部側にはみ出る部分は、他方の端部側に付け足す)。これにより得られた画像データは、当該画像データにおいてウィンドウ幅W分に対応する行数及び列数からなる正方行列を考えたときに、任意の正方行列は互いにスカラー倍の関係にはないことになる。したがって、2次元的な対応づけを行うことができるようになるため、上記のようにエピポーララインを考慮しなくとも、あるいはエピポーララインに対してある程度の誤差を考慮に入れても的確な対応づけを行うことができる。
なお、本明細書における「行方向」及び「列方向」は、行列状の配列において互いに直行する方向を意味しているに過ぎない。つまり、行方向及び列方向は、画像の横方向及び縦方向にそれぞれ対応していてもよく、画像の縦方向及び横方向にそれぞれ対応していてもよい。
上記処理内容を具体的数値を用いて示すと図3のようになる。図3の例では、階調ビットN=1、ウィンドウ幅W=3、及び候補値の初期値C=000としている。以下では、図2のフローチャートを参照しつつ、図3の処理内容について説明する。
図3の例において、候補値C=000はベクトル(0,0,0)とみなされ、このベクトルは任意のベクトルと同一方向と考えることができるので、一意性を有さないものとして採用値とはしない(ステップS5、NO)。ステップS7・S8を経てステップS9において得られた候補値C=001はベクトル(0,0,1)とみなされ、このベクトルと同一方向のベクトルは未だ採用値として採用されていないので(ステップS5、YES)、この候補値C=001を採用値Eとして採用する(ステップS11)。その後、ステップS12〜S15を経てステップS16において得られた候補値C=010はベクトル(0,1,0)とみなされ、このベクトルと同一方向のベクトルは未だ採用値として採用されていないので(ステップS5、YES)、この候補値C=010を採用値Eとして採用する(ステップS11)。候補値C=100についても同様にステップS8において採用値Eとして採用する。その後ステップS12〜S15を経てステップS16において得られた候補値C=001はベクトル(0,0,1)とみなされ、既に採用された採用値Eと同一方向のベクトルとなるので、一意性を有さないものとして採用値とはしない(ステップS5、NO)。
以上のような判断を行うことにより、候補値C・C・C・C・C・C11・C15は、それぞれ採用値E〜Eとして採用される。
なお、上記ステップS5における判定(ベクトルの方向の一意性の判定)に関し、N=1の場合には、採用値Eとして得られる数値を10進表記してその数値が既に表れたか否かによって判定することができる。
このようにして採用された採用値E〜Eそれぞれの下位N(=1)ビットを順に数列{a}の各項aとすることにより、数列{a}={1,0,0,1,0,1,1}が得られる。
このようにして得られた数列{a}={1,0,0,1,0,1,1}の各項aの値「1」及び「0」を、例えばそれぞれ階調値「150」及び「50」へ変換することにより、画像データ{150,50,50,150,50,150,150}を得ることができる。この画像データでは、ウィンドウ幅W=3の部分数列に対応する任意の画素列の階調値によって表されるベクトル(150,50,50)、(50,50,150)、(50,150,50)、(150,50,150)、(50,150,150)はそれぞれその方向の一意性を有していることになる。
なお、数列{a}={1,0,0,1,0,1,1}を繰り返し並べることにより、{1,0,0,1,0,1,1,1,0,0,1,0,1,1}という数列を得ることができ、この数列から、最初の部分数列(ウィンドウ幅W=3の部分数列)である{1,0,0}と同一の部分数列が再び表れないように後ろの5つの項を削除すると、{1,0,0,1,0,1,1,1,0}という数列を得ることができる。この数列の各項の値「1」及び「0」を、それぞれ階調値「150」及び「50」へ変換することにより、画像データ{150,50,50,150,50,150,150,150,50}を得ることができ、この画像データに関しても、ウィンドウ幅W=3の部分数列に対応する任意の画素列の階調値によって表されるベクトル(150,50,50)、(50,50,150)、(50,150,50)、(150,50,150)、(50,150,150)、(150,150,150)、(150,150,50)はそれぞれその方向の一意性を有していることになる。したがって、このようにして得られた画像データを用いてもよい。
このようにして得られた1行分の画像データを、上記のようにそのまま列方向に複数並べることにより図4に示す画像データを得ることができ、ウィンドウ幅W分、つまり3画素ずつ行方向にずらしながら列方向に複数並べることにより図5に示す画像データを得ることができる。図5の画像データでは、ウィンドウ幅W分に対応する行数及び列数からなる正方行列、つまり3行3列からなる正方行列(例えば図5中太線で囲んだ行列)を考えたときに、任意の正方行列は互いにスカラー倍の関係にはないことになる。
以上では、説明の簡単のために階調ビットN=1、つまりパターンの階調が2値(2階調)の場合について説明しているので、同一方向のベクトルは長さも同一のベクトルとなるが、より多階調の場合には、例えばベクトル(50,100,150)とベクトル(10,20,30)のように、互いに長さは異なっていても同一方向となる2つのベクトルも考えられる(このようなベクトルは、正規化相関法のもとではともに平均が0であり分散が1となる(−1,0,1)という値に正規化されてしまい、区別できない)。
従来のように一様乱数や正規乱数を用いてランダムパターンを生成する方法では、上記のように互いに長さは異なっていても同一方向となる2つのベクトルの発生を避けることはできないが、上記処理を行うパターン生成装置22では、互いに長さは異なっていても同一方向となる2つのベクトルの発生を排除することができる。
上記図2の処理によって生成される数列{a}は、上述したベクトルの方向の一意性という制約のもとで最大周期をもつことになり、このため、より少ない情報量で必要な数列{a}を生成することが可能である。
なお、上記図2の処理において、候補値の初期値Cを000とすることによって生成される数列{a}の、最初のW項分を2進数の数値とみなしたとき、この数値は必ず2(NW−1)によって算出される値(2進数の値)となるのが特徴である(例えば、図3の具体例の場合は、N=1、W=3であり、2(NW−1)=4、つまり2進数表示では100)。
図6に、3次元形状計測装置1を用いて行った計測結果を示す。図6には、比較のため、パターンの投光を行わない場合、及び縞状のパターンを投光した場合の計測結果も併せて示す。計測対象として、一様な色の表面(Non-texture表面)を有する球体を用いている。本実施形態のパターンとしては、階調ビットN=1、ウィンドウ幅W=10のものを用いている。
図6の計測結果から分かるように、パターン投光なしの場合、及び縞状パターンを用いた場合には的確な対応づけが行われていない結果正しい計測結果が得られないのに対し、本実施形態のパターンを用いた場合には的確な対応づけにより結果正しい計測結果を得ることができた。
これは、図7に示すように、パターン投光なしの場合は偽の対応づけ候補が多数存在する結果、正しい計測結果を得ることが困難であり、縞状パターンを用いた場合は偽の対応づけ候補が存在し得ることから誤った計測結果を得る危険性があるのに対し、本実施形態のパターンを用いた場合には、対応づけ候補を一意に絞ることができるので、計測誤りを回避することができるためである。
なお、パターン生成装置22において数列{a}を生成する処理は上述した処理には限られない。他の処理としては例えば、M系列などの擬似乱数列を発生させておき、その擬似乱数列をその先頭から1項ずつずらしながらウィンドウ幅Wで区切っていき、区切られた数列によって形成されるベクトルの方向が一意性を有しているか否かを順に確認し、一意性を有しているベクトルを残し、一意性を有していないベクトルを排除していくことにより数列{a}を生成してもよい。
パターン生成装置22の上記各ブロックは、ハードウェアによって構成してもよく、パーソナルコンピュータなどのコンピュータにおいてパターン生成プログラムを実行することによってソフトウェアによって実現してもよい。
すなわち、パターン生成装置22は、この装置の各機能を実現するパターン生成プログラムの命令を実行するCPU(central processing unit)、上記プログラムを格納したROM(read only memory)、上記プログラムを展開するRAM(random access memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置などを備えたコンピュータによって実現することもできる。
つまり、本発明の目的は、上述した機能を実現するソフトウェアであるパターン生成プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、コンピュータに供給し、そのコンピュータが記録媒体に記録されているプログラムコードを読み出し実行することによっても達成可能である。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク系、ICカード(メモリカードを含む)/光カード等のカード系、あるいはマスクROM/EPROM/EEPROM/フラッシュROM等の半導体メモリ系などを用いることができる。
また、パターン生成装置22を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(virtual private network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、802.11無線、HDR、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
本実施形態ではパターン生成装置22とステレオ画像処理装置12とを別々の装置によって構成するものとして説明しているが、同一装置にパターン生成装置22の機能とステレオ画像処理装置12の機能とをもたせてもよい。例えば、1つのコンピュータにおいてパターン生成装置22の機能と、ステレオ画像処理装置12の機能とをソフトウェアによって実現してもよい。
3次元形状計測装置1では、ステレオカメラ11における第1及び第2カメラ11a・11bの位置関係が既知である場合には、その位置関係に基づいてエピポーララインを求めることができる。一方、第1及び第2カメラ11a・11bの位置関係が未知の場合には、計測を実行する前に予め3次元形状が既知の物体(例えば平板)を計測対象として計測を行い、その計測結果から第1及び第2カメラ11a・11bの位置関係を逆算するというキャリブレーションを行っておけばよい。
なお、通常のキャリブレーションにおいては、キャリブレーションターゲットと呼ばれるパターン(必ずしも既知のパターンではなくてもよい)の描かれた道具を用い、このキャリブレーションターゲットを撮影することによりカメラ間の位置関係を求める。
これに対し、3次元形状計測装置1では、キャリブレーション時に第1及び第2カメラ11a・11bによって撮影する物体の表面が一様な色の表面であっても、その物体の形状(例えば平板)がわかっておれば、パターン生成装置22によって生成したパターンを上記物体に投光することによりステレオ対応づけを行い、第1及び第2カメラ11a・11bの位置関係を逆算することができる。すなわち、3次元形状計測装置1では、パターン生成装置22によって生成したパターンをキャリブレーションターゲットとして使用することもできる。
また、図8に示すように、3次元形状計測装置1を構成するステレオカメラ11、ステレオ画像処理装置12、プロジェクタ21、パターン生成装置22を用いて距離計測装置2を実現することもできる。この距離計測装置2は、自律走行型ロボットに搭載することにより、壁や床面などが一様な色の表面を有している場合でも適切な距離判断が可能になるので、ロボットの自律走行に対して適切な距離情報を提供することにより自律走行を支援することができる。
〔実施形態2〕
本発明の第2の実施形態について図9から図11に基づいて説明すると以下の通りである。本実施形態では、実施形態1のパターン生成装置22(図1参照)によって生成されたパターンを光学フィルタに形成し、この光学フィルタを用いてパターンの投光を行う構成について説明する。
なお、実施形態1において説明した装置、機能ブロック、部材と同等の機能を有する装置、機能ブロック、部材については、本実施形態においても実施形態1と同一の符号を用いることとし、本実施形態ではその説明を省略する。
本実施形態のパターン形成装置3の構成を図9のブロック図に基づいて説明する。パターン形成装置3は、パターン生成装置22によってパターンを生成し、生成されたパターンを光学フィルタに形成するための装置であり、パターン生成装置22と、露光装置31とを備えている。
露光装置31は、パターン生成装置22によって生成された画像データに応じた露光パターンを出射する装置であり、例えば液晶プロジェクタによって構成されている。
この露光装置31から出射される露光パターンにより、表面に感光剤を塗布した透明基材TP(フィルムやガラス基板など)を露光し、その後これを現像することにより、光学フィルタを製造することができる。
図10に、上記光学フィルタFTを用いた3次元形状計測装置1’の構成を示す。3次元形状計測装置1’は、ステレオカメラ11とステレオ画像処理装置12とを備えるとともに、3次元形状計測装置1(図1参照)のプロジェクタ21及びパターン生成装置22の代わりに、光源23及び光学フィルタFTを備えている。そして、光源23から出射される光を、上記パターンの形成された光学フィルタFTによって調光することにより、3次元形状計測装置1と同等のパターンを計測対象MOに投光するようになっている。
なお、パターン形成装置3を構成する露光装置としては、図11に示すように、走査型の露光装置31’であってもよい。露光装置31’は、レーザ光を走査することにより透明基材TPを走査露光しつつ、パターン生成装置22によって生成された画像データに基づいて走査露光用のレーザ光強度を変調させることにより、上記画像データに応じたパターンの露光を行う装置である。
このように、パターン生成装置22によって生成される画像データは、必ずしもプロジェクタ21や露光装置31に供給される場合のように画像として出力されるものとは限らず、走査型の露光装置31’に供給される場合のように結果的に画像が再現できるようなデータであればよい。
本実施形態のように、パターン生成装置22によって生成したパターンを光学フィルタFT上に再現しておくことにより、パターン生成装置22自体を省いて3次元形状計測装置1’を構成することができ、3次元形状計測装置1’の装置構成の簡略化を図ることができる。
本発明は、3次元形状計測装置や距離計測装置2に特に好適に適用できる。
本発明の第1の実施形態に係る3次元形状計測装置の構成を示すブロック図である。 図1の3次元形状計測装置におけるパターン生成装置の数列生成部及び画像データ生成部が実行する処理の流れを示すフローチャートである。 図2のフローチャートに示す処理内容の具体例を説明するための図面である。 図2のフローチャートに示す処理によって生成される画像データの一例を示す図面である。 図2のフローチャートに示す処理によって生成される画像データの他の例を示す図面である。 図1の3次元形状計測装置による計測結果を示す図面である。 図6の計測結果に対する考察を説明するための図面である。 本発明の第1の実施形態に係る距離計測装置の構成を示すブロック図である。 本発明の第2の実施形態に係るパターン形成装置の構成を示すブロック図である。 本発明の第2の実施形態に係る3次元形状計測装置の構成を示すブロック図である。 本発明の第2の実施形態に係る他のパターン形成装置の構成を示すブロック図である。 ステレオ対応づけの概念を説明するための図面である。
符号の説明
1 3次元形状計測装置
1’ 3次元形状計測装置
2 距離計測装置
3 パターン形成装置
3’ パターン形成装置
11 ステレオカメラ
11a 第1カメラ
11b 第2カメラ
21 プロジェクタ
22 パターン生成装置
22a 数列生成部
22b 画像データ生成部
22c 記憶部
22d 出力部
23 光源
31 露光装置
31’ 露光装置
MO 計測対象
FT 光学フィルタ

Claims (13)

  1. ステレオ法におけるステレオ対応づけのために計測対象に対して投光するパターンの画像データを生成するパターン生成装置において、
    M値(Mは2以上の整数)の数値を項とする数列を生成する数列生成手段と、
    前記数列生成手段によって生成された数列の各数値を、当該各数値に応じた階調値に変換することにより前記画像データを生成する画像データ生成手段とを備え、
    前記数列生成手段は、生成する数列を構成する所定長の部分数列について、当該各部分数列によって表されるベクトルが互いに方向の異なるベクトルとなるように、前記数列を生成することを特徴とするパターン生成装置。
  2. 前記画像データ生成手段は、前記数列生成手段によって生成された数列を行とし、この行を列方向に複数並べることにより行列状の画像データを生成することを特徴とする請求項1に記載のパターン生成装置。
  3. 前記画像データ生成手段は、前記数列生成手段によって生成された数列を行とし、この行を前記所定長分行方向にずらしながら列方向に複数並べることにより行列状の画像データを生成することを特徴とする請求項1に記載のパターン生成装置。
  4. 前記M値の数値はNビットの数値であり、この数値を前記所定長分並べたものを2進数の候補値とみなすと、
    前記数列生成手段は、前記候補値を2倍するとともに2−1回を超えない範囲で1加えることによって新たな候補値を得る演算を繰り返し行うとともに、新たな候補値が得られるとその候補値によって表されるベクトルが以前に得られた候補値によって表されるベクトルとは方向の異なるベクトルであるか否かを確認し、方向の異なるベクトルであった場合にその候補値を採用し、採用された候補値の下位Nビットを順に並べることによって前記数列を生成することを特徴とする請求項1から3の何れか1項に記載のパターン生成装置。
  5. 請求項1から4の何れか1項に記載のパターン生成装置と、
    前記パターン生成装置によって生成されたパターンを計測対象に対して投光する投光装置とを備えることを特徴とするパターン投光装置。
  6. 請求項5に記載のパターン投光装置と、
    前記パターン投光装置によってパターンが投光された計測対象を撮影するステレオ撮影装置とを備えることを特徴とする距離計測装置。
  7. 請求項5に記載のパターン投光装置と、
    前記パターン投光装置によってパターンが投光された計測対象を撮影するステレオ撮影装置とを備えることを特徴とする3次元形状計測装置。
  8. 請求項1から4の何れか1項に記載のパターン生成装置と、
    前記パターン生成装置によって生成されたパターンに応じた露光を行う露光装置とを備えることを特徴とするパターン形成装置。
  9. ステレオ法におけるステレオ対応づけのために計測対象に対して投光するパターンの画像データを生成するパターン生成方法において、
    M値(Mは2以上の整数)の数値を項とする数列を生成する数列生成処理と、
    前記数列生成処理によって生成された数列の各数値を、当該各数値に応じた階調値に変換することにより前記画像データを生成する画像データ生成処理とを含み、
    前記数列生成処理では、生成する数列を構成する所定長の部分数列について、当該各部分数列によって表されるベクトルが互いに方向の異なるベクトルとなるように、前記数列を生成することを特徴とするパターン生成方法。
  10. 請求項9に記載のパターン生成方法によるパターン生成工程と、
    前記パターン生成工程により生成されたパターンを光学フィルタに形成するパターン形成工程とを含むことを特徴とする光学フィルタ製造方法。
  11. 請求項9に記載のパターン生成方法により生成されたパターンを有することを特徴とする光学フィルタ。
  12. 請求項1から4の何れか1項に記載のパターン生成装置としてコンピュータを動作させるパターン生成プログラムであって、コンピュータを前記各手段として機能させることを特徴とするパターン生成プログラム。
  13. 請求項12のパターン生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2005200927A 2005-07-08 2005-07-08 ステレオ対応づけのための投光パターンの生成装置及び生成方法 Expired - Fee Related JP4577126B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005200927A JP4577126B2 (ja) 2005-07-08 2005-07-08 ステレオ対応づけのための投光パターンの生成装置及び生成方法
US11/482,499 US7940981B2 (en) 2005-07-08 2006-07-07 Method and apparatus for generating projecting pattern
CN2006101017645A CN1896680B (zh) 2005-07-08 2006-07-10 用于实现立体对应的投光图案的生成装置和生成方法
US12/914,393 US8103089B2 (en) 2005-07-08 2010-10-28 Method and apparatus for generating projecting pattern

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005200927A JP4577126B2 (ja) 2005-07-08 2005-07-08 ステレオ対応づけのための投光パターンの生成装置及び生成方法

Publications (2)

Publication Number Publication Date
JP2007017355A JP2007017355A (ja) 2007-01-25
JP4577126B2 true JP4577126B2 (ja) 2010-11-10

Family

ID=37609258

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005200927A Expired - Fee Related JP4577126B2 (ja) 2005-07-08 2005-07-08 ステレオ対応づけのための投光パターンの生成装置及び生成方法

Country Status (3)

Country Link
US (2) US7940981B2 (ja)
JP (1) JP4577126B2 (ja)
CN (1) CN1896680B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190137714A (ko) * 2018-06-01 2019-12-11 후지쯔 콤포넌트 가부시끼가이샤 계측기, 광학 판독기 및 광학 판독 가능한 측정기

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307024B1 (en) * 1999-03-09 2001-10-23 Zymogenetics, Inc. Cytokine zalpha11 Ligand
FR2889303B1 (fr) * 2005-07-26 2008-07-11 Airbus France Sas Procede de mesure d'une anomalie de forme sur un panneau d'une structure d'aeronef et systeme de mise en oeuvre
US7957007B2 (en) * 2006-05-17 2011-06-07 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for illuminating a scene with multiplexed illumination for motion capture
US7768656B2 (en) * 2007-08-28 2010-08-03 Artec Group, Inc. System and method for three-dimensional measurement of the shape of material objects
JP5322206B2 (ja) * 2008-05-07 2013-10-23 国立大学法人 香川大学 3次元形状の計測方法および装置
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP2289235A4 (en) 2008-05-20 2011-12-28 Pelican Imaging Corp RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
JP5250847B2 (ja) * 2009-07-28 2013-07-31 コニカミノルタ株式会社 画像処理装置、情報処理システム、画像処理方法、およびプログラム
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
SG10201503516VA (en) 2010-05-12 2015-06-29 Pelican Imaging Corp Architectures for imager arrays and array cameras
US8704890B2 (en) * 2010-08-19 2014-04-22 Olympus Corporation Inspection apparatus and measuring method
JP5440461B2 (ja) * 2010-09-13 2014-03-12 株式会社リコー 校正装置、距離計測システム、校正方法および校正プログラム
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
CN102859319A (zh) * 2011-04-19 2013-01-02 三洋电机株式会社 信息获取装置以及物体检测装置
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US8964002B2 (en) * 2011-07-08 2015-02-24 Carestream Health, Inc. Method and apparatus for mapping in stereo imaging
JP5854680B2 (ja) * 2011-07-25 2016-02-09 キヤノン株式会社 撮像装置
WO2013043761A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Determining depth from multiple views of a scene that include aliasing using hypothesized fusion
KR102002165B1 (ko) 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
US9098908B2 (en) * 2011-10-21 2015-08-04 Microsoft Technology Licensing, Llc Generating a depth map
JP2013124884A (ja) * 2011-12-13 2013-06-24 Canon Inc 情報処理装置、情報処理装置の制御方法、およびプログラム
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN102661722B (zh) * 2012-05-16 2014-06-04 浙江大学 基于影像复合的薄片零件轮廓自动检测测头与检测方法
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
CN107346061B (zh) 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
EP2901671A4 (en) 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
US9374512B2 (en) 2013-02-24 2016-06-21 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014145856A1 (en) 2013-03-15 2014-09-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
CN104103058B (zh) * 2013-04-01 2018-08-14 鸿富锦精密工业(深圳)有限公司 图像匹配系统及方法
US20140307055A1 (en) * 2013-04-15 2014-10-16 Microsoft Corporation Intensity-modulated light pattern for active stereo
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP6413648B2 (ja) * 2014-06-20 2018-10-31 株式会社リコー 計測システム、物体取出システム、計測方法およびプログラム
CN113256730B (zh) 2014-09-29 2023-09-05 快图有限公司 用于阵列相机的动态校准的系统和方法
JP2016073409A (ja) * 2014-10-03 2016-05-12 ソニー株式会社 情報処理装置、情報処理方法及び手術顕微鏡装置
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
CN106289109A (zh) * 2016-10-26 2017-01-04 长安大学 一种基于结构光的三维重建系统及方法
CN108151671B (zh) * 2016-12-05 2019-10-25 先临三维科技股份有限公司 一种三维数字成像传感器、三维扫描系统及其扫描方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10835352B2 (en) * 2018-03-19 2020-11-17 3D Imaging and Simulation Corp. Americas Intraoral scanner and computing system for capturing images and generating three-dimensional models
JP7224112B2 (ja) * 2018-05-21 2023-02-17 Juki株式会社 縫製システム
CN109859162B (zh) * 2018-12-19 2020-10-27 中国大恒(集团)有限公司北京图像视觉技术分公司 一种针对于工业相机周期性条纹自动化测试方法
JP7399160B2 (ja) 2019-05-17 2023-12-15 株式会社ソニー・インタラクティブエンタテインメント 光パターン照射制御装置及び光パターン照射制御方法
KR102646521B1 (ko) 2019-09-17 2024-03-21 인트린식 이노베이션 엘엘씨 편광 큐를 이용한 표면 모델링 시스템 및 방법
EP4042101A4 (en) 2019-10-07 2023-11-22 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR DETECTING SURFACE NORMALS USING POLARIZATION
EP4066001A4 (en) 2019-11-30 2024-01-24 Boston Polarimetrics, Inc. SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147110A (ja) * 1999-11-22 2001-05-29 Sony Corp ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体
JP2001338280A (ja) * 2000-05-30 2001-12-07 Nippon Telegr & Teleph Corp <Ntt> 3次元空間情報入力装置
JP2003083730A (ja) * 2001-06-26 2003-03-19 Olympus Optical Co Ltd 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法
JP2003518614A (ja) * 1999-12-27 2003-06-10 シーメンス アクチエンゲゼルシヤフト 三次元の表面座標の決定方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4030342A (en) * 1975-09-18 1977-06-21 The Board Of Trustees Of Leland Stanford Junior University Acoustic microscope for scanning an object stereo-optically and with dark field imaging
JPS5256558A (en) * 1975-11-04 1977-05-10 Nippon Telegr & Teleph Corp <Ntt> Three-dimentional object measuring system
US4871252A (en) * 1986-10-30 1989-10-03 The Regents Of The University Of California Method and apparatus for object positioning
JP2565885B2 (ja) * 1987-02-04 1996-12-18 日本電信電話株式会社 空間パタ−ンコ−ド化方法
EP0578692B1 (en) * 1991-04-03 1995-06-14 Hewlett-Packard Company Position-sensing apparatus
US5475452A (en) * 1994-02-24 1995-12-12 Keravision, Inc. Device and method for mapping objects
US5715334A (en) * 1994-03-08 1998-02-03 The University Of Connecticut Digital pixel-accurate intensity processing method for image information enhancement
JP3255360B2 (ja) * 1999-09-22 2002-02-12 富士重工業株式会社 距離データの検査方法およびその検査装置
US7103212B2 (en) * 2002-11-22 2006-09-05 Strider Labs, Inc. Acquisition of three-dimensional images by an active stereo technique using locally unique patterns

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001147110A (ja) * 1999-11-22 2001-05-29 Sony Corp ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体
JP2003518614A (ja) * 1999-12-27 2003-06-10 シーメンス アクチエンゲゼルシヤフト 三次元の表面座標の決定方法
JP2001338280A (ja) * 2000-05-30 2001-12-07 Nippon Telegr & Teleph Corp <Ntt> 3次元空間情報入力装置
JP2003083730A (ja) * 2001-06-26 2003-03-19 Olympus Optical Co Ltd 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190137714A (ko) * 2018-06-01 2019-12-11 후지쯔 콤포넌트 가부시끼가이샤 계측기, 광학 판독기 및 광학 판독 가능한 측정기
KR102248659B1 (ko) 2018-06-01 2021-05-07 후지쯔 콤포넌트 가부시끼가이샤 계측기, 광학 판독기 및 광학 판독 가능한 측정기

Also Published As

Publication number Publication date
CN1896680A (zh) 2007-01-17
US7940981B2 (en) 2011-05-10
US8103089B2 (en) 2012-01-24
CN1896680B (zh) 2010-05-12
JP2007017355A (ja) 2007-01-25
US20110096982A1 (en) 2011-04-28
US20070009150A1 (en) 2007-01-11

Similar Documents

Publication Publication Date Title
JP4577126B2 (ja) ステレオ対応づけのための投光パターンの生成装置及び生成方法
US11341665B2 (en) Method and system for optimizing depth imaging
CN102472613B (zh) 测量设备和测量方法
CN108225216B (zh) 结构光系统标定方法及装置、结构光系统及移动设备
US10051250B2 (en) Method of automatically correcting projection area based on image photographed by photographing device and system therefor
CN108986178B (zh) 一种用于结构光编码的随机编码图案生成方法及设备
EP3049756B1 (en) Modeling arrangement and method and system for modeling the topography of a three-dimensional surface
TWI672937B (zh) 三維影像處理之裝置及方法
US11030478B1 (en) System and method for correspondence map determination
CN110766767B (zh) 获取格雷码结构光图像的方法、系统、装置
JP2015184056A (ja) 計測装置、方法及びプログラム
JP2020080047A (ja) 学習装置、推定装置、学習方法およびプログラム
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN105025284A (zh) 标定集成成像显示设备的显示误差的方法和设备
JP6388435B2 (ja) 画像生成装置、画像生成方法、及びプログラム
JP2018009927A (ja) 画像処理装置、画像処理方法及びプログラム
JP6319395B2 (ja) 3次元測定装置および3次元測定方法
JP2013124884A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP6065670B2 (ja) 3次元計測システム、プログラム及び方法。
Gai et al. A novel camera calibration method based on polar coordinate
WO2022254854A1 (ja) 3次元計測装置
JP4429135B2 (ja) 三次元形状計測システム及び計測方法
CN116745812A (zh) 提供校准数据以校准相机的方法、校准相机的方法、制造至少一个预定义点对称区域的方法和设备
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2009216650A (ja) 三次元形状測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100727

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100809

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130903

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4577126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D04

LAPS Cancellation because of no payment of annual fees