JP5918984B2 - 情報処理装置、情報処理装置の制御方法、およびプログラム - Google Patents

情報処理装置、情報処理装置の制御方法、およびプログラム Download PDF

Info

Publication number
JP5918984B2
JP5918984B2 JP2011267257A JP2011267257A JP5918984B2 JP 5918984 B2 JP5918984 B2 JP 5918984B2 JP 2011267257 A JP2011267257 A JP 2011267257A JP 2011267257 A JP2011267257 A JP 2011267257A JP 5918984 B2 JP5918984 B2 JP 5918984B2
Authority
JP
Japan
Prior art keywords
gradation
intersection
value
distribution
light amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011267257A
Other languages
English (en)
Other versions
JP2013120092A (ja
JP2013120092A5 (ja
Inventor
智美 露木
智美 露木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011267257A priority Critical patent/JP5918984B2/ja
Priority to US13/675,326 priority patent/US9332244B2/en
Publication of JP2013120092A publication Critical patent/JP2013120092A/ja
Publication of JP2013120092A5 publication Critical patent/JP2013120092A5/ja
Priority to US15/079,195 priority patent/US9998728B2/en
Application granted granted Critical
Publication of JP5918984B2 publication Critical patent/JP5918984B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators

Description

本発明は、情報処理装置、情報処理装置の制御方法、およびプログラムに関し、特に、複数のパターンが投影された計測対象物を撮像して、計測対象物の三次元形状データを取得するための情報を処理する情報処理装置、情報処理装置の制御方法、およびプログラムに関する。
投影装置と撮像装置とを既知の関係に配置し、投影装置からパターン光を投影した計測対象物を撮像装置が撮像し、計測対象物の三次元形状データを取得する三次元計測が広く知られている。
特許文献1では、明部と暗部とが任意の幅で交互に配置された第1の明暗パターン光と、第1の明暗パターン光の位相をずらした第2の明暗パターン光とをそれぞれ投影して、各々撮像した画像の階調分布を取得し、第1および第2の明暗パターン光の交点の撮像素子上の位置を算出することにより計測対象物の三次元形状を取得する技術が開示されている。
特開2007−192608号公報
撮像素子に用いられるCCDイメージセンサなど各種の光検出素子に光が入射すると、光の強度に応じた信号が得られるのと同時に、量子的に発生する不可避なショットノイズが発生する。従来の交点検出手法では、第1と第2の輝度パターンを撮像画素でサンプリングした階調各々の階調分布の階調値を補間して交点を求めている。
撮像した画像にショットノイズやその他のノイズの影響があると、ノイズを含んだ階調値を用いて交点を算出するため、交点にはノイズによる誤差が発生する。量子的に発生するショットノイズが交点検出に与える影響は、撮像素子に入射する光の強度が弱い場合、光の強度に対してショットノイズは相対的に大きくなる。そのため、階調分布のSN比が低下し、検出される交点位置の誤差が大きくなる。
一方、撮像素子に入射する光の強度が強い場合は、光の強度に対してショットノイズは相対的に小さく、光の強度が弱い場合に比べてSN比が良くなり、検出される交点位置の誤差が減少する。
しかしながら、撮像素子に入射する光の強度が必要以上に強いと、交点検出に使用する画素の階調値が、撮像素子の最大階調値に近づき、両者が等しくなってしまう。そのため、階調値を補間して交点を検出すると、誤差が大きくなり精度のよい三次元計測が行えなくなる。
上記の課題に鑑み、本発明は、交点位置の検出精度を向上させて精度の良い三次元計測を可能にすることを目的とする。
上記の目的を達成するための本発明に係る情報処理装置は、
明部と暗部とを有する第1の輝度パターンと、該第1の輝度パターンの明部と暗部とが反転した第2の輝度パターンとを計測対象物へ投影する投影手段と、
前記計測対象物へ投影された前記パターンを撮像素子に階調分布として結像させ、飽和光量を超過する露光では最大階調値を階調点ごとに出力し、前記飽和光量以下の露光では当該露光に対応する階調値を階調点ごとに出力する撮像手段と、
前記撮像手段により出力された前記第1の輝度パターンの階調分布と、前記第2の輝度パターンの階調分布との交点を導出する導出手段と、
を備える情報処理装置であって、
前記交点の導出に使用される該交点の隣接階調点以外の少なくとも1つの階調点の階調値が前記最大階調値と等しくなるように、前記撮像素子に入射される光量を調節する光量調節手段を備えることを特徴とする。
本発明によれば、交点位置の検出精度が向上し、精度の良い三次元計測が可能になる。
(a)三次元計測装置の構成を示す図、(b)三次元計測装置の処理部のブロック構成を示す図。 交点位置を検出する処理を説明するための概念図。 第1実施形態に係る前準備計測の処理手順を示すフローチャート。 第1実施形態に係る本計測における交点検出処理の手順を示すフローチャート。 第2実施形態に係る前準備計測の処理手順を示すフローチャート。 第2実施形態に係る本計測における交点検出処理の手順を示すフローチャート。 第3実施形態に係る前準備計測の処理手順を示すフローチャート。 三次元計測により取得される階調分布の例を示す図。 階調ヒストグラムの例を示す図。 交点検出精度を向上させる概念の説明図。
(第1実施形態)
図1(a)を参照して、本発明に係る情報処理装置としての機能を有する三次元計測装置の構成を説明する。三次元計測装置は、投影部102と、撮像部103と、パーソナル・コンピュータ104と、パーソナル・コンピュータ106とを備えており、計測対象物101の三次元位置を計測する。投影部102は、例えばプロジェクタであり、所定の輝度パターン光を所定のタイミングで計測対象物101へ投影する。撮像部103は、例えばCCDカメラであり、計測対象物101へ投影された輝度パターン光を撮像素子に階調分布として結像させ、飽和光量を超過する露光では最大階調値を階調点ごとに出力し、飽和光量以下の露光では当該露光に対応する階調値を階調点ごとに出力する。
パーソナル・コンピュータ104は、投影部102の輝度パターン投影を制御し、パーソナル・コンピュータ106は、撮像部103の撮像を制御し、且つ撮像素子上に結像した輝度分布から、離散的にサンプリングされた階調分布を出力し、交点位置を検出する。撮像素子へ入射する光量の調節は、投影光の強度、もしくは、撮像時の露光時間の調節、撮像時のゲインの調節などにより行われる。本実施形態では、撮像素子へ入射する光量を制御するための光量調節値は、パーソナル・コンピュータ106により算出される。投影光の強度を調整することにより光量を調節する場合は、パーソナル・コンピュータ106から光量調節値をコンピュータ104へ送り、投影部102を制御する。撮像時の露光時間を調整することにより、あるいは、撮像時のゲインを調整することにより光量を調節する場合は、パーソナル・コンピュータ106から撮像部103へ指示を送り、撮像素子へ入射する光量を制御する。なお、本実施形態で使用する輝度パターンの例として、明部と暗部とが交互に配置された第1の輝度パターン光105aと、第2の輝度パターン105bとを示す。ただし、第1の輝度パターン光と、第2の輝度パターン光とは、図1に示される構成と異なっていても構わない。
また、図1(a)では、パーソナル・コンピュータ104と、パーソナル・コンピュータ106と、がそれぞれ撮像部103と、投影部102とを制御する構成としているが、1つのパーソナル・コンピュータを制御部として撮像部103と、投影部102とを制御する構成であってもよい。
図1(b)は、三次元計測装置の処理部のブロック構成を示す。三次元計測装置は、投影部102と、撮像部103と、交点算出部201と、光量調節部202と、制御部203とを備える。投影部102および撮像部103は、図1で説明したものと同様である。交点算出部201は、三次元計測を行うために必要となる計測対象物へ投影した2種類の輝度パターンの交点位置を算出する。制御部203は、投影部102、撮像部103、交点算出部201、光量調節部202の各動作を制御し、また、後述する本発明に係る処理を実行する。交点算出部201は、撮像部103により出力された第1の輝度パターン光の階調分布と、第2の輝度パターン光の階調分布と、を各々補間して個々の階調交点を算出する。光量調節部202は、撮像部103の撮像素子に入射される光量を調節する。
図2を参照して、交点位置を検出する処理を説明する。まず投影部102が、輝度パターン105−aを計測対象物101へ投影する。そして、撮像部103が、輝度パターン105−aが投影された計測対象物101を撮像する。その結果、階調分布Aが取得される。次に、同様に輝度パターン105−bについても投影動作および撮像動作を実行する。その結果、階調分布Bが取得される。図2において、実線は輝度パターン105−aに対応する撮像素子上の輝度分布Aであり、点線は輝度パターン105−bに対応する撮像素子上の輝度分布Bである。また、階調分布Aおよび階調分布Bは、それぞれ輝度分布Aおよび輝度分布Bを撮像素子の各画素でサンプリングして得られた数値列である。第一の値は、輝度パターン105−a、および輝度パターン105−bにおける明部に対応する階調値であり、第二の値は、同様に暗部に対応する階調値である。
輝度分布Aおよび輝度分布Bは、第一の値を有する部分、第二の値を有する部分、およびそれらを連結する連結部分から構成される。同様に、階調分布Aおよび階調分布Bは、輝度分布Aおよび輝度分布Bのうちの離散的な位置であるが、第一の値を有する部分、第二の値を有する部分、およびそれらを連結する連結部分から構成される。
輝度分布Aおよび輝度分布Bは、連結部分で同じ輝度値となる位置が存在し、これを輝度交点位置と称する。一方、階調分布Aおよび階調分布Bもまた、連結部分で同じ輝度値となる位置が存在するはずであり、これを階調交点位置と称する。階調交点位置は、階調分布Aと階調分布Bとの大小が逆転する位置においてそれぞれの階調分布を補間することにより求める。あるいは、階調交点位置は、階調分布Aから階調分布Bを減じた差分分布を求めて、差分値が0となる位置を補間して求めることにより求めてもよい。
輝度分布から離散的な階調分布がサンプリングされると、サンプリングによる誤差が階調交点位置に影響し、真の輝度交点位置からの誤差が生じる。また、ショットノイズやその他の要因から発生するノイズの影響を受けた輝度分布が撮像素子上に結像すると、その輝度分布から階調分布を出力して求めた階調交点位置には、ノイズの影響により階調交点位置に誤差が生じることになる。
図10(a)および(b)を参照して、本発明に係る交点位置の検出精度を向上させる概念について説明する。図10(a)は、図2に示したような、階調交点を検出するために使用される階調交点近傍の4つの階調点を示している。図10(b)に示されるように、交点の検出に使用される4つの階調点の階調値(より具体的には高階調側の2つの階調点)は、撮像素子の最大階調値よりも小さくなるように、それ以外の階調点の階調値の少なくとも1つは、最大階調値と等しくなるように(すなわち飽和させるように)、撮像素子に入力される光量を増加させるように調節する。この調節は、パターンを投影する側の光量を調節する方法、あるいはカメラの露光時間を調節する方法、または撮像ゲインを調節する方法などの少なくとも1つの方法により行うことができる。なお、所定数以上の階調点が最大階調値と等しくなるように光量を調節してもよい。さらには、隣接階調点以外の全ての高階調側の階調点の階調値が最大階調値となるように、光量を調節してもよい。また、個々の階調交点の算出に使用される各階調交点の隣接階調点の階調値が最大階調値より小さい状態を満たす中で、撮像素子に入射される光量が最大になるように調節してもよい。
光量を増加させれば、検出される信号も強くなり、検出精度を向上することができる。その一方で交点の検出に使用しない階調点の階調値は、最大階調値を超えても検出精度誤に影響することはない。このように光量を調節すると、信号強度の増大に対してカメラの持つショットノイズの増加が小さいため、結果としてSN比が良くなり検出誤差を低減させることができる。
次に、図3のフローチャートを参照して、第1実施形態に係る前準備計測の処理手順を説明する。前準備計測処理とは、撮像素子へ入射する光量の調節値を算出する処理である。
ステップS301において、投影部102は、明部と暗部とが交互に配置された第1の輝度パターン光105−aを計測対象物101へ投影する。そして、撮像部103は、輝度パターン105−aが投影された計測対象物101を撮像する。その結果、階調分布G1が取得される。 ステップS302において、投影部102は、第2の輝度パターン光105−bを計測対象物101へ投影する。そして、撮像部103は、輝度パターン105−bが投影された計測対象物101を撮像する。その結果、階調分布G2が取得される。
図8(a)乃至図8(e)は、取得される階調分布の例である。本実施形態では、撮像素子の最大階調値は255であるが、撮像側の設定や処理に応じて4095や、それ以外の値であってもよい。横軸は撮像素子の画素位置であり、縦軸は階調値である。
ステップS303において、交点算出部201は、階調分布G1と、階調分布G2との交点を探索する。
ステップS304において、制御部203は、ステップS303で探索された階調分布G1と階調分布G2との交点の隣接階調点のうち、高階調側の階調点を含んだ階調ヒストグラムを生成する。ここで隣接階調点とは、交点(2つの階調点を結んだ直線同士の交点)を形成する隣接する4つの階調点である。そのうち高階調側の階調点とは4つの階調点のうち高階調側の2つの階調点である。階調ヒストグラムとは、各交点についてこの高階調側の隣接階調点を抽出して、横軸を階調値、縦軸を階調点の個数としたヒストグラムである。算出された階調ヒストグラムの例を図9に示す。
図8(d)に示されるように、階調分布G1と階調分布G2との交点の隣接階調点の一部の階調値が撮像素子の最大階調値と等しい場合、その一部において撮像素子が受光する光量は飽和していることを示している。ステップS305において、制御部203は、高階調側の隣接階調点のうち閾値T(例えばT=30)%以上の階調点の階調値が撮像素子の最大階調値と等しいか否かを判定する。高階調側の隣接階調点のうち閾値T%以上の階調点の階調値が撮像素子の最大階調値と等しいと判定された場合(S305;YES)、後述する階調値L1が撮像素子の最大階調値と等しくなる場合があり、後述する光量調節値kを正確に求めることが困難になる。そのため、ステップS306へ進む。一方、そうでない場合(S305;NO)、ステップS307へ進む。
ステップS306において、光量調節部202は、撮像素子に入射する光量を低減させるために、投影光の強度(投影光量)、撮像の露光時間、撮像ゲインのうち少なくとも1つを変更して調節する。例えば、撮像素子に入射する光量が半分になるように光量を調節する。しかしながら、光量が低減するように調節すればよく、必ずしも半分になるように調節する必要はない。状況に応じて、光量が10%になるように、あるいは90%になるように調節してもよい。その後ステップS301へ戻る。なお、光量を調節して改めて計測を行うと、図8(a)または図8(b)に示されるような階調分布が取得される。
ステップS307において、制御部203は、ステップS304で生成された階調ヒストグラムを用いて、階調ヒストグラムのうち閾値S(例えば、S=70)%の階調点の個数が含まれる階調値をL1として、当該階調値L1を算出する。図9において、全体でβ個の階調点がヒストグラムに含まれている場合に、α個の階調点が含まれる位置の階調値がL1である。ただし(α/β)×100=Sという関係が成り立つ。交点の状況に応じて、閾値Sを定めることができる。ステップS308において、制御部203は、階調分布から最大階調値Lmaxを算出する。最大階調値Lmaxは、階調分布の正弦曲線のうち値が大きい方の極値に対応する階調点の階調値である。なお、最大階調値Lmaxは、階調分布の上位の階調値5%の平均値や10%の平均値としてもよい。また、撮像素子の画素欠陥や、ノイズにより高階調値が検出される特異点の影響を省くため、階調分布の階調値の上位5%乃至10%の平均値、または上位7%の階調値の平均値としてもよい。計測対象物101の状態や計測環境に状況に応じて、Lmaxの算出方法は任意に変更されてもよい。
ステップS309において、制御部203は、光量調節値kを算出するための、目標階調値Ltを設定する。目標階調値Ltは、光量を調節した場合における階調ヒストグラムのうち閾値S%の階調点の個数が含まれる階調値である。
目標階調値Ltの範囲は、
撮像素子の最大階調値 >= Lt >= 撮像素子の最大階調値 × (L1/Lmax)
という関係を満たすように設定する。例えば、目標階調値Ltは上記範囲の最大値としてもよいし、最大値と最小値の平均としてもよい。ここでL1の値を120、Lmaxの値を160、撮像素子の最大階調値を255とすると、
255 >= Lt >= 255×120/160=191
となる。ここでは、最大値255と最小値191の平均値223を目標階調値Ltとして設定する。
ステップS310において、光量調節部202は、光量調節値kを算出する。光量調節値kは、Lt=k×L1の関係式により、Lt=223、L1=120とすると、1.86と求まる。図4のフローチャートを参照して、第1実施形態に係る本計測における交点検出処理の手順を説明する。
ステップS401において、光量調節部202は、図3の前計測処理で算出された光量調節値kに従って、投射光の強度、撮像の露光時間、および撮像のゲインの少なくとも1つを調節する。
ステップS402において、投影部102は、明部と暗部とが交互に配置された第1の輝度パターン光105−aを計測対象物101へ投影する。そして、撮像部103は、輝度パターン105−aが投影された計測対象物101を撮像する。その結果、階調分布G3が取得される。
ステップS403において、投影部102は、第2の輝度パターン光105−bを計測対象物101へ投影する。そして、撮像部103は、輝度パターン105−bが投影された計測対象物101を撮像する。その結果、階調分布G4が取得される。
ステップS404において、交点算出部201は、階調分布G3と、階調分布G4との交点を検出する。本計測では、図3のフローチャートの処理により算出された光量調節値k=1.86に従って、第1の輝度パターン光および第2の輝度パターン光を投影して計測対象物101を撮像することにより、図8(c)に示されるような階調分布が取得される。この階調分布に基づいて各々の階調分布の交点を検出する。
以上で、図4のフローチャートの各処理が終了する。
図8(c)の例では、階調分布の交点隣接画素の高階調側が撮像素子の最大階調値に等しくならず、且つ、少なくとも1つ以上の隣接階調値以外の階調値が最大階調値に等しくなる。
交点隣接画素の高階調側は、撮像素子の最大階調値に近い階調値を取得することができる。そのため、階調値の持つショットノイズを相対的に低減することができる。この交点隣接画素の階調値を用いて交点検出を行うと、ショットノイズの影響を最小限に抑えることができ、交点誤差を低減させることができる。
なお、本実施形態では、図3の前計測処理の後に図4の本計測処理を行っているが、量処理を続けて行っても構わないし、本計測の前に予め前計測を行い光量調節値の情報を取得しておいても構わない。
以上説明したように、第一と第二の階調分布から検出した交点を含む隣接階調値は、撮像素子の最大階調値に等しくなく、隣接階調値以外の一部において撮像素子の最大階調値と等しい。この時交点を含む隣接階調値を大きな値にすることでショットノイズの影響を相対的に低減することができるため、検出する交点の誤差を小さくすることができるという効果がある。
(第2実施形態)
図5のフローチャートを参照して、第2実施形態に係る前準備計測の処理手順を説明する。ステップS501において、投影部102は、所定の範囲で一様の輝度値を有する一様パターンを計測対象物101へ投影する。そして撮像部103は、一様パターンが投影された計測対象物101を撮像する。その結果、階調分布G0が取得される。ここで、所定の範囲とは、計測対象物101へ投影され、少なくとも1つの隣り合う交点と交点との間のことを指す。
ステップS502において、制御部203は、高階調側の隣接階調点のうち閾値P%以上の階調点の階調値が撮像素子の最大階調値と等しいか否かを判定する。閾値P%以上の階調点の階調値が撮像素子の最大階調値と等しい場合、撮像素子に入射する光量が多すぎるため、階調分布G0は飽和する。この場合、階調分布の形状が本来の形状と異なってしまうため、交点誤差が大きくなり、また光量調節値kを正確に求めることが困難になってしまう。そのため、撮像素子に入射する光量を低減させるように、投影光の強度、露光時間、ゲインを変更させて、再度、所定の範囲で最大輝度値を有する輝度パターンで投影し、撮像を行う必要がある。
閾値P%以上の階調点の階調値が撮像素子の最大階調値と等しいと判定された場合(S502;YES)、ステップS509へ進む。一方、そうでない場合(S503;NO)、ステップS503へ進む。
ステップS503において、制御部203は、階調分布G0の平均値Laを算出して取得する。ステップS504乃至ステップS512の各処理は、それぞれステップS301乃至ステップS309の各処理と同様であるため、説明を省略する。
ステップS513において、制御部203は、一様パターンの平均階調値Laと、交点隣接画素の階調値L1を用いて階調値比率Mを、M=L1/Laの式により算出する。例えば閾値Sが70であるとした場合、階調ヒストグラムのうち閾値70%の階調点の個数が含まれる階調値L1が80、一様パターンの平均階調値Laが100であるとすると、階調値比率M=0.8と求まる。この階調値比率Mは後述する図6の処理で光量調節値kを算出する際に使用される。以上で図5のフローチャートの各処理が終了する。
次に図6のフローチャートを参照して、第2実施形態に係る本計測における交点検出処理の手順を説明する。ステップS601において、ユーザが計測対象物101を配置する。図5の前計測で使用された計測対象物と異なっていても構わない。 ステップS602において、投影部102は、所定の範囲で一様の輝度値を有する一様パターンを計測対象物101へ投影する。そして撮像部103は、一様パターンが投影された計測対象物101を撮像する。その結果、階調分布G10が取得される。
ステップS603およびステップS604の各処理は、それぞれステップS502およびステップS509の各処理と同様であるため、説明を省略する。ステップS605において、制御部203は、階調分布G10の平均値La2を算出して取得する。
ステップS606において、光量調節部202は、図5の前計測で算出した目標階調値Ltと階調値比率Mとを用いて、光量調節値kを算出する。光量調節値kは、Lt=k×La2×Mの関係式により、算出される。
ステップS607において、光量調節部202は、ステップS606で算出された光量調節値kに従って、撮像素子に入射する光量を低減させるために、投影光の強度、撮像の露光時間、撮像ゲインのうち少なくとも1つを変更して調節する。
ステップS608において、投影部102は、光量調節値kに従って調節された光量で、明部と暗部とが交互に配置された第1の輝度パターン105−aを計測対象物101へ投影する。そして、撮像部103は、輝度パターン105−aが投影された計測対象物101を撮像する。その結果、階調分布G3が取得される。
ステップS609において、投影部102は、光量調節値kに従って調節された光量で、第2の輝度パターン105−bを計測対象物101へ投影する。そして、撮像部103は、輝度パターン105−bが投影された計測対象物101を撮像する。その結果、階調分布G4が取得される。なお、ここでは図8(e)のような階調分布が取得される。
ステップS610において、交点算出部201は、階調分布G3と、階調分布G4との交点を検出する。
図8(e)の例では、所定の範囲の階調分布の交点隣接画素の高階調側の一部は撮像素子の最大階調値と等しくなっているため、この最大階調値に等しい隣接階調値を用いて交点を検出しても誤差が大きくなり、正確な計測を行うことができない。しかしながら、それ以外の交点隣接画素の高階調側は撮像素子の最大階調値の近くで階調値を取得することができるため、階調値の持つショットノイズが相対的に低減することができる。この最大階調値に等しくない隣接階調値を用いて交点を検出すると、ショットノイズの影響を抑制することができ、交点誤差を低減させることができる。
本実施形態によれば、所定の範囲で一様の輝度値を有する一様パターンを少なくとも1つ用いることにより光量調節量を算出できるため、計測対象物を変更してから光量調節値を算出する場合の処理時間を短くすることができる。
(第3実施形態)
図7のフローチャートを参照して、第3実施形態に係る前準備計測の処理手順を説明する。ステップS701において、投影部102は、明部と暗部とが交互に配置された第1の輝度パターン105−aを計測対象物101へ投影する。そして、撮像部103は、輝度パターン105−aが投影された計測対象物101を撮像する。その結果、階調分布G1が取得される。
ステップS702において、制御部203は、階調分布G1から、階調値の閾値Q近傍の画素を探索する。閾値Qは、例えば階調分布G1の最大階調値と最小階調値との中点の階調値とする。また閾値Qは、階調分布G1の全階調値の平均値や、階調値の上位5%と下位5%の平均値としてもよい。
ステップS703において、制御部203は、ステップS303で探索された閾値Q近傍の画素の隣接階調点のうち、高階調側の階調点を含んだ階調ヒストグラムを生成する。
ステップS704乃至ステップS709の各処理は、ステップS305乃至ステップSS310の各処理と同様であるため、説明を省略する。ただし、ステップ707の処理は、階調分布G1のみから最大階調値を算出する点が異なっている。
図7のフローチャートで算出された光量調節値kを用いて、図4のフローチャートに従った本計測が実行される。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (6)

  1. 明部と暗部とを有する第1の輝度パターンと、該第1の輝度パターンの明部と暗部とが反転した第2の輝度パターンとを計測対象物へ投影する投影手段と、
    前記計測対象物へ投影された前記パターンを撮像素子に階調分布として結像させ、飽和光量を超過する露光では最大階調値を階調点ごとに出力し、前記飽和光量以下の露光では当該露光に対応する階調値を階調点ごとに出力する撮像手段と、
    前記撮像手段により出力された前記第1の輝度パターンの階調分布と、前記第2の輝度パターンの階調分布との交点を導出する導出手段と、
    を備える情報処理装置であって、
    前記交点の導出に使用される該交点の隣接階調点以外の少なくとも1つの階調点の階調値が前記最大階調値と等しくなるように、前記撮像素子に入射される光量を調節する光量調節手段を備えることを特徴とする情報処理装置。
  2. 前記光量調節手段は、前記交点の導出に使用される前記交点の隣接階調点の階調値が前記最大階調値より小さい状態を満たしながら、前記撮像素子に入射される光量を最大に調節することを特徴とする請求項1に記載の情報処理装置。
  3. 前記光量調節手段は、前記パターンを投影する前記投影手段の投影光量、前記撮像手段の露光時間、または前記撮像手段のゲインのうち、少なくとも1つを調節することにより、前記撮像素子に入射される光量を調節することを特徴とする請求項1または2に記載の情報処理装置。
  4. 更に、前記導出手段によって導出された交点の位置に基づいて、前記計測対象物の三次元形状を導出する三次元形状導出手段を備えることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 投影手段が、明部と暗部とを有する第1の輝度パターンと、該第1の輝度パターンの明部と暗部とが反転した第2の輝度パターンとを計測対象物へ投影する投影工程と、
    撮像手段が、前記計測対象物へ投影された前記パターンを撮像素子に階調分布として結像させ、飽和光量を超過する露光では最大階調値を階調点ごとに出力し、前記飽和光量以下の露光では当該露光に対応する階調値を階調点ごとに出力する撮像工程と、
    導出手段が、前記撮像工程により出力された前記第1の輝度パターンの階調分布と、前記第2の輝度パターンの階調分布との交点を導出する導出工程と、
    を有する情報処理装置の制御方法であって、
    光量調節手段が、前記交点の導出に使用される該交点の隣接階調点以外の少なくとも1つの階調点の階調値が前記最大階調値と等しくなるように、前記撮像素子に入射される光量を調節する光量調節工程を有することを特徴とする情報処理装置の制御方法。
  6. コンピュータを、請求項1乃至4のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
JP2011267257A 2011-12-06 2011-12-06 情報処理装置、情報処理装置の制御方法、およびプログラム Active JP5918984B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011267257A JP5918984B2 (ja) 2011-12-06 2011-12-06 情報処理装置、情報処理装置の制御方法、およびプログラム
US13/675,326 US9332244B2 (en) 2011-12-06 2012-11-13 Information processing apparatus, control method for the same and storage medium
US15/079,195 US9998728B2 (en) 2011-12-06 2016-03-24 Information processing apparatus, control method for the same and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011267257A JP5918984B2 (ja) 2011-12-06 2011-12-06 情報処理装置、情報処理装置の制御方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016078422A Division JP6190486B2 (ja) 2016-04-08 2016-04-08 画像処理装置、画像処理装置の制御方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2013120092A JP2013120092A (ja) 2013-06-17
JP2013120092A5 JP2013120092A5 (ja) 2015-01-15
JP5918984B2 true JP5918984B2 (ja) 2016-05-18

Family

ID=48523720

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011267257A Active JP5918984B2 (ja) 2011-12-06 2011-12-06 情報処理装置、情報処理装置の制御方法、およびプログラム

Country Status (2)

Country Link
US (2) US9332244B2 (ja)
JP (1) JP5918984B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110078717A1 (en) 2009-09-29 2011-03-31 Rovi Technologies Corporation System for notifying a community of interested users about programs or segments
EP3373302B1 (en) 2009-09-30 2021-12-29 Rovi Guides, Inc. Systems and methods for identifying audio content using an interactive media guidance application
JP6161276B2 (ja) 2012-12-12 2017-07-12 キヤノン株式会社 測定装置、測定方法、及びプログラム
JP6267486B2 (ja) * 2013-10-30 2018-01-24 キヤノン株式会社 画像処理装置、画像処理方法
JP6346427B2 (ja) * 2013-10-30 2018-06-20 キヤノン株式会社 画像処理装置、画像処理方法
EP2869023B1 (en) * 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
JP6320051B2 (ja) * 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
US9635339B2 (en) 2015-08-14 2017-04-25 Qualcomm Incorporated Memory-efficient coded light error correction
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
JP6816352B2 (ja) * 2015-10-08 2021-01-20 株式会社リコー 投影装置、投影システム及びプログラム
KR102482062B1 (ko) 2016-02-05 2022-12-28 주식회사바텍 컬러 패턴을 이용한 치과용 3차원 스캐너
TWI588587B (zh) * 2016-03-21 2017-06-21 鈺立微電子股份有限公司 影像擷取裝置及其操作方法
CN108240800B (zh) * 2016-12-23 2020-03-10 致茂电子(苏州)有限公司 表面形貌的量测方法
DE102017000908A1 (de) * 2017-02-01 2018-09-13 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zum Bestimmen der Belichtungszeit für eine 3D-Aufnahme
JP7186019B2 (ja) * 2017-06-20 2022-12-08 株式会社ミツトヨ 三次元形状計測装置及び三次元形状計測方法
JP6879168B2 (ja) * 2017-11-01 2021-06-02 オムロン株式会社 3次元測定装置、3次元測定方法及びプログラム
US10860648B1 (en) * 2018-09-12 2020-12-08 Amazon Technologies, Inc. Audio locale mismatch detection
US10848819B2 (en) 2018-09-25 2020-11-24 Rovi Guides, Inc. Systems and methods for adjusting buffer size
US10848973B2 (en) 2018-10-16 2020-11-24 Rovi Guides, Inc. System and method to retrieve a secure message when a display of a mobile device is inaccessible
CN111550480B (zh) * 2020-04-29 2021-03-23 四川大学 一种空间精密位姿对准方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164810B2 (en) * 2001-11-21 2007-01-16 Metrologic Instruments, Inc. Planar light illumination and linear imaging (PLILIM) device with image-based velocity detection and aspect ratio compensation
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd 3次元画像取得装置および3次元画像取得方法
JP4874657B2 (ja) * 2006-01-18 2012-02-15 ローランドディー.ジー.株式会社 三次元形状の測定方法およびその装置
JP4889373B2 (ja) * 2006-05-24 2012-03-07 ローランドディー.ジー.株式会社 3次元形状測定方法およびその装置
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
JP2008145139A (ja) * 2006-12-06 2008-06-26 Mitsubishi Electric Corp 形状計測装置
JP4931728B2 (ja) * 2007-08-08 2012-05-16 シーケーディ株式会社 三次元計測装置及び基板検査機
DE102010064593A1 (de) * 2009-05-21 2015-07-30 Koh Young Technology Inc. Formmessgerät und -verfahren
EP2459960B1 (en) * 2009-07-29 2019-11-13 Canon Kabushiki Kaisha Measuring apparatus, measuring method, and computer program
US8165351B2 (en) * 2010-07-19 2012-04-24 General Electric Company Method of structured light-based measurement
JP5611022B2 (ja) 2010-12-20 2014-10-22 キヤノン株式会社 三次元計測装置及び三次元計測方法
DE102011075530A1 (de) 2011-05-09 2012-01-26 WTW Wissenschaftlich-Technische Werkstätten GmbH Fotometer zur In-situ-Messung in Fluiden
JP6170281B2 (ja) 2011-05-10 2017-07-26 キヤノン株式会社 三次元計測装置、三次元計測装置の制御方法、およびプログラム
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range

Also Published As

Publication number Publication date
JP2013120092A (ja) 2013-06-17
US9332244B2 (en) 2016-05-03
US20160205376A1 (en) 2016-07-14
US9998728B2 (en) 2018-06-12
US20130141544A1 (en) 2013-06-06

Similar Documents

Publication Publication Date Title
JP5918984B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US11195257B2 (en) Image processing method, image processing apparatus, imaging apparatus, lens apparatus, storage medium, and image processing system
US8717414B2 (en) Method and apparatus for matching color image and depth image
JP5075757B2 (ja) 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
CN110264426B (zh) 图像畸变校正方法和装置
CN110276734B (zh) 图像畸变校正方法和装置
JP5200955B2 (ja) 画像処理装置、撮像装置及び画像処理プログラム
JP5896788B2 (ja) 画像合成装置及び画像合成方法
JP6161276B2 (ja) 測定装置、測定方法、及びプログラム
JP7234057B2 (ja) 画像処理方法、画像処理装置、撮像装置、レンズ装置、プログラム、記憶媒体、および、画像処理システム
JP2012251997A (ja) 三次元計測装置、三次元計測装置の制御方法、およびプログラム
JP2016006930A (ja) 撮像装置および撮像方法
JP2010152521A (ja) 画像立体化処理装置及び方法
JP2008304202A (ja) 距離画像生成方法、距離画像生成装置及びプログラム
JP6190486B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP2021097347A (ja) 撮像装置およびその制御方法、プログラム
JP2007094536A (ja) 対象物追跡装置及び対象物追跡方法
JP2022184134A (ja) 撮像装置およびその制御方法
JP6378496B2 (ja) 画像処理装置、制御方法及び記録媒体
US20140104418A1 (en) Image capturing apparatus, control method of image capturing apparatus, three-dimensional measurement apparatus, and storage medium
JP2005251123A (ja) 画像処理装置および画像処理方法
JP7191633B2 (ja) 画像処理装置、制御方法及びプログラム
JP5057134B2 (ja) 距離画像生成装置、距離画像生成方法及びプログラム
JP2006031171A (ja) 擬似的3次元データ生成方法、装置、プログラム、および記録媒体
JP2017228821A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141126

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160411

R151 Written notification of patent or utility model registration

Ref document number: 5918984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151