JP4501587B2 - 3次元画像測定装置および方法 - Google Patents

3次元画像測定装置および方法 Download PDF

Info

Publication number
JP4501587B2
JP4501587B2 JP2004238895A JP2004238895A JP4501587B2 JP 4501587 B2 JP4501587 B2 JP 4501587B2 JP 2004238895 A JP2004238895 A JP 2004238895A JP 2004238895 A JP2004238895 A JP 2004238895A JP 4501587 B2 JP4501587 B2 JP 4501587B2
Authority
JP
Japan
Prior art keywords
resolution
dimensional image
pattern
subject
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004238895A
Other languages
English (en)
Other versions
JP2006058091A (ja
Inventor
弘之 三宅
勉 安部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2004238895A priority Critical patent/JP4501587B2/ja
Publication of JP2006058091A publication Critical patent/JP2006058091A/ja
Application granted granted Critical
Publication of JP4501587B2 publication Critical patent/JP4501587B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、パターン投影法を用いて対象物体までの距離情報を取得する3次元画像測定技術に関する。
対象物の形状を計測する手法として、対象物に基準となるパターンを投影してこの基準となるパターン光が投影された方向とは異なる方向からCCDカメラなどで撮影を行うパターン投影法と呼ばれる手法がある。撮影されたパターンは物体の形状によって変形を受けたものとなる。この撮影された変形パターンと投影したパターン(またはこれと等価な撮影パターン)との対応づけを行うことで、物体の3次元計測を行うことができる。パターン投影法では変形パターンと投影したパターンとの対応づけをいかに誤対応を少なく、かつ簡便に行うかが課題となっている。そこで様々なパターン投影法が従来提案されている。
例えば特許文献1(特許第3482990号公報)に開示される手法は、コード化されたパターンを投影する投光器と、投光器の光軸方向から投影パターンを撮影する第1のカメラと、投光器の光軸方向と異なる方向から投影パターンを撮影する第2のカメラとを備え、投影パターンに対する第1のカメラによる撮影パターンの変化量が所定値以上の領域について新たなコードを割り付け、割り付けたコードを用いて第2のカメラによる撮影パターンから第1の距離情報を生成し、第1の距離情報および第1のカメラより得られた輝度情報に基づいて3次元画像を得るよう構成した3次元画像撮影装置である。投光器と同じ光軸に置いた第1のカメラで投光パターンを撮影してえた撮影パターンを用いて再コード化することにより精度よく3次元計測を行うことができる。
特許第3482990号公報
このような投影パターンを用いた方式では、ストライプの境界部の座標をカメラと投光器との位置関係から三角測量の原理により求めている。従ってカメラ画像において縦方向(Y軸方向)にはカメラの解像度分、横方向(X軸方向)にはストライプ境界数分の座標データが算出されることになる。算出されたデータはY軸方向には密で、X方向には疎になるが、一般にストライプ幅を狭くしていくと、この比は小さくなることは明らかである。しかしながら、ストライプ幅を狭くしていくと、その分、計算量が大きくなる。さらに、ストライプ幅を狭くすると図22に示すように、カメラ画像の濃度プロファイルは鈍ったものとなり、コード化が不正確になる。
本発明は上述の事情を考慮してなされたものであり、3次元形状測定のストライプ方向の解像度が小さいという問題を計算量を増やすことなく解消することを目的としている。さらに、その際にコード化の精度を向上させることを目的としている。
本発明の原理的な構成例においては、上述の目的を達成するために、粗い解像度で得た被写体の3次元画像から詳細な撮像を実施すべき領域を決定して、その領域に対して2回目以降の撮像を行い、複数回の撮像データを合成した結果を3次元画像として得る。
この構成においては、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な3次元画像を取得できる。
また、本発明の他の構成例では、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の3次元画像を得る3次元画像入力方法において、最初に広いストライプ幅のパターンを投影し撮影して3次元画像を得て、その3次元画像から詳細な撮像を実施すべき領域を決定して、その領域および近傍のみに狭いストライプ幅のパターンを投影し2回目以降の撮像を行い、複数回の撮像データを合成した結果を3次元画像として得る。
この構成においても、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な3次元画像を取得できる。
また、さらに他の構成例では、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の3次元画像を得る3次元画像入力方法において、最初に広いストライプ幅のパターンを投影し撮影して3次元画像を得て、その3次元画像から詳細な撮像を実施すべき領域を決定して、狭いストライプ幅のパターンを投影し、カメラのレンズを望遠側にシフトして2回目以降の撮像を行い、複数回の撮像データを合成した結果を3次元画像として得る。
この構成においても、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な3次元画像を取得できる。さらに、カメラを望遠側にしているので、カメラ画像の濃度プロファイルは鈍くすることがなく、コード化が正確になる。
本発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。
さらに本発明を説明する。
すなわち、本発明の一側面によれば、上述の目的を達成するために、3次元画像取得装置に:被写体の3次元画像を粗い解像度で取得する粗解像度画像取得手段と;上記粗解像度画像取得手段で取得した粗い解像度の3次元画像に基づいて密な解像度で3次元画像を取得すべき領域を決定する密解像度3次元画像領域決定手段と;上記密解像度3次元画像領域決定手段により決定された領域の3次元画像を密な解像度で取得する密解像度画像取得手段と;上記粗解像度画像取得手段で取得した粗い解像度の3次元画像と上記密解像度画像取得手段で取得した密な解像度の3次元画像とを合成する3次元画像合成手段とを設けるようにしている。
この構成においては、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な3次元画像を取得できる。
また、本発明の他の側面によれば、上述の目的を達成するために、ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の3次元画像を得る3次元画像取得装置に:広いストライプ幅のパターンを投影し撮影して粗い解像度の3次元画像を取得する粗解像度画像取得手段と;上記粗解像度画像取得手段で取得した粗い解像度の3次元画像に基づいて密な解像度で3次元画像を取得すべき領域を決定する密解像度3次元画像領域決定手段と;上記密解像度3次元画像領域決定手段により決定された領域および近傍のみに狭いストライプ幅のパターンを投影し撮影して上記領域の3次元画像を密な解像度で取得する密解像度画像取得手段と;上記粗解像度画像取得手段で取得した粗い解像度の3次元画像と上記密解像度画像取得手段で取得した密な解像度の3次元画像とを合成する3次元画像合成手段とを設けるようにしている。
この構成においても、必要な部分のみ高解像度で撮像するので不必要に計算量を増大させることなく適切な3次元画像を取得できる。
この構成において、上記密解像度画像取得手段は、上記カメラのレンズを望遠側にシフトして上記領域を撮影して上記領域の密な解像度の3次元画像を取得するようにしてもよい。このようにすると、カメラを望遠側にしているので、カメラ画像の濃度プロファイルは鈍くすることがなく、コード化が正確になる。
この場合、上記カメラのレンズを望遠側にシフトするときに上記カメラにおける上記被写体の画角を一定にするために上記被写体を上記カメラに対して相対的に移動させる被写体移動手段を設けることが好ましい。
上記密解像度3次元画像領域決定手段は、例えば、上記ストライプの並び方向に沿って被写体の奥行き座標が大きく変化する部位を上記領域と決定する。
なお、本発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品も本発明の技術的な範囲に含まれることも当然である。
本発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。
本発明によれば、処理時間の短い概略的な撮像によって大まかな形状データを取得し、そのデータによって詳細な形状取得領域を決めてその領域のみの距離画像を得て合成するので、高精細な距離画像を高速に得ることが可能となる。
以下、本発明の実施例について説明する。
本発明の実施例1に係る3次元画像測定装置を説明する。
図1は、本発明の実施例1の3次元画像測定装置の構成図であり、図1において、3次元画像測定装置は、3次元計測用にパターンを投影するパターン投影装置(たとえば液晶プロジェクタ)10、同光軸でパターンをモニタする撮像装置(たとえばCCDカメラ。第1カメラとも呼ぶ)20、三角測量用撮像装置(たとえばCCDカメラ。第2カメラとも呼ぶ)30、制御部60等で構成される。制御部60は例えばパーソナルコンピュータや専用の処理装置で構成される。
制御部60は、機能的に大きく分けると、粗3次元画像計算部601、詳細撮像領域抽出部602、密3次元画像計算部603、3次元画像合成部604等を含んで構成される。これらの処理については後に詳述する。
40はハーフミラーであり、50は対象物(被写体ともいう)である。この3次元測定装置の基本的な構成は、特許文献1(特許第3482990号公報)に開示される構成と同様である。パターン投影装置10は、液晶プロジェクタもしくはDLP(商標)プロジェクタ、またはスライドプロジェクタを用いる。パターン投影装置10、たとえば液晶プロジェクタへ入力する投影パターンは、図2に示すような濃淡のあるストライプパターンを用い、例えば、図2の右側に図示されている対象物(物体)にパターン投影する。スライドプロジェクタを用いる場合、投影パターンはスライドフィルム上へ形成するか、ガラスパターンに金属膜などを蒸着し膜厚や網膜点パターンなどによって透過率をコントロールする。
図3にパターン投影の模様を示す。撮像装置(第1カメラ20)と投影装置(パターン投影装置10)をハーフミラー40などで同光軸に配置し、三角計測用に撮像装置を用意し、図2に示すようなストライプパターンを投影する。同光軸の撮像素子(第1カメラ20)で観測された画像(第1カメラ・イメージ)から再コード化を実施し、測定用撮像素子(第2カメラ30)で観測された画像(第2カメラ・イメージ)とで3次元距離画像(距離)を算出する。
投影パターンには第1の投影パターン(粗3次元画像計算部601用)と第2の投影パターン(密3次元画像計算部603用)があり、第1の投影パターンは比較的粗いピッチのストライプパターンである。第2のパターンは数種類用意してあり、第1の投影パターンを用いた撮像結果をもとに選択する。図4にその投影パターンのバリエーションを示す。画面中央部を分割してその部分のみにストライプパターンを配置し、それ以外の部分は輝度が0となるようにしている。例えば液晶プロジェクタの解像度がXGA(1024×768画素)として第1の投影パターンはストライプ幅を12画素分として85本のストライプ投影パターン、第2の投影パターンの詳細部を6画素分とする。
図5に液晶プロジェクタへ入力するパターンデータの水平方向の輝度プロファイルを示す。投影パターンは256階調を4段階から6段階程度に分けた輝度ストライプの組み合わせである。
図6を参照しながら撮像方法について説明する。まずプロジェクタから第1の投影パターンを投影し(S10)、2台のカメラでその様子を撮影する(S11)。得られた画像から距離画像を算出する(S12)。この距離画像に対して水平方向の傾斜情報の評価を行う(S13)。例えば距離画像データをX方向に抽出(いわゆるカメラ画像の副走査方向のデータ)し、この副走査方向データに対して、X方向にZ座標値を微分した結果から傾斜が急な部分や凸凹が細かく連続する部分などが抽出できる。あるX座標x1に着目するとその直前のX座標x0のZ座標値z0から、Z軸方向の傾き((z0−z1)/(x0−x1))が算出される。この値の絶対値が閾値より大きい場合にはZ軸方向に大きく変化していると判断できるので2回目に詳細に撮像すべき領域と判定され、さらにZ軸方向の傾き値が一つ前のX座標から正負の符号が反転する場合にはZ軸方向に凸あるいは凹の頂点付近と判断できるので、これも2回目に詳細に撮像すべき領域と判定される。距離画像データはY方向にはカメラ解像度分あるので、この処理をY方向には一定の座標値ごとに行う。
抽出した領域を領域テンプレートに当てはめ、第2の投影パターンを1つあるいは複数選択する(S14)。図7はその一例である。抽出した領域は図7上の距離画像の中で被写体上の斜線部分である。これを左下図のテンプレートに当てはめると右下図のようになり、E、F、Hが選択される。これにより図4の第2の投影パターンのうち3つが選択される。
この選択された投影パターンを投影して(S15)、2台のカメラでその様子を撮影し(S16)、得られた画像から距離画像を算出する(S17)。第2の投影パターンが複数選択された場合はこれを繰り返す(S18)。最後にそれぞれ算出された距離画像(点群データ)を合成して最終的な出力を得る(S19)。
上述の粗3次元画像計算部601はステップS10〜S12の処理を行い、詳細撮像領域抽出部602はステップS13の処理を行い、密3次元画像計算部603はステップS14〜S18の処理を行い、3次元画像合成部604はステップS19の処理を行なう。
この一連の処理のうち距離画像を算出する処理について以下に説明する。
図8は、距離画像を算出する構成例を示しており、この図において、パターン投影装置10がコード化されたパターンを対象物50に投影する。このパターンはフレームメモリ110に記憶される。モニタ用の第1カメラ20および三角測量用の第2カメラ30により、対象物50上の投影パターンを撮像しそれぞれパターン画像メモリ120、150に記憶する。
領域分割部130はパターン画像メモリ120のパターン画像を、パターン投影装置10からの投影パターン(光)が十分に届いている領域(領域2ともいう)と届いていない領域(領域1ともいう)に分割する。たとえば、隣り合うストライプ間の強度差が閾値以下である領域については、投影パターンが十分に届いてないと判別し、ストライプ間の強度差が閾値以上である領域を投影パターンが十分に届いている領域と判別する。投影パターンが十分に届いている領域に関し、以下に述べるように、境界線となるエッジ画素算出を行い、距離計算を行う。投影パターンが十分に届いてない領域については、別途、視差に基づく距離計算を行う。ここではとくに説明しないが、詳細は特許文献1を参照されたい。
再コード化部160は、抽出された領域2についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成し、セルの再コード化を行う。これについては後に詳述する。
コード復号部170は、パターン画像メモリ150に記憶されている、三角測量用の第2カメラ30からのパターン画像の各セル(エッジ)のコードを再コード化部160からのコードを用いて判別する。これにより、パターン画像メモリ150のパターン画像における測定点p(エッジ)の画素のx座標および光源からの照射方向(スリット角)θが決定され、後述する式(1)により距離Zが測定される(図16参照)。3次元画像メモリ180は、この距離と、第1カメラ20から取得した対象物の輝度値(輝度値メモリ140に記憶される)とを三次元画像データとして記憶する。
なお、詳細撮像領域抽出部602が詳細に撮像すべき領域を判別し、これに基づいて測定制御部605が測定モードを粗から密に切り替える。
この構成例における3次元形状の算出の詳細についてさらに説明する。
上述で得られたそれぞれのパターン画像、輝度値を用いて3次元形状を算出する為に以下の操作を行う。
同光軸のモニタ用の第1カメラ20によって撮影されたパターン画像と投光に用いられたパターン画像を用いて図9に示すフローチャートに従って再コード化を行う。最初に第1カメラ20で撮影されたパターン画像の領域分割を行う。隣り合うストライプ間の強度差が閾値以下である領域については、パターン投影装置10からの投影パターンが届いてない領域1として抽出し、ストライプ間の強度差が閾値以上である領域を領域2として抽出し(S30)、領域2について境界線となるエッジ画素算出を行う。
抽出された領域2についてストライプを抽出し、各ストライプをストライプ幅毎に縦方向に分割し、正方形のセルを生成する。生成された各セルについて強度の平均値をとり、平均値を各セルの強度とする(S31)。画像の中心から順に対応する各セル間の強度を比較し、対象物の反射率、対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なった場合には新たなコードの生成、割り付けを行う(S32〜S36)。
図10は簡単のため単純化した例であるが、図10の左側のストライプ列がストライプの並びによってコード化された投光パターンであり、それぞれの強度に3(強)、2(中)、1(弱)が割り当てられている。図10の右側がそれぞれ同軸上の第1カメラ20で撮影されたストライプをセルの幅でストライプと垂直方向に抽出したものである。図10の右上の例では、左から3つめのセルで強度が変化して新たなコードが出現したので、新たに0というコードを割り当てる。図10の右下の例では、左から3つめ上から2つめのセルで、既存のコードが出現しているので、セルの並びから新たなコードとして(232、131)という具合に(縦の並び,横の並び)によってコードを表現する。この再コード化は、対象の形状が変化に富む部位には2次元パターンなどの複雑なパターンを投光し、変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し、全てのセルに対して一意なコードを割り付けることで再コード化を行う。
例として、図11の対象物に、図12のパターンを投光した場合に第1カメラ20、第2カメラ30で得られる画像を簡単化したものをそれぞれ図13、図14に示す。この例では、板の表面には新たなコード化されたパターンとして図15が得られる。
次に第2カメラ30で得られたストライプ画像からストライプを抽出し、先ほどと同じようにセルに分割する。各セルについて、再コード化されたコードを用いて各セルのコードを検出し、検出されたコードに基づいて光源からの照射方向θを算出する。各画素の属するセルのθとカメラ2で撮影された画像上のx座標とカメラパラメータである焦点距離Fと基線長Lを用いて式(1)によって距離Zを算出する。なお、測定点pと、光源からの照射方向θと、第2カメラ30で撮影された画像上のx座標と、カメラパラメータである焦点距離Fと、基線長Lとの関係を図16に示す。
Z=FL/(x+Ftanθ) −−−式(1)
この計算は実際にはセルの境界のx座標を利用して行うが、このときのx座標はカメラの画素解像度よりも細かい単位で計算することで計測精度を向上させている。x座標値は、先に算出したエッジ画素の両側のセルの適当な数画素の輝度平均値d1、d2とエッジ画素の輝度deから求める。エッジ画素の両隣の画素位置p1とp2と輝度平均値d1とd2から一次補間した直線から輝度deに相当する画素位置de’(図では便宜上xで示す)が求められ、これがx座標値となる。(図17参照)
図18はx座標を求める構成例を示している。図18においては、エッジ右近傍画素位置入力部210、エッジ右セル輝度平均値入力部220、エッジ左近傍画素位置入力部230、エッジ左セル輝度平均値入力部240、エッジ輝度入力部250からそれぞれd1、p1、d2、p2、deを補間計算部200に供給して上述のとおりx座標を計算する。
上記実施例において、最初の第1の投影パターンを用いた距離画像取得の替わりにパターン投影なしに2台のカメラで撮影した被写体のテクスチャ情報のみに基づくステレオマッチング手法による距離画像取得でも同様の効果が得られる。
図19は本発明の実施例2の3次元画像測定装置の構成図である。上述した実施例1の3次元画像測定装置の構成において、2台のカメラ20、30にそれぞれ2段階ズームレンズ20z、30zを取り付けている。ズームレンズ20z、30zはPCなどの制御装置(図1の制御部60に相当)によりコントロールされる。また被写体50を設置する台はXY方向可動ステージ70となっており、同様に外部制御される。
以下、図20のフローチャートをもとに動作について説明する。まず初期状態として2台のカメラのズームレンズを広角側に設定しておき、プロジェクタから第1の投影パターンを投影する(S40)。その様子を2台のカメラで撮影し(S41)、距離画像を算出する(S42)。この距離画像に対して実施例1と同様に水平方向の傾斜情報の評価を行う(S43)。例えばX方向に座標値を微分した結果から傾斜が急な部分や凸凹が細かく連続する部分などが抽出できる。この処理をY方向には一定の座標値ごとに行う。
ここで抽出した領域に対して第1の投影パターンよりも細かい幅のストライプパターンをもつ第2の投影パターンを投影して(S44)、カメラのズームによって拡大撮影を行う(S45〜S47)。この場合、図1に示す構成のように2台のカメラの光軸は固定されているので、被写体に対して画角をパン(移動)させることはできない。そこで固定の画角に対して可動ステージにより被写体を相対的に移動させている。
抽出した領域を領域テンプレートに当てはめ、可動ステージの位置座標を1つあるいは複数選択する。図7の例では、E、F、Hが選択されているが、Eは画面中央なので可動ステージはホームポジションである。Fは可動ステージをカメラから見て左方向へ移動させ、Hはカメラから見て上方向へ移動させる。このように可動ステージを動作させ、ズームレンズを望遠側に設定してある2台のカメラで(被写体を移動させた後にズームレンズを望遠側に設定しても良い)、第2の投影パターンを投影して、2台のカメラでその様子を撮影し、得られた画像から距離画像を算出する(S44〜S48)。本実施例での第2の投影パターンは図2や図12に示すような第1の投影パターンのストライプ幅を単純に狭めたパターンでもよく、また図4の中央に示したプロジェクタの画面中央のみにストライプ幅を狭めたストライプパターンが配置されているものでも構わない。可動ステージの位置座標が複数選択された場合はこれを繰り返す(S49)。最後にそれぞれ算出された距離画像(点群データ)をマージして最終的な出力を得る(S50)。
この例では説明を単純化するために2段階のズームを例にあげたが、数段階のズームでその段階数に応じた第2の投影パターンを用意してもよい。
なお、本発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、本発明は、可視領域波長のほか、近赤外などの不可視波長の投射光に関しても有効であることはいうまでもない。
また、上述実施例では、ハーフミラー40を用いて投影装置10とモニタ用の撮像装置20とを同一の光軸(同主点)に配置したが、図21に示すように、投影装置10および撮像装置20を、パターンのストライプ(エッジ)の方向に無視できる程度に離間して配置し、実質的に同一の光軸上(同主点)に配置しても良い。この場合ハーフミラーによるパターン光のロスや配分に伴うパワーの低下やバラツキを回避できる。
本発明の実施例1の装置構成を示す図である。 上述実施例1を説明するためのパターンと被写体の一例を示す図である。 上述実施例1のストライプパターン例を示す図である。 上述実施例1の第2のパターンの例を説明する図である。 上述実施例1のパターンのプロファイルの例を説明する図である。 上述実施例1の動作を説明する概要図である。 上述実施例1の領域選択を説明する図である。 上述実施例1の距離計算の構成例を説明するブロック図である。 上述実施例1の再コード化の動作例を説明する 上述実施例1の再コード化を説明する図である。 上述実施例1の再コード化を説明するためのカメラと被写体の配置図である。 上述実施例1の再コード化を説明するためのパターン図である。 上述実施例1の第1カメラのモニタ画像の例を示す図である。 上述実施例1の第2カメラ2のモニタ画像の例を示す図である。 上述実施例1において被写体にあたって輝度が変化した部分を説明する図である。 上述実施例における距離計算を説明する図である。 上述実施例のエッジ座標の算出説明図である。 上述構成例1の測定点の第2カメラの画像上の座標xの補間計算を行う回路構成例を説明する図である。 本発明の実施例2の構成を説明する模式図である。 上述実施例2の動作例を説明するフローチャートである。 上述実施例の他の変形例を説明する図である。 ストライプパターンの幅とカメラ出力のプロファイルとの関係を説明する図である。
符号の説明
10 パターン投影装置
20 第1カメラ
20z 第1カメラのズームレンズ
20z 段階ズームレンズ
30 第2カメラ
40 ハーフミラー
50 対象物
60 制御部
70 XY方向可動ステージ
110 フレームメモリ
120 パターン画像メモリ
130 領域分割部
140 輝度値メモリ
150 パターン画像メモリ
160 再コード化部
170 コード復号部
180 3次元画像メモリ
200 補間計算部
210 エッジ右近傍画素位置入力部
220 エッジ右セル輝度平均値入力部
230 エッジ左近傍画素位置入力部
240 エッジ左セル輝度平均値入力部
250 エッジ輝度入力部
601 粗3次元画像計算部
602 詳細撮像領域抽出部
603 密3次元画像計算部
604 3次元画像合成部
605 測定制御部

Claims (3)

  1. ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の3次元画像を得る3次元画像取得装置において、
    前記投光器から投影された第1のパターンを撮影して第1の解像度の3次元画像を取得する第1の解像度画像取得手段と、
    前記第1の解像度画像取得手段で取得した前記第1の解像度の3次元画像に基づいて詳細に撮像すべき領域を検出して、前記第1のパターンの投影領域中の予め定められた複数の部分領域から、前記詳細に撮像すべき領域の少なくとも一部を含む、少なくとも1つの前記部分領域を選択する部分領域決定手段と、
    前記部分領域決定手段により選択された部分領域、前記投光器から投影された前記第1のパターンよりも狭いストライプ幅の第2のパターンを撮影して前記部分領域の3次元画像を、前記第1の解像度よりも密な第2の解像度で取得する第2の解像度画像取得手段と、
    前記第1の解像度画像取得手段で取得した前記第1の解像度の3次元画像と、前記第2の解像度画像取得手段で取得した前記第2の解像度の3次元画像とを合成する3次元画像合成手段とを有し、
    更に、前記部分領域決定手段により決定された部分領域の各々の位置に応じて前記被写体を前記カメラに対して相対的に移動させる被写体移動手段を有し、前記第2の解像度画像取得手段で前記第2の解像度で3次元画像を取得する際に、前記被写体移動手段により前記被写体を移動させることを特徴とする3次元画像取得装置。
  2. 前記部分領域決定手段は、前記ストライプの並び方向に沿って被写体の奥行き座標が大きく変化する部位を詳細に撮像すべき領域として検出する請求項記載の3次元画像取得装置。
  3. ストライプ状の投影パターンを被写体に投影する投光器の光軸からずれて配置されるカメラで前記被写体を撮影することに基づいて、前記被写体の3次元画像を得る3次元画像取得システムに用いられる3次元画像取得用コンピュータプログラムにおいて、
    コンピュータを、
    前記投光器から投影された第1のパターンを前記カメラに撮影させ第1の解像度の3次元画像を取得する第1の解像度画像取得手段、
    前記第1の解像度画像取得手段で取得した前記第1の解像度の3次元画像に基づいて詳細に撮像すべき領域を検出して、前記第1のパターンの投影領域中の予め定められた複数の部分領域から、前記詳細に撮像すべき領域の少なくとも一部を含む、少なくとも1つの前記部分領域を選択する部分領域決定手段、
    前記部分領域決定手段により選択された部分領域に前記投光器から投影された前記第1のパターンよりも狭いストライプ幅の第2のパターンを撮影させ、前記部分領域の3次元画像を、前記第1の解像度よりも密な第2の解像度で取得する第2の解像度画像取得手段、
    前記第1の解像度画像取得手段で取得した前記第1の解像度の3次元画像と、前記第2の解像度画像取得手段で取得した前記第2の解像度の3次元画像とを合成する3次元画像合成手段、
    前記部分領域決定手段により選択された部分領域の各々の位置に応じて被写体移動手段を制御して前記被写体を前記カメラに対して相対的に移動させる移動制御手段、
    として機能させ、
    前記第2の解像度画像取得手段で前記第2の解像度の3次元画像を取得する際に、前記被写体移動手段により前記被写体を移動させることを特徴とする3次元画像取得用コンピュータプログラム。
JP2004238895A 2004-08-18 2004-08-18 3次元画像測定装置および方法 Expired - Fee Related JP4501587B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004238895A JP4501587B2 (ja) 2004-08-18 2004-08-18 3次元画像測定装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004238895A JP4501587B2 (ja) 2004-08-18 2004-08-18 3次元画像測定装置および方法

Publications (2)

Publication Number Publication Date
JP2006058091A JP2006058091A (ja) 2006-03-02
JP4501587B2 true JP4501587B2 (ja) 2010-07-14

Family

ID=36105675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004238895A Expired - Fee Related JP4501587B2 (ja) 2004-08-18 2004-08-18 3次元画像測定装置および方法

Country Status (1)

Country Link
JP (1) JP4501587B2 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100947463B1 (ko) * 2007-08-31 2010-03-17 에스엔유 프리시젼 주식회사 엘시디를 이용한 삼차원 형상 측정장치
DE102007042963A1 (de) * 2007-09-10 2009-03-12 Steinbichler Optotechnik Gmbh Verfahren und Vorrichtung zur dreidimensionalen Digitalisierung von Objekten
KR101591471B1 (ko) * 2008-11-03 2016-02-04 삼성전자주식회사 물체의 특징 정보를 추출하기 위한 장치와 방법, 및 이를 이용한 특징 지도 생성 장치와 방법
US9482755B2 (en) 2008-11-17 2016-11-01 Faro Technologies, Inc. Measurement system having air temperature compensation between a target and a laser tracker
US9400170B2 (en) 2010-04-21 2016-07-26 Faro Technologies, Inc. Automatic measurement of dimensional data within an acceptance region by a laser tracker
US9772394B2 (en) 2010-04-21 2017-09-26 Faro Technologies, Inc. Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker
JP5606340B2 (ja) * 2011-01-14 2014-10-15 株式会社東芝 構造物計測システム
CN103403575B (zh) 2011-03-03 2015-09-16 法罗技术股份有限公司 靶标设备和方法
JP5746529B2 (ja) 2011-03-16 2015-07-08 キヤノン株式会社 三次元距離計測装置、三次元距離計測方法、およびプログラム
US9482529B2 (en) 2011-04-15 2016-11-01 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
CN103649673A (zh) 2011-04-15 2014-03-19 法罗技术股份有限公司 激光跟踪器中的增强的位置检测器
US9686532B2 (en) 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
JP6099675B2 (ja) 2012-01-27 2017-03-22 ファロ テクノロジーズ インコーポレーテッド バーコード識別による検査方法
US9041914B2 (en) * 2013-03-15 2015-05-26 Faro Technologies, Inc. Three-dimensional coordinate scanner and method of operation
US20150015701A1 (en) * 2013-07-10 2015-01-15 Faro Technologies, Inc. Triangulation scanner having motorized elements
JP6320051B2 (ja) 2014-01-17 2018-05-09 キヤノン株式会社 三次元形状計測装置、三次元形状計測方法
US9395174B2 (en) 2014-06-27 2016-07-19 Faro Technologies, Inc. Determining retroreflector orientation by optimizing spatial fit
CN111415296B (zh) * 2020-03-17 2024-01-19 东南数字经济发展研究院 一种无人机倾斜摄影的地面分辨率计算方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031742A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp 画像処理装置および物体移載装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031742A (ja) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp 画像処理装置および物体移載装置

Also Published As

Publication number Publication date
JP2006058091A (ja) 2006-03-02

Similar Documents

Publication Publication Date Title
JP4501587B2 (ja) 3次元画像測定装置および方法
US10902668B2 (en) 3D geometric modeling and 3D video content creation
JP3714063B2 (ja) 3次元形状計測装置
US6519359B1 (en) Range camera controller for acquiring 3D models
EP2869263A1 (en) Method and apparatus for generating depth map of a scene
US20060072123A1 (en) Methods and apparatus for making images including depth information
JP6009206B2 (ja) 3次元計測装置
CN109903377B (zh) 一种无需相位展开的三维人脸建模方法及系统
KR100813057B1 (ko) 입체 영상 제작장치 및 그 방법
KR20200046789A (ko) 이동하는 물체의 3차원 데이터를 생성하는 방법 및 장치
US6914685B2 (en) Apparatus and method for measuring the shape of a three dimensional object using projected multi-stripe patterns
JP4525240B2 (ja) 3次元画像入力装置および方法
KR102080506B1 (ko) 광학 3d 스캐너
JP2002117403A (ja) 画像処理装置および画像処理方法
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP4543821B2 (ja) 3次元形状測定装置および方法
JP2009036631A (ja) 三次元形状計測装置、および当該三次元形状計測装置の製造方法
JP4433907B2 (ja) 3次元形状測定装置および方法
JP2006064453A (ja) 3次元形状入力装置および方法
JP2007094536A (ja) 対象物追跡装置及び対象物追跡方法
JP2005003631A (ja) 3次元形状測定装置および方法
CN105551068B (zh) 一种三维激光扫描与光学照片的合成方法
JP2006071434A (ja) 3次元画像入力装置および方法
JP2015105899A (ja) 3次元計測装置
CN114812439B (zh) 结构光三维测量系统的投影成像镜头组调焦方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100330

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100412

R150 Certificate of patent or registration of utility model

Ref document number: 4501587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140430

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees