JP6319395B2

JP6319395B2 - ３次元測定装置および３次元測定方法

Info

Publication number: JP6319395B2
Application number: JP2016202682A
Authority: JP
Inventors: 星斗付; 正樹諏訪; 友紀長谷川
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2016-10-14
Filing date: 2016-10-14
Publication date: 2018-05-09
Anticipated expiration: 2036-10-14
Also published as: WO2018070210A1; EP3527936A4; CN109690241B; US20190213753A1; EP3527936B1; CN109690241A; JP2018063220A; EP3527936A1; US10818030B2

Description

本発明は、パターン光を投影して測定対象物の３次元位置を測定する３次元測定技術に関する。

測定対象物の３次元形状を測定する手法として、能動型計測（アクティブ計測）が知られている。能動型計測では、測定対象物にパターン光を投影した状態で撮影を行い、撮影された画像上でのパターンの位置から、三角測量の原理を用いて測定対象物の３次元形状（各画素の３次元位置）を求める。

能動型計測の中でも、１枚の画像のみから３次元形状を測定可能なワンショットアクティブ測量は、特に有益な技術である。その理由は、第１に１枚の画像のみを利用するのでリアルタイム測量が可能になること、第２に移動物体も測量可能であること、第３にカメラが移動する場合（たとえば、カメラがロボットの手に取り付けられている場合）にも測量可能であること、が挙げられる。

ワンショットアクティブ測量は、ＴｏＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）法と、構造化光（パターン光）を用いる方法の２つに大別できる。ＴｏＦ法はセンサ発光部から発した光が受光部に達するまでの光路長から距離を測定する方式である。一方で構造化光を用いる方法では、測定対象物にパターン光を投影した状態で撮影を行い、撮影された画像上でのパターンの位置から測定対象物の３次元形状を求める。本明細書では、構造化光を用いる方法について取り扱う。構造化光を用いる方法は、高精度（特に近距離において）、広い視野、安価なコストという利点がある。

構造化光の一例として、特許文献１は、ランダムドットパターンを用いる方法を開示する。非特許文献２はランダムな構造を持つパターンを用いたシステムを提示する。しかしながら、ランダムドットを用いると、基礎となるアルゴリズムであるテンプレートマッチに要する計算量が多くなるという問題がある。

また、非特許文献１や特許文献２は、空間的な符号化がなされたパターン光を用いる方法を開示する。非特許文献１および特許文献２における２次元パターンは、プリミティブと称されるパターン構成要素が2次元的に敷き詰められた構造を有する。複数のプリミテ
ィブを含むウィンドウ（たとえば、２×３のプリミティブからなる）は、当該ウィンドウに含まれる複数のプリミティブによって特定できる。したがって、撮影画像からプリミティブの並びを検出することで、３次元位置を算出可能である。

特開２００４−２１２３８５号公報米国特許第８０９０１９４号明細書

P. Vuylsteke and A. Oosterlinck, Range image acquisition with a single binary-encoded light pattern, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 12, No. 2, pp. 148-164, 1990. Hiroshi Kawasaki, Hitoshi Masuyama, Ryusuke Sagawa and Ryo Furukawa, "Single Color One-shot Scan using Topology Information", Computer Vision ECCV 2012. Workshops and Demonstrations, DOI 10.1007/978-3-642-33885-4_49

本発明は上記実情に鑑みなされたものであって、本発明は、構造化光を用いてワンショットで３次元測定が可能な３次元測定手法であって、従来よりもさらに効果的な３次元測定手法を提供することを目的とする。

本発明の第一の態様は、測定対象物の３次元形状を測定する３次元測定装置であって、所定のパターンを有するパターン光を前記測定対象物に投影する投影手段と、前記パターン光が投影された前記測定対象物を撮像する撮像手段と、前記撮像手段によって撮像された画像から、当該画像の対象画素の３次元位置を算出する算出手段と、を備え、前記所定のパターンは、２回回転対称である、ことを特徴とする。言い換えると、所定のパターンは、その中心について１８０°回転させたときに、元のパターンと等しい。

パターン光のパターンを上記のような構成とすることによって、既存のアクティブ３次元測量が達成可能な効果に加えて、回折光学素子（ＤＯＥ）を用いて投影部を構成可能であるという利点が生じる。投影部は必ずしもＤＯＥを用いて構成する必要はなく、たとえばマスクを用いて構成してもよいが、投影部の設計の柔軟性が向上するのは有利な効果である。

本態様において、上記の所定のパターンは、列ごとに列方向に所定の要素パターンが繰り返されたパターンであり、一端からｋ列目の要素パターンは、他端からｋ列目の要素パターンを１８０°回転させたものと等しいパターンとすることができる。換言すると、全体がＮ列（Ｎは整数）としたときに、一端からｋ列目の要素パターンと、Ｎ−ｋ＋１列目の要素パターンは、互いに１８０°回転させたものであるという関係を有する。あるいは、ｋ列目全体のパターンと、Ｎ−ｋ＋１列目全体のパターンが、互いに１８０°回転させた関係であると捉えることもできる。このようにパターンを構成すれば、当該パターンが全体として２回回転対称なパターンとなる。

この際、各列の要素パターンは互いに異なることが好ましい。列ごとに要素パターンが異なれば、パターンから列を一意に特定することができる。ただし、一部の列が他の列と同一のパターンであっても、隣接する列のパターンも考慮することで列を特定することは可能である。

本態様における所定のパターンの別の例は、その上半分が、列方向に所定の要素パターンが繰り返され、下半分は前記上半分のパターン全体を１８０°回転させたものと等しいようなパターンである。このようにしても、所定のパターンが全体として２回回転対称なパターンとなる。

本態様において、前記算出手段は、３次元位置の算出対象画素における前記パターン光のパターンから求められる平面と、前記算出対象画素の画素位置から求められる直線との交点として、前記算出対象画素の３次元位置を算出する、ことができる。

なお、本発明は、上記手段の少なくとも一部を含む３次元測定装置として捉えることができる。また、本発明は、上記手段が行う処理の少なくとも一部を含む３次元測定方法として捉えることもできる。また、これらの方法の各ステップをコンピュータに実行させるためのコンピュータプログラムや、当該プログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾
が生じない限り互いに組み合わせて本発明を構成することができる。

本発明によれば、従来よりもさらに効果的な３次元測定が可能となる。

図１（Ａ）は本実施形態におけるパターン光全体の一例を示す図。図１（Ｂ），１（Ｃ）は本実施形態におけるパターン光の一例を示す図。図２は３次元位置の算出原理を説明する図。図３（Ａ）〜３（Ｄ）は、本実施形態におけるパターン光の符号化方式を説明する図。図４（Ａ），４（Ｂ）は、本実施形態におけるパターン光の符号化方式を説明する図。図５（Ａ），５（Ｂ）は、本実施形態のパターン光の構造および設計方法の一例を説明する図。図６（Ａ），６（Ｂ）は、本実施形態のパターン光の構造および設計方法の別の例を説明する図。図７は本実施形態に係る３次元測定システムのシステム構成を示す図。図８は本実施形態に係る３次元測定システムにおける処理の流れを示すフローチャート。

以下、図面を参照して本発明の好適な実施形態について説明する。本実施形態に係る３次元測定システムは、測定対象物にパターン光を投影して撮影を行い、３角測量の原理を用いて測定対象物の３次元形状を測定する。

［概要］
図１（Ａ）は、本実施形態において投影されるパターン光全体の一例を示す図である。縦方向に周期性を持つこと、2回対称の図形となっていることが示されている。

図１（Ｂ）は、本実施形態において投影されるパターン光の繰り返し単位の一例を示す図である。パターン光１０は、所定の符号化（詳細は後述する）が施されており、図１（Ｃ）に示すような符号の２次元配列とみなすことができる。パターン光１０は、列ごとに特有の符号列を有するので、パターン光が投影された測定対象物の撮影画像を解析することで、撮影画像の各画素がパターン光のどの列に対応するかを求めることができる。より具体的には、各画素はプリミティブの単位で処理される。

図２は、本実施形態における３次元計測の原理を説明する図である。図２は、測定対象物２０に対して投影部２１からパターン光２３が投影されており、パターン光が投影された測定対象物２０をカメラ２２によって撮影することを示す。ここで、撮影画像２６の測距対象画素２７付近の投影パターン（符号）を調べることで、画素２７に写っているパターン光が、どの列のパターン光であるか分かる。ここでは、画素２７には列２４が写っているものとする。すると、画素２７に写っている測定対象物２０の点２５の３次元位置は、投影部２１と列２４とを含む平面２８と、カメラ２２と画素２７を結ぶ直線２９との交点として求めることができる。

［符号化方式］
次に、本実施形態におけるパターン光の符号化方式について説明する。本実施形態におけるパターン光は、２次元符号化パターンを有する。具体的には、明暗２値からなる有限
種類の「プリミティブ」（基本パターン）を２次元的に所定数個並べた「ワード」によって１つの符号語を構成する。２次元符号化パターンは複数種類の「ワード」を有し、各種類の「ワード」はそれぞれが異なる２次元構造を有し互いに区別可能である。

図３（Ａ）は、「プリミティブ」と称される要素を説明する図である。プリミティブ３０は、中央の１つの小さな矩形である「ビット」３１とその周囲の４つの大きな矩形である「グリッド」３２−３５から構成される。１つのプリミティブは、ビットおよびグリッドの光照射の有無の組み合わせにより、図３（Ｄ）に示すような４つの値をとる。

なお、図３（Ａ）においてビットは中央部だけでなくその周囲にも存在するが、プリミティブの値を決定するビットは中央のビットのみであるので、周囲のビットは記載を省略している。

まず、図３（Ｂ）に示すように、ビット３１の光照射の有無により、プリミティブ３０の値（絶対値）が「０」または「１」に決まる。なお、ここでは黒色の矩形は光が照射されていることを示し、白色の矩形が光が照射されていないことを示すが、これは逆であってもよい。

次に、図３（Ｃ）に示すように、グリッド３２−３５の組み合わせにより、プリミティブ３０の符号が「プラス」または「マイナス」に決まる。プラスとマイナスのパターンは、それぞれ逆であっても構わない。

そして、図３（Ｄ）に示すようにビット３１とグリッド３２−３５の組み合わせにより、プリミティブ３０は「＋１」「−１」「＋０」「−０」の４つの値を取り得る。

図４（Ａ）は、複数のプリミティブから構成される「ワード」の例を示す図である。ここでは４行４列のプリミティブから１つのワードが構成される例を示しているが、１ワードを構成するワードの数は適宜決めて構わない。たとえば、３×３や２×４のプリミティブを１ワードとしてもよい。

図４（Ｂ）は、ワード４０に含まれるプリミティブの一部を示す。ワード４０は、５×５のグリッドを含む。ここで、ワード４０内のプリミティブは、２×２グリッド（１プリミティブ）の範囲を１グリッドずつずらすことによって得られる。したがって、ワード４０の左端の列には、図４（Ｂ）に示すように４つのプリミティブ４１−４４が含まれる。各行も同様に４つのプリミティブから構成されるので、ワード４０は１６個のプリミティブから構成される。すなわち、１ワードは１６プリミティブからなる符号と対応付けられる。

図１（Ｂ）に示すパターン１０においてはワード１１が列方向に繰り返されるように配置されている。ここでワード１１は４×４のプリミティブにより構成されている。

一見すると、パターン１０の左端の列はワード１１だけで構成されるように見えるが、実はワード１１を１プリミティブ下にずらすことによってもう一つ別のワードが得られる。同様にずらすことにより、図１（Ｂ）の左端の列には、図１（Ｃ）に示すように、「Ａ１」「Ａ２」「Ａ３」「Ａ４」の４つのワードが得られる。最初の位置から４プリミティブずらすと最初のワード１１と同じワードが得られるので、以降「Ａ１」「Ａ２」「Ａ３」「Ａ４」は繰り返し含まれる。行方向についても同様に、１プリミティブごとにワードが得られる。このように、隣接するワード同士は、互いに重複している。

［パターンの設計方法・その１］
本実施形態では、パターン光として２回対称なパターンを採用する。ここで、パターンの設計方法について図５（Ａ），５（Ｂ）を参照して説明する。

以下では、パターンの一部である「要素パターン」を配列することによってパターンを設計する。この際、要素パターンとして１ワードと同じ大きさのパターンを用いるものとして説明するが、要素パターンは必ずしもワード単位である必要はなく、１ワードよりも大きいパターンであってもよい。

図５（Ａ）において、パターン５０の左端の列（１列目）は、同一の要素パターンが繰り返し配置される。したがって、１列目の最上部の要素パターン５２と最下部の要素パターン５３とは同一のパターンである。次に、右端の列は、１列目の要素パターン５２を１８０°回転させた要素パターンが繰り返し配置される。したがって、右端の最上部の要素パターン５４と最下部の要素パターン５５はいずれも、要素パターン５２を１８０°回転させたものである。

本例では、一般に、左からｋ列目の要素パターンは、右からｋ列目（左からＮ−ｋ＋１列目）の要素パターンを１８０°回転させたものと等しいように設計する。また、各列は同一の要素パターンを繰り返すことで得られる。したがって、図５（Ｂ）に示すように、１列目からＮ／２列目までの要素パターン５２，５６，・・・，５７を決定することで、全体のパターン５０を決定することができる。

このようにして設計されるパターン５０は、中心５１に対して１８０°回転させたときに同一のパターンとなる。すなわち、パターン５０は、中心５１に対して２回対称なパターンである。なお、ここでの説明および図５（Ａ）（Ｂ）における「列」は要素パターンの列を意味する。したがって、全体のパターン５０がＮ列の要素パターンから構成され、各要素パターンがＭ列のプリミティブから構成される場合は、全体のパターン５０は約Ｎ×Ｍ列（正確にはＮ×（Ｍ−１）＋１列）のプリミティブあるいはワードを有することになる。
「００００」
ワード単位の列で考えて、左からｋ列（ワード列）目のワードが、右からｋ列（ワード列）目のワードを１８０°回転させたものと等しいという条件が満たされることは、上記の設計方法から明らかであろう。

なお、パターン５０に含まれる各列の要素パターンは互いに異なることが好ましい。この条件を満たすためには、要素パターン５２，５６，・・・，５７が互いに異なるだけでなく、それらの１８０°回転パターンも含めた要素パターンが互いに異なることが好ましい。要素パターンが互いに異なれば、各ワード列に含まれるワードも互いに異なるので、１列のワードからどの列であるかを判別可能であるためである。ただし、一部の列が他の列と同一のワードから構成されても隣接列のワードを含めたワードの組合せを調べることで列を特定可能であるため、上記の条件は必ずしも満たさなくても構わない。したがって、隣接する複数列（たとえば、３列、５列など）のワードの並び方のパターンが、その他の複数列のパターンと互いに異なればよい。

［パターンの設計方法・その２］
上記とは異なる別のパターンの設計方法について図６（Ａ），６（Ｂ）を参照して説明する。本例では、図６（Ａ）に示すように、まずパターン６０の内の上半分の領域（上部領域）６２のパターンを決定する。上部領域６２において各列は同一の要素パターンを配置して構成される。上部領域６２の全ての列について要素パターン（６４，６５等）を決定し、それを列方向に繰り返すことで上部領域６２のパターンが決定できる。

次に、図６（Ｂ）に示すように、上部領域６２を１８０°回転させることによって、下半分の領域（下部領域）６３のパターンを決定する。

このようにして設計されるパターン６０は、中心６１に対して１８０°回転させたときに同一のパターンとなる。すなわち、パターン６０は、中心６１に対して２回対称なパターンである。

本例では、１列に含まれるワードが上部領域６２と下部領域６３とで異なり、撮影画像における１列のワードだけからは列を特定することができない場合が生じる。具体的には、ｉ列にワードＸがありｊ列にワードＹがあり、ワードＹを反転させるとワードＸと同じワードになる場合、画像中からワードＸを検出してもそれがｉ列目かｊ列目かを特定できない。また、反転させて同じワードになるＸがｋ列目にある場合、画像中からワードＸを検出してもそれがｋ列目かＮ−ｋ列目かを特定できない（Ｎは全体パターンでのワードの列数）。しかしながら、隣接列のワードも調べることで列を特定可能である。

本例においても、上部領域の各列の要素パターンは互いに異なることが好ましい。ただし、一部の列が他の列と同一のワードから構成されても隣接列のワードを調べることで列を特定可能であるため、上記の条件は必ずしも満たさなくても構わない。

［パターン設計における留意事項］
上記では詳しく述べなかったが、要素パターンの境界を含むワードが有効なワードとなるように、それぞれの要素パターンを設計することが望ましい。すなわち、要素パターンを列方向に並べる際の境界部分が有効なワードとなるように各列の要素パターンを決定することが望ましい。また、隣接する２列の要素パターンの境界部分も有効なワードとなるように各列の要素パターンを決定することが望ましい。さらに、上記の第２の方法においては、上部領域６２と下部領域６３の境界部分も有効なワードとなるように各列の要素パターンを決定することが望ましい。なお、有効であるとは、例えば、パターン中で互いに異なる、隣接列のワードを含めたワードの組合せが互いに異なる、ことを意味する。

上記のパターンの設計方法の説明は一例であり、パターンが２回対称であればどのようなパターンであってよく、またその設計方法も特に限定されない。たとえば第１の方法は、左半分の領域について設計を行って、右半分の領域は左半分の領域を１８０°回転させたものとして設計してもよい。

上記の説明では、複数の「要素パターン」を行方向に並べる全体のパターンを設計するものとして説明したが、本発明に係る設計方法はこれに限定されない。次のように、１プリミティブずつ行方向のパターンを増やす方法が考えられる。
１．最初に一番左に来るワードを１つ配置する。
２．その右隣に「プリミティブ」を１列追加する
３．行全体で同じワードがないか確認する。もし同じものがあれば別のプリミティブで２をやり直す。
４．２および３を繰り返す。右端にたどり着いたら終了。

ここでは行の左端から処理する場合を例示したが、右端から左に向かって処理をしてもよいし、中央から両端に向かって処理をしてもよい。また、プリミティブを１列追加する度にワードの重複を確認しているが、複数列のプリミティブを追加する度にワードの重複を確認するようにしてもよい。

［システム構成］
図７は、本実施形態に係る３次元測定システム１の構成を示す図である。３次元測定シ
ステムは、投影部（プロジェクタ）１００、撮影部（カメラ）２００、およびコンピュータ３００から構成される。

投影部１００は、２回対称なパターンを有するパターン光を投影する装置である。本実施形態では、投影部１００は、レーザー光源１０１と回折光学素子（ＤＯＥ）１０２、およびレンズ１０３から構成される。ＤＯＥ１０２の表面には微細な加工が施されており、これによりＤＯＥ１０２にレーザー光が入射されると２次元符号化パターンが出射される。

レーザー光源１０１が生成するレーザー光の波長は特に限定されない。たとえば、赤外光、可視光、紫外光などを用いることができる。

ＤＯＥ１０２は、一般に、２回対称なパターンは容易に生成できるが、それ以外のパターンの生成は困難であるという性質を持つ。したがって、本実施形態のように２回対称なパターンを用いることで、ＤＯＥを用いた投影部１００の実装が容易になる。

なおパターン光の生成は必ずしもＤＯＥによって行う必要は無い。たとえば、マスクを用いてパターン光を生成しても構わない。

撮影部（カメラ）２００は、投影部１００によるパターン光が投影された物体を撮影する。したがって、撮影部２００の撮像素子は、投影部１００が投影するパターン光の波長を検出できる必要がある。投影したパターン光の一部または全部が撮影部２００の視野に映るように投影部１００と撮影部２００の位置は調整されている。撮影部２００によって撮影された画像は、コンピュータ３００に入力される。

コンピュータ３００は、投影部１００および撮影部２００の制御と、パターン光が投影された計測対象物の撮影画像から３次元位置の算出とを行う。コンピュータ３００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのプロセッサ（演算処理装置）、ＲＡＭ（Random Access Memory）などの主記憶装置、半導体メモリ・磁気ディスク・光ディスク・光磁気ディスクなどの補助記憶装置、キーボードや種々のポインティングデバイス（マウス、タッチパッド、タッチパネル、ペンタブレット等）やマイクなどの入力装置、ディスプレイ装置（液晶ディスプレイ・ＣＲＴディスプレイ・プロジェクタ等）や音声出力装置などの出力装置、有線通信や無線通信を行うための通信装置などを含んで構成される汎用コンピュータ（情報処理装置）として構成される。コンピュータ３００は、補助記憶装置に記憶されているコンピュータプログラムが主記憶装置上に展開されたプロセッサが実行することにより、以下の各機能を提供する。ただし、以下の機能の一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦ
ＰＧＡ（Field Programmable Gate Array）やＤＳＰ（Digital Signal Processor）など
を用いて実現しても構わない。また、コンピュータ３００は、必ずしも１台の装置として構成される必要はなく、複数のコンピュータが協働することによって、その機能を提供してもよい。

コンピュータ３００は、その機能部として、制御部３０１、画像入力部３０２、３次元位置算出部３０３、パターン記憶部３０４を備える。

制御部３０１は、３次元測定システム１の処理全体の制御を司り、特に投影部１００によるパターン光の投影、撮影部２００による撮影、および撮影画像に基づく３次元測定の制御を実施する。

画像入力部３０２は、撮影部２００から撮影画像の入力を受け、画像データとしてメモ
リに記憶する。

３次元位置算出部３０３は、撮影画像の３次元位置の算出対象画素の選別を行い、選別された対象画素ごとに、当該画素に写っているパターン光の符号（ワード）すなわちパターンにおける列（ワード列）の特定、列と画素位置に基づく３次元位置の算出を行う。パターン記憶部３０４に投影部１００が投影するパターン光のパターンが記憶されているので、３次元位置算出部３０３は、画像中のパターン光の符号（ワード）から、パターンにおける列を特定できる。また、３次元位置算出部３０３は、投影部１００と撮影部２００の設置位置の関係を保持している。したがって、投影部１００と特定された列を含む平面と、撮影部２００と対象画素を結ぶ直線の交点を、対象画素の３次元位置として求めることができる。

［処理］
図８を参照して、本実施形態に係る３次元測定システム１が行う処理内容を説明する。ステップＳ１０において、制御部３０１は投影部１００を制御して、パターン光を測定対象物へ投影する。ステップＳ１２において、制御部３０１は撮影部２００を制御して、パターン光が投影された測定対象物の画像を撮影し、画像入力部３０２から撮影画像を取り込む。

ステップＳ１３において、３次元位置算出部３０３は、撮影画像中から画像処理により３次元位置の算出対象となる画素を抽出する。具体的には、撮影画像中からプリミティブを抽出し、プリミティブの中心座標、プリミティブの符号、プリミティブ間の隣接関係の情報を得る。画像処理の対象とする領域は撮影画像中の全画素であってもよいが、一部の領域に含まれる画素を対象としてもよい。

ステップＳ１４〜Ｓ１６のループＬ１は、得られた算出対象画素に対してそれぞれ実行される。ステップＳ１４では、３次元位置算出部３０３は、算出対象画素に対応するプリミティブにより構成されるワードのパターンから、パターン中の列を特定する。

ステップＳ１６では、３次元位置算出部３０３は、パターンの列と投影部１００から特定される平面と、対象画素の位置（画像内位置）と撮影部２００から特定される直線の交点として、対象画素の写っている被写体の３次元位置（実空間内の位置）を算出する。

全ての測距対象画素について３次元位置の算出が完了したら、ステップＳ１８において３次元マップのメモリへの記憶あるいは外部装置への出力を行う。

［本実施形態の有利な効果］
本実施形態によれば、ワンショットでのアクティブ３次元測量が可能である。したがって、ＴＯＦ方式と比べて、高精度（特に近距離において）、広い視野、安価なコストという利点がある。さらにパターン光が２回対称なパターンであるため、マスクを用いて投影装置を実現する以外に、回折光学素子（ＤＯＥ）を用いて投影装置を実現することができ、投影装置の構成の柔軟性が増す。２回対称のパターンを投影するためには、回折光学素子として、特にバイナリ回折光学素子を用いることが可能である。バイナリ回折光学素子は設計が容易であるとともに安価に製造することが可能であるので、本発明の実施において適している。

［変形例］
上記の実施形態および変形例の説明は、本発明の実施形態を説明するための例示に過ぎず、本発明をその開示の範囲に限定する趣旨のものではない。また、上記の実施形態および各変形例において説明した要素技術は、それぞれ技術的に矛盾しない範囲で組み合わせ
て本発明を実施することができる。

たとえば、本発明において適用可能な２次元符号化パターン光は上記に限られない。特に図３（Ａ）〜３（Ｄ）、図４（Ａ）〜４（Ｂ）に示す符号化方式はあくまでも一例であり、その他の既知の２次元符号化方式の空間符号化方式を採用しても構わない。例として、２次元グリッドインデクシング、擬似ランダムバイナリアレイを用いたグリッドインデクシング、多値の擬似ランダムアレイを用いたグリッドインデクシングが挙げられる。

また、３次元位置の算出において、パターンの列から求まる平面と画素位置から求まる直線との交点として３次元位置を算出しているが、エピポーラ制約を用いて３次元位置を求めても構わない。つまり、対応するパターンの列において、さらにエピポーラ制約により行の特定も行い、パターン中ただ一つに求まったプリミティブから求まる直線と画素位置から求まる直線の交点として３次元位置を算出しても構わない。

上記の実施形態ではパターン光から求まる３次元マップを最終的な出力としているが、その後にさらに平滑化や補間などの補正処理を施して最終的な出力とすることもできる。また、１枚の撮影画像のみを対象として３次元位置を求めているが、動画像の各フレームを対象として同様の処理を行うことで、移動物体の３次元測定が可能である。

１：３次元測定システム
１００：投影部（プロジェクタ）１０１：レーザー光源１０２：回折光学素子（ＤＯＥ）１０３：レンズ
２００：撮影部（カメラ）
３００：コンピュータ３０１：制御部３０２：画像入力部３０３：３次元位置算出部３０４：パターン記憶部

Claims

測定対象物の３次元形状を測定する３次元測定装置であって、
それぞれが異なる２次元構造を有し互いに区別可能な複数の種類のワードが２次元に配置された２次元符号化パターンを有するパターン光を前記測定対象物に投影する投影手段と、
前記パターン光が投影された前記測定対象物を撮像する撮像手段と、
前記撮像手段によって撮像された画像からワードを抽出し、抽出されたワードに基づいて当該画像の対象画素の３次元位置を算出する算出手段と、
を備え、
前記２次元符号化パターンは２回対称であって、前記２次元符号化パターンにおいて、１種類のワードは１つの行の中で１回だけ現れ、抽出されたワードによって列が特定可能である、
３次元測定装置。
測定対象物の３次元形状を測定する３次元測定装置であって、
それぞれが異なる２次元構造を有し互いに区別可能な複数の種類のワードが２次元に配置された２次元符号化パターンを有するパターン光を前記測定対象物に投影する投影手段と、
前記パターン光が投影された前記測定対象物を撮像する撮像手段と、
前記撮像手段によって撮像された画像からワードを抽出し、抽出されたワードに基づいて当該画像の対象画素の３次元位置を算出する算出手段と、
を備え、
前記２次元符号化パターンは２回対称であって、前記２次元符号化パターンにおいて、１種類のワードが１つの行の中で複数の位置に現れる場合、当該ワードに隣接するワードの組合せはそれぞれ位置で異なり、抽出されたワードとそれに隣接するワードの組み合わせから列が特定可能である、
３次元測定装置。
前記２次元符号化パターンは、列ごとに列方向に所定のワードが繰り返されたパターン
であり、
一端からｋ列目のワードは、他端からｋ列目のワードを１８０°回転させたものと等しい、
請求項１または２に記載の３次元測定装置。
前記２次元符号化パターンの上半分は、列方向に所定のワードが繰り返され、
前記２次元符号化パターンの下半分は前記上半分のパターンを１８０°回転させたものと等しい、
請求項１または２に記載の３次元測定装置。
測定対象物の３次元形状を測定する３次元測定装置であって、
それぞれが異なる２次元構造を有し互いに区別可能な複数の種類のワードが２次元に配置された２次元符号化パターンを有するパターン光を前記測定対象物に投影する投影手段と、
前記パターン光が投影された前記測定対象物を撮像する撮像手段と、
前記撮像手段によって撮像された画像からワードを抽出し、抽出されたワードに基づいて当該画像の対象画素の３次元位置を算出する算出手段と、
を備え、
前記２次元符号化パターンは、２回対称であって、前記２次元符号化パターンの上半分は列方向に所定のワードが繰り返され、前記２次元符号化パターンの下半分は前記上半分のパターンを１８０°回転させたものと等しい、
３次元測定装置。
前記複数の種類のワードはいずれも、１８０゜回転させたときに前記複数の種類のワードのいずれかと等しい、
請求項１から５のいずれか１項に記載の３次元測定装置。
前記算出手段は、撮影画像中から抽出されたワードについて、撮影画像中での位置から定まる空間中の直線と、当該ワードにより特定される前記２次元符号化パターンでの列から定まる空間中の平面と、の交点として、前記３次元位置を算出する、
請求項１から６のいずれか１項に記載の３次元測定装置。
前記算出手段は、前記画像中において前記対象画素および前記対象画素の周辺画素を用いて前記対象画素が含まれるワードを特定し、当該ワードに基づき前記対象画素の３次元位置を算出する、
請求項７に記載の３次元測定装置。
前記算出手段は、撮影画像中から抽出されたワードについて、撮影画像中での位置から定まる空間中の直線と、当該ワードにより特定される前記２次元符号化パターンでの列とエピポーラ線との交点から定まる空間中の直線と、の交点として、前記３次元位置を算出する、
請求項１から６のいずれか１項に記載の３次元測定装置。
前記投影手段は、回折光学素子（ＤＯＥ）によって前記パターン光を生成する、
請求項１から９のいずれか１項に記載の３次元測定装置。
前記回折光学素子はバイナリ回折光学素子である、
請求項１０に記載の３次元測定装置。
測定対象物の３次元形状を測定する３次元測定方法であって、
それぞれが異なる２次元構造を有し互いに区別可能な複数の種類のワードが２次元に配置された２次元符号化パターンを有するパターン光を前記測定対象物に投影する投影ステップと、
前記パターン光が投影された前記測定対象物を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された画像からワードを抽出し、抽出されたワードに基づいて当該画像の対象画素の３次元位置を算出する算出ステップと、
を含み、
前記２次元符号化パターンは、２回対称であって、前記２次元符号化パターンにおいて、１種類のワードは１つの行の中で１回だけ現れ、抽出されたワードによって列が特定可能である、
３次元測定方法。
測定対象物の３次元形状を測定する３次元測定方法であって、
それぞれが異なる２次元構造を有し互いに区別可能な複数の種類のワードが２次元に配置された２次元符号化パターンを有するパターン光を前記測定対象物に投影する投影ステップと、
前記パターン光が投影された前記測定対象物を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された画像からワードを抽出し、抽出されたワードに基づいて当該画像の対象画素の３次元位置を算出する算出ステップと、
を含み、
前記２次元符号化パターンは、２回対称であって、前記２次元符号化パターンにおいて、１種類のワードが１つの行の中で複数の位置に現れる場合、当該ワードに隣接するワードの組合せはそれぞれ位置で異なり、抽出されたワードとそれに隣接するワードの組み合わせから列が特定可能である、
３次元測定方法。
測定対象物の３次元形状を測定する３次元測定方法であって、
それぞれが異なる２次元構造を有し互いに区別可能な複数の種類のワードが２次元に配置された２次元符号化パターンを有するパターン光を前記測定対象物に投影する投影ステップと、
前記パターン光が投影された前記測定対象物を撮像する撮像ステップと、
前記撮像ステップにおいて撮像された画像からワードを抽出し、抽出されたワードに基づいて当該画像の対象画素の３次元位置を算出する算出ステップと、
を含み、
前記２次元符号化パターンは、２回対称であって、前記２次元符号化パターンの上半分は列方向に所定のワードが繰り返され、前記２次元符号化パターンの下半分は前記上半分のパターンを１８０°回転させたものと等しい、
３次元測定方法。