JP2024515686A - 深度データ測定ヘッド、計算装置及びその対応方法 - Google Patents

Abstract

深度データ測定ヘッド、計算装置及びその対応方法を提供する。測定ヘッド（２００）は、投影装置（２１０）と、画像センサ（２２０）と、を含み、投影装置（２１０）は、撮影領域に対して異なるパターンの構造化光セットをスキャン投影するために用いられ、画像センサ（２２０）は、撮影領域を撮影し、構造化光セットの照射下での撮影領域の１回の深度データ計算に用いられる画像フレームセットを取得するために用いられ、画像センサ（２２０）は少なくとも光路の一部を共有する少なくとも２つのサブ画像センサ（２２３、２２４）を含み、少なくとも２つのサブ画像センサ（２２３、２２４）はそれぞれ投影装置（２１０）が連続して投影した異なるパターンの構造化光に対してイメージングを行うために用いられる。同軸の単眼又は複数セットの二眼構造を使用して連続イメージングを行うことにより、マルチフレームを統合して深度データを求めるシーンにおいて、マルチフレームを取得する時間が長すぎることにより動的イメージングを行うことができず、及び深度データのフレームレートが低すぎるなどの問題を減少させることができる。【選択図】図２

Description

本開示は三次元イメージング分野に関し、具体的には、深度データ測定ヘッド、計算装置及びその対応方法に関する。

深度カメラは目標物体の深度情報を収集する収集機器であり、このようなカメラは三次元スキャン、三次元モデリング等の分野に広く応用されており、例えば、現在ではますます多くのスマートフォンに、顔認識を行うための深度撮像装置が用意されている。三次元イメージングは関係する分野で長い間研究対象として注目されてきたが、現在の深度カメラには依然として測定精度とイメージング速度との両立、イメージング性能とコスト最適化との両立ができないなどの多くの課題がある。

そのために、改良された深度データ測定手段が求められている。

本開示が解決しようとする技術的課題は深度データ測定手段を提供することであり、該手段は同軸の複数のサブ画像センサを使用して連続イメージングを行い、マルチフレームを統合して深度データを求めるシーンにおいて、マルチフレームを取得する時間が長すぎることにより動的イメージングを行うことができず、及び深度データのフレームレートが低すぎるなどの問題を減少させることができる。また、導入されるのは一般的なフレームレートのイメージング装置であるため、深度イメージングの精度及びフレームレートを向上させると同時に、高コストの高フレームレートイメージング装置の使用を回避することができる。

本開示の第１態様によれば、投影装置と、画像センサと、を含む深度データ測定ヘッドを提供し、投影装置は、撮影領域に対して異なるパターンの構造化光セットをスキャン投影するために用いられ、前記構造化光セットは少なくとも２つの異なるパターンの構造化光を含み、画像センサは、前記撮影領域を撮影し、前記構造化光セットの照射下での前記撮影領域の１回の深度データ計算に用いられる画像フレームセットを取得するために用いられ、前記画像センサは少なくとも光路の一部を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影装置が連続して投影した異なるパターンの構造化光に対してイメージングを行うために用いられる。

上記深度データ測定ヘッドは１つの画像センサを有する単眼形態で実現されてもよい。好ましい二眼構造の形態において、画像センサは所定の相対位置関係を有する第１及び第２画像センサであってもよく、前記撮影領域を撮影し、前記構造化光セットの照射下での前記撮影領域の１回の深度データ計算に用いられる画像フレームセットペアを取得するために用いられ、前記第１及び第２画像センサはそれぞれ少なくとも一部の光路を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影装置が連続して投影した異なるパターンの構造化光をイメージングするために用いられる。

本開示の第２態様によれば、第１態様に記載の深度データ測定ヘッドと、前記深度データ測定ヘッドに接続されたプロセッサと、を含む深度データ計算装置を提供し、前記プロセッサは、前記構造化光をイメージングすることで得られた前記画像フレームセットに基づいて、前記撮影領域における撮影対象の深度データを特定することに用いられる。

本開示の第３態様によれば、撮影領域に構造化光をスキャン投影するステップと、第１サブ画像センサを使用して、前記撮影領域を撮影し構造化光の照射下での第１画像フレームを取得するステップと、撮影領域に異なるパターンの第２構造化光をスキャン投影するステップと、第２サブ画像センサを使用して、前記撮影領域を撮影し第２構造化光の照射下での第２画像フレームを取得するステップと、を含み、第１及び第２サブ画像センサは光路の少なくとも一部を共有し且つ画像センサを構成し、前記第１及び第２画像フレームは前記撮影領域の１回の深度データを計算することに用いられる深度データの測定方法を提供する。

二眼形態において、該方法は、撮影領域に構造化光をスキャン投影するステップと、所定の相対位置関係を有する第１サブ画像センサペアを使用して、前記撮影領域を撮影し構造化光の照射下での第１画像フレームペアを取得するステップと、撮影領域に異なるパターンの第２構造化光をスキャン投影するステップと、第２サブ画像センサペアを使用して、前記撮影領域を撮影し第２構造化光の照射下での第２画像フレームペアを取得するステップと、を含み、第１及び第２サブ画像センサペアのうちそれぞれ一方のサブ画像センサは光路の少なくとも一部を共有し且つ第１画像センサを構成し、第１及び第２サブ画像センサペアのうちそれぞれ他方のサブ画像センサは光路の少なくとも一部を共有し且つ第２画像センサを構成し、前記第１及び第２画像フレームペアは前記撮影領域の１回の深度データを計算することに用いられる。

本開示の第４態様によれば、第３態様に記載の深度データの測定方法に基づいて第１及び第２画像フレーム、又は第１、第２及び第３画像フレームを取得するステップと、前記所定の相対位置と、第１及び第２画像フレーム、又は第１、第２及び第３画像フレームとに基づいて、前記撮影領域における撮影対象の深度データを特定するステップと、を含む深度データの計算方法を提供する。

従って、本発明は同軸の複数のサブ画像センサが異なるパターンに対して連続してイメージングを行い、且つそれらの画像に基づき深度データを合成する手段を開示する。該手段は同軸の単眼又は二眼の感光ユニットを導入することにより、マルチフレームを統合し深度データを計算する時に必要なイメージング時間を減少させ且つフレームレートを向上させることができる。

図面を参照して本開示の例示的な実施形態をより詳細に説明することにより、本開示における上記及び他の目的、特徴、及び利点をより明確なものとし、本開示の例示的な実施形態において、同じ参照番号は一般的に同じ要素を指す。
ストライプコードの構造化光を利用した深度イメージングの原理である。 ストライプコードの構造化光を利用した深度イメージングの原理である。 本発明の一実施例に係る深度データ測定ヘッドの構成概略図である。 本発明の一実施例に係る深度データ測定ヘッドの構成概略図である。 同軸２セットの二眼イメージング及び１セットの二眼イメージングの比較タイミング図である。 同軸３セットの二眼イメージングのタイミング図である。 本発明の一実施例に係る深度データ測定ヘッドが列同期イメージングを行う概略図である。 図６に示す投影装置の拡大操作例である。 図６に示す投影装置の拡大操作例である。 本発明で使用される投影装置の簡略化された斜視原理図である。 画像センサ内の画素列が交互にオンにされる概略図である。 本発明の一実施例に係る深度測定方法の概略フローチャートである。

以下に図面を参照して本開示の好ましい実施形態をより詳細に説明する。図面に本開示の好ましい実施形態が示されているが、本開示は様々な形態で実現させることができ、本明細書に記載された実施形態に限定されるべきではないことを理解されたい。これらの実施形態は、本開示を徹底的かつ完全なものとし、且つ本開示の範囲を当業者に十分に伝えるために提供される。

深度データのイメージング精度及び融通性を向上させるために、複数のパターン（例えば、ストライプコード構造化光）の能動的な投影及び好ましくは二眼イメージング構造を組み合わせて、ストライプコードパターンの重畳可能、及び二眼イメージングにおける特定のイメージング平面に依存しないという特性に基づき、融通性が高い画素レベルの深度データイメージングを実現することができる。

構造化光の測定原理から分かるように、スキャン角αを正確に決定できるか否かは測定システム全体のキーポイントであり、点と線による構造化光は回転ミラーなどの機械装置によってスキャン角を計算し特定することができ、画像の符号化及び復号の意義は符号化構造化光（すなわち面構造化光）システムのスキャン角を特定することである。図１Ａ～Ｂはストライプコードの構造化光を利用した深度イメージングの原理である。理解を容易にするために、図１Ａでは白黒の３ビットバイナリタイムコードによりストライプ構造化光の符号化原理を簡単に説明する。投影装置は撮影領域における被測定対象に、図に示すような３枚のパターンを順に投影することができ、３枚のパターンにおいてそれぞれ明暗２つのグレースケールを用い投影空間を８つの領域に分ける。各領域はそれぞれの投影角に対応し、明るい領域がコード「１」に対応し、暗い領域がコード「０」に対応すると仮定することができる。投影空間内のシーン上の１点の３枚のコードパターンにおけるコード値を投影順序に従って組み合わせて、該点の領域コード値を取得し、それにより該点が位置する領域を決定し、該点のスキャン角度を復号して取得する。

単眼イメージングシステムにおいて、撮影画像と参照画像とを比較することによって深度データの計算が行われてもよい。二眼イメージングシステムにおいては、上記復号過程は、第１及び第２画像センサにおける各点のコード値を直接マッチングすることによって簡略化することができる。マッチング精度を向上させるために、タイムコードにおける投影パターンの数を増加させることができる。図１Ｂはストライプコード構造化光を投影する別の例である。具体的には、図において白黒の５ビットバイナリタイムコードを示す。これは二眼イメージングの応用シーンにおいて、例えば左右の各画像フレーム内の各画素がいずれも０又は１となる５つの領域コード値を含むことを意味し、それにより、左右の画像マッチングがより高い精度（例えば、画素レベル）で実現できる。なお、他の実施例において、例えば、５ビットの４進数タイムコードまたは８進数タイムコードも、異なる輝度レベルを使用することによって実現することができる。

投影装置の投影速度が変化しない場合、図１Ａの３枚のコードパターンに比べて、図１Ｂの例は、より高い時間領域コストで、より高精度の画像マッチングを実現することに相当する。投影装置の本来の投影速度は極めて速いが（例えば、本発明において好ましく用いられる振動ミラーデバイス）、画像センサのフレームレートが制限されているため、マルチフレーム合成による深度データのフレームレートは低く、且つ各フレームに必要なイメージング時間が長すぎて、動態ビデオの撮影を実現しにくい。例えば、フレームレートが６０フレーム／秒の従来の画像センサを使用する状況で、５フレーム毎に撮影された二次元画像（二眼実施形態では、実際には５セット１０フレームの画像）を１フレームの深度画像に合成する場合、１秒あたりのフレームレートは１２フレーム／秒に低下し、且つ１フレーム毎のイメージング時間は約８３ｍｓと長くなる。このような低いフレームレート及び長いイメージング時間は、動態イメージングのニーズを満たすことが困難である。しかしながら、画像センサのフレームレートを直接向上させることにより深度データフレームの比較的高いフレームレートを実現し、例えば、１５０フレーム／秒の高速画像センサを使用することにより３０フレーム／秒の深度データのフレームレートを実現するが、高性能のデバイスを導入することで装置のコストが大幅に上昇する。

三次元イメージング領域における高精度、高フレームレート及び低コストの要件を同時に満たすために、本発明の発明者らは、現在の投影装置は高速投影が可能であり、通常の画像センサは、イメージング速度自体は高いがデータ伝送及び処理などによりフレームレートが低下するという技術的な現状を考慮して、同軸の複数セットのセンサ構造を利用してそれぞれ異なるパターンをイメージングする手段を提出し、それによりマルチフレームに基づいて深度データを求める全体的なフレームレートを向上させることができ、従来技術におけるマルチフレームを取得する時間が長すぎて動態イメージングができないことや、深度データのフレームレートが低すぎる等の問題を解決する。また、導入されるのは一般的なフレームレートのイメージング装置であるため、深度イメージングの精度及びフレームレートを向上させると同時に、高コストの高フレームレートイメージング装置の使用を回避することができる。

具体的に、本発明は、投影装置と、画像センサと、を含む深度データ測定ヘッドを提供し、投影装置は、撮影領域に対して異なるパターンの構造化光セットをスキャン投影するために用いられ、前記構造化光セットは少なくとも２つの異なるパターンの構造化光を含み、画像センサは、前記撮影領域を撮影し、前記構造化光セットの照射下での前記撮影領域の１回の深度データ計算に用いられる画像フレームセットを取得するために用いられる。言い換えると、画像センサは構造化光セット内の各パターンに対していずれもイメージングを行う必要があり、異なるパターンが撮影された画像は共に１枚の深度データを合成するために用いられる。本開示の画像センサは少なくとも光路の一部を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影装置が連続して投影した異なるパターンの構造化光をイメージングするために用いられる。

画像センサに含まれる少なくとも光路の一部を共有するサブ画像センサは、構造化光セット内のすべてのパターンのイメージングが完了するまで、投影装置によって投影された構造化光セット内の連続して投影されたパターンを交互にイメージングするために用いることができる。例えば、投影装置は、図１に示すように、１セット３枚の構造化光を投影し、画像センサは２つのサブ画像センサを含む。この時、第１サブ画像センサは１枚目のパターンをイメージングし、第２サブ画像センサは２枚目のパターンをイメージングし、第１サブ画像センサはさらに３枚目のパターンをイメージングする。言い換えると、構造化光セットに含まれるパターンの数が、画像センサに含まれるサブ画像センサの数以下である場合、画像センサに含まれる異なる画像センサによって、異なるパターンがそれぞれイメージングされる。構造化光セットに含まれるパターンの数が、画像センサに含まれるサブ画像センサの数より多い場合、画像センサに含まれるサブ画像センサの数からして２回のイメージングを行う必要があり、即ち、同一のサブ画像センサは異なる時刻に異なるパターンに対してイメージングを行う。

いくつかの実施例において、投影されるパターンは離散スポットパターンであってもよく、例えば、同じ回折パターンが異なる角度で投影され、且つ異なる角度でイメージングされて、異なるパターンとされる。

又は本発明の好ましい実施例において、投影されるパターンは図１Ａ～Ｂに示すようなストライプ光パターンであってもよい。空間的に変調された離散スポットパターンに対して、ストライプ光パターンを利用したイメージングは時間的な変調手段、すなわち、異なる時間に投影された異なるストライプを使用して１枚の深度データマップを合成することと見なすことができ、十分に高いＱＥ（量子効率）を有し、マイクロ秒スケールで画像センサの露光された画素の電荷を満たすことができる。これにより、特に、ローリングシャッター型画像センサと組み合わせて、高い耐干渉性を有する深度測定装置を実現することができる。

いくつかの実施例において、前記画像センサは１つの画像センサ、すなわち単眼システムとして実現されてもよい。他の実施例において、前記画像センサは２つの画像センサ、すなわち二眼システムとして実現されてもよい。以下に図２及び図３を参照して、本発明の原理に基づく単眼及び二眼の実施形態をそれぞれ説明する。

図２は本発明の一実施例に係る深度データ測定ヘッドの構成概略図である。図に示すように、単眼原理に基づく深度データ測定ヘッド２００は、投影装置２１０と、画像センサ２２０と、を含む。便宜上図示していないが、測定ヘッド２００は、上記装置を取り囲むハウジングをさらに含むことができ、且つ図２に示す連結構造２４０は、上記装置を固定してハウジングに連結する機構と見なすことができる。いくつかの実施例において、連結構造２４０は、制御回路を含む回路基板であってもよい。なお、他の実施形態において、上記装置２１０及び２２０は、他の方法でハウジングに連結され、且つ対応するデータ伝送及びコマンド受信動作を実行することができる。

ここで、投影装置２１０は、撮影領域に対して異なるパターンの構造化光セットをスキャン投影するために用いられ、且つ該構造化光セットは少なくとも２つの異なるパターンの構造化光を含む。画像センサ２２０は、前記撮影領域を撮影して、前記構造化光セットの照射下での前記撮影領域の１回の深度データ計算に用いられる画像フレームセットを取得するために用いられる。

例えば、投影装置２１０は、図１に示すような３つのパターンを順次投影する。これら３つのパターンをセットとして、且つ画像センサでその中の各パターンをそれぞれイメージングすることにより、３フレームを含む画像フレームセットを得る。単眼イメージング原理に基づき、この３つのフレーム画像はそれに対応する参照画像フレームとそれぞれ比較することができ、且つ撮影領域の１回の深度データの計算に共に用いられ、即ち、１フレームの深度画像を計算することができる。

従来の測定ヘッドにおける画像センサが１つの感光ユニットのみを含み、且つ各感光ユニットがそれぞれ３回イメージングを行って３フレームがセットになった画像フレームを取得することと異なり、本発明においては、画像センサ２２０は少なくとも光路の一部を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影装置が連続して投影した異なるパターンの構造化光に対してイメージングを行うために用いられる。

図２は、画像センサ２２０が２つのサブ画像センサ（感光ユニット）を含む例である。図に示すように、画像センサ２２０はサブ画像センサ２２３及び２２４を含む。サブ画像センサ２２３及び２２４は、ビームスプリッタ２２２のビームスプリッタ面までの光路を共有し、且つ前記ビームスプリッタの領域から等しい距離、又は少なくともほぼ等しい距離にある。言い換えれば、本発明は、互いに同軸のセンサ構造を導入する。ここで、サブ画像センサ２２３は、例えば、図１の３つのパターンのうちの第１パターンの構造化光に対するイメージングを行うために使用することができる。次いで、サブ画像センサ２２４は、例えば、図１の３つのパターンのうちの第２パターンの構造化光に対するイメージングを行うために使用することができる。言い換えると、この時に同じ光路長（又は完全に等価な光路）を有するサブ画像センサ２２４は、その場で画像センサ２２３の代わりに次のパターン構造化光のイメージングを行うと見なすことができる。これにより、隣接する２つのフレームのイメージング間隔は、各画像センサのフレーム間隔に依存せず、より小さな間隔でイメージングを行うことができる。

同様に、図３は本発明の一実施例に係る深度データ測定ヘッドの構成概略図である。概略的に示された投影装置と比較して、図には画像センサの構成例がより詳細に示されている。

図３に示すように、二眼原理に基づく深度データ測定ヘッド３００は、投影装置３１０と、所定の相対位置関係を有する第１画像センサ３２０及び第２画像センサ３３０と、を含む。便宜上図示していないが、測定ヘッド３００は、上記装置を取り囲むハウジングをさらに含むことができ、且つ図３に示す連結構造３４０は、上記装置を固定してハウジングに連結する機構と見なすことができる。いくつかの実施例において、連結構造３４０は、制御回路を含む回路基板であってもよい。なお、他の実施形態において、上記装置３１０～３３０は、他の方法でハウジングに連結され、且つ対応するデータ伝送及びコマンド受信動作を実行することができる。

ここで、投影装置３１０は、撮影領域に対して異なるパターンの構造化光セットをスキャン投影するために用いられ、且つ該構造化光セットは少なくとも２つの異なるパターンの構造化光を含む。所定の相対位置関係を有する第１画像センサ３２０及び第２画像センサ３３０は、前記撮影領域を撮影して、前記構造化光セットの照射下での前記撮影領域の１回の深度データ計算に用いられる画像フレームセットペアを取得するために用いられる。

例えば、投影装置３１０は、図１に示すような３つのパターンを順次投影する。これら３つのパターンを１セットとして、且つ画像センサでその中の各パターンに対してそれぞれイメージングを行うことにより、３ペア（６フレーム）を含む画像フレームセットペアを得る。これら６フレームの画像は共に撮影領域の１回の深度データの計算に用いられ、すなわち、１フレームの深度画像を算出することができる。

従来の二眼測定ヘッドにおける第１画像センサ３２０及び第２画像センサ３３０がそれぞれ１つの感光ユニットのみを含み、且つ各感光ユニットがそれぞれ３回イメージングを行って３ペア（６フレーム）の画像フレームセットペアを取得することと異なり、本発明において、第１及び第２画像センサの各々は少なくとも一部の光路を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影装置が連続して投影した異なるパターンの構造化光に対してイメージングを行うために用いられる。

図３は、第１及び第２画像センサがそれぞれ２つのサブ画像センサ（感光ユニット）を含む例である。図に示すように、第１画像センサ３２０はサブ画像センサ３２３及び３２４を含み、第２画像センサ３３０はサブ画像センサ３３３及び３３４を含む。サブ画像センサ３２３及び３２４は、ビームスプリッタ３２２のビームスプリッタ面までの光路を共有し、且つ前記ビームスプリッタの領域から等しい距離にある。同様に、サブ画像センサ３３３及び３３４は、ビームスプリッタ３３２のビームスプリッタ面までの光路を共有し、且つ前記ビームスプリッタの領域から等しい距離にある。言い換えると、本発明は、互いに同軸の複数セットの二眼構造を導入する。ここで、それぞれ異なる画像センサに属するサブ画像センサ３２３及び３３３は、例えば、図１の３つのパターンのうちの第１パターンの構造化光に対してイメージングを行うための第１画像センサセット（第１二眼セット）と見なすことができる。次いで、第２画像センサセット（第２二眼セット）と見なすことができるサブ画像センサ３２４及び３３４は、例えば、図１の３つのパターンのうちの第２パターンの構造化光に対してイメージングを行うために用いられる。言い換えると、この時に３２３及び３３３とそれぞれ同軸のサブ画像センサ３２４及び３３４は、その場でサブ画像センサ３２３及び３３３の代わりに次のパターン構造化光に対してイメージングを行うと見なすことができる。これにより、隣接する２つのフレームのイメージング間隔は、各画像センサのフレーム間隔に依存せず、より小さな間隔でイメージングを行うことができる。

このため、測定ヘッド２００又は３００はさらに同期装置が含まれてもよく、同期装置は、前記投影装置が前記サブ画像センサのフレームイメージング間隔よりも短い第１間隔で前記少なくとも２つの異なるパターンの構造化光を投影するのと同時に、画像センサ２２０又は第１画像センサ３２０及び第２画像センサ３３０にそれぞれ含まれる少なくとも２つのサブ画像センサに、前記第１間隔で前記少なくとも２つの異なるパターンの構造化光をそれぞれ連続して同期しイメージングを行わせることに用いられる。対応して、各サブ画像センサは、前記サブ画像センサのフレームイメージング間隔以上の第２間隔でそれ自体の次のフレームのイメージングを行い（例えば、それ自体のフレーム間隔でイメージングする）、且つ上記イメージング操作は同期装置による同期下で投影装置による投影と同期させることができる。

図４は、同軸２セットのイメージング及び１セットのイメージングの比較タイミング図である。ここでは説明の便宜上、各感光ユニット（サブ画像センサ）のフレームレートを１００フレーム／ｓとし、フレーム間隔を１０ｍｓとし、且つ各感光ユニットに必要な露光時間を１ｍｓとする。

画像センサ２２０又は第１画像センサ３２０及び第２画像センサ３３０が１つの感光ユニットのみを含む従来の画像センサであり、図１に示す３枚のパターンを利用して深度データ計算を行う場合、図４の下部に示すように、０、１０、２０ｍｓの所で３回のイメージングを行う必要がある。このため、各深度データ画像を合成するには、撮影対象を２１ｍｓ間静止したままにする必要があり（したがって、運動している対象を撮影することはより困難である）、フレームレートも１００フレーム／ｓから３３．３フレーム／ｓに低下する。

これに対して、画像センサ２２０又は第１画像センサ３２０及び第２画像センサ３３０が２つの感光ユニットを含む（例えば、画像センサ２２０はサブ画像センサ２２３及び２２４を含み、第１画像センサ３２０及び第２画像センサ３３０はそれぞれサブ画像センサ３２３と３２４、及びサブ画像センサ３３３と３３４を含む）本発明の画像センサでは、図１に示す３枚のパターンを利用して深度データを計算する場合、図４の上部に示されるように、第１感光ユニットセットは０ｍｓの所でパターン１に対するイメージングを行い、続いて第２感光ユニットセットは１ｍｓの所でパターン２に対するイメージングを行い、次いで１０ｍｓ後に、第１感光ユニットセットは１０ｍｓの所でパターン３に対するイメージングを行い、これにより１枚の深度データ画像に必要な３回のイメージングを完了させる。その後、第２感光ユニットセットは、１１ｍｓの所でパターン１に対する次のイメージングを開始することができる。２０ｍｓの所で、第１感光ユニットセットがパターン２に対するイメージングを行う。２１ｍｓの所で、第２感光ユニットセットがさらにパターン３に対するイメージングを行う。このように、異なる感光ユニットセットがイメージングする間隔は、イメージングに必要な時間（例えば、１ｍｓ）だけ間隔をあければよいが、同じ感光ユニットセットが次にイメージングするまでの間隔は、依然としてフレームレートに対応するフレーム間隔時間（例えば、１０ｍｓ）に基づく。この時、２セットの同軸二眼を導入することにより、各深度データ画像を合成するには、撮影対象を１１ｍｓ間静止したままにするだけでよく（したがって、運動している対象を撮影することはより容易である）、且つフレームレートは約６６．６フレーム／ｓに保持することができる。

図２～図４を参照しながら、２セットの同軸（同一光軸）感光ユニットを有する例を説明したが、他の実施例において、第１及び第２画像センサはそれぞれより多くの感光ユニットを含むこともできる。図５は同軸３セットの二眼イメージングのタイミング図である。この場合、第１及び第２画像センサはそれぞれ同軸の３つの感光ユニット（サブ画像センサ）を含むことができる。これにより、図５に示すように、第１感光ユニットセットは０ｍｓの所でパターン１に対するイメージングを行い、その直後に第２感光ユニットセットは１ｍｓの所でパターン２に対するイメージングを行い、その直後に第３感光ユニットセットは２ｍｓの所でパターン３に対するイメージングを行う。その後、１０ｍｓの所で次の３セットのイメージングが開始され、２０ｍｓの所でさらに次の３セットのイメージングが開始され、以下同様である。この時、３セットの同軸二眼を導入することにより、１枚の深度データ画像を合成するために必要な３ペア（６フレーム）の画像をわずか３ｍｓで取得することができ、撮影対象を３ｍｓ間静止したままにするだけでよく、運動対象に対する撮影レベルを大幅に向上させ、且つフレームレートは約１００フレーム／ｓに保持することができる（この例では、１００フレームを撮影するために１００３ｍｓ、即ち１．００３秒必要である）。

したがって、１セットの追加の同軸二眼構造（又は単眼構造）を導入するだけで、マルチフレーム合成に基づく深度データのフレームレートが２倍になり、各フレームのイメージング時間を短縮することが理解できる。理論的には、投影装置によって投影される画像の数と同じ数の同軸二眼構造を配置することが可能であり、それにより、各深度フレームのフレーミング時間とセンサのフレーム間隔とは、露光時間の倍数のみに関連付けられる（フレーム間隔が露光時間ｘ同軸構造のセット数よりも大きい場合）。例えば、４枚のパターンに基づいて深度フレームを合成する場合、図３に示されるような２セットの同軸二眼を使用する場合、４フレームを取得するイメージング時間は１２ｍｓとわずかに延びるが、フレームレートは約５０フレーム／ｓまで低下する。しかし、４セットの同軸二眼が使用される場合、４フレームを取得するためのイメージング時間はわずか４ｍｓであり、フレームレートは依然として約１００フレーム／ｓに保持される。しかしながら、同軸構造を過剰に導入することで画像センサの構造の難易度が増加するため、コスト、実現可能性、イメージング速度における折衷を考慮することが求められる。

同一画像センサ内の異なる感光ユニットの同軸配置を実現するために、光路を設計する必要がある。図３の例において、ビーム分割に基づいて実現される同軸配置を示す（図２の例も同様の構造を有する）。この場合、第１画像センサ３２０を例にすると、入射した戻り構造化光を受光するためのレンズユニット３２１と、入射した戻り構造化光を少なくとも第１ビームと第２ビームとに分割するためのビームスプリッタ３２２と、第１ビームに対してイメージングを行うための第１サブ画像センサ３２３と、異なるパターンに対応した戻り構造化光の第２ビームに対してイメージングを行うための第２サブ画像センサ３２４と、を含むことができる。

一実施例において、ビームスプリッタ３２２は、キューブプリズム又は三角プリズムなどの光学プリズムである。これにより、入射光のうち反射された赤外光は第２サブ画像センサ３２４に到達し、入射光のうち反射されなかった可視光は第１サブ画像センサ３２３まで直進する。

図に示すように、プリズム形態のビームスプリッタ３２２は、入射光を伝搬方向が互いに直交する２つのビームに分割することができる。これに対応して、第１サブ画像センサ３２３及び第２サブ画像センサ３２４も垂直に配置することができ、それにより、入射する可視光及び赤外光ビームはそれぞれ垂直な角度で受光される。

視差を除去し、画素レベルの位置合わせを実現するために、入射光の成分は同じ光路長を有することが必要である。このため、ビームスプリッタ３２２としてキューブプリズムを使用する場合、第１サブ画像センサ３２３及び第２サブ画像センサ３２４は、ビームスプリッタ３２２のビーム分割領域から等しい距離に配置することができる。ビームスプリッタ３２２として三角プリズムを使用する場合、空気とプリズム材料との屈折率の比に基づき、２つの感光ユニットとビームスプリッタ３２２、特にビーム分割領域との距離を柔軟に調整することができる。

第１サブ画像センサ３２３と第２サブ画像センサ３２４との間の画素レベルの位置合わせ（又は画素レベルに近い位置合わせ）は、理論的には入射光が光路の大部分を共有し、且つ同じ光路長を有するようにすることで実現される。しかしながら、画像センサの実際の製造過程において、第１サブ画像センサ３２３及び第２サブ画像センサ３２４の実際の配置は、理想的な垂直及び等距離の状態にならないため、２つのイメージングの間に偏差が生じる。この場合、製造された画像センサに対して強制的なソフトウェア補正を行うことができる。例えば、校正ターゲットを導入し、第１サブ画像センサ３２３及び第２サブ画像センサ３２４のイメージングをいずれも校正ターゲットと位置合わせすることによって、確実な画素レベル補正を実現する。

図に示されるように、本発明の画像センサ３２０は単独のモジュールによって実現されてもよい。このため、該画像センサ３２０はさらに、レンズユニット、ビームスプリッタ、及び２つの感光ユニットの相対位置を固定することに用いられるハウジングを含むことができる。好ましくは、ハウジングはレンズユニット３２１と組み合わされて密封体を形成することができ、それにより含まれるデバイスが外部環境で汚染されることを回避する。他の実施例において、本発明の画像センサ３２０はより大きなモジュール（例えば、深度データ測定ヘッド）の一部であってもよく、且つ該より大きなモジュールのハウジングによって各素子間の固定を実現する。

好ましくは、画像センサ３２０はさらにそれぞれ第１サブ画像センサ３２３及び第２サブ画像センサ３２４に接続されるケーブルが含まれてもよい。ハウジングはケーブルに挿入するための開口を有する。一実施例において、ケーブルはＦＰＣ（フレキシブルプリント基板）ケーブルなどの可撓性ケーブルであってもよい。

一実施例において、ビームが第１サブ画像センサ３２３及び第２サブ画像センサ３２４に入射する前に、他の波長の光の影響をさらにフィルタリングするために、フィルタを通してもよい。一実施例において、投影装置は赤外レーザ光を投影することができ、したがって、画像センサ内に配置されたフィルタは、特定の周波数範囲の赤外光、例えば、本発明では波長７８０～１１００ｎｍの赤外光を透過させるための対応する赤外光透過ユニットであってもよい。他の実施例において、投影装置は可視光、例えば、６３５ｎｍ赤色光又は４５０ｎｍ青色光などの赤色レーザ光又は青色レーザ光を投影してもよい。例えば、ＱＥが２０％に過ぎない８３０ｎｍ赤外光と比較して、６３５ｎｍ赤色光のＱＥは９０％～９５％と高い。環境光にも赤色光又は青色光が含まれる可能性があるが、露光時間が短く且つ瞬時の光強度が強いため、対応する赤色光又は青色光を透過するフィルタの助けを借りて信号対雑音比が高いイメージングを行うこともできる。投影装置が可視光、例えば赤色光を投影する場合、第１及び第２サブ画像センサは、対応する可視光センサとして実現されてもよい。

好ましくは、ビームスプリッタがキューブプリズムである場合、フィルタの片側はキューブプリズムと物理的に直接接触させ、他方の側は感光ユニットと物理的に接触させて、感光ユニット及びキューブプリズムをハウジング内に係止することができ、それにより各デバイスの相対位置の高度な不変性を保証する。

いくつかの実施例において、特に、第１及び第２サブ画像センサが、投影された赤外光パターンを受光するための赤外光センサである場合、画像センサ内に測定対象物体の画像情報を捕捉するために追加の可視光感知ユニット（図示せず）が配置されてもよく、それにより、画像センサによって捕捉される画像は、測定対象物体の画像情報だけでなく深度情報も含む。可視光感知ユニットはグレースケールセンサ又はカラーセンサであってもよい。グレースケールセンサは輝度情報のみを捕捉し、カラーセンサは測定対象物体のカラー情報を捕捉するために用いられ、この場合、可視光感知ユニットは三原色感知ユニットで構成されてもよく、三原色は赤緑青三原色（ＲＧＢ）であってもシアンマゼンタ黄三原色（ＣＭＹ）であってもよい。

なお、図３を参照して第１画像センサ３２０の構造を具体的に説明したが、第２画像センサ３３０も同一の構造を有することができる。また、３２３及び３３３を第１二眼セットと見なし、３２４及び３３４を第２二眼セットと見なすことができるが、３２３及び３３４を第１二眼セットと見なし、３２４及び３３３を第２二眼セットと見なすこともでき、いずれにしても対応するパターンが入射した後にオンにしてイメージングされるものであればよい。

図３に示すようにビーム分割を利用して光路共有を実現する場合、各感光ユニットが取得する光量が減少するため、投影輝度を増加させ又は入射絞りを拡大する方法によって、イメージングの感度又は有効距離範囲を確保することができる。

このため、代替として、光路変換に基づいて光路共有を実現することもできる。この場合、画像センサ２２０又は第１画像センサ３２０及び第２画像センサ３３０はそれぞれ、入射した戻り構造化光を受光するためのレンズユニットと、入射した戻り構造化光を少なくとも第１サブ経路と第２サブ経路とに送るための光路変換装置と、第１サブ経路上で戻り構造化光に対してイメージングを行う第１サブ画像センサと、第２サブ経路上で異なるパターンに対応した戻り構造化光に対してイメージングを行う第２サブ画像センサと、を含むことができる。一実施例において、光路変換装置は回転ミラーであってもよく、それは例えば０ｍｓの所で入射光を感光ユニット３２３に反射し、１ｍｓの所で入射光を感光ユニット３２４に反射するなどであってもよい。他の実施例において、光路変換装置は他の機械的、化学的又は電気的原理に基づいて光路変換を行う装置であってもよい。

上述したように、投影装置３１０が投影する異なるパターンの構造化光セットは、図１又は図２のパターンのような異なる符号化ストライプを有する構造化光セットであってもよい。場合によっては、投影装置３１０は毎回１枚の完全なパターンを投影する投影装置であってもよく、他の場合、投影装置３１０は線形光の明暗スキャン又はスポットの二次元スキャンによりパターンを完成させる装置であってもよい。

このため、投影装置３１０は、線形及び／又はスポットレーザ光を生成することに用いられるレーザ発光素子が含まれてもよく、且つ前記レーザ発光素子はストライプコードに対応する明暗交互の構造化光をスキャン投影するように高速切換を行う。さらに具体的には、前記投影装置は、発光装置と、反射装置と、を含み、発光装置は線形光を生成することに用いられ、前記レーザ発光素子は発光装置内に含まれてもよく、反射装置は線形光を反射して、前記ストライプ方向に垂直な方向に移動する線形光を撮影領域に投影することに用いられる。図３のモジュール３１０において、発光装置は矩形で示されており、反射装置は斜線で示されている。前記反射装置は、所定の周波数で往復移動し、前記所定の周波数で前記撮影領域に前記線形光をスキャン投影することに用いられ、前記線形光の長さ方向は前記投影ストライプの長さ方向である機械式振動ミラーと、所定の周波数で往復運動し、前記所定の周波数で前記撮影領域に前記線形光をスキャン投影することに用いられ、前記線形光の長さ方向は前記投影ストライプの長さ方向であるマイクロミラー素子のうちの１つが含まれてもよい。

投影装置でスキャン式投影を行う場合、画像センサはグローバルシャッター画像センサ（すなわち、全ての画素が同時にイメージングを行う）であってもよいが、好ましくはローリングシャッター画像センサで実現される。このため、測定ヘッド３００はさらに、列同期装置が含まれてもよく、列同期装置は、前記投影装置のスキャン位置に基づいて、現在のイメージングに用いられるサブ画像センサと現在のスキャン位置における対応するストライプ方向上の画素列とを同期オンしてイメージングを行うことに用いられる。

好ましい実施例において、ローリングシャッター画像センサは一般的に一方向の列露光しか行うことができず、例えば、第１行から第１０００行までの露光であり、逆は行えない。例えば、２つのサブ画像センサが連続してイメージングを行う必要がある場合、この時に、投影装置が第１ｍｓの時間内に、左から右へ線形光の投影を行うと仮定した場合、例えば図１Ｂの第４パターンを投影すると、対応して、第１サブ画像センサも左から右へ列露光を行う。２つのサブ画像センサの取り付け方式で同じであれば、投影装置は第４パターンの投影が完了した後、左側の投影開始位置に戻り、図１Ｂの第５画像の投影を行う必要があり、対応して、第２サブ画像センサも左から右へ列露光を行う。従って、本発明の１つの画像センサ内に取り付けられる２つのサブ画像センサは、上下反転して取り付けられたローリングシャッター画像センサであってもよく、これにより互いに逆方向の列露光を実現し、振動ミラーは新しいパターンの投影を開始するために特定の固定位置まで戻る必要がなくなり、往復移動の両側でいずれも新しいパターンの投影を開始することができる。

例えば、振動ミラーが左から右へ移動することで１つのストライプパターンをスキャン投影することができ、対応して第１サブ画像センサは、左から右への列露光を行うことができる。１つのストライプパターンの投影が完了した後、振動ミラーは左側に戻る必要がなく、直接的に右から左へ２番目のストライプパターンをスキャン投影することができ、この時に第２サブ画像センサは第１サブ画像センサに対して上下反転して配置されているため、第２サブ画像センサは右から左へ列露光を行うことができる。また、本発明の測定ヘッドの投影装置は、図３に示された以外の構造、例えば固定パターンが印刷された回折格子などを有してもよいことを理解されたい。

また、ローリングシャッター画像センサを利用してイメージングを行う場合、マルチモードイメージングメカニズムを導入することも可能である。例えば、高露光列の場合、イメージングの輝度範囲を広げて輝度精度を低くし、低露光列の場合、イメージングの輝度範囲を狭くして輝度精度を高くする。

図６は、本発明の一実施例に係る深度データ測定ヘッドが列同期イメージングを行う概略図である。図６に示すように、深度データ測定ヘッド６００は投影装置６１０と、２つの画像センサ６２０及び６３０と、を含む。

投影装置６１０は撮影領域に対してストライプコードを有する構造化光をスキャン投影するために用いられる。例えば、連続する３つの画像フレームの投影周期内で、投影装置６１０は、図１に示すような３つのパターンを連続して投影することができ、３つのパターンのイメージング結果は、深度データの生成のために使用される。それぞれ第１及び第２画像センサと呼ぶことができる６２０及び６３０は、所定の相対位置関係を有し、撮影領域を撮影して構造化光の照射下での第１及び第２二次元画像フレームをそれぞれ取得することに用いられる。例えば、図１に示すように、投影装置６１０が３つのパターンを投影する場合、第１画像センサ６２０及び第２画像センサ６３０は、３つの同期した画像フレームイメージング周期内で、３つのパターンが投影された撮影領域（例えば、図３におけるイメージング平面及びその前後の一定範囲内の領域）をそれぞれイメージングすることができる。この３回のイメージングにはそれぞれ異なるセットの感光ユニットが使用される。

図６に示すように、投影装置６１０は、ｘ方向に延びる線形光をｚ方向に（すなわち、撮影領域に向かって）投影することができる。異なる実施例において、上記線形光の投影はすでに成形されたもの（すなわち、出射光自体がすでに線形光である）であってもよく、ｘ方向に移動するスポット（すなわち、スキャンにより得られた線形光）であってもよい。投影された線形光は、イメージング領域全体を覆うように、ｙ方向に連続的に移動させることができる。図６の下部は、撮影領域の斜視図に対応して、線形光のスキャンについてのより分かりやすい図解である。

本発明の実施例において、光線が測定ヘッドから出射する方向をｚ方向、撮影平面の垂直方向をｘ方向、水平方向をｙ方向と設定する。したがって、投影装置によって投影されるストライプ構造化光は、ｘ方向に延伸する線形光がｙ方向に移動する結果であってもよい。他の実施例において、水平ｙ方向に延伸する線形光がｘ方向に移動して得られたストライプ構造化光に対して同期及びイメージング処理を行うこともできるが、本発明の実施例においては、垂直ストライプ光を好ましく使用して説明する。

さらに、測定ヘッド６００は列同期装置６５０を含む。列同期装置６５０は、投影装置６１０と、第１画像センサ６２０及び第２画像センサ６３０にそれぞれ接続され、三者間の正確な同期を実現する。具体的には、列同期装置６５０は、投影装置６１０のスキャン位置に基づいて、第１画像センサ６２０及び第２画像センサ６３０の対応するセットの感光ユニットのうち、現在のスキャン位置に対応するストライプ方向における画素列を同期オンしてイメージングを行うことができる。図３に示すように、現在のストライプは、撮影領域の中心領域までスキャンしている。このため、画像センサ６２０及び６３０の対応するセットの感光ユニットにおいて、中心領域に位置する画素列（例えば、隣接した３個の画素列）がオンにされてイメージングを行う。ストライプがｙ方向に移動するのに伴って（図３の下部斜視図の矢印によって示される）、画像センサ６２０及び６３０の対応する感光ユニットセットにおけるイメージングのためにオンにされた画素列も、それに応じて同期して移動する（図３左上ブロック図内のマトリックス上方にある矢印によって示される）。これにより、ストライプ画像の一次元特性を利用して、各時刻にイメージングを行う画素列の範囲を制御することができ、環境光による測定結果への悪影響を低下させる。環境光の影響をさらに低下させるために、投影装置は、環境光と混同しにくい光、例えば赤外光を投影するのに特に適している。また、画素列とスキャン光との対応関係は投影光の幅、出力、速度、画像センサの感光効率等の複数の要因に影響されるため、毎回同期オンする画素列の範囲（及び対応数）は、例えば校正操作に基づいて決定することができる。

図７Ａ～Ｂは図６に示す投影装置の拡大操作例である。具体的には、図６に示すように、投影装置６１０において、レーザ発光素子（例えば図７Ａ～Ｂに詳細に示したレーザ発光素子７１１）が出射したレーザ光は投影機構（例えば図７Ａ～Ｂに詳細に示した投影機構７１２）によって撮影領域（図６における灰色の領域）にスキャン投影され、撮影領域内の測定対象対象（例えば、図６における人）に対して能動的に構造化光の投影を行うことに用いられる。一対の画像センサ６２０及び６３０は撮影領域に対してイメージングを行い、それにより深度データの計算に必要な画像フレームを取得する。図３に示すように、投影装置６１０から出る破線はその投影範囲を示すために用いられ、画像センサ６２０及び６３０から出る破線はそれぞれのイメージング範囲を示すために用いられる。撮影領域は一般的に、これら三者それぞれの投影及びイメージング範囲の重複する領域に位置する。

実際の応用において、レーザ発光素子は、線形及び／又は赤外レーザ光を生成することに用いられ、且つ前記レーザ発光素子はストライプコードに対応する明暗交互の構造化光をスキャン投影するように高速切換を行う。高速切換はレーザ発光素子の高速スイッチング及び高速符号化切換が含まれてもよい。

一実施例において、レーザ発光素子は強度が同じレーザ光を持続的に出射し、且つ投影されるストライプパターンはレーザ発光素子のオン及びオフにより実現されてもよい。この場合、レーザ発光素子は１つの強度の光だけを投影するため、画像センサの各画素は光の「有無」を記録するだけで良いため、配置される画像センサは白黒画像センサであってもよい。

別の実施例において、レーザ発光素子自体は光強度が変化するレーザ光、例えば、印加される電力に応じて出射光の強度が正弦変換を呈するレーザ光を出射してもよい。上記正弦変換されたレーザ光はストライプ投影と組み合わせることができ、従って、明暗交互であり且つ明るいストライプ間の輝度も異なるパターンをスキャン投影する。この場合、画像センサは異なる光強度を区別してイメージングを行う能力を備えている必要があり、従って多段グレースケール画像センサであってもよい。明らかなこととして、グレースケール投影及びイメージングは白黒投影及びイメージングに比較してより正確な画素間マッチングを提供することができ、深度データ測定の精度を向上させる。

一実施例において、レーザ発光素子７１１はｘ方向に延伸する線形光（図７Ａ～Ｂにおける紙面に垂直な方向）を生成する線形レーザ発光素子であってもよい。該線形光は次いでｘ方向の軸に沿って揺動可能な反射機構７１２によってイメージング平面に投影される。反射機構７１２の揺動図は図７Ｂに示すとおりである。これによりイメージング平面のＡＢ範囲内で往復する線形光スキャンを行うことができる。

一実施例において、上記反射機構７１２はマイクロミラーデバイス（デジタルマイクロミラーデバイス、ＤＭＤとも称する）であってもよく、且つＭＥＭＳ（微小電気機械システム）として実現されてもよい。図８は本発明で使用される投影装置の簡略化された斜視原理図である。図８に示すように、レーザ素子が生成するスポットレーザ光はレンズを介して線形光を得ることができ（図７の線形レーザ発光素子７１１に対応）、上記線形光はさらにＭＥＭＳ形式のマイクロミラーデバイスを介して反射され、反射された線形光はさらに光学ウィンドウを介して外部空間に投影される。マイクロミラーデバイスは非常に高い性能を有し、例えば、市販のＭＥＭＳは２ｋの周波数で極めて安定した往復振動を行うことができ、それにより高性能の深度イメージングの基礎を据える。

他の実施例において、スキャン投影されるレーザ光はスポットレーザ光であってもよく、そのために投影機構は対応して投影方向を二次元方向（図におけるｘｙの２つの方向）に変換する必要がある。例えば、投影機構はまずｘ方向にストライプ光をスキャンし、次いでｙ方向に変位を行い、続いて異なるｙ位置においてｘ方向のスキャンを行う。

ｙ方向に移動するストライプ光を直接投影しても、ｘ方向に移動してストライプを形成し且つｙ方向に変位する必要があるスポット光を投射しても、それが撮影領域に現れるのはいずれも時間と共にｙ方向に移動するストライプである。スポットがｙ方向に移動することに伴って、画像センサ上の該画像フレームを記録するための全ての画素の内の特定の画素列がオンにされ、それにより対応する位置で反射し戻った光線を収集することが可能になる。図９は画像センサ内の画素列が交互にオンにされる概略図である。図９に示すように、投影装置が投影するストライプがイメージング領域の中心から一方の側に移動すると、画像センサの画素アレイのうち、イメージングに用いるためにオンにされた画素列もそれに伴って中心から一方の側に移動する。これにより、画素列は対応する撮影領域がスキャンされている時間だけイメージング記録を行い、且つ他の時間には記録を行わないようにする。投影されるレーザ光の強度は環境光の強度よりも高い必要があるため、環境光が本発明の同期オン方式の下で累積されない状況では、構造化光自体に対して非常に正確なイメージングを行うことができる。従来の画像センサは一般的に行露光を行うため、本発明で使用される列毎に（又は複数の列を同時に）露光する画像センサは、既存の画像センサを基に９０°倒して得ることができる。倒した後に、全列同時露光の制御を追加する必要がある。

なお、図６及び図９に示される画素アレイは、本発明の同期原理を説明するための例に過ぎない。実際の応用において、画像センサの画素アレイは多くの場合より高いグレード（例えば、１０００ｘ１０００）を有し、且つ毎回同時オンされる画素列も校正に基づいて異なる範囲を有してもよい（例えば、毎回３列がオンにされ、又は撮影領域の異なる位置に対して異なる列数がオンにされるなど）。さらに、画像センサにおける画素列のオンは、投影装置内の投影構造のスキャン位置のみと関係があり、ストライプ光が実際に投影されているかどうかとは無関係であってもよい。言い換えると、投影される構造化光の明暗ストライプの分布に基づき行われるレーザ発光素子のオフおよびオンは、投影構造のスキャン投影動作に影響せず、上記スキャン投影動作と同期する画像センサの画素列のオン動作にも影響しない。

上述したような投影装置は所定の周波数で往復振動する振動ミラー、例えばＭＥＭＳミラー又は機械式振動ミラーが含まれてもよく、所定の周波数で前記撮影領域をスキャンし線形レーザ光を投影することに用いられる。振動ミラーは極めて高い振動周波数を、例えば、毎秒２ｋを実現することができ、これは２５０μｓで１つの完全な投影構造化光をスキャンすることに相当するため、反射される光線位置に対して非常に正確な同期を行う必要がある。上記正確さのため、ＭＥＭＳミラーの起動信号を直接利用して同期を行うことは不可能であり（遅延が確実でないため）、従ってマイクロミラー素子の位相振動の特性を考慮し、同期装置の中に振動ミラーの振動位相をリアルタイムに測定するための測定装置が含まれてもよく、且つ測定装置の測定結果に基づいて、画素列イメージングの同期オンを行う。従って非常に高い周波数でのスキャン及びイメージングの同期が保証される。本発明の複数セット同軸二眼の実施形態において、振動ミラーに対して１ミリ秒以内に１つの完全な投影構造化光をスキャンするように求めることができる。

一実施例において、上記測定は出射光自体に基づいてもよい。従って、上記測定装置は１つ又は複数のフォトセンサ（例えば、２つのフォトダイオードＰＤ）であってもよく、且つ前記２つのフォトセンサは、前記投影装置の異なる出射経路上に配置されるか、又は前記投影装置内の異なる反射経路上に配置されるか、又は前記投影装置の内側及び外側の出射経路及び反射経路上にそれぞれ配置されるかのいずれか１つの方式で配置される。フォトセンサの配置方式を合理的に選択して、位相を正確に測定すると同時に、構造化光の正常な投影に影響を与えないようにすることができる。図５に示すように、ＰＤは投影装置内に取り付けられてもよく、レーザ光が光学ウィンドウから出射する時の反射角を測定することにより瞬時の振動位相を特定する。ＭＥＭＳミラーの振動位相は正弦分布であるため、１つのＰＤで正弦分布情報を特定することができるが、より多くのＰＤは位相をより正確に測定することに役立つ。他の実施例において、ＰＤは投影装置の外部に取り付けられてもよく、例えば、光学ウィンドウに、例えば光学ウィンドウのエッジ近くに取り付けられ、それにより撮影領域内の投影に及ぼす影響を防止する。他の実施例において、他の方式を利用して、例えば容量測定を行って位相を測定してもよい。

一実施例において、各画像センサは投影装置が１回のスキャン投影を行うごとに１つの画像フレームのイメージングを完了させる。例えば、振動ミラーはｘ方向のストライプ光を撮影領域の一方の側から他方の側にスキャンするために半周期の振動を完了することで、１つの画像フレーム（例えば、図１又は図２における１つのパターン）のイメージングを完了させる。投影装置の投影出力が限られており、又は測定対象が測定ヘッドから遠く離れている場合、一般的に、画像センサが１回のスキャン後に取得する電荷量ではイメージングを行うことができず、複数回のスキャンイメージングを行う必要がある。そのため、各画像センサは投影装置が設定回数のスキャン投影を行うごとに１つの画像フレームのイメージングを完了させる。例えば、ＤＭＤは連続する５つの振動周期内で同じ構造化光パターンをスキャンすることにより、画像センサはイメージングするために十分な電荷量を取得することができ、次の５つの振動周期内で同じ次の構造化光パターンをスキャンし、以下同様である。

図８は反射装置としての振動ミラーである。しかしながら他の実施例において、反射装置は一方向に回転する機械式回転ミラーであってもよく、前記所定の周波数でレーザ発光素子が生成した線形光を前記撮影領域にスキャン投影することに用いられる。対応して、同期装置に含まれる測定装置は、前記反射装置のモータの回転角度をリアルタイムに測定するための角度計であってもよい。そのため同期装置は角度計の測定結果に基づき、画素列イメージングの同期オンを行うことができる。

上記の実施例において、スキャン線と列画素露光との間の同期は画像センサの露光を制御することによって実現される。これは光源のスキャンが制御可能な状況（例えば、電圧及び電流によって機械式振動ミラーの角度及び回転速度を制御できる）で用いることができ、特に、光源スキャンの位相及び速度が制御不可な状況（例えば、ＭＥＭＳミラー又は機械式回転ミラーにおいて）で用いることができる。従って、ＭＥＭＳミラーはＰＤ又はコンデンサを使用して角度を検出することができ、機械式回転ミラーも電圧検出又は光電符号化によって位置の検出を実現することができる。

回転速度が制御可能であり且つ往復運動を呈する振動ミラーであっても、回転が制御できず且つ一方向等速運動を呈する回転ミラーであっても、その角速度はローリングシャッター画像センサの行順次露光速度とマッチングさせることができるため、いずれも線レーザスキャンに基づく行順次露光手段を実現することができる。

本発明の別の実施例によれば、上記深度データ測定ヘッドと、前記深度データ測定ヘッドに接続されるプロセッサと、を含む深度データ計算装置を実現することができ、プロセッサは、単眼方式で、前記画像センサの参照画像及びそれにより前記構造化光をイメージングすることで得られた前記画像フレームセットに基づいて、前記撮影領域における撮影対象の深度データを特定することに用いられ、又は、二眼方式で、第１及び第２画像センサの所定の相対位置及びそれにより前記構造化光をイメージングすることで得られた前記画像フレームセットペアに基づいて、前記撮影領域における撮影対象の深度データを特定することに用いられる。

本発明の別の実施例によれば、深度データの測定方法を実現することができる。図１０は本発明の一実施例に係る深度測定方法の概略フローチャートである。該方法は本発明の深度データ測定ヘッドを利用して実現させることができる。

ステップＳ１０１０では、撮影領域に構造化光（第１パターン）をスキャン投影する。ステップＳ１０２０では、第１サブ画像センサ（例えば、サブ画像センサ２２３、又はサブ画像センサ３２３及び３３３）を使用して、前記撮影領域を撮影し構造化光の照射下での第１画像フレームを取得する。Ｓ１０３０では、撮影領域に異なるパターンの第２構造化光（第２パターン）をスキャン投影する。ステップＳ１０４０では、第２サブ画像センサ（例えば、サブ画像センサ２２４、又はサブ画像センサ３２４及び３３４）を使用して、前記撮影領域を撮影し第２構造化光の照射下での第２画像フレームを取得し、第１及び第２サブ画像センサは光路の少なくとも一部を共有し且つ画像センサを構成し、前記第１及び第２画像フレームは前記撮影領域の１回の深度データを計算することに用いられる。

二眼の実施形態において、ステップＳ１０２０は、所定の相対位置関係を有する第１サブ画像センサペア（例えば、３２３及び３３３）を使用して、前記撮影領域を撮影し構造化光の照射下での第１画像フレームペアを取得するステップが含まれてもよく、ステップＳ１０４０は、第２サブ画像センサペア（例えば、３２４及び３３４）を使用して、前記撮影領域を撮影し第２構造化光の照射下での第２画像フレームペアを取得することに用いられ、第１及び第２サブ画像センサペアは同軸であるステップが含まれてもよい。すなわち、第１及び第２サブ画像センサペアのうちそれぞれ一方のサブ画像センサは光路の少なくとも一部を共有し且つ第１画像センサを構成し、第１及び第２サブ画像センサペアのうちそれぞれ他方のサブ画像センサは光路の少なくとも一部を共有し且つ第２画像センサを構成し、前記第１及び第２画像フレームペアは前記撮影領域の１回の深度データを計算することに用いられる。

撮影領域に異なるパターンの第２構造化光をスキャン投影するステップは、前記構造化光の投射からの間隔が前記サブ画像センサのフレームイメージング間隔よりも短い第１間隔で前記第２構造化光を投影し、且つ第１サブ画像センサ（ペア）による前記第１画像フレーム（ペア）の撮影と、第２サブ画像センサ（ペア）による前記第２画像フレーム（ペア）の撮影との時間間隔が、前記サブ画像センサのフレームイメージング間隔よりも短いステップを含む。

一実施例において、該方法はさらに、撮影領域に第３構造化光をスキャン投影し、前記第３構造化光のパターンは前記構造化光及び前記第２構造化光とは異なるステップと、前記第１又は第２サブ画像センサ（ペア）を使用して、前記撮影領域を撮影し第３構造化光の照射下での第３画像フレーム（ペア）を取得し、前記第３画像フレーム（ペア）は前記撮影領域の１回の深度データ計算に用いられ、又は第３サブ画像センサ（ペア）を使用して、前記撮影領域を撮影し第３構造化光の照射下での第３画像フレーム（ペア）を取得するステップと、を含む。

前記第３サブ画像センサは前記画像センサに属し、且つその中の他のサブ画像センサとともに光路の少なくとも一部を共有する。具体的には、二眼の実施形態において、前記第３サブ画像センサペアのうちの１つのサブ画像センサは前記第１画像センサに属し、且つその中の他のサブ画像センサとともに光路の少なくとも一部を共有し、前記第３サブ画像センサペアのうちの他方のサブ画像センサは前記第２画像センサに属し、且つその中の他のサブ画像センサとともに光路の少なくとも一部を共有し、且つ第３画像フレームペアは前記撮影領域の１回の深度データを計算することに用いられる。

撮影領域に第３構造化光をスキャン投影するステップは、前記構造化光の投射からの間隔が前記サブ画像センサのフレームイメージング間隔以上の第２間隔で前記第３構造化光を投影し、且つ前記第１サブ画像センサ（ペア）を使用して、前記撮影領域を撮影し第３構造化光の照射下での前記第３画像フレーム（ペア）を取得するステップを含む。

同軸を実現するために、前記第１サブ画像センサ（ペア）及び前記第２サブ画像センサ（ペア）はそれぞれ前記構造化光及び前記第２構造化光の分割ビームを取得し、且つ第１サブ画像センサ（ペア）又は前記第２サブ画像センサ（ペア）を選択的にオンにして撮影を行うことができ、又は入射光の光路を制御することにより前記第１サブ画像センサペアのみが前記構造化光を取得し且つ撮影を行い、且つ前記第２サブ画像センサペアのみが前記第２構造化光を取得し且つ撮影を行うようにする。

本発明はさらに深度データの計算方法を実現し、上記の深度データの測定方法に基づいて第１及び第２画像フレーム（ペア）、又は第１、第２及び第３画像フレーム（ペア）を取得するステップと、前記所定の相対位置と、第１及び第２画像フレーム（ペア）、又は第１、第２及び第３画像フレーム（ペア）とに基づいて、前記撮影領域における撮影対象の深度データを特定するステップと、を含む。

以上、図面を参照して、本発明の複数セット同軸の単眼及び二眼の実施形態について詳細に説明した。該形態は複数セット同軸の感光ユニットを導入することにより、マルチフレームを統合し深度データを計算する時に必要なイメージング時間を減少させ且つフレームレートを向上させることができる。

本発明の深度データ測定ヘッド及びそれに対応する深度データ測定手段は、特に線形光のストライプパターン投影とローリングシャッター露光の組み合わせに適しており、従って高い耐干渉性を有する深度データ測定を実現する。具体的には、本発明の深度データ測定手段は特に屋外で、例えば太陽光下で目標対象を測定することに適し、例えば自動車の損害判定装置等として実現することができる。

当業者であれば理解されるように、本明細書の開示を参照して説明した様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップは、電子的ハードウェア、コンピュータソフトウェア、または両者の組み合わせとして実現されてもよい。

図中のフローチャート及びブロック図は、本発明の複数の実施例のシステム及び方法の実現可能なアーキテクチャ、機能及び操作を示す。これに関して、フローチャート又はブロック図における各ブロックは１つのモジュール、プログラムセグメント又はコードの一部を表すことができ、前記モジュール、プログラムセグメント又はコードの一部は規定された論理機能を実現するための１つ又は複数の実行可能なコマンドを含む。なお、代替とされるいくつかの実施形態において、ブロック内に記載された機能は図に記載されたものとは異なる順序で行われてもよい。例えば、２つの連続するブロックは、実際には実質的に同時に実行されてもよく、それが関連する機能に応じて時には逆の順序で実行されてもよい。また、ブロック図及び／又はフローチャート図における各ブロック、及びブロック図及び／又はフローチャート図におけるブロックの組み合わせも、規定の機能もしくは操作を実行するためのハードウェアに基づく専用のシステム、又は専用ハードウェアとコンピュータコマンドとの組み合わせによって実現することができる。

本発明の各実施例を説明してきたが、上記の説明は例示的なものであり、全てを網羅しておらず、開示された各実施例に限定されるものでもない。記載された実施例の範囲及び主旨から逸脱しない限り、なされる多くの修正及び変更は当業者にとって自明である。本明細書で使用される用語は、各実施例の原理、実際の応用又は市場における技術に対する改良を最もよく説明するために、又は当業者が本明細書で開示される各実施例を理解することができるように選択されたものである。

Claims (22)

1. 投影装置と、画像センサと、を含み、
   前記投影装置は、撮影領域に対して異なるパターンの構造化光セットをスキャン投影するために用いられ、前記構造化光セットは少なくとも２つの異なるパターンの構造化光を含み、
   前記画像センサは、前記撮影領域を撮影し、前記構造化光セットの照射下での前記撮影領域の１回の深度データ計算に用いられる画像フレームセットを取得するために用いられ、
   前記画像センサは少なくとも光路の一部を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影装置が連続して投影した異なるパターンの構造化光に対してイメージングを行うために用いられる、
   深度データ測定ヘッド。
2. 前記画像センサは所定の相対位置関係を有する第１及び第２画像センサを含み、前記撮影領域を撮影し、前記構造化光セットの照射下での前記撮影領域の１回の深度データ計算に用いられる画像フレームセットペアを取得するために用いられ、
   前記第１及び第２画像センサはそれぞれ少なくとも一部の光路を共有する少なくとも２つのサブ画像センサを含み、前記少なくとも２つのサブ画像センサはそれぞれ前記投影装置が連続して投影した異なるパターンの構造化光をイメージングするために用いられる、
   請求項１に記載の深度データ測定ヘッド。
3. 前記投影装置が前記サブ画像センサのフレームイメージング間隔よりも短い第１間隔で前記少なくとも２つの異なるパターンの構造化光を投影するのと同時に、前記少なくとも２つのサブ画像センサに前記第１間隔で前記少なくとも２つの異なるパターンの構造化光をそれぞれ連続して同期してイメージングさせることに用いられる同期装置を含む、
   請求項１又は２に記載の深度データ測定ヘッド。
4. 前記同期装置は、各サブ画像センサが、前記サブ画像センサのフレームイメージング間隔以上の第２間隔でそれぞれの次のフレームのイメージングを行い、且つ前記投影装置による投影と同期させるために用いられる、
   請求項３に記載の深度データ測定ヘッド。
5. 前記画像センサは、
   入射した戻り構造化光を受光するためのレンズユニットと、
   入射した戻り構造化光を少なくとも第１ビームと第２ビームとに分割するためのビームスプリッタと、
   第１ビームに対してイメージングを行うための第１サブ画像センサと、
   異なるパターンに対応した戻り構造化光の第２ビームに対してイメージングを行うための第２サブ画像センサと、
   を含む、
   請求項１又は２に記載の深度データ測定ヘッド。
6. 前記画像センサは、
   入射した戻り構造化光を受光するためのレンズユニットと、
   入射した戻り構造化光を少なくとも第１サブ経路と第２サブ経路とに送るための光路変換装置と、
   第１サブ経路上で戻り構造化光に対してイメージングを行う第１サブ画像センサと、
   第２サブ経路上で異なるパターンに対応した戻り構造化光に対してイメージングを行う第２サブ画像センサと、
   を含む、
   請求項１又は２に記載の深度データ測定ヘッド。
7. 光路の少なくとも一部を共有する少なくとも２つのサブ画像センサは同じ長さの光路を有する、
   請求項１又は２に記載の深度データ測定ヘッド。
8. 光路の少なくとも一部を共有する少なくとも２つのサブ画像センサは画素レベルで位置合わせされる、
   請求項７に記載の深度データ測定ヘッド。
9. 光路の少なくとも一部を共有する少なくとも２つのサブ画像センサは赤外光センサであり、及び／又は、
   前記画像センサは、入射した構造化光に対してイメージングを行うことに用いられ、第１及び／又は第２サブ画像センサとともに光路の少なくとも一部を共有する可視光画像センサを含む、
   請求項１又は２に記載の深度データ測定ヘッド。
10. 前記投影装置が投影する異なるパターンの構造化光セットは、異なる符号化ストライプを有する構造化光セットである、
    請求項１に記載の深度データ測定ヘッド。
11. 前記投影装置は、線形及び／又はスポットレーザ光を生成するためのレーザ発光素子を含み、且つ前記レーザ発光素子はストライプコードに対応する明暗交互の構造化光をスキャン投影するように高速切換を行う、
    請求項１に記載の深度データ測定ヘッド。
12. 前記投影装置は発光装置と、反射装置と、を含み、
    前記発光装置は線形光を生成することに用いられ、
    前記反射装置は線形光を反射して、前記ストライプ方向に垂直な方向に移動する線形光を撮影領域に投影することに用いられる、
    請求項１１に記載の深度データ測定ヘッド。
13. 前記光路の少なくとも一部を共有する少なくとも２つのサブ画像センサはグローバルシャッター画像センサであり、又は、
    前記少なくとも２つのサブ画像センサはローリングシャッター画像センサであり、
    さらに、前記深度データ測定ヘッドは、列同期装置を含み、前記列同期装置は、前記投影装置のスキャン位置に基づいて、現在のイメージングに用いられるサブ画像センサと現在のスキャン位置における対応するストライプ方向上の画素列とを同期してオンにしイメージングを行うことに用いられる、
    請求項１１に記載の深度データ測定ヘッド。
14. 前記少なくとも２つのサブ画像センサは互いに上下反転して取り付けられる、
    請求項１３に記載の深度データ測定ヘッド。
15. 請求項１から請求項１４のいずれか１項に記載の深度データ測定ヘッドと、前記深度データ測定ヘッドに接続されたプロセッサと、を含み、
    前記プロセッサは、前記構造化光をイメージングすることで得られた前記画像フレームセットに基づいて、前記撮影領域における撮影対象の深度データを特定することに用いられる、
    深度データ計算装置。
16. 撮影領域に構造化光をスキャン投影するステップと、
    第１サブ画像センサを使用して、前記撮影領域を撮影し構造化光の照射下での第１画像フレームを取得するステップと、
    撮影領域に異なるパターンの第２構造化光をスキャン投影するステップと、
    第２サブ画像センサを使用して、前記撮影領域を撮影し第２構造化光の照射下での第２画像フレームを取得するステップと、
    を含み、
    第１及び第２サブ画像センサは光路の少なくとも一部を共有し且つ画像センサを構成し、前記第１及び第２画像フレームは前記撮影領域の１回の深度データを計算することに用いられる、
    深度データの測定方法。
17. 第１サブ画像センサを使用して、前記撮影領域を撮影し構造化光の照射下での第１画像フレームを取得するステップは、所定の相対位置関係を有する第１サブ画像センサペアを使用して、前記撮影領域を撮影し構造化光の照射下での第１画像フレームペアを取得するステップを含み、
    第２サブ画像センサを使用して、前記撮影領域を撮影し第２構造化光の照射下での第２画像フレームを取得するステップは、第２サブ画像センサペアを使用して、前記撮影領域に対して撮影を行い第２構造化光の照射下での第２画像フレームペアを取得するステップ、を含み、
    第１及び第２サブ画像センサペアのうちそれぞれ一方のサブ画像センサは光路の少なくとも一部を共有し且つ第１画像センサを構成し、第１及び第２サブ画像センサペアのうちそれぞれ他方のサブ画像センサは光路の少なくとも一部を共有し且つ第２画像センサを構成し、前記第１及び第２画像フレームペアは前記撮影領域の１回の深度データを計算することに用いられる、
    請求項１６に記載の方法。
18. 撮影領域に異なるパターンの第２構造化光をスキャン投影するステップは、前記構造化光の投射からの間隔が前記サブ画像センサのフレームイメージング間隔よりも短い第１間隔で前記第２構造化光を投影し、且つ第１サブ画像センサによる前記第１画像フレームペアの撮影と、第２サブ画像センサペアによる前記第２画像フレームの撮影との時間間隔が、前記サブ画像センサのフレームイメージング間隔よりも短いステップを含む、
    請求項１６に記載の方法。
19. 撮影領域に第３構造化光をスキャン投影し、前記第３構造化光のパターンは前記第１構造化光及び前記第２構造化光とは異なるステップと、
    前記第１又は第２サブ画像センサを使用して、前記撮影領域を撮影し第３構造化光の照射下での第３画像フレームを取得し、前記第３画像フレームペアは前記撮影領域の１回の深度データ計算に用いられるステップと、又は、
    第３サブ画像センサを使用して、前記撮影領域を撮影し第３構造化光の照射下での第３画像フレームを取得し、前記第３サブ画像センサは前記画像センサに属し、且つその中の他のサブ画像センサとともに光路の少なくとも一部を共有し、且つ第３画像フレームは前記撮影領域の１回の深度データを計算することに用いられるステップと、
    をさらに含む、
    請求項１８に記載の方法。
20. 撮影領域に第３構造化光をスキャン投影するステップは、前記構造化光の投射からの間隔が前記サブ画像センサのフレームイメージング間隔以上の第２間隔で前記第３構造化光を投影し、且つ前記第１サブ画像センサペアを使用して、前記撮影領域を撮影し第３構造化光の照射下での前記第３画像フレームペアを取得するステップを含む、
    請求項１９に記載の方法。
21. 前記第１サブ画像センサ及び前記第２サブ画像センサペアはそれぞれ前記構造化光及び前記第２構造化光の分割ビームを取得し、且つ第１サブ画像センサ又は前記第２サブ画像センサを選択的にオンにして撮影を行い、又は、
    入射光の光路を制御することにより前記第１サブ画像センサペアのみが前記構造化光を取得し且つ撮影を行い、且つ前記第２サブ画像センサペアのみが前記第２構造化光を取得し且つ撮影を行うようにする、
    請求項１６に記載の方法。
22. 請求項１６から請求項２１のうちのいずれか１項に記載の深度データの測定方法に基づいて第１及び第２画像フレーム、又は第１、第２及び第３画像フレームを取得するステップと、第１及び第２画像フレーム、又は第１、第２及び第３画像フレームに基づいて、前記撮影領域における撮影対象の深度データを特定するステップと、を含む、
    深度データの計算方法。
    

Images