JPWO2016098400A1 - 撮像装置組立体、３次元形状測定装置及び動き検出装置 - Google Patents

Abstract

撮像装置組立体は、参照光パターンを出射する光源１１０、撮像装置１２０、並びに、光源及び撮像装置を制御する制御装置１３０を備えており、制御装置１３０の制御下、光源１１０は、参照光パターンを高輝度及び低輝度のそれぞれで被写体１４０に向けて出射し、撮像装置１２０は、高輝度照射状態において参照光パターン及び被写体１４０を撮像して第１画像信号を制御装置１３０に出力し、低輝度照射状態において少なくとも被写体１４０を撮像して第２画像信号を制御装置１３０に出力し、制御装置１３０は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。

Description

本開示は、撮像装置組立体、３次元形状測定装置及び動き検出装置に関する。

被写体までの距離を計測したり、被写体の３次元形状を非接触で計測する方法として、２つの撮像装置を並置して三角測量の原理で計測を行うステレオ法や、１つの光源と１つの撮像装置とを並置して計測を行うアクティブステレオ法が周知である（後者として、例えば、特開２００７−１８３１８１参照）。アクティブステレオ法においては、具体的には、例えばレーザ装置から成る光源から赤外線に基づく参照光パターンを出射し、参照光パターンを被写体に照射する。参照光パターンとして、例えば、ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを挙げることができる。そして、参照光パターンで照射されている被写体を撮像装置で撮像する。ここで、図１４Ａに概念図を示すように、光源と撮像装置との間の距離（基線の長さ）をＬ、被写体を照射する出射光（光ビーム）と基線との成す角度をα、出射光が衝突する被写体の部分と撮像装置を結ぶ直線と基線との成す角度をβとし、光源が座標系の原点（０，０）に配置され、光ビームが衝突する被写体の部分の座標を（ｘ，ｙ）としたとき、（ｘ，ｙ）は以下の式（Ａ）で表される。また、ステレオ法は、２つの撮像装置を使用し、アクティブステレオ法における光源を一方の撮像装置で置き換えた方法であるが、図１４Ｂに概念図を示すように、光源を、別途、配置した構成を有する方法も考えられる。

ｘ＝Ｌ・ｔａｎ（β）／｛ｔａｎ（α）＋ｔａｎ（β）｝
ｙ＝Ｌ・ｔａｎ（β）・ｔａｎ（α）／｛ｔａｎ（α）＋ｔａｎ（β）｝ （Ａ）

特開２００７−１８３１８１

ところで、アクティブステレオ法や参照光パターンを用いたステレオ法においては、被写体に照射されている参照光パターンを撮像装置によって画像データとして得なければならない。然るに、環境光（太陽光や屋内の照明等）の影響によって、被写体に照射されている参照光パターンの画像データを得難いといった問題が屡々発生する。撮像装置の感度を増加させても、環境光に対する撮像装置の感度も増加するため、抜本的な解決にはならない。フィルターを用いて、光源から出射される光の波長と同じ波長を有する光を環境光から除去する方法も考えられるが、フィルターの帯域に限界があり、このような光を環境光からを高効率に除去することは困難である。光源の輝度を増加を増加させる手法では、光源における消費電力の増加や、場合によっては、参照光パターンが視認されてしまうといった問題がある。

従って、本開示の目的は、アクティブステレオ法や参照光パターンを用いたステレオ法において環境光に左右されずに、被写体に照射されている参照光パターンを撮像装置によって画像データとして確実に得ることを可能とする撮像装置組立体、並びに、係る撮像装置組立体を用いた３次元形状測定装置及び動き検出装置を提供することにある。

上記の目的を達成するための本開示の第１の態様に係る撮像装置組立体は、
参照光パターンを出射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
制御装置の制御下、光源は、参照光パターンを高輝度及び低輝度のそれぞれで被写体に向けて出射し、
撮像装置は、高輝度照射状態において参照光パターン及び被写体を撮像して第１画像信号を制御装置に出力し、低輝度照射状態において少なくとも被写体を撮像して第２画像信号を制御装置に出力し、
制御装置は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。

上記の目的を達成するための本開示の第２の態様に係る撮像装置組立体は、
偏光された参照光パターンを出射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
撮像装置は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第１偏光子、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有する第２偏光子を備えており、
撮像装置は、第１偏光子を通過した偏光光に基づき得られた第１画像信号を制御装置に出力し、第２偏光子を通過した偏光光に基づき得られた第２画像信号を制御装置に出力し、
制御装置は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。

上記の目的を達成するための本開示の３次元形状測定装置は、本開示の第１の態様〜第２の態様に係る撮像装置組立体を備えている。

上記の目的を達成するための本開示の動き検出装置は、本開示の第１の態様〜第２の態様に係る撮像装置組立体を備えている。

本開示の第１の態様〜第２の態様に係る撮像装置組立体、あるいは又、本開示の第１の態様〜第２の態様に係る撮像装置組立体を備えた本開示の３次元形状測定装置、動き検出装置にあっては、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成するので、参照光パターン画像信号から環境光の影響を除去することができる。尚、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また、付加的な効果があってもよい。

図１Ａは、実施例１の撮像装置組立体（本開示の第１の態様に係る撮像装置組立体）の概念図であり、図１Ｂは、実施例２の撮像装置組立体の概念図である。 図２Ａ及び図２Ｂは、それぞれ、実施例１の撮像装置組立体において、第１画像信号を取得する状態及び第２画像信号を取得する状態を模式的に示す図である。 図３Ａ及び図３Ｂは、それぞれ、実施例２の撮像装置組立体において、第１画像信号を取得する状態及び第２画像信号を取得する状態を模式的に示す図である。 図４Ａは、実施例４の撮像装置組立体（本開示の第２の態様に係る撮像装置組立体）の概念図であり、図４Ｂは、実施例５の撮像装置組立体の概念図である。 図５Ａ及び図５Ｂは、それぞれ、実施例４の撮像装置組立体において、第１画像信号を取得する状態及び第２画像信号を取得する状態を模式的に示す図である。 図６Ａ及び図６Ｂは、それぞれ、実施例５の撮像装置組立体において、第１画像信号を取得する状態及び第２画像信号を取得する状態を模式的に示す図である。 図７は、実施例６の撮像装置組立体の概念図であり、また、第１画像信号を取得する状態及び第２画像信号を取得する状態を模式的に示す図である。 図８Ａ並びに図８Ｂは、それぞれ、実施例４の撮像装置組立体を構成する撮像装置の概念図、並びに、第１の偏光子及び第２の偏光子による偏光の状態を模式的に示す図である。 図９Ａ及び図９Ｂは、それぞれ、実施例４の撮像装置組立体を構成する撮像装置における撮像素子の模式的な一部断面図、及び、ワイヤグリッド偏光子の配列状態を模式的に示す図である。 図１０は、実施例４の撮像装置組立体を構成する撮像装置におけるベイヤ配列を有する撮像素子アレイの概念図である。 図１１Ａ、図１１Ｂ及び図１１Ｃは、１撮像フレーム当たりの撮像時間Ｔ₁，Ｔ₂を模式的に示す図である。 図１２Ａ及び図１２Ｂは、１撮像フレーム当たりの撮像時間Ｔ₁，Ｔ₂を模式的に示す図である。 図１３Ａ及び図１３Ｂは、１撮像フレーム当たりの撮像時間Ｔ₁，Ｔ₂を模式的に示す図である。 図１４Ａ及び図１４Ｂは、それぞれ、アクティブステレオ法及びステレオ法を説明するための撮像装置等の配置を示す概念図である。

以下、図面を参照して、実施例に基づき本開示を説明するが、本開示は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
１．本開示の第１の態様〜第２の態様に係る撮像装置組立体、本開示の３次元形状測定装置、本開示の動き検出装置全般に関する説明
２．実施例１（本開示の第１の態様に係る撮像装置組立体）
３．実施例２（実施例１の変形）
４．実施例３（実施例１〜実施例２の変形）
５．実施例４（本開示の第２の態様に係る撮像装置組立体）
６．実施例５（実施例４の変形）
７．実施例６（実施例４の別の変形）
８．その他

〈本開示の第１の態様〜第２の態様に係る撮像装置組立体、本開示の３次元形状測定装置、本開示の動き検出装置全般に関する説明〉
本開示の第１の態様〜第２の態様に係る撮像装置組立体、あるいは又、本開示の３次元形状測定装置、本開示の動き検出装置に備えられた本開示の第１の態様〜第２の態様に係る撮像装置組立体を、総称して、『本開示の撮像装置組立体等』と呼ぶ場合があるし、本開示の第１の態様に係る撮像装置組立体、あるいは又、本開示の３次元形状測定装置、本開示の動き検出装置に備えられた本開示の第１の態様に係る撮像装置組立体を、総称して、『本開示の第１の態様に係る撮像装置組立体等』と呼ぶ場合があるし、本開示の第２の態様に係る撮像装置組立体、あるいは又、本開示の３次元形状測定装置、本開示の動き検出装置に備えられた本開示の第２の態様に係る撮像装置組立体を、総称して、『本開示の第２の態様に係る撮像装置組立体等』と呼ぶ場合がある。

本開示の撮像装置組立体等において、制御装置はフレームメモリを備えており、第１画像信号及び第２画像信号のいずれか一方をフレームメモリに記憶する形態とすることができる。フレームメモリとして、周知の構成、構造のフレームメモリを用いることができる。但し、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成するために、フレームメモリといったハードウエアを用いることは必須ではなく、第１画像信号と第２画像信号との差分をソフトウエアに基づく計算によって算出してもよい。

上記の好ましい形態を含む本開示の第１の態様に係る撮像装置組立体等にあっては、高輝度照射状態において参照光パターン及び被写体を撮像するときの撮像時間をＴ₁、低輝度照射状態において少なくとも被写体を撮像するときの撮像時間をＴ₂としたとき、
Ｔ₁＞Ｔ₂
を満足する構成とすることができる。撮像装置組立体の使用者からの指示に基づき、撮像時間Ｔ₁，Ｔ₂を可変とすることもできるし、Ｔ₁／Ｔ₂の割合を可変とすることもできる。

あるいは又、上記の好ましい形態を含む本開示の第１の態様に係る撮像装置組立体等において、
１撮像フレームは複数の期間に分割されており、
その内の１つの期間は低輝度照射状態とされ、
残りの期間は高輝度照射状態とされる構成とすることができる。そして、この場合、限定するものではないが、
撮像フレームレートは３０フレーム／秒であり、
１撮像フレームは、２以上の期間（例えば、２乃至４）に分割されている構成とすることができる。

尚、本明細書において、『１撮像フレーム』とは、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成するための１つの撮像フレームを意味する。動画像を得るための１秒当たり画像の枚数を意味するものではない。本開示の第２の態様に係る撮像装置組立体等においても同様である。

あるいは又、上記の好ましい形態を含む本開示の第１の態様に係る撮像装置組立体等において、高輝度照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い構成とすることができる。

更には、以上に説明した各種の好ましい形態、構成を含む本開示の第１の態様に係る撮像装置組立体等において、
撮像装置は、第１の方向及び第２の方向に２次元マトリクス状に配列された撮像素子を有し、
撮像装置は、ローリングシャッター機構を有し、
制御装置は、高輝度照射状態において全ての撮像素子が参照光パターン及び被写体を撮像して第１画像信号を制御装置に出力し、低輝度照射状態において全ての撮像素子が少なくとも被写体を撮像して第２画像信号を制御装置に出力ように、光源及び撮像装置を制御する形態とすることができる。

更には、これらの好ましい形態、構成を含む本開示の第１の態様に係る撮像装置組立体等にあっては、高輝度出射状態において光源は動作状態（即ち、参照光パターンを出射している状態）とされ、低輝度出射状態において光源は不動作状態（即ち、参照光パターンを出射していない状態）とされる形態とすることができる。光源から出射される参照光パターンの輝度（光源の発する光の光量）は、各種の試験を行い、適宜、決定すればよい。あるいは又、使用者が、例えば、屋外モード／屋内モードの切り替えを行うことで、光源から出射される参照光パターンの輝度（光源の発する光の光量）を、切り替え、あるいは、変化させてもよい。尚、低輝度出射状態において、光源を動作状態（即ち、参照光パターンを出射している状態）としても、高輝度出射状態／低輝度出射状態を適切に選択すれば、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。

更には、以上に説明した各種の好ましい形態、構成を含む本開示の第１の態様に係る撮像装置組立体等において、撮像装置を１つ備えている形態とすることができるし、あるいは又、撮像装置はステレオ撮像装置から構成されている形態とすることができる。また、以上に説明した各種の好ましい形態、構成を含む本開示の第２の態様に係る撮像装置組立体等において、撮像装置を１つ備えており、撮像装置は第１偏光子及び第２偏光子を備えている形態とすることができるし、あるいは又、撮像装置を２つ備えており、一方の撮像装置は第１偏光子を備えており、他方の撮像装置は第２偏光子を備えている形態、あるいは、偏光子を備えていない形態とすることができる。

以上に説明した各種の好ましい形態、構成を含む本開示の３次元形状測定装置は、演算装置を更に備えており、演算装置は、参照光パターン画像信号から被写体の３次元形状を算出する形態とすることができる。

また、以上に説明した各種の好ましい形態、構成を含む本開示の動き検出装置は、演算装置を更に備えており、演算装置は、参照光パターン信号から被写体の３次元形状を算出し、算出した３次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する形態とすることができる。

以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置組立体等において、光源は、例えば、波長７８０ｎｍ乃至９８０ｎｍを有する赤外線を出射する光源であることが好ましいが、これに限定するものではない。光源は、例えば、半導体レーザ素子、発光ダイオード（ＬＥＤ）やスーパールミネッセントダイオード（ＳＬＤ）等の半導体発光素子から構成することができる。光源は、光源を構成する発光素子の形態に依存して、照射中、連続駆動されてもよいし、パルス駆動されてもよい。パルス駆動される場合のデューティー比は、適宜、決定すればよい。

参照光パターンとして、ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを例示することができるが、これらに限定するものではなく、本質的に任意のパターンとすることができる。ライン・アンド・スペース状パターン、格子状パターン、ドット状パターンを得るためには、例えば、光源の光出射側に回折格子等を配置すればよいし、また、ＭＥＭＳミラーによってパターンを生成することもできる。あるいは又、濃度傾斜パターン、市松格子パターン、円錐形状パターン等を採用することもできる。偏光された参照光パターンを得るためには、光源の光出射側に偏光子を配置すればよいし、光源から出射される光それ自体が偏光している場合には、光源の光出射側に偏光子を配置しなくともよい。尚、一般に、振動方向が或る特定の向きだけの光は「偏光光」と呼ばれ、この振動している方向は「偏光方向」あるいは「偏光軸」と呼ばれる。

本開示の撮像装置組立体等において、撮像装置として、ＣＣＤ（Charge Coupled Device：電荷結合素子）型の撮像素子やＣＭＯＳ（Complementary Metal Oxide Semiconductor：：相補性金属酸化膜半導体）型の撮像素子、ＣＭＤ（Charge Modulation Device）型の信号増幅型撮像素子、ＣＩＳ（Contact Image Sensor）といった撮像素子（イメージセンサー）を備えた周知の撮像装置を例示することができる。撮像装置は、被写体を撮像するために適した撮像素子及び参照光パターンを撮像するために適した撮像素子を備えていればよく、例えば、赤色を検出する撮像素子、緑色を検出する撮像素子、青色を検出する撮像素子、及び、赤外線を検出する撮像素子の組合せから構成することができる。撮像装置それ自体は周知の構成、構造とすることができる。また、撮像装置として、表面照射型の固体撮像装置あるいは裏面照射型の固体撮像装置を挙げることができるし、例えば、デジタルスチルカメラやビデオカメラ、カムコーダから撮像装置を構成することができる。撮像装置は、上記の波長を有する光を信号に換え得る撮像素子（具体的には、例えば、赤外線を受光する撮像素子）を備えていればよい。尚、赤外線を受光する撮像素子以外にも、赤色を受光する撮像素子、緑色受光する撮像素子、青色受光する撮像素子等を更に備えていてもよい。参照光パターンを照射した被写体の３次元形状の測定や動きの検出には、最低限、参照光パターンの波長（例えば、赤外線）で撮像できればよい。但し、赤外線を受光する撮像素子以外に、赤色を受光する撮像素子、緑色受光する撮像素子、青色受光する撮像素子等を更に備えることで、より測定や検出の精度を上げることができるし、３次元形状測定や動き検出と同時に被写体の撮影を行うことが可能となる。

本開示の第１の態様に係る撮像装置組立体等において、１つの撮像装置が備えられている形態にあっては、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等を前述したアクティブステレオ法に基づき算出する構成とすることができる。また、２つの撮像装置が備えられている形態にあっては、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をステレオ法に基づき算出する構成とすることができる。本開示の第２の態様に係る撮像装置組立体等において、１つの撮像装置が備えられている形態にあっては、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出する構成とすることができる。また、２つの撮像装置が備えられており、２つの撮像装置のそれぞれが第１偏光子及び第２偏光子を備えている形態にあっては、一方の撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法あるいはステレオ法に基づき算出する構成とすることができるし、２つの撮像装置が備えられており、一方の撮像装置は第１偏光子を備え、他方の撮像装置は第２偏光子を備えている形態にあっては、一方の撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をステレオ法に基づき算出する構成とすることができる。本開示の第１の態様あるいは第２の態様に係る撮像装置組立体にあっては、所謂シャッター機構として、グローバルシャッター機構、ローリングシャッター機構のいずれも用いることができる。

本開示の撮像装置組立体等の好ましい形態において、前述したとおり、撮像時間Ｔ₁，Ｔ₂は、
Ｔ₁＞Ｔ₂
を満足することが好ましく、これによって、光源から出射される参照光パターンの輝度（光源の発する光の光量）の低減を図ることができる。但し、これに限定するものではなく、例えば、
Ｔ₁／Ｔ₂＝１
とすることもできる。撮像時間Ｔ₁，Ｔ₂は、撮像装置の仕様等に基づき決定すればよい。

撮像装置は、光源から出射される光の波長と同じ波長を有する光を通過させるフィルターを備えていてもよい。所定の波長（例えば約８５０ｎｍの波長）の参照光パターンを被写体に照射し、照射された被写体の３次元形状の測定や動きを検出する場合、撮像装置は、最低限、所定の波長成分（参照光パターンの有する波長成分）だけを撮像できれば充分である。従って、撮像装置の光入射側に所望の特性を有する波長選択用のフィルター、例えば、８５０ｎｍ付近の波長の光のみを透過させるバンドパスフィルターを配置してもよい。このようにすることで、環境光の内、８５０ｎｍ以外の波長成分の影響を出来るだけ無くすことができ、環境光に一層影響を受けない３次元形状測定装置や動き検出装置を実現することができる。尚、波長選択用のフィルターの特性は、バンドパスフィルターに限定されるものではなく、環境光の波長プロファイルや撮像装置の周波数特性に合せて、適宜、決定すればよい。

被写体は本質的に任意である。本開示の撮像装置組立体等は、屋外あるいは屋内で使用することができる。本開示の撮像装置組立体等は、例えば、モーションセンサー、監視用カメラシステム、ディプスセンサー、３次元形状センサー、２次元形状センサー、３次元位置センサー、２次元位置センサー、距離センサー、測域センサー、車両の衝突防止センサー、品質管理や品質検査システムに適用することができる。

撮像方法という観点から説明すると、第１の態様の撮像方法は、実質的に、本開示の第１の態様に係る撮像装置組立体を用いた撮像方法であって、
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を撮像して第１画像信号を得る一方、低輝度照射状態において少なくとも被写体を撮像して第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。

また、第２の態様の撮像方法は、実質的に、本開示の第２の態様に係る撮像装置組立体を用いた撮像方法であって、
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第１画像信号を得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。

３次元形状測定方法という観点から説明すると、第１の態様の３次元形状測定方法は、実質的に、本開示の第１の態様に係る撮像装置組立体を用いた３次元形状測定方法であって、
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を撮像して第１画像信号を得る一方、低輝度照射状態において少なくとも被写体を撮像して第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成し、
参照光パターン画像信号から３次元形状を算出する。

また、第２の態様の３次元形状測定方法は、実質的に、本開示の第２の態様に係る撮像装置組立体を用いた３次元形状測定方法であって、
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第１画像信号を得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成し、
参照光パターン画像信号から３次元形状を算出する。

更には、動き検出方法という観点から説明すると、第１の態様の動き検出方法は、実質的に、本開示の第１の態様に係る撮像装置組立体を用いた動き検出方法であって、
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を、順次、撮像して第１画像信号を得る一方、低輝度照射状態において少なくとも被写体を、順次、撮像して第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を、順次、生成し、
参照光パターン画像に基づき、被写体の３次元形状を、順次、算出し、算出した３次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する。

また、第２の態様の動き検出方法は、実質的に、本開示の第２の態様に係る撮像装置組立体を用いた動き検出方法であって、
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第１画像信号を、順次、得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第２画像信号を、順次、得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を、順次、生成し、
参照光パターン画像に基づき、被写体の３次元形状を、順次、算出し、算出した３次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する。

実施例１は、本開示の第１の態様に係る撮像装置組立体、本開示の３次元形状測定装置、及び、本開示の動き検出装置に関する。

概念図を図１Ａに示す実施例１の撮像装置組立体１００₁は、参照光パターン（図面においては横方向に延びる複数の点線で示す）を出射する光源１１０、撮像装置１２０、並びに、光源１１０及び撮像装置１２０を制御する制御装置１３０を備えている。そして、制御装置１３０の制御下、光源１１０は、参照光パターンを高輝度及び低輝度のそれぞれで被写体１４０に向けて出射する（図２Ａ及び図２Ｂ参照）。撮像装置１２０は、高輝度照射状態において参照光パターン及び被写体１４０を撮像して第１画像信号を制御装置１３０に出力し、低輝度照射状態において少なくとも被写体１４０を撮像して第２画像信号を制御装置１３０に出力する。制御装置１３０は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。

実施例１の３次元形状測定装置、動き検出装置は、実施例１の撮像装置組立体を備えている。ここで、本開示の３次元形状測定装置は、演算装置を更に備えており、演算装置は、参照光パターン画像信号から被写体の３次元形状を算出する。また、実施例１の動き検出装置は、演算装置を更に備えており、演算装置は、参照光パターン信号から被写体の３次元形状を算出し、算出した３次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する。

実施例１あるいは後述する実施例２〜実施例６において、制御装置１３０，２３０はフレームメモリ１３１，２３１を備えており、第１画像信号及び第２画像信号のいずれか一方をフレームメモリ１３１，２３１に記憶する。光源１１０，２１０は、例えば、波長８５０ｎｍを有する赤外線を出射する光源であり、半導体レーザ素子から構成されている。参照光パターンとして、ライン・アンド・スペース状パターンを用いたが、これに限定するものではない。ライン・アンド・スペース状パターンを得るために、必要に応じて、光源１１０，２１０の光出射側に回折格子（図示せず）が配置されている。ＣＭＯＳ型の撮像素子（ＣＭＯＳイメージセンサー）が、第１の方向（行方向）にＭ個、第２の方向（列方向）にＮ個、２次元マトリクス状に配列されて成る、周知のビデオカメラあるいはカムコーダから撮像装置１２０，２２０は構成されている。また、撮像装置１２０，２２０は、赤色を検出する撮像素子、緑色を検出する撮像素子、青色を検出する撮像素子、及び、赤外線を検出する撮像素子の組合せから構成されている。但し、これに限定するものではなく、撮像装置１２０，２２０は、赤外線を検出する撮像素子だけから構成されていてもよい。

実施例１の撮像装置組立体１００₁は、撮像装置１２０を１つ備えている。撮像装置１２０におけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。

以下、実施例１の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出する。また、実施例１の本開示の３次元形状測定装置においては、実施例１の撮像装置組立体を用いた撮像方法によって得られた参照光パターン画像信号に基づく画像データから、周知の処理アルゴリズムに基づき、被写体の３次元形状を測定する。実施例１の動き検出装置においては、実施例１の撮像装置組立体を用いた撮像方法によって得られた参照光パターン画像信号に基づく画像データから、周知の処理アルゴリズムに基づき、被写体の動きを検出する。

制御装置１３０の制御下、光源１１０は、参照光パターンを高輝度及び低輝度のそれぞれで被写体１４０に向けて出射する。即ち、参照光パターンを高輝度及び低輝度のそれぞれで被写体１４０を照射する。実施例１にあっては、高輝度照射状態において参照光パターン及び被写体を撮像するときの撮像時間Ｔ₁、低輝度照射状態において少なくとも被写体を撮像するときの撮像時間Ｔ₂を、１撮像フレーム当たりの撮像時間Ｔ₁，Ｔ₂を模式的に図１１Ａ、図１１Ｂ及び図１１Ｃに示すように、Ｔ₁＝Ｔ₂とした。これらの図は、シャッター機構としてローリングシャッター機構を採用した場合の図である。尚、図１１Ａ、図１１Ｂ、図１１Ｃ、後述する図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂにおいて、高輝度照射状態及び低輝度照射状態のそれぞれを、実線の矩形で示す。

ここで、撮像装置１２０は、第１の方向及び第２の方向に２次元マトリクス状に配列された撮像素子を有し、撮像装置１２０は、ローリングシャッター機構を有し、制御装置１３０は、高輝度照射状態において全ての撮像素子が参照光パターン及び被写体を撮像して第１画像信号を制御装置１３０に出力し、低輝度照射状態において全ての撮像素子が少なくとも被写体を撮像して第２画像信号を制御装置１３０に出力するように、光源１１０及び撮像装置１２０を制御する。

図１１Ａに示した例にあっては、１秒当たりの撮像フレーム数を１５（撮像フレームレート：１５ｆｐｓ）とし、１撮像フレーム期間を２つの期間（期間−１及び期間−２）に分割した。また、図１１Ｂ及び図１１Ｃに示した例にあっては、１秒当たりの撮像フレーム数を３０（撮像フレームレート：３０ｆｐｓ）とし、図１１Ｂでは、１撮像フレーム期間を２つの期間（期間−１及び期間−２）に分割し、図１１Ｃでは、１撮像フレーム期間を４つの期間（期間−１、期間−２、期間−３及び期間−４）に分割した。分割した期間の時間長さは同一である。１秒当たりの撮像フレーム数が多くなるほど、また、１撮像フレーム期間の分割期間数が多くなるほど、１撮像フレームを模式的に示す平行四辺形の形状が変化する。具体的には、左上から右下に延びる斜辺の傾斜角が、１秒当たりの撮像フレーム数が多くなるほど、また、１撮像フレーム期間の分割期間数が多くなるほど、大きくなる。即ち、１秒当たりの撮像フレーム数が多くなるほど、また、１撮像フレーム期間の分割期間数が多くなるほど、ローリングシャッター機構を採用した場合の感光時間が増大される。そして、以上の結果として、高輝度照射状態とし得る時間長さを長くすることができる。

１撮像フレーム内で全ての撮像素子に同じ光量の参照光パターンを照射できる時間が存在しないと、正確に環境光の影響を除去することが困難となる。図１１Ａに示す例にあっては、撮像時間Ｔ₁，Ｔ₂の時間長さは、期間−１、期間−２の時間長さの１０％程度である。従って、１秒当たりの撮像フレーム数は１５（撮像フレームレート：１５ｆｐｓ）以上、１撮像フレームにおける分割期間数は２以上であることが好ましい。そして、上述したとおり、１秒当たりの撮像フレーム数（撮像フレームレート）が多くなるほど、また、１撮像フレーム期間の分割期間数が多くなるほど、１撮像フレーム内で全ての撮像素子に同じ光量の参照光パターンを照射できる時間を長くすることができるので、１秒当たりの撮像フレーム数は３０（撮像フレームレート：３０ｆｐｓ以上）以上、１撮像フレームにおける分割期間数は２以上であることが一層好ましく、１秒当たりの撮像フレーム数は３０以上（撮像フレームレート：３０ｆｐｓ以上）、１撮像フレームにおける分割期間数は３以上であることがより一層好ましい。尚、図１１Ｂ、図１１Ｃに示す例にあっては、撮像時間Ｔ₁，Ｔ₂の時間長さは、期間−１、期間−２の時間長さの５０％、７０％程度である。

尚、高輝度出射状態において、光源１１０は動作状態（即ち、参照光パターンを出射している状態）とされ、低輝度出射状態において、光源１１０は不動作状態（即ち、参照光パターンを出射していない状態）とされる。図１１Ａ、図１１Ｂ、図１１Ｃにおいて、時刻ｔ₁₁からｔ₁₂の撮像時間Ｔ₁において、全ての撮像素子は高輝度照射状態にあり、時刻ｔ₂₁からｔ₂₂の撮像時間Ｔ₁において、全ての撮像素子は低輝度照射状態にある。

撮像装置１２０は、高輝度照射状態において参照光パターン及び被写体１４０を撮像して第１画像信号を制御装置１３０に出力し、低輝度照射状態において少なくとも被写体１４０を撮像して（実施例１にあっては、低輝度照射状態において被写体１４０を撮像して）第２画像信号を制御装置１３０に出力する。即ち、高輝度照射状態において参照光パターン及び被写体１４０を撮像して第１画像信号を得る（図２Ａ参照）。また、低輝度照射状態において少なくとも被写体１４０を撮像して第２画像信号を得る。具体的には、環境光下、被写体１４０を撮像して第２画像信号を得る（図２Ｂ参照）。撮像装置１２０の画像信号を得るための動作や各種処理、画像信号の制御装置１３０への送出に関連する動作や各種処理は、周知の動作、処理とすることができる。以下に説明する各種の実施例においても同様である。第１画像信号及び第２画像信号を得る時間的順序は、本質的に任意であり、例えば、第２画像信号を得た後、第１画像信号を得る形態とすることができる。第２画像信号をフレームメモリ１３１に記憶する。

そして、例えば、１撮像フレームが終了した後、制御装置１３０は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。即ち、制御装置１３０は、得られた第１画像信号からフレームメモリ１３１に記憶された第２画像信号を減算する処理を行う。

こうして得られた参照光パターン画像信号から、制御装置１３０は、図１４Ａに示した角度α，βを求め、更に、式（Ａ）に基づいて座標（ｘ，ｙ）を求め、また、ｚ座標を求め、以上の結果として、制御装置１３０は、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出することができる。尚、これらの処理アルゴリズムは、周知の処理アルゴリズムとすることができる。以下に説明する各種の実施例においても同様である。

実施例１において、第２画像信号は、参照光パターンが存在しない状態で得られた画像信号であり、第１画像信号は、参照光パターンが存在する状態で得られた画像信号である。従って、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号を得ることができる。即ち、環境光は、第１画像信号及び第２画像信号のいずれにも含まれる。従って、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。即ち、参照光パターンの輝度を増加させること無く、参照光パターンを撮像装置によって捉えることができる。また、光源における消費電力の増加といった問題や、場合によっては参照光パターンが視認されてしまうといった問題を解消することができる。しかも、より自由な環境（屋内や部屋の照度によらない、又は、屋外での使用）において、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等の測定が可能となるし、光源から遠い所に位置する被写体や画角の広い被写体にあっては参照光パターンが暗くなるが、それにも拘わらず、参照光パターンを撮像装置によって確実に捉えることが可能となり、距離制限を緩和することができる。更には、光源の光強度を低減することが可能となるため、例えば、半導体レーザ素子から光源を構成する場合にも高い安全性を確保することができる。以下の実施例においても同様である。

実施例２は、実施例１の変形である。概念図を図１Ｂに示す実施例２の撮像装置組立体１００₂において、撮像装置はステレオ撮像装置から構成されている。具体的には、撮像装置は、第１の撮像装置１２０Ａ及び第２の撮像装置１２０Ｂから構成されている。即ち、実施例１の撮像装置組立体における光源１１０を第１の撮像装置１２０Ａに置き換えて、光源２１０を、別途、配設する。撮像装置１２０Ａ，１２０Ｂにおけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。

以下、実施例２の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をステレオ法に基づき算出する。

制御装置１３０の制御下、光源１１０は、参照光パターンを高輝度及び低輝度のそれぞれで被写体１４０に向けて出射する。実施例２にあっても、実施例１と同様に、Ｔ₁＝Ｔ₂、１秒当たりの撮像フレーム数を３０（撮像フレームレート：３０ｆｐｓ）とした。また、高輝度出射状態において、光源１１０は動作状態（即ち、参照光パターンを出射している状態）とされ、低輝度出射状態において、光源１１０は不動作状態（即ち、参照光パターンを出射していない状態）とされる。

撮像装置１２０Ａ，１２０Ｂのそれぞれは、高輝度照射状態において参照光パターン及び被写体１４０を撮像して第１画像信号を制御装置１３０に出力し、低輝度照射状態において少なくとも被写体１４０を撮像して（実施例２にあっては、低輝度照射状態において被写体１４０を撮像して）第２画像信号を制御装置１３０に出力する。即ち、高輝度照射状態において参照光パターン及び被写体１４０を撮像して第１画像信号を得る（図３Ａ参照）。第１の撮像装置１２０Ａから得られた第１画像信号を『第１画像信号−Ａ』と呼び、第２の撮像装置１２０Ｂから得られた第１画像信号を『第１画像信号−Ｂ』と呼ぶ。また、低輝度照射状態において少なくとも被写体１４０を撮像して第２画像信号を得る。具体的には、環境光下、被写体１４０を撮像して第２画像信号を得る（図３Ｂ参照）。第１の撮像装置１２０Ａから得られた第２画像信号を『第２画像信号−Ａ』と呼び、第２の撮像装置１２０Ｂから得られた第２画像信号を『第２画像信号−Ｂ』と呼ぶ。第１画像信号−Ａと第１画像信号−Ｂ、及び、第２画像信号−Ａと第２画像信号−Ｂを、フレームメモリ１３１Ａ，１３１Ｂに記憶する。

そして、例えば、１撮像フレームが終了した後、制御装置１３０は、第１画像信号−Ａと第２画像信号−Ａとの差分、及び、第１画像信号−Ｂと第２画像信号−Ｂとの差分から参照光パターン画像信号（第１の撮像装置１３０Ａから得られた参照光パターン画像信号−Ａ、及び、第２の撮像装置１３０Ｂから得られた参照光パターン画像信号−Ｂ）を生成する。即ち、制御装置１３０は、得られた第１画像信号−Ａ及び第１画像信号−Ｂと第２画像信号−Ａ及び第２画像信号−Ｂとの間で減算処理を行う。

こうして得られた参照光パターン画像信号−Ａ及び参照光パターン画像信号−Ｂから、制御装置１３０は、図１４Ｂに示した角度α，βを求め、更に、式（Ａ）に基づいて座標（ｘ，ｙ）を求め、また、ｚ座標を求め、以上の結果として、制御装置１３０は、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をステレオ法に基づき算出することができる。尚、これらの処理アルゴリズムは、周知の処理アルゴリズムとすることができる。以下に説明する各種の実施例においても同様である。

実施例２において、第２画像信号−Ａ、第２画像信号−Ｂは、参照光パターンが存在しない状態で得られた画像信号であり、第１画像信号−Ａ、第１画像信号−Ｂは、参照光パターンが存在する状態で得られた画像信号である。従って、第１画像信号−Ａと第２画像信号−Ａとの差分、及び、第１画像信号−Ｂと第２画像信号−Ｂとの差分を算出することで、参照光パターン画像信号−Ａ及び参照光パターン画像信号−Ｂを得ることができる。環境光は、第１画像信号−Ａ、第１画像信号−Ｂ、第２画像信号−Ａ及び第２画像信号−Ｂのいずれにも含まれる。従って、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。

実施例３は、実施例１〜実施例２の変形である。実施例１〜実施例２にあっては、Ｔ₁＝Ｔ₂とした。一方、実施例３にあっては、
Ｔ₁＞Ｔ₂
とした。シャッター機構として、グローバルシャッター機構、ローリングシャッター機構のいずれも用いることができる。図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂに、シャッター機構としてローリングシャッター機構を用いた場合の、１撮像フレーム当たりの撮像時間Ｔ₁，Ｔ₂を模式的に示す。図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂに示す例にあっては、１秒当たりの撮像フレーム数を３０（撮像フレームレート：３０ｆｐｓ）とし、１撮像フレームは、２以上の期間、具体的には、４つの期間に均等に分割されている。各図において、時刻ｔ₁₁からｔ₁₂にあっては高輝度照射状態にある。また、時刻ｔ₂₁からｔ₂₂にあっては低輝度照射状態にある。

図１２Ａに示す例では、Ｔ₁／Ｔ₂＝Ｑの値は３を超えており、期間−１の一部分が低輝度照射状態にあり、期間−２の一部分、期間−３の全部、期間−４の一部分が高輝度照射状態にある。図１２Ｂに示す例では、Ｔ₁／Ｔ₂＝Ｑの値は３であり、期間−１の一部分が低輝度照射状態にあり、期間−２の一部分、期間−３の一部分、期間−４の一部分が高輝度照射状態にある。図１３Ａに示す例では、Ｔ₁／Ｔ₂＝Ｑの値は１であり、期間−２の全部が高輝度照射状態にあり、期間−４の全部が低輝度照射状態にある。図１３Ｂに示す例では、Ｔ₁／Ｔ₂＝Ｑの値は１を超えており、期間−１の一部分、期間−２の全部、期間−３の一部分、期間−４の全部が高輝度照射状態にあり、期間−１の残りの部分、期間−３の残りの部分が低輝度照射状態にある。尚、撮像装置組立体の使用者からの指示に基づき、撮像時間Ｔ₁，Ｔ₂を可変とすることもできるし、Ｔ₁／Ｔ₂の割合を可変とすることもできる。

図１２Ａ、図１２Ｂ、図１３Ａに示す例にあっては、１撮像フレームは複数の期間に分割されており、その内の１つの期間は低輝度照射状態とされ、残りの期間は高輝度照射状態とされる。あるいは又、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂ、特に図１３Ｂに示す例にあっては、高輝度照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い。

例えば、図１２Ａに示す例にあっては、時刻ｔ₁₁から時刻ｔ₁₂において得られた第１画像信号と、時刻ｔ₂₁から時刻ｔ₂₂において得られ、フレームメモリ１３１に記憶された第２画像信号との差分から、参照光パターン画像信号を得ることができる。但し、参照光パターン画像信号を得るために、以下の補正を施す必要がある。
（第１画像信号）−｛２＋（期間−３の時間長さ）／（Ｔ₂の時間長さ）｝×（第２画像信号）

図１２Ｂに示す例では、例えば、期間−１において得られた第２画像信号をフレームメモリ１３１に記憶しておき、期間−２において得られた画像信号と期間−１において得られた画像信号との差分、期間−３において得られた画像信号と期間−１において得られた画像信号との差分、期間−４において得られた画像信号と期間−１において得られた画像信号との差分に基づき、参照光パターン画像信号から環境光の影響を除去すればよい。

図１３Ａに示す例では、期間−１において得られた第２画像信号をフレームメモリ１３１に記憶しておき、期間−３において得られた画像信号と期間−１において得られた画像信号との差分に基づき、参照光パターン画像信号から環境光の影響を除去すればよい。

図１３Ｂに示す例では、期間−１において得られた第２画像信号をフレームメモリ１３１に記憶しておき、期間−１の一部分、期間−２の全部、期間３の一部分において得られた第１画像信号と、第２画像信号との差分に基づき、参照光パターン画像信号から環境光の影響を除去すればよい。

尚、参照光パターン画像信号が得難い場合には、Ｑの値を大きくすることが好ましい。また、環境光が乏しい場合、Ｑの値を変更して最適化を図ることが望ましい。例えば、環境光が殆ど存在しない場合、Ｑの値を非常に大きな値、あるいは、Ｑ＝∞としてもよい。

また、実施例３において、場合によっては、第１画像信号の信号量は、第２画像信号の信号量のＱ倍となる。従って、第１画像信号と第２画像信号との差分を算出するとき、第２画像信号の信号量をＱ倍にするか、第１画像信号の信号量を（１／Ｑ）とすればよい。

以上の点を除き、実施例３の撮像装置組立体あるいは撮像方法は、実施例１〜実施例２の撮像装置組立体あるいは撮像方法と同様とすることができるので、詳細な説明は省略する。

実施例４は、本開示の第２の態様に係る撮像装置組立体に関する。

概念図を図４Ａに示す実施例４の撮像装置組立体２００₁は、偏光された参照光パターンを出射する光源２１０、撮像装置２２０、並びに、光源２１０及び撮像装置２２０を制御する制御装置２３０を備えている。そして、撮像装置２２０は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第１偏光子２２１、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有する第２偏光子２２２を備えており、撮像装置２２０は、第１偏光子２２１を通過した偏光光に基づき得られた第１画像信号を制御装置２３０に出力し、第２偏光子２２２を通過した偏光光に基づき得られた第２画像信号を制御装置２３０に出力する。制御装置２３０は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。図面においては、偏光子２２１，２２２を、複数の細線を矩形で囲んだ図形で示す。複数の細線の延びる方向が偏光軸を示している。

実施例４の撮像装置組立体２００₁を構成する撮像装置２２０の概念図を図８Ａに示し、第１の偏光子２２１及び第２の偏光子２２２による偏光の状態を模式的に図８Ｂに示す。また、撮像装置２２０における撮像素子の模式的な一部断面図を図９Ａに示し、ワイヤグリッド偏光子の配列状態を模式的に図９Ｂに示す。更には、撮像装置２２０におけるベイヤ配列を有する撮像素子アレイの概念図を図１０に示す。尚、以下の説明において、光の進行方向をＺ軸方向、参照光パターンの偏光方向と平行な方向をＸ軸方向、参照光パターンの偏光方向と直交する方向をＹ軸方向とする。

実施例４あるいは後述する実施例５〜実施例６の撮像装置は、
被写体からの光を集光するレンズ系２０、並びに、
Ｘ軸方向及びＹ軸方向の２次元マトリクス状に撮像素子４１が配列されて成り、光入射側に第１偏光子２２１、第２偏光子２２２を有し、レンズ系２０によって集光された光を電気信号に変換する撮像素子アレイ４０、
を具備している。各偏光子２２１，２２２の消光比は、例えば、３以上、より具体的には１０以上である。

ここで、レンズ系２０は、例えば、撮像レンズ２１、絞り部２２及び結像レンズ２３を備えており、ズームレンズとして機能する。撮像レンズ２１は、被写体からの入射光を集光するためのレンズである。撮像レンズ２１は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含み、一般に、色収差等を補正するために複数枚のレンズの組合せによって実現されている。絞り部２２は、集光された光の量を調整するために絞り込む機能を有するものであり、一般に、複数枚の板状の羽根を組み合わせて構成されている。少なくとも絞り部２２の位置において、被写体の１点からの光は平行光となる。結像レンズ２３は、光を撮像素子アレイ４０上に結像する。撮像素子アレイ４０は、カメラ本体部１１の内部に配置されている。以上の構成において、入射瞳は、結像レンズ２３よりもカメラ本体部側に位置する。撮像装置から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダが構成される。

カメラ本体部１１は、撮像素子アレイ４０の他に、例えば、画像処理手段１２及び画像記憶部１３を備えている。撮像素子アレイ４０は、例えば、ＣＭＯＳイメージセンサー等によって実現される。画像処理手段１２は、撮像素子アレイ４０から出力された電気信号を画像データに変換して、画像記憶部１３に記録する。

模式的な一部断面図を図９Ａに示し、第１偏光子２２１及び第２偏光子２２２を構成するワイヤグリッド偏光子６７の配列状態を模式的に図９Ｂに示すように、撮像素子４１は、例えば、シリコン半導体基板６０に設けられた光電変換素子６１、並びに、その上に、第１平坦化膜６２、カラーフィルタ６３、オンチップレンズ６４、第２平坦化膜６５、無機絶縁下地層６６、及び、ワイヤグリッド偏光子６７が積層されて成る。尚、参照番号６９Ａ，６９Ｂは、遮光層及び配線層を示す。そして、ワイヤグリッド偏光子６７が、第１領域５１及び第２領域５２のそれぞれを構成する。尚、図９Ｂにおいては、画素の境界領域を実線で示した。ワイヤグリッド偏光子６７を構成する複数のワイヤ６８の延びる方向は、Ｘ軸方向あるいはＹ軸方向と平行である。具体的には、第１偏光子２２１を構成し、且つ、第１領域５１を構成するワイヤグリッド偏光子６７Ａにあっては、ワイヤ６８Ａの延びる方向はＹ軸方向と平行であり、第２偏光子２２２を構成し、且つ、第２領域５２を構成するワイヤグリッド偏光子６７Ｂにあっては、ワイヤ６８Ｂの延びる方向はＸ軸方向と平行である。ワイヤ６８の延びる方向がワイヤグリッド偏光子６７における光吸収軸となり、ワイヤ６８の延びる方向と直交する方向がワイヤグリッド偏光子６７における光透過軸（偏光軸）となる。第１領域５１を通過した第１領域通過光の偏光状態と、第２領域５２を通過した第２領域通過光の偏光状態とは異なる。

そして、第１領域５１を通過して撮像素子４１に到達した第１領域通過光によって、第１画像信号を得ることができるし、第２領域５２を通過して撮像素子４１に到達した第２領域通過光によって、第２画像信号を得ることができる。

図１０に概念図を示すように、撮像素子アレイ４０はベイヤ配列を有し、１画素は４つの撮像素子（赤色を受光する１つの赤色撮像素子「Ｒ」、青色を受光する１つの青色撮像素子「Ｂ」、緑色を受光する１つの緑色撮像素子「Ｇ」、及び、赤外線を受光する１つの赤外線撮像素子「Ｉ」）から構成されている。そして、Ｘ軸方向に沿って配列された１行の画素群に対して第１領域５１が配置されており、同様に、この画素群にＹ軸方向に隣接し、Ｘ軸方向に沿って配列された１行の画素群に対して第２領域５２が配置されている。第１領域５１と第２領域５２とは、Ｙ軸方向に沿って交互に配置されている。尚、第１領域５１及び第２領域５２は全体としてＸ軸方向に延びているが、第１領域５１及び第２領域５２のＸ軸方向及びＹ軸方向に沿った単位長さは、撮像素子４１のＸ軸方向及びＹ軸方向に沿った長さと等しい。そして、このような構成とすることで、第１画像信号及び第２画像信号が、Ｙ軸方向に沿って交互に生成される。尚、図１０において、第１領域５１の内部に縦線を付し、第２領域５２の内部に横線を付しているが、これらは、ワイヤグリッド偏光子６７Ａ，６７Ｂのワイヤを模式的に表している。

第１画像信号及び第２画像信号は、上述したとおり、Ｙ軸方向に沿って、一種、歯抜け状態となって生成される。そこで、画像処理手段１２は、画像データ作成のために、電気信号に対してデモザイク処理を施すと共に、例えば、超解像処理に基づく補間処理を行うことにより、最終的な画像データを生成、作成する。また、デモザイク処理により各撮像素子位置における画像データを得ることができるが、この段階では、上述したとおり、一種、歯抜け状態となっている。そのため、画像データが存在しない領域に対して、画像データを補間により生成する必要がある。補間の手法としては、近傍の値の加算平均値を利用する方法等、周知の方法を挙げることができる。この補間処理は、デモザイク処理と並行して行ってもよい。Ｘ軸方向においては画質は完全に保持されているので、画像全体の解像度低下等の画質劣化は比較的少ない。

以上に説明した撮像装置の構成、構造は、偏光子２２１，２２２を設けない点を除き、実施例１〜実施例３における撮像装置１２０に適用することができる。また、後述する実施例６における撮像装置にあっては、例えば、フィルム状あるいはシート状の第１偏光子２２３を第１の撮像装置２２０Ｃを構成するレンズ系２０の光入射側に配置し、フィルム状あるいはシート状の第２偏光子２２４を第２の撮像装置２２０Ｄを構成するレンズ系２０の光入射側に配置してもよい。

実施例４の撮像装置組立体２００₂は、撮像装置２２０を１つ備えている。撮像装置２２０におけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。偏光された参照光パターンを得るために、光源２１０の光出射側に偏光子２１１が配置されている。尚、光源から出射される光それ自体が偏光している場合には、光源２１０の光出射側に偏光子を配置しなくともよい。

以下、実施例４の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出する。尚、実施例４〜実施例６にあっては、１秒当たりの撮像フレーム数を３０（３０ｆｐｓ）とした。

制御装置２３０の制御下、光源２１０は、偏光された参照光パターンを所定の輝度において被写体２４０に向けて出射する。即ち、偏光された参照光パターンを被写体２４０に照射する。

撮像装置２２０は、光源２１０が動作状態（即ち、参照光パターンを出射している状態）にあるとき、参照光パターン及び被写体２４０を撮像して第１画像信号を制御装置２３０に出力し（図５Ａ参照）、同時に、被写体２４０を撮像して第２画像信号を制御装置２３０に出力する（図５Ｂ参照）。即ち、参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第１画像信号を得る。また、参照光パターンの偏光方向と直交する方向に偏光した偏光光（場合によっては、偏光方向に依らない光）に基づき第２画像信号を得る。第２画像信号には、参照光パターンに基づく画像信号は含まれない。第１画像信号及び第２画像信号をフレームメモリ２３１に記憶する。

そして、例えば、１撮像フレームが終了した後、制御装置２３０は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。即ち、制御装置２３０は、得られた第１画像信号から第２画像信号を減算する処理を行う。ところで、偏光状態が異なるため、たとえ、参照光パターンが照射されていない状態にあっても、環境光の影響を含む被写体から得られる第１画像信号と第２画像信号とは、同じ値とはならない。従って、単純に、第１画像信号と第２画像信号との差分を求めたのでは、偏光状態に起因した異なる画像信号が含まれた第１画像信号と第２画像信号との差分となる。従って、第１画像信号と第２画像信号との差分から、偏光状態に起因した画像信号を取り除く必要がある。

具体的には、第１画像信号と第２画像信号との差分を得るために、参照光パターンを被写体２４０に照射して第１偏光子２２１を通過した偏光光に基づき第１画像信号を得るといった処理（『参照光パターン照射処理』と呼ぶ）を行う。その一方で、或る頻度で、参照光パターンを被写体２４０に照射しないで、第１偏光子２２１を通過した偏光光に基づき第１画像信号を得るといった処理（『参照光パターン照射非処理』と呼ぶ）を行う。そして、参照光パターン照射非処理において得られた第１画像信号と第２画像信号との差分を基準差分として、参照光パターン照射処理において得られた第１画像信号と第２画像信号との差分から、更に、基準差分を減算することで、偏光状態に起因した信号を取り除くことができる。但し、偏光状態に起因した信号を取り除く処理は、以上に説明した処理に限定されるものではない。

こうして得られた参照光パターン画像信号から、制御装置２３０は、実施例１において説明したと同様に座標（ｘ，ｙ）を求め、また、ｚ座標を求め、以上の結果として、制御装置２３０は、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出することができる。

実施例４において、第２画像信号は、第２偏光子を通過した偏光光に基づき得られた画像信号（参照光パターンに基づく画像信号を含まない画像信号）であり、第１画像信号は、第１偏光子を通過した偏光光に基づき得られた画像信号（参照光パターンに基づく画像信号を含む画像信号）である。従って、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号を得ることができる。環境光は、第１画像信号及び第２画像信号のいずれにも含まれる。従って、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。しかも、偏光状態を応用することは、参照光パターンを高輝度照射パターンと低輝度照射パターンに変化させる機構を設けることが困難な場合や、例えば、変化させることによって生じる電磁波ノイズ等が不都合を生じさせる場合、あるいは又、光源に対してこのような変調を加えることが困難な場合に有効である。

実施例５は、実施例４の変形である。概念図を図４Ｂに示す実施例５の撮像装置組立体２００₂において、撮像装置はステレオ撮像装置から構成されている。具体的には、撮像装置は、第１の撮像装置２２０Ａ及び第２の撮像装置２２０Ｂから構成されている。撮像装置２２０Ａ，２２０Ｂにおけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。第１の撮像装置２２０Ａ及び第２の撮像装置２２０Ｂは、実施例４において説明した撮像装置２２０と同様の構成、構造を有する。

以下、実施例５の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をステレオ法に基づき算出する。

制御装置２３０の制御下、光源２１０は、偏光された参照光パターンを被写体２４０に向けて出射する。即ち、偏光された参照光パターンを被写体２４０に照射する。

第１の撮像装置２２０Ａは第１画像信号及び第２画像信号を制御装置２３０に出力し、第２の撮像装置２２０Ｂも第１画像信号及び第２画像信号を制御装置２３０に出力する（図６Ａ及び図６Ｂ参照）。第１の撮像装置２２０Ａから得られた第１画像信号を『第１画像信号−Ａ』と呼び、第２の撮像装置２２０Ｂから得られた第１画像信号を『第１画像信号−Ｂ』と呼ぶ。また、第１の撮像装置２２０Ａから得られた第２画像信号を『第２画像信号−Ａ』と呼び、第２の撮像装置２２０Ｂから得られた第２画像信号を『第２画像信号−Ｂ』と呼ぶ。第１画像信号−Ａと第１画像信号−Ｂ、及び、第２画像信号−Ａと第２画像信号−Ｂをフレームメモリ２３１Ａ，２３１Ｂに記憶する。

そして、例えば、１撮像フレームが終了した後、制御装置２３０は、第１画像信号−Ａと第２画像信号−Ａとの差分、及び、第１画像信号−Ｂと第２画像信号−Ｂとの差分から参照光パターン画像信号（第１の撮像装置２３０Ａから得られた参照光パターン画像信号−Ａ、及び、第２の撮像装置２３０Ｂから得られた参照光パターン画像信号−Ｂ）を生成する。即ち、制御装置２３０は、得られた第１画像信号−Ａ及び第１画像信号−Ｂと第２画像信号−Ａ及び第２画像信号−Ｂとの間で減算処理を行う。この処理は、実施例４において説明した処理と同様とすることができる。

こうして得られた参照光パターン画像信号−Ａ及び参照光パターン画像信号−Ｂから、制御装置２３０は、図１４Ｂに示した角度α，βを求め、更に、式（Ａ）に基づいて座標（ｘ，ｙ）を求め、また、ｚ座標を求め、以上の結果として、制御装置２３０は、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をステレオ法に基づき算出することができる。

実施例５において、第２画像信号−Ａ、第２画像信号−Ｂは、参照光パターンが存在しない状態で（あるいは又、偏光に起因して参照光パターンの存在が無視された状態で）得られた画像信号であり、第１画像信号−Ａ、第１画像信号−Ｂは、参照光パターンが存在する状態で得られた画像信号である。従って、第１画像信号−Ａと第２画像信号−Ａとの差分、及び、第１画像信号−Ｂと第２画像信号−Ｂとの差分を算出することで、参照光パターン画像信号−Ａ及び参照光パターン画像信号−Ｂを得ることができる。環境光は、第１画像信号−Ａ、第１画像信号−Ｂ、第２画像信号−Ａ及び第２画像信号−Ｂのいずれにも含まれる。従って、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。

尚、例えば、第１の撮像装置２２０Ａと光源２１０とを用いることで、アクティブステレオ法に基づき算出することもできる。

実施例６も、実施例４の変形である。概念図を図７に示す実施例６の撮像装置組立体２００₃において、撮像装置は２つの撮像装置２２０Ｃ，２２０Ｄから構成されている。但し、実施例５と異なり、２つの撮像装置２２０Ｃ，２２０Ｄによって、ステレオ撮像装置を構成することは必須ではない。また、実施例５と異なり、第１の撮像装置２２０Ｃには、参照光パターンの偏光方向と平行な方向に偏光軸を有する第１偏光子２２３が取り付けられており、第２の撮像装置２２０Ｄには、参照光パターンの偏光方向と直交する方向に偏光軸を有する第２偏光子２２４が取り付けられている。第１の撮像装置２２０Ｃによって第１画像信号が得られ、第２の撮像装置２２０Ｄによって第２画像信号が得られる。撮像装置２２０Ｃ，２２０Ｄにおけるシャッター機構は、グローバルシャッター機構、ローリングシャッター機構のいずれであってもよい。

以下、実施例６の撮像装置組立体を用いた撮像方法の概要を説明する。尚、この撮像方法にあっては、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をアクティブステレオ法に基づき算出する。

制御装置２３０の制御下、光源２１０は、偏光された参照光パターンを被写体２４０に向けて出射する。即ち、偏光された参照光パターンを被写体２４０に照射する。実施例６にあっては、実施例４〜実施例５と異なり、第１偏光子２２３を通過した偏光光に基づき第１の撮像装置２２０Ｃによって第１画像信号を得ると同時に、第２偏光子２２４を通過した偏光光に基づき第２の撮像装置２２０Ｄによって第２画像信号を得ることができる。

撮像装置２２０Ｃ，２２０Ｄのそれぞれは、第１画像信号及び第２画像信号を制御装置２３０に出力する。制御装置２３０は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する。即ち、制御装置２３０は、得られた第１画像信号から第２画像信号を減算する処理を行う。この処理は、実施例４において説明した処理と同様とすることができる。

こうして得られた参照光パターン画像信号から、制御装置２３０は、図１４Ａに示した角度α，βを求め、更に、式（Ａ）に基づいて座標（ｘ，ｙ）を求め、また、ｚ座標を求め、以上の結果として、制御装置２３０は、例えば、撮像装置から被写体までの距離や被写体の２次元・３次元形状、被写体の動き等をステレオ法に基づき算出することができる。

実施例６において、第２画像信号は、参照光パターンが存在しない状態で（あるいは又、偏光に起因して参照光パターンの存在が無視された状態で）得られた画像信号であり、第１画像信号は、参照光パターンが存在する状態で得られた画像信号である。従って、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号を得ることができる。環境光は、第１画像信号及び第２画像信号のいずれにも含まれる。従って、第１画像信号と第２画像信号との差分を算出することで、参照光パターン画像信号から環境光の影響を除去することができる。

以上、本開示を好ましい実施例に基づき説明したが、本開示はこれらの実施例に限定するものではない。実施例において説明した撮像装置組立体や撮像装置、光源、制御装置の構成、構造の構成は例示であり、適宜、変更することができる。また、実施例においては、種々の値を示したが、これらも例示であり、例えば、使用する光源、撮像装置、制御装置の仕様が変われば、変わることは当然である。実施例２〜実施例６において説明した撮像装置組立体を３次元形状測定装置や動き検出装置に適用することができることは云うまでもない。

尚、本開示は、以下のような構成を取ることもできる。
［Ａ０１］《撮像装置組立体：第１の態様》
参照光パターンを出射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
制御装置の制御下、光源は、参照光パターンを高輝度及び低輝度のそれぞれで被写体に向けて出射し、
撮像装置は、高輝度照射状態において参照光パターン及び被写体を撮像して第１画像信号を制御装置に出力し、低輝度照射状態において少なくとも被写体を撮像して第２画像信号を制御装置に出力し、
制御装置は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する撮像装置組立体。
［Ａ０２］制御装置はフレームメモリを備えており、
第１画像信号及び第２画像信号のいずれか一方をフレームメモリに記憶する［Ａ０１］に記載に撮像装置組立体。
［Ａ０３］高輝度照射状態において参照光パターン及び被写体を撮像するときの撮像時間をＴ₁、低輝度照射状態において少なくとも被写体を撮像するときの撮像時間をＴ₂としたとき、
Ｔ₁＞Ｔ₂
を満足する［Ａ０１］又は［Ａ０２］に記載に撮像装置組立体。
［Ａ０４］撮像装置組立体の使用者からの指示に基づき、撮像時間Ｔ₁，Ｔ₂は可変とされ、又は、Ｔ₁／Ｔ₂の割合は可変とされる［Ａ０３］に記載の撮像装置組立体。
［Ａ０５］１撮像フレームは複数の期間に分割されており、
その内の１つの期間は低輝度照射状態とされ、
残りの期間は高輝度照射状態とされる［Ａ０１］又は［Ａ０２］に記載に撮像装置組立体。
［Ａ０６］撮像フレームレートは３０フレーム／秒であり、
１撮像フレームは、２以上の期間に分割されている［Ａ０５］に記載の撮像装置組立体。
［Ａ０７］高輝度照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い［Ａ０１］又は［Ａ０２］に記載に撮像装置組立体。
［Ａ０８］撮像装置は、第１の方向及び第２の方向に２次元マトリクス状に配列された撮像素子を有し、
撮像装置は、ローリングシャッター機構を有し、
制御装置は、高輝度照射状態において全ての撮像素子が参照光パターン及び被写体を撮像して第１画像信号を制御装置に出力し、低輝度照射状態において全ての撮像素子が少なくとも被写体を撮像して第２画像信号を制御装置に出力ように、光源及び撮像装置を制御する［Ａ０１］乃至［Ａ０７］のいずれか１項に記載の撮像装置組立体。
［Ａ０９］高輝度出射状態において光源は動作状態とされ、低輝度出射状態において光源は不動作状態とされる［Ａ０１］乃至［Ａ０８］のいずれか１項に記載に撮像装置組立体。
［Ａ１０］撮像装置を１つ備えている［Ａ０１］乃至［Ａ０９］のいずれか１項に記載の撮像装置組立体。
［Ａ１１］制御装置は、得られた参照光パターン画像信号から、アクティブステレオ法に基づき、撮像装置から被写体までの距離を求める［Ａ１０］に記載の撮像装置組立体。
［Ａ１２］撮像装置はステレオ撮像装置から構成されている［Ａ０１］乃至［Ａ０９］のいずれか１項に記載の撮像装置組立体。
［Ａ１３］制御装置は、得られた参照光パターン画像信号から、ステレオ法に基づき、撮像装置から被写体までの距離を求める［Ａ１２］に記載の撮像装置組立体。
［Ａ１４］光源は赤外線を出射する［Ａ０１］乃至［Ａ１３］のいずれか１項に記載の撮像装置組立体。
［Ａ１５］光源は半導体発光素子から成る［Ａ０１］乃至［Ａ１４］のいずれか１項に記載の撮像装置組立体。
［Ｂ０１］《撮像装置組立体：第２の態様》
偏光された参照光パターンを出射する光源、
撮像装置、並びに、
光源及び撮像装置を制御する制御装置、
を備えており、
撮像装置は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第１偏光子、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有する第２偏光子を備えており、
撮像装置は、第１偏光子を通過した偏光光に基づき得られた第１画像信号を制御装置に出力し、第２偏光子を通過した偏光光に基づき得られた第２画像信号を制御装置に出力し、
制御装置は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する撮像装置組立体。
［Ｂ０２］制御装置はフレームメモリを備えており、
第１画像信号及び第２画像信号のいずれか一方をフレームメモリに記憶する［Ｂ０１］に記載に撮像装置組立体。
［Ｂ０３］撮像装置を１つ備えており、
撮像装置は、第１偏光子及び第２偏光子を備えている［Ｂ０１］又は［Ｂ０２］に記載の撮像装置組立体。
［Ｂ０４］制御装置は、得られた参照光パターン画像信号から、アクティブステレオ法に基づき、撮像装置から被写体までの距離を求める［Ｂ０３］に記載の撮像装置組立体。
［Ｂ０５］撮像装置を２つ備えており、
一方の撮像装置は第１偏光子を備えており、他方の撮像装置は第２偏光子を備えている［Ｂ０１］又は［Ｂ０２］に記載の撮像装置組立体。
［Ｂ０６］制御装置は、得られた参照光パターン画像信号から、アクティブステレオ法に基づき、撮像装置から被写体までの距離を求める［Ｂ０５］に記載の撮像装置組立体。
［Ｂ０７］撮像装置を２つ備えており、
各撮像装置は、第１偏光子及び第２偏光子を備えている［Ｂ０１］又は［Ｂ０２］に記載の撮像装置組立体。
［Ｂ０８］制御装置は、得られた参照光パターン画像信号から、ステレオ法に基づき、撮像装置から被写体までの距離を求める［Ｂ０７］に記載の撮像装置組立体。
［Ｂ０９］光源は赤外線を出射する［Ｂ０１］乃至［Ｂ０８］のいずれか１項に記載の撮像装置組立体。
［Ｂ１０］光源は半導体発光素子から成る［Ｂ０１］乃至［Ｂ０９］のいずれか１項に記載の撮像装置組立体。
［Ｃ０１］《３次元形状測定装置》
［Ａ０１］乃至［Ｂ１０］のいずれか１項に記載の撮像装置組立体を備えた３次元形状測定装置。
［Ｃ０２］演算装置を更に備えており、
演算装置は、参照光パターン画像信号から被写体の３次元形状を算出する［Ｃ０１］に記載の３次元形状測定装置。
［Ｄ０１］《動き検出装置》
［Ａ０１］乃至［Ｂ１０］のいずれか１項に記載の撮像装置組立体を備えた動き検出装置。
［Ｄ０２］演算装置を更に備えており、
演算装置は、参照光パターン信号から被写体の３次元形状を算出し、算出した３次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する［Ｄ０１］に記載の動き検出装置。
［Ｅ０１］《撮像方法：第１の態様》
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を撮像して第１画像信号を得る一方、低輝度照射状態において少なくとも被写体を撮像して第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する撮像方法。
［Ｅ０２］《撮像方法：第２の態様》
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第１画像信号を得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する撮像方法。
［Ｅ０３］《３次元形状測定方法：第１の態様》
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を撮像して第１画像信号を得る一方、低輝度照射状態において少なくとも被写体を撮像して第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成し、
参照光パターン画像信号から３次元形状を算出する３次元形状測定方法。
［Ｅ０４］《３次元形状測定方法：第２の態様》
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第１画像信号を得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第２画像信号を得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成し、
参照光パターン画像信号から３次元形状を算出する３次元形状測定方法。
［Ｅ０５］《動き検出方法：第１の態様》
参照光パターンを高輝度及び低輝度のそれぞれで被写体を照射し、
高輝度照射状態において参照光パターン及び被写体を、順次、撮像して第１画像信号を、順次、得る一方、低輝度照射状態において少なくとも被写体を、順次、撮像して第２画像信号を、順次、得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を、順次、生成し、
参照光パターン画像に基づき、被写体の３次元形状を、順次、算出し、算出した３次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する動き検出方法。
［Ｅ０６］《動き検出方法：第２の態様》
偏光された参照光パターンを被写体に照射し、
参照光パターンの偏光方向と平行な方向に偏光した偏光光に基づき第１画像信号を、順次、得る一方、参照光パターンの偏光方向と直交する方向に偏光した偏光光、又は、偏光方向に依らない光に基づき第２画像信号を、順次、得た後、
第１画像信号と第２画像信号との差分から参照光パターン画像信号を、順次、生成し、
参照光パターン画像に基づき、被写体の３次元形状を、順次、算出し、算出した３次元形状から被写体の特徴点を、順次、抽出して被写体の特徴点の位置を、順次、算出し、算出した特徴点の位置の変化から被写体の動きを検出する動き検出方法。

１００₁，１００₂，２００₁，２００₂，２００₃・・・撮像装置組立体、１１０，２１０・・・光源、１２０，１２０Ａ，１２０Ｂ，２２０，，２２０Ａ，２２０Ｂ，，２２０Ｃ，２２０Ｄ・・・撮像装置、１３０，２３０・・・制御装置、１３１，１３１Ａ，１３１Ｂ，２３１Ａ，２３１Ｂ，２３１・・・フレームメモリ、１４０，２４０・・・被写体、２２１，２２３・・・第１偏光子、２２２，２２４・・・第２偏光子、１１・・・カメラ本体部、１２・・・画像処理手段、１３・・・画像記憶部、２０・・・レンズ系、２１・・・撮像レンズ、２２・・・絞り部、２３・・・結像レンズ、４０・・・撮像素子アレイ、４１・・・撮像素子、５１・・・第１領域、５２・・・第２領域、６０・・・シリコン半導体基板、６１・・・光電変換素子、６２・・・第１平坦化膜、６３・・・カラーフィルタ、６４・・・オンチップレンズ、６５・・・第２平坦化膜、６６・・・無機絶縁下地層、６７・・・ワイヤグリッド偏光子、６７Ａ・・・第１領域を構成するワイヤグリッド偏光子、６７Ｂ・・・第２領域を構成するワイヤグリッド偏光子、６８，６８Ａ，６８Ｂ・・・ワイヤ、６９Ａ・・・遮光層、６９Ｂ・・・配線層

Claims (19)

1. 参照光パターンを出射する光源、
   撮像装置、並びに、
   光源及び撮像装置を制御する制御装置、
   を備えており、
   制御装置の制御下、光源は、参照光パターンを高輝度及び低輝度のそれぞれで被写体に向けて出射し、
   撮像装置は、高輝度照射状態において参照光パターン及び被写体を撮像して第１画像信号を制御装置に出力し、低輝度照射状態において少なくとも被写体を撮像して第２画像信号を制御装置に出力し、
   制御装置は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する撮像装置組立体。
2. 制御装置はフレームメモリを備えており、
   第１画像信号及び第２画像信号のいずれか一方をフレームメモリに記憶する請求項１に記載に撮像装置組立体。
3. 高輝度照射状態において参照光パターン及び被写体を撮像するときの撮像時間をＴ₁、低輝度照射状態において少なくとも被写体を撮像するときの撮像時間をＴ₂としたとき、
   Ｔ₁＞Ｔ₂
   を満足する請求項１に記載に撮像装置組立体。
4. 撮像装置組立体の使用者からの指示に基づき、撮像時間Ｔ₁，Ｔ₂は可変とされ、又は、Ｔ₁／Ｔ₂の割合は可変とされる請求項３に記載の撮像装置組立体。
5. １撮像フレームは複数の期間に分割されており、
   その内の１つの期間は低輝度照射状態とされ、
   残りの期間は高輝度照射状態とされる請求項１に記載の撮像装置組立体。
6. 撮像フレームレートは３０フレーム／秒であり、
   １撮像フレームは、２以上の期間に分割されている請求項５に記載の撮像装置組立体。
7. 高輝度照射状態において参照光パターン及び被写体を撮像する撮像期間と、低輝度照射状態において少なくとも被写体を撮像する撮像期間が繰り返され、前者の撮像期間が後者の撮像期間よりも長い請求項１に記載の撮像装置組立体。
8. 撮像装置は、第１の方向及び第２の方向に２次元マトリクス状に配列された撮像素子を有し、
   撮像装置は、ローリングシャッター機構を有し、
   制御装置は、高輝度照射状態において全ての撮像素子が参照光パターン及び被写体を撮像して第１画像信号を制御装置に出力し、低輝度照射状態において全ての撮像素子が少なくとも被写体を撮像して第２画像信号を制御装置に出力ように、光源及び撮像装置を制御する請求項１に記載の撮像装置組立体。
9. 高輝度出射状態において光源は動作状態とされ、低輝度出射状態において光源は不動作状態とされる請求項１に記載に撮像装置組立体。
10. 撮像装置を１つ備えている請求項１に記載の撮像装置組立体。
11. 撮像装置はステレオ撮像装置から構成されている請求項１に記載の撮像装置組立体。
12. 偏光された参照光パターンを出射する光源、
    撮像装置、並びに、
    光源及び撮像装置を制御する制御装置、
    を備えており、
    撮像装置は、参照光パターンの偏光方向と平行な方向に偏光軸を有する第１偏光子、及び、参照光パターンの偏光方向と直交する方向に偏光軸を有する第２偏光子を備えており、
    撮像装置は、第１偏光子を通過した偏光光に基づき得られた第１画像信号を制御装置に出力し、第２偏光子を通過した偏光光に基づき得られた第２画像信号を制御装置に出力し、
    制御装置は、第１画像信号と第２画像信号との差分から参照光パターン画像信号を生成する撮像装置組立体。
13. 制御装置はフレームメモリを備えており、
    第１画像信号及び第２画像信号のいずれか一方をフレームメモリに記憶する請求項１２に記載に撮像装置組立体。
14. 撮像装置を１つ備えており、
    撮像装置は、第１偏光子及び第２偏光子を備えている請求項１２に記載の撮像装置組立体。
15. 撮像装置を２つ備えており、
    一方の撮像装置は第１偏光子を備えており、他方の撮像装置は第２偏光子を備えている請求項１２に記載の撮像装置組立体。
16. 請求項１乃至請求項１５のいずれか１項に記載の撮像装置組立体を備えた３次元形状測定装置。
17. 演算装置を更に備えており、
    演算装置は、参照光パターン画像信号から被写体の３次元形状を算出する請求項１６に記載の３次元形状測定装置。
18. 請求項１乃至請求項１５のいずれか１項に記載の撮像装置組立体を備えた動き検出装置。
19. 演算装置を更に備えており、
    演算装置は、参照光パターン信号から被写体の３次元形状を算出し、算出した３次元形状から被写体の特徴点を抽出して被写体の特徴点の位置を算出し、算出した特徴点の位置の変化から被写体の動きを検出する請求項１８に記載の動き検出装置。

Images