JP6244061B2 - 距離画像取得装置及び距離画像取得方法 - Google Patents

Description

本発明は距離画像取得装置及び距離画像取得方法に係り、特に測距領域内の被写体に対して２次元に分布する構造化光を投射し、被写体の距離を示す距離画像を取得する技術に関する。

従来、この種の距離画像取得装置は、投射部から測距領域内の被写体に対して２次元に分布する構造化光のドットパターンを投射し、撮像部により被写体を撮像し、被写体上で反射するドットパターンを含む第１の画像を取得する。また、投射部からドットパターンを投射せずに撮像部により被写体を撮像し、ドットパターンの背景となる第２の画像を取得し、第１の画像から第２の画像を減算し、減算結果に基づいて距離画像（３次元距離情報）を三角測量法に基づいて演算し取得する（特許文献１）。

特許文献２は、一つの距離計測装置に複数の投射部（投影部）を備え、複数の投射部がそれぞれ投射したパターンを撮像部で混同しないように、複数の投射部が一つずつ順番に投射を行い撮像すること、又は複数の投射部から投射するパターン光を別の色にすることが記載されている。

特開２０１１−１６９７０１号公報 特開２０１４−１１５１０７号公報

特許文献１に記載の距離画像取得装置では、複数台の距離画像取得装置により同一の被写体の距離計測を同時に行うと、複数台の距離画像取得装置からそれぞれ投射されるドットパターンが混在し、距離画像を取得することができないという問題がある。１台の距離画像取得装置では距離画像を取得できない大きさの対象物体の距離計測を複数台の距離画像取得装置で同時に行いたい場合や、他者が距離画像取得装置を使っていることを知らずに使用者自らも距離画像取得装置を使う場合がある。特に、距離画像を直接表示等せずに他の用途に用いており、使用者自身が距離画像取得を行っている自覚が無い場合には、同時に同一場所で距離画像取得装置を使用してしまう可能性が高い。

特許文献２に記載の技術は、一台の装置に複数の投射部を設けた場合に、その一台の装置の撮像部でのパターンの混同を回避する技術であり、複数台の装置のそれぞれに設けられた複数の投射部からパターンを投射する場合への適用は困難である。

なぜなら、特許文献２に記載のように一台の装置に複数の投射部を設けた場合には、一台の装置内で統括制御を行うＣＰＵ（Central Processing Unit）から、複数の投射部のそれぞれに対して投射タイミング又は波長域を指示することにより、複数の投射部の時分割又は波長域分割（周波数分割ともいう）の制御を容易に行うことが可能であるが、互いに独立した複数台の装置のそれぞれに投射部が設けられている場合には、自機のＣＰＵから他機の投射部に対して、投射タイミング又は波長域を直接指示することができないからである。また、仮に、複数台の装置を統括制御するマスタ装置を新たに設けて、マスタ装置からスレーブ装置としての複数の装置それぞれに対して投射タイミング又は波長域を通信で指示する構成を想定してみると、マスタ装置の新設が必要なだけでなく、各装置の独立性を失わせることになるので、特に一般ユーザが自由に使用する端末への適用は難しい。

本発明はこのような事情に鑑みてなされたもので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射されたパターンに基づいて、精度の良い距離画像を取得することができる距離画像取得装置及び距離画像取得方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る距離画像取得装置は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射する投射部と、投射部から基線長だけ離れて並設され、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する撮像部と、撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別する判別部と、少なくとも判別部により第２のパターンが含まれないと判別された撮像画像から、第１のパターンを抽出するパターン抽出部と、パターン抽出部により抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、を備える。

この構成によれば、判別部により第２のパターン（他機から投射したパターンである）が含まれないと判別された撮像画像内のパターン（自機から投射した第１のパターンである）に基づいて、距離画像が取得されるので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射された第１のパターンに基づいて精度の良い距離画像を取得することができる。

上記の投射部の「構造化光の第１のパターンを複数の波長域で投射する」は、「構造化光の第１のパターンを複数の波長域で投射する機能を持つこと」を意味し、また、複数の波長域で同時に投射する場合（同時投射）と、順次に波長域を切替えて投射する場合（順次投射）があって、本発明はいずれの場合も含む。上記の撮像部の「複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する」は、「複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する機能を持つこと」を意味し、また、複数の波長域で同時に撮像する場合（同時撮像）と、順次に波長域を切替えて撮像する場合（順次撮像）があって、本発明はいずれの場合も含む。また、上記の撮像部の「撮像画像を生成する」は、撮像信号を読み出すこと、即ち単に撮像部の受光素子から電荷を撮像信号として読み出す場合を含む。

上記の判別部の「撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別する」は、撮像部により撮像した後に実際に撮像画像に第２のパターンが含まれるか否かの判別を行う場合と、撮像部により撮像する前に予め撮像画像に第２のパターンが含まれることになるか否かの判別を行う場合があって、本発明はいずれの場合も含む。

上記の抽出部の「判別部により第２のパターンが含まれないと判別された撮像画像から、第１のパターンを抽出する」は、判別部により第２のパターンが含まれないと判別する前に予め撮像画像からパターンを抽出しておく場合（即ち第２のパターンが含まれないと判別した後に抽出済のパターンを第１のパターンとして距離画像取得に用いる場合）と、判別部により第２のパターンが含まれないと判別した後に撮像画像から第１のパターンの抽出を行う場合があって、本発明はいずれの場合も含む。

本発明の他の態様に係る距離画像取得装置は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射する投射部と、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する撮像部と、複数の撮像画像を加算した加算画像から、第１のパターンを抽出するパターン抽出部と、パターン抽出部により抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、を備える。

この構成によれば、投射部から第１のパターンが複数の波長域で投射されて、撮像部により複数の波長域のそれぞれに感度をもって撮像することで複数の波長域のそれぞれに対応する複数の撮像画像が生成され、複数の撮像画像を加算した加算画像から距離画像取得用のパターン（自機から投射した第１のパターンである）が抽出されるので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射された第１のパターンに基づいて精度の良い距離画像を取得することができる。

本発明の他の態様に係る距離画像取得装置において、第１のパターン及び第２のパターンは、それぞれドットパターンであり、判別部は、撮像画像中のドットパターンのドット数が投射部から投射された第１のパターンのドット数を越えている場合に、撮像画像に第２のパターンが含まれると判別することが好ましい。即ち、撮像画像に他機から投射された第２のパターンが含まれるか否かをドット数に基づいて迅速に判別することが可能になる。

本発明の更に他の態様に係る距離画像取得装置において、他の距離画像取得装置から第２のパターンの投射の波長域を示すビーコン情報を受信するビーコン情報受信部を備え、判別部は、ビーコン情報によって示される波長域での撮像画像に第２のパターンが含まれると判別する。即ち、複数台の距離画像取得装置を統括制御するマスタ装置を新設することなく、撮像前に予め撮像画像に第２のパターンが含まれるか否かの判別を行うことができる。

本発明の更に他の態様に係る距離画像取得装置において、投射部から第１のパターンを複数の波長域のそれぞれで順次投射させる光変調部を備え、撮像部は、光変調部での波長域の切替えに同期して、複数の波長域のうちで投射部から投射中の第１のパターンの波長域のみに感度をもって撮像する。

本発明の更に他の態様に係る距離画像取得装置において、投射部は、第１のパターンを複数の波長域で同時に投射する。撮像部は、複数の波長域のそれぞれに感度をもつ複数種類の受光素子を有する。即ち、高フレームレートの距離画像生成が可能になる。

本発明の更に他の態様に係る距離画像取得装置において、撮像部に入射する光の透過波長域を切替える透過波長域切替デバイスと、透過波長域切替デバイスにより撮像部に入射する光の透過波長域を切替えることで、撮像部に複数の波長域のそれぞれに感度をもって撮像させる透過波長域制御部と、を備える。

本発明の更に他の態様に係る距離画像取得方法は、投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射するステップと、投射部から基線長だけ離れて並設された撮像部により、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成するステップと、撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別するステップと、少なくとも第２のパターンが含まれないと判別された撮像画像から、第１のパターンを抽出するステップと、抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得するステップと、を含む。

本発明の他の態様に係る距離画像取得方法において、投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射するステップと、投射部から基線長だけ離れて並設された撮像部により、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成するステップと、複数の撮像画像を加算した加算画像から、第１のパターンを抽出するステップと、抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得するステップと、を含む。

本発明によれば、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射されたパターンに基づいて、精度の良い距離画像を取得することができる。

本発明に係る距離画像取得装置の第１の実施形態を示す外観図である。 距離画像取得装置における距離画像取得の原理を説明するために用いる図である。 第１の実施形態の距離画像取得装置の内部構成例を示すブロック図である。 自機からドットパターンを投射した時に他機からドットパターンが投射されていない状態で撮像して得られた撮像画像の一例を示す図である。 自機からドットパターンを投射した時に他機からドットパターンが投射されている状態で撮像して得られた撮像画像の一例を示す図である。 複数の波長域のそれぞれに感度をもって撮像する撮像部の一例の受光素子配列を示す図である。 第１の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。 第１の実施形態における距離画像取得方法の他の例について処理の流れを示すフローチャートである。 第２の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。 第３の実施形態の距離画像取得装置の内部構成例を示すブロック図である。 自機から投射された第１のパターンと他機から投射された第２のパターンとに生じる加算値の差の説明に用いる説明図である。 第３の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。 透過波長域切替デバイスの一例を説明するために用いる図である。 距離画像取得装置の一例であるスマートフォンの外観図である。 スマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る距離画像取得装置及び距離画像取得方法の実施の形態について説明する。

＜第１の実施形態＞
図１は、本発明に係る距離画像取得装置１０の一例の外観を示す外観図である。

図１に示すように距離画像取得装置１０は、投射部１２と撮像部１４とを有し、シャッターボタン１１の操作による撮像指示入力が加えられると、後に詳しく説明するが、撮像領域（測距領域）内の被写体の距離（深度情報）を示す距離画像を取得する。

ここで、距離画像取得装置１０は、静止画撮像と同様に１フレーム分の距離画像を取得する静止画モードと、動画撮像と同様に所定のフレームレート（例えば、３０フレーム／秒、６０フレーム／秒）で連続する距離画像を取得する動画モードとを有し、これらの静止画モードと動画モードとは操作部２８（図３）のモード選択部の操作により適宜選択可能になっている。そして、静止画モードが選択されているときにシャッターボタン１１をワンプッシュすると、１フレーム分の距離画像を取得し、動画モードが選択されているときにシャッターボタン１１をワンプッシュすると、所定のフレームレートで連続する距離画像の取得を開始し、再度シャッターボタン１１をワンプッシュすると、距離画像の取得を停止する。

図２は、距離画像取得装置１０における距離画像取得の原理を説明するために用いる図である。

図２に示すように距離画像の取得時に投射部１２は、測距領域内の被写体に対して２次元に分布する構造化光のパターン（第１のパターン）を投射する。本実施形態では、構造化光の第１のパターンとして、マトリクス状のドットパターンを被写体に投射する。以下、投射部１２から投射される構造化光の第１のパターンを、「第１のドットパターン」ということもある。

撮像部１４は、被写体上で反射する第１のドットパターンを含む画像を撮像する。撮像部１４は、図２に示すように投射部１２から基線長Ｌだけ離れて並設されており、投射部１２から投射される第１のドットパターンと、撮像部１４により撮像される第１のドットパターンとの対応する各ドット間には被写体の距離に応じた視差が発生する。従って、投射部１２から投射される第１のドットパターンの各ドットの、撮像部１４により撮像されるイメージセンサ上の受光位置（図示せず）に基づいて三角測量法を用いて被写体の距離を示す距離画像を求めることができる。

尚、本実施形態の投射部１２は、図２に示すようにマトリクス状の第１のドットパターンを投射するが、これに限らず、ドット間隔がランダム（疑似ランダム）のドットパターンを投射してもよいし、メッシュ状のパターンを投射してもよい。

図３は、上記の距離画像取得装置１０の内部構成例を示すブロック図である。

距離画像取得装置１０は、前述した投射部１２及び撮像部１４の他に、ＡＤ（Analog-to-Digital）変換器１６、インターフェース回路１８、中央処理装置（ＣＰＵ：Central Processing Unit）２０、光変調部２２、駆動部２６、操作部２８、通信部３０、及び記憶部３２を備えている。

投射部１２は、発光ダイオード（ＬＥＤ：Light Emitting Diode）１２Ａと、回折光学素子１２Ｂと、投射光学系として機能する投射レンズ１２Ｃとから構成されている。ＬＥＤ１２Ａは、近赤外ＬＥＤを用いてよい。

回折光学素子１２Ｂは、光の回折現象を利用して光強度分布を変換する素子として機能し、本例ではＬＥＤ１２Ａから発光された光を入射し、図２に示したマトリクス状の第１のドットパターンに変換する。投射レンズ１２Ｃは、回折光学素子１２Ｂにより変換された光の第１のドットパターンを、撮像部１４による撮像領域（測距領域）と同じ測距領域の被写体に投射する。

撮像部１４は、結像レンズ１４Ａとイメージセンサ１４Ｂとから構成されている。結像レンズ１４Ａは、被写体からの反射光（投射部１２から投射され、被写体にて反射する第１のドットパターンを含む光像）をイメージセンサ１４Ｂに結像させる。

イメージセンサ１４Ｂは、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、イメージセンサ１４Ｂは、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

イメージセンサ１４Ｂは、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、特定の波長域の光のみを通過させるバンドパスフィルタ、又は特定の波長域以外の波長域の光を除去するカットフィルタが設けられている。これにより、イメージセンサ１４Ｂの複数の受光素子は、特定の波長域の光に対して感度をもった画素として機能する。

イメージセンサ１４Ｂは、図示しないタイミングジェネレータから加えられるタイミング信号（シャッター制御信号）により露光期間が制御され、イメージセンサ１４Ｂの各受光素子には、露光期間に入射する光の光量に対応する電荷が蓄積される。そして、イメージセンサ１４Ｂからは、被写体にて反射した第１のドットパターンの入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログの撮像信号）が読み出される。尚、被写体に環境光が照射され、環境光中に投射部１２から投射される投射光の波長域の成分が含まれている場合には、環境光中の投射光と同じ波長域の成分は、ノイズ信号として撮像信号に含まれることになる。

イメージセンサ１４Ｂから読み出されたアナログの撮像信号は、ＡＤ変換器１６によりデジタルの撮像信号（画像データ）に変換され、画像入力コントローラとして機能するインターフェース回路１８を経由してＣＰＵ２０に取り込まれる。尚、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器を含むものがあり、この場合にはＡＤ変換器１６は省略することができる。

ＣＰＵ２０は、詳細については後述するが、操作部２８での指示入力に応じて距離画像取得装置１０の露光制御、光変調部２２、及び駆動部２６等の各部を統括的に制御するデバイス制御部としての機能と、パターン抽出部２０Ａ、距離画像取得部２０Ｂ、及び判別部２０Ｃとしての機能とを有する。

パターン抽出部２０Ａは、インターフェース回路１８を介して入力する画像データとしての撮像画像から、第１のドットパターンを抽出する。例えば適当な閾値を設定し、この閾値に基づいて入力する画像データを２値化処理することにより、第１のドットパターンのみを示す画像データ（２値画像データ）を抽出する。

距離画像取得部２０Ｂは、パターン抽出部２０Ａにより抽出された第１のドットパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得（生成）する。例えば、第１のドットパターンを示す２値画像データに基づいて第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置（例えば、各ドットの重心の位置）を求め、求めた第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置に基づいてドット毎に被写体の距離を算出し、これにより測距領域内の被写体の距離を示す距離画像を取得（生成）する。尚、距離画像は、測距領域内の被写体の距離を示す２次元の距離情報であるが、距離情報を距離に対応する輝度値や色情報に置き換えることにより、距離画像を画像として視認することができる。

判別部２０Ｃは、他の距離画像取得装置（以下、単に「他機」という）から構造化光のパターン（第２のパターン）が投射されているか否かを判別する。以下、他機から構造化光の第２のパターンとしてマトリクス状のドットパターンを被写体に投射する場合を例に説明し、他機から投射される構造化光の第２のパターンを、「第２のドットパターン」ということもある。即ち、判別部２０Ｃは、撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する。

光変調部２２は、投射部１２から投射される第１のドットパターンを時間的に変調させる。駆動部２６は、ＣＰＵ２０からの指示の従って投射部１２を駆動する。操作部２８は、電源スイッチ、シャッターボタン１１、モード選択部等を含み、操作部２８での指示入力はＣＰＵ２０に加えられる。通信部３０は、他の周辺機器又はアクセスポイントとの間で近距離無線を行う。例えば他の距離画像取得装置との間でビーコン情報等の送受信を行う。記憶部３２は、距離画像取得に必要な情報、及びＣＰＵ２０で実行されるプログラムを記憶する。

次に、自機と他機からドットパターンが同時に投射される場合でも、自機から投射されたドットパターン（第１のドットパターン）のみに基づいて距離画像を取得する本実施形態の要部構成について、説明する。

投射部１２は、測距領域内の被写体に対して第１のドットパターンを複数の波長域で投射する。撮像部１４は、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のドットパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する。パターン抽出部２０Ａは、撮像画像から、ドットパターンを抽出する。判別部２０Ｃは、撮像画像中のドットパターンのドット数が投射部１２から投射された第１のドットパターンのドット数を越えている場合には、撮像画像に第２のドットパターンが含まれると判別し、撮像画像中のドットパターンのドット数が投射部１２から投射された第１のドットパターンのドット数以下である場合には、撮像画像に第２のドットパターンが含まれないと判別する。距離画像取得部２０Ｂは、判別部２０Ｃにより第２のドットパターンが含まれないと判別された撮像画像からパターン抽出部２０Ａにより抽出されたドットパターン（第１のドットパターンである）に基づいて、測距領域内の被写体の距離を示す距離画像を取得する。

図４は、自機からドットパターンを投射した時に他機からドットパターンが投射されていない状態で撮像部１４により撮像して得られた撮像画像の一例を示す図である。図４に示された撮像画像は、自機の投射部１２から投射されて測距領域Ａ内の被写体で反射された第１のドットパターンのみを含むため、前述の閾値を用いた２値化処理のように簡単な画像処理を行うことにより第１のドットパターンを抽出することができる。しかしながら、自機から第１のドットパターンを投射した時に他機から第２のドットパターンが投射され、且つ自機の第１のドットパターンの投射の波長域と他機の第２のドットパターン投射の波長域とが重なる場合、図５に示すように撮像部１４により撮像して得られた撮像画像の測距領域Ａ内に第１のドットパターンと第２のドットパターンとが重複する重複領域Ｂが存在し、且つ第１のドットパターンと第２のドットパターンとはドット形状が同一であるため、第１のドットパターンのみを抽出することができない。

しかしながら、上述の構成によれば、判別部２０Ｃにより第２のドットパターンが含まれないと判別された撮像画像からパターン抽出部２０Ａにより抽出されたドットパターン（第１のドットパターンである）に基づいて、測距領域内の被写体の距離を示す距離画像が取得される。

図６は、複数の波長域のそれぞれに感度をもって撮像する撮像部１４の一例の受光素子配列を示す図である。本例の撮像部１４のイメージセンサ１４Ｂは、受光の波長域が異なる４種類の受光素子（第１の受光素子Ｅ１、第２の受光素子Ｅ２、第３の受光素子Ｅ３、第４の受光素子Ｅ４）が互いに隣接して構成された受光素子セット１４Ｓが、一平面（受光面）上に２次元状に配列されて構成されている。尚、本例では波長域数が「４」であるが、本発明における波長域数は特に限定されず、波長域数が「２」或いは「３」でもよいし、「５」以上でもよい。即ち、受光素子セット１４Ｓを構成する受光素子の種類の数は「４」に限定されない。

複数の波長域のそれぞれに感度をもって撮像するため、複数の受光素子Ｅ１、Ｅ２、Ｅ３、Ｅ４の入射面側には、バンドパスフィルタ又はカットフィルタが設けられている。バンドパスフィルタ又はカットフィルタの配設態様には各種ある。例えば、第１の受光素子Ｅ１には第１の波長域の光のみを透過させるバンドパスフィルタを設け、第２の受光素子Ｅ２には第２の波長域の光のみを透過させるバンドパスフィルタを設け、第３の受光素子Ｅ３には第３の波長域の光のみを透過させるバンドパスフィルタを設け、第４の受光素子Ｅ４には第４の波長域の光のみを透過させるバンドパスフィルタを設ける態様がある。現実的には各波長域のみを透過可能なバンドパスフィルタの製造の困難性やコストなどの理由により、カットフィルタを用いた態様を採用することができる。複数の受光素子のうちの一つにはフィルタを設けない構成としてもよい。

図６の受光素子配列を持つ撮像部１４を用いて、次の二つの撮像モードでの撮像が可能になる。

第１の撮像モードでは、複数の波長域（本例では４波長域）のそれぞれで発光する複数種類のＬＥＤ１２Ａが設けられた投射部１２を用い、且つ光変調部２２により投射部１２から第１のドットパターンを複数の波長域のそれぞれで順次投射させる。この第１の撮像モードでは、撮像部１４は、光変調部２２での波長域の切替えに同期して、複数の波長域のうちで少なくとも投射部１２から投射中の第１のドットパターンの波長域に感度をもって撮像する。

第２の撮像モードでは、複数の波長域（本例では４波長域）のそれぞれで発光する複数種類のＬＥＤ１２Ａ又は複数の波長域にわたり発光するＬＥＤ１２Ａが設けられた投射部１２を用い、且つ光変調部２２により投射部１２から第１のドットパターンを複数の波長域で同時に投射させる。この第２の撮像モードでは、撮像部１４は、複数の波長域のそれぞれに感度をもって、複数の波長域で同時に撮像する。

図７は、第１の実施形態の距離画像取得装置１０を用いた距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。

まず、ＣＰＵ２０は、波長域を示す変数ｉを初期値である「１」に設定する（ステップＳ１０２）。

次に、投射部１２に、第１のドットパターンを第ｉの波長域で投射させる（ステップＳ１０４）。

次に、撮像部１４に、第ｉの波長域に感度をもって撮像させる（ステップＳ１０６）。撮像部１４で生成されたアナログの撮像信号（撮像画像）は、ＡＤ変換器１６によりデジタルの撮像信号に変換され、インターフェース回路１８により記憶部３２に記憶される。即ち、投射部１２から第ｉの波長域で投射された第１のドットパターンを含む撮像画像（以下「第ｉの波長域の撮像画像」という）が、記憶部３２に記憶される。

次に、パターン抽出部２０Ａにより、第ｉの波長域の撮像画像からドットパターンを抽出する（ステップＳ１０８）。

次に、判別部２０Ｃにより、第ｉの波長域の撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する（ステップＳ１１０）。本実施形態では、撮像画像から抽出されたドットパターンのドット数が投射部１２から投射された第１のドットパターンのドット数を越えている場合に、撮像画像に第２のドットパターンが含まれると判別する。

例えば、図４に示す第１のドットパターンが投射部１２から投射されている場合、第１のドットパターンの数は７０ドットである。例えば、図５に示すように、撮像画像の測距領域Ａ内に第１のドットパターンと第２のドットパターンとが重複する重複領域Ｂが存在する場合、撮像画像から検出されるドットパターンの数は自機の投射部１２から投射された第１のドットパターンのドット数（図４では７０ドット）を超える。図５では１１５ドット（＝７０ドット＋４５ドット）である。このように撮像画像から抽出されたドットパターンのドット数が、実際に投射された第１のドットパターンのドット数を越えている場合、判別部２０Ｃは撮像画像に第２のドットパターンが含まれると判定する。

第ｉの波長域の撮像画像に第２のドットパターンが含まれると判別された場合（ステップＳ１１０でＹＥＳの場合）、ＣＰＵ２０は、波長域を示す変数ｉが波長域数Ｎ（本例では「４」）に等しいか否かを判定する（ステップＳ１１２）。ステップＳ１１２でＮＯの場合、波長域を示す変数ｉのインクリメント（ｉ＝ｉ＋１）を行って（ステップＳ１１４）、ステップＳ１０４に戻り、次の波長域で投射、撮像及びパターン抽出を行う（ステップＳ１０４〜Ｓ１０８）。

第ｉの波長域の撮像画像に第２のドットパターンが含まれないと判定された場合（ステップＳ１１０でＮＯの場合）、距離画像取得部２０Ｂにより、第ｉの波長域の撮像画像から抽出されたドットパターン（即ち第１のドットパターン）に基づいて、距離画像を取得する（ステップＳ１１６）。

ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ１１８）、継続すると判定した場合（ステップＳ１１８でＹＥＳの場合）、波長域を示す変数ｉを「１」に初期化し（ステップＳ１０２）、ステップＳ１０４〜Ｓ１１８を繰り返す。継続しないと判定した場合（ステップＳ１１８でＮＯの場合）、本処理を終了する。本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。

他機から全ての波長域で第２のドットパターンが投射されている場合、ステップＳ１１２でＹＥＳとなり、ＣＰＵ２０により他処理が実行される（ステップＳ１３０）。他処理は適宜行えばよく、例えば本例とは実施形態が異なる他の距離画像取得処理により距離画像を取得することが好ましい。他機が複数の波長域の全てにわたり第２のドットパターンを投射する可能性が無い環境での距離画像取得では、通常は他処理（ステップＳ１３０）に進まないので、他処理としてエラー処理を行ってもよい。他機が複数の波長域の全てにわたり第２のドットパターンを投射する可能性がある環境でも、その可能性が低ければ、例えば他機からの第２のドットパターン投射の終了まで待つ待機処理を行ってもよい。

図８は、第１の実施形態の距離画像取得装置１０を用いた距離画像取得方法の他の例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。

まず、投射部１２により、複数の波長域で同時に、第１のドットパターンを測距領域内の被写体に投射させる（ステップＳ２０２）。即ち、波長域数を「Ｎ」とすると、第１の波長域から第Ｎの波長域までの広波長域で、第１のドットパターンを投射する。

次に、撮像部１４に、複数の波長域のそれぞれ（第１の波長域から第Ｎの波長域までのそれぞれの波長域）に感度をもって、測距領域内の被写体を撮像させる（ステップＳ２０４）。即ち、第１の波長域の撮像画像から第Ｎの波長域の撮像画像まで、Ｎ枚の撮像画像が記憶部３２に記憶される。

次に、ＣＰＵ２０は、波長域を示す変数ｉを初期値である「１」に設定する（ステップＳ２０６）。

次に、パターン抽出部２０Ａにより、第ｉの波長域の撮像画像からドットパターンを抽出する（ステップＳ２０８）。

次に、判別部２０Ｃにより、第ｉの波長域の撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する（ステップＳ２１０）。

第ｉの波長域の撮像画像に第２のドットパターンが含まれると判定された場合（ステップＳ２１０でＹＥＳの場合）、ＣＰＵ２０は、波長域を示す変数ｉが波長域数Ｎに等しいか否かを判定する（ステップＳ２１２）。ステップＳ２１２でＮＯの場合、波長域を示す変数ｉのインクリメント（ｉ＝ｉ＋１）を行って（ステップＳ２１４）、次の波長域でドットパターン抽出を行う（ステップＳ２０８）。

第ｉの波長域の撮像画像に第２のドットパターンが含まれないと判定された場合（ステップＳ２１０でＮＯの場合）、距離画像取得部２０Ｂにより、第ｉの波長域の撮像画像から抽出されたドットパターン（即ち第１のドットパターン）に基づいて、距離画像を取得する（ステップＳ２１６）。

ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ２１８）、継続すると判定した場合（ステップＳ２１８でＹＥＳの場合）、ステップＳ２０２〜Ｓ２１８を繰り返す。継続しないと判定した場合（ステップＳ２１８でＮＯの場合）、本処理を終了する。本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。

ステップＳ２３０は、図７に示したステップＳ１３０と同様であり、説明を省略する。

＜第２の実施形態＞
第２実施形態の距離画像取得装置１０の内部構成について、図３を用いて説明する。以下では、主に第１実施形態の距離画像取得装置１０と異なる点について説明し、第１実施形態で既に説明した内容は省略する。

本実施形態の通信部３０は、他機（他の距離画像取得装置）から直接又はアクセスポイントを介して、第２のドットパターンの投射の波長域を示す情報（以下、「波長域情報」という）を含むビーコン情報を受信する。即ち、通信部３０は、ビーコン情報受信部として機能する。

本実施形態の判別部２０Ｃは、ビーコン情報のうちの波長域情報によって示される波長域の撮像画像に第２のドットパターンが含まれると判別する。

図９は、第２の実施形態の距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。

まず、ＣＰＵ２０は、他の距離画像取得装置１０から発信されているビーコン情報を通信部３０により受信したか否かを判定する（ステップＳ３０２）。ビーコン情報の通信可能範囲内に他の距離画像取得装置１０が存在し、且つ他の距離画像取得装置１０がビーコン情報を発信している場合、通信部３０によりビーコン情報が受信される。通信部３０は、受信したビーコン情報に、タイムスタンプを付加して、記憶部３２に記憶させる。ＣＰＵ２０は、ビーコン情報に付加されたタイムスタンプを参照することにより、ビーコン情報が一定時間以内に受信されたか否かを判定することができる。

通信部３０によりビーコン情報が受信された場合（ステップＳ３０２でＹＥＳの場合）、ＣＰＵ２０は、受信されたビーコン情報から波長域情報を抽出する（ステップＳ３０４）。

次に、ＣＰＵ２０は、波長域を示す変数ｉを初期値である「１」に設定する（ステップＳ３０６）。

次に、判別部２０Ｃにより、第ｉの波長域の撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する（ステップＳ３０８）。即ち、判別部２０Ｃは、ビーコン情報中の波長域情報が第ｉの波長域を示す場合、第ｉの波長域の撮像画像に第２のドットパターンが含まれると判別し、ビーコン情報中の波長域情報が第ｉの波長域とは異なる波長域を示す場合、第ｉの波長域の撮像画像に第２のドットパターンが含まれないと判別する。

第ｉの波長域の撮像画像に第２のドットパターンが含まれると判定された場合（ステップＳ３０８でＹＥＳの場合）、ＣＰＵ２０は、波長域を示す変数ｉが波長域数Ｎに等しいか否かを判定する（ステップＳ３１０）。ステップＳ３１０でＮＯの場合、波長域を示す変数ｉのインクリメント（ｉ＝ｉ＋１）を行って（ステップＳ３１２）、ステップＳ３０８に戻り、次の波長域での判別を行う（ステップＳ３０８）。

第ｉの波長域の撮像画像に第２のドットパターンが含まれないと判定された場合（ステップＳ３０８でＮＯの場合）、投射部１２により第１のドットパターンを第ｉの波長域で投射し（ステップＳ３１４）、撮像部１４により少なくとも第ｉの波長域に感度をもって撮像し（ステップＳ３１６）、パターン抽出部２０Ａにより第ｉの波長域の撮像画像から第１のドットパターンを抽出し（ステップＳ３１８）、距離画像取得部２０Ｂにより第１のドットパターンに基づいて距離画像を取得する（ステップＳ３２０）。

ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ３２２）、継続すると判定した場合（ステップＳ３２２でＹＥＳの場合）、ステップＳ３０２〜Ｓ３２２を繰り返す。継続しないと判定した場合（ステップＳ３２２でＮＯの場合）、本処理を終了する。本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。

ステップＳ３３０は、図７に示したステップＳ１３０と同様であり、説明を省略する。

＜第３の実施形態＞
図１０は、本発明に係る第３の実施形態の距離画像取得装置１００の内部構成例を示すブロック図である。図１０において、図３に示した第１実施形態の距離画像取得装置１０と同様の構成要素には同じ符号を付してある。以下では、主として第１実施形態とは異なる点について説明し、第１実施形態で既に説明した内容は省略する。

本実施形態の距離画像取得装置１００のＣＰＵ２０は、パターン抽出部２０Ａと、距離画像取得部２０Ｂと、判別部２０Ｃと、加算画像生成部２０Ｄを備える。

投射部１２は、測距領域内の被写体に対して第１のドットパターンを複数の波長域で同時に投射する。撮像部１４は、複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のドットパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する。加算画像生成部２０Ｄは、複数の撮像画像を加算して、加算画像を生成する。パターン抽出部２０Ａは、加算画像から第１のドットパターンを抽出する。距離画像取得部２０Ｂは、パターン抽出部２０Ａにより抽出された第１のドットパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得する。本実施形態では判別部２０Ｃの省略が可能であるが、後述のように判別部２０Ｃを用いることで、更に精度の良い距離画像を取得することが、好ましい。

次に、パターン抽出部２０Ａによる加算画像からの第１のドットパターンの抽出例を説明する。

自機から複数の波長域（本例では第１の波長域から第４の波長域までの四つの波長域である）で同時に第１のドットパターンを連続波で投射し、他機からは一波長域で第２のドットパターンが連続波で投射されるとする。撮像部１４により一定の露光期間で露光を行って、加算画像生成部２０Ｄにより複数の波長域にわたって画素値（受光素子の蓄積電荷量に相当する）の加算を行う。そうすると、図１１に示すように、自機から複数の波長域で同時に投射された第１のドットパターンと、他機から投射された第２のドットパターンとでは、加算値に大きな差が生じる。連続波で投射を行うのではなく、パルス波で投射を行う場合でも、撮像部１４での露光期間（受光期間）を適切に設定することにより、加算値に適切な差を生じさせることができる。

そこで、パターン抽出部２０Ａは、加算画像中のドットパターンを構成する複数の画素のうちで、加算値（加算画像の画素値である）が閾値以上である画素は、第１のドットパターンの画素であると判定する。また、パターン抽出部２０Ａは、加算値が閾値未満である画素は第２のドットパターンの画素であると判定する。即ち、閾値に基づいて２値化処理することにより、加算画像から第１のドットパターンのみを示す画像データ（２値画像データ）を分離して抽出する。

尚、加算画像に第１のドットパターンと第２のドットパターンとのドットの重なりが存在する場合、そのドットの重なりを構成する画素は、第１のドットパターンの画素であると判定される。

他の態様として、ヒストグラムを用いる態様がある。具体的には、加算画像中のドットパターンを構成する複数の画素を対象に、画素値の出現頻度を示すヒストグラムを生成し、第１の画素のグループと第１の画素のグループよりも相対的に画素値が低い第２の画素のグループとに分類し、第１の画素のグループのみによって構成されるドットパターンを第１のドットパターンとして識別する。このようにヒストグラムを用いて、加算画像から第１のドットパターンのみを分離して抽出することが可能である。

ところで、もしも他機から複数の波長域（ただし自機よりも少ない波長域数である）で第２のドットパターンが投射されている場合、閾値の大小によっては、図１１中に点線で示すように、第２のドットパターンの加算値が閾値よりも高くなる可能性がある。このような場合、判別部２０Ｃにより、加算画像から抽出されるドットパターンのドットの数が投射部１２から実際に投射された第１のドットパターンの数を超えていると判別されるので、パターン抽出部２０Ａでは閾値を高くして加算画像からドットパターンを再抽出する。つまり、加算画像から抽出されるドットパターンのドットの数が投射部１２から実際に投射された第１のドットパターンの数以下になるまで閾値を高くして、再抽出を行うことにより、適切なパターン抽出を行うことができる。

図１２は、第３の実施形態の距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。

ステップＳ４０２及びＳ４０４は、それぞれ、図８に示した第１の実施形態の処理のステップＳ２０２及びＳ２０４と同様である。概要を説明すると、投射部１２により、第１のドットパターンを波長域数Ｎに対応する複数の波長域で同時に投射し（ステップＳ４０２）、撮像部１４により、波長域数Ｎに対応する複数の波長域のそれぞれに感度をもって撮像し、被写体で反射された第１のドットパターンを含む複数の撮像画像であって複数の波長域のそれぞれに対応する複数の撮像画像を生成する（ステップＳ４０４）。

次に、加算画像生成部２０Ｄにより、複数の撮像画像（第１の波長域の撮像画像から第Ｎの波長域の撮像画像まで）を加算して、加算画像を生成する（ステップＳ４０６）。即ち、加算画像生成部２０Ｄは、波長域数Ｎに対応する複数の撮像画像にわたって、互いに対応する画素位置の画素同士で画素値を加算することにより、加算値によって構成される加算画像を生成する。

次に、パターン抽出部２０Ａにより、加算画像から第１のドットパターンを抽出する（ステップＳ４０８）。

次に、距離画像取得部２０Ｂにより、加算画像から抽出された第１のドットパターンに基づいて、距離画像を取得する（ステップＳ４１０）。

次に、ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ４１２）、継続すると判定した場合（ステップＳ４１２でＹＥＳの場合）、ステップＳ４０２〜Ｓ４１２を繰り返す。継続しないと判定した場合（ステップＳ４１２でＮＯの場合）、本処理を終了する。本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。

図１２では、本実施形態の理解を容易にするため、距離画像取得処理の開始から終了まで複数の波長域でドットパターン投射する場合を例に示したが、本発明はこのような場合に限定されない。まず投射部１２により一つの波長域でドットパターン投射を行って、判別部２０Ｃにより一つの波長域の撮像画像に第２のドットパターンが含まれないと判別された場合（即ち他機から第２のドットパターンが投射されていないと判別された場合）、その一つの波長域の撮像画像から抽出した第１のドットパターンに基づいて距離画像を取得し、判別部２０Ｃにより一つの波長域の撮像画像に第２のドットパターンが含まれると判別された場合（即ち他機から第２のドットパターンが投射されていると判別された場合）、投射部１２での第１のドットパターンの投射を一波長域から複数の波長域に切替え、且つ加算画像の生成を行って、加算画像から抽出したドットパターンに基づいて距離画像を生成することが、好ましい。

＜複数の波長域で撮像する態様のバリエーション＞
本発明における撮像部は、図６に示した撮像部１４（複数の波長域のそれぞれに感度をもつ複数種類の受光素子を有する撮像部の一例である）には、特に限定されない。

例えば、図１３に例示する透過波長域切替デバイス５１を用いてもよい。本例の透過波長域切替デバイス５１は、透過波長域が異なる複数の透過フィルタ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄが撮像部１４の光軸方向に直交する方向Ｓに沿ってライン状に配列されて構成されている。ＣＰＵ２０は、図示を省略した駆動機構を介して透過波長域切替デバイス５１を方向Ｓに沿ってスライドさせることにより、撮像部１４に入射する光の透過波長域を切替える。即ち、ＣＰＵ２０は、透過波長域切替デバイス５１により撮像部１４に入射する光の透過波長域を切替えることで、撮像部１４に複数の波長域のそれぞれに感度をもって撮像させる透過波長域制御部として機能する。

本例の透過波長域切替デバイス５１を用いる場合、光変調部２２は、投射部１２から第１のドットパターンを複数の波長域のそれぞれで順次投射させる。また、撮像部１４は、光変調部２２での波長域の切替えに同期して、複数の波長域のうちで投射部１２から投射中の第１のドットパターンの波長域のみに感度をもって撮像する。即ち、前述の第２の撮像モードで撮像を行う。

尚、複数の透過フィルタ５１Ａ、５１Ｂ、５１Ｃ、５１Ｄをライン状に配列してスライドさせる場合を例に説明したが、このような場合に本発明は限定されない。例えば、複数の透過フィルタを輪状に配列した透過波長域切替デバイスを回動させる場合でもよい。

また、駆動機構により透過フィルタを選択する場合を説明したが、本発明はこのような場合に限定されない。撮像部１４への入射光の波長を光学的に切替えるデバイスを透過波長域切替デバイスとして用いてよい。

本発明を適用可能な態様は、距離画像を取得する単独の機能を備えている距離画像取得装置に限らず、一般のカラー画像の撮像が可能なデジタルカメラ、ビデオカメラが距離画像取得機能を搭載しているものでもよく、また、距離画像取得機能に加えて距離画像取得機能以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１４は、距離画像取得装置の実施形態であるスマートフォン５００の外観を示す斜視図である。

図１４に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、投射部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１５は、図１４に示したスマートフォン５００の構成を示すブロック図である。図１５に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、撮像部として機能するカメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３次元画像を鑑賞する場合には、表示パネル５２１は、３次元表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１４に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１４に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia
card micro type）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area
Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などのイメージセンサを用いて電子撮像する撮像装置である。

この場合、カメラ部５４１は、１つのイメージセンサ内に互いに受光の波長域が異なる複数の受光素子が設けられており、且つカラー撮像用の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）が混在して２次元配列されたものが好ましい。即ち、カメラ部５４１のイメージセンサとしては、カラー撮像用のＲＧＢのカラーフィルタが設けられたＲ画素、Ｇ画素及びＢ画素と、距離画像取得用のバンドパスフィルタ又はカットフィルタが設けられた画素（投射光のみに感度を有する画素）とが混在するものを使用することが好ましい。

投射部５４２は、ＬＥＤを有し、距離画像の取得時に光の第１のドットパターンを投射する。また、ＬＥＤは、光通信機能を有するスマートフォン５００の場合、光通信の光源として使用することも可能である。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た可視光の画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に被写体の距離を示す距離画像を記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１４に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

例えば投射部５４２によって本発明における投射部を構成してよい。例えばカメラ部５４１によって本発明における撮像部を構成してよい。例えば主制御部５０１によって本発明における判別部、パターン抽出部、距離画像取得部、及び加算画像生成部を構成してよい。図示を省略したがスマートフォン５００に本発明における光変調部及びビーコン情報受信部を設ける。

尚、本発明は、連続した距離画像を取得する場合（動画モード）には特に限定されず、１フレーム分の距離画像取得を行う場合（静止画モード）で実施可能であることは、言うまでもない。

本発明は、上述した実施形態には限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０、１００…距離画像取得装置、１２…投射部、１４…撮像部、１６…ＡＤ変換器、１８…インターフェース回路、２０…ＣＰＵ、２０Ａ…パターン抽出部、２０Ｂ…距離画像取得部、２０Ｃ…判別部、２０Ｄ…加算画像生成部、２２…光変調部、２６…駆動部、２８…操作部、３０…通信部、３２…記憶部、５１…透過波長域切替デバイス

Claims (7)

1. 測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射する投射部と、
   前記投射部から基線長だけ離れて並設され、前記複数の波長域のそれぞれに感度をもって撮像し、前記被写体で反射された前記第１のパターンを含む複数の撮像画像であって前記複数の波長域のそれぞれに対応する複数の撮像画像を生成する撮像部と、
   前記撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別する判別部と、
   少なくとも前記判別部により前記第２のパターンが含まれないと判別された撮像画像から、前記第１のパターンを抽出するパターン抽出部と、
   前記パターン抽出部により抽出された前記第１のパターンに基づいて、前記測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、
   を備え、
   前記第１のパターン及び前記第２のパターンは、それぞれドットパターンであり、
   前記判別部は、前記撮像画像中のドットパターンのドット数が前記投射部から投射された前記第１のパターンのドット数を越えている場合に、前記撮像画像に前記第２のパターンが含まれると判別する距離画像取得装置。
2. 前記他の距離画像取得装置から前記第２のパターンの投射の波長域を示すビーコン情報を受信するビーコン情報受信部を備え、
   前記判別部は、前記ビーコン情報によって示される波長域での撮像画像に前記第２のパターンが含まれると判別する請求項１に記載の距離画像取得装置。
3. 前記投射部から前記第１のパターンを前記複数の波長域のそれぞれで順次投射させる光変調部を備え、
   前記撮像部は、前記光変調部での波長域の切り換えに同期して、前記複数の波長域のうちで前記投射部から投射中の前記第１のパターンの波長域のみに感度をもって撮像する請求項１から４のいずれか一項に記載の距離画像取得装置。
4. 前記投射部は、前記第１のパターンを前記複数の波長域で同時に投射する請求項１から４のいずれか一項に記載の距離画像取得装置。
5. 前記撮像部は、前記複数の波長域のそれぞれに感度をもつ複数種類の受光素子を有する請求項１から６のいずれか一項に記載の距離画像取得装置。
6. 前記撮像部に入射する光の透過波長域を切替える透過波長域切替デバイスと、
   前記透過波長域切替デバイスにより前記撮像部に入射する光の透過波長域を切替えることで、前記撮像部に前記複数の波長域のそれぞれに感度をもって撮像させる透過波長域制御部と、
   を備える請求項１から６のいずれか一項に記載の距離画像取得装置。
7. 投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを複数の波長域で投射するステップと、
   前記投射部から基線長だけ離れて並設された撮像部により、前記複数の波長域のそれぞれに感度をもって撮像し、前記被写体で反射された前記第１のパターンを含む複数の撮像画像であって前記複数の波長域のそれぞれに対応する複数の撮像画像を生成するステップと、
   前記撮像画像に、他の距離画像取得装置から投射された構造化光の第２のパターンが含まれるか否かを判別するステップと、
   少なくとも前記第２のパターンが含まれないと判別された撮像画像から、前記第１のパターンを抽出するステップと、
   前記抽出された第１のパターンに基づいて、前記測距領域内の被写体の距離を示す距離画像を取得するステップと、
   前記撮像画像中のドットパターンのドット数が前記投射部から投射された前記第１のパターンのドット数を越えている場合に、前記撮像画像に前記第２のパターンが含まれると判別するステップと、
   を含み、
   前記第１のパターン及び前記第２のパターンは、それぞれドットパターンである距離画像取得方法。

Images