JPWO2016157600A1 - 距離画像取得装置及び距離画像取得方法 - Google Patents

Abstract

本発明は、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、精度の良い距離画像を取得することができる距離画像取得装置及び距離画像取得方法を提供する。距離画像取得装置（１０）は、構造化光のパターンを投射する投射部（１２）と、パターンの投射及び非投射の切換タイミングを符号で変調する光変調部（２２）と、投射部（１２）から基線長だけ離れて並設され、パターンの投射期間及び非投射期間に同期して撮像し、パターンの投射期間に撮像した第１の撮像画像及びパターンの非投射期間に撮像した第２の撮像画像を生成する撮像部（１４）と、第１と第２の撮像画像との差分画像を生成する差分画像生成部（２０Ｄ）と、差分画像からパターンを抽出するパターン抽出部（２０Ａ）と、パターン抽出部（２０Ａ）により抽出されたパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部（２０Ｂ）を備える。

Description

本発明は距離画像取得装置及び距離画像取得方法に係り、特に測距領域内の被写体に対して２次元に分布する構造化光を投射し、被写体の距離を示す距離画像を取得する技術に関する。

従来、この種の距離画像取得装置は、投射部から測距領域内の被写体に対して２次元に分布する構造化光のドットパターンを投射し、撮像部により被写体を撮像し、被写体上で反射するドットパターンを含む第１の画像を取得する。また、投射部からドットパターンを投射せずに撮像部により被写体を撮像し、ドットパターンの背景となる第２の画像を取得し、第１の画像から第２の画像を減算し、減算結果に基づいて距離画像（３次元距離情報）を三角測量法に基づいて演算し取得する（特許文献１）。

特許文献２は、一つの距離計測装置に複数の投射部（投影部）を備え、複数の投射部がそれぞれ投射したパターンを撮像部で混同しないように、複数の投射部が一つずつ順番に投射を行い撮像すること、又は複数の投射部から投射するパターン光を別の色にすることが記載されている。

特開２０１１−１６９７０１号公報 特開２０１４−１１５１０７号公報

特許文献１に記載の距離画像取得装置では、複数台の距離画像取得装置により同一の被写体の距離計測を同時に行うと、複数台の距離画像取得装置からそれぞれ投射されるドットパターンが混在し、距離画像を取得することができないという問題がある。１台の距離画像取得装置では距離画像を取得できない大きさの対象物体の距離計測を複数台の距離画像取得装置で同時に行いたい場合や、他者が距離画像取得装置を使っていることを知らずに使用者自らも距離画像取得装置を使う場合がある。特に、距離画像を直接表示等せずに他の用途に用いており、使用者自身が距離画像取得を行っている自覚が無い場合には、同時に同一場所で距離画像取得装置を使用してしまう可能性が高い。

特許文献２に記載の技術は、一台の装置に複数の投射部を設けた場合に、その一台の装置の撮像部でのパターンの混同を回避する技術であり、複数台の装置のそれぞれに設けられた複数の投射部からパターンを投射する場合への適用は困難である。

なぜなら、特許文献２に記載のように一台の装置に複数の投射部を設けた場合には、一台の装置内で統括制御を行うＣＰＵ（Central Processing Unit）から、複数の投射部のそれぞれに対して投射タイミング又は波長域を指示することにより、複数の投射部の時分割又は波長域分割（周波数分割ともいう）の制御を容易に行うことが可能であるが、互いに独立した複数台の装置のそれぞれに投射部が設けられている場合には、自機のＣＰＵから他機の投射部に対して、投射タイミング又は波長域を直接指示することができないからである。また、仮に、複数台の装置を統括制御するマスタ装置を新たに設けて、マスタ装置からスレーブ装置としての複数の装置それぞれに対して投射タイミング又は波長域を通信で指示する構成を想定してみると、マスタ装置の新設が必要なだけでなく、各装置の独立性を失わせることになるので、特に一般ユーザが自由に使用する端末への適用は難しい。

本発明はこのような事情に鑑みてなされたもので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射されたパターンに基づいて、精度の良い距離画像を取得することができる距離画像取得装置及び距離画像取得方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る距離画像取得装置は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部と、投射部から投射される第１のパターンの投射及び非投射の切換タイミングを符号で変調する光変調部と、投射部から基線長だけ離れて並設され、第１のパターンの投射期間及び非投射期間に同期して撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって第１のパターンの投射期間に撮像した第１の撮像画像及び第１のパターンの非投射期間に撮像した第２の撮像画像を生成する撮像部と、投射期間に撮像した第１の撮像画像と非投射期間に撮像した第２の撮像画像との差分画像を生成する差分画像生成部と、差分画像から第１のパターンを抽出するパターン抽出部と、パターン抽出部により抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、を備える。

この構成によれば、光変調部により投射部から投射される第１のパターンの投射及び非投射の切換タイミングが符号で変調されて、撮像部により第１のパターンの投射期間及び非投射期間に同期して撮像することで第１のパターンの投射期間に撮像した第１の撮像画像及び第１のパターンの非投射期間に撮像した第２の撮像画像が生成され、差分画像生成部により第１の撮像画像と第２の撮像画像との差分画像が生成されて、パターン抽出部により差分画像から第１のパターン（自機の投射部から投射したパターンである）が抽出されるので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射された第１のパターンのみに基づいて精度の良い距離画像を取得することが可能となる。

上記の撮像部の第１及び第２の「撮像画像」を「生成する」は、撮像信号を読み出すこと、即ち単に撮像部の受光素子から電荷を撮像信号として読み出す場合を含む。

本発明の他の態様に係る距離画像取得装置において、光変調部は、第１のパターンの投射及び非投射の切換タイミングをランダムな符号で変調する。即ち、ランダムな符号により第１のパターンの投射及び非投射の切換タイミングが変調されるので、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、パターンの投射及び非投射の切換タイミングを確実に異ならせることができる。

本発明の更に他の態様に係る距離画像取得装置において、他の距離画像撮像装置から第２のパターンが投射されているか否かを判別する判別部を備え、光変調部は、判別部により他の距離画像撮像装置から第２のパターンが投射されていると判別されると、投射部から投射される第１のパターンに対して変調を行う。即ち、他の距離画像撮像装置から第２のパターンが非投射である期間は、投射部から投射する第１のパターンを変調しないで距離画像を生成することが可能になる。

本発明の更に他の態様に係る距離画像取得装置において、他の距離画像取得装置から送信されるビーコン情報であって、他の距離画像取得装置から第２のパターンが投射されていることを示すビーコン情報を受信するビーコン情報受信部を備え、判別部は、ビーコン情報受信部がビーコン情報を受信すると、他の距離画像撮像装置から第２のパターンが投射されていると判別する。即ち、ビーコン情報の通信可能範囲内にビーコン情報を送信している他機が存在しない期間は、投射部から投射する第１のパターンを変調しないで距離画像を生成することが可能になる。

本発明の更に他の態様に係る距離画像取得装置において、第１のパターン及び第２のパターンは、それぞれドットパターンであり、判別部は、撮像部により撮像された撮像画像から検出されたドットパターンのドット数が投射部から投射した第１のパターンのドット数を越えているとき、他の距離画像撮像装置から第２のパターンが投射されていると判別する。即ち、他機から第２のパターンが投射されているか否かを容易に判別することが可能になる。

本発明の更に他の態様に係る距離画像取得装置において、撮像部は、距離画像のフレームレートに対応した露光期間で露光を行い、光変調部は、撮像部の露光期間の開始及び終了のタイミングに同期させて、第１のパターンの投射及び非投射の切換タイミングを変調する。

本発明の更に他の態様に係る距離画像取得方法は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンの投射及び非投射の切換タイミングを符号で変調し、投射部に第１のパターンを投射させるステップと、投射部から基線長だけ離れて並設された撮像部により、第１のパターンの投射期間及び非投射期間に同期して撮像し、被写体で反射された第１のパターンを含む複数の撮像画像であって第１のパターンの投射期間に撮像した第１の撮像画像及び第１のパターンの非投射期間に撮像した第２の撮像画像を生成するステップと、投射期間に撮像した第１の撮像画像と非投射期間に撮像した第２の撮像画像との差分画像を生成するステップと、差分画像から第１のパターンを抽出するステップと、抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得するステップと、を含む。

本発明によれば、自機と他機から同形状の構造化光のパターンが同時に投射される場合でも、自機から投射されたパターンに基づいて、精度の良い距離画像を取得することができる。

本発明に係る距離画像取得装置の第１の実施形態を示す外観図である。 距離画像取得の原理を説明するために用いる図である。 第１の実施形態の距離画像取得装置の内部構成例を示すブロック図である。 自機からドットパターンを投射した時に他機からドットパターンが投射されていない状態で撮像して得られた撮像画像の一例を示す図である。 自機からドットパターンを投射した時に他機からドットパターンが投射されている状態で撮像して得られた撮像画像の一例を示す図である。 パターンの投射及び非投射の切換タイミングの変調に用いる符号の説明図である。 ドットパターン混在時のドットの説明に用いる第１の説明図である。 第１の実施形態におけるパターンの投射及び非投射の切換タイミングの変調と差分画像の画素値との関係の説明に用いる第１の説明図である。 第１の実施形態におけるパターンの投射及び非投射の切換タイミングの変調と差分画像の画素値との関係の説明に用いる第２の説明図である。 第１の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。 第２の実施形態の距離画像取得装置の内部構成例を示すブロック図である。 第２の実施形態における距離画像取得方法の一例について処理の流れを示すフローチャートである。 距離画像取得装置の一例であるスマートフォンの外観図である。 スマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る距離画像取得装置及び距離画像取得方法の実施の形態について説明する。

＜第１の実施形態＞
図１は、本発明に係る距離画像取得装置１０の一例の外観を示す外観図である。

図１に示すように距離画像取得装置１０は、投射部１２と撮像部１４とを有し、シャッターボタン１１の操作による撮像指示入力が加えられると、後に詳しく説明するが、撮像領域（測距領域）内の被写体の距離（深度情報）を示す距離画像を取得する。

ここで、距離画像取得装置１０は、静止画撮像と同様に１フレーム分の距離画像を取得する静止画モードと、動画撮像と同様に所定のフレームレート（例えば、３０フレーム／秒、６０フレーム／秒）で連続する距離画像を取得する動画モードとを有し、これらの静止画モードと動画モードとは操作部２８（図３）のモード選択部の操作により適宜選択可能になっている。そして、静止画モードが選択されているときにシャッターボタン１１をワンプッシュすると、１フレーム分の距離画像を取得し、動画モードが選択されているときにシャッターボタン１１をワンプッシュすると、所定のフレームレートで連続する距離画像の取得を開始し、再度シャッターボタン１１をワンプッシュすると、距離画像の取得を停止する。

図２は、距離画像取得装置１０における距離画像取得の原理を説明するために用いる図である。

図２に示すように距離画像の取得時に投射部１２は、測距領域内の被写体に対して２次元に分布する構造化光のパターン（第１のパターン）を投射する。本実施形態では、構造化光の第１のパターンとして、マトリクス状のドットパターンを被写体に投射する。以下、投射部１２から投射される構造化光の第１のパターンを、「第１のドットパターン」ということもある。

撮像部１４は、被写体上で反射する第１のドットパターンを含む画像を撮像する。撮像部１４は、図２に示すように投射部１２から基線長Ｌだけ離れて並設されており、投射部１２から投射される第１のドットパターンと、撮像部１４により撮像される第１のドットパターンとの対応する各ドット間には被写体の距離に応じた視差が発生する。従って、投射部１２から投射される第１のドットパターンの各ドットの、撮像部１４により撮像されるイメージセンサ上の受光位置（図示せず）に基づいて三角測量法を用いて被写体の距離を示す距離画像を求めることができる。

尚、本実施形態の投射部１２は、図２に示すようにマトリクス状の第１のドットパターンを投射するが、これに限らず、ドット間隔がランダム（疑似ランダム）のドットパターンを投射してもよいし、メッシュ状のパターンを投射してもよい。

図３は、上記の距離画像取得装置１０の内部構成例を示すブロック図である。

距離画像取得装置１０は、前述した投射部１２及び撮像部１４の他に、ＡＤ（Analog-to-Digital）変換器１６、インターフェース回路１８、中央処理装置（ＣＰＵ：Central Processing Unit）２０、光変調部２２、駆動部２６、操作部２８、通信部３０、及び記憶部３２を備えている。

投射部１２は、近赤外発光ダイオード（近赤外ＬＥＤ（ＬＥＤ：Light Emitting Diode））１２Ａと、回折光学素子１２Ｂと、投射光学系として機能する投射レンズ１２Ｃとから構成されている。

回折光学素子１２Ｂは、光の回折現象を利用して光強度分布を変換する素子として機能し、本例では近赤外ＬＥＤ１２Ａから発光された近赤外光を入射し、図２に示したマトリクス状の第１のドットパターンに変換する。投射レンズ１２Ｃは、回折光学素子１２Ｂにより変換された近赤外光の第１のドットパターンを、撮像部１４による撮像領域（測距領域）と同じ測距領域の被写体に投射する。

撮像部１４は、結像レンズ１４Ａとイメージセンサ１４Ｂとから構成されている。結像レンズ１４Ａは、被写体からの反射光（投射部１２から投射され、被写体にて反射する第１のドットパターンを含む光像）をイメージセンサ１４Ｂに結像させる。

イメージセンサ１４Ｂは、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、イメージセンサ１４Ｂは、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

イメージセンサ１４Ｂは、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、投射部１２から投射される近赤外光の第１のドットパターンの波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタが設けられている。これにより、イメージセンサ１４Ｂの複数の受光素子は、近赤外光に対して感度をもった画素として機能する。

イメージセンサ１４Ｂは、図示しないタイミングジェネレータから加えられるタイミング信号（シャッター制御信号）により露光期間が制御され、イメージセンサ１４Ｂの各受光素子には、露光期間に入射する近赤外光の光量に対応する電荷が蓄積される。そして、イメージセンサ１４Ｂからは、被写体にて反射した第１のドットパターンの入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログ信号）が読み出される。尚、被写体に環境光が照射され、環境光中に近赤外光の波長帯域の成分が含まれている場合には、環境光中に近赤外光の波長帯域の成分は、ノイズ信号として画素信号に含まれることになる。

イメージセンサ１４Ｂから読み出されたアナログ信号は、ＡＤ変換器１６によりデジタル信号（画像データ）に変換され、画像入力コントローラとして機能するインターフェース回路１８を経由してＣＰＵ２０に取り込まれる。尚、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器を含むものがあり、この場合にはＡＤ変換器１６は省略することができる。

ＣＰＵ２０は、詳細については後述するが、操作部２８での指示入力に応じて距離画像取得装置１０の露光制御、光変調部２２、及び駆動部２６等の各部を統括的に制御するデバイス制御部としての機能と、パターン抽出部２０Ａ、距離画像取得部２０Ｂ、判別部２０Ｃ及び差分画像生成部２０Ｄとしての機能とを有する。

パターン抽出部２０Ａは、インターフェース回路１８を介して入力する画像データとしての撮像画像から、第１のドットパターンを抽出する。例えば適当な閾値を設定し、この閾値に基づいて入力する画像データを２値化処理することにより、第１のドットパターンのみを示す画像データ（２値画像データ）を抽出する。

距離画像取得部２０Ｂは、パターン抽出部２０Ａにより抽出された第１のドットパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得（生成）する。例えば、第１のドットパターンのみを示す２値画像データに基づいて第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置（例えば、各ドットの重心の位置）を求め、求めた第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置に基づいてドット毎に被写体の距離を算出し、これにより測距領域内の被写体の距離を示す距離画像を取得（生成）する。尚、距離画像は、測距領域内の被写体の距離を示す２次元の距離情報であるが、距離情報を距離に対応する輝度値や色情報に置き換えることにより、距離画像を画像として視認することができる。

判別部２０Ｃは、他の距離画像取得装置（以下、単に「他機」という）から構造化光のパターン（第２のパターン）が投射されているか否かを判別する部分である。以下、他機から構造化光の第２のパターンとしてマトリクス状のドットパターンを被写体に投射する場合を例に説明し、他機から投射される構造化光の第２のパターンを、「第２のドットパターン」ということもある。即ち、判別部２０Ｃは、撮像画像に他機から投射された第２のドットパターンが含まれるか否かを判別する。

差分画像生成部２０Ｄは、第１のドットパターンの投射期間に撮像した第１の撮像画像と、第１のドットパターンの非投射期間に撮像した第２の撮像画像との差分画像を生成する。光変調部２２は、投射部１２から投射される第１のドットパターンを時間的に変調させる。駆動部２６は、ＣＰＵ２０からの指示の従って投射部１２を駆動する。操作部２８は、電源スイッチ、シャッターボタン１１、モード選択部等を含み、操作部２８での指示入力はＣＰＵ２０に加えられる。

通信部３０は、他機又はアクセスポイントとの間で無線通信する近距離無線通信部であり、他機から直接又はアクセスポイントを介して送信されるビーコン情報を受信するビーコン情報受信部として機能する。判別部２０Ｃは、通信部３０からのビーコン情報の受信結果に応じて通信可能範囲に他機が存在しているか否か（即ち、他機から第２のドットパターンが投射されているか否か）を判別することができる。また、ビーコン情報として、他機が投射している構造化光のパターン（第２のドットパターンである）の形状を示す情報、及び第２のドットパターンの時間変調の変調内容を示す変調情報（特に第２のドットパターンの投射及び非投射の切換タイミングを示す符号）を含めることができ、この場合には、判別部２０Ｃは、通信部３０を介して受信するビーコン情報に基づいて他機から投射される第２のドットパターンに関する情報（第２のドットパターンの形状や時間変調の変調内容を示す変調情報等）を取得することができる。

次に、他機から第２のドットパターンが投射されている状態で距離画像を取得するための構成の要部について説明する。

図４は、自機からドットパターンを投射した時に他機からドットパターンが投射されていない状態で撮像部１４により撮像して得られた撮像画像の一例を示す図である。図４に示された撮像画像は、自機の投射部１２から投射されて測距領域Ａ内の被写体で反射された第１のドットパターンのみを含むため、前述の閾値を用いた２値化処理のように簡単な画像処理を行うことにより第１のドットパターンを抽出することができる。しかしながら、自機から第１のドットパターンを投射した時に他機から第２のドットパターンが投射された場合、図５に示すように撮像部１４により撮像して得られた撮像画像の測距領域Ａ内に第１のドットパターンと第２のドットパターンとが重複する重複領域Ｂが存在し、且つ第１のドットパターンと第２のドットパターンとはドット形状が同一であるため、撮像画像から第１のドットパターンを抽出することが困難になる。また、自機及び他機は、独立した別の距離画像取得装置であるため、自機のＣＰＵ２０から他機の投射部に対してパターン投射のタイミングを直接的に制御することは困難である。そこで、本実施形態の距離画像取得装置１０は、次の構成により、他機から第２のドットパターンが投射されている状態でも撮像画像から第１のドットパターンのみを抽出する。

投射部１２は、測距領域内の被写体に対して第１のドットパターンを投射する。撮像部１４は、第１のドットパターンの投射期間及び非投射期間に同期して撮像し、被写体で反射された第１のドットパターンを含む複数の撮像画像であって第１のドットパターンの投射期間に撮像した第１の撮像画像及び第１のドットパターンの非投射期間に撮像した第２の撮像画像を生成する。光変調部２２は、投射部１２から投射される第１のドットパターンの投射及び非投射の切換タイミングを符号で変調する。差分画像生成部２０Ｄは、第１のドットパターンの投射期間に撮像した第１の撮像画像と、第１のドットパターンの非投射期間に撮像した第２の撮像画像との差分画像を生成する。パターン抽出部２０Ａは、差分画像から第１のパターンを抽出する。距離画像取得部２０Ｂは、パターン抽出部２０Ａにより抽出された第１のパターンに基づいて、測距領域内の被写体の距離を示す距離画像を取得する。

次に、図６を用いて、パターンの投射及び非投射の切換タイミングの変調に用いる符号について説明する。

図６の左側に示す符号Ｃ１〜ＣＮは、図中の右側に示すように投射部１２から投射される第１のドットパターンの投射及び非投射の切換タイミングを示す情報である。本例では、符号は光変調部２２の符号記憶部２２Ａに予め記憶されており、光変調部２２は、符号記憶部２２Ａから読み出した符号に従って、投射部１２から投射する第１のドットパターンの投射及び非投射の切換タイミングを変調する。図６には、理解を容易にするため符号長が６ビットである符号Ｃ１〜ＣＮを示したが、符号長は特に限定されない。互いに符号長が異なる符号のセットを用いてよい。ただし、連続して距離画像を取得する動画モードの場合には、符号長が短いほど好ましい。

次に、図７に示すように、撮像画像に、自機から投射した第１のドットパターンＤＰ１と、他機から投射した第２のドットパターンＤＰ２とが含まれている場合の第１のドットパターンＤＰ１のみの抽出について、具体的な符号の例を示して説明する。

まず、第１のドットパターンＤＰ１の投射及び非投射の切換タイミングが図８の（Ａ）部分に示すように符号Ｃ１で変調され、且つ第２のドットパターンＤＰ２の投射及び非投射の切換タイミングが図８の（Ｂ）部分に示すように符号Ｃ２で変調されている場合について、説明する。

撮像部１４のイメージセンサ１４Ｂの受光面に２次元状に配置された受光素子は、第１のドットパターンの投射期間（図中のＴ１、Ｔ３）と、第１のドットパターンの非投射期間(図中のＴ２、Ｔ４)のそれぞれで、露光する。撮像部１４から、第１のドットパターンの投射期間に撮像して得られた第１の撮像画像と、第１のドットパターンの非投射期間に撮像して得られた第２の撮像画像とが出力される。尚、本例の撮像部１４は、受光素子から読み出した蓄積電荷の量に対応した信号値を持つアナログの撮像信号を、撮像画像として出力する。アナログの撮像信号は、ＡＤ変換器１６によりデジタルの撮像信号に変換され、インターフェース回路１８によりデジタルデータの撮像画像として記憶部３２に記憶される。差分画像生成部２０Ｄは、画素位置ごとに、第１の撮像画像の画素値（投射期間の蓄積電荷量に相当する）から、第２の撮像画像の画素値（非投射期間の蓄積電荷量に相当する）を減算することにより、差分画像を生成する。

図８の（Ｃ）部分は、差分画像のうちの第１のドットパターンＤＰ１に対応する画素の値（差分画素値Ｄ１１，Ｄ１２）を模式的に示す。差分画素値Ｄ１１は、第１のドットパターンＤＰ１の投射期間Ｔ１の露光量から非投射期間Ｔ２の露光量を減算した値に相当し、差分画素値Ｄ１２は、第１のドットパターンＤＰ１の投射期間Ｔ３の露光量から非投射期間Ｔ４の露光量を減算した値に相当する。図８の（Ｄ）部分は、差分画像のうちの第２のドットパターンＤＰ２に対応する画素の値（差分画素値Ｄ２１，Ｄ２２）を示す。差分画素値Ｄ２１は、第２のドットパターンＤＰ２の投射期間Ｔ１の露光量から非投射期間Ｔ２の露光量を減算した値に相当し、差分画素値Ｄ２２は、第２のドットパターンＤＰ２の投射期間Ｔ３の露光量から非投射期間Ｔ４の露光量を減算した値に相当する。

図８の（Ｃ）部分及び図８の（Ｄ）部分に示すように、投射期間Ｔ１及び非投射期間Ｔ２に対応する差分画素値Ｄ１１と差分画素値Ｄ２１とは差が小さいので、これら差分画素値Ｄ１１及びＤ２１からは、差分画像の画素が自機から投射した第１のドットパターンＤＰ１に対応する画素であるのか、他機から投射した第２のドットパターンＤＰ２に対応する画素であるのかを識別することが、困難である。

しかし、図８の（Ｃ）部分及び図８の（Ｄ）部分に示すように、投射期間Ｔ３及び非投射期間Ｔ４に対応する差分画素値Ｄ１２と差分画素値Ｄ２２とは差が大きいので、これら差分画素値Ｄ１２及びＤ２２から、差分画像の画素が自機から投射した第１のドットパターンＤＰ１に対応する画素であるのか、他機から投射した第２のドットパターンＤＰ２に対応する画素であるのかを識別可能である。即ち、第１のドットパターンＤＰ１と第２のドットパターンＤＰ２とでは投射及び非投射の切換タイミングの符号が異なっているため、自機の符号Ｃ１の符号長に対応する期間Ｔ１〜Ｔ４にわたって画素位置ごとに差分画素値を積算することで、第１のドットパターンＤＰ１を識別することが可能になる。ここで、符号Ｃ１は、複数の投射期間Ｔ１、Ｔ３及び複数の非投射期間Ｔ２、Ｔ４の切換タイミングを示し、かつ複数の投射期間Ｔ１、Ｔ３は互いに時間長が異なる（本例ではＴ１＜Ｔ３）。また、複数の非投射期間Ｔ２、Ｔ４は互いに時間長が異なる（本例ではＴ２＜Ｔ４）。

本例のパターン抽出部２０Ａは、例えば、自機の符号Ｃ１の符号長に対応する期間Ｔ１〜Ｔ４にわたって画素位置ごとに差分画素値を積算する。図中のＳ１及びＳ２は積算値に対応する値である。積算値が閾値以上であれば、その差分画素は第１のドットパターンの画素であると判別し、積算値が閾値未満であれば第１のドットパターンの画素ではないと判別することができる。即ち、差分画素値Ｄ１１及びＤ１２の積算値（Ｄ１１＋Ｄ１２）を閾値と比較することで、差分画像の画素が第１のドットパターンを構成する画素であると識別され、図８の（Ｄ）部分に示す差分画素値Ｄ２１及びＤ２２の積算値（Ｄ２１＋Ｄ２２）を閾値と比較することで、差分画像の画素が第１のドットパターンを構成する画素ではないと識別される。図８中のＳ１は積算値（Ｄ１１＋Ｄ１２）に相当し、図８中のＳ２は積算値（Ｄ２１＋Ｄ２２）に相当する。ヒストグラムを用いて、差分画像のうちで差分画素値の積算値が相対的に大きい画素のグループと差分画素値の積算値が相対的に小さい画素のグループとに分類し、差分画素値の積算値が相対的に大きい画素のグループを第１のドットパターンの画素のグループであると判定することにより、差分画像から第１のドットパターンを抽出してもよい。

次に、第１のドットパターンＤＰ１の投射及び非投射の切換タイミングが図９の（Ａ）部分に示すように符号Ｃ２で変調され、且つ第２のドットパターンＤＰ２の投射及び非投射の切換タイミングが図９の（Ｂ）部分に示すように符号Ｃ１で変調されている場合について、説明する。

図９の（Ｃ）部分において、差分画素値Ｄ１１及びＤ１２は、それぞれ、第１のドットパターンＤＰ１の投射期間Ｔ１と非投射期間Ｔ２との露光量差、及び第１のドットパターンＤＰ１の投射期間Ｔ３と非投射期間Ｔ４との露光量差に相当する。また、図９の（Ｄ）部分において、差分画素値Ｄ２１及びＤ２２は、それぞれ、第２のドットパターンＤＰ２の投射期間Ｔ１と非投射期間Ｔ２との露光量差、及び第２のドットパターンＤＰ２の投射期間Ｔ３と非投射期間Ｔ４との露光量差に相当する。

図９の（Ｃ）部分及び図９の（Ｄ）部分に示すように、投射期間Ｔ１及び非投射期間Ｔ２に対応する差分画素値Ｄ１１と差分画素値Ｄ２１とは差が小さいので、これら差分画素値Ｄ１１及びＤ２１からは、差分画像の画素が第１のドットパターンＤＰ１に対応する画素であるのか、第２のドットパターンＤＰ２に対応する画素であるのかを識別することが、困難である。

しかし、図９の（Ｃ）部分及び図９の（Ｄ）部分に示すように、投射期間Ｔ３及び非投射期間Ｔ４に対応する差分画素値Ｄ１２と差分画素値Ｄ２２とは差が大きいので、差分画素値Ｄ１２及びＤ２２から、自機から投射した第１のドットパターンの画素であるのか、他機から投射された第２のドットパターンの画素であるのかを、識別することができる。

本例のパターン抽出部２０Ａは、例えば、自機の符号Ｃ２の符号長に対応する期間Ｔ１〜Ｔ４にわたって画素位置ごとに差分画素値を積算する。図中のＳ３及びＳ４は積算値に対応する値である。積算値が閾値以上であれば、その差分画素は第１のドットパターンの画素であると判別し、積算値が閾値未満であれば第１のドットパターンの画素ではないと判別することができる。

図１０は、第１実施形態における距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。

まず、ＣＰＵ２０は、符号を識別する変数ｉを初期値である「１」に設定する（ステップＳ１０２）。

次に、光変調部２２に、符号記憶部２２Ａから、第１のドットパターンの投射及び非投射の切換タイミングを示す第ｉの符号（Ｃｉ）を取得させる（ステップＳ１０４）。

次に、光変調部２２により第ｉの符号で第１のドットパターンの投射及び非投射の切換タイミングを変調して、投射部１２から測距領域内の被写体に第１のドットパターンを投射し、且つ撮像部１４により第１のドットパターンの投射期間及び非投射期間に同期して測距領域内の被写体を撮像する（ステップＳ１０６）。撮像部１４から、被写体で反射された第１のドットパターンを含む複数の撮像画像であって、第１のドットパターンの投射期間に撮像して生成した第１の撮像画像及び第１のドットパターンの非投射期間に撮像して生成した第２の撮像画像が出力される。

次に、差分画像生成部２０Ｄにより、投射期間に撮像して得られた第１の撮像画像と非投射期間に撮像して得られた第２の撮像画像との差分画像が生成される（ステップＳ１０８）。

次に、パターン抽出部２０Ａにより、差分画像から第１のドットパターンが抽出される（ステップＳ１１０）。

次に、差分画像から第１のドットパターンが実際に抽出されたか否かを判定する（ステップＳ１１２）。第１のドットパターンが抽出されたと判定された場合（ステップＳ１１２でＹＥＳの場合）、距離画像取得部２０Ｂにより、差分画像から抽出された第１のドットパターンに基づいて、距離画像が取得される（ステップＳ１１８）。

ステップＳ１１２で第１のドットパターンが抽出されなかったと判定された場合（ステップＳ１１２でＮＯの場合）、符号を識別する変数ｉが符号数Ｎに等しいか否かを判定する（ステップＳ１１３）。ステップＳ１１３でＮＯの場合、変数ｉのインクリメント（ｉ＝ｉ＋１）を行って（ステップＳ１１４）、ステップＳ１０４に戻って次の符号が取得され、ステップＳ１０６〜Ｓ１１０を繰り返す。

ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ１２０）、継続すると判定した場合（ステップＳ１２０でＹＥＳの場合）、本例では符号を識別する変数ｉを変更しないまま、ステップＳ１０４〜Ｓ１１８を繰り返す。継続しないと判定した場合（ステップＳ１２０でＮＯの場合）、本処理を終了する。本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。

尚、全ての符号で差分画像から第１のドットパターンが抽出されなかった場合には、ＣＰＵ２０により他処理が実行される（ステップＳ１３０）。通常は、第１のドットパターンが抽出されるので、ステップＳ１３０はエラー処理としてよい。

＜第２の実施形態＞
第２の実施形態の距離画像取得装置１００の内部構成について、図１１を用いて説明する。以下では、主に図３に示した第１の実施形態の距離画像取得装置１０と異なる点について説明し、第１実施形態で既に説明した内容は省略する。

本実施形態の光変調部２２は、第１のドットパターンの投射及び非投射の切換タイミングを、ランダムな符号で変調する。

光変調部２２は、ランダムな符号を生成する符号生成部２２Ｂを備える。光変調部２２は、符号生成部２２Ｂで生成されたランダムな符号を用いて、第１のドットパターンの変調を行う。

図１２は、第２の実施形態の距離画像取得方法の一例の処理の流れを示すフローチャートであり、主としてＣＰＵ２０の制御によりプログラムに従って実行される処理の流れを示す。本処理は、動画モードでの距離画像取得処理であり、例えばシャッターボタン１１がワンプッシュされると開始される。

まず、符号生成部２２Ｂは、第１のドットパターンの投射及び非投射の切換タイミングを示す符号として、ランダムな符号を生成（取得）する（ステップＳ２０４）。記憶部３２に予めランダムな符号を記憶させておき、記憶部３２からランダムな符号を読み出すことにより、ランダムな符号を取得してもよい。

次に、光変調部２２によりランダムな符号で第１のドットパターンの投射及び非投射の切換タイミングを変調して、投射部１２から測距領域内の被写体に第１のドットパターンを投射し、且つ撮像部１４により第１のドットパターンの投射期間及び非投射期間に同期して測距領域内の被写体を撮像する（ステップＳ２０６）。撮像部１４から、被写体で反射された第１のドットパターンを含む複数の撮像画像であって、第１のドットパターンの投射期間に撮像して生成した第１の撮像画像及び第１のドットパターンの非投射期間に撮像して生成した第２の撮像画像が出力される。

ステップＳ２０８及びステップＳ２１０は、図１０に示した第１の実施形態のステップＳ１０８及びステップＳ１１０と同様であり、説明を省略する。

差分画像から第１のドットパターンが実際に抽出されたか否かを判定し（ステップＳ２１２）、第１のドットパターンが抽出されたと判定された場合（ステップＳ２１２でＹＥＳの場合）、距離画像取得部２０Ｂにより、差分画像から抽出された第１のドットパターンに基づいて、距離画像が取得される（ステップＳ２１８）。

ステップＳ１１２で第１のドットパターンが抽出されなかったと判定された場合（ステップＳ２１２でＮＯの場合）、ステップＳ２０４に戻り、次のランダム符号が取得され、ステップＳ２０６〜Ｓ２１０を繰り返す。

ＣＰＵ２０は、距離画像取得を継続するか否かを判定し（ステップＳ２２０）、継続すると判定した場合（ステップＳ２２０でＹＥＳの場合）、ステップＳ２０４〜Ｓ２１８を繰り返す。継続しないと判定した場合（ステップＳ２２０でＮＯの場合）、本処理を終了する。本処理は、動画モードでの距離画像取得であり、シャッターボタン１１が再度ワンプッシュされると終了する。

＜変調開始の制御について＞
本実施形態の理解を容易にするため、図１０及び図１２を用いて他機からの第２のドットパターンの投射の有無に関係なく符号を用いて変調する場合を例に説明したが、本発明はこのような場合に限定されない。他機からの第２のドットパターンが投射されていない時には第１のドットパターンを符号で変調しないことが、好ましい。

まず投射部１２により例えば連続波で第１のドットパターンの投射を行って、判別部２０Ｃにより撮像画像に第２のドットパターンが含まれないと判別された場合（即ち他機から第２のドットパターンが投射されていないと判別された場合）、その撮像画像から抽出した第１のドットパターンに基づいて距離画像を取得し、判別部２０Ｃにより撮像画像に第２のドットパターンが含まれると判別された場合（即ち他機から第２のドットパターンが投射されていると判別された場合）、光変調部２２により第１のドットパターンの投射期間及び非投射期間の切換えの符号変調を開始することが、好ましい。

判別部２０Ｃにより他機から第２のパターンが投射されているか否かを判別する判別態様には、各種ある。

第１に、他機から送信されるビーコン情報であって他機から第２のドットパターンが投射されていることを示すビーコン情報を通信部３０により受信すると、他機から第２のドットパターンが投射されていると判別する態様がある。

第２に、撮像部１４により撮像された撮像画像から検出されたドットパターンのドット数が投射部１２から投射した第１のドットパターンのドット数を越えているとき、他機から第２のドットパターンが投射されていると判別する態様がある。

＜符号の符号長＞
符号長は、図６に示した符号長には限定されない。第１の実施形態では、符号長が異なる複数の符号を符号記憶部２２Ａに記憶させておき、最も符号長が短い符号から順に変調に用い、パターン抽出部２０Ａでパターンを抽出できない場合、光変調部２２は、符号長がより長い符号に切換えて変調を行うことが、好ましい。第２の実施形態では、パターン抽出部２０Ａでパターンを抽出できない場合、光変調部２２は、符号長がより長い符号を符号生成部２２Ｂで生成して変調を行うことが、好ましい。

＜動画モードと静止画モードについて＞
動画モードの場合、撮像部１４は、連続した距離画像のフレームレートに対応した露光期間で露光を行い、光変調部２２は、撮像部１４の露光期間の開始及び終了のタイミングに同期させて、第１のドットパターンの投射及び非投射の切換タイミングを変調する。

尚、本発明は、連続した距離画像を取得する場合（動画モード）には特に限定されず、１フレーム分の距離画像取得を行う場合（静止画モード）で実施可能である。

本発明を適用可能な態様は、距離画像を取得する単独の機能を備えている距離画像取得装置に限らず、一般のカラー画像の撮像が可能なデジタルカメラ、ビデオカメラが距離画像取得機能を搭載しているものでもよく、また、距離画像取得機能に加えて距離画像取得機能以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１３は、距離画像取得装置の実施形態であるスマートフォン５００の外観を示す斜視図である。

図１３に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、投射部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１４は、図１３に示したスマートフォン５００の構成を示すブロック図である。図１４に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、撮像部として機能するカメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３次元画像を鑑賞する場合には、表示パネル５２１は、３次元表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ(Liquid Crystal Display)、ＯＥＬＤ(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１３に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１３に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Ｍｉｃｒｏ ＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)やＣＣＤ(Charge-Coupled Device)などのイメージセンサを用いて電子撮像する撮像装置である。

この場合、カメラ部５４１は、１つのイメージセンサ内に互いに受光の波長域が異なる複数の受光素子が設けられており、且つカラー撮像用の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）が混在して２次元配列されたものが好ましい。即ち、カメラ部５４１のイメージセンサとしては、カラー撮像用のＲＧＢのカラーフィルタが設けられたＲ画素、Ｇ画素及びＢ画素と、距離画像取得用のバンドパスフィルタ又はカットフィルタが設けられた画素（投射光のみに感度を有する画素）とが混在するものを使用することが好ましい。

投射部５４２は、ＬＥＤを有し、距離画像の取得時に光の第１のドットパターンを投射する。また、ＬＥＤは、光通信機能を有するスマートフォン５００の場合、光通信の光源として使用することも可能である。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た可視光の画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に被写体の距離を示す距離画像を記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１３に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

例えば投射部５４２によって本発明における投射部を構成してよい。例えばカメラ部５４１によって本発明における撮像部を構成してよい。例えば主制御部５０１によって本発明における判別部、差分画像生成部、パターン抽出部、及び距離画像取得部を構成してよい。図示を省略したがスマートフォン５００に本発明における光変調部及びビーコン情報受信部を設ける。

本発明は、上述した実施形態には限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…距離画像取得装置、１２…投射部、１４…撮像部、１６…ＡＤ変換器、１８…インターフェース回路、２０…ＣＰＵ、２０Ａ…パターン抽出部、２０Ｂ…距離画像取得部、２０Ｃ…判別部、２０Ｄ…差分画像生成部、２２…光変調部、２２Ａ…符号記憶部、２２Ｂ…符号生成部、２６…駆動部、２８…操作部、３０…通信部、３２…記憶部

Claims (7)

1. 測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部と、
   前記投射部から投射される前記第１のパターンの投射及び非投射の切換タイミングを符号で変調する光変調部と、
   前記投射部から基線長だけ離れて並設され、前記第１のパターンの投射期間及び非投射期間に同期して撮像し、前記被写体で反射された前記第１のパターンを含む複数の撮像画像であって前記第１のパターンの投射期間に撮像した第１の撮像画像及び前記第１のパターンの非投射期間に撮像した第２の撮像画像を生成する撮像部と、
   前記投射期間に撮像した第１の撮像画像と前記非投射期間に撮像した第２の撮像画像との差分画像を生成する差分画像生成部と、
   前記差分画像から前記第１のパターンを抽出するパターン抽出部と、
   前記パターン抽出部により抽出された前記第１のパターンに基づいて、前記測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、
   を備える距離画像取得装置。
2. 前記光変調部は、前記第１のパターンの投射及び非投射の切換タイミングをランダムな符号で変調する請求項１に記載の距離画像取得装置。
3. 他の距離画像撮像装置から第２のパターンが投射されているか否かを判別する判別部を備え、
   前記光変調部は、前記判別部により前記他の距離画像撮像装置から前記第２のパターンが投射されていると判別されると、前記投射部から投射される前記第１のパターンに対して変調を行う請求項１または２に記載の距離画像取得装置。
4. 前記他の距離画像取得装置から送信されるビーコン情報であって、前記他の距離画像取得装置から前記第２のパターンが投射されていることを示すビーコン情報を受信するビーコン情報受信部を備え、
   前記判別部は、前記ビーコン情報受信部が前記ビーコン情報を受信すると、前記他の距離画像撮像装置から前記第２のパターンが投射されていると判別する請求項３に記載の距離画像取得装置。
5. 前記第１のパターン及び前記第２のパターンは、それぞれドットパターンであり、
   前記判別部は、前記撮像部により撮像された撮像画像から検出されたドットパターンのドット数が前記投射部から投射した前記第１のパターンのドット数を越えているとき、前記他の距離画像撮像装置から前記第２のパターンが投射されていると判別する請求項３に記載の距離画像取得装置。
6. 前記撮像部は、前記距離画像のフレームレートに対応した露光期間で露光を行い、
   前記光変調部は、前記撮像部の露光期間の開始及び終了のタイミングに同期させて、前記第１のパターンの投射及び非投射の切換タイミングを変調する請求項１から５のいずれか一項に記載の距離画像取得装置。
7. 測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンの投射及び非投射の切換タイミングを符号で変調し、投射部に前記第１のパターンを投射させるステップと、
   前記投射部から基線長だけ離れて並設された撮像部により、前記第１のパターンの投射期間及び非投射期間に同期して撮像し、前記被写体で反射された前記第１のパターンを含む複数の撮像画像であって前記第１のパターンの投射期間に撮像した第１の撮像画像及び
   前記第１のパターンの非投射期間に撮像した第２の撮像画像を生成するステップと、
   前記投射期間に撮像した第１の撮像画像と前記非投射期間に撮像した第２の撮像画像との差分画像を生成するステップと、
   前記差分画像から前記第１のパターンを抽出するステップと、
   前記抽出された第１のパターンに基づいて、前記測距領域内の被写体の距離を示す距離画像を取得するステップと、
   を含む距離画像取得方法。

Images