JPWO2016157593A1 - 距離画像取得装置 - Google Patents

Abstract

本発明は、他機から構造化光のパターンが同時に照射されていても自機から投射したパターンを容易に識別して距離画像を取得することが可能な距離画像取得装置及び距離画像取得方法を提供する。一態様において、距離画像取得装置（１０）は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部（１２）と、投射部（１２）から投射される第１のパターンを空間変調させる光変調部（２２）と、投射部（１２）から基線長だけ離れて並設され、測距領域内の被写体上で反射する第１のパターンを含む画像を撮像する撮像部（１４）と、撮像部（１４）により撮像された画像から光変調部（２２）により空間変調された第１のパターンを抽出するパターン抽出部（２０Ａ）と、パターン抽出部（２０Ａ）により抽出された第１のパターンに基づいて測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部（２０Ｂ）と、を備える。

Description

本発明は距離画像取得装置及び距離画像取得方法に係り、特に測距領域内の被写体に対して２次元に分布する構造化光を投射し、被写体の距離を示す距離画像を取得する技術に関する。

従来、この種の距離画像取得装置は、投射部から測距領域内の被写体に対して２次元に分布する構造化光のパターン（ドットパターン）を投射し、撮像部により被写体を撮像し、被写体上で反射するドットパターンを含む第１の画像を取得する。また、投射部からドットパターンを投射せずに撮像部により被写体を撮像し、ドットパターンの背景となる第２の画像を取得する。そして、第１の画像から第２の画像を減算し、減算結果（ドットパターンのみの画像）をメモリに記憶させる。その後、メモリに記憶された減算結果に基づいて距離画像（３次元距離情報）を三角測量法に基づいて演算し取得する（特許文献１）。

しかしながら、１台の距離画像取得装置では距離画像を取得できない大きさの対象物体の距離計測を複数台の距離画像取得装置で同時に行いたい場合がある。また、他者が距離画像取得装置を使っていることを知らずに使用者自らも距離画像取得装置を使うこともある。特に、距離画像を直接表示等せずに他の用途に用いており、使用者自身が距離画像取得を行っている自覚が無い場合には、同時に同一場所で距離画像取得装置を使用してしまう可能性が高い。複数台の距離画像取得装置により同一の被写体の距離計測を同時に行うと、複数台の距離画像取得装置からそれぞれ投射されるドットパターンが混在し、距離画像を取得することができないという問題がある。

非特許文献は、この問題を解決するために偏心荷重が回転軸に固定された電動モータ（偏心モータ）を、距離画像取得装置の底部に取り付け、被写体の撮像時に偏心モータを駆動し、装置全体を高周波で振動させるようにしている。

これにより、自機の距離画像取得装置は、投射部と撮像部とが同期して振動するため、自機から投射したドットパターンは、ボケずに撮像され、他機から投射されたドットパターンは、撮像部の振動によりボケて撮像される。これにより、自機から投射したドットパターンと、他機から投射されたドットパターンとを識別するようにしている。

特開２０１１−１６９７０１号公報

Andrew Maimone and Henry Fuchs, Reducing Interference Between Multiple Structured Light Depth Sensors Using Motion. IEEE Virtual Reality 2012 (Orange County, CA, USA, March 4-8, 2012)

非特許文献１に記載の距離画像取得装置は、偏心モータにより装置全体を振動させるため、特別な保持装置で装置全体を振動可能に保持する必要があり、手持ちでの使用に適さず、携帯性に欠けるという問題がある。

また、非特許文献１に記載の距離画像取得装置は、装置全体を高周波で振動させるため、振動させる機器（偏心モータ）が大型化し、高価になるとともに、消費エネルギが増大し、更に騒音が発生するという問題がある。

更にまた、一般に距離画像取得装置には、白黒画像やカラー画像を撮像する撮像装置が搭載されていることがあるが、非特許文献１に記載の距離画像取得装置の場合、距離画像の取得時に撮像装置も振動するため、撮像される画像がボケるという問題がある。

本発明はこのような事情に鑑みてなされたもので、他機から構造化光のパターンが同時に照射されていても自機から投射したパターンを容易に識別して距離画像を取得することができ、また、手持ちでの使用、装置の小型化及び低コスト化が可能な距離画像取得装置及び距離画像取得方法を提供することを目的とする。

上記目的を達成するために本発明の一の態様に係る距離画像取得装置は、測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部と、投射部から投射される第１のパターンを空間変調させる光変調部と、投射部から基線長だけ離れて並設され、測距領域内の被写体上で反射する第１のパターンを含む画像を撮像する撮像部と、撮像部により撮像された画像から光変調部により空間変調された第１のパターンを抽出するパターン抽出部と、パターン抽出部により抽出された第１のパターンに基づいて測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、を備える。

本発明の一の態様によれば、光変調部により投射部から投射される構造化光の第１のパターンを空間変調させるようにしたため、撮像部により撮像される第１のパターンは、光変調部による空間変調に対応したボケたパターンとなる。これにより、他機から構造化光の他のパターンが同じ被写体に投射されていても、自機から投射した第１のパターンと他機から投射された他のパターンとを識別して被写体の距離を示す距離画像を取得することができる。また、撮像部を振動させずに、第１のパターンを空間変調するため、距離画像取得装置全体が振動することがない。即ち、距離画像取得装置は、装置全体が振動しないため、手持ちでの使用が可能であり、携帯性に優れる。また、距離画像取得装置にカラー画像を撮像する撮像装置の機能を追加した場合に、距離画像の取得と同時にブレのないカラー画像の取得が可能である。

本発明の他の態様に係る距離画像取得装置において、他の距離画像取得装置から構造化光の第２のパターンが投射されているか否かを判別する判別部を備え、光変調部は、判別部により他の距離画像取得装置から第２のパターンが投射されていると判別されると、投射部から投射される第１のパターンを空間変調させることが好ましい。即ち、他の距離画像取得装置から第２のパターンが投射されていないと判別された場合には、投射部から投射される第１のパターンを空間変調させないため、ボケていない第１のパターンを取得することができる。

本発明の更に他の態様に係る距離画像取得装置において、第１のパターン及び第２のパターンは、それぞれドットパターンであり、判別部は、撮像部により撮像された画像から検出されたドットパターンのドット数が投射部から投射した第１のパターンのドット数を越えている場合に、他の距離画像取得装置から第２のパターンが投射されていると判別する。

本発明の更に他の態様に係る距離画像取得装置において、光変調部は、第１のパターンを空間変調させるための複数の空間変調パターンを記憶する記憶部を有し、判別部により他の距離画像取得装置から第２のパターンが投射されていると判別され、かつ投射部から投射される第１のパターンと他の距離画像取得装置から投射される第２のパターンとの識別が不能な場合に、他の距離画像取得装置から投射される第２のパターンとの識別が可能な空間変調パターンを記憶部から選択し、選択した空間変調パターンにしたがって投射部から投射される第１のパターンを空間変調させることが好ましい。

他の距離画像取得装置が、自機と同じ変調内容（空間変調パターン）で第２のパターンを空間変調している場合には、第１のパターンと第２のパターンとを識別することができない。この場合には、他の距離画像取得装置が第２のパターンを空間変調している空間変調パターンとは異なる空間変調パターンにしたがって第１のパターンを空間変調させ、これにより第１のパターンと第２のパターンとを識別できるようにしている。

本発明の更に他の態様に係る距離画像取得装置において、他の距離画像取得装置から送信されるビーコン情報であって、他の距離画像取得装置から第２のパターンが投射されていることを示すビーコン情報を受信するビーコン情報受信部を備え、判別部は、ビーコン情報受信部がビーコン情報を受信すると、他の距離画像取得装置から第２のパターンが投射されていると判別する。

本発明の更に他の態様に係る距離画像取得装置において、ビーコン情報は、第２のパターンの空間変調の変調内容を示す空間変調情報を含み、光変調部は、第１のパターンを空間変調の変調内容が異なる複数の空間変調パターンを記憶する記憶部を有し、判別部により他の距離画像取得装置から第２のパターンが投射されていると判別され、かつ投射部から投射される第１のパターンと他の距離画像取得装置から投射される第２のパターンとの識別が不能な場合に、第１のパターンと第２のパターンとの識別を可能にする空間変調パターンを記憶部から選択し、選択した空間変調パターンにしたがって投射部から投射される第１のパターンを空間変調させることが好ましい。

本発明の更に他の態様に係る距離画像取得装置において、光変調部は、第１のパターンを空間変調の変調内容が異なる複数の空間変調パターンを記憶する記憶部を有し、記憶部に記憶された複数の空間変調パターンの中から順番に、又はランダムに空間変調パターンを読み出し、読み出した空間変調パターンにしたがって投射部から投射される第１のパターンを空間変調させることが好ましい。

第１のパターンのボケ形状は、読み出した空間変調パターンにより既知である。従って、第１のパターンのボケ形状（空間変調パターン）を順番に又はランダムに変えることで、他機から投射されるパターンが空間変調されていても、第１のパターンのボケ形状と異なるボケ形状を有するパターンは他機から投射されるパターンであると判別することができる。

本発明の更に他の態様に係る距離画像取得装置において、光変調部は、投射部又は投射部の投射光学系を振動させる振動子であることが好ましい。光変調部により振動させる対象は、距離画像取得装置全体に比べて小さいため、光変調部も小型化及び低コスト化が可能であり、騒音の発生源にならないようにすることができる。

本発明の更に他の態様に係る距離画像取得装置において、振動子は、ピエゾ素子又はボイスコイル型振動子であることが好ましい。

本発明の更に他の態様に係る距離画像取得装置において、光変調部は、投射部から投射される第１のパターンが入射するマイクロミラー群を有し、マイクロミラー群を揺動させることによりマイクロミラー群により反射する第１のパターンを空間変調させるデジタルマイクロミラーデバイスであることが好ましい。デジタルマイクロミラーデバイスは、投射部等を機械的に振動させるのではなく、マイクロミラー群を揺動させることにより第１のパターンを空間変調させるため、機械的な振動を発生させることがなく、騒音源にもならない。

本発明の更に他の態様に係る距離画像取得装置において、第１のパターンが投射される測距領域と、他の距離画像取得装置から投射される構造化光の第２のパターンの投射領域とが重複する重複領域を判別する領域判別部を備え、光変調部は、デジタルマイクロミラーデバイスのマイクロミラー群のうちの領域判別部により判別された重複領域に対応するマイクロミラーのみを揺動させることが好ましい。第１のパターンの投射領域と第２のパターンの投射領域とが完全に重複することは稀である。従って、重複領域に対応するマイクロミラーのみを揺動させ、これにより第１のパターンと第２のパターンとの識別を可能にし、一方、重複しない領域に対応する第１のパターンは空間変調されないため、ボケていないパターンとして撮像することができる。

本発明の更に他の態様に係る距離画像取得装置において、第１のパターンの光は、近赤外光であり、撮像部は、少なくとも近赤外光の波長帯域に感度を有することが好ましい。これによれば、距離画像取得装置を人工照明（近赤外光を含まない照明）のみの室内で使用する場合、又は夜間に使用する場合、第１のパターンのみを撮像することができる。また、環境光に近赤外光が含まれていても環境光中の近赤外光は、投射される第１のパターンに比べて十分に小さいため、例えば２値化処理により第１のパターンを容易に抽出することができる。

本発明の更に他の態様に係る距離画像取得装置において、撮像部は、近赤外光の波長帯域に感度を有する第１の受光素子と、可視光の波長帯域に感度を有する第２の受光素子とが混在して２次元配列されたイメージセンサを有し、パターン抽出部は、イメージセンサの第１の受光素子により取得される画像から光変調部により空間変調された第１のパターンを抽出し、イメージセンサの第２の受光素子により取得される画像から測距領域内の被写体の可視光画像を生成する可視光画像生成部を更に備えることが好ましい。これによれば、１つのイメージセンサの出力に基づいて同一画角の距離画像と可視光画像とを同時に取得することができる。

本発明の更に他の態様に係る距離画像取得方法は、投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射するステップと、投射部から投射される第１のパターンを空間変調させるステップと、投射部から基線長だけ離れて並設された撮像部により測距領域内の被写体上で反射する第１のパターンを含む画像を撮像するステップと、撮像部により撮像された画像に基づいて空間変調された第１のパターンを抽出するステップと、抽出された第１のパターンに基づいて測距領域内の被写体の距離を示す距離画像を取得するステップと、を含む。

本発明の更に他の態様に係る距離画像取得方法において、投射部から投射される第１のパターンと異なる第２のパターンが投射されているか否かを判別するステップを含み、第１のパターンを空間変調させるステップは、第２のパターンが投射されていると判別されると、第１のパターンを空間変調させることが好ましい。

本発明の更に他の態様に係る距離画像取得方法において、第１のパターン及び第２のパターンは、それぞれドットパターンであり、判別するステップは、撮像部により撮像された画像から検出されたドットパターンのドット数が第１のパターンのドット数を越えている場合に、第２のパターンが投射されていると判別する。

本発明の更に他の態様に係る距離画像取得方法において、空間変調させるステップは、判別するステップにより第２のパターンが投射されていると判別され、かつ第１のパターンと第２のパターンとの識別が不能な場合に、第１のパターンと第２のパターンとの識別を可能にする空間変調パターンにしたがって投射部から投射される第１のパターンを空間変調させることが好ましい。

本発明によれば、測距領域内の被写体に対して投射する構造化光の第１のパターンのみを空間変調させるようにしたため、他機から同一の被写体に構造化光の他のパターンが同時に照射されていても自機から投射した第１のパターンを容易に識別して被写体の距離を示す距離画像を取得することができ、特に装置全体が振動しないため、手持ちでの使用が可能であり、また、装置の小型化及び低コスト化を実現することができる。

本発明に係る距離画像取得装置１０の第１の実施形態を示す外観図である。 距離画像取得装置における距離画像取得の原理を説明するために用いた図である。 距離画像取得装置の内部構成例を示すブロック図である。 光変調部の第１の実施形態を示す要部構成図である。 光変調部の第２の実施形態を含む投射部の構成を示す図である。 デジタルマイクロミラーデバイスの構成を示す斜視図である。 撮像部により撮像された近赤外画像であって、測距領域内の被写体から反射した第１のドットパターンを含む画像の一例を示す図である。 撮像部により撮像された近赤外画像であって、自機から投射された第１のドットパターンと他機から投射された第２のドットパターンとを含む画像の一例を示す図である。 図８に示した第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、光変調部により投射レンズを上下方向に振動させた状態で撮像された画像を示す図である。 図８に示した第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、空間変調された第２のドットパターンが撮像された画像を示す図である。 第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、２台の他機からそれぞれ投射された第２のドットパターンのうちの一方が空間変調された第２のドットパターンが撮像された画像を示す図である。 本発明に係る距離画像取得方法の第１の実施形態を示すフローチャートである。 本発明に係る距離画像取得方法の第２の実施形態を示すフローチャートである。 本発明に係る距離画像取得装置に適用可能なイメージセンサの他の実施形態を説明するために用いた図である。 距離画像取得装置の実施形態であるスマートフォンの外観を示す斜視図である。 スマートフォンの構成を示すブロック図である。

以下、添付図面に従って本発明に係る距離画像取得装置及び距離画像取得方法の実施形態について説明する。

［距離画像取得装置］
図１は、本発明に係る距離画像取得装置１０の第１の実施形態を示す外観図である。

図１に示すように距離画像取得装置１０は、投射部１２と撮像部１４とを有し、シャッターボタン１１の操作による撮像指示入力が加えられると、後に詳しく説明するが、撮像領域（測距領域）内の被写体の距離（深度情報）を示す距離画像を取得する。

ここで、距離画像取得装置１０は、静止画撮像と同様に１フレーム分の距離画像を取得する静止画モードと、動画撮像と同様に所定のフレームレート（例えば、３０フレーム／秒、６０フレーム／秒）で連続する距離画像を取得する動画モードとを有し、これらの静止画モードと動画モードとは操作部２８（図３）のモード選択部の操作により適宜選択可能になっている。そして、静止画モードが選択されているときにシャッターボタン１１をワンプッシュすると、１フレーム分の距離画像を取得し、動画モードが選択されているときにシャッターボタン１１をワンプッシュすると、所定のフレームレートで連続する距離画像の取得を開始し、再度シャッターボタン１１をワンプッシュすると、距離画像の取得を停止する。

図２は、距離画像取得装置１０における距離画像取得の原理を説明するために用いた図である。

図２に示すように距離画像の取得時に投射部１２は、測距領域内の被写体に対して２次元に分布する構造化光のパターン（第１のパターン）を投射する。本実施形態では、構造化光の第１のパターンとして、マトリクス状のドットパターンを被写体に投射する。以下、投射部１２から投射される構造化光の第１のパターンを、「第１のドットパターン」という。

撮像部１４は、被写体上で反射する第１のドットパターンを含む画像を撮像する。撮像部１４は、図２に示すように投射部１２から基線長Ｌだけ離れて並設されており、投射部１２から投射される第１のドットパターンと、撮像部１４により撮像される第１のドットパターンとの対応する各ドット間には被写体の距離に応じた視差が発生する。従って、投射部１２から投射される第１のドットパターンの各ドットの、撮像部１４により撮像されるイメージセンサ上の受光位置（図示せず）に基づいて三角測量法を用いて被写体の距離を示す距離画像を求めることができる。

尚、本実施形態の投射部１２は、図２及び図８に示すようにマトリクス状の第１のドットパターンを投射するが、これに限らず、ドット間隔がランダム（疑似ランダム）のドットパターンを投射してもよいし、メッシュ状のパターンを投射してもよい。

図３は、上記距離画像取得装置１０の内部構成例を示すブロック図である。

図３に示す距離画像取得装置１０は、前述した投射部１２及び撮像部１４の他に、ＡＤ（Analog-to-Digital）変換器１６、インターフェース回路１８、中央処理装置（ＣＰＵ：Central Processing Unit）２０、光変調部２２、駆動部２６、操作部２８及び通信部３０を備えている。

投射部１２は、近赤外発光ダイオード（近赤外ＬＥＤ（ＬＥＤ：Light Emitting Diode））１２Ａと、回折光学素子１２Ｂと、投射光学系として機能する投射レンズ１２Ｃとから構成されている。

回折光学素子１２Ｂは、光の回折現象を利用して光強度分布を変換する素子として機能し、本例では近赤外ＬＥＤ１２Ａから発光された近赤外光を入射し、図２に示したマトリクス状の第１のドットパターンに変換する。投射レンズ１２Ｃは、回折光学素子１２Ｂにより変換された近赤外光の第１のドットパターンを、撮像部１４による撮像領域（測距領域）と同じ測距領域の被写体に投射する。

撮像部１４は、結像レンズ１４Ａとイメージセンサ１４Ｂとから構成されている。結像レンズ１４Ａは、被写体からの反射光（投射部１２から投射され、被写体にて反射する第１のドットパターンを含む光像）をイメージセンサ１４Ｂに結像させる。

イメージセンサ１４Ｂは、垂直ドライバ及び水平ドライバ等を有するＣＭＯＳ(Complementary Metal-Oxide Semiconductor)ドライバ、及びタイミングジェネレータにより駆動されるＣＭＯＳ型のイメージセンサにより構成されている。尚、イメージセンサ１４Ｂは、ＣＭＯＳ型に限らず、ＸＹアドレス型、又はＣＣＤ（Charge Coupled Device）型のイメージセンサでもよい。

イメージセンサ１４Ｂは、２次元状に複数の受光素子（フォトダイオード）が配列され、複数の受光素子の入射面側には、投射部１２から投射される近赤外光の第１のドットパターンの波長帯域のみを通過させるバンドパスフィルタ、又は可視光を除去する可視光カットフィルタが設けられている。これにより、イメージセンサ１４Ｂの複数の受光素子は、近赤外光に対して感度をもった画素として機能する。

イメージセンサ１４Ｂは、図示しないタイミングジェネレータから加えられるタイミング信号（シャッター制御信号）により露光期間が制御され、イメージセンサ１４Ｂの各受光素子には、露光期間に入射する近赤外光の光量に対応する電荷が蓄積される。そして、イメージセンサ１４Ｂからは、被写体にて反射した第１のドットパターンの入射光量に応じた画素信号（画素毎に蓄積された電荷に対応するアナログ信号）が読み出される。尚、被写体に環境光が照射され、環境光中に近赤外光の波長帯域の成分が含まれている場合には、環境光中に近赤外光の波長帯域の成分は、ノイズ信号として画素信号に含まれることになる。

イメージセンサ１４Ｂから読み出されたアナログ信号は、ＡＤ変換器１６によりデジタル信号（画像データ）に変換され、画像入力コントローラとして機能するインターフェース回路１８を経由してＣＰＵ２０に取り込まれる。尚、ＣＭＯＳ型のイメージセンサには、ＡＤ変換器を含むものがあり、この場合にはＡＤ変換器１６は省略することができる。

ＣＰＵ２０は、詳細については後述するが、操作部２８での指示入力に応じて距離画像取得装置１０の露光制御、光変調部２２、及び駆動部２６等の各部を統括的に制御するデバイス制御部としての機能と、パターン抽出部２０Ａ、距離画像取得部２０Ｂ、及び判別部２０Ｃとしての機能とを有する。

パターン抽出部２０Ａは、インターフェース回路１８を介して入力する画像データから第１のドットパターンを抽出する部分であり、例えば適当な閾値を設定し、この閾値に基づいて入力する画像データを２値化処理することにより、第１のドットパターンのみを示す画像データ（２値画像データ）を抽出する。

距離画像取得部２０Ｂは、パターン抽出部２０Ａにより抽出された第１のドットパターンの２値画像データに基づいて第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置（例えば、各ドットの重心の位置）を求め、求めた第１のドットパターンの各ドットのイメージセンサ１４Ｂ上の位置に基づいてドット毎に被写体の距離を算出し、これにより測距領域内の被写体の距離を示す距離画像を取得（生成）する。尚、距離画像は、測距領域内の被写体の距離を示す２次元の距離情報であるが、距離情報を距離に対応する輝度値や色情報に置き換えることにより、距離画像を画像として視認することができる。

判別部２０Ｃは、他の距離画像取得装置（以下、単に「他機」という）から構造化光のパターン（第２のパターン）が投射されているか否かを判別する部分である。いま、他機から第２のパターンが投射され、第２のパターンが第１のドットパターンと同様にドットパターン（第２のドットパターン）の場合、パターン抽出部２０Ａにより抽出されたドットパターンが、自機から投射された第１のドットパターンか、又は他機から投射された第２のドットパターンかを識別することができない。

判別部２０Ｃは、パターン抽出部２０Ａにより抽出されたドットパターンのドット数を計数し、計数したドット数が第１のドットパターンのドット数を越えている場合には、他機から第２のドットパターンが投射されていると判別することができる。

通信部３０は、他機又はアクセスポイントとの間で無線通信する近距離無線通信部であり、他機から直接又はアクセスポイントを介して送信されるビーコン情報を受信するビーコン情報受信部として機能する。判別部２０Ｃは、通信部３０からのビーコン情報の受信結果に応じて通信可能範囲に他機が存在しているか否か（即ち、他機から第２のドットパターンが投射されているか否か）を判別することができる。また、ビーコン情報として、他機が投射している構造化光のパターン（第２のパターンに相当する第２のドットパターン）を示す情報、及び第２のドットパターンが後述するように空間変調されている場合には、空間変調の変調内容を示す空間変調情報を含めることができ、この場合には、判別部２０Ｃは、通信部３０を介して受信するビーコン情報に基づいて他機から投射される第２のドットパターンに関する情報（第２のドットパターンの形状や空間変調の変調内容を示す空間変調情報等）を取得することができる。

他機から同一の被写体に対して第２のドットパターンが投射されている場合、パターン抽出部２０Ａは、自機から投射した第１のドットパターンと他機から投射された第２のドットパターンとを抽出するが、この場合、第１のドットパターンと第２のドットパターンとが同一の形状（例えば、円形のドット）の場合、両者を識別することができない。

そこで、パターン抽出部２０Ａが第１のパターンと第２のパターンとの識別が不能な場合、ＣＰＵ２０は、自機の投射部１２から投射される第１のパターン（第１のドットパターン）を空間変調させる変調指令等を光変調部２２に出力する。

光変調部２２は、投射部１２から投射される第１のドットパターンを空間変調させるもので、第１のドットパターンを空間変調させるための複数の空間変調パターンを記憶する記憶部２４を備え、他機から投射される第２のドットパターンとの識別が可能な空間変調パターンを記憶部２４から選択し、選択した空間変調パターンにしたがって投射部１２から投射される第１のドットパターンを空間変調させることが好ましい。

操作部２８は、電源スイッチ、シャッターボタン１１、モード選択部等を含み、操作部２８での指示入力はＣＰＵ２０に加えられる。通信部３０は、他の周辺機器又はアクセスポイントとの間で近距離無線を行う部分であり、本例では他の距離画像取得装置との間でビーコン情報等の送受信等を行う。

［光変調部］
次に、第１の実施形態の光変調部２２について詳述する。第１の実施形態の光変調部２２は、投射部１２又は投射レンズ１２Ｃを振動させる振動子を含んで構成されている。

図４は、光変調部２２の第１の実施形態を示す要部構成図であり、特に投射レンズ１２Ｃを光軸方向（ｚ方向）と直交する水平方向（ｘ方向）及び鉛直方向（ｙ方向）に高周波で振動させる振動機構に関して示している。

図４に示す光変調部２２の振動機構は、一般のカメラに適用されている手ブレ補正機構と同様の構成を有しており、主としてベース部材１００に設けられたメインガイド軸１０２及び回転止めガイド軸１０４によりｘ方向に移動自在に案内されたスライド部材１０６と、スライド部材１０６に設けられたサブガイド軸１０８及び回転止めガイド軸１１０によりｙ方向に移動自在に案内された移動部材１１２と、ベース部材１００側に磁石が固定され、移動部材１１２側にコイルが固定されたボイスコイル型振動子１１４及び１１６と、ボイスコイル型振動子１１４及び１１６に駆動信号を供給するプリント基板１１８とから構成されている。尚、投射部１２の投射レンズは、移動部材１１２に保持されている。

ボイスコイル型振動子１１４は、プリント基板１１８を介して高周波の駆動信号が印加されると、スライド部材１０６及び移動部材１１２をｘ方向に振動させ、ボイスコイル型振動子１１６は、プリント基板１１８を介して高周波の駆動信号が印加されると、移動部材１１２をｙ方向に振動させる。

即ち、ボイスコイル型振動子１１４又は１１６により移動部材１１２がｘ方向又はｙ方向に振動すると、移動部材１１２とともに投射レンズがｘ方向又はｙ方向に振動し、これにより投射レンズ１２Ｃにより投射される第１のドットパターンは、ｘ方向又はｙ方向に振動（空間変調）させられる。

尚、上記第１の実施形態の光変調部２２は、投射レンズ１２Ｃを振動させる振動子として、ボイスコイル型振動子１１４又は１１６を使用しているが、これに限らず、例えば、ピエゾ素子（圧電素子）を使用することができる。

図５は、光変調部２２の第２の実施形態を含む投射部１２の構成を示す図である。尚、図５において、図３に示した投射部１２と共通する部分には同一の符号を付し、その詳細な説明は省略する。

第２の実施形態の光変調部２２は、主としてデジタルマイクロミラーデバイス（ＤＭＤ：Digital Micromirror Device）２００により構成されており、近赤外ＬＥＤ１２Ａから発光された近赤外光は、コリメータレンズ２１０により平行光に補正され、回折光学素子１２Ｂに入射し、ここでマトリクス状の第１のドットパターンに変換される。回折光学素子１２Ｂにより変換された近赤外光の第１のドットパターンの各ドットは、反射ミラー２２０を経由してＤＭＤ２００を構成するマイクロミラー２００Ａ（図６参照）に入射する。

図６は、ＤＭＤ２００の構成を示す斜視図である。図６に示すようにＤＭＤ２００は、多数（第１のドットパターンのドット数とほぼ同数）のマイクロミラー２００Ａが格子状に配列されてなるマイクロミラー群により構成されている。マイクロミラー２００Ａの各々は、マイクロミラーの駆動情報を一時的に記憶するシリコンゲートのＣＭＯＳ等からなるメモリセル２０２上にヒンジ及びヨーク（図示省略）を含む支柱により支持されている。マイクロミラー２００Ａの表面にはアルミニウム等の反射率の高い材料が蒸着されていて光反射面を形成している。マイクロミラー２００Ａの各々によって反射された第１のドットパターンは、ＤＭＤ２００により空間変調された後、投射レンズ１２Ｃにより測距領域の被写体に投射される。

第２の実施形態の光変調部２２として機能するＤＭＤ２００は、第１のドットパターンが入射するマイクロミラー群の各々のマイクロミラー２００Ａを高周波で揺動させることにより、第１のドットパターンを空間変調させることができる。尚、ＤＭＤ２００は、マイクロミラー群を構成する各々のマイクロミラー２００Ａを個別に制御することができ、後に詳しく説明するが、揺動させるマイクロミラーを選択し、選択したマイクロミラーのみを揺動させることが好ましい。

次に、自機から投射した第１のドットパターンと他機から投射した第２のドットパターンとを識別する方法について、図７から図１１を参照しながら説明する。

図７は、撮像部１４により撮像された近赤外画像であって、測距領域Ａ内の被写体から反射した第１のドットパターンを含む画像の一例を示す図である。尚、図７は、自機から投射した第１のドットパターンのみを含む画像を示している。また、説明の簡単のために、測距領域Ａ内の被写体は、距離が一定の平坦面とする。

図７に示すように距離が一定の平坦面に投射された第１のドットパターンは、ドット間隔が等間隔になる。尚、各ドット間隔は、撮像部１４から被写体（平坦面）までの距離に対応する間隔になる。

図８は、撮像部１４により撮像された近赤外画像であって、自機から投射された第１のドットパターンと他機から投射された第２のドットパターンとを含む画像の一例を示す図である。

図８において、自機の第１のドットパターンが投射される測距領域Ａは、自機の第１のドットパターンと他機の第２のドットパターンとが重複する重複領域Ｂを含んでいる。この場合、第１のドットパターンと第２のドットパターンとは、ドット形状が同一であるため、第１のドットパターンと第２のドットパターンとを画像により識別することはできない。

距離画像取得装置１０は、自機の第１のドットパターンと他機の第２のドットパターンとの識別を可能にするために、光変調部２２により自機から投射する第１のドットパターンを空間変調させる。

図９は、図８に示した第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、光変調部２２により投射レンズ１２Ｃを上下方向（図４に示すｙ方向）に振動させた状態で撮像された画像を示す図である。

この場合、自機の投射部１２から投射される第１のドットパターンのみが上下方向に空間変調されるため、図９に示すように第１のドットパターンの各ドットの形状は、上下方向に長い長円形又は楕円形になる。

従って、自機の第１のドットパターンが投射される測距領域Ａに自機の第１のドットパターンと他機の第２のドットパターンとが重複する重複領域Ｂが存在していても、パターン抽出部２０Ａは、第１のドットパターンと第２のドットパターンとのドット形状の違いにより、光変調部２２により空間変調された第１のドットパターン（長円形又は楕円形のドットパターン）のみを抽出することができる。

尚、パターン抽出部２０Ａは、光変調部２２による第１のドットパターンを空間変調させる空間変調パターン（即ち、空間変調パターンに対応する第１のドットパターンの各ドットの形状）を示す情報を、ＣＰＵ２０又は光変調部２２から取得することができ、空間変調パターンに対応したドット形状を有する第１のドットパターンのみを抽出することができる。

図１０は、図８に示した第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、他機から投射された第２のドットパターンが空間変調されている場合に関して示している。

この場合、第１のドットパターンと第２のドットパターンとの重複領域Ｂにおける、他機から投射された第２のドットパターンのドット形状は、空間変調により円形ではない。従って、自機の第１のドットパターンが投射される測距領域Ａに自機の第１のドットパターンと他機の第２のドットパターンとが重複する重複領域Ｂが存在していても、パターン抽出部２０Ａは、第１のドットパターンと第２のドットパターンとのドット形状の違いにより、第１のドットパターン（円形のドットパターン）のみを抽出することができる。

即ち、他機の第２のドットパターンが空間変調されている場合には、ＣＰＵ２０は自機の光変調部２２をオフにし、第１のドットパターンを空間変調させないことが好ましい。

図１１は、第１のドットパターン及び第２のドットパターンを含む近赤外画像であって、２台の他機から第２のドットパターンが投射され、かつ２台の他機のうちの一方の他機から投射された第２のドットパターンが空間変調されている場合に関して示している。

図１１において、自機から投射された第１のドットパターンと２台の他機のうちの一方の他機から投射された空間変調された第２のドットパターンとが重複する重複領域Ｂ内には、２台の他機のうちの他方の他機から投射された空間変調されていない第２のドットパターンとが重複する重複領域Ｃが存在している。

この場合、図１０に示したように自機の第１のドットパターンを空間変調させないと、重複領域Ｃにおいて、第１のドットパターンと２台の他機のうちの他方の他機から投射された空間変調されていない第２のドットパターンとを識別することができなくなる。

そこで、自機から投射する第１のドットパターンを空間変調させ、空間変調された第１のドットパターンと空間変調されていない第２のドットパターンとを識別可能にするとともに、空間変調された第１のドットパターンと空間変調された第２のドットパターンとを識別可能にするために、第２のドットパターンの空間変調パターンと異なる空間変調パターンにて第１のドットパターンを空間変調させる。

図１１に示す例では、光変調部２２により投射レンズ１２Ｃを左右方向（図４に示すｘ方向）に振動させ、自機の投射部１２から投射される第１のドットパターンを左右方向に空間変調させる。これにより、第１のドットパターンの各ドットの形状は、左右方向に長い長円形又は楕円形になり、パターン抽出部２０Ａは、自機の第１のドットパターンと空間変調されて上下方向に長い長円形又は楕円形のドット形状を有する他機の第２のドットパターンとを識別することができる。

尚、図４に示した光変調部２２を構成するボイスコイル型振動子１１４及び１１６をそれぞれ協働させ、投射レンズ１２Ｃをｘ方向及びｙ方向にそれぞれ移動させることにより、第１のドットパターンの各ドットの形状を任意の形状にすることができる。即ち、第１のドットパターンを空間変調させるための複数の空間変調パターン（第１のドットパターンの各ドットの形状に対応する複数の空間変調パターン）を記憶部２４に記憶させておき、光変調部２２は、他機から投射される第２のドットパターンとの識別が可能な空間変調パターンを記憶部２４から選択し、選択した空間変調パターンにしたがって投射部１２から投射される第１のドットパターンを空間変調させることが好ましい。

また、図８及び図９に示すように測距領域Ａのうちの重複領域Ｂにおいて、自機の第１のドットパターンと他機の第２のドットパターンとが混在し、測距領域Ａの他の領域（重複領域Ｂを除いた他の領域）には、自機の第１のドットパターンのみが存在する場合、重複領域Ｂ内の第１のドットパターンのみを空間変調し、重複領域Ｂにおける自機の第１のドットパターンと他機の第２のドットパターンとを識別可能にしてもよい。

この場合、領域判別部として機能する判別部２０Ｃにより第１のドットパターンが投射される測距領域Ａと他機から投射される第２のドットパターンの投射領域とが重複する重複領域Ｂを判別する。図５及び図６に示した第２の実施形態の光変調部２２を構成するＤＭＤ２００は、領域判別部による判別結果に応じてマイクロミラー群のうちの重複領域Ｂに対応するマイクロミラー群のみを揺動させる。これにより、第１のドットパターンと第２のドットパターンとの識別が可能になり、かつ重複しない領域に対応する第１のパターンは空間変調されないため、ボケていないドットパターンとして撮像することができる。

［距離画像取得方法］
次に、本発明に係る距離画像取得方法について説明する。

図１２は、本発明に係る距離画像取得方法の第１の実施形態を示すフローチャートである。

図１２において、ＣＰＵ２０は、駆動部２６を介して投射部１２の近赤外ＬＥＤ１２Ａを点灯させ、投射部１２から近赤外光の第１のドットパターンを測距領域の被写体に投射させる（ステップＳ１０）。この場合、ＣＰＵ２０は、光変調部２２をオフにし、第１のドットパターンの空間変調を行わないようにする（ステップＳ１２）。

続いて、撮像部１４より空間変調されていない第１のドットパターンを含む画像を撮像する（ステップＳ１４）。パターン抽出部２０Ａは、撮像された画像を閾値に基づいて２値化処理し、ドットパターン（ドットパターンを示す２値画像）を抽出する（ステップＳ１６）。

次に、判別部２０Ｃは、他の距離画像取得装置からドットパターン（第２のドットパターン）が投射されているか否かを判別する（ステップＳ１８）。この判別は、ステップＳ１６で抽出したドットパターンのドット数が、第１のドットパターンのドット数よりも多いか否かにより行うことができ、又は他の距離画像取得装置の存在を示すビーコン情報を通信部３０を介して受信したか否かにより行うことができる。

ステップＳ１８において、他の距離画像取得装置から第２のドットパターンが投射されていると判別されると（「Yes」の場合）、ステップＳ２０に遷移させ、他の距離画像取得装置から第２のドットパターンが投射されていないと判別されると（「No」の場合）、ステップＳ２８に遷移させる。

ステップＳ２０では、自機の第１のドットパターンと他機の第２のドットパターンとが識別が可能か否かを判別し、判別可能な場合（「Yes」の場合）、ステップＳ２８に遷移させ、判別不能な場合（「No」の場合）、ステップＳ２２に遷移させる。

ステップＳ２２では、光変調部２２をオンにし、第１のドットパターンを空間変調させる。尚、第２のドットパターンの中に空間変調されている第２のドットパターンが存在する場合には、光変調部２２は、空間変調されている第２のドットパターンとは異なる空間変調パターンにて第１のドットパターンを空間変調させる。

続いて、撮像部１４より第１のドットパターン（空間変調された第１のドットパターン）を含む画像を撮像し（ステップＳ２４）、パターン抽出部２０Ａは、撮像された画像から第１のドットパターン（空間変調された第１のドットパターン）を抽出する（ステップＳ２６）。

距離画像取得部２０Ｂは、ステップＳ１６により抽出したドットパターン（空間変調されていない第１のドットパターン）、又はステップＳ２６により抽出した空間変調された第１のドットパターンに基づいて被写体の距離を示す距離画像を取得する（ステップＳ２８）。

尚、図１２に示す実施形態では、１フレーム分の距離画像を取得しているが、動画と同様に所定のフレームレートで連続する距離画像を取得する場合には、ステップＳ１０からステップＳ２８の処理を、動画の距離画像の取得が終了するまで繰り返し実行する。

図１３は、本発明に係る距離画像取得方法の第２の実施形態を示すフローチャートである。

図１３において、ＣＰＵ２０は、投射部１２の近赤外ＬＥＤ１２Ａを消灯させ（ステップＳ１００）、撮像部１４は、第１のドットパターンの非投射下で撮像を行う（ステップＳ１０２）。判別部２０Ｃは、ステップＳ１０２で取得した画像に基づいて他の距離画像取得装置からドットパターン（第２のドットパターン）が投射されているか否かを判別する（ステップＳ１０４）。

第２のドットパターンが投射されている場合（「Yes」の場合）には、投射の有無を示すフラグＦを１にセットした後（ステップＳ１０６）、ステップＳ１１０に遷移させ、第２のドットパターンが投射されていない場合（「No」の場合）には、フラグＦを０にセットした後（ステップＳ１０８）、ステップＳ１１０に遷移させる。

ステップＳ１１０において、ＣＰＵ２０は、駆動部２６を介して投射部１２の近赤外ＬＥＤ１２Ａを点灯させ、投射部１２から近赤外光の第１のドットパターンを測距領域の被写体に投射させる（ステップＳ１１０）。

続いて、フラグＦが１か否かを判別し（ステップＳ１１２）、フラグＦが１の場合（「Yes」の場合）、光変調部２２をオンにし、第１のドットパターンを空間変調させる。（ステップＳ１１４）。一方、フラグＦが１でない場合（「No」の場合）、光変調部２２をオフにし、第１のドットパターンの空間変調を行わないようにする（ステップＳ１１６）。 次に、撮像部１４より第１のドットパターンを含む画像を撮像する（ステップＳ１１８）。パターン抽出部２０Ａは、撮像された画像を閾値に基づいて２値化処理し、第１のドットパターン（第１のドットパターンを示す２値画像）を抽出する（ステップＳ１２０）。尚、他機から第２のドットパターンが投射されている場合には、第１のドットパターンは空間変調されており、一方、他機から第２のドットパターンが投射されていない場合には、第１のドットパターンは空間変調されていないが、第１のドットパターンのみが撮像されるため、パターン抽出部２０Ａは、いずれの場合も第１のドットパターンのみを抽出することができる。

距離画像取得部２０Ｂは、ステップＳ１２０により抽出した第１のドットパターンに基づいて被写体の距離を示す距離画像を取得する（ステップＳ１２２）。

尚、図１３に示す実施形態では、１フレーム分の距離画像を取得しているが、動画と同様に所定のフレームレートで連続する距離画像を取得する場合には、ステップＳ１００からステップＳ１２２の処理を、動画の距離画像の取得が終了するまで繰り返し実行する。

また、上記の第１の実施形態及び第２の実施形態では、自機から投射した第１のドットパターンと他機から投射された第２のドットパターンとの識別が不能な場合、あるいは他機から第２のドットパターンが投射されている場合に、光変調部２２をオンにして第１のドットパターンを空間変調させ、第１のドットパターンと第２のドットパターンとの識別を可能にしているが、他機から投射される第２のドットパターンの有無、及び第２のドットパターンの空間変調の有無にかかわらず、光変調部２２は、記憶部２４に記憶された複数の空間変調パターンの中から順番に、又はランダムに空間変調パターンを読み出し、読み出した空間変調パターンにしたがって投射部１２から投射される第１のパターンを空間変調させるようにしてもよい。

この場合、第１のドットパターンは、複数の空間変調パターンの中から順番に、又はランダムに読み出された空間変調パターンにしたがって空間変調しているため、第１のドットパターンの各ドットの形状は、時々刻々と変化する。パターン抽出部２０Ａは、ドット形状が変化するドットパターンを、自機から投射した第１のドットパターンとして識別することができる。また、第１のドットパターンの各ドットの形状が、時々刻々と変化する場合、他機の第２のドットパターンのドット形状と異なるドット形状を有する第１のドットパターン（第２のドットパターンとの識別が可能な第１のドットパターン）が投射されるタイミングがあり、パターン抽出部２０Ａは、そのタイミングで撮像された第１のドットパターンを含む画像から第１のドットパターンのみを抽出することができる。

＜イメージセンサの他の実施形態＞
図１４は、本発明に係る距離画像取得装置に適用可能なイメージセンサの他の実施形態を説明するために用いた図であり、図１４の（Ａ）部分は、他の実施形態のイメージセンサの２×２画素の基本配列を示す図である。他の実施形態のイメージセンサは、この基本配列が水平方向及び垂直方向に繰り返し配置されて構成されている。

図１４の（Ａ）部分に示すように２×２画素の基本配列は、近赤外光の波長帯域に感度を有する第１の受光素子である近赤外光画素（ＩＲ(infrared)画素）と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の可視光の波長帯域にそれぞれ感度を有する３つの第２の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）とを有している。即ち、他の実施形態のイメージセンサは、ＩＲ画素と、Ｒ画素、Ｇ画素及びＢ画素とが混在して２次元配列されて構成されている。

図１４の（Ｂ）部分は、Ｒ画素、Ｇ画素及びＢ画素に配設されているＲＧＢの各カラーフィルタの分光透過率と、近赤外ＬＥＤ１２Ａから発光される近赤外光の分光特性とを示している。

パターン抽出部２０Ａは、上記構成のイメージセンサのＩＲ画素から読み出される近赤外画像から第１のドットパターンを抽出することができ、距離画像取得部２０Ｂは、抽出された第１のドットパターンに基づいて被写体の距離を示す距離画像の取得が可能である。

また、ＣＰＵ２０内の可視光画像生成部（図示せず）は、上記構成のイメージセンサのＲ画素、Ｇ画素及びＢ画素から読み出されるＲＧＢの可視光画像から測距領域内の被写体の可視光画像（カラー画像）を生成することができる。ＲＧＢの各フィルターは近赤外光にも透過率を有するが、対応するＲ画素、Ｇ画素及びＢ画素が近赤外光に感度を持たない構造としたり、ＲＧＢの各フィルターに重ねてＩＲカットフィルタを設けることで近赤外に感度を持たない可視光画像の生成が可能である。また、ＩＲカットフィルタや近赤外光に感度を持たない構造ではなく、図１４の（Ｂ）部分でバンドパス特性を有している近赤外光フィルターに代えて可視光カットフィルタを設け、Ｒ画素、Ｇ画素及びＢ画素から読み出されるＲＧＢの各画像から、ＩＲ画像成分を減算することで可視光画像の生成を行っても良い。

つまり可視光画像には近赤外画像が含まれないため、空間変調された近赤外光の第１のドットパターンが被写体に投射されていても可視光画像には影響しない。また、上記構成のイメージセンサによれば、１つのイメージセンサの出力に基づいて同一画角の距離画像と可視光画像とを同時に取得することができる。

本発明を適用可能な態様は、距離画像を取得する単独の機能を備えている距離画像取得装置に限らず、一般のカラー画像の撮像が可能なデジタルカメラ、ビデオカメラが距離画像取得機能を搭載しているものでもよく、また、距離画像取得機能に加えて距離画像取得機能以外の他の機能（通話機能、通信機能、その他のコンピュータ機能）を備えるモバイル機器類に対しても適用可能である。本発明を適用可能な他の態様としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、本発明を適用可能なスマートフォンの一例について説明する。

＜スマートフォンの構成＞
図１５は、距離画像取得装置の実施形態であるスマートフォン５００の外観を示す斜視図である。

図１５に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１と、投射部５４２とを備えている。尚、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用することや、折り畳み構造やスライド機構を有する構成を採用することもできる。

図１６は、図１５に示したスマートフォン５００の構成を示すブロック図である。図１６に示すように、スマートフォン５００の主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、撮像部として機能するカメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３次元画像を鑑賞する場合には、表示パネル５２１は、３次元表示パネルであることが好ましい。

表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。

操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図１５に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図１６に示すように、例えば、スピーカ５３１及びマイクロホン５３２を表示入力部５２０が設けられた面と同じ面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。尚、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia
card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバスなど）又はネットワーク（例えば、インターネット、無線ＬＡＮ（Local Area
Network）、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示に従って、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示に従って、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアに従って主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などのイメージセンサを用いて電子撮像する撮像装置である。このカメラ部５４１に前述した距離画像取得装置１０を適用することができる。

この場合、カメラ部５４１は、図１４の（Ａ）部分に示したように１つのイメージセンサ内に距離画像用の近赤外光を透過させる第１の受光素子（ＩＲ画素）と、カラー撮像用の第２の受光素子（Ｒ画素、Ｇ画素、Ｂ画素）が混在して２次元配列されたものが好ましい。即ち、カメラ部５４１のイメージセンサとしては、ＲＧＢのカラーフィルタが設けられたＲ画素、Ｇ画素及びＢ画素と、可視光カットフィルタが設けられた画素（赤外光のみに感度を有するＩＲ画素）とが混在するものを使用することが好ましい。

投射部５４２は、近赤外ＬＥＤを有し、距離画像の取得時に近赤外光の第１のドットパターンを投射する。また、近赤外ＬＥＤは、赤外線通信機能を有するスマートフォン５００の場合、赤外線通信の光源として使用することも可能である。

また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た可視光の画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができ、同様に被写体の距離を示す距離画像を記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図１５に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。尚、複数のカメラ部５４１が搭載されている場合には、撮像に供するカメラ部５４１を切り替えて単独にて撮像したり、あるいは、複数のカメラ部５４１を同時に使用して撮像することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

尚、本実施形態の投射部１２は、近赤外ＬＥＤ１２Ａを光源としているが、本発明はこれに限らず、例えば、近赤外のレーザー光を出射する半導体レーザ等を光源にしてもよい。例えば第２の実施形態の変形として、光源の近赤外ＬＥＤ１２Ａの代わりに近赤外レーザーを用いてコリメータレンズ２１０等を省略し、ＤＭＤ２００の変わりに２軸走査のシングルマイクロミラーを用いたり、反射ミラー２１０とＤＭＤ２００の代わりに１軸走査のシングルマイクロミラー２枚の組み合わせを用いることも出来る。

１０…距離画像取得装置、１２、５４２…投射部、１２Ａ…近赤外ＬＥＤ、１２Ｂ…回折光学素子、１２Ｃ…投射レンズ、１４…撮像部、１４Ａ…結像レンズ、１４Ｂ…イメージセンサ、２０…中央処理装置（ＣＰＵ）、２０Ａ…パターン抽出部２０Ａ…距離画像取得部、２０Ｃ…判別部、２２…光変調部、２４…記憶部、２８…操作部、３０…通信部、５００…スマートフォン、５４１…カメラ部

Claims (17)

1. 測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射する投射部と、
   前記投射部から投射される前記第１のパターンを空間変調させる光変調部と、
   前記投射部から基線長だけ離れて並設され、前記測距領域内の被写体上で反射する前記第１のパターンを含む画像を撮像する撮像部と、
   前記撮像部により撮像された画像から前記光変調部により空間変調された前記第１のパターンを抽出するパターン抽出部と、
   前記パターン抽出部により抽出された前記第１のパターンに基づいて前記測距領域内の被写体の距離を示す距離画像を取得する距離画像取得部と、
   を備えた距離画像取得装置。
2. 他の距離画像取得装置から構造化光の第２のパターンが投射されているか否かを判別する判別部を備え、
   前記光変調部は、前記判別部により前記他の距離画像取得装置から前記第２のパターンが投射されていると判別されると、前記投射部から投射される前記第１のパターンを空間変調させる請求項１に記載の距離画像取得装置。
3. 前記第１のパターン及び前記第２のパターンは、それぞれドットパターンであり、
   前記判別部は、前記撮像部により撮像された画像から検出されたドットパターンのドット数が前記投射部から投射した前記第１のパターンのドット数を越えている場合に、前記他の距離画像取得装置から前記第２のパターンが投射されていると判別する請求項２に記載の距離画像取得装置。
4. 前記光変調部は、前記第１のパターンを空間変調させるための複数の空間変調パターンを記憶する記憶部を有し、前記判別部により前記他の距離画像取得装置から前記第２のパターンが投射されていると判別され、かつ前記投射部から投射される前記第１のパターンと前記他の距離画像取得装置から投射される前記第２のパターンとの識別が不能な場合に、前記他の距離画像取得装置から投射される前記第２のパターンとの識別が可能な空間変調パターンを前記記憶部から選択し、前記選択した空間変調パターンにしたがって前記投射部から投射される前記第１のパターンを空間変調させる請求項３に記載の距離画像取得装置。
5. 前記他の距離画像取得装置から送信されるビーコン情報であって、前記他の距離画像取得装置から前記第２のパターンが投射されていることを示すビーコン情報を受信するビーコン情報受信部を備え、
   前記判別部は、前記ビーコン情報受信部が前記ビーコン情報を受信すると、前記他の距離画像取得装置から前記第２のパターンが投射されていると判別する請求項２に記載の距離画像取得装置。
6. 前記ビーコン情報は、前記第２のパターンの空間変調の変調内容を示す空間変調情報を含み、
   前記光変調部は、前記第１のパターンを空間変調の変調内容が異なる複数の空間変調パターンを記憶する記憶部を有し、前記判別部により前記他の距離画像取得装置から前記第２のパターンが投射されていると判別され、かつ前記投射部から投射される前記第１のパターンと前記他の距離画像取得装置から投射される前記第２のパターンとの識別が不能な場合に、前記第１のパターンと前記第２のパターンとの識別を可能にする空間変調パターンを前記記憶部から選択し、前記選択した空間変調パターンにしたがって前記投射部から投射される前記第１のパターンを空間変調させる請求項５に記載の距離画像取得装置。
7. 前記光変調部は、前記第１のパターンを空間変調の変調内容が異なる複数の空間変調パターンを記憶する記憶部を有し、前記記憶部に記憶された複数の空間変調パターンの中から順番に、又はランダムに前記空間変調パターンを読み出し、前記読み出した空間変調パターンにしたがって前記投射部から投射される前記第１のパターンを空間変調させる請求項１に記載の距離画像取得装置。
8. 前記光変調部は、前記投射部又は前記投射部の投射光学系を振動させる振動子である請求項１から７のいずれか１項に記載の距離画像取得装置。
9. 前記振動子は、ピエゾ素子又はボイスコイル型振動子である請求項８に記載の距離画像取得装置。
10. 前記光変調部は、前記投射部から投射される前記第１のパターンが入射するマイクロミラー群を有し、前記マイクロミラー群を揺動させることにより前記マイクロミラー群により反射する前記第１のパターンを空間変調させるデジタルマイクロミラーデバイスである請求項１から７のいずれか１項に距離画像取得装置。
11. 前記第１のパターンが投射される前記測距領域と、他の距離画像取得装置から投射される構造化光の第２のパターンの投射領域とが重複する重複領域を判別する領域判別部を備え、
    前記光変調部は、前記デジタルマイクロミラーデバイスのマイクロミラー群のうちの前記領域判別部により判別された重複領域に対応するマイクロミラーのみを揺動させる請求項１０に記載の距離画像取得装置。
12. 前記第１のパターンの光は、近赤外光であり、
    前記撮像部は、少なくとも近赤外光の波長帯域に感度を有する請求項１から１１のいずれか１項に記載の距離画像取得装置。
13. 前記撮像部は、近赤外光の波長帯域に感度を有する第１の受光素子と、可視光の波長帯域に感度を有する第２の受光素子とが混在して２次元配列されたイメージセンサを有し、
    前記パターン抽出部は、前記イメージセンサの前記第１の受光素子により取得される画像から前記光変調部により空間変調された前記第１のパターンを抽出し、
    前記イメージセンサの前記第２の受光素子により取得される画像から前記測距領域内の被写体の可視光画像を生成する可視光画像生成部を更に備えた請求項１から１２のいずれか１項に記載の距離画像取得装置。
14. 投射部から測距領域内の被写体に対して２次元に分布する構造化光の第１のパターンを投射するステップと、
    前記投射部から投射される前記第１のパターンを空間変調させるステップと、
    前記投射部から基線長だけ離れて並設された撮像部により前記測距領域内の被写体上で反射する前記第１のパターンを含む画像を撮像するステップと、
    前記撮像部により撮像された画像に基づいて前記空間変調された前記第１のパターンを抽出するステップと、
    前記抽出された前記第１のパターンに基づいて前記測距領域内の被写体の距離を示す距離画像を取得するステップと、
    を含む距離画像取得方法。
15. 前記投射部から投射される第１のパターンと異なる第２のパターンが投射されているか否かを判別するステップを含み、
    前記第１のパターンを空間変調させるステップは、前記第２のパターンが投射されていると判別されると、前記第１のパターンを空間変調させる請求項１４に記載の距離画像取得方法。
16. 前記第１のパターン及び前記第２のパターンは、それぞれドットパターンであり、
    前記判別するステップは、前記撮像部により撮像された画像から検出されたドットパターンのドット数が前記第１のパターンのドット数を越えている場合に、前記第２のパターンが投射されていると判別する請求項１５に記載の距離画像取得方法。
17. 前記空間変調させるステップは、前記判別するステップにより前記第２のパターンが投射されていると判別され、かつ前記第１のパターンと前記第２のパターンとの識別が不能な場合に、前記第１のパターンと前記第２のパターンとの識別を可能にする空間変調パターンにしたがって前記投射部から投射される前記第１のパターンを空間変調させる請求項１６に記載の距離画像取得方法。

Images