WO2014174779A1 - 複数の光源を有するモーションセンサ装置 - Google Patents

Abstract

　本開示のある実施形態におけるモーションセンサ装置は、イメージセンサ（１０１）と、ＬＥＤ光源（１０２）と、ＬＥＤ光源（１０３）と、ＬＥＤ光源（１０４）とを備える。ＬＥＤ光源（１０２）のみを発光させた時にイメージセンサ（１０１）が取得した画像と、ＬＥＤ光源（１０３）のみを発光させた時にイメージセンサ（１０１）が取得した画像と、ＬＥＤ光源（１０４）のみを発光させた時にイメージセンサ（１０１）が取得した画像とを用い、被写体の輝度比から被写体までの距離を推定する。

Description

複数の光源を有するモーションセンサ装置

　本願は、複数の光源を備えたモーションセンサ装置に関する。

　特許文献１は、静止または運動中の物体(対象物)に対して複数の光源から時分割で投光し、１つのイメージセンサによって取得した複数の画像に基づいて対象物までの距離を測定する技術を開示している。

　非特許文献１は、近赤外線を用いて人間の手を検出する手振りインターフェースシステムを開示している。非特許文献１には、人間の肌では９７０ｎｍの波長の赤外線よりも８７０ｎｍの波長の赤外線の方が反射率が高いことが記載されている。

特開２００１－１２９０９号公報

竹内麻梨子、加藤邦人、山本和彦、"近赤外肌検出を用いた手振りインターフェースシステムの構築"、社団法人映像情報メディア学会技術報告、ＩＴＥ　Ｔｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ　Ｖｏｌ．３４、Ｎｏ．３４　ＭＥ２０１０－１２２（Ａｕｇ．２０１０）

　従来の技術には、対象物の位置によっては測定された距離の精度または感度が低下するという問題がある。本開示の実施形態は、この問題を解決し得る新しいモーションセンサ装置を提供する。

　本開示のモーションセンサ装置は、ある態様において、イメージセンサと、第１、第２、および第３の光源と、前記イメージセンサおよび前記第１から第３の光源を制御するように構成された制御部とを備える。前記制御部は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、第３の時間で前記第３の光源を発光させながら前記イメージセンサで第３のフレームの撮像を行い、前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の輝度と、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の輝度との比に基づいて、第１の推定距離情報を生成し、前記第１の画像から得られる前記対象物の輝度と、前記第３のフレームの撮像によって取得した第３の画像から得られる前記対象物の輝度との比に基づいて、第２の推定距離情報を生成し、前記第１の推定距離情報と前記第２の推定距離情報とを、選択または合成することにより、前記対象物までの距離情報を得るように構成されている。

　本開示の他の態様に係るモーションセンサ装置は、第１の波長の光、および前記第１の波長とは異なる第２の波長の光を検出可能なイメージセンサと、前記第１の波長の光を出射する第１および第２の光源と、前記第２の波長の光を出射する第３および第４の光源と、前記イメージセンサおよび前記第１から第４の光源を制御するように構成された制御部と、を備える。前記制御部は、第１の時間で前記第１および第４の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２および第３の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の前記第１の波長の成分の輝度と、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の前記第１の波長の成分の輝度との比から、第１の推定距離情報を取得し、前記第１の画像から得られる前記対象物の前記第２の波長の成分の輝度と、前記第２の画像から得られる前記対象物の前記第２の波長の成分の輝度との比から、第２の推定距離情報を取得し、前記第１の推定距離情報と前記第２の推定距離情報とを、選択または合成することにより、前記対象物までの距離情報を得るように構成されている。

　本開示の他の態様に係るモーションセンサ装置は、イメージセンサと、第１、第２、および第３の光源と、前記イメージセンサおよび前記第１から第３の光源を制御するように構成された制御部と、を備える。前記制御部は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、第３の時間で前記第３の光源を発光させながら前記イメージセンサで第３のフレームの撮像を行い、前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の輝度を第１の輝度、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の輝度を第２の輝度、前記第３のフレームの撮像によって取得した第３の画像から得られる対象物の輝度を第３の輝度とするとき、前記制御部は、前記第１の輝度と前記第３の輝度とを合成または選択することによって得られる第４の輝度と、前記第２の輝度との比に基づいて、前記対象物までの距離情報を得るように構成されている。

　本開示の他の態様に係るモーションセンサ装置は、第１の波長の光、および前記第１の波長とは異なる第２の波長の光を検出可能なイメージセンサと、前記第１の波長の光を出射する第１および第２の光源と、前記第２の波長の光を出射する第３および第４の光源と、前記イメージセンサおよび前記第１から第４の光源を制御するように構成された制御部と、を備える。前記制御部は、第１の時間で前記第１および第４の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２および第３の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の前記第１の波長の成分の輝度を第１の輝度、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の前記第１の波長の成分の輝度を第２の輝度、前記第１の画像から得られる前記対象物の前記第２の波長の成分の輝度を第３の輝度、前記第２の画像から得られる前記対象物の前記第２の波長の成分の輝度を第４の輝度とするとき、前記制御部は、前記第１の輝度と前記第２の輝度とを選択または合成することによって得られる第５の輝度と、前記第３の輝度と前記第４の輝度とを選択または合成することによって得られる第６の輝度との比に基づいて、前記対象物までの距離情報を得るように構成されている。

　本開示の電子装置は、上記のモーションセンサ装置と、前記モーションセンサ装置によって検出された対象物の運動に応答して表示内容を変化させるディスプレイとを備える。

　本開示の集積回路は、上記のモーションセンサ装置に使用される集積回路であって、前記イメージセンサおよび前記光源に接続され、露光及び発光のタイミングを制御するタイミング制御部と、撮像データを処理し、相対的に輝度の高い領域を探索する極値探索部と、前記極値探索部で探索された領域の座標と輝度を格納する座標メモリと、前記座標メモリのデータから、同一領域から異なる条件で撮影したフレームを選び出して、輝度比を用いて推定距離情報を算出する距離算出部とを備える。

　本開示の距離推定方法は、上記のモーションセンサ装置による距離計算方法であって、撮像フレームのデータから相対的に光強度の高い領域を選択的に選び出し、その座標と光強度を算出する極値探索ステップと、前記極値探索ステップで選び出された輝度のうち、異なる条件で撮影したフレーム同士から選び出された輝度の比を算出する輝度比算出ステップと、前記輝度比算出ステップで算出された輝度比と、前記極値探索ステップで探索された座標とを用いて、距離に換算する距離換算ステップとを含む。

　本開示のコンピュータプログラムは、上記のモーションセンサ装置を動作させるコンピュータプログラムであって、前記モーションセンサ装置に、撮像フレームのデータから相対的に光強度の高い領域を選択的に選び出し、その座標と光強度を算出する極値探索ステップと、前記極値探索ステップで選び出された輝度のうち、異なる条件で撮影したフレーム同士から選び出された輝度の比を算出する輝度比算出ステップと、前記輝度比算出ステップで算出された輝度比と、前記極値探索ステップで探索された座標とを用いて、距離に換算する距離換算ステップとを実行させる。

　本開示のモーションセンサ装置の実施形態は、距離測定の誤りの発生を抑制することができる。

２個の光源を備えるモーションセンサ装置の断面を模式的に示す図 図１Ａの装置の上面図 ＬＥＤ光源の放射角と相対放射強度との関係を示すグラフ ＬＥＤ光源の放射角を示す図 第１のＬＥＤ光源１０２から放射された光で対象物１０４が照射される様子を示す図 第２のＬＥＤ光源１０３から放射された光で対象物１０４が照射される様子を示す図 撮像データの１ラインの画素位置と輝度との関係を示すグラフ ある放射角における輝度比と距離との関係を示すグラフ 第１のＬＥＤ光源１０２から放射された光で僅かに移動した対象物１０４が照射される様子を示す図 第２のＬＥＤ光源１０３から放射された光で僅かに移動した対象物１０４が照射される様子を示す図 ２個の光源を備えるモーションセンサ装置の感度領域を模式的に示す図 本開示の実施形態１における光源装置とイメージセンサの配置図 本開示の実施形態１における光源及びイメージセンサのタイミングチャート 本開示の実施形態１における低感度領域を示す図 本開示の実施形態１におけるモーションセンサ装置の構成図 本開示の実施形態１におけるモーションセンサ装置の構成例を示すブロック図 本開示の実施形態１における距離計算手順のフローチャート 本開示の実施形態１の他の配置例を示す上面図 本開示の実施形態１のさらに他の配置例を示す上面図 本開示の実施形態２の光源装置とイメージセンサの配置図 本開示の実施形態２の光源及びイメージセンサのタイミングチャート 本開示の実施形態２における低感度領域を示す図 本開示の実施形態２におけるイメージセンサの感度特性を示す図 本開示の実施形態１のモーションセンサ装置を製品に組み込んだ例を示す図

　本開示によるモーションセンサ装置によって対象物（被写体）までの距離を測定することができる基本原理を説明する。

　まず、図１Ａおよび図１Ｂを参照する。図１Ａは、モーションセンサ装置の断面を模式的に示す図であり、図１Ｂは、図１Ａの上面図である。

　図１Ａおよび図１Ｂに示されている装置は、中央に位置するイメージセンサ１０１と、イメージセンサ１０１の両側に位置する２個のＬＥＤ光源１０２、１０３とを備えている。図示されている例では、イメージセンサ１０１およびＬＥＤ光源１０２、１０３は、１個の基板１００に搭載されている。イメージセンサは、多数の微細な光検知セル(フォトダイオード)が行および列状に配列された固体撮像素子であり、典型的にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型またはＣＭＯＳ型である。

　図１Ａには、第１の光源１０２から出た光１０２ａと第２の光源１０３から出た光１０３ａとが模式的に示されている。この装置は、ＬＥＤ光源１０２、１０３を交互に点灯させながら、撮像を行うことにより、計測対象物体（対象物）までの距離を測定することができる。なお、「距離の測定」は、イメージセンサから対象物までの距離の推定値、あるいは、空間内の対象物の位置の推定値を求めることを含む。対象物には、例えば、人の手、指、人が持つペンなどが含まれ得る。対象物は移動してもよい。高速で移動しつつある人の指先までの距離、または指先の位置の推定値をリアルタイムで取得することができる３次元モーションセンサ装置は、コンピュータ、タブレット端末、スマートフォン、ゲーム機器、および家電機器を含む多様な電子機器の「入力デバイス」として使用され得る。

　図２は、ＬＥＤ光源１０２、１０３の各々から出た光の放射パターン（配光特性）を表すグラフである。グラフの横軸は、図３に示されるように、放射の方向が基板１００の法線方向Ｎに対して形成する角度θである。グラフの縦軸は、相対放射強度である。以下、放射の角度θを「放射角」と称する場合がある。なお、相対放射強度の値は、光源から特定角度の方向に離れた位置に置かれた対象物の照度（放射照度）に対応している。

　図２からわかるように、ＬＥＤ光源１０２、１０３の各々から出た放射は、角度θが０°のとき、最も高い強度を示す。図２の例において、ＬＥＤ光源１０２、１０３は、その放射強度がＩ₀×ｃｏｓθで近似できるような配光特性を示している。ＬＥＤ光源１０２、１０３の配光特性は、図２の例に限定されない。また、ＬＥＤ光源１０２、１０３から出る放射は、可視光に限定されず、赤外線のように人間の視覚によって感じとれない波長域の電磁波であってもよい。本明細書では、簡単のため、光源から出る放射を単に「光」と称する場合がある。この「光」の用語は、可視光に限定されず、イメージセンサで検出可能な電磁波を広く含むものとする。

　次に、上記の装置で対象物までの距離を測定する方法を説明する。

　まず、図４Ａおよび図４Ｂを参照する。図４Ａには、第１のＬＥＤ光源１０２から放射された光で対象物１０４が照射され、対象物１０４で反射された光の一部がイメージセンサ１０１に入射する様子が示されている。一方、図４Ｂには、第２のＬＥＤ光源１０３から放射された光で対象物１０４が照射され、対象物１０４で反射された光の一部がイメージセンサ１０１に入射する様子が示されている。対象物１０４の位置は、図４Ａおよび図４Ｂで実質的に同じであるとする。

　この装置によれば、第１の時刻において、図４Ａに示すように、ＬＥＤ光源１０２を点灯し、ＬＥＤ光源１０３を消灯させた状態でイメージセンサ１０１による第１の撮像を行う。次に、第２の時刻において、図４Ｂに示されるように、ＬＥＤ光源１０３を点灯し、ＬＥＤ光源１０２を消灯させた状態でイメージセンサ１０１による第２の撮像を行う。第１および第２の撮像の各々の期間（露光時間）は、対象物１０４が実質的に停止していると扱える程度に十分に短いと仮定する。

　第１の撮像を行うとき、ＬＥＤ光源１０２から出た光の一部が対象物１０４によって反射されてイメージセンサ１０１に入射するため、イメージセンサ１０１に入射する光の強度に応じた輝度画像が得られる。同様に、第２の撮像を行うときは、ＬＥＤ光源１０３から出た光の一部が対象物１０４によって反射されてイメージセンサ１０１に入射するため、イメージセンサ１０１に入射する光の強度に応じた輝度画像が得られる。

　第１および第２の撮像によって取得した２フレームの画像の各々に基づいて、対象物１０４の輝度（輝度分布または輝度像）を求めることができる。なお、本明細書における「輝度」とは、［カンデラ／ｍ²］の単位を有する心理物理量ではなく、イメージセンサの画素ごとに定まる「相対輝度」であり、光量または放射量に相当する。各フレームの画像を構成する各画素は、受光量に応じた「輝度値」を有する。

　対象物１０４には大きさがあるため、各画像における対象物１０４の像は、通常、複数の画素によって構成される。対象物１０４の「輝度」は、対象物１０４の像を構成する複数の画素の輝度値から種々の方法によって決定することができる。対象物１０４の像のうち、最も明るい「画素」または「画素ブロック」の輝度を対象物１０４の輝度とすることも可能であるし、対象物１０４の像を構成する全ての画素の平均輝度を対象物１０４の輝度とすることもできる。

　図５は、上述の方法で取得した２フレームの画像の各々において、対象物１０４の像を横切る一本の水平ラインの輝度値を示すグラフである。横軸が画像内の特定の水平ライン上における画素位置であり、縦軸は輝度である。グラフ中の曲線３０１はＬＥＤ光源１０２が点灯しているときの輝度であり、曲線３０２はＬＥＤ光源１０３が点灯しているときの輝度である。

　図５の例では、曲線３０１および曲線３０２は、それぞれ、単峰性のピークを有している。すなわち、曲線３０１は、ある画素位置で極値３０３を示し、曲線３０２は、他の画素位置で極値３０４を示している。曲線３０１の極値３０３と曲線３０２の極値３０４との間の水平方向の座標間隔は、幅３０５によって示されている。

　前述したように、２フレームの間に対象物１０４は実質的に静止している。したがって、曲線３０１と曲線３０２との間にある相違は、ＬＥＤ光源１０２が作る放射のパターンとＬＥＤ光源１０３が作る放射のパターンとが異なることに起因している。ＬＥＤ光源１０２から出た光が対象物１０４で反射されてイメージセンサ１０１に入射して取得される像の輝度と、ＬＥＤ光源１０３から出た光が対象物１０４で反射されてイメージセンサ１０１に入射して取得される像の輝度との比率は、ＬＥＤ光源１０２から対象物１０４までの距離とＬＥＤ光源１０３から対象物１０４までの距離との関係に依存する。

　撮影画像の輝度比から、物体の距離が計測できる。図６は、イメージセンサ１０１から４５度の角度の方向における距離と輝度比との関係の一例を示すグラフである。図６のグラフは、図２の特性を示すＬＥＤ光源をイメージセンサ１０１から左右に所定の距離だけ離して配置した場合において、横軸に対象物までの相対的な距離、縦軸に輝度比を示している。横軸の「距離」は、イメージセンサ１０１とＬＥＤ光源との距離を基準としており、「１」の距離は、イメージセンサ１０１とＬＥＤ光源との距離に等しい大きさを意味している。

　対象物の輝度（または照度）は、ＬＥＤ光源から対象物までの距離の二乗に反比例して減衰する。このため、距離に応じて輝度の比は変化する。図２に示す放射特性が既知であるため、この放射特性に基づけば、精度の高い距離の検出または推定が可能となる。

　図６は、放射角θが４５度のときの距離と輝度比との関係の一例であるが、異なる複数の角度について、同様に距離と輝度比との関係を事前に得ることができる。対象物の角度は、イメージセンサで取得される対象物の撮像位置に基づいて求めることができる。

　図６からわかるように、対象物体とイメージセンサとの距離が概ね１より離れている場合、極値３０３と極値３０４の比から距離を計測できる。

　上記の例では、放射角に応じて相対放射強度が変化する光源を用いている。しかし、この測定方法は、このような特性を有しない光源を用いても可能である。平行光線を発する光源以外であれば、光強度は３次元空間内で何らかの配光特性を示すため、そのような光源も距離測定に利用可能である。例えば、配光が等方的な「点光源」でも、対象物上の照度および輝度は、光源からの距離の２乗に反比例して減衰するため、３次元空間的に異なる輻射パターンを持つ光源と言える。

　次に、図７Ａおよび図７Ｂを参照する。これらの図は、図４Ａおよび図４Ｂに示される位置から移動した対象物１０４に対する撮像を行う様子を示している。高速な撮像および距離の推定を行うことができれば、移動する対象物に対しても、前述した方法で距離の測定が可能である。光源１０２、１０３による交互の照明とイメージセンサ１０１による撮像を繰り返すことにより、移動する対象物１０４の位置を検出することができる。その結果、対象物１０４の位置の変化、または運動を検知することが可能になる。

　本発明者によると、上述した装置では、２個のＬＥＤ光源１０２、１０３の各々から対象物１０４までの距離が等しくなる領域において、距離の測定精度が低下することがわかった。本明細書では、このような領域を「低感度領域」と称することにする。また、図６のグラフの横軸に示す距離が１以下のとき、距離が短くなるほど輝度比が上昇するため、輝度比だけでは、対象物体までの距離が１以下の「至近距離領域」にあるのか否かを判別できない。

　図８は、上記の装置による低感度領域を模式的に示す図である。図８には、距離が短すぎて発生する低感度領域５０４と、距離に関わらず輝度比が１に近くなることによって発生する低感度領域５０５とが示されている。

　以下に説明する本開示の各実施形態によれば、これらの低感度領域で計測結果が不安定になることを抑制することが可能になる。

　（実施形態１）
　本開示によるモーションセンサ装置の第１の実施形態を説明する。本実施形態のモーションセンサ装置は、３個の光源を備える。

　図９Ａは、３個の光源（第１の光源１０２、第２の光源１０３、第３の光源１０４）を備えるモーションセンサ装置における光源の配置構成例を模式的に示す図である。図９Ｂは、このモーションセンサ装置における光源とイメージセンサの制御タイミングを示すタイムチャートである。まず、図９Ａおよび図９Ｂを参照しながら、本実施形態の構成によれば低感度領域で計測結果が不安定になる問題を解決できる理由を説明する。

　図９Ｂに示される期間８０２、８０３、８０４は、それぞれ、ＬＥＤ光源１０２、１０３、１０４が点灯する期間に相当する。第１の露光期間８０５、第２の露光期間８０６、第３の露光期間８０７は、それぞれ、イメージセンサ１０１による第１フレーム、第２フレーム、第３フレームの撮像に対応する。図９Ｂのタイムチャートでは、ＬＥＤ光源１０２、１０３、１０４は、この順序で点灯しているが、点灯の順序は任意である。ただし、ＬＥＤ光源１０２の点灯期間を３つの光源の点灯期間の中央に設定すれば、対象物の動きに起因する測定精度の低下を抑制できるという効果がある。

　通常のイメージセンサは１回の露光により１フレームの撮像を行い、得られた画像データを外部に読み出してから次のフレームの撮像を行う。すなわち、フレームごとに画像データの読み出し動作が実行される。そのようなイメージセンサによると、第ｎフレーム（ｎは整数）における露光が終了した後、第ｎ＋１のフレームの露光を開始するまでの間に、第ｎフレームの撮像によって得られた全部の電荷を転送して外部に出力する動作のための時間を要する。

　しかし、本実施形態では、図９Ｂに示されるように、第１の露光期間８０５のあと、すぐに第２の露光期間８０６が始まる。第１の露光期間８０５において第１フレームの撮像が行われて生じた各画素の電荷は、第２の露光期間８０６が始まる前に記憶部に移され、その記憶部に蓄積される。また、第２の露光期間８０６のあと、すぐに第３の露光期間８０７が始まる。第２の露光期間８０６において第２フレームの撮像が行われて生じた各画素の電荷は、第３の露光期間８０７が始まる前に別の記憶部に移され、その記憶部に蓄積される。その後、これらの記憶部に蓄積されていた電荷および第３の露光期間８０７に発生した電荷の信号が期間Ｔｔに読み出され、外部に出力される。

　本実施形態では、第１～第３の露光期間の各長さを「Ｔｅ」とするとき、「３×Ｔｅ＋Ｔｔ」に等しい長さＴｆの逆数（１／Ｔｆ）で決まるレートで、３枚のフレーム画像のデータが読み出される。

　時間Ｔｔは、画素数にも依存するが、データ転送レートを考慮して、例えば２０ミリ秒程度の大きさに設定され得る。一方、時間Ｔｅは、１ミリ秒以下の短い期間、例えば２５マイクロ秒に設定され得る。３枚のフレームの撮像を短い期間内に連続して実行すれば、対象物が人の指先のように高速に移動する場合でも、距離計測を行うことが可能になる。例えば３×Ｔｅが７５マイクロ秒の場合、対象物が１メートル／秒の速度で移動しても、第１～第３の撮像中に対象物は０．０７５ミリメートルしか移動しない。一方、通常のフレームレート（例えば６０フレーム／秒）で撮像を行えば、対象物は５０ミリメートルも移動してしまう。仮に１０００フレーム／秒の高速度撮影を行っても、対象物は３ミリメートルも移動する。本実施形態では、第１のフレームの開始時点から第３のフレームの終了時点までの期間を例えば３ミリ秒以下に短縮できるため、モーションセンサ装置として各種の用途に実用的である。

　本実施形態の構成では、第１から第３のフレームで取得された３枚の画像のうちの２枚の画像に基づいて対象物までの距離を算出することができる。３枚の画像のうちの２枚の組み合わせは３通りある。３通りの各々で低感度領域の位置が異なる。２通りまたは３通りの組み合わせに係る画像のペアを利用することにより、低感度領域の除去が可能となる。本実施形態では、主に、第１および第２のフレームで取得された２枚の画像と、第２および第３のフレームで取得された２枚の画像とを利用して低感度領域を除去する場合を想定する。

　図１０は、第１および第２のフレームで取得された２枚の画像から距離情報を求めた場合の低感度領域と、第２および第３のフレームで取得された２枚の画像から距離情報を求めた場合の低感度領域を模式的に示す図である。第１および第２のフレームで取得された２枚の画像に基づいて対象物の距離を算出する場合、光源１０２、１０３の各々からの距離が等しい領域を中心に低感度領域６０５が発生する。一方、第２および第３のフレームで取得された２枚の画像に基づいて対象物の距離を算出する場合、光源１０３、１０４の各々から距離が等しい領域を中心に低感度領域６０６が発生する。本実施形態では、光源１０３がイメージセンサ１０１の近傍に配置されているため、図８に示すような至近距離における低感度領域５０４は発生しない。

　十分に短い時間に強い発光条件の元で撮影されたフレームの輝度は、ほぼ反射光の強度に比例する。ここで、第１のフレームに写った対象物の輝度を「第１の輝度」、第２のフレームに写った対象物の輝度を「第２の輝度」、第３のフレームに写った対象物の輝度を「第３の輝度」と呼ぶことにする。対象物と各光源との位置関係によって定まる角度および距離に応じて各輝度が決定される。前述のように、これらの輝度の比から対象物の距離を推定できる。

　第１の輝度と第２の輝度とを比較した場合、低感度領域６０５では、これらの輝度がほぼ等しい（輝度比が１に近い）ため、距離計測精度が低下する。第２の輝度が第１の輝度よりも大きい場合、低感度領域６０５よりも右側（光源１０３に近い側）に対象物があると推定できる。逆に、第１の輝度が第２の輝度よりも大きい場合、低感度領域６０５よりも左側（光源１０２に近い側）に対象物があると推定できる。

　一方、第２の輝度と第３の輝度とを比較した場合、低感度領域６０６では、これらの輝度がほぼ等しい（輝度比が１に近い）ため、距離計測精度が低下する。第２の輝度が第３の輝度よりも大きい場合、低感度領域６０６よりも左側（光源１０３に近い側）に対象物があると推定できる。逆に、第３の輝度が第２の輝度よりも大きい場合、低感度領域６０６よりも右側（光源１０４に近い側）に対象物があると推定できる。

　以上のことから、本実施形態のモーションセンサ装置は、第１の輝度と第２の輝度との比から第１の推定距離情報を求め、第２の輝度と第３の輝度との比から第２の推定距離情報を求め、これらを選択または合成することにより、対象物の距離情報を生成する。例えば、第１の輝度と第２の輝度との比が予め設定された範囲内にある場合には、第２の推定距離情報のみを利用して対象物までの距離情報を求め、第２の輝度と第３の輝度との比が予め設定された範囲内にある場合には、第１の推定距離情報のみを利用して対象物までの距離情報を求める。ここで、「予め設定された範囲」とは、例えば、１に近い所定の範囲（０．８～１．２など）である。２つの輝度の「比が予め設定された範囲内にある場合」には、２つの輝度の「比」ではなく「差」が予め設定された範囲内にある場合も含まれるものとする。

　あるいは、第２の輝度が第１の輝度よりも大きい場合に限定して第１の推定距離情報を利用し、第２の輝度が第３の輝度よりも大きい場合に限定して第２の推定距離情報を利用するようにしてもよい。一方の輝度が他方の輝度よりも大きいか否かは、例えば両者の差の絶対値が所定の閾値よりも大きいか否か、または、両者の比と１との差分が所定の閾値よりも大きいか否かによって判断され得る。このような制御により、低感度領域６０５または６０６に対象物が位置する場合でも、いずれかの推定距離情報に基づいて対象物の距離を測定することができる。なお、本実施の形態では利用していないが、第１の輝度と第３の輝度との比較結果に基づいて推定距離情報を求めてもよい。

　第１の推定距離情報および第２の推定距離情報の両者ともに高感度な領域については、重みをつけつつ両者の平均をとるなどの合成を行なってもよい。このような処理により、低感度領域を除去し、高感度な距離測定が可能である。

　イメージセンサ１０１に近い位置に配置されるＬＥＤ光源１０３については、光度（放射強度）または光束（放射束）の値を小さくしたり、放射角度を狭く設定したりしてもよい。従って、ＬＥＤ光源１０４としては、価格の低い低出力の光源を採用できる。そのような光源を採用すれば、部品コストや消費電力の増加を抑制可能である。すなわち、本実施形態によれば、相対的に価格が低い１個のＬＥＤ光源を増設するだけで、低感度領域の少ないモーションセンサ装置を実現できる。

　本実施形態では、連続して３フレームの撮像が可能な、やや高価なイメージセンサを使用することにより、高速で移動する対象物までの距離、または対象物の３次元的な運動を検出することができる。計測対象である物体の移動速度が十分に低いことが想定される場合は、通常の１フレーム露光のイメージセンサを用いても良い。

　次に、図１１、図１２および図１３を参照して、本実施形態に係るモーションセンサ装置の構成および動作をより詳しく説明する。

　図１１は、本実施形態に係るモーションセンサ装置の構成を模式的に示す図である。この装置は、イメージセンサ１０１と、イメージセンサ１０１の撮像面に被写体像を形成するレンズ系１１０と、３個のＬＥＤ光源１０２、１０３、１０４と、イメージセンサ１０１およびＬＥＤ光源１０２、１０３、１０４を制御するように構成された制御部１０００とを備えている。イメージセンサ１０１およびＬＥＤ光源１０２、１０３、１０４は、基板１００上に搭載されている。制御部１０００の一部または全部は、基板１００上に実装されていてもよいし、他の基板上に実装されていてもよい。また、制御部１０００の機能の一部が、離れた位置に置かれた装置によって実現されていてもよい。

　ＬＥＤ光源１０３は、イメージセンサ１０１の最も近くに配置されている。イメージセンサ１０１を基準としたときのＬＥＤ光源１０２～１０４の方向をそれぞれ第１～第３の方向、ＬＥＤ光源１０２～１０４までの距離をそれぞれ第１～第３の距離とする。第２の方向および第３の方向は第１の方向とは反対の方向である。また、第２の距離は、第１および第３の距離よりも短い。本実施形態では、第２および第３の距離は相互に等しく設定されている。

　ＬＥＤ光源１０２、１０３、１０４は、いずれも同じ波長域の光を出射するように構成されている。イメージセンサ１０１は、ＬＥＤ光源１０２、１０３、１０４から出射された光の少なくとも一部の波長の光を検出できるように構成されている。ＬＥＤ光源１０２、１０３、１０４としては、実用性の観点から、近赤外線などの不可視光を発するものを好適に用いることができる。ただし、工業用など、可視光を出射しても問題のない用途では、可視光での実装も可能である。光源としては、ＬＥＤ光源に限らず、点光源などの３次元的に強度分布に偏りのある光源であればどのようなものでも利用可能である。以下の説明では、ＬＥＤ光源１０２、１０３、１０４は、近赤外線である第１の波長（例えば８００ｎｍ）の光を出射するように構成され、イメージセンサ１０１は、当該第１の波長の光を検出できるように構成されているものとする。

　なお、本明細書において「近赤外領域」とは、概ね７００ｎｍから２．５μｍの波長の範囲を指す。また、「近赤外線」とは、近赤外領域の波長をもつ光（電磁波）を意味する。また、「第１の波長の光を出射する」ことには、第１の波長を含む広い波長域の光を出射することを含むものとする。本実施形態において、光源１０２、１０３、１０４は、厳密に同じ波長域の光を出射している必要はなく、輝度比に基づく距離計測が可能な範囲で波長域にずれが生じていてもよい。

　本実施形態では、光源１０２、１０３により、イメージセンサ１０１のすぐ左側から右側全体の領域に位置する対象物までの距離測定が安定的に可能になる。一方、光源１０３、１０４により、光源１０３のすぐ右側から左側全体の領域に位置する対象物までの距離測定が安定的に可能になる。このように、光源１０２、１０３による輝度比と、光源１０３、１０４による輝度比とを利用することにより、低感度領域を排除し、距離検出の安定度を高めることが可能になる。

　イメージセンサ１０１は、画素単位で電荷をいったん蓄積しておく記憶部を有している。従って、第ｎフレームの撮像によって得られた画像データの読み出しを待たずに第ｎ＋１フレームの撮像が行える。イメージセンサ１０１内の記憶部を増やせば、３フレーム以上の連続した露光が可能である。イメージセンサ１０１としては、偶数／奇数ラインで別々に露光できる特殊センサであってもよい。なお、本実施形態におけるイメージセンサは、ＣＭＯＳイメージセンサまたはＣＣＤイメージセンサであるが、イメージセンサはこれらに限定されない。

　制御部１０００は、第１の時間で第１の光源１０２を発光させながらイメージセンサ１０１で第１のフレームの撮像を行い、第２の時間で第２の光源１０３を発光させながらイメージセンサ１０１で第２のフレームの撮像を行い、第３の時間で第３の光源１０４を発光させながらイメージセンサ１０１で第３のフレームの撮像を行うように構成されている。そして、制御部１０００は、第１から第３のフレームの撮像によって取得した複数の画像に基づいて、対象物１０４までの推定距離情報を得るように構成されている。

　図１２は、本実施形態におけるモーションセンサ装置の構成例を示すブロック図である。

　撮像装置１１０１は、単眼レンズ型の撮像装置であり、図１１のイメージセンサ１０１およびレンズ系１１０を有する。レンズ系１１０は、同一光軸上に配列された複数のレンズの組であってもよい。光源装置１１０２は、図１１の光源１０２、１０３、１０４を有する。

　本実施形態における制御部１０００は、ＣＰＵ１１０３と半導体集積回路１１０４とを有している。半導体集積回路１１０４は、距離計算ブロック１１０５、画像フィルタブロック１１０６を有している。距離計算ブロック１１０５は、極値探索部１１０７、タイミング制御部１１０８、座標メモリ１１０９、および距離算出部１１１０を有している。

　本実施形態における光源１０２、１０３、１０４は、いずれもＬＥＤ光源であり、それぞれ、図２に示される放射角と相対放射強度との関係を有している。なお、本開示の実施には、各光源１０２、１０３、１０４が放射角に応じて相対放射強度が変化する特性を有している必要は無い。しかし、現実には、多くの光源が放射角に応じて変化する相対放射強度を有するため、本実施形態では、この点を考慮する。

　本実施形態において、図１２のタイミング制御部１１０８は、光源装置１１０２に対しＬＥＤ光源１０２の点灯指示信号を出す。また、タイミング制御部１１０８は、撮像装置１１０１に対してイメージセンサ１０１の露光指示信号を出す。こうすることにより、光源１０２が点灯した状態での画像が第１のフレームで取得され、半導体集積回路１１０４に送られる。

　続けて、タイミング制御部１１０８は、光源装置１１０２に対して光源１０３の点灯指示信号を出力し、撮像装置１１０１に対してイメージセンサ１０１の露光指示信号を出力する。こうすることにより、光源１０３が点灯した場合の画像が第２のフレームで取得され、半導体集積回路１１０４に送られる。

　更に続けて、タイミング制御部１１０８は、光源装置１１０２に対して光源１０４の点灯指示信号を出力し、撮像装置１１０１に対してイメージセンサ１０１の露光指示信号を出力する。こうすることにより、光源１０４が点灯した場合の画像が第３のフレームで取得され、半導体集積回路１１０４に送られる。

　半導体集積回路１１０４では、撮像装置１１０１から出力された画像フレームが、画像フィルタブロック１１０６で処理される。画像フィルタブロック１１０６は必須ではないが、本実施形態では、画像処理にあたってノイズ除去フィルタなどの前処理を画像フィルタブロック１１０６で行う。

　画像フィルタブロック１１０６で処理された画像は、距離計算ブロック１１０５に送られる。距離計算ブロック１１０５内では、極値探索部１１０７で画像が処理される。極値探索部１１０７で処理されるデータの一例は、前述の図５に示される通りである。図５では、撮像画像の所定ライン上の輝度が示されている。なお、図５では、２つのフレーム画像について、同一ライン上の輝度分布が示されているが、本実施形態では、３つのフレーム画像について、同一ライン上の輝度分布が得られる。言い換えると、３つのフレーム画像から、２対のフレーム画像を選択すれば、各々が図５に示されるような２つのグラフが得られる。例えば、第１フレームの画像および第２フレームの画像から、図５に示されるようなグラフを作ることができる。同様に、第２フレームの画像および第３フレームの画像からも、図５に示されるようなグラフを作ることができる。

　極値探索部１１０７では、まず検出する物体の存在する領域を探索する。探索方法は多数存在する。例えば図５の輝度３０１と輝度３０２から輝度の極値３０３や３０４を探索するのは容易である。さらに動きに対して安定した極値がほしい場合は、輝度が一定の値以上の領域を特定し、その中央値を極値とする方法もある。

　次に、極値３０３と３０４を同一物体からのものとして極値同士をペアリングする。これは単に座標の近いもの同士をペアリングする簡単な方法でも良いし、予め輝度３０１と輝度３０２とを加算した値から一定輝度以上の領域を求めておき、その範囲内で極値を探しても良い。

　図５の輝度３０１と輝度３０２との差分に着目すると、差分が無いにもかかわらず輝度レベルの存在する領域がある。それは本装置の外部に存在するシステム外の光源によるものと考えられるので、外乱要素として除外することが考えられる。コストが許せば、本システムの光源をすべて消灯した状態での撮像を行ってこれを減じても同様の効果が得られる。

　極値探索部１１０７は、検出した物体の座標と極値を出力する。座標は領域３０６の中心や重心とすることもできるし、極値３０３と極値３０４との中央の座標であってもよい。また、輝度は極値３０３、３０４をそのまま使う方法もあるし、領域の積分値を求める方法もある。

　ここでは、簡単のため、特定ラインの１次元上のデータについて説明を行なった。しかし、１次元の直線は撮像の水平ライン以外の軸であってもよいし、２次元的に相対輝度レベルの高い領域の座標と輝度を探すことも可能である。

　極値探索部１１０７で出力された物体の座標と極値は、座標メモリ１１０９に格納された後、距離算出部１１１０に送られる。

　距離算出部１１１０は、第１のフレーム画像から得た輝度と第２のフレーム画像から得た輝度との比に基づいて、距離を算出する。まず、物体の座標から、物体がイメージセンサ１０１からみてどの方位にあるかを決定する。この方位は、レンズなどの光学系の特性を加味して一意に決定可能である。

　次に、その方位のどの距離に物体があるかがわかれば物体の３次元位置を推定することが可能である。

　前述した図６に示されるようなＬＥＤ光源の配置と放射特性が各方位について得られている。図６のデータは、ＬＥＤ光源と物体との距離の２乗に反比例して光強度が弱まることに基づいている。また、精度を高めるために、各距離でＬＥＤ光源との間に発生する角度を図２の放射特性に応じて補正している。図６に示されるデータがあれば、輝度比によって物体の距離が算出可能である。

　図６のデータは、距離算出部１１１０で三角関数計算を用いて算出しても良い。また、予め計算や計測を行ったグラフをテーブルとして備えておき、必要に応じて補完等しながら参照する方法で計算しても良い。

　距離計算ブロック１１０５の結果は、ＣＰＵ１１０３に送られて３Ｄモーション情報として利用される。

　以上の構成では、画像データに対してライン単位で処理が進行できる。このため、１パスで物体の検出が完了し、レイテンシの少ないモーションセンサ装置が実現可能である。

　極値３０３と極値３０４の座標が必ずしも一致しなくとも、対象物の材質が対象領域内で概ね均一であれば、距離計算の輝度比としてこれらの極値３０３、３０４を用いることが可能である。この特性に着目し、計測単位をある程度幅を持った物体の単位でのみ行なってもよい。本実施形態では、極値探索を先に行ない、得られた極値に対して、距離計算を行なう。こうすることにより、計算処理量の削減および高速化を実現できる。

　人間の５体の状況を計測する場合、撮像されたデータのうち、ある１ラインのデータから、腕や足や首という単位で、撮像された各領域の輝度の極値を求めることになる。このため、各ピクセルでなんらかの距離演算を行なう方式に比べて計算回数が飛躍的に減少する。

　ここまでの処理はすべてＣＰＵとソフトウェアプログラムのみで処理することも可能である。その場合のソフトウェアプログラムの処理フロー図を図１３に示す。この処理は、極値探索ステップ１２０１、閾値判定ステップ１２０２、輝度比算出ステップ１２０３、距離換算ステップ１２０４を含む。

　極値探索ステップ１２０１では、画像データの中から輝度値の相対的に高い領域、すなわち極値を含む領域を探索する。続けて、閾値判定ステップ１２０２にて極値探索ステップ１２０１が追跡対象とすべき物体か判定する。輝度や領域サイズが一定値以下であればノイズとみなして「物体無し」であると判定して破棄する。閾値判定ステップ１２０２は必須ではないが一般にロバスト性をあげるためには重要なステップである。続けて、閾値判定ステップ１２０２で物体ありと判定された場合、対応する極値同士をペアリングして対応付けて輝度比を算出する。続けて距離換算ステップ１２０４で輝度比と撮像画像位置とを用いて距離に換算する。

　以上の手順を規定したプログラムを磁気記録媒体や半導体記録媒体などに格納し、ＣＰＵでプログラムを実行することでも本機能は実現できる。

　本実施形態によれば、極値探索ステップ１２０１で１度だけ画像を走査し、計算対象となる輝度値と座標をピックアップできるため、この手順を用いることで高速に計算を完了することが可能となる。

　本実施形態のモーションセンサ装置は、各種の用途に応用できる。ビデオカメラに応用することにより、動画像におけるオートフォーカスを高速に制御することが可能となる。また、近距離において人間の指を個別に認識したり、遠距離において身体や人間の５体を認識したりして、ジェスチャー認識用のモーションセンサ装置としても応用可能である。

　なお、本実施形態において、光源１０２、１０３、１０４の高さおよび大きさが等しい必要は無く、異なっていても良い。また、光源１０２、１０３、１０４の各々が、１つのＬＥＤチップから構成されている必要はなく、複数のＬＥＤチップを配列したＬＥＤアレイを各光源として利用してもよい。更に、図示されていないが、各光源１０２、１０３、１０４にはレンズおよびフィルタなどの光学部品が配置されていてもよい。これらの事項は、他の実施形態の光源についても同様である。

　光源１０２、１０３、１０４およびイメージセンサ１０１は、直線上に配置されている必要は無い。図１４Ａ、１４Ｂは、光源１０２、１０３、１０４およびイメージセンサ１０１の他の配置例を示す上面図である。光源１０２、１０３、１０４は、図１４Ａに示されるように、一部の光源（この例では光源１０３）が直線の外に配置されてもよいし、図１４Ｂに示されるように、１つの光源とイメージセンサ１０１とを通る直線上に他の光源が配置されないようにしてもよい。

　図１４Ａの例では、イメージセンサ１０１に対して２個の光源１０２、１０４は、互いに反対の方向に同じ距離だけ離れて配置されているが、これらの距離は異なっていてもよい。一方、図１４Ｂの例では、３個の光源１０２、１０３、１０４は、イメージセンサ１０１から見て相互に異なる方向に配置されている。このように方向が異なれば、イメージセンサ１０１からの各光源１０２、１０３、１０４までの距離は異なる必要はなく、相互に等しくてもよい。

　上記のように、本実施形態における制御部１０００は、第１の画像から得られる対象物の輝度と第２の画像から得られる当該対象物の輝度との比に基づいて第１の推定距離情報を生成し、第２の画像から得られる対象物の輝度と第３の画像から得られる当該対象物の輝度との比に基づいて第２の推定距離情報を生成する。そして、第１および第２の推定距離情報を選択または合成することにより、当該対象物までの距離情報を得る。しかし、制御部１０００は、このような動作ではなく、他の動作によって対象物までの距離情報を得てもよい。例えば、距離に換算する前の複数の画像の輝度情報を選択または合成することにより、対象物の距離を求めてもよい。

　具体的には、第１の輝度と第３の輝度とを予め定めた混合比率で混合したものを第４の輝度とし、第２の輝度と第４の輝度との比に基づいて対象物までの距離情報を得ることができる。例えば、第１の輝度をＰ１、第３の輝度をＰ３、混合比率をａ（０＜ａ＜１）とし、第４の輝度をＰ１×ａ＋Ｐ３×（１－ａ）とする。第４の輝度と第２の輝度Ｐ２との比（Ｐ１×ａ＋Ｐ３×（１－ａ））／Ｐ２から、既知の輝度比と距離との関係を用いて、対象物までの距離情報を得ることができる。この方法においては、イメージセンサー１０１における画素位置ごとに輝度の混合比率ａを定めてもよい。

　また、第１の輝度および第３の輝度のいずれかを選択し、その選択した輝度を第４の輝度とし、上記と同様の方法で距離を算出してもよい。これは、上記の混合比率ａが０または１である場合に相当する。第１の輝度および第３の輝度のいずれを選択するかは、例えば、両者の輝度の比または差が所定の範囲内にあるか否かに基づいて判断され得る。

　（実施形態２）
　本開示によるモーションセンサ装置の第２の実施形態を説明する。本実施形態のモーションセンサ装置は、４個の光源（第１の光源７０２、第２の光源７０３、第３の光源７０４、第４の光源７０５）を備える。本実施形態の装置も、図１１を参照しながら説明した前述の実施形態におけるレンズ系１１０および制御部１０００と同様の構成を備えている。このため、これらの説明はここでは重複して行わない。

　図１５Ａは、本実施形態のモーションセンサ装置における光源の配置構成を示す図である。図１５Ｂは、このモーションセンサ装置における光源とイメージセンサの制御タイミングを示すタイムチャートである。

　本実施形態のモーションセンサ装置は、基板７００上に搭載されたイメージセンサ７０１と、４つのＬＥＤ光源７０２、７０３、７０４、７０５とを備えている。ＬＥＤ光源７０２および７０３は、第１の波長の光を出射するように構成されている。ＬＥＤ光源７０４および７０５は、第２の波長の光を出射するように構成されている。イメージセンサ７０１は、少なくとも第１および第２の波長の光を検出できるように構成されている。

　第１の波長および第２の波長は、任意の波長でよいが、以下の説明では、それぞれ７８０ｎｍおよび８５０ｎｍとする。これらはともに近赤外領域の波長である。第１および第２の波長は、近赤外領域の波長に限らず、例えば可視光の波長であってもよい。実用性の観点からは、第１および第２の波長を近赤外領域の波長に設定することが好ましいが、工業用など、可視光を出射しても問題のない用途では、可視光での実装も可能である。

　イメージセンサ７０１を基準としたときの光源７０２～７０５の方向をそれぞれ第１～第４の方向、光源７０２～７０５までの距離をそれぞれ第１～第４の距離とする。第２の方向および第４の方向は第１の方向とは反対の方向であり、第３の方向は第１の方向と同一の方向である。また、第２および第３の距離は、ともに第１および第４の距離よりも短い。本実施形態では、第２および第３の距離は互いに等しく、第１および第４の距離は互いに等しいが、必ずしもこのような配置である必要はない。

　イメージセンサ７０１は、連続して２回の露光を行ない、２つのフレームの撮像を行える特殊センサである。実施形態１では続けて３回の露光を行なえる特殊センサを必要としており、原理的には有効であるが、実際の作成は高コストになり得る。本実施形態では、より低コストの構成で距離測定を行うことができる。さらに、本実施形態では、後述のように距離測定だけでなく対象物の材質の判定も可能である。

　図１５Ｂに示される期間８１２、８１３、８１４、８１５は、それぞれＬＥＤ光源７０２、７０３、７０４、７０５が点灯する期間に相当する。第１の露光期間８１６および第２の露光期間８１７は、それぞれ、イメージセンサ７０１による第１フレームおよび第２フレームの撮像に対応する。図１５Ｂのタイムチャートでは、まずＬＥＤ光源７０２、７０５が同時に発光し、続いてＬＥＤ光源７０３、７０４が同時に発光する。しかし、この例に限定されず、第１の波長の光を出射するＬＥＤ光源７０２、７０３の一方と、第２の波長の光を出射するＬＥＤ光源７０４、７０５の一方とが同時に発光するように発光が制御されていればよい。

　図１５Ｂのタイムチャートにしたがって撮像する場合、制御部は、第１のフレームの撮像によって取得した第１の画像から得られる対象物の第１の波長の成分の輝度と、第２のフレームの撮像によって取得した第２の画像から得られる当該対象物の第１の波長の成分の輝度との比から、第１の推定距離情報を取得する。また、第１の画像から得られる当該対象物の第２の波長の成分の輝度と、第２の画像から得られる当該対象物の第２の波長の成分の輝度との比から、第２の推定距離情報を取得する。そして、第１の推定距離情報と第２の推定距離情報とを、選択または合成することにより、対象物までの距離情報を生成して出力する。

　図１６は、第１の推定距離情報および第２の推定距離情報における低感度領域を模式的に示す図である。第１の推定距離情報のみを用いた場合、光源７０２、７０３の各々からの距離が等しい領域を中心に低感度領域７１１が発生する。一方、第２の推定距離情報のみを用いた場合、光源７０４、７０５の各々からの距離が等しい領域を中心に低感度領域７１２が発生する。本実施形態では、光源７０３、７０４がイメージセンサ１０１の近傍に配置されているため、図８に示すような至近距離における低感度領域５０４は発生しない。

　本実施形態のモーションセンサ装置は、第１の推定距離情報と第２の推定距離情報とを選択または合成するため、低感度領域７１１、７１２に対象物が存在する場合でも、対象物までの距離を計測できる。具体的には、制御部は、第１の画像から得られる対象物の第１の波長の成分の輝度と、第２の画像から得られる当該対象物の第１の波長の成分の輝度との比が、予め設定された範囲内（例えば０．８～１．２）にあるとき、第２の推定距離情報のみを利用して対象物までの距離情報を求める。一方、第１の画像から得られる対象物の第２の波長の成分の輝度と、第２の画像から得られる当該対象物の第２の波長の成分の輝度との比が、予め設定された範囲内にあるとき、第１の推定距離情報のみを利用して対象物までの前記距離情報を求める。あるいは、第２の画像から得られる対象物の第１の波長の成分の輝度が、第１の画像から得られる当該対象物の第１の波長の成分の輝度よりも大きい場合に限って第１の推定距離情報を利用し、第２の画像から得られる対象物の第２の波長の成分の輝度が、第１の画像から得られる当該対象物の第２の波長の成分の輝度よりも大きい場合に限って第２の推定距離情報を利用するようにしてもよい。このような処理により、対象物の位置に限らず正確に対象物までの距離を計測できる。

　イメージセンサ７０１は、公知のカラーイメージセンサのように、分光感度特性の異なる複数種類の画素をもつセンサであり得る。カラーイメージセンサには、様々な種類のものが存在する。例えば、Ｒ、Ｇ、Ｇ、Ｂの４画素を１単位として並べたベイヤー配列のセンサや、波長によって透過特性が異なることを利用して１つの画素で複数の色成分の信号電荷を取得できるものや、プリズムで光を色ごとに分離し、複数の撮像デバイスで色成分ごとに受光するものなどがある。これらのいずれのカラーイメージセンサを用いても、色成分に応じて分光感度特性の異なる受光が出来るため、イメージセンサ７０１として利用できる。

　図１７は、本実施の形態におけるイメージセンサ７０１の色成分ごとの分光感度特性の一例を示すグラフである。図１７のグラフにおける横軸は波長、縦軸は感度の相対値を表している。このイメージセンサ７０１は、光の赤色成分を主に検出するＲ画素、緑色成分を主に検出するＧ画素、青色成分を主に検出するＢ画素を有しているものとする。図１７に示すように、Ｒ画素の分光感度特性９０１、Ｇ画素の分光感度特性９０２、およびＢ画素の分光感度特性９０３は、いずれも近赤外領域の波長にも感度を有している。ここでは、第１の波長の光に対するＲ画素の感度９１１およびＢ画素の感度９１３と、第２の波長の光に対するＲ画素の感度９１２およびＢ画素の感度９１４とを利用して、第１および第２の波長の各成分の輝度値を求める例を説明する。

　第１の波長の光に対するＲ画素の感度９１１をａ、第２の波長に対するＲ画素の感度９１２をｂ、第１の波長に対するＢ画素の感度９１３をｃ、第２の波長に対するＢ画素の感度９１４をｄとする。また、１つのフレームにおけるあるピクセルに入射する第１の波長の成分の光の強度に対応する輝度をα、第２の波長成分の光の強度に対応する輝度をβとする。すると、１つのフレームのあるピクセルにおける輝度のうち、赤成分ｒおよび青成分ｂは、以下の式（１）で表される。

　したがって、式（１）における行列の逆行列を求めることにより、以下の式（２）により、そのピクセルにおける第１の波長成分の輝度αおよび第２の波長成分の輝度βを求めることができる。

　以上の演算を第１のフレームおよび第２のフレームの各々について行うことにより、各フレームにおける第１および第２の波長の各成分の輝度を求めることができる。なお、この例では、Ｒ画素およびＢ画素の分光感度特性を利用したが、これらの一方をＧ画素の分光感度特性に置換して同様の演算を行ってもよい。また、波長によって透過特性が異なることを利用して１つの画素で複数の色成分の信号電荷を取得できるイメージセンサや、プリズムで光を色ごとに分離し、複数の撮像デバイスで色成分ごとに受光するイメージセンサを用いる場合も、入射光の色成分ごとの分光感度特性に基づいて同様の演算を行えばよい。

　前述のように、本実施形態における制御部は、第１のフレームから抽出した第１の波長の成分の輝度と、第２のフレームから抽出した第１の波長の成分の輝度とを用いて、それらの輝度比から対象物の距離を第１の推定距離情報として算出する。この際、輝度比が１に近い低感度領域７１１では、正確な距離測定ができない。一方、ＬＥＤ光源７０３がイメージセンサ７０１に十分近い位置にあるため、低感度領域７１１よりも右側の領域においては光強度の関係が反転する領域は殆ど無く、良好に広域を計測可能である。

　制御部はまた、第１のフレームから抽出した第２の波長の光強度成分と、第２のフレームから抽出した第２の波長の光強度成分とを用いて、その光強度の比から対象物の距離を第２の推定距離情報として算出する。この際、輝度比が１に近い低感度領域７１２では、正確な距離測定ができない。一方、ＬＥＤ光源７０４がイメージセンサ７０１に十分近い位置にあるため、低感度領域７１２よりも左側の領域においては光強度の関係が反転する領域は殆ど無く、良好に広域を計測可能である。

　このように、第１の波長成分の輝度比に基づいて得られる第１の推定距離情報と、第２の波長成分の輝度比に基づいて得られる第２の推定距離情報とは、互いに低感度領域を補完し合っていることがわかる。したがって、制御部は、これらの推定距離情報の一方では低感度な領域を他方の情報で補完し、両者ともに高感度な領域については重みをつけつつ両者の平均をとるなどの合成を行なう。このような処理により、全領域をシームレスに統合でき、高感度な距離測定が可能である。

　本実施形態によれば、第１の波長と第２の波長の２つを利用して対象物を撮影しているため、距離情報の推定だけでなく、対象物の材質判定を行うこともできる。以下、本実施形態における材質判定の原理を説明する。

　自然界に存在するものは、波長によって吸収率が異なり、吸収されなかった光の反射率も異なる。したがって、同じ強度で発光した場合でも、波長が異なれば反射光の強度が異なり得る。可視光領域においてはその差分の関係は色の差として認識される。非可視光領域においても反射光の強度の差を検出することにより、対象物の材質の推定が可能である。

　非特許文献１に記載されているように、人間の肌は９７０ｎｍ付近の近赤外線に対する反射率が低いことが知られている。このため、９７０ｎｍ付近の近赤外線による反射光強度と、反射率の比較的高い８７０ｎｍ付近の近赤外線による反射光強度との大小関係を比較するだけで、対象物が人間の肌であるか否かを推定することが可能である。この推定は、９７０ｎｍ付近および８７０ｎｍ付近の波長に限らず、他の波長を用いて行うこともできる。

　そこで、本実施形態における制御部は、第１および第２の画像の少なくとも一方における対象物の第１の波長の成分の輝度と、第２の波長の成分の輝度との差異（差または比）に基づいて、当該対象物の材質を判定する。例えば、対象物の第１の波長の成分の輝度と、第２の波長の成分の輝度との差異が、第１および第２の波長の各々の光に対する人間の肌の反射率の差異と合致するか否かを判定する。このような処理により、対象物が人間の手であるか否かを判定することができる。ここでは、人間の手を検出する場合を想定したが、指し棒などの他の対象物について同様の判定を行ってもよい。

　さらに高度な方法として、距離計測用とは別に材質推定用の光源（第５の光源）を追加することも可能である。材質推定用の光源は、距離計測用の２つの波長（第１の波長および第２の波長）とは異なる第３の波長（例えば９７０ｎｍ）の光を出射するように構成され得る。材質推定用の光源は、異なる波長の光を出射する複数の光源の組み合わせであってもよい。波長の異なる少なくとも２つの光の反射光強度の差異に基づいて対象物の材質を判定することができる。例えば、距離計測用の２つの波長をλ１、λ２、材質推定用の波長をλ３とし、これらの３つの波長の輝度の比に基づいて対象物の材質を判定することができる。あるいは、材質判定用に波長λ１、λ２、λ３の光をそれぞれ出射する３つの光源を用いて、これらの３つの波長の輝度の比に基づいて対象物の材質を判定することもできる。より具体的な例として、Ｒ、Ｇ、Ｂの各波長域の光を検出するカラーのイメージセンサと、Ｒ、Ｇ、Ｂの各波長域の光を出射する３つの光源とを用いて、これらの３成分の輝度の比から材質を判定することができる。これらの３成分の輝度の比について、複数の材質に関連付けて複数の条件を予め設定しておけば、複数の材質について選択的に判定を行なうことも可能である。

　上記の例では、材質推定用の光源を距離計測用の光源とは異なるものとしたが、両者を統合してもよい。すなわち、距離計測用および材質推定用の光源として、第１または第２の波長に加えて第３の波長を含む広い発光帯域の光源を利用してもよい。第１から第４の光源７０２～７０５の少なくとも１つがそのような光源であれば、第５の光源を追加した場合と同様の材質判定が可能である。

　３Ｄモーションセンサの用途としては、例えば、人間の指や指し棒のみを検知し、ユーザーインターフェースとして利用する用途がある。指し棒などを追跡しているときには人間の指などを誤情報として排除したい場合がある。このような場合、本実施形態のモーションセンサによれば、少なくとも２つの波長成分の輝度の差異に基づいて、対象物が指し棒なのか指なのかを判定することができる。また、特徴的な分光反射特性をもつ専用の材料で指し棒を構成すれば、誤検出の少ない指し棒を実現することも可能である。

　以上のように、本実施形態においては、同一フレーム内で得られる少なくとも２つの波長成分の光強度（輝度）の差異に基づいて、新たなリソースを追加することなく、距離計測に加えて対象物の材質の推定が可能である。必要に応じてさらに異なる波長の光を利用することにより、複数種類の材質の判定を行うこともできる。

　なお、本実施形態では、第１の波長および第２の波長は、ともに近赤外領域の波長としたが、これは一例である。モーションセンサの特性上、人間に視認できない非可視光を用いた方が都合の良いことが多いため、上記のような波長の設定にしたが、計測自体は可視光であっても問題ない。例えば人間以外を計測対象とする用途では、感度の高い可視光の波長領域を利用するといった応用が可能である。

　また、カラーイメージセンサを用いたカメラでは、通常、その光学系に赤外カットフィルタを含めることで赤外領域の光をカットするが、本実施形態では赤外カットフィルタを省略できる。このため、安価な構成でモーションセンサ装置を実現できる。本実施形態でも可視光撮影用の通常のカラーイメージセンサを利用することができる。当然ながら本実施形態専用に特性の良いカラーフィルタが配置されたイメージセンサを用いることも可能だが、通常高価となる。

　本実施形態では、光源にＬＥＤを用いているが、点光源など３次元的に光強度が変わるものであればどのような光源でも利用可能である。波長を限定する必要があることからレーザー光源の利用も有用である。レーザー光源は平行光を出射するため、３次元的に光強度が変わらないが、拡散板などと組み合わせて散乱光に変換することで利用可能になる。

　また、本実施形態では、第２のＬＥＤ光源７０３と第３のＬＥＤ光源７０４とを別々のものとして扱っているが、両者を一体化してもよい。これらの光源は配置が近く同じタイミングで発光させる形態も可能であるため、第１の波長および第２の波長を含む広い波長帯域の光を出射する１つの光源装置を第２および第３の光源として使用することができる。

　上記のように、本実施形態における制御部１０００は、第１の画像から得られる対象物の第１の波長の成分の輝度と、第２の画像から得られる対象物の第１の波長の成分の輝度との比から、第１の推定距離情報を取得し、第１の画像から得られる対象物の第２の波長の成分の輝度と、第２の画像から得られる対象物の第２の波長の成分の輝度との比から、第２の推定距離情報を取得する。そして、第１の推定距離情報と前記第２の推定距離情報とを、選択または合成することにより、対象物までの距離情報を得るように構成されている。しかし、制御部１０００は、このような動作に限らず、他の動作によって対象物までの距離情報を得てもよい。例えば、第１の画像から得られる対象物の第１の波長の成分の輝度を第１の輝度、第２のフレームの撮像によって取得した第２の画像から得られる対象物の前記第１の波長の成分の輝度を第２の輝度、第１の画像から得られる対象物の第２の波長の成分の輝度を第３の輝度、第２の画像から得られる対象物の第２の波長の成分の輝度を第４の輝度とするとき、制御部１０００は、第１の輝度と第２の輝度とを選択または合成することによって得られる第５の輝度と、第３の輝度と第４の輝度とを選択または合成することによって得られる第６の輝度との比に基づいて、対象物までの距離情報を得るように構成されていてもよい。

　具体的には、第１の輝度と第２の輝度とを予め定めた混合比率で混合したものを第５の輝度とし、第３の輝度と第４の輝度とを予め定めた混合比率で混合したものを第６の輝度とし、第５の輝度と第６の輝度との比に基づいて対象物までの距離情報を得ることができる。この方法においては、イメージセンサー１０１における画素位置ごとに輝度の混合比率を定めてもよい。

　また、第１の輝度および第２の輝度から選択した一方の輝度を第５の輝度とし、第３の輝度および第４の輝度から選択した一方の輝度を第６の輝度とし、上記と同様の方法で距離を算出してもよい。２つの輝度のいずれを選択するかは、例えば、両者の輝度の比または差が所定の範囲内にあるか否かに基づいて判断され得る。

　（他の実施形態）
　以上、本開示の技術の例示として、実施形態１、２を説明した。しかし、本開示の技術はこれらの実施形態に限定されない。以下、他の実施形態を例示する。

　図１８は、実施形態１に係るモーションセンサ装置を搭載したディスプレイ１００１を示している。このディスプレイ１００１は、３つのＬＥＤ光源１０２、１０３、１０４を搭載しているため、低感度領域の少ない動き検知が可能である。このため、ディスプレイ１００１の中心に向かってジェスチャー入力を行うことができる。図１８には、参考のため、ジェスチャー入力を行う手が模式的に示されている。図示されている手は、矢印の方向に移動しつつある。図１８に示されるディスプレイでは、このような手の動きを高い感度で検知してジェスチャー入力を行うことができる。

　本実施形態に係るモーションセンサ装置をディスプレイなどに利用すれば、ジェスチャー入力によるチャンネルの切り替えなどのユーザーインターフェースに用いることもできる。また、人間の各部の動きを認識したダンスゲームなどへの応用も可能である。

　図１８のディスプレイには、実施形態２などの他の実施形態に係るモーションセンサ装置を組み込んでも良い。このように、本開示は、上記のいずれかの実施形態に係るモーションセンサ装置と、当該モーションセンサ装置によって検出された対象物の運動に応答して表示内容を変化させるディスプレイとを備える電子装置を含む。

　本開示によるモーションセンサ装置の各実施形態によれば、距離計測の誤検出を減らし、高速動作が可能になる。本開示によれば、リアルタイムな検出が求められる３Ｄモーションセンサ装置を提供できる。また、ある態様では、距離計測に加えて対象物の材質判定も可能である。これにより、人間の手や指し棒などを検出する用途において、誤検出の少ないモーションセンサ装置を実現できる。

　なお、本開示によるモーションセンサ装置の一部の機能が有線または無線のネットワークを介して接続された他の装置によって実現されていてもよい。

　本開示によるモーションセンサ装置の実施形態は、リアルタイムに物体の３次元位置を計測できる機能を有するため、表示装置などの各種電気製品の非接触ジェスチャーユーザーインターフェースの用途に有用である。車載機器として搭乗者の状態、車外の人物や障害物の検知へも応用できる。ビデオカメラのオートフォーカス等の用途にも応用できる。

　１０１、７０１　　イメージセンサ
　１０２、１０３、１０４、７０２、７０３、７０４、７０５　　ＬＥＤ光源
　３０１、３０２　　輝度
　３０３、３０４　　極値
　３０５　　輝度極値同士の座標差
　５０４、５０５、６０５、６０６、７１１、７１２　　低感度領域
　８０２、８０３、８０４、８１２、８１３、８１４、８１５　　発光期間
　８０５、８０６、８０７、８１６、８１７　　露光期間
　９０１、９０２、９０３　画素の分光感度特性
　１００１　　表示装置
　１１０１　　撮像装置
　１１０２　　光源装置
　１１０３　　ＣＰＵ
　１１０４　　半導体集積回路
　１１０５　　距離計算ブロック
　１１０６　　画像フィルタブロック
　１１０７　　極値探索部
　１１０９　　座標メモリ
　１１１０　　距離算出部

Claims (19)

1. 　イメージセンサと、
   　第１、第２、および第３の光源と、
   　前記イメージセンサおよび前記第１から第３の光源を制御するように構成された制御部と、
   を備え、
   　前記制御部は、
   　第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
   　第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、
   　第３の時間で前記第３の光源を発光させながら前記イメージセンサで第３のフレームの撮像を行い、
   　前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の輝度と、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の輝度との比に基づいて、第１の推定距離情報を生成し、
   　前記第１の画像から得られる前記対象物の輝度と、前記第３のフレームの撮像によって取得した第３の画像から得られる前記対象物の輝度との比に基づいて、第２の推定距離情報を生成し、
   　前記第１の推定距離情報と前記第２の推定距離情報とを、選択または合成することにより、前記対象物までの距離情報を得るように構成されている、
   モーションセンサ装置。
2. 　前記第１の光源は、前記イメージセンサから第１の方向に第１の距離だけ離れた位置に配置され、
   　前記第２の光源は、前記イメージセンサから第２の方向に第２の距離だけ離れた位置に配置され、
   　前記第３の光源は、前記イメージセンサから第３の方向に第３の距離だけ離れた位置に配置され、
   　前記第２の方向および前記第３の方向は、前記第１の方向の反対の方向であり、
   　前記第２の距離は、前記第１の距離および前記第３の距離よりも短い、
   請求項１に記載のモーションセンサ装置。
3. 　前記制御部は、
   　前記第１の画像から得られる前記対象物の輝度と、前記第２の画像から得られる前記対象物の輝度との比が、予め設定された範囲内にあるとき、前記第２の推定距離情報のみを利用して前記対象物までの前記距離情報を得て、
   　前記第２の画像から得られる前記対象物の輝度と、前記第３の画像から得られる前記対象物の輝度との比が、予め設定された範囲内にあるとき、前記第１の推定距離情報のみを利用して前記対象物までの前記距離情報を得るように構成されている、
   請求項２に記載のモーションセンサ装置。
4. 　前記制御部は、
   　前記第２の画像から得られる前記対象物の輝度が、前記第１の画像から得られる前記対象物の輝度よりも大きい場合のみ、前記第１の推定距離情報を利用して前記対象物までの前記距離情報を得て、
   　前記第２の画像から得られる前記対象物の輝度が、前記第３の画像から得られる前記対象物の輝度よりも大きい場合のみ、前記第２の推定距離情報を利用して前記対象物までの前記距離情報を得るように構成されている、
   請求項３に記載のモーションセンサ装置。
5. 　前記イメージセンサは、近赤外線である第１の波長の光を検出可能に構成され、
   　前記第１から第３の光源は、前記第１の波長の光を出射するように構成されている、
   請求項１から４のいずれかに記載のモーションセンサ装置。
6. 　第１の波長の光、および前記第１の波長とは異なる第２の波長の光を検出可能なイメージセンサと、
   　前記第１の波長の光を出射する第１および第２の光源と、
   　前記第２の波長の光を出射する第３および第４の光源と、
   　前記イメージセンサおよび前記第１から第４の光源を制御するように構成された制御部と、
   を備え、
   　前記制御部は、
   　第１の時間で前記第１および第４の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
   　第２の時間で前記第２および第３の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、
   　前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の前記第１の波長の成分の輝度と、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の前記第１の波長の成分の輝度との比から、第１の推定距離情報を取得し、
   　前記第１の画像から得られる前記対象物の前記第２の波長の成分の輝度と、前記第２の画像から得られる前記対象物の前記第２の波長の成分の輝度との比から、第２の推定距離情報を取得し、
   　前記第１の推定距離情報と前記第２の推定距離情報とを、選択または合成することにより、前記対象物までの距離情報を得るように構成されている、
   モーションセンサ装置。
7. 　前記第１の光源は、前記イメージセンサから第１の方向に第１の距離だけ離れた位置に配置され、
   　前記第２の光源は、前記イメージセンサから第２の方向に第２の距離だけ離れた位置に配置され、
   　前記第３の光源は、前記イメージセンサから第３の方向に第３の距離だけ離れた位置に配置され、
   　前記第４の光源は、前記イメージセンサから第４の方向に第４の距離だけ離れた位置に配置され、
   　前記第２の方向および前記第４の方向は、前記第１の方向の反対の方向であり、
   　前記第３の方向は、前記第１の方向と同一の方向であり、
   　前記第２および第３の距離の各々は、前記第１および第４の距離よりも短い、
   請求項６に記載のモーションセンサ装置。
8. 　前記制御部は、
   　前記第１の画像から得られる前記対象物の前記第１の波長の成分の輝度と、前記第２の画像から得られる前記対象物の前記第１の波長の成分の輝度との比が、予め設定された範囲内にあるとき、前記第２の推定距離情報のみを利用して前記対象物までの前記距離情報を得て、
   　前記第１の画像から得られる前記対象物の前記第２の波長の成分の輝度と、前記第２の画像から得られる前記対象物の前記第２の波長の成分の輝度との比が、予め設定された範囲内にあるとき、前記第１の推定距離情報のみを利用して前記対象物までの前記距離情報を得るように構成されている、
   請求項６または７に記載のモーションセンサ装置。
9. 　前記第２の光源および前記第３の光源は、一体化された単一の光源装置によって実現されている、請求項６から８のいずれかに記載のモーションセンサ装置。
10. 　前記第１の波長および前記第２の波長は、ともに近赤外領域の波長である、請求項６から９のいずれかに記載のモーションセンサ装置。
11. 　前記制御部は、前記第１および第２の画像の少なくとも一方における前記対象物の前記第１の波長の成分の輝度と前記第２の波長の成分の輝度との差異に基づいて、前記対象物の材質を判定するように構成されている、請求項６から１０のいずれかに記載のモーションセンサ装置。
12. 　前記第１および第２の波長とは異なる第３の波長の光を出射する第５の光源をさらに備え、
    　前記イメージセンサは、さらに前記第３の波長の光を検出可能に構成され、
    　前記制御部は、
    　前記第１および第２の時間の少なくとも一方において、さらに前記第５の光源を発光させながら前記イメージセンサで撮像を行い、
    　前記第１および第２の画像の少なくとも一方から得られる前記対象物の前記第３の波長の成分の輝度と、前記第１および第２の波長の少なくとも一方の成分の輝度との差または比に基づいて、前記対象物の材質を判定するように構成されている、
    請求項６から１１のいずれかに記載のモーションセンサ装置。
13. 　前記第５の光源は、前記第１から第４の光源の１つと一体化されている、請求項１２に記載のモーションセンサ装置。
14. 　イメージセンサと、
    　第１、第２、および第３の光源と、
    　前記イメージセンサおよび前記第１から第３の光源を制御するように構成された制御部と、
    を備え、
    　前記制御部は、
    　第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
    　第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、
    　第３の時間で前記第３の光源を発光させながら前記イメージセンサで第３のフレームの撮像を行い、
    　前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の輝度を第１の輝度、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の輝度を第２の輝度、前記第３のフレームの撮像によって取得した第３の画像から得られる対象物の輝度を第３の輝度とするとき、
    　前記制御部は、前記第１の輝度と前記第３の輝度とを合成または選択することによって得られる第４の輝度と、前記第２の輝度との比に基づいて、前記対象物までの距離情報を得るように構成されている、
    モーションセンサ装置。
15. 　第１の波長の光、および前記第１の波長とは異なる第２の波長の光を検出可能なイメージセンサと、
    　前記第１の波長の光を出射する第１および第２の光源と、
    　前記第２の波長の光を出射する第３および第４の光源と、
    　前記イメージセンサおよび前記第１から第４の光源を制御するように構成された制御部と、
    を備え、
    　前記制御部は、
    　第１の時間で前記第１および第４の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
    　第２の時間で前記第２および第３の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、
    　前記第１のフレームの撮像によって取得した第１の画像から得られる対象物の前記第１の波長の成分の輝度を第１の輝度、前記第２のフレームの撮像によって取得した第２の画像から得られる前記対象物の前記第１の波長の成分の輝度を第２の輝度、前記第１の画像から得られる前記対象物の前記第２の波長の成分の輝度を第３の輝度、前記第２の画像から得られる前記対象物の前記第２の波長の成分の輝度を第４の輝度とするとき、
    　前記制御部は、前記第１の輝度と前記第２の輝度とを選択または合成することによって得られる第５の輝度と、前記第３の輝度と前記第４の輝度とを選択または合成することによって得られる第６の輝度との比に基づいて、前記対象物までの距離情報を得るように構成されている、
    モーションセンサ装置。
16. 　請求項１から１５に記載のモーションセンサ装置と、
    　前記モーションセンサ装置によって検出された対象物の運動に応答して表示内容を変化させるディスプレイと、
    を備える電子装置。
17. 　請求項１から１５に記載のモーションセンサ装置に使用される集積回路であって、
    　前記イメージセンサおよび前記光源に接続され、露光及び発光のタイミングを制御するタイミング制御部と、
    　撮像データを処理し、相対的に輝度の高い領域を探索する極値探索部と、
    　前記極値探索部で探索された領域の座標と輝度を格納する座標メモリと、
    　前記座標メモリのデータから、同一領域から異なる条件で撮影したフレームを選び出して、輝度比を用いて推定距離情報を算出する距離算出部と、
    を備える集積回路。
18. 　請求項１から１５に記載のモーションセンサ装置による距離計算方法であって、
    　撮像フレームのデータから相対的に光強度の高い領域を選択的に選び出し、その座標と光強度を算出する極値探索ステップと、
    　前記極値探索ステップで選び出された輝度のうち、異なる条件で撮影したフレーム同士から選び出された輝度の比を算出する輝度比算出ステップと、
    　前記輝度比算出ステップで算出された輝度比と、前記極値探索ステップで探索された座標とを用いて、距離に換算する距離換算ステップと、
    を含む距離推定方法。
19. 　請求項１から１５に記載のモーションセンサ装置を動作させるコンピュータプログラムであって、前記モーションセンサ装置に、
    　撮像フレームのデータから相対的に光強度の高い領域を選択的に選び出し、その座標と光強度を算出する極値探索ステップと、
    　前記極値探索ステップで選び出された輝度のうち、異なる条件で撮影したフレーム同士から選び出された輝度の比を算出する輝度比算出ステップと、
    　前記輝度比算出ステップで算出された輝度比と、前記極値探索ステップで探索された座標とを用いて、距離に換算する距離換算ステップと、
    を実行させるコンピュータプログラム。

Images