JPWO2014162675A1 - 複数の光源を有するモーションセンサ装置 - Google Patents

Abstract

本開示のモーションセンサ装置は、ある実施形態において、イメージセンサ（１０１）と、ＬＥＤ光源（１０２）と、ＬＥＤ光源（１０３）とを備える。ＬＥＤ光源（１０２）とＬＥＤ光源（１０３）を同時に発光させた時にイメージセンサ（１０１）が取得した画像と、ＬＥＤ光源（１０３）のみを発光させた時にイメージセンサ（１０１）が取得した画像とを用い、被写体の輝度比から被写体までの距離を推定する。

Description

本願は、複数の光源を備えたモーションセンサ装置に関する。

特許文献１は、静止または運動中の物体(対象物)に対して複数の光源から時分割で投光し、１つのイメージセンサによって取得した複数の画像に基づいて対象物までの距離を測定する技術を開示している。

特開２００１−１２９０９号公報

上記の従来技術には、対象物の位置によっては測定された距離の精度または感度が低下するという問題がある。本開示の実施形態は、この問題を解決し得る新しいモーションセンサ装置を提供する。

本開示のモーションセンサ装置は、ある態様において、イメージセンサと、第１、第２および第３の光源を含む複数の光源であって、前記第１の光源は、前記イメージセンサから第１の方向に第１の距離だけ離れた位置に配置され、前記第２の光源は、前記イメージセンサから第２の方向に第２の距離だけ離れた位置に配置され、前記第３の光源は、前記イメージセンサから第３の方向に第３の距離だけ離れた位置に配置されている、複数の光源と、前記イメージセンサおよび前記複数の光源を制御するように構成された制御部とを備え、前記制御部は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、第３の時間で前記第３の光源を発光させながら前記イメージセンサで第３のフレームの撮像を行い、かつ、前記第１から第３のフレームの撮像によって取得した複数の画像に基づいて、対象物までの距離情報を得るように構成され、かつ、前記複数の画像の少なくとも１つから得られる前記対象物の方向を示す情報と、前記複数の画像の各々から得られる前記対象物の輝度とに基づいて、前記対象物までの複数の推定距離情報を取得し、前記複数の推定距離情報から前記距離情報を決定するように構成されている。

本開示のモーションセンサ装置は、ある態様において、イメージセンサと、第１および第２の光源を含む複数の光源であって、前記第１の光源は、前記イメージセンサから第１の方向に第１の距離だけ離れた位置に配置され、前記第２の光源は、前記イメージセンサから第２の方向に第２の距離だけ離れた位置に配置されている、複数の光源と、前記イメージセンサおよび前記複数の光源を制御するように構成された制御部とを備え、前記制御部は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第１および第２の光源の両方を発光させながら前記イメージセンサで第２のフレームの撮像を行い、かつ前記第１および第２のフレームの撮像によって取得した複数の画像に基づいて、対象物までの推定距離情報を得るように構成されている。

本開示のモーションセンサ装置は、ある態様において、イメージセンサと、第１および第２の光源を含む複数の光源であって、前記第１の光源は、前記イメージセンサから第１の方向に第１の距離だけ離れた位置に配置され、前記第２の光源は、前記イメージセンサから第２の方向に第２の距離だけ離れた位置に配置されている、複数の光源と、前記イメージセンサおよび前記複数の光源を制御するように構成された制御部とを備え、前記制御部は、第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、かつ前記第１および第２のフレームの撮像によって取得した複数の画像に基づいて前記対象物の方向を示す情報を取得し、かつ、前記複数の画像の各々から得られる前記対象物の輝度とに基づいて前記対象物までの第１の推定距離情報を取得し、更に、他の距離計測によって前記対象物までの第２の推定距離情報を取得し、前記第１および第２の推定距離情報に基づいて、前記対象物までの距離情報を得るように構成されている。

本開示の電子装置は、上記何れかのモーションセンサ装置と、前記モーションセンサ装置によって検出された対象物の運動に応答して表示内容を変化させるディスプレイとを備える。

本開示の集積回路は、上記何れかのモーションセンサ装置に使用される集積回路であって、前記イメージセンサおよび前記光源に接続され、露光及び発光のタイミングを制御するタイミング制御部と、撮像データを処理し、相対的に輝度の高い領域を探索する極値探索部と、前記極値探索部で探索された領域の座標と輝度を格納する座標メモリと、前記座標メモリのデータから、同一領域から異なる条件で撮影したフレームを選び出して、輝度比を用いて推定距離情報を算出する距離算出部とを備える。

本開示の距離推定方法は、上記何れかのモーションセンサ装置による距離計算方法であって、撮像フレームのデータから相対的に光強度の高い領域を選択的に選び出し、その座標と光強度を算出する極値探索ステップと、前記極値探索ステップで選び出された輝度のうち、異なる条件で撮影したフレーム同士から選び出された輝度の比を算出する輝度比算出ステップと、前記輝度比算出ステップで算出された輝度比と、前記極値探索ステップで探索された座標とを用いて、距離に換算する距離換算ステップとを含む。

本開示のコンピュータプログラムは、上記何れかのモーションセンサ装置を動作させるコンピュータプログラムであって、前記モーションセンサ装置に、撮像フレームのデータから相対的に光強度の高い領域を選択的に選び出し、その座標と光強度を算出する極値探索ステップと、前記極値探索ステップで選び出された輝度のうち、異なる条件で撮影したフレーム同士から選び出された輝度の比を算出する輝度比算出ステップと、前記輝度比算出ステップで算出された輝度比と、前記極値探索ステップで探索された座標とを用いて、距離に換算する距離換算ステップとを実行させる。

本開示のモーションセンサ装置の実施形態は、距離測定の誤りの発生を抑制することができる。

２個の光源を備えるモーションセンサ装置の断面を模式的に示す図 図１Ａの装置の上面図 ＬＥＤ光源の放射角と相対放射強度との関係を示すグラフ ＬＥＤ光源の放射角を示す図 第１のＬＥＤ光源１０２から放射された光で対象物１０４が照射される様子を示す図 第２のＬＥＤ光源１０３から放射された光で対象物１０４が照射される様子を示す図 撮像データの１ラインの画素位置と輝度との関係を示すグラフ ある放射角における輝度比と距離との関係を示すグラフ 第１のＬＥＤ光源１０２から放射された光で僅かに移動した対象物１０４が照射される様子を示す図 第２のＬＥＤ光源１０３から放射された光で僅かに移動した対象物１０４が照射される様子を示す図 ２個の光源を備えるモーションセンサ装置の感度領域を模式的に示す図 本開示の実施形態１における光源装置とイメージセンサの配置図 本開示の実施形態１における光源及びイメージセンサのタイミングチャート 本開示の実施形態１の配置例の上面図 本開示の実施形態１の他の配置例の上面図 本開示の実施形態１におけるモーションセンサ装置の構成図 本開示の実施形態１におけるモーションセンサ装置の構成例を示すブロック図 本開示の実施形態１における距離計算手順のフローチャート 本開示の実施形態２の光源装置とイメージセンサの配置図 本開示の実施形態２の光源及びイメージセンサのタイミングチャート 本開示の実施形態３の光源装置とイメージセンサの配置図 本開示の実施形態３の光源及びイメージセンサのタイミングチャート 本開示の実施形態３におけるモーションセンサ装置の感度領域を模式的に示す図 本開示の実施形態３の製品組み込み例を示す図 本開示の実施形態４の光源及びイメージセンサのタイミングチャート 本開示の実施形態４の光源及びイメージセンサのタイミングチャート

本開示によるモーションセンサ装置によって対象物（被写体）までの距離を測定することができる基本原理を説明する。

まず、図１Ａおよび図１Ｂを参照する。図１Ａは、モーションセンサ装置の断面を模式的に示す図であり、図１Ｂは、図１Ａの上面図である。

図１Ａおよび図１Ｂに示されている装置は、中央に位置するイメージセンサ１０１と、イメージセンサ１０１の両側に位置する２個のＬＥＤ光源１０２、１０３とを備えている。図示されている例では、イメージセンサ１０１およびＬＥＤ光源１０２、１０３は１個の基板１００に搭載されている。イメージセンサは、多数の微細な光検知セル(フォトダイオード)が行および列状に配列された固体撮像素子であり、典型的にはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型またはＣＭＯＳ型である。

図１Ａには、第１の光源１０２から出た光１０２ａと第２の光源１０３から出た光１０３ａとが模式的に示されている。この装置は、ＬＥＤ光源１０２、１０３を交互に点灯させながら、撮像を行うことにより、計測対象物体（対象物）までの距離を測定することができる。なお、「距離の測定」は、イメージセンサから対象物までの距離の推定値、あるいは、空間内の対象物の位置の推定値を求めることを含む。対象物には、例えば、人の手、指、人が持つペンなどが含まれ得る。対象物は移動してもよい。高速で移動しつつある人の指先までの距離、または指先の位置の推定値をリアルタイムで取得することができる３次元モーションセンサ装置は、コンピュータ、タブレット端末、スマートフォン、ゲーム機器、および家電機器を含む多様な電子機器の「入力デバイス」として使用され得る。

図２は、ＬＥＤ光源１０２、１０３の各々から出た光の放射パターン（配光特性）を表すグラフである。グラフの横軸は、図３に示されるように、放射の方向が基板１００の法線方向Ｎに対して形成する角度θである。グラフの縦軸は、相対放射強度である。以下、放射の角度θを「放射角」と称する場合がある。なお、相対放射強度の値は、光源から特定角度の方向に離れた位置に置かれた対象物の照度（放射照度）に対応している。

図２からわかるように、ＬＥＤ光源１０２、１０３の各々から出た放射は、角度θが０°のとき、最も高い強度を示す。図２の例において、ＬＥＤ光源１０２、１０３は、その放射強度がＩ₀×ｃｏｓθで近似できるような配光特性を示している。ＬＥＤ光源１０２、１０３の配光特性は、図２の例に限定されない。また、ＬＥＤ光源１０２、１０３から出る放射は、可視光に限定されず、赤外線のように人間の視覚によって感じとれない波長域の電磁波であってもよい。本明細書では、簡単のため、光源から出る放射を単に「光」と称する場合がある。この「光」の用語は、可視光に限定されず、イメージセンサで検出可能な電磁波を広く含むものとする。

次に、上記の装置で対象物までの距離を測定する方法を説明する。

まず、図４Ａおよび図４Ｂを参照する。図４Ａには、第１のＬＥＤ光源１０２から放射された光で対象物１０４が照射され、対象物１０４で反射された光の一部がイメージセンサ１０１に入射する様子が示されている。一方、図４Ｂには、第２のＬＥＤ光源１０３から放射された光で対象物１０４が照射され、対象物１０４で反射された光の一部がイメージセンサ１０１に入射する様子が示されている。対象物１０４の位置は、図４Ａおよび図４Ｂで実質的に同じであるとする。

この装置によれば、第１の時刻において、図４Ａに示すように、ＬＥＤ光源１０２を点灯し、ＬＥＤ光源１０３を消灯させた状態でイメージセンサ１０１による第１の撮像を行う。次に、第２の時刻において、図４Ｂに示されるように、ＬＥＤ光源１０３を点灯し、ＬＥＤ光源１０２を消灯させた状態でイメージセンサ１０１による第２の撮像を行う。第１および第２の撮像の各々の期間（露光時間）は、対象物１０４が実質的に停止していると扱える程度に十分に短いと仮定する。

第１の撮像を行うとき、ＬＥＤ光源１０２から出た光の一部が対象物１０４によって反射されてイメージセンサ１０１に入射するため、イメージセンサ１０１に入射する光の強度に応じた輝度画像が得られる。同様に、第２の撮像を行うときは、ＬＥＤ光源１０３から出た光の一部が対象物１０４によって反射されてイメージセンサ１０１に入射するため、イメージセンサ１０１に入射する光の強度に応じた輝度画像が得られる。

第１および第２の撮像によって取得した２フレームの画像の各々に基づいて、対象物１０４の輝度（輝度分布または輝度像）を求めることができる。なお、本明細書における「輝度」とは、［カンデラ／ｍ²］の単位を有する心理物理量ではなく、イメージセンサの画素ごとに定まる「相対輝度」であり、光量または放射量に相当する。各フレームの画像を構成する各画素は、受光量に応じた「輝度値」を有する。

対象物１０４には大きさがあるため、各画像における対象物１０４の像は、通常、複数の画素によって構成される。対象物１０４の「輝度」は、対象物１０４の像を構成する複数の画素の輝度値から種々の方法によって決定することができる。対象物１０４の像のうち、最も明るい「画素」または「画素ブロック」の輝度を対象物１０４の輝度とすることも可能であるし、対象物１０４の像を構成する全ての画素の平均輝度を対象物１０４の輝度とすることもできる。

図５は、上述の方法で取得した２フレームの画像の各々において、対象物１０４の像を横切る一本の水平ラインの輝度値を示すグラフである。横軸が画像内の特定の水平ライン上における画素位置であり、縦軸は輝度である。グラフ中の曲線３０１はＬＥＤ光源１０２が点灯しているときの輝度である。一方、曲線３０２は、ＬＥＤ光源１０３が点灯しているときの輝度である。

図５の例では、曲線３０１および曲線３０２は、それぞれ、単峰性のピークを有している。すなわち、曲線３０１は、ある画素位置で極値３０３を示し、曲線３０２は、他の画素位置で極値３０４を示している。曲線３０１の極値３０３と曲線３０２の極値３０４との間の水平方向の座標間隔は、幅３０５によって示されている。輝度の曲線３０１、３０２が０よりも高い値を持つ幅３０６の部分は、対象物１０４によって反射された光によるものである。

前述したように、２フレームの間に対象物１０４は実質的に静止している。したがって、曲線３０１と曲線３０２との間にある相違は、ＬＥＤ光源１０２が作る放射のパターンとＬＥＤ光源１０３が作る放射のパターンとが異なることに起因している。ＬＥＤ光源１０２から出た光が対象物１０４で反射されてイメージセンサ１０１に入射して取得される像の輝度と、ＬＥＤ光源１０３から出た光が対象物１０４で反射されてイメージセンサ１０１に入射して取得される像の輝度との比率は、ＬＥＤ光源１０２から対象物１０４までの距離とＬＥＤ光源１０３から対象物１０４までの距離との関係に依存する。

撮影画像の輝度比から、物体の距離が計測できる。図６は、イメージセンサ１０１から４５度の角度の方向における距離と輝度比との関係を示すグラフである。図６のグラフは、図２の特性を示すＬＥＤ光源をイメージセンサ１０１から左右に所定の距離だけ離して配置した場合において、横軸に対象物までの相対的な距離、縦軸に輝度比を示している。横軸の「距離」は、イメージセンサ１０１とＬＥＤ光源との距離を基準とてしており、「１」の距離は、イメージセンサ１０１とＬＥＤ光源との距離に等しい大きさを意味している。

対象物の輝度（または照度）は、ＬＥＤ光源から対象物までの距離の二乗に反比例して減衰する。このため、距離に応じて輝度の比は変化する。図２に示す放射特性が既知であるため、この放射特性に基づけば、精度の高い距離の検出または推定が可能となる。

図６は、放射角θが４５度のときの距離と輝度比との関係の一例であるが、異なる複数の角度について、同様に距離と輝度比との関係を事前に得ることができる。対象物の角度は、イメージセンサで取得される対象物の撮像位置に基づいて求めることができる。

図６からわかるように、対象物体とイメージセンサとの距離が概ね１より離れている場合、極値３０３と極値３０４の比から距離を計測できる。

上記の例では、放射角に応じて相対放射強度が変化する光源を用いている。しかし、この測定方法は、このような特性を有しない光源を用いても可能である。平行光線を発する光源以外であれば、光強度は３次元空間内で何らかの配光特性を示すため、そのような光源も距離測定に利用可能である。例えば、配光が等方的な「点光源」でも、対象物上の照度および輝度は、光源からの距離の２乗に反比例して減衰するため、３次元空間的に異なる輻射パターンを持つ光源と言える。

次に、図７Ａおよび図７Ｂを参照する。これらの図は、図４Ａおよび図４Ｂに示される位置から移動した対象物１０４に対する撮像を行う様子を示している。高速な撮像および距離の推定を行うことができれば、移動する対象物に対しても、前述した方法で距離の測定が可能である。光源１０２、１０３による交互の照明とイメージセンサ１０１による撮像を繰り返すことにより、移動する対象物１０４の位置を検出することができる。その結果、対象物１０４の位置の変化、または運動を検知することが可能になる。

本発明者によると、上述した装置では、２個のＬＥＤ光源１０２、１０３の各々から対象物１０４までの距離が等しくなる領域において、距離の測定精度が低下することがわかった。本明細書では、このような領域を「低感度領域」と称することにする。また、図６のグラフの横軸に示す距離が１以下のとき、距離が短くなるほど輝度比が上昇するため、輝度比だけでは、対象物体までの距離が１以下の「至近距離領域」にあるのか否かを判別できない。

図８は、上記の装置による低感度領域を模式的に示す図である。図８には、距離が短すぎて発生する低感度領域５０４と、距離に関わらず輝度比が１に近くなることによって発生する低感度領域５０５とが示されている。

以下に説明する本開示の各実施形態によれば、これらの低感度領域で計測結果が不安定になることを抑制することが可能になる。

（実施形態１）
本開示によるモーションセンサ装置の第１の実施形態を説明する。本実施形態のモーションセンサ装置は、３個の光源を備える。

図９Ａは、３個の光源を備えるモーションセンサ装置における光源の配置構成例を模式的に示す図である。図９Ｂは、このモーションセンサ装置における光源とイメージセンサの制御タイミングを示すタイムチャートである。まず、図９Ａおよび図９Ｂを参照しながら、本実施形態の構成によれば、低感度領域で計測結果が不安定になる問題を解決できる理由を説明する。

図９Ｂに示される期間８０２、８０３、８０４は、それぞれ、ＬＥＤ光源１０２、１０３、１０４が点灯する期間に相当する。第１の露光期間８０５、第２の露光期間８０６、第３の露光期間８０７は、それぞれ、イメージセンサ１０１による第１フレーム、第２フレーム、第３フレームの撮像に対応する。図９Ｂのタイムチャートでは、ＬＥＤ光源１０２、１０３、１０４は、その順序で点灯しているが、点灯の順序は任意である。

通常のイメージセンサは１回の露光により１フレームの撮像を行い、得られた画像データを外部に読み出してから次のフレームの撮像を行う。すなわち、フレームごとに画像データの読み出し動作が実行される。そのようなイメージセンサによると、第ｎフレーム（ｎは整数）における露光が終了した後、第ｎ＋１のフレームの露光を開始するまでの間に、第ｎフレームの撮像によって得られた全部の電荷を転送して外部に出力する動作のための時間を要する。

しかし、本実施形態では、図９Ｂに示されるように、第１の露光期間８０５のあと、すぐに第２の露光期間８０６が始まる。第１の露光期間８０５において第１フレームの撮像が行われて生じた各画素の電荷は、第２の露光期間８０６が始まる前に記憶部に移され、その記憶部に蓄積される。また、第２の露光期間８０６のあと、すぐに第３の露光期間８０７が始まる。第２の露光期間８０６において第２フレームの撮像が行われて生じた各画素の電荷は、第３の露光期間８０７が始まる前に別の記憶部に移され、その記憶部に蓄積される。その後、これらの記憶部に蓄積されていた電荷および第３の露光期間８０７に発生した電荷の信号が期間Ｔｔに読み出され、外部に出力される。

本実施形態では、第１〜第３の露光期間の各長さを「Ｔｅ」とするとき、「３×Ｔｅ＋Ｔｔ」に等しい長さＴｆの逆数（１／Ｔｆ）で決まるレートで、３枚のフレーム画像のデータが読み出される。

時間Ｔｔは、画素数にも依存するが、データ転送レートを考慮して、例えば２０ミリ秒程度の大きさに設定され得る。一方、時間Ｔｅは、１ミリ秒以下の短い期間、例えば２５マイクロ秒に設定され得る。３枚のフレームの撮像を短い期間内に連続して実行すれば、対象物が人の指先のように高速に移動する場合でも、距離計測を行うことが可能になる。例えば３×Ｔｅが７５マイクロ秒の場合、対象物が１メートル／秒の速度で移動しても、第１〜第３の撮像中に対処物は０．０７５ミリメートルしか移動しない。一方、通常のフレームレート（例えば６０フレーム／秒）で撮像を行えば、対象物は５０ミリメートルも移動してしまう。仮に１０００フレーム／秒の高速度撮影を行っても、対象物は３ミリメートルも移動する。本実施形態では、第１のフレームの開始時点から第３のフレームの終了時点までの期間を例えば３ミリ秒以下に短縮できるため、モーションセンサ装置として各種の用途に実用的である。

本実施形態では、ＬＥＤ光源１０４がイメージセンサ１０１の最も近くに配置されている。ＬＥＤ光源１０２およびＬＥＤ光源１０３は、それぞれ、イメージセンサ１０１から見て異なる方向（異なる側）に配置されている。イメージセンサ１０１からＬＥＤ光源１０２までの距離、およびＬＥＤ光源１０３までの距離は、イメージセンサ１０１からＬＥＤ光源１０４までの距離よりも長い。イメージセンサ１０１からＬＥＤ光源１０２までの距離と、イメージセンサ１０１からＬＥＤ光源ＬＥＤ光源１０３までの距離とは、相互に等しくても良いし、異なっていても良い。

ＬＥＤ光源１０２、１０３、１０４およびイメージセンサ１０１は、直線上に配置されている必要は無い。図１０Ａ、１０Ｂは、ＬＥＤ光源１０２、１０３、１０４およびイメージセンサ１０１の配置例を示す上面図である。ＬＥＤ光源１０２、１０３、１０４は、図１０Ａに示されるように一直線に配置されても良いし、図１０Ｂに示されるように非直線上に配置されても良い。

図１０Ａの例では、イメージセンサ１０１に対して２個の光源１０３、１０４は同一の方向に異なる距離だけ離れて配置されている。２個の光源１０２、１０３がイメージセンサ１０１から見て同一の方向に配置されている場合、イメージセンサ１０１から各光源１０２、１０３までの距離は異なる。一方、図１０Ｂの例では、３個の光源１０２、１０３、１０４は、イメージセンサ１０１から見て相互に異なる方向に配置されている。このように方向が異なれば、イメージセンサ１０１からの各光源１０２、１０３、１０４までの距離は異なる必要はなく、相互に等しくてもよい。

なお、光源１０２、１０３、１０４の高さおよび大きさが等しい必要は無く、異なっていても良い。また、光源１０２、１０３、１０４の各々が、１つのＬＥＤチップから構成されている必要はなく、複数のＬＥＤチップを配列したＬＥＤアレイを各光源として利用してもよい。更に、図示されていないが、各光源１０２、１０３、１０４にはレンズおよびフィルタなどの光学部品が配置されていてもよい。これらの事項は、他の実施形態の光源についても同様である。

第１から第３のフレームで取得された３枚の画像のうちの２枚の画像に基づいて対象物までの距離を算出する方法は、前述した通りである。３枚の画像のうちの２枚の組み合わせは３通りある。３通りの各々で低感度領域の位置が異なる。２通りまたは３通りの組み合わせに係る画像のペアを利用することにより、低感度領域の除去が可能となる。

なお、複数の光源の組み合わせに応じて低感度領域は既知である。このため、対象物の方位、推定距離、および／または輝度比に基づいて、対象物が低感度領域に位置することを判別または推定することができる。

イメージセンサ１０１に近い位置に配置されるＬＥＤ光源１０４については、光度（放射強度）または光束（放射束）の値を小さくしたり、放射角度を狭く設定したりしてもよい。従って、ＬＥＤ光源１０４としては、価格の低い低出力の光源を採用できる。そのような光源を採用すれば、部品コストや消費電力の増加を抑制可能である。すなわち、本実施形態によれば、相対的に価格が低い１個のＬＥＤ光源を増設するだけで、低感度領域の少ないモーションセンサ装置を実現できる。

本実施形態では、連続して３フレームの撮像が可能な、やや高価なイメージセンサを使用することにより、高速で移動する対象物までの距離、または対象物の３次元的な運動を検出することができる。計測対象である物体の移動速度が十分に低いことが想定される場合は、通常の１フレーム露光のイメージセンサを用いても良い。

次に、図１１、図１２および図１３を参照して、本実施形態に係るモーションセンサ装置の構成および動作をより詳しく説明する。

図１１は、本実施形態に係るモーションセンサ装置の構成を模式的に示す図である。この装置は、イメージセンサ１０１と、イメージセンサ１０１の撮像面に被写体像を形成するレンズ系１１０と、複数の光源１０２、１０３、１０４と、イメージセンサ１０１および光源１０２、１０３、１０４を制御するように構成された制御部１０００とを備えている。イメージセンサ１０１および光源１０２〜１０４は、基板１００上に搭載されている。制御部１０００の一部または全部は、基板１００上に実装されていてもよいし、他の基板上に実装されていてもよい。また、制御部１０００の機能の一部が、離れた位置に置かれた装置によって実現されていてもよい。

本実施形態では、光源１０２、１０４により、イメージセンサ１０１のすぐ左側から右側全体の領域に位置する対象物までの距離測定が安定的に可能になる。すなわち、光源１０２、１０４による輝度比を用いるときの低感度領域は、イメージセンサ１０１の左側に位置している。一方、光源１０３、１０４により、イメージセンサ１０１のすぐ右側から左側全体の領域に位置する対象物までの距離測定が安定的に可能になる。すなわち、光源１０３、１０４による輝度比を用いるときの低感度領域は、イメージセンサ１０１の右側に位置している。このように、光源１０２、１０４による輝度比と、光源１０３、１０４による輝度比とを利用することにより、低感度領域を排除し、距離検出の安定度を高めることが可能になる。なお、低感度領域を排除するために有効な輝度比を得るための光源の組み合わせ方は、上記の例に限定されない。

イメージセンサ１０１は、画素単位で電荷をいったん蓄積しておく記憶部を有している。従って、第ｎフレームの撮像によって得られた画像データの読み出しを待たずに第ｎ＋１フレームの撮像が行える。イメージセンサ１０１内の記憶部を増やせば、３フレーム以上の連続した露光が可能である。イメージセンサ１０１としては、偶数／奇数ラインで別々に露光できる特殊センサであってもよい。

第１の光源１０２は、イメージセンサ１０１から第１の方向に第１の距離だけ離れた位置に配置されている。第２の光源１０３は、イメージセンサ１０１から第２の方向に第２の距離だけ離れた位置に配置されている。第３の光源１０４は、イメージセンサ１０１から第３の方向に第３の距離だけ離れた位置に配置されている。本実施形態では、第２の方向と第３の方向とは異なり、かつ、第１の距離と第２の距離とは異なっている。本実施形態における光源１０２、１０３、１０４は、いずれも、ＬＥＤ光源である。

制御部１０００は、第１の時間で第１の光源１０２を発光させながらイメージセンサ１０１で第１のフレームの撮像を行い、第２の時間で第２の光源１０３を発光させながらイメージセンサ１０１で第２のフレームの撮像を行い、第３の時間で第３の光源１０４を発光させながらイメージセンサ１０１で第３のフレームの撮像を行うように構成されている。そして、制御部１０００は、第１から第３のフレームの撮像によって取得した複数の画像に基づいて、対象物１０４までの推定距離情報を得るように構成されている。

図１２は、本実施形態におけるモーションセンサ装置の構成例を示すブロック図である。

撮像装置１１０１は、単眼レンズ型の撮像装置であり、図１１のイメージセンサ１０１およびレンズ系１１０を有する。レンズ系１１０は、同一光軸上に配列された複数のレンズの組であってもよい。光源装置１１０２は、図１１の光源１０２、１０３、１０４を含む複数の光源を有する。

本実施形態における制御部１０００は、ＣＰＵ１１０３と半導体集積回路１１０４とを有している。半導体集積回路１１０４は、距離計算ブロック１１０５、画像フィルタブロック１１０６を有している。距離計算ブロック１１０５は、極値探索部１１０７、タイミング制御部１１０８、座標メモリ１１０９、および距離算出部１１１０を有している。

本実施形態における光源１０２、１０３、１０４は、いずれもＬＥＤ光源であり、それぞれ、図２に示される放射角と相対放射強度との関係を有している。なお、本開示の実施には、各光源１０２、１０３、１０４が放射角に応じて相対放射強度が変化する特性を有している必要は無い。しかし、現実には、多くの光源が放射角に応じて変化する相対放射強度を有するため、本実施形態では、この点を考慮する。

本実施形態において、図１２のタイミング制御部１１０８は、光源装置１１０２に対しＬＥＤ光源１０２の点灯指示信号を出す。また、タイミング制御部１１０８は、撮像装置１１０１に対してイメージセンサ１０１の露光指示信号を出す。こうすることにより、光源１０２が点灯した状態での画像が第１のフレームで取得され、半導体集積回路１１０４に送られる。

続けて、タイミング制御部１１０８は、光源装置１１０２に対して光源１０３の点灯指示信号を出力し、撮像装置１１０１に対してイメージセンサ１０１の露光指示信号を出力する。こうすることにより、光源１０３が点灯した場合の画像が第２のフレームで取得され、半導体集積回路１１０４に送られる。

更に続けて、タイミング制御部１１０８は、光源装置１１０２に対して光源１０４の点灯指示信号を出力し、撮像装置１１０１に対してイメージセンサ１０１の露光指示信号を出力する。こうすることにより、光源１０４が点灯した場合の画像が第３のフレームで取得され、半導体集積回路１１０４に送られる。

半導体集積回路１１０４では、撮像装置１１０１から出力された画像フレームが、画像フィルタブロック１１０６で処理される。画像フィルタブロック１１０６は必須ではない。本実施形態では、画像処理にあたってノイズ除去フィルタなどの前処理を画像フィルタブロック１１０６で行う。

画像フィルタブロック１１０６で処理された画像は、距離計算ブロック１１０５に送られる。距離計算ブロック１１０５内では、極値探索部１１０７で画像が処理される。極値探索部１１０７で処理されるデータの１例は、前述の図５に示される通りである。図５では、撮像画像の所定ライン上の輝度が示されている。なお、図５では、２つのフレーム画像について、同一ライン上の輝度分布が示されているが、本実施形態では、３つのフレーム画像について、同一ライン上の輝度分布が得られる。言い換えると、３つのフレーム画像から、２対のフレーム画像を選択すれば、各々が図５に示されるような２つのグラフが得られる。例えば、第１フレームの画像および第２フレームの画像から、図５に示されるようなグラフを作ることができる。同様に、第２フレームの画像および第３フレームの画像からも、図５に示されるようなグラフを作ることができる。

極値探索部１１０７では、まず検出する物体の存在する領域を探索する。探索方法は多数存在する。例えば図５の輝度３０１と輝度３０２から輝度の極値３０３や３０４を探索するのは容易である。さらに動きに対して安定した極値がほしい場合は、一定の値以上の領域を得て、その中央値を極値とする方法もある。

次に、極値３０３と３０４を同一物体からのものとして極値同士をペアリングする。これは単に座標の近いもの同士をペアリングする簡単な方法でも良いし、予め輝度３０１と輝度３０２とを加算した値から一定輝度以上の領域として領域３０６などを求めておき、その範囲内で極値を探しても良い。

図５の輝度３０１と輝度３０２の差分に着目すると、差分が無いにもかかわらず輝度レベルの存在する領域があれば、それは本装置の外部に存在するシステム外の光源によるものと考えられるので、外乱要素として除外することが考えられる。コストが許せば、本システムの光源をすべて消灯した状態での撮像を行ってこれを減じても同様の効果が得られる。

極値探索部１１０７は検出した物体の座標と極値を出力する。座標は領域３０６の中心や重心とすることや、極値３０３と、極値３０４の中央を取るなどの方法が考えられる。また、輝度は極値３０３、３０４をそのまま使う方法もあるし、領域の積分値を求める方法もある。

ここでは、簡単のため、特定ラインの１次元上のデータについて説明を行なった。しかし、１次元の直線は撮像の水平ライン以外の軸であってもよいし、２次元的に相対輝度レベルの高い領域の座標と輝度を探すことも可能である。

極値探索部１１０７で出力された物体の座標と極値は、座標メモリ１１０９に格納された後、距離算出部１１１０に送られる。

距離算出部１１１０は、第１のフレーム画像から得た輝度と第２のフレーム画像から得た輝度との比に基づいて、距離を算出する。まず、物体の座標から、物体がイメージセンサ１０１からみてどの方位になるかを決定する。この方位は、レンズなどの光学系の特性を加味して一意に決定可能である。

次に、その方位のどの距離に物体があるかがわかれば物体の３次元位置を推定することが可能である。

前述した図６に示されるようなＬＥＤ光源の配置と放射特性が各方位について得られている。図６のデータは、ＬＥＤ光源と物体との距離の２乗に反比例して光強度が弱まることに基づいている。また、精度を高めるために、各距離でＬＥＤ光源との間に発生する角度を図２の放射特性に応じて補正している。図６に示されるデータがあれば、輝度比によって物体の距離が算出可能である。

図６のデータは、距離算出部１１１０で三角関数計算を用いて算出しても良い。また、予め計算や計測を行ったグラフをテーブルとして備えておき、必要に応じて補完等しながら参照する方法で計算しても良い。

距離計算ブロック１１０５の結果は、ＣＰＵ１１０３に送られて３Ｄモーション情報として利用される。

以上の構成では、画像データに対してライン単位で処理が進行できる。このため、１パスで物体の検出が完了し、レイテンシの少ないモーションセンサ装置が実現可能である。

極値３０３と極値３０４の座標が必ずしも一致しなくとも、対象物の材質が対象領域内で概ね均一であれば、距離計算の輝度比としてこれらの極値３０３、３０４を用いることが可能である。この特性に着目し、計測単位をある程度幅を持った物体の単位でのみ行なう。本実施形態では、極値探索を先に行ない、得られた極値に対して、距離計算を行なう。こうすることにより、計算処理量の削減および高速化を実現できる。

人間の５体の状況を計測する場合、ある１ライン撮像されたデータのうち、腕や足や首という単位でその各撮像された領域の極値を求めることになる。このため、各ピクセルでなんらかの距離演算を行なう方式に比べて計算回数が飛躍的に減少する。

ここまでの処理はすべてＣＰＵとソフトウェアプログラムのみで処理することも可能である。その場合のソフトウェアプログラムの処理フロー図を図１３に示す。この処理は、極値探索ステップ１２０１、閾値判定ステップ１２０２、輝度比算出ステップ１２０３、距離換算ステップ１２０４を含む。

極値探索ステップ１２０１では、画像データの中から輝度値の相対的に高い領域、すなわち極値を含む領域を探索する。続けて、閾値判定ステップ１２０２にて極値探索ステップ１２０１が追跡対象とすべき物体か判定する。輝度や領域サイズが一定値以下であればノイズとみなして「物体無し」であると判定して破棄する。閾値判定ステップ１２０２は必須ではないが一般にロバスト性をあげるためには重要なステップである。続けて、閾値判定ステップ１２０２で物体ありと判定された場合、対応する極値同士をペアリングして対応付けて輝度比を算出する。続けて距離換算ステップ１２０４で輝度比と撮像画像位置とを用いて距離に換算する。

以上の手順を規定するプログラムを磁気記録媒体や半導体記録媒体などに格納し、ＣＰＵでプログラムを実行することでも本機能は実現できる。

極値探索ステップ１２０１で１度だけ画像を走査し、計算対象となる輝度値と座標をピックアップできるため、この手順を用いることで高速に計算を完了することが可能となる。

本実施形態のモーションセンサ装置は、各種の用途に応用できる。ビデオカメラに応用することにより、動画像におけるオートフォーカスを高速に制御することが可能となる。また、近距離において人間の指を個別に認識したり、遠距離において身体や人間の５体を認識したりして、ジェスチャー認識用のモーションセンサ装置としても応用可能である。

本実施形態における光源はＬＥＤ光源であるが、本開示はこの例に限定されない。光強度が３次元空間的に異なる輻射パターンを持つ光源であれば、あらゆる光源が利用可能である。光源の波長は、可視光帯域に限定されず、赤外線などの帯域にあってもよい。

イメージセンサは、例えばＣＭＯＳイメージセンサおよびＣＣＤイメージセンサであるが、これらに限定されない。また、光源の個数は４個以上であってもよいし、連続して行う撮像の回数も３回に限定されず、４回以上であってもよい。

（実施形態２）
本開示によるモーションセンサ装置の第２の実施形態を説明する。本実施形態のモーションセンサ装置は、４個の光源を備える。本実施形態の装置も、図１１を参照しながら説明した前述の実施形態におけるレンズ系１１０および制御部１０００と同様の構成を備えている。このため、これらの説明はここでは重複して行わない。

図１４Ａは、本実施形態に係るモーションセンサ装置における光源の配置構成の例を示す図である。図１４Ｂは、このモーションセンサ装置における光源とイメージセンサの制御タイミングを示すタイムチャートである。

図１４Ｂに示されるように、期間８１２、８１３、８１４、８１５は、それぞれ、ＬＥＤ光源１０２、１０３、１０４、１０５が点灯する期間に相当する。第１の露光期間８１６、第２の露光期間８１７、第３の露光期間８１８は、第４の露光期間８１９は、それぞれ、イメージセンサ１０１による第１フレーム、第２フレーム、第３フレーム、第４フレームの撮像に対応する。

図１４Ｂのタイムチャートでは、ＬＥＤ光源１０２、１０３、１０４、１０５は、その順序で点灯しているが、点灯の順序は任意である。

本実施形態では、ＬＥＤ光源１０３、１０４がイメージセンサ１０１の相対的に近くに配置される。ＬＥＤ光源１０２およびＬＥＤ光源１０３は、それぞれ、イメージセンサ１０１から見て異なる方向に配置されている。ＬＥＤ光源１０４およびＬＥＤ光源１０５は、それぞれ、イメージセンサ１０１から見て異なる方向に配置されている。イメージセンサ１０１からＬＥＤ光源１０２までの距離とＬＥＤ光源１０３までの距離とは、相互に異なる。同様に、イメージセンサ１０１からＬＥＤ光源１０４までの距離とＬＥＤ光源１０５までの距離とは、相互に異なる。

本実施形態では、４個のＬＥＤ光源を用いる。イメージセンサ１０１は、連続して２フレーム露光可能な性能を有する。本実施形態は、実施形態１の装置に比べて、より安価なイメージセンサで実現できる。

本実施形態では、イメージセンサ１０１は連続して２フレーム露光可能な性能を有するが、計測する移動物体の速度が十分遅い場合などに限定すれば、連続１フレーム露光のイメージセンサでもシステムは成立する。

本実施形態によれば、第１および第２フレームの撮像によって得た画像に基づいて輝度比を求め、前述した方法により、対象物までの距離（第１の推定距離）を求める。また、第３および第４フレームの撮像によって得た画像に基づいて輝度比を求め、前述した方法により、対象物までの距離（第２の推定距離）を求める。本実施形態では、第２フレームの撮像と第３フレームの撮像との間に電荷を転送し外部に出力する動作が行われる。このため、第１の推定距離の取得と第２の推定距離の取得との間に対象物が移動することにより、距離が比較的大きくなることがあり得る。しかし、対象物の移動速度が小さければ、第１の推定距離と第２の推定距離とは本来的に同程度になると期待される。第１の推定距離を得るときの２個の光源の配置と、第２の推定距離を得るときの２個の光源の配置とが異なるため、各光源配置による低感度領域は重複しない。従って、本実施形態によれば、複数の推定距離に基づいて、対象物までの距離の推定精度を高めることができる。

（実施形態３）
本開示によるモーションセンサ装置の第３の実施形態を説明する。本実施形態のモーションセンサ装置は、イメージセンサに対して非対称に配置された２個の光源を備える。本実施形態の装置も、図１１を参照しながら説明した前述の実施形態におけるレンズ系１１０および制御部１０００と同様の構成を備えている。これらの説明はここでは重複して行わない。

図１５Ａは、本実施形態に係るモーションセンサ装置における光源の配置構成の例を示す図である。図１５Ｂは、このモーションセンサ装置における光源とイメージセンサの制御タイミングを示すタイムチャートである。

図１５Ａに示される例では、イメージセンサ１０１に対して２個の光源１０２、１０３は異なる方向に異なる距離だけ離れて配置されている。しかし、２個の光源１０２、１０３はイメージセンサ１０１から見て同一の方向に配置されていてもよい。２個の光源１０２、１０３がイメージセンサ１０１から見て同一の方向に配置されている場合、イメージセンサ１０１から各光源１０２、１０３までの距離は異なる。

図１５Ｂに示されるように、期間８２２は、ＬＥＤ光源１０２、１０３の両方が点灯する期間に相当し、期間８２３は、ＬＥＤ光源１０３のみが点灯する期間に相当する。第１の露光期間８２４および第２の露光期間８２５は、それぞれ、イメージセンサ１０１による第１フレームおよび第２フレームの撮像に対応する。

本実施形態の特徴は、ＬＥＤ光源１０３が第１の露光期間８２４と第２の露光期間８２５の両者のタイミングで発光していることである。

図１６は、本実施形態で発生する感度領域を示す図である。図１６には、高感度領域１４０４および低感度領域１４０５が示されている。

高感度領域１４０４は、イメージセンサ１０１から遠ざかる方向に輝度比の変化が大きくなる領域である。低感度領域１４０５では、高感度領域１４０４と輝度比の変化が逆転するため、正確な距離の測定ができない領域である。

ＬＥＤ光源１０３を２つの露光期間で共に発光させることにより、図１６に示される通り、低感度領域をＬＥＤ光源１０２とＬＥＤ光源１０３との間ではなく、ＬＥＤ光源１０３側にシフトさせることが可能となる。イメージセンサ１０１の撮像解像度が高い中央領域に高感度領域１４０４を配置させることが可能となる。

本実施形態では、２個のＬＥＤ光源のみを用いる。イメージセンサ１０１は連続して２フレーム露光可能な性能を有する。

本実施形態では、ＬＥＤ光源１０３を２つの露光期間の両方で発光させたが、さらにＬＥＤ光源を増設してこの役目を異なるＬＥＤ光源で分担しても良い。分担を行うことでＬＥＤ光源の放熱性という観点でメリットが出る場合もある。

本実施形態の重要な特徴は、時分割で露光を行う際の１つの露光時間において、位置の異なる光源を複数同時点灯することにある。これにより、低感度領域を移動させることができる。複数の光源の同時発光を行うことができれば、光源の個数は３個以上でもよい。

図１７は、本実施形態に係るモーションセンサ装置を搭載したディスプレイ１００１を示している。図１７の例では、モーションセンサ装置の高感度領域が、ＬＥＤ光源１０３の右側において、イメージセンサ１０１を中心として形成される。このため、ディスプレイ１００１の中心に向かってジェスチャー入力が行える。図１７には、参考のため、ジェスチャー入力を行う手が模式的に示されている。図示されている手は、矢印の方向に移動しつつある。図１６に示されているように、低感度領域１４０５は光源１０３の左側に位置する。図１７に示されるディスプレイでは、画面の左端付近に光源１０３が配置されているため、低感度領域１４０５は、通常のジェスチャー入力が行われる領域の外側に位置している。

本実施形態に係るモーションセンサ装置をディスプレイなどに利用すれば、ジェスチャー入力によるチャンネルの切り替えなどのユーザーインターフェースに用いることもできる。ディスプレイは、対象物の運動に応答して表示内容を変化させる。また、人間の各部の動きを認識したダンスゲームなどへの応用も可能である。

本実施形態では、少ないＬＥＤ光源数と２フレーム露光可能な性能を有するだけでよい。

図１７のディスプレイには、他の実施形態に係るモーションセンサ装置を組み込んでも良い。

（実施形態４）
本開示によるモーションセンサ装置の第４の実施形態を説明する。本実施形態のモーションセンサ装置も、２個の光源を備える。本実施形態の装置も、図１１を参照しながら説明した前述の実施形態におけるレンズ系１１０および制御部１０００と同様の構成を備えている。このため、これらの説明はここでは重複して行わない。

本実施形態では、測定対象物体が低感度領域にあるか否かを判定する。

再び図８を参照する。図８に示される低感度領域５０５は、イメージセンサ１０１が取得する画像中の座標（撮像座標）から決定することが可能である。図８の例では、画像の中央に近いほど、輝度比が低下するため、信頼度が下がる。

以下、イメージセンサ１０１からの距離が短い低感度領域５０４を判定する方法の例を説明する。

前述したように、図１２の極値探索部１１０７による探索では、極値３０３と極値３０４を求めることができる。極値３０３、３０４の各々の座標には差が存在する。これは位置の異なる光源から物体を照らした際、照らされた角度差が高輝度領域の座標差分として発生するためである。この座標差分は、そのままでも、ある程度利用可能である。この座標差分は、対象物までの距離だけでなく対象物のサイズにも依存する。そこで、領域３０６のサイズを用いて、座標差分を補正すると、精度の高い距離推定が可能である。具体的には、対象物の輝度を領域３０６のサイズで除算することにより、距離と関連の強い相関を持つ値を得ることができる。この方法によれば、イメージセンサ１０１に近い領域にある対象物の推定距離を得ることができる。

対象物の輝度比そのものは対象物が遠ざかるほど減衰する。このため、輝度比そのものを距離の推定に利用することも可能である。移動する物体の場合、輝度比において信頼度の高い領域に存在するときに輝度やサイズを関連付けて記録しておけば、低感度領域に移動した後でもそれらの情報で追跡が可能である。

これらの距離推定方法によって対象物が低感度領域５０４内にあるか否かを判定することができる。

上記の方法により、対象物が低感度領域内にあると判断されたとき、輝度比を用いた距離に「信頼度が無い」と判定することができる。

以下、信頼度の使い方を説明する。

まず、信頼度の低い距離推定データを廃棄し、低感度領域での物体追跡を停止することができる。誤った距離データが得られるより、検知除外するほうがユーザーにとって利便性が高い。

信頼度の低い距離推定データと、他の方法で取得した距離情報と重み付けを加えた上で混合したり、置換したりしてもよい。

以下、光源とイメージセンサを用いて距離情報を取得する他の方法の一例を説明する。ここでは、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法を用いる例を説明する。ＴＯＦ法の構成方法や発光方法は多数存在する。ここでは、図１８および図１９を参照しながら、パルス光源を使うＴＯＦ法の１例を説明する。

図１８は、ＬＥＤ光源の発光期間１３０１、物体にあたって反射してきた光のセンサ到達期間１３０２、イメージセンサの第１の露光時間１３０３、イメージセンサの第２の露光時間１３０４を示している。

イメージセンサから例えば１．５ｍ離れた位置にある対象物の表面で反射されたＬＥＤ光源の光が、イメージセンサのある画素に入射したとする。この場合、イメージセンサの画素に光が到達する反射光到達期間１３０２は、ＬＥＤ光源の発光期間１３０１から１０ｎｓ遅れる。これは、光の速度が有限であるからである。

露光期間１３０３で露光した画素の輝度を第１の輝度、露光期間１３０４で露光した画素の輝度を第２の輝度とする。この場合、第２の輝度を第１の輝度で割ることにより、反射光の時間遅れを計測できる。その結果、距離の算出も可能である。

図１９に示す例では、センサ露光の間隔をある程度あける。ＬＥＤ光源発光期間１３１１、１３２１から、それぞれ、物体にあたって反射してきた光のセンサ到達期間１３１２、１３２２はわずかに遅れる。この遅れは、対象物までの距離による。イメージセンサの第１の露光時間１３１３に第１の輝度が得られ、イメージセンサの第２の露光時間１３２３に第２の輝度が得られる。ＴＯＦ法では、計測範囲の物体にとって距離が実質的に等しければ、発光期間１３１１で発光するＬＥＤ光源と、発光期間１３２１で発光するＬＥＤ光源とが異なるものであって構わない。したがって、このような手順で計測する限りにおいてはＴＯＦ法と、本開示の輝度比を用いた計測は同一の光源と同一のイメージセンサを用いて同じ撮像フレームで同時に行うことが可能である。

ＴＯＦ距離計測は実際には、一回限りの露光では光量が不足するので、同じ操作を繰り返し、繰り返し露光量を積算させるが、そのような操作を行っても、本開示の輝度比率には影響を与えない。またＴＯＦ距離計測は近距離で精度が出ないため、本願の実施形態との組み合わせは効果的である。

本開示によるモーションセンサ装置の各実施形態によれば、距離計測の誤検出を減らし、高速動作が可能になる。本開示によれば、リアルタイムな検出が求められる３Ｄモーションセンサ装置を提供できる。

本開示によるモーションセンサ装置の一部の機能が有線または無線のネットワークを介して接続された他の装置によって実現されていてもよい。

本開示によるモーションセンサ装置の実施形態は、リアルタイムに物体の３次元位置を計測できる機能を有するため、表示装置などの各種電気製品の非接触ジェスチャーユーザーインターフェースの用途に有用である。車載機器として搭乗者の状態、社外の人物や障害物の検知へも応用できる。ビデオカメラのオートフォーカス等の用途にも応用できる。

１０１、 イメージセンサ
１０２、１０３、 ＬＥＤ光源
３０１、３０２ 輝度
３０３、３０４ 極値
３０５ 輝度極値同士の座標差
３０６ 領域
５０４、５０５、１４０５ 低感度領域
８０２、８０３、８０４、８１２、８１３、８１４、８１５、８２２、８２３ 発光期間
８０５、８０６、８０７、８１６、８１７、８１８、８１９、８２４、８２５ 露光期間
１００１ 表示装置
１１０１ 撮像装置
１１０２ 光源装置
１１０３ ＣＰＵ
１１０４ 半導体集積回路
１１０５ 距離計算ブロック
１１０６ 画像フィルタブロック
１１０７ 極値探索部
１１０９ 座標メモリ
１１１０ 距離算出部
１３０１、１３１１、１３２１ 発光期間
１３０２、１３１２、１３２２ 反射光到達期間
１３０３、１３０４、１３１３、１３２３ 露光期間
１４０４ 高感度領域

Claims (17)

1. イメージセンサと、
   第１、第２および第３の光源を含む複数の光源であって、前記第１の光源は、前記イメージセンサから第１の方向に第１の距離だけ離れた位置に配置され、前記第２の光源は、前記イメージセンサから第２の方向に第２の距離だけ離れた位置に配置され、前記第３の光源は、前記イメージセンサから第３の方向に第３の距離だけ離れた位置に配置されている、複数の光源と、
   前記イメージセンサおよび前記複数の光源を制御するように構成された制御部と、
   を備え、
   前記制御部は、
   第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
   第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、
   第３の時間で前記第３の光源を発光させながら前記イメージセンサで第３のフレームの撮像を行い、かつ、
   前記第１から第３のフレームの撮像によって取得した複数の画像に基づいて、対象物までの距離情報を得るように構成され、かつ、
   前記複数の画像の少なくとも１つから得られる前記対象物の方向を示す情報と、前記複数の画像の各々から得られる前記対象物の輝度とに基づいて、前記対象物までの複数の推定距離情報を取得し、
   前記複数の推定距離情報から前記距離情報を決定するように構成されている、モーションセンサ装置。
2. 前記第２の方向と前記第３の方向とは異なり、かつ、
   前記第１の距離と前記第２の距離とは異なる、請求項１に記載のモーションセンサ装置。
3. 前記制御部は、
   前記第１のフレームの撮像によって取得した第１の画像における前記対象物の第１の輝度、前記第２のフレームの撮像によって取得した第２の画像における前記対象物の第２の輝度、および前記第３のフレームの撮像によって取得した第３の画像における前記対象物の第３の輝度から、少なくとも２個の輝度比を求め、
   前記対象物の方向を示す前記情報と前記少なくとも２個の輝度比とに基づいて、前記複数の推定距離情報を取得するように構成されている、請求項１または２に記載のモーションセンサ装置。
4. 前記イメージセンサは、前記第１から第３のフレームの撮像を、この順序で、連続して実行し、かつ、前記第１のフレームの開始時点から前記第３のフレームの終了時点までの期間が３ミリ秒以下になるように前記撮像を実行する、請求項１から３のいずれかに記載のモーションセンサ装置。
5. イメージセンサと、
   第１および第２の光源を含む複数の光源であって、前記第１の光源は、前記イメージセンサから第１の方向に第１の距離だけ離れた位置に配置され、前記第２の光源は、前記イメージセンサから第２の方向に第２の距離だけ離れた位置に配置されている、複数の光源と、
   前記イメージセンサおよび前記複数の光源を制御するように構成された制御部と、
   を備え、
   前記制御部は、
   第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
   第２の時間で前記第１および第２の光源の両方を発光させながら前記イメージセンサで第２のフレームの撮像を行い、かつ
   前記第１および第２のフレームの撮像によって取得した複数の画像に基づいて、対象物までの推定距離情報を得るように構成されている、モーションセンサ装置。
6. 前記第１および第２の方向、ならびに前記第１および第２の距離の少なくとも一方が一致しない、請求項５に記載のモーションセンサ装置。
7. イメージセンサと、
   第１および第２の光源を含む複数の光源であって、前記第１の光源は、前記イメージセンサから第１の方向に第１の距離だけ離れた位置に配置され、前記第２の光源は、前記イメージセンサから第２の方向に第２の距離だけ離れた位置に配置されている、複数の光源と、
   前記イメージセンサおよび前記複数の光源を制御するように構成された制御部と、
   を備え、
   前記制御部は、
   第１の時間で前記第１の光源を発光させながら前記イメージセンサで第１のフレームの撮像を行い、
   第２の時間で前記第２の光源を発光させながら前記イメージセンサで第２のフレームの撮像を行い、かつ
   前記第１および第２のフレームの撮像によって取得した複数の画像に基づいて前記対象物の方向を示す情報を取得し、かつ、前記複数の画像の各々から得られる前記対象物の輝度とに基づいて前記対象物までの第１の推定距離情報を取得し、更に、他の距離計測によって前記対象物までの第２の推定距離情報を取得し、前記第１および第２の推定距離情報に基づいて、前記対象物までの距離情報を得るように構成されている、モーションセンサ装置。
8. 前記第１および第２の方向、ならびに前記第１および第２の距離の少なくとも一方が一致しない、請求項７に記載のモーションセンサ装置。
9. 前記制御部は、前記対象物の方向を示す前記情報を用いて、前記第１の推定距離情報の信頼度を求め、前記信頼度に応じて前記第１の推定距離情報を誤情報として廃棄するか、前記第２の推定距離情報による補正を行うように構成されている、請求項７または８に記載のモーションセンサ装置。
10. 前記制御部は、相対的に輝度の高い領域の前記複数の画像の間における座標差を用いて前記信頼度を補正する、請求項９に記載のモーションセンサ装置。
11. 前記制御部は、相対的に輝度の高い領域の前記複数の画像の間における座標差、前記相対的に輝度の高い領域の幅、および前記輝度の少なくとも１つに基づいて、前記第２の推定距離情報を算出する、請求項９に記載のモーションセンサ装置。
12. 前記制御部は、前記対象物からの光の反射遅延時間に基づいて前記第２の推定距離情報を算出する、請求項９に記載のモーションセンサ装置。
13. 前記制御部は、前記光源およびイメージセンサを用いて前記反射遅延時間を計測する、請求項１２に記載のモーションセンサ装置。
14. 請求項１から１３に記載のモーションセンサ装置と、
    前記モーションセンサ装置によって検出された対象物の運動に応答して表示内容を変化させるディスプレイと、
    を備える電子装置。
15. 請求項１から１３に記載のモーションセンサ装置に使用される集積回路であって、
    前記イメージセンサおよび前記光源に接続され、露光及び発光のタイミングを制御するタイミング制御部と、
    撮像データを処理し、相対的に輝度の高い領域を探索する極値探索部と、
    前記極値探索部で探索された領域の座標と輝度を格納する座標メモリと、
    前記座標メモリのデータから、同一領域から異なる条件で撮影したフレームを選び出して、輝度比を用いて推定距離情報を算出する距離算出部と、
    を備える、集積回路。
16. 請求項１から１３に記載のモーションセンサ装置による距離計算方法であって、
    撮像フレームのデータから相対的に光強度の高い領域を選択的に選び出し、その座標と光強度を算出する極値探索ステップと、
    前記極値探索ステップで選び出された輝度のうち、異なる条件で撮影したフレーム同士から選び出された輝度の比を算出する輝度比算出ステップと、
    前記輝度比算出ステップで算出された輝度比と、前記極値探索ステップで探索された座標とを用いて、距離に換算する距離換算ステップと、
    を含む距離推定方法。
17. 請求項１から１３に記載のモーションセンサ装置を動作させるコンピュータプログラムであって、前記モーションセンサ装置に、
    撮像フレームのデータから相対的に光強度の高い領域を選択的に選び出し、その座標と光強度を算出する極値探索ステップと、
    前記極値探索ステップで選び出された輝度のうち、異なる条件で撮影したフレーム同士から選び出された輝度の比を算出する輝度比算出ステップと、
    前記輝度比算出ステップで算出された輝度比と、前記極値探索ステップで探索された座標とを用いて、距離に換算する距離換算ステップと、
    を実行させる、コンピュータプログラム。

Images