JP6444431B2 - 対象物の動き検出および特徴化のための撮像装置 - Google Patents

Description

関連出願の相互参照
本開示は、2014年5月16日に出願された「IMAGING ARRANGEMENT FOR OBJECT MOTION DETECTION AND CHARACTERIZATION」と題する米国特許仮出願第61/994,789号(整理番号QUALP255PUS/145011P1)、および2015年5月15日に出願された「IMAGING ARRANGEMENT FOR OBJECT MOTION DETECTION AND CHARACTERIZATION」と題する米国特許出願第14/714,086号(整理番号QUALP255US/145011)に対する優先権を主張するものである。これらの先願の開示は、本開示の一部と見なされ、参照により本開示に組み込まれる。

本開示は、電子デバイスに対する対象物の動き検出および特徴化のための技法に関し、より詳細には、動いている対象物の特性を認識するための撮像システムおよび光学機器に関する。

モバイルデバイスが日々の生活で重要になるにつれて、動いている対象物の特徴を検出し、識別することに対する要求が増加している。たとえば、デバイスの起動、ユーザの顔、手もしくは指、簡単なジェスチャ(スワイプ、ズーム)、複雑なジェスチャ(指算、指で挟む)の検出および認識、視線追跡、頭部追跡などの新しい機能が、非常に望まれている。この機能は、デバイスが低電力モードにあるときであっても、常に利用可能であることが望ましい。

したがって、動いている対象物の動きを検出し、かつ特性を認識するための改良された技法が、スマートフォン、タブレット、ならびにユーザインターフェースおよび/またはディスプレイを有する他のハンドヘルドもしくは装着可能な電子デバイスなど、数多くのタイプの電子デバイスに対して望まれる。

本開示のシステム、方法、およびデバイスは各々、いくつかの革新的な態様を有しており、そのいずれの1つも、本明細書で開示される望ましい特質を、単独で担うことはない。

本開示で述べられる主題の革新的な一態様は、低電力(<20mW)のコンピュータビジョンおよび/または動き検出を行う撮像システムおよび関連する光学機器に関する。光学機器は、小さい形状因子を有する構成において、十分な光を集めて、高フレームレートで十分に明るい画像が得られるように構成される。いくつかの実施形態では、電子デバイスのソフトウェア/ハードウェアにおける画像処理は、動き検出および対象物の特徴化を、ハードウェアを備える画素内で行うので、回避される。

いくつかの実施形態によれば、視覚センサは、画素配列、および画素配列と光学的に結合されたレンズ組立体を含むセンサ組立体と、センサ組立体から受け取った画像データに基づいて、コンピュータビジョン計算を実施するように構成された専用のマイクロプロセッサとを含む。専用のマイクロプロセッサは、第2のプロセッサに対するインターフェースを含む。レンズ組立体は、F# <2、4mm未満の光学全長(Total Track Length)、および少なくとも+/-20度の視野を有する。

いくつかの例では、レンズ組立体は、第1の非球面レンズおよび第2の非球面レンズ以外のレンズを含まないことができる。

いくつかの例では、第2のプロセッサに対するインターフェースは、第2のプロセッサとの有線またはワイヤレス通信インターフェースを含むことができる。専用のマイクロプロセッサは、第2のプロセッサが、通常電力モードにあるか、それとも省電力モードにあるかどうかにかかわらずコンピュータビジョン計算を実施するように構成され得る。電子デバイスは、視覚センサおよび第2のプロセッサを共に含むことができる。いくつかの例では、第2のプロセッサが省電力モードにあるとき、専用のマイクロプロセッサは、基準を満たしているコンピュータビジョン計算に基づいてイベントを出力するように構成することができ、イベントは、省電力モードと通常電力モードとの間で、第2のプロセッサを切り換えるように構成される。いくつかの例では、基準は、プロセッサを、省電力モードから、通常電力モードへと切り換えるための条件に関することができる。いくつかの例では、基準は、人の顔の検出に関することができる。いくつかの例では、専用のマイクロプロセッサは、第2のプロセッサよりも少ない電力を消費する。

いくつかの例では、画素配列は、256×256またはそれよりも少ない画素の配列を含む。

いくつかの例では、画素配列は、毎秒150フレームを超えるフレームレートで、対象物の動きおよび画像特性情報を取得するように構成され得る。

いくつかの例では、F#は、1.5以下とすることができる。

いくつかの実施形態によれば、センサ組立体は、画素配列を含み、画素配列は、第1の非球面レンズおよび第2の非球面レンズを含むレンズ組立体と光学的に結合された複数の画素を含む。レンズ組立体は、第1の非球面レンズおよび第2の非球面レンズ以外に多くとも1つのレンズを含むだけであり、F# <2、4mm未満の光学全長(TTL)、および少なくとも+/-20度の視野を有する。各画素は検出器を含み、また複数の画素の少なくともいくつかは、専用の処理回路に結合される。処理回路は、視野内の画素配列により取り込まれた画像における対象物のコンピュータビジョン特徴を計算するために取得するように構成される。

いくつかの例では、レンズ組立体は、第1の非球面レンズおよび第2の非球面レンズ以外のレンズを含まないことができる。

いくつかの例では、画素配列は、長方形配列でM行およびN列を含むことができる。MおよびNは各々、約125から約250の範囲にあることができ、長方形配列は、約4mm²の面積を有することができる。レンズ組立体は、視野内のすべての光に対して少なくとも0.4の光学伝達関数の絶対値(Modulus)を有することができる。

いくつかの例では、長方形配列は合計面積を有し、合計面積の少なくとも70%は、画素内処理回路に対して利用可能であり得る。いくつかの例では、TTLは、3.5mm未満である。いくつかの例では、各画素は、約250μm²の面積を有する。いくつかの例では、F#は、1.5以下である。

いくつかの実施形態によれば、レンズ組立体は、F# <2.0と、約550nm波長の可視光に対して少なくとも8μmのスポットサイズとを有する。

いくつかの例では、レンズ組立体は、第1の非球面レンズおよび第2の非球面レンズを含むことができ、また第1の非球面レンズおよび第2の非球面レンズ以外のレンズを含まないことができる。

いくつかの例では、レンズ組立体は、4mm未満の光学全長、および少なくとも+/-20度の視野を有することができる。いくつかの例では、F#は1.5以下とすることができる。

いくつかの実施形態によれば、視覚センサは、画素配列、および画素配列と光学的に結合されたレンズ組立体を含むセンサ組立体と、センサ組立体から受け取った画像データに基づいてコンピュータビジョン計算を実施するための手段とを含む。レンズ組立体は、F# <2、4mm未満の光学全長、および少なくとも+/-20度の視野を有する。

いくつかの例では、コンピュータビジョン計算を実施するための手段は、別個のプロセッサに対するインターフェースを含むことができ、また別個のプロセッサが通常電力モードにあるか、それとも省電力モードにあるかどうかにかかわらず、コンピュータビジョンを実施するように構成することができ、別個のプロセッサに対するインターフェースは、別個のプロセッサと有線もしくはワイヤレス通信状態にある。電子デバイスは、視覚センサおよび別個のプロセッサを共に含む。

本明細書で述べられる主題の1つまたは複数の実施形態の細部が、本開示および添付図面で述べられる。他の特徴、態様、および利点は、本開示を検討することにより明らかになるであろう。本開示の図面および他の図の相対的な寸法は、一定の縮尺で描かれていない可能性のあることに留意されたい。本開示に図示され、記載された寸法、厚さ、配置、材料などは、単なる例として行われており、限定するものとして解釈されるべきではない。様々な図面における同様の参照番号および指定は、同様の要素を示す。

レンズ組立体を含む低電力のコンピュータビジョンアプリケーションに対する視覚センサの例を示す図である。 図1Aの視覚センサを含む電子デバイスの実施形態の例を示す図である。 撮像装置の実施形態の例を示す図である。 図2で示す撮像装置の実施形態に対するレンズパラメータの例を示す図である。 ミリメートル当たりのサイクルで表した空間周波数の関数として、光学伝達関数(OTF)の推定される絶対値を示す図である。 0、15、20、および25度の入射光角度に対するスポット画像の空間収差を示す図である。 0、15、20、および25度の入射光角度に対する面積中心からの半径の関数として含まれるエネルギー(enclosed energy)の割合を示す図である。

以下の記述は、本開示の革新的な態様を述べるために、いくつかの実施形態を対象としている。しかしながら本明細書における教示は、多くの異なる方法で適用できることは当業者には容易に認識されよう。述べられる実施形態は、撮像装置を含む任意のデバイス、装置、またはシステムで実施することができる。たとえば、述べられる実施形態は、これだけに限らないが、モバイル電話、マルチメディアインターネット使用可能な携帯電話、モバイルテレビジョン受信機、ワイヤレスデバイス、スマートフォン、Bluetooth(登録商標)デバイス、携帯情報端末(PDA)、ワイヤレス電子メール受信機、ハンドヘルドもしくは可搬型コンピュータ、ネットブック、ノートブック、スマートブック、タブレット、プリンタ、複写機、スキャナ、ファクシミリデバイス、全地球測位システム(GPS)受信機/ナビゲータ、カメラ、デジタルメディアプレイヤ(MP3プレイヤなど)、カムコーダ、ゲーム機、腕時計、時計、計算器、テレビジョンモニタ、フラットパネルディスプレイ、電子的な読取りデバイス(たとえば、電子書籍リーダ)、モバイル健康デバイス、コンピュータモニタ、自動車ディスプレイ(走行距離計および速度計ディスプレイなどを含む)、コックピット制御部および/またはディスプレイ、カメラビューディスプレイ(車両の後方視カメラのディスプレイなど)、電子写真、電子掲示板もしくは標示、プロジェクタ、アーキテクチャ構造、マイクロ波、冷蔵庫、ステレオシステム、カセットレコーダもしくはプレイヤ、DVDプレイヤ、CDプレイヤ、VCR、ラジオ、可搬型記憶チップ、洗濯機、乾燥機、洗濯機/乾燥機、パーキングメータ、パッケージング(微小電気機械システム(MEMS)用途を含む電気機械システム(EMS)用途、ならびに非EMS用途など)、美的構造(宝石または衣服の1つに対する画像の表示など)、ならびに様々なEMSデバイスなど、様々な電子デバイスに含まれる、または関連付けられ得ることが企図される。本明細書の教示はまた、これだけに限らないが、電子スイッチングデバイス、無線周波数フィルタ、センサ、加速度計、ジャイロスコープ、動き感知デバイス、磁気計、家庭用電子機器用の慣性構成要素、家庭用電子機器製品の部品、バラクタ、液晶デバイス、電気泳動デバイス、駆動方式、製造プロセス、および電子試験機器な
どの用途で使用することができる。したがって、これらの教示は、単に図に示されている実施形態に限定されることは意図されておらず、その代わりに、当業者には容易に明らかであるように、広範囲にわたる適用性を有している。

本開示のシステム、方法、およびデバイスは各々、いくつかの革新的な態様を有しており、そのいずれの1つも、本明細書で開示される望ましい特質を単独で担うことはない。本開示で述べられる主題の革新的な一態様は、スマートフォン、タブレット、またはユーザインターフェースおよび/もしくはディスプレイを有する他のハンドヘルドもしくは装着可能な電子デバイスなどの電子デバイスで実施することができる。ここで開示される技法によれば、撮像装置は、たとえば、顔の検出もしくは認識、または撮像装置から離れた距離の空中で行われた手のしぐさなどの触れることのないユーザ入力など、対象物またはジェスチャの認識を可能にする。開示される撮像装置は、最小量の電力(20mW未満、10mW未満、または0.5mW以下)を消費しながら動作し、その結果、電子デバイスがスリープモード、または他の省電力モードにある場合であっても、「常にオン状態」にあることができる。1mW未満を消費する撮像システムを用いる動き検出、または輪郭検出を提供することも可能になり得る。開示される撮像システムおよび光学機器は、小さい形状因子(40mm³未満)でパッケージすることができ、また動き検出を行うのに十分なフレームレートで画像データを提供し、かつ短い視距離で、速く動く対象物の特性を認識することができる。たとえば、いくつかの実施形態では、毎秒200フレームを超えるフレームレートが企図される。

ここで開示される技法は、ユーザの手、指、手で持てる対象物、または顔などの静止した、または動いている対象物の画像特性を検出し、認識することを可能にする。いくつかの実施形態では、対象物の動きが検出される。代替的には、またはさらに、対象物が動いているかどうかにかかわらず、対象物の主な輪郭を識別し、かつ特徴付けることができて、たとえば、手もしくは顔として所与の対象物を識別するなど、対象物の基本的な認識を可能にする。その結果、デバイスの起動、顔/手/人の特徴検出および認識、簡単なジェスチャ(スワイプ、ズーム)、複雑なジェスチャ(指算、指で挟む)、視線追跡、頭部追跡、およびモバイルデバイスに関する深度マップ情報を有する3D撮像に関する新しいユーザインターフェース機能が提供され得る。いくつかの実施形態では、そのようなユーザインターフェース機能は、電子デバイスが「スリープ」、または他の低電力モードにある場合であっても利用可能であり得る。たとえば、画素配列は、光検出素子に加えて画素内処理回路を含むことができ、それは、データを電子デバイスのプロセッサに転送し、プロセッサを用いてデータを処理する必要性なしに、動き検出アルゴリズムを画素内で実行させることができる。

たとえば、顔検出(人の顔が場面中に存在するかどうかを検出すること)、または顔認識(指定された個人の顔として検出された顔を認識すること)、ならびに他のコンピュータビジョンタスクなど、いくつかのコンピュータビジョンタスクに対しては、高解像度画像は、必ずしも必要ではないことが分かってきた。したがって、いくつかの実施形態では、画像データは、低いフレームごとの画素カウントを用いて、かつ従来の(たとえば、VGA)デジタルカメラシステムに対して大きい対応する画素サイズを用いて取得される。その結果、各画像フレームに対するデータボリュームは、中程度の品質の撮像カメラであってもそれより大幅に少ない。通常VGA解像度以上の解像度を有するデジタルカメラは、毎秒30から70フレームのフレームレートを有する。さらに、約0.2m以下の距離で、電子デバイスの視野を横断する速い動きの対象物(たとえば、振っている手など)を検出するための任意選択の実施形態では、200〜500Hzの程度のフレームレートが検出を向上させることができる。

ここで開示される技法は、望ましい高いフレームレートに関連する短い露出時間中に、十分な光を収集する小型の光学機器装置を企図している。いくつかの実施形態では、たとえば、1.5以下のF#を有する高性能の光学機器が企図される。いくつかの実施形態では、レンズ組立体を多くとも2つのレンズ素子を含むように構成することによって、光学機器のコスト、複雑さ、および体積が低減される。

したがって、低電力(<20mW)のコンピュータビジョンおよび/または動き検出を提供する撮像システムおよび関連する光学機器が述べられる。光学機器は、小さい形状因子(たとえば、3mm×3mm×4mmに対して5mm×5mm×6mmである従来の装置)を有する装置において、必要なフレームレートで十分に明るい画像を得るのに十分な光を集めるように構成される。いくつかの実施形態では、光学機器装置は、3.5mm以下の光学全長(TTL)を有することができる。いくつかの実施形態では、電子デバイスのソフトウェア/ハードウェアにおける画像処理は、動き検出および対象物の特徴化を、ハードウェアを備える画素内で行うので、回避される。

いくつかの実施形態では、開示される撮像システム、および関連する光学機器は、高品質画像を取り込むように設計される従来のカメラも含むデバイス上で使用することができる。従来のカメラは、少なくともフレームレートが比較的低い(30〜70fps)場合に、より高い解像度(最小でVGA)、低い収差、鮮やかなカラー、および高いダイナミックレンジを有することができる。そのような高解像度カメラに対するデータ処理要件および消費電力は、ここで開示される撮像システムに必要とされるものをはるかに超えている。たとえば、モバイルデバイスのための中程度品質の撮像カメラは、VGA解像度(640×480画素)を有するが、ここで企図される解像度は、125×125から256×256画素の範囲とすることができる。従来のカメラは、2.2よりも大きい典型的なF#を有し、その結果、モバイルデバイスで使用される典型的な撮像カメラは、高いリフレッシュレートを達成するために、短い露出時間では十分な光を収集しない。それとは対照的に、ここで開示される撮像システムは、小さい形状因子の装置において、1.4〜2.0の範囲でF#を提供することができる。

図1Aは、レンズ組立体を含む低電力のコンピュータビジョンアプリケーションに対する視覚センサの例を示す。示された実施形態では、視覚センサ130は、画素配列134に光学的に結合されたレンズ組立体132を含む。レンズ組立体132および画素配列134は共にセンサ組立体140を形成する。レンズ組立体132は、図2から図6を参照してさらに詳細に述べられる。画素配列134は、M×Nの画素配列を含むことができ、数MおよびNは、同じまたは異なることができる。各画素は、フォトダイオードもしくは他の光感知素子などの検出器を含むことができ、また画素のうちの少なくともいくつかのものは、専用の、受動的および/または能動的な処理回路に結合される、かつ/または処理回路を含む(そのような処理回路は、たとえば、以下でさらに述べる専用のマイクロプロセッサ136、およびコンピュータビジョン計算ハードウェア138の一方、または両方を含むことができる)。様々な実施形態では、画素配列134は、256×256の画素配列、または128×128の画素配列とすることができる。画素配列134は、専用のマイクロプロセッサ136に電子的に結合され得る。専用のマイクロプロセッサは、画素配列134から入力された画像データを受け取り、かつ画素配列134により取り込まれた画像内の対象物のコンピュータビジョンベースの認識および/または検出を実施するように設計された専用の低電力マイクロプロセッサとすることができる。そのようなコンピュータビジョンベースの認識および/または検出は、問題の画素の近傍の画素値に基づいて、画素配列における各画素に対して、局所二値パターン(LBP)などのコンピュータビジョン特徴の計算を含むことができる。局所三値パターン、方向付けされた勾配のヒストグラム(histogram of oriented gradients)、ならびに他のものなど、他のコンピュータビジョン特徴もまた知られている。専用のマイクロプロセッサは、次いで、計算されたコンピュータビジョン特徴を用いて顔検出および/または認識を実施することができる。他のコンピュータビジョンベースの認識および/または検出は、エッジ検出、コーナ検出、小塊(blob)検出などを含むことができる。コンピュータビジョンベースの認識および/または検出は、計算されたコンピュータビジ
ョン特徴に基づいて、顔の存在の決定、顔の識別、顔に表現された感情、顔が男性か女性か、顔の近似的な年齢、手もしくは他の指定された対象物の存在、顔、手、もしくは他の指定された対象物の追跡、顔もしくは手のしぐさの認識、ならびに他のコンピュータビジョンベースのタスクなど、広範囲のタスクを含むことができる。

任意選択で、専用のマイクロプロセッサ上で実施されるコンピュータビジョンベースの認識および/または検出を加速するために、専用のコンピュータビジョン計算ハードウェア138などの計算加速ハードウェアが、画素配列から画像データを受け取り、LBPなどのコンピュータビジョン特徴を計算し、かつそのような計算されたコンピュータビジョン特徴を専用のマイクロプロセッサ136に出力することができる。この任意選択の実施形態では、専用のマイクロプロセッサ136は、次いで、ハードウェアで計算されたコンピュータビジョン特徴に基づき、上記で述べたコンピュータビジョンベースの認識および/または検出タスクを実施することができる。画素配列134の周辺にブロックとして示されているが、コンピュータビジョン計算ハードウェア138の一部またはすべては、「ピクセル内」で実施できることを理解されたい。すなわち、コンピュータビジョン計算ハードウェア138は、示されたように、画素配列134の周辺にある必要がなく、そうではなくて、画素配列134の各画素の一部である画素内処理回路から、全体的に、もしくは部分的に構成され得る。いくつかの実施形態では、コンピュータビジョン計算ハードウェア138の一部は、画素内回路により、画素列134と統合することができ、またコンピュータビジョン計算ハードウェア138の一部を、画素配列134の周辺のハードウェアとして実施することができる。

専用のマイクロプロセッサ136は、その場合、汎用のプロセッサである必要はないが、(コンピュータビジョン計算ハードウェア138を有する、もしくは有しない)画素配列134からの入力を用いて、主として、コンピュータビジョンに関連するタスク用に設計することができる。専用のマイクロプロセッサ136は、周辺光センサ、加速度計、または他のセンサなど、他のセンサからの入力に基づいて、いくつかの二次的な他の処理タスクを有し得ることを理解されたい。コンピュータビジョン関連のタスクを実施することに加えて、専用のマイクロプロセッサ136は、他のプロセッサと通信することができる。たとえば、示された実施形態では、専用のマイクロプロセッサ136は、第2のプロセッサ104と通信するためのインターフェース139を含む。第2のプロセッサ104は、モバイル電話など、電子デバイス100のアプリケーションプロセッサを含むことができる。そのような例では、アプリケーションプロセッサ104は、モバイル電話の主プロセッサとすることができる。通信のためのインターフェース139は、アプリケーションプロセッサ104と通信でき、かつSPI、I2C、LVDS、または他の有線通信プロトコルのうちの1つを用いて通信するように構成された有線インターフェースを含むことができる。このような実施形態では、コンピュータビジョン関連タスクを実施した後、専用のマイクロプロセッサ136は、コンピュータビジョン関連タスクに基づいてアプリケーションプロセッサ104にイベントを送る。たとえば、タスクは、顔検出タスクとすることができ、またイベントは、顔検出イベントとすることができる。アプリケーションプロセッサ104は、通常電力モード、または省電力モードのいずれかにあることができる。通常電力モードでは、アプリケーションプロセッサ104の消費電力は、専用のマイクロプロセッサ136の消費電力よりもかなり多くなる可能性がある。省電力モードにある場合、アプリケーションプロセッサ104は、イベントの受信に基づいて通常モードを起動する、または通常モードに入るように構成され得る。起動された後、アプリケーションプロセッサ104は、受け取ったイベントに基づいて、一定のタスクを実施することができる。たとえば、イベントが顔検出イベントである場合、アプリケーションプロセッサ1
04は、ユーザに、パスワードまたはジェスチャを用いてデバイスのロックを解除するように促すことに関連する命令を実行することができる。イベントが、顔認識イベントであり、かつ認識された顔が認定されたユーザである場合、アプリケーションプロセッサ104は、主画面をユーザに表示することに関する、または認定されたユーザにより最近使用された場面を表示することに関する命令を実行することができる。他の例では、イベントがジェスチャ認識イベントである場合、アプリケーションプロセッサ104は、認識されたジェスチャに関する命令を実行することができる。いくつかの実施形態では、専用のマイクロプロセッサ136は、第2のプロセッサよりも低電力のプロセッサで動作することができる。他の実施形態では、アプリケーションプロセッサ104は、視覚センサからの出力を使用して、音を立てるなど何かを行う玩具などの別の種類の電子デバイス100のマイクロプロセッサである。そのような実施形態では、たとえば、専用のマイクロプロセッサは、コンピュータビジョン関連タスクを実施し、コンピュータビジョン関連タスクに基づいてイベントをアプリケーションプロセッサ104に送り、アプリケーションプロセッサ104は、次いで、玩具のスピーカを制御して音を立てることができる。そのような実施形態では、専用のマイクロプロセッサ136およびアプリケーションプロセッサ104は、同様な量の電力を消費することができる、またはいくつかの実施形態では、専用のマイクロプロセッサ136は、アプリケーションプロセッサ104よりもさらに消費することもあり得る。インターフェース139は、有線インターフェースとして示されているが、専用のマイクロプロセッサ136が、たとえば、Zigbee(IEEE802.15.4規格)、Bluetooth(登録商標)、ボディエリアネットワーク(IEEE802.15.6)、ワイヤレスUSB、Wi-Fi(802.11)、Z-wave、またはIrDA(IRベースの通信)通信プロトコルを用いるワイヤレスである、アプリケーションプロセッサ104と通信するためのインターフェース139を含むように構成され得ることも理解されたい。

図1Bは、図1Aの視覚センサを含む電子デバイスの実施形態の例を示す。示された実施形態では、電子デバイス100は、第2のプロセッサ104および視覚センサ130を含む。電子デバイス100はまた、対話式ディスプレイ102を含むことができ、それは、タッチスクリーン式ディスプレイとすることができるが、必ずしもそうである必要はない。上記で述べたように、第2のプロセッサ104は、アプリケーションプロセッサである、またはアプリケーションプロセッサを含むことができ、かつ少なくとも部分的にユーザ入力に応じて、対話式ディスプレイ102を含む電子デバイス100を制御するように構成することができる。少なくともいくつかのユーザ入力は、「ジェスチャ」により行うことができ、ジェスチャは、手もしくは指などのユーザの付属肢を用いる、または手で持てる対象物などを用いる全体的動作、および顔の表現もしくは動きを含み、それらは、視覚センサ130を用いて受信され、かつ解釈され得る。ジェスチャは、デバイス100から、たとえば、10cmから200cmの間の範囲の距離で行うことができる。図1Aに関して述べたように、視覚センサ130(その例は、本明細書の以下で述べられ、かつ示される)は、画素配列と、コンピュータビジョン関連タスクを実施する専用のマイクロプロセッサとを含むことができる。コンピュータビジョン関連タスクに基づいて、たとえば、イベントなどの、視覚センサ130により出力される信号は、第2のプロセッサ104に、通常電力モードと省電力モードとの間を切り換えさせ、かつ/または第2のプロセッサ104に、ユーザのジェスチャもしくは顔検出/認識のインスタンスを認識させ、かつユーザのジェスチャもしくは顔検出/認識に応じて、電子デバイス100および/または対話式ディスプレイ102を制御させることができる。いくつかの実施形態では、電子デバイス100は、ユーザのジェスチャを感知し、それに対して決定論的方法で反応する。

本明細書の以下でより詳細に述べるように、ここで開示される技法は、視覚センサ130における画素配列が単色であり、かつたとえば、VGAカメラと比較して、比較的粗くできるように企図される。その結果、画像を高いフレームレートで収集することができ、また電子デバイス100の第2の、高電力プロセッサ104は、コンピュータビジョン関連タスクが行われている間は省電力モードにあるはずなので、コンピュータビジョン関連タスクを、非常に低い電力コストで専用のマイクロプロセッサ136を用いて実施することができる。その結果、触れることのないユーザジェスチャは、低電力のスリープモードから電子デバイス100を「起動する」のに有効であり得る。いくつかの実施形態では、画像装置130は、人の付属肢、頭部、または顔の存在/動き/回転/移動を検出することができ、それは、デバイス100に対して、「起動する」、または「オフする」アクションをトリガすることができる。電子デバイス100から10〜200cmの距離で行われる、たとえば、手を振る、または指ではじくタイプのジェスチャは、電子デバイス100を起動させるために有効であり得る。

図2は、センサ組立体の実施形態の例を示す。センサ組立体140は、画像平面142に配置された画素配列と、レンズ組立体132とを含むことができる。示された実施形態では、カバーガラス143が、画像平面142とレンズ組立体132との間に配置される。

示された実施形態では、レンズ組立体132は、2つの非球面レンズを有し、それを、本明細書では、外側レンズ素子132(1)と内側レンズ素子132(2)と呼ぶものとする。いくつかの実施形態では、センサ組立体140の中に含まれるレンズは、外側レンズ素子132(1)および内側レンズ素子132(2)だけである。言い換えると、いくつかの実施形態では、レンズ組立体132は、第1の非球面レンズおよび第2の非球面レンズ以外のレンズを含まない。

いくつかの実施形態では、画像平面142上に配置された画素配列は、画素のM行×N列を有するサイズであり、MおよびNの値は各々、約100から300の間の範囲にある。たとえば、いくつかの実施形態では、MおよびNは各々128である。このような実施形態では、画素配列は、約2mm×2mmのサイズの長方形構成で配置できることが企図される。そのような実施形態では、各画素は、約250μm²(15.6μm×15.6μm)の平坦な面積を有することができ、また画素の面積の約20から25%の面積を有する光検出素子を含むことができ、残りの75から80%は、任意選択の実施形態では、画素内処理回路に予約される。したがって、画素の光検出面積は、約(8μm×8μm)以下とすることができる。

図2をさらに参照すると、光学全長(TTL)が、画像平面142と、外側レンズ素子132(1)の外側表面(「表面1」)との間で、光学軸145に沿った距離として定義される。いくつかの実施形態では、センサ組立体140は、TTLが4mm未満であり、またレンズ装置132がF# <2で特徴付けられるように構成される。本発明者らは、たとえば、1.5以下のF#を取得して3.5mm以下のTTLが得られることを見出している。いくつかの実施形態では、F#は、1.0から1.5の間の範囲であり、TTLは約3mmとすることができる。上記で述べたF#およびTTLは、いくつかの実施形態では、本明細書のいずれかで述べるように、比較的大きいスポットサイズを用いて同時に達成することができる。

外側レンズ素子132(1)および内側レンズ素子132(2)の一方、または両方は、たとえば、1.5から1.7の範囲の屈折率を有する高い屈折性の材料から製作することができる。たとえば、外側レンズ素子132(1)および内側レンズ素子132(2)の一方、または両方は、少なくとも1.6の屈折率を有する、大阪ガスケミカルから入手可能なプラスチックOKP4から製作することができる。いくつかの実施形態では、カバーガラス143は、BK7などのクラウンガラスから製作することができる。いくつかの実施形態では、カバーガラスは、赤外光に対して少なくとも部分的に不透明であるフィルタコーティングを含むことができる。

センサ組立体140は、少なくとも+/-20°の視野(FOV)を有するように構成できることが企図される。いくつかの実施形態では、FOVは、+/-25〜30°の範囲内とすることができる。

いくつかの実施形態では、センサ組立体140は、約1.5〜2mmの範囲に含まれるシステムの有効焦点距離(「f」)を有するように構成され得る。いくつかの実施形態では、撮像装置は、約1メートルの対物距離、1メートル未満の目標対象物サイズ対して最適化することができ、可視範囲の中心波長を550nmと想定する。図2で示された例示的なセンサ組立体140の場合、色収差を無視することができるが、それは、センサ組立体140が、少なくとも主として、単色(グレイレベル)モードだけで使用されることが企図されているからである。

外側レンズ素子132(1)および内側レンズ素子132(2)の各々が、それぞれの有効焦点距離(「f1」)および(「f2」)を有し、かつそれぞれの中心厚(「d1」)および(「d2」)を有するいくつかの実施形態では、以下の関係が維持される。
0.7 < f/f1 < 1.2、
0.35 < f/f2 < 0.7
0.3 < f/f1-f/f2 < 0.7
0.25 < d1/TTL < 0.55
0.1 < d2/TTL < 0.25

図3は、図2で示された撮像装置の実施形態に対するレンズパラメータの例を示している。

図4は、ミリメートル当たりのサイクルで表した空間周波数の関数として、光学伝達関数(OTF)の推定される絶対値を示している。画素配列が4mm²の正方形配列中に128×128画素を含む、本開示により企図される実施形態では、特性空間周波数(ナイキスト周波数)は、ミリメートル当たり約32サイクルである。25°の極端な入射光角度を考えると、OTFの推定される絶対値は、0.75を超える。20°未満の入射光角度の場合、OTFの推定される絶対値は、0.85を超えることが示されている。

図5は、0、15、20、および25度の入射光角度に対するスポット画像の空間収差を示す。スポットサイズは、0度の入射光に対する約8μmから、25度の入射光に対する20μmまで変化することが観察され得る。示された性能は、ここで開示されるセンサ組立体の画素サイズを考慮すると満足すべきものである。

図6は、0、15、20、および25度の入射光角度に対する面積中心からの半径の関数として含まれるエネルギーの割合を示す。約7.8μmの企図される画素半径内で、含まれるエネルギー割合は、80%を超えることが観察され得る。

したがって、対象物の動き検出、および画像の特徴化に対する向上させた技法が、開示されてきた。ここで開示される技法のさらなる特徴は、本出願の付録Aで述べられる。

本開示で述べられる実施形態に対する様々な変更形態は、当業者であれば、容易に明らかになるはずであり、また本明細書で定義される一般的な原理は、本開示の趣旨もしくは範囲から逸脱することなく、他の実施形態に適用することができる。したがって、特許請求の範囲は、本明細書において示された実施形態に限定されることを意図するものではなく、本開示、すなわち、本明細書で開示される原理および新規の特徴と一致する最も広い範囲が与えられるべきである。

本明細書で使用される場合、項目リストのうちの「少なくとも1つ」を参照する表現は、1つの部材を含む、これらの項目の任意の組合せを指す。一例として、「a、bまたはcのうちの少なくとも1つ」は、a、b、c、a-b、a-c、b-c、およびa-b-cを包含することが意図されている。

本明細書で開示される実施形態に関して述べられた様々な例示的な論理、論理ブロック、モジュール、回路、およびアルゴリズムプロセスは、電子ハードウェア、コンピュータソフトウェア、またはその両方の組合せとして実施することができる。ハードウェアおよびソフトウェアの互換性が、概して機能の観点から説明されており、また上記の種々の例示的な構成要素、ブロック、モジュール、回路、およびプロセスにおいて例示されている。そのような機能がハードウェアで実現されるか、それともソフトウェアで実現されるかは、システム全体に課された個々の用途および設計制約によって決まる。

本明細書で開示される諸態様に関して述べられた様々な例示的な論理、論理ブロック、モジュール、および回路を実施するために使用されるハードウェアおよびデータ処理装置は、本明細書で述べられた機能を実施するように設計された汎用のシングルチップもしくはマルチチッププロセッサ、デジタル信号プロセッサ(DPS)、特定用途向けIC(ASIC)、書替え可能ゲートアレイ(FPGA)もしくは他のプログラム可能な論理デバイス、ディスクリートのゲートもしくはトランジスタ論理、ディスクリートのハードウェア構成要素、またはそれらの任意の組合せを用いて実装もしくは実施され得る。汎用プロセッサは、マイクロプロセッサとすることができるが、あるいは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることができる。プロセッサはまた、コンピューティングデバイスの組合せとして、たとえば、DSPとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと併せた1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実現することもできる。いくつかの実施形態では、特定のプロセスおよび方法は、所定の機能に特有の回路構成で実施することができる。

1つまたは複数の態様によれば、前述の機能は、本明細書で開示された構造、およびその構造的に均等な形態を含むハードウェア、デジタル電子回路、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せで実施することができる。本明細書において説明される主題の実施形態はまた、1つまたは複数のコンピュータプログラムとして、すなわち、データ処理装置によって実行するか、またはデータ処理装置の動作を制御するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラム命令の1つまたは複数のモジュールとして実施することができる。

ソフトウェアで実施される場合、機能は、非一時的媒体などのコンピュータ可読媒体上に、1つまたは複数の命令もしくはコードとして記憶される、またはそれを介して送信され得る。本明細書において開示された方法またはアルゴリズムのプロセスは、コンピュータ可読媒体上に常駐し得るプロセッサで実行可能なソフトウェアモジュールにおいて実施することができる。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送できるようにする、任意の媒体を含むコンピュータ記憶媒体と通信媒体を共に含む。記憶媒体は、コンピュータによってアクセスされ得る任意の入手可能な媒体とすることができる。限定ではなく例として、非一時的媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスできる任意の他の媒体を含むことができる。さらに、任意の接続を、コンピュータ可読媒体と適正に呼ぶこともできる。本明細書で使用される場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピーディスク、およびブルーレイディスクを含み、ディスク(disk)は、通常、データを磁気的に再生するが、ディスク(disc)は、レーザを用いて光学的にデータを再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含めるべきである。さらに、方法もしくはアルゴリズムのオペレーションは、コンピュータプログラム製品の中に組み込むことができる機械可読媒体およびコンピュータ可読媒体上に、コードおよび命令の1つもしくは任意の組合せとして、または1組のコードおよび命令として存在することができる。

さらに、当業者であれば容易に理解されるように、「上側」および「下側」という用語は、図を説明するのが容易なように使用されることがあり、適正な方向を向いたページ上の図の方向付けに対応する相対的な位置を示しているが、実施されるデバイスの適正な方向付けを反映していない可能性がある。

別々の実施形態の文脈において本明細書で述べられているいくつかの特徴はまた、単一の実施形態における組合せで実施することもできる。それとは反対に、単一の実施形態の文脈で述べられている様々な特徴は、複数の実施形態において別々に実施することができるが、あるいは任意の適切な下位の組合せで実施することもできる。さらに特徴が、特定の組合せにおいて動作するものとしてこれまで説明され、さらには最初にそのようなものとして特許請求され得るが、特許請求される組合せからの1つまたは複数の特徴は、いくつかの場合には、その組合せから削除することができ、また、特許請求される組合せは、下位の組合せまたは下位の組合せの変形形態を対象とする場合もある。

同様に、オペレーションは、図面において特定の順序で示されているが、これは、そのようなオペレーションが、示された特定の順序で、または連続する順序で実施されることを必要とする、またはすべての例示されたオペレーションが、望ましい結果を達成するために実施されることを必要とするものと理解すべきではない。さらに図面は、1つまたは複数の例示的なプロセスを流れ図の形で概略的に示すことができる。しかし、図に示されていない他のオペレーションを、概略的に示された例示的なプロセスに組み込むこともできる。たとえば、例示されたオペレーションのいずれかの前に、後に、同時に、またはそれらの間に、1つまたは複数のさらなるオペレーションを実施することができる。いくつかの状況では、マルチタスク処理および並列処理が有利な場合がある。その上、上記で述べた実施形態における様々なシステム構成要素を分離することは、すべての実施形態においてそのような分離を必要とするものと理解すべきではなく、述べられるプログラム構成要素およびシステムは、概して、単一のソフトウェア製品内に共に統合することができるが、あるいは複数のソフトウェア製品の中にパッケージできることを理解されたい。さらに、他の実施形態も添付の特許請求の範囲に含まれる。いくつかの場合、特許請求の範囲に記載の動作は、異なる順序において実行することができ、なお望ましい結果を達成することができる。

100 電子デバイス
102 対話式ディスプレイ
104 第2のプロセッサ、アプリケーションプロセッサ
130 視覚センサ、画像装置
132 レンズ組立体
132(1) 外側レンズ素子
132(2) 内側レンズ素子
134 画素配列
136 専用のマイクロプロセッサ
138 コンピュータビジョン計算ハードウェア
139 インターフェース
140 センサ組立体
142 画像平面
143 カバーガラス
145 光学軸
d1 中心厚
d2 中心厚

Claims (27)

1. 画素平面に配置された画素配列、および前記画素配列と光学的に結合されたレンズ組立体を含むセンサ組立体と、
   前記センサ組立体から受け取った画像データに基づいて、コンピュータビジョン計算を実行するように構成された専用のマイクロプロセッサであって、第2のプロセッサに対するインターフェースを含む専用のマイクロプロセッサとを備え、
   前記レンズ組立体は、F# <2、4mm未満の光学全長、および少なくとも+/-20度の視野を有する、視覚センサ。
2. 前記レンズ組立体は、第1の非球面レンズおよび第2の非球面レンズ以外のレンズを含まない、請求項1に記載の視覚センサ。
3. 前記第2のプロセッサに対する前記インターフェースは、前記第2のプロセッサとの有線通信インターフェースまたはワイヤレス通信インターフェースを含み、
   前記専用のマイクロプロセッサは、前記第2のプロセッサが、通常電力モードにあるか、それとも省電力モードにあるかどうかにかかわらず、コンピュータビジョン計算を実行するように構成され、
   電子デバイスが、前記視覚センサおよび前記第2のプロセッサを共に含む、請求項1に記載の視覚センサ。
4. 前記第2のプロセッサが前記省電力モードにあるとき、前記専用のマイクロプロセッサは、基準を満たしている前記コンピュータビジョン計算に基づいてイベントを出力するように構成され、前記イベントが、前記省電力モードと前記通常電力モードとの間で、前記第2のプロセッサを切り換えるように構成される、請求項3に記載の視覚センサ。
5. 前記基準は、前記プロセッサを、前記省電力モードから前記通常電力モードへと切り換えるための条件に関するものである、請求項4に記載の視覚センサ。
6. 前記基準は、人の顔の検出に関するものである、請求項5に記載の視覚センサ。
7. 前記専用のマイクロプロセッサは、前記第2のプロセッサよりも少ない電力を消費する、請求項3に記載の視覚センサ。
8. 前記画素配列は、256×256またはそれより少ない画素の配列を備える、請求項1に記載の視覚センサ。
9. 前記画素配列は、毎秒150フレームを超えるフレームレートで、対象物の動きおよび画像特性情報を取得するように構成される、請求項1に記載の視覚センサ。
10. 前記F#は1.5以下である、請求項1に記載の視覚センサ。
11. センサ組立体であって、
    第1の非球面レンズおよび第2の非球面レンズを含むレンズ組立体に光学的に結合された、画素平面に配置された複数の画素を含む画素配列を備え、
    前記レンズ組立体は、前記第1の非球面レンズおよび前記第2の非球面レンズ以外に多くとも1つのレンズを含むだけであり、かつF# <2、4mm未満の光学全長(TTL)、および少なくとも+/-20度の視野を有し、
    各画素は検出器を含み、前記複数の画素の少なくともいくつかは、専用の処理回路に結合され、かつ
    前記処理回路は、前記視野内の前記画素配列により取り込まれた画像における対象物のコンピュータビジョン特徴を計算するために取得するように構成される、センサ組立体。
12. 前記レンズ組立体は、前記第1の非球面レンズおよび前記第2の非球面レンズ以外のレンズを含まない、請求項11に記載のセンサ組立体。
13. 前記画素配列は、長方形配列でM行およびN列を含む、請求項11に記載のセンサ組立体。
14. MおよびNは各々、約125から約250の範囲であり、前記長方形配列は、約4mm²の面積を有する、請求項13に記載のセンサ組立体。
15. 前記レンズ組立体は、前記視野内のすべての光に対して、少なくとも0.4の光学伝達関数の絶対値を有する、請求項14に記載のセンサ組立体。
16. 長方形配列は、合計面積を有し、前記合計面積の少なくとも70%は、画素内処理回路に利用可能である、請求項11に記載のセンサ組立体。
17. 前記TTLは3.5mm未満である、請求項11に記載のセンサ組立体。
18. 各画素は、約250μm²の面積を有する、請求項11に記載のセンサ組立体。
19. 前記F#は1.5以下である、請求項11に記載のセンサ組立体。
20. 画素平面に配置された画素配列、および前記画素配列と光学的に結合されたレンズ組立体を含むセンサ組立体と、
    前記センサ組立体から受け取った画像データに基づいて、コンピュータビジョン計算を実行するための手段とを備え、
    前記レンズ組立体は、F# <2、4mm未満の光学全長、および少なくとも+/-20度の視野を有する、視覚センサ。
21. 前記レンズ組立体は、第1の非球面レンズおよび第2の非球面レンズ以外のレンズを含まない、請求項20に記載の視覚センサ。
22. コンピュータビジョン計算を実行するための前記手段が、別個のプロセッサに対するインターフェースを含み、かつ前記別個のプロセッサが通常電力モードにあるか、省電力モードにあるかどうかにかかわらず、前記コンピュータビジョン計算を実行するように構成され、前記別個のプロセッサに対する前記インターフェースは、前記別個のプロセッサと有線またはワイヤレス通信状態にあり、
    電子デバイスは、前記視覚センサおよび前記別個のプロセッサを共に含む、請求項20に記載の視覚センサ。
23. 前記別個のプロセッサが省電力モードにあるとき、コンピュータビジョン計算を実行するための前記手段は、基準を満たしている前記コンピュータビジョン計算に基づいてイベントを出力するように構成され、前記イベントは、第2のプロセッサを、前記省電力モードと前記通常電力モードとの間で切り換えるように構成される、請求項22に記載の視覚センサ。
24. 前記基準は、前記プロセッサを、前記省電力モードから前記通常電力モードへと切り換えるための条件に関するものである、請求項23に記載の視覚センサ。
25. 前記基準は、人の顔の検出に関するものである、請求項24に記載の視覚センサ。
26. 前記画素配列は、256×256またはそれより小さい画素の配列を備える、請求項22に記載の視覚センサ。
27. コンピュータビジョン計算を実行するための前記手段は、前記別個のプロセッサよりも少ない電力を消費する、請求項22に記載の視覚センサ。