JP6042555B2 - 低ルクス及び高ルクス条件における物体認識 - Google Patents

低ルクス及び高ルクス条件における物体認識 Download PDF

Info

Publication number
JP6042555B2
JP6042555B2 JP2015539601A JP2015539601A JP6042555B2 JP 6042555 B2 JP6042555 B2 JP 6042555B2 JP 2015539601 A JP2015539601 A JP 2015539601A JP 2015539601 A JP2015539601 A JP 2015539601A JP 6042555 B2 JP6042555 B2 JP 6042555B2
Authority
JP
Japan
Prior art keywords
sensor
level
threshold
vehicle
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015539601A
Other languages
English (en)
Other versions
JP2015535412A (ja
Inventor
キング、ジョシュ、タイラー
ドコール、タレク エル
ドコール、タレク エル
バゲフィナザリ、ペドラム
ヤマモト、ステュアート、マサカズ
ホワン、リッチー、ウィンソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2015535412A publication Critical patent/JP2015535412A/ja
Application granted granted Critical
Publication of JP6042555B2 publication Critical patent/JP6042555B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Description

本開示は、一般的には物体認識、特に、車両における低ルクス及び高ルクスの条件での物体認識に関する。
イメージ・センサは、多種多様な環境にある物体のイメージ・データを取込むために使用される。また、イメージ・センサや付属の電子機器はモニタしている環境に最も適合するように調整されている。例えば、低照度、すなわち低ルクス・レベルの環境で、イメージ・センサは、一定の照度を提供する照明用光源によって補助することができる。このような調整は、静的な環境ではうまく機能するが、動的に変化する環境によって引き起こされる問題に対応できていない。例えば、イメージ・センサが、車両内の物体をモニタし特定の照度レベルに調整されている場合、車両内の照度レベルが、車両が暗い場所を通過するか又は夜間に走行しているために低下すると、撮像できない場合がある。
本発明の実施形態では、照度レベルが動的に変化する車両内の乗員や運転者が行うジェスチャのイメージ・データが取り込まれる。開示するシステムは、照度閾値以下の照度レベルの環境でイメージ・データを取込むために具備された低ルクス・センサと、該照度閾値を超える照度レベルの環境でイメージ・データを取込むために具備された高ルクス・センサと、これらのセンサを起動、停止するための物体認識モジュールとを有する。低ルクス及び高ルクス・センサは、車両のオーバーヘッド・コンソールに配置される。
物体認識モジュールは、環境の照度レベルを判定して、該照度レベルが前記照度レベル閾値未満であるか否かを判定する。照度レベルが該閾値を下回る場合には、物体認識モジュールは低ルクス・センサを起動する。一実施形態では、物体認識モジュールは、低ルクス・センサの起動と共に照明用光源を起動する。照明用光源は、低ルクス・センサのために環境を照明し、低ルクス・センサが低照度レベルでイメージ・データを取込むことを可能にする。照度レベルが該閾値を超えている場合、物体認識モジュールは、高ルクス・センサを起動する。一実施形態では、高ルクス・センサは、高ルクス・センサに到達する赤外線の量を減少させる赤外線フィルタを有してもよい。
本発明の他の実施形態には、前記システムの上述の機能を実行するための命令を格納するコンピュータ可読媒体、及び上述の機能を実行するためのステップを含む、コンピュータで実行される方法が挙げられる。
図１は、一実施形態による、照度レベルが動的に変化する環境におけるイメージ・データを取込むためのコンピューティング環境を示すブロック図である。 図２は、一実施形態による、照度レベルが動的に変化する環境内におけるイメージ・データを取込むためのコンピューティング環境に含まれる物体認識モジュールを示すブロック図である。 図３は、一実施形態による、照度レベルが動的に変化する環境におけるイメージ・データを取込むための方法を示すフロー図である。
本明細書に記載のコンピューティング環境では、車両内の低ルクス及び高ルクス条件の運転者や同乗者からのジェスチャを表すイメージ・データが取り込まれる。図面および以下の説明は、説明のためにのみ特定の実施形態を記載しているだけである。当業者が以下の説明から容易に認識できることは、本明細書に例示してある構造および方法の代替の実施形態を、本明細書に記載の原理から逸脱することなく使用することができると言うことである。以降、いくつかの実施形態を詳細に参照して、これらの実施形態の例を添付の図面において説明する。なお、実用的な限り、類似または同様の参照番号を図面において使用し、類似または同様の機能を示している。
＜システム環境＞
図１を参照すると、照度レベルが動的に変化する環境内のイメージ・データを取込むためのコンピューティング環境１００は、物体認識モジュール１０２、一対の低ルクス・イメージ・センサ、１０４ａと１０４ｂ（例えば、赤外線センサ）、一対の高ルクス・イメージ・センサの対、１０６ａと１０６ｂ（例えば、ＲＧＢセンサ）、照度レベル検出器１１０、及び通信モジュール１１２を有する。図示したコンピューティング環境１００は、２つの低ルクス・イメージ・センサ１０４ａ及び１０４ｂと高ルクス・イメージ・センサ１０６ａ及び１０６ｂを有するが、コンピューティング環境１００の他の実施形態は、低ルクス・イメージ・センサ１０４ａ及び１０４ｂ、及び高ルクス・イメージ・センサ１０６ａ及び１０６ｂを１対以上含むことができる。さらに、一実施形態では、コンピューティング環境１００は車両や移動小屋の中に存在するが、照度レベルが動的に変化する他の環境内に配置することもできる。
照度レベル検出器１１０は、前記環境１００に存在する光の量を測定する装置である。一実施形態では、該照度レベル検出器１１０は、光を、測定可能な電気に変換する光起電性センサを具備する。該照度レベル検出器１１０は、生成された電力量を測定し、測定された電力に基づいて、該環境の光量または照度レベルを決定する。一実施形態では、照度レベル検出器は、反射光計または入射光計のような光計器の原理を利用して、環境１００内の照度レベルを測定する。
物体認識モジュール１０２は、測定された照度レベルを照度レベル検出器１１０から受信して、照度レベルが閾値ルクスを超えているか否かを判定し、そして、高ルクス・イメージ・センサ１０６ａ及び１０６ｂまたは低ルクス・イメージ・センサ１０４ａ及び１０４ｂを、該判定に基づいて起動する。一実施形態では、物体認識モジュール１０２は、照度レベルが該閾値ルクスより低いという判定に応答して低ルクス・イメージ・センサ１０４ａ及び１０４ｂを起動し、照度レベルが該閾値ルクス以上であるという判定に対応して高ルクス・イメージ・センサ１０６ａ及び１０６ｂを起動する。別の実施形態では、物体認識モジュール１０２は、低ルクス・センサと高ルクス・センサ、１０４ａ及び１０４ｂ、１０６ａ及び１０６ｂの両方が同時に作動していないことを確実にする。したがって、低ルクス・センサ１０４ａ及び１０４ｂの起動に応答して、物体認識モジュール１０２は、作動中の任意の高ルクス・センサ１０６ａ及び１０６ｂを動作停止させ、逆の場合には逆の動作を行う。物体認識モジュール１０２は、次いて、起動したセンサ１０４、又は１０６からイメージ・データを受信し、該受信したイメージ・データを処理し、該処理に基づいてイメージ内の物体を認識する。一実施形態では、認識された物体は特定のジェスチャを行っている人物であり、該物体認識モジュール１０２は、認識された物体に基づき、ユーザとの通信等の機能を、通信モジュール１１２を介して実行する。
物体認識モジュール１０２による低ルクス・センサ１０４ａ及び１０４ｂと高ルクス・センサ１０６ａ及び１０６ｂの選択的な起動が有益な点は、物体認識モジュール１０２が、低ルクス条件（すなわち、環境１００の光量が少ない条件）と高ルクス条件（すなわち、環境１００の光量が適切または多い条件）の両方においてデータを取込むことが可能になるということである。従って、物体認識モジュール１０２が有利な点は、照度レベルが動的に変化する環境で使用してイメージ・データを取込み、処理することができるということである。
通信モジュール１１２は、ユーザと物体認識モジュール１０２との間のインターフェースを提供する。該通信モジュール１１２は、したがって、出力デバイスを有し、任意でユーザと通信するための入力装置を有する。出力デバイスの例としては、イメージ通信用のタッチ・スクリーンおよび音声通信用のオーディオ機器がある。入力デバイスの例としては、タッチ・スクリーン、マウス、及びキーパッドがある。
高ルクス・センサ１０６ａ及び１０６ｂは、前記閾値ルクス以上の照明レベルにおけるイメージ・データを取込むことができるイメージ・センサである。このような高ルクス・センサ１０６ａ及び１０６ｂの例としては、電荷結合素子（ＣＣＤ）センサまたは相補型金属酸化膜半導体（ＣＭＯＳ）センサがあり、これらのセンサは、光に対する適切な感度すなわち輝度範囲を有し、上記閾値ルクス以上の照明レベル下にあるときにイメージ・データを取込むことができる。イメージ・センサ１０６ａ及び１０６ｂの輝度範囲は、具備している該センサ１０６ａ及び１０６ｂがイメージ・データを取込むシーンの輝度の範囲である。例えば、該高ルクス・センサ１０６ａ及び１０６ｂの輝度範囲は、１平方メートル当たり３００〜１０００カンデラまたは１０００〜１２０００ルクスとすることができる。
一実施形態では、高ルクス・センサ１０６ａ及び１０６ｂはカラーイメージ・センサであって、イメージ・データを取り込んで環境１００のカラー・イメージを再生する。これらの高ルクス・センサ１０６ａ及び１０６ｂは、必要に応じて、赤外線遮断フィルタと共に使用して、赤外線波長の光に起因する歪みを低減または最小化することができる。一実施形態では、２つの高ルクス・センサ１０６ａ及び１０６ｂは互いに眼間距離（すなわち、人の目の間の距離に近い）だけ離れて位置して、立体イメージ処理のために三次元イメージを取込む。
低ルクス・センサ１０４ａ及び１０４ｂは、前記閾値ルクスを下回る照度レベルでイメージ・データを取込むことが可能なイメージ・センサである。このような低ルクス・センサ１０４ａ及び１０４ｂの例としてはＣＣＤまたはＣＭＯＳセンサがあり、該閾値ルクスを下回る照度レベルにあるときにイメージ・データを取込むための適切な輝度範囲を有する。一実施形態では、該低ルクス・イメージ・センサは１平方メートル当たり２５〜３５０カンデラまたは０〜８０ルクスの輝度範囲を持つ。一実施形態では、２つの低ルクス・センサ１０４ａ及び１０４ｂは、互いに眼間距離（すなわち、ほぼ、人の目の間の距離）だけ離れて位置して、立体イメージ処理のための三次元イメージを取込む。一実施形態では、低ルクス・センサ１０４ａ及び１０４ｂの輝度範囲は、高ルクス・センサ１０６ａ及び１０６ｂの輝度範囲とは異なっている。輝度範囲が異なっていることにより、低ルクス・センサがより低い照度レベルでより良質なイメージ・データを取込むことができ、高ルクス・センサがより高い照度レベルでより良質なイメージ・データを取込むことができる。別の実施形態では、低ルクス・イメージ・センサ１０４ａ及び１０４ｂと高ルクス・イメージ・センサ１０６ａ及び１０６ｂの輝度範囲は同じである。
一実施形態では、低ルクス・イメージ・センサ１０４ａ及び１０４ｂには照明用光源１０８ａ及び１０８ｂが対応しており、該照明用光源１０８ａ及び１０８ｂは低ルクス・イメージ・センサ１０４ａ及び１０４ｂの視野を照明する。対応する照明用光源を持つイメージ・センサの例としては、ＤＥＦＥＮＤＥＲ・ＳＰＡＲＴＡＮ５（登録商標）ナイト・ビジョン・カメラとＣＣＴＶ・ＥＸ１１ＤＸＬデュアル・センサ・カラー・ナイト・ビジョン・カメラがある。また、以下に説明する一実施形態では、照明用光源１０８ａ及び１０８ｂは、単一波長または類似の複数波長を含むスペクトルを持つ光を放射する。この実施形態では、低ルクス・センサ１０４ａ及び１０４ｂは、照明用光源１０８ａ及び１０８ｂによって放射される光の波長と類似の波長の受信光の変換が効率的に行えるモノクロのイメージ・センサである。このようなモノクロの低ルクス・センサ１０４ａ及び１０４ｂが有益な点は、低照度レベルのイメージ・データの取込みに優れていることである。
一実施形態では、照明用光源１０８ａ及び１０８ｂは赤外光を放射してシーンを照明し、本実施形態の低ルクス・センサ１０４ａ及び１０４ｂは、該低ルクス・センサ１０４ａ及び１０４ｂに到達する赤外光を低減または最小限にする赤外線フィルタを具備していない。照明用光源１０８ａ及び１０８ｂは赤外光でシーンを照明しているため、赤外線フィルタを持たないことで、前記環境１００が赤外光で照明されたときに低ルクス・センサ１０４ａ及び１０４ｂがイメージ・データを取込むことが可能になり、有益である。
照明用光源１０８ａ及び１０８ｂは、一実施形態において、低ルクス・イメージ・センサ１０４ａ及び１０４ｂに含まれているか又は取付けられている。前記環境１００の他の実施形態では、照明用光源１０８ａ及び１０８ｂは、低ルクス・イメージ・センサ１０４ａ及び１０４ｂから物理的に分離されている。
照明用光源１０８ａ及び１０８ｂは、一実施形態では、近赤外（ＮＩＲ：Ｎｅａｒ Ｉｎｆｒａｒｅｄ）線発光ダイオード（ＬＥＤ）であり、近赤外光を発光してセンサ１０４ａ及び１０４ｂの視野を照明する。該近赤外光は人間には見えないので、環境１００にいる人間の気を散らすことなく視野を照明するので有益である。照明される環境１００が車両内にある場合には、運転者の気を散らすことなく環境１００を照明することが望ましい。別の実施形態では、該照明用光源１０８ａ及び１０８ｂは、近赤外光以外の光を発して視野を照明する。さらに、一実施形態では、該照明用光源１０８ａ及び１０８ｂは単一波長または類似の複数の波長を含むスペクトルを持つ光を発する。この理由は、そのような光で視野を照明することで、低ルクス・イメージ・センサ１０４ａ及び１０４ｂが取り込んだデータから得られるイメージの色度を低減することが有益だからである。
別の実施形態では、照明用光源１０８ａ及び１０８ｂは、低ルクス・イメージ・センサ１０４ａ及び１０４ｂの応答曲線のピークにおける範囲内にあるスペクトル帯域の光を放射する。該イメージ・センサの応答曲線は、種々の波長でセンサが受光する光の量毎にセンサの電流生成効率を示している。従って、照明用光源１０８ａ及び１０８ｂは、前記低ルクス・イメージ・センサ１０４ａ及び１０４ｂが、該センサ１０４ａ及び１０４ｂが受光する光量毎に多量の電流を生成する波長を含むスペクトル帯域の光を放射する。例えば、照明用光源１０８ａ及び１０８ｂは、７５０ナノメートル（ｎｍ）及び９００ナノメートル（ｎｍ）の間の波長の光を発するが、この理由は、この波長で受光された光に対し低ルクス・センサ１０４ａ及び１０４ｂが、ワット当たり０．２〜０．２７５アンペア（Ａ／Ｗ）生成するが、一般的には、他の波長の光に対してはより少ない電流しか生成しないからである。
照明用光源１０８ａ及び１０８ｂと、低ルクス・センサ１０４ａ及び１０４ｂと、高ルクス・センサ１０６ａ及び１０６ｂとは、必要に応じて、環境１００内でモニタしている領域の物理的に高い位置に置かれる。センサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂをより高い位置におけば、モニタ領域に、センサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂを遮るものが実質的にない視界を得ることができるので有益である。例えば、該環境１００が車両内にあって、モニタ領域が運転者や同乗者の周囲の領域である場合、センサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂと照明用光源１０８ａ及び１０８ｂとは、運転席と助手席の間のセンタ・コンソールの上のオーバーヘッド・コンソールに配置される。視界を遮るものが実質的にないことに加えて、車両内のセンサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂとの設置場所によって、フロント・ガラスから車両に入る直接入射光による望ましくない影響を低減することができる。
さらに、一実施形態では、照明用光源１０８ａ及び１０８ｂは、センサ１０４ａ及び１０４ｂに隣接して配置され、センサ１０４ａ及び１０４ｂの前方の領域を照明する。該照明用光源１０８ａ及び１０８ｂがセンサ１０４ａ及び１０４ｂと隣接して置かれ、対向して置かれないので、照明用光源１０８ａ及び１０８ｂからセンサ１０４ａ及び１０４ｂへの直接入射光を最小化できて有益である。
＜物体認識モジュール＞
図２は、一実施形態による、照度レベルが動的に変化する環境内でイメージ・データを取込むためのコンピューティング環境における物体認識モジュール１０２を示すブロック図である。該物体認識モジュール１０２は、照度レベル・モジュール２０２、照度閾値モジュール２０４、撮像源起動モジュール２０６、照明用光源モジュール２０８、イメージ・データ記憶部２１０、及びイメージ処理モジュール２１２を有する。
照度レベル・モジュール２０２は、照度レベル検出器１１０に通信可能に接続されており、照度レベル・モジュール２０２は照度レベル検出器１１０によって測定された照度レベルを判定する。一実施形態では、照度レベル・モジュール２０２は、照度レベル検出器１１０を繰り返しポーリングして測定された照度レベルを判定する。別の実施形態では、照度レベル検出器１１０は測定された照度レベルを繰り返し送信するように構成され、照度レベル・モジュール２０２は送信された照度レベルを受信する。さらに別の実施形態では、照度レベル・モジュール２０２は、照度レベルの測定値を閾値回数受信するか、又は、照度レベルの測定値を閾値時間の間受信する。そして、照度レベル・モジュール２０２は、受信した読み取り値に基づいて照度レベルを判定する。たとえば、照度レベル・モジュール２０２は、受信した読み取り値の平均値を照度レベルとして決定してもよい。このような、複数の照度レベル測定値に基づいて判定することによって、物体認識モジュール１０２は、異常な読み取り値を判定することができるので有用である。この異常な読み取り値は、該検出器１１０の一時的な誤動作、または検出器１１０の前に障害物が一時的に現れることにより発生することがある。
照度閾値モジュール２０４は、照度レベル・モジュール２０２から照度レベルの判定結果を受信して、判定された照度レベルが閾値ルクスを超えているかどうかを判断する。一実施形態では、該閾値ルクスは設定可能になっており、ユーザまたは１つのモジュールによる適切な閾値ルクスの提供を、照度閾値モジュール２０４とのユーザインタフェースを介して行うことができる、一実施形態では、該閾値ルクスは、低ルクス・イメージ・センサ１０４ａ及び１０４ｂまたは高ルクス・イメージ・センサ１０６ａ及び１０６ｂの輝度範囲に基づいている。例えば、閾値ルクスは、低ルクス・イメージ・センサ１０４ａ及び１０４ｂまたは高ルクス・イメージ・センサ１０６ａ及び１０６ｂの輝度範囲の重複範囲内の値に設定される。したがって、低ルクス・センサ１０４ａ及び１０４ｂの輝度範囲が１平方メートル当たり２５〜３５０カンデラで、かつ、高ルクス・センサ１０６ａ及び１０６ｂの輝度範囲が１平方メートル当たり３００〜１０００カンデラある場合、該閾値ルクスは１平方メートル当たり３２５カンデラに設定することができる。このような閾値ルクスの決定により、該センサ１０４と１０６のいずれかが起動されているときに、現在の照度レベルがセンサ１０４、１０６の輝度範囲内にあることが保証される。
撮像源起動モジュール２０６は、高ルクス・センサ１０６ａ及び１０６ｂ又は低ルクス・センサ１０４ａ及び１０４ｂの起動を、照度閾値モジュール２０４によってなされた決定に基づいて行う。照度閾値モジュール２０４が、照度レベルは閾値ルクス以上であると判断した場合には、撮像源起動モジュール２０６は、高ルクス・センサ１０６ａ及び１０６ｂを起動する。そうでない場合、撮像源起動モジュール２０６は、低ルクス・センサ１０４ａ及び１０４ｂを起動する。一つの実施形態では、撮像源起動モジュール２０６は、撮像源起動モジュール２０６が高ルクス・センサ１０６ａ及び１０６ｂを起動するときに低ルクス・センサ１０４ａ及び１０４ｂを停止し、その逆の動作も行う。このように動作停止することは、イメージ・データを、環境１００の現在の照度条件に合った適切なセンサによって取込むことを保証できるので、有利である。
照明用光源モジュール２０８は、照明用光源１０８ａ及び１０８ｂの起動と停止を制御する。一実施形態では、照明用光源モジュール２０８は撮像源起動モジュール２０６と通信し、撮像源起動モジュール２０６による低ルクス・センサ１０４ａ及び１０４ｂの起動又は停止に応答して、照明用光源１０８ａ及び１０８ｂを起動又は停止する。別の実施形態では、照明用光源モジュール２０８は、照明用光源１０８ａ及び１０８ｂの起動または動作停止を、照度閾値モジュール２０４の下した判定に基づいて行う。照度閾値モジュール２０４が、照度レベルが閾値ルクス以上であると判断した場合、照明用光源モジュール２０８は、作動中の照明用光源１０８ａ及び１０８ｂをすべて停止させる。そうでない場合、照明用光源モジュール２０８は、照射用光源１０８ａ及び１０８ｂを起動する。起動された照明用光源１０８ａ及び１０８ｂは、低ルクス・センサ１０４ａ及び１０４ｂの視野を照明するので有用である。
イメージ・データ記憶部２１０は、イメージ・センサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂにより取り込まれたイメージ・データを受信し格納する揮発性または不揮発性の記憶装置である。一実施形態では、イメージ・データ記憶部２１０は、低ルクス・センサ１０４ａ及び１０４ｂと高ルクス・センサ１０６ａ及び１０６ｂからのイメージ・データを別々に格納する。別々に格納されたイメージ・データによって、イメージ処理モジュール２１２が、二つの異なる種類のセンサ１０４ａ及び１０４ｂと１０６ａ及び１０６ｂからのイメージ・データを、必要に応じて異なる方法で処理することが可能になる。
イメージ処理モジュール２１２は、イメージ・データ記憶部２１０に格納されたイメージを処理し、該処理に基づいて物体を認識し、そして、認識された物体に基づいて応答を開始する。イメージ処理モジュール２１２は、立体イメージ処理技術のような技術を用いて、データを処理し物体を認識することができる。このような技術の例は、「立体イメージ処理（Stereoscopic Image Processing）」と題する学術論文（入手先：ｈｔｔｐ：／／ｄｓｐ−ｂｏｏｋ．ｎａｒｏｄ．ｒｕ／ＤＳＰＭＷ／５７．ＰＤＦ）に記載されている。その全体を参照により本明細書に組み込むものとする。認識された物体に基づいて、イメージ処理モジュール２１２は、適切な応答を決定し、開始する。例えば、イメージ処理モジュール２１２は、格納されたイメージ・データを処理し、格納されたイメージ・データが、ある人間が特定のジェスチャを行なっていることを示していると判断することがある。該判定に応答して、イメージ処理モジュール２１２は、データベース（図示せず）を照会して、該ジェスチャに対応付けられたユーザ要求を判定する。イメージ処理モジュール２１２は、次に、判定された要求に応答して適切な動作を取るための適切な処理を指示する。例えば、該要求が、ユーザが特定の音楽ファイルを再生するようオーディオ・プレーヤーに指示したいということを示している場合、イメージ処理モジュール２１２は、音楽プレーヤーと通信し、該音楽ファイルを再生するように該プレーヤーに指示する。さまざまなジェスチャに対応付けられた要求の別の例としては、車内の光の点灯又は消灯の要求、車両内での全地球測位システムのようなアプリケーションの起動・停止の要求、クルーズ・コントロールのような運転機能の起動・停止の要求がある。
図３は、一実施形態による、照度レベルが動的に変化する環境内のイメージ・データを取込むための方法を説明するフロー図である。物体認識モジュール１０２は、環境１００の照度レベルを判定し（３０２）、該照度レベルが閾値ルクス未満であるか否かを判定する（３０４）。該照度が閾値ルクス未満である場合、物体認識モジュール１０２は、低ルクス・センサ１０４ａ及び１０４ｂと、任意で照明用光源１０８ａ及び１０８ｂを起動する（３０６）。一実施形態では、物体認識モジュール１０２は、また、作動中の高ルクス・センサ１０６ａ及び１０６ｂを、低ルクス・センサ１０４ａ及び１０４ｂの起動と共に停止する。
判定された照度レベルが該閾値ルクスより低くない場合は、物体認識モジュール１０２は高ルクス・センサ１０６ａ及び１０６ｂを起動する（３０８）。さらに、一実施形態では、物体認識モジュール１０２は、作動中の低ルクス・センサ１０４ａ及び１０４ｂ及び照明用光源１０８ａ及び１０８ｂの動作停止を、高ルクス・センサ１０６ａ及び１０６ｂの起動と共に行う。物体認識モジュール１０２は、次に、イメージ・データを取込み（３１０）、処理する（３１２）。一実施形態では、照度レベルが、繰り返し、閾値ルクスの上下のレベルに変化するとき、物体認識モジュール１０２が高ルクス・センサ１０６ａ及び１０６ｂと低ルクス・センサ１０４ａ及び１０４ｂを繰り返し起動する。物体認識モジュール１０２は、センサ１０４ａ及び１０４ｂとセンサ１０６ａ及び１０６ｂからのデータを取込み、取り込んだデータを処理する。別の実施形態では、高ルクス・センサ１０６ａ及び１０６ｂと低ルクス・センサ１０４ａ及び１０４ｂは常に作動しており、かつ、物体認識モジュール１０２は、照度レベルに基づいていずれかのセンサからデータを取込む。照度レベルが閾値ルクス未満の場合、物体認識モジュール１０２は、低ルクス・センサ１０４ａ及び１０４ｂからのデータを取込み処理する。そうでない場合、物体認識モジュール１０２は、高ルクス・センサ１０６ａ及び１０６ｂからのデータを取込み、かつ処理する。したがって、認識モジュール１０２は、照度レベルが変化している状況でデータを取込み処理することが可能である。照度レベルが変化している状況には車両がトンネルを通過するような場合があり、車両がトンネルに入って出るときに前記照度レベルが増減する。前記処理に基づいて、物体認識モジュール１０２は、該イメージ内の物体を認識し（３１４）、適切な応答を開始する。
本発明の実施形態の前述の説明は、説明目的のために提示されたものであり、網羅的な説明や、または開示された細緻な形態への本発明の限定を意図するものではない。関連技術分野の当業者は、多くの変形および変更が上記の開示に照らして可能であることを理解できるであろう。
本明細書のいくつかの部分は、本発明の実施形態を、アルゴリズム及び情報を操作する記号表現によって説明している。これらのアルゴリズム的な記述および表現は、データ処理分野の当業者によって共通的に使用され、彼らの業績の大要を他の分野の当業者に効果的に伝えている。これらの操作の説明は、機能的に、計算によって、または論理的になされているが、実装は、コンピュータ・プログラムまたは等価な電気回路、マイクロコード等によってなされることが理解されよう。さらに、また、これらの操作の配列をモジュールとして参照することが便利な場合があることが、一般性を失うことなく証明されている。説明された動作およびそれらに対応するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで実現することができる。当業者であれば、該ハードウェアは、上記のモジュールを実装して、少なくとも１つのプロセッサとメモリを含み、該メモリには上記の機能を持つモジュールを実行するための命令が含まれることが理解できるであろう。
本明細書に記載の任意のステップ、操作、または処理は、一つ以上のハードウェアまたはソフトウェア・モジュールを用いて、単独で又は他のデバイスと組み合わせて実行または実現することができる。一実施形態において、ソフトウェア・モジュールは、コンピュータ・プログラム・コードを含む非一時的なコンピュータ可読媒体を含むコンピュータ・プログラム・プロダクトを用いて実現される。該コンピュータ・プログラム・コードは、記述されたステップ、操作、または処理のいずれかまたはすべてを実行するためにコンピュータ・プロセッサによって実行可能である。
本発明の実施形態はまた、本明細書で述べた動作を実行するための装置に関するものであってもよい。この装置は、要求された目的のために特別な構成を有してもよいし、および／または、汎用目的のコンピューティング・デバイスを有して、該コンピューティング・デバイスをコンピュータに格納されたコンピュータ・プログラムによって選択的に起動又は再構成してもよい。このようなコンピュータ・プログラムは、非一時的で有形のコンピュータ可読記憶媒体、または電子的命令の格納に適した任意の種類の媒体に格納することができる。該媒体は、コンピュータ・システム・バスに接続してもよい。さらに、本明細書において言及した任意のコンピューティング・システムは、単一のプロセッサを有してもよく、または計算能力増強のためにマルチ・プロセッサ設計を採用したアーキテクチャであってもよい。
本発明の実施形態は、また、本明細書に記載のコンピューティング・プロセスによって製造される製品に関するものでもよい。そのような製品はコンピューティング・プロセスから生成される情報を含むことができる。該情報は、非一時的で有形のコンピュータ可読記憶媒体に格納され、本明細書に記載のコンピュータ・プログラム製品またはその他のデータの組合せの任意の実施形態を含むことができる。
最後に、本明細書で使用される言語は、主として読みやすさや説明目的のために選択されており、本発明の主旨を限定するために選択されたものではない。したがって、本発明の範囲は、本明細書の詳細な説明によって限定されるものではなく、本明細書に基づいて出願時に提出されたすべての特許請求の範囲によって限定されるものである。したがって、本発明の実施形態の開示は、本発明の特許請求の範囲の説明を目的としており、限定を目的としていない。特許請求の範囲は、以下に記載されている。
１００ コンピューティング環境
１０２ 物体認識モジュール
１０４ａ、１０４ｂ 低ルクス・イメージ・センサ、低ルクス・センサ
１０６ａ、１０６ｂ 高ルクス・イメージ・センサ、高ルクス・センサ
１１０ 照度レベル検出器
１１２ 通信モジュール
１０２ 物体認識モジュール
２０２ 照度レベル・モジュール
２０４ 照度閾値モジュール
２０６ 撮像源起動モジュール
２０８ 照明用光源モジュール
２１０ イメージ・データ記憶部
２１２ イメージ処理モジュール

Claims (30)

  1. 照度レベルが動的に変化する車両内の乗員または運転者のジェスチャに対応するイメージ・データを取込むための、コンピュータによって実行される方法であって、
    該車両は、該車両のオーバーヘッド・コンソールに位置する、互いに眼間距離だけ離れて置かれた少なくとも一対の低ルクス・センサと、互いに該眼間距離だけ離れて置かれた少なくとも一対の高ルクス・センサとを備え、
    該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
    該高ルクス・センサは、照度レベルが該閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
    該方法は、
    該車両内に存在する光の量を測定することにより該車両内の照度レベルを測定するステップと、
    照度閾値モジュールによって、該測定された照度レベルが前記閾値照度レベル未満であるか否かを判定するステップと、
    該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
    該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
    を含むことを特徴とする、コンピュータによって実行される方法。
  2. 前記照度レベルが前記閾値照度レベル未満であると判定するステップと、
    前記低ルクス・センサによって取り込まれたイメージ・データを処理するステップと、
    該照度レベルが該閾値照度レベルより高いことを判定するステップと、
    前記高ルクス・センサによって取り込まれたイメージ・データを処理するステップとを、さらに含むこと、
    を特徴とする、請求項１に記載のコンピュータによって実行される方法。
  3. 前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するステップをさらに含むこと、
    を特徴とする、請求項１に記載のコンピュータによって実行される方法。
  4. 前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
    具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
    を特徴とする、請求項１に記載のコンピュータによって実行される方法。
  5. 前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
    を特徴とする、請求項４に記載のコンピュータによって実行される方法。
  6. 前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
    を特徴とする、請求項１に記載のコンピュータによって実行される方法。
  7. 前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
    を特徴とする、請求項３に記載のコンピュータによって実行される方法。
  8. 前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、前記高ルクス・センサが作動中であるかどうかを判定するステップと
    該高ルクス・センサが作動中であるとする判定に応答して、該作動中の高ルクス・センサを動作停止させるステップと、を含むこと、
    を特徴とする、請求項１に記載のコンピュータによって実行される方法。
  9. 前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための４つのセンサを有し、
    該４つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
    該４つのセンサは、２つのＲＧＢセンサと２つの赤外線センサとを含むこと、
    を特徴とする、請求項１に記載のコンピュータによって実行される方法。
  10. 照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・プログラム・プロダクトであって、
    該車両は、該車両のオーバーヘッド・コンソールに位置する、互いに眼間距離だけ離れて置かれた少なくとも一対の低ルクス・センサと、互いに該眼間距離だけ離れて置かれた少なくとも一対の高ルクス・センサとを備え、
    該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
    該高ルクス・センサは、照度レベルが該閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
    該コンピュータ・プログラム・プロダクトは、コンピュータ・プログラム・コードを含む非一時的なコンピュータ可読媒体を含み、該コンピュータ・プログラム・コードは、
    該車両内に存在する光の量を測定することにより該車両内の照度レベルを測定し、
    照度閾値モジュールによって、該測定された照度レベルが該閾値照度レベル未満であるか否かを判定し、
    該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理し、かつ、
    該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理すること、
    を特徴とする、コンピュータ・プログラム・プロダクト。
  11. 前記照度レベルが前記閾値照度レベル未満であると判定し、
    前記低ルクス・センサによって取り込まれたイメージ・データを処理し、
    該照度レベルが該閾値照度レベルより高いことを判定し、かつ、
    前記高ルクス・センサによって取り込まれたイメージ・データを処理する、
    ためのコンピュータ・プログラム・コードを
    さらに含むこと、
    を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。
  12. 前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するためのコンピュータ・プログラム・コードをさらに含むこと、
    を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。
  13. 前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
    具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
    を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。
  14. 前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
    を特徴とする、請求項１３に記載のコンピュータ・プログラム・プロダクト。
  15. 前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
    を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。
  16. 前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
    を特徴とする、請求項１２に記載のコンピュータ・プログラム・プロダクト。
  17. 前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、前記高ルクス・センサが作動中であるかどうかを判定し、かつ、
    該高ルクス・センサが作動中であるとする判定に応答して、該作動中の高ルクス・センサを動作停止させるためのコンピュータ・プログラム・コードをさらに含むこと、
    を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。
  18. 前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための４つのセンサを有し、
    該４つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
    該４つのセンサは、２つのＲＧＢセンサと２つの赤外線センサとを含むこと、
    を特徴とする、請求項１０に記載のコンピュータ・プログラム・プロダクト。
  19. 照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・システムであって、
    該車両は、該車両のオーバーヘッド・コンソールに位置する、互いに眼間距離だけ離れて置かれた少なくとも一対の低ルクス・センサと、互いに該眼間距離だけ離れて置かれた少なくとも一対の高ルクス・センサとを備え、
    該低ルクス・センサは、照度レベルが該閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、かつ、
    該高ルクス・センサは、照度レベルが該閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、
    該コンピュータ・システムは、プロセッサと非一時的なコンピュータ可読媒体とを含み、
    該コンピュータ可読媒体は、
    該車両内に存在する光の量を測定することにより該車両内の照度レベルを測定し、
    照度閾値モジュールによって、該測定された照度レベルが該閾値照度レベル未満であるか否かを判定し、
    該照度レベルが該閾値照度レベル未満であるときは、該低ルクス・センサによって取り込まれたイメージ・データを処理し、かつ、
    該照度レベルが該閾値照度レベルより高いときは、該高ルクス・センサによって取り込まれたイメージ・データを処理する、
    ためのコンピュータ・プログラム・コードを含むこと、
    を特徴とする、コンピュータ・システム。
  20. 前記照度レベルが前記閾値照度レベル未満であると判定し、
    前記低ルクス・センサによって取り込まれたイメージ・データを処理し、
    該照度レベルが該閾値照度レベルより高いことを判定し、かつ、
    前記高ルクス・センサによって取り込まれたイメージ・データを処理する、
    ためのコンピュータ・プログラム・コードを
    さらに含むこと、
    を特徴とする、請求項１９に記載のコンピュータ・システム。
  21. 前記照度レベルが前記閾値照度レベル未満であるとする判定に応答して、照明用光源を起動するためのコンピュータ・プログラム・コードをさらに含むこと、
    を特徴とする、請求項１９に記載のコンピュータ・システム。
  22. 前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
    具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
    を特徴とする、請求項１９に記載のコンピュータ・システム。
  23. 前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
    を特徴とする、請求項２２に記載のコンピュータ・システム。
  24. 前記高ルクス・センサは、該高ルクス・センサに到達する赤外線の量を減少させるために赤外線フィルタを有すること、
    を特徴とする、請求項１９に記載のコンピュータ・システム。
  25. 前記照明用光源は、前記低ルクス・センサの応答曲線のピーク範囲内にあるスペクトルを有する光を放射すること、
    を特徴とする、請求項２１に記載のコンピュータ・システム。
  26. 前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための４つのセンサを有し、
    該４つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
    該４つのセンサは、２つのＲＧＢセンサと２つの赤外線センサとを含むこと、
    を特徴とする、請求項１９に記載のコンピュータ・システム。
  27. 照度レベルが動的に変化する車両内の運転者または同乗者からのジェスチャに対応するイメージ・データを取込むためのコンピュータ・システムであって、
    該車両は、該車両のオーバーヘッド・コンソールに位置する、互いに眼間距離だけ離れて置かれた少なくとも一対の低ルクス・センサと、互いに該眼間距離だけ離れて置かれた少なくとも一対の高ルクス・センサとを備え、
    該低ルクス・センサは、照度レベルが閾値照度レベル未満の該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成され、そして
    該高ルクス・センサは、照度レベルが該閾値照度レベルを超える該車両内の該運転者または該同乗者のジェスチャを示すイメージ・データを取込むように構成されており、
    該コンピュータ・システムは、
    該車両内に存在する光の量を測定することにより該車両内の照度レベルを測定する照度レベル・モジュールと、
    該測定された照度レベルが該閾値照度レベル未満であるか否かを判定する照度閾値モジュールと、
    該照度レベルが該閾値照度レベル未満であるときは該低ルクス・センサを起動し、かつ、該照度レベルが該閾値照度レベルより高いときは該高ルクス・センサを起動する撮像源起動モジュールと、を含むこと、
    を特徴とする、コンピュータ・システム。
  28. 前記低ルクス・センサと前記高ルクス・センサは異なる輝度範囲を有し、かつ、
    具備されているセンサの輝度範囲は、該センサが取込むイメージ・データがおかれているシーンの輝度範囲にあること、
    を特徴とする、請求項２７に記載のコンピュータ・システム。
  29. 前記低ルクス・センサと前記高ルクス・センサの輝度範囲は重複しており、かつ、前記閾値照度レベルは該輝度範囲の重複の範囲内であること、
    を特徴とする、請求項２８に記載のコンピュータ・システム。
  30. 前記車両は、前記運転者または前記同乗者のジェスチャを示すイメージ・データを取込むための４つのセンサを有し、
    該４つのセンサは、該車両のオーバーヘッド・コンソールに位置し、かつ、
    該４つのセンサは、２つのＲＧＢセンサと２つの赤外線センサとを含むこと、
    を特徴とする、請求項２７に記載のコンピュータ・システム。
JP2015539601A 2012-10-24 2013-09-12 低ルクス及び高ルクス条件における物体認識 Active JP6042555B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/659,826 2012-10-24
US13/659,826 US8781171B2 (en) 2012-10-24 2012-10-24 Object recognition in low-lux and high-lux conditions
PCT/US2013/059408 WO2014065951A1 (en) 2012-10-24 2013-09-12 Object recognition in low-lux and high-lux conditions

Publications (2)

Publication Number Publication Date
JP2015535412A JP2015535412A (ja) 2015-12-10
JP6042555B2 true JP6042555B2 (ja) 2016-12-14

Family

ID=50485366

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539601A Active JP6042555B2 (ja) 2012-10-24 2013-09-12 低ルクス及び高ルクス条件における物体認識

Country Status (7)

Country Link
US (4) US8781171B2 (ja)
EP (1) EP2912836B1 (ja)
JP (1) JP6042555B2 (ja)
KR (1) KR101687125B1 (ja)
CN (1) CN105122784B (ja)
IL (1) IL238251A (ja)
WO (1) WO2014065951A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8781171B2 (en) * 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions
US10007329B1 (en) 2014-02-11 2018-06-26 Leap Motion, Inc. Drift cancelation for portable object detection and tracking
US9754167B1 (en) 2014-04-17 2017-09-05 Leap Motion, Inc. Safety for wearable virtual reality devices via object detection and tracking
US9868449B1 (en) 2014-05-30 2018-01-16 Leap Motion, Inc. Recognizing in-air gestures of a control object to control a vehicular control system
US9646201B1 (en) 2014-06-05 2017-05-09 Leap Motion, Inc. Three dimensional (3D) modeling of a complex control object
US10007350B1 (en) 2014-06-26 2018-06-26 Leap Motion, Inc. Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN204480228U (zh) 2014-08-08 2015-07-15 厉动公司 运动感测和成像设备
JP3194297U (ja) 2014-08-15 2014-11-13 リープ モーション, インコーポレーテッドLeap Motion, Inc. 自動車用及び産業用のモーション感知制御装置
CN106304570B (zh) * 2016-10-09 2018-11-02 惠州市海尼克电子科技有限公司 一种置于灯具内检测环境照度的方法及感应器
US10757320B2 (en) * 2017-12-28 2020-08-25 Waymo Llc Multiple operating modes to expand dynamic range
CN111428545A (zh) * 2019-01-10 2020-07-17 北京嘀嘀无限科技发展有限公司 行为判断方法、装置及电子设备
CN112001208B (zh) * 2019-05-27 2024-08-27 虹软科技股份有限公司 用于车辆盲区的目标检测方法、装置和电子设备
CN112541859B (zh) * 2019-09-23 2022-11-25 武汉科技大学 一种光照自适应的人脸图像增强方法
KR20220067733A (ko) * 2020-11-18 2022-05-25 한국전자기술연구원 다중 특징 추출기를 적용한 차량용 경량 딥러닝 처리 장치 및 방법

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6507779B2 (en) * 1995-06-07 2003-01-14 Automotive Technologies International, Inc. Vehicle rear seat monitor
US6553296B2 (en) * 1995-06-07 2003-04-22 Automotive Technologies International, Inc. Vehicular occupant detection arrangements
US6442465B2 (en) * 1992-05-05 2002-08-27 Automotive Technologies International, Inc. Vehicular component control systems and methods
JPS6291802A (ja) * 1985-10-18 1987-04-27 Canon Inc 観察計測装置
JPH06291802A (ja) 1993-04-02 1994-10-18 Furukawa Electric Co Ltd:The 多重伝送装置
US7527288B2 (en) * 1995-06-07 2009-05-05 Automotive Technologies International, Inc. Vehicle with crash sensor coupled to data bus
US6400835B1 (en) 1996-05-15 2002-06-04 Jerome H. Lemelson Taillight mounted vehicle security system employing facial recognition using a reflected image
EP1383100A3 (en) * 1996-08-28 2005-02-02 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus and method therefor
US8120652B2 (en) * 1997-04-02 2012-02-21 Gentex Corporation System for controlling vehicle equipment
US6545670B1 (en) 1999-05-11 2003-04-08 Timothy R. Pryor Methods and apparatus for man machine interfaces and related activity
US7050606B2 (en) * 1999-08-10 2006-05-23 Cybernet Systems Corporation Tracking and gesture recognition system particularly suited to vehicular control applications
WO2001085491A1 (en) * 2000-05-08 2001-11-15 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
US6535242B1 (en) 2000-10-24 2003-03-18 Gary Steven Strumolo System and method for acquiring and displaying vehicular information
US20050271280A1 (en) * 2003-07-23 2005-12-08 Farmer Michael E System or method for classifying images
US7177486B2 (en) * 2002-04-08 2007-02-13 Rensselaer Polytechnic Institute Dual bootstrap iterative closest point method and algorithm for image registration
US7123747B2 (en) * 2002-05-28 2006-10-17 Trw Inc. Enhancement of vehicle interior digital images
WO2004047421A2 (en) 2002-11-14 2004-06-03 Donnelly Corporation Imaging system for vehicle
US7088243B2 (en) 2003-05-26 2006-08-08 S1 Corporation Method of intruder detection and device thereof
WO2005032887A2 (en) * 2003-10-03 2005-04-14 Automotive Systems Laboratory, Inc. Occupant detection system
JP2005173257A (ja) * 2003-12-11 2005-06-30 Canon Inc 測距測光装置及び測距リモコン受信装置
JP4059224B2 (ja) 2004-04-13 2008-03-12 株式会社デンソー 運転者の外観認識システム
CN101198964A (zh) 2005-01-07 2008-06-11 格斯图尔泰克股份有限公司 使用红外图案照射创建对象的三维图像
KR100729280B1 (ko) 2005-01-08 2007-06-15 아이리텍 잉크 스테레오 카메라를 장착한 이동단말기를 이용한 홍채인식시스템 및 그 방법
JP4438753B2 (ja) 2006-01-27 2010-03-24 株式会社日立製作所 車両内状態検知システム，車両内状態検知装置および方法
TWI302879B (en) * 2006-05-12 2008-11-11 Univ Nat Chiao Tung Real-time nighttime vehicle detection and recognition system based on computer vision
JP4725433B2 (ja) * 2006-06-19 2011-07-13 旭硝子株式会社 撮像装置
JP2008042806A (ja) * 2006-08-10 2008-02-21 Nikon Corp カメラ
JP5084322B2 (ja) * 2007-03-29 2012-11-28 キヤノン株式会社 撮像装置及びその制御方法
US20100039500A1 (en) 2008-02-15 2010-02-18 Matthew Bell Self-Contained 3D Vision System Utilizing Stereo Camera and Patterned Illuminator
US8939842B2 (en) 2009-01-13 2015-01-27 Meimadtek Ltd. Method and system for operating a self-propelled vehicle according to scene images
JP5400458B2 (ja) * 2009-04-21 2014-01-29 矢崎エナジーシステム株式会社 車載用撮影ユニット
JP2010268343A (ja) * 2009-05-18 2010-11-25 Olympus Imaging Corp 撮影装置および撮影方法
JP2011142500A (ja) * 2010-01-07 2011-07-21 Toyota Motor Corp 撮像装置
EP2515526A3 (en) 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
US9389690B2 (en) 2012-03-01 2016-07-12 Qualcomm Incorporated Gesture detection based on information from multiple types of sensors
US8781171B2 (en) * 2012-10-24 2014-07-15 Honda Motor Co., Ltd. Object recognition in low-lux and high-lux conditions

Also Published As

Publication number Publication date
US8781171B2 (en) 2014-07-15
IL238251A (en) 2016-08-31
CN105122784A (zh) 2015-12-02
EP2912836A1 (en) 2015-09-02
KR20150094607A (ko) 2015-08-19
US9302621B2 (en) 2016-04-05
US20140285664A1 (en) 2014-09-25
JP2015535412A (ja) 2015-12-10
CN105122784B (zh) 2018-09-25
IL238251A0 (en) 2015-06-30
US20160364605A1 (en) 2016-12-15
US9852332B2 (en) 2017-12-26
US20160176348A1 (en) 2016-06-23
US20140112528A1 (en) 2014-04-24
KR101687125B1 (ko) 2016-12-15
EP2912836A4 (en) 2016-08-17
WO2014065951A1 (en) 2014-05-01
EP2912836B1 (en) 2018-05-09
US9469251B2 (en) 2016-10-18

Similar Documents

Publication Publication Date Title
JP6042555B2 (ja) 低ルクス及び高ルクス条件における物体認識
JP7216672B2 (ja) 統合撮像装置を使用しての視覚的データ、深さデータ、および微小振動データの抽出
US20180160079A1 (en) Pupil detection device
JP6346525B2 (ja) 視線検出装置
US11941894B2 (en) Infrared light source protective system
US9993154B2 (en) Eye gaze detection supporting device and eye gaze detection supporting method
WO2019084595A1 (en) System and method for improving signal to noise ratio in object tracking under poor light conditions
US10616561B2 (en) Method and apparatus for generating a 3-D image
TW201910161A (zh) 距離測量裝置、距離測量方法及程式
US11904869B2 (en) Monitoring system and non-transitory storage medium
CN108664881A (zh) 用于乘员感测的装置和方法
US10255687B2 (en) Distance measurement system applicable to different reflecting surfaces and operating method thereof
JP6322723B2 (ja) 撮像装置および車両
JP2016051312A (ja) 視線検出装置
US10102436B2 (en) Image processing device, warning device and method for processing image
JP5145194B2 (ja) 顔検出システム
KR20170075523A (ko) 차량용 주변 감시 장치 및 방법

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161109

R150 Certificate of patent or registration of utility model

Ref document number: 6042555

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250