JP7219041B2 - 注視検出装置及びその輻輳制御方法 - Google Patents

注視検出装置及びその輻輳制御方法 Download PDF

Info

Publication number
JP7219041B2
JP7219041B2 JP2018190216A JP2018190216A JP7219041B2 JP 7219041 B2 JP7219041 B2 JP 7219041B2 JP 2018190216 A JP2018190216 A JP 2018190216A JP 2018190216 A JP2018190216 A JP 2018190216A JP 7219041 B2 JP7219041 B2 JP 7219041B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
infrared light
camera
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018190216A
Other languages
English (en)
Other versions
JP2020059325A (ja
Inventor
弘之 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Original Assignee
Hyundai Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co filed Critical Hyundai Motor Co
Priority to JP2018190216A priority Critical patent/JP7219041B2/ja
Priority to KR1020190002552A priority patent/KR20200039525A/ko
Priority to US16/583,123 priority patent/US10901504B2/en
Priority to CN201910932719.1A priority patent/CN111006679A/zh
Publication of JP2020059325A publication Critical patent/JP2020059325A/ja
Application granted granted Critical
Publication of JP7219041B2 publication Critical patent/JP7219041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00—Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04—Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0442—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Description

本発明は、注視検出装置及びその輻輳制御方法に係り、より詳しくは、運転者が車載機器を注視したことを確実に検出できる注視検出装置及び複数の車載機器の赤外光の発光期間が重ならないよう制御できる輻輳制御方法に関する。
図６は、従来の運転席前方にモニターカメラが設置された例である。従来は、運転席の前方にモニタカメラ４８を設置し、撮像範囲４９内の運転者５０の顔を撮像し、瞳孔の動きをトレースして、運転者の視線がどこに向けられているか判定している。しかしながら、図７に示すように、車載機器が運転席の左右端にあるような場合、運転者５０の視線がどの車載機器を注視しているかを判定することは、瞳孔が必ずしも正面にはなく、判定が難しい場合があった。
例えば、右ハンドルの運転者が左右のドアミラーを見る時、右のドアミラーへの視線と、左のドアミラーへの視線は、平面視で約１４０の角度があり、１台のモニタカメラでは、視線の角度検出が困難な状況にあって、数台のカメラが必要となる。また、運転者が注視した車載装置の制御パネルを運転席正面の表示画面に表示し、運転者がタッチパネルで指示を出すなどが考えられるが、そのためには、各車載機器の制御パネルの機能をＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）の通信ラインで、表示画面の位置まで配線する必要がある。
車載機器の例として、室内灯は車の天井に設置され、点灯点滅のスイッチが備えられるが、運転者が操作するには、手の届きにくい位置にある。また、オーディオ機器は、操作パネルが運転席正面に備えられるが、音量のアップダウンには手を伸ばして操作する必要がある。冷暖房機器の操作パネルも運転席正面に備えられるが、温度を低くしたい場合など、手を伸ばして操作する必要がある。室内灯の点灯や点滅など簡単な操作は、運転者が座ったままで、手を使わずに指示できることが望まれる。
特開２０１０－１０５４１７号公報
本発明の目的は、運転者が車載機器を注視したことを確実に検出できる注視検出装置及びその輻輳制御方法を提供することにある。
本発明による注視検出装置は、赤外光を発光する赤外線ＬＥＤと、前記赤外線ＬＥＤの赤外光の反射光に基いて運転者の目を撮像する赤外線カメラと、前記赤外線カメラが撮像した目の画像に基づき、運転者が前記赤外線カメラを注視しているか否かを判定する注視判定部と、によって形成される注視検出装置が複数の車載機器のそれぞれに設けられ、前記車載機器は、運転者に対して赤外光を発光し、当該発光期間内に運転者を撮像し、撮像した情報に基づいて運転者が注視しているか否かを検出するように動作すると共に、前記複数の車載機器からの前記赤外光の発光期間が重ならないように、複数の車載機器が輻輳制御されることを特徴とする。
前記車載機器のそれぞれは、前記赤外線カメラのカメラＩＤと総台数とを記憶しており、前記輻輳制御は、前記カメラＩＤがゼロの車載機器が、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、前記赤外線カメラの総台数に応じた時間だけ前記発光を停止するよう制御し、カメラＩＤがゼロ以外の車載機器が、前記同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように制御することを特徴とする。
前記注視判定部が運転者の注視を検出した時、運転者の目の瞬きを検出する瞬き検出部がさらに設けられ、前記瞬き検出部が、検出した瞬きに応じて車載機器の動作を制御することを特徴とする。
前記車載機器が照明機器であり、運転者の右目と左目の瞬きに応じて、点灯と滅灯が行われることを特徴とする。
前記車載機器がオーディオ機器であり、運転者の右目と左目の瞬きに応じて、音量が調整されることを特徴とする。
前記車載機器が冷暖房機器であり、運転者の右目と左目の瞬きに応じて、室内温度が調整されることを特徴とする。
本発明による注視検出装置の輻輳制御方法は、赤外光を発光する赤外線ＬＥＤと、前記赤外線ＬＥＤの赤外光の反射光に基いて運転者の目を撮像する赤外線カメラと、前記赤外線カメラが撮像した目の画像に基づき、運転者が前記赤外線カメラを注視しているか否かを判定する注視判定部と、によって形成される注視検出装置が複数の車載機器のそれぞれに設けられており、前記注視検出装置を輻輳制御する方法であって、カメラＩＤがゼロの車載機器が、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、前記赤外線カメラの総台数に応じた時間だけ前記発光を停止するよう動作するステップと、カメラＩＤがゼロ以外の車載機器が、前記同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように動作するステップと、により、前記複数の車載機器の赤外光の発光時期が重ならないよう制御することを特徴とする。
本発明の注視検出装置によれば、
（１）複数の車載機器のそれぞれに注視検出装置を設け、注視検出装置の赤外線ＬＥＤと赤外線カメラで撮像した目の画像に基づき、運転者が発光した車載装置の赤外線カメラを注視しているか否か判定する注視判定部を設けたので、運転者の注視を確実に検出できる。各車載機器が運転者の左右方向に設置されていても、車載機器は、運転者の正面の画像で注視していることを検出でき、モニターカメラ１台で視線を検出する従来の方法に比較して、確実な検出ができる。
（２）複数の車載機器の赤外光の発光期間が重ならないよう輻輳制御を行なったので、車載機器の間で赤外光の発光が重なることはなく、撮像の際、他の車載機器の発光で過度な照明となることがない。
輻輳制御は、車載機器のそれぞれが赤外線カメラのカメラＩＤと総台数と、を記憶しており、カメラＩＤがゼロの車載機器は、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、赤外線カメラの総台数に応じた時間だけ発光を停止するよう動作し、カメラＩＤがゼロ以外の車載機器は、同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように動作するので、車載機器の間で赤外光の発光が重ならないようにできる。
瞬き検出部をさらに設け、瞬き検出部は、注視判定部が運転者の注視を検出した時、運転者の目の瞬きを検出し、検出した瞬きに応じて操作部が車載機器の動作を制御するようにしたので、目で車載機器の制御ができる。運転者の注視を確認した上での制御なので、誤って動作させることがないようにできる。
運転者の右目と左目の瞬きで、室内灯の点灯と滅灯を行うので、ハンドルから手を離す必要がなく、指示が容易に出せる。
運転者の右目と左目の瞬きで、オーディオ機器の音量の調整を行うので、ハンドルから手を離す必要がなく、指示が容易に出せる。
運転者の右目と左目の瞬きで、冷暖房機器の温度を調節するので、ハンドルから手を離す必要がなく、指示が容易に出せる。
本発明の注視検出装置の輻輳制御方法によれば、カメラＩＤがゼロの車載機器は、同期信号を発光した後、撮像のための赤外光を所定の時間発光し、その後、赤外線カメラの総台数に応じた時間だけ発光を停止するよう動作するステップと、カメラＩＤがゼロ以外の車載機器は、同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように動作するステップと、を備えたので、車載機器の間で赤外光の発光が重ならないようにできる。
本発明による注視検出装置を搭載した車載機器が複数設置される例である。 注視検出装置の構成を示す図である。 運転者が車載機器の赤外線カメラを注視している画像と、注視していない画像の例を示す図である。 車室内の異なる位置に配置された車載機器の例である。 各車載機器の赤外光の発光期間と発光停止期間を示す図である。 従来の運転席前方にモニターカメラが設置された例である。 従来のモニターカメラが撮像した画像の例である。
以下、添付の図面を参照して、本発明の注視検出装置及び注視検出装置の輻輳制御方法を説明する。
図１は、本発明による注視検出装置１０を搭載した車載機器１００が複数設置される例である。車載機器１００は、車載機器Ａ、車載機器Ｂ、車載機器Ｃで示す。ここでは車載機器Ａ～Ｃの３台としたが、台数はこれに限るものではない。具体例としては、車載機器Ａが室内灯で、車載機器Ｂがオーディオ機器で、車載機器Ｃが冷暖房機器とすることができる。各車載機器には、赤外線ＬＥＤ１、赤外線カメラ２を含む注視検出装置１０が搭載される。すなわち、車載機器１００に赤外線カメラ２を搭載し、運転者が車載機器１００の赤外線カメラ２を注視していることを、撮像した画像から検出する。
図２は、注視検出装置１０と車載機器１００の関係を示す図である。注視検出装置１０は、赤外線ＬＥＤ１、赤外線カメラ２、注視判定部３、制御部５、同期信号検出部１１、発光制御部１２、及び瞬き検出部４を備える。車載機器１００は、機器本体（図示は省略）の制御を行なう操作部１３を備える。赤外線ＬＥＤ１から赤外光が発光されると、運転者５０の目の網膜に反射して、撮像される。目を赤外線カメラ２で撮像し、画像処理により瞳孔の位置を把握できる。運転者５０が赤外線カメラを注視しているか否かを判定する注視判定部３を備える。網膜で反射して光って撮像されるので、車載機器１００を注視しているか否かが容易に判定できる。また、瞬き検出部４では、運転者の目の状態、特に瞼の動きを検出する。操作部１３は、運転者５０の瞼の動きから、車載機器１００の操作が指示されたとして車載機器１００の対象部位を操作する。発光制御部１２は、制御部５の制御で、タイマーで所定時間の発光を行なう。赤外光の発光は、各車載機器で同時に発光することがないように同期信号検出部１１で同期され、所定の時間経過後に発光される。
図３は、運転者５０が車載機器１００の赤外線カメラ２を注視している画像と、注視していない画像の例を示す図である。「ＯＮ」は、運転者の顔の画像から目が赤外線カメラ２を注視している場合で、「ＯＦＦ」は、目が赤外線カメラ２を注視していない場合を示す。
図４は、車室内に搭載される車載機器１００の例である。白の四角形が赤外線カメラ２の位置とする。次のような操作ができる。左サイドドアミラー２１と、右サイドドアミラー２２は、サイドミラーの角度の調整を行なう。冷暖房機器２４は、室内温度のアップやダウンを行なう。オーディオ機器２３は、音量のアップやダウンを行なう。バックミラー２５は、角度調節を行なう。室内灯２６は、室内灯の点灯や滅灯を行なう。メーター表示輝度２７は、メーターの表示輝度を上げるもので、通常は輝度が低く省エネにできる。ステアリングスイッチの照明輝度２８は、輝度制御を行なう。窓の開閉ボタン２９は、窓の昇降または下降を行なう。自動運転ボタン３０は、自動運転開始と終了を行なう。なお、メータフードの上に設けた監視カメラ３１は、運転者の監視を行ない、運転中に数秒間のわき見運転をしていることを検出した場合、警告を出す。室内灯の点灯や滅灯、オーディオ機器の音量のアップやダウン、冷暖房機器２の温度調整は、頻繁に使用するので、目の瞬きで調整する対象として好適である。例として、右目の瞬きでアップ、左目の瞬きでダウンの指示とすることができる。目で指示を出せるので、通信線が不要である。
図５は、各車載機器の赤外光の発光期間と発光停止期間を示す図である。縦軸は、車載機器Ａ、車載機器Ｂ及び車載機器Ｃの３つとした。横軸は時間である。車載機器Ａ～Ｃには、注視検出装置１０が搭載される。車載機器Ａ～Ｃは、赤外光の発光と、発光停止を繰り返す。図５に示すように、車載機器Ａの発光期間８ａと、車載機器Ｂの発光期間８ｂと、車載機器Ｃの発光期間８ｃは互いに重ならないように制御される。ここで車載機器Ａが親であり、同期制御を行なう制御権を有しているとする。同期信号６は、１０ビットの信号からなる。１ビットは８００μｓとする。１０ビットでは８ｍｓ（＝８００μｓ×１０）となる。発光期間８を２０ｍｓとすると、車載機器Ａ～Ｃの発光が一巡する時間は約６８ｍｓ（＝２０ｍｓ×３＋８ｍｓ）となる。発光した時、発光した車載装置の赤外線カメラ２で運転者５０の顔を撮像するので、各車載機器は６８ｍｓに１回の間隔で運転者の顔を観察するものとなる。
図５に示すように、同期信号６は、先頭６ビットがヘッダーで、所定のビットパターンからなる。次の３ビットがカメラＩＤのコードの例で、０００～１１１までの８つを使用できる。車載機器の台数に応じて、カメラＩＤのビット数を増やすことができる。ここでは車載機器ＡのカメラＩＤが０００、車載機器ＢのカメラＩＤが００１、車載機器ＣのカメラＩＤが０１０とする。カメラＩＤが０００の車載機器Ａが、親であり同期制御を行なうとする。次の１ビットが停止ビットで同期信号の終了を示す。車載機器Ａ～Ｃは、不揮発性のメモリに、自分のカメラＩＤのコードと、車両内に設置される赤外線カメラ２の総台数を記憶している。総台数は、車載機器が３台の場合、２（全台数－１）として記憶される。
図５に示すように、同期信号６は、車載機器Ａから赤外光で発光される。車載機器Ｂ、Ｃは、図２の同期信号検出部１１で同期信号６を検出する。車載機器Ｂは、同期信号６を検出すると、２０ｍｓ間だけ赤外光の発光を停止する。これを図５の発光停止期間９ｂで示す。その後、２０ｍｓ間の発光を行なう。車載機器Ｃは、同期信号６を検出すると、４０ｍｓ間だけ赤外光の発光を停止する。これを図５の発光停止期間９ｃで示す。その後２０ｍｓ間の発光を行なう。車載機器Ａは、同期信号６を発光後、２０ｍｓ間だけ発光し、その後の４０ｍｓは赤外光の発光を停止する。発光停止の全時間は、メモリに記憶している総台数に基づき制御する。これを図５の発光停止期間９ａで示す。その後、再び、同期信号６を発光する。これによれば、赤外光の発光が、車載機器Ａ～Ｃで重なることがない。２０ｍｓの発光は、運転者の目を撮像し露光時間も十分にとれる。
１つの車載機器１００は、この場合、６８ｍｓに１回の間隔で運転者の顔を観察できるので、瞼の動きも検出できる。瞬き（ウィンク）は極めて短い時間で行なわれるが、運転者がその車載機器を注視した時、瞼の開閉を観察することで、瞬きを検出できる。操作の種類を増やすには、例えば、手のジェスチャーを加えてもよい。
本発明は、運転者が車載機器を注視したことを確実に検出できる注視検出装置あるいは注視検出装置の輻輳制御方法として好適である。
１ 赤外線ＬＥＤ
２ 赤外線カメラ
３ 注視判定部
４ 瞬き検出部
５ 制御部
６ 同期信号
７ 同期信号の送信
８ 発光期間
８ａ 車載機器Ａの発光期間
８ｂ 車載機器Ｂの発光期間
８ｃ 車載機器Ｃの発光期間
９ 発光停止期間
９ａ 車載機器Ａの発光停止期間
９ｂ 車載機器Ｂの発光停止期間
９ｃ 車載機器Ｃの発光停止期間
１０ 注視検出装置
１１ 同期信号検出部
１２ 発光制御部
１３ 操作部
２１ 左サイドドアミラー
２２ 右サイドドアミラー
２３ オーディオ機器
２４ 冷暖房機器
２５ バックミラー
２６ 室内灯
２７ メーター表示輝度
２８ ステアリングスイッチの照明輝度
２９ 窓の開閉ボタン
３０ 自動運転ボタン
３１ ハンドル高さ調整
４７ 視線の方向
４８ モニターカメラ
４９ 撮像範囲
５０ 運転者
１００ 車載機器
Ａ～Ｃ 車載機器

Claims (6)

  1. 赤外光を発光する赤外線ＬＥＤと、前記赤外線ＬＥＤの赤外光の反射光に基いて運転者の目を撮像する赤外線カメラと、前記赤外線カメラが撮像した目の画像に基づき、運転者が前記赤外線カメラを注視しているか否かを判定する注視判定部と、によって形成される注視検出装置が複数の車載機器のそれぞれに設けられ、
    前記車載機器は、運転者に対して赤外光を発光し、当該発光期間内に運転者を撮像し、撮像した情報に基づいて運転者が注視しているか否かを検出するように動作すると共に、前記複数の車載機器からの前記赤外光の発光期間が重ならないように、複数の車載機器が輻輳制御され、
    前記注視判定部が運転者の注視を検出した時、運転者の目の瞬きを検出する瞬き検出部が設けられ、前記瞬き検出部が、検出した瞬きに応じて車載機器の動作を制御することを特徴とする注視検出装置。
  2. 前記車載機器のそれぞれは、前記赤外線カメラのカメラＩＤと総台数とを記憶しており、
    前記輻輳制御は、
    前記カメラＩＤがゼロの車載機器が、同期信号を前記赤外線ＬＥＤから赤外光で発光した後、撮像のための赤外光を所定の時間発光し、その後、前記赤外線カメラの総台数に応じた時間だけ前記発光を停止するよう制御し、
    カメラＩＤがゼロ以外の車載機器が、前記同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように制御することを特徴とする請求項１に記載の注視検出装置。
  3. 前記車載機器が照明機器であり、運転者の右目と左目の瞬きに応じて、点灯と滅灯が行われることを特徴とする請求項１に記載の注視検出装置。
  4. 前記車載機器がオーディオ機器であり、運転者の右目と左目の瞬きに応じて、音量が調整されることを特徴とする請求項１に記載の注視検出装置。
  5. 前記車載機器が冷暖房機器であり、運転者の右目と左目の瞬きに応じて、室内温度が調整されることを特徴とする請求項１に記載の注視検出装置。
  6. 請求項１に記載の注視検出装置を輻輳制御する方法であって、
    カメラＩＤがゼロの車載機器が、同期信号を前記赤外線ＬＥＤから赤外光で発光した後、撮像のための赤外光を所定の時間発光し、その後、前記赤外線カメラの総台数に応じた時間だけ前記発光を停止するよう制御するステップと、
    カメラＩＤがゼロ以外の車載機器が、前記同期信号の受信後、そのカメラＩＤに応じた時間だけ赤外光の発光を停止した後、赤外光を所定の時間発光するように制御するステップと、により、
    前記複数の車載機器の赤外光の発光時期が重ならないよう制御することを特徴とする注視検出装置の輻輳制御方法。
JP2018190216A 2018-10-05 2018-10-05 注視検出装置及びその輻輳制御方法 Active JP7219041B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018190216A JP7219041B2 (ja) 2018-10-05 2018-10-05 注視検出装置及びその輻輳制御方法
KR1020190002552A KR20200039525A (ko) 2018-10-05 2019-01-09 주시 검출 장치 및 그 폭주 제어 방법
US16/583,123 US10901504B2 (en) 2018-10-05 2019-09-25 Gaze detection apparatus and congestion control method thereof
CN201910932719.1A CN111006679A (zh) 2018-10-05 2019-09-29 注视检测装置及其拥塞控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018190216A JP7219041B2 (ja) 2018-10-05 2018-10-05 注視検出装置及びその輻輳制御方法

Publications (2)

Publication Number Publication Date
JP2020059325A JP2020059325A (ja) 2020-04-16
JP7219041B2 true JP7219041B2 (ja) 2023-02-07

Family

ID=70052022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018190216A Active JP7219041B2 (ja) 2018-10-05 2018-10-05 注視検出装置及びその輻輳制御方法

Country Status (4)

Country Link
US (1) US10901504B2 (ja)
JP (1) JP7219041B2 (ja)
KR (1) KR20200039525A (ja)
CN (1) CN111006679A (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11407309B2 (en) * 2019-07-01 2022-08-09 Lg Electronics Inc. Vehicle controlling apparatus and vehicle having the same
RU2738070C1 (ru) * 2020-05-13 2020-12-07 Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен") Устройство определения координат линии взора наблюдателя в режиме реального времени
CN114523886B (zh) * 2020-10-30 2023-03-24 上海汽车集团股份有限公司 一种车内交互控制方法及系统
USD979160S1 (en) * 2021-03-15 2023-02-21 Andrew J. Rooney Pet harness
DE102021202704A1 (de) 2021-03-19 2022-09-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen eines Blickzuwendungsbereichs einer Person und Fahrzeug
EP4141803A1 (en) * 2021-08-23 2023-03-01 HELLA GmbH & Co. KGaA System for illuminating the face of an occupant in a car
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质
WO2023145040A1 (ja) * 2022-01-31 2023-08-03 三菱電機株式会社 物体検知装置、車両及び物体検知方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046276A1 (ja) 2010-10-06 2012-04-12 三菱電機株式会社 Ａｖシステム
JP2013149257A (ja) 2012-01-20 2013-08-01 Visteon Global Technologies Inc 適応インターフェースシステム
JP2015125783A (ja) 2013-12-26 2015-07-06 ビステオン グローバル テクノロジーズ インコーポレイテッド 注視追跡のためのシステムおよび方法
US20160196098A1 (en) 2015-01-02 2016-07-07 Harman Becker Automotive Systems Gmbh Method and system for controlling a human-machine interface having at least two displays
JP2018503899A (ja) 2014-12-12 2018-02-08 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 発光ユニットの同期作動によって自動車の乗員のジェスチャおよび／または視線方向を認識するための取込装置、操作装置、自動車、ならびに方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05270296A (ja) * 1992-03-23 1993-10-19 Nissan Motor Co Ltd 車両用操作装置
KR19990021540A (ko) 1997-08-30 1999-03-25 윤종용 눈의 시선각도를 이용한 입력장치
US10039445B1 (en) * 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP5206314B2 (ja) 2008-10-28 2013-06-12 三菱自動車工業株式会社 車載用電子機器
JP5177102B2 (ja) 2009-09-18 2013-04-03 三菱自動車工業株式会社 運転支援装置
KR20120074820A (ko) 2010-12-28 2012-07-06 대성전기공업 주식회사 얼굴 인식 기능을 이용한 차량 제어 시스템
US9081915B2 (en) * 2011-07-29 2015-07-14 Airbus Engineering Centre India Modal assurance criterion for comparing two mode shapes of a multi-component structure
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
KR101556632B1 (ko) 2013-07-12 2015-10-01 유테크존 컴퍼니 리미티드 차량 내에서의 눈 제어 방법 및 이를 수행하는 전자 장치
KR101648246B1 (ko) 2013-11-11 2016-08-12 멀티펠스 주식회사 차량용 카메라 영상 자동 전환 시스템
WO2015125243A1 (ja) * 2014-02-19 2015-08-27 三菱電機株式会社 表示制御装置、表示制御装置の表示制御方法、視線方向検出システムおよび視線方向検出システムのキャリブレーション制御方法
US10572008B2 (en) * 2014-02-21 2020-02-25 Tobii Ab Apparatus and method for robust eye/gaze tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046276A1 (ja) 2010-10-06 2012-04-12 三菱電機株式会社 Ａｖシステム
JP2013149257A (ja) 2012-01-20 2013-08-01 Visteon Global Technologies Inc 適応インターフェースシステム
JP2015125783A (ja) 2013-12-26 2015-07-06 ビステオン グローバル テクノロジーズ インコーポレイテッド 注視追跡のためのシステムおよび方法
JP2018503899A (ja) 2014-12-12 2018-02-08 ヴァレオ・シャルター・ウント・ゼンゾーレン・ゲーエムベーハー 発光ユニットの同期作動によって自動車の乗員のジェスチャおよび／または視線方向を認識するための取込装置、操作装置、自動車、ならびに方法
US20160196098A1 (en) 2015-01-02 2016-07-07 Harman Becker Automotive Systems Gmbh Method and system for controlling a human-machine interface having at least two displays

Also Published As

Publication number Publication date
KR20200039525A (ko) 2020-04-16
JP2020059325A (ja) 2020-04-16
US20200110463A1 (en) 2020-04-09
CN111006679A (zh) 2020-04-14
US10901504B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
JP7219041B2 (ja) 注視検出装置及びその輻輳制御方法
JP4497305B2 (ja) 運転者状態判定装置
WO2018055774A1 (ja) 車両監視システム、管理装置、及び監視方法
CN109305105A (zh) 一种a柱盲区监测装置、车辆及方法
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
CN105704886B (zh) 使用可佩戴眼镜的车辆照明控制系统和用于该系统的方法
JP2006151287A (ja) 車両用照明装置
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
CN111216620B (zh) 车灯控制方法、装置及车辆
JP2010208540A (ja) 制御装置および方法、並びにプログラム
JPH105178A (ja) 視線入力装置
JP2006021591A (ja) 照明制御システム
JPH0374231A (ja) 車輌用照明装置
US11810372B2 (en) Multiple in-cabin cameras and lighting sources for driver monitoring
JP2010012995A (ja) 照明装置
EP2709356B1 (en) Method for operating a front camera of a motor vehicle considering the light of the headlight, corresponding device and motor vehicle
JP6233737B2 (ja) 動体検知装置及び制御システム
JPH08159733A (ja) 車両用視線方向計測装置
JP6912757B2 (ja) 車両の前照灯制御装置
JP2013211057A (ja) 制御装置および方法、並びにプログラム
JP6408807B2 (ja) 車両用表示装置
WO2021251373A1 (ja) 運転モード切替通知システム
KR101694785B1 (ko) 졸음 운전 방지 시스템
JP2014059684A (ja) 状態監視装置
WO2016110777A1 (en) Dashboard with a display unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230126

R150 Certificate of patent or registration of utility model

Ref document number: 7219041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150