KR20200039525A - 주시 검출 장치 및 그 폭주 제어 방법 - Google Patents

주시 검출 장치 및 그 폭주 제어 방법 Download PDF

Info

Publication number
KR20200039525A
KR20200039525A KR1020190002552A KR20190002552A KR20200039525A KR 20200039525 A KR20200039525 A KR 20200039525A KR 1020190002552 A KR1020190002552 A KR 1020190002552A KR 20190002552 A KR20190002552 A KR 20190002552A KR 20200039525 A KR20200039525 A KR 20200039525A
Authority
KR
South Korea
Prior art keywords
infrared
vehicle
driver
camera
light
Prior art date
Application number
KR1020190002552A
Other languages
English (en)
Inventor
히로유키 카와무라
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Publication of KR20200039525A publication Critical patent/KR20200039525A/ko

Links

Images

Classifications

    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3492—Special cost functions, i.e. other than distance or default speed limit of road segments employing speed data or traffic data, e.g. real-time or historical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
    • F21V23/00—Arrangement of electric circuit elements in or on lighting devices
    • F21V23/04—Arrangement of electric circuit elements in or on lighting devices the elements being switches
    • F21V23/0442—Arrangement of electric circuit elements in or on lighting devices the elements being switches activated by means of a sensor, e.g. motion or photodetectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3623—Destination input or retrieval using a camera or code reader, e.g. for optical or magnetic codes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3691—Retrieval, searching and output of information related to real-time traffic, weather, or environmental conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G06K9/00604—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Environmental Sciences (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

운전자가 각 차량 탑재 기기를 주시한 것을 확실하게 검출할 수 있는 주시 검출 장치 및 그 폭주 제어 방법을 제공한다.
본 발명의 주시 검출 장치는, 적외광을 발광하는 적외선 LED와, 상기 적외선 LED에서 방출된 적외광의 반사광에 근거하여 운전자의 눈을 촬영하는 적외선 카메라와, 상기 적외선 카메라가 촬영한 눈의 영상에 근거하여 운전자가 적외선 카메라를 주시하고 있는지 아닌지를 판정하는 주시 판정부를 포함하고, 상기 주시 판정부의 구성요소 중에 적어도 적외선 LED와 적외선 카메라가 복수의 차량 탑재 기기의 각각에 설치되며, 상기 각 차량 탑재 기기에서 운전자에 대해 적외광을 발광하고, 해당 발광 기간 내에 운전자를 촬영하며, 촬영한 정보에 근거하여 운전자가 주시하고 있는지 아닌지를 검출하도록 동작하고, 상기 복수의 차량 탑재 기기로부터 방출되는 적외광의 발광 기간이 겹치지 않게 복수의 차량 탑재 기기가 폭주 제어될 수 있도록 구성된다.

Description

주시 검출 장치 및 그 폭주 제어 방법{Gaze detection apparatus and congestion control method thereof}
본 발명은 주시 검출(注視檢出) 장치 및 주시 검출 장치의 폭주(輻輳) 제어 방법에 관한 것으로, 더욱 상세하게는 운전자가 차량 탑재 기기를 주시한 것을 확실하게 검출할 수 있는 주시 검출 장치, 및 복수의 차량 탑재 기기의 적외광 발광 기간이 서로 겹치지 않게 제어할 수 있는 폭주 제어 방법에 관한 것이다.
도 6은 종래기술에서 운전석 전방에 모니터 카메라가 설치된 예이다. 종래에는 운전석 전방에 모니터 카메라(48)를 설치하고, 촬영 범위(49) 내의 운전자(50) 얼굴을 촬영하여 눈의 동공 움직임을 추적(trace)함으로써 운전자 시선이 어디로 향해 있는지를 판정한다. 그러나, 도 7에 도시한 바와 같이, 차량 탑재 기기가 운전석 좌측 또는 우측에 있는 것과 같은 경우, 운전자(50)의 시선이 어느 차량 탑재 기기를 주시하고 있는지를 판정함에 있어 운전자 눈의 동공이 반드시 정면에 있는 것이 아니므로 판정에 어려움이 있을 수 있다.
예를 들면, 오른쪽 핸들의 운전자가 좌우의 도어 미러를 볼 때, 오른쪽 도어 미러를 향한 시선과 왼쪽 도어 미러를 향한 시선은 평면에서 보았을 때 약 140도의 각도가 있고, 1대의 모니터 카메라에서는 시선의 각도 검출이 곤란한 상황이므로 수 대의 카메라가 필요하다. 또한, 운전자가 주시한 차량 탑재 기기의 제어 패널을 운전석 정면의 표시 화면에 표시하고, 운전자가 터치 패널로 지시를 내리는 등의 방법을 생각할 수 있지만, 그러기 위해서는 각 차량 탑재 기기의 제어 패널의 기능을 CAN(Controller Area Network)의 통신 라인으로 표시 화면의 위치까지 배선할 필요가 있다.
차량 탑재 기기의 예로서, 실내등이 차량의 천장(roof)에 설치되고, 이때 점등 및 소등을 위한 스위치를 구비할 수 있지만, 이 스위치는 운전자가 조작하려면 손이 닿기 어려운 위치에 있다. 또한, 오디오 기기는 조작 패널을 운전석 정면에 구비할 수 있지만, 음량의 업(up), 다운(down)을 위해서는 손을 뻗어 조작할 필요가 있다. 냉난방 기기의 조작 패널도 운전석 정면에 구비할 수 있지만, 온도를 낮게 하고 싶은 경우 등에서 손을 뻗어 조작할 필요가 있다. 실내등의 점등이나 소등 등의 간단한 조작은 운전자가 앉은 채로 손을 사용하지 않고 지시할 수 있는 것이 바람직하다.
(특허 문헌 1) 일본국 공개 특허 2010－105417호 공보
본 발명의 목적은 운전자가 차량 탑재 기기를 주시한 것을 확실하게 검출할 수 있는 주시 검출 장치 및 그 폭주 제어 방법을 제공하는 것에 있다.
본 발명의 실시예에 따른 주시 검출(注視檢出) 장치는, 적외광을 발광하는 적외선 LED와, 상기 적외선 LED에서 방출된 적외광의 반사광에 근거하여 운전자의 눈을 촬영하는 적외선 카메라와, 상기 적외선 카메라가 촬영한 눈의 영상에 근거하여 운전자가 적외선 카메라를 주시하고 있는지 아닌지를 판정하는 주시 판정부를 포함하고, 상기 주시 판정부의 구성요소 중에 적어도 적외선 LED와 적외선 카메라가 복수의 차량 탑재 기기의 각각에 설치되며, 상기 각 차량 탑재 기기에서 운전자에 대해 적외광을 발광하고, 해당 발광 기간 내에 운전자를 촬영하며, 촬영한 정보에 근거하여 운전자가 주시하고 있는지 아닌지를 검출하도록 동작하고, 상기 복수의 차량 탑재 기기로부터 방출되는 적외광의 발광 기간이 겹치지 않게 복수의 차량 탑재 기기가 폭주 제어될 수 있도록 구성된 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 주시 검출 장치에서, 상기 차량 탑재 기기의 각각은 상기 적외선 카메라의 카메라 ID와 총 대수를 기억하고 있고, 상기 폭주 제어는, 카메라 ID가 제로인 차량 탑재 기기가, 동기 신호를 발광한 후, 촬영을 위한 적외광을 소정 시간 동안 발광하고, 그 후 상기 적외선 카메라의 총 대수에 상응하는 시간만큼 상기 발광을 정지하도록 제어하고, 상기 카메라 ID가 제로인 것 이외의 차량 탑재 기기가, 상기 동기 신호의 수신 후, 그 카메라 ID에 상응하는 시간만큼 적외광의 발광을 정지하고, 그 후 적외광을 소정 시간 동안 발광하도록 제어하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 주시 검출 장치는 상기 주시 판정부가 운전자 주시를 검출했을 때 운전자 눈의 깜박임을 검출하는 깜박임 검출부를 더 포함하고, 상기 깜박임 검출부가 검출한 깜박임에 대응하여 차량 탑재 기기의 동작을 제어하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 주시 검출 장치에서, 상기 차량 탑재 기기가 조명 기기이며, 운전자의 오른쪽 눈과 왼쪽 눈의 깜박임에 대응하여 점등과 소등을 수행하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 주시 검출 장치에서, 상기 차량 탑재 기기가 오디오 기기이며, 운전자의 오른쪽 눈과 왼쪽 눈의 깜박임에 대응하여 음량이 조정되는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 주시 검출 장치에서, 상기 차량 탑재 기기가 냉난방 기기이며, 운전자의 오른쪽 눈과 왼쪽 눈의 깜박임에 대응하여 실내 온도가 조정되는 것을 특징으로 한다.
그리고, 본 발명의 실시예에 따른 주시 검출 장치의 폭주 제어 방법은, 적외광을 발광하는 적외선 LED와, 상기 적외선 LED에서 방출된 적외광의 반사광에 근거하여 운전자의 눈을 촬영하는 적외선 카메라와, 상기 적외선 카메라가 촬영한 눈의 영상에 근거하여 운전자가 적외선 카메라를 주시하고 있는지 아닌지를 판정하는 주시 판정부를 포함하는 주시 검출 장치의 구성요소 중에 적어도 적외선 LED와 적외선 카메라가 복수의 차량 탑재 기기의 각각에 설치되어 있을 때, 상기 주시 검출 장치를 폭주 제어하는 방법으로서, 카메라 ID가 제로인 차량 탑재 기기가, 동기 신호를 발광한 후, 촬영을 위한 적외광을 소정 시간 동안 발광하고, 그 후 상기 적외선 카메라의 총 대수에 상응하는 시간만큼 상기 발광을 정지하도록 제어하는 단계와, 카메라 ID가 제로인 것 이외의 차량 탑재 기기가, 상기 동기 신호의 수신 후, 그 카메라 ID에 상응하는 시간만큼 적외광의 발광을 정지하고, 그 후 적외광을 소정 시간 동안 발광하도록 제어하는 단계에 의해, 상기 복수의 차량 탑재 기기의 적외광 발광 시기가 겹치지 않게 제어하는 것을 특징으로 한다.
본 발명의 주시 검출 장치에 의하면,
(1) 복수의 차량 탑재 기기의 각각에 주시 검출 장치를 구비하고, 주시 검출 장치의 적외선 LED와 적외선 카메라로 촬영한 눈의 영상에 근거하여, 운전자가 발광한 차량 탑재 기기의 적외선 카메라를 주시하고 있는지 아닌지 판정하는 주시 판정부를 구비하므로, 운전자의 주시를 확실하게 검출할 수 있다. 각 차량 탑재 기기가 운전자의 좌우 방향에 설치되어 있어도, 차량 탑재 기기는 운전자 정면의 영상에서 주시하고 있는 것을 검출할 수 있고, 모니터 카메라 1대로 시선을 검출하는 종래의 방법과 비교하여 확실한 검출을 할 수 있다.
(2) 복수의 차량 탑재 기기의 적외광의 발광 기간이 겹치지 않게 폭주 제어를 수행하므로 차량 탑재 기기 사이에서 적외광의 발광이 겹치지 않도록 할 수 있고, 촬영시 다른 차량 탑재 기기의 발광으로 과도한 조명이 되는 일이 없다.
폭주 제어는 차량 탑재 기기 각각이 적외선 카메라의 카메라 ID와 총 대수를 기억하고 있고, 카메라 ID가 제로인 차량 탑재 기기는, 동기 신호를 발광한 후, 촬영을 위한 적외광을 소정 시간 발광하고, 그 후 적외선 카메라의 총 대수에 상응하는 시간만큼 발광을 정지하도록 동작하는 한편, 카메라 ID가 제로인 것 이외의 차량 탑재 기기가, 동기 신호의 수신 후, 그 카메라 ID에 상응하는 시간만큼 적외광의 발광을 정지한 후, 적외광을 소정 시간 발광하도록 동작하므로, 차량 탑재 기기 사이에서 적외광의 발광이 겹치지 않게 할 수 있다.
깜박임 검출부를 더 구비하고, 깜박임 검출부는 주시 판정부가 운전자의 주시를 검출했을 때, 운전자의 눈의 깜박임을 검출하고, 검출한 깜박임에 대응하여 조작부가 차량 탑재 기기의 동작을 제어하도록 하므로, 눈으로 차량 탑재 기기의 제어를 할 수 있다. 운전자의 주시를 확인한 후의 제어이므로 오인하여 동작시키는 일이 없게 할 수 있다.
운전자의 오른쪽 눈과 왼쪽 눈의 깜박임으로 실내등의 점등과 소등을 수행하므로, 핸들로부터 손을 떼어 놓을 필요가 없고, 지시를 용이하게 내릴 수 있다.
운전자의 오른쪽 눈과 왼쪽 눈의 깜박임으로, 오디오 기기의 음량 조정을 수행하므로, 핸들로부터 손을 떼어 놓을 필요가 없고, 지시를 용이하게 내릴 수 있다.
운전자의 오른쪽 눈과 왼쪽 눈의 깜박임으로, 냉난방 기기의 온도를 조절하므로, 핸들로부터 손을 떼어 놓을 필요가 없고, 지시를 용이하게 내릴 수 있다.
본 발명의 주시 검출 장치의 폭주 제어 방법에 의하면, 카메라 ID가 제로인 차량 탑재 기기가, 동기 신호를 발광한 후, 촬영을 위한 적외광을 소정 시간 발광하고, 그 후 적외선 카메라의 총 대수에 상응하는 시간만큼 발광을 정지하도록 동작하는 단계와, 카메라 ID가 제로 이외의 차량 탑재 기기가, 동기 신호의 수신 후, 그 카메라 ID에 상응하는 시간만큼 적외광의 발광을 정지한 후, 적외광을 소정 시간 발광하도록 동작하는 단계를 구비하므로, 차량 탑재 기기의 사이에서 적외광의 발광이 겹치지 않게 할 수 있다.
도 1은 본 발명에 의한 주시 검출 장치를 탑재한 차량 탑재 기기가 복수 설치되는 예이다.
도 2는 주시 검출 장치의 구성을 나타내는 도면이다.
도 3은 운전자가 차량 탑재 기기의 적외선 카메라를 주시하고 있는 영상과, 주시하고 있지 않은 영상의 예를 나타내는 도면이다.
도 4는 차 실내의 다른 위치에 배치된 차량 탑재 기기의 예이다.
도 5는 각 차량 탑재 기기의 적외광의 발광 기간과 발광 정지 기간을 나타내는 도면이다.
도 6은 종래의 운전석 전방으로 모니터 카메라가 설치된 예이다.
도 7은 종래의 모니터 카메라가 촬영한 영상의 예이다.
이하, 첨부한 도면을 참조하여, 본 발명의 주시 검출 장치 및 주시 검출 장치의 폭주 제어 방법을 설명한다.
(실시예)
도 1은 본 발명의 실시예에 따른 주시 검출 장치(10)를 탑재한 차량 탑재 기기(100)가 복수로 설치되는 예이다. 도면에서 차량 탑재 기기(100)를 차량 탑재 기기 A, 차량 탑재 기기 B, 차량 탑재 기기 C로 표시한다. 여기서, 차량 탑재 기기 A~C, 즉 3대의 차량 탑재 기기를 이용하는 예를 들었지만, 차량 탑재 기기의 대수가 이것에 의해 한정되는 것은 아니다. 구체적인 예로서, 차량 탑재 기기 A를 실내등으로, 차량 탑재 기기 B를 오디오 기기로, 차량 탑재 기기 C를 냉난방 기기로 할 수 있다. 각 차량 탑재 기기에는 적외선 LED(1) 및 적외선 카메라(2)를 포함하는 주시 검출 장치(10)가 탑재된다. 즉, 차량 탑재 기기(100)에 적외선 카메라(2)를 탑재하고, 운전자가 차량 탑재 기기(100)의 적외선 카메라(2)를 주시하고 있는 것을, 상기 적외선 카메라(2)를 이용하여 촬영한 영상으로부터 검출한다.
도 2는 주시 검출 장치(10)와 차량 탑재 기기(100)의 관계를 나타내는 도면이다. 주시 검출 장치(10)는 적외선 LED(1), 적외선 카메라(2), 주시 판정부(3), 제어부(5), 동기 신호 검출부(11), 발광 제어부(12), 및 깜박임 검출부(4)를 포함한다. 또한, 차량 탑재 기기(100)는 기기 본체(도시는 생략)의 제어를 수행하기 위한 조작부(13)를 구비한다. 적외선 LED(1)로부터 적외광이 방출되면, 방출된 적외광이 운전자(50) 눈의 망막에서 반사됨으로써 적외선 카메라(2)에 의해 촬영된다. 이와 같이 눈을 적외선 카메라(2)로 촬영하고, 영상 처리에 의해 눈의 동공 위치를 파악할 수 있다. 또한, 주시 검출 장치(10)는 운전자(50)가 적외선 카메라(2)를 주시하고 있는지 아닌지를 판정하는 주시 판정부(3)를 포함한다. 적외선 LED(1)에서 방출된 적외광이 운전자(50) 눈의 망막에서 반사되어 비침으로써 촬영되므로, 차량 탑재 기기(100)를 주시하고 있는지 아닌지를 용이하게 판정할 수 있다. 또한, 깜박임 검출부(4)에서는 운전자의 눈 상태, 특히 눈꺼풀의 움직임을 검출한다. 조작부(13)는 운전자(50)의 눈꺼풀 움직임으로부터 차량 탑재 기기(100)의 조작이 지시된 것으로 판단하여 차량 탑재 기기(100)의 대상 부위를 조작한다. 발광 제어부(12)는 제어부(5)에 의해 제어됨에 따라 타이머에서 소정 시간 동안 발광을 행한다. 적외광의 발광은 각 차량 탑재 기기에서 동시에 발광하지 않게 동기 신호 검출부(11)에서 동기되고, 소정 시간 경과 후에 발광된다.
도 3은 운전자(50)가 차량 탑재 기기(100)의 적외선 카메라(2)를 주시하고 있는 영상과, 주시하고 있지 않은 영상의 예를 나타내는 도면이다. 「ON」은 운전자의 얼굴의 영상으로부터 눈이 적외선 카메라(2)를 주시하고 있는 경우이며, 「OFF」는 눈이 적외선 카메라(2)를 주시하고 있지 않은 경우를 나타낸다.
도 4는 차량 실내에 탑재되는 차량 탑재 기기(100)의 예이다. 흰색의 사각형이 적외선 카메라(2)의 위치가 된다. 다음과 같은 조작을 할 수 있다. 왼쪽 사이드 도어 미러(21)와, 오른쪽 사이드 도어 미러(22)는 미러의 각도 조절을 수행할 수 있다. 냉난방 기기(24)는 실내 온도의 업(up)이나 다운(down)을 행한다. 오디오 기기(23)는 음량의 업(up)이나 다운(down)을 행한다. 백미러(즉 룸미러)(25) 역시 각도 조절을 행한다. 실내등(26)의 경우 점등이나 소등을 행한다. 미터 표시 휘도(27)는 미터의 표시 휘도를 올리는 것으로, 통상은 휘도를 낮게 하여 에너지를 절약할 수 있다. 스티어링 스위치의 조명 휘도(28)는 휘도 제어를 행한다. 창의 개폐 버튼(29)은 창의 승강 또는 하강을 행한다. 자동 운전 버튼(30)은 자동 운전 개시와 종료를 행한다. 또한, 미터 후드 위에 마련한 감시 카메라(31)는 운전자 감시를 행하고, 운전 중에 몇 초간 한눈 팔이 운전을 하고 있는 것을 검출한 경우 경고를 내린다. 실내등의 점등이나 소등, 오디오 기기의 음량 업이나 다운, 냉난방 기기(2)의 온도 조정은 빈번하게 사용하므로, 눈 깜박임으로 조정하는 대상으로서 매우 적합하다. 예로서 오른쪽 눈의 깜박임으로 업, 왼쪽 눈의 깜박임으로 다운의 지시를 할 수 있다. 또한, 눈으로 지시를 내릴 수 있으므로 통신선이 불필요하다.
도 5는 각 차량 탑재 기기의 적외광의 발광 기간과 발광 정지 기간을 나타내는 도면이다. 세로축은 차량 탑재 기기 A, 차량 탑재 기기 B, 및 차량 탑재 기기 C의 3개로 하였다. 횡축은 시간이다. 차량 탑재 기기 A~C에 각각 주시 검출 장치(10)가 탑재될 수 있다. 차량 탑재 기기 A~C는 적외광의 발광과 발광 정지를 반복한다. 도 5에 도시한 바와 같이, 차량 탑재 기기 A의 발광 기간(8a)과, 차량 탑재 기기 B의 발광 기간(8b)과, 차량 탑재 기기 C의 발광 기간(8c)은 서로 겹치지 않게 제어된다. 여기서, 차량 탑재 기기 A가 부모이며, 이 차량 탑재 기기 A가 동기 제어를 수행하는 제어권을 가지고 있는 것으로 설정될 수 있다. 동기 신호(6)는 10비트의 신호로 이루어진다. 1비트는 800㎲로 설정될 수 있다. 이때, 10비트는 8ms(=800㎲×10)가 된다. 발광 기간(8)을 20ms로 하면, 차량 탑재 기기 A~C의 발광이 일순하는 시간은 약 68ms(=20ms×3＋8ms)가 된다. 발광했을 때, 발광한 차량 탑재 기기의 적외선 카메라(2)로 운전자(50)의 얼굴을 촬영하므로, 각 차량 탑재 기기는 68ms에 1회의 간격으로 운전자의 얼굴을 관찰하는 것이 된다.
그리고, 본 발명의 실시예에 따른 주시 검출 장치(10)는 복수의 차량 탑재 기기(100)에 적용될 수 있는데, 이때 주시 검출 장치(10)의 구성요소 전체가 복수의 차량 탑재 기기(100)마다 각각 동일하게 설치되거나, 상기 주시 검출 장치(10)의 구성요소 중 일부만이 복수의 차량 탑재 기기(100)에 동일하게 설치될 수 있다.
즉, 주시 검출 장치(10)가 각 차량 탑재 기기(100)에 설치되어 적용됨에 있어서, 상기한 주시 검출 장치(10)의 구성요소 전체가 차량 탑재 기기(100) 각각 마다 동일하게 설치될 수도 있지만, 주시 검출 장치(10)의 구성요소 중 일부가 차량 탑재 기기(100)의 각각 마다 동일하게 설치되고 이때 구성요소의 나머지가 통합된 기능을 가지는 공용 요소의 형태로 차량 내 정해진 하나의 위치에 탑재될 수도 있는 것이다.
예를 들면, 적외선 LED(1)와 적외선 카메라(2)는 차량 탑재 기기(100)의 각각에 모두 설치되지만, 주시 판정부(3)는, 복수의 위치에 설치될 필요 없이, 본 발명의 주시 검출 장치(10)가 적용되는 전체 차량 탑재 기기(100)가 모두 공용으로 사용할 수 있게, 통합된 형태로 통합된 기능을 수행하도록 차량 내 한 곳에 설치될 수 있고, 이때 주시 판정부(3)는 차량의 헤드 유닛(미도시)에 구비될 수 있다.
즉, 차량의 헤드 유닛이 주시 판정부(3)의 역할을 수행하도록 할 수 있는 것이다.
한편, 도 5에 도시한 바와 같이, 동기 신호(6)는 선두 6비트가 헤더이며, 소정의 비트 패턴으로 이루어진다. 다음의 3비트가 카메라 ID의 코드로서, 예를 들어 000~111까지의 8개를 사용할 수 있다. 차량 탑재 기기의 대수에 상응하여 카메라 ID의 비트 수를 늘릴 수 있다. 실시예에서, 차량 탑재 기기 A의 카메라 ID가 000, 차량 탑재 기기 B의 카메라 ID가 001, 차량 탑재 기기 C의 카메라 ID가 010으로 설정될 수 있다. 또한, 카메라 ID가 000인 차량 탑재 기기 A가 부모이면서 동기 제어를 수행하도록 구비될 수 있다. 다음의 1비트가 정지 비트로 동기 신호의 종료를 나타낸다. 차량 탑재 기기 A~C는 비휘발성 메모리에 자신의 카메라 ID의 코드와 차량 내에 설치되는 적외선 카메라(2)의 총 대수를 저장 및 기억하고 있다. 이때, 총 대수는 차량 탑재 기기가 3대인 경우, 2(전 대수-1)로서 기억된다.
도 5에 도시하는 바와 같이, 동기 신호(6)는 차량 탑재 기기 A로부터 적외광으로 발광된다. 차량 탑재 기기 B, C는 도 2의 동기 신호 검출부(11)에서 동기 신호(6)를 검출한다. 차량 탑재 기기 B는 동기 신호(6)를 검출하면, 20ms 동안에만 적외광의 발광을 정지한다. 이것을 도 5의 발광 정지 기간(9b)으로 나타낸다. 그 후, 20ms간의 발광을 행한다. 차량 탑재 기기 C는, 동기 신호(6)를 검출하면 40ms 동안만 적외광의 발광을 정지한다. 이것을 도 5에 발광 정지 기간(9c)으로 나타낸다. 그 후 20ms 동안의 발광을 행한다. 차량 탑재 기기 A는 동기 신호(6)를 발광한 후 20ms 동안만 발광하고, 그 후 40ms 동안에는 적외광의 발광을 정지한다. 이때, 발광 정지의 전 시간이 메모리에 기억되어 있는 총 대수에 근거하여 제어된다. 이것을 도 5의 발광 정지 기간(9a)으로 나타낸 것이다. 그 후, 다시 동기 신호(6)를 발광한다. 이것에 의하면, 적외광의 발광이 차량 탑재 기기 A~C에서 겹치는 일이 없다. 20ms의 발광은 운전자의 눈을 촬영하고 노광 시간도 충분히 취할 수 있다.
1개의 차량 탑재 기기(100)는 이 경우 68ms에 1회의 간격으로 운전자의 얼굴을 관찰할 수 있으므로 눈꺼풀의 움직임도 검출할 수 있다. 깜박임(윙크)은 지극히 짧은 시간에 행해지지만, 운전자가 그 차량 탑재 기기를 주시했을 때, 눈꺼풀의 개폐를 관찰하는 것으로, 깜박임을 검출할 수 있다. 조작의 종류를 늘리려면, 예를 들면, 손의 제스츄어를 더해도 된다.
본 발명은 운전자가 차량 탑재 기기를 주시하는 것을 확실하게 검출할 수 있는 주시 검출 장치 혹은 주시 검출 장치의 폭주 제어 방법으로서 매우 적합하다.
1 : 적외선 LED 2 : 적외선 카메라
3 : 주시 판정부 4 : 깜박임 검출부
5 : 제어부 6 : 동기 신호
7 : 동기 신호의 송신 8 : 발광 기간
8a : 차량 탑재 기기 A의 발광 기간
8b : 차량 탑재 기기 B의 발광 기간
8c : 차량 탑재 기기 C의 발광 기간
9 : 발광 정지 기간
9a : 차량 탑재 기기 A의 발광 정지 기간
9b : 차량 탑재 기기 B의 발광 정지 기간
9c : 차량 탑재 기기 C의 발광 정지 기간
10 : 주시 검출 장치 11 : 동기 신호 검출부
12 : 발광 제어부 13 : 조작부
21 : 왼쪽 사이드 도어 미러 22 : 오른쪽 사이드 도어 미러
23 : 오디오 기기 24 : 냉난방 기기
25 : 백미러 26 : 실내등
27 : 미터 표시 휘도 28 : 스티어링 스위치의 조명 휘도
29 : 창의 개폐 버튼 30 : 자동 운전 버튼
31 : 핸들 높이 조정 47 : 시선의 방향
48 : 모니터 카메라 49 : 촬영 범위
50 : 운전자 100 : 차량 탑재 기기
A~C : 차량 탑재 기기

Claims (7)

  1. 적외광을 발광하는 적외선 LED와, 상기 적외선 LED에서 방출된 적외광의 반사광에 근거하여 운전자의 눈을 촬영하는 적외선 카메라와, 상기 적외선 카메라가 촬영한 눈의 영상에 근거하여 운전자가 적외선 카메라를 주시하고 있는지 아닌지를 판정하는 주시 판정부를 포함하고,
    상기 주시 판정부의 구성요소 중에 적어도 적외선 LED와 적외선 카메라가 복수의 차량 탑재 기기의 각각에 설치되며,
    상기 각 차량 탑재 기기에서 운전자에 대해 적외광을 발광하고, 해당 발광 기간 내에 운전자를 촬영하며, 촬영한 정보에 근거하여 운전자가 주시하고 있는지 아닌지를 검출하도록 동작하고, 상기 복수의 차량 탑재 기기로부터 방출되는 적외광의 발광 기간이 겹치지 않게 복수의 차량 탑재 기기가 폭주 제어될 수 있도록 구성된 것을 특징으로 하는 주시 검출 장치.
  2. 제 1 항에 있어서,
    상기 차량 탑재 기기의 각각은 상기 적외선 카메라의 카메라 ID와 총 대수를 기억하고 있고,
    상기 폭주 제어는,
    카메라 ID가 제로인 차량 탑재 기기가, 동기 신호를 발광한 후, 촬영을 위한 적외광을 소정 시간 동안 발광하고, 그 후 상기 적외선 카메라의 총 대수에 상응하는 시간만큼 상기 발광을 정지하도록 제어하고,
    상기 카메라 ID가 제로인 것 이외의 차량 탑재 기기가, 상기 동기 신호의 수신 후, 그 카메라 ID에 상응하는 시간만큼 적외광의 발광을 정지하고, 그 후 적외광을 소정 시간 동안 발광하도록 제어하는 것을 특징으로 하는 주시 검출 장치.
  3. 제 1 항에 있어서,
    상기 주시 판정부가 운전자 주시를 검출했을 때 운전자 눈의 깜박임을 검출하는 깜박임 검출부를 더 포함하고, 상기 깜박임 검출부가 검출한 깜박임에 대응하여 차량 탑재 기기의 동작을 제어하는 것을 특징으로 하는 주시 검출 장치.
  4. 제 3 항에 있어서,
    상기 차량 탑재 기기가 조명 기기이며, 운전자의 오른쪽 눈과 왼쪽 눈의 깜박임에 대응하여 점등과 소등을 수행하는 것을 특징으로 하는 주시 검출 장치.
  5. 제 3 항에 있어서,
    상기 차량 탑재 기기가 오디오 기기이며, 운전자의 오른쪽 눈과 왼쪽 눈의 깜박임에 대응하여 음량이 조정되는 것을 특징으로 하는 주시 검출 장치.
  6. 제 3 항에 있어서,
    상기 차량 탑재 기기가 냉난방 기기이며, 운전자의 오른쪽 눈과 왼쪽 눈의 깜박임에 대응하여 실내 온도가 조정되는 것을 특징으로 하는 주시 검출 장치.
  7. 적외광을 발광하는 적외선 LED와, 상기 적외선 LED에서 방출된 적외광의 반사광에 근거하여 운전자의 눈을 촬영하는 적외선 카메라와, 상기 적외선 카메라가 촬영한 눈의 영상에 근거하여 운전자가 적외선 카메라를 주시하고 있는지 아닌지를 판정하는 주시 판정부를 포함하는 주시 검출 장치의 구성요소 중에 적어도 적외선 LED와 적외선 카메라가 복수의 차량 탑재 기기의 각각에 설치되어 있을 때, 상기 주시 검출 장치를 폭주 제어하는 방법으로서,
    카메라 ID가 제로인 차량 탑재 기기가, 동기 신호를 발광한 후, 촬영을 위한 적외광을 소정 시간 동안 발광하고, 그 후 상기 적외선 카메라의 총 대수에 상응하는 시간만큼 상기 발광을 정지하도록 제어하는 단계와,
    카메라 ID가 제로인 것 이외의 차량 탑재 기기가, 상기 동기 신호의 수신 후, 그 카메라 ID에 상응하는 시간만큼 적외광의 발광을 정지하고, 그 후 적외광을 소정 시간 동안 발광하도록 제어하는 단계에 의해,
    상기 복수의 차량 탑재 기기의 적외광 발광 시기가 겹치지 않게 제어하는 것을 특징으로 하는 주시 검출 장치의 폭주 제어 방법.
KR1020190002552A 2018-10-05 2019-01-09 주시 검출 장치 및 그 폭주 제어 방법 KR20200039525A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018190216A JP7219041B2 (ja) 2018-10-05 2018-10-05 注視検出装置及びその輻輳制御方法
JPJP-P-2018-190216 2018-10-05

Publications (1)

Publication Number Publication Date
KR20200039525A true KR20200039525A (ko) 2020-04-16

Family

ID=70052022

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190002552A KR20200039525A (ko) 2018-10-05 2019-01-09 주시 검출 장치 및 그 폭주 제어 방법

Country Status (4)

Country Link
US (1) US10901504B2 (ko)
JP (1) JP7219041B2 (ko)
KR (1) KR20200039525A (ko)
CN (1) CN111006679A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD979160S1 (en) * 2021-03-15 2023-02-21 Andrew J. Rooney Pet harness
US11991988B2 (en) 2020-04-01 2024-05-28 Andrew J. Rooney Pet training harness

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021002487A1 (ko) * 2019-07-01 2021-01-07 엘지전자 주식회사 차량 제어 장치 및 그것을 포함하는 차량
RU2738070C1 (ru) * 2020-05-13 2020-12-07 Общество С Ограниченной Ответственностью «Тотал Вижен» (Ооо "Тотал Вижен") Устройство определения координат линии взора наблюдателя в режиме реального времени
CN114523886B (zh) * 2020-10-30 2023-03-24 上海汽车集团股份有限公司 一种车内交互控制方法及系统
DE102021202704A1 (de) 2021-03-19 2022-09-22 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Bestimmen eines Blickzuwendungsbereichs einer Person und Fahrzeug
EP4141803A1 (en) * 2021-08-23 2023-03-01 HELLA GmbH & Co. KGaA System for illuminating the face of an occupant in a car
CN113760097A (zh) * 2021-09-16 2021-12-07 Oppo广东移动通信有限公司 控制音量的方法及装置、终端及计算机可读存储介质
WO2023145040A1 (ja) * 2022-01-31 2023-08-03 三菱電機株式会社 物体検知装置、車両及び物体検知方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010105417A (ja) 2008-10-28 2010-05-13 Mitsubishi Motors Corp 車載用電子機器

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05270296A (ja) * 1992-03-23 1993-10-19 Nissan Motor Co Ltd 車両用操作装置
KR19990021540A (ko) 1997-08-30 1999-03-25 윤종용 눈의 시선각도를 이용한 입력장치
US10039445B1 (en) * 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP5177102B2 (ja) 2009-09-18 2013-04-03 三菱自動車工業株式会社 運転支援装置
DE112010005927B4 (de) 2010-10-06 2014-07-17 Mitsubishi Electric Corporation AV-System
KR20120074820A (ko) 2010-12-28 2012-07-06 대성전기공업 주식회사 얼굴 인식 기능을 이용한 차량 제어 시스템
US9081915B2 (en) * 2011-07-29 2015-07-14 Airbus Engineering Centre India Modal assurance criterion for comparing two mode shapes of a multi-component structure
US20130187845A1 (en) 2012-01-20 2013-07-25 Visteon Global Technologies, Inc. Adaptive interface system
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
KR101556632B1 (ko) 2013-07-12 2015-10-01 유테크존 컴퍼니 리미티드 차량 내에서의 눈 제어 방법 및 이를 수행하는 전자 장치
KR101648246B1 (ko) 2013-11-11 2016-08-12 멀티펠스 주식회사 차량용 카메라 영상 자동 전환 시스템
US20150185834A1 (en) 2013-12-26 2015-07-02 Theodore Charles Wingrove System and method for gaze tracking
CN106028913B (zh) * 2014-02-19 2018-03-30 三菱电机株式会社 显示控制装置、显示控制装置的显示控制方法
US10572008B2 (en) * 2014-02-21 2020-02-25 Tobii Ab Apparatus and method for robust eye/gaze tracking
DE102014118387A1 (de) 2014-12-12 2016-06-16 Valeo Schalter Und Sensoren Gmbh Erfassungsvorrichtung zum Erkennen einer Geste und/oder einer Blickrichtung eines Insassen eines Kraftfahrzeugs durch synchrone Ansteuerung von Leuchteinheiten, Bedienanordnung, Kraftfahrzeug sowie Verfahren
EP3040809B1 (en) 2015-01-02 2018-12-12 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010105417A (ja) 2008-10-28 2010-05-13 Mitsubishi Motors Corp 車載用電子機器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11991988B2 (en) 2020-04-01 2024-05-28 Andrew J. Rooney Pet training harness
USD979160S1 (en) * 2021-03-15 2023-02-21 Andrew J. Rooney Pet harness

Also Published As

Publication number Publication date
JP7219041B2 (ja) 2023-02-07
US20200110463A1 (en) 2020-04-09
US10901504B2 (en) 2021-01-26
JP2020059325A (ja) 2020-04-16
CN111006679A (zh) 2020-04-14

Similar Documents

Publication Publication Date Title
KR20200039525A (ko) 주시 검출 장치 및 그 폭주 제어 방법
JP4497305B2 (ja) 運転者状態判定装置
CN106794800A (zh) 电子镜装置和使用其的电子镜系统
JP2006248363A (ja) 運転者照明装置、運転者撮影装置および運転者監視装置
WO2018055774A1 (ja) 車両監視システム、管理装置、及び監視方法
US20100324779A1 (en) Onboard unit controlling apparatus
CN105704886B (zh) 使用可佩戴眼镜的车辆照明控制系统和用于该系统的方法
WO2016017114A1 (ja) 電子ミラー装置
WO2018092709A1 (ja) 撮像装置状態監視装置、撮像装置状態監視方法、およびプログラム
JP2006215560A (ja) プロジェクタシステム及び画像投影方法
WO2007102195A1 (ja) 撮影装置、及び撮影方法
US10261580B2 (en) Mirror device with display function and method of changing direction of mirror device with display function
JP2006021591A (ja) 照明制御システム
WO2016018022A1 (ko) 어두운 환경에서 위험을 감지하기 위한 적외선 영상을 촬영하여 표시하는 차량 안전 시스템 및 적외선 영상 촬영방법
US11812179B2 (en) Input apparatus for vehicle and method thereof
CN112606765A (zh) 一种车辆透明a柱显示方法、装置、车辆和可读存储介质
JPH08159733A (ja) 車両用視線方向計測装置
WO2014041758A1 (ja) 状態監視装置
KR101774691B1 (ko) 깜박임 보정 시스템
JP2016057552A (ja) 投射装置
KR200293770Y1 (ko) 자동가변조명이 부설된 보안카메라시스템
KR102363669B1 (ko) 차량 수평유지 기반의 안정된 디지털 영상처리 시스템 제공방법
US20240073540A1 (en) Illumination control for an imaging system
KR101694785B1 (ko) 졸음 운전 방지 시스템
JP2003067859A (ja) 火災受信機

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
WITB Written withdrawal of application