KR101684032B1 - 운전자상태감시장치 및 그의 카메라 위치 보정 방법 - Google Patents

운전자상태감시장치 및 그의 카메라 위치 보정 방법 Download PDF

Info

Publication number
KR101684032B1
KR101684032B1 KR1020140191661A KR20140191661A KR101684032B1 KR 101684032 B1 KR101684032 B1 KR 101684032B1 KR 1020140191661 A KR1020140191661 A KR 1020140191661A KR 20140191661 A KR20140191661 A KR 20140191661A KR 101684032 B1 KR101684032 B1 KR 101684032B1
Authority
KR
South Korea
Prior art keywords
face
camera
driver
image
partial
Prior art date
Application number
KR1020140191661A
Other languages
English (en)
Other versions
KR20160080169A (ko
Inventor
정호철
김삼용
김진권
이병준
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140191661A priority Critical patent/KR101684032B1/ko
Publication of KR20160080169A publication Critical patent/KR20160080169A/ko
Application granted granted Critical
Publication of KR101684032B1 publication Critical patent/KR101684032B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02—Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/16—Steering columns
    • B62D1/18—Steering columns yieldable or adjustable, e.g. tiltable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 운전자상태감시장치 및 그의 카메라 위치 보정 방법에 관한 것으로, 본 발명에 따른 운전자상태감시장치는 운전대에 장착되어 운전자의 영상을 촬영하는 카메라와, 상기 카메라의 위치를 보정하는 각도 조절부와, 상기 영상에서 얼굴 검출 불가 시 모션 정보를 이용하여 부분 얼굴영역을 추출하고 상기 부분 얼굴영역을 이용하여 얼굴 잘림량을 산출하여 그 산출한 얼굴 잘림량에 따라 상기 각도 조절부를 제어하는 제어부를 포함한다.

Description

운전자상태감시장치 및 그의 카메라 위치 보정 방법{Driver State Monitoring Apparatus and Method for Correcting Position of Camera thereof}
본 발명은 운전자상태감시장치에 관한 것으로, 더욱 상세하게는 운전자의 착석 상태 및 운전대 틸팅각에 따라 카메라를 통한 운전자의 얼굴 검출이 불가할 때 카메라의 위치를 보정하여 운전자의 얼굴 검출이 가능하도록 하는 운전자상태감시장치 및 그의 카메라 위치 보정 방법에 관한 것이다.
운전자상태감시장치는 카메라를 통한 운전자의 영상을 획득하여 그 획득한 영상을 분석하고 브레이크, 조향 스위치 등의 각종 조작장치의 신호를 이용하여 운전자 상태를 인식한다. 그리고, 운전자상태감시장치는 운전자 상태(예: 졸음 운전)에 따라 운전자에게 경고하여 안전하게 차량을 운행할 수 있도록 한다.
이러한, 운전자상태감시시스템은 운전자의 정면을 촬영할 수 있도록 카메라를 포함한다. 예를 들어, 카메라는 클러스터(cluster) 내부에 장착되거나, 운전대 상단부 또는 차량 내부의 룸미러(room mirror) 등에 장착될 수 있다.
특히, 카메라가 운전대에 장착된 경우, 카메라를 통해 영상을 촬영할 때 운전자의 착석 상태 및 운전대 틸팅각에 따라 운전자의 얼굴 잘림 현상(피사체 잘림 현상)이 발생한다. 이에, 운전자상태감시장치는 운전자의 상태를 정상적으로 인식하지 못하여 미동작 또는 오동작을 일으키는 문제가 있다.
또한, 카메라의 화각 및 장착 위치는 제한적이므로, 영상 촬영 시 운전자의 자세에 따라 운전자의 얼굴 잘림 현상이 발생할 수 있다.
본 발명은 상기한 종래기술의 문제점을 해결하기 위하여 안출된 것으로, 카메라를 통한 운전자의 얼굴 검출 시 운전자의 얼굴 잘림 현상이 발생하면 얼굴 잘림량을 산출하고 그 얼굴 잘림량에 근거하여 카메라가 장착된 운전대의 틸팅각을 조절하여 카메라의 위치(촬영범위, 화각)를 보정하는 운전자상태감시장치 및 그의 카메라 위치 보정 방법을 제공하고자 한다.
또한, 본 발명은 운전자 얼굴 검출 시 운전자의 얼굴 잘림 현상이 발생하는 경우 카메라의 틸팅각을 조절하여 카메라의 촬영범위를 보정하므로 운전자 얼굴 검출이 가능하게 하는 운전자상태감시장치 및 그의 카메라 위치 보정 방법을 제공하고자 한다.
상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 운전자상태감시장치는 운전대에 장착되어 운전자의 영상을 촬영하는 카메라와, 상기 카메라의 위치를 보정하는 각도 조절부와, 상기 영상에서 얼굴 검출 불가 시 모션 정보를 이용하여 부분 얼굴영역을 추출하고 상기 부분 얼굴영역을 이용하여 얼굴 잘림량을 산출하여 그 산출한 얼굴 잘림량에 따라 상기 각도 조절부를 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한, 상기 모션 정보는, 이전 프레임과 현재 프레임의 차분영상인 것을 특징으로 한다.
또한, 상기 각도 조절부는, 상기 운전대의 틸팅각을 조절하는 것을 특징으로 한다.
또한, 상기 각도 조절부는, 상기 카메라의 틸팅각을 조절하는 것을 특징으로 한다.
또한, 상기 제어부는, 상기 부분 얼굴영역에 학습 모델을 적용하여 얼굴을 검출하고, 그 검출한 얼굴을 이용하여 상기 얼굴 잘림량을 산출하는 것을 특징으로 한다.
또한, 상기 학습 모델은, 아다부스트(AdaBoost) 알고리즘인 것을 특징으로 한다.
한편, 본 발명의 일 실시예에 따른 운전자상태감시장치의 카메라 위치 보정 방법은 운전대에 장착된 카메라를 통해 운전자의 영상을 획득하는 단계와, 상기 영상에서 얼굴 검출 가능 여부를 확인하는 단계와, 상기 영상에서 얼굴 검출이 불가능한 경우 모션정보를 이용하여 부분 얼굴영역을 추출하는 단계와, 상기 부분 얼굴영역을 이용하여 얼굴 잘림량을 산출하는 단계와, 상기 얼굴 잘림량에 근거하여 상기 카메라의 위치를 보정하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 얼굴 잘림량 산출 단계는, 상기 부분 얼굴영역에 학습 모델을 적용하여 얼굴을 검출하는 단계와, 상기 검출한 얼굴을 이용하여 상기 얼굴 잘림량을 산출하는 단계를 포함하는 것을 특징으로 한다.
또한, 상기 학습 모델은, 아다부스트(AdaBoost) 알고리즘으로 구현되는 것을 특징으로 한다.
또한, 상기 카메라의 위치 보정 단계는, 상기 운전대의 틸팅각을 조절하는 것을 특징으로 한다.
또한, 상기 카메라의 위치 보정 단계는, 상기 카메라의 틸팅각을 조절하는 것을 특징으로 한다.
본 발명에 따르면, 운전자상태감시장치는 카메라를 통한 운전자의 얼굴 검출 시 운전자의 얼굴 잘림 현상이 발생하면 카메라가 장착된 운전대 또는 카메라의 틸팅각을 조절하여 카메라의 위치(촬영범위, 화각)를 보정하므로 운전자의 얼굴을 검출할 수 있게 한다. 이와 같이, 운전자상태감시장치는 운전자의 얼굴 영상 획득 시 얼굴 잘림이 발생하면 얼굴 잘림량을 보상하여 운전대의 틸팅각을 조절하여 지속적으로 운전자의 상태를 모니터링할 수 있게 한다.
도 1은 본 발명의 일 실시예에 따른 운전자상태감시장치의 블록구성도.
도 2는 본 발명의 일 실시예에 따른 운전자상태감시장치의 카메라 위치 보정 방법을 도시한 흐름도.
도 3은 본 발명의 일 실시예와 관련된 부분 얼굴영역 및 잘림영역을 도시한 예시도.
본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 운전자상태감시장치의 블록구성도를 도시한다.
도 1에 도시된 바와 같이, 운전자상태감시장치는 카메라(110), 각도 조절부(120), 메모리(130), 출력부(140), 제어부(150)를 포함한다.
카메라(110)는 차량 내 운전대(steering wheel)(W)에 장착되어 운전자의 영상을 획득한다. 예를 들어, 카메라(110)는 운전대 컬럼커버(steering wheel column cover)에 설치될 수 있다.
카메라(110)는 CCD(charge coupled device) 영상센서(image sensor), MOS(metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서 및 CID(charge injection device) 영상센서 등과 같은 영상센서들 중 어느 하나의 영상센서로 구현될 수 있다.
각도 조절부(120)는 카메라(110)의 위치(촬영범위, 화각)를 보정하기 위하여 운전대(W)의 각도를 조정한다. 본 실시예에서는 운전대(W)의 각도를 조정하여 카메라(110)의 위치를 보정하는 것을 설명하고 있으나, 이에 한정되지 않고 카메라(110)의 각도를 직접 조정하여 카메라(110)의 위치를 보정하도록 구현할 수도 있다.
다시 말해서, 각도 조절부(120)는 운전대(W) 또는 카메라(110)의 틸팅각(tilting angle)을 조절하여 카메라(110)의 촬영범위를 보정한다.
메모리(130)에는 학습 모델 및 학습 모델에 이용되는 샘플 데이터 등과 같은 각종 데이터가 저장된다.
출력부(140)는 운전자상태감시장치의 동작에 따른 진행상태 및 결과를 시청각 정보로 출력한다. 이러한 출력부(140)는 표시장치 및/또는 음향출력장치(예: 스피커)를 포함한다. 예를 들어, 출력부(140)는 카메라(110)의 틸팅각 조절이 필요함을 알리는 정보 또는 카메라(110)의 틸팅각 자동 조절을 알리는 경고음 등을 출력한다.
표시장치(미도시)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 터치스크린 중에서 하나 이상을 포함할 수 있다.
제어부(150)는 카메라(110)를 통해 획득한 영상에서 얼굴영상을 추출하고, 그 추출한 얼굴영상을 통해 운전자 상태를 확인한다.
제어부(150)는 운전자의 영상에서 얼굴 검출이 가능한지 여부를 확인한다. 제어부(150)는 운전자의 영상에서 얼굴 검출이 불가한 경우 운전자의 영상에서 부분 얼굴영역을 추출한다. 예를 들어, 제어부(150)는 영상에서 얼굴 및 머리의 상하좌우 끝점을 추출한다.
제어부(150)는 부분 얼굴영역에 얼굴 특징 모델을 적용하여 얼굴을 검출한다. 여기서, 얼굴 특징 모델로 아다부스트(AdaBoost) 알고리즘과 같은 학습 모델이 사용될 수 있다.
제어부(150)는 검출된 얼굴정보에 근거하여 얼굴 잘림량을 산출한다. 다시 말해서, 제어부(150)는 모션(motion) 정보에 의한 차분영상으로 부분 얼굴영역을 산출하고, 그 산출된 부분 얼굴영역의 가로세로 비율(예: 24×20 pixels)과 참조 영상(reference image)의 가로세로 비율(예: 24×24 pixels)을 비교하여 하단의 얼굴 잘림량을 산출한다.
제어부(150)는 얼굴 잘림량에 근거하여 카메라(120)의 위치를 보정한다. 제어부(150)는 얼굴 잘림량에 따라 각도 조절부(120)를 제어하여 운전대(W)의 틸팅각을 조절한다. 따라서, 운전자상태감시장치는 운전자의 영상에서 얼굴 검출이 가능하게 한다.
본 실시예에서는 각도 조절부(120)가 운전대(W)의 틸팅각을 조절하는 것을 설명하였으나, 카메라(110)의 틸팅각을 직접 조절하도록 구현할 수도 있다.
도 2는 본 발명의 일 실시예에 따른 운전자상태감시장치의 카메라 위치 보정 방법을 도시한 흐름도이고, 도 3은 본 발명의 일 실시예와 관련된 부분 얼굴영역 및 잘림영역을 도시한 예시도이다.
제어부(150)는 카메라(110)를 통해 운전자의 영상을 획득한다(S101). 이때, 카메라(110)는 그레이스케일(grayscale) 영상을 획득할 수 있다.
제어부(150)는 영상에서 얼굴 검출 가능여부를 확인한다(S102). 다시 말해서, 제어부(150)는 도 3에 도시된 바와 같이 영상에서 얼굴 잘림 현상이 발생했는지를 확인한다.
제어부(150)는 얼굴 검출 불가 시 영상에서 부분 얼굴영역(PF)을 추출한다(S103). 제어부(150)는 모션정보를 이용하여 영상에서 부분 얼굴영역(PF)(예: 얼굴 및 머리의 상하좌우 끝점)을 검출한다. 여기서, 모션정보로는 이전 프레임(N-1번째 프레임)과 현재 프레임(N 번째 프레임)의 차분영상을 이용한다. 제어부(150)는 차분영상을 프로젝션 연산하여 부분 얼굴영역(PF)을 추출한다.
제어부(150)는 추출한 부분 얼굴영역(PF)을 학습 모델의 입력형태로 정규화(normalize)한다. 다시 말해서, 제어부(150)는 추출한 부분 얼굴영역(PF)을 학습 모델의 입력영상의 가로세로 비율(예:24×24 픽셀)로 변환한다. 예를 들어, 제어부(150)는 부분 얼굴영역(PF)의 가로세로 비율이 50×41 픽셀이면 24×20 픽셀로 변환한다.
제어부(150)는 추출한 부분 얼굴영역에 학습 모델을 적용하여 얼굴 잘림영역(NF)의 면적(이하, 얼굴 잘림량)을 산출한다(S104). 상기 학습 모델로는 아다부스트 알고리즘이 사용된다. 제어부(150)는 부분 얼굴영역(PF)의 가로세로 비율과 참조 영상의 가로세로 비율을 비교하여 하단의 얼굴 잘림량을 산출한다. 여기서, 참조 영상의 가로세로 비율은 학습모델 입력영상의 가로세로 비율일 수 있다.
제어부(150)는 학습 모델을 이용하여 추출한 부분 얼굴영역에서 비얼굴 영역과 얼굴 영역을 분류하여 얼굴후보를 검출한다. 그리고, 제어부(150)는 검출한 얼굴후보를 병합하여 얼굴을 검출한다. 제어부(150)는 영상에서 검출한 얼굴정보 근거하여 얼굴 잘림량을 산출한다.
제어부(150)는 산출한 얼굴 잘림량에 근거하여 카메라(110)의 위치를 보정한다(S105). 제어부(150)는 운전대(W) 또는 카메라(110)의 틸팅각을 조절하여 카메라(110)의 촬영범위를 보정한다.
이상에서 설명된 실시예들은 본 발명의 구성요소들과 특징들이 소정 형태로 결합된 것들이다. 각 구성요소 또는 특징은 별도의 명시적 언급이 없는 한 선택적인 것으로 고려되어야 한다. 각 구성요소 또는 특징은 다른 구성요소나 특징과 결합되지 않은 형태로 실시될 수 있다. 또한, 일부 구성요소들 및/또는 특징들을 결합하여 본 발명의 실시예를 구성하는 것도 가능하다. 본 발명의 실시예들에서 설명되는 동작들의 순서는 변경될 수 있다. 어느 실시예의 일부 구성이나 특징은 다른 실시예에 포함될 수 있고, 또는 다른 실시예의 대응하는 구성 또는 특징과 교체될 수 있다. 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함시킬 수 있음은 자명하다.
본 발명에 따른 실시예는 다양한 수단, 예를 들어, 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 본 발명의 일 실시예는 하나 또는 그 이상의 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서, 콘트롤러, 마이크로 콘트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 일 실시예는 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차, 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
본 발명은 본 발명의 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상술한 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
W: 운전대 110: 카메라
120: 각도 조절부 130: 메모리
140: 출력부 150: 제어부

Claims (11)

  1. 운전대에 장착되어 운전자의 영상을 촬영하는 카메라;
    상기 카메라의 위치를 보정하는 각도 조절부; 및
    상기 영상에서 얼굴 검출 불가 시 모션 정보를 이용하여 부분 얼굴영역을 추출하고 상기 부분 얼굴영역을 이용하여 얼굴 잘림량을 산출하여 해당 얼굴 잘림량에 따라 상기 각도 조절부를 제어하는 제어부를 포함하고,
    상기 제어부는 상기 모션 정보로서 이전 프레임과 현재 프레임의 차분영상을 이용하여 상기 부분 얼굴영역을 추출하고, 추출된 상기 부분 얼굴영역의 가로세로 비율과 참조 영상의 가로세로 비율을 비교하여 상기 얼굴 잘림량을 산출하는 것을 특징으로 하는 운전자상태감시장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 각도 조절부는,
    상기 운전대의 틸팅각을 조절하는 것을 특징으로 하는 운전자상태감시장치.
  4. 제1항에 있어서,
    상기 각도 조절부는,
    상기 카메라의 틸팅각을 조절하는 것을 특징으로 하는 운전자상태감시장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 부분 얼굴영역에 학습 모델을 적용하여 얼굴을 검출하고, 그 검출한 얼굴을 이용하여 상기 얼굴 잘림량을 산출하는 것을 특징으로 하는 운전자상태감시장치.
  6. 제5항에 있어서,
    상기 학습 모델은,
    아다부스트(AdaBoost) 알고리즘인 것을 특징으로 하는 운전자상태감시장치.
  7. 운전대에 장착된 카메라를 통해 운전자의 영상을 획득하는 단계;
    상기 영상에서 얼굴 검출 가능 여부를 확인하는 단계;
    상기 영상에서 얼굴 검출이 불가능한 경우 모션정보를 이용하여 부분 얼굴영역을 추출하는 단계;
    상기 부분 얼굴영역을 이용하여 얼굴 잘림량을 산출하는 단계; 및
    상기 얼굴 잘림량에 근거하여 상기 카메라의 위치를 보정하는 단계를 포함하고,
    상기 모션정보를 이용하여 상기 부분 얼굴영역을 추출하는 단계에서, 이전 프레임과 현재 프레임의 차분영상을 이용하여 상기 부분 얼굴영역을 추출하고,
    상기 얼굴 잘림량을 산출하는 단계에서, 추출된 상기 부분 얼굴영역의 가로세로 비율과 참조 영상의 가로세로 비율을 비교하여 상기 얼굴 잘림량을 산출하는 것을 특징으로 하는 운전자상태감시장치의 카메라 위치 보정 방법.
  8. 제7항에 있어서,
    상기 얼굴 잘림량 산출 단계는,
    상기 부분 얼굴영역에 학습 모델을 적용하여 얼굴을 검출하는 단계와,
    상기 검출한 얼굴을 이용하여 상기 얼굴 잘림량을 산출하는 단계를 포함하는 것을 특징으로 하는 운전자상태감시장치의 카메라 위치 보정 방법.
  9. 제8항에 있어서,
    상기 학습 모델은,
    아다부스트(AdaBoost) 알고리즘으로 구현되는 것을 특징으로 하는 운전자상태감시장치의 카메라 위치 보정 방법.
  10. 제7항에 있어서,
    상기 카메라의 위치 보정 단계는,
    상기 운전대의 틸팅각을 조절하는 것을 특징으로 하는 운전자상태감시장치의 카메라 위치 보정 방법.
  11. 제7항에 있어서,
    상기 카메라의 위치 보정 단계는,
    상기 카메라의 틸팅각을 조절하는 것을 특징으로 하는 운전자상태감시장치의 카메라 위치 보정 방법.
KR1020140191661A 2014-12-29 2014-12-29 운전자상태감시장치 및 그의 카메라 위치 보정 방법 KR101684032B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140191661A KR101684032B1 (ko) 2014-12-29 2014-12-29 운전자상태감시장치 및 그의 카메라 위치 보정 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140191661A KR101684032B1 (ko) 2014-12-29 2014-12-29 운전자상태감시장치 및 그의 카메라 위치 보정 방법

Publications (2)

Publication Number Publication Date
KR20160080169A KR20160080169A (ko) 2016-07-07
KR101684032B1 true KR101684032B1 (ko) 2016-12-07

Family

ID=56499901

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140191661A KR101684032B1 (ko) 2014-12-29 2014-12-29 운전자상태감시장치 및 그의 카메라 위치 보정 방법

Country Status (1)

Country Link
KR (1) KR101684032B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113347742B (zh) 2021-06-11 2023-04-18 阿波罗智联(北京)科技有限公司 车机蓝牙的连接方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257322A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 顔部位検出方法及びその装置
JP2008227906A (ja) * 2007-03-13 2008-09-25 Aisin Seiki Co Ltd 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060011219A (ko) * 2004-07-29 2006-02-03 주식회사 코맥스 비디오 도어폰의 얼굴영상 표시 장치 및 방법
KR101408344B1 (ko) * 2009-09-24 2014-06-17 삼성테크윈 주식회사 얼굴 검출 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007257322A (ja) * 2006-03-23 2007-10-04 Nissan Motor Co Ltd 顔部位検出方法及びその装置
JP2008227906A (ja) * 2007-03-13 2008-09-25 Aisin Seiki Co Ltd 撮影範囲調節装置、撮影範囲調節方法及びコンピュータプログラム

Also Published As

Publication number Publication date
KR20160080169A (ko) 2016-07-07

Similar Documents

Publication Publication Date Title
US10279683B2 (en) Vehicle display system and method of controlling vehicle display system
JP4888838B2 (ja) 運転者撮像装置および運転者撮像方法
US8552873B2 (en) Method and system for detecting a driving state of a driver in a vehicle
KR102463712B1 (ko) 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10169885B2 (en) Vehicle display system and method of controlling vehicle display system
US11400862B2 (en) Vision-based interactive control apparatus and method of controlling rear-view mirror for vehicle
KR102279333B1 (ko) 차량의 디스플레이 시스템 및 이의 구동 방법
KR102575147B1 (ko) 자세 교정 알림 장치 및 방법
WO2006124164A2 (en) Method and apparatus to facilitate visual augmentation of perceived reality
US20220198832A1 (en) Vehicle system with no-control operation
KR102630368B1 (ko) 운전자 감시 카메라의 보정장치 및 그 방법
JP2009183473A (ja) 視線方向検出装置及び視線方向検出方法
KR20170120010A (ko) 영상 취득 장치 및 그 방법
CN110733423B (zh) 用于显示车辆后方图像的装置和方法
KR20190047243A (ko) 카메라 렌즈 오염 경고 장치 및 방법
KR101684032B1 (ko) 운전자상태감시장치 및 그의 카메라 위치 보정 방법
KR20150058728A (ko) 차량용 미러리스 시스템
US10997861B2 (en) Luminance control device, luminance control system, and luminance control method
KR101823655B1 (ko) 영상을 이용한 차량 침입 검출 시스템 및 방법
KR102348123B1 (ko) 카메라 렌즈 오염 경고 장치 및 방법
WO2015092977A1 (ja) 視線検出装置、および視線検出方法
TWI418478B (zh) And a method and system for detecting the driving state of the driver in the vehicle
JP2012083950A (ja) 運転支援装置
US11685411B2 (en) Travel controller and method for travel control
KR102611759B1 (ko) 차량의 어라운드 뷰 영상의 보정 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191127

Year of fee payment: 4