KR20160064601A - 차량 내의 객체 검출 장치 및 이의 방법 - Google Patents

차량 내의 객체 검출 장치 및 이의 방법 Download PDF

Info

Publication number
KR20160064601A
KR20160064601A KR1020140168407A KR20140168407A KR20160064601A KR 20160064601 A KR20160064601 A KR 20160064601A KR 1020140168407 A KR1020140168407 A KR 1020140168407A KR 20140168407 A KR20140168407 A KR 20140168407A KR 20160064601 A KR20160064601 A KR 20160064601A
Authority
KR
South Korea
Prior art keywords
vehicle
image
voice
seat
image including
Prior art date
Application number
KR1020140168407A
Other languages
English (en)
Inventor
나기인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140168407A priority Critical patent/KR20160064601A/ko
Publication of KR20160064601A publication Critical patent/KR20160064601A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01552—Passenger detection systems detecting position of specific human body parts, e.g. face, eyes or hands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

차량 내의 객체 검출 장치가 제공된다. 이 장치는 차량 내부를 촬영한 영상과 상기 차량 내부에서 발생한 음성을 포함하는 객체 정보를 수집하는 객체 정보 수집부와, 상기 영상으로부터, 상기 차량 내부의 모든 객체 중 적어도 하나의 객체를 포함하는 객체 영상과, 상기 차량 내부의 특정 영역에 존재하는 객체를 포함하는 특정 영역 영상과, 상기 차량 내부에서 상기 음성의 발생 위치에 존재하는 대화 상대자의 얼굴 객체를 포함하는 화자 영상 및 상기 차량 내부에서 움직이는 객체를 포함하는 움직임 객체 영상을 추출하고, 추출된 영상들 중 적어도 하나의 영상을 출력하는 영상 추출부 및 상기 선택적으로 추출된 영상을 표시하는 표시부 를 포함한다.

Description

차량 내의 객체 검출 장치 및 이의 방법{DEVICE FOR DETECTING OCCUPANTS IN A VEHICLE AND METHOD THEREOF}
본 발명은 차량 내의 객체 검출 장치 및 이의 방법에 관한 것으로서, 상세하게는 차량 내의 카메라를 이용해 대화 중인 탑승자를 검출하고, 검출된 탑승자를 표시하는 차량 내의 객체 검출 장치 및 이의 방법에 관한 것이다.
일반적으로 탑승자가 운전자와 대화를 하는 경우, 운전석의 옆 좌석에 탑승한 탑승자는 자신의 얼굴을 돌려 운전자와 대화를 하며, 운전석의 뒤 좌석에 탑승한 탑승자는 백미러(back mirror)에 나타나는 운전자의 얼굴을 보며 대화를 한다.
반대로, 운전자가 운전 중에 옆 좌석의 탑승자와 대화를 하는 경우, 옆 좌석의 탑승자의 얼굴을 보지 않고 대화를 하는 것이 일반적이지만, 자신의 얼굴을 옆 좌석의 탑승자 쪽으로 무의식적으로 돌려 대화를 하는 경우가 있는데, 이 경우, 운전자의 시야가 전방에서 벗어나기 때문에 사고 발생 위험이 있다. 마찬가지로 운전자가 백미러에 나타나는 뒷 좌석의 탑승자를 보면서 대화를 하는 경우도, 운전자의 시야가 전방에서 벗어나기 때문에 사고 발생 위험이 있다.
따라서, 본 발명의 목적은 운전자의 전방 주시를 방해하지 않고, 대화 중인 탑승자의 얼굴 및 행동을 모니터링 할 수 있는 차량 내의 객체 검출 장치 및 이의 방법을 제공하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일면에 따른 차량 내의 객체 검출 장치는 차량 내부를 촬영한 영상과 상기 차량 내부에서 발생한 음성을 포함하는 객체 정보를 수집하는 객체 정보 수집부, 상기 영상으로부터, 상기 차량 내부의 모든 객체 중 적어도 하나의 객체를 포함하는 객체 영상과, 상기 차량 내부의 특정 영역에 존재하는 객체를 포함하는 특정 영역 영상과, 상기 차량 내부에서 상기 음성의 발생 위치에 존재하는 대화 상대자의 얼굴 객체를 포함하는 화자 영상 및 상기 차량 내부에서 움직이는 객체를 포함하는 움직임 객체 영상을 추출하고, 추출된 영상들 중 적어도 하나의 영상을 출력하는 영상 추출부 및 상기 선택적으로 추출된 영상을 표시하는 표시부를 포함한다.
본 발명의 다른 일면에 따른 차량 내의 객체 검출 방법은 차량 내부를 촬영한 영상과 상기 차량 내부에서 발생한 음성을 포함하는 객체 정보를 수집하는 단계와, 상기 영상으로부터, 상기 차량 내부의 모든 객체 중 적어도 하나의 객체를 포함하는 객체 영상과, 상기 차량 내부의 특정 영역에 존재하는 객체를 포함하는 특정 영역 영상과, 상기 차량 내부에서 상기 음성의 발생 위치에 존재하는 대화 상대자의 얼굴 객체를 포함하는 화자 영상 및 상기 차량 내부에서 움직이는 객체를 포함하는 움직임 객체 영상을 추출하고, 추출된 영상들 중 적어도 하나의 영상을 출력하는 단계 및 상기 선택적으로 추출된 영상을 표시하는 단계를 포함한다.
본 발명에 따르면, 운전자가 모든 좌석의 탑승자와 대화를 하는 경우, 직접 고개를 돌리지 않고도 탑승자와 원활한 대화를 할 수 있고, 뒷좌석에 있는 아이들 또는 짐 등의 상황을 상시 확인 할 수 있다. 따라서, 운전자의 운전 집중도를 높임으로써 사고발생을 줄일 수 있다.
도 1은 본 발명의 실시예에 따른 객체 검출 장치의 내부 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 객체 정보 수집부의 외관 형상을 나타내는 도면들이다.
도 3은 도 2에 도시된 객체 정보 수집부의 설치 위치에 따른 감시 영역을 나타내는 도면이다.
도 4는 도 1에 도시된 표시부에 의해 표시되는 표시 화면의 일례를 보여주는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 객체 검출 과정을 보여주는 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 형태들에 대해서 상세히 설명한다. 다만, 실시 형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 차량 내의 객체 검출 장치의 내부 구성을 나타내는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 차량 내의 객체 검출 장치(100)는 객체 정보 수집부(110), 영상 추출부(120) 및 표시부(130)를 포함한다.
객체 정보 수집부(110)는 차량 내부를 촬영한 영상과 상기 차량 내부에서 발생한 음성을 포함하는 객체 정보를 수집하고, 수집된 객체 정보를 상기 영상 추출부(120)로 전달한다.
이를 위해, 객체 정보 수집부(110)는 상기 차량 내부의 상단부위에 설치되어, 상기 차량 내부를 촬영한 영상을 획득하는 영상 획득부(112)와 상기 차량 내부에서 발생하는 음성을 수집하는 음성 획득부(114)를 포함한다.
상기 영상 획득부(112)는 일종의 카메라일 수 있으며, 상기 카메라(112)는 차량 내부의 전체 영역을 용이하게 촬영하기 위해 어안 렌즈(fish-eye lens) 또는 전방향 렌즈(omnidirectional lens)를 구비한 카메라가 사용되는 것이 바람직하다.
상기 음성 획득부(114)는 일종의 마이크일 수 있으며, 복수개의 마이크(114)를 포함할 수 있다. 이러한 복수개의 마이크는 다중 마이크(multi microphone)로 불릴 수 있다.
본 발명의 실시예에 따르면, 도 2에 도시된 바와 같이, 하나의 카메라(112)와 상기 카메라(112)를 중심으로 주변에 배치된 4개의 마이크들(114)이 하나의 조립체 형태로 제공된다. 조립체 형태로 구성되는 카메라(112)와 4개의 마이크들(114)은 도 3에 도시된 바와 같이, 차량 내부의 전체 영역의 영상 및 음성을 획득할 수 있도록 차량 내의 상단부위에 설치되는 것이 바람직하다.
카메라(112)는 차량 내부의 영역을 특별히 구분하지 않고, 차량 내부의 모든 객체를 촬영할 수 있다. 다른 실시예로, 카메라(112)는 차량 내부의 좌석 위치 별로 구분된 특정 영역을 촬영할 수 있다. 여기서, 특정 영역은 운전석 영역(R1), 운전석의 옆 좌석 영역(R2), 상기 운전석의 뒤쪽 오른쪽 좌석 영역(R3), 상기 운전석의 뒤쪽 중앙 좌석 영역(R4) 및 상기 운전석의 뒤쪽 왼쪽 좌석 영역(R5)을 포함한다.
본 발명의 일 실시 예에 따르면, 4개의 마이크에서 수집한 음성 차이를 이용하여, 차량 내부에서 발생한 특정 음성의 발생 위치를 유추하고, 유추한 발생 위치에 근접한 상기 특정 영역의 영상에서 대화자의 얼굴 영상을 검출한다.
다시 도 1을 참조하면, 상기 영상 추출부(120)는 상기 영상으로부터, 상기 차량 내부의 모든 객체 중 적어도 하나의 객체를 포함하는 객체 영상과, 상기 차량 내부의 특정 영역에 존재하는 객체를 포함하는 특정 영역 영상과, 상기 차량 내부에서 상기 음성의 발생 위치에 존재하는 대화 상대자의 얼굴 객체를 포함하는 화자 영상 및 상기 차량 내부에서 움직이는 객체를 포함하는 움직임 객체 영상을 추출하고, 추출된 영상들 중 적어도 하나의 영상을 출력한다.
이를 위해, 상기 영상 추출부(120)는 전처리부(120-1), 객체 추출부(120-3), 음성 방향 인식부(120-5), 얼굴 검출부(120-7), 영상 출력부(120-9) 및 감시 모드 선택부(120-11)를 포함한다.
상기 전처리부(120-1)는 상기 카메라(112)로부터 획득되는 영상을 전처리 하는 기능을 수행한다. 여기서 상기 전처리 기능은 3A(AWB(auto white balance), AE(auto exposure), AF(Auto focusing)) 추출 및 처리, 렌즈 셰이딩 보상(lens shading correction), 데드 픽셀 보정(dead pixel correction), knee 보정 등이 될 수 있다. 상기 전처리 된 영상은 상기 객체 추출부(120-3)로 전달된다.
상기 객체 추출부(120-3)는 객체 추출 알고리즘(object extraction algorithm)을 이용하여, 상기 전처리 된 영상으로부터 정지된 객체 및 움직임이 있는 객체(이하, 움직임 객체)를 추출하고, 추출된 정지된 객체 및 움직임 객체를 포함하는 객체 영상을 생성한다. 여기서, 정지된 객체는 차량 내의 탑승자가 소지한 물건일 수 있다. 움직임 객체는 주행 중에 차량의 흔들림에 의해 움직이는 물체 또는 차량 내부에서 움직임이 있는 탑승자 예컨대, 활동적인 아이들일 수 있다.
상기 객체 추출부(120-3)에 의해 추출된 정지된 객체 및 움직임 객체를 포함하는 객체 영상은 영상 출력부(120-9)로 전달된다.
본 발명의 실시 예에 따르면, 영상으로부터 정지된 객체 및 움직임 객체를 추출하기 위해, 다양한 객체 추출 알고리즘이 사용될 수 있다. 일례로, template matching method, block motion method, affine transform, optical flow, deformable template, active contour model, Nikos paragios와 Rachid Derichedp 의해서 제안된 Geodesic Active Contour & Level Sets 등이 있을 수 있다.
상기 음성 방향 인식부(120-5)는 도 2에 도시된 바와 같은 다중 마이크(114)로부터 수집된 음성들을 전달받고, 각 마이크(114)에 의해 수집된 음성 들간의 크기 차이를 이용해 차량 내에서 발생한 음성 방향(또는 음성 발생 위치)를 인식한다. 예컨대, 4개의 마이크들 중 임의 마이크에서 수집된 음성의 크기가 제일 큰 경우, 상기 임의 마이크의 설치 방향(또는 설치 위치)에 가장 근접한 차량 내의 특정 영역을 음성 발생 위치로 인식한다.
상기 음성 방향 인식부(120-5)는 음성 발생 위치를 인식하면, 인식된 음성 발생 위치에 근접한 상기 특정 영역을 지시하는 정보(이하, 특정 영역 정보라 함)를 얼굴 검출부(120-7)로 전달한다.
상기 얼굴 검출부(120-7)는 상기 음성 방향 인식부(120-5)로부터의 특정 영역 정보와 상기 객체 추출부(120-3)에 의해 추출된 객체 영상을 전달받고, 상기 특정 영역 정보가 지시하는 특정 영역에 대응하는 객체 영상으로부터 얼굴 객체를 검출한다. 검출된 얼굴 객체는 화자 영상으로서 상기 영상 출력부(120-9)로 전달된다.
얼굴 검출 기술에는, 얼굴 검출 알고리즘이 탑재될 수 있으며, 얼굴 검출 알고리즘에는 얼굴 검출을 위하여 인간이 구성하는 요소에 대한 사전 지식을 이용한 Knowledge based method와 인간의 포즈, 관찰 시점이나 조명의 변화에도 무관한 사람 형태의 구조적인 특징치를 이용하는 Feature invariant approach와, 사람을 형성하는 표준 패턴과 입력 영상 간의 상관관계를 이용하는 Template matching method와, 여러 개의 사람 형태의 학습 영상으로부터 얼굴 형태의 표현 방식을 이용한 Appearance-based method 등과 같은 다양한 기법들이 있을 수 있다.
영상 출력부(120-9)는 객체 추출부(120-3)로부터의 객체 영상, 얼굴 검출부(120-7)로부터의 화자 영상 및 감시 모드 선택부(120-11)로부터의 모드 선택 신호를 전달받아서, 다양한 감시 모드의 영상들을 선택적으로 출력한다.
본 발명의 실시예에 따르면, 상기 감시 모드 선택부(120-11)는 사용자 입력에 따라 차량 내의 모든 객체를 감시하는 제1 감시 모드 신호, 특정 영역의 객체를 감시하는 제2 감시 모드 신호, 대화 상대를 감시하는 제3 감시 모드 신호 및 움직임이 있는 객체를 감시하는 제4 감시 모드 신호 중 적어도 하나의 감시 모드 신호를 상기 영상 출력부(120-9)로 전달한다.
상기 영상 출력부(120-9)는 상기 제1 감시 모드 신호에 따라 운전자를 제외한 차량 내의 모든 객체 영상을 출력할 수 있다. 이때 출력된 객체 영상은 차량 내에서 움직임이 없는 객체는 물론 움직임이 있는 모든 객체를 포함할 수 있다.
또한, 상기 영상 출력부(120-9)는 상기 제2 감시 모드 신호에 따라 특정 영역의 객체를 포함하는 특정 영역 영상을 출력할 수 있다. 여기서, 특정 영역 영상은 상기 운전석의 옆 좌석 영역에 존재하는 객체를 포함하는 영역 영상, 상기 운전석의 뒤쪽 오른쪽 좌석 영역에 존재하는 객체를 포함하는 영역 영상, 상기 운전석의 뒤쪽 중앙 좌석 영역에 존재하는 객체를 포함하는 영역 영상 및 상기 운전석의 뒤쪽 왼쪽 좌석 영역에 존재하는 객체를 포함하는 영역 영상을 포함한다. 여기서, 영상 출력부(120-9)는 5가지의 영역 영상들 중 적어도 하나를 포함하는 특정 영역 영상을 출력할 수 있다.
또한, 상기 영상 출력부(120-9)는 제3 감시 모드 신호에 따라 대화 상대자를 포함하는 화자 영상을 출력할 수 있으며, 제4 감시 모드 신호에 따라 움직임 객체를 포함하는 움직임 객체 영상을 출력할 수 있다.
상기 영상 출력부(120-9)는 사용자의 감시 모드 선택에 따라 위의 4가 영상들 중 적어도 2가지의 영상들이 조합된 다중 영상을 출력할 수 있다.
표시부(130)는 사용자 입력에 따라 선택된 영상들을 전달받아서 표시하는 구성으로서, 전방 주시를 방해하지 않는 위치에 설치된 헤드-업 디스플레이 유닛 또는 차량 내의 전자 장비의 표시 수단으로 구성되는 것이 바람직하다. 차량 내의 전자 장비로는 블랙박스, 네비게이션 등이 있을 수 있다.
표시부(130)에 의해 표시되는 영상들은 도 4에 도시된 바와 같이, 격자 형태로 구분된 표시 화면을 통해 표시될 수 있다.
도 4의 왼쪽에 도시된 표시 화면(40a)에는, 움직임 객체 영상이 표시되는 제1 표시 영역(41), 차량 내의 탑승자들 중 운전자와 대화하는 임의의 대화 상대가 포함된 화자 영상이 표시되는 제2 표시 영역(43), 다른 대화 상대가 포함된 화자 영상이 표시되는 제3 표시 영역(45) 및 뒷좌석에 있는 탑승자 및 물건과 같은 모든 객체들을 포함하는 객체 영상이 표시되는 제4 표시 영역(47)으로 구획된 표시화면이 예시된다.
도 4의 표시 화면(40a)은 사용자의 선택에 따라 특정 표시 영역만을 표시하도록 구성될 수도 있다. 예컨대, 사용자가 터치 방식과 같은 사용자 입력을 이용해 제2 및 제3 표시 영역(43, 45)을 선택하는 경우, 도 4의 우측에 도시된 표시 화면(40b)과 같이, 전체 표시 화면에는 제2 및 제3 표시 영역(43, 45)만이 표시되도록 구성될 수 있다.
이외에도, 본 발명의 실시예에 따르면, 사용자의 모드 선택에 따라 다양한 표시화면을 구성할 수 있다. 예컨대, 차량 내에 아이들이 있는 경우에는, 사용자가 대화 상대를 감시하는 제3 감시 모드와 움직임 객체를 감시하는 제4 감시 모드를 선택하는 것이 유용할 수 있다. 즉, 객체 검출 장치(100)가 운전석의 뒷 좌석에서 아이들이 장난을 치는 움직임과 아이들의 울음 소리를 인식하여, 움직임 객체 영상과 화자 영상을 하나의 표시 화면을 통해 표시하면, 운전자는 전방 주시를 방해 받지 않는 상황에서 아이들의 움직임과 기분 상태를 용이하게 확인할 수 있다.
택시 기사의 경우에는 제3 감시 모드와 차량 내의 특정 영역을 감시하는 제2 감시 모드를 선택하는 것이 매우 유용할 수 있다. 택시 기사의 경우, 지속적으로 승객과 대화를 하며 위치를 물어보기 때문에, 객체 검출 장치(100)가 승객의 얼굴을 검출한 화자 영상과 뒤 좌석의 상태를 지속적으로 감시하는 객체 영상을 하나의 표시 화면을 통해 표시하면, 택시기사는 전방 주시를 방해 받지 않고 아이들의 움직임과 기분 상태를 용이하게 확인할 수 있다.
한편, 이러한 표시 화면은 운전자가 소지한 스마트 폰과 같은 휴대용 단말의 표시 수단을 통해 표시될 수도 있다. 예컨대, 와이파이 또는 블루투스와 같은 근거리 통신을 가능케 하는 근거리 통신 모듈을 객체 검출 장치(100)에 탑재함으로써, 근거리 통신 기능을 지원하는 휴대용 단말은 객체 검출 장치(100)에서 제공하는 다양한 차량 내의 영상들을 제공받아서 이를 표시할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 객체 검출 과정을 보여주는 순서도이다.
도 5를 참조하면, 본 발명의 일 실시 예에 따른 객체 검출 과정은 객체 정보를 수집하는 과정(S510), 영상을 추출하는 과정(S520) 및 표시하는 과정(S530)을 포함한다.
상기 과정(S510)에서는, 차량 내의 상단부위에 설치된 카메라에 의해 촬영된 영상과 마이크에 의해 획득된 음성을 포함하는 차량 내의 객체 정보가 수집된다.
상기 과정(S520)에서는, 상기 과정(S510)에서 수집된 영상으로부터, 상기 차량 내부의 모든 객체 중 적어도 하나의 객체를 포함하는 객체 영상과, 상기 차량 내부의 특정 영역에 존재하는 객체를 포함하는 특정 영역 영상과, 상기 차량 내부에서 상기 음성의 발생 위치에 존재하는 대화 상대자의 얼굴 객체를 포함하는 화자 영상 및 상기 차량 내부에서 움직이는 객체를 포함하는 움직임 객체 영상이 선택적으로 추출된다.
그리고 상기 과정(S530)에서는, 상기 선택적으로 추출된 영상들이 격자 형태로 구획된 표시화면을 통해 표시된다.
이상 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 전술한 실시 예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (14)

  1. 차량 내부를 촬영한 영상과 상기 차량 내부에서 발생한 음성을 포함하는 객체 정보를 수집하는 객체 정보 수집부;
    상기 영상으로부터, 상기 차량 내부의 모든 객체 중 적어도 하나의 객체를 포함하는 객체 영상과, 상기 차량 내부의 특정 영역에 존재하는 객체를 포함하는 특정 영역 영상과, 상기 차량 내부에서 상기 음성의 발생 위치에 존재하는 대화 상대자의 얼굴 객체를 포함하는 화자 영상 및 상기 차량 내부에서 움직이는 객체를 포함하는 움직임 객체 영상을 추출하고, 추출된 영상들 중 적어도 하나의 영상을 출력하는 영상 추출부; 및
    상기 선택적으로 추출된 영상을 표시하는 표시부
    를 포함하는 차량 내의 객체 검출 장치.
  2. 제 1 항에 있어서, 상기 객체 정보 수집부는,
    상기 차량 내부의 상단부위에 설치되어, 상기 차량 내부를 촬영한 영상을 획득하는 카메라와 상기 차량 내부에서 발생한 음성을 수집하는 복수의 마이크를 포함하는 것을 특징으로 하는 차량 내의 객체 검출 장치.
  3. 제 2 항에 있어서, 상기 영상 추출부는,
    각 마이크에서 수집한 음성의 크기 차이를 분석하여 상기 음성의 발생 위치를 인식하는 음성 방향 인식부; 및
    얼굴 검출 알고리즘을 이용하여 상기 영상으로부터 차량 내에 존재하는 모든 대화 상대자의 얼굴 객체들을 검출하고, 상기 검출된 얼굴 객체들 중 상기 인식된 음성의 발생 위치에 대응하는 상기 얼굴 객체를 포함하는 화자 영상을 추출함을 특징으로 하는 차량 내의 객체 검출 장치.
  4. 제 3 항에 있어서, 상기 음성 방향 인식부는,
    상기 수집한 음성들 중 가장 큰 크기의 음성을 수집한 마이크의 설치 위치로부터 상기 음성의 발생 위치를 인식함을 특징으로 하는 차량 내의 객체 검출 장치.
  5. 제 1 항에 있어서, 상기 특정 영역은,
    운전석의 옆 좌석 영역, 상기 운전석의 뒤쪽 오른쪽 좌석 영역, 상기 운전석의 뒤쪽 중앙 좌석 영역 및 상기 운전석의 뒤쪽 왼쪽 좌석 영역을 포함함을 특징으로 하는 차량 내의 객체 검출 장치.
  6. 제 5 항에 있어서, 상기 영상 추출부는,
    상기 운전석의 옆 좌석 영역에 존재하는 객체를 포함하는 영역 영상, 상기 운전석의 뒤쪽 오른쪽 좌석 영역에 존재하는 객체를 포함하는 영역 영상, 상기 운전석의 뒤쪽 중앙 좌석 영역에 존재하는 객체를 포함하는 영역 영상 및 상기 운전석의 뒤쪽 왼쪽 좌석 영역에 존재하는 객체를 포함하는 영역 영상 중 적어도 하나의 영역 영상을 포함하는 상기 특정 영역 영상을 추출함을 특징으로 하는 차량 내의 객체 검출 장치.
  7. 제 1 항에 있어서, 상기 영상 추출부는,
    차량 내부를 촬영한 이전 영상과 현재 영상 간의 차이를 이용하여 상기 차량 내부에서 움직이는 객체를 포함하는 움직임 객체 영상을 추출함을 특징으로 하는 차량 내의 객체 검출 장치.
  8. 제 1 항에 있어서, 상기 영상 추출부는,
    객체 추출 알고리즘을 이용하여, 상기 영상으로부터 적어도 하나의 객체를 추출하고, 추출된 객체를 포함하는 객체 영상을 추출함을 특징으로 하는 차량 내의 객체 검출 장치.
  9. 제 1 항에 있어서, 상기 표시부는,
    추출된 영상들 중 적어도 하나의 영상을 격자 형태로 구획된 표시 화면을 통해 표시함을 특징으로 하는 차량 내의 객체 검출 장치.
  10. 차량 내부를 촬영한 영상과 상기 차량 내부에서 발생한 음성을 포함하는 객체 정보를 수집하는 단계;
    상기 영상으로부터, 상기 차량 내부의 모든 객체 중 적어도 하나의 객체를 포함하는 객체 영상과, 상기 차량 내부의 특정 영역에 존재하는 객체를 포함하는 특정 영역 영상과, 상기 차량 내부에서 상기 음성의 발생 위치에 존재하는 대화 상대자의 얼굴 객체를 포함하는 화자 영상 및 상기 차량 내부에서 움직이는 객체를 포함하는 움직임 객체 영상을 추출하고, 추출된 영상들 중 적어도 하나의 영상을 출력하는 단계; 및
    상기 선택적으로 추출된 영상을 표시하는 단계
    를 포함하는 차량 내의 객체 검출 방법.
  11. 제10항에 있어서, 상기 객체 정보를 수집하는 단계는,
    상기 차량 내부의 상단부위에 설치된 카메라를 이용하여, 상기 차량 내부를 촬영한 영상을 수집하는 단계; 및
    상기 차량 내부의 상단부위에 설치된 복수의 마이크를 이용하여, 상기 차량 내부에서 발생한 음성을 수집하는 단계
    를 포함하는 차량 내의 객체 검출 방법.
  12. 제 11 항에 있어서, 상기 추출된 영상들 중 적어도 하나의 영상을 출력하는 단계는,
    각 마이크에서 수집한 음성의 크기 차이를 분석하여 상기 음성의 발생 위치를 인식하는 단계;
    얼굴 검출 알고리즘을 이용하여 상기 영상으로부터 차량 내에 존재하는 모든 대화 상대자의 얼굴 객체들을 검출하는 단계; 및
    상기 검출된 얼굴 객체들 중 상기 인식된 음성의 발생 위치에 대응하는 상기 얼굴 객체를 포함하는 화자 영상을 추출하는 단계
    를 포함하는 차량 내의 객체 검출 방법.
  13. 제 12 항에 있어서, 상기 음성의 발생 위치를 인식하는 단계는,
    상기 수집한 음성들 중 가장 큰 크기의 음성을 수집한 마이크의 위치로부터 상기 음성의 발생 위치를 인식하는 단계임을 특징으로 하는 차량 내의 객체 검출 방법.
  14. 제 10 항에 있어서, 상기 영상을 표시하는 단계는,
    상기 추출된 영상들 중 적어도 하나의 영상을 격자 형태로 구획된 표시 화면을 통해 표시하는 단계임을 특징으로 하는 차량 내의 객체 검출 장치.
KR1020140168407A 2014-11-28 2014-11-28 차량 내의 객체 검출 장치 및 이의 방법 KR20160064601A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140168407A KR20160064601A (ko) 2014-11-28 2014-11-28 차량 내의 객체 검출 장치 및 이의 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140168407A KR20160064601A (ko) 2014-11-28 2014-11-28 차량 내의 객체 검출 장치 및 이의 방법

Publications (1)

Publication Number Publication Date
KR20160064601A true KR20160064601A (ko) 2016-06-08

Family

ID=56193590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140168407A KR20160064601A (ko) 2014-11-28 2014-11-28 차량 내의 객체 검출 장치 및 이의 방법

Country Status (1)

Country Link
KR (1) KR20160064601A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220154434A (ko) * 2021-05-13 2022-11-22 (주)파트론 카메라 연동 후석 대화 방법
KR20230020214A (ko) * 2021-08-03 2023-02-10 (주)케이아이오티 카메라 모듈 및 그를 이용한 차량의 군중 계수 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220154434A (ko) * 2021-05-13 2022-11-22 (주)파트론 카메라 연동 후석 대화 방법
KR20230020214A (ko) * 2021-08-03 2023-02-10 (주)케이아이오티 카메라 모듈 및 그를 이용한 차량의 군중 계수 장치

Similar Documents

Publication Publication Date Title
CN109791739B (zh) 晕车估计装置、晕车防止装置和晕车估计方法
US11825012B2 (en) Server, client terminal, control method, and storage medium
CN111163974B (zh) 用于车辆的显示系统和方法
IT201900011403A1 (it) Detecting illegal use of phone to prevent the driver from getting a fine
KR101421046B1 (ko) 안경 및 그 제어방법
CN205720871U (zh) 一种智能抬头显示系统
JP2007220004A (ja) テレビおよび認証装置
US10359839B2 (en) Performing output control based on user behaviour
CN101620359A (zh) 眼睛视线判断的方法
KR20160064601A (ko) 차량 내의 객체 검출 장치 및 이의 방법
CN113170075B (zh) 信息处理装置、信息处理方法和程序
KR102069735B1 (ko) 차량용 모니터링 방법 및 장치
JP2009083791A (ja) 画像表示方法、車載用画像表示システム及び画像処理装置
CN107832726B (zh) 使用者识别和确认装置及车用中央控制系统
WO2022010221A1 (ko) 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
JP2020154569A (ja) 表示装置、表示制御方法、及び表示システム
KR101682049B1 (ko) 실시간 후방 인지 멀티 안경
WO2022064774A1 (ja) 画像処理装置、及び画像処理プログラム
US10102436B2 (en) Image processing device, warning device and method for processing image
KR20210119243A (ko) 졸음운전 및 부주의 운전 인식 기능을 구비한 블랙박스 시스템 및 그 서비스 제공방법
CN111208964A (zh) 低视力助视方法、终端及存储介质
US11979545B2 (en) Information processing apparatus and information processing method
US11234090B2 (en) Using audio visual correspondence for sound source identification
US20240205614A1 (en) Integrated camera and hearing interface device
US20220417677A1 (en) Audio feedback for correcting sound degradation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application