KR20170027093A - 차량용 이동체 정보 제공 장치 - Google Patents

차량용 이동체 정보 제공 장치 Download PDF

Info

Publication number
KR20170027093A
KR20170027093A KR1020150123573A KR20150123573A KR20170027093A KR 20170027093 A KR20170027093 A KR 20170027093A KR 1020150123573 A KR1020150123573 A KR 1020150123573A KR 20150123573 A KR20150123573 A KR 20150123573A KR 20170027093 A KR20170027093 A KR 20170027093A
Authority
KR
South Korea
Prior art keywords
image
unit
vehicle
moving object
moving
Prior art date
Application number
KR1020150123573A
Other languages
English (en)
Inventor
김정훈
정승만
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020150123573A priority Critical patent/KR20170027093A/ko
Publication of KR20170027093A publication Critical patent/KR20170027093A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

실시 예의 차량용 이동체 정보 제공 장치는, 차량의 주변 영상을 획득하여 상기 차량 주변의 이동체의 존재 또는 이동에 대한 정보를 수집하는 후방카메라부, 상기 후방카메라부에서 수집한 상기 이동체의 존재 또는 이동에 대한 정보를 수신하여 해상도를 변환하는 무선수신 및 영상 송신부 및 상기 무선수신 및 영상 송신부에서 변환한 상기 이동체의 존재 또는 이동에 대한 정보를 사용자에게 디스플레이 하는 디스플레이부를 포함하며, 상기 디스플레이부는 상기 차량에 착탈 가능하게 배치되어 사용자가 휴대가능 하도록 구비되는 차량용 이동체 정보 제공 장치에 관한 것이다.

Description

차량용 이동체 정보 제공 장치{Apparatus for providing the moving body around vehicle}
실시 예는 차량용 이동체 정보 제공 및 디스플레이 장치에 관한 것이다.
최근에 차량의 후진에 의해 차량 주변에 존재하는 사람 특히 어린이 등의 교통 사고가 빈번해지고 있다. 따라서, 이러한 교통 사고를 예방하기 위해 국가별로 차이는 있으나 차량의 후방에 카메라의 장착이 의무화되어 가고 있다. 왜냐하면 차량에 후방 카메라를 설치할 경우 교통 사고가 예를 들어 최대 25%까지 감소할 수 있기 때문이다. 특히, 차량의 후방에 후방 초음파 센서를 설치할 때보다 후방 카메라를 설치할 경우 차량 후방의 사각 지대가 감소할 수 있다. 2014년 미국 고속 도로 안전 보험 협회가 조사한 보고서에 의하면, 후방 초음파 센서의 경우 대략 6%의 운전자가 충돌을 피할 수 있는 반면, 후방 카메라의 경우 대략 44%의 운전자가 충돌을 피할 수 있다.
기존의 차량에 장착되는 후방 카메라의 경우, 차량의 주변에 위치한 사람의 다양한 자세, 신체의 국부적인 가려짐 또는 어안 렌즈의 왜곡으로 인해 차량의 주변에 위치한 사람의 존재 여부나 위치를 올바로 제공할 수 없는 문제점을 갖는다. 즉, 차량의 주변에 위치한 사람이 서 있는가, 앉아 있는가, 사람의 상체가 가려지는가 사람의 하체가 가려지는가 등 다양한 환경에 의해, 차량 주변에 위치한 사람에 대한 정보를 정확하게 검출하지 못할 수 있다.
전술한 바와 같이 차량 주변의 다양한 환경에 대응하기 위해 부분 기반 보행자 검출(part-based pedestrian detection) 방법이 채택되고 있으나, 이 방법에 의할 경우 사람을 검출하기 위한 연산량이 많은 문제점이 있다.
또한, 기존의 차량에 장착되는 디스플레이장치는 후방 카메라에서 촬영되는 영상을 항시 디스플레이하지 아니하고 사용자가 차량을 후방을 향하여 후진하는 경우에만 선택적으로 디스플레이하기 때문에 주행 중 차량의 후방에 이동체가 접근하는 경우 사고를 예방할 수 없는 문제점이 있었다.
실시 예는 차량의 주변에 위치한 이동체에 대한 정보를 후진하는 경우뿐만 아니라 주행 중에도 디스플레이할 수 있는 차량용 이동체 정보 제공 장치를 제공하는 것을 해결하고자 하는 과제로 한다.
전술한 과제를 해결하기 위하여 실시 예의 차량용 이동체 정보 제공 장치는, 차량의 주변 영상을 획득하여 상기 차량 주변의 이동체의 존재 또는 이동에 대한 정보를 수집하는 후방카메라부, 상기 후방카메라부에서 수집한 상기 이동체의 존재 또는 이동에 대한 정보를 수신하여 해상도를 변환하는 무선수신 및 영상 송신부 및 상기 무선수신 및 영상 송신부에서 변환한 상기 이동체의 존재 또는 이동에 대한 정보를 사용자에게 디스플레이 하는 디스플레이부를 포함하며, 상기 디스플레이부는 상기 차량에 착탈 가능하게 배치되어 사용자가 휴대가능 하도록 구비되는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 후방카메라부는 상기 차량의 주변의 영상을 획득하는 영상 획득부, 상기 차량의 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 상기 적어도 하나의 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 영상 추출부 및 상기 추출된 제1 영상 또는 제2 영상 중 적어도 하나를 이용하여 상기 차량의 주변에 상기 이동체가 존재하는가의 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 이동체 정보 결정부를 포함하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 영상 추출부는 상기 이동체의 상체 전부에 대한 제1-1 영상; 또는 상기 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 상기 제1 영상으로서 추출하고, 상기 이동체의 하체 전부에 대한 제2-1 영상; 또는 상기 이동체의 하체 일부에 대한 제2-2 영상 중 적어도 하나를 상기 제2 영상으로서 추출하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 영상 추출부는 상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 적어도 하나의 제1-1 영상 검출부 및 상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 적어도 하나의 제2-1 영상 검출부를 포함하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 후방카메라부는 상기 차량의 주행 중에 차량의 주변 영상을 획득하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 후방카메라부는 기 설정된 소정 주기 간격으로 차량의 주변 영상을 획득하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 후방카메라부는 실시간으로 차량의 주변 영상을 획득하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 디스플레이부는 사용자에게 상기 차량의 상태를 디스플레이 하는 제1디스플레이부 및 상기 차량에 착탈 가능하게 구비되며 상기 차량의 주변 영상을 디스플레이 하는 제2디스플레이부;를 포함하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 제2디스플레이부는 상기 차량의 주행 중 상기 차량의 주변에 이동체가 소정 거리 이내로 접근하는 경우 사용자에게 경보 메시지를 디스플레이 하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
또한, 상기 제2디스플레이부는 상기 차량의 주행 중 상기 차량의 주변영상을 사용자에게 디스플레이 하는 차량용 이동체 정보 제공 장치를 제공하는 것을 과제의 해결 수단으로 한다.
실시 예에 따른 차량용 이동체 정보 제공 장치는 차량의 주변에 위치한 이동체에 대한 정보를 후진하는 경우뿐만 아니라 주행 중에도 디스플레이 하여 사고를 사전에 예방하는 것이 가능한 차량용 이동체 정보 제공 장치를 제공하는 것을 발명의 효과로 한다.
도 1은 실시 예에 의한 차량용 이동체 정보 제공 장치의 블럭도이다.
도 2는 도 1에 도시된 차량용 이동체 정보 제공 장치에서 수행되는 차량용 이동체 정보 제공 방법을 설명하기 위한 플로우차트를 나타낸다.
도 3a 및 도 3b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 일 모습을 나타낸다.
도 4a 및 도 4b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 다른 모습을 나타낸다.
도 5a 및 도 5b는 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법을 설명하기 위한 다양한 주변 영상의 또 다른 모습을 나타낸다.
도 6은 도 1에 도시된 영상 추출부의 일 실시 예의 블럭도이다.
도 7은 도 2에 도시된 제220 단계의 일 실시 예를 설명하기 위한 플로우차트이다.
도 8은 도 1에 도시된 영상 추출부의 다른 실시 예의 블럭도이다.
도 9는 도 2에 도시된 제220 단계의 다른 실시 예를 설명하기 위한 플로우차트이다.
도 10은 도 1에 도시된 영상 추출부의 또 다른 실시 예의 블럭도이다.
도 11은 도 2에 도시된 제220 단계의 또 다른 실시 예를 설명하기 위한 플로우차트이다.
도 12는 도 1에 도시된 영상 추출부의 또 다른 실시 예의 블럭도이다.
도 13은 도 2에 도시된 제220 단계의 또 다른 실시 예를 설명하기 위한 플로우차트이다.
도 14는 검출된 영상의 검증을 설명하기 위한 주변 영상을 예시적으로 나타낸다.
도 15는 도 6, 도 8, 도 10 및 도 12에 도시된 각 영상 검증부의 실시 예에 의한 블럭도이다.
도 16은 검출 영역과 경보 영역을 설명하기 위한 예시적인 주변 영상을 나타낸다.
도 17은 도 1에 도시된 이동체 정보 결정부의 실시 예에 의한 블럭도이다.
이하, 본 발명을 구체적으로 설명하기 위해 실시 예를 들어 설명하고, 발명에 대한 이해를 돕기 위해 첨부도면을 참조하여 상세하게 설명하기로 한다. 그러나, 본 발명에 따른 실시 예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상술하는 실시 예들에 한정되는 것으로 해석되지 않아야 한다. 본 발명의 실시 예들은 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다.
또한, 이하에서 이용되는 "제1" 및 "제2," "상/상부/위" 및 "하/하부/아래" 등과 같은 관계적 용어들은, 그런 실체 또는 요소들 간의 어떠한 물리적 또는 논리적 관계 또는 순서를 반드시 요구하거나 내포하지는 않으면서, 어느 한 실체 또는 요소를 다른 실체 또는 요소와 구별하기 위해서만 이용될 수도 있다.
도 1은 실시 예에 의한 후방카메라부(100-A), 무선수신 및 영상 송신부(100-B), 디스플레이부(100-C) 및 휴대기기(100-D)의 블록도를 도시한 것이다.
실시 예의 차량용 이동체 정보 제공 장치는 차량 후방의 영상을 획득하여 차량의 후방에 이동체의 이동이 있다는 경보를 생성하는 후방카메라부(100-A), 후방카메라부(100-A)에서 생성된 이동체의 이동에 대한 영상 및 경보를 수신하고 변환하여 디스플레이부(100-C) 및/또는 휴대기기(100-D)로 송신하는 무선수신 및 영상 송신부(100-B), 무선수신 및 영상 송신부(100-B)에서 변환하여 송신하는 이동체의 이동에 대한 영상 및 경보를 수신하여 사용자에게 디스플레이 하도록 구비되는 디스플레이부(100-C) 및 휴대기기(100-D)를 포함할 수 있다.
후방카메라부(100-A)는 차량 후방의 영상을 획득하도록 구비되는 영상 획득부(110-A), 영상 획득부(110-A)에서 획득한 영상으로부터 필요한 영상을 추출하도록 구비되는 영상 추출부(120-A), 영상 추출부(120-A)에서 추출된 영상을 이용하여 이동체에 대한 정보를 결정하도록 구비되는 이동체 정보 결정부(130-A) 및 이동체 정보 결정부(130-A)에서 결정된 이동체 정보를 이용하여 사용자에게 차량의 후방에 이동체의 이동이 있다는 경보를 생성하는 이동체 경보부(140-A)를 포함할 수 있다.
영상 획득부(110-A)는 차량이 후진하는 경우뿐만 아니라 차량이 주행중에도 실시간 또는 주기적으로 차량 후방의 영상을 획득하도록 구비될 수 있다.
따라서, 종래에는 차량이 후진하는 경우에 차량의 후방영상만을 획득하였다면 실시 예의 영상 획득부(110-A)는 차량이 후진하는 경우뿐만 아니라 주행 중에도 차량 후방의 영상을 획득함으로 인하여 차량에 구비되는 복수 개의 사이드 미러로 확인 할 수 없는 사각지대에 이동체의 이동에 대한 정보를 획득하여 사고를 미연에 방지하는 효과가 있다.
무선수신 및 영상 송신부(100-B)는 후방카메라부(100-A)에서 생성된 이동체의 이동에 대한 영상 및 정보를 수신하는 수신기(110-B) 및 수신기(110-B)에서 수신된 이동체의 이동에 대한 영상 및 경보를 전술한 디스플레이부(100-C) 및/또는 휴대기기(100-D)에서 디스플레이하기 적합하도록 변환하는 인코더(120-B)를 포함할 수 있다.
후방카메라부(100-A)는 이동체의 이동에 대한 영상 및 정보를 무선수신 및 영상 송신부(100-B)에 무선통신방식으로 전송할 수 있다.
후방카메라부(100-A)는 차량의 후방에 구비되는 것이 일반적이고, 디스플레이부(100-C)는 운전자가 볼 수 있는 차량의 전방부에 구비되는 것이 일반적이기 때문에 후방카메라부(100-A)와 무선수신 및 영상 송신부(100-B)는 소정거리 이격되게 배치된다.
따라서, 후방카메라부(100-A)와 무선수신 및 영상 송신부(100-B)가 유선통신방식으로 연결된다면 별도의 연결선이 필요하기 때문에 후방카메라부(100-A)가 이동체의 이동에 대한 영상 및 경보를 무선수신 및 영상 송신부(100-B)에 무선통신방식으로 전송함으로 인하여 구성이 간단해지는 효과가 있다.
다만 이는 일 실시 예를 설명하기 위한 것이지 사용자는 후방카메라부(100-A)와 무선수신 및 영상 송신부(100-B)를 유선통신방식으로 연결할 수도 있으며 이는 본 발명의 권리범위를 제한하지 아니한다.
후방카메라부(100-A)의 영상획득부(110-A)에서 획득하는 후방 영상의 해상도는 1920 X 1080 (Full HD)일 수 있다.
사용자에게 영상을 디스플레이 하는 디스플레이부(100-C) 및 휴대기기(100-D)의 해상도는 720 X 480 (NTSC)일 수 있다.
후방카메라부(100-A)의 영상획득부(110-A)에서 획득하는 후방 영상의 해상도 및 디스플레이부(100-C) 및 휴대기기(100-D)의 해상도는 본 발명이 속하는 기술분야의 통상의 기술자에게 자명하기 때문에 자세한 설명은 생략하도록 한다.
따라서, 무선수신 및 영상 송신부(100-B)는 후방카메라부(100-A)에서 전송하는 이동체의 이동에 대한 영상 및 경보를 수신하는 수신기(110-B) 및 후방카메라부(100-A)의 영상획득부(110-A)에서 획득하는 후방 영상의 해상도와 디스플레이부(100-C) 및 휴대기기(100-D)에서 디스플레이하기 위한 영상의 해상도는 서로 상이하기 때문에 무선수신 및 영상 송신부(100-B)는 인코더(120-B)를 포함할 수 있다.
인코더(120-B)에서 변환된 이동체의 이동에 대한 영상 및 경보는 디스플레이부(100-C) 및/또는 휴대기기(100-D)로 전송되어 사용자에게 이동체의 이동에 대한 정보를 디스플레이 할 수 있다.
종래의 차량용 이동체 정보 제공 장치는 차량이 후진하는 경우에 디스플레이부(100-C)를 통하여 제한적으로 차량 후방의 영상을 제공하였다.
하지만, 실시 예의 차량용 이동체 정보 제공 장치는 차량의 주행 중에도 사용자의 선택에 따라 디스플레이부(100-C)를 통하여 차량 후방의 영상뿐만 아니라 이동체의 이동에 대한 영상 및 경보를 사용자에게 디스플레이 할 수 있다.
또한, 실시 예의 차량용 이동체 정보 제공 장치는 차량의 주행 중에도 차량의 내부에 고정되도록 배치되는 디스플레이부(100-C)외에 차량의 내부에 착탈 가능하도록 구비되는 휴대기기(100-D)를 통하여 차량 후방의 이동체의 이동에 대한 영상 및 경보를 사용자에게 디스플레이 할 수 있다.
일반적으로 차량의 디스플레이부(100-C)는 차량의 후방 영상뿐만 아니라 차량의 상태에 대한 정보를 사용자에게 디스플레이 하도록 구비되기 때문에 차량의 후방 영상만을 디스플레이 하도록 사용되지 아니한다.
따라서, 사용자의 선택에 따라 차량의 디스플레이부(100-C)가 차량의 후방 영상이 아닌 차량의 상태에 대한 기타 정보를 디스플레이 하는 중에도 실시 예의 차량용 이동체 정보 제공 장치는 차량의 내부에 착탈 가능하게 구비되는 휴대기기(100-D)를 통하여 보다 적극적으로 차량 후방의 이동체의 이동에 대한 정보를 제공할 수 있다.
휴대기기(100-D)는 휴대전화기기로 구비될 수도 있으며 휴대전화기기뿐만 아니라 기타 무선통신이 가능하며 영상 정보를 디스플레이 할 수 있는 기능만 있는 디바이스(Device)라면 모두 가능하다.
도 2는 도 1에 도시된 후방카메라부(100-A)에서 수행되는 차량용 이동체 정보 제공 방법(200)을 설명하기 위한 플로우차트를 나타낸다.
이하, 도 2에 도시된 차량용 이동체 정보 제공 방법(200)은 도 1에 도시된 장치(100)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 2에 도시된 차량용 이동체 정보 제공 방법(200)은 다른 장치에서도 수행될 수 있음은 물론이다. 또한, 도 1에 도시된 후방카메라부(100-A)는 도 2에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 1에 도시된 후방카메라부(100-A)는 도 2에 도시된 방법(200)과 다른 순서로 동작할 수 있음은 물론이다.
도 1 및 도 2를 참조하면, 실시 예에 의한 후방카메라부(100-A)의 영상 획득부(110-A)는 차량의 주변 영상을 획득하고, 획득된 영상을 영상 추출부(120-A)로 출력한다(제210 단계). 이때, 획득된 주변 영상은 차량의 전방, 후방 또는 측방 중 적어도 한쪽 방향의 영상에 해당할 수 있다. 이를 위해, 예를 들어 영상 획득부(110-A)는 차량에 장착될 수 있는 소형 카메라의 형태로 구현될 수 있다.
도 3a 내지 도 5b는 실시 예에 의한 후방카메라부(100-A) 및 방법(200)을 설명하기 위한 다양한 주변 영상의 모습을 나타낸다.
제210 단계 후에, 영상 추출부(120-A)는 차량의 주변 영상으로부터 제1 영상또는 제2 영상 중 적어도 하나를 추출할 수 있다(제220 단계).
여기서, '제1 영상'이란 적어도 하나의 이동체의 상체에 대한 영상을 의미하고, '제2 영상'이란 적어도 하나의 이동체의 하체에 대한 영상을 의미한다. 예를 들어, 제1 영상은 도 4a와 도 4b에 도시된 바와 같이 쪼그려 앉은 이동체(MB)의 상체(I11)에 대한 영상을 의미하고, 제2 영상은 도 3a, 도 3b, 도 5a 및 도 5b에 도시된 바와 같이 서 있는 이동체(MB)의 하체(I21)에 대한 영상을 의미할 수 있다.
또한, '이동체'란, 차량 주변에 위치하는 대상물로서, 차량 주변에서 움직이지 않고 정지해 있지만 이동할 수 있는 대상물 또는 차량 주변에서 이동하는 대상물을 모두 의미할 수 있다. 예를 들어, 이동체란, 차량 주변에 쪼그리고 앉은 사람, 차량 주변을 지나가는 보행자, 차량 주변에 서 있는 사람, 자건거를 탄 사람 등이 될 수 있으며, 실시 예는 이동체의 종류에 국한되지 않는다. 예컨대, 차량 운행의 안전을 위해 차량의 운전자 또는 탑승자가 알 필요가 있는 어떠한 대상물도 이동체에 해당할 수 있다.
또한, 주변 영상에 담긴 이동체의 수는 단수 개일 수도 있고 복수 개일 수도 있다.
또한, 제1 영상은 '제1-1 영상' 또는 '제1-2 영상' 중 적어도 하나를 포함할 수 있다. 여기서, '제1-1 영상'이란 이동체의 상체 전부에 대한 영상을 의미하고, '제1-2 영상'이란 이동체의 상체 중 일부에 대한 영상을 의미할 수 있다. 예를 들어, 이동체가 사람인 경우 제1-1 영상이란 사람의 신체 중 상체에 대한 영상을 의미하고, 제1-2 영상이란 사람의 신체에서 상체의 일부분에 대한 영상을 의미할 수 있다. 예를 들어, 도 4a 및 도 4b를 참조하면, 제1-1 영상(I11)은 사람(MB)의 상체에 대한 영상이고, 제1-2 영상(I12)은 사람의 상체의 일부분인 머리에 대한 영상을 의미할 수 있다. 영상 추출부(120-A)는 제1-1 영상 또는 제1-2 영상 중 적어도 하나를 제1 영상으로서 추출할 수 있다.
또한, 제2 영상은 '제2-1 영상' 또는 '제2-2 영상' 중 적어도 하나를 포함할 수 있다. 여기서, '제2-1 영상'이란 이동체의 하체 전부에 대한 영상을 의미하고, '제2-2 영상'이란 이동체의 하체 중 일부분에 대한 영상을 의미할 수 있다. 예를 들어, 이동체가 사람인 경우 제2-1 영상이란 사람의 신체 중 하체에 대한 영상을 의미하고, 제2-2 영상이란 사람의 신체에서 하체의 일부분에 대한 영상을 의미할 수 있다. 예를 들어, 도 3a, 도 3b, 도 5a, 도 5b를 참조하면, 제2-1 영상(I21)은 사람(MB)의 하체에 대한 영상이고, 제2-2 영상(I22-1, I22-2)은 사람의 하체의 일부분인 발에 대한 영상을 의미할 수 있다. 여기서, 제2-2 영상(I22-1, I22-2)은 2개인 것으로 도시되어 있지만, 제2-2 영상은 한 개일 수도 있고 2개보다 많은 수도 있다. 영상 추출부(120-A)는 제2-1 영상 또는 제2-2 영상 중 적어도 하나를 제2 영상으로서 추출할 수 있다.
영상 획득부(110-A)에서 획득된 주변 영상은 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 적어도 하나를 포함할 수 있다. 예를 들어, 주변 영상은 도 3a 및 도 3b에 도시된 바와 같이 제2-1 영상(I21) 및 제2-2 영상(I22-1, I22-2)만을 포함하고 제1-1 및 제1-2 영상을 포함하지 않을 수도 있고, 도 5a 및 도 5b에 도시된 바와 같이 제1-1 영상, 제1-2 영상, 제2-1 영상(I21) 및 제2-2 영상(I22-1, I22-2)을 모두 포함할 수도 있다.
이하, 도 1에 도시된 영상 추출부(120-A) 및 도 2에 도시된 제220 단계의 실시 예에 대해 첨부된 도면을 참조하여 다음과 같이 설명한다.
도 6은 도 1에 도시된 영상 추출부(120-A)의 일 실시 예(120A)의 블럭도로서, 제1-1 영상 검출부(122A), 제1-1 영상 검증부(124A), 제1-2 영상 검출부(126A), 제1-2 영상 검증부(128A), 제2-1 영상 검출부(122B), 제2-1 영상 검증부(124B), 제2-2 영상 검출부(126B) 및 제2-2 영상 검증부(128B)를 포함할 수 있다.
도 7은 도 2에 도시된 제220 단계의 일 실시 예(220A)를 설명하기 위한 플로우차트이다.
이하, 도 7에 도시된 제220A 단계는 도 6에 도시된 영상 추출부(120A)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 7에 도시된 제220A 단계는 다른 구성을 갖는 영상 추출부(120-A)에서도 수행될 수 있음은 물론이다. 또한, 도 6에 도시된 영상 추출부(120A)는 도 7에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 6에 도시된 영상 추출부(120A)는 도 7에 도시된 방법과 다른 순서로 동작할 수 있음은 물론이다.
먼저, 영상 획득부(110-A)에서 획득된 주변 영상이 제2-1 영상을 포함하는가를 판단한다(제302 단계). 만일, 주변 영상이 제2-1 영상을 포함할 경우, 제2-1 영상 검출부(122B)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제2-1 영상을 검출할 수 있다(제314 단계).
제302 단계와 제314 단계는 제2-1 영상 검출부(122B)에서 수행될 수 있다. 왜냐하면, 주변 영상에 제2-1 영상이 포함되어 있을 경우 제2-1 영상 검출부(122B)에서 제2-1 영상을 검출할 수 있지만, 주변 영상에 제2-1 영상이 포함되어 있지 않을 경우 제2-1 영상 검출부(122B)에서 제2-1 영상을 검출할 수 없기 때문이다.
그러나, 주변 영상이 제2-1 영상을 포함하지 않을 경우, 주변 영상이 제1-1 영상을 포함하는가를 판단한다(제304 단계). 만일, 주변 영상이 제1-1 영상을 포함할 경우, 제1-1 영상 검출부(122A)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제1-1 영상을 검출한다(제306 단계).
제302 단계, 제304 단계 및 제306 단계는 제1-1 영상 검출부(122A)에서 수행될 수 있다. 왜냐하면, 주변 영상에 제1-1 영상이 포함되어 있을 경우 제1-1 영상 검출부(122A)에서 제1-1 영상을 검출할 수 있고, 주변 영상에 제1-1 영상이 포함되어 있지 않을 경우 제1-1 영상 검출부(122A)에서 제1-1 영상을 검출할 수 없기 때문이다.
차량 주변의 상황에 따라, 주변 영상이 제1-1 영상과 제2-1 영상을 모두 포함할 경우, 즉, 차량 주변에 위치한 이동체의 상체와 하체가 모두 주변 영상에 담겨져 있을 경우, 실시 예에 의한 영상 추출부(120, 120A)는 상체에 관련된 제1 영상 또는 하체에 관련된 제2 영상 중 적어도 하나를 추출할 수 있다. 도 7에 도시된 실시 예(220A)는, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있더라도, 제1 영상을 검출하지 않고 제2 영상만을 검출한다. 예를 들어, 도 5a 및 도 5b에 도시된 바와 같이, 주변 영상에 제1 영상과 제2 영상이 모두 담겨 있을 경우, 영상 추출부(120A)는 제2 영상(I21)만을 검출할 수 있다. 그러나, 실시 예는 이에 국한되지 않는다.
다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 영상 추출부(120A)는 제2 영상을 검출하지 않고 제1 영상만을 검출할 수도 있다. 예를 들어, 도 4a 및 도 4b에 예시된 바와 같이 이동체(MB)가 쪼그려 앉아 있을 경우 하체가 가려지므로, 주변 영상에서 제1 영상(I11)만을 검출할 수도 있다.
또 다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 영상 추출부(120A)는 제1 영상과 제2 영상을 모두 검출할 수도 있다.
한편, 제306 단계 후에, 제1-1 영상 검증부(124A)는 제1-1 영상 검출부(122A)에서 검출된 제1-1 영상을 검증하고, 검증된 결과를 제1-2 영상 검출부(126A)로 출력할 수 있다(제308 단계). 또한, 제314 단계 후에, 제2-1 영상 검증부(124B)는 제2-1 영상 검출부(122B)에서 검출된 제2-1 영상을 검증하고, 검증된 결과를 제2-2 영상 검출부(126B)로 출력할 수 있다(제316 단계).
또한, 제308 단계 후에, 제1-2 영상 검출부(126A)는 제1-1 영상 검증부(124A)에서 검증된 제1-1 영상으로부터 제1-2 영상을 검출한다(제310 단계). 또한, 제316 단계 후에, 제2-2 영상 검출부(126B)는 제2-1 영상 검증부(124B)에서 검증된 제2-1 영상으로부터 제2-2 영상을 검출한다(제318 단계).
경우에 따라, 도 6에 도시된 제1-1 영상 검증부(124A) 또는 제2-1 영상 검증부(124B) 중 적어도 하나 및 도 7에 도시된 제308 단계 또는 제316 단계 중 적어도 하나는 생략될 수도 있다. 만일, 제1-1 영상 검증부(124A)와 제308 단계가 생략될 경우, 제306 단계 후에, 제1-2 영상 검출부(126A)는 제1-1 영상 검출부(122A)에서 검출된 제1-1 영상으로부터 제1-2 영상을 검출한다(제310 단계). 또한, 제2-1 영상 검증부(124B)와 제316 단계가 생략될 경우, 제314 단계 후에, 제2-2 영상 검출부(126B)는 제2-1 영상 검출부(122B)에서 검출된 제2-1 영상으로부터 제2-2 영상을 검출한다(제318 단계).
제310 단계 후에, 제1-2 영상 검증부(128A)는 제1-2 영상 검출부(126A)에서 검출된 제1-2 영상을 검증하고, 검증된 결과를 출력단자 OUT11을 통해 이동체 정보 결정부(130-A)로 출력할 수 있다(제312 단계). 또한, 제318 단계 후에, 제2-2 영상 검증부(128B)는 제2-2 영상 검출부(126B)에서 검출된 제2-2 영상을 검증하고, 검증된 결과를 출력단자 OUT21을 통해 이동체 정보 결정부(130-A)로 출력한다(제320 단계).
다른 실시 예에 의하면, 도 6에 도시된 제1-2 영상 검증부(128A) 또는 제2-2 영상 검증부(128B) 중 적어도 하나는 생략될 수 있고, 도 7에 도시된 제312 단계 또는 제320 단계 중 적어도 하나는 생략될 수도 있다.
또 다른 실시 예에 의하면, 도 6에 도시된 제1-1 영상 검출부(122A), 제1-1 영상 검증부(124A), 제2-1 영상 검출부(122B) 및 제2-1 영상 검증부(124B)는 생략되고, 도 7에 도시된 제306, 제308, 제314 및 제316 단계는 생략될 수 있다. 이 경우, 제1-2 영상 검출부(126A)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제1-2 영상을 검출할 수 있고, 제2-2 영상 검출부(126B)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제2-2 영상을 검출할 수 있다. 제1-2 영상 검증부(128A)와 제2-2 영상 검증부(128B)의 동작은 전술한 바와 같다. 따라서, 영상 추출부(120A)로부터 이동체 정보 결정부(130-A)로 제1-1 영상과 제2-1 영상은 제공되지 않고, 제1-2 또는 제2-2 영상 중 적어도 하나가 제공된다.
또 다른 실시 예에 의하면, 도 6에 도시된 제1-2 영상 검출부(126A), 제1-2 영상 검증부(128A), 제2-2 영상 검출부(126B) 및 제2-2 영상 검증부(128B)는 생략되고, 도 7에 도시된 제310, 제312, 제318 및 제320 단계는 생략될 수 있다. 이 경우, 제1-1 영상 검증부(124A)에서 검증된 제1-1 영상은 출력단자 OUT11을 통해 이동체 정보 결정부(130-A)로 출력되고, 제2-1 영상 검증부(124B)에서 검증된 제2-1 영상은 출력단자 OUT21을 통해 이동체 정보 결정부(130-A)로 출력될 수 있다. 따라서, 영상 추출부(120A)로부터 이동체 정보 결정부(130-A)로 제1-2 영상과 제2-2 영상은 제공되지 않고, 제1-1 또는 제2-1 영상 중 적어도 하나가 제공된다.
제1-1 영상 검출부(122A), 제1-2 영상 검출부(122B), 제1-2 영상 검출부(126A) 및 제2-2 영상 검출부(126B)에서 각각 해당하는 영상을 검출하는 방법은 다양할 수 있다. 예를 들어, 이동체의 종류별로 제1-1, 제1-2, 제2-1 및 제2-2 영상 각각의 정형화된 패턴을 미리 만들어서 저장한 후, 저장된 패턴을 주변 영상의 패턴과 비교함으로서, 주변 영상으로부터 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 검출할 수 있다.
일반적으로, 제1-2 영상의 패턴의 크기보다 제1-1 영상의 패턴의 크기가 더 크고, 제2-2 영상의 패턴의 크기보다 제2-1 영상의 패턴의 크기가 더 크다. 따라서, 주변 영상으로부터 제1-2 또는 제2-2 영상을 직접 검출할 경우, 제1-2 또는 제2-2 영상의 작은 크기의 패턴을 주변 영상의 패턴과 비교하여야 하므로, 연산량이 많아질 수 있다. 그러나, 도 6 및 도 7에 도시된 실시 예의 경우, 제1-2 또는 제2-2 영상의 패턴 대신에 제1-1 또는 제2-1 영상의 패턴을 주변 영상과 비교하여 제1-1 또는 제2-1 영상을 먼저 검출한 후, 제1-2 또는 제2-2 영상의 패턴을 주변 영상의 패턴보다 적은 크기의 패턴을 갖는 제1-1 또는 제2-1 영상의 패턴과 비교한다. 따라서, 제1-2 또는 제2-2 영상을 검출하기 위한 연산량이 감소할 수 있다.
도 8은 도 1에 도시된 영상 추출부(120-A)의 다른 실시 예(120B)의 블럭도로서, 제1-1-1 및 제1-1-2 영상 검출부(122A-1, 122A-2), 제1-1-1 및 제1-1-2 영상 검증부(124A-1, 124A-2), 제1-2-1 및 제1-2-2 영상 검출부(126A-1, 126A-2), 제1-2-1 및 제1-2-2 영상 검증부(128A-1, 128A-2), 제2-1-1 및 제2-1-2 영상 검출부(122B-1, 122B-2), 제2-1-1 및 제2-1-2 영상 검증부(124B-1, 124B-2), 제2-2-1 및 제2-2-2 영상 검출부(126B-1, 126B-2), 제2-2-1 및 제2-2-2 영상 검증부(128B-1, 128B-2)를 포함할 수 있다.
도 9는 도 2에 도시된 제220 단계의 다른 실시 예(220B)를 설명하기 위한 플로우차트이다.
이하, 도 9에 도시된 제220B 단계는 도 8에 도시된 영상 추출부(120B)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 9에 도시된 제220B 단계는 다른 구성을 갖는 영상 추출부(120-A)에서도 수행될 수 있음은 물론이다. 또한, 도 8에 도시된 영상 추출부(120B)는 도 9에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 8에 도시된 영상 추출부(120B)는 도 9에 도시된 방법(220B)과 다른 순서로 동작할 수 있음은 물론이다.
도 8에 도시된 영상 추출부(120B)는 영상 획득부(110-A)에서 획득된 주변 영상을 입력단자 IN1을 통해 받고, 주변 영상으로부터 차량을 기준으로 이동체가 향한 방향별로 제1 또는 제2 영상 중 적어도 하나를 추출할 수 있다. 편의상, 이동체의 정면으로 차량을 향한 방향을 제1 방향이라 정의하고, 제1 방향과 다른 방향을 제2 방향이라 정의한다. 따라서, 이동체가 차량을 향하고 있을 경우 즉, 이동체가 제1 방향을 향할 경우 주변 영상은 이동체의 정면 영상을 포함한다. 또한, 이동체가 차량을 등지도록 향하거나 이동체의 측부가 차량을 향하고 있을 경우 즉, 이동체가 제2 방향을 향할 경우 주변 영상은 이동체의 측부 또는 후부 영상을 포함한다. 이와 같이, 영상 추출부(120B)는 이동체가 향한 방향별로 제1 영상 또는 제2 영상 중 적어도 하나를 추출할 수 있다.
먼저, 영상 획득부(110-A)에서 획득된 주변 영상이 제2-1 영상을 포함하는가를 판단한다(제402 단계). 만일, 주변 영상이 제2-1 영상을 포함할 경우, 이동체가 제1 방향을 향하는가를 판단한다(제408 단계). 만일, 이동체가 제1 방향을 향할 경우, 제2-1-1 영상 검출부(122B-1)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제1 방향에서의 제2-1 영상을 검출한다(제432 단계).
제402 단계, 제408 단계 및 제432 단계는 제2-1-1 영상 검출부(122B-1)에서 수행된다. 왜냐하면, 주변 영상에 제1 방향을 향하는 이동체의 하체 전부에 대한 제2-1 영상이 포함되어 있을 경우 제2-1-1 영상 검출부(122B-1)에서 제1 방향에서의 제2-1 영상을 검출할 수 있지만, 주변 영상에 제1 방향에서의 제2-1 영상이 포함되어 있지 않을 경우 제2-1-1 영상 검출부(122B-1)는 제1 방향에서의 제2-1 영상을 검출할 수 없기 때문이다.
그러나, 주변 영상이 제2-1 영상을 포함하되, 이동체가 제1 방향을 향하지 않고 제2 방향을 향할 경우, 제2-1-2 영상 검출부(122B-2)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제1 방향과 다른 제2 방향에서의 제2-1 영상을 검출한다(제442 단계).
제402 단계, 제408 단계 및 제442 단계는 제2-1-2 영상 검출부(122B-2)에서 수행된다. 왜냐하면, 주변 영상에 제2 방향을 향하는 이동체의 하체 전부에 대한 제2-1 영상이 포함되어 있을 경우 제2-1-2 영상 검출부(122B-2)에서 제2 방향에서의 제2-1 영상을 검출할 수 있지만, 주변 영상에 제2 방향에서의 제2-1 영상이 포함되어 있지 않을 경우 제2-1-2 영상 검출부(122B-2)는 제2 방향에서의 제2-1 영상을 검출할 수 없기 때문이다.
또한, 주변 영상이 제2-1 영상을 포함하지 않을 경우, 주변 영상이 제1-1 영상을 포함하는가를 판단한다(제404 단계). 만일, 주변 영상이 제1-1 영상을 포함할 경우, 이동체가 제1 방향을 향하는가를 판단한다(제406 단계). 만일, 이동체가 제1 방향을 향할 경우, 제1-1-1 영상 검출부(122A-1)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제1 방향에서의 제1-1 영상을 검출한다(제412 단계).
제402 단계, 제404 단계, 제406 단계 및 제412 단계는 제1-1-1 영상 검출부(122A-1)에서 수행된다. 왜냐하면, 주변 영상에 제1 방향을 향하는 이동체의 상체 전부에 대한 제1-1 영상이 포함되어 있을 경우 제1-1-1 영상 검출부(122A-1)에서 제1 방향에서의 제1-1 영상을 검출할 수 있지만, 주변 영상에 제1 방향에서의 제1-1 영상이 포함되어 있지 않을 경우 제1-1-1 영상 검출부(122A-1)는 제1 방향에서의 제1-1 영상을 검출할 수 없기 때문이다.
그러나, 주변 영상이 제1-1 영상을 포함하지만 이동체가 제1 방향과 다른 제2 방향을 향할 경우, 제1-1-2 영상 검출부(122A-2)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제2 방향에서의 제1-1 영상을 검출한다(제422 단계).
제402 단계, 제404 단계, 제406 단계 및 제422 단계는 제1-1-2 영상 검출부(122A-2)에서 수행된다. 왜냐하면, 주변 영상에 제2 방향을 향하는 이동체의 상체 전부에 대한 제1-1 영상이 포함되어 있을 경우 제1-1-2 영상 검출부(122A-2)에서 제2 방향에서의 제1-1 영상을 검출할 수 있지만, 주변 영상에 제2 방향에서의 제1-1 영상이 포함되어 있지 않을 경우, 제1-1-2 영상 검출부(122A-2)는 제2 방향에서의 제1-1 영상을 검출할 수 없기 때문이다.
도 9에 도시된 제220B 단계의 경우, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 때, 제1 영상을 검출하지 않고 제2 영상만을 검출하는 것으로 도시되어 있지만 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우 제2 영상을 검출하지 않고 제1 영상만을 검출할 수도 있다. 또 다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 제1 영상과 제2 영상을 모두 검출할 수도 있다.
제412 단계 후에, 제1-1-1 영상 검증부(124A-1)는 제1-1-1 영상 검출부(122A-1)에서 검출된 제1 방향에서의 제1-1 영상을 검증하고, 검증된 결과를 제1-2-1 영상 검출부(126A-1)로 출력할 수 있다(제414 단계). 또한, 제432 단계 후에, 제2-1-1 영상 검증부(124B-1)는 제2-1-1 영상 검출부(122B-1)에서 검출된 제1 방향에서의 제2-1 영상을 검증하고, 검증된 결과를 제2-2-1 영상 검출부(126B-1)로 출력할 수 있다(제434 단계).
제422 단계 후에, 제1-1-2 영상 검증부(124A-2)는 제1-1-2 영상 검출부(122A-2)에서 검출된 제2 방향에서의 제1-1 영상을 검증하고, 검증된 결과를 제1-2-2 영상 검출부(126A-2)로 출력할 수 있다(제424 단계).
제442 단계 후에, 제2-1-2 영상 검증부(124B-2)는 제2-1-2 영상 검출부(122B-2)에서 검출된 제2 방향에서의 제2-1 영상을 검증하고, 검증된 결과를 제2-2-2 영상 검출부(126B-2)로 출력할 수 있다(제444 단계).
제414 단계 후에, 제1-2-1 영상 검출부(126A-1)는 제1-1-1 영상 검증부(124A-1)에서 검증된 제1 방향에서의 제1-1 영상으로부터 제1 방향에서의 제1-2 영상을 검출한다(제416 단계).
제424 단계 후에, 제1-2-2 영상 검출부(126A-2)는 제1-1-2 영상 검증부(124A-2)에서 검증된 제2 방향에서의 제1-1 영상으로부터 제2 방향에서의 제1-2 영상을 검출한다(제426 단계).
제434 단계 후에, 제2-2-1 영상 검출부(126B-1)는 제2-1-1 영상 검증부(124B-1)에서 검증된 제1 방향에서의 제2-1 영상으로부터 제1 방향에서의 제2-2 영상을 검출하고, 검출된 제1 방향에서의 제2-2 영상을 제2-2-1 영상 검증부(128B-1)로 출력할 수 있다(제436 단계).
제444 단계 후에, 제2-2-2 영상 검출부(126B-2)는 제2-1-2 영상 검증부(124B-2)에서 검증된 제2 방향에서의 제2-1 영상으로부터 제2 방향에서의 제2-2 영상을 검출하고, 검출된 영상을 제2-2-2 영상 검증부(128B-2)로 출력할 수 있다(제446 단계).
경우에 따라, 도 8에 도시된 제1-1-1, 제1-1-2, 제2-1-1 또는 제2-1-2 영상 검증부(124A-1, 124A-2, 124B-1, 124B-2) 중 적어도 하나는 생략될 수 있고, 도 9에 도시된 제414, 제424, 제434 또는 제444 단계 중 적어도 하나는 생략될 수도 있다.
만일, 제1-1-1 영상 검증부(124A-1)와 제414 단계가 생략될 경우, 제1-2-1 영상 검출부(126A-1)는 제1-1-1 영상 검출부(122A-1)에서 검출된 제1 방향에서의 제1-1 영상으로부터 제1 방향에서의 제1-2 영상을 검출하고, 검출된 제1 방향에서의 제1-2 영상을 제1-2-1 영상 검출부(128A-1)로 출력할 수 있다.
또한, 제1-1-2 영상 검증부(124A-2)와 제424 단계가 생략될 경우, 제1-2-2 영상 검출부(126A-2)는 제1-1-2 영상 검출부(122A-2)에서 검출된 제2 방향에서의 제1-1 영상으로부터 제2 방향에서의 제1-2 영상을 검출하고, 검출된 제2 방향에서의 제1-2 영상을 제1-2-2 영상 검출부(128A-2)로 출력할 수 있다.
또한, 제2-1-1 영상 검증부(124B-1)와 제434 단계가 생략될 경우, 제2-2-1 영상 검출부(126B-1)는 제2-1-1 영상 검출부(122B-1)에서 검출된 제1 방향에서의 제2-1 영상으로부터 제1 방향에서의 제2-2 영상을 검출하고, 검출된 제1 방향에서의 제2-2 영상을 제2-2-1 영상 검증부(128B-1)로 출력할 수 있다.
또한, 제2-1-2 영상 검증부(124B-2)와 제444 단계가 생략될 경우, 제2-2-2 영상 검출부(126B-2)는 제2-1-2 영상 검출부(122B-2)에서 검출된 제2 방향에서의 제2-1 영상으로부터 제2 방향에서의 제2-2 영상을 검출하고, 검출된 제2 방향에서의 제2-2 영상을 제2-2-2 영상 검증부(128B-2)로 출력할 수 있다.
또 다른 실시 예에 의하면, 도 8에 도시된 제1-1-1 영상 검출부(122A-1), 제1-1-1 영상 검증부(124A-1), 제1-1-2 영상 검출부(122A-2), 제1-1-2 영상 검증부(124A-2), 제2-1-1 영상 검출부(122B-1), 제2-1-1 영상 검증부(124B-1), 제2-1-2 영상 검출부(122B-2) 및 제2-1-2 영상 검증부(124B-2)는 생략될 수 있다. 즉, 도 9에 도시된 제412, 제414, 제422, 제424, 제432, 제434, 제442 및 제444 단계는 생략될 수 있다. 이 경우, 제1-2-1 영상 검출부(126A-1)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제1 방향에서의 제1-2 영상을 검출하고(제416 단계), 제1-2-2 영상 검출부(126A-2)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제2 방향에서의 제1-2 영상을 검출할 수 있다(제426 단계). 또한, 제2-2-1 영상 검출부(126B-1)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제1 방향에서의 제2-2 영상을 검출하고(제436 단계), 제2-2-2 영상 검출부(126B-2)는 입력단자 IN1을 통해 제공된 주변 영상으로부터 제2 방향에서의 제2-2 영상을 검출할 수 있다(제446 단계). 따라서, 영상 추출부(120B)로부터 이동체 정보 결정부(130-A)로 제1-1 영상과 제2-1 영상은 제공되지 않고, 제1 또는 제2 방향의 제1-2 또는 제2-2 영상 중 적어도 하나가 제공된다.
또 다른 실시 예에 의하면, 도 8에 도시된 제1-2-1 영상 검출부(126A-1), 제1-2-1 영상 검증부(128A-1), 제1-2-2 영상 검출부(126A-2), 제1-2-2 영상 검증부(128A-2), 제2-2-1 영상 검출부(126B-1), 제2-2-1 영상 검증부(128B-1), 제2-2-2 영상 검출부(126B-2) 및 제2-2-2 영상 검증부(128B-2)는 생략될 수 있다. 즉, 도 9에 도시된 제416, 제418, 제426, 제428, 제436, 제438, 제446 및 제448 단계는 생략될 수 있다. 이 경우, 제1-1-1 영상 검증부(124A-1)에서 검증된 제1 방향에서의 제1-1 영상은 출력단자 OUT111을 통해 이동체 정보 결정부(130-A)로 출력되고, 제1-1-2 영상 검증부(124A-2)에서 검증된 제2 방향에서의 제1-1 영상은 출력단자 OUT112를 통해 이동체 정보 결정부(130-A)로 출력될 수 있다. 또한, 제2-1-1 영상 검증부(124B-1)에서 검증된 제1 방향에서의 제2-1 영상은 출력단자 OUT211을 통해 이동체 정보 결정부(130-A)로 출력되고, 제2-1-2 영상 검증부(124B-2)에서 검증된 제2 방향에서의 제2-1 영상은 출력단자 OUT212를 통해 이동체 정보 결정부(130-A)로 출력될 수 있다. 따라서, 영상 추출부(120B)로부터 이동체 정보 결정부(130-A)로 제1-2 영상과 제2-2 영상은 제공되지 않고, 제1 또는 제2 방향의 제1-1 또는 제2-1 영상 중 적어도 하나가 제공된다.
한편, 제416 단계 후에 제1-2-1 영상 검증부(128A-1)는 제1-2-1 영상 검출부(126A-1)에서 검출된 제1 방향에서의 제1-2 영상을 검증하고, 검증된 결과를 출력단자 OUT111을 통해 이동체 정보 결정부(130-A)로 출력할 수 있다(제418 단계).
제426 단계 후에, 제1-2-2 영상 검증부(128A-2)는 제1-2-2 영상 검출부(126A-2)에서 검출된 제2 방향에서의 제1-2 영상을 검증하고, 검증된 결과를 출력단자 OUT112를 통해 이동체 정보 결정부(130-A)로 출력할 수 있다(제428 단계).
제436 단계 후에, 제2-2-1 영상 검증부(128B-1)는 제2-2-1 영상 검출부(126B-1)에서 검출된 제1 방향에서의 제2-2 영상을 검증하고, 검증된 결과를 출력단자 OUT211을 통해 이동체 정보 결정부(130-A)로 출력할 수 있다(제438 단계).
제446 단계 후에, 제2-2-2 영상 검증부(128B-2)는 제2-2-2 영상 검출부(126B-2)에서 검출된 제2 방향에서의 제2-2 영상을 검증하고, 검증된 결과를 출력단자 OUT212를 통해 이동체 정보 결정부(130-A)로 출력할 수 있다(제448 단계).
경우에 따라서, 제1-2-1, 제1-2-2, 제2-2-1 또는 제2-2-2 영상 검증부(128A-1, 128A-2, 128B-1, 128B-2) 중 적어도 하나는 생략될 수 있다.
도 10은 도 1에 도시된 영상 추출부(120-A)의 또 다른 실시 예(120C)의 블럭도로서, 제1 및 제2 공통 영상 검출부(121A, 121B), 제1 및 제2 영상 분류부(123A, 123B), 제1-1-1 및 제1-1-2 영상 검증부(124A-1, 124A-2), 제1-2-1 및 제1-2-2 영상 검출부(126A-1, 126A-2), 제1-2-1 및 제1-2-2 영상 검증부(128A-1, 128A-2), 제2-1-1 및 제2-1-2 영상 검증부(124B-1, 124B-2), 제2-2-1 및 제2-2-2 영상 검출부(126B-1, 126B-2), 제2-2-1 및 제2-2-2 영상 검증부(128B-1, 128B-2)를 포함할 수 있다.
도 11은 도 2에 도시된 제220 단계의 또 다른 실시 예(220C)를 설명하기 위한 플로우차트이다.
이하, 도 11에 도시된 제220C 단계는 도 10에 도시된 영상 추출부(120C)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 11에 도시된 제220C 단계는 다른 구성을 갖는 영상 추출부(120-A)에서도 수행될 수 있음은 물론이다. 또한, 도 10에 도시된 영상 추출부(120C)는 도 11에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 10에 도시된 영상 추출부(120C)는 도 11에 도시된 방법(220C)과 다른 순서로 동작할 수 있음은 물론이다.
먼저, 영상 획득부(110-A)에서 획득된 주변 영상이 제2-1 영상을 포함하는가를 판단한다(제502 단계). 만일, 주변 영상이 제2-1 영상을 포함할 경우, 제2 공통 영상 검출부(121B)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제2-1 영상을 검출한다(제510 단계).
제502 단계 및 제510 단계는 제2 공통 영상 검출부(121B)에서 수행된다. 왜냐하면, 주변 영상에 이동체의 하체 전부에 대한 제2-1 영상이 포함되어 있을 경우 제2 공통 영상 검출부(121B)에서 제2-1 영상을 검출할 수 있지만, 주변 영상에 제2-1 영상이 포함되어 있지 않을 경우 제2 공통 영상 검출부(121B)는 제2-1 영상을 검출하지 않기 때문이다.
그러나, 주변 영상이 제2-1 영상을 포함하지 않을 경우, 주변 영상이 제1-1 영상을 포함하는가를 판단한다(제504 단계). 만일, 주변 영상이 제1-1 영상을 포함할 경우, 제1 공통 영상 검출부(121A)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제1-1 영상을 검출한다(제506 단계).
제502 단계, 제504 단계 및 제506 단계는 제1 공통 영상 검출부(121A)에서 수행된다. 왜냐하면, 주변 영상에 이동체의 상체 전부에 대한 제1-1 영상이 포함되어 있을 경우 제1 공통 영상 검출부(121A)에서 제1-1 영상을 검출할 수 있지만, 주변 영상에 제1-1 영상이 포함되어 있지 않을 경우 제1 공통 영상 검출부(121A)는 제1-1 영상을 검출하지 않기 때문이다.
도 11에 도시된 제220C 단계의 경우, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 주변 영상으로부터 제1 영상을 검출하지 않고 제2 영상만을 검출하는 것으로 도시되어 있지만 실시 예는 이에 국한되지 않는다.
다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우 제2 영상을 검출하지 않고 제1 영상만을 검출할 수도 있다.
또 다른 실시 예에 의하면, 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 제1 영상과 제2 영상을 모두 검출할 수도 있다.
제506 단계 후에, 이동체가 제1 방향을 향하는가를 판단한다(제508 단계). 만일, 이동체가 제1 방향을 향할 경우, 제1 영상 분류부(123A)는 제1 공통 영상 검출부(121A)에서 검출된 제1-1 영상으로부터 제1 방향에서의 제1-1 영상을 분류해내며, 분류된 제1 방향에서의 제1-1 영상을 제1-1-1 영상 검증부(124A-1)로 출력한다(제522 단계). 그러나, 이동체가 제2 방향을 향할 경우, 제1 영상 분류부(123A)는 제1 공통 영상 검출부(121A)에서 검출된 제1-1 영상으로부터 제2 방향에서의 제1-1 영상을 분류해내며, 분류된 제2 방향에서의 제1-1 영상을 제1-1-2 영상 검증부(124A-2)로 출력한다(제532 단계). 이와 같이, 제1 영상 분류부(123A)는 이동체가 향하는 방향별로 제1-1 영상을 분류해내는 역할을 한다.
여기서, 제1 및 제2 방향은 도 8 및 도 9에 도시된 실시 예에 의한 차량용 이동체 정보 제공 장치(120B) 및 방법(220B)에서 설명한 바와 같다.
제508 단계, 제522 단계 및 제532 단계는 제1 영상 분류부(123A)에서 수행된다. 왜냐하면, 제1-1 영상을 포함하는 주변 영상에 담긴 이동체가 제1 방향을 향하거나 제2 방향을 향할 경우, 제1 영상 분류부(123A)는 이들을 방향별로 분류할 수 있기 때문이다.
제1 영상 분류부(123A)는 전술한 동작을 수행하기 위해, 제1 방향 또는 제2 방향의 제1-1 영상의 정형화된 패턴을 미리 저장하고, 미리 저장한 패턴을 제1 공통 영상 검출부(121A)에서 검출된 제1-1 영상의 패턴과 비교하여, 해당하는 제1 또는 제2 방향의 제1-1 영상을 분류해낼 수 있다.
제510 단계 후에, 이동체가 제1 방향을 향하는가를 판단한다(제512 단계). 만일, 이동체가 제1 방향을 향할 경우, 제2 영상 분류부(123B)는 제2 공통 영상 검출부(121B)에서 검출된 제2-1 영상으로부터 제1 방향에서의 제2-1 영상을 분류해내며, 분류된 제1 방향에서의 제2-1 영상을 제2-1-1 영상 검증부(124B-1)로 출력한다(제542 단계). 그러나, 이동체가 제2 방향을 향할 경우, 제2 영상 분류부(123B)는 제2 공통 영상 검출부(121B)에서 검출된 제2-1 영상으로부터 제2 방향에서의 제2-1 영상을 분류해내며, 분류된 제2 방향에서의 제2-1 영상을 제2-1-2 영상 검증부(124B-2)로 출력한다(제552 단계). 이와 같이, 제2 영상 분류부(123B)는 이동체가 향하는 방향별로 제2-1 영상을 분류해내는 역할을 한다.
제512 단계, 제542 단계 및 제552 단계는 제2 영상 분류부(123B)에서 수행된다. 왜냐하면, 제2-1 영상을 포함하는 주변 영상에 담긴 이동체가 제1 방향을 향하거나 제2 방향을 향할 경우, 제2 영상 분류부(123B)는 이들을 방향별로 분류할 수 있기 때문이다.
제2 영상 분류부(123B)는 전술한 동작을 수행하기 위해, 제1 방향 또는 제2 방향의 제2-1 영상의 정형화된 패턴을 미리 저장하고, 미리 저장한 패턴을 제2 공통 영상 검출부(121B)에서 검출된 제2-1 영상의 패턴과 비교하여, 제1 또는 제2 방향에서의 제2-1 영상을 분류해낼 수 있다.
그 밖에, 도 10에 도시된 제1-1-1 및 제1-1-2 영상 검증부(124A-1, 124A-2), 제1-2-1 및 제1-2-2 영상 검출부(126A-1, 126A-2), 제1-2-1 및 제1-2-2 영상 검증부(128A-1, 128A-2), 제2-1-1 및 제2-1-2 영상 검증부(124B-1, 124B-2), 제2-2-1 및 제2-2-2 영상 검출부(126B-1, 126B-2), 제2-2-1 및 제2-2-2 영상 검증부(128B-1, 128B-2)는 도 8에 도시된 제1-1-1 영상 검증부(124A-1, 124A-2), 제1-2-1 및 제1-2-2 영상 검출부(126A-1, 126A-2), 제1-2-1 및 제1-2-2 영상 검증부(128A-1, 128A-2), 제2-1-1 및 제2-1-2 영상 검증부(124B-1, 124B-2), 제2-2-1 및 제2-2-2 영상 검출부(126B-1, 126B-2), 제2-2-1 및 제2-2-2 영상 검증부(128B-1, 128B-2)와 각각 동일하며, 동일한 기능을 수행하므로, 동일한 참조부호를 사용하였으며, 이들에 대한 중복되는 설명을 생략한다.
또한, 도 11에 도시된 제524, 제526, 제528, 제534, 제536, 제538, 제544, 제546, 제548, 제554, 제556 및 제558 단계는 도 9에 도시된 제414, 제416, 제418, 제424, 제426, 제428, 제434, 제436, 제438, 제444, 제446 및 제448 단계와 각각 동일하므로 이들에 대한 중복되는 상세한 설명을 생략한다.
즉, 제522 단계 후에, 제1-1-1 영상 검증부(122A-1)는 제1 영상 분류부(123A)에서 분류된 제1 방향에서의 제1-1 영상을 검증하고, 검증된 결과를 제1-2-1 영상 검출부(126A-1)로 출력할 수 있다(제524 단계). 또한, 제542 단계 후에, 제2-1-1 영상 검증부(124B-1)는 제2 영상 분류부(123B)에서 분류된 제1 방향에서의 제2-1 영상을 검증하고, 검증된 결과를 제2-2-1 영상 검출부(126B-1)로 출력할 수 있다(제544 단계).
또한, 제532 단계 후에, 제1-1-2 영상 검증부(124A-2)는 제1 영상 분류부(123A)에서 검출된 제2 방향에서의 제1-1 영상을 검증하고, 검증된 결과를 제1-2-2 영상 검출부(126A-2)로 출력할 수 있다(제534 단계). 제552 단계 후에, 제2-1-2 영상 검증부(124B-2)는 제2 영상 분류부(123B)에서 검출된 제2 방향에서의 제2-1 영상을 검증하고, 검증된 결과를 제2-2-2 영상 검출부(126B-2)로 출력할 수 있다(제554 단계).
도 8 및 도 9에 도시된 실시 예의 경우 제1 또는 제2 방향의 제1-1 영상이나 제1 또는 제2 방향의 제2-1 영상을 검출하기 위해, 제1 또는 제2 방향의 제1-1 영상이 갖는 제1 패턴 또는 제1 또는 제2 방향의 제2-1 영상이 갖는 제2 패턴을 주변 영상이 갖는 전체 패턴과 일일이 비교하므로, 연산량이 증가한다. 반면에, 도 10 및 도 11에 도시된 실시 예의 경우, 주변 영상으로부터 제1-1 또는 제2-1 영상을 먼저 검출한 후에, 제1 또는 제2 방향의 제1-1 영상이 갖는 제1 패턴 또는 제1 또는 제2 방향의 제2-1 영상이 갖는 제2 패턴을 주변 영상이 갖는 전체 패턴 대신에 검출된 제1-1 또는 제2-1 영상이 갖는 패턴과 비교하므로, 연산량이 감소할 수 있다. 또한, 연산량뿐만 아니라, 이동체 정보 결정부(130-A)로 제1 또는 제2 영상을 제공하기 위해 소요되는 시간적인 측면에서, 도 10 및 도 11에 도시된 실시 예는 도 8 및 도 9에 도시된 실시 예보다 유리할 수 있다.
또한, 전술한 도 8 내지 도 11에 도시된 실시 예에서 이동체가 향하는 방향의 종류가 제1 및 제2 방향으로서 2가지인 것으로 기술되어 있지만, 실시 예는 이에 국한되지 않는다. 즉, 이동체가 향하는 방향은 다양할 수 있다. 예를 들어, 전술한 바와 같이 이동체가 차량을 정면으로 향하는 제1 방향과 다른 제2 방향으로서, 이동체가 차량을 등지는 제2-1 방향, 이동체의 우측이 차량을 향하는 제2-2 방향과, 이동체의 좌측이 차량을 향하는 제2-3 방향 등이 있을 수 있다.
도 8 내지 도 11의 경우 이동체가 향하는 방향이 2가지(즉, 제1 및 제2 방향)이므로, 제1-1, 제1-2, 제2-1 및 제2-2 영상 각각을 검출하는 영상 검출부나 이들 각각을 검증하는 영상 검증부의 개수는 각각 2개인 것으로 도시되어 있다. 그러나, 이동체가 향하는 방향이 전술한 바와 같이 4가지(즉, 제1 방향, 제2-1 내지 제2-3 방향)일 경우, 제1-1, 제1-2, 제2-1 및 제2-2 영상 각각을 검출하는 영상 검출부나 이들 각각을 검증하는 영상 검증부의 개수는 각각 4개일 수 있다.
도 12는 도 1에 도시된 영상 추출부(120-A)의 또 다른 실시 예(120D)의 블럭도로서, 제1-2 및 제2-2 영상 검출부(126C, 126D), 제1-2 및 제2-2 영상 검증부(128C, 128D), 제1 및 제2 영상 결정부(122C, 122D), 제1-1 및 제2-1 영상 검증부(124C, 124D)를 포함할 수 있다.
도 13은 도 2에 도시된 제220 단계의 또 다른 실시 예(220D)를 설명하기 위한 플로우차트이다.
이하, 도 13에 도시된 제220D 단계는 도 12에 도시된 영상 추출부(120D)에서 수행되는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 도 13에 도시된 제220D 단계는 다른 구성을 갖는 영상 추출부(120-A)에서도 수행될 수 있음은 물론이다. 또한, 도 12에 도시된 영상 추출부(120D)는 도 13에 도시된 바와 같은 순서로 동작하는 것으로 설명하지만, 실시 예는 이에 국한되지 않는다. 즉, 다른 실시 예에 의하면 도 12에 도시된 영상 추출부(120D)는 도 13에 도시된 방법(220D)과 다른 순서로 동작할 수 있음은 물론이다.
먼저, 영상 획득부(110-A)에서 획득된 주변 영상이 제2-2 영상을 포함하는가를 판단한다(제602 단계). 만일, 주변 영상이 제2-2 영상을 포함할 경우, 제2-2 영상 검출부(126D)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제2-2 영상을 검출한다(제614 단계).
제602 단계와 제614 단계는 제2-2 영상 검출부(126D)에서 수행된다. 왜냐하면, 주변 영상에 제2-2 영상이 포함되어 있을 경우 제2-2 영상 검출부(126D)에서 제2-2 영상을 검출할 수 있지만, 주변 영상에 제2-2 영상이 포함되어 있지 않을 경우 제2-2 영상 검출부(126D)에서 제2-2 영상을 검출하지 않기 때문이다.
그러나, 주변 영상이 제2-2 영상을 포함하지 않을 경우, 주변 영상이 제1-2 영상을 포함하는가를 판단한다(제604 단계). 만일, 주변 영상이 제1-2 영상을 포함할 경우, 제1-2 영상 검출부(126C)는 입력단자 IN1을 통해 영상 획득부(110-A)로부터 받은 주변 영상으로부터 제1-2 영상을 검출한다(제606 단계).
제602 단계, 제604 단계 및 제606 단계는 제1-2 영상 검출부(126C)에서 수행된다. 왜냐하면, 주변 영상에 제1-2 영상이 포함되어 있을 경우 제1-2 영상 검출부(126C)에서 제1-2 영상을 검출할 수 있고, 주변 영상에 제1-2 영상이 포함되어 있지 않을 경우 제1-2 영상 검출부(126C)에서 제1-2 영상을 검출하지 않기 때문이다.
차량 주변의 상황에 따라, 주변 영상은 제1-2 영상과 제2-2 영상을 모두 포함할 수 있다. 즉, 이동체의 하체의 일부 예를 들어 발에 대한 영상인 제2-2 영상과 상체의 일부 예를 들어 머리에 대한 영상인 제1-2 영상이 주변 영상에 모두 포함될 수 있다. 이와 같이 주변 영상에 제1 영상과 제2 영상이 모두 담겨져 있을 경우, 도 13에 도시된 제220D 단계에 의하면,제1-2 영상을 검출하지 않고 제2-2 영상만을 검출하는 것으로 도시되어 있지만 실시 예는 이에 국한되지 않는다.
다른 실시 예에 의하면, 주변 영상에 제1-2 영상과 제2-2 영상이 모두 담겨져 있을 경우 제2-2 영상을 검출하지 않고 제1-2 영상만을 검출할 수도 있다.
또 다른 실시 예에 의하면, 주변 영상에 제1-1 영상과 제2-2 영상이 모두 담겨져 있을 경우, 제1-2 영상과 제2-2 영상을 모두 검출할 수도 있다.
제606 단계 후에, 제1-2 영상 검증부(128C)는 제1-2 영상 검출부(126C)에서 검출된 제1-2 영상을 검증하고, 검증된 결과를 제1 영상 결정부(122C)로 출력할 수 있다(제608 단계).
제614 단계 후에, 제2-2 영상 검증부(128D)는 제2-2 영상 검출부(126D)에서 검출된 제2-2 영상을 검증하고, 검증된 결과를 제2 영상 결정부(122D)로 출력할 수 있다(제606 단계).
제608 단계 후에, 제1 영상 결정부(122C)는 제1-2 영상 검증부(128C)에서 검증된 제1-2 영상으로부터 제1-1 영상을 결정한다(제610 단계). 예를 들어, 도 4b에 예시된 바와 같이 제1-2 영상이 이동체의 상체에서 머리에 대한 영상일 경우, 이동체(MB)의 머리에 대한 제1-2 영상(I12)이 검증된 후, 제1 영상 결정부(122C)는 머리의 하단에 상체에 대한 제1-1 영상(I11)이 존재하는 것으로 결정할 수 있다. 여기서, 상체에 대한 제1-1 영상(I11)은 머리에 대한 제1-2 영상(I12)을 포함하는 것으로 예시하였지만, 실시 예는 이에 국한되지 않는다.
제616 단계 후에, 제2 영상 결정부(122D)는 제2-2 영상 검증부(128D)에서 검증된 제2-2 영상으로부터 제2-1 영상을 결정한다(제618 단계). 예를 들어, 도 3b 또는 도 5b에 예시된 바와 같이 제2-2 영상이 이동체의 발에 대한 영상일 경우, 이동체(MB)의 발에 대한 제2-2 영상(I22-1, I22-2)이 검증된 후, 발의 상단에 하체에 대한 제2-1 영상(I21)이 존재하는 것으로 결정할 수 있다. 여기서, 하체에 대한 제2-1 영상(I21)은 발에 대한 제2-2 영상(I22-1, I22-2)을 포함하는 것으로 예시하였지만, 실시 예는 이에 국한되지 않는다.
경우에 따라, 도 12에 도시된 제1-2 영상 검증부(128C) 또는 제2-2 영상 검증부(128D) 중 적어도 하나 및 도 13에 도시된 제608 단계 또는 제616 단계 중 적어도 하나는 생략될 수도 있다.
제1-2 영상 검증부(128C)와 제608 단계가 생략된 경우, 제606 단계 후에, 제1 영상 결정부(122C)는 제1-1 영상 검출부(126C)에서 검출된 제1-2 영상으로부터 제1-1 영상을 결정한다(제610 단계). 또한, 제2-2 영상 검증부(128D)와 제616 단계가 생략된 경우, 제614 단계 후에, 제2 영상 결정부(122D)는 제2-2 영상 검출부(126D)에서 검출된 제2-2 영상으로부터 제2-1 영상을 결정한다(제618 단계).
또 다른 실시 예에 의하면, 도 12에 도시된 제1 영상 결정부(122C), 제1-1 영상 검증부(124C), 제2 영상 결정부(122D) 및 제2-1 영상 검증부(124D)는 생략되고, 도 13에 도시된 제610, 제612, 제618 및 제620 단계는 생략될 수 있다. 이 경우, 제1-2 영상 검증부(128C)에서 검증된 제1-2 영상이 출력단자 OUT12를 통해 이동체 정보 결정부(130-A)로 출력되고, 제2-2 영상 검증부(128D)에서 검증된 제2-2 영상이 출력단자 OUT22를 통해 이동체 정보 결정부(130-A)로 출력될 수 있다. 따라서, 영상 추출부(120D)로부터 이동체 정보 결정부(130-A)로 제1-1 영상과 제2-1 영상은 제공되지 않고, 제1-2 또는 제2-2 영상 중 적어도 하나가 제공된다.
제610 단계 후에, 제1-1 영상 검증부(124C)는 제1 영상 결정부(122C)에서 결정된 제1-1 영상을 검증하고, 검증된 결과를 출력단자 OUT12를 통해 이동체 정보 결정부(130-A)로 출력할 수 있다(제612 단계). 또한, 제618 단계 후에, 제2-1 영상 검증부(124D)는 제2 영상 결정부(122D)에서 결정된 제2-1 영상을 검증하고, 검증된 결과를 출력단자 OUT22를 통해 이동체 정보 결정부(130-A)로 출력한다(제620 단계).
경우에 따라, 도 12에 도시된 제1-1 영상 검증부(124C) 또는 제2-1 영상 검증부(124D) 중 적어도 하나는 생략될 수 있고, 도 13에 도시된 제612 단계 또는 제620 단계 중 적어도 하나는 생략될 수도 있다.
전술한 제1-1 영상 검출부(122A), 제1-2 영상 검출부(126A, 126C), 제2-1 영상 검출부(122B), 제2-2 영상 검출부(126B, 126D), 제1-1-1 영상 검출부(122A-1), 제1-2-1 영상 검출부(126A-1), 제1-1-2 영상 검출부(122A-2), 제1-2-2 영상 검출부(126A-2), 제2-1-1 영상 검출부(122B-1), 제2-2-1 영상 검출부(126B-1), 제2-1-2 영상 검출부(122B-2), 제2-2-2 영상 검출부(126B-2), 제1 및 제2 공통 영상 검출부(121A, 121B), 제1 및 제2 영상 분류부(123A, 123B) 각각은 다양한 방법으로 제1-1, 제1-2, 제2-1 및 제2-2 영상 중 해당하는 영상을 검출 또는 분류할 수 있다. 예를 들어, 제1-1, 제1-2, 제2-1 및 제2-2 영상 각각은 이동체 검출 접근법(moving object detection approach), 외관 기반 접근법(appearance-based approach) 또는 컨투어 기반 접근법(contour-based approach) 등을 이용하여 검출될 수 있다. 여기서, 이동체 검출 접근법으로서 예를 들어 배경 감산(background subtraction), 시간차(temporal differencing), 광플로우(optical flow) 등이 있다. 또한, 외관 기반 접근법으로서 예를 들어 비올라 존스(Viola-Jones), HOG(Histrogram of Oriented Gradients)-SVM(Support Vector Machine), PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), ICA(Independent Component Analysis), NMF(Non-negative Matrix Factorization) 등이 있다. 여기서, 비올라 존스로서 예를 들어 Haarr/HOG/LBP 등이 있다. 또한, 컨투어 기반 접근법으로서 예를 들어 액티브 컨투어(active contour) 또는 챔퍼 매칭(chamfer matching) 등이 있다.
또한, 전술한 제1-1 영상 검증부(124A, 124C), 제2-1 영상 검증부(124B, 124D), 제1-2 영상 검증부(128A, 128C), 제2-2 영상 검증부(128B, 128D), 제1-1-1 영상 검증부(124A-1), 제1-1-2 영상 검증부(124A-2), 제2-1-1 영상 검증부(124B-1), 제2-1-2 영상 검증부(124B-2), 제1-2-1 영상 검증부(128A-1), 제1-2-2 영상 검증부(128A-2), 제2-2-1 영상 검증부(128B-1), 제2-2-2 영상 검증부(128B-2) 각각은 이동체의 위치, 크기 또는 패턴 중 적어도 하나를 이용하여 해당하는 영상을 검증할 수 있다.
도 14는 검출된 영상의 검증을 설명하기 위한 주변 영상(PI:Peripheral Image)을 예시적으로 나타낸다.
예를 들어, 도 14를 참조하면, 영상 획득부(110-A)에서 획득된 주변 영상(PI)은 차량의 주변을 걸어가고 있는 이동체(MB:Moving Body)의 모습을 담고 있다. 이때, 제2-2 영상 검출부(126B, 126D)에서 제2-2 영상(810, 812)이 검출되었다고 가정하자. 검출된 제2-2 영상(810, 812)에서 제2-2 영상(812)은 이동체(MB)의 하체에서 발에 해당하는 영상으로서 정확하게 검출되었지만, 다른 제2-2 영상(810)은 이동체(MB)가 아닌 소화전(830)에 해당하는 영상으로서 잘못 검출된 영상이다. 따라서, 제2-2 영상 검증부(128B, 128D)에서 제2-2 영상(810, 812)을 검증하여, 소화전(830)에 해당하는 제2-2 영상(810)을 걸러낸다. 이와 같이, 영상 검증부는 검출된 영상에서 이동체에 관련된 정확한 영상만을 추려내는 역할을 한다. 이러한 역할을 수행하기 위해, 영상 검증부는 이동체의 위치, 크기 또는 패턴 중 적어도 하나를 이용할 수 있다.
도 15는 도 6, 도 8, 도 10 및 도 12에 도시된 각 영상 검증부의 실시 예에 의한 블럭도로서, 제3 영상 검증부(702) 및 제4 영상 검증부(704)를 포함할 수 있다.
도 6, 도 8, 도 10 및 도 12에 도시된 제1-1 영상 검증부(124A, 124C), 제2-1 영상 검증부(124B, 124D), 제1-2 영상 검증부(128A, 128C), 제2-2 영상 검증부(128B, 128D), 제1-1-1 영상 검증부(124A-1), 제1-1-2 영상 검증부(124A-2), 제2-1-1 영상 검증부(124B-1), 제2-1-2 영상 검증부(124B-2), 제1-2-1 영상 검증부(128A-1), 제1-2-2 영상 검증부(128A-2), 제2-2-1 영상 검증부(128B-1), 제2-2-2 영상 검증부(128B-2) 각각은 도 15에 도시된 바와 같이 구현될 수 있다.
제3 영상 검증부(702)는 입력단자 IN2를 통해 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 받고, 이동체의 위치 및 크기를 이용하여 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 검증할 수 있다.
또한, 제4 영상 검증부(704)는 입력단자 IN2를 통해 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 받아, 이동체의 패턴을 인식하고, 인식된 결과를 이용하여 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 검증할 수 있다. 이를 위해, 제4 영상 검증부(704)는 다양한 특징 추출 방법과 분류기의 조합으로 구현될 수 있다. 예를 들어 특징 추출 방법으로서, HOG, LBP, SIFT(Scale Invariant Feature Descriptor), 개버 필터(Gabor filter), PCA, ICA, NMF 등이 있다. 분류기로서 SVM, 결정 트리(decision trees), 랜덤 포리스트(random forest) 또는 뉴럴 네트워크(neural networks) 등이 있다.
또한, 영상을 검출하기 위해 사용되는 전술한 접근법과 다른 방법을 이용하여, 영상을 검증할 수 있다. 이는, 검증의 정확도를 높이기 위함이다. 예를 들어, 영상을 검출하기 위해 PCA를 이용한 경우, 검출된 영상을 검증하기 위해 PCA가 아닌 다른 방법 예를 들어 NMF를 이용할 경우, 높은 정확도로 영상이 검증될 수 있다.
도 15에 예시된 바와 같이, 제1-1, 제1-2, 제2-1 또는 제2-2 영상 검증부(124A, 124B, 124C, 124D, 124A-1, 124A-2, 124B-1, 124B-2, 128A, 128B, 128C, 128D, 128A-1, 128A-2, 128B-1, 128B-2)는 제3 및 제4 영상 검증부(702, 704)를 포함할 수 있다. 이때, 제4 영상 검증부(704)는 제3 영상 검증부(702)에서 검증된 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 각각 재 검증할 수도 있다.
다른 실시 예에 의하면, 제3 영상 검증부(702)는 제4 영상 검증부(704)에서 검증된 제1-1, 제1-2, 제2-1 또는 제2-2 영상을 재 검증할 수도 있다.
또 다른 실시 예에 의하면, 제1-1, 제1-2, 제2-1 또는 제2-2 영상 검증부(124A, 124B, 124C, 124D, 124A-1, 124A-2, 124B-1, 124B-2, 128A, 128B, 128C, 128D, 128A-1, 128A-2, 128B-1, 128B-2)는 제3 영상 검증부(702) 및 제4 영상 검증부(704) 중에서 하나만을 포함할 수도 있다.
도 16은 검출 영역(A1)과 경보 영역(A2)을 설명하기 위한 예시적인 주변 영상(PI)을 나타낸다.
실시 예에 의한 전술한 영상 추출부(120, 120A, 120B, 120C, 120D)에서 영상 검출부(122A, 122B, 122A-1, 122A-2, 122B-1, 122B-2, 126A, 126A-1, 126A-2, 126B, 126B-1, 126B-2, 126C, 126D)는 획득된 주변 영상(PI)의 검출 영역으로부터 제1 또는 제2 영상 중 적어도 하나를 검출할 수 있다. 예를 들어, 도 16을 참조하면, 검출 영역(A1)은 차량으로부터 제1 거리만큼 이격된 지점까지에 속한 영역일 수 있다. 예를 들어, 제1 거리는 5 meter일 수 있으나, 실시 예는 이에 국한되지 않는다. 따라서, 검출 영역(A1) 바깥의 비검출 영역에서의 이동체에 대해서는 제1 및 제2 영상을 검출하지 않을 수 있다.
한편, 다시 도 1과 도 2를 참조하면, 제220 단계 후에, 이동체 정보 결정부(130-A)는 영상 추출부(120-A)에서 추출된 제1 영상 또는 제2 영상 중 적어도 하나를 이용하여 이동체 정보를 결정(또는, 생성)한다(제230 단계). 여기서, '이동체 정보'란 이동체에 대한 정보로서 차량의 운전자나 탑승자가 이러한 정보를 인지할 경우 차량에 의한 사고를 줄이거나 예방할 수 있는 어떠한 정보도 포함할 수 있다. 예를 들어, 이동체 정보란, 차량의 주변에 이동체가 존재하는가의 여부 또는 이동체의 위치 중 적어도 하나를 포함할 수 있다.
이동체 정보 결정부(130-A)는 이동체 정보를 결정하기 위해, 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 적어도 하나를 이용할 수 있다. 예를 들어, 이동체 정보 결정부(130-A)는 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 복수 개의 조합을 이용하여 이동체 정보를 결정할 수 있다.
예를 들어, 이동체의 상체가 가려진 상황에서, 이동체 정보 결정부(130-A)는 제2-1 영상과 제2-2 영상을 조합하여 이동체의 위치를 정확하게 결정할 수 있다. 또는, 이동체의 하체가 가려진 상황에서, 이동체 정보 결정부(130-A)는 제1-1 영상과 제1-2 영상을 조합하여 이동체의 위치를 정확하게 결정할 수 있다. 또는, 이동체의 하체의 많은 부분이 가려지고, 이동체의 상체의 많은 부분이 가져진 상황에서 제1-1 영상과 제1-2 영상의 조합과 제2-1 영상과 제2-2 영상의 조합을 모두 이용할 경우, 이동체 정보를 좀 더 정확하게 결정할 수 있다. 따라서, 이동체의 상체 또는 하체 중 적어도 일부가 가려진 상태에서도 이동체 정보를 정확하게 결정할 수 있다.
그러나, 다른 실시 예에 의하면, 이동체 정보 결정부(130-A)는 제1-2 또는 제2-2 영상 중 적어도 하나만을 이용하여 이동체 정보를 결정할 수도 있고, 제1-1 또는 제2-1 영상 중 적어도 하나만을 이용하여 이동체 정보를 결정할 수도 있다.
또한, 영상 추출부(120-A)에서 제1 영상과 제2 영상을 모두 추출할 경우, 이동체 정보 결정부(130-A)는 제1 영상과 제2 영상 중에서 먼저 추출된 영상을 이용하여 이동체 정보를 결정할 수 있으나, 실시 예는 이에 국한되지 않는다.
또는, 전술한 바와 같이 영상 추출부(120-A)에서 제1 영상과 제2 영상을 모두 추출할 경우, 이동체 정보 결정부(130-A)는 제2 영상만을 이용하여 이동체 정보를 결정할 수 있다. 이는 이동체가 상체보다는 하체에 의해 이동하기 때문에, 추후에 설명되는 바와 같이 이동체의 위치 추적을 용이하게 하기 위해서일 수 있다. 또한, 이동체의 상체가 하체보다 가려질 확률이 많기 때문이다. 이와 같이, 이동체의 상체보다는 하체에 대한 제2 영상을 이용할 경우, 이동체 정보를 보다 정확하고 빠르게 결정할 수 있으나, 실시 예는 이에 국한되지 않는다.
도 7, 도 9, 도 11에서 주변 영상이 제1-1 영상과 제2-1 영상 중 어느 것도 포함하지 않을 때 또는 도 13에서 주변 영상이 제1-2 영상과 제2-2 영상 중 어느 것도 포함하지 않을 때, 영상 추출부(120-A)로부터 제1 영상이나 제2 영상이 이동체 정보 결정부(130-A)로 들어오지 않는다. 이 경우, 이동체 정보 결정부(130-A)는 이동체가 존재하지 않는 것으로 결정할 수 있다.
한편, 실시 예에 의한 후방카메라부(100-A)는 이동체 경보부(140-A)를 더 포함할 수 있다. 제230 단계 후에, 이동체 경보부(140-A)는 이동체 정보 결정부(130-A)에서 결정된 결과에 응답하여, 이동체 정보를 차량의 운전자 또는 차량의 인근에 위치한 다른 차량의 운전자 등 교통 사고를 예방하기 위해 인지할 필요가 있는 사람에게 알릴 수 있다(제240 단계). 여기서, 경보되는 이동체 정보는 예를 들어, 이동체의 존재 또는 위치 중 적어도 하나일 수 있다.
실시 예에 의하면, 이동체가 경보 영역에 들어올 때, 이동체 경보부(140-A)는 이동체 정보를 알릴 수 있다. 여기서, 경보 영역이란, 차량으로부터 제2 거리만큼 이격된 지점까지에 속한 영역일 수 있다. 예를 들어 도 16을 참조하면, 경보 영역(A2)은 검출 영역(A1)보다 차량에 더 가까운 영역일 수 있다. 예를 들어, 제2 거리는 3 meter일 수 있으나 실시 예는 이에 국한되지 않는다. 이동체가 경보 영역(A2)의 바깥에 위치할 경우, 이동체 경보부(140-A)는 이동체 정보를 알리지 않을 수도 있으나, 실시 예는 이에 국한되지 않는다.
도 17은 도 1에 도시된 이동체 정보 결정부(130-A)의 실시 예(130A)에 의한 블럭도로서, 위치 추적부(132) 및 정보 생성부(134)를 포함할 수 있다.
도 17을 참조하면, 위치 추적부(132)는 영상 추출부(120-A)에서 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 이동체의 위치를 추적하고, 추적된 위치를 출력단자 OUT4를 통해 출력할 수 있다. 추적된 위치는 정보 생성부(134)로 출력될 수도 있고, 이동체 경보부(140-A)로 출력될 수도 있다. 이동체 경보부(140-A)는 이동체의 추적된 위치에 따라 이동체 정보를 알릴 수 있다. 예를 들어, 위치 추적부(132)는 영상 추출부(120-A)에서 추출된 제1 영상과 제2 영상을 입력단자 IN3 및 IN4를 통해 각각 받을 수 있다.
또한, 위치 추적부(132)는 제2-1 영상과 제2-2 영상의 조합이 확인되는 위치에 이동체가 존재한다고 결정할 수 있다. 예를 들어, 도 3b 및 도 5b를 참조하면 제2-1 영상(I21)과 제2-2 영상(I22-1, I22-2)의 조합이 확인되는 위치에 이동체(MB)가 존재한다고 결정할 수 있다.
또는, 위치 추적부(132)는 제1-1 영상과 제1-2 영상의 조합이 확인되는 위치에 이동체가 존재한다고 결정할 수 있다. 예를 들어, 도 4b를 참조하면, 제1-1 영상(I11)과 제1-2 영상(I12)의 조합이 확인되는 위치에 이동체(MB)가 존재한다고 결정될 수 있다.
예를 들어, 영상 추출부(120-A)로부터 제공된 제1 또는 제2 영상이 과거에 검출된 영상일 경우, 이러한 시간적인 검출 결과를 통합하여, 이동체의 이동 경로를 추적할 수 있다. 예를 들어, 위치 추적부(132)는 연속적으로 검출된 이동체의 크기 및 연속적으로 검출된 이동체의 위치의 유사성을 기준으로 이들을 관련지음으로써 이동체의 위치를 추적할 수 있다.
또는, 위치 추적부(132)는 이동체가 간헐적으로 검출되는 경우, 이동체의 색상(color), 경사도(gradient) 또는 형태(shape)의 유사도를 사용하는 등 다양한 비쥬얼 트래킹(visual tracking) 방식으로 이동체를 추적할 수 있다.
또한, 스토카스틱 필터링(stochastic filtering)에 의해 위치 추적부(132)는 이동체의 위치를 추적한 결과를 다양한 필터링 기법으로 예측 및 보정할 수도 있다. 이러한 필터링 기법으로서, 예를 들어, 칼만 필터링(Kalman filtering), 확장 칼만 필터링(Extended Kalman filtering), 분산 칼만 필터링(unscented Kalman filtering) 또는 입자 여과기(particle filter) 등이 있다.
정보 생성부(134)는 영상 추출부(120-A)에서 추출된 제1 영상이나 제2 영상, 또는 위치 추적부(132)로부터 출력되는 추적된 위치 중 적어도 하나를 이용하여 이동체 정보를 생성(또는, 결정)하고, 생성된 정보를 출력단자 OUT5를 통해 출력할 수 있다.
결국, 실시 예에 의한 차량용 이동체 정보 제공 장치 및 방법은 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 적어도 하나를 이용하여, 이동체의 정보를 결정하고 이를 제공함으로써 차량에 의한 교통 사고를 미연에 방지할 수 있도록 도움을 줄 수 있다.
또한, 도 3a 및 도 3b에 도시된 바와 같이 차량에 근접하여 서 있는 이동체(MB)는 상체가 가려질 수 있고, 도 4a 및 도 4b에 도시된 바와 같이 앉아있는 이동체는 하체가 가려질 수 있다. 기존의 전신 검출 기반법에 의할 경우 이러한 이동체의 다양한 자세에 기인하여 이동체에 대한 정보를 정확하게 결정할 수 없다. 그러나, 실시 예에 의한 차량용 이동체 정보 제공 장치는 주변 영상을 이동체의 상체에 대한 제1 영상과 이동체의 하체에 대한 제2 영상으로 구분하고, 구분된 영상을 이용하여 이동체의 정보를 결정한다. 따라서, 이동체의 하체나 상체가 가려진 상황에서도 이동체의 정보를 정확하게 결정할 수 있으며, 어안 렌즈의 왜곡의 영향도 줄일 수 있다.
또한, 실시 예에 의한 이동체 정보 제공 방법은 제1-1, 제1-2, 제2-1 및 제2-2 영상을 검출한 후에 검증함으로써 제1-1, 제1-2, 제2-1 및 제2-2 영상의 정확도가 높기 때문에, 이동체의 보다 정확한 정보를 결정할 수 있다.
또한, 이동체의 하체의 일부에 대한 제2-2 영상을 이용하여, 이동체 정보를 결정함으로써, 이동체가 경보 영역(A2)에 위치하는가의 여부를 결정하기 용이할 수 있다.
또한, 제1-1 영상과 제1-2 영상의 조합이 아닌 제1-2 영상만을 이용하거나 제1-1 영상만을 이용하여 이동체 정보를 결정할 수 있고, 제2-1 영상과 제2-2 영상의 조합이 아닌 제2-1 영상만을 이용하거나 제2-2 영상만을 이용하여 이동체의 정보를 결정할 수 있으므로, 차량용 이동체 정보 제공 장치의 구조가 간단해지고, 차량용 이동체 정보 제공 방법이 빠르고 쉽게 수행될 수 있다.
또한, 실시 예의 이동체 정보 제공 방법 및 장치는 이동체의 하체와 상체를 구분하여 이동체 정보를 결정할 수 있다. 이로 인해, 이동체의 상체가 동적으로 변하지 않고 하체만 동적으로 변하는 상황에서 이동체의 하체에 대한 제2 영상을 이용하여 이동체 정보를 정확하게 결정할 수 있다. 또는, 이동체의 하체가 동적으로 변하지 않고 상체만 동적으로 변하는 상황에서 이동체의 상체에 대한 제1 영상을 이용하여 이동체 정보를 정확하게 결정할 수 있다. 게다가, 이동체의 상체가 가려진 상황에서 이동체의 하체에 대한 제2 영상을 이용하고, 이동체의 하체가 가려진 상황에서 이동체의 상체에 대한 제1 영상을 이용하여, 이동체 정보를 결정하므로, 이동체의 상체나 하체가 가려진 상황에서도 이동체 정보를 정확하게 결정할 수 있다. 또한, 이동체의 상체와 하체의 대부분이 가려진 상황에서 상체의 일부인 머리 또는 하체의 일부인 발에 대한 영상만을 이용하여, 이동체 정보를 결정할 수 있기 때문에, 이동체의 하체와 상체가 대부분 가려진 상황에서도 이동체 정보를 정확하게 결정할 수 있다.
또한, 제1-1 영상과 제1-2 영상을 조합한 결과와 제2-1 영상과 제2-2 영상을 조합한 결과를 모두 이용할 경우 좀 더 정확한 이동체 정보를 결정할 수 있다.
결국, 제1-1, 제1-2, 제2-1 또는 제2-2 영상 중 적어도 하나를 이용하여 이동체 정보를 결정하기 때문에, 차량의 주변에 위치한 이동체가 서 있거나 많이 접근해 있거나 앉아 있거나, 이동체의 크기가 작은 등 다양한 상황에서도 이동체의 정보를 정확하게 결정하여 운전자 등에게 알려 줌으로써, 교통 사고 예방에 만전을 기할 수 있도록 한다.
한편, 후방카메라부(100-A)에서 수행되는 차량용 이동체 정보 제공 방법(200)을 실행하기 위한 프로그램을 기록한 기록 매체는, 차량의 주변 영상을 획득하는 기능과, 획득된 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 기능 및 추출된 제1 또는 제2 영상 중 적어도 하나를 이용하여 이동체의 존재 여부 또는 이동체의 위치 중 적어도 하나를 결정하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 기록 매체를 읽을 수 있다.
또한, 컴퓨터로 읽을 수 있는 기록 매체에서, 제1 영상은 이동체의 상체 전부에 대한 제1-1 영상 또는 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 포함하고, 제2 영상은 이동체의 하체 전부에 대한 제2-1 영상 또는 이동체의 하체 중 일부에 대한 제2-2 영상 중 적어도 하나를 포함하는 프로그램을 기록할 수 있다.
또한, 제1 또는 제2 영상 중 적어도 하나를 추출하는 기능은 획득된 주변 영상이 제1-1 영상을 포함할 경우 획득된 주변 영상으로부터 제1-1 영상을 검출하는 기능과, 획득된 주변 영상이 제2-1 영상을 포함할 경우 획득된 주변 영상으로부터 제2-1 영상을 검출하는 기능과, 검출된 제1-1 또는 제2-1 영상을 검증하는 기능과, 검증된 제1-1 또는 제2-1 영상으로부터 제1-2 또는 제2-2 영상을 각각 검출하는 기능 및 검출된 제1-2 또는 제2-2 영상을 검증하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 기록 매체를 읽을 수 있다.
또한, 제1-1 영상을 검출하는 기능은 획득된 주변 영상에 포함된 제1-1 영상에 담긴 이동체가 차량을 기준으로 제1 방향을 향할 경우, 획득된 주변 영상으로부터 제1 방향의 제1-1 영상을 검출하는 기능 및 획득된 주변 영상에 포함된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제1 방향과 다른 제2 방향을 향할 경우, 획득된 주변 영상으로부터 제2 방향의 제1-1 영상을 검출하는 기능을 포함할 수 있다.
또한, 제2-1 영상을 검출하는 기능은 획득된 주변 영상에 포함된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제1 방향을 향할 경우, 획득된 주변 영상으로부터 제1 방향의 제2-1 영상을 검출하는 기능 및 획득된 주변 영상에 포함된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제2 방향을 향할 경우, 획득된 주변 영상으로부터 제2 방향의 제2-1 영상을 검출하는 기능을 구현하는 프로그램을 기록하며, 컴퓨터는 기록 매체를 읽을 수 있다.
또한, 제1-1 또는 제2-1 영상을 검출하는 기능은 획득된 주변 영상에 제1-1 영상이 포함된 경우, 획득된 주변 영상으로부터 제1-1 영상을 검출하는 기능과, 검출된 제1-1 영상에 이동체가 차량을 기준으로 제1 방향을 향할 경우, 검출된 제1-1 영상으로부터 제1 방향의 제1-1 영상을 분류해내는 기능과, 검출된 제1-1 영상에 담긴 이동체가 차량을 기준으로 제2 방향을 향할 경우, 검출된 제1-1 영상으로부터 제2 방향의 제1-1 영상을 분류해낼 수 있다. 또는, 주변 영상에 제2-1 영상이 포함된 경우, 획득된 주변 영상으로부터 제2-1 영상을 검출하는 기능과, 검출된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제1 방향을 향할 경우, 검출된 제2-1 영상으로부터 제1 방향의 제2-1 영상을 분류해내는 기능 및 검출된 제2-1 영상에 담긴 이동체가 차량을 기준으로 제2 방향을 향할 경우, 검출된 제2-1 영상으로부터 제2 방향의 제2-1 영상을 분류해내는 기능을 구현하는 프로그램을 기로가면, 컴퓨터는 기록 매체를 읽을 수 있다.
컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 저장 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.　또한 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 자동차 트렁크 개방 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 실시 예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시 예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
100: 차량용 이동체 정보 제공 장치 110: 영상 획득부
120, 120A, 120B, 120C, 120D: 영상 추출부 121A: 제1 공통 영상 검출부
121B: 제2 공통 영상 검출부 122A: 제1-1 영상 검출부
122B: 제2-1 영상 검출부 122C: 제1 영상 결정부
122D: 제2 영상 결정부 122A-1: 제1-1-1 영상 검출부
122A-2: 제1-1-2 영상 검출부 122B-1: 제2-1-1 영상 검출부
122B-2: 제2-1-2 영상 검출부 123A; 제1 영상 분류부
123B: 제2 영상 분류부 124A, 124C: 제1-1 영상 검증부
124B, 124D: 제2-1 영상 검증부 124A-1: 제1-1-1 영상 검증부
124A-2: 제1-1-2 영상 검증부 124B-1: 제2-1-1 영상 검증부
124B-2: 제2-1-2 영상 검증부 126A, 126C: 제1-2 영상 검출부
126B: 제2-2 영상 검출부 126A-1: 제1-2-1 영상 검출부
126A-2: 제1-2-2 영상 검출부 126B-1: 제2-2-1 영상 결정부
126B-2: 제2-2-2 영상 검출부 128A, 128C: 제1-2 영상 검증부
128B, 128D: 제2-2 영상 검증부 128A-2: 제1-2-2 영상 검증부
128B-1: 제2-2-1 영상 검증부 128B-2: 제2-2-2 영상 검증부
130: 이동체 정보 결정부 132: 위치 추적부
134: 정보 생성부 140: 이동체 경보부
702: 제3 영상 검증부 704: 제4 영상 검증부

Claims (10)

  1. 차량의 주변 영상을 획득하여 상기 차량 주변의 이동체의 존재 또는 이동에 대한 정보를 수집하는 후방카메라부;
    상기 후방카메라부에서 수집한 상기 이동체의 존재 또는 이동에 대한 정보를 수신하여 해상도를 변환하는 무선수신 및 영상 송신부; 및
    상기 무선수신 및 영상 송신부에서 변환한 상기 이동체의 존재 또는 이동에 대한 정보를 사용자에게 디스플레이 하는 디스플레이부;를 포함하며,
    상기 디스플레이부는 상기 차량에 착탈 가능하게 배치되어 사용자가 휴대가능 하도록 구비되는 차량용 이동체 정보 제공 장치.
  2. 제1항에 있어서,
    상기 후방카메라부는,
    상기 차량의 주변의 영상을 획득하는 영상 획득부;
    상기 차량의 주변 영상으로부터 적어도 하나의 이동체의 상체에 대한 제1 영상 또는 상기 적어도 하나의 이동체의 하체에 대한 제2 영상 중 적어도 하나를 추출하는 영상 추출부; 및
    상기 추출된 제1 영상 또는 제2 영상 중 적어도 하나를 이용하여 상기 차량의 주변에 상기 이동체가 존재하는가의 여부 또는 상기 이동체의 위치 중 적어도 하나를 결정하는 이동체 정보 결정부를 포함하는 차량용 이동체 정보 제공 장치.
  3. 제2항에 있어서,
    상기 영상 추출부는
    상기 이동체의 상체 전부에 대한 제1-1 영상; 또는 상기 이동체의 상체 중 일부에 대한 제1-2 영상 중 적어도 하나를 상기 제1 영상으로서 추출하고,
    상기 이동체의 하체 전부에 대한 제2-1 영상; 또는 상기 이동체의 하체 일부에 대한 제2-2 영상 중 적어도 하나를 상기 제2 영상으로서 추출하는 차량용 이동체 정보 제공 장치.
  4. 제1 항에 있어서, 상기 영상 추출부는
    상기 획득된 주변 영상으로부터 상기 제1-1 영상을 검출하는 적어도 하나의 제1-1 영상 검출부; 및
    상기 획득된 주변 영상으로부터 상기 제2-1 영상을 검출하는 적어도 하나의 제2-1 영상 검출부를 포함하는 차량용 이동체 정보 제공 장치.
  5. 제1항에 있어서,
    상기 후방카메라부는 상기 차량의 주행 중에 차량의 주변 영상을 획득하는 차량용 이동체 정보 제공 장치.
  6. 제5항에 있어서,
    상기 후방카메라부는 기 설정된 소정 주기 간격으로 차량의 주변 영상을 획득하는 차량용 이동체 정보 제공 장치.
  7. 제5 항에 있어서,
    상기 후방카메라부는 실시간으로 차량의 주변 영상을 획득하는 차량용 이동체 정보 제공 장치.
  8. 제1항에 있어서,
    상기 디스플레이부는,
    사용자에게 상기 차량의 상태를 디스플레이 하는 제1디스플레이부; 및
    상기 차량에 착탈 가능하게 구비되며 상기 차량의 주변 영상을 디스플레이 하는 제2디스플레이부;를 포함하는 차량용 이동체 정보 제공 장치.
  9. 제8항에 있어서,
    상기 제2디스플레이부는,
    상기 차량의 주행 중 상기 차량의 주변에 이동체가 소정 거리 이내로 접근하는 경우 사용자에게 경보 메시지를 디스플레이 하는 차량용 이동체 정보 제공 장치.
  10. 8항에 있어서,
    상기 제2디스플레이부는,
    상기 차량의 주행 중 상기 차량의 주변영상을 사용자에게 디스플레이 하는 차량용 이동체 정보 제공 장치.
KR1020150123573A 2015-09-01 2015-09-01 차량용 이동체 정보 제공 장치 KR20170027093A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150123573A KR20170027093A (ko) 2015-09-01 2015-09-01 차량용 이동체 정보 제공 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150123573A KR20170027093A (ko) 2015-09-01 2015-09-01 차량용 이동체 정보 제공 장치

Publications (1)

Publication Number Publication Date
KR20170027093A true KR20170027093A (ko) 2017-03-09

Family

ID=58402895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150123573A KR20170027093A (ko) 2015-09-01 2015-09-01 차량용 이동체 정보 제공 장치

Country Status (1)

Country Link
KR (1) KR20170027093A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172645A1 (ko) * 2018-03-08 2019-09-12 삼성전자 주식회사 차량의 주행을 보조하는 전자 장치 및 방법
KR20200088148A (ko) * 2019-01-14 2020-07-22 중앙대학교 산학협력단 주차면 만공차 감지 시스템 및 그 방법
CN113232659A (zh) * 2020-02-06 2021-08-10 丰田自动车株式会社 死角信息取得装置及方法、车辆及记录了程序的记录介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019172645A1 (ko) * 2018-03-08 2019-09-12 삼성전자 주식회사 차량의 주행을 보조하는 전자 장치 및 방법
KR20190109663A (ko) * 2018-03-08 2019-09-26 삼성전자주식회사 차량의 주행을 보조하는 전자 장치 및 방법
US11508158B2 (en) 2018-03-08 2022-11-22 Samsung Electronics Co., Ltd. Electronic device and method for vehicle driving assistance
KR20200088148A (ko) * 2019-01-14 2020-07-22 중앙대학교 산학협력단 주차면 만공차 감지 시스템 및 그 방법
CN113232659A (zh) * 2020-02-06 2021-08-10 丰田自动车株式会社 死角信息取得装置及方法、车辆及记录了程序的记录介质
CN113232659B (zh) * 2020-02-06 2023-12-26 丰田自动车株式会社 死角信息取得装置及方法、车辆及记录了程序的记录介质

Similar Documents

Publication Publication Date Title
JP7130895B2 (ja) ヘルメット着用判定方法、ヘルメット着用判定装置及びプログラム
US10672140B2 (en) Video monitoring method and video monitoring system
Seshadri et al. Driver cell phone usage detection on strategic highway research program (SHRP2) face view videos
CN109074651B (zh) 移动体的周围环境识别装置
US9363483B2 (en) Method for available parking distance estimation via vehicle side detection
Mukhtar et al. Vehicle detection techniques for collision avoidance systems: A review
EP1606769B1 (en) System and method for vehicle detection and tracking
CN112668475B (zh) 一种人员身份识别方法、装置、设备及可读存储介质
KR101729486B1 (ko) Avm 시스템에서의 사각 지대 감시 방법 및 그 avm 시스템
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
KR20170027093A (ko) 차량용 이동체 정보 제공 장치
CN115984830A (zh) 安全带佩戴检测方法、装置、设备及存储介质
Puli et al. Safety Alerting System For Drowsy Driver
EP3380368B1 (en) Object detection system and method thereof
Juboori et al. Fatigue detection system for the drivers using video analysis of facial expressions
KR102451091B1 (ko) 차량용 이동체 정보 제공 장치 및 방법과, 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
Hariyono et al. Estimation of collision risk for improving driver's safety
CN109344776A (zh) 数据处理方法
KR101766467B1 (ko) 이벤트 발생 알림 장치, 이벤트 발생 알림 방법, 및 이벤트 발생 판단 모델 제공 방법
Haloi et al. Characterizing driving behavior using automatic visual analysis
KR101460902B1 (ko) 차량 주변의 도난 징후 감지를 위한 지능형 블랙박스 시스템 및 그 동작 방법
Lupinska-Dubicka et al. Vehicle passengers detection for onboard eCall-compliant devices
Shabani et al. Analysis of driver gaze and attention to traffic signs
Wu et al. Detection of moving violations
Chaturvedi et al. Driver Safety and Assistance System using Machine Learning & IoT

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application