KR20130071842A - 차량의 주변 정보 제공 장치 및 방법 - Google Patents

차량의 주변 정보 제공 장치 및 방법 Download PDF

Info

Publication number
KR20130071842A
KR20130071842A KR1020110139293A KR20110139293A KR20130071842A KR 20130071842 A KR20130071842 A KR 20130071842A KR 1020110139293 A KR1020110139293 A KR 1020110139293A KR 20110139293 A KR20110139293 A KR 20110139293A KR 20130071842 A KR20130071842 A KR 20130071842A
Authority
KR
South Korea
Prior art keywords
vehicle
image
unit
cameras
camera
Prior art date
Application number
KR1020110139293A
Other languages
English (en)
Inventor
안수진
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020110139293A priority Critical patent/KR20130071842A/ko
Publication of KR20130071842A publication Critical patent/KR20130071842A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 차량의 주변 정보 제공 장치 및 방법에 관한 것으로서, 차량의 주행 상태에 따라 복수 개의 카메라에 의해 촬영된 영상의 출력 여부를 결정하고 상황에 맞는 안내 경고를 출력하는 차량의 주변 정보 제공 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 차량의 주변 정보 제공 장치는 차량의 주변을 촬영하는 복수 개의 카메라와, 상기 차량의 주행 상태를 감지하는 주행 상태 감지부와, 상기 복수 개의 카메라 중 상기 감지된 차량의 주행 상태에 따른 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 영상 합성부 및 상기 합성된 영상을 디스플레이하는 디스플레이부를 포함한다.

Description

차량의 주변 정보 제공 장치 및 방법{Apparatus and method for providing environment information of vehicle}
본 발명은 차량의 주변 정보 제공 장치 및 방법에 관한 것으로서, 더욱 상세하게는 차량의 주행 상태에 따라 복수 개의 카메라에 의해 촬영된 영상의 출력 여부를 결정하고 상황에 맞는 안내 경고를 출력하는 차량의 주변 정보 제공 장치 및 방법에 관한 것이다.
일반적으로 차량의 주변 영상을 디스플레이하는 시스템이 차량에 보편적으로 설치되어 있지 않아, 운전자는 단지 자신의 육안을 통해 차량 주변을 확인하거나, 인사이드 미러(inside mirror) 또는 아웃사이드 미러(outside mirror)를 통해 차량 주변을 확인하였다.
그러나 차종에 따라서는 운전석에 앉아 전후방의 주변 환경을 쉽게 확인할 수 있는 방향이 있는가 하면, 육안 또는 미러를 통해 확인할 수 없는 사각 지대가 존재하기 마련이다.
특히, 대형 차량의 경우 인사이드 미러나 아웃사이드 미러만으로는 확인할 수 없는 부위가 상대적으로 많기 때문에 차량을 주행하기에 앞서 차량의 주변을 돌아보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 교통 안전 사고 및 인명 사고의 발생을 방지할 수 있다.
따라서, 최근에는 차량의 전후좌우 방향에 각각 설치된 카메라를 통하여 주변 환경을 촬영하고, 촬영된 영상을 조합하여 차량에 구비된 디스플레이 장치를 통해 차량의 주변 영상을 디스플레이하는 장치가 개발되고 있다.
그러나, 이러한 장치가 사용자에게 촬영된 영상을 제공함에 있어서 불필요한 영상까지 제공할 수도 있다. 예를 들어, 전방 주행 중 전방 카메라에 의하여 촬영된 전방 영상이 디스플레이되는 경우, 이는 불필요하게 화면 영역을 차지하는 것에 불과하며 오히려 주행에 방해가 될 수 있는 것이다.
또한, 주행하는 경우와 주차하는 경우 사용자가 필요로 하는 정보는 상이할 수 있는 것인데, 이에 대한 구분 없이 정보를 제공하는 경우 사용자는 오히려 불편함을 겪을 수도 있다.
따라서, 복수 개의 카메라에 의하여 촬영된 영상 중 차량의 주행 상태에 따라 디스플레이되는 영상을 선택하고, 상황에 맞게 안내 경고를 제공하는 발명의 등장이 요구된다.
본 발명은 차량의 주행 상태에 따라 복수 개의 카메라에 의해 촬영된 영상의 출력 여부를 결정하고 상황에 맞는 안내 경고를 출력하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 정보 제공 장치는 차량의 주변을 촬영하는 복수 개의 카메라와, 상기 차량의 주행 상태를 감지하는 주행 상태 감지부와, 상기 복수 개의 카메라 중 상기 감지된 차량의 주행 상태에 따른 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 영상 합성부 및 상기 합성된 영상을 디스플레이하는 디스플레이부를 포함한다.
본 발명의 실시예에 따른 차량의 주변 정보 제공 방법은 복수 개의 카메라를 이용하여 차량의 주변을 촬영하는 단계와, 상기 차량의 주행 상태를 감지하는 단계와, 상기 복수 개의 카메라 중 상기 감지된 차량의 주행 상태에 따른 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 단계 및 상기 합성된 영상을 디스플레이하는 단계를 포함한다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기한 바와 같은 본 발명의 차량의 주변 정보 제공 장치 및 방법에 따르면 차량의 주행 상태에 따라 복수 개의 카메라에 의해 촬영된 영상의 출력 여부를 결정하고 상황에 맞는 안내 경고를 출력함으로써, 사용자가 혼동을 느끼지 않도록 하는 장점이 있다.
도 1은 본 발명의 실시예에 따른 차량의 주변 정보 제공 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 영상 획득부의 세부 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 복수 개의 카메라에 의해 영상이 획득되는 것을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 투영면을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 차량 속도와 카메라의 관계를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 분할 영역을 나타낸 도면이다.
도 7은 도 6에 도시된 분할 영역에 경고 표시가 디스플레이된 것을 나타낸 도면이다.
도 8은 본 발명의 실시예에 따른 차량의 주변 정보 제공 과정을 나타낸 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 포함한다(comprises) 및/또는 포함하는(comprising)은 언급된 구성요소, 단계 및/또는 동작 이외의 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 사시도, 단면도, 측면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한, 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 차량의 주변 정보 제공 장치를 나타낸 블록도로서, 차량의 주변 정보 제공 장치(1)는 영상 획득부(100), 주행 상태 감지부(200), 저장부(300), 제어부(400), 영상 분석부(500), 디스플레이부(600) 및 경고 출력부(700)를 포함하여 구성된다.
영상 획득부(100)는 차량 주변의 하나 이상의 방향에 대한 영상을 획득하고, 획득된 영상을 이용하여 차량의 주변 합성 영상을 생성하는 역할을 수행한다.
도 2는 영상 획득부의 세부 구성을 나타낸 블록도로서, 영상 획득부(100)는 복수 개의 카메라(111~114), 영상 저장부(120) 및 주변 영상 생성부(130)를 포함하여 구성된다.
이하, 차량의 서로 다른 위치에 설치되어 주변을 촬영하는 복수 개의 카메라(111~114)는 도 3에 도시된 바와 같이 차량의 전후좌우 방향에 각각 설치되는 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 카메라의 설치 개수, 설치 위치 및 촬영 방향은 용도 및 필요에 따라 다양하게 변경될 수 있다.
예를 들어, 복수의 카메라(111~114)가 큰 화각을 가지는 광각 렌즈나 어안 렌즈가 사용되는 경우에는 설치 개수가 감소될 수 있고, 그렇지 않은 경우에는 설치 개수가 증가될 수 있다.
복수의 카메라(111~114)는 차량 주변의 모든 방향, 즉 360도에 대한 영상을 획득할 수 있으며, 도 3과 같이 복수의 카메라(111~114)가 차량(10)의 전후좌우 방향에 각각 설치되는 경우, 각 카메라는 180도의 화각을 가지는 광각 렌즈나 어안 렌즈가 사용될 수 있다.
본 발명의 실시예에서 복수의 카메라(111~114)는 각각 제 1 카메라(111), 제 2 카메라(112), 제 3 카메라(113) 및 제 4 카메라(114)라 칭하기로 하며, 각 카메라(111~114)가 차량(10)의 전방 영역(111a), 후방 영역(112a), 좌측 영역(113a) 및 우측 영역(114a)의 영상을 획득하는 경우를 예를 들어 설명하기로 한다.
또한, 본 발명의 실시예에서 제 1 카메라(111)는 차량 본넷의 중심에 설치되고, 제 2 카메라(112)는 차량(10)의 후방 범퍼 상부에 설치되며, 제 3 및 제 4 카메라(113, 114)는 각각 차량(10)의 좌측 및 우측 아웃사이드 미러에 설치되는 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서 이에 한정되지 않고, 차량(10)의 전후좌우 방향의 영상을 획득하는 방향으로 설치되는 경우 다른 위치에 설치될 수도 있다.
영상 저장부(120)는 복수의 카메라(111~114)에 의해 획득된 영상을 저장할 수 있다. 영상 저장부(120)에는 복수의 카메라(111~114)에 의해 획득된 영상과 더불어 영상의 식별 정보 및 영상을 획득한 카메라의 식별 정보가 함께 저장될 수 있다.
영상 저장부(120)는 캐쉬, RAM, SRAM, DRAM, ROM, PROM, EPROM, EEPROM, 플래쉬 메모리 및 하드 디스크 드라이브 등이 사용될 수 있으나, 이에 한정되지 않는다.
이 때, 복수의 카메라(111~114)는 획득된 영상을 영상 저장부(120)로 전송하기 이전에 데이터 전송이 용이하도록 영상을 압축 형태의 포맷으로 변환할 수 있고, 압축 포맷은 MPEG-1 또는 MPEG-4 등의 공지된 다양한 포맷이 사용될 수 있으며, 복수의 카메라(111~114)는 획득된 영상의 데이터 포맷 변환을 위한 별도의 프로세서(미도시)를 포함할 수 있다.
한편, 복수의 카메라(111~114)가 광각 렌즈나 어안 렌즈가 사용되는 경우에는 완전한 구 형태가 아니고 초점 거리가 짧으므로 렌즈의 기하하적 왜곡, 예를 들어 방사상 왜곡이나 접선 방향의 왜곡이 발생할 수 있기 때문에 복수의 카메라(111~114)에 의해 획득된 영상은 왜곡 보정 알고리즘에 의해 왜곡이 보정되어 영상 저장부(120)에 저장될 수 있다.
복수의 카메라(111~114)에 의해 획득된 영상의 왜곡 보정은 복수의 카메라(111~114)에서 수행될 수도 있고, 영상 저장부(120)에 영상이 저장될 때 별도의 왜곡 보정을 위한 수단(미도시)에 의해 수행되어 영상 저장부(120)로 전송될 수도 있다.
주변 영상 생성부(130)는 복수의 카메라(111~114)에 의해 획득된 영상을 차량 주변을 형성하는 투영면에 투영시켜 좌표를 변환하고, 좌표가 변환된 영상을 투영면에 합성하여 주변 합성 영상을 생성할 수 있으며, 이러한 주변 영상 생성부(130)는 투영면 설정부(131), 좌표 변환부(132)(132) 및 영상 합성부(133)를 포함하여 구성될 수 있다.
투영면 설정부(131)는 차량 주변을 형성하는 가상의 투영면을 설정할 수 있다. 이러한 투영면은 차량 출고 시 미리 설정된 투영면일 수도 있고, 사전에 저장된 여러 종류의 투영면 중 운전자에 의해 선택된 투영면일 수 있으나 이에 한정되지 않는다.
본 발명의 실시예에서는 투영면 설정부(131)에 의해 설정되는 투영면이 도 4에 도시된 바와 같이, 3차원 입체 투영 모델로 반구형인 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 구형, 평면형 등 다양한 투영면이 설정될 수 있다.
좌표 변환부(132)(132)는 투영면 설정부(131)에 의해 설정된 투영면의 좌표 정보(예를 들어, 투영면의 3차원 좌표 정보 등)를 저장할 수 있으며, 저장된 좌표 정보를 이용하여 영상 획득부(100)에서 획득된 영상의 좌표를 투영면의 좌표로 변환할 수 있다.
예를 들어, 좌표 변환부(132)(132)는 복수의 카메라(111~114)에 의해 획득된 영상을 투영면에 투영시켜 복수의 카메라(111~114)에 의해 획득된 영상의 2차원 좌표를 투영면에 대한 3차원 좌표로 변환할 수 있으며, 이러한 좌표 변환을 통해 영상 합성부(133)가 복수의 카메라(111~114)에 의해 획득된 영상을 설정된 투영면에 합성하는 것이 가능하게 된다.
영상 합성부(133)는 좌표 변환부(132)(132)에 의해 좌표가 변환된 영상을 투영면 설정부(131)에 의해 설정된 투영면에 합성하여 주변 합성 영상을 생성할 수 있다.
예를 들어, 영상 합성부(133)가 도 4에 도시된 반구형으로 설정된 투영면(140)에 복수의 카메라(111~114)에 의해 획득된 영상을 합성하기 위해서는, 좌표 변환부(132)에 의해 획득된 영상의 2차원 좌표가 투영면(140)의 3차원 좌표로 변환되는 과정을 거치게 되며, 영상 합성부(133)는 좌표가 변환된 영상을 투영면에 합성함으로써 차량의 주변 합성 영상을 생성할 수 있는 것이다.
이와 같이, 투영면 설정부(131)에 의해 설정된 투영면에 복수의 카메라(111~114)에 의해 획득된 영상을 합성하여 주변 합성 영상을 생성하는 경우, 차량의 주변 합성 영상을 3차원 영상으로 디스플레이할 수 있게 되며, 도 4의 화살표와 같이 투영면(140)에 대해 가상 시점을 변경함으로써 원하는 위치를 원하는 방향에서 원하는 스케일로 디스플레이하는 것이 가능하게 된다.
다시 말해서, 본 발명의 실시예에서는 생성된 주변 합성 영상에 대한 가상 시점, 즉 투영면에 대해 가상 시점을 변경하는 경우 차량을 위에서 바라보는 탑뷰(top view) 형태로 디스플레이하는 것도 가능하고, 차량의 주변의 임의의 위치에서 차량 주변 또는 차량의 적어도 일부와 차량 주변을 바라보는 형태로 디스플레이하는 것이 가능하게 된다.
다시 도 1을 설명하면, 주행 상태 감지부(200)는 차량의 주행 상태를 감지하는 역할을 수행한다. 여기서, 차량의 주행 상태는 주행 속도 및 주행 방향 중 적어도 하나를 포함할 수 있다.
즉, 주행 상태 감지부(200)는 차량의 주행 속도와 주행 방향을 확인하는 역할을 수행하는 것으로서, 여기서 주행 방향을 확인하는 것은 차량이 전방을 향하여 이동하고 있는 것(전진)인지 후방을 향하여 이동하고 있는 것(후진)인지를 확인하는 것으로 이해될 수 있다.
차량의 주행 속도 및 주행 방향을 확인하기 위하여 차량에는 엔코더(encoder)가 구비될 수 있으며, 주행 상태 감지부(200)는 엔코더를 통하여 차량의 주행 속도 및 주행 방향을 확인할 수 있다.
또는, 차량에 GPS(Global Positioning System) 수신기(미도시)가 구비된 경우 주행 상태 감지부(200)는 GPS 수신기가 수신한 GPS 정보를 이용하여 차량의 주행 속도를 확인할 수도 있다.
전술한 바와 같이, 영상 획득부(100)의 영상 합성부(133)는 주변 합성 영상을 생성하는 역할을 수행하는데, 이 때 복수 개의 카메라(111~114) 중 주행 상태 감지부(200)에 의하여 감지된 차량의 주행 상태에 따른 카메라에 의해 촬영된 주변에 대한 영상을 합성할 수 있다.
즉, 영상 합성부(133)는 항상 모든 카메라(111~114)에 의해 촬영된 영상을 모두 이용하여 합성 영상을 생성하는 것이 아니라, 차량의 주행 상태에 따라 일부 선택된 카메라에 의해 촬영된 영상만을 이용하여 합성 영상을 생성하는 것으로서, 카메라 선택은 제어부(400)에 의하여 수행될 수 있다.
도 5는 본 발명의 실시예에 따른 차량 속도와 카메라의 관계를 나타낸 도면으로서, 합성 영상에 이용되는 주변 영상을 제공하는 카메라와 차량 속도의 대응 관계를 나타낸 도면이다.
일반적으로 저속인 경우 이는 주변 물체와의 거리가 짧기 때문에 운전자가 특별히 주의하여 주변 물체와의 접촉을 회피해야 하는 경우가 많다. 예를 들어, 주차하는 경우가 이에 해당할 수 있다.
따라서, 본 발명의 실시예에 따라 차량의 주행 속도가 저속으로서 그 속도 범위가 0~20km/h인 경우(510), 영상 합성부(133)는 전방 카메라(제 1 카메라)(111), 후방 카메라(제 2 카메라)(112), 좌측 카메라(제 3 카메라)(113) 및 우측 카메라(제 4 카메라)(114) 모두에 의하여 촬영된 영상을 이용하여 합성 영상을 생성한다.
한편, 차량의 속도 범위가 20~60km/h인 경우(520), 이는 차량이 도로상을 주행 중에 있으며 차량과 주변 물체간의 거리도 어느 정도 떨어져 있는 것으로 이해될 수 있다. 따라서, 이러한 경우 운전자가 당연히 직접 전방을 주시하고 있기 때문에 영상 합성부(133)는 전방 카메라(111)에 의하여 촬영된 영상은 제외하고, 후방 카메라(112), 좌측 카메라(113) 및 우측 카메라(114)에 의하여 촬영된 영상만을 이용하여 합성 영상을 생성한다.
또한, 차량의 속도 범위가 60km/h를 초과하는 경우(530), 이는 차량이 도로상을 주행 중에 있으며 차량과 주변 물체간의 거리도 상당히 떨어져 있는 것으로 이해될 수 있다. 따라서, 이러한 경우 운전자가 당연히 직접 전방을 주시하고 있으며 후방에 위치하고 있는 차량과 같은 주변 물체를 직접적으로 고려할 필요가 없기 때문에 영상 합성부(133)는 전방 카메라(111) 및 후방 카메라(112)에 의하여 촬영된 영상은 제외하고 좌측 카메라(113) 및 우측 카메라(114)에 의하여 촬영된 영상만을 이용하여 합성 영상을 생성한다.
한편, 도 5는 0~20km/h, 20~60km/h 및 60km/h 초과인 차량 속도 범위(510, 520, 530)를 기준으로 합성 영상에 이용될 카메라가 선택되는 것을 도시하고 있으나 이는 예시적인 것에 불과하며 다양한 차량 속도 범위가 기준이 될 수 있을 뿐만 아니라 기준이 되는 차량 속도 범위의 개수도 4개, 5개 또는 그 이상이 카메라 선택의 기준이 될 수 있다. 또한, 도 5는 전후좌우 4개의 카메라(111~114)만을 도시하고 있으나 카메라의 설치 위치 및 개수가 다양하게 차량에 적용될 수 있음은 전술한 바와 같다.
또한, 본 발명에서 선택된 카메라의 영상을 이용하여 영상 합성부(133)가 합성 영상을 생성한다는 것은 선택된 일부 카메라만을 동작시키고 나머지 카메라의 동작은 정지시킴으로써 구현할 수 있으며, 모든 카메라(111~114)에 의한 동작은 계속 지속되나 영상 합성부(133)가 그 중 선택된 카메라의 영상만을 이용하여 합성 영상을 생성하는 것으로 이해될 수도 있다.
디스플레이부(600)는 영상 합성부(133)에 의하여 생성된 합성 영상을 디스플레이하는 역할을 수행한다. 본 발명에서 합성 영상은 복수 개의 카메라(111~114)에 의하여 촬영된 영상 중 선택된 영상을 모두 하나의 화면에 디스플레이되도록 한 영상을 의미하는데, 이를 위하여 디스플레이부(600)는 복수 개의 분할 영역을 제공할 수 있다.
즉, 복수 개의 분할 영역 각각에 하나의 카메라에 의하여 촬영된 영상이 디스플레이되는 것이다. 예를 들어, 디스플레이부(600)는 카메라가 4개인 경우 그와 동일한 개수인 4개의 분할 영역을 구비할 수 있는데, 이러한 경우 특정 분할 영역은 특정 카메라의 영상만을 디스플레이할 수 있다.
또는, 선택된 카메라의 개수에 따라 분할 영역의 개수 및 배치도 실시간으로 변경될 수 있다. 예를 들어, 선택된 카메라의 개수가 4개인 경우 좌상, 우상, 좌하, 우하와 같이 4개의 분할 영역으로 화면이 분할될 수 있으며, 선택된 카메라의 개수가 3개인 경우 좌측, 중앙, 우측과 같이 3개의 분할 영역으로 화면이 분할될 수 있는 것이다.
또는, 디스플레이부(600)는 복수 개의 디스플레이 수단으로 구성될 수도 있다. 예를 들어, 2개 또는 3개의 디스플레이 수단이 하나의 디스플레이부(600)를 구성하는 것으로서, 각 디스플레이 수단은 특정 카메라의 영상만을 디스플레이할 수 있으며, 하나의 디스플레이 수단이 전술한 바와 같은 복수 개의 분할 영역을 가질 수도 있다.
본 발명에서 디스플레이부(600)는 입력된 영상 신호를 디스플레이할 수 있는 음극선관(CRT, Cathode Ray Tube), 액정 화면(LCD, Liquid Crystal Display), 발광 다이오드(LED, Light-Emitting Diode), 유기 발광 다이오드(OLED, Organic Light-Emitting Diode) 또는 플라즈마 디스플레이(PDP, Plasma Display Panel) 등의 형태로 구현될 수 있으나 이에 한정되지는 않으며, 디스플레이부(600)는 인사이드 미러, 아웃사이드 미러, HUD(Head Up Display) 및 별도의 디스플레이 장치 중 적어도 하나를 포함하여 구성될 수 있다.
영상 분석부(500)는 영상 합성부(133)에 의하여 합성된 영상을 분석하여 주변 물체의 움직임을 판단하는 역할을 수행한다. 여기서, 주변 물체의 움직임이란 운전자가 탑승하고 있는 차량에 대한 주변 물체의 움직임을 의미하는 것으로서 구체적으로는 주변 물체와의 거리의 변화로 이해될 수 있다.
즉, 영상 분석부(500)는 차량과 주변 물체와의 거리 패턴이 어떻게 변하고 있는지를 판단하는 것으로서, 예를 들어 주변 물체가 근접하고 있는지, 멀어지고 있는지, 근접하는 속도는 얼마인지, 그 거리는 얼마인지 등을 판단하는 것이다. 한편, 주변 물체의 움직임을 판단하기 위하여 영상 분석뿐만 아니라 초음파 센서, 적외선 센서 및 레이더 등이 이용될 수도 있으나 본 발명에서는 영상 분석에 의한 것을 주로 설명하기로 한다.
경고 출력부(700)는 영상 분석부(500)가 주변 물체의 움직임을 판단한 결과에 따라 안내 경고를 출력하는 역할을 수행한다. 예를 들어, 차량과 주변 물체가 충돌할 것으로 판단되는 경우 경고 출력부(700)는 충돌의 위험을 알리는 안내 경고를 출력하는 것으로서, 안내 경고는 시각적, 청각적, 촉각적 방식이 이용될 수 있다.
예를 들어, 경고 출력부(700)는 영상 분석부(500)로부터 전달받은 경고 제어 신호에 따라 디스플레이부(600) 또는 별도의 수단을 통해 안내 경고가 디스플레이되도록 할 수 있고, 스피커와 같은 수단을 통해 경고 음성이 출력되도록 할 수 있으며, 운전대 또는 의자에 진동이 발생되도록 할 수 있는 것이다.
또한, 경고 출력부(700)는 주행 상태 감지부(200)에 의하여 감지된 차량의 주행 상태에 따른 안내 경고를 출력할 수 있다. 전술한 바와 같이, 본 발명에서 차량의 주행 상태는 차량의 주행 속도 및 주행 방향을 의미하는데, 경고 출력부(700)는 주행 속도 및 주행 방향에 따라 서로 다른 형태의 경고를 출력하는 것이다.
예를 들어, 차량의 속도가 저속인 경우 이는 주차 중이거나 막힌 길을 주행 중인 것으로 이해될 수 있기 때문에 경고 출력부(700)는 작은 음량의 경고음을 출력하고, 차량의 속도가 고속인 경우 외부 소음의 영향을 고려하여 경고 출력부(700)는 큰 음량의 경고음을 출력한다.
또한, 차량이 후진하는 경우 경고 출력부(700)는 디스플레이부(600)의 분할 영역 중 후방 카메라(112)에 대응하는 분할 영역에 안내 경고가 디스플레이되도록 할 수 있다.
도 6은 본 발명의 실시예에 따른 디스플레이부(600)의 화면(610)이 4개로 분할된 것을 나타내고 있으며, 도 7은 도 6에 도시된 분할 영역(611~614) 중 후방 카메라(112)에 대응하는 분할 영역(612)의 테두리에 경고 표시(615)가 디스플레이된 것을 나타내고 있다.
이와 마찬가지로, 전방 카메라(111), 좌측 카메라(113) 또는 우측 카메라(114)에 대응하는 분할 영역(611, 613, 614)에 경고 표시가 디스플레이될 수도 있다.
또한, 운전자가 뒤쪽 유리창을 보면서 후진하는 경우를 대비하여 경고 출력부(700)는 뒤쪽 유리창의 주변에 LED(미도시) 등을 발광시킴으로써 안내 경고를 출력할 수도 있다.
저장부(300)는 차량의 주행 상태와 카메라간의 대응 관계 및 기타 차량의 주변 정보 제공 장치(1)가 동작하는데 필요한 각종 데이터를 임시로 저장하는 역할을 수행한다.
저장부(300)는 하드 디스크, 플래시 메모리, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC(Multimedia Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 차량의 주변 정보 제공 장치(1)의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.
제어부(400)는 전술한 바와 같이 차량의 주행 상태에 따른 카메라 선택을 수행하는데, 이 때 저장부(300)에 저장된 차량의 주행 상태와 카메라간의 대응 관계를 참조할 수 있다. 또한 제어부(400)는 영상 획득부(100), 주행 상태 감지부(200), 저장부(300), 영상 분석부(500), 디스플레이부(600) 및 경고 출력부(700)에 대한 전반적인 제어를 수행하며, 각 모듈간 데이터 송수신을 중계하는 역할을 수행한다.
도 8은 본 발명의 실시예에 따른 차량의 주변 정보 제공 과정을 나타낸 흐름도이다.
차량의 주변 정보 제공 장치(1)에 전원이 인가되면, 영상 획득부(100)에 구비된 복수 개의 카메라(111~114)는 차량의 주변을 촬영하여 주변 영상을 획득한다(S810).
그리고, 주행 상태 감지부(200)는 차량의 주행 속도 및 주행 방향과 같은 주행 상태를 감지한다(S820).
주행 상태 감지부(200)에 의하여 감지된 주행 상태는 제어부(400)로 전달되고, 제어부(400)는 복수 개의 카메라(111~114) 중 감지된 차량의 주행 상태에 따른 카메라를 선택한다(S830).
카메라 선택에 대한 정보 예를 들어, 카메라 식별 정보가 영상 획득부(100)로 전달되고, 영상 획득부(100)의 영상 합성부(133)는 전달받은 카메라 식별 정보에 대응하는 카메라의 영상만으로 합성 영상을 생성한다(S840).
합성된 영상은 디스플레이부(600)를 통하여 디스플레이되고(S850), 경고 출력부(700)는 차량의 주행 상태에 따른 경고 안내를 출력한다(S860).
이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 영상 획득부 200: 주행 상태 감지부
300: 저장부 400: 제어부
500: 영상 분석부 600: 디스플레이부
700: 경고 출력부

Claims (14)

  1. 차량의 주변을 촬영하는 복수 개의 카메라;
    상기 차량의 주행 상태를 감지하는 주행 상태 감지부;
    상기 복수 개의 카메라 중 상기 감지된 차량의 주행 상태에 따른 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 영상 합성부; 및
    상기 합성된 영상을 디스플레이하는 디스플레이부를 포함하는 차량의 주변 정보 제공 장치.
  2. 제 1항에 있어서,
    상기 차량의 주행 상태는 주행 속도 및 주행 방향 중 적어도 하나를 포함하는 차량의 주변 정보 제공 장치.
  3. 제 1항에 있어서,
    상기 합성된 영상을 분석하여 주변 물체의 움직임을 판단하는 영상 분석부를 더 포함하는 차량의 주변 정보 제공 장치.
  4. 제 3항에 있어서,
    상기 주변 물체의 움직임을 판단한 결과에 따라 안내 경고를 출력하는 경고 출력부를 더 포함하는 차량의 주변 정보 제공 장치.
  5. 제 4항에 있어서,
    상기 경고 출력부는 상기 감지된 차량의 주행 상태에 따른 안내 경고를 출력하는 차량의 주변 정보 제공 장치.
  6. 제 1항에 있어서,
    상기 디스플레이부는 복수 개의 분할 영역을 포함하며, 각 분할 영역을 통해 복수 개의 상기 합성된 영상을 디스플레이하는 차량의 주변 정보 제공 장치.
  7. 제 1항에 있어서,
    상기 디스플레이부는 인사이드 미러, 아웃사이드 미러, HUD(Head Up Display) 및 별도의 디스플레이 장치 중 적어도 하나를 포함하는 차량의 주변 정보 제공 장치.
  8. 복수 개의 카메라를 이용하여 차량의 주변을 촬영하는 단계;
    상기 차량의 주행 상태를 감지하는 단계;
    상기 복수 개의 카메라 중 상기 감지된 차량의 주행 상태에 따른 카메라에 의해 촬영된 주변에 대한 영상을 합성하는 단계; 및
    상기 합성된 영상을 디스플레이하는 단계를 포함하는 차량의 주변 정보 제공 방법.
  9. 제 8항에 있어서,
    상기 차량의 주행 상태는 주행 속도 및 주행 방향 중 적어도 하나를 포함하는 차량의 주변 정보 제공 방법.
  10. 제 8항에 있어서,
    상기 합성된 영상을 분석하여 주변 물체의 움직임을 판단하는 단계를 더 포함하는 차량의 주변 정보 제공 방법.
  11. 제 10항에 있어서,
    상기 주변 물체의 움직임을 판단한 결과에 따라 안내 경고를 출력하는 단계를 더 포함하는 차량의 주변 정보 제공 방법.
  12. 제 11항에 있어서,
    상기 안내 경고를 출력하는 단계는 상기 감지된 차량의 주행 상태에 따른 안내 경고를 출력하는 단계를 포함하는 차량의 주변 정보 제공 방법.
  13. 제 8항에 있어서,
    상기 합성된 영상을 디스플레이하는 단계는 복수 개의 분할 영역을 통해 복수 개의 상기 합성된 영상을 디스플레이하는 단계를 포함하는 차량의 주변 정보 제공 방법.
  14. 제 8항에 있어서,
    상기 합성된 영상을 디스플레이하는 단계는 인사이드 미러, 아웃사이드 미러, HUD(Head Up Display) 및 별도의 디스플레이 장치 중 적어도 하나를 통해 상기 합성된 영상을 디스플레이하는 단계를 포함하는 차량의 주변 정보 제공 방법.
KR1020110139293A 2011-12-21 2011-12-21 차량의 주변 정보 제공 장치 및 방법 KR20130071842A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110139293A KR20130071842A (ko) 2011-12-21 2011-12-21 차량의 주변 정보 제공 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110139293A KR20130071842A (ko) 2011-12-21 2011-12-21 차량의 주변 정보 제공 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130071842A true KR20130071842A (ko) 2013-07-01

Family

ID=48986728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110139293A KR20130071842A (ko) 2011-12-21 2011-12-21 차량의 주변 정보 제공 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130071842A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056658A (ko) * 2014-11-12 2016-05-20 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 그 제어방법
WO2018070717A1 (en) * 2016-10-11 2018-04-19 Samsung Electronics Co., Ltd. Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
CN110027552A (zh) * 2017-12-27 2019-07-19 丰田自动车株式会社 图像显示装置
KR102063957B1 (ko) * 2019-07-19 2020-01-08 주식회사 아이엔티코리아 지게차 작업사고를 방지하는 방법 및 시스템
WO2020096263A1 (ko) * 2018-11-07 2020-05-14 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160056658A (ko) * 2014-11-12 2016-05-20 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 그 제어방법
WO2018070717A1 (en) * 2016-10-11 2018-04-19 Samsung Electronics Co., Ltd. Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
US10726276B2 (en) 2016-10-11 2020-07-28 Samsung Electronics Co., Ltd. Method for providing a sight securing image to vehicle, electronic apparatus and computer readable recording medium therefor
CN110027552A (zh) * 2017-12-27 2019-07-19 丰田自动车株式会社 图像显示装置
CN110027552B (zh) * 2017-12-27 2022-05-10 丰田自动车株式会社 图像显示装置
WO2020096263A1 (ko) * 2018-11-07 2020-05-14 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법
KR20200052694A (ko) * 2018-11-07 2020-05-15 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법.
US11689812B2 (en) 2018-11-07 2023-06-27 Samsung Electronics Co., Ltd. Camera system included in vehicle and control method therefor
KR102063957B1 (ko) * 2019-07-19 2020-01-08 주식회사 아이엔티코리아 지게차 작업사고를 방지하는 방법 및 시스템

Similar Documents

Publication Publication Date Title
JP6311020B2 (ja) 映像合成システムとそのための映像合成装置及び映像合成方法
JP4969269B2 (ja) 画像処理装置
US8576285B2 (en) In-vehicle image processing method and image processing apparatus
US20070003162A1 (en) Image generation device, image generation method, and image generation program
US8395490B2 (en) Blind spot display apparatus
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
JP4323377B2 (ja) 画像表示装置
EP2058762B1 (en) Method and apparatus for generating bird's-eye image
KR101272257B1 (ko) 차량의 주변 영상 보정 장치 및 방법
US9493120B2 (en) Image generator
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP5412979B2 (ja) 周辺表示装置
US20140114534A1 (en) Dynamic rearview mirror display features
WO2013047012A1 (ja) 車両周辺監視装置
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
JP2016506572A (ja) インフォテイメントシステム
EP2631696B1 (en) Image generator
KR20130071842A (ko) 차량의 주변 정보 제공 장치 및 방법
JP2012040883A (ja) 車両周囲画像生成装置
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
JP2006044596A (ja) 車両用表示装置
JP2007028363A (ja) トップビュー画像生成装置及びトップビュー画像表示方法
KR102304391B1 (ko) 차량 및 그 제어 방법
JP6258000B2 (ja) 画像表示システム、画像表示方法及びプログラム
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application