KR101278654B1 - 차량의 주변 영상 디스플레이 장치 및 방법 - Google Patents

차량의 주변 영상 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR101278654B1
KR101278654B1 KR1020110087920A KR20110087920A KR101278654B1 KR 101278654 B1 KR101278654 B1 KR 101278654B1 KR 1020110087920 A KR1020110087920 A KR 1020110087920A KR 20110087920 A KR20110087920 A KR 20110087920A KR 101278654 B1 KR101278654 B1 KR 101278654B1
Authority
KR
South Korea
Prior art keywords
vehicle
image
surrounding
driving direction
projection surface
Prior art date
Application number
KR1020110087920A
Other languages
English (en)
Other versions
KR20130024459A (ko
Inventor
이성현
Original Assignee
에스엘 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엘 주식회사 filed Critical 에스엘 주식회사
Priority to KR1020110087920A priority Critical patent/KR101278654B1/ko
Publication of KR20130024459A publication Critical patent/KR20130024459A/ko
Application granted granted Critical
Publication of KR101278654B1 publication Critical patent/KR101278654B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Abstract

본 발명은 차량의 주변 영상 디스플레이 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량의 진행 방향에 대응하는 시점에서 바라본 주변 합성 영상을 디스플레이할 수 있는 차량의 주변 영상 디스플레이 장치 및 방법에 관한 것이다.
본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 장치는 차량 주변의 영상을 획득하고, 상기 차량 주변을 형성하는 투영면에 상기 획득된 영상을 투영시켜 가상 시점에서 바라본 상기 차량의 주변 합성 영상을 생성하는 영상 획득부, 상기 차량의 주행 방향을 판단하는 주행 방향 판단부, 상기 차량의 주행 방향별 가상 시점을 3차원 좌표 값으로 저장하는 저장부, 및 상기 판단된 주행 방향에 대응하는 가상 시점을 상기 저장부로부터 추출하고, 상기 추출된 가상 시점에서 바라본 주변 합성 영상을 디스플레이시키는 제어부를 포함한다.

Description

차량의 주변 영상 디스플레이 장치 및 방법 {Apparatus and method for displaying arround image of vehicle}
본 발명은 차량의 주변 영상 디스플레이 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량의 진행 방향에 대응하는 가상 시점에서 바라본 주변 합성 영상을 디스플레이할 수 있는 차량의 주변 영상 디스플레이 장치 및 방법에 관한 것이다.
일반적으로 차량의 주변 영상을 디스플레이시켜주는 시스템이 차량에 보편적으로 설치되어 있지 않아, 운전자는 단지 자신의 육안을 통해 차량 주변을 확인하거나, 인사이드 미러 또는 아웃 사이드 미러를 통해 차량 주변을 확인하였다.
그러나 차종에 따라서는 운전석에 앉아 전후방의 주변 환경을 쉽게 확인할 수 있는 방향이 있는가 하면, 육안 또는 미러를 통해 확인할 수 없는 사각 지대가 존재하기 마련이다.
특히, 대형 차량의 경우 인사이드 미러나 아웃 사이드 미러만으로는 확인할 수 없는 부위가 상대적으로 많기 때문에 차량을 주행하기에 앞서 차량의 주변을 돌아보면서 육안으로 장애물이 존재하는지 여부를 확인해야만 접촉 사고와 같은 교통 안전 사고 및 인명 사고의 발생을 방지할 수 있다.
따라서, 최근에는 차량의 전후좌우 방향에 각각 설치된 카메라를 통하여 주변 환경을 촬영하고, 촬영된 영상을 조합하여 차량에 구비된 디스플레이 장치를 통해 차량의 주변 영상을 디스플레이하는 장치가 개발되고 있다.
이와 같이 차량의 주변 영상을 디스플레이 하는 장치는 일반적으로 운전자가 시점을 변경하여 원하는 방향의 주변 영상을 디스플레이하는 것으로서, 차량의 주행 방향이 변경되는 경우에 운전자가 시점을 변경하지 않는다면 차량의 변경되는 주행 방향과는 관련이 없는 방향의 주변 영상이 디스플레이되는 경우가 발생하게 된다.
예를 들어, 차량이 교차로에서 선회하는 경우 차량의 앞 유리와 도어 사이의 프레임에 의해 장애물이나 보행자가 가려질 수 있으나, 운전자가 시점을 변경하지 않는다면 프레임에 가려진 장애물이나 보행자를 발견하지 못하여 차량 사고로 이어질 수도 있다.
따라서, 차량의 주행 방향에 대응하는 시점의 주변 영상을 디스플레이하여 운전자가 차량의 프레임 등에 의해 가려진 장애물이나 보행자를 발견하지 못하여 차량 사고가 발생하는 경우를 방지하기 위한 방안이 요구되고 있다.
본 발명은 상기한 문제점을 해결하기 위해 고안된 것으로서, 본 발명의 이루고자 하는 기술적 과제는 차량의 주행 방향을 판단하고, 판단 결과에 대응하는 가상 시점에서 바라본 주변 합성 영상을 디스플레이할 수 있는 차량의 주변 영상 디스플레이 장치 및 방법을 제공하는 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 장치는, 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 장치는 차량 주변의 영상을 획득하고, 상기 차량 주변을 형성하는 투영면에 상기 획득된 영상을 투영시켜 가상 시점에서 바라본 상기 차량의 주변 합성 영상을 생성하는 영상 획득부, 상기 차량의 주행 방향을 판단하는 주행 방향 판단부, 상기 차량의 주행 방향별 가상 시점을 3차원 좌표 값으로 저장하는 저장부, 및 상기 판단된 주행 방향에 대응하는 가상 시점을 상기 저장부로부터 추출하고, 상기 추출된 가상 시점에서 바라본 주변 합성 영상을 디스플레이시키는 제어부를 포함한다
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 방법은, 차량 주변의 영상을 획득하고, 상기 차량 주변을 형성하는 투영면에 상기 획득된 영상을 투영시켜 가상 시점에서 바라본 상기 차량의 주변 합성 영상을 생성하는 단계, 상기 차량의 주행 방향을 판단하는 단계, 상기 판단된 주행 방향에 대응하는 가상 시점을 추출하는 단계, 및 상기 추출된 가상 시점에서 바라본 주변 합성 영상을 디스플레이하는 단계를 포함한다.
상기와 같은 본 발명의 차량의 주변 영상 디스플레이 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
차량의 주행 방향을 판단하고, 그에 대응하는 가상 시점에서 바라본 주변 합성 영상을 디스플레이하기 때문에 차량의 주행 방향이 변경되는 경우에도 변경된 주행 방향에 대응하는 가상 시점에서 바라본 주변 합성 영상을 디스플레이하여 운전자가 장애물이나 보행자를 용이하게 확인하여 차량 사고 발생을 방지할 수 있는 효과가 있다.
또한, 운전자가 주변 합성 영상의 가상 시점을 변경하지 않고도 차량의 주행 방향에 따라 변경되는 가상 시점에서 바라본 주변 합성 영상을 디스플레이하기 때문에 운전자의 편의성이 향상될 수 있는 효과도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 장치가 도시된 블록도.
도 2는 본 발명의 실시예에 따른 영상 획득부가 도시된 블록도.
도 3은 본 발명의 실시예에 따른 복수의 카메라에 의해 획득되는 영상이 도시된 개략도.
도 4는 본 발명의 실시예에 따른 투영면이 도시된 개략도.
도 5는 본 발명의 실시예에 따른 저장부에 저장되는 시점이 도시된 개략도.
도 6은 본 발명의 실시예에 따른 차량의 선회 방향이 도시된 개략도.
도 7은 도 6의 선회 방향에 따른 가상 시점이 도시된 개략도.
도 8은 본 발명의 실시예에 따른 차선 변경 방향이 도시된 개략도.
도 9는 도 8의 차선 변경 방향에 따른 가상 시점이 도시된 개략도.
도 10은 본 발명의 실시예에 따른 교차로에서의 사각 지대가 도시된 개략도.
도 11은 본 발명의 실시예에 따른 HUD 디스플레이 장치에 의해 디스플레이되는 영상이 도시된 개략도.
도 12는 본 발명의 실시예에 따른 차량의 도어가 열린 상태가 도시된 개략도.
도 13은 도 10의 도어 열림에 따른 가상 시점이 도시된 개략도.
도 14는 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 방법이 도시된 순서도.
도 15는 본 발명의 다른 실시예에 따른 차량의 주변 영상 디스플레이 방법이 도시된 순서도.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
따라서, 몇몇 실시예에서, 잘 알려진 공정 단계들, 잘 알려진 구조 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 포함한다(comprises) 및/또는 포함하는(comprising)은 언급된 구성요소, 단계 및/또는 동작 이외의 하나 이상의 다른 구성요소, 단계 및/또는 동작의 존재 또는 추가를 배제하지 않는 의미로 사용한다. 그리고, "및/또는"은 언급된 아이템들의 각각 및 하나 이상의 모든 조합을 포함한다.
또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 사시도, 단면도, 측면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 따라서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니라 제조 공정에 따라 생성되는 형태의 변화도 포함하는 것이다. 또한, 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.
이하, 본 발명의 실시예들에 의하여 차량의 주변 영상 디스플레이 장치 및 방법을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1은 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 장치가 도시된 블록도이다.
도시된 바와 같이, 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 장치(1)는, 영상 획득부(100), 주행 방향 판단부(200), 제어부(300), 저장부(400) 및 디스플레이부(500)를 포함할 수 있다.
영상 획득부(100)는 차량 주변의 하나 이상의 방향에 대한 영상을 획득하고, 획득된 영상을 이용하여 차량의 주변 합성 영상을 생성할 수 있으며, 주행 방향 판단부(200)는 차량의 주행 방향을 판단하고, 제어부(300)는 주행 방향 판단부(200)의 판단 결과에 대응하는 가상 시점을 저장부(400)로부터 추출하고, 저장부(400)는 차량의 주행 방향별 가상 시점을 저장하며, 디스플레이부(500)는 추출된 가상 시점에서 바라본 차량의 주변 합성 영상을 디스플레이할 수 있다.
도 2는 본 발명의 실시예에 따른 영상 획득부가 도시된 블록도이다.
도시된 바와 같이, 본 발명의 실시예에 따른 영상 획득부(100)는 차량에 설치되는 복수의 카메라(111~114), 복수의 카메라(111~114)로부터 획득된 영상을 저장하는 영상 저장부(120) 및 저장된 영상을 이용하여 차량의 주변 합성 영상을 생성하는 주변 영상 생성부(130)를 포함할 수 있다.
본 발명의 실시예에서 복수의 카메라(111~114)가 도 3과 같이, 차량(10)의 전후좌우 방향에 각각 설치되는 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 카메라의 설치 개수나 설치 방향은 용도 및 필요에 따라 다양하게 변경될 수 있다.
예를 들어, 복수의 카메라(111~114)가 큰 화각을 가지는 광각 렌즈나 어안 렌즈가 사용되는 경우에는 설치 개수가 감소될 수 있고, 그렇지 않은 경우에는 설치 개수가 증가될 수 있다.
복수의 카메라(111~114)는 차량 주변의 전방향, 즉 360도에 대한 영상을 획득할 수 있으며, 도 3과 같이 복수의 카메라(111~114)가 차량(10)의 전후좌우 방향에 각각 설치되는 경우, 각 카메라는 180도의 화각을 가지는 광각 렌즈나 어안 렌즈가 사용될 수 있다.
본 발명의 실시예에서 복수의 카메라(111~114)는 각각 제 1카메라(111), 제 2카메라(112), 제 3카메라(113) 및 제 4카메라(114)라 칭하기로 하며, 각각 차량(10)의 전방 영역(111a), 후방 영역(112a), 좌측 영역(113a) 및 우측 영역(114a)의 영상을 획득하는 경우를 예를 들어 설명하기로 한다.
또한, 본 발명의 실시예에서 제 1카메라(111)는 본넷의 중심에 설치되고, 제 2카메라(112)는 차량(10)의 후방 범퍼 상부에 설치되며, 제 3 및 제 4카메라(113, 114)는 차량(10)의 좌우측 아웃 사이드 미러에 설치되는 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서 이에 한정되지 않고, 차량(10)의 전후좌우 방향의 영상을 획득하는 방향으로 설치되는 경우 다른 위치에도 설치될 수 있다.
영상 저장부(120)는 복수의 카메라(111~114)에 의해 획득된 영상을 저장할 수 있다. 영상 저장부(120)에는 복수의 카메라(111~114)에 의해 획득된 영상과 더불어 영상의 식별 정보 및 영상을 획득한 카메라의 식별 정보가 함께 저장될 수 있다.
영상 저장부(120)는 캐쉬, RAM, SRAM, DRAM, ROM, PROM, EPROM, EEPROM, 플래쉬 메모리 및 하드 디스크 드라이브 등이 사용될 수 있으나, 이에 한정되지 않는다.
이때, 복수의 카메라(111~114)는 획득된 영상을 영상 저장부(120)로 전송하기 이전에 데이터 전송이 용이하도록 영상을 압축 형태의 포맷으로 변환할 수 있고, 압축 포맷은 MPEG-1 또는 MPEG-4 등의 공지된 다양한 포맷이 사용될 수 있으며, 복수의 카메라(111~114)는 획득된 영상의 데이터 포맷 변환을 위한 별도의 프로세서를 포함할 수 있다.
한편, 복수의 카메라(111~114)가 광각 렌즈나 어안 렌즈가 사용되는 경우에는 완전한 구 형태가 아니고 초점 거리가 짧으므로 렌즈의 기하하적 왜곡, 예를 들어 방사상 왜곡이나 접선 방향의 왜곡이 발생할 수 있기 때문에 복수의 카메라(111~114)에 의해 획득된 영상은 왜곡 보정 알고리즘에 의해 왜곡이 보정되어 영상 저장부(120)에 저장될 수 있다.
복수의 카메라(111~114)에 의해 획득된 영상의 왜곡 보정은 복수의 카메라(111~114)에서 수행될 수도 있고, 영상 저장부(120)에서 영상 저장시 수행될 수도 있으며, 별도의 왜곡 보정을 위한 구성 요소에 의해 수행되어 영상 저장부(120)로 전송될 수도 있다.
주변 영상 생성부(130)는 복수의 카메라(111~114)에 의해 획득된 영상을 차량 주변을 형성하는 투영면에 투영시켜 좌표를 변환하고, 좌표가 변환된 영상을 투영면에 합성하여 주변 합성 영상을 생성할 수 있으며, 이러한 주변 영상 생성부(130)는 투영면 설정부(131), 좌표 변환부(132) 및 영상 합성부(133)를 포함할 수 있다.
투영면 설정부(131)는 차량 주변을 형성하는 가상의 투영면을 설정할 수 있다. 이러한 투영면은 차량 출고시 미리 설정된 투영면일 수도 있고, 미리 저장된 여러 종류의 투영면 중 운전자에 의해 선택된 투영면일 수 있으나, 이에 한정되지 않는다.
본 발명의 실시예에서는 투영면 설정부(131)에 의해 설정되는 투영면이 도 4와 같이, 3차원 입체 투영 모델로 반구형인 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 구형, 평면형 등 다양한 투영면이 설정될 수 있다.
좌표 변환부(132)는 투영면 설정부(131)에 의해 설정된 투영면의 좌표 정보(예를 들어, 투영면의 3차원 좌표 정보 등)를 저장할 수 있으며, 저장된 좌표 정보를 이용하여 영상 획득부(100)에서 획득된 영상의 좌표를 투영면의 좌표로 변환할 수 있다.
예를 들어, 좌표 변환부(132)는 복수의 카메라(111~114)에 의해 획득된 영상을 투영면에 투영시켜 복수의 카메라(111~114)에 의해 획득된 영상의 2차원 좌표를 투영면에 대한 3차원 좌표로 변환할 수 있으며, 이러한 좌표 변환을 통해 영상 합성부(133)가 복수의 카메라(111~114)에 의해 획득된 영상을 설정된 투영면에 합성하는 것이 가능하게 된다.
영상 합성부(133)는 좌표 변환부(132)에 의해 좌표가 변환된 영상을 투영면 설정부(131) 에 의해 설정된 투영면에 합성하여 주변 합성 영상을 생성할 수 있다.
예를 들어, 영상 합성부(133)가 전술한 도 4와 같이 반구형으로 설정된 투영면(140)에 복수의 카메라(111~114)에 의해 획득된 영상을 합성하기 위해서는, 좌표 변환부(132)에 의해 획득된 영상의 2차원 좌표가 투영면(140)의 3차원 좌표로 변환되는 과정을 거치게 되며, 영상 합성부(133)는 좌표가 변환된 영상을 투영면에 합성함으로써 차량의 주변 합성 영상을 생성할 수 있는 것이다.
이와 같이, 투영면 설정부(131)에 의해 설정된 투영면에 복수의 카메라(111~114)에 의해 획득된 영상을 합성하여 주변 합성 영상을 생성하는 경우, 차량의 주변 합성 영상을 3차원 영상으로 디스플레이할 수 있게 되며, 도 4의 화살표와 같이 투영면(140)에 대해 가상 시점을 변경함으로써 원하는 위치를 원하는 방향에서 원하는 스케일로 디스플레이하는 것이 가능하게 된다.
다시 말해서, 본 발명의 실시예에서는 생성된 주변 합성 영상에 대한 가상 시점, 즉 투영면에 대해 가상 시점을 변경하는 경우 차량을 위에서 바라보는 탑뷰 형태로 디스플레이하는 것도 가능하고, 차량의 주변의 임의의 위치에서 차량 주변 또는 차량의 적어도 일부와 차량 주변을 바라보는 형태로 디스플레이하는 것이 가능하게 된다.
주행 방향 판단부(200)는 차량의 주행 방향, 예를 들어 교차로에서 차량의 선회 방향이나 차선 변경 방향 등을 감지하여 주행 방향을 판단할 수 있으며, 선회 방향이나 차선 변경 방향 등을 감지하기 위한 각종 센서 및 프로세서 등을 포함할 수 있다.
예를 들어, 주행 방향 판단부(200)는 방향 지시등 신호, 조향 방향 및 차선 변경 감지 등을 근거로 하여 교차로에서 차량의 선회 방향이나 차선 변경 방향 등을 판단할 수 있다.
본 발명의 실시예에서는 주행 방향 판단부(200)가 차량의 선회 방향이나 차선 변경 방향 등을 감지하는 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 차량에서 발생되는 다양한 이벤트, 예를 들어 차량 속도, 장애물, 변속단, 후진, 도어 열림 등도 판단할 수 있다.
또한, 본 발명의 실시예에서는 주행 방향 판단부(200)가 차량에서 발생되는 다양한 이벤트를 판단하는 경우를 예를 들어 설명하고 있으나, 이에 한정되지 않고 차량에서 발생되는 다양한 이벤트를 감지하기 위한 별도의 이벤트 감지부(미도시)를 포함할 수 있으며, 이벤트 감지부는 이벤트 감지를 위한 각종 센서 및 프로세서를 포함할 수 있다. 이때, 주행 방향 판단부(200)와 이벤트 감지부는 하드웨어적으로 별도의 구성 요소로 이루어질 수도 있고, 통합되어 이루어질 수도 있다.
제어부(300)는 주행 방향 판단부(200)의 판단 결과에 대응하는 가상 시점에서 바라본 주변 합성 영상이 디스플레이부(500)를 통해 디스플레이되도록 할 수 있다.
이때, 제어부(300)는 주행 방향 판단부(200)의 판단 결과에 대응하는 가상 시점을 저장부(400)로부터 추출할 수 있으며, 저장부(400)는 주행 방향별 가상 시점을 3차원 좌표 값의 형태로 저장할 수 있다.
예를 들어, 저장부(400)는 도 5와 같이, 차량의 주행 방향별로 복수의 가상 시점, 즉 시점 1, 2, 3, ... , n(410~440)을 포함할 수 있으며, 각 가상 시점(410~440)은 해당하는 주행 방향(예를 들어, 선회 방향이나 차선 변경 방향 등)을 나타내는 식별 정보를 포함할 수 있다. 이때, 차량의 주행 방향별 가상 시점은 차량 출고시 여러 가지 테스트를 거쳐 결정될 수도 있고, 운전자가 차량을 주행하는 도중 가상 시점을 변경하고, 변경된 가상 시점을 특정 주행 방향에 대하여 맵핑시킬 수도 있으나, 이에 한정되지 않는다.
또한, 저장부(400)는 임의의 주행 방향에 대하여 하나의 가상 시점만을 저장하거나 여러 방향에서 바라본 가상 시점을 저장할 수도 있으며, 여러 방향에서 바라본 가상 시점이 저장되는 경우, 제어부(300)는 복수의 가상 시점을 모두 추출하거나 우선 순위를 부여하여 높은 우선 순위의 가상 시점을 추출하거나 운전자에 의해 선택된 가상 시점을 추출할 수 있다.
저장부(400)에 저장되는 복수의 가상 시점(410~440)은 주행 방향 판단부(200)이 판단하는 대상에 따라 변경될 수 있다. 다시 말해서, 본 발명의 실시예에서는 주행 방향 판단부(200)가 차량의 선회 방향 및 차선 변경 방향을 판단하는 경우를 예를 들어 설명하고 있으므로, 저장부(400)에는 차량의 좌측 또는 우측 선회에 대응하는 가상 시점과 좌측 또는 우측 차선 변경에 대응하는 가상 시점 저장될 수 있으며, 주행 방향 판단부(200)의 판단 대상이 추가, 삭제 및 변경되는 경우, 그에 따라 저장되는 가상 시점도 추가, 삭제 및 변경될 수 있다.
이러한 저장부(400)는 전술한 영상 저장부(120)와 같이, 캐쉬, RAM, SRAM, DRAM, ROM, PROM, EPROM, EEPROM, 플래쉬 메모리 및 하드 디스크 드라이브 등이 사용될 수 있으나, 이에 한정되지 않는다.
한편, 제어부(300)는 차량 속도가 기준 속도 미만인 경우에 대해서 주변 합성 영상이 디스플레이되도록 할 수 있다. 다시 말해서, 제어부(300)는 차량이 기준 속도 이상으로 주행하고 있는 경우에는 차량 주변 합성 영상을 디스플레이시키는 것이 오히려 차량 주행에 방해 요소로 작용하여 차량 사고 발생 가능성을 높일 수 있기 때문에 이를 사전에 방지하기 위함이다.
이때, 본 발명의 실시예에서는 제어부(300)가 기준 속도 미만에서만 주변 합성 영상을 디스플레이하는 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 차량 속도와 무관하게 주변 합성 영상을 디스플레이시킬 수도 있으며, 기준 속도는 차종이나 도로 상황 등에 따라 변경될 수 있다.
이하, 주행 방향 판단부(200)에 의해 차량의 선회 방향이나 차선 변경 방향이 판단되는 경우 추출되는 가상 시점에 대하여 살펴보기로 한다.
도 6은 본 발명의 실시예에 따른 교차로에서의 차량의 선회 방향이 도시된 개략도이고, 도 7은 도 6과 같은 차량 선회시 가상 시점이 도시된 개략도이다.
도 6을 살펴보면, 차량(10)이 교차로에서 좌측 방향으로 선회하기 위하여 좌측 방향 지시등을 켠 상태에서 대기하고 있는 것을 알 수 있으며, 주행 방향 판단부(200)는 방향 지시등 신호를 통해 차량(10)이 좌측 방향으로 선회하려고 한다는 것을 판단할 수 있다.
제어부(300)는 차량(10)이 좌측 방향으로 선회하는 경우에 대한 가상 시점을 저장부(400)로부터 추출할 수 있으며, 추출된 가상 시점에서 바라본 주변 합성 영상을 디스플레이시키게 된다.
이때, 제어부(300)에 의해 추출된 가상 시점은 도 7의 화살표와 같이, 차량(10)의 전방 좌측 대각선 방향인 것을 알 수 있는데, 이는 차량(10)이 좌측 방향으로 선회하는 경우 차량(10)의 앞유리와 도어 사이의 프레임(예를 들어, A 필러)에 가려진 부분의 확인이 용이하지 않기 때문에 운전자가 차량 전방 좌측 대각선 방향에 있는 장애물이나 보행자를 확인하지 못하여 차량 사고나 인명 사고가 발생하는 것을 방지하기 위함이다. 도 7의 가상 시점은 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 차량이 선회하는데 필요한 방향의 가상 시점으로 변경될 수 있다.
따라서, 제어부(300)는 도 6과 같이 차량(10)이 좌측 방향으로 선회하려는 경우의 가상 시점을 저장부(400)로부터 추출하고, 추출된 가상 시점을 기초로 도 7의 화살표와 같은 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 할 수 있는 것이다.
도 8은 본 발명의 실시예에 따른 차선 변경 방향이 도시된 개략도이고, 도 9는 도 8과 같은 차선 변경시 가상 시점이 도시된 개략도이다.
도 8을 살펴보면, 차량(10)이 현재 주행하고 있는 차선에서 우측 차선으로 차선을 변경하려는 경우이며, 차량(10)이 우측 차선으로 변경하려는 경우의 가상 시점을 저장부(400)로부터 추출하고, 추출된 가상 시점을 기초로 도 9의 화살표와 같은 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 할 수 있는 것이다.
이때, 도 9의 가상 시점은 차량(10)의 후방 우측 대각선 방향인 경우의 일 예이며, 이는 운전자가 인사이드 미러나 아웃 사이드 미러를 통해 확인하지 못한 후방 차량이나 측방 차량으로 인해 차량 사고가 발생되는 것을 방지하기 위함이다. 또한, 도 9의 가상 시점은 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 차량(10)이 차선 변경을 하는데 필요한 방향의 가상 시점으로 변경될 수 있다.
전술한 도 6 내지 도 8에서는 차량의 선회 방향이나 차선 변경 방향에 대하여 하나의 가상 시점에 대한 주변 합성 영상을 디스플레이시키는 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 차량의 주행 방향에 대하여 둘 이상의 가상 시점에 대한 주변 합성 영상이 디스플레이되는 것이 필요하다면, 제어부(300)는 둘 이상의 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 할 수도 있다.
예를 들어, 전술한 도 8에서 차량(10)이 우측 차선으로 차선을 변경하려고 하는 경우, 도 9에서는 차량(10)의 후방 우측 대각선 방향의 가상 시점이 도시되어 있으나, 차량(10)의 우측 차선으로 차선을 변경하려고 하는 경우 후방 대각선 방향과 더불어 우측 방향의 주변 합성 영상이 각각 디스플레이되도록 할 수 있는 것이다.
디스플레이부(500)는 제어부(300)에 의해 추출된 가상 시점에서 바라본 주변 합성 영상을 디스플레이할 수 있으며, 이러한 디스플레이부(500)는 차량에 구비된 각종 디스플레이 장치, 예를 들어 네비게이션, HUD 디스플레이 장치, 인사이드 미러나 아웃 사이드 미러에 장착된 디스플레이 장치 및 AV 시스템 등이나, 주변 합성 영상의 디스플레이를 위해 별도로 설치된 디스플레이 장치가 사용될 수 있고, 이 중에서 HUD 디스플레이 장치를 예를 들어 설명하면 다음과 같다.
디스플레이부(500)가 HUD 디스플레이 장치로 구성되고, 도 10과 같이 차량(10)이 교차로에서 좌측 방향으로 선회하려는 경우, 차량(10)의 A 필러에 의해 차량(10)의 좌측 전방 대각선 방향으로 사각 지대(20)가 발생할 수 있고, 사각 지대(20)에 보행자(30)가 존재하는 경우에는 운전자가 보행자(30)를 확인하지 못하여 차량 사고로 이어질 가능성이 존재하게 된다.
따라서, 본 발명의 실시예에서는 도 11과 같이, 주행 방향 판단부(200)에 의해 차량(10)이 좌측으로 선회하는 것으로 판단되는 경우, 생성된 주변 합성 영상의 가상 시점을 변경하여 차량(10)과 차량 주변을 바라본 영상(510)이 HUD 디스플레이 장치를 통해 차량(10)의 앞유리 일측에 디스플레이되도록 할 수 있다.
차량(10)의 앞유리에 디스플레이된 영상(510)에는 차량(10), 판단된 차량의 선회 방향(11) 및 보행자(30) 등이 포함될 수 있으며, 운전자는 디스플레이된 영상(510)을 통하여 차량(10)이 좌측으로 선회하기 이전에 선회 방향에 존재하는 보행자(30)를 확인하여 이에 대처할 수 있게 되는 것이다. 다시 말해서, 본 발명의 실시예에서는 차량(10)의 A 필러(10a)에 의해 가려진 사각 지대(20)의 보행자(30)나 장애물을 사전에 확인하고 이에 대처하는 것이 가능하게 되는 것이다.
이때, 본 발명의 실시예에서는 HUD 디스플레이 장치에 의해 디스플레이되는 영상(510)에 차량(10), 판단된 차량의 선회 방향(11) 및 보행자(30)가 포함되는 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않는다.
디스플레이부(500)는 차량의 주행 방향에 대하여 하나의 가상 시점에서 바라본 주변 합성 영상을 디스플레이하거나 복수의 가상 시점에서 바라본 주변 합성 영상을 디스플레이할 수 있으며, 복수의 가상 시점에 대한 주변 합성 영상을 디스플레이하기 위하여 복수개로 구성될 수도 있고, 하나 이상의 분할 화면을 포함할 수도 있다.
한편, 전술한 바와 같이, 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 장치(1)는 차량의 주행 방향을 판단하고, 판단 결과에 대응하는 가상 시점에서 바라본 주변 합성 영상을 디스플레이하는 경우와 더불어 차량에서 발생되는 다양한 이벤트에 대응하는 가상 시점을 저장하고, 발생한 이벤트에 대응하는 가상 시점에서 바라본 주변 합성 영상을 디스플레이할 수도 있다.
이를 위해, 저장부(400)는 주행 방향에 대응하는 가상 시점과 더불어 차량에서 발생한 각종 이벤트에 대응하는 가상 시점을 저장할 수 있으며, 제어부(300)가 발생한 이벤트에 대응하는 가상 시점을 저장부(400)로부터 추출하고, 추출한 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 할 수 있는 것이다.
예를 들어, 제어부(300)는 도 12와 같이, 차량에 발생할 수 있는 다양한 이벤트들 중 차량(10)의 도어(10b)가 열린 이벤트의 경우에는, 도 13의 화살표와 같이 차량의 열린 도어측 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 하여 차량에서 내릴 때 발생할 수 있는 차량 사고나 인명 사고를 방지할 수 있게 되는 것이다.
한편, 제어부(300)는 판단된 주행 방향에 대응하는 가상 시점의 주변 합성 영상을 디스플레이시키는 것과 더불어 차량이 교차로에서 선회 중일때나 차선을 변경 중일 때 가상 시점이 이동되도록 제어할 수 있다.
즉, 본 발명의 실시예에서 생성된 주변 합성 영상은 가상 시점의 변경을 통해 차량의 주변의 임의의 위치에서 차량 주변 또는 차량을 포함하는 주변 영상을 디스플레이하는 것이 가능하기 때문에 차량이 교차로에서 선회 대기 중일 때와 선회 중일 때의 시점이 차선 방향이나 조향 방향 등에 따라 가상 시점이 이동되도록 하여 운전자가 교차로에서 선회하는 동안 최적의 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 할 수 있는 것이다.
다시 말해서, 차량이 교차로에서 선회 대기중일 때 차량의 앞 유리와 도어 사이의 프레임에 가려진 부분과 선회 중일 때 가려지는 부분이 다르기 때문에 차량이 선회하는 동안 가상 시점을 이동시켜 운전자가 선회하는 동안 프레임에 가려진 부분을 용이하게 확인할 수 있도록 하는 것이다.
또한, 제어부(300)는 주행 방향 판단부(200)의 주행 방향 판단 결과, 둘 이상의 상반된 판단 결과나 나온 경우, 각 판단 결과에 우선 순위를 부여하여 높은 우선 순위의 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 할 수 있다.
예를 들어, 제어부(300)는 방향 지시등 신호에서는 차량이 좌측 방향으로 선회하는 것으로 판단되고, 조향 방향에서는 차량이 우측 방향으로 선회하는 것으로 판단된 경우, 방향 지시등 신호의 우선 순위가 높은 경우 좌측 방향에 대응하는 가상 시점에 바라본 주변 합성 영상이 디스플레이되도록 하고, 조향 방향의 우선 순위가 높은 경우 우측 방향에 대응하는 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 할 수 있는 것이다.
한편, 제어부(300)는 전술한 바와 같이, 높은 우선 순위의 판단 결과에 대응하는 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 할 수도 있으나, 이에 한정되지 않고 둘 이상의 판단 결과에 따라 각각 대응하는 가상 시점에서 바라본 주변 합성 영상이 모두 디스플레이되도록 할 수도 있다.
이를 위해, 전술한 바와 같이, 본 발명의 디스플레이부(500)는 화면을 분할하여 복수의 주변 합성 영상을 디스플레이시킬 수도 있고, 디스플레이부(500)가 복수개로 구비될 수도 있다.
도 14는 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 방법이 도시된 순서도이다. 이때, 도 14는 영상 획득부(100)에서 주행 방향 판단부(200)의 판단 이전에 차량의 주변 합성 영상을 생성하고 있는 상태인 경우를 예를 들어 설명하기로 하나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 주행 방향 판단부(200)의 판단 후에 차량 주변의 합성 영상을 생성할 수도 있다.
도시된 바와 같이, 본 발명의 실시예에 따른 차량의 주변 영상 디스플레이 방법은, 먼저 주행 방향 판단부(200)에서 차량의 주행 방향을 판단하게 된다(S110).
이때, 판단되는 주행 방향은 차량의 선회 방향이나 차선 변경 방향일 수 있으며, 전술한 바와 같이 방향 지시등 신호, 조향 방향 및 차선 변경 감지 등을 근거로 하여 판단될 수 있다.
제어부(300)는 판단된 차량의 주행 방향에 대응하는 가상 시점을 저장부(400)로부터 추출하게 된다(S120).
즉, 저장부(400)에는 차량의 주행 방향별 가상 시점이 저장되어 있기 때문에, 제어부(300)는 판단된 주행 방향에 대응하는 가상 시점을 저장부(400)로부터 추출할 수 있는 것이다.
제어부(300)는 저장부(400)로부터 추출된 가상 시점에서 바라본 주변 합성 영상이 디스플레이부(500)를 통해 디스플레이되도록 한다(S130).
예를 들어, 제어부(300)는 저장부(400)로부터 추출된 가상 시점에서 바라본 주변 합성 영상에 대한 식별 정보를 영상 획득부(100)로 전달하게 되며, 영상 획득부(100)로부터 전달된 주변 합성 영상을 디스플레이부(500)로 전달하여 디스플레이되도록 하는 것이다.
도 15는 본 발명의 다른 실시예에 따른 차량의 주변 영상 디스플레이 방법이 도시된 순서도이다. 도 15는 둘 이상의 상반된 판단 결과가 나온 경우 각 판단 결과의 우선 순위를 판단하여 높은 우선 순위에 대응하는 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 하는 경우의 일 예이다.
도시된 바와 같이, 본 발명의 다른 실시예에 따른 차량의 주변 영상 디스플레이 방법은, 먼저 주행 방향 판단부(200)가 차량의 주행 방향을 판단하게 된다(S210). 이때, S210 단계에서 판단 결과는 둘 이상의 상반된 판단 결과가 나온 경우를 예를 들어 설명하기로 하며, 일 예로 방향 지시등 신호와 조향 방향이 서로 다른 방향으로 판단된 경우를 예를 들어 설명하기로 한다.
제어부(300)는 하나 이상의 판단 결과에 대한 우선 순위를 판단하게 된다(S220). 예를 들어, 제어부(300)는 주행 방향 판단부(200)에서 방향 지시등 신호와 조향 방향이 서로 다른 경우 높은 각 판단 결과에 대한 우선 순위를 판단하는 것이다.
제어부(300)는 높은 우선 순위를 가지는 판단 결과에 대응하는 가상 시점을 저장부(400)로부터 추출하고(S230), 추출된 가상 시점에서 바라본 차량의 주변 합성 영상이 디스플레이되도록 한다(S240).
한편, 전술한 도 15에서는 둘 이상의 서로 상반된 판단 결과가 나온 경우 높은 우선 순위의 판단 결과에 대응하는 가상 시점에서 바라본 주변 합성 영상이 디스플레이되는 경우를 예를 들어 설명하고 있으나, 이는 본 발명의 이해를 돕기 위한 일 예에 불과한 것으로서, 이에 한정되지 않고 둘 이상의 서로 상반된 판단 결과가 나온 경우라도 할지라도 각 판단 결과에 대응하는 가상 시점에서 바라본 주변 합성 영상이 각각 디스플레이되도록 할 수 있으며, 이를 위해 디스플레이부(500)의 화면을 분할하거나 복수개로 구성할 수 있다.
이와 같이, 차량의 주변 방향에 대응하는 가상 시점에서 바라본 주변 합성 영상이 디스플레이되도록 함으로써, 운전자가 교차로 등에서 차량이 선회하는 동안 차량의 앞 유리와 도어 사이의 프레임(예를 들어, A 필러)으로 인하여 가려지는 장애물이나 보행자 등을 확인하지 못하여 차량 사고나 인명 사고가 발생할 수 있는 가능성을 최소화시킬 수 있게 된다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 영상 획득부
111~114: 카메라
120: 영상 저장부
130: 주변 영상 생성부
131: 투영면 설정부
132: 좌표 변환부
133: 영상 합성부
200: 주행 방향 판단부
300: 제어부
400: 저장부
500: 디스플레이부

Claims (19)

  1. 차량 주변의 영상을 획득하고, 상기 차량 주변을 형성하는 투영면에 상기 획득된 영상을 투영시켜 가상 시점에서 바라본 상기 차량의 주변 합성 영상을 생성하는 영상 획득부;
    상기 차량의 주행 방향을 판단하는 주행 방향 판단부;
    상기 차량의 주행 방향별 가상 시점을 3차원 좌표 값으로 저장하는 저장부; 및
    상기 판단된 주행 방향에 대응하는 가상 시점을 상기 저장부로부터 추출하고, 상기 추출된 가상 시점에서 바라본 주변 합성 영상을 디스플레이시키는 제어부를 포함하며,
    상기 제어부는,
    상기 차량의 속도가 기준 속도 미만인 경우에 상기 주변 합성 영상을 디스플레이시키는 차량의 주변 영상 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 영상 획득부는,
    상기 차량 주변의 적어도 하나 이상의 방향에 대한 영상을 획득하는 복수의 카메라;
    상기 획득된 영상을 저장하는 영상 저장부; 및
    상기 투영면에 상기 획득된 영상을 투영시켜 좌표를 변환하고, 상기 변환된 영상을 상기 투영면에 합성하여 상기 주변 합성 영상을 생성하는 주변 영상 생성부를 포함하는 차량의 주변 영상 디스플레이 장치.
  3. 제 2 항에 있어서,
    상기 주변 영상 생성부는,
    상기 투영면을 설정하는 투영면 설정부;
    상기 설정된 투영면의 좌표 정보를 저장하고, 상기 저장된 좌표 정보를 기초로 상기 획득된 영상의 좌표를 상기 투영면의 좌표로 변환하는 좌표 변환부; 및
    상기 변환된 좌표를 기초로 상기 획득된 영상을 상기 설정된 투영면에 합성하는 영상 합성부를 포함하는 차량의 주변 영상 디스플레이 장치.
  4. 제 1 항에 있어서,
    상기 주행 방향 판단부는,
    상기 차량의 선회 방향 및 차선 변경 방향 중 하나 이상을 판단하는 차량의 주변 영상 디스플레이 장치.
  5. 제 4 항에 있어서,
    상기 주행 방향 판단부는,
    상기 차량의 방향 지시등 신호, 차선 변경 감지 및 조향 방향 중 하나 이상을 근거로 하여 상기 주행 방향을 판단하는 차량의 주변 영상 디스플레이 장치.
  6. 제 1 항에 있어서,
    상기 제어부는,
    상기 주행 방향에 대하여 둘 이상의 판단 결과가 존재하는 경우, 각 판단 결과에 대하여 우선 순위를 부여하고,
    높은 우선 순위를 가지는 판단 결과에 대응하는 가상 시점에 바라본 주변 합성 영상을 디스플레이시키는 차량의 주변 영상 디스플레이 장치.
  7. 제 1 항에 있어서,
    상기 제어부는,
    상기 주행 방향이 변경되는 동안 상기 투영면에 대해 상기 가상 시점을 이동시키는 차량의 주변 영상 디스플레이 장치.
  8. 삭제
  9. 제 1 항에 있어서,
    상기 추출된 시점에 대응하는 주변 합성 영상을 디스플레이하는 디스플레이부를 더 포함하고,
    상기 디스플레이부는,
    HUD 디스플레이, 인사이드 미러, 아웃 사이드 미러 및 네비게이션 중 하나 이상을 포함하는 차량의 주변 영상 디스플레이 장치.
  10. 차량 주변의 영상을 획득하고, 상기 차량 주변을 형성하는 투영면에 상기 획득된 영상을 투영시켜 가상 시점에서 바라본 상기 차량의 주변 합성 영상을 생성하는 단계;
    상기 차량의 주행 방향을 판단하는 단계;
    상기 판단된 주행 방향에 대응하는 가상 시점을 추출하는 단계; 및
    상기 추출된 가상 시점에서 바라본 주변 합성 영상을 디스플레이하는 단계를 포함하며,
    상기 디스플레이하는 단계는,
    상기 차량의 속도가 기준 속도 미만인 경우에 상기 주변 합성 영상을 디스플레이하는 단계를 포함하는 차량의 주변 영상 디스플레이 방법.
  11. 제 10 항에 있어서,
    상기 생성하는 단계는,
    상기 차량 주변의 적어도 하나 이상의 방향에 대한 영상을 획득하는 단계;
    상기 획득된 영상을 저장하는 단계; 및
    상기 투영면에 상기 획득된 영상을 투영시켜 좌표를 변환하고, 상기 변환된 영상을 상기 투영면에 합성하는 단계를 포함하는 차량의 주변 영상 디스플레이 방법.
  12. 제 11 항에 있어서,
    상기 투영면에 합성하는 단계는,
    상기 투영면을 설정하는 단계;
    상기 설정된 투영면의 좌표 정보를 이용하여 상기 획득된 영상의 좌표를 상기 투영면의 좌표로 변환하는 단계; 및
    상기 변환된 좌표를 기초로 상기 획득된 영상을 상기 설정된 투영면에 합성하는 단계를 포함하는 차량의 주변 영상 디스플레이 방법.
  13. 제 10 항에 있어서,
    상기 주행 방향을 판단하는 단계는,
    상기 차량의 선회 방향 및 차선 변경 방향 중 하나 이상을 판단하는 단계를 포함하는 차량의 주변 영상 디스플레이 방법.
  14. 제 13 항에 있어서,
    상기 주행 방향을 판단하는 단계는,
    상기 차량의 방향 지시등 신호, 차선 변경 감지 및 조향 방향 중 하나 이상을 근거로 하여 상기 주행 방향을 판단하는 단계를 포함하는 차량의 주변 영상 디스플레이 방법.
  15. 제 10 항에 있어서,
    상기 디스플레이하는 단계는,
    상기 주행 방향에 대하여 둘 이상의 판단 결과가 존재하는 경우, 각 판단 결과에 대하여 우선 순위를 부여하는 단계; 및
    높은 우선 순위를 가지는 판단 결과에 대응하는 가상 시점에서 바라본 주변 합성 영상을 디스플레이하는 단계를 포함하는 차량의 주변 영상 디스플레이 방법.
  16. 제 10 항에 있어서,
    상기 디스플레이하는 단계는,
    상기 주행 방향이 변경되는 동안 상기 투영면에 대해 상기 추출된 가상 시점으로 이동시키는 단계를 포함하는 차량의 주변 영상 디스플레이 방법.
  17. 삭제
  18. 제 10 항에 있어서,
    상기 디스플레이하는 단계는,
    HUD 디스플레이, 인사이드 미러, 아웃 사이드 미러 및 네비게이션 중 하나 이상을 통해 상기 주변 합성 영상을 디스플레이하는 단계를 포함하는 차량의 주변 영상 디스플레이 방법.
  19. 제 10 항에 있어서,
    상기 차량의 주행 방향별 가상 시점을 3차원 좌표 값으로 저장하는 단계를 더 포함하는 차량의 주변 영상 디스플레이 방법.
KR1020110087920A 2011-08-31 2011-08-31 차량의 주변 영상 디스플레이 장치 및 방법 KR101278654B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110087920A KR101278654B1 (ko) 2011-08-31 2011-08-31 차량의 주변 영상 디스플레이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110087920A KR101278654B1 (ko) 2011-08-31 2011-08-31 차량의 주변 영상 디스플레이 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20130024459A KR20130024459A (ko) 2013-03-08
KR101278654B1 true KR101278654B1 (ko) 2013-06-25

Family

ID=48176528

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110087920A KR101278654B1 (ko) 2011-08-31 2011-08-31 차량의 주변 영상 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101278654B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101765556B1 (ko) 2016-05-11 2017-08-23 (주)캠시스 차량 속도에 따른 영상 처리 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9752889B2 (en) 2013-03-14 2017-09-05 Robert Bosch Gmbh Time and environment aware graphical displays for driver information and driver assistance systems
US8892358B2 (en) * 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
KR101532653B1 (ko) * 2013-08-12 2015-06-30 재단법인대구경북과학기술원 가상 차선 생성 시스템 및 그 방법
KR101683986B1 (ko) 2014-10-17 2016-12-07 현대자동차주식회사 헤드업 디스플레이 제어장치 및 방법
CN115022615A (zh) * 2022-05-10 2022-09-06 南京青臣创意数字科技有限公司 基于投影的虚拟感知系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060041116A (ko) * 2004-11-08 2006-05-11 (주)아이디스 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
JP2007089111A (ja) * 2005-08-26 2007-04-05 Kazuo Iwane 二次元図面と映像の合成表示装置
KR20100021046A (ko) * 2008-08-14 2010-02-24 현대자동차일본기술연구소 자동차용 표시장치 및 그 제어 방법
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060041116A (ko) * 2004-11-08 2006-05-11 (주)아이디스 왜곡 영상 보정 장치 및 방법 및 이를 이용하는 영상디스플레이 시스템
JP2007089111A (ja) * 2005-08-26 2007-04-05 Kazuo Iwane 二次元図面と映像の合成表示装置
KR20100021046A (ko) * 2008-08-14 2010-02-24 현대자동차일본기술연구소 자동차용 표시장치 및 그 제어 방법
JP2010128951A (ja) * 2008-11-28 2010-06-10 Fujitsu Ltd 画像処理装置、画像処理方法及びコンピュータプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101765556B1 (ko) 2016-05-11 2017-08-23 (주)캠시스 차량 속도에 따른 영상 처리 장치 및 방법
WO2017195965A1 (ko) * 2016-05-11 2017-11-16 (주)캠시스 차량 속도에 따른 영상 처리 장치 및 방법
US10783665B2 (en) 2016-05-11 2020-09-22 Cammsys Co., Ltd. Apparatus and method for image processing according to vehicle speed

Also Published As

Publication number Publication date
KR20130024459A (ko) 2013-03-08

Similar Documents

Publication Publication Date Title
EP3160138B1 (en) Image synthesis system, image synthesis device therefor, and image synthesis method
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
JP5444338B2 (ja) 車両周囲監視装置
JP5099451B2 (ja) 車両周辺確認装置
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
WO2019192359A1 (zh) 一种车载全景视频显示系统、方法及车载控制器
US20140114534A1 (en) Dynamic rearview mirror display features
US8754760B2 (en) Methods and apparatuses for informing an occupant of a vehicle of surroundings of the vehicle
EP1961613B1 (en) Driving support method and driving support device
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
KR101272257B1 (ko) 차량의 주변 영상 보정 장치 및 방법
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
KR20100113959A (ko) 차량 주위 화상 표시 시스템
JP2008048345A (ja) 画像処理装置並びに視界支援装置及び方法
TWI533694B (zh) 車用障礙物偵測顯示系統
JP2007237785A (ja) 車載用情報提示システム
JP2015184907A (ja) 画像処理装置および画像処理プログラム
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
KR20130071842A (ko) 차량의 주변 정보 제공 장치 및 방법
JP2005269010A (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
CN103377372A (zh) 一种环视合成图重叠区域划分方法和环视合成图表示方法
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템
KR20130024066A (ko) 차량의 주차 보조 장치 및 그 동작 방법
KR101432178B1 (ko) 차량용 카메라 노출 제어 장치 및 그 방법
CN112912895B (zh) 一种检测方法、装置和车辆

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160325

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180326

Year of fee payment: 6