KR101393918B1 - 차량 전방위 감시 시스템 - Google Patents

차량 전방위 감시 시스템 Download PDF

Info

Publication number
KR101393918B1
KR101393918B1 KR1020080066104A KR20080066104A KR101393918B1 KR 101393918 B1 KR101393918 B1 KR 101393918B1 KR 1020080066104 A KR1020080066104 A KR 1020080066104A KR 20080066104 A KR20080066104 A KR 20080066104A KR 101393918 B1 KR101393918 B1 KR 101393918B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
images
omnidirectional
omni
Prior art date
Application number
KR1020080066104A
Other languages
English (en)
Other versions
KR20100005971A (ko
Inventor
김현상
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020080066104A priority Critical patent/KR101393918B1/ko
Publication of KR20100005971A publication Critical patent/KR20100005971A/ko
Application granted granted Critical
Publication of KR101393918B1 publication Critical patent/KR101393918B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1215—Mirror assemblies combined with other articles, e.g. clocks with information displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images

Abstract

본 문서는 차량의 상방 가상 시점에 대한 부감 영상으로 변환된 다수 개의 부감 영상들을 기 설정된 정합 위치에 따라 조합하여 하나의 전방위 영상을 생성하고, 전방위 영상에 차량의 이동 예상 궤적 표시를 추가하여 디스플레이 상에 출력하는 차량 전방위 감시 시스템을 개시한다. 이러한 차량 전방위 감시 시스템에 따르면, 차량 전방의 장애물 정보를 영상으로 확인할 수 있으며, 차량과 장애물 간의 거리를 직관적으로 알 수 있어 운전자의 편의를 극대화할 수 있다.
AROUND VIEW, 전방위 영상, 시점 변환, 예상 궤적

Description

차량 전방위 감시 시스템{A VEHICLE AROUND VIEW MONITORRING SYSTEM}
본 문서는 차량 전방위 감시 시스템에 관한 것으로 보다 구체적으로 차량의 이동 예상 궤적 표시가 추가된 전방위 영상을 제공하는 전방위 감시 시스템에 관한 것이다.
최근 카메라 및 영상 처리 기술이 발달함에 따라, 운전자의 주차 편의 및 주행 편의를 위해 영상 처리 시스템 적용이 늘고 있는 추세에 있다. 특히, 차량 주차시 좌우 측방이나 후방에 대한 시야 확보를 위해, 초음파를 이용한 후방 PAS(Parking Assist System)이 대부분의 차에 적용되고 있다. 그러나, PAS 시스템은 3단계의 경보 단계로만 운전자에게 소리로 경보하므로, 차량 주위의 장애물에 대한 정보가 제한적이다.
이러한 단점을 보완하고자, 후방 카메라를 적용하여 후방에 대한 영상 제공을 통해 시야 확보를 증대시키는 시스템이 적용될 수 있다. 하지만, 이 시스템은 장애물과의 거리를 판단하기 힘들며, 차량 후측방에 대한 정보를 제공할 수 없는 한계가 있다.
또한, 차량의 좌우 사이드 미러에 카메라를 장착하고, 카메라를 조작할 수 있는 컨트롤러를 구비하며, 차량 주변 환경 중 보고자 하는 방향으로 카메라를 좌우상하 조작하여 시야 확보하는 시스템이 적용될 수 있다. 하지만, 이 시스템은 카메라 좌우의 한정된 시야 확보의 한계성 가지고, 카메라 조사 방향(좌우상하) 조작을 위해 모터, 리미트 센서 및 컨트롤러(ECU)등 구현시 기계적 시스템 복잡하며 재료비 과다하여 실제 구현 가능성이 적다는 문제가 있다.
본 문서는 상술한 배경기술에 있어서, 차량 주변에 대한 전방위 영상에 차량의 이동 예상 궤적을 표시하여 제공하는 차량의 전방위 감시 시스템을 제공하고자 한다.
상술한 과제를 해결하기 위한 수단으로, 차량 전방위 감시 시스템은 차량에 장착되는 다수 개의 카메라로부터 취득하는 다수 개의 영상을 각각 상기 차량의 상방 가상 시점에 대한 부감 영상으로 변환하는 영상 처리부와, 상기 변환된 다수 개의 부감 영상들을 기 설정된 정합 위치에 따라 조합하여 하나의 전방위 영상을 생성하는 영상 합성부를 포함한다. 그리고, 상기 전방위 영상에 상기 차량의 이동 예상 궤적 표시를 추가하여 최종 전방위 영상을 생성하는 OSD 표시부 및 상기 최종 전방위 영상을 디스플레이 상에 출력하는 영상 출력부를 포함한다.
차량에 장착되는 다수 개의 카메라는 차량의 전방, 후방, 좌측방, 우측방을 촬영할 수 있도록 장착되어, 이 다수 개의 카메라로부터 촬영되는 영상들을 조합하여 차량 주변에 대한 전방위 영상을 생성할 수 있다. 아울러, 전방위 영상과 함께 차량의 이동 예상 궤적을 표시하여 줌으로써 차량과 장애물 간의 거리를 직관적으로 알 수 있어 운전자의 편이를 도모할 수 있을 것이다.
상기 이동 예상 궤적은, 기어단 정보, 속도 정보 및 조향 각도 정보 중 하나 이상을 통해 결정될 수 있다. 상기 기어단 정보가, 후진 R단인 경우, 상기 차량의 후방 이동 예상 궤적을 표시하고, 후진 R단 이외인 경우, 상기 차량의 전방 이동 예상 궤적을 표시할 수 있다. 또한, OSD 표시부에서는, 상기 이동 예상 궤적과 함께 최대 좌측 조향시 예상 궤적 및 최대 우측 조향시 예상 궤적을 더 표시할 수 있다.
상기 OSD 표시부에서는, 상기 합성 영상에 상기 차량의 이미지 및 상기 조합되는 다수 개의 부감 영상들 사이의 이미지 연결 구분선을 더 표시할 수 있다.
상기 영상 처리부는, 상기 카메라가 광각 카메라인 경우, 광학 보정도 함께 고려하여 영상을 처리할 수 있다.
상기 영상 합성부는, 상기 변환된 다수 개의 부감 영상들의 각 영상에서 상기 차량에 가까운 영상을 취합하여 상기 합성 영상을 생성할 수 있다.
상기 영상 출력부는, 상기 디스플레이 상에 상기 최종 전방위 영상뿐만 아니라 상기 다수 개의 카메라 중 하나 이상에 대한 개별 카메라 영상을 더 출력할 수 있다. 그리고, 다수의 카메라 영상 중에서 상기 디스플레이에 더 출력되는 개별 카메라 영상은 사용자 인터페이스 예를 들어, 터치 스크린을 통해 선택될 수 있다.
본 문서에 개시되는 차량 전방위 감시 시스템에 따르면, 차량 전방에 대한 주변 정보를 제공할 수 있다.
또한, 차량의 이동 예상 궤적을 산출하여 이를 차량 전방위 영상에 표시하여 제공하여 줌으로써 운전자의 편이를 극대화할 수 있다.
또한, 기어단 정보를 이용하여 이동 예상 궤적을 산출하여 제공함으로써 간 단하게 운전자에게 필요한 예상 궤적을 알려줄 수 있다.
또한, 최대 우측 조향시 예상 궤적 및/또는 최대 좌측 조향시 예상 궤적을 차량 전방위 영상에 표시하여 제공하여 줌으로써 운전자가 조향 정도를 가늠하는데 도움을 줄 수 있다.
이하 도면을 참조하여 차량의 상방의 가상 시점으로 변환된 차량의 전방위 영상들로 구성되는 합성 영상에 차량의 이동 예상 궤적이 표시되는 차량 전방위 감시 시스템에 대한 본 발명의 실시예들을 보다 구체적으로 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 동작을 설명하기 위한 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 구조도이다.
먼저, 단계 S10에서는 영상 처리부(20)에서 차량의 전, 후, 좌, 우에 장착되는 4 개의 카메라(2a, 2b, 2c, 2d) 각각으로부터 차량 주변 환경에 대한 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 취득한다. 이때 전, 후, 좌, 우에 장착되는 카메라는, 각각 전방 라디에이터 그릴 내, 리어 기니쉬, 사이드 미러 하단에 장착될 수 있다. 그리고, 영상 처리부(20)에서 취득한 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상을 각각 차량의 상방 가상 시점에 대한 부감 영상으로 변환한다.
그리고, 단계 S12에서는 영상 합성부(22)에서 변환된 부감 영상들을 기 설정된 정합 위치에 따라 조합하여 하나의 전방위 영상을 생성한다. 그리고, 단계 S14 에서는 본 실시예에 따라 OSD 표시부(24)에서 전방위 영상에 차량의 이동 예상 궤적 표시를 추가하여 최종 전방위 영상을 생성한다.
영상 합성부(22) 및/또는 OSD 표시부(24)에서는, 속도 정보(25), 조향 각도 정보(26) 및 기어단 정보(27)를 수신하여 영상을 합성할 때나 차량의 이동 예상 궤적을 표시할 때 이용할 수 있다.
그리고, 단계 S16에서는 영상 출력부(28)에서 차량의 상방의 가상 시점으로 변환된 전방위 영상에 차량의 이동 예상 궤적이 표시된 최종 전방위 영상을 디스플레이 상에 출력한다. 이때 디스플레이는 예를 들어, 차량에 장착된 AV 오디오가 될 수 있을 것이다.
이하 차량 전방위 감시 시스템의 각 구성에 대한 설명을 보다 구체적으로 한다.
도 3은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 영상 처리부(20)에 대한 입력 및 출력 영상의 예를 나타낸다.
영상 처리부(20)는 각 카메라의 원 영상을 입력받아 마치 위에서 본 것과 같은 영상으로 차량의 상방 가상 시점에 대한 부감 영상으로 변환한다. 영상 시점 변환시 차량의 카메라의 촬영방향과 지면의 수직방향 사이의 각도(31)를 고려할 수 있을 것이다. 이때 카메라를 광각 카메라를 이용하는 경우에는 시점 보정뿐만 아니라 광각 렌즈에 의해 왜곡된 부분도 보정할 수 있다.
예를 들어, 본 실시예에 따른 영상 처리부(20)에 의한 시점 변환 처리와 광각 렌즈에 의한 왜곡 보정을 통해 도 3의 (a)에서 도시된 바와 같은 차량의 후방 영상(30)은 도 3의 (b)에서 도시된 바와 같은 차량의 상방 가상 시점에 대한 부감 영상(32)으로 변환될 수 있다.
도 4는 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 영상 처리부(20)에서의 처리 방법의 일례를 설명하기 위한 도면이다.
본 실시예에서는 픽셀당 변환 전후 매핑 관계를 설정하는 룩업 테이블(Look Up Table, 40)을 이용하여 시점 변환 등에 대한 영상 처리를 수행하는 방법을 설명한다. 여기서, 룩업 테이블(40)은 출력 영상을 생성하기 위해 영상 데이터를 가져올 입력 영상의 위치 테이블로 구성될 수 있다.
본 실시예에 따른 룩업 테이블(40)은 시점 변환이나 왜곡 보정 등을 구현할 수 있도록 차량에 장착되는 카메라 렌즈 모델과 카메라 모델, 카메라 장착 높이 및 장착 각도 등을 고려하여 설정될 수 있다.
도 4에 도시된 바와 같이 룩업 테이블(40)은 어드레스(Address)는 3 Byte, 오프셋(Offset)은 1 Byte의 총 4 Byte로 구성될 수 있다. 여기서, 어드레스는 해당 픽셀에 출력되는 영상 데이터가 저장된 메모리 주소값이 될 수 있다. 이때 메모리에는 입력 영상에 대한 픽셀당 영상 데이터가 직렬적으로 저장된다. 또한, 오프셋은 X축 오프셋과 Y축 오프셋으로 구성되어 룩업 테이블(40)의 보정에 사용될 수 있다.
영상 처리부(20)에서는 시점 변환을 수행하기 위해 룩업 테이블(40)을 참조하여 픽셀 연산을 수행할 수 있다. 즉, 출력 영상에 대한 픽셀별로, 룩업 테이블(40)을 참조하여 어드레스 값에 저장된 영상 데이터를 불러와서 전체 출력 영상 을 생성할 수 있다.
도 5는 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 영상 합성부(22)에 대한 입력 및 출력 영상의 예를 나타낸다.
영상 합성부(22)는 시점 변환된 각 카메라의 영상을 입력받아 하나의 전방위 영상으로 합성한다. 전방위 영상은 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상은 이미지별로 전방위 영상 내 위치가 결정되고, 각 영상의 이미지가 결정된 위치에 정합되어 하나의 영상으로 생성될 수 있다. 이때 실제 차량에 장착시에 보정될 수도 있을 것이다.
전방위 영상에서 어느 쪽을 차량의 전방으로 결정하는지에 따라 전방위 영상 내 각 영상의 위치가 결정된다. 예를 들어, 전방위 영상에서 상단 부분을 차량의 전방으로 결정하면, 전방 영상의 일부 이미지가 전방위 영상의 상단 부분에, 후방 영상의 일부 이미지가 전방위 영상의 하단 부분에, 좌측방 영상의 일부 이미지가 전방위 영상의 좌측 부분에, 우측방 영상의 일부 이미지가 전방위 영상의 우측 부분에 합성될 것이다.
그리고, 각 영상의 이미지가 정합되어 하나의 영상으로 생성될 때 결정된 각 영상의 위치에 따라 영상이 회전되어 정합될 수 있다. 즉, 각 영상에서 차량 측면이 전방위 영상 내에서 중앙을 향하도록 회전될 수 있다. 예를 들어, 후방 영상의 경우 영상의 하단이 차량 측면이므로, 하단이 전방위 영상에서 중앙을 향하도록 180°회전되어 정합된다.
그리고, 각 영상의 일부 또는 전체 이미지가 결정된 위치에 정합되어 하나의 영상으로 생성될 수 있다. 특히, 각 영상의 일부 이미지가 정합되어 전방위 영상이 생성되는 경우에는 각 영상의 전체 이미지 영역 중에서 차량에 가까운 영역으로 이루어질 것이다.
도 5의 (a)에서 도시된 바와 같은 시점 변환된 후방 영상(50)은, 영상 합성부(22)의 합성 처리에 따라 결정된 위치 즉, 도 5의 (b)에서 도시된 바와 같이 전방위 영상 내 하단 부분(51)에 180°회전되어 정합된다.
도 6은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 OSD 표시부(24)에 대한 입력 및 출력 영상의 예를 나타낸다.
본 실시예에 따른 OSD 표시부(24)는 도 6의 (a)에서 도시되는 전방위 영상(60)에 도 6의 (b)에서 도시되는 바와 같이 차량 이동 예상 궤적(61)을 표시하여 출력한다. 차량 진행 방향에 따라 전방 또는 후방의 차량의 예상 이동 궤적(61)을 표시하여 차량 이동시 장애물에 닿을지 여부와 운전자 의도에 맞게 이동하는지를 미리 확인할 수 있다.
이때 차량 이동 예상 궤적(61)은, 차량의 속도 정보(25), 조향 각도 정보(26)를 이용하여 결정할 수 있다. 여기서, 조향 각도 정보(26) 스티어링 휠의 회전 정도를 감지하는 SAS(Steering Angle Sensor)로부터 얻을 수 있다. 차량 이동 예상 궤적(61)의 정확한 계산은 차량의 폭, 윤거, 바퀴 폭 등의 다양한 차량의 파라미터들을 고려함이 바람직하다.
또한, OSD 표시부(24)는 전방위 영상(60)에 정합되는 영상 사이에 영상 연결 구분선(62)을 표시할 수 있다. 4 개의 영상이 정합되어 연결되는 부분은 높이가 있 는 물체의 경우 표시할 수 없다. 따라서 특정 표시가 없을 경우, 운전자가 화면에 나타나지 않은 장애물에 의해 사고 발생하는 문제가 생길 수 있다. 영상 연결 구분선(62)을 표시하므로, 선이 표시된 부분에 대해서는 높이가 있는 물체를 감지할 수 없음을 운전자에게 환기시키는 역할을 할 수 있다.
또한, OSD 표시부(24)는 전방위 영상(60)에 차량 이미지(63)를 표시할 수 있다. 이때 차량 이미지(63)는 차량 사진이 될 수 있다. 그리고, 전방위 영상(60)에서 상단 부분을 차량의 전방으로 결정하면 차량 이미지(63)도 전방이 전방위 영상 상단을 향하도록 표시된다. 이로써 실제 차량 위에서 보는 것과 같은 영상 표시 효과 가능하다.
합성된 전방위 영상(60)에 사용자 편의를 위한 차량 이동 예상 궤적(61), 영상 연결 구분선(62), 차량 이미지(63) 등을 영상 위에 표시하여 운전자의 인지성을 높여 안전 운전을 돕는다.
도 7은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 OSD 표시부(24)에서 기어 설정에 따른 차량 이동 궤적 표시 방법의 예를 나타낸다.
본 실시예에 따른 OSD 표시부(24)는 차량 이동 예상 궤적(61)을 표시하여 출력한다. 차량 이동 예상 궤적(61) 표시로 운전자에게 주차시 장애물 충돌 여부, 주차 가능 여부 등에 대한 판단에 도움을 줄 수 있다. 이때 주차 P(Park), 후진 R(Reverse), 중립N(Neutrality), 주행 D(Drive) 등의 기어단 정보(27)에 따라 표시되는 차량 이동 예상 궤적(61)의 방향이 결정될 수 있다.
예를 들어, 도 7의 (a)에 도시된 바와 같이, 기어가 주차 P, 중립 N, 주행 D 단인 경우에는 차량의 전방 이동 예상 궤적(61a)을 표시한다. 이때 표시 궤적은, 전방 좌측 모서리 예상 궤적, 전방 우측 모서리 예상 궤적이 될 수 있다. 그리고, 좌측 조향 시에는 후방 우측 모서리 예상 궤적을 표시하고, 우측 조향 시에는 후방 좌측 모서리 예상 궤적을 표시할 수 있다.
그리고, 도 7의 (b)에 도시된 바와 같이, 기어가 후진 R단인 경우에는 차량의 후방 이동 예상 궤적(61b)을 표시한다. 이때 표시 궤적은, 후방 좌측 모서리 예상 궤적, 후방 우측 모서리 예상 궤적이 될 수 있다. 그리고, 좌측 조향 시에는 전방 우측 모서리 예상 궤적을 표시하고, 우측 조향 시에는 전방 좌측 모서리 예상 궤적을 표시할 수 있다.
또한, 본 실시예에 따른 OSD 표시부(24)는 차량 이동 예상 궤적(61)을 표시할 때 최대 좌측 조향시 예상 궤적(64a, 64b) 및/또는 최대 우측 조향시 예상 궤적(65a, 65b)을 더 표시할 수 있다. 최대 좌측 조향시 예상 궤적(64a, 64b) 및/또는 최대 우측 조향시 예상 궤적(65a, 65b)을 통해 운전자가 원하는 방향으로 진행하기 위해 조정해야 하는 조향 정도를 판단하는데 도움을 줄 수 있다.
도 8은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 영상 출력부(28)에 대한 출력 영상의 예를 나타낸다.
영상 출력부(28)는 운전자에게 최종으로 보여지는 영상을 출력하는 부분으로, 본 실시예에 따른 영상 출력부(28)는 차량의 상방의 가상 시점으로 변환된 전방위 영상에 차량의 이동 예상 궤적이 표시된 최종 전방위 영상을 디스플레이 상에 출력한다.
도 8의 (a)에서 도시되는 출력 화면의 일례를 참조하면, 운전자에게 제공되는 출력 화면에는, 차량 상방의 가상 시점으로 변환된 전방위 영상에 차량의 이동 예상 궤적이 표시된 최종 전방위 영상(80)뿐만 아니라 적어도 하나의 개별 카메라 영상(81)을 동시에 보여주도록 구성될 수 있다.
개별 카메라 영상(81)은, 다수의 카메라 영상 중 하나로 차량 주변 환경에 대한 전방 영상, 후방 영상, 좌측방 영상 및 우측방 영상 중 하나가 될 수 있다. 또는, 각 영상이 영상 처리부(20)에 의해 시점 변환된 부감 영상들 중 하나가 될 수 있다.
이때 디스플레이에는 경고 메시지(82)나 사용자 입력을 받을 수 있는 조작 메뉴(83)가 삽입될 수 있으며, 특히 조작 메뉴(83)를 통해 사용자는 개별 카메라 영상(81)으로 출력되는 영상을 선택하거나, 디스플레이 설정 등을 조작할 수 있다. 이때 사용자 인터페이스는, 선택 버튼이나 터치 스크린 등의 다양한 방법으로 구현될 수 있을 것이다.
도 8의 (b)에서 도시되는 출력 화면의 일례를 참조하면, 최종 전방위 영상(800)과 개별 카메라 영상(810), "! 안전을 위해 주위를 살피시오."의 경고 메시지(820), "설정" 및 "변환"으로 구성되는 조작 메뉴(830) 및 개별 카메라 영상(810)이 어느 카메라 영상인지에 대한 출력 카메라 표시(840)가 포함된다.
디스플레이에 터치 스크린 기능이 구현되는 경우 사용자가 최종 전방위 영상(800)에서 전방 영상을 터치하면, 개별 카메라 영상(810)에서는 전방 카메라에 상응하는 영상이 출력된다. 그리고, 출력 카메라 표시(840)는 차량의 전방을 나타 낸다. 비록 터치 스크린이 아니더라도 선택 버튼을 활성화시켜 개별 카메라 영상(810)에서 출력되는 영상을 선택받을 수 있음은 당연하다.
상기에서는 도면 및 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 기술적 사상으로부터 벗어나지 않는 범위 내에서 본 발명은 다양하게 수정 및 변경시킬 수 있음은 이해할 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 동작을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 구조도이다.
도 3은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 영상 처리부(20)에 대한 입력 및 출력 영상의 예를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 영상 처리부(20)에서의 처리 방법의 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 영상 합성부(22)에 대한 입력 및 출력 영상의 예를 나타낸다.
도 6은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 OSD 표시부(24)에 대한 입력 및 출력 영상의 예를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 OSD 표시부(24)에서 기어 설정에 따른 출력 영상의 예를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 차량 전방위 감시 시스템의 영상 출력부(28)에 대한 출력 영상의 예를 나타낸다.
<도면의 주요부분에 대한 부호의 설명>
20: 영상 처리부 22: 영상 합성부
24: OSD 표시부 28: 영상 출력부

Claims (5)

  1. 차량에 장착되는 다수 개의 카메라로부터 취득하는 다수 개의 카메라 영상을 각각 상기 차량의 상방 가상 시점에 대한 부감 영상으로 변환하는 영상 처리부;
    상기 변환된 다수 개의 부감 영상들의 각 영상에서 상기 차량에 가까운 영상을 취합하여, 각 영상별로 기 설정된 정합 위치에 따라 조합하여 하나의 전방위 영상을 생성하는 영상 합성부;
    상기 전방위 영상에 상기 차량의 기어단 정보, 속도 정보 및 조향 각도 정보 중 하나 이상을 통해 결정되는 이동 예상 궤적과 상기 차량의 이미지를 표시하여 최종 전방위 영상을 생성하는 OSD 표시부; 및
    상기 최종 전방위 영상 및 상기 다수 개의 카메라 중 사용자 인터페이스를 통해 선택되는 개별 카메라 영상을 디스플레이 상에 출력하는 영상 출력부;를 포함하고,
    상기 OSD 표시부는, 상기 전방위 영상에 최대 좌측 조향시 예상 궤적 및 최대 우측 조향시 예상 궤적을 더 표시하는 것을 특징으로 하는, 차량 전방위 감시 시스템.
  2. 청구항 1에서,
    상기 OSD 표시부는, 상기 기어단 정보가, 후진 R단인 경우, 상기 차량의 후방 이동 예상 궤적을 표시하고, 후진 R단 이외인 경우, 상기 차량의 전방 이동 예상 궤적을 표시하는 것을 특징으로 하는, 차량 전방위 감시 시스템.
  3. 삭제
  4. 청구항 1에서,
    상기 OSD 표시부는, 상기 전방위 영상에 상기 조합되는 다수 개의 부감 영상들 사이의 이미지 연결 구분선을 더 표시하는 것을 특징으로 하는, 차량 전방위 감시 시스템.
  5. 청구항 1에서,
    상기 사용자 인터페이스는, 터치 스크린으로 구현되는 것을 특징으로 하는, 차량 전방위 감시 시스템.
KR1020080066104A 2008-07-08 2008-07-08 차량 전방위 감시 시스템 KR101393918B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080066104A KR101393918B1 (ko) 2008-07-08 2008-07-08 차량 전방위 감시 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080066104A KR101393918B1 (ko) 2008-07-08 2008-07-08 차량 전방위 감시 시스템

Publications (2)

Publication Number Publication Date
KR20100005971A KR20100005971A (ko) 2010-01-18
KR101393918B1 true KR101393918B1 (ko) 2014-05-13

Family

ID=41815231

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080066104A KR101393918B1 (ko) 2008-07-08 2008-07-08 차량 전방위 감시 시스템

Country Status (1)

Country Link
KR (1) KR101393918B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130037274A (ko) * 2011-10-06 2013-04-16 엘지이노텍 주식회사 멀티뷰 카메라를 이용한 주차 보조 장치 및 방법
KR101265711B1 (ko) 2011-11-30 2013-05-20 주식회사 이미지넥스트 3ｄ 차량 주변 영상 생성 방법 및 장치
KR101376210B1 (ko) * 2012-08-06 2014-03-21 현대모비스 주식회사 어라운드 뷰 모니터 시스템 및 모니터링 방법
KR101611194B1 (ko) * 2014-04-04 2016-04-11 주식회사 와이즈오토모티브 차량 주변 이미지 생성 장치 및 방법
KR102491637B1 (ko) * 2015-12-10 2023-01-26 한화테크윈 주식회사 영상 제공 장치 및 방법
KR101949961B1 (ko) * 2016-11-15 2019-02-21 주식회사 와이즈오토모티브 운전 보조 장치 및 방법
US11752232B2 (en) * 2020-12-03 2023-09-12 Gholam Hossein Zereshkian Personalized forced air purifier

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183877A (ja) * 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
JP2008017311A (ja) * 2006-07-07 2008-01-24 Nissan Motor Co Ltd 車両用映像表示装置及び車両周囲映像の表示方法
KR20080053053A (ko) * 2006-12-08 2008-06-12 엘지전자 주식회사 텔레매틱스 단말기의 영상 제공 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007183877A (ja) * 2006-01-10 2007-07-19 Nissan Motor Co Ltd 車両用運転支援装置及び俯瞰映像の表示方法
JP2008017311A (ja) * 2006-07-07 2008-01-24 Nissan Motor Co Ltd 車両用映像表示装置及び車両周囲映像の表示方法
KR20080053053A (ko) * 2006-12-08 2008-06-12 엘지전자 주식회사 텔레매틱스 단말기의 영상 제공 방법 및 그 장치

Also Published As

Publication number Publication date
KR20100005971A (ko) 2010-01-18

Similar Documents

Publication Publication Date Title
KR101393918B1 (ko) 차량 전방위 감시 시스템
JP4969269B2 (ja) 画像処理装置
JP4573242B2 (ja) 運転支援装置
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
JP5684144B2 (ja) 周辺映像生成方法および装置
JP5436086B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP4907883B2 (ja) 車両周辺画像表示装置および車両周辺画像表示方法
JP5561566B2 (ja) 運転支援装置
JP5044204B2 (ja) 運転支援装置
JP2010200240A (ja) 車両周囲俯瞰画像表示装置及び方法
WO2002089485A1 (fr) Procede et dispositif pour la presentation d&#39;une image de camera embarquee a bord d&#39;un vehicule
JP2012034076A (ja) 車両用視覚補助システム及び該システムを備える車両
WO2010070920A1 (ja) 車両周囲画像生成装置
JP2007036668A (ja) 俯瞰画像表示システム及び俯瞰画像の表示方法
JP2011114467A (ja) 車両表示装置および表示方法
KR20130037274A (ko) 멀티뷰 카메라를 이용한 주차 보조 장치 및 방법
JP4855918B2 (ja) 運転支援装置
JP2022048455A (ja) 車両用表示装置
KR20100081964A (ko) 주변 영상 생성 방법 및 장치
CN105472317A (zh) 周边监视装置及周边监视系统
JP2010183234A (ja) 描画装置
JP2008148114A (ja) 運転支援装置
JP5020621B2 (ja) 運転支援装置
JP4855919B2 (ja) 運転支援装置
JP2007329611A (ja) 車両周辺監視装置、車両周辺監視システム、および車両周辺監視方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180427

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 6