KR101265711B1 - 3ｄ 차량 주변 영상 생성 방법 및 장치 - Google Patents

3ｄ 차량 주변 영상 생성 방법 및 장치 Download PDF

Info

Publication number
KR101265711B1
KR101265711B1 KR1020110127209A KR20110127209A KR101265711B1 KR 101265711 B1 KR101265711 B1 KR 101265711B1 KR 1020110127209 A KR1020110127209 A KR 1020110127209A KR 20110127209 A KR20110127209 A KR 20110127209A KR 101265711 B1 KR101265711 B1 KR 101265711B1
Authority
KR
South Korea
Prior art keywords
vehicle
camera
image
virtual
viewpoint
Prior art date
Application number
KR1020110127209A
Other languages
English (en)
Inventor
한영인
전성제
박종운
백원인
Original Assignee
주식회사 이미지넥스트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이미지넥스트 filed Critical 주식회사 이미지넥스트
Priority to KR1020110127209A priority Critical patent/KR101265711B1/ko
Priority to PCT/KR2012/007781 priority patent/WO2013081287A1/ko
Priority to US14/361,546 priority patent/US9508189B2/en
Priority to CN201280068147.3A priority patent/CN104093600B/zh
Priority to JP2014544648A priority patent/JP6095684B2/ja
Application granted granted Critical
Publication of KR101265711B1 publication Critical patent/KR101265711B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G06T3/06—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

본 발명은 3Ｄ 차량 주변 영상 생성 방법 및 장치에 관한 것으로, 본 발명에 따른 방법은 차량에 설치된 복수 개의 카메라로부터 촬영된 영상을 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 3차원 공간 모델에 의해 정의되는 가상면에 맵핑하는 단계, 그리고 상기 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점의 뷰 영상을 생성하는 단계를 포함한다. 본 발명에 의하면, 주변 장애물을 포함하여 차량 주변 영상을 보다 자연스럽고 입체감있게 표현할 수 있는 장점이 있다. 또한 차량의 주행 상태에 따라 가상 시점을 변경하여 최적의 차량 주변 영상을 제공할 수 있는 장점이 있다. 또한 사용자가 편리하게 가상 카메라의 시점을 조정할 수 있는 장점이 있다.

Description

3Ｄ 차량 주변 영상 생성 방법 및 장치{3D Vehicle Around View Generating Method and Apparatus}
본 발명은 차량 주변 영상 생성 방법 및 장치에 관한 것으로 보다 자세하게는 차량 주변 영상을 3Ｄ로 입체감 있게 제공할 수 있는 차량 주변 영상 생성 방법 및 장치에 관한 것이다.
최근 자동차 산업의 발달로 인하여 1가구 1자동차 시대라고 할 정도로 자동차의 보급은 상용화되었고, 차량의 안전도 향상과 운전자의 편의를 도모하기 위해 다양한 첨단 전자 기술이 자동차에 적용되고 있다.
이러한 첨단 전자 기술 중 자동차의 주변 환경을 촬영하여 표시함으로써 운전자가 자동차의 주변 환경을 육안을 통해 편리하게 확인할 수 있는 차량 주변 영상 표시 시스템(Around View Monitoring, AVM)이 있다. 차량 주변 영상 표시 시스템은 자동차의 전방, 후방, 좌측 및 우측에 각각 설치된 카메라를 통해 주변 환경을 촬영하고, 촬영된 영상을 기초로 중복 영역을 자연스럽게 보이도록 보정 처리하여 자동차의 주변 환경을 화면에 표시한다. 이에 따라 운전자는 표시된 주변 환경을 통해 자동차의 주변 상황을 정확하게 인식할 수 있고, 사이드 미러나 백 미러를 보지 않고도 편리하게 주차를 할 수 있다.
특히 최근 들어 차량 주변 영상을 다양한 시점에서 바라본 뷰 영상으로 제공하는 3D 차량 주변 영상 제공 시스템에 대한 관심이 증대되고 있다. 보다 자세하게는 차량 주행 상태에 따라 합성 화상의 가상 시점의 위치, 시선의 방향 및 초점 거리의 적어도 하나를 변경함으로써 운전자가 보다 편리하게 차량 주변 상황을 인식할 수 있도록 하는 기술에 대한 연구 개발이 다양하게 이루어지고 있다.
이렇게 3D 차량 주변 영상을 제공하기 위해서는 기본적으로 카메라에 의해 촬영된 영상을 3D 공간 모델을 이용하여 3차원 공간 가상면에 맵핑한다. 그리고 차량의 주행 상태 또는 사용자의 선택에 의해 정해진 카메라 가상 시점의 위치, 시선의 방향 및 초점 거리에 따라 미리 정해진 대응 관계에 따라 3차원 공간 가상면에 맵핑된 입력 영상으로부터 합성 화상을 생성할 수 있다. 그런데 3D 공간 모델에 따라 합성 화상이 자연스럽게 보이지 못하는 문제점들이 있었다. 예컨대 3D 공간 모델로 반구 형태의 모델을 사용할 경우 차량으로부터 원거리에 위치한 물체는 비교적 자연스럽게 표현이 되나 차량 근방의 지면은 자연스럽지 못하게 표현되는 경향이 있고, 기존의 2D 차량 주변 영상 시스템에서 사용하는 지면을 매핑 면으로 사용하는 방식에서는 지면이 아닌 부분, 예컨대 차량 주변에 서있는 사람 또는 장애물 등의 경우는 상이 길게 늘어져서 제대로 된 영상을 얻을 수 없고 아울러 정합 과정에서 각 뷰의 실제 카메라 영상이 잘 매칭되지 않아서 정합이 어려운 문제점들이 있었다.
따라서 본 발명이 해결하고자 하는 과제는 주변 장애물을 포함하여 차량 주변 영상을 보다 자연스럽고 입체감있게 표현할 수 있는 3Ｄ 차량 주변 영상 생성 방법 및 장치를 제공하는 것이다.
이러한 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 3Ｄ 차량 주변 영상 생성 방법은 차량에 설치된 복수 개의 카메라로부터 촬영된 영상을 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 3차원 공간 모델에 의해 정의되는 가상면에 맵핑하는 단계, 그리고 상기 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점의 뷰 영상을 생성하는 단계를 포함한다.
상기 가상 카메라의 시점은 상기 차량의 주행 상태 및 사용자 선택 중 적어도 하나에 의해 결정될 수 있다.
상기 3차원 공간 모델의 밑면의 크기는 상기 차량의 주행 속도에 반비례할 수 있다.
상기 합성 영상 생성은, 상기 가상면에 맵핑된 영상과 상기 가상 카메라 시점의 뷰 영상 사이의 대응 관계가 미리 정의된 룩업 테이블을 참조하여 이루어질 수 있다.
상기 뷰 영상을 생성하기 위해 상기 복수 개의 카메라에 의해 촬영된 영상이 중첩되는 영역의 중심이 상기 가상 카메라의 틸트 각도에 따라 변경될 수 있다.
상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방, 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고, 상기 가상 카메라의 위치가 상기 차량의 중심을 기준으로 좌측 또는 우측에 위치한 정도에 따라 상기 가상 카메라가 위치한 측에 설치된 카메라에 의해 촬영된 영상을 더 포함하도록 중첩 영역의 중심이 변경될 수 있다.
상기 가상 카메라 시점은 상기 차량의 조향각 방향 또는 기어 위치에 연동될 수 있다.
상기 방법은, 상기 가상 카메라의 시점에 대한 사용자 선택을 입력받기 위한 유아이(UI)를 표시하는 단계, 그리고 상기 유아이를 통해 입력된 사용자 선택에 따라 상기 가상 카메라 시점의 변화를 표시하는 단계를 더 포함할 수 있다.
상기 방법은 상기 차량의 주행 위치 주변의 건물 정보 및 도로 정보를 상기 가상 카메라 시점에 따라 상기 뷰 영상에 합성하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.
본 발명의 다른 실시예에 따른 차량 주변 영상 표시 시스템은 차량에 설치된 복수 개의 카메라로부터 촬영된 영상을 입력받는 영상 입력부, 그리고 상기 영상 입력부에 입력된 영상을 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 3차원 공간 모델에 의해 정의되는 가상면에 맵핑하고, 상기 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점에서 바라본 뷰 영상을 생성하는 주변영상생성장치를 포함한다.
상기 주변영상생성장치는, 상기 차량의 주행 위치 주변의 건물 정보 및 도로 정보를 상기 가상 카메라 시점에 따라 상기 뷰 영상에 합성할 수 있다.
상기 복수 개의 카메라는, 상기 촬영된 영상을 상기 주변영상생성장치에 근거리 무선 통신을 통해 전달할 수 있다.
본 발명에 의하면, 주변 장애물을 포함하여 차량 주변 영상을 보다 자연스럽고 입체감있게 표현할 수 있는 장점이 있다. 또한 차량의 주행 상태에 따라 가상 시점을 변경하여 최적의 차량 주변 영상을 제공할 수 있는 장점이 있다. 또한 사용자가 편리하게 가상 카메라의 시점을 조정할 수 있는 장점이 있다.
도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.
도 3은 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.
도 4는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 보정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이다.
도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 6은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 8은 본 발명의 일 실시예에 따른 3Ｄ 차량 주변 영상 생성 방법을 설명하기 위해 제공되는 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 3차원 공간 모델을 설명하기 위해 제공되는 도면이다.
도 10은 본 발명의 일 실시예에 따른 3차원 공간 모델의 가상면에 실제 카메라에 의해 촬영된 영상을 맵핑하는 예를 설명하기 위해 제공되는 도면이다.
도 11은 본 발명의 일 실시예에 따른 가상 카메라 시점이 사용자 선택에 의해 정해지는 방법에 대해서 설명하기 위해 제공되는 도면이다.
도 12는 복수 개의 카메라에 의해 촬영된 영상이 가상 카메라 시점의 뷰 영상 생성 시 중첩되는 영역을 설명하기 위해 제공되는 도면이다.
도 13은 본 발명의 일 실시예에 따른 차량 주변 건물 및 도로 정보를 가상 카메라 시점의 뷰 영상에 표시한 예이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 외부 파라미터 추정 장치를 포함하는 차량 주변 영상 표시 시스템을 설명하기 위한 블록도이다.
도 1을 참고하면, 차량 주변 영상 표시 시스템은 4개의 카메라(210, 220, 230, 240), 주변 영상 생성 장치(300) 및 표시 장치(400)를 포함하며, 외부 파라미터 추정 장치(100)를 더 포함할 수 있다. 물론, 주변 영상 생성 장치(300)와 외부 파라미터 추정 장치(100)를 일체의 형태로 구현할 수 있다.
차량 주변 영상 표시 시스템은 차량에 설치된 4개의 카메라(210, 220, 230, 240)를 통해 촬영된 영상을 처리하여 생성된 주변 영상을 화면 상에 표시함으로써, 차량의 주변 상황을 운전자가 확인할 수 있도록 하는 시스템이다. 차량 주변 영상 표시 시스템은 차량 주변 영상을 가상 시점에서 바라본 3D 영상으로 제공할 수 있다. 이를 위해 차량에 설치된 4개의 카메라(210, 220, 230, 240)의 자세 및 위치에 대한 외부 파라미터를 알아야 한다.
4개의 카메라(210, 220, 230, 240)는 각각 차량의 전방, 후방, 좌측 및 우측에 설치되고, 광각 렌즈, 어안 렌즈 등과 같이 화각이 큰 렌즈를 구비할 수 있다. 카메라(210, 220, 230, 240)는 렌즈를 통해 3차원의 피사체를 2차원의 영상으로 촬영하고, 촬영된 영상을 외부 파라미터 추정 장치(100), 주변 영상 생성 장치(300) 등에 제공할 수 있다. 실시예에 따라 카메라(210, 220, 230, 240)는 와이파이(Wi-Fi), 블루투스, 지그비, UWB 등 근거리 무선 통신 모듈을 탑재하고 주변 영상 생성 장치(300), 외부 파라미터 추정 장치(100)에 영상을 무선으로 전송하도록 구현될 수도 있다.
외부 파라미터 추정 장치(100)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상에서 삼각형 패턴을 이루는 정점(頂點)을 추출하고, 추출된 정점을 이용하여 카메라(210, 220, 230, 240)의 외부 파라미터를 추정할 수 있다. 외부 파라미터 추정 방법에 대해서는 아래에서 자세히 설명한다.
주변 영상 생성 장치(300)는 4개의 카메라(210, 220, 230, 240)에서 제공받은 영상을 이용하여, 차량 주행 상황 또는 사용자 선택에 따라 정해지는 소정의 가상 시점을 가지는 가상 카메라에 대한 가상 시점 영상을 생성하여 표시 장치(400)에 출력할 수 있다. 이를 위해 주변 영상 생성 장치(300)는 카메라(210, 220, 230, 240)에서 제공받은 입력 영상을 3D 모델 면에 맵핑시켜서 텍스처 맵(texture map)을 구할 수 있는데, 이는 외부 파라미터 추정 장치(100)에서 구해진 카메라 외부 파라미터를 기초로 구해지는 카메라별 프로젝션 모델이 이용될 수 있다. 그리고 입력 영상을 3D 모델 가상면에 맵핑하는 과정에서 서로 다른 카메라에서 촬영된 입력 영상을 자연스럽게 보이도록 하기 위해서 가중 블렌딩(weighted blending) 기법 등이 이용될 수 있다. 그리고 주변 영상 생성 장치(300)는 소정의 가상 시점이 정해지면 해당 가상 시점을 가지는 가상 카메라의 프로젝션 모델을 이용하여 텍스처 맵으로부터 가상 시점 영상을 생성하여 출력할 수 있다.
표시 장치(400)는 생성된 주변 영상을 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Diode, OLED) 등의 표시 모듈에 표시한다. 물론, 차량 내에 설치된 자동 항법 장치(도시하지 않음) 등이 주변 영상을 제공받아 화면에 표시할 수도 있다.
한편 실시예에 따라 주변 영상 생성 장치(300), 외부 파라미터 추정 장치(100), 표시 장치(400)는 스마트폰, 태블릿 PC 등과 같은 휴대 통신 단말로 구현될 수 있다.
한편 4개의 카메라(210, 220, 230, 240)의 렌즈 왜곡 등을 보정하는 작업 및 각 카메라별 프로젝션 모델을 구하는 작업 등이 필요할 수 있는데, 이는 일반적으로 알려진 공지된 기술을 이용할 수 있으므로 자세한 설명은 생략한다.
그러면 본 발명의 일 실시예에 따른 삼각형 패턴을 이용하여 차량에 설치된 카메라의 외부 파라미터를 추정하는 방법에 대해 자세히 설명한다.
도 2는 본 발명의 실시예에 따른 카메라의 설치 위치 및 삼각형 패턴이 표시된 교정판의 배치를 설명하기 위한 개략도이다.
도 1 및 도 2를 참고하면, 차량(V)의 전방, 후방, 좌측 및 우측에 각각 카메라(210, 220, 230, 240)가 설치될 수 있다. 카메라(210, 220, 230, 240)가 설치되는 위치를 보다 상세하게 설명하면, 전방에 설치된 카메라(210)는 차량(V)의 본 넷 중심에 설치되고, 좌측 및 우측에 설치된 카메라(230, 240)는 각각 차량(V)의 양 사이드 미러의 가장 자리 또는 아래 쪽에 위치하도록 설치될 수 있다. 또한 후방에 설치된 카메라(220)는 후방 범퍼 위쪽의 중앙에 설치될 수 있다. 카메라의 높이와 각도에 의해 촬영되는 영상의 스케일, 화질 등이 상이하기 때문에 전방 및 후방에 설치된 카메라(210, 220)의 높이는 서로 동일하게 하는 것이 바람직하며, 마찬가지로 좌측 및 우측에 설치된 카메라(230, 240)의 높이도 서로 동일하게 하는 것이 바람직하다. 이와 같이 카메라(210, 220, 230, 240)의 설치 높이를 동일하게 함으로써 주변 영상 생성 시 중복 영역에서 차선 폭의 넓이가 동일하게 표현되지 않고 주변 사물의 크기가 이질적으로 나타나는 현상을 최소화시킬 수 있다. 또한, 좌측 및 우측에 설치된 카메라(230, 240)는 지면 방향의 수직선을 기준으로 170°이상이 촬영될 수 있도록 설치된다. 여기서 각 카메라(210, 220, 230, 240)의 설치 위치는 차량의 종류에 따라 상이할 수 있고, 차량의 디자인에 의해 설치 상의 제약이 발생할 수도 있다.
일반적으로 광각 카메라는 렌즈 주변부의 광량이 부족하여 화질의 저하가 발생하고, 렌즈의 중심부보다 주변부에 왜곡이 많이 발생할 수 있다. 또한, 카메라를 통해 촬영된 영상을 시점 변환할 때 주변부의 영상은 화질이 심하게 저하된다. 따라서 카메라 렌즈의 중심부 영역에 형성된 영상을 사용하기 위해 전방 및 후방에 설치된 카메라(210, 220)는 광축이 지평선과 평행하도록, 좌측 및 우측에 설치된 카메라(230, 240)는 광축이 지면과 수직이 되도록 설치될 수 있다. 또한, 차량(V)의 전후방 및 좌우측면으로부터 약 1.5m 떨어진 범위까지 촬영될 수 있도록 카메라(210, 220, 230, 240)의 설치 높이를 결정하고, 이때 카메라(210, 220, 230, 240)는 지면에 대한 수직축으로부터 약 30° 내지 60°정도까지 촬영될 수 있도록 설치될 수 있다. 위에서 설명한 카메라의 설치 위치는 바람직한 예에 대해 설명한 것으로 본 발명에 따른 카메라 외부 파라미터 추정 장치(100)는 반드시 카메라(210, 220, 230, 240)가 해당 위치에 정확하게 설치되어야 하는 것은 아니다.
한편 삼각형 패턴이 표시된 교정판(PL1, PL2, PL3, PL4)은 카메라(210, 220, 230, 240)에서 촬영된 각 영상에 두 개의 교정판이 포함되도록 차량(V)의 각 모서리에서 일정 거리를 두고 설치될 수 있다. 즉, 전방에 설치된 카메라(210)에서 촬영된 영상에는 교정판(PL1, PL2)이 포함되고, 후방에 설치된 카메라(220)에서 촬영된 영상에는 교정판(PL3, PL4)이 포함되며, 좌측에 설치된 카메라(230)에서 촬영된 영상에는 교정판(PL1, PL4)이 포함되고, 우측에 설치된 카메라(240)에서 촬영된 영상에는 교정판(PL2, PL3)이 포함되도록 차량(V)의 각 모서리에서 일정 거리를 두고 교정판(PL1, PL2, PL3, PL4)이 설치될 수 있다. 교정판(PL1, PL2, PL3, PL4)은 대략적으로 차량(V)의 전방 좌측, 전방 우측, 후방 우측 및 후방 좌측에 각각 설치되면 되고, 반드시 정확한 미리 정해진 위치에 설치되어야 하는 것은 아니다. 다만 교정판(PL1, PL2, PL3, PL4)은 차량(V)이 위치한 지면에 평행하게 놓여야 한다.
그리고 교정판(PL1, PL2, PL3, PL4)은 도 2에 예시한 것과 같이 일정한 두께를 가지는 정삼각형 패턴이 표시될 수 있는데, 테두리 내부의 삼각형의 크기가 외부 삼각형의 크기의 0.4 ~ 0.8 이 되도록 구현할 수 있다. 이는 주변의 유사한 삼각 패턴으로부터 자동으로 교정판(PL1, PL2, PL3, PL4)에 표시된 삼각형 패턴을 자동으로 정확하게 추출하기 위한 것으로 반드시 이에 한정되는 것은 아니다. 기본적으로 교정판(PL1, PL2, PL3, PL4)은 정삼각형의 꼭지점에 해당하는 정점(頂點)을 추출할 수 있는 형태면 다양하게 구현될 수 있다.
도 3은 본 발명의 실시예에 따른 차량 설치 카메라의 외부 파라미터를 설명하기 위해 제공되는 개략도이다.
도 3을 참고하면, 차량(V)에 설치된 카메라(210, 220, 230, 240)의 외부 파라미터는 3차원 공간 좌표(x,y,z)와, 카메라(210, 220, 230, 240)의 팬, 틸트, 롤 각도(θ, ψ, Φ)를 포함할 수 있다.
3차원 공간 좌표(x,y,z) 중에서, 좌표(z)는 차량(V)이 위치한 지면(G)으로부터의 높이에 대응될 수 있으며, 도 3(a)에 예시한 것과 같이 전방 카메라(210), 좌측 카메라(230), 우측 카메라(240)의 높이는 각각 zF, zL, zB가 될 수 있다. 그리고 좌표(x)와 좌표(y)는 차량(V)이 위치한 지면(G)에 평행한 가상 평면 상에서의 위치에 대응될 수 있으며, 도 3(b)에 예시한 것과 같이 차량(V)의 중심부(O)를 좌표 기준으로 할 수 있다.
한편 팬 각도(θ)는 카메라(210, 220, 230, 240)의 헤드 방향이 차량(V)의 진행방향과 이루는 각도로 정의될 수 있고, 도 3(b)에 예시한 것과 같이 카메라(210, 220, 230, 240)의 팬 각도는 각각 θF, θB, θL, θR의 값을 가질 수 있다.
틸트 각도(ψ)는 지면(G)과 이루는 각도로 정의될 수 있으며, 도 3(a)에 예시한 것과 같이 전방 카메라(210), 후방 카메라(220)의 틸트 각도는 각각 ψF, ψB의 값을 가질 수 있다.
롤 각도(Φ)는 카메라 헤드 방향 축을 기준으로 한 카메라(210, 220, 230, 240)의 회전 각도로 정의될 수 있으며, 도 3(a)에 예시한 것과 같이 좌측 카메라(230)의 롤 각도는 ΦL의 값을 가질 수 있다.
도 4는 본 발명의 실시예에 따른 삼각형 패턴이 표시된 보정판을 포함한 전방 카메라 입력 영상의 일 예를 예시한 도면이고, 도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 4를 참고하면, 전방 카메라(210)에 의해 촬영되어 입력된 영상은 2개의 삼각형 패턴이 표시된 보정판(PL1, PL2)이 포함될 수 있다. 보정판(PL1, PL2)에 표시된 삼각형 패턴이 실제는 변의 길이가 A인 정삼각형이더라도, 전방 카메라(210)의 렌즈 왜곡, 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)에 의해 입력 영상에서 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)는 서로 다르게 된다.
그런데 전방 카메라(210)에 의한 입력 영상에서 렌즈 왜곡을 미리 알려진 방법으로 보정하고, 차량(V)의 상방에서 지면(G)을 내려다보는 방향(탑뷰)의 가상 시점을 가지는 가상 카메라의 영상으로 변환하면 삼각형 패턴(PL1, PL2)이 변의 길이(a1, a2, a3, a4, a5, a6)는 서로 동일하게 된다.
이를 참고로 전방 카메라(210)에서 입력되는 영상에 대해 아래와 같은 작업을 수행하면 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.
도 5는 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 틸트 각도, 롤 각도 및 높이를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 5를 참고하면, 먼저 외부 파라미터 추정 장치(100)는 전방 카메라(210)에 의한 입력 영상에 대해 렌즈 왜곡을 보정한다(S510). 이후 전방 카메라에 의해 촬영된 영상에 포함된 전방 좌측 교정판(PL1) 및 전방 우측 교정판(PL2)에 표시된 삼각형 패턴에서 각각 3개씩 6개의 정점(頂點)(P1, P2, P3, P4, P5, P6)을 추출한다(S520).
다음으로 외부 파라미터 추정 장치(100)는 전방 카메라(210)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 변화시키면서 추출된 6개의 정점(P1, P2, P3, P4, P5, P6)의 좌표를 세계 좌표로 변환한다(S530). 여기서 세계 좌표는 임의의 기준점 또는 차량(V)의 중심이 위치한 지면(G) 상의 점(O)을 좌표 기준점으로 할 수 있다.
외부 파라미터 추정 장치(100)는 단계(S530)에서 구해지는 6개의 정점(P1, P2, P3, P4, P5, P6)의 세계 좌표를 이용하여 전방 좌측 교정판(PL1) 및 전방 우측 교정판(PL2)에 표시된 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)를 구한다(S540).
마지막으로 삼각형 패턴의 실제 변의 길이(A)와 단계(S540)에서 구해지는 삼각형 패턴의 변의 길이(a1, a2, a3, a4, a5, a6)의 차이의 크기를 최소화하는 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 전방 카메라(210)의 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(zF)로 추정할 수 있다(S550). 단계(S550)에서 다음 수학식 1에 의해 구해지는 값, f(ψ, Φ, z)를 최소화하는 틸트 각도(ψF), 롤 각도(ΦF) 및 높이(zF)를 구하면 된다.
Figure 112011095379672-pat00001
위에서 설명한 방법과 동일하게 나머지 후방 카메라(220), 우측 카메라(230) 및 좌측 카메라(240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)를 추정할 수 있다.
다음으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정하는 방법에 대해 설명한다.
도 6은 본 발명의 실시예에 따른 전방, 후방, 좌측, 우측 카메라에서 촬영된 영상에서 각각 추출된 정점을 함께 나타낸 도면이다.
도 6을 참고하면, 정점(P1F, P2F, P3F)은 전방 좌측 교정판(PL1)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P4F, P5F, P6F)은 전방 우측 교정판(PL2)에 대해 전방 카메라(210)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P4R, P5R P6R)은 전방 우측 교정판(PL2)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P7R, P8R, P9R)은 후방 우측 교정판(PL3)에 대해 우측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이다. 그리고 정점(P7B, P8B P9B)은 후방 우측 교정판(PL3)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이며, 정점(P10B, P11B, P12B)은 후방 좌측 교정판(PL4)에 대해 후방 카메라(220)에서 촬영된 영상에서 추출된 3개의 정점이다. 마지막으로 정점(P10L, P11L, P12L)은 후방 좌측 교정판(PL4)에 대해 좌측 카메라(230)에서 촬영된 영상에서 추출된 3개의 정점이고, 정점(P1L, P2L, P3L)은 전방 좌측 교정판(PL1)에 대해 좌측 카메라(240)에서 촬영된 영상에서 추출된 3개의 정점이다.
도 7은 본 발명의 실시예에 따른 카메라 외부 파라미터 중에서 팬 각도, X좌표 및 Y 좌표를 추정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 7을 참고하면, 먼저 각 카메라(210, 220, 230, 240)에서 촬영된 영상에서 렌즈 왜곡 보정 후 추출된 정점들에 대해서 세계 좌표를 구할 수 있다(S710). 단계(S710)에서 카메라(210, 220, 230, 240)의 틸트 각도(ψ), 롤 각도(Φ) 및 높이(z)는 앞에서 설명한 방법에 의해 추정된 값을 이용하고, 위치 좌표(x, y) 및 팬 각도(θ)는 미리 정해진 초기값으로 설정한다. 예를 들어, 전방 카메라(210)의 팬 각도(θ)는 0°로 설정하고, 좌측 카메라(240)는 90°, 후방 카메라(220)는 180°, 우측 카메라(230)는 270°로 설정할 수 있으며, 위치 좌표(x, y)는 차량 중심(O)을 좌표 기준점으로 하여 카메라(210, 220, 230, 240)가 정확하게 설치된 경우를 고려한 값을 초기값으로 설정할 수 있다. 카메라(210, 220, 230, 240)가 미리 정해진 기준 위치 및 자세로 정확하게 설치된 경우 단계(S710)에서 구해지는 정점(P1F, P2F, P3F)과 정점(P1L, P2L, P3L)의 대응점의 세계 좌표는 서로 일치하여 위치 오차가 없을 것이다. 그러나 실제로는 카메라 장착 과정 또는 운행 과정 등에서 오차가 발생할 수 있으므로 대응점들 사이에 위치 오차가 발생할 수 있다. 여기서 위치 오차는 세계 좌표를 기준으로 대응점들 사이의 거리로 정의할 수 있다.
이후 외부 파라미터 추정 장치(100)는 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 변화시키면서 대응점들 사이에 위치 오차를 구한다(S720).
마지막으로 대응점들 사이의 위치 오차를 최소화하는 값으로 카메라(210, 220, 230, 240)의 위치 좌표(x, y) 및 팬 각도(θ)를 추정할 수 있다(S730). 단계(S730)에서 다음 수학식 2에 의해 구해지는 값, f(θF,θB,θL,θR,xF,xB,xL,xR,yF,yB,yL,yR)를 최소화시키는 위치 좌표(x, y) 및 팬 각도(θ)를 구하면 된다.
Figure 112011095379672-pat00002
여기서 Di는 서로 다른 카메라에서 촬영된 영상에서 추출된 정점들 중에서 대응점들 사이의 거리를 의미한다. 예를 들어 D1은 정점(P1F)과 정점(P1L) 사이의 거리를 의미한다.
이와 같은 방법으로 각 카메라(210, 220, 230, 240)의 상대적인 외부 파라미터를 추정할 수 있으며, 카메라(210, 220, 230, 240) 중에서 하나의 절대적 위치 및 자세를 알면 나머지 카메라들의 절대적 위치 및 자세를 구할 수 있다. 물론 카메라(210, 220, 230, 240) 중에서 하나의 위치를 세계 좌표의 기준점으로 할 경우는 자연스럽게 나머지 카메라들의 절대적 위치 및 자세를 구할 수도 있다. 한편 지금까지 설명한 방법 외에도 다양한 방법으로 차량에 장착된 카메라의 절대적 위치 및 자세를 구할 수 있음은 물론이다.
그러면 본 발명의 일 실시예에 따른 3Ｄ 차량 주변 영상 생성 방법에 대해 설명한다.
도 8은 본 발명의 일 실시예에 따른 3Ｄ 차량 주변 영상 생성 방법을 설명하기 위해 제공되는 흐름도이다.
도 8을 참고하면, 먼저 주변 영상 생성 장치(300)는 카메라(210, 220, 230, 240)로부터 촬영된 영상을 3차원 공간 모델에 의해 정의되는 가상면에 맵핑할 수 있다(S810). 단계(S810)에서 3차원 공간 모델은 도 9에 예시한 것과 같이 밑면(A)이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 가상면을 가지는 모델(M)이 이용될 수 있다.
도 9(a)를 참고하면 3차원 공간 모델(M)은 밑면(A)은 장반경(b1)과 단반경(a1)을 가지고 상부로 갈수록 반경이 넓어지면서 높이(c)에서 개방된 상부면(A')은 장반경(b1+b2)과 단반경(a1+a2)를 가지는 것으로 정의될 수 있다. 물론 경우에 따라서 밑면과 상부면이 원형으로 구현될 수도 있다.
도 9(b) 및 도 9(c)를 참고하면, 한편 3차원 공간 모델 상에서 점(P)가 X축으로부터
Figure 112011095379672-pat00003
, 그리고 상부면(A')과는 θ의 각도를 이루는 경우 아래 수학식에 의한 가상면 상에 위치하게 된다.
Figure 112013006935810-pat00023
여기서 a =
Figure 112013006935810-pat00024
a1, b =
Figure 112013006935810-pat00025
b1, 0≤
Figure 112013006935810-pat00026
≤1, 0≤β≤1 이고, β는 점(P)가 밑면(A)의 중심에서 얼마나 떨어져서 위치하는지를 나타내며,
Figure 112013006935810-pat00027
는 밑면의 크기와 관계된 파라미터로,
Figure 112013006935810-pat00028
가 '0'이면 밑면이 없고,
Figure 112013006935810-pat00029
가 '1'이면 밑면이 장반경(b1)과 단반경(a1)을 가지게 된다.
Figure 112013006935810-pat00008
값을 조정하여 밑면의 크기를 조절할 수 있으며, 시스템 설계자에 의해 설정되거나 아래 설명하는 것처럼 차량 주행 상태, 주행속도 등에 따라 그 값이 변동될 수 있다.
도 10은 본 발명의 일 실시예에 따른 3차원 공간 모델의 가상면에 실제 카메라에 의해 촬영된 영상을 맵핑하는 예를 설명하기 위해 제공되는 도면이다.
도 10을 참고하면, 차량 주변에 서있는 물체(SO)가 지면과 평평한 밑면이 아닌 3차원 곡면 구간(C3D)에 투영될 수 있다. 따라서 2D 평면으로 투영할 때는 해당 물체가 길게 늘어지게 맵핑되게 되나, 3차원 곡면 구간에 투영됨으로써 해당 물체가 길게 늘어지게 투영되는 것을 방지할 수 있는 장점이 있다.
이와 같이 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 가상면을 가지는 모델을 3차원 공간 모델로 이용하면 다음과 같은 장점이 있다.
우선 평평한 밑면 부분에서는 패럴렉스(parallex)로 인한 부정합 현상이 일어나지 않는다. 차량으로부터 일정 주변영역은 지면 부분에 나타나는 패턴을 나타낼 필요가 있다. 그렇기 때문에 일정 부분에 대해서 지면과 붙어있는 형태를 가지는 것이 좋은 결과를 보여준다.
또한, 본 실시예에서의 3차원 공간 모델의 밑면 부분의 크기는 밑면에 대응되는 타원의 장단반경 계수만을 조절해주면 되므로 용이하다. 따라서 관심 주변영역을 어느 정도로 설정할지에 따라 쉽게 매핑 가상면을 조절할 수 있다. 예컨대 차량이 주차하거나 서행할 경우에는 차량 주변 바닥면을 확인해야할 필요가 커지므로 3차원 공간 모델의 밑면의 크기가 커지도록 조정하는 것이 유리하며, 반면 상대적으로 고속으로 주행할 경우는 차량의 원거리 부분을 확인해야할 필요가 커지게 되므로 3차원 공간 모델의 밑면의 크기가 작아지도록 조정하는 것이 유리하다. 따라서 주변 영상 생성 장치(300)는 3차원 공간 모델의 밑면의 크기를 차량의 주행 속도에 반비례하도록 조정하는 것이 바람직하다.
한편 본 발명에 따른 3차원 공간 모델은 절단면이 갑자기 꺾이는 곡선 없이 부드럽게 변하므로 뷰 영상에서 부자연스럽게 꺾이는 부분없이 자연스럽게 보이게 되는 장점이 있다. 그리고 마지막으로 입력 영상을 매핑함에 있어서 매핑 가상면 위에 기준점(fiducial point)의 위치를 정하는 것이 쉽다는 장점도 있다. 여기에서 기준점(fiducial point)은 위 수학식에서의 θ와
Figure 112011095379672-pat00009
를 얼마만큼의 간격으로 해서 기준점(fiducial point)을 잡을 것인지에 따라 정할 수 있다.
다시 도 8로 돌아가서, 단계(S810) 후에 주변 영상 생성 장치(300)는 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점의 뷰 영상을 생성할 수 있다(S820). 단계(S820)에서 가상 카메라의 시점의 뷰 영상은 가상면에 맵핑된 영상과 가상 카메라 시점의 뷰 영상 사이의 대응 관계가 미리 정의된 룩업 테이블을 참조하여 이루어지거나 양 자의 대응 관계를 정의하는 함수를 이용하여 이루어질 수 있다.
한편 가상 카메라의 시점은 차량의 주행 상태 또는 사용자 선택 중 적어도 하나에 의해 결정되도록 구현될 수 있다.
보다 자세하게는 차량의 주행 상태는 차량의 속도, 조향각 방향 또는 기어 위치에 연동하여 가상 카메라의 시점이 결정되도록 구현할 수 있다. 예를 들어 차량이 일정 속도 이상으로 전방으로 주행할 경우는 가상 카메라 시점은 차량 전방으로 지면과 평행하거나 지면과 이루는 틸트 각도(ψ)가 작게 설정될 수 있으며, 반대로 일정 속도 이하로 전방으로 주행할 경우는 지면과 이루는 틸트 각도(ψ)가 커지게 설정될 수 있다. 한편 후진 기어의 경우는 가상 카메라 시점이 후방으로 설정될 수 있다. 또한 차량의 조향각 방향이 좌측인 경우 가상 카메라 시점은 차량의 전방 좌측으로, 조향각 방향이 우측인 경우는 차량의 전방 우측으로 설정될 수 있다.
다음으로 가상 카메라 시점이 사용자 선택에 의해 정해지는 방법에 대해서 도 11을 참고하여 설명한다.
도 11을 참고하면, 사용자가 가상 카메라 시점 설정 메뉴를 선택하면, 도 11(a)에 예시한 것과 같이 차량(V)을 상부에서 내려다보는 형태에서 가상 카메라(C)가 표시되는 유아이(User Interface:UI) 화면이 제공된다. 그러면 사용자는 화면 상에서 가상 카메라(C)의 앞부분을 회전시켜 가상 카메라 팬 각도(θ)를 조정할 수 있으며, 가상 카메라(C)를 드래그하여 원하는 위치(X, Y)로 이동시킬 수 있다.
그리고 도 11(b)에 예시한 것과 같이 차량(V)을 측면에서 바라다보는 형태에서 가상 카메라(C)가 표시되는 유아이(User Interface:UI) 화면이 제공될 수도 있다. 이 화면에서 사용자는 가상 카메라(C)의 앞부분을 회전시켜 틸트 각도(ψ)를 조정하고, 가상 카메라(C)를 드래그하여 가상 카메라(C)의 높이(Z)를 조정할 수 있다.
이렇게 사용자에 의해 가상 카메라 시점 설정이 완료되면 도 11(c)에 예시한 것과 같이 가상 카메라 시점을 입체적으로 이해할 수 있는 화면이 제공될 수도 있다.
한편 뷰 영상을 생성하기 위해 복수 개의 카메라(210, 220, 230, 240)에 의해 촬영된 영상이 중첩되는 영역을 아래와 같이 처리하는 것이 바람직하다.
도 12는 복수 개의 카메라에 의해 촬영된 영상이 가상 카메라 시점의 뷰 영상 생성 시 중첩되는 영역을 설명하기 위해 제공되는 도면이다.
도 12를 참고하면, 가령 가상 카메라 시점이 차량 상방에서 지면을 수직으로 내려다보는 방향으로 설정된 경우(가상 카메라의 틸트 각도가 90°인 경우), 도 12(a)에 예시한 것과 같이 전방 카메라(210)로 촬상된 영상은 1, 2, 3 영역에 맵핑되고, 후방 카메라(220)로 촬상된 영상은 7, 8, 9 영역에 맵핑된다. 또한 좌측 카메라(230)로 촬상된 영상은 1, 4, 7 영역에 맵핑되고, 우측 카메라(240)로 촬상된 영상은 3, 6, 9 영역에 맵핑된다. 여기서 제1, 3, 7, 9 영역은 복수의 카메라에 의해 중복 촬영된 중복 영역이다. 즉, 제1 영역은 전방 카메라(210)와 좌측 카메라(230)에 의해 중복되어 촬영된 중복 영역이고, 제3 영역은 전방 카메라(210)와 우측 카메라(240)에 의해 중복되어 촬영된 중복 영역이다. 또한, 제7 영역은 후방 카메라(220)와 좌측 카메라(230)에 의해 중복되어 촬영된 중복 영역이고, 제9 영역은 후방 카메라(220)와 우측 카메라(240)에 의해 중복되어 촬영된 중복 영역이다. 그리고 5 영역은 차량에 대응하는 이미지가 표시되는 영역이다. 이때 중첩 영역의 중심(LC1, LC2, LC3, LC4)은 차량의 대각 방향에 위치하도록 할 수 있다.
그리고 중첩 영역에 대한 처리는 중첩 영역의 중심(LC1, LC3, LC7, LC9)을 기준으로 나뉘어진 영역, 예컨대 중첩 영역(3)의 경우 영역(3-1)은 전방 카메라(210)에서 촬영된 영상을 적용하고, 영역(3-2)는 우측 카메라(240)에서 촬영된 영상을 적용하도록 구현할 수 있다. 물론 실시예에 따라 중첩 영역의 중심(LC3)을 기준으로 가중치를 다르게 적용하여, 영역(3-1)은 전방 카메라(210)에서 촬영된 영상에 가중치를 더 높게 주어 처리하고, 영역(3-2)는 우측 카메라(240)에서 촬영된 영상에 가중치를 더 높게 주어 처리하도록 구현할 수도 있다. 나머지 중첩 영역에 대해서도 동일한 방법에 의해 처리할 수 있다.
한편 가상 카메라 시점이 차량 후방에서 전방을 바라보는 방향으로 설정된 경우(가상 카메라의 틸트 각도가 90°보다 작게 설정된 경우), 중첩 영역의 중심(LC1, LC3)이 차량의 세로축 방향에 가깝게 할 수 있다. 일반적으로 가상 카메라 시점이 차량 후방에서 전방을 바라보는 방향으로 설정되는 경우는 차량이 주행하고 있을 때이다. 이 경우 좌우측의 사각 지대에 대해서 운전자가 보다 자연스럽고 편하게 확인을 할 필요가 있는데, 이를 위해서는 좌우측 카메라(230, 240)에 의해 촬영된 영상을 뷰 영상에 더 많이 반영되도록 도 12(b)에 예시한 것과 같이 중첩되는 영역의 중심이 차량의 세로 방향에 가깝게 처리하는 것이 바람직하다.
한편 가상 카메라 시점의 위치를 차량의 좌측 또는 우측에 위치한 정도에 따라 가상 카메라가 위치한 측에 설치된 카메라에 의해 촬영된 영상을 더 포함하도록 중첩 영역의 중심을 변경시키는 것이 바람직하다. 예를 들어 가상 카메라 시점의 위치가 좌측으로 이동할수록 중첩 영역의 중심(LC1, LC7)이 차량의 세로 방향에 가깝게 변경시키는 것이 바람직하며, 반대로 가상 카메라 시점의 위치가 우로 이동할수록 중첩 영역의 중심(LC3 LC9)이 차량의 세로 방향에 가깝게 변경시키는 것이 바람직하다.
마지막으로 단계(S820)에 생성된 가상 카메라 시점의 뷰 영상은 표시장치(400)에 출력된다(S830).
그리고 차량의 주행 상태에 따라 중첩 영역의 중심(LC1, LC3, LC7, LC9) 및 3차원 공간 모델의 밑면의 크기 등을 변화시키면서 단계(S810) 내지 단계(S830)를 반복할 수 있다. 물론 실시예에 따라서는 사용자가 설정한 가상 카메라 시점대로 뷰 영상을 고정하여 생성하고 차량의 주행 상태 등에는 영향을 받지 않도록 구현할 수도 있다.
한편 실시예에 따라 본 발명에 따른 주변 영상 생성 장치(300)는 GPS 수신 모듈(도시하지 않음)과 연동하여 현재 차량의 주행 위치 정보를 제공받을 수 있다. 그리고 주변 영상 생성 장치(300)는 현재 차량의 주행 위치 주변의 건물 및 도로 정보 DB와 연동하여 가상 카메라 시점의 뷰 영상에 주변 건물 및 도로 정보를 합성하여 증강 현실로 표시할 수도 있다. 도 13은 본 발명의 일 실시예에 따른 차량 주변 건물 정보(1320) 및 도로 정보(1310)를 가상 카메라 시점의 뷰 영상에 표시한 예이다.
GPS 수신 모듈은 주변 영상 생성 장치(300)가 스마트폰 등과 같은 무선 통신 단말 내에 탑재된 경우는 해당 무선 통신 단말 내에 포함된 GPS 수신 장치를 이용할 수 있으며, 차량 내에 별도로 설치된 GPS 수신 모듈로 구현될 수도 있다. 그리고 차량의 주행 위치 주변의 건물 및 도로 정보 DB는 주변 영상 생성 장치(300)의 내부 메모리에 저장되거나, 별도의 네비게이션 장치(도시하지 않음)와 연결되어 제공받을 수도 있으며, 주변 영상 생성 장치(300)가 3G, 4G 등의 네트워크 통신 모듈을 구비한 경우 또는 스마트폰에 장착된 경우에는 외부의 DB 서버로부터 전송받을 수도 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 3Ｄ 차량 주변 영상 생성 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(Floptical Disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (13)

  1. 차량에 설치된 복수 개의 카메라로부터 촬영된 영상을 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 3차원 공간 모델에 의해 정의되는 가상면에 맵핑하는 단계, 그리고
    상기 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점의 뷰 영상을 생성하는 단계를 포함하고,
    상기 3차원 공간 모델 상에서 점(P)가 X축으로부터
    Figure 112013006935810-pat00030
    , 그리고 상부면(A')과는 θ의 각도를 이루는 경우 아래 수학식에 의해 상기 가상면 상에 위치하게 되며,
    Figure 112013006935810-pat00031

    여기서 a =
    Figure 112013006935810-pat00032
    a1, b =
    Figure 112013006935810-pat00033
    b1, 0≤
    Figure 112013006935810-pat00034
    ≤1, 0≤β≤1 이고, β는 점(P)가 밑면(A)의 중심에서 얼마나 떨어져서 위치하는지를 나타내며,
    Figure 112013006935810-pat00035
    는 밑면의 크기와 관계된 파라미터로,
    Figure 112013006935810-pat00036
    가 '0'이면 밑면이 없고,
    Figure 112013006935810-pat00037
    가 '1'이면 밑면이 장반경(b1)과 단반경(a1)을 가지고,
    상기 3차원 공간 모델의 밑면(A)의 크기는 상기 차량의 주행 속도에 반비례하며,
    상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방, 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고,
    상기 가상 카메라의 위치가 상기 차량의 중심을 기준으로 좌측 또는 우측에 위치한 정도에 따라 상기 가상 카메라가 위치한 측에 설치된 카메라에 의해 촬영된 영상을 더 포함하도록 중첩 영역의 중심이 변경되는 3Ｄ 차량 주변 영상 생성 방법.
  2. 제 1 항에서,
    상기 가상 카메라의 시점은 상기 차량의 주행 상태 및 사용자 선택 중 적어도 하나에 의해 결정되는 3Ｄ 차량 주변 영상 생성 방법.
  3. 삭제
  4. 삭제
  5. 제 1 항에서,
    상기 뷰 영상을 생성하기 위해 상기 복수 개의 카메라에 의해 촬영된 영상이 중첩되는 영역의 중심이 상기 가상 카메라의 틸트 각도에 따라 변경되는 3Ｄ 차량 주변 영상 생성 방법.
  6. 삭제
  7. 제 2 항에서,
    상기 가상 카메라 시점은 상기 차량의 조향각 방향 또는 기어 위치에 연동되는 3Ｄ 차량 주변 영상 생성 방법.
  8. 제 2 항에서,
    상기 가상 카메라의 시점에 대한 사용자 선택을 입력받기 위한 유아이(UI)를 표시하는 단계, 그리고
    상기 유아이를 통해 입력된 사용자 선택에 따라 상기 가상 카메라 시점의 변화를 표시하는 단계를 더 포함하는 3Ｄ 차량 주변 영상 생성 방법.
  9. 제 2 항에 있어서,
    상기 차량의 주행 위치 주변의 건물 정보 및 도로 정보를 상기 가상 카메라 시점에 따라 상기 뷰 영상에 합성하는 단계를 더 포함하는 3Ｄ 차량 주변 영상 생성 방법.
  10. 차량에 설치된 복수 개의 카메라로부터 촬영된 영상을 입력받고, 상기 입력된 영상을 밑면이 평평하고 상부로 갈수록 반경이 넓어지는 용기 형태의 3차원 공간 모델에 의해 정의되는 가상면에 맵핑하고, 상기 가상면에 맵핑된 영상을 이용하여 가상 카메라의 시점에서 바라본 뷰 영상을 생성하는 주변영상생성장치
    를 포함하고
    상기 3차원 공간 모델 상에서 점(P)가 X축으로부터
    Figure 112013006935810-pat00038
    , 그리고 상부면(A')과는 θ의 각도를 이루는 경우 아래 수학식에 의해 상기 가상면 상에 위치하게 되며,

    Figure 112013006935810-pat00039

    여기서 a =
    Figure 112013006935810-pat00040
    a1, b =
    Figure 112013006935810-pat00041
    b1, 0≤
    Figure 112013006935810-pat00042
    ≤1, 0≤β≤1 이고, β는 점(P)가 밑면(A)의 중심에서 얼마나 떨어져서 위치하는지를 나타내며,
    Figure 112013006935810-pat00043
    는 밑면의 크기와 관계된 파라미터로,
    Figure 112013006935810-pat00044
    가 '0'이면 밑면이 없고,
    Figure 112013006935810-pat00045
    가 '1'이면 밑면이 장반경(b1)과 단반경(a1)을 가지고,
    상기 3차원 공간 모델의 밑면(A)의 크기는 상기 차량의 주행 속도에 반비례하며,
    상기 복수 개의 카메라는 상기 차량의 전방, 우측, 후방, 좌측에 각각 설치되는 전방 카메라, 우측 카메라, 후방 카메라 및 좌측 카메라를 포함하고,
    상기 가상 카메라의 위치가 상기 차량의 중심을 기준으로 좌측 또는 우측에 위치한 정도에 따라 상기 가상 카메라가 위치한 측에 설치된 카메라에 의해 촬영된 영상을 더 포함하도록 중첩 영역의 중심이 변경되는 차량 주변 영상 표시 시스템.
  11. 삭제
  12. 제 10 항에 있어서,
    상기 주변영상생성장치는,
    상기 차량의 주행 위치 주변의 건물 정보 및 도로 정보를 상기 가상 카메라 시점에 따라 상기 뷰 영상에 합성하는 차량 주변 영상 표시 시스템.
  13. 제 10 항에 있어서,
    상기 복수 개의 카메라는,
    상기 촬영된 영상을 상기 주변영상생성장치에 근거리 무선 통신을 통해 전달하는 차량 주변 영상 표시 시스템.
KR1020110127209A 2011-11-30 2011-11-30 3ｄ 차량 주변 영상 생성 방법 및 장치 KR101265711B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020110127209A KR101265711B1 (ko) 2011-11-30 2011-11-30 3ｄ 차량 주변 영상 생성 방법 및 장치
PCT/KR2012/007781 WO2013081287A1 (ko) 2011-11-30 2012-09-27 3ｄ 차량 주변 영상 생성 방법 및 장치
US14/361,546 US9508189B2 (en) 2011-11-30 2012-09-27 Method and apparatus for creating 3D image of vehicle surroundings
CN201280068147.3A CN104093600B (zh) 2011-11-30 2012-09-27 用于生成车辆环境的三维图像的方法和装置
JP2014544648A JP6095684B2 (ja) 2011-11-30 2012-09-27 ３ｄ車両周辺映像生成方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110127209A KR101265711B1 (ko) 2011-11-30 2011-11-30 3ｄ 차량 주변 영상 생성 방법 및 장치

Publications (1)

Publication Number Publication Date
KR101265711B1 true KR101265711B1 (ko) 2013-05-20

Family

ID=48535702

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110127209A KR101265711B1 (ko) 2011-11-30 2011-11-30 3ｄ 차량 주변 영상 생성 방법 및 장치

Country Status (5)

Country Link
US (1) US9508189B2 (ko)
JP (1) JP6095684B2 (ko)
KR (1) KR101265711B1 (ko)
CN (1) CN104093600B (ko)
WO (1) WO2013081287A1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101504335B1 (ko) * 2013-07-29 2015-03-23 인하대학교 산학협력단 어라운드뷰 제공 장치, 방법 및 차량
CN104691415A (zh) * 2013-12-07 2015-06-10 惠州市德赛西威汽车电子有限公司 全景泊车辅助装置
KR101543159B1 (ko) 2014-05-02 2015-08-10 현대자동차주식회사 카메라를 이용한 영상 조정 시스템 및 방법
KR20160109867A (ko) * 2015-03-13 2016-09-21 주식회사 레드로버 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법
KR20170015754A (ko) * 2015-07-31 2017-02-09 현대엠엔소프트 주식회사 스카이라인을 이용한 차량의 측위 방법
KR20190064649A (ko) * 2016-10-28 2019-06-10 캐논 가부시끼가이샤 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체
KR20190075034A (ko) * 2019-06-20 2019-06-28 주식회사 아이닉스 차량용 영상 생성 장치 및 방법
KR20190077482A (ko) * 2016-11-30 2019-07-03 웨이모 엘엘씨 차량이 턴을 하고 있을 때 가상 카메라의 방위를 조정하기 위한 방법 및 시스템
KR20190129562A (ko) * 2018-05-11 2019-11-20 (주)넥셀 어라운드뷰 제공 방법 및 장치

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2447672B (en) 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9969428B2 (en) 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
JP5904093B2 (ja) * 2012-10-30 2016-04-13 株式会社デンソー 車載画像生成装置
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US10449900B2 (en) * 2014-06-20 2019-10-22 Clarion, Co., Ltd. Video synthesis system, video synthesis device, and video synthesis method
JP2016046747A (ja) * 2014-08-26 2016-04-04 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像表示システム
US9880253B2 (en) * 2014-10-28 2018-01-30 Nissan North America, Inc. Vehicle object monitoring system
CN104385987B (zh) * 2014-11-14 2017-01-11 东风汽车有限公司 一种汽车监控方法及系统
US20160159281A1 (en) * 2014-12-04 2016-06-09 Hyundai Mobis Co., Ltd. Vehicle and control method thereof
US20160176340A1 (en) * 2014-12-17 2016-06-23 Continental Automotive Systems, Inc. Perspective shifting parking camera system
DE102015202863A1 (de) * 2015-02-17 2016-08-18 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
CN104960473B (zh) * 2015-07-03 2017-11-14 上海寅喆计算机科技有限公司 视角切换方法及装置
JP2017030530A (ja) * 2015-07-31 2017-02-09 スズキ株式会社 映像表示システム
US9896130B2 (en) 2015-09-11 2018-02-20 Ford Global Technologies, Llc Guidance system for a vehicle reversing a trailer along an intended backing path
JP6575445B2 (ja) * 2015-09-30 2019-09-18 アイシン精機株式会社 車両用画像処理装置
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10102610B2 (en) * 2016-04-05 2018-10-16 Qualcomm Incorporated Dual fisheye images stitching for spherical video
US10112646B2 (en) 2016-05-05 2018-10-30 Ford Global Technologies, Llc Turn recovery human machine interface for trailer backup assist
US20170374287A1 (en) * 2016-06-23 2017-12-28 Werner Lang System for Visually Depicting Fields of View of a Commercial Vehicle
DE102016217488A1 (de) * 2016-09-14 2018-03-15 Robert Bosch Gmbh Verfahren zum Bereitstellen einer Rückspiegelansicht einer Fahrzeugumgebung eines Fahrzeugs
CN106791325B (zh) * 2017-01-06 2022-08-23 上海寅家电子科技股份有限公司 全景环视系统的色差测光区自动识别系统及自动识别方法
US10970915B2 (en) * 2017-01-06 2021-04-06 Canon Kabushiki Kaisha Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
US10268201B2 (en) * 2017-02-28 2019-04-23 Mitsubishi Electric Research Laboratories, Inc. Vehicle automated parking system and method
US11049219B2 (en) 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
JP6962036B2 (ja) * 2017-07-07 2021-11-05 株式会社アイシン 周辺監視装置
CN111034186B (zh) * 2017-08-25 2021-04-02 日产自动车株式会社 周围车辆显示方法及周围车辆显示装置
US10684625B2 (en) * 2017-08-30 2020-06-16 Robert Bosch Gmbh Automated parking for virtual parking spot
JP7013751B2 (ja) * 2017-09-15 2022-02-01 株式会社アイシン 画像処理装置
US10580299B2 (en) * 2017-10-13 2020-03-03 Waymo Llc Lane change notification
US11225193B2 (en) 2017-10-26 2022-01-18 Harman International Industries, Incorporated Surround view system and method thereof
US20180095475A1 (en) * 2017-11-22 2018-04-05 GM Global Technology Operations LLC Systems and methods for visual position estimation in autonomous vehicles
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
GB2573792B (en) * 2018-05-17 2022-11-09 Denso Corp Surround monitoring system for vehicles
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
US10715714B2 (en) * 2018-10-17 2020-07-14 Verizon Patent And Licensing, Inc. Machine learning-based device placement and configuration service
KR102212229B1 (ko) * 2018-11-07 2021-02-05 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법.
GB2581191B (en) * 2019-02-08 2022-02-16 Jaguar Land Rover Ltd Image system for a vehicle
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
CN110503597B (zh) * 2019-07-09 2023-05-16 浙江浩腾电子科技股份有限公司 一种基于2d结构模型的车辆视点规范化方法
JP6725734B2 (ja) * 2019-08-05 2020-07-22 株式会社デンソーテン 画像表示装置、画像表示システム、画像表示方法、及び、プログラム
WO2021070226A1 (ja) * 2019-10-07 2021-04-15 三菱電機株式会社 仮想カメラ制御装置、仮想カメラ制御方法、及び仮想カメラ制御プログラム
US11178388B2 (en) * 2019-10-07 2021-11-16 Gentex Corporation 3D display system for camera monitoring system
JP7442029B2 (ja) 2019-10-17 2024-03-04 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
CN111767844B (zh) 2020-06-29 2023-12-29 阿波罗智能技术(北京)有限公司 用于三维建模的方法和装置
JP2022048455A (ja) * 2020-09-15 2022-03-28 マツダ株式会社 車両用表示装置
JP2022101979A (ja) * 2020-12-25 2022-07-07 株式会社デンソー 画像生成装置、画像生成方法
KR102473407B1 (ko) * 2020-12-28 2022-12-05 삼성전기주식회사 틸트 카메라를 이용한 차량의 svm 시스템
KR102513762B1 (ko) * 2021-03-02 2023-03-27 주식회사 켐트로닉스 사이드미러 가상 영상 생성 장치 및 방법
US11691566B2 (en) * 2021-11-17 2023-07-04 GM Global Technology Operations LLC Intelligent vehicle systems and control logic for surround view augmentation with object model recognition
WO2024057060A1 (en) * 2022-09-13 2024-03-21 Vinai Artificial Intelligence Application And Research Joint Stock Company Surround view monitoring system and method

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6498620B2 (en) * 1993-02-26 2002-12-24 Donnelly Corporation Vision system for a vehicle including an image capture device and a display system having a long focal length
US6891563B2 (en) * 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
WO1999033684A2 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
EP2309453A3 (en) * 1998-07-31 2012-09-26 Panasonic Corporation Image displaying apparatus and image displaying method
CA2369648A1 (en) 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Limited Image processing device and monitoring system
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
KR100866450B1 (ko) * 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP2006287826A (ja) 2005-04-05 2006-10-19 Nissan Motor Co Ltd 車両用画像生成装置および方法
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
KR100674805B1 (ko) * 2005-06-14 2007-01-29 엘지전자 주식회사 카메라 영상과 지도 데이터 간에 건물 매칭 방법
KR100734678B1 (ko) 2005-06-14 2007-07-02 엘지전자 주식회사 건물정보 표시방법
US7728879B2 (en) * 2006-08-21 2010-06-01 Sanyo Electric Co., Ltd. Image processor and visual field support device
US8199975B2 (en) * 2006-12-12 2012-06-12 Cognex Corporation System and method for side vision detection of obstacles for vehicles
JP5369465B2 (ja) * 2008-03-25 2013-12-18 富士通株式会社 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
KR101393918B1 (ko) 2008-07-08 2014-05-13 현대자동차주식회사 차량 전방위 감시 시스템
TWI332454B (en) * 2008-09-10 2010-11-01 Univ Nat Chiao Tung Intelligent vehicle traffic safety supply system
JP5182042B2 (ja) 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP2010185761A (ja) 2009-02-12 2010-08-26 Toyota Motor Corp ナビゲーションシステム、道路地図表示方法
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5271154B2 (ja) 2009-05-29 2013-08-21 富士通テン株式会社 画像生成装置及び画像表示システム
JP2010274813A (ja) * 2009-05-29 2010-12-09 Fujitsu Ten Ltd 画像生成装置及び画像表示システム
US8502860B2 (en) 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
DE102010042063B4 (de) * 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101504335B1 (ko) * 2013-07-29 2015-03-23 인하대학교 산학협력단 어라운드뷰 제공 장치, 방법 및 차량
CN104691415A (zh) * 2013-12-07 2015-06-10 惠州市德赛西威汽车电子有限公司 全景泊车辅助装置
CN104691415B (zh) * 2013-12-07 2017-02-01 惠州市德赛西威汽车电子股份有限公司 全景泊车辅助装置
KR101543159B1 (ko) 2014-05-02 2015-08-10 현대자동차주식회사 카메라를 이용한 영상 조정 시스템 및 방법
KR20160109867A (ko) * 2015-03-13 2016-09-21 주식회사 레드로버 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법
KR101684270B1 (ko) * 2015-03-13 2016-12-20 주식회사 레드로버 표면윤곽 변화를 고려한 동적 프로젝션 매핑 방법
KR20170015754A (ko) * 2015-07-31 2017-02-09 현대엠엔소프트 주식회사 스카이라인을 이용한 차량의 측위 방법
KR102336778B1 (ko) 2015-07-31 2021-12-08 현대오토에버 주식회사 스카이라인을 이용한 차량의 측위 방법
KR20190064649A (ko) * 2016-10-28 2019-06-10 캐논 가부시끼가이샤 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체
KR102364052B1 (ko) 2016-10-28 2022-02-18 캐논 가부시끼가이샤 화상 처리 시스템, 화상 처리 방법 및 기억 매체
KR102083767B1 (ko) * 2016-10-28 2020-03-02 캐논 가부시끼가이샤 화상 처리 장치, 화상 처리 시스템, 화상 처리 방법 및 기억 매체
US11128813B2 (en) 2016-10-28 2021-09-21 Canon Kabushiki Kaisha Image processing apparatus, image processing system, image processing method, and storage medium
KR20210068629A (ko) * 2016-10-28 2021-06-09 캐논 가부시끼가이샤 화상 처리 시스템, 화상 처리 방법 및 기억 매체
CN110023141A (zh) * 2016-11-30 2019-07-16 伟摩有限责任公司 用于在车辆转弯时调整虚拟相机的朝向的方法和系统
KR102227316B1 (ko) * 2016-11-30 2021-03-12 웨이모 엘엘씨 차량이 턴을 하고 있을 때 가상 카메라의 방위를 조정하기 위한 방법 및 시스템
KR20190077482A (ko) * 2016-11-30 2019-07-03 웨이모 엘엘씨 차량이 턴을 하고 있을 때 가상 카메라의 방위를 조정하기 위한 방법 및 시스템
CN110023141B (zh) * 2016-11-30 2023-08-08 伟摩有限责任公司 用于在车辆转弯时调整虚拟相机的朝向的方法和系统
KR102077494B1 (ko) * 2018-05-11 2020-02-14 (주)넥셀 어라운드뷰 제공 방법 및 장치
KR20190129562A (ko) * 2018-05-11 2019-11-20 (주)넥셀 어라운드뷰 제공 방법 및 장치
KR102235951B1 (ko) * 2019-06-20 2021-04-05 주식회사 아이닉스 차량용 영상 생성 장치 및 방법
KR20190075034A (ko) * 2019-06-20 2019-06-28 주식회사 아이닉스 차량용 영상 생성 장치 및 방법

Also Published As

Publication number Publication date
JP2015507386A (ja) 2015-03-05
US20140347450A1 (en) 2014-11-27
CN104093600A (zh) 2014-10-08
JP6095684B2 (ja) 2017-03-15
WO2013081287A1 (ko) 2013-06-06
CN104093600B (zh) 2016-12-07
US9508189B2 (en) 2016-11-29

Similar Documents

Publication Publication Date Title
KR101265711B1 (ko) 3ｄ 차량 주변 영상 생성 방법 및 장치
US9840199B2 (en) Vehicle image processing apparatus and vehicle image processing method
JP5369465B2 (ja) 車両用画像処理装置、車両用画像処理方法、車両用画像処理プログラム
KR101911610B1 (ko) 어떤 차량의 차량 주변을 왜곡 없이 표시하기 위한 방법 및 장치
US20140125774A1 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
KR20180070571A (ko) 이미지 시각화를 생성하기 위한 시스템들 및 방법들
US11043023B2 (en) Surround monitoring system for vehicles
US7301497B2 (en) Stereo display for position sensing systems
US9135745B2 (en) Image processing method and system using the same
WO2014159330A1 (en) System and method for distortion correction in three-dimensional environment visualization
KR20180020274A (ko) 패널 변환
US20220105869A1 (en) Image system for a vehicle
KR102079332B1 (ko) 3ｄ 차량 주변 영상 생성 방법 및 시스템
KR101265710B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
KR101398068B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
KR101331893B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
KR101351911B1 (ko) 카메라의 영상 처리 장치 및 방법
WO2023210682A1 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法
KR101398069B1 (ko) 차량 주변 영상을 위한 호모그래피 추정 방법 및 시스템
JP2022077138A (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び表示制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160510

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180510

Year of fee payment: 6