KR20020005496A - 화상합성장치 및 방법 - Google Patents

화상합성장치 및 방법 Download PDF

Info

Publication number
KR20020005496A
KR20020005496A KR1020010040601A KR20010040601A KR20020005496A KR 20020005496 A KR20020005496 A KR 20020005496A KR 1020010040601 A KR1020010040601 A KR 1020010040601A KR 20010040601 A KR20010040601 A KR 20010040601A KR 20020005496 A KR20020005496 A KR 20020005496A
Authority
KR
South Korea
Prior art keywords
imaging
image
projection
projected
vehicle
Prior art date
Application number
KR1020010040601A
Other languages
English (en)
Other versions
KR100414708B1 (ko
Inventor
오카다쓰요시
이이다료스케
니시자와마사토
온다가츠마사
미와미치오
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20020005496A publication Critical patent/KR20020005496A/ko
Application granted granted Critical
Publication of KR100414708B1 publication Critical patent/KR100414708B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/007—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle providing information about the distance to an obstacle, e.g. varying sound
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

화상합성장치는 복수의 촬상장치에 의해서 취해진 복수의 화상을 조합하도록 설계되어 있다. 이 장치에서, 제1투영유닛은 촬상장치의 촬상상황에 따라 촬상장치에 의해서 취해진 복수의 화상을 투영부로 투영하여 복수의 제1투영된 화상을 발생하도록 하고, 제2투영유닛은 복수의 제1투영된 화상을 3차원 투영모델에 투영하여 제2투영된 화상을 발생하도록 한다. 상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상장치와 상기 가상촬상장치의 촬상상황을 결정하는 촬상상황 검출유닛을 상기 장치에 또한 포함시킴으로써, 상기 촬상상황결정유닛에 의해서 결정된 촬상상황에 있어서 가상촬상장치에 의해서 제2투영된 화상이 촬상되어서 복수의 촬상장치에 의해서 취해진 복수의 화상을 조합시키도록 하여 고품질의 합성화상을 형성한다. 이 장치는 촬상장치에 의해서 취해진 화상들 사이의 결합이 드러나지 않는 자연합성화상을 제공할 수 있다. 또한, 이 장치는 자동차 상에 장착시 운전자에게 주위상황과 다른 물체와 관련한 자동차의 위치관계를 쉽게 포착할 수 있게 한다.

Description

화상합성장치 및 방법{PICTURE COMPOSING APPARATUS AND METHOD}
본 발명은 화상합성장치 및 방법에 관한 것으로서, 보다 상세하게는 주차 또는 기타상황시에 운전을 지원하기 위해 운전자에게 자동차 주변의 화상을 나타내는, 자동차에 장착된 복수의 촬상수단을 사용하여 포착된 화상을 변환/조합시키도록 설계된 시스템에 사용하기 적절한 화상합성장치 및 방법에 관한 것이다. 더욱이, 화상표시장치, 화상 포착/경고장치 및 자동차 위치 인지/결정장치에 관한 것이다.
지금까지는 이와 같은 타입의 화상합성장치에 있어서, 화상합성수단에 의해서 복수의 화상에 의거하여 파노라마 화상등의 광 가시영역(wide-visual-field) 화상을 합성하는 경우에, 복수의 화상은 각각의 촬상장치로부터 원통면으로 표현됨과 아울러 가상촬상장치에 의해서 촬상된 공통 곡면으로 투영되었다. 이 종래의 과정은 도 14 내지 15b를 참조하여 아래에 설명될 것이다.
도 14는 파노라마 화상(55)에 대한 합성과정의 예시도로서, 여기서 자동차(A)상에 장착된 두개의 촬상장치(도시안됨)의 사용을 통해 신(scene)(52)이 취해져 교대로 원통면(66) 위로 투영되는 화상(53 및 54)을 포착하도록 한다. 도 15a는 원통면(66) 상에 합성화상을 제작하기 위해 촬상장치(61a)에 의해 취해진 화상(62)과 촬상장치(61b)에 의해서 취해진 화상(63)을 투영하는 과정을 3차원적으로 도시한다. 화상(62) 위의 점(64)은 점(67)으로 투영되고, 더욱이 가상 촬상수단(72)을 통해 합성화상면(73) 상의 점(69)으로 투영된다. 또한, 화상(63)위의 점(65)은 원통면(66)상의 점(68)으로 투영되고, 더욱이 동일한 가상촬상수단(72)의 사용을 통해 합성화상면(73)위의 점(70)으로 투영된다. 도 15b는 원통면(66)의 축에 직교하는 면(71)위로 투영되는 상태를 3차원적으로 도시한다. 상기한 과정에 의해 화상(53 및 54)위의 각점은 맵변환되어(map-converted) 도 14에 도시된 파노라마 화상등의 화상을 합성하도록 한다.
상기한 종래의 기술의 예로서 심사되지 않은 일본 특허 공개 평5-14751호에 개시된 기술이 공지되어 있다. 또한, 한 평면위로의 3차원 투영에 대한 예로서 심사되지 않은 일본 특허 공개 평6-20189호 및 일본 특허 공개 2000-134537호에 개시된 기술이 공지되어 있다. 또한, 구면위로의 투영의 예로서 심사되지 않은 일본 특허 공개 평9-322040호에 개시된 기술이 공지되어 있다.
그러나, 이와 같은 종래의 화상합성방법은 투영 중심에 있어서 상이한 위치에 장착된 복수의 촬상장치에 의해서 취해진 복수의 화상으로부터 하나의 합성화상을 만들도록 설계된다. 따라서, 도 14에 나와 있는 합성 파노라마 화상(55)에 도시된 바와 같이 불연속적인 점(56a, 56b 및 56c)이 발생하는데, 이는 상이한 화상 사이의 결합시에 화상을 정렬시키는데 어려움이 있다는 문제를 야기시킨다. 더욱이, 원통위로의 투영의 경우에 있어서, 촬상장치에 근접하고 그것으로부터 떨어진 위치에서 화상 왜곡이 크게 상이하여 운전자로 하여금 거리의 인지를 어렵게 만들 뿐만 아니라, 도 12에 있어서 파노라마 화상면 상의 이웃하는 화상(57)으로 도시되어 있듯이 자동차의 범퍼 또는 펜더(fender) 등의 차체 단부에서 크게 화상이 왜곡되어서, 상기 방법을 주차 지원등의 자동차 안전 운전 지원에 적용하기 어렵게 만든다.
본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 주위의 상황(또는 상태)과 자동차 사이의 위치관계에 대한 용이한 포착을 하는 복수의 상이한 가시점으로부터 취해진 복수의 화상을 이용함으로써 매우 넓은 범위(광 가시 영역)의 정보를 제공함과 아울러, 위화감없이 함께 화상을 결합하여 보기에 좋은 높은 가시도를 가진 자연 화상을 제작할 수 있는 화상합성장치 및 방법을 제공하는 것이다.
이 목적을 달성하기 위해, 본 발명에 의하면 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황을 반영하면서 투영부상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과, 상기 복수의 제1투영된 화상을 3차원 투영모델로 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과, 상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상수단과, 상기 3차원 투영모델의 위치와 그 모양을 결정하는 3차원 투영모델결정수단과, 상기 가상촬상수단의 촬상상황을 결정하는 가상촬상수단 촬상상황결정수단을 포함하되, 상기 제2투영된 이미지는 상기 가상촬상수단 촬상상황결정수단에 의해서 결정된 촬상상황에서 상기 가상촬상수단에 의해서 촬상되어 상기 복수의 촬상수단에 의해서 취해진 복수의 화상을 조합시키도록 하는 화상합성장치가 제공된다.
상기 구성에 의하면, 상기 촬상수단에 의해서 취해진 화상이 상기 제1투영부로 투영된 후 상기 3차원 투영모델로 투영되기 때문에 결합이 명확하게 드러나지 않는 화상을 합성할 수 있다.
또한, 본 발명에 의한 화상합성장치에 있어서, 복수의 촬상수단은 자동차상에 장착되고, 상기 화상합성장치는 또한, 자동차의 진행방향을 검출하는 자동차 진행방향검출수단을 포함한다. 따라서, 상기 자동차 진행방향검출수단에 의해서 검출된 자동차의 진행방향과 평행한 3차원 투영모델 투영부의 투영중심을 통하는 직선상에 가시점이 설정되어, 합성화상위에서 조차도 직선으로서 특정조건를 만족시키는 직선을 표시할 수 있다.
또한, 본 발명에 의한 화상합성장치에 있어서, 복수의 촬상수단이 자동차상에 장착되고, 상기 화상합성장치는 또한, 상기 자동차의 차체위치를 검출하는 자동차 차체위치검출수단를 포함한다. 이와 같은 구성에 의해, 상기 가상촬상수단의 가시점은 3차원 투영모델 투영부의 평면투영된 화상과 투영중심을 통하는 평면상에 설정되어, 특정조건을 만족시키는 직선을 합성화상 상에서 조차도 직선으로서 표시할 수 있도록 한다.
또한, 본 발명에 의하면, 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황을 반영하면서 투영면 상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과, 상기 복수의 제1투영된 화상을 구면으로 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과, 상기 구면 상의 한점 둘레의 평면에 걸쳐 상기 제2투영된 화상을 전개시키는 변환수단을 포함하는 화상합성장치가 제공된다. 이 구성에 의해 상기 구면의 위치가 변할지라도, 한 평면에 걸쳐 화상을 전개시킴에 있어서 중심점을 조절함으로써 합성화상 상에 직선으로서 특정 직선을 투영할 수 있다.
또한, 본 발명에 의하면, 복수의 화상을 촬상하는 촬상단계와, 검출된 촬상상황을 반영하면서 복수의 촬상된 화상을 투영부로 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영단계와, 상기 복수의 제1투영된 화상을 3차원 투영모델로 투영하여 제2투영된 화상을 발생하도록 하는 제2투영단계와, 상기 제2투영된 화상을 가상으로 촬상하는 가상촬상단계와, 상기 3차원 투영모델의 위치와 그 형상을 결정하는 3차원 투영모델 결정단계와, 상기 가상촬상단계에서 촬상상황을 결정하는 촬상상황결정단계를 포함하되, 상기 제2투영된 화상은 상기 촬상상황 결정단계에서 결정된 투영상황에 있어서 상기 가상촬상단계에서 촬상되어 상기 촬상단계에서 취해진 복수의 화상을 조합시키도록 하는 화상합성방법이 제공된다.
이와 같은 방법에 의해 조합부분에서 결합이 드러나지 않고 또한 위화감을 나타내지 않는 자연 화상을 합성할 수 있고, 예컨대 3차원 투영모델로서 원통 및 구의 조합을 사용하여 합성화상의 왜곡을 줄일 수 있다.
더욱이, 본 발명에 의하면, 복수의 화상을 촬상하는 촬상단계와, 상기 촬상단계에 있어서의 촬상상황을 검출하는 촬상상황 검출단계와, 검출된 상기 촬상상황을 반영하면서 투영부로 촬상된 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영단계와, 상기 복수의 제1투영된 화상을 구면에 투영시켜 제2투영된 화상을 발생시키도록 하는 제2투영단계와, 상기 구면상의 한점 주위의 평면에 걸쳐서 상기 제2투영된 화상을 전개시키는 평면전개단계와, 상기 구면의 위치를 결정하는 구면위치 결정단계를 포함하되, 상기 평면전개단계에서 얻어진 복수의 화상은 조합되어 합성화상을 제작하도록 하는 화상합성방법이 제공된다.
이 구성에 의해, 특정조건을 만족시키는 직선이 합성화상에서 조차도 크리스프(crisp)하고 연속적인 직선으로서 도시될 수 있고, 합성화상은 위화감을 나타내지 않는 자연화상으로서 인식될 수 있다.
더욱이, 본 발명에 의하면, 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황을 반영하면서 투영부상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과, 상기 복수의 제1투영된 화상을 3차원 투영모델에 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과, 상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상수단과, 상기 3차원 투영모델의 위치와 그 모양을 결정하는 3차원 투영모델 결정수단과, 상기 가상촬상수단의 촬상상황을 결정하는 가상촬상수단 촬상상황 결정수단과, 화상을 표시하는 표시수단과, 표시될 화상을 상기 표시수단에 적절한 데이터로 변환하는 표시데이터 변환제어수단을 포함하되, 상기 제2투영된 화상은 상기 가상촬상수단 촬상상황 결정수단에 의해서 결정된 촬상상황에 있어서 상기 가상촬상수단에 의해서 촬상되어서 상기 복수의 촬상수단에 의해 취해진 복수의 화상을 조합하여 합성화상을 형성하며, 상기 합성화상은 상기 표시수단에 적절하도록 표시데이터 변환제어수단에 의해서 변환되는 화상표시장치가 제공된다.
이 구성에 의하면, 촬상수단에 의해서 취해진 화상, 투영된 화상 또는 상기 표시수단 상의 합성화상을 표시할 수 있음으로써, 운전자로 하여금 주위상황과 자동차에 관련한 위치관계를 쉽게 포착할 수 있게 만들 수 있다.
또한, 본 발명에 의하면, 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황을 반영하면서 투영부상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과, 상기 복수의 제1투영된 화상을 3차원 투영모델에 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과, 상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상수단과, 상기 3차원 투영모델의 위치와 그 모양을 결정하는 3차원 투영모델 결정수단과, 상기 가상촬상수단의 촬상상황을 결정하는 가상촬상수단 촬상상황 결정수단과, 물체의 접근상황을 검지하는 검지수단과, 상기 검지수단에 의해서 검지된 물체의 접근상황이 임의로 설정된 물체접근 상황에 도달할때 경고정보를 발생하는 경고수단을 포함하는 화상 포착/경고장치가 제공된다.
이 구성에 의해, 결합하는 물체가 자동차의 차체 후방부에 결합되는 경우에 있어서, 이 결합되는 물체의 접근상태에 따라 경고정보가 발생할 수 있음으로써 운전자에게 경고를 한다. 게다가, 상기 결합의 완료시에 이 결합상태가 확인될 수 있다.
또한, 본 발명에 의하면, 자동차 상에 장착된 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황을 반영하면서 투영부 상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과,상기 복수의 제1투영된 화상을 3차원 투영모델에 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과, 상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상수단과, 상기 3차원 투영모델의 위치와 그 모양을 결정하는 3차원 투영모델 결정수단과, 상기 가상촬상수단의 촬상상황을 결정하는 가상촬상수단 촬상상황 결정수단과, 상기 복수의 촬상수단 중 적어도 하나가 자동차의 후방측상에 놓인 후방촬상수단이면 이 후방촬상수단에 의해서 취해진 화상, 이 취해진 화상을 상기 3차원 투영모델에 투영함으로써 얻어진 화상, 또는 상기 가상촬상수단에 있어서 취해진 화상을 결합함으로써 얻어진 합성화상으로부터 임의의 물체의 화상을 검출하는 화상검출수단과, 상기 화상검출수단에 의해서 검출된 화상과 자동차의 화상 사이의 위치관계를 인지하는 인지수단과, 상기 인지수단에 의해서 인지된 위치관계에 의거하여 상기 자동차와 상기 물체 사이의 위치의 차이에 대한 결정을 하는 결정수단을 포함하는 자동차 위치 인지/결정장치가 제공된다.
이 구성에 의하여, 상기 촬상수단에 의해서 취해진 화상, 투영된 화상 또는 합성화상이 표시수단에 놓일 수 있으며, 이 표시수단은 운전자로 하여금 주위상황, 특히 임의로 설정된 물체의 화상으로부터 물체의 위치(물체의 표시를 포함함)와 자동차에 관련한 위치관계를 인지할 수 있게 한다.
도 1은 본 발명의 제1실시예에 의한 화상합성장치의 구성을 도시하는 블록도,
도 2는 본 발명의 제1실시예에 의한 처리흐름을 설명하기 유용한 예시도,
도 3은 합성화상이 완성될 때까지 수행될 투영과정의 원리 예시도,
도 4는 본 발명의 제1실시예에 있어서, 원통면과 구면의 조합을 형성하는 3차원 투영모델의 위치변화에 따라 원통면에 투영될 면적과 구면에 투영될 면적이 변화하는 사실을 설명하는데 유용한 예시도,
도 5는 본 발명의 제2실시예에 의한 화상합성장치의 구성을 도시하는 블록도,
도 6은 본 발명의 제2실시예에 있어서 가상 촬상수단의 가시점 위치와 화상의 변동을 설명하는데 유용한 예시도,
도 7은 본 발명의 제3실시예에 의한 화상합성장치의 구성을 도시하는 블록도,
도 8은 본 발명의 제3실시예에 있어서, 차체단부가 합성화상위에 직선을 나타내는 가상촬상수단의 가시점 위치를 설명하는 데 유용한 예시도,
도 9는 본 발명의 제4실시예에 의한 화상합성장치의 구성을 도시한 블록도,
도 10은 본 발명의 제4실시예에 의한, 합성화상이 포착될 때 까지 수행될 과정을 설명하는 데 유용한 원리도,
도 11은 본 발명의 제5실시예에 의한 화상표시장치의 구성을 도시하는 블록도,
도 12는 본 발명의 제6실시예에 의한 화상 포착/경고장치의 구성을 도시하는 블록도,
도 13은 본 발명의 제7실시예에 의한 소유 자동차 인지/결정장치의 구성을 도시하는 블록도,
도 14는 종래의 화상합성방법에 의한 파노라마 화상을 합성하는 과정 예시도,
도 15a 및 15b는 종래의 화상합성방법에 의한 파노라마 화상을 합성하는 과정을 3차원적으로 도시하는 도면.
* 도면의 주요부분에 대한 상세한 부호의 설명
1a : 제1촬상수단 1b : 제2촬상수단
2a : 제1촬상상황 검출부 2b : 제2촬상상황 검출부
3 : 평면투영부 4 : 3차원 투영모델결정부
5 : 3차원 투영모델투영부 6 : 가상촬상수단 촬상상황결정부
7 : 가상촬상수단
본 발명의 실시예를 도면을 참조하여 아래에 설명할 것이다. 2개의 촬상수단의 사용을 통해 취해진 화상이 한개의 합성화상으로 결합될 수 있을 지라도, 3개이상의 촬상수단이 물론 동일과정의 반복을 통해 사용된다면 다수의 촬상수단에 의해서 취해진 화상으로부터 한개의 합성화상을 제작할 수 있다.
(제1실시예)
도 1은 본 발명의 제1실시예에 의한 화상합성장치의 구성을 도시하는 블록도이다. 도 1에 도시한 바와 같이, 화상합성장치는 촬상수단(1), 촬상상황 검출수단(2), 평면투영부(3), 3차원 투영모델 결정부(4), 3차원 투영모델 투영부(5), 가상촬상수단 촬상상황 검출부(6) 및 가상촬상수단(7)으로 구성되어 있다.
촬상수단(1)은 제1촬상수단(1a) 및 제2촬상수단(1b)의 두개의 촬상장치를 포함한다. 촬상상황 검출수단(2)은 제1촬상수단(1a)의 촬상상황을 검출하는 제1촬상상황 검출수단(2a)과 제2촬상수단(1b)의 촬상상황을 검출하는 제2촬상상황 검출수단(2b)을 포함하고, 평면투영부(3)는 제1촬상수단(1a), 제2촬상수단(1b), 제1촬상상황 검출수단(2a) 및 제2촬상상황 검출수단(2b)의 출력을 수신한다. 평면투영부(3)의 출력과 3차원 투영모델 결정부(4)의 출력은 제3투영모델 투영부(5)에 입력된다. 또한, 3차원 투영모델 투영부(5)의 출력과 가상촬상수단 촬상상황 결정부(6)의 출력은 가상촬상수단(7)에 입력된다.
이 경우에 있어서, 평면투영부(3)에 사용될 투영부는 자동차가 위치하는 평면 즉, 도로면으로서 설정된다. 정확하게는 도로면이 완전한 평면이 아닐지라도, 도로면이 거의 평면을 이룬다고 생각할 수 있다. 또한, 3차원 투영모델 투영부(5)에 사용될 3차원 투영모델은 도로면에 직교하는 원통면과 구면의 원할한 조합을 형성하는 곡면으로 설정되어, 투영중심은 원통면의 축상의 점으로서 설정된다.
첫째, 촬상수단 촬상상황 검출부(2)는 위치가 발견되거나 확인될 수 있는 도로면상의 복수의 점과 제1촬상수단(1a) 또는 제2촬상수단(1b)에 의해서 취해진 화상상의 다수의 점을 연결함으로써, 촬상수단(1a 또는 1b)의 촬상상황을 검출한다. 촬상상황은, 예컨대 다음의 파라미터들을 나타낸다.
(1) 도로면에 대한 촬상수단이 장착된 장소
(2) 도로면에 대해서 촬상수단이 위치된 방향
(3) 필드앵글(field angle), 초점거리 및 렌즈의 변형
이들 파라미터가 검출되면 모양 및 촬상수단과 관련한 위치에 있어서, 이미 알려진 물체에 대해서 논리적 수치계산을 통해 촬상수단에 의해 취해진 화상 상의 물체의 상태를 얻을 수 있다. 사실상, 미리 필요한 파라미터를 수집하고, 메모리 등에 그것들을 등록하기 위해 공장 출하전 조정단계에서 격자형 물체가 취해져, 3차원 공간에 있어서의 좌표와, 투영된 면 화상좌표의 수치 값을 계산기에 입력시킴으로써 파라미터의 추정치를 얻던가, 촬상수단의 장착상태를 나타내는 위치와 각도를 센서에 의해 검출하여 이 데이터를 계산기에 입력시켜 파라미터를 기계적(자동적)으로 얻고 있다.
더욱이, 상기 파라미터를 얻는 방법에 추가하여, 촬상수단 촬상상황 검출부(2)는 화상으로부터 도로면으로의 변환행렬을 획득함으로써 각 촬상수단의 촬상상황을 검출할 수 있다. 이 변환행렬은 위치에서 이미 발견된 도로면 상의 복수의 점 각각을 화상위의 복수의 점 각각과 연결함으로써 획득될 수 있다. 이 변환행렬은 화상으로부터 도로면으로의 평면투영을 가능하게 한다.
두번째로, 도 2 및 도 3a를 참조하여 투영부 각각에 있어서의 처리에 대해 아래에 설명할 것이다. 도 2는 본 발명의 제1실시예에 의한 화상합성장치에 있어서의 처리흐름을 나타내는 플로우챠트이고, 도 3a는 촬상수단(1a, 1b)에 의해서 취해진 화상을 투영함으로써 합성화상을 형성하는 과정의 원리를 설명하기 위해 유용한 예시도이다.
도 2에 있어서 스텝(step)2까지의 흐름은 촬상수단 촬상상황 검출부(2)에서 포착한 촬상상황 각각에 의해 스텝1에 있어서의 촬상수단(1a, 1b)에 의해 취해진 화상 각각을 평면투영부(3)가 투영부(도로면)에 투영하는 과정을 나타내고 있다. 3차원으로 도 3a에 도시된 바와 같이, 투영은 촬상수단(1a)에 의해서 취해진 화상(8) 위의 점(15) 및 촬상수단(1b)에 의해서 취해진 화상(9) 위의 점(16)으로부터 점(17)으로의 변환에 해당한다. 이 단계에서, 화상(8) 및 화상(9) 각각으로 취해져 합병된 도로면 상의 동일한 물체의 화상들이 정확하게 겹쳐져 놓이도록 변환이 이루어진다. 즉, 예컨대 도로면 상의 백선이 이중으로 투영됨이 없이 정확하게 표시된다. 이 평면 투영부(3)는 화상(8) 상의 점(15)과 화상(9) 상의 점(16)의 좌표를 도로면 상의 점(17) 좌표로 변환한다.
도 2에 있어서 추가로, 스텝3까지의 흐름은 3차원 투영모델 투영부(5)가 평면투영부(3)에 의해서 도로면으로 투영된 화상을 3차원 투영모델(11)에 투영하는 과정을 나타낸다. 3차원 투영모델(11)로의 투영은, 도로면 상의 점(17)이 점(17)을 3차원 투영모델의 투영중심(12)과 연결시키는 직선과 3차원 투영모델(11) 표면의 교차점(18)으로 투영됨을 나타낸다.
또한, 도 2에 있어서, 스텝4까지의 흐름은 가상촬상수단 촬상상황 결정부(6)에 의해서 결정된 촬상상황에 따라 가상촬상수단(7)이 3차원 투영모델 투영부(5)내의 3차원 투영모델(11)상에 그려진 화상을 촬상하는 과정을 의미한다. 도 3a에 있어서 3차원으로 도시된 바와 같이, 이 촬상은 가상촬상수단(7)의 가시점(13)을 점(18)과 연결하는 직선과 화상합성면(14)의 교차점(19)으로의 변환에 해당한다. 가상촬상수단(7)에 의해서 획득된 화상은 합성화상으로 된다.
도 14의 화상(52)으로 도시된 조건에서 획득된 화상이 이 방법으로 조합될 때 파노라마 화상은 도 3b에 도시된 바와 같이 획득될 수 있다. 도로면 상의 직선등은 결합부(20)로 도시한 바와 같이 서로 원할하게 결합된다. 또한, 촬상수단으로부터 충분히 분리된 3차원 물체의 결합부 조차도 결합부(21)로 도시한 바와 같이 드러나지 않는다.
또한, 3차원 투영모델(11) 또는 투영중심(12)의 위치가 도로면에 직교하는 방향으로 이동되면, 원통면으로 투영될 영역과 구면으로 투영될 영역의 범위를 변경시킬 수 있다. 예컨대, 도 4a에 도시한 바와 같이 3차원 투영모델(11)의 원통면과 구면 사이의 경계와 투영중심(12)이 서로 높이에 있어서 동일하게 설정되면, 투영중심(12) 보다 낮은 위치에 존제하는 화상은 구면으로 투영되는 한편, 기타 화상은 원통면으로 투영된다. 또한, 도 4b에 도시한 바와 같이, 3차원 투영모델(11)의 위치가 투영중심(12)이 본래대로 머물러 있는 상태에서 도 4a에 도시된 위치보다 낮은 위치로 설정되면, 구면으로 투영될 영역은 단지 투영중심(12)의 근방을 커버하는 반면에, 원통면으로 투영될 영역은 확대된다. 이 방법으로 운전자가 원하는응용에 적합한 합성화상을 형성할 수 있다.
상기한 바와 같이, 본 발명의 제1실시예에 의하면 투영부가 도로면으로 설정되기 때문에 서로 위치에 있어서 다른 복수의 촬상수단에 의해서 취해진 화상의 합성인 경우에도, 도로면 상의 백선등의 위의 화상들이 상이한 화상들 간의 결합시에 서로 완전히 정렬되기 때문에 도로면의 상황은 운전자에게 이해될 수 있다. 이경우에, 통상 도로면의 평면상의 물체이외의 3차원 물체가 상이한 화상간의 결합시에 정렬을 만족하지 못할지라도, 상이한 촬상수단의 위치들 간의 거리에 관련하여 충분히 떨어진 위치에 존재하는 3차원 물체는 상이한 화상들 간의 결합시에 정렬을 거의 만족한다. 따라서, 합성된 화상은 위화감을 나타내지 않는 자연화상으로 된다.
또한, 촬상상황 검출수단은 미리 투영부와 관련한 촬상수단의 위치, 자세 및 촬상특징 중 적어도 하나를 검출함으로써, 촬상수단에 의해서 취해진 화상의 도로면으로의 평면투영과의 용이한 일치를 달성한다.
또한, 평면투영부는 촬상된 화상위의 점을 촬상된 화상과 투영부의 대응점들의 조합으로부터 얻어진 변환행렬를 사용하여 투영부로 투영시킴으로써, 촬상수단에 의해서 취해진 화상으로부터 도로면으로의 투영을 가능하게 한다.
더욱이, 서로 모양에 있어서 상이한 복수의 면이 조합되어 3차원 투영모델을 형성하기 때문에, 투영은 가능한 한 투영될 물체에 근접한 모델에 이루어질 수 있다.
또한, 모양이 다른 복수의 면은 그것들 간의 결합이 드러나지 않도록 조합되기 때문에, 도로면 상의 직선등이 합성화상 상에 구부러진 상태로 합성됨을 방지함으로써 대개 위화감을 나타내지 않는 자연화상을 제공한다.
또한, 3차원 투영모델은 구 및 원통의 조합을 포함하고, 투영이 3차원 투영모델에 이루어지면 먼 장소는 원통에 투영되는 반면 기타 장소는 구로 투영된다. 즉, 자동차에 근접한 장소는 구로 투영되는 한편 그로부터 떨어진 장소는 원통으로 투영되며, 따라서 단지 원통으로의 투영과 비교할때 근접한 장소에서의 화상왜곡은 줄어들게 되어 거리감이 쉽게 포착될 수 있다. 이 경우에 있어서 구면의 중심이 원통면의 축상에 놓이고, 구면과 원통면이 서로 반경에 있어서 동일하게 설정되면 구면과 원통면 사이의 경계가 원할해진다. 또한, 평면과 원통이 그것들 사이의 경계부에서 원할하게 조합 및 결합되는 경우와 비교할 때 가까운 장소에서의 왜곡은 더욱 줄어듦으로써 매우 적은 위화감을 주는 화상을 합성한다.
상기한 설명에 있어서, 3차원 투영모델이 원통과 구의 조합으로 이루어져 있을 지라도 단지 구를 사용함이 수용될 수 있다. 이 경우에 있어서, 넓은 가시영역 화상의 합성시에 전체적으로 큰 왜곡이 없는 자유로운 화상을 제공할 수 있다. 물고기 눈(fisheye) 렌즈의 사용을 통해 취해진 화상과 같은 화상은 3차원 투영모델로서 구가 사용되는 방식으로 형성될 수 있게 되고, 균일한 왜곡이 전체 화상에서 발생할 지라도 운전자는 이웃하는 물체의 타입을 쉽게 인지할 수 있다.
또한, 원통과 타원구가 그것들 사이의 결합이 원할해지도록 조합되고, 먼 장소가 원통으로 투영되는 한편 기타 장소가 타원구로 투영될 때 조차도, 원통과 구의 조합의 경우와 유사한 효과가 획득될 수 있다.
또한, 평면과 원통은 3차원 투영모델로 조합되고, 이 3차원 투영모델로의 투영시 먼 장소는 원통으로 투영되는 반면, 기타 장소는 평면으로 투영될 수 있다. 이 경우에 있어서, 자동차 근방의 장소는 평면으로 투영되므로 도로면 상의 백색선 등의 직선은 합성화상에서 조차도 직선으로 투영될 수 있다. 그리고, 먼 장소는 원통면으로 투영되므로 화상의 큰 왜곡은 방지될 수 있다. 따라서, 자동차는 주차지역 등에 백색선을 따라 쉽게 주차될 수 있고, 주위상황은 넓은 범위에 걸쳐서 포착될 수 있게 된다. 또한, 3차원 투영모델로서 원통면이 단일로 사용되는 경우, 촬상수단 근방의 영역은 합성화상 상에서 보다 커지게 되어 거리감을 포착하기 어렵게 만든다. 그러나, 이웃하는 영역을 평면에 투영함으로써 이 문제를 해결할 수 있다.
또한, 3차원 투영모델로서 원통, 평면과 그것들 사이의 경계를 원할하게 형성하는 곡면의 조합을 이용함이 적절하다. 따라서, 먼 신을 촬상함으로써 얻어진 화상들이 서로 조합될 경우에, 먼 신들이 수직으로 세워진 원통 상에 그려진 화상으로 간주될 수 있다. 한편, 촬상수단 바로 아래에 존재하는 물체가 원통면에 투영되는 경우에 심하게 왜곡된 화상이 나타난다는 문제는 먼장소가 원통으로 투영되고, 원통과 평면 사이의 경계를 원할하게 형성하는 곡면에 중간장소가 투영되고, 기타 장소가 평면으로 투영되는 식으로 제거될 수 있다.
따라서, 예컨대, 자동차에 장착된 히치(hitch)를 이용하여 자동차에 로드 캐리어(load carrier)가 결합되는 경우를 가정하면, 자동차로부터 분리된 위치에 로드 캐리어가 있는 초기 상태 즉, 운전자의 자동차가 로드 캐리어에 근접하게 될 때에는 로드 캐리어가 상기 원통의 투영면에 바로 투영되어 표시됨으로써 주위 상황과 물체와의 관계를 쉽게 포착할 수 있고, 로드 캐리어가 결합하기 바로 전에 상기 평면투영부 또는 구면투영부를 통해 히치에 대한 위치관계를 정확하게 이해할 수 있으며, 이는 로드 캐리어와 자동차 사이의 용이한 결합을 허락한다.
또한, 물론 제한된 주차공간에 주차시 또는 복수의 차선 상에서의 후방 자동차에 대한 위치관계를 나타냄에 있어서 운전자에게 쉽게 이해할 수 있는 화상을 제공할 수 있다.
(제2실시예)
도 5는 본 발명의 제2실시예에 의한 화상합성장치의 구성을 나타내는 블록도이다. 도 5에 있어서 도 1에 도시된 바와 같은 동일 기능부는 동일 참조번호로 표시되고, 이에 대한 상세한 설명은 간략화를 위해 생략될 것이다. 이 화상합성장치는, 도 1에 도시된 화상합성장치의 구성에 추가하여 자동차의 진행방향을 검출함과 아울러 그 검출결과를 가상촬상수단 촬상상황 검출부(6)에 입력시키는 자동차 진행방향검출부(22)를 포함한다.
제1실시예의 경우에서와 같이, 제2실시예에서도 평면투영부(3)에서 사용될 투영면은 도로면으로서 설정되고, 3차원 투영모델투영부(5)에 사용될 3차원 투영모델은 도로면에 직교하는 원통면과 구면사이의 원활한 접속에 의거한 곡면으로 설정되고, 투영중심은 원통 축상의 한점으로 설정된다.
도 6a는 자동차가 직진할 때 가상촬상수단이 합성화상을 형성하는 경우를 3차원으로 나타낸다. 도 6a에서 생략된 것은 평면투영부(3)가 촬상수단(1a 및 1b)에 의해서 취해진 각각의 화상을 화상촬상 상황에 따라 도로면에 투영하는 과정(도 2에 나온 스텝2까지의 과정)이다.
본 발명의 제2실시예에 있어서, 가상촬상수단(7)에 의해서 촬상된 화상에서 가상촬상수단(7)의 가시점(13)의 위치는 자동차 진행방향검출부(22)에 의해서 검출된 자동차의 진행방향에 평행한 3차원 투영모델 투영부(5)의 투영중심(12)을 통과하는 직선으로 설정된다. 이때에 자동차의 진행방향에 평행한 직선은 합성화상에서 조차도 직선으로 되고, 합성화상의 직선들은 한점에서 서로 교차하며, 자동차가 똑바로 진행하면 자동차 둘레에 존재하는 정지물체는 상대적으로 자동차로부터 볼때 자동차의 진행방향과 평행한 직선운동을 수행하고, 이들 물체는 또한 합성화상에서 조차도 직선운동을 수행한다.
도 6a에 나와 있는 가상 촬상수단(7)과 3차원 투영모델(11) 사이의 기하학적 관계를 이용하여 아래에 그 원리를 설명할 것이다. 3차원 투영모델(11)의 투영중심(12)을 가상촬상수단(7)의 가시점(13)에 연결하는 선분(23)은 자동차 진행방향(24)과 평행하다. 이때에, 도로면 상에 그려진 자동차의 진행방향과 평행한 선(25)과 선분(23)은 같은 평면(26)에 존재한다. 상기 평행선(25)을 3차원 투영모델(11)에 투영함으로써 형성된 화상(27)은 3차원 투영모델(11)과 평면(26) 사이의 교차선을 형성하고, 가상촬상수단(7)이 화상(27)을 촬상할때 형성되는 화상(28)은 화상합성면(14)과 평면(26) 사이의 교차선 위에 존재한다. 한평면과 한평면 사이의 교차선이 되기 때문에 화상(28)은 직선이고, 직선은 선분(23)과 화상합성면(14) 사이의 교차점(29)을 통과한다.
상기 설명은 도로면으로 한정되지 않고, 선분(23)이 존재하는 평면 상에 존재하는 임의의 직선에 대해서도 유효하고, 이들 화상의 모든 확장은 점(29)에서 만난다.
자동차가 똑다로 진행하면, 자동차 둘레에 존재한 정지물체는 자동차에서 볼때 선분(23)과 평행한 직선 상에서 상대적으로 움직인다. 따라서, 도 6b의 파노라마 화상으로 도시되어 있듯이 정지물체의 화상(30)은 한점(29)을 향해 직선운동을 수행한다.
따라서, 본 발명의 제2실시예에 의하면, 복수의 촬상수단은 자동차 위에 장착되고, 자동차 진행방향 검출수단도 또한 그 위에 장착되며, 가상촬상수단의 가시점 위치는 자동차의 진행방향과 평행하게 3차원 투영모델 투영부의 투영중심을 통과하는 직선으로 설정된다. 따라서, 한가지 특징으로서, 자동차의 진행방향과 평행한 직선은 합성화상에서 조차도 직선으로서 투영된다. 따라서, 자동차가 직선운동을 하면 자동차 둘레의 정지물체는 자동차로부터 볼때 상대적으로 자동차의 진행방향과 평행한 직선운동을 하고, 이 정지 물체는 합성화상 상에서 직선위를 이동함으로써 운전자에게 상황을 이해할 수 있게 하는 화상을 제공한다.
(제3실시예)
도 7은 본 발명의 제3실시예에 의한 화상합성장치의 구성을 나타내는 블록도이다. 또한, 도 7에 있어서 도 1에 도시된 바와 같은 동일 기능부는 동일 참조번호로서 표시하고, 이에 대한 상세한 설명은 간략화를 위해서 생략할 것이다. 도 1에 도시된 구성에 추가하여, 본 화상합성장치는 자동차의 차체위치를 검출하여 그 검출결과를 가상촬상수단 촬상상황 검출부(6)에 입력시키도록 하는 자동차 차체 위치검출부(31)를 포함한다.
제3실시예에 있어서는 제1실시예의 경우에서와 같이, 평면투영부(3)에 사용될 투영면은 도로면으로서 설정되고, 3차원 투영모델 투영부(5)에 사용될 3차원 모델은 도로면에 직교하는 원통면과 구면 사이의 원할한 접속에 의거한 곡면으로서 설정되고, 투영중심은 원통의 축상에 설정된다.
도 8a는 제1촬상수단(1a)에 의해서 촬상된 자동차(A)의 차체단부(32L)가 자동차(A) 위에 장착된 자동차 차체 위치결정부(31)에 의해서 검출된 차체 위치를 사용하여 도로면위로 투영되는 방식으로 투영 차체단부(32)를 얻는 본 발명의 제3실시예에 있어서의 과정을 대략적으로 도시한다. 도 8b는 자동차(A)에 장착된 자동차 차체위치검출부(31)에 의해서 검출된 차체위치를 사용하여 차체단부(32L)를 도로면으로 투영함으로써 얻어진 투영 차체단부(32)가 가상촬상수단(7)에 의해서 합성화상으로서 형성되는 경우에 대해서 본 발명의 제3실시예에 있어서의 배치를 3차원적으로 도시한다. 도 6a 뿐만 아니라 도 8b에 있어서 생략된 것은 도 2에 나온 스텝2까지의 과정, 즉 평면투영부(3)가 촬상수단(1a, 1b)에 의해서 취해진 각각의 화상을 촬상상황 각각에 따라서 도로면으로 투영하는 과정이다.
가상촬상수단(7)의 가시점(13)의 위치는 다음과정에 따라 결정된다. 이 경우에 있어서, 자동차(A)의 차체단부(32L)는 직선구성을 나타낸다고 가정하면 차체단부(32L)의 평면 투영에 의해서 얻어진 화상(32)은 또한 직선구성을 가진다. 가상촬상수단(7)의 가시점(13)은 화상(32) 및 투영중심(12)을 포함하는 평면(33)상에 설정된다. 이때에, 화상(32)의 3차원 투영모델로의 투영에 의해서 얻어진 화상(34)은또한 평면(33) 상에 존재하고, 화상(34)에 의거한 합성화상 상의 화상(35)은 또한 평면(33) 상에 놓인다. 따라서, 화상(35)은 평면(33)과 화상합성면(14) 사이의 교차선 상에 존재하고, 직선구성을 가진다. 따라서, 도 8c의 파노라마 화상으로 도시되어 있듯이, 합성화상위에서 차체단부(36)는 구부러지거나 단속되지 않는 직선으로 된다. 또한, 도 8d에 도시되어 있듯이 자동차의 측면은 직선으로 변환되어 자동차의 측방상황을 감시하는데 사용하기 적절한 화상을 합성하도록 할 수 있다. 또한, 자신의 자동차의 차선에 인접한 차선이 진행하거나 또는, 교차시에 도로의 교차중심선이 직선구성을 나타내는 화상을 합성할 수 있다.
상기한 바와 같이, 본 발명의 제3실시예에 의하면 복수의 촬상수단이 자동차상에 장착되고, 자동차 차체위치검출수단은 자동차의 차체위치를 검출하기 위해 제공되는 한편, 가상촬상수단의 가시점 위치는 자동차의 차체 단부를 평면투영함으로써 얻어진 화상과 제2투영수단의 투영중심을 포함하는 평면상에 설정된다. 따라서, 합성화상 위 조차도 자동차의 차체단부는 직선으로서 투영된다.
(제4실시예)
도 9는 본 발명의 제4실시예에 의한 화상합성장치의 구성을 도시하는 블록도이다.
또한, 도 9에 있어서, 도 1에 나와 있는 바와 같은 동일 기능부는 동일 참조번호로 표시되고, 간략화를 위해서 그에 대한 상세한 설명을 생략한다.
도 9에 도시한 바와 같이, 화상합성장치는 3차원 투영모델 투영부(5)에 사용될 3차원 투영모델로서 구면을 채용하고, 또한 구면의 위치를 결정하는 구면 위치결정부(37)를 포함한다. 또한, 화상합성을 위해 구면 전개부(38)는 도 1에 도시된 가상촬상수단 대신에 사용된다.
도 10a 및 10b를 참조하여, 제4실시예에 의한 화상합성과정에 대한 설명을 아래에 할 것이다. 도 10a는 기하학적으로 그리고 3차원적으로 구면모델로 투영후 평면상에 구면을 전개시키는 과정을 나타낸다. 제1실시예와 같이, 촬상수단에 의해서 취해진 화상은 도로면 상으로 평면투영되고, 또한 도 10a에 도시한 바와 같이 구면으로 투영된다. 이때에 투영중심(39)은 구의 중심으로 설정된다. 구면으로의 투영에 의해서 얻어진 화상(40)은 구면상의 한점(41) 둘레로 전개된다. 이 동작을 통해, 화상(40)은 점(42)으로 변환된다. 도 10b는 도 10a에 도시된 구면과 합성화상(14)이 4개의 점(39, 40, 41, 42)을 통하는 평면에 의해서 절단되는 상태를 도시하는 단면도이다. 이 단면도에 도시되어 있듯이, 구면 전개부(38)는 전개동작을 수행하여 점(41)으로부터 점(40)까지의 원호길이는 점(41)으로부터 점(42) 까지의 직선길이와 같게 된다. 이같은 방법으로 화상합성면(14) 상에 전개된 화상은 합성화상으로 된다.
이 변환을 통해 점(39)과 점(41)을 연결하는 직선(43)을 포함하는 평면 상에 존재하는 직선은 합성화상 위에서 조차도 직선으로 된다. 따라서, 점들(39, 41)은 직선(43)이 자동차의 진행방향과 평행하게 되도록 설정되고, 구면의 위치에 관계없이 자동차의 진행방향과 평행하는 직선은 합성화상 위 조차도 직선으로 됨으로써 제2실시예와 같은 유시한 효과를 제공한다. 또한, 점들(39, 41)이 도로면(10)으로 투영된 차체단부와 직선(43)이 동일 평면상에 존재하도록 선택되고, 차체단부가 또한 합성화상 상의 직선으로 투영됨으로써 제3실시예와 유사한 효과를 제공한다.
상기한 바와 같이, 본 발명의 제4실시예에 의하면 촬상수단에 의해서 취해진 복수의 화상은 도로면으로 평면투영되고, 이 평면투영 화상은 구면으로 투영되며, 또한 구면 투영화상은 구면 상의 한점둘레의 평면에 걸쳐 전개됨으로써 구면의 위치변화에도 불구하고 평면 상의 전개시에 취해질 중심점을 조절함으로써 직선으로서의 특정직선을 합성화상 상에 투영할 수 있다.
(제5실시예)
도 11은 본 발명의 제5실시예에 의한 화상표시장치의 구성을 도시하는 블록도이다. 도 11에 도시한 바와 같이, 본 발명의 제5실시예에 의한 화상표시장치는, 상기한 구성에 추가하여 표시데이터 변환제어수단(80)과 표시기능을 가진 거울등의 표시수단(81)을 포함한다. 표시데이터 변환제어수단(80)은 표시될 화상을 표시수단(81)에 적합한 데이터로 변환하기 위한 것이다. 이 구성에 의해 표시기능이 포함된 거울위에 화상이 표시되어 운전자가 주위상황 또는 자동차 위치를 쉽게 인지할 수 있도록 한다. 표시기능이 포함된 거울로서, 액정 또는 유기 EL(전자발광) 등의 표시수단의 표시부 표면 상에 하프 미러(half mirror)가 놓이는 제1거울구조가 있다. 이 경우에 있어서, 액정 또는 유기 EL 부가 전체 하나의 표시부를 포함하거나 복수의 표시부 조합을 포함함이 수용될 수 있다.
또한, 제1거울구조는 보통의 거울로서 작용하는 상태와 화상표시 스크린으로서의 역할을 하는 상태 사이에서 스위칭될 수 있다. 또한, 밤이 되면 자동차에 만들어진 조도센서에 의해서 화상표시상태로 자동적으로 스위칭될 수 있다. 또한, 운전자에 의한 헤드램프 점등동작에 응답하여 스위칭동작이 이루어짐이 적절하다. 또한, 예컨대 후방창문이 비로 인해 폐쇄되거나 후방이 겨울에 눈이나 서리로 인해 보이지 않게 될 때 후방창문에 있는 열선의 스위치를 작동시킴으로써 화상 표시상태로의 스위칭이 수행될 수도 있다. 또한, 스위칭이 기어와 링크되어 기어가 후진으로 설정될 때에만 화상표시상태가 설정될 수도 있다.
따라서, 거울의 전면이 보통의 거울상태와 화상표시상태 사이에서 스위칭될 수 있기 때문에, 운전자는 넓은 표시면을 통해 자동차의 후방상황을 쉽게 포착할 수 있음으로써 안전한 운전이 가능해진다.
한편, 제2거울구조로서 보통의 거울과 액정 또는 유기 EL등의 표시부 둘다를 이용함이 또한 고려될 수 있다. 이 제2거울구성으로 인해 보통의 거울부가 후방상황을 대략적으로 포착하기 위해 사용되는 한편, 추가로 제공된 표시부는 보통의 거울부의 사용시 데드 앵글(dead angle)을 형성하는 부분을 확대된 상태로 표시하거나, 또는 특별한 주의가 기울어져야 하는 물체부분을 확대한다.
그런데, 이 표시수단들은 거울로 제한되는 것은 아니고, 대시보드 상에 놓인 표시부, 네비게이션 시스템에 결합된 표시장치, 포터블 정보 터미널(portable information terminal), 헤드업 표시장치(head-up display) 등이 수용될 수 있다.
(제6실시예)
도 12는 본 발명의 제6실시예에 의한 화상 포착/경고장치의 구성을 도시하는 블록도이다. 도 12에 도시한 바와 같이, 이 화상 포착/경고장치는 도 11에 도시된 화상표시장치의 구성에 추가하여 검지수단(82) 및 경고수단(83)을 포함한다. 검지수단(82)은, 예컨대 자동차에 결합물체를 형성하는 캠핑카(camping car)의 접근을 근접센서를 사용하여 검지한다. 검지수단(82)으로부터의 검지신호는 경고수단(83)으로 공급된다. 따라서, 운전자는 표시수단(81) 위의 화상을 보면서 접근상태를 포착할 수 있다. 자동차 측면 및 캠핑카 측면상에 장착된 히치를 사용하여 캠핑카가 자동차에 결합되는 경우에 있어서, 스피커등의 경고수단(83)은 자동차 측면상의 히치와 캠핑카 측면상의 히치 사이의 거리가 1m이하가 될때, 그리고 그 거리가 50cm 아래에 도달할 때 운전자에게 경고신호를 발생한다. 이 경우에 있어서, 바람직하게는 경고수단(83)이 각각 히치들 간의 거리에 상응한 상이한 음을 발생한다. 이와 같은 방식으로, 히치결합동작시 결합동작을 화상을 통해 확인하면서 접근상태에 따라(결합동작으로 임으로 설정된 거리에서) 적절히 경고를 발할 수 있다. 이는 안전하고 확실한 결합동작을 가능하게 한다.
또한, 경고수단(83)은 스피커로 한정되는 것은 아니고, 도 12에 점선으로 지시된 바와 같이 경고수단(83)은 표시데이터 변환제어수단(80)에 접속되어 경고신호를 송신하여서, 경고 심벌 화상, 플래쉬 화상(flash image), 주의를 갖기 적절한 색 등이 표시수단(81) 상에 화상으로 놓여진다. 그리고, 경고정보를 발하는 조건은 자동차 또는 결합물체의 크기, 중량, 속도등에 의거하여 임으로 결정될 수 있다.
또한, 촬상수단도 완벽한 결합을 위해 히치 상에 장착될 수도 있다. 또한, 표시화상으로서 평면 투영부(3)의 출력, 또는 평면 투영부(3)의 출력과 가상 촬상수단(7)으로부터의 화상의 결합이 가상촬상수단(7)으로부터의 화상에 대신하여 사용될 수도 있다.
더욱이, 검지수단은 초음파 타입, 전자기 타입, 광(적외선을 포함) 타입 등이 될 수 있다. 또한, 경고하기 위해 화상으로부터의 거리를 직접 계산하는 타입을 사용할 수도 있다.
결합물체가 캠핑카인 것으로 언급되었을 지라도, 본 실시예는 보트를 나르는 객차 등의 다른 물체에도 응용할 수 있다.
(제7실시예)
도 13은 본 발명의 제7실시예에 의한 자동차 위치 인지/결정장치의 구성을 나타내는 블록도이다. 도 13에 도시한 바와 같이, 본 발명의 제7실시예에 의한 자동차 위치 인지/결정장치는 도 1에 도시된 구성에 추가하여 화상검출수단(84), 인지수단(85) 및 비교/판별수단(86)을 포함한다.
화상검출수단(84)은, 복수의 촬상수단 중 적어도 하나가 자동차의 후방측에 놓인 후방촬상수단일때, 후방촬상수단에 의해서 취해진 화상, 그 투영된 화상 또는 그 조합된 화상들로부터 임의 물체의 화상을 검출하기 위한 것이다. 이 인지수단은 화상검출수단에 의해서 검출된 화상과 자동차의 화상 간의 위치관계를 인지하기 위한 것이다. 이 비교/판별수단은 임으로 설정된 조건에 대해 비교판별하기 위한 것이다. 보다 상세하게는, 본 발명에 의한 자동차 위치 인지/결정장치에 있어서, 자동차의 후방측에 장착된 후방촬상수단으로서의 역할을 하는 카메라(카메라들)는 주차공간의 백선의 화상을 촬상하고, 화상검출수단은 촬상된 화상, 촬상된 화상을 원통면 및 구면의 조합에 의거한 3차원 투영모델로 투영함으로써 얻어진 화상 또는 가상촬상수단(7)에 의해서 형성된 합성화상으로부터 백선선의 화상을 검출한다. 추가로, 인지수단(85)은 화상검출수단(84)으로부터의 화상데이터에 의거하여 화상검출수단(84)에 의해서 검출된 백색선과 자동차의 화상 간의 위치관계를 계산하여 인지하며, 비교/판별수단(86)은 인지수단(85)(인지수단에 의해 획득된 인지 데이터 또는 화상 위치에 의거하여 비교/판별을 함)에 의해서 계산된 위치관계에 의거하여 자동차와 백색선 간의 차이에 대한 비교/판별을 하여, 자동차는 우측 백색선과 좌측 백색선 사이에 놓이도록 한다.
이와 같은 구성에 의해, 운전자는 후방 및 주위상황에 추가하여 자동차에 대한 위치관계를 용이하게 포착할 수 있어 안전운전을 가능하게 한다.
본 발명은 상기한 실시예로 제한되는 것은 아니고, 본 발명의 사상 및 범위로부터 벗어남지 않는 한, 그것들은 포함되는 것으로 이해해야 한다.
본 발명에 의한 화상합성장치 및 방법에 의하면, 주위의 상황과 자동차 사이의 위치관계에 대한 용이한 포착을 하는 복수의 상이한 가시점으로부터 취해진 복수의 화상을 이용함으로써 매우 넓은 범위의 정보를 제공함과 아울러, 위화감없이 함께 화상을 결합하여 보기에 좋은 높은 가시도를 가진 자연 화상을 제작할 수 있다는 뛰어난 효과가 있다.

Claims (29)

  1. 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 투영부 상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과,
    상기 복수의 제1투영된 화상을 3차원 투영모델로 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과,
    상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상수단과,
    상기 3차원 투영모델의 위치와 그 모양을 결정하는 3차원 투영모델 결정수단과,
    상기 가상촬상수단의 촬상상황을 결정하는 촬상상황 결정수단을 포함하되,
    상기 제2투영된 화상은 상기 촬상상황 결정수단에 의해서 결정된 촬상상황에서 상기 가상촬상수단에 의해서 촬상되어 상기 복수의 촬상수단에 의해서 취해진 복수의 화상을 결합시키도록 함을 특징으로 하는 화상합성장치.
  2. 제1항에 있어서, 상기 촬상상황 검출수단은 상기 투영부에 대한 촬상수단의 위치, 자세 및 촬상특징 중 적어도 하나를 미리 검출하는 것을 특징으로 하는 화상합성장치.
  3. 제1항에 있어서, 상기 제1투영수단은 상기 촬상수단에 의해서 취해진 화상위의 점을, 상기 취해진 화상 위의 복수의 점을 상기 투영부 위의 복수의 점과 연결함으로써 얻어진 변환행렬을 사용함으로써, 상기 투영부에 투영하는 것을 특징으로 하는 화상합성장치.
  4. 제1항에 있어서, 상기 투영부는 평면인 것을 특징으로 하는 화상합성장치.
  5. 제1항에 있어서, 상기 3차원 투영모델은 구면인 것을 특징으로 하는 화상합성장치.
  6. 제1항에 있어서, 상기 3차원 투영모델은 서로 모양에 있어서 상이한 복수의 면들의 조합인 것을 특징으로 하는 화상합성장치.
  7. 제6항에 있어서, 상기 3차원 투영모델은 평면과 원통의 조합이고, 상기 제2투영수단이 상기 3차원 투영모델로의 투영을 수행할때 먼장소는 상기 원통으로 투영되고, 기타장소는 상기 평면으로 투영되며, 상기 가상촬상수단은 상기 투영된 화상을 촬상함을 특징으로 하는 화상합성장치.
  8. 제6항에 있어서, 상기 모양에 있어서 상이한 복수의 면은 조합되어 그것들사이의 결합이 드러나지 않도록 함을 특징으로 하는 화상합성장치.
  9. 제6항에 있어서, 상기 3차원 투영모델은 구와 원통의 조합이고, 상기 제2투영수단이 상기 3차원 투영모델로의 투영을 수행할 때 먼장소는 상기 원통으로 투영되고, 기타장소는 상기 구로 투영되며, 상기 가상촬상수단은 상기 투영된 화상을 촬상함을 특징으로 하는 화상합성장치.
  10. 제8항에 있어서, 상기 3차원 투영모델은 원통, 평면 및, 상기 원통과 상기 평면사이의 원활한 경계를 확립하는 곡면의 3가지 타입의 면의 조합인 것을 특징으로 하는 화상합성장치.
  11. 제1항에 있어서, 상기 촬상수단에 의해서 취해진 화상위의 선분은 합성화상 위의 직선으로 변환됨을 특징으로 하는 화상합성장치.
  12. 제1항에 있어서, 상기 복수의 촬상수단은 자동차 상에 장착되고, 자동차 진행방향 검출수단은 상기 자동차의 진행방향을 검출하도록 더 포함됨을 특징으로 하는 화상합성장치.
  13. 제12항에 있어서, 상기 가상촬상수단의 가시점의 위치는 상기 자동차의 진행방향과 평행한 상기 제2투영수단의 투영중심을 통과하는 직선으로 설정됨을 특징으로 하는 화상합성장치.
  14. 제12항에 있어서, 상기 자동차의 진행방향을 나타내는 선분은 합성화상 위의 직선으로 변환됨을 특징으로 하는 화상합성장치.
  15. 제1항에 있어서, 상기 복수의 촬상수단은 자동차 상에 장착되고, 자동차 차체 위치검출수단은 상기 자동차의 차체위치를 검출하도록 더 포함되는 것을 특징으로 하는 화상합성장치.
  16. 제15항에 있어서, 상기 가상촬상수단의 가시점의 위치는 상기 자동차의 차체단부와 상기 제2투영수단의 투영중심을 평면투영함으로써 얻어지는 화상을 통과하는 평면 상에 설정됨을 특징으로 하는 화상합성장치.
  17. 제11항에 있어서, 상기 촬상수단은 자동차의 후방단부에 장착되고, 상기 자동차의 후방단부는 합성화상 위의 직선으로 변환됨을 특징으로 하는 화상합성장치.
  18. 제11항에 있어서, 상기 촬상수단은 자동차의 측방부 상에 장착되고, 상기 자동차의 상기 측방부는 합성화상 위의 직선으로 변환됨을 특징으로 하는 화상합성장치.
  19. 제11항에 있어서, 상기 촬상수단은 자동차의 측방부상에 장착되고, 상기 자동차가 진행하는 차선에 인접한 차선의 중심선은 합성화상 위의 직선으로 변환됨을 특징으로 하는 화상합성장치.
  20. 제11항에 있어서, 상기 촬상수단은 자동차의 후방부에 장착되고, 상기 자동차가 진행하는 도로에 직교하는 도로의 중심선은 합성화상 위의 직선으로 변환됨을 특징으로 하는 화상합성장치.
  21. 제11항에 있어서, 상기 촬상수단은 자동차의 정면부에 장착되고, 상기 자동차가 진행하는 도로에 직교하는 도로의 중심선은 합성화상 위의 직선으로 변환됨을 특징으로 하는 화상합성장치.
  22. 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 투영면 상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과,
    상기 복수의 제1투영된 화상을 구면으로 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과,
    상기 구면 상의 한점 둘레의 평면상에 상기 제2투영된 화상을 전개시키는 변환수단을 포함하는 것을 특징으로 하는 화상합성장치.
  23. 다수의 화상을 촬상하는 촬상단계와,
    상기 촬상단계에 있어서의 촬상상황을 검출하는 촬상상황 검출단계와,
    상기 촬상상황 검출단계에서 검출된 촬상상황에 따라 투영부로 촬상된 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영단계와,
    상기 복수의 제1투영된 화상을 3차원 투영모델로 투영하여 제2투영된 화상을 발생하도록 하는 제2투영단계와,
    상기 제2투영된 화상을 가상으로 촬상하는 가상촬상단계와,
    상기 3차원 투영모델의 위치와 그 형상을 결정하는 3차원 투영모델 결정단계와,
    상기 가상촬상단계에서 촬상상황을 결정하는 촬상상황 결정단계를 포함하되,
    상기 제2투영된 화상은 상기 촬상상황 결정단계에서 결정된 투영상황에 있어서 상기 가상촬상단계에서 촬상되어 상기 촬상단계에서 취해진 복수의 화상을 결합시키도록 함을 특징으로 하는 화상합성방법.
  24. 제23항에 있어서, 자동차의 진행방향을 검출하는 자동차진행방향 검출수단으로부터 신호정보를 상기 촬상상황 검출단계에서 사용된 촬상상황 결정수단에 송신하는 단계를 더 포함하는 것을 특징으로 하는 화상합성방법.
  25. 제23항에 있어서, 자동차의 차체위치를 검출하는 자동차 차체위치 결정수단으로부터 신호정보를 상기 촬상상황 결정단계에서 사용된 촬상상황 결정수단에 송신하는 단계를 더 포함하는 것을 특징으로 하는 화상합성방법.
  26. 다수의 화상을 촬상하는 촬상단계와,
    상기 촬상단계에 있어서의 촬상상황을 검출하는 촬상상황 검출단계와,
    상기 촬상상황 검출단계에서 검출된 상기 촬상상황에 따라 투영부로 상기 촬상단계에서 촬상된 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영단계와,
    상기 복수의 제1투영된 화상을 구면에 투영시켜 제2투영된 화상을 발생시키도록 하는 제2투영단계와,
    상기 구면 상의 한점 주위의 평면에 상기 제2투영된 화상을 전개시키는 평면전개단계와,
    상기 구면의 위치를 결정하는 구면위치 결정단계를 포함하되,
    상기 평면전개단계에서 얻어진 복수의 화상은 결합되어 합성화상을 제작하도록 함을 특징으로 하는 화상합성방법.
  27. 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 투영부 상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과,
    상기 복수의 제1투영된 화상을 3차원 투영모델에 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과,
    상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상수단과,
    상기 3차원 투영모델의 위치와 그 모양을 결정하는 3차원 투영모델 결정수단과,
    상기 가상촬상수단의 촬상상황을 결정하는 촬상상황 결정수단과,
    화상을 표시하는 표시수단과,
    표시될 화상을 상기 표시수단에 적절한 데이터로 변환하는 표시데이터 변환제어수단을 포함하되,
    상기 제2투영된 화상은 상기 촬상상황 결정수단에 의해서 결정된 촬상상황에 있어서 상기 가상촬상수단에 의해서 촬상되어서 상기 복수의 촬상수단에 의해 취해진 복수의 화상을 조합하여 합성화상을 형성하며, 상기 합성화상은 상기 표시수단에 적절한 데이터로 상기 표시데이터 변환제어수단에 의해서 변환됨을 특징으로 하는 화상표시장치.
  28. 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 투영부 상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과,
    상기 복수의 제1투영된 화상을 3차원 투영모델에 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과,
    상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상수단과,
    상기 3차원 투영모델의 위치와 그 모양을 결정하는 3차원 투영모델 결정수단과,
    상기 가상촬상수단의 촬상상황을 결정하는 촬상상황 결정수단과,
    물체의 접근상황을 검지하는 검지수단과,
    상기 검지수단에 의해서 검지된 물체의 접근상황이 임의로 설정된 물체접근상황에 도달할때 임의의 경고정보를 발생하는 경고수단을 포함함을 특징으로 하는 화상 포착/경고장치.
  29. 자동차 상에 장착된 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 투영부 상으로 상기 촬상수단에 의해서 취해진 복수의 화상을 투영하여 복수의 제1투영된 화상을 발생하도록 하는 제1투영수단과,
    상기 복수의 제1투영된 화상을 3차원 투영모델에 투영하여 제2투영된 화상을 발생하도록 하는 제2투영수단과,
    상기 제2투영된 화상을 가상적으로 촬상하는 가상촬상수단과,
    상기 3차원 투영모델의 위치와 그 모양을 결정하는 3차원 투영모델 결정수단과,
    상기 가상촬상수단의 촬상상황을 결정하는 촬상상황 결정수단과,
    상기 복수의 촬상수단 중 적어도 하나가 자동차의 후방측 상에 놓인 후방촬상수단이면 상기 후방촬상수단에 의해서 취해진 화상, 이 취해진 화상을 상기 3차원 투영모델에 투영함으로써 얻어진 화상, 또는 상기 가상촬상수단에 있어서 취해진 화상을 조합함으로써 얻어진 화상으로부터 임의의 물체의 화상을 검출하는 화상검출수단과,
    상기 화상검출수단에 의해서 검출된 화상과 자동차의 화상 사이의 위치관계를 인지하는 인지수단과,
    상기 인지수단에 의해서 인지된 위치관계에 의거하여 상기 자동차와 상기 물체 사이의 위치의 차이에 대한 결정을 하는 결정수단을 포함함을 특징으로 하는 자동차 위치 인지/결정장치.
KR10-2001-0040601A 2000-07-07 2001-07-07 화상합성장치 및 방법 KR100414708B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000206495 2000-07-07
JPJP-P-2000-00206495 2000-07-07
JP2001174414A JP2002083285A (ja) 2000-07-07 2001-06-08 画像合成装置および画像合成方法
JPJP-P-2001-00174414 2001-06-08

Publications (2)

Publication Number Publication Date
KR20020005496A true KR20020005496A (ko) 2002-01-17
KR100414708B1 KR100414708B1 (ko) 2004-01-07

Family

ID=26595591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0040601A KR100414708B1 (ko) 2000-07-07 2001-07-07 화상합성장치 및 방법

Country Status (7)

Country Link
US (1) US7034861B2 (ko)
EP (1) EP1170173B1 (ko)
JP (1) JP2002083285A (ko)
KR (1) KR100414708B1 (ko)
CN (1) CN1212724C (ko)
AT (1) ATE344742T1 (ko)
DE (1) DE60124345T2 (ko)

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
US7266219B2 (en) * 2000-07-19 2007-09-04 Matsushita Electric Industrial Co., Ltd. Monitoring system
JP4739569B2 (ja) * 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
EP1504276B1 (en) 2002-05-03 2012-08-08 Donnelly Corporation Object detection system for vehicle
JP3918632B2 (ja) * 2002-05-28 2007-05-23 カシオ計算機株式会社 画像配信サーバ、画像配信プログラム、及び画像配信方法
KR100710512B1 (ko) * 2002-05-28 2007-04-24 가시오게산키 가부시키가이샤 합성화상배신장치, 합성화상배신방법 및 기록매체
US20060061008A1 (en) 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
US10144353B2 (en) 2002-08-21 2018-12-04 Magna Electronics Inc. Multi-camera vision system for a vehicle
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
JP2005223568A (ja) * 2004-02-05 2005-08-18 Nissan Motor Co Ltd 画像合成装置
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2005311698A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
KR100579135B1 (ko) * 2004-11-11 2006-05-12 한국전자통신연구원 수렴형 3차원 다시점 영상 획득 방법
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
JP4506501B2 (ja) * 2005-02-21 2010-07-21 株式会社日立製作所 画像合成装置及び撮像システム
JP4533191B2 (ja) * 2005-03-04 2010-09-01 株式会社シーズ・ラボ 三次元地図表示装置および三次元地図表示プログラム
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
JP4679293B2 (ja) * 2005-08-08 2011-04-27 三洋電機株式会社 車載パノラマカメラシステム
JP2007124609A (ja) 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
US7972045B2 (en) 2006-08-11 2011-07-05 Donnelly Corporation Automatic headlamp control system
CN101606177B (zh) * 2007-01-04 2013-07-17 鸣川肇 信息处理方法
JP4902368B2 (ja) 2007-01-24 2012-03-21 三洋電機株式会社 画像処理装置及び画像処理方法
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
US20080198372A1 (en) * 2007-02-21 2008-08-21 Spatial Photonics, Inc. Vehicle headlight with image display
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US20090059018A1 (en) * 2007-09-05 2009-03-05 Micron Technology, Inc. Navigation assisted mosaic photography
JP4697480B2 (ja) 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
US20090219381A1 (en) * 2008-03-03 2009-09-03 Disney Enterprises, Inc., A Delaware Corporation System and/or method for processing three dimensional images
US7777615B2 (en) 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5093602B2 (ja) * 2008-06-04 2012-12-12 アイシン精機株式会社 周辺認知支援装置
KR100961906B1 (ko) 2009-01-19 2010-06-10 인하대학교 산학협력단 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
CN102139664A (zh) * 2010-01-29 2011-08-03 鸿富锦精密工业（深圳）有限公司 汽车
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5478366B2 (ja) * 2010-05-31 2014-04-23 三菱電機株式会社 映像監視装置
WO2011158352A1 (ja) * 2010-06-16 2011-12-22 株式会社ナビタイムジャパン ナビゲーションシステム、端末装置、ナビゲーションサーバ、ナビゲーション装置、ナビゲーション方法、および、プログラム
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP5652097B2 (ja) * 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
WO2012075250A1 (en) 2010-12-01 2012-06-07 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
WO2012089258A1 (en) * 2010-12-29 2012-07-05 Tele Atlas Polska Sp.Z.O.O Methods for mapping and associated apparatus
TW201239807A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd Image capture device and method for monitoring specified scene using the image capture device
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
JP5668857B2 (ja) * 2011-07-29 2015-02-12 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102011087901A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
EP2620917B1 (en) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
CN105009572B (zh) * 2013-08-26 2018-04-03 日立建机株式会社 作业机械的周围监视装置
JP6149676B2 (ja) * 2013-10-09 2017-06-21 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6255928B2 (ja) * 2013-11-15 2018-01-10 スズキ株式会社 俯瞰画像生成装置
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
JP6433015B2 (ja) * 2014-10-03 2018-12-05 エヌ・ティ・ティ・インフラネット株式会社 ナビゲーション装置及びナビゲーション方法
JP6584093B2 (ja) 2015-02-26 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US9965837B1 (en) * 2015-12-03 2018-05-08 Quasar Blu, LLC Systems and methods for three dimensional environmental modeling
US10607328B2 (en) 2015-12-03 2020-03-31 Quasar Blu, LLC Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
US11087445B2 (en) 2015-12-03 2021-08-10 Quasar Blu, LLC Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
US10523865B2 (en) 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
WO2018050529A1 (en) * 2016-09-13 2018-03-22 Thomson Licensing Method, apparatus and stream for immersive video format
US10339627B2 (en) * 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
CN108495032B (zh) * 2018-03-26 2020-08-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108961379B (zh) * 2018-06-14 2023-03-31 广东韩丽家居集团股份有限公司 一种基于自动测量而定制家具的方法
CN112313557A (zh) * 2018-06-25 2021-02-02 索尼半导体解决方案公司 移动体用影像投影系统、影像投影装置、影像显示光衍射用光学元件、头盔及影像投影方法
CN113823112B (zh) * 2021-07-31 2023-01-03 浙江慧享信息科技有限公司 一种基于3d投影的园区车位预定辅助系统及辅助方法
CN115161777A (zh) * 2022-07-08 2022-10-11 邢台晶龙新能源有限责任公司 一种晶体炉部件安装辅助设备以及安装晶体炉部件的方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2744265B2 (ja) * 1988-12-29 1998-04-28 キヤノン株式会社 パノラマ撮影用表示装置
JP3126157B2 (ja) * 1991-03-04 2001-01-22 日本放送協会 画像情報処理装置
JP3205571B2 (ja) 1991-06-28 2001-09-04 日本放送協会 パノラマ画像取り込み装置
JP2917681B2 (ja) 1992-06-29 1999-07-12 日産自動車株式会社 道路形状計測装置
US5289321A (en) * 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP3817302B2 (ja) 1996-05-28 2006-09-06 キヤノン株式会社 画像生成装置
US6550949B1 (en) * 1996-06-13 2003-04-22 Gentex Corporation Systems and components for enhancing rear vision from a vehicle
WO1999033684A2 (en) * 1997-12-31 1999-07-08 Gentex Corporation Vehicle vision system
US6320612B1 (en) * 1998-05-12 2001-11-20 Jan J. Young Vehicular camera system with plural perspectives
US6304285B1 (en) * 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6175300B1 (en) * 1998-09-03 2001-01-16 Byron K. Kendrick Blind spot viewing system
IL136128A0 (en) * 1998-09-17 2001-05-20 Yissum Res Dev Co System and method for generating and displaying panoramic images and movies
JP2000134537A (ja) 1998-10-28 2000-05-12 Ricoh Co Ltd 画像入力装置及びその方法
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
AU2001243285A1 (en) * 2000-03-02 2001-09-12 Donnelly Corporation Video mirror systems incorporating an accessory module
KR20010091419A (ko) * 2000-03-15 2001-10-23 김시중 자동 사진촬영을 이용한 3차원 이미지 제작장치 및 그 방법

Also Published As

Publication number Publication date
CN1212724C (zh) 2005-07-27
ATE344742T1 (de) 2006-11-15
EP1170173A2 (en) 2002-01-09
DE60124345D1 (de) 2006-12-21
EP1170173B1 (en) 2006-11-08
EP1170173A3 (en) 2004-11-24
CN1333626A (zh) 2002-01-30
US7034861B2 (en) 2006-04-25
JP2002083285A (ja) 2002-03-22
DE60124345T2 (de) 2007-05-16
US20020018047A1 (en) 2002-02-14
KR100414708B1 (ko) 2004-01-07

Similar Documents

Publication Publication Date Title
KR100414708B1 (ko) 화상합성장치 및 방법
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
KR100481248B1 (ko) 주변화상을 운전자에게 제시하기 위한 화상 합성 장치 및 그를 이용한 표시 장치, 경고 장치 및 위치 인식 장치
US7190259B2 (en) Surrounding surveillance apparatus and mobile body
EP1961613B1 (en) Driving support method and driving support device
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US8035575B2 (en) Driving support method and driving support apparatus
CN108765496A (zh) 一种多视点汽车环视辅助驾驶系统及方法
JP4707109B2 (ja) 複数カメラ撮影画像処理方法及び装置
US20140114534A1 (en) Dynamic rearview mirror display features
US8477191B2 (en) On-vehicle image pickup apparatus
JP2002359838A (ja) 運転支援装置
JP2002218451A (ja) 移動体の周囲監視装置
JP2009105656A (ja) 車載用撮像装置
TW201724052A (zh) 車輛監控系統及其方法
JP3968271B2 (ja) 車輌周辺視認装置
KR101278654B1 (ko) 차량의 주변 영상 디스플레이 장치 및 방법
JP3464368B2 (ja) 車両用後側方監視装置
JP2002314990A (ja) 車両周辺視認装置
JP4211104B2 (ja) 多方向撮像装置、多方向撮像装置付き車載ランプ、衝突監視装置、前方向監視装置
CN112208438B (zh) 行车辅助影像产生方法及系统
JP2000059763A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131202

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141203

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 17