KR100414708B1 - 화상합성장치 및 방법 - Google Patents

화상합성장치 및 방법 Download PDF

Info

Publication number
KR100414708B1
KR100414708B1 KR10-2001-0040601A KR20010040601A KR100414708B1 KR 100414708 B1 KR100414708 B1 KR 100414708B1 KR 20010040601 A KR20010040601 A KR 20010040601A KR 100414708 B1 KR100414708 B1 KR 100414708B1
Authority
KR
South Korea
Prior art keywords
image
imaging
projection
vehicle
images
Prior art date
Application number
KR10-2001-0040601A
Other languages
English (en)
Other versions
KR20020005496A (ko
Inventor
오카다쓰요시
이이다료스케
니시자와마사토
온다가츠마사
미와미치오
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20020005496A publication Critical patent/KR20020005496A/ko
Application granted granted Critical
Publication of KR100414708B1 publication Critical patent/KR100414708B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/004—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors
    • B60Q9/005—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle using wave sensors using a video camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/002—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle
    • B60Q9/007—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for parking purposes, e.g. for warning the driver that his vehicle has contacted or is about to contact an obstacle providing information about the distance to an obstacle, e.g. varying sound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Guiding Agricultural Machines (AREA)
  • Traffic Control Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Display Devices Of Pinball Game Machines (AREA)
  • Preparation Of Compounds By Using Micro-Organisms (AREA)

Abstract

화상합성장치는 복수의 촬상장치에 의해서 취해진 복수의 화상을 조합하도록 설계되어 있다. 이 장치에서, 제1 투영유닛은 촬상장치의 촬상상황에 따라 촬상장치에 의해서 취해진 복수의 화상을 투영부로 투영하여 복수의 제1 투영된 화상을 발생하도록 하고, 제2 투영유닛은 복수의 제1 투영된 화상을 3차원 투영모델에 투영하여 제2 투영된 화상을 발생하도록 한다. 상기 제2 투영된 화상을 가상적으로 촬상하는 가상촬상장치와 상기 가상촬상장치의 촬상상황을 결정하는 촬상상황 검출유닛을 상기 장치에 또한 포함시킴으로써, 상기 촬상상황결정유닛에 의해서 결정된 촬상상황에 있어서 가상촬상장치에 의해서 제2 투영된 화상이 촬상되어서 복수의 촬상장치에 의해서 취해진 복수의 화상을 조합시키도록 하여 고품질의 합성화상을 형성한다. 이 장치는 촬상장치에 의해서 취해진 화상들 사이의 결합이 드러나지 않는 자연합성화상을 제공할 수 있다. 또한, 이 장치는 자동차 상에 장착시 운전자에게 주위상황과 다른 물체와 관련한 자동차의 위치관계를 쉽게 포착할 수 있게 한다.

Description

화상합성장치 및 방법{PICTURE COMPOSING APPARATUS AND METHOD}
본 발명은 화상합성장치 및 방법에 관한 것으로서, 보다 상세하게는 주차 또는 기타 상황시에 운전을 지원하기 위해 운전자에게 자동차 주변의 화상을 나타내는, 자동차에 장착된 복수의 촬상수단을 사용하여 포착된 화상을 변환/조합시키도록 설계된 시스템에 사용하기 적절한 화상합성장치 및 방법에 관한 것이다. 더욱이, 화상표시장치, 화상 포착/경고장치 및 자동차 위치 인지/결정장치에 관한 것이다.
지금까지는 이와 같은 타입의 화상합성장치에 있어서, 화상합성수단에 의해서 복수의 화상에 의거하여 파노라마 화상 등의 광 가시 영역(wide-visual-field) 화상을 합성하는 경우에, 복수의 화상이 각각의 촬상장치로부터 원통면으로 표현됨과 아울러 가상촬상장치에 의해서 촬상된 공통 곡면으로 투영되었다. 이러한 종래의 과정을 도 14 내지 15b를 참조하여 아래에 설명한다.
도 14는 파노라마 화상(55)에 대한 합성과정의 예시도로서, 여기서 자동차(A)에 장착된 2개의 촬상장치(도시하지 않음)의 사용을 통하여 신(scene)(52)이 촬상되어 교대로 원통면(66) 위로 투영되는 화상(53 및 54)을 포착하도록 한다. 도 15a는 원통면(66) 위에 합성화상을 제작하기 위해 촬상장치 61a에 의해 촬상된 화상 62와 촬상장치 61b에 의해 촬상된 화상 63을 투영하는 과정을 3차원적으로 도시한다. 화상 62 위의 점 64는 점 67로 투영되고, 더욱이 가상 촬상수단(72)을 통해 합성 화상면(73) 위의 점 69로 투영된다. 또한, 화상 63 위의 점 65는 원통면(66)상의 점 68로 투영되고, 더욱이 동일한 가상 촬상수단(72)의 사용을 통해 합성 화상면(73) 위의 점 70으로 투영된다. 도 15b는 원통면(66)의 축에 직교하는 면(71) 위로 투영되는 상태를 3차원적으로 도시한다. 상기한 과정에 의해 화상(53 및 54) 위의 각 점은 맵-변환되어(map-converted) 도 14에 도시된 파노라마 화상 등의 화상을 합성하도록 한다.
상기한 종래의 기술의 일례로서, 심사되지 않은 일본 특허 공개 평5-14751호에 개시된 기술이 공지되어 있다. 또한, 한 평면 위로의 3차원 투영에 대한 일례로서 심사되지 않은 일본 특허 공개 평6-20189호 및 일본 특허 공개 2000-134537호에 개시된 기술이 공지되어 있다. 또한, 구면 위로의 투영에 대한 일례로서 심사되지 않은 일본 특허 공개 평9-322040호에 개시된 기술이 공지되어 있다.
그러나, 이와 같은 종래의 화상합성방법은 투영 중심에서의 상이한 위치에 장착된 복수의 촬상장치에 의해 촬상된 복수의 화상으로부터 하나의 합성화상을 만들도록 설계된다. 따라서, 도 14에 나와 있는 합성 파노라마 화상(55)에 도시된 바와 같이 불연속적인 점(56a, 56b 및 56c)이 발생하는데, 이는 상이한 화상 사이의 결합시에 화상을 정렬시키기 어렵다는 문제를 야기한다. 더욱이, 원통 위로의 투영의 경우에 있어서, 촬상장치에 근접하고 그것으로부터 떨어진 위치에서 화상 왜곡이 크게 달라서 운전자가 거리를 인지하는 것을 어렵게 만들뿐만 아니라, 도 12에 있어서 파노라마 화상면 위의 이웃하는 화상(57)으로 도시되어 있듯이, 자동차의 범퍼 또는 펜더(fender) 등의 차체 단부에서 크게 화상이 왜곡되어서, 상기 방법을 주차 지원 등의 자동차 안전 운전 지원에 적용하기 어렵게 만든다.
본 발명은 상기와 같은 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 주위의 상황(또는 상태)과 자동차 사이의 위치관계에 대한 용이한 포착을 하는 복수의 상이한 가시점으로부터 촬상된 복수의 화상을 이용함으로써, 매우 넓은 범위(광 가시 영역)의 정보를 제공함과 아울러, 위화감 없이 화상을 결합하여 보기에 좋은 높은 가시도를 가진 자연 화상을 제작할 수 있는 화상합성장치 및 방법을 제공하는 것이다.
이러한 목적을 달성하기 위해, 본 발명에 의하면 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 상기 촬상수단에 의해서 촬상된 복수의 화상을 투영부에 투영하여 복수의 제1 투영화상을 생성하는 제1 투영수단과, 상기 복수의 제1 투영화상을 3차원 투영모델로 투영하여 제2 투영화상을 생성하는 제2 투영수단과, 상기 제2 투영화상을 가상적으로 촬상하는 가상촬상수단과, 상기 3차원 투영모델의 위치와 모양을 결정하는 3차원 투영모델결정수단과, 상기 가상촬상수단의 촬상상황을 결정하는 가상촬상수단 촬상상황 결정수단을 포함하며, 상기 제2 투영화상은 상기 가상촬상수단 촬상상황결정수단에 의해 결정된 촬상상황으로부터 상기 가상촬상수단에 의해서 촬상되어, 상기 복수의 촬상수단에 의해서 얻어지는 복수의 화상을 조합하는 화상합성장치가 제공된다.
상기 구성에 의하면, 상기 촬상수단에 의해서 촬상된 화상이 상기 제1 투영부로 투영된 후, 상기 3차원 투영모델로 투영되기 때문에 결합이 명확하게 드러나지 않는 화상을 합성할 수 있다.
또한, 본 발명에 의한 화상합성장치에서, 복수의 촬상수단은 자동차에 장착되고, 또한 상기 화상합성장치는 자동차의 진행방향을 검출하는 자동차 진행방향검출수단을 포함한다. 따라서, 상기 자동차 진행방향검출수단에 의해서 검출된 자동차의 진행방향과 평행하게 3차원 투영모델 투영부의 투영중심을 통과하는 직선 위에 가시점이 설정되어, 특정조건을 만족시키는 직선을 합성화상 위에서도 직선으로서 표시할 수 있다.
또한, 본 발명에 의한 화상합성장치에서, 복수의 촬상수단이 자동차에 장착되고, 또한 상기 화상합성장치는 상기 자동차의 차체위치를 검출하는 자동차 차체위치검출수단을 포함한다. 이와 같은 구성에 의해, 상기 가상촬상수단의 가시점은 3차원 투영모델 투영부의 평면 투영된 화상과 투영중심을 통과하는 평면 위에 설정되어, 특정조건을 만족시키는 직선을 합성화상 위에서도 직선으로서 표시할 수 있도록 한다.
또한, 본 발명에 의하면, 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 상기 촬상수단에 의해서 촬상된 복수의 화상을 투영면 위에 투영하여 복수의 제1 투영화상을 생성하는 제1 투영수단과, 상기 복수의 제1 투영화상을 구면으로 투영하여 제2 투영화상을 생성하는 제2 투영수단과, 상기 구면 위의 한 점을 중심으로 상기 제2 투영화상을 평면에 전개시키는 변환수단을 포함하는 화상합성장치가 제공된다. 이 구성에 의해 평면에 화상을 전개시키는 경우, 상기 구면의 위치가 변할지라도 중심점을 조절하여 특정 직선을 합성화상 위에 직선으로서 투영할 수 있다.
또한, 본 발명에 의하면, 복수의 화상을 촬상하는 촬상단계와, 상기 촬상단계에서의 촬상상황을 검출하는 촬상상황 검출단계와, 검출된 촬상상황에 따라 복수의 촬상된 화상을 투영부로 투영하여 복수의 제1 투영화상을 생성하는 제1 투영단계와, 상기 복수의 제1 투영화상을 3차원 투영모델로 투영하여 제2 투영화상을 생성하는 제2 투영단계와, 상기 제2 투영된 화상을 가상적으로 촬상하는 가상촬상단계와, 상기 3차원 투영모델의 위치와 형상을 결정하는 3차원 투영모델 결정단계와, 상기 가상촬상단계에서 촬상상황을 결정하는 촬상상황 결정단계를 포함하며, 상기 제2 투영화상은 상기 촬상상황 결정단계에서 결정된 투영상황에서 상기 가상촬상단계에서 촬상되어, 상기 촬상단계에서 구해진 복수의 화상을 조합하는 화상합성방법이 제공된다.
이와 같은 방법에 의해 조합부분에서 결합이 드러나지 않고 또한 위화감을 나타내지 않는 자연 화상을 합성할 수 있고, 예컨대 3차원 투영모델로서 원통 및 구의 조합을 사용하여 합성화상의 왜곡을 줄일 수 있다.
더욱이, 본 발명에 의하면, 복수의 화상을 촬상하는 촬상단계와, 상기 촬상단계에서의 촬상상황을 검출하는 촬상상황 검출단계와, 검출된 상기 촬상상황에 따라, 촬상된 복수의 화상을 투영부로 투영하여 복수의 제1 투영화상을 생성하는 제1 투영단계와, 상기 복수의 제1 투영화상을 구면에 투영시켜 제2 투영화상을 생성하는 제2 투영단계와, 상기 구면 위의 한 점을 중심으로 상기 제2 투영화상을 평면에 전개시키는 평면전개단계와, 상기 구면의 위치를 결정하는 구면위치 결정단계를 포함하며, 상기 평면전개단계에서 얻어진 복수의 화상은 조합되어 합성화상을 제작하도록 하는 화상합성방법이 제공된다.
이 구성에 의해, 특정조건을 만족시키는 직선이 합성화상에서도 명료하고 연속적인 직선으로서 나타낼 수 있고, 합성화상은 위화감을 나타내지 않는 자연스러운 화상으로서 인식될 수 있다.
더욱이, 본 발명에 의하면, 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 상기 촬상수단에 의해서 촬상된 복수의 화상을 투영부에 투영하여 복수의 제1 투영화상을 생성하는 제1 투영수단과, 상기 복수의 제1 투영화상을 3차원 투영모델에 투영하여 제2 투영화상을 생성하는 제2 투영수단과, 상기 제2 투영화상을 가상적으로 촬상하는 가상촬상수단과, 상기 3차원 투영모델의 위치와 모양을 결정하는 3차원 투영모델 결정수단과, 상기 가상촬상수단의 촬상상황을 결정하는 가상촬상수단 촬상상황 결정수단과, 화상을 표시하는 표시수단과, 표시될 화상을 상기 표시수단에 적합한 데이터로 변환하는 표시데이터 변환제어수단을 포함하며, 상기 제2 투영화상은 상기 가상촬상수단 촬상상황 결정수단에 의해서 결정된 촬상상황에 서 상기 가상촬상수단에 의해서 촬상되어, 상기 복수의 촬상수단에 의해 촬상된 복수의 화상을 조합하여 합성화상을 형성하며, 상기 합성화상은 상기 표시수단에 적합하도록 표시데이터 변환제어수단에 의해서 변환되는 화상표시장치가 제공된다.
이 구성에 의하면, 촬상수단에 의해서 촬상된 화상, 투영된 화상 또는 상기 표시수단 위의 합성화상을 표시할 수 있으므로, 운전자가 주위상황과 자동차에 관련된 위치관계를 쉽게 포착할 수 있게 할 수 있다.
또한, 본 발명에 의하면, 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 상기 촬상수단에 의해서 촬상된 복수의 화상을 투영부에 투영하여 복수의 제1 투영화상을 생성하는 제1 투영수단과, 상기 복수의 제1 투영화상을 3차원 투영모델에 투영하여 제2 투영화상을 생성하는 제2 투영수단과, 상기 제2 투영화상을 가상적으로 촬상하는 가상촬상수단과, 상기 3차원 투영모델의 위치와 모양을 결정하는 3차원 투영모델 결정수단과, 상기 가상촬상수단의 촬상상황을 결정하는 가상촬상수단 촬상상황 결정수단과, 물체의 접근상황을 검지하는 검지수단과, 상기 검지수단에 의해서 검지된 물체의 접근상황이 임의로 설정된 물체접근 상황에 도달할 때 경고정보를 발생하는 경고수단을 포함하는 화상 포착/경고장치가 제공된다.
이 구성에 의해, 결합하는 물체가 자동차의 차체 후방부에 결합되는 경우에, 이 결합되는 물체의 접근상태에 따라 경고정보를 발생시킬 수 있고, 따라서 운전자에게 경고를 한다. 게다가, 상기 결합이 완료되었을 때 이 결합상태를 확인할 수 있다.
또한, 본 발명에 의하면, 자동차에 장착된 복수의 촬상수단과, 상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과, 상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 상기 촬상수단에 의해서 촬상된 복수의 화상을 투영부에 투영하여 복수의 제1 투영화상을 생성하는 제1 투영수단과, 상기 복수의 제1 투영화상을 3차원 투영모델에 투영하여 제2 투영화상을 생성하는 제2 투영수단과, 상기 제2 투영화상을 가상적으로 촬상하는 가상촬상수단과, 상기 3차원 투영모델의 위치와 모양을 결정하는 3차원 투영모델 결정수단과, 상기 가상촬상수단의 촬상상황을 결정하는 가상촬상수단 촬상상황 결정수단과, 상기 복수의 촬상수단 중 적어도 하나가 자동차의 후방측에 놓인 후방촬상수단일 경우, 상기 후방촬상수단에 의해서 촬상된 화상, 상기 촬상된 화상을 상기 3차원 투영모델에 투영함으로써 얻어진 화상, 또는 상기 가상촬상수단에서 촬상된 화상을 결합함으로써 구한 합성화상으로부터 임의의 물체의 화상을 검출하는 화상검출수단과, 상기 화상검출수단에 의해서 검출된 화상과 자동차의 화상 사이의 위치관계를 인지하는 인지수단과, 상기 인지수단에 의해서 인지된 위치관계에 의거하여 상기 자동차와 상기 물체 사이의 위치의 차이에 대한 결정을 하는 결정수단을 포함하는 자동차 위치 인지/결정장치가 제공된다.
이 구성에 의하여, 상기 촬상수단에 의해서 촬상된 화상, 투영된 화상 또는 합성화상이 표시수단에 인가될 수 있으며, 이 표시수단은 운전자가 주위상황, 특히 임의로 설정된 물체의 화상으로부터 물체의 위치(물체의 표시를 포함)와 자동차에 대한 위치관계를 인지할 수 있게 한다.
도 1은 본 발명의 제1 실시예에 의한 화상합성장치의 구성을 도시하는 블록도,
도 2는 본 발명의 제1 실시예에 의한 처리흐름을 설명하는 예시도,
도 3은 합성화상이 완성될 때까지의 투영 과정에 대한 원리 예시도,
도 4는 본 발명의 제1 실시예에서, 원통면과 구면의 조합을 형성하는 3차원 투영모델의 위치변화에 따라, 원통면에 투영되는 영역과 구면에 투영되는 영역이 변화하는 것을 설명하는 예시도,
도 5는 본 발명의 제2 실시예에 의한 화상합성장치의 구성을 도시하는 블록도,
도 6은 본 발명의 제2 실시예에서 가상 촬상수단의 가시점 위치와 화상의 변동을 설명하는 예시도,
도 7은 본 발명의 제3 실시예에 의한 화상합성장치의 구성을 도시하는 블록도,
도 8은 본 발명의 제3 실시예에서, 차체단부가 합성화상 위에서 직선으로 나타나는 가상촬상수단의 가시점 위치를 설명하는 예시도,
도 9는 본 발명의 제4 실시예에 의한 화상합성장치의 구성을 도시한 블록도,
도 10은 본 발명의 제4 실시예에 따라, 합성화상이 포착될 때까지의 과정을 설명하는 원리도,
도 11은 본 발명의 제5 실시예에 의한 화상표시장치의 구성을 도시하는 블록도,
도 12는 본 발명의 제6 실시예에 의한 화상 포착/경고장치의 구성을 도시하는 블록도,
도 13은 본 발명의 제7 실시예에 의한 자체 자동차 인지/결정장치의 구성을 도시하는 블록도,
도 14는 종래의 화상합성방법에 의한 파노라마 화상을 합성하는 과정을 나타내는 예시도,
도 15a 및 15b는 종래의 화상합성방법에 의한 파노라마 화상을 합성하는 과정을 3차원적으로 도시하는 도면.
* 도면의 주요부분에 대한 상세한 부호의 설명
1a : 제1 촬상수단 1b : 제2 촬상수단
2a : 제1 촬상상황 검출부 2b : 제2 촬상상황 검출부
3 : 평면투영부 4 : 3차원 투영모델결정부
5 : 3차원 투영모델투영부 6 : 가상촬상수단 촬상상황결정부
7 : 가상촬상수단
본 발명의 실시예를 도면을 참조하여 아래에 설명할 것이다. 2개의 촬상수단을 사용해서 얻어지 화상을 1개의 합성화상으로 결합하는 경우를 설명하고 있지만, 3개 이상의 촬상수단이 동일과정의 반복을 통해 사용된다면 다수의 촬상수단에 의해서 얻어진 화상으로부터 1개의 합성화상을 제작할 수도 있다.
(제1 실시예)
도 1은 본 발명의 제1 실시예에 의한 화상합성장치의 구성을 도시하는 블록도이다. 도 1에 도시한 바와 같이, 화상합성장치는 촬상수단(1), 촬상상황 검출수단(2), 평면투영부(3), 3차원 투영모델 결정부(4), 3차원 투영모델 투영부(5), 가상촬상수단 촬상상황 검출부(6) 및 가상촬상수단(7)으로 구성되어 있다.
촬상수단(1)은 제1 촬상수단(1a) 및 제2 촬상수단(1b)의 두 개의 촬상장치를 포함한다. 촬상상황 검출수단(2)은 제1 촬상수단(1a)의 촬상상황을 검출하는 제1 촬상상황 검출수단(2a)과 제2 촬상수단(1b)의 촬상상황을 검출하는 제2 촬상상황 검출수단(2b)을 포함하고, 평면투영부(3)는 제1 촬상수단(1a), 제2 촬상수단(1b), 제1 촬상상황 검출수단(2a) 및 제2 촬상상황 검출수단(2b)의 출력을 수신한다. 평면투영부(3)의 출력과 3차원 투영모델 결정부(4)의 출력은 제3 투영모델 투영부(5)에 입력된다. 또한, 3차원 투영모델 투영부(5)의 출력과 가상촬상수단 촬상상황 결정부(6)의 출력은 가상촬상수단(7)에 입력된다.
이 경우에 있어서, 평면투영부(3)에 사용될 투영부는 자동차가 위치하는 평면 즉, 도로면으로서 설정된다. 정확하게는 도로면이 완전한 평면이 아닐지라도, 도로면이 거의 평면을 이룬다고 생각할 수 있다. 또한, 3차원 투영모델 투영부(5)에 사용될 3차원 투영모델은 도로면에 직교하는 원통면과 구면의 원활한 조합을 형성하는 곡면으로 설정되어, 투영중심은 원통면의 축상의 점으로서 설정된다.
첫째, 촬상수단 촬상상황 검출부(2)는 위치가 발견되거나 확인될 수 있는 도로면 위의 복수의 점과, 제1 촬상수단(1a) 또는 제2 촬상수단(1b)에 의해서 구해진 화상 위의 복수의 점을 대응시킴으로써, 촬상수단(1a 또는 1b)의 촬상상황을 검출한다. 촬상상황은, 예컨대 다음의 파라메터들을 나타낸다.
(1) 도로면에 대한 촬상수단이 장착된 장소
(2) 도로면에 대해서 촬상수단이 위치된 방향
(3) 필드앵글(field angle), 초점거리 및 렌즈 왜곡과 같은 여러 가지 촬상 특성을 나타내는 값
이들 파라메터가 검출되면 모양 및 촬상수단과 관련한 위치에 있어서, 이미 알려진 물체에 대해서 논리적 수치계산을 통해 촬상수단에 의해 촬상된 화상 위의 물체의 상태를 얻을 수 있다. 사실상, 미리 필요한 파라메터를 수집하고, 메모리 등에 그것들을 등록하기 위해 공장 출하 전의 조정단계에서 격자형 물체를 촬상하여, 3차원 공간에서의 좌표와, 투영된 면의 화상좌표의 수치 값을 계산기에 입력시킴으로써 파라메터의 추정값을 구하거나, 촬상수단의 장착상태를 나타내는 위치와 각도를 센서에 의해 검출하여 이 데이터를 계산기에 입력시켜 파라메터를 기계적(자동적)으로 구하고 있다.
더욱이, 상기 파라메터를 얻는 방법과는 별도로, 촬상수단 촬상상황 검출부(2)는 화상으로부터 도로면으로의 변환행렬을 구함으로써 각 촬상수단의 촬상상황을 검출할 수 있다. 이 변환행렬도 도로면 위의 위치가 이미 알려진 복수의 점과 화상 위의 복수의 점을 각각 대응시킴으로써 구할 수 있다. 이 변환행렬은 화상으로부터 도로면으로의 평면투영을 가능하게 한다.
두 번째로, 도 2 및 도 3a를 참조하여 투영부 각각에서의 처리에 대해 아래에서 설명한다. 도 2는 본 발명의 제1 실시예에 의한 화상합성장치에 있어서의 처리흐름을 나타내는 흐름도이고, 도 3a는 촬상수단(1a, 1b)에 의해서 촬상된 화상을 투영하여 합성화상을 형성하는 과정의 원리를 설명하는 도면이다.
도 2에 있어서 단계(step) 2까지의 흐름은 촬상수단 촬상상황 검출부(2)에서 구한 촬상상황 각각에 따라, 단계 1에서의 촬상수단(1a, 1b)에 의해 촬상된 화상 각각을 평면투영부(3)가 투영부(도로면)에 투영하는 과정을 나타내고 있다. 3차원적으로 도 3a에 도시된 바와 같이, 상기 투영은 촬상수단(1a)에 의해서 촬상된 화상(8) 위의 점(15) 및 촬상수단(1b)에 의해서 촬상된 화상(9) 위의 점(16)으로부터 점 17로의 변환에 해당한다. 이 단계에서, 화상 8 및 화상 9로 촬상된 도로면 위의 동일 물체에 대한 화상이 정확하게 겹쳐지도록 변환이 실행된다. 즉, 예컨대 도로면 위의 백선이 이중으로 투영됨이 없이 정확하게 표시된다. 이 평면 투영부(3)는 화상 8 위의 점 15와 화상 9 위의 점 16의 좌표를 도로면 위의 점 17의 좌표로 변환한다.
또한, 도 2에서 단계 3까지의 흐름은 3차원 투영모델 투영부(5)가 평면투영부(3)에 의해서 도로면으로 투영된 화상을 3차원 투영모델(11)에 투영하는 과정을 나타낸다. 3차원 투영모델(11)로의 투영이라는 것은, 도로면 위의 점 17이, 점 17과 3차원 투영모델의 투영중심(12)과 연결시키는 직선과, 3차원 투영모델(11)의 표면과의 교차점(18)에 투영되는 것을 의미한다.
또한, 도 2에 있어서, 단계 4까지의 흐름은 가상촬상수단 촬상상황 결정부(6)에 의해서 결정된 촬상상황에 따라, 가상촬상수단(7)이 3차원 투영모델 투영부(5) 내의 3차원 투영모델(11) 위에 그려진 화상을 촬상하는 과정을 나타낸다. 도 3a에서 3차원적으로 도시된 바와 같이, 이 촬상은 가상촬상수단(7)의 가시점(viewing point) 13과 점 18을 연결하는 직선과, 화상 합성면(14)과의 교차점 19으로의 변환에 해당한다. 가상촬상수단(7)에 의해서 구한 화상이 합성화상으로 된다.
도 14의 화상(52)으로 도시된 조건에서 구해진 화상을 이와 같은 방법으로 조합할 경우, 도 3b에 도시된 바와 같이 파노라마 화상을 구할 수 있다. 도로면 위의 직선 등은 결합부(20)에서 도시한 바와 같이 서로 원활하게 결합된다. 또한, 촬상수단으로부터 충분히 떨어진 3차원 물체도 상기 결합부(21)에서와 같이 결합 부분이 드러나지 않는다.
또한, 3차원 투영모델(11) 또는 투영중심(12)의 위치가 도로면에 직교하는 방향으로 이동되면, 원통면으로 투영될 영역과 구면으로 투영될 영역의 범위를 바꿀 수 있다. 예컨대, 도 4a에 도시한 바와 같이, 3차원 투영모델(11)의 원통면과 구면 사이의 경계와, 투영중심(12)을 동일한 높이로 설정하면, 투영중심(12)보다 낮은 위치에 있는 화상은 구면으로 투영되는 한편, 기타 화상은 원통면으로 투영된다. 또한, 도 4b에 도시한 바와 같이, 투영중심(12)은 그대로 둔 상태에서 3차원 투영모델(11)의 위치를 도 4a에 도시된 위치보다 낮은 위치로 설정하면, 구면으로 투영될 영역은 단지 투영중심(12)의 근방만을 커버하는 반면에, 원통면으로 투영될 영역은 확대된다. 이와 같이 하여, 운전자의 용도에 맞는 합성 화상을 형성할 수 있다.
상기한 바와 같이, 본 발명의 제1 실시예에 의하면 투영부가 도로면으로 설정되기 때문에, 위치가 서로 다른 복수의 촬상수단에 의해서 구한 화상을 합성한 경우에도, 도로면 위의 백선 등의 화상이 서로 다른 화상들간의 결합시에 완전히 일치되기 때문에, 도로면의 상황이 운전자에게 이해될 수 있다. 이 경우에, 통상 도로면의 평면 위의 물체 이외에, 3차원 물체가 상이한 화상간의 결합시에 일치하지 않더라도, 상이한 촬상수단의 위치 사이의 거리에 대해 충분히 떨어진 위치에 있는 3차원 물체는 상이한 화상들간의 결합 부분에서 거의 일치한다. 따라서, 합성된 화상은 위화감을 나타내지 않는 자연스러운 화상이 된다.
또한, 촬상상황 검출수단은 미리 투영부와 관련한 촬상수단의 위치, 자세 및 촬상특징 중 적어도 하나를 검출함으로써, 촬상수단에 의해서 촬상된 화상의 도로면으로의 평면투영을 용이하게 일치시킬 수 있다.
또한, 평면투영부는 촬상된 화상과 투영부와의 대응점들의 조합으로부터 구한 변환행렬을 사용하여, 촬상된 화상 위의 점을 투영부로 투영시킴으로써, 촬상수단에 의해서 촬상된 화상으로부터 도로면으로의 투영을 가능하게 한다.
더욱이, 모양이 서로 다른 복수의 면이 조합되어 3차원 투영모델을 형성하기 때문에, 투영 대상에 가능한 한 근접한 모델로 투영이 이루어질 수 있다.
또한, 모양이 다른 복수의 면을 그들간의 결합이 드러나지 않도록 조합하기 때문에, 도로면 위의 직선 등이 합성화상 위에서 구부러진 상태로 합성되는 것을 방지함으로써, 전체적으로 위화감을 나타내지 않는 자연스러운 화상을 얻을 수 있다.
또한, 3차원 투영모델은 구와 원통과의 조합을 포함하고, 3차원 투영모델에 투영될 경우에, 먼 장소는 원통에 투영되는 반면 기타 장소는 구로 투영된다. 즉, 자동차에 근접한 장소는 구로 투영되는 한편 그로부터 떨어진 장소는 원통으로 투영되며, 따라서 단지 원통만으로 투영되는 경우와 비교할 때 근접한 장소에서의 화상왜곡은 줄어들게 되어, 원근감이 쉽게 포착될 수 있다. 이 경우에 있어서 구면의 중심이 원통면의 축상에 놓이고, 구면과 원통면의 반경을 동일하게 설정하면, 구면과 원통면 사이의 경계가 원활해진다. 또한, 평면과 원통이 그들 사이의 경계부에서 원활하게 조합 및 연결되는 경우와 비교할 때, 가까운 장소에서의 왜곡은 더욱 줄어들기 때문에 매우 적은 위화감을 주는 화상을 합성한다.
상기한 설명에서는 3차원 투영모델을 원통과 구의 조합으로 이루어져 있으나, 구만을 사용할 수도 있다. 이 경우, 넓은 가시영역 화상의 합성시에 전체적으로 크게 왜곡되지 않는 화상을 제공할 수 있다. 3차원 투영모델로 구를 사용하여 어안(fisheye) 렌즈로 촬상한 것과 같은 화상을 생성할 수 있고, 화상 전체에 균일한 왜곡이 발생하더라도, 운전자는 이웃하는 물체의 형태를 쉽게 인지할 수 있다.
또한, 원통과 타원구가 그들 사이의 결합이 원활해지도록 조합되고, 먼 장소는 원통으로 투영되는 반면 기타 장소는 타원구로 투영되어도, 원통과 구가 조합된 경우와 유사한 효과를 얻을 수 있다.
또한, 평면과 원통은 3차원 투영모델로 조합되고, 이 3차원 투영모델로 투영할 경우에, 먼 장소는 원통으로 투영되는 반면, 기타 장소는 평면으로 투영될 수 있다. 이 경우에, 자동차 근방의 장소는 평면으로 투영되므로 도로면 위의 백선 등의 직선이 합성화상에서도 직선으로 투영될 수 있다. 그리고, 먼 장소는 원통면으로 투영되므로, 화상이 크게 왜곡되는 것이 방지될 수 있다. 따라서, 자동차는 주차지역 등에 백선을 따라 쉽게 주차될 수 있고, 주위 상황은 넓은 범위에 걸쳐서 포착될 수 있게 된다. 또한, 3차원 투영모델로서 원통면이 단독으로 사용하는 경우, 촬상수단 근방의 영역이 합성화상 위에서 보다 커지게 되어, 원근감(遠近感)을 얻기가 어려워지나, 이웃하는 영역을 평면에 투영함으로써 이 문제를 해결할 수 있다.
또한, 3차원 투영모델로서 원통 및 평면과 그들 사이의 경계를 원활하게 형성하는 곡면의 조합을 이용하는 것이 바람직하다. 따라서, 원경(遠景)을 촬상하여 구한 화상들이 서로 합성될 경우에, 원경들이 수직으로 세워진 원통에 그려진 화상으로 간주될 수 있다. 한편, 촬상수단 바로 아래에 존재하는 물체가 원통면에 투영되는 경우에는 심하게 왜곡된 화상이 나타난다는 문제는, 먼 장소가 원통으로 투영되고, 원통과 평면 사이의 경계를 원활하게 형성하는 곡면에 중간장소가 투영되고, 기타 장소가 평면으로 투영되는 구성으로 제거될 수 있다.
따라서, 예컨대, 자동차에 장착된 히치(hitch)를 이용하여 자동차에 로드 캐리어(load carrier)가 결합된 경우를 가정하면, 자동차로부터 분리된 위치에 로드 캐리어가 있는 초기 상태 즉, 운전자의 자동차가 로드 캐리어에 근접하게 될 때에는 로드 캐리어가 상기 원통의 투영면에 바로 투영되어 표시됨으로써 주위 상황과 물체와의 관계를 쉽게 포착할 수 있고, 로드 캐리어가 결합하기 바로 전에는 상기 평면투영부 또는 구면투영부를 통해 히치에 대한 위치관계를 정확하게 이해할 수 있어서, 로드 캐리어와 자동차 사이의 결합이 용이하게 된다.
또한, 물론 제한된 주차공간에 주차시 또는 복수의 차선에서의 후방 자동차에 대한 위치관계를 나타내는 경우에, 운전자가 쉽게 이해할 수 있는 화상을 제공할 수 있다.
(제2 실시예)
도 5는 본 발명의 제2 실시예에 의한 화상합성장치의 구성을 나타내는 블록도이다. 도 5에서, 도 1에 도시된 기능부와 동일한 기능부는 동일한 참조번호로 표시되고, 이에 대한 상세한 설명은 생략될 것이다. 이 화상합성장치는, 도 1에 도시된 화상합성장치의 구성에 추가하여, 자동차의 진행방향을 검출하고 그 검출결과를 가상촬상수단 촬상상황 검출부(6)에 입력시키는 자동차 진행방향검출부(22)를 포함한다.
제1 실시예의 경우에서와 같이, 제2 실시예에서도 평면투영부(3)에서 사용될 투영면은 도로면으로서 설정되고, 3차원 투영모델투영부(5)에 사용될 3차원 투영모델은 도로면에 직교하는 원통면과 구면을 원활하게 접속하는 곡면으로 설정되고, 투영중심은 원통 축상의 한 점으로 설정된다.
도 6a는 자동차가 직진할 때 가상촬상수단이 합성화상을 형성하는 경우를 3차원으로 나타낸다. 도 6a에서, 촬상수단(1a 및 1b)에 의해서 촬상된 각각의 화상을 화상촬상 상황에 따라 평면투영부(3)가 도로면에 투영하는 과정(도 2에 나온 단계 2까지의 과정)은 생략되어 있다.
본 발명의 제2 실시예에 있어서, 가상촬상수단(7)에 의해서 촬상된 화상에서, 가상촬상수단(7)의 가시점(13)의 위치는, 자동차 진행방향검출부(22)에 의해서 검출된 자동차의 진행방향에 평행하고 3차원 투영모델 투영부(5)의 투영중심(12)을 통과하는 직선으로 설정된다. 이 때, 자동차의 진행방향과 평행한 직선은 합성화상에서도 직선으로 되고, 동시에 합성화상의 직선들은 한 점에서 서로 교차하며, 자동차가 직진하면 자동차 둘레에 존재하는 정지물체는 자동차로부터 볼 때 상대적으로 자동차의 진행방향과 평행한 직선운동을 수행하기 때문에, 이들 물체는 합성화상에서도 직선운동을 수행한다.
도 6a에 나와 있는 가상 촬상수단(7)과 3차원 투영모델(11) 사이의 기하학적 관계를 이용하여 아래에 그 원리를 설명한다. 3차원 투영모델(11)의 투영중심(12)을 가상촬상수단(7)의 가시점(13)에 연결하는 선분(23)은 자동차 진행방향(24)과 평행하다. 이 때, 도로면 위에 그려진 자동차의 진행방향과 평행한 선(25)과 선분(23)은 같은 평면(26)에 존재한다. 상기 평행선(25)을 3차원 투영모델(11)에 투영함으로써 형성된 화상(27)은 3차원 투영모델(11)과 평면(26) 사이의 교차선을 형성하고, 가상촬상수단(7)이 화상(27)을 촬상할 때 형성되는 화상(28)은 화상합성면(14)과 평면(26) 사이의 교차선 위에 존재한다. 화상(28)은 평면과 평면 사이의 교차선이 되기 때문에 직선이 되고, 상기 직선은 선분(23)과 화상합성면(14) 사이의 교차점(29)을 통과한다.
상기 설명은 도로면으로 한정되지 않고, 선분(23)과 동일 평면 위에 존재하는 임의의 직선에 대해서도 유효하고, 이들 화상의 확장은 모두 점 29에서 만난다.
자동차가 똑바로 진행하면, 자동차 둘레에 존재하는 정지물체는 자동차에서 볼 때 상대적으로 선분(23)과 평행한 직선 위에서 움직인다. 따라서, 도 6b의 파노라마 화상으로 도시한 바와 같이, 정지물체의 화상(30)은 한 점(29)을 향해 직선운동을 한다.
따라서, 본 발명의 제2 실시예에 의하면, 복수의 촬상수단은 자동차 위에 장착되고, 자동차 진행방향 검출수단도 그 위에 장착되며, 가상촬상수단의 가시점 위치는 자동차의 진행방향과 평행하게 3차원 투영모델 투영부의 투영중심을 통과하는 직선 위에 설정된다. 따라서, 자동차의 진행방향과 평행한 직선은 합성화상에서도 직선으로 투영되는 특징을 가진다. 따라서, 자동차가 직선운동을 하면, 자동차 둘레의 정지물체는 자동차로부터 볼 때 상대적으로 자동차의 진행방향과 평행한 직선운동을 하고, 합성화상 위에서 정지물체는 직선 위를 이동하여, 운전자가 상황을 이해할 수 있는 화상을 제공한다.
(제3 실시예)
도 7은 본 발명의 제3 실시예에 의한 화상합성장치의 구성을 나타내는 블록도이다. 또한, 도 7에서, 도 1에 도시된 것과 동일한 기능부는 동일한 참조번호로서 표시하고, 이에 대한 상세한 설명은 간략화를 위해서 생략한다. 본 화상합성장치는 자동차의 차체위치를 검출하여 그 검출결과를 가상촬상수단 촬상상황 검출부(6)에 입력시키는 자동차 차체 위치검출부(31)를, 도 1에 도시된 구성에 추가로 포함한다.
제3 실시예에서는 제1 실시예의 경우와 같이, 평면투영부(3)에 사용될 투영면은 도로면으로서 설정되고, 3차원 투영모델 투영부(5)에 사용될 3차원 모델은 도로면에 직교하는 원통면과 구면을 원활하게 접속한 곡면으로서 설정되고, 투영중심은 원통의 축상에 설정된다.
도 8a는 본 발명의 제3 실시예에서, 제1 촬상수단(1a)에 의해서 촬상된 자동차(A)의 차체단부(32L)를, 자동차(A) 위에 장착된 자동차 차체 위치 검출부(31)에 의해서 검출된 차체 위치를 사용하여, 도로면 위로 투영하여 투영 차체단부(32)를 구하는 과정을 대략적으로 도시한 것이다. 도 8b는 본 발명의 제3 실시예에서, 자동차(A)에 장착된 자동차 차체위치검출부(31)에 의해 검출된 차체위치를 사용하여, 차체단부(32L)를 도로면으로 투영하여 구한 투영 차체단부(32)를 가상촬상수단(7)에 의해 합성화상으로서 형성하는 경우에 대해 3차원적으로 나타낸 것이다. 도 8b에서도 도 6a와 마찬가지로 도 2의 단계 2까지의 과정, 즉 촬상수단(1a, 1b)에 의해서 촬상된 각각의 화상을 촬상상황 각각에 따라서 평면투영부(3)가 도로면에 투영하는 과정이 생략되어 있다.
가상촬상수단(7)의 가시점(13)의 위치는 다음 과정에 따라 결정된다. 이 경우에, 자동차(A)의 차체단부(32L)를 직선으로 가정하면, 차체단부(32L)의 평면 투영에 의해 얻어진 화상 32도 직선으로 된다. 가상촬상수단(7)의 가시점(13)은 화상 32 및 투영중심(12)을 포함하는 평면(33) 위에 설정된다. 이 때, 화상 32의 3차원 투영모델로의 투영에 의해 얻어진 화상 34도 역시 평면(33) 위에 존재하고, 화상 34에 의한 합성화상 위의 화상 35도 평면(33) 위에 놓인다. 따라서, 화상 35는 평면(33)과 화상합성면(14) 사이의 교차선 위에 존재하고, 직선으로 된다. 따라서, 도 8c의 파노라마 화상으로 나타낸 바와 같이, 합성화상 위에서 차체단부(36)는 구부러지거나 단속되지 않는 직선으로 된다. 또한, 도 8d에 도시되어 있듯이, 자동차의 측면은 직선으로 변환되어, 자동차의 측방 상황의 감시에 사용하기 적절한 화상을 합성할 수도 있다. 또한, 자동차의 주행 중의 차선에 인접한 차선 또는 교차점 등에서 교차하는 도로 중앙의 선을 직선으로 하도록 화상을 합성할 수 있다.
상기한 바와 같이, 본 발명의 제3 실시예에 의하면 복수의 촬상수단이 자동차상에 장착되고, 자동차 차체위치검출수단이 자동차의 차체위치를 검출하기 위해 제공되는 한편, 가상촬상수단의 가시점 위치는 자동차의 차체단부를 평면 투영함으로써 얻어진 화상과 제2 투영수단의 투영중심을 포함하는 평면 위에 설정된다. 따라서, 합성화상 위에도 자동차의 차체단부가 직선으로 투영된다.
(제4 실시예)
도 9는 본 발명의 제4 실시예에 의한 화상합성장치의 구성을 도시하는 블록도이다.
또한, 도 9에 있어서, 도 1에 표시한 것과 동일한 기능부는 동일한 참조번호로 표시되고, 간략화를 위해서 그에 대한 상세한 설명을 생략한다.
도 9에 도시한 바와 같이, 화상합성장치는 3차원 투영모델 투영부(5)에 사용될 3차원 투영모델로서 구면을 채용하고, 또한 구면의 위치를 결정하는 구면 위치결정부(37)를 포함한다. 또한, 화상합성을 위해 구면 전개부(38)가 도 1에 도시된 가상촬상수단 대신에 사용된다.
도 10a 및 10b를 참조하여, 아래에서 제4 실시예에 의한 화상합성과정에 대해 설명한다. 도 10a는 구면 모델로 투영한 후, 그 구면을 평면에 전개시키는 과정을 기하학적으로 그리고 3차원적으로 나타낸다. 제1 실시예와 같이, 촬상수단에 의해서 촬상된 화상은 도로면에 평면 투영되고, 도 10a에 도시한 바와 같이, 구면으로 투영된다. 이 때, 투영중심(39)은 구의 중심으로 설정된다. 구면으로의 투영에 의해서 얻어진 화상(40)은 구면 위의 점 41을 중심으로 전개된다. 이러한 동작을 통해, 화상(40)은 점 42로 변환된다. 도 10b는 도 10a에 도시된 구면과 합성화상(14)이 4개의 점(39, 40, 41, 42)을 통하는 평면에 의해서 절단되는 상태를 도시하는 단면도이다. 이 단면도에 도시되어 있듯이, 구면 전개부(38)에서는 점 41로부터 점 40까지의 원호 길이가 점 41로부터 점 42까지의 직선 길이와 같아지도록 전개한다. 이와 같은 방법으로 화상합성면(14) 위에 전개된 화상을 합성화상으로 한다.
점 39와 점 41을 연결하는 직선(43)을 포함하는 평면 위에 존재하는 직선은, 이 변환에 의해 합성화상 위에서도 직선으로 된다. 따라서, 직선(43)이 자동차의 진행방향과 평행하게 되도록 점 39 및 41이 설정되는 경우, 구면의 위치에 관계없이 자동차의 진행방향과 평행하는 직선은 합성화상 위에서도 직선으로 되어, 제2 실시예와 같은 효과를 제공한다. 또한, 도로면(10)에 투영된 차체단부와 직선(43)이 동일 평면 위에 존재하도록 점 39 및 41이 선택되고, 합성화상 위에서는 차체단부도 직선으로 투영되어, 제3 실시예와 유사한 효과를 나타낸다.
상기한 바와 같이, 본 발명의 제4 실시예에 의하면 촬상수단에 의해 촬상된 복수의 화상이 도로면으로 평면 투영되고, 이 평면투영 화상은 구면으로 투영되며, 또한 상기 구면 위의 한 점을 중심으로 상기 구면 투영화상이 평면으로 전개되기 때문에, 구면의 위치변화에도 불구하고 평면으로 전개할 때의 중심점을 조절함으로써 특정직선을 합성화상 위에 직선으로서 투영할 수 있다.
(제5 실시예)
도 11은 본 발명의 제5 실시예에 의한 화상표시장치의 구성을 도시하는 블록도이다. 도 11에 도시한 바와 같이, 본 발명의 제5 실시예에 의한 화상표시장치는, 상기한 구성에 추가하여, 표시데이터 변환제어수단(80)과 표시기능을 가진 거울 등의 표시수단(81)을 포함한다. 표시데이터 변환제어수단(80)은 표시될 화상을 표시수단(81)에 적합한 데이터로 변환하기 위한 것이다. 이 구성에 의해 표시기능이 포함된 거울 위에 화상이 표시되어, 운전자가 주위상황 또는 자동차 위치를 쉽게 인지할 수 있도록 한다. 표시기능이 포함된 거울로서, 액정 또는 유기 EL(전자발광) 등의 표시수단의 표시부 표면 위에 하프 미러(half mirror)가 놓이는 제1 거울구조가 있다. 이 경우에서, 액정 또는 유기 EL부는 전체가 하나의 표시부로 이루어지거나, 복수의 표시부 조합으로 이루어질 수 있다.
또한, 제1 거울구조는 보통의 거울로서 작용하는 상태와, 화상표시 스크린의 역할을 하는 상태 사이에서 스위칭될 수 있다. 또한, 밤이 되면 자동차에 내장된 조도센서에 의해서 화상표시상태로 자동적으로 스위칭될 수 있다. 또한, 운전자에 의한 헤드램프 점등 동작에 응답하여 스위칭 동작이 이루어지는 것도 적절하다. 또한, 예컨대 후방 창문이 비로 인해 흐릿해지거나 겨울에 눈이나 서리로 인해 뒤쪽이 보이지 않게 될 때, 후방 창문에 있는 열선의 스위치를 작동시킴으로써 화상표시상태로 스위칭시킬 수도 있다. 또한, 스위칭이 기어와 링크되고 기어가 후진으로 설정될 때에만 화상표시상태가 설정되도록 할 수도 있다.
따라서, 거울의 전면이 보통의 거울상태와 화상표시상태 사이에서 스위칭될 수 있기 때문에, 운전자는 넓은 표시면을 통해 자동차의 후방상황을 쉽게 포착할 수 있어서, 안전한 운전을 할 수 있다.
한편, 제2 거울구조로서 보통의 거울과 액정 또는 유기 EL 등의 표시부 모두를 이용하는 것도 고려될 수 있다. 이러한 제2 거울구조로써, 보통의 거울부가 후방 상황을 대략적으로 포착하기 위해 사용되는 반면, 추가로 제공된 표시부는 보통의 거울부를 사용할 때에 데드 앵글(dead angle)을 형성하는 부분을 확대된 상태로 표시하거나, 또는 특별한 주의가 필요한 물체부분을 확대한다.
그런데, 이 표시수단들은 거울로 제한되는 것은 아니고, 대시 보드(dash board) 위에 놓인 표시부, 네비게이션 시스템(navigation system)에 결합된 표시장치, 휴대용 정보 단말(portable information terminal), 헤드업 표시장치(head-up display) 등이 있다.
(제6 실시예)
도 12는 본 발명의 제6 실시예에 의한 화상 포착/경고(acquiring/warning) 장치의 구성을 도시하는 블록도이다. 도 12에 도시한 바와 같이, 이 화상 포착/경고장치는 도 11에 도시된 화상표시장치의 구성에 검지수단(82) 및 경고수단(83)을 추가로 포함한다. 예를 들어, 검지수단(82)은 자동차에 결합물체가 형성된 캠핑카(camping car)의 접근을 근접센서를 사용하여 검지한다. 검지수단(82)으로부터의 검지신호는 경고수단(83)으로 공급된다. 따라서, 운전자는 표시수단(81) 위의 화상을 보면서 접근상태를 포착할 수 있다. 자동차 측면 및 캠핑카 측면 위에 장착된 히치(hitch)를 사용하여 캠핑카가 자동차에 결합되는 경우에서, 스피커와 같은 경고수단(83)은 자동차 측면 위의 히치와 캠핑카 측면 위의 히치 사이의 거리가 1m이하가 되고, 그 거리가 50cm 아래에 도달할 때 운전자에게 경고신호를 발생한다. 이 경우에서, 경고수단(83)은 각각 히치들 간의 거리에 대응하는 상이한 음을 발생하는 것이 바람직하다. 이와 같은 방식으로, 히치결합 동작에서 화상을 통해 결합 동작을 확인하면서 접근상태에 따라(결합동작으로 임의로 설정된 거리에서) 적절히 경고를 발할 수 있다. 이는 안전하고 확실한 결합동작을 가능하게 한다.
경고수단(83)은 스피커로 한정되는 것은 아니고, 도 12에 점선으로 표시된 바와 같이, 경고수단(83)이 표시데이터 변환제어수단(80)에 접속되어 경고신호를 송신하여, 경고 심벌 화상(warning symbol image), 플래쉬 화상(flash image), 주의를 주기에 적절한 색 등이 표시수단(81) 위의 화상에 덧붙여진다. 또한, 경고정보를 발하는 조건은 자동차 또는 결합물체의 크기, 중량, 속도 등에 의거하여 임의로 결정될 수 있다.
또한, 촬상수단도 완벽한 결합을 위해 히치 위에 장착될 수도 있다. 또한, 표시화상으로서 평면 투영부(3)의 출력이나 또는 평면 투영부(3)의 출력과 가상 촬상수단(7)으로부터의 화상을 결합한 것이 가상촬상수단(7)으로부터의 화상을 대신하여 사용될 수도 있다.
더욱이, 검지수단은 초음파 형태, 전자기 형태, 광학(적외선 포함) 형태 등으로 될 수 있다. 또한, 경고하기 위해 화상으로부터의 거리를 직접 계산하는 형태를 사용할 수도 있다.
결합물체가 캠핑카인 것으로 설명하고 있지만, 본 실시예는 보트를 나르는 객차 등 다른 물체에도 응용할 수 있다.
(제7 실시예)
도 13은 본 발명의 제7 실시예에 의한 자동차 위치 인지/결정장치의 구성을 나타내는 블록도이다. 도 13에 도시한 바와 같이, 본 발명의 제7 실시예에 의한 자동차 위치 인지/결정장치는, 도 1에 도시된 구성에서 화상검출수단(84), 인지수단(85) 및 비교/판별수단(86)을 추가로 포함한다.
화상검출수단(84)은, 복수의 촬상수단 중 적어도 하나가 자동차의 후방측에 놓인 후방촬상수단일 경우, 후방촬상수단에 의해서 촬상된 화상, 그 투영된 화상 또는 그 조합된 화상들로부터 임의 물체의 화상을 검출하기 위한 것이다. 상기 인지수단은 화상검출수단에 의해서 검출된 화상과 자동차의 화상간의 위치관계를 인지하기 위한 것이다. 상기 비교/판별수단은 임의로 설정된 조건에 대해 비교판별하기 위한 것이다. 보다 상세하게는, 본 발명에 의한 자동차 위치 인지/결정장치에 서, 자동차의 후방측에 장착된 후방촬상수단의 역할을 하는 카메라(하나 혹은 다수의 카메라)는 주차공간의 백선의 화상을 촬상하고, 화상검출수단은 촬상된 화상, 촬상된 화상을 원통면과 구면의 조합에 의한 3차원 투영모델로 투영함으로써 얻어진 화상, 또는 가상촬상수단(7)에 의해서 형성된 합성화상으로부터, 백선의 화상을 검출한다. 또한, 인지수단(85)은 화상검출수단(84)으로부터의 화상데이터에 의거하여 화상검출수단(84)에 의해 검출된 백선과 자동차의 화상간의 위치관계를 계산하고 인지하며, 비교/판별수단(86)은 인지수단(85)(인지수단에 의해 구한 인지 데이터 또는 화상 위치에 의해 비교/판별함)에 의해서 계산된 위치관계에 의거하여 자동차와 백선 사이의 차이를 비교/판별하여, 자동차가 우측 백선과 좌측 백선 사이에 놓이도록 한다.
이와 같은 구성에 의해, 운전자는 후방 및 주위 상황에 추가로 자동차에 대한 위치관계를 용이하게 포착할 수 있어 안전운전을 가능하게 한다.
본 발명은 상기한 실시예에 의해 제한되는 것은 아니며, 본 발명의 실시예에 대한 모든 변형 및 수정은, 본 발명의 사상 및 범위로부터 벗어나지 않는 한, 본 발명에 포함되는 것으로 해석되어야 한다.
본 발명에 의한 화상합성장치 및 방법에 의하면, 주위의 상황과 자동차 사이의 위치관계에 대한 용이한 포착을 하는 복수의 상이한 가시점으로부터 촬상된 복수의 화상을 이용함으로써, 매우 넓은 범위의 정보를 제공함과 아울러, 위화감 없이 화상을 결합하여 보기에 좋은 높은 가시도를 가진 자연 화상을 제작할 수 있는 뛰어난 효과가 있다.

Claims (29)

  1. 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라, 상기 촬상수단에 의해서 촬상된 복수의 화상을 투영부에 투영하여 복수의 제1 투영화상을 생성하는 제1 투영수단과,
    상기 복수의 제1 투영화상을 3차원 투영모델로 투영하여, 제2 투영화상을 생성하는 제2 투영수단과,
    상기 제2 투영화상을 가상적으로 촬상하는 가상촬상수단과,
    상기 3차원 투영모델의 위치와 모양을 결정하는 3차원 투영모델 결정수단과,
    상기 가상촬상수단의 촬상상황을 결정하는 촬상상황 결정수단을 포함하며,
    상기 제2 투영화상은 상기 촬상상황 결정수단에 의해 결정된 촬상상황에서 상기 가상촬상수단에 의해 촬상됨으로써, 상기 복수의 촬상수단에 의해 얻어지는 복수의 화상을 합성하는 것을 특징으로 하는 화상합성장치.
  2. 제1항에 있어서, 상기 촬상상황 검출수단은 상기 투영부에 대한 촬상수단의 위치, 자세 및 촬상특징 중 적어도 하나를 미리 검출하는 것을 특징으로 하는 화상합성장치.
  3. 제1항에 있어서, 상기 제1 투영수단은 상기 촬상된 화상 위의 복수의 점과 상기 투영부 위의 복수의 점을 대응시킴으로써 구해지는 변환행렬을 사용하여, 상기 촬상수단에 의해 촬상된 화상 위의 점을 상기 투영부에 투영하는 것을 특징으로 하는 화상합성장치.
  4. 제1항에 있어서, 상기 투영부는 평면인 것을 특징으로 하는 화상합성장치.
  5. 제1항에 있어서, 상기 3차원 투영모델은 구면인 것을 특징으로 하는 화상합성장치.
  6. 제1항에 있어서, 상기 3차원 투영모델은 서로 모양이 다른 복수의 면들을 조합한 것임을 특징으로 하는 화상합성장치.
  7. 제6항에 있어서, 상기 3차원 투영모델은 평면과 원통을 조합한 것이고, 상기 제2 투영수단에 의해 상기 3차원 투영모델로 투영할 때, 먼 장소는 상기 원통으로 투영되고 기타 장소는 상기 평면으로 투영되며, 상기 가상촬상수단은 상기 투영된 화상을 촬상하는 것을 특징으로 하는 화상합성장치.
  8. 제6항에 있어서, 상기 모양이 서로 다른 복수의 면은 결합 부분이 드러나지 않도록 조합되는 것을 특징으로 하는 화상합성장치.
  9. 제6항에 있어서, 상기 3차원 투영모델은 구와 원통을 조합한 것이고, 상기 제2 투영수단에 의해 상기 3차원 투영모델로 투영할 때, 먼 장소는 상기 원통으로 투영되고 기타 장소는 상기 구로 투영되며, 상기 가상촬상장치는 상기 투영된 화상을 촬상하는 것을 특징으로 하는 화상합성장치.
  10. 제8항에 있어서, 상기 3차원 투영모델은 원통, 평면 및 상기 원통과 상기 평면간의 경계를 원활하게 하는 곡면의 3 종류의 면을 조합한 것임을 특징으로 하는 화상합성장치.
  11. 제1항에 있어서, 상기 촬상수단에 의해 촬상된 화상 위의 선분은 합성화상 위에서 직선으로 변환되는 것을 특징으로 하는 화상합성장치.
  12. 삭제
  13. 제1항에 있어서, 상기 복수의 촬상수단은 자동차에 장착되고,
    상기 자동차의 진행방향을 검출하는 자동차진행방향 검출 수단을 더 포함하고,
    상기 가상촬상수단의 가시점의 위치는 상기 자동차의 진행방향과 평행하게 상기 제2 투영수단의 투영중심을 통과하는 직선 위에 설정되는 것을 특징으로 하는 화상합성장치.
  14. 제1항에 있어서, 상기 복수의 촬상수단은 자동차에 장착되고,
    상기 자동차의 진행방향을 검출하는 자동차진행방향 검출 수단을 더 포함하고,
    상기 자동차의 진행방향을 나타내는 선분이 합성화상 위에서 직선으로 변환되는 것을 특징으로 하는 화상합성장치.
  15. 삭제
  16. 제1항에 있어서, 상기 복수의 촬상수단은 자동차에 장착되고,
    상기 자동차의 차체위치를 검출하는 자동차 차체위치 검출수단을 더 포함하고,
    상기 가상촬상수단의 가시점의 위치는, 상기 자동차의 상기 차체의 끝부분을 평면 투영하여 구한 화상과 상기 제2투영수단의 투영중심을 통과하는 평면 위에 설정되는 것을 특징으로 하는 화상합성장치.
  17. 제11항에 있어서, 상기 촬상수단은 자동차의 후방단부에 장착되고, 상기 자동차의 후방단부는 합성화상 위에서 직선으로 변환되는 것을 특징으로 하는 화상합성장치.
  18. 제11항에 있어서, 상기 촬상수단은 자동차의 측방부에 장착되고, 상기 자동차의 상기 측방부는 합성화상 위에서 직선으로 변환되는 것을 특징으로 하는 화상합성장치.
  19. 제11항에 있어서, 상기 촬상수단은 자동차의 측방부에 장착되고, 상기 자동차가 진행하는 차선에 인접한 차선의 중심선은 합성화상 위의 직선으로 변환됨을 특징으로 하는 화상합성장치.
  20. 제11항에 있어서, 상기 촬상수단은 자동차의 후방부에 장착되고, 상기 자동차가 진행하는 도로에 직교하는 도로의 중심선은 합성화상 위에서 직선으로 변환되는 것을 특징으로 하는 화상합성장치.
  21. 제11항에 있어서, 상기 촬상수단은 자동차의 정면부에 장착되고, 상기 자동차가 진행하는 도로에 직교하는 도로의 중심선은 합성화상 위에서 직선으로 변환되는 것을 특징으로 하는 화상합성장치.
  22. 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라, 상기 촬상수단에 의해 촬상된 복수의 화상을 투영면 위에 투영하여, 복수의 제1 투영화상을 생성하는 제1 투영수단과,
    상기 복수의 제1 투영화상을 구면으로 투영하여 제2 투영화상을 생성하는 제2 투영수단과,
    상기 구면 위의 한 점을 중심으로 상기 제2 투영화상을 평면에 전개시키는 변환수단을 포함하는 것을 특징으로 하는 화상합성장치.
  23. 복수의 화상을 촬상하는 촬상단계와,
    상기 촬상단계에서의 촬상상황을 검출하는 촬상상황 검출단계와,
    상기 촬상상황 검출단계에서 검출된 촬상상황에 따라, 상기 촬상된 복수의 화상을 투영부에 투영하여, 복수의 제1 투영화상을 생성하는 제1 투영단계와,
    상기 복수의 제1 투영화상을 3차원 투영모델로 투영하여, 제2 투영화상을 생성하는 제2 투영단계와,
    상기 제2 투영화상을 가상적으로 촬상하는 가상촬상단계와,
    상기 3차원 투영모델의 위치와 형상을 결정하는 3차원 투영모델 결정단계와,
    상기 가상촬상단계에서 촬상상황을 결정하는 촬상상황 결정단계를 포함하며,
    상기 제2 투영화상은 상기 촬상상황 결정단계에서 결정된 촬상상황에서 상기 가상촬상단계에 의해 촬상됨으로써, 상기 촬상단계에서 구해진 복수의 화상을 합성하는 것을 특징으로 하는 화상합성방법.
  24. 제23항에 있어서, 자동차의 진행방향을 검출하는 자동차진행방향 검출수단으로부터의 신호정보를 상기 촬상상황 검출단계에서 사용된 촬상상황 결정수단에 송신하는 단계를 더 포함하는 것을 특징으로 하는 화상합성방법.
  25. 제23항에 있어서, 자동차의 차체위치를 검출하는 자동차 차체위치 결정수단으로부터의 신호정보를 상기 촬상상황 결정단계에서 사용된 촬상상황 결정수단에 송신하는 단계를 더 포함하는 것을 특징으로 하는 화상합성방법.
  26. 복수의 화상을 촬상하는 촬상단계와,
    상기 촬상단계에서의 촬상상황을 검출하는 촬상상황 검출단계와,
    상기 촬상상황 검출단계에서 검출된 상기 촬상상황에 따라, 상기 촬상단계에서 촬상된 복수의 화상을 투영부에 투영하여 복수의 제1 투영화상을 생성하는 제1 투영단계와,
    상기 복수의 제1 투영화상을 구면에 투영하여 제2 투영화상을 생성하는 제2 투영단계와,
    상기 구면 위의 한 점을 중심으로 상기 제2 투영화상을 평면에 전개시키는 평면전개단계와,
    상기 구면의 위치를 결정하는 구면위치 결정단계를 포함하며,
    상기 평면전개단계에서 얻어진 복수의 화상을 결합하여 합성화상을 생성하는 것을 특징으로 하는 화상합성방법.
  27. 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해서 검출된 촬상상황에 따라 상기 촬상수단에 의해서 촬상된 복수의 화상을 투영부에 투영하여 복수의 제1 투영화상을 생성하는 제1 투영수단과,
    상기 복수의 제1 투영화상을 3차원 투영모델에 투영하여 제2 투영화상을 생성하는 제2 투영수단과,
    상기 제2 투영화상을 가상적으로 촬상하는 가상촬상수단과,
    상기 3차원 투영모델의 위치와 모양을 결정하는 3차원 투영모델 결정수단과,
    상기 가상촬상수단의 촬상상황을 결정하는 촬상상황 결정수단과,
    화상을 표시하는 표시수단과,
    표시될 화상을 상기 표시수단에 적합한 데이터로 변환하는 표시데이터 변환제어수단을 포함하며,
    상기 제2 투영화상은 상기 촬상상황 결정수단에 의해 결정된 촬상상황에서 상기 가상촬상수단에 의해 촬상되어, 상기 복수의 촬상수단에 의해 촬상된 복수의 화상을 조합하여 합성화상을 형성하며, 상기 합성화상은 상기 표시데이터 변환제어수단에 의해 상기 표시수단에 적합한 데이터로 변환되는 것을 특징으로 하는 화상표시장치.
  28. 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해 검출된 촬상상황에 따라, 상기 촬상수단에 의해서 촬상된 복수의 화상을 투영부에 투영하여, 복수의 제1 투영화상을 생성하는 제1 투영수단과,
    상기 복수의 제1 투영화상을 3차원 투영모델에 투영하여, 제2 투영화상을 생성하는 제2 투영수단과,
    상기 제2 투영화상을 가상적으로 촬상하는 가상촬상수단과,
    상기 3차원 투영모델의 위치와 모양을 결정하는 3차원 투영모델 결정수단과,
    상기 가상촬상수단의 촬상상황을 결정하는 촬상상황 결정수단과,
    물체의 접근상황을 검지하는 검지수단과,
    상기 검지수단에 의해 검지된 물체의 접근상황이 소정의 물체 접근상황에 도달했을 때, 임의의 경고정보를 발생하는 경고수단을 포함하는 것을 특징으로 하는 화상 포착/경고장치.
  29. 자동차에 장착된 복수의 촬상수단과,
    상기 촬상수단의 촬상상황을 검출하는 촬상상황 검출수단과,
    상기 촬상상황 검출수단에 의해 검출된 촬상상황에 따라, 상기 촬상수단에 의해 촬상된 복수의 화상을 투영부에 투영하여, 복수의 제1 투영화상을 생성하는 제1 투영수단과,
    상기 복수의 제1 투영화상을 3차원 투영모델에 투영하여, 제2 투영화상을 생성하는 제2 투영수단과,
    상기 제2 투영화상을 가상적으로 촬상하는 가상촬상수단과,
    상기 3차원 투영모델의 위치와 모양을 결정하는 3차원 투영모델 결정수단과,
    상기 가상촬상수단의 촬상상황을 결정하는 촬상상황 결정수단과,
    상기 복수의 촬상수단 중 적어도 하나가 상기 자동차의 후방측에 있는 후방촬상수단일 경우에, 상기 후방촬상수단에 의해서 촬상된 화상, 상기 촬상된 화상을 상기 3차원 투영모델에 투영함으로써 구한 화상, 또는 상기 가상촬상수단에서 촬상된 화상을 조합함으로써 구한 화상으로부터, 임의의 물체의 화상을 검출하는 화상검출수단과,
    상기 화상검출수단에 의해 검출된 화상과 자동차의 화상 사이의 위치관계를 인지하는 인지수단과,
    상기 인지수단에 의해 인지된 위치관계에 의거하여, 상기 자동차와 상기 물체 사이의 위치의 차이에 대한 결정을 하는 결정수단을 포함하는 것을 특징으로 하는 자동차 위치 인지/결정장치.
KR10-2001-0040601A 2000-07-07 2001-07-07 화상합성장치 및 방법 KR100414708B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000206495 2000-07-07
JPJP-P-2000-00206495 2000-07-07
JP2001174414A JP2002083285A (ja) 2000-07-07 2001-06-08 画像合成装置および画像合成方法
JPJP-P-2001-00174414 2001-06-08

Publications (2)

Publication Number Publication Date
KR20020005496A KR20020005496A (ko) 2002-01-17
KR100414708B1 true KR100414708B1 (ko) 2004-01-07

Family

ID=26595591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0040601A KR100414708B1 (ko) 2000-07-07 2001-07-07 화상합성장치 및 방법

Country Status (7)

Country Link
US (1) US7034861B2 (ko)
EP (1) EP1170173B1 (ko)
JP (1) JP2002083285A (ko)
KR (1) KR100414708B1 (ko)
CN (1) CN1212724C (ko)
AT (1) ATE344742T1 (ko)
DE (1) DE60124345T2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961906B1 (ko) 2009-01-19 2010-06-10 인하대학교 산학협력단 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6822563B2 (en) 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
US6891563B2 (en) 1996-05-22 2005-05-10 Donnelly Corporation Vehicular vision system
US7167796B2 (en) 2000-03-09 2007-01-23 Donnelly Corporation Vehicle navigation system for use with a telematics system
EP1303140A4 (en) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd MONITORING SYSTEM
JP4739569B2 (ja) * 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
US7038577B2 (en) 2002-05-03 2006-05-02 Donnelly Corporation Object detection system for vehicle
US7787028B2 (en) * 2002-05-28 2010-08-31 Casio Computer Co., Ltd. Composite image output apparatus and composite image delivery apparatus
JP3918632B2 (ja) * 2002-05-28 2007-05-23 カシオ計算機株式会社 画像配信サーバ、画像配信プログラム、及び画像配信方法
US20060061008A1 (en) 2004-09-14 2006-03-23 Lee Karner Mounting assembly for vehicle interior mirror
JP3871614B2 (ja) * 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
US10144353B2 (en) 2002-08-21 2018-12-04 Magna Electronics Inc. Multi-camera vision system for a vehicle
JP2004147210A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 運転支援装置
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
JP2005223568A (ja) * 2004-02-05 2005-08-18 Nissan Motor Co Ltd 画像合成装置
US7526103B2 (en) 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP2005311698A (ja) * 2004-04-21 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP3722487B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置
JP4573242B2 (ja) * 2004-11-09 2010-11-04 アルパイン株式会社 運転支援装置
KR100579135B1 (ko) * 2004-11-11 2006-05-12 한국전자통신연구원 수렴형 3차원 다시점 영상 획득 방법
DE102005006290A1 (de) * 2005-02-11 2006-08-24 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs durch Fusion eines Infrarot- und eines Visuell-Abbilds
JP4506501B2 (ja) * 2005-02-21 2010-07-21 株式会社日立製作所 画像合成装置及び撮像システム
JP4533191B2 (ja) * 2005-03-04 2010-09-01 株式会社シーズ・ラボ 三次元地図表示装置および三次元地図表示プログラム
JP4596978B2 (ja) * 2005-03-09 2010-12-15 三洋電機株式会社 運転支援システム
US7415134B2 (en) * 2005-05-17 2008-08-19 Honda Motor Co., Ltd. Traffic lane marking line recognition system for vehicle
JP4679293B2 (ja) * 2005-08-08 2011-04-27 三洋電機株式会社 車載パノラマカメラシステム
JP2007124609A (ja) 2005-09-28 2007-05-17 Nissan Motor Co Ltd 車両周囲映像提供装置
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
DE102006008981A1 (de) * 2006-02-23 2007-08-30 Siemens Ag Assistenzsystem zur Unterstützung eines Fahrers
WO2008024639A2 (en) 2006-08-11 2008-02-28 Donnelly Corporation Automatic headlamp control system
WO2008081961A1 (ja) * 2007-01-04 2008-07-10 Hajime Narukawa 情報処理方法
JP4902368B2 (ja) 2007-01-24 2012-03-21 三洋電機株式会社 画像処理装置及び画像処理方法
JP4893945B2 (ja) * 2007-02-06 2012-03-07 株式会社デンソー 車両周辺監視装置
US20080198372A1 (en) * 2007-02-21 2008-08-21 Spatial Photonics, Inc. Vehicle headlight with image display
US8009178B2 (en) * 2007-06-29 2011-08-30 Microsoft Corporation Augmenting images for panoramic display
US20090059018A1 (en) * 2007-09-05 2009-03-05 Micron Technology, Inc. Navigation assisted mosaic photography
JP4697480B2 (ja) 2008-01-11 2011-06-08 日本電気株式会社 車線認識装置、車線認識方法および車線認識プログラム
US20090219381A1 (en) * 2008-03-03 2009-09-03 Disney Enterprises, Inc., A Delaware Corporation System and/or method for processing three dimensional images
US7777615B2 (en) 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
JP5397373B2 (ja) * 2008-05-29 2014-01-22 富士通株式会社 車両用画像処理装置、車両用画像処理方法
JP5093602B2 (ja) * 2008-06-04 2012-12-12 アイシン精機株式会社 周辺認知支援装置
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
JP5436086B2 (ja) * 2009-08-03 2014-03-05 アルパイン株式会社 車両周辺画像表示装置および車両周辺画像表示方法
US8502860B2 (en) * 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
CN102139664A (zh) * 2010-01-29 2011-08-03 鸿富锦精密工业（深圳）有限公司 汽车
JP5135380B2 (ja) * 2010-04-12 2013-02-06 住友重機械工業株式会社 処理対象画像生成装置、処理対象画像生成方法、及び操作支援システム
JP5550970B2 (ja) * 2010-04-12 2014-07-16 住友重機械工業株式会社 画像生成装置及び操作支援システム
JP5478366B2 (ja) * 2010-05-31 2014-04-23 三菱電機株式会社 映像監視装置
US9587946B2 (en) * 2010-06-16 2017-03-07 Navitime Japan Co., Ltd. Navigation system, terminal apparatus, navigation server, navigation apparatus, navigation method, and computer program product
DE102010034139A1 (de) * 2010-08-12 2012-02-16 Valeo Schalter Und Sensoren Gmbh Verfahren zur Unterstützung eines Parkvorgangs eines Kraftfahrzeugs, Fahrerassistenzsystem und Kraftfahrzeug
JP5652097B2 (ja) 2010-10-01 2015-01-14 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
US9900522B2 (en) 2010-12-01 2018-02-20 Magna Electronics Inc. System and method of establishing a multi-camera image using pixel remapping
WO2012089258A1 (en) * 2010-12-29 2012-07-05 Tele Atlas Polska Sp.Z.O.O Methods for mapping and associated apparatus
TW201239807A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd Image capture device and method for monitoring specified scene using the image capture device
US10793067B2 (en) 2011-07-26 2020-10-06 Magna Electronics Inc. Imaging system for vehicle
JP5668857B2 (ja) 2011-07-29 2015-02-12 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102011084554A1 (de) * 2011-10-14 2013-04-18 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
DE102011087901A1 (de) * 2011-12-07 2013-06-13 Robert Bosch Gmbh Verfahren zur Darstellung eines Fahrzeugumfeldes
EP2620917B1 (en) * 2012-01-30 2019-08-28 Harman Becker Automotive Systems GmbH Viewing system and method for displaying an environment of a vehicle
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6079131B2 (ja) * 2012-10-25 2017-02-15 富士通株式会社 画像処理装置、方法、及びプログラム
US9743002B2 (en) 2012-11-19 2017-08-22 Magna Electronics Inc. Vehicle vision system with enhanced display functions
JP6302624B2 (ja) * 2013-04-24 2018-03-28 住友重機械工業株式会社 画像生成装置
US20160024758A1 (en) * 2013-08-26 2016-01-28 Hitachi Construction Machinery Co., Ltd. Device for monitoring around working machine
JP6149676B2 (ja) * 2013-10-09 2017-06-21 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
JP6255928B2 (ja) * 2013-11-15 2018-01-10 スズキ株式会社 俯瞰画像生成装置
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
JP6433015B2 (ja) * 2014-10-03 2018-12-05 エヌ・ティ・ティ・インフラネット株式会社 ナビゲーション装置及びナビゲーション方法
JP6584093B2 (ja) 2015-02-26 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法、及び、プログラム
US9277122B1 (en) * 2015-08-13 2016-03-01 Legend3D, Inc. System and method for removing camera rotation from a panoramic video
US9965837B1 (en) 2015-12-03 2018-05-08 Quasar Blu, LLC Systems and methods for three dimensional environmental modeling
US10607328B2 (en) 2015-12-03 2020-03-31 Quasar Blu, LLC Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
US11087445B2 (en) 2015-12-03 2021-08-10 Quasar Blu, LLC Systems and methods for three-dimensional environmental modeling of a particular location such as a commercial or residential property
US10523865B2 (en) * 2016-01-06 2019-12-31 Texas Instruments Incorporated Three dimensional rendering for surround view using predetermined viewpoint lookup tables
DE102016211227A1 (de) * 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
EP3513554A1 (en) * 2016-09-13 2019-07-24 InterDigital VC Holdings, Inc. Method, apparatus and stream for immersive video format
US10339627B2 (en) 2016-10-10 2019-07-02 Gopro, Inc. Apparatus and methods for the optimal stitch zone calculation of a generated projection of a spherical image
DE102016225066A1 (de) 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
CN108495032B (zh) * 2018-03-26 2020-08-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108961379B (zh) * 2018-06-14 2023-03-31 广东韩丽家居集团股份有限公司 一种基于自动测量而定制家具的方法
JP7374087B2 (ja) * 2018-06-25 2023-11-06 ソニーセミコンダクタソリューションズ株式会社 移動体用映像投射システム、映像投射装置、映像表示光回折用光学素子、ヘルメット、及び映像投射方法
CN113823112B (zh) * 2021-07-31 2023-01-03 浙江慧享信息科技有限公司 一种基于3d投影的园区车位预定辅助系统及辅助方法
CN115161777A (zh) * 2022-07-08 2022-10-11 邢台晶龙新能源有限责任公司 一种晶体炉部件安装辅助设备以及安装晶体炉部件的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02178646A (ja) * 1988-12-29 1990-07-11 Canon Inc パノラマ撮影用表示装置
JPH04275783A (ja) * 1991-03-04 1992-10-01 Nippon Hoso Kyokai <Nhk> 画像情報処理装置
JPH09322040A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像生成装置
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JP2000134537A (ja) * 1998-10-28 2000-05-12 Ricoh Co Ltd 画像入力装置及びその方法
KR20010091419A (ko) * 2000-03-15 2001-10-23 김시중 자동 사진촬영을 이용한 3차원 이미지 제작장치 및 그 방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3205571B2 (ja) 1991-06-28 2001-09-04 日本放送協会 パノラマ画像取り込み装置
JP2917681B2 (ja) 1992-06-29 1999-07-12 日産自動車株式会社 道路形状計測装置
US5289321A (en) * 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US6553130B1 (en) * 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
US5539483A (en) * 1995-06-30 1996-07-23 At&T Corp. Panoramic projection apparatus
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
US6550949B1 (en) * 1996-06-13 2003-04-22 Gentex Corporation Systems and components for enhancing rear vision from a vehicle
AU1947899A (en) * 1997-12-31 1999-07-19 Gentex Corporation Vehicle vision system
US6320612B1 (en) * 1998-05-12 2001-11-20 Jan J. Young Vehicular camera system with plural perspectives
US6304285B1 (en) * 1998-06-16 2001-10-16 Zheng Jason Geng Method and apparatus for omnidirectional imaging
US6175300B1 (en) * 1998-09-03 2001-01-16 Byron K. Kendrick Blind spot viewing system
ATE420528T1 (de) * 1998-09-17 2009-01-15 Yissum Res Dev Co System und verfahren zur erzeugung und darstellung von panoramabildern und filmen
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02178646A (ja) * 1988-12-29 1990-07-11 Canon Inc パノラマ撮影用表示装置
JPH04275783A (ja) * 1991-03-04 1992-10-01 Nippon Hoso Kyokai <Nhk> 画像情報処理装置
US5963664A (en) * 1995-06-22 1999-10-05 Sarnoff Corporation Method and system for image combination using a parallax-based technique
JPH09322040A (ja) * 1996-05-28 1997-12-12 Canon Inc 画像生成装置
JP2000134537A (ja) * 1998-10-28 2000-05-12 Ricoh Co Ltd 画像入力装置及びその方法
KR20010091419A (ko) * 2000-03-15 2001-10-23 김시중 자동 사진촬영을 이용한 3차원 이미지 제작장치 및 그 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100961906B1 (ko) 2009-01-19 2010-06-10 인하대학교 산학협력단 안면인식을 이용한 자동차 백미러의 자동 제어 방법 및 장치

Also Published As

Publication number Publication date
EP1170173B1 (en) 2006-11-08
US7034861B2 (en) 2006-04-25
KR20020005496A (ko) 2002-01-17
US20020018047A1 (en) 2002-02-14
EP1170173A2 (en) 2002-01-09
CN1212724C (zh) 2005-07-27
DE60124345D1 (de) 2006-12-21
DE60124345T2 (de) 2007-05-16
ATE344742T1 (de) 2006-11-15
CN1333626A (zh) 2002-01-30
JP2002083285A (ja) 2002-03-22
EP1170173A3 (en) 2004-11-24

Similar Documents

Publication Publication Date Title
KR100414708B1 (ko) 화상합성장치 및 방법
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
US7190259B2 (en) Surrounding surveillance apparatus and mobile body
CN104442567B (zh) 交通工具图像显示系统中的物体突显和传感
KR100936558B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
JP5132249B2 (ja) 車載用撮像装置
EP2181898A1 (en) Driving assistance system and connected vehicles
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
CN104859538A (zh) 车辆图像显示系统中基于视觉的物体感测和突出显示
JP6213567B2 (ja) 予測進路提示装置及び予測進路提示方法
US8477191B2 (en) On-vehicle image pickup apparatus
WO2002089485A1 (fr) Procede et dispositif pour la presentation d&#39;une image de camera embarquee a bord d&#39;un vehicule
JP2010183170A (ja) 車両用表示装置
JP2008077628A (ja) 画像処理装置並びに車両周辺視界支援装置及び方法
US20190135169A1 (en) Vehicle communication system using projected light
JP2004240480A (ja) 運転支援装置
JP2004312638A (ja) 障害物検知装置
JP3834967B2 (ja) 死角範囲表示装置
JP2003339044A (ja) 車両用周辺監視装置
JP3464368B2 (ja) 車両用後側方監視装置
JP3988551B2 (ja) 車両周囲監視装置
CN112208438B (zh) 行车辅助影像产生方法及系统
WO2019221151A1 (ja) 撮像システム
JP2024057204A (ja) 表示システム、車両、制御方法、及びコンピュータプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131202

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141203

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20171114

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20191119

Year of fee payment: 17