KR101293263B1 - 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 - Google Patents

복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101293263B1
KR101293263B1 KR1020100002797A KR20100002797A KR101293263B1 KR 101293263 B1 KR101293263 B1 KR 101293263B1 KR 1020100002797 A KR1020100002797 A KR 1020100002797A KR 20100002797 A KR20100002797 A KR 20100002797A KR 101293263 B1 KR101293263 B1 KR 101293263B1
Authority
KR
South Korea
Prior art keywords
image
distance information
wide
input image
camera
Prior art date
Application number
KR1020100002797A
Other languages
English (en)
Other versions
KR20110082873A (ko
Inventor
이준석
홍상석
전병찬
Original Assignee
(주) 에투시스템
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 에투시스템 filed Critical (주) 에투시스템
Priority to KR1020100002797A priority Critical patent/KR101293263B1/ko
Publication of KR20110082873A publication Critical patent/KR20110082873A/ko
Application granted granted Critical
Publication of KR101293263B1 publication Critical patent/KR101293263B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치에 관한 것으로서, 인접한 광각 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 적어도 2 이상의 복수개의 광각 카메라; 상기 복수개의 광각 카메라로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 수신하는 영상 신호 수신부; 상기 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 합성 영상 신호를 생성하는 영상 합성부; 및 상기 영상 합성부에서 생성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 출력하는 영상 신호 출력부를 포함하되, 상기 영상 합성부는 상기 복수개의 입력 영상 신호 중 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호 각각에 대하여, 서로 겹치는 촬영 영역의 특징점을 각각 획득하고, 상기 특징점에 대한 거리 정보를 산출하고, 상기 산출된 거리 정보에 의거한 거리 정보 표시 신호를 영상 신호 출력부에 의해 출력 영상과 함께 출력하는 것을 특징으로 하는 영상 처리 장치를 제공한다. 본 발명에 의하면, 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호를 이용하여 단일 평면화 합성 영상으로 합성하여 제공하는 경우 합성 영상에 거리 정보를 함께 표시할 수 있는 효과가 있다.

Description

복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS PROVIDING DISTACNCE INFORMATION IN A COMPOSITE IMAGE OBTAINED FROM A PLURALITY OF IMAGE AND METHOD USING THE SAME}
본 발명은 영상 처리 장치 및 방법에 관한 것으로서, 보다 상세하게는 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법에 관한 것이다.
최근, IT 기술의 발전과 더불어 이를 차량에 접목시키고자 하는 시도가 증가하고 있다. 예컨대, 차량에 카메라를 장착하여 운전 상태나 주변 상황을 녹화하는 블랙 박스 장치나 차량의 후방에 카메라를 설치하여 후진시 후방 영상을 촬영하여 차량 내부의 디스플레이 장치에 출력하도록 하는 주차 보조 시스템 등이 사용되고 있으며 이러한 추세는 점차 증가하고 있는 것으로 보고되고 있다. 한편, 이러한 기술 중에서 최근에는 차량의 전후방, 좌우측면에 광각 카메라를 설치하고 이들 카메라들로부터 촬영되는 영상을 차량의 바로 위 즉, 상방향에서 내려다보는 형태의 영상으로 재구성하여 차량의 디스플레이 장치에 출력함으로써 운전자의 편의를 도모하도록 하는 시스템도 제안되고 있다. 이러한 시스템은 마치 새가 하늘에서 내려다 보는 듯한 영상을 제공한다는 점에서 버드아이뷰(Bird eye vie) 시스템이라고 하거나 AVM(around view monitoring) 시스템 등으로 불리우고 있다. 이러한 기술은 보다 넓은 시야각을 확보하기 위하여 어안(fish eye) 렌즈를 구비하는 광각 카메라를 사용하는데, 이러한 광각 카메라를 사용하여 획득되는 복수개의 영상 신호들에 대해 1) 왜곡 보정 단계, 2) 평면화 단계, 3) 재배열 단계, 4) 단일 영상화 단계를 거쳐서 차량의 상공에서 내려다 보는 합성 영상을 구성하여 제공하게 된다.
그러나, 이러한 종래의 합성 영상 제공 시스템은 여러 단계를 거쳐 복잡한 연산 처리를 수행함에도 불구하고 제공되는 최종 합성 영상은 단순히 차량과 그 주변의 영상만을 디스플레이하는 것에 불과하므로 차량 주변의 영상에 나타나는 각종 구조물이나 사람 등에 대한 거리 정보를 제공하지는 못하고 있다. 따라서, 종래의 합성 영상 제공 시스템에서 단순히 주변 영상을 출력하는데 그치지 않고 주변 영상들과 함께 거리 정보를 함께 제공하도록 하는 방안이 요망되고 있다.
본 발명은 상기한 바와 같은 한계점을 해결하기 위하여 안출된 것으로서, 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호를 이용하여 단일 평면화 합성 영상으로 합성하여 제공하는 경우 합성 영상에 거리 정보를 함께 표시할 수 있도록 하는 장치 및 방법을 제공하는 것을 목적으로 한다.
또한 본 발명은 합성 영상에 거리 정보를 함께 표시하도록 함으로써 합성 영상에 나타나는 주변 구조물이나 사람 등의 위치 관계를 정확히 파악하도록 함으로써 특히 차량에 적용되는 경우 안전 사고를 방지하고 차량 조작의 편의성을 도모할 수 있는 장치 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치에 있어서, 인접한 광각 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 적어도 2 이상의 복수개의 광각 카메라; 상기 복수개의 광각 카메라로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 수신하는 영상 신호 수신부; 상기 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 합성 영상 신호를 생성하는 영상 합성부; 및 상기 영상 합성부에서 생성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 출력하는 영상 신호 출력부를 포함하되, 상기 영상 합성부는 상기 복수개의 입력 영상 신호 중 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호 각각에 대하여, 서로 겹치는 촬영 영역의 특징점을 각각 획득하고, 상기 특징점에 대한 거리 정보를 산출하고, 상기 산출된 거리 정보에 의거한 거리 정보 표시 신호를 영상 신호 출력부에 의해 출력 영상과 함께 출력하는 것을 특징으로 하는 영상 처리 장치를 제공한다.
여기에서, 상기 영상 합성부는, 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호 각각의 왜곡 보정 단계와, 상기 왜곡 보정 단계에 의해 왜곡 보정된 입력 영상 신호 각각에 대한 평면화 단계와, 상기 평면화 단계에 의해 평면화된 입력 영상 신호 각각의 재배열 단계를 수행한 후의 복수개의 재배열 영상 중 서로 겹치는 촬영 영역을 갖는 2개의 재배열 영상 각각에 대하여, 서로 겹치는 촬영 영역의 특징점을 각각 획득하고, 상기 특징점에 대한 거리 정보를 산출하고, 상기 산출된 거리 정보에 의거한 거리 정보 표시 신호를 영상 신호 출력부에 의해 출력 영상과 함께 출력하도록 구성할 수 있다.
또한, 상기 특징점에 대한 거리 정보는,
Figure 112010001979911-pat00001
Figure 112010001979911-pat00002
(여기서, a는 카메라 중 하나인 제1 카메라의 x축 좌표이고, b는 카메라 중 다른 하나인 제2 카메라의 y축 좌표이고, α는 제1 카메라의 x축과 특징점과의 각도이고, β는 제2 카메라의 y축과 특징점과의 각도임)
의 수식에 의해 얻어지는 (x,y) 좌표값에 의해 산출할 수 있다.
또한, 상기 거리 정보 표시 신호는 특징점에 대해 산출된 거리 정보가 서로 동일한 지점들끼리 연결되는 선에 의해 표시되면서 거리값을 출력할 수 있다.
본 발명의 다른 측면에 의하면, 상기한 바와 같은 장치에 의한 영상 처리 방법으로서, 복수개의 입력 영상 신호를 수신하는 단계; 상기 수신한 입력 영상 신호에 기초하여 합성 영상을 생성하면서, 상기 복수개의 입력 영상 신호 중 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호 각각에 대하여, 서로 겹치는 촬영 영역의 특징점을 각각 획득하고, 상기 특징점에 대한 거리 정보를 산출하고, 상기 산출된 거리 정보에 의거한 거리 정보 표시 신호를 생성하는 단계; 상기 합성 영상과 거리 정보 표시 신호를 출력하는 단계를 구비하는 영상 처리 방법을 제공할 수 있다.
본 발명에 의하면, 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호를 이용하여 단일 평면화 합성 영상으로 합성하여 제공하는 경우 합성 영상에 거리 정보를 함께 표시할 수 있도록 하는 장치 및 방법을 제공할 수 있다.
또한 본 발명에 의하면, 합성 영상에 거리 정보를 함께 표시하도록 함으로써 합성 영상에 나타나는 주변 구조물이나 사람 등의 위치 관계를 정확히 파악하도록 함으로써 특히 차량에 적용되는 경우 안전 사고를 방지하고 차량 조작의 편의성을 도모할 수 있는 효과가 있다.
도 1은 종래의 영상 합성 시스템의 기본적인 과정과 각 과정별의 영상을 나타낸 도면이다.
도 2는 본 발명에 의한 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치의 일실시예의 구성을 나타낸 블록도이다.
도 3 및 도 4는 차량에 장착된 카메라에 의해 획득된 영상과 이들의 공통되는 특징점을 나타낸 도면이다.
도 5는 차량의 전/후방, 좌측/우측면에 각각 카메라를 장착한 경우 발생하는 공통 영역을 설명하기 위한 도면이다.
도 6은 공통 영역 Ⅱ에서의 특징점 중 하나에 대해 거리 정보를 구하는 과정을 설명하기 위한 도면이다.
도 7은 영상 신호 출력부를 통해 출력되는 합성 영상과 함께 거리 정보 표시 신호를 표시하는 방법의 일예를 나타낸 도면이다.
이하, 첨부 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명하기로 한다.
우선, 본 발명에 의한 실시예를 설명하기에 앞서서, 본 발명과 관련된 종래 기술의 원리를 개략적으로 설명한다.
전술한 바와 같이, 차량의 전후방, 좌우측면에 복수개 예컨대 4개의 어안 렌즈를 갖는 광각 카메라를 설치하여 지면에 수평 방향으로 영상을 촬영하고, 이를 차량의 상부에서 내려다 보는 형태로 재구성하는 종래 기술(이하, 이러한 종래 기술을 편의상 간단히 "영상 합성 시스템"이라 한다)이 제안되고 있다. 이러한 종래의 영상 합성 시스템의 기본적인 과정과 각 과정별의 영상을 도 1에 예시적으로 나타내었다.
도 1을 참조하면, 종래의 영상 합성 시스템은 6단계로 구성되는데, 영상 입력 단계(S100), 왜곡 보정 단계(S110), 평면화 단계(S120), 재배열 단계(S130), 단일 영상화 단계(S140) 및 단일 영상 출력 단계(S150)의 과정을 구비한다.
영상 입력 단계(S100)는 복수개의 광각 카메라로부터 획득되는 복수개의 영상 신호가 입력되는 과정이다. 예컨대, 차량인 대상 물체에 복수개의 카메라를 장착하는 경우, 전방/후방/좌측면/우측면에 4개의 광각 카메라를 장착할 수 있으며, 이 때 촬영되는 영상은 도 1에 나타낸 바와 같이 나타나게 된다. 전술한 바와 같이, 광각 카메라는 어안 렌즈를 구비하므로 넓은 시야각을 확보할 수 있는데, 이는 대상 물체 주변의 영상 신호에 의해 추후에 설명하는 바와 같이 단일 평면화 영상을 구성하기 위해서는 각 카메라간에 일정 영역이 서로 겹치는 부분이 있어야 하고 겹치는 영역에도 불구하고 보다 적은 수의 카메라로서 영상을 재구성하기 위해서는 각각의 카메라의 시야각이 넓어야 하기 때문이다. 한편, 본 발명에서, 카메라라고 하는 것은, 어안 렌즈 뿐 아니라 이미지 센서 등 기타 전기적 장치를 포함하는 개념으로서 사용한다. 즉, 단순히 영상을 광학적으로 취득하는 기구만을 의미하는 것이 아니라, 광학 신호를 전기적인 신호로 변환하는 장치로서, 예컨대 도 2에 나타낸 바와 같이 영상 처리 장치에 입력되어 처리할 수 있는 형태의 신호를 출력하는 수단을 의미하는 개념으로 정의하여 사용한다.
한편, 전술한 바와 같이 가능한 한 적은 수의 카메라만을 사용하기 위해 어안 렌즈를 장착한 광각 카메라를 사용할 경우 넓은 시야각을 확보할 수는 있으나, 획득되는 영상의 가장자리 쪽으로 갈수록 영상이 방사형으로 왜곡되게 된다. 왜곡 보정 단계(S110)는 이러한 왜곡 영상을 보정하기 위한 과정이다. 어안 렌즈 왜곡 보정은 크게 "Equi-solid Angle Projection", "Orthographic Projection"의 두 가지 방식으로 나눌 수 있는데, 이는 어안 렌즈를 제조할 때 어안 렌즈로 들어오는 빛을 어떻게 재배열하느냐를 정의하는 방식으로 어안 렌즈 제조사는 어안 렌즈 제조 시에 두 가지 방법 중 하나를 선택해서 어안렌즈를 제조한다. 따라서 어안 렌즈에 적용된 왜곡 방식에 따라 왜곡 연산의 역연산을 구하고, 어안 렌즈로 촬영한 영상을 역변환해주면 "왜곡 보정"된 영상을 얻을 수 있으며, 이 때 변환된 영상을 "왜곡 보정 영상"이라고 한다. 왜곡 보정 영상은 도 1에 나타낸 바와 같이 표시될 수 있으며, 왜곡 보정을 수행하기 위한 연산식은 예컨대 다음과 같은 수식을 사용할 수 있다.
[수식 1]
Figure 112010001979911-pat00003
Figure 112010001979911-pat00004
여기에서,
Figure 112010001979911-pat00005
는 카메라의 촛점 거리,
Figure 112010001979911-pat00006
는 카메라의 광중심에서 입력 영상의 (x,y) 좌표 즉,
Figure 112010001979911-pat00007
까지의 거리,
Figure 112010001979911-pat00008
및
Figure 112010001979911-pat00009
은 입력 영상의 (x,y) 좌표값이고,
Figure 112010001979911-pat00010
및
Figure 112010001979911-pat00011
은 왜곡 보정 영상의 (x,y) 좌표값이다.
다음으로, 왜곡 보정 영상을 얻게 되면, 평면화(homography) 과정을 수행한다(S120). 평면화 과정(S120)은 대상 물체 즉, 카메라가 장착된 물체 위에서 대상물체를 지면을 향하는 방향 즉, 수직으로 내려다보는 영상으로 변환하는 과정이다. 전술한 바와 같이, 왜곡 보정 단계(S110)에서 얻어지는 왜곡 보정 영상은 각각의 카메라마다 각기 다른 시점으로 촬영한 영상에 해당하므로, 이들 영상은 하나의 시점 즉, 수직으로 내려다 보는 시점의 영상으로 변환하는 과정이 평면화 단계(S120)이다. 평면화 단계(S120)를 수행하여 생성된 영상을 평면화 영상이라고 하며, 평면화 단계(S120) 수행 이후의 영상은 도 1에 나타낸 바와 같이 표시될 수 있고, 이러한 평면화 단계에서는 예컨대 다음과 같은 수식을 사용할 수 있다.
[수식 2]
Figure 112010001979911-pat00012
여기서,
Figure 112010001979911-pat00013
은 상기 수식 1에 의해 획득된 왜곡 보정 영상의 (x,y) 좌표값이고,
Figure 112010001979911-pat00014
은 상기 수식 2에 의해 변환된 평면화영상의 (x,y) 좌표값이며,
Figure 112010001979911-pat00015
은 평면화 변환계수(이를 Perspective Transform이라고 한다)를 의미한다.
다음으로, 평면화 영상이 획득되면, 재배열 단계(Affine transform)를 수행한다(S130). 재배열 단계(S130)는, 평면화 단계에서 생성된 평면화 영상들을 변위이동 및 회전만을 적용해 재배열하는 단계로서, 대상 물체를 둘러싸도록 촬영된 영상들이 대상물체를 제외한 주변 영상으로 재구성되는 단계이다. 이러한 재배열 단계(S130)는, 화소에 대한 이동과 회전만으로 이루어질 수 있는데, 이를 위해 어파인 변환(Affine transform) 등과 같은 방법을 사용할 수 있다. 재배열을 통해 생성된 영상을 재배열 영상이라고 하며, 재배열 영상은 도 1에 나타낸 바와 같이 표시될 수 있다.
재배열 단계에서는 다음과 같은 수식을 사용할 수 있다.
[수식 3]
Figure 112010001979911-pat00016
여기에서,
Figure 112010001979911-pat00017
은 수식 2에 의해 변환된 평면화 영상의 (x,y) 좌표값이고,
Figure 112010001979911-pat00018
은 수식 3에 의해 변환될 재배열 영상의 (x,y) 좌표값이고,
Figure 112010001979911-pat00019
는 회전 변환 계수이고,
Figure 112010001979911-pat00020
는 변위 이동 계수(
Figure 112010001979911-pat00021
과
Figure 112010001979911-pat00022
를 합쳐서 affine transform으로 정의한다)를 의미한다.
다음으로, 단일 영상화 단계(S140)를 수행한다. 재배열 영상은 영상을 단지 다시 배열해 놓은 것에 불과하기 때문에, 대상 물체 주변을 촬영한 영상들은 서로 공통 영역을 가지며 공통 영역이 서로 겹치게 배열된다. 따라서 공통 영역을 가지는 재배열 영상에서 겹치는 부분을 처리하여 공통 영역에 대해 하나의 대표 영상을 획득하게 하는 단일 영상화 단계가 필요하다. 단일 영상화 단계는 여러 가지 구현 방식을 사용할 수 있으며 구현 방식에 따라 달라질 수 있으므로, 구현 원리만 간단히 설명하도록 한다. 공통 영역이 발생하면 단일 영상화단계는 이 공통 영역을 화소 단위로 쪼개어 분석하여 보다 더 정확한 위치에 배열된 화소들만으로 단일화 영상 영역을 구성하게 한다. 정확한 위치에 배열된 화소에 대한 기준은 여러 가지가 될 수 있는데 가장 간단한 기준은 예컨대 화소가 속한 영상의 광중심과 화소와의 거리가 될 수 있다. 이 기준을 이용하여 공통 영역의 겹치는 화소들 가운데 광중심에 보다 더 가까이 놓인 화소만으로 공통 영역을 재구성하게 되면, 재배열 영상을 겹치는 영역 없이 단일 영상으로 구성할 수 있게 된다. 단일 영상화 단계를 통해 생성되는 영상을 단일 영상이라 하며, 도 1에 나타낸 바와 같이 표시될 수 있다.
이와 같이 단일 영상화 단계(S140)까지를 수행하게 되면 평면화된 단일 영상이 획득되고, 이를 출력(S150)하게 되면 도 1에 나타낸 바와 같이 대상 물체 주변을 대상 물체의 수직 상방향에서 내려다 본 형태의 영상을 볼 수 있게 된다.
한편, 전술한 각 단계 및 각 단계에서 사용하는 수식 1, 2 및 수식 3등은 종래 기술에 의해 이용되고 있는 것이고, 본 발명과는 직접적인 관련은 없는 것이므로 상세 설명은 생략하였다. 특히, 수식 2 및 3에서 각각의 계수들은 사용되는 방식 또는 알고리듬에 따라서 다르게 결정될 수 있는 것으로서, 본 발명은 이러한 계수를 산출하는 방법 자체와 관련되는 것은 아니므로 이들에 대한 상세 설명 또한 생략한다.
도 2는 본 발명에 의한 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치의 일실시예의 구성을 나타낸 블록도이다.
도 2를 참조하면, 본 실시예의 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치(이하, 간단히 영상 처리 장치라고 한다, 10)는 복수개의 광각 카메라(11), 영상 신호 수신부(12), 영상 합성부(13) 및 영상 신호 출력부(14)를 구비한다.
복수개의 광각 카메라(11)는 인접한 광각 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되며, 적어도 2 이상의 복수개로 구성되어 각각 영상을 촬영하여 이를 전기적 신호로 변환하여 영상 신호 수신부(12)로 전송한다. 전술한 바와 같이, 각 카메라(11)는 단순한 광학 기구 뿐 아니라 광학 신호를 전기적 신호로 변환하는 이미지 센서 등의 전기적 장치를 포함하는 개념임을 유의해야 한다. 예컨대, 대상 물체가 차량인 경우 광각 카메라(11)는 차량의 전방/후방/좌측면/우측면에 배치될 수 있으며, 이들 각각의 카메라(11)는 그 촬영 영역이 인접하는 카메라(11) 사이에서 적어도 일부분 이상 겹치도록 배치된다.
영상 신호 수신부(12)는 복수개의 광각 카메라(11)로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 각각 수신하는 수단으로서, 수신된 복수개의 입력 영상 신호를 영상 합성부(13)로 전송한다. 필요한 경우 영상 신호 수신부(12)에서는 필터 등에 의해 영상 전처리 과정을 수행할 수도 있다.
영상 합성부(13)는 상기 영상 신호 수신부(12)로부터 복수개의 입력 영상 신호를 수신하여 합성 영상 신호를 생성하면서, 상기 복수개의 입력 영상 신호 중 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호 각각에 대하여 서로 겹치는 촬영 영역의 특징점을 각각 획득하고 상기 특징점에 대한 거리 정보를 산출하고, 상기 산출된 거리 정보에 의거한 거리 정보 표시 신호를 영상 신호 출력부에 의해 출력 영상과 함께 출력하도록 하는 기능을 수행한다.
영상 합성부(13)에서 합성 영상 신호를 생성하는 것은 도 1을 참조하여 설명한 바와 같은 단계에 의해 이루어질 수 있다. 즉, 도 1을 참조하여 설명한 바와 같이, 복수개의 카메라로부터 획득되는 복수개의 입력 영상 신호들에 대해 왜곡 보정 단계, 평면화 단계, 재배열 단계 및 단일 영상화 단계를 순차적으로 수행하면서 합성 영상 신호를 생성하게 된다. 영상 합성부(13)는 이러한 과정을 수행하는 도중, 재배열 단계 이후 단일 영상화 단계 이전 단계에서 복수개의 재배열 영상 중 서로 겹치는 촬영 영역을 갖는 2개의 재배열 영상 각각에 대하여, 서로 겹치는 촬영 영역의 특징점을 각각 획득하고, 상기 특징점에 대한 거리 정보를 산출하고, 상기 산출된 거리 정보에 의거한 거리 정보 표시 신호를 영상 신호 출력부에 의해 출력 영상과 함께 출력하도록 구성할 수 있다.
특징점을 획득하고 특징점에 대한 거리 정보를 산출하고 거리 정보에 의거하여 거리 정보 표시 신호를 출력하는 것은 다음과 같이 이루어질 수 있다.
도 3 및 도 4는 차량에 장착된 카메라에 의해 획득된 영상과 이들의 공통되는 특징점을 나타낸 도면으로서, 도 3은 차량의 전방에 장착된 카메라에 의해 획득된 영상이고 도 4는 차량의 우측면에 장착된 카메라에 의해 획득된 영상을 나타낸 것이다. 도 3 및 도 4는 전술한 바와 같이, 재배열 단계 이후 단일 영상화 단계 이전에서의 각각의 카메라의 영상이다.
도 3 및 도 4를 참조하면 2개의 영상은 전술한 바와 같이 광각 카메라에 의해 획득된 영상이므로 서로 공통되는 영역를 가지게 되고 이들에 대해서 도면에서 점으로 나타낸 바와 같이 특징점을 찾을 수 있다. 특징점이라 함은, 일반적으로 하나의 영상의 특징을 나타낼 수 있는 화소를 의미하는데, 이러한 영상의 특징을 나타낼 수 있는 화소를 찾는 방법은 예컨대 해리스 코너 검출기(Harris corner detector) 등과 같은 코너 검출 방법(corner detection), SIFT(Scale Invariant Feature Transform), SURF(Speed-up Robust Feature) 등과 같은 종래 알려진 방법을 사용할 수 있다. 도 3 및 도 4에 나타낸 특징점들은 이러한 종래 기술에 의해 알려진 특징점 검출 기법을 적용하여 양 영상의 공통 영역에 공통되는 특징점들을 획득하게 된다. 도 3 및 도 4와 같이, 공통되는 특징점들이 획득되면 이들 특징점들에 대해서는 다음과 같은 방법을 적용하여 특징점의 거리 정보를 획득할 수 있다.
도 5는 차량의 전/후방, 좌측/우측면에 각각 카메라를 장착한 경우 발생하는 공통 영역을 설명하기 위한 도면이다. 도 5를 참조하면, 공통영역은 4군데 발생하게 되며, 공통 영역 Ⅰ은 전방과 좌측면 카메라에 의해, Ⅱ는 전방과 우측면 카메라에 의해, Ⅲ은 후방과 우측면 카메라에 의해, Ⅳ는 후방과 좌측면 카메라에 의해 각각 발생하는 영역이다.
이러한 공통 영역 각각에 대해서는 도 3 및 도 4에서 설명한 바와 같은 원리에 기초하여 각각의 공통 영역에 대해 서로 공통되는 특징점들을 획득할 수 있으며, 특징점이 획득되면 특징점에 대해서는 아래와 같은 과정을 거쳐 특징점들의 거리 정보를 얻을 수 있다.
도 6은 공통 영역 Ⅱ에서의 특징점 중 하나에 대해 거리 정보를 구하는 과정을 설명하기 위한 도면이다.
도 6에서 P(x,y)는 특징점이고 이 특징점의 좌표는 x,y값에 의해 결정된다.
도 6에 A(a,0)은 우측면 카메라가 위치한 곳의 좌표를 나타낸 것이고 B(0,b)는 전방 카메라가 위치한 곳의 좌표를 나타낸 것이다. 이 때, 원점 O(0,0)은 카메라를 직선으로 연장한 선이 교차하는 곳이 된다. 이를 위해서, 전방과 후방 카메라, 좌측면과 우측면 카메라는 동일 축 상에 놓여지는 것이 바람직하다. 또한, α는 특징점 P와 우측면 카메라의 좌표값 A가 x축에 대해 이루는 각도이고, β는 특징점 P와 전방 카메라의 좌표값 B가 y축에 대해 이루는 각도이다.
이와 같이 좌표계를 구성하게 되면, 특징점 P(x,y)의 각각의 좌표는 다음과 같은 관계를 갖는다.
Figure 112010001979911-pat00023
Figure 112010001979911-pat00024
여기에서, a,b,α,β는 이미 알려진 값이므로 위의 식을 이용하면 l,m을 다음과 같은 수식에 의해 구할 수 있다.
Figure 112010001979911-pat00025
Figure 112010001979911-pat00026
이 결과를 이용하면 특징점 P(x,y)의 좌표값을 구할 수 있으므로 원점에서부터의 거리 정보를 얻을 수 있게 되고, 공통 영역에 포함된 모든 특징점들에 대해서도 이와 같은 과정을 반복하게 되면 모든 특징점들에 대해서도 좌표값을 구할 수 있으므로 마찬가지로 원점에서부터의 거리 정보를 얻을 수 있게 된다. 이러한 결과는 전술한 바와 같이 영상 합성부(13)에서 이루어지는데, 공통 영역의 각각의 특징점은 단일 영상화 단계 이전에 이루어지고, 특징점에 대한 거리 정보는 단일 영상화 단계에서 선택된 단일 영상에 대해서 이루어지게 된다.
이와 같은 과정을 모든 공통 영역 Ⅰ~Ⅳ에 대해서 반복수행하면 각각의 공통 영역의 모든 특징점들에 대한 좌표값 및 거리 정보를 획득할 수 있게 된다.
영상 합성부(13)는 이와 같은 모든 공통 영역의 모든 특징점들에 대한 거리 정보에 기초하여 거리 정보 표시 신호를 생성하고 이를 영상 신호 출력부에 의해 출력 영상과 함께 출력하도록 한다.
영상 신호 출력부(14)를 통해 출력되는 합성 영상과 함께 거리 정보 표시 신호를 표시하는 방법은 예컨대 도 7과 같이 이루어질 수 있다.
도 7은 전술한 바와 같은 과정에 의해 특징점 모두에 대해 거리 정보를 획득하고 이들에 기초하여 원점으로부터 동일한 거리 정보를 갖는 특징점들을 그룹화하고 이들을 서로 선(line)으로 연결한 것이다. 도 7에 나타낸 바와 같이, 예컨대 원점으로부터 0,5m거리에 위치한 특징점들을 찾아 이들을 서로 연결하고 1m 거리에 위치한 특징점들을 찾아서 이들을 서로 연결하고 1.5m 거리에 위치하는 특징점들을 찾아 이들을 서로 선으로 연결하는 방식에 의해 도 7과 같은 거리 정보 표시 신호를 출력할 수 있게 된다. 도 7과 같이 표시하는 경우, 공통 영역에서의 특징점들은 같은 거리 정보를 갖는 특징점들이 존재하지만 공통영역이 아닌 영역 예컨대 도 5에서 공통 영역 Ⅰ과 Ⅱ 사이의 영역(여기는 전방 카메라에 의해서만 촬영되는 영역임)에 대해서는 거리 정보 표시 신호를 나타낼 수 없으므로 이들 영역에서는 공통 영역 Ⅰ과 Ⅱ에서의 같은 거리를 서로 직선으로 연결하는 방식으로 표현할 수 있을 것이다. 실제 공통되지 않는 영역들은 대부분 왜곡이 덜한 부분의 영상이므로 이와 같이 공통 영역에서의 같은 거리들을 연결해도 큰 오차가 발생하지는 않는다.
다시 도 2를 참조하면, 영상 신호 출력부(15)는 전술한 바와 같이 영상 합성부(13)에서 구성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 장치 외부의 디스플레이 장치 예컨대 LCD 모니터 등으로 출력하는 기능을 수행하고, 이와 동시에 전술한 바와 같이 영상 합성부(13)에서 생성되는 거리 정보 표시 신호를 상기 합성 영상 신호에 기초한 출력 영상과 함께 외부의 디스플레이 장치로 표시하여 도 7과 같은 형태로 나타내도록 하는 기능을 수행한다.
이상에서, 바람직한 실시예를 참조하여 본 발명을 설명하였으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명은 첨부한 특허청구범위 및 도면 등의 전체적인 기재를 참조하여 해석되어야 할 것이며, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
11...카메라, 12...영상신호 수신부,
13...영상 합성부, 14...영상신호 출력부,
10...영상 처리 장치.

Claims (5)

  1. 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치에 있어서,
    인접한 광각 카메라 사이에서 촬영 영역이 일부분 겹치도록 배치되는 적어도 2 이상의 복수개의 광각 카메라;
    상기 복수개의 광각 카메라로부터 획득된 적어도 2 이상의 복수개의 입력 영상 신호를 수신하는 영상 신호 수신부;
    상기 영상 신호 수신부로부터 복수개의 입력 영상 신호를 수신하여 합성 영상 신호를 생성하는 영상 합성부; 및
    상기 영상 합성부에서 생성된 합성 영상 신호에 기초하여 출력 영상을 생성하여 출력하는 영상 신호 출력부
    를 포함하되,
    상기 영상 합성부는 상기 복수개의 입력 영상 신호 중 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호 각각에 대하여, 서로 겹치는 촬영 영역의 특징점을 각각 획득하고, 상기 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호를 전송한 2개의 광각 카메라를 지나는 연장선이 서로 직교하는 원점과 상기 특징점 사이의 거리를 나타내는 거리 정보를 산출하고, 상기 산출된 거리 정보에 의거한 거리 정보 표시 신호를 영상 신호 출력부에 의해 출력 영상과 함께 출력하는 것을 특징으로 하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 영상 합성부는, 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호 각각의 왜곡 보정 단계와, 상기 왜곡 보정 단계에 의해 왜곡 보정된 입력 영상 신호 각각에 대한 평면화 단계와, 상기 평면화 단계에 의해 평면화된 입력 영상 신호 각각의 재배열 단계를 수행한 후의 복수개의 재배열 영상 중 서로 겹치는 촬영 영역을 갖는 2개의 재배열 영상 각각에 대하여, 서로 겹치는 촬영 영역의 특징점을 각각 획득하고, 상기 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호를 전송한 2개의 광각 카메라를 지나는 연장선이 서로 직교하는 원점과 상기 특징점 사이의 거리를 나타내는 거리 정보를 산출하고, 상기 산출된 거리 정보에 의거한 거리 정보 표시 신호를 영상 신호 출력부에 의해 출력 영상과 함께 출력하는 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호를 전송한 2개의 광각 카메라를 지나는 연장선이 서로 직교하는 원점과 상기 특징점 사이의 거리를 나타내는 거리 정보는,
    Figure 112012109307074-pat00027

    Figure 112012109307074-pat00028

    (여기서, a는 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호를 전송한 2개의 광각 카메라 중 하나인 제1 카메라의 x축 좌표이고, b는 카메라 중 다른 하나인 제2 카메라의 y축 좌표이고, α는 제1 카메라의 x축과 특징점과의 각도이고, β는 제2 카메라의 y축과 특징점과의 각도이며, l은 상기 제1 카메라와 특징점 사이의 거리이고, m은 상기 제2 카메라와 특징점 사이의 거리이고, 상기 x축 및 y축 좌표계의 원점은 제1 카메라와 제2 카메라를 지나는 연장선이 서로 직교하는 점임)
    의 수식에 의해 얻어지는 (x,y) 좌표값에 의해 산출되는 것을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 거리 정보 표시 신호는 상기 산출된 상기 서로 겹치는 촬영 영역을 갖는 2개의 입력 영상 신호를 전송한 2개의 광각 카메라를 지나는 연장선이 서로 직교하는 원점과 상기 특징점 사이의 거리를 나타내는 거리 정보가 서로 동일한 지점들끼리 연결되는 선에 의해 표시되면서 거리값을 출력하도록 하는 것을 특징으로 하는 영상 처리 장치.
  5. 삭제
KR1020100002797A 2010-01-12 2010-01-12 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 KR101293263B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100002797A KR101293263B1 (ko) 2010-01-12 2010-01-12 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100002797A KR101293263B1 (ko) 2010-01-12 2010-01-12 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110082873A KR20110082873A (ko) 2011-07-20
KR101293263B1 true KR101293263B1 (ko) 2013-08-09

Family

ID=44920709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100002797A KR101293263B1 (ko) 2010-01-12 2010-01-12 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101293263B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101375438B1 (ko) * 2011-09-14 2014-03-17 (주)하이모 가발 시뮬레이션용 근접 촬영 장치
KR101683923B1 (ko) * 2011-10-14 2016-12-08 현대자동차주식회사 Ａｖｍ 영상 왜곡 자동 보정 방법
KR20140039831A (ko) * 2012-09-25 2014-04-02 한양대학교 산학협력단 차량용 사이드미러 시스템 및 이의 차량 측후방 영상 표시 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135949A (ja) * 1998-10-30 2000-05-16 Sony Corp 状況確認装置及びこの状況確認装置を搭載する移動体
JP2009044597A (ja) * 2007-08-10 2009-02-26 Nikon Corp 広角画像取得装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000135949A (ja) * 1998-10-30 2000-05-16 Sony Corp 状況確認装置及びこの状況確認装置を搭載する移動体
JP2009044597A (ja) * 2007-08-10 2009-02-26 Nikon Corp 広角画像取得装置

Also Published As

Publication number Publication date
KR20110082873A (ko) 2011-07-20

Similar Documents

Publication Publication Date Title
KR101077584B1 (ko) 복수개의 카메라로부터 획득한 영상을 정합하는 영상 처리 장치 및 방법
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
KR101339121B1 (ko) 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
EP2437494B1 (en) Device for monitoring area around vehicle
JP4596978B2 (ja) 運転支援システム
US7728879B2 (en) Image processor and visual field support device
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP4642723B2 (ja) 画像生成装置および画像生成方法
EP2381673A1 (en) Obstacle detection display device
JP2013001366A (ja) 駐車支援装置および駐車支援方法
JP2010016805A (ja) 画像処理装置、運転支援システム、及び画像処理方法
JP5959311B2 (ja) データ導出装置、及び、データ導出方法
KR101478980B1 (ko) 어안 렌즈를 이용한 다중 채널 디스플레이 시스템
JP2011064566A (ja) 距離推定装置
JP4679293B2 (ja) 車載パノラマカメラシステム
JP2007295113A (ja) 撮像装置
JP2006119843A (ja) 画像生成方法およびその装置
KR101293263B1 (ko) 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
JP2013200840A (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像表示装置
KR20110088680A (ko) 복수개의 영상을 합성한 합성 영상에 대한 보정 기능을 구비하는 영상 처리 장치
JP2017117357A (ja) 立体物検知装置
JP4339749B2 (ja) 画像生成方法および画像生成装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170824

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180711

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 7