KR20180026114A - Ａｖｍ 영상 변환 장치 및 방법 - Google Patents

Ａｖｍ 영상 변환 장치 및 방법 Download PDF

Info

Publication number
KR20180026114A
KR20180026114A KR1020160113086A KR20160113086A KR20180026114A KR 20180026114 A KR20180026114 A KR 20180026114A KR 1020160113086 A KR1020160113086 A KR 1020160113086A KR 20160113086 A KR20160113086 A KR 20160113086A KR 20180026114 A KR20180026114 A KR 20180026114A
Authority
KR
South Korea
Prior art keywords
angle image
narrow
image
output
pixel
Prior art date
Application number
KR1020160113086A
Other languages
English (en)
Other versions
KR102441052B1 (ko
Inventor
최진욱
최동윤
최지훈
송병철
Original Assignee
현대자동차주식회사
인하대학교 산학협력단
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 인하대학교 산학협력단, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160113086A priority Critical patent/KR102441052B1/ko
Publication of KR20180026114A publication Critical patent/KR20180026114A/ko
Application granted granted Critical
Publication of KR102441052B1 publication Critical patent/KR102441052B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G06T3/0018—
    • G06T3/0006—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Defrosting Systems (AREA)

Abstract

본 발명은 AVM 영상 변환 장치 및 방법에 관한 것이다. 본 발명에 따른 장치는, 카메라로부터 입력된 광각 영상의 픽셀을 미리 정의된 룩업 테이블을 이용하여 협각 영상의 대응하는 좌표로 매핑하고, 픽셀 매핑된 협각 영상에 형성된 홀에 대한 홀 메움(Hole Filling)을 수행하여 가상 협각 영상을 생성하는 매핑부, 상기 가상 협각 영상과 이전 프레임의 출력 협각 영상 간 픽셀의 움직임을 추정하고, 움직임 추정 결과에 따라 상기 이전 프레임의 출력 협각 영상의 픽셀을 이동시키는 정합부, 및 상기 이전 프레임의 출력 협각 영상의 유효 픽셀에 상기 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 합성하여 현재 프레임의 출력 협각 영상을 생성하는 합성부를 포함한다.

Description

ＡＶＭ 영상 변환 장치 및 방법{APPARATUS AND METHOD FOR TRANSFORMING AVM IMAGE}
본 발명은 AVM 영상 변환 장치 및 방법에 관한 것이다.
AVM 시스템은 다수의 광각 카메라를 이용하여 획득한 차량 주변의 영상을 협각 영상으로 변환한 후 이를 합성하여 탑 뷰 영상을 사용자에게 제공함으로써 사용자가 사각 영역에 대한 시야를 확보하도록 한다.
AVM 시스템에서는 광각 영상을 협각 영상으로 변환하기 위해 워핑 기법을 이용하는데, 워핑 기법에는 백워드 워핑(backward warping)과 포워드 워핑(forward warping) 기법을 예로 들 수 있다.
다만, 워핑 기법을 이용하여 광각 영상의 일부 영역을 협각 영상으로 변환하여 변환된 영상을 확대하는 경우 광각 영상의 변환 영역에 존재하는 픽셀(pixel)의 수가 적기 때문에 협각 영상으로 전달되는 픽셀(pixel)의 정보는 제한적이다. 따라서, 변환된 협각 영상의 화질은 열화되어 선명도가 떨어지게 된다.
본 발명의 실시예들의 목적은, 광각 영상을 협각 영상으로 시점 변환 시 점진적(progressive) 방식의 포워드 워핑(forward warping) 기법을 이용하여 이전 프레임의 출력 협각 영상에서의 유효 픽셀에 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 누적하여 합성함으로써 광각 영상을 협각 영상으로 변환 시 유효 픽셀 수의 한계로 인해 발생하는 화질 열화를 최소화하고 보다 더 선명한 결과 영상을 출력하도록 하는 AVM 영상 변환 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 AVM 영상 변환 장치는, 카메라로부터 입력된 광각 영상의 픽셀을 미리 정의된 룩업 테이블을 이용하여 협각 영상의 대응하는 좌표로 매핑하고, 픽셀 매핑된 협각 영상에 형성된 홀에 대한 홀 메움(Hole Filling)을 수행하여 가상 협각 영상을 생성하는 매핑부, 상기 가상 협각 영상과 이전 프레임의 출력 협각 영상 간 픽셀의 움직임을 추정하고, 움직임 추정 결과에 따라 상기 이전 프레임의 출력 협각 영상의 픽셀을 이동시키는 정합부, 및 상기 이전 프레임의 출력 협각 영상의 유효 픽셀에 상기 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 합성하여 현재 프레임의 출력 협각 영상을 생성하는 합성부를 포함하는 것을 특징으로 한다.
또한, 상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 AVM 영상 변환 방법은, 카메라로부터 입력된 광각 영상의 픽셀을 미리 정의된 룩업 테이블을 이용하여 협각 영상의 대응하는 좌표로 매핑하는 단계, 픽셀 매핑된 협각 영상에 형성된 홀에 대한 홀 메움(Hole Filling)을 수행하여 가상 협각 영상을 생성하는 단계, 상기 가상 협각 영상과 이전 프레임의 출력 협각 영상 간 픽셀의 움직임을 추정하고, 움직임 추정 결과에 따라 상기 이전 프레임의 출력 협각 영상의 픽셀을 이동시키는 단계, 및 상기 이전 프레임의 출력 협각 영상의 유효 픽셀에 상기 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 합성하여 현재 프레임의 출력 협각 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시예들에 따르면, 광각 영상을 협각 영상으로 시점 변환 시 점진적(progressive) 방식의 포워드 워핑(forward warping) 기법을 이용하여 이전 프레임의 출력 협각 영상에서의 유효 픽셀에 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 누적하여 합성함으로써 광각 영상을 협각 영상으로 변환 시 유효 픽셀 수의 한계로 인해 발생하는 화질 열화를 최소화하고 보다 더 선명한 결과 영상을 출력할 수 있는 이점이 있다.
도 1은 본 발명의 일 실시예에 따른 AVM 영상 변환 장치의 구성을 도시한 도면이다.
도 2 내지 도 5는 본 발명의 일 실시예에 따른 AVM 영상 변환 장치의 영상 변환 동작 흐름을 설명하는데 참조되는 실시예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 AVM 영상 변환 방법에 대한 동작 흐름을 도시한 순서도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
도 1은 본 발명의 일 실시예에 따른 AVM 영상 변환 장치의 구성을 도시한 도면이다.
본 발명에 따른 AVM 영상 변환 장치(100)는 차량의 내부에 구현될 수 있다. 이때, AVM 영상 변환 장치(100)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다. 여기서, AVM 영상 변환 장치(100)는 차량에 구비된 AVM 시스템과 연계되어 동작하거나, AVM 시스템 내에 구현되어 동작할 수도 있다.
여기서, AVM 시스템은 Around View Monitoring 시스템의 약자로서, 하나 이상의 광각 카메라를 이용하여 촬영한 광각 영상들을 차량 위에서 내려다 보는 것과 같이 협각 영상으로 변환한 후에 합성하여 탑 뷰 영상을 제공함으로써 운전자가 차량 주변의 사각영역에 대한 시야를 확보할 수 있도록 하는 것이다.
이에, 도 1을 참조하면, AVM 영상 변환 장치(100)는 제어부(110), 카메라(120), 인터페이스부(130), 저장부(140) 및 영상 변환부(150)를 포함할 수 있다. 여기서, 제어부(110)는 AVM 영상 변환 장치의 각 부간에 전달되는 신호를 처리한다.
카메라(120)는 차량 주변의 영상을 촬영하는 장치로서, 예를 들어, 차량의 전방, 후방, 좌측방 및 우측방에 각각 구비될 수 있다. 여기서, 카메라(120)는 광각 카메라일 수 있다. 카메라(120)는 차량 주변을 촬영한 광각 영상을 제어부(110)로 전달한다. 이때, 제어부(110)는 카메라(120)로부터 전달된 광각 영상을 저장부(140)에 저장하고, 매핑부(160)로 제공할 수 있다.
물론, AMV 영상 변환 장치는 AVM 시스템으로부터 차량 주변에서 촬영된 광각 영상을 제공받을 수도 있다. 이 경우, AVM 영상 변환 장치(100)는 별도의 카메라(120)를 구비하지 않을 수도 있다.
인터페이스부(130)는 사용자로부터의 제어 명령을 입력 받기 위한 입력수단과 AVM 영상 변환 장치(100)의 동작 상태 및 결과 등을 출력하는 출력수단을 포함할 수 있다.
여기서, 입력수단은 키 버튼이 해당될 수 있으며, 마우스, 조이스틱, 조그 셔틀, 스타일러스 펜 등이 해당될 수도 있다. 또한, 입력수단은 디스플레이 상에 구현되는 소프트 키가 해당 될 수도 있다.
출력수단은 디스플레이를 포함할 수 있으며, 스피커와 같은 음성출력수단을 포함할 수도 있다. 이때, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력수단과 출력수단이 통합된 형태로 구현될 수 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
저장부(140)는 AVM 영상 변환 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.
일 예로서, 저장부(140)는 광각 영상과 협각 영상 간의 픽셀 매핑(pixel mapping) 관계를 사전에 모델링하여 생성한 룩업 테이블(Look-UP Table)을 저장할 수 있다. 저장된 룩업 테이블은 매핑부(160)에 의해 호출되어 광각 영상 기반으로 픽셀 매핑하는데 이용될 수 있다.
또한, 저장부(140)는 AVM 영상 변환 장치(100)에서 픽셀 매핑, 홀 메움 및/또는 움직임 추정(motion estimation)을 위한 알고리즘이 저장될 수 있다.
여기서, 저장부(140)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
영상 변환부(150)는 단일 영상 기반의 워핑(Warping) 기법을 이용하여 광각 영상을 협각 영상으로 변환한다. 영상 변환부(150)는 워핑 기법 중 포워드 워핑(forward warping) 기법을 이용하여 광각 영상을 협각 영상으로 변환한다. 포워드 워핑 기법은 광각 영상에 존재하는 픽셀(pixel)을 대응되는 협각 영상의 위치로 픽셀값을 전달하여 영상 변환을 수행하는 것을 의미한다.
여기서, 영상 변환부(150)는 매핑부(160), 정합부(170) 및 합성부(180)를 포함할 수 있다.
매핑부(160)는 광각 영상과 협각 영상 간의 픽셀 관계를 사전에 모델링하여 생성한 룩업 테이블을 저장부(140)로부터 호출한다. 이때, 매핑부(160)는 호출된 룩업 테이블로부터 광각 영상의 각 픽셀이 대응되는 협각 영상의 어느 위치로 전달되는지 파악할 수 있다. 따라서, 매핑부(160)는 룩업 테이블을 이용하여 카메라(120)에 의해 촬영된 광각 영상의 픽셀을 협각 영상에서 대응되는 좌표로 매핑한다. 여기서, 매핑부(160)는 협각 영상으로 매핑된 유효 픽셀의 정보를 저장부(140)에 저장할 수 있다.
매핑부(160)는 협각 영상으로 전달되는 픽셀의 위치가 비정수 위치인 경우 주변 픽셀을 이용하여 보간 처리를 할 수 있다.
한편, 광각 영상의 픽셀을 협각 영상으로 매핑하는 과정에서 협각 영상에는 픽셀이 전달되지 않은 위치에 홀(hole)이 발생할 수 있다. 이 경우, 매핑부(160)는 협각 영상에 발생한 홀을 제거하기 위해 해당 홀의 주변 픽셀을 이용한 보간 또는 필터링을 통해 홀 메움(Hole Filling) 수행할 수 있다. 이때, 매핑부(160)는 홀 메움된 영상을 가상 협각 영상으로 생성할 수 있다.
제어부(110)는 매핑부(160)에 의해 생성된 가상 협각 영상을 저장부(140)에 저장할 수 있으며, 정합 처리를 위해 정합부(170)로 전달할 수도 있다.
정합부(170)는 매핑부(160)에 의해 생성된 가상 협각 영상과, 저장부(140)에 미리 저장된 이전 프레임의 출력 협각 영상 간에 영상 정합을 수행한다. 여기서, 정합부(170)는 가상 협각 영상과 이전 프레임의 출력 협각 영상 사이의 움직임 추정(motion estimation)을 수행하고, 움직임 추정 결과로부터 이전 프레임의 출력 협각 영상 전체에 대한 움직임 벡터(motion vector)를 추정한다.
이때, 정합부(170)는 추정된 움직임 벡터를 이용하여 이전 프레임의 출력 협각 영상의 모든 픽셀을 현재 프레임의 협각 영상에 대응하여 이동시킬 수 있다.
합성부(180)는 매핑부(160)에 의해 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 정합부(170)에 의해 픽셀 이동된 이전 프레임의 출력 협각 영상에 합성함으로써 현재 프레임의 출력 협각 영상을 생성할 수 있다. 현재 프레임의 출력 협각 영상은 저장부(140)에 저장되며, 다음 프레임의 출력 협각 영상을 생성하는데 이용될 수 있다.
이와 같이, 본 발명은 이전 프레임의 출력 협각 영상에서의 유효 픽셀에 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 점진적(progressive)으로 누적하여 합성하기 때문에, 광각 영상을 협각 영상으로 변환 시 유효 픽셀 수의 한계로 인해 발생하는 화질 열화를 최소화하고 보다 더 선명한 결과 영상을 제공하는 것이 가능하게 된다.
도 2 내지 도 5는 본 발명의 일 실시예에 따른 AVM 영상 변환 장치의 영상 변환 동작 흐름을 설명하는데 참조되는 실시예를 도시한 도면이다.
먼저, 도 2는 도 1의 영상 변환부(150)에서 광각 영상을 협각 영상으로 변환하는 동작의 흐름을 나타낸 것이다.
도 2를 참조하면, 영상 변환부(150)는 카메라(120)에 촬영된 현재 프레임의 광각 영상(210)이 입력되면, 저장부(140)로부터 광각 영상과 협각 영상 간의 픽셀 관계를 사전에 모델링하여 생성한 룩업 테이블(215)을 호출하고, 호출된 룩업 테이블(215)에 근거하여 동작 220과 같이, 입력 광각 영상(210)의 각 픽셀을 협각 영상에서 대응되는 좌표로 매핑한다.
영상 변환부(150)는 도면부호 220에서 픽셀 매핑에 의해 현재 프레임의 입력 광각 영상에 대응하는 협각 영상(225)을 생성할 수 있으며, 이때 생성된 협각 영상(225)의 유효 픽셀 정보는 동작 260에서 출력 협각 영상을 생성하기 위한 픽셀 합성에 적용될 수 있다.
한편, 영상 변환부(150)는 생성된 협각 영상(225)에서 픽셀이 전달되지 않아 발생된 홀을 제거하기 위해 동작 230과 같이 해당 홀의 주변 픽셀을 이용한 보간 또는 필터링을 통해 홀 메움(Hole Filling) 수행 후 현재 프레임의 가상 협각 영상을 생성하여 이전 프레임의 출력 협각 영상에 대한 움직임을 추정하는데 이용될 수 있다.
영상 변환 장치는 이전 프레임의 출력 협각 영상과 현재 프레임의 가상 협각 영상을 비교하여 동작 250과 같이 이전 프레임의 출력 협각 영상에 대한 전체 픽셀의 움직임을 추정한다. 이때, 영상 변환 장치는 움직임 추정 결과로부터 움직임 벡터를 추정할 수 있다.
영상 변환 장치는 추정된 움직임 벡터를 이용하여 이전 프레임의 출력 협각 영상의 전체 픽셀을 현재 프레임의 협각 영상에 맞춰 이동시킨다.
영상 변환 장치는 동작 260에서 픽셀 이동된 이전 프레임의 출력 협각 영상에 동작 220 에서 픽셀 매핑된 현재 프레임의 협각 영상에서의 유효 픽셀을 합성하여 현재 프레임의 출력 협각 영상을 생성할 수 있다.
도 3은 도 1의 영상 변환부(150)에서 광각 영상을 협각 영상으로 변환하는 동작의 픽셀 변화를 나타낸 것이다.
도 3을 참조하면, 도 3의 (a)는 현재 프레임의 입력 광각 영상을 나타낸 것으로, 미리 저장된 룩업 테이블을 이용하여 입력 광각 영상의 픽셀을 협각 영상에서 대응하는 좌표에 매핑하면 도 3의 (b)와 같은 협각 영상이 생성된다.
다만, 도 3의 (b)에 도시된 협각 영상은 유효 픽셀(310)이 부족하여 홀(hole)이 발생할 수 있다. 이때, 영상 변환부(150)는 홀 메움을 수행하여 도 3의 (c)와 같이 유효 픽셀 주변의 홀(320)을 메우도록 한다.
영상 변환부(150)는 이전 프레임의 출력 협각 영상과 도 3의 (c)에서 홀 메움된 가상 협각 영상을 비교하여 이전 프레임의 출력 협각 영상에 대한 유효 픽셀의 움직임을 추정하고, 도 3의 (d)와 같이 이전 프레임의 출력 협각 영상에서의 유효 픽셀(330)을 추정된 움직임 정보에 따라 이동시키도록 한다.
이에, 영상 변환부(150)는 도 3의 (e)와 같이, 위치 이동된 이전 프레임의 출력 협각 영상에 도 3의 (b)에 도시된 협각 영상의 유효 픽셀(310)을 누적하여 합성하고 현재 프레임의 출력 협각 영상으로 출력하도록 한다.
도 3의 (e)에서 도면부호 340은 이전 프레임의 출력 협각 영상의 유효 픽셀(330)에 광각 영상에서 픽셀 매핑된 유효 픽셀(310)을 누적하여 합성한 픽셀로서, 픽셀 매핑된 유효 픽셀(310) 보다 높은 선명도를 가질 수 있다.
또한, 현재 프레임의 출력 협각 영상은 도 3의 (b)에 도시된 협각 영상에서의 홀이 이전 프레임의 출력 협각 영상에서의 유효 픽셀로 채워져 화질 열화를 최소화하고 보다 더 선명한 결과 영상을 제공할 수 있다.
도 4는 카메라에 의해 촬영된 입력 광각 영상을 나타낸 것이고, 도 5는 입력 광각 영상을 포워드 워핑 기법을 이용하여 변환한 협각 영상을 나타낸 것이다.
도 4에서와 같이, 본 발명에 따른 AVM 영상 변환 장치는 카메라(120)에 의해 촬영된 광각 영상(410) 중 일부 영역(415)에 대해 포워드 워핑을 수행하면, 도 5의 (a)와 같은 협각 영상을 획득하게 된다. 이 경우, 획득한 협각 영상은 유효 픽셀의 한계로 인해 많은 픽셀 좌표에 발생한 홀로 인해 화질 열화가 발생한다.
본 발명에 따른 AVM 영상 변환 장치는 도 5의 (a)의 협각 영상에 발생한 홀에 대해 홀 메움을 수행할 수 있다. 이때, 홀 메움된 협각 영상은 도 5의 (b)와 같은 상태가 된다.
도 5의 (b)에 도시된 협각 영상은 홀 메움으로 인해 (a)에 도시된 협각 영상 보다는 화질 열화가 개선되었으나, 여전히 화질 열화가 발생함을 확인할 수 있다.
따라서, AVM 영상 변환 장치는 도 5의 (b)에 도시된 협각 영상과 이전 프레임의 출력 결과로 생성된 협각 영상을 비교하여 추정된 움직임 벡터를 이용하여 이전 프레임의 출력 협각 영상에 대해 영상 정합을 수행하고, 그 결과 영상에 도 5의 (a)에 도시된 협각 영상의 유효 픽셀을 합성하면, 도 5의 (c)와 같은 출력 협각 영상을 획득할 수 있다.
상기와 같이 구성되는 본 발명에 따른 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 6은 본 발명의 일 실시예에 따른 AVM 영상 변환 방법에 대한 동작 흐름을 도시한 순서도이다.
도 6에 도시된 바와 같이, AVM 영상 변환 장치는 카메라(120)에 의해 차량 주변을 촬영한 광각 영상이 입력되면(S110), 미리 저장된 룩업 테이블을 이용하여 광각 영상의 픽셀을 협각 영상의 대응하는 좌표로 매핑하여(S120), 광각 영상을 협각 영상으로 변환한다(S130).
'S130' 과정에서 변환된 협각 영상은 유효 픽셀의 한계로 인해 홀이 발생할 수 있으며, 이때 AVM 영상 변환 장치는 협각 영상에 홀 메움을 수행하여(S140), 가상 협각 영상을 생성하도록 한다(S150).
한편, AVM 영상 변환 장치는 이전 프레임의 출력 협각 영상을 호출하고(S160), 호출된 이전 프레임의 출력 협각 영상을 'S150' 과정에서 생성된 가상 협각 영상과 비교하여 전체 픽셀에 대한 움직임을 추정한다. 이때, AVM 영상 변환 장치는 움직임 추정 결과로부터 움직임 벡터를 추정할 수 있다(S170).
AVM 영상 변환 장치는 이전 프레임의 출력 협각 영상을 'S170' 과정에서 추정된 움직임 벡터를 이용하여 이전 프레임의 출력 합성 영상의 픽셀을 현재 프레임의 협각 영상에 맞추어 이동하도록 한다(S180).
이에, AVM 영상 변환 장치는 'S180' 과정에서 픽셀 이동된 이전 프레임의 출력 합성 영상의 유효 픽셀에 'S130' 과정에서 변환된 현재 프레임의 협각 영상의 유효 픽셀을 누적 합성하여(S190), 현재 프레임의 최종 협각 영상을 출력하도록 한다(S200).
상기의 과정들은 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체, 즉, 메모리 및/또는 스토리지에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 제어부 120: 카메라
130: 인터페이스부 140: 저장부
150: 영상 변환부 160: 매핑부
170: 정합부 180: 합성부

Claims (12)

  1. 카메라로부터 입력된 광각 영상의 픽셀을 미리 정의된 룩업 테이블을 이용하여 협각 영상의 대응하는 좌표로 매핑하고, 픽셀 매핑된 협각 영상에 형성된 홀에 대한 홀 메움(Hole Filling)을 수행하여 가상 협각 영상을 생성하는 매핑부;
    상기 가상 협각 영상과 이전 프레임의 출력 협각 영상 간 픽셀의 움직임을 추정하고, 움직임 추정 결과에 따라 상기 이전 프레임의 출력 협각 영상의 픽셀을 이동시키는 정합부; 및
    상기 이전 프레임의 출력 협각 영상의 유효 픽셀에 상기 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 합성하여 현재 프레임의 출력 협각 영상을 생성하는 합성부
    를 포함하는 것을 특징으로 하는 AVM 영상 변환 장치.
  2. 청구항 1에 있어서,
    상기 룩업 테이블은,
    사전에 광각 영상과 협각 영상 간의 픽셀 관계를 모델링하여 생성된 것을 특징으로 하는 AVM 영상 변환 장치.
  3. 청구항 1에 있어서,
    상기 정합부는,
    상기 가상 협각 영상과 이전 프레임의 출력 협각 영상 간 픽셀의 움직임을 추정하여 움직임 벡터를 계산하는 것을 특징으로 하는 AVM 영상 변환 장치.
  4. 청구항 3에 있어서,
    상기 정합부는,
    상기 움직임 벡터에 따라 상기 이전 프레임의 출력 협각 영상 내의 유효 픽셀을 이동시키는 것을 특징으로 하는 AVM 영상 변환 장치.
  5. 청구항 1에 있어서,
    상기 합성부는,
    상기 이전 프레임의 출력 협각 영상에서의 유효 픽셀에 상기 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 점진적(progressive)으로 누적하여 합성하는 것을 특징으로 하는 AVM 영상 변환 장치.
  6. 청구항 1에 있어서,
    상기 매핑부는,
    상기 협각 영상에 형성된 홀 주변의 픽셀을 이용하여 해당 홀에 대한 보간 또는 필터링을 통해 홀 메움을 수행하는 것을 특징으로 하는 AVM 영상 변환 장치.
  7. 카메라로부터 입력된 광각 영상의 픽셀을 미리 정의된 룩업 테이블을 이용하여 협각 영상의 대응하는 좌표로 매핑하는 단계;
    픽셀 매핑된 협각 영상에 형성된 홀에 대한 홀 메움(Hole Filling)을 수행하여 가상 협각 영상을 생성하는 단계;
    상기 가상 협각 영상과 이전 프레임의 출력 협각 영상 간 픽셀의 움직임을 추정하고, 움직임 추정 결과에 따라 상기 이전 프레임의 출력 협각 영상의 픽셀을 이동시키는 단계; 및
    상기 이전 프레임의 출력 협각 영상의 유효 픽셀에 상기 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 합성하여 현재 프레임의 출력 협각 영상을 생성하는 단계
    를 포함하는 것을 특징으로 하는 AVM 영상 변환 방법.
  8. 청구항 7에 있어서,
    상기 룩업 테이블은,
    사전에 광각 영상과 협각 영상 간의 픽셀 관계를 모델링하여 생성된 것을 특징으로 하는 AVM 영상 변환 방법.
  9. 청구항 7에 있어서,
    상기 이전 프레임의 출력 협각 영상의 픽셀을 이동시키는 단계는,
    상기 가상 협각 영상과 이전 프레임의 출력 협각 영상 간 픽셀의 움직임을 추정하여 움직임 벡터를 계산하는 단계를 더 포함하는 것을 특징으로 하는 AVM 영상 변환 방법.
  10. 청구항 9에 있어서,
    상기 이전 프레임의 출력 협각 영상의 픽셀을 이동시키는 단계는,
    상기 움직임 벡터에 따라 상기 이전 프레임의 출력 협각 영상 내의 유효 픽셀을 이동시키는 것을 특징으로 하는 AVM 영상 변환 방법.
  11. 청구항 7에 있어서,
    상기 현재 프레임의 출력 협각 영상을 생성하는 단계는,
    상기 이전 프레임의 출력 협각 영상에서의 유효 픽셀에 상기 광각 영상으로부터 협각 영상으로 매핑된 유효 픽셀을 점진적(progressive)으로 누적하여 합성하는 것을 특징으로 하는 AVM 영상 변환 방법.
  12. 청구항 7에 있어서,
    상기 가상 협각 영상을 생성하는 단계는,
    상기 협각 영상에 형성된 홀 주변의 픽셀을 이용하여 해당 홀에 대한 보간 또는 필터링을 통해 홀 메움을 수행하는 것을 특징으로 하는 AVM 영상 변환 방법.
KR1020160113086A 2016-09-02 2016-09-02 Ａｖｍ 영상 변환 장치 및 방법 KR102441052B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160113086A KR102441052B1 (ko) 2016-09-02 2016-09-02 Ａｖｍ 영상 변환 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160113086A KR102441052B1 (ko) 2016-09-02 2016-09-02 Ａｖｍ 영상 변환 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180026114A true KR20180026114A (ko) 2018-03-12
KR102441052B1 KR102441052B1 (ko) 2022-09-06

Family

ID=61728908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160113086A KR102441052B1 (ko) 2016-09-02 2016-09-02 Ａｖｍ 영상 변환 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102441052B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808510A (zh) * 2020-06-15 2021-12-17 明基智能科技（上海）有限公司 影像调整方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050087407A (ko) * 2004-02-26 2005-08-31 엘지전자 주식회사 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
KR20130053980A (ko) * 2011-11-16 2013-05-24 재단법인대구경북과학기술원 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
KR20150089677A (ko) * 2014-01-28 2015-08-05 엘지이노텍 주식회사 카메라 시스템, 캘리브레이션 장치 및 캘리브레이션 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050087407A (ko) * 2004-02-26 2005-08-31 엘지전자 주식회사 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법
KR20130053980A (ko) * 2011-11-16 2013-05-24 재단법인대구경북과학기술원 영상 데이터 융합 기반의 장애물체 검출 방법 및 장치
KR20150089677A (ko) * 2014-01-28 2015-08-05 엘지이노텍 주식회사 카메라 시스템, 캘리브레이션 장치 및 캘리브레이션 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808510A (zh) * 2020-06-15 2021-12-17 明基智能科技（上海）有限公司 影像调整方法
CN113808510B (zh) * 2020-06-15 2024-04-09 明基智能科技（上海）有限公司 影像调整方法

Also Published As

Publication number Publication date
KR102441052B1 (ko) 2022-09-06

Similar Documents

Publication Publication Date Title
US10497140B2 (en) Hybrid depth sensing pipeline
US20160328882A1 (en) Pass-through display of captured imagery
KR102512889B1 (ko) 이미지 융합 프로세싱 모듈
KR20190126440A (ko) 인터리빙된 채널 데이터를 위한 구성가능한 컨볼루션 엔진
JP2009017020A (ja) 画像処理装置及び表示画像生成方法
KR20150017095A (ko) Avm 영상 제공 장치 및 방법
JPWO2018139461A1 (ja) 移動物体検出装置、移動物体検出方法及び記憶媒体
JP2022532206A (ja) ぼけた画像／ビデオを用いたｓｆｍ／ｓｌａｍへの適用を有する畳み込みニューラルネットワークを使用した画像／ビデオのボケ除去
KR20150144090A (ko) 어라운드 뷰 모니터링 시스템 및 어라운드 뷰 모니터링 시스템의 동작방법
WO2020092051A1 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos
US20160288711A1 (en) Distance and direction estimation of a target point from a vehicle using monocular video camera
US10417743B2 (en) Image processing device, image processing method and computer readable medium
JP2016126673A (ja) 情報処理装置及びその制御方法、並びに、ビデオカメラ
JP2016015037A (ja) 情報処理装置及びその制御方法、並びに、ビデオカメラ
KR20230124699A (ko) 이미지 데이터의 조합된 다운 샘플링 및 보정을 위한회로
JP2017055397A (ja) 画像処理装置、画像合成装置、画像処理システム、画像処理方法、及びプログラム
KR20180026114A (ko) Ａｖｍ 영상 변환 장치 및 방법
JP2019176402A (ja) 画像処理装置
KR102227853B1 (ko) 차량 어라운드뷰 영상 생성 장치 및 차량 어라운드뷰 영상 생성 방법
JP7029350B2 (ja) 画像処理装置および画像処理方法
TWI632814B (zh) 視訊畫幀產生方法及其系統
JP4665781B2 (ja) 撮像装置、画像処理方法及びプログラム
CN105163004A (zh) 一种消除误匹配点的视频补偿方法
JP5279453B2 (ja) 画像振れ補正装置、撮像装置及び画像振れ補正方法
CN115174878A (zh) 投影画面校正方法、装置和存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant