KR100731979B1 - 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 - Google Patents

다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 Download PDF

Info

Publication number
KR100731979B1
KR100731979B1 KR1020050098033A KR20050098033A KR100731979B1 KR 100731979 B1 KR100731979 B1 KR 100731979B1 KR 1020050098033 A KR1020050098033 A KR 1020050098033A KR 20050098033 A KR20050098033 A KR 20050098033A KR 100731979 B1 KR100731979 B1 KR 100731979B1
Authority
KR
South Korea
Prior art keywords
image
mesh
intermediate image
node
region
Prior art date
Application number
KR1020050098033A
Other languages
English (en)
Other versions
KR20070042288A (ko
Inventor
김태완
최병호
김제우
혁 송
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020050098033A priority Critical patent/KR100731979B1/ko
Priority to US11/281,389 priority patent/US7742657B2/en
Publication of KR20070042288A publication Critical patent/KR20070042288A/ko
Application granted granted Critical
Publication of KR100731979B1 publication Critical patent/KR100731979B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Abstract

본 발명은 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법으로서, 합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리매칭 단계와, 상기 중첩 영역에 따라서 나타나는 차분의 위치 특성을 고려하여 객체(object)의 윤곽선을 기반으로 절점(vertex)을 추출하여 메쉬를 구성하는 메쉬 매핑 단계와, 상기 추출된 절점을 중심으로 에피폴라 라인 상에서 지정된 일정한 블록 단위로 블록 매칭을 수행하여 상기 절점에 대한 시차 벡터를 획득하는 에피폴라 라인 기반 블록 매칭 단계와, 상기 블록 매칭 결과에 따라서 상기 참조 영상을 기초로 영상 변환 및 영상 변형을 수행하여 상기 중첩 영역의 영상을 보정하는 영상 보정 단계와, 상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상 합성 단계를 포함하는 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법에 관한 것이다.
본 발명에 따르면, 거리 매칭을 이용하여 일정시간 간격으로 공유 영역을 찾고 이를 기반으로 영역별로 합성 영상을 만들어내기 때문에 정확한 시차 벡터를 획득할 수 있으며, 3개의 참조 영상을 이용함으로써 폐색 영역을 줄이고, 시차가 큰 참조 영상에 대해서도 용이하게 합성영상을 만들어 낼 수 있으며, 윤곽선의 절점을 중심으로 메쉬를 통한 영상 변환이 이루어지기 때문에 변환된 윤곽을 정확히 표현할 수 있고, 높은 입체감을 표시할 수 있다.
다시점, 중간영상, 합성, 3D, 참조영상, 거리 매칭, 블록 매칭, 영상 블렌딩, 메쉬, 절점, 에피폴라 라인, 메쉬 클러스터링, 시차 벡터, 홀 필링, 어파인 변환

Description

다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법 및 장치와 이를 구현하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체{DEVICE FOR SYNTHESIZING INTERMEDIATE IMAGES USING MESH IN A MULTI-VIEW SQUARE CAMERA STRUCTURE AND DEVICE USING THE SAME AND COMPUTER-READABLE MEDIUM HAVING THEREON A PROGRAM PERFORMING FUNCTION EMBODYING THE SAME}
도 1은 종래 기술에 따른 중간 영상 합성 장치의 예시도.
도 2는 종래 기술에 따라 중간 영상을 합성하는 다해상도 다기선 스테레오(MR-MBS; Multi-Resolution Multiple Baseline Stereo) 정합 방법의 예시도.
도 3은 종래 기술에 따른 중간 영상을 합성하는 방법의 흐름도
도 4는 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법의 흐름도.
도 5a 내지 도 5b는 본 발명의 바람직한 실시예에 따라 중간 영상 합성을 위한 영역 분할을 예시하는 도면.
도 6은 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법에 있어서 실험 영상의 시차 dy에 따른 절점의 수를 표현하는 도면.
도 7은 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법에 있어서 클러스터 결정을 나타내는 도면.
도 8은 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법에 있어서 홀(hole)이 발생하는 현상을 나타내는 도면.
도 9는 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법에 있어서 콘투어 절점 클러스터링을 수행한 이후의 꼭지점을 표현하는 도면.
도 10은 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법에 있어서 규칙적인 삼각 메쉬의 유효성 평가를 통해 일부 삼각 메쉬가 제외된 규칙적인 삼각 메쉬의 예를 나타내는 도면.
<도면의 주요부분에 대한 부호의 설명>
본 발명은 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법 및 장치와 이를 구현하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것으로, 더욱 구체적으로는 거리 매칭을 이용하여 일정시간 간격으로 공유 영역을 찾고 이를 기반으로 영역별로 합성 영상을 만들어내기 때문에 정확한 시차 벡터를 획득할 수 있으며, 3개의 참조 영상을 이용함으로써 폐색 영역을 줄이고, 시차가 큰 참조 영상에 대해서도 용이하게 합성영상을 만들어 낼 수 있으며, 윤곽선의 절점을 중심으로 메쉬를 통한 영상 변환이 이루어지기 때문에 변환된 윤곽을 정확히 표현할 수 있고, 높은 입체감을 표시할 수 있는 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법 및 장치와 이를 구현하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
고선명 털레비전(HDTV) 이후, 차세대 디스플레이로서 3D 입체 텔레비전이 널리 연구되고 있다. 입체 텔레비전의 초기 방식으로 양안시차를 이용하는 방법들이 제시되었으나, 이 방식은 관찰자가 어느 정도의 입체감은 느낄 수 있으나 사람이 실제 어떤 사물을 볼 때와 같은 생동감 및 현실감을 느끼기에는 부족하다. 이러한 단점을 극복하기 위해, 2개 이상의 카메라로부터 획득된 다시점 영상을 이용하여 디스플레이함으로써, 보다 생동감 있는 입체 영상을 표현하는 연구가 많이 진행되고 있다.
다시점 영상처리에 사용되는 동영상 스트림은 일반적으로 시점당 1개의 카메라를 이용하여 얻어지며, 다시점 카메라 배열 방식에는 일직선(in-line) 형태의 평행(parrel) 카메라 배열, 원형(radical) 카메라 배열 등이 있다. 그런데, 원형 카메라 배열의 경우, 각기 다른 카메라로부터 얻어진 다시점 영상을 하나의 스크린에 디스플레이할 때 시점 왜곡이 일어날 수 있다. 이러한 문제는 평행 카메라 배열 방식으로 해결할 수 있으나, 평행 배열의 경우 상하의 입체감을 표시하기 어려운 문제점이 있다. 따라서 최근에는 정사각형 형태의 정방형 카메라 배열에 의한 다시점 신호처리및 디스플레이 장치가 연구되고 있다.
3D 입체 텔레비전용 다시점 비디오 시스템을 구현하기 위해서는, 송신부에서 다양한 배열 형태를 취하는 카메라로부터 획득된 영상을 전송하고, 수신부에서는 전송된 데이터를 바탕으로 디스플레이를 수행한다. 그런데, 하나의 방송 채널을 통해 다시점 비디오를 전송하기 위해서는, 비디오 압축에 있어서 기존의 단일 시점 비디오 전송을 위한 압축률보다 훨씬 높은 압축률을 필요로 한다. 하지만 지금까지 제시된 압축 알고리즘으로는 기존의 방송 채널을 통해 모든 시점의 영상을 전송하는 것은 사실상 불가능하다. 이를 위해, 최근에는 카메라 배열에 해당하는 모든 시점 영상을 전송하는 대신에, 채널이 허용하는 시점 수의 영상만을 전송하고, 전송된 영상을 바탕으로 전송되지 않은 시점 영상을 수신부에서 만들어주는 중간 영상 합성 기법이 많이 연구되고 있다.
중간 영상 합성과 관련한 주요 알고리즘으로는, 적응점 추출을 위해 가능성 모델(likelihood model)에 기반한 특징 기반(Feature based) 방법, 블록 기반(block based) 방법, 화소-순환(pel-recursive) 방법, 그리고 메쉬(mesh)를 이용한 방식이 주로 사용되었다. 또한 깊이 맵(depth map)을 이용하는 방식도 사용되고 있다. 이러한 알고리즘은 한국특허출원번호 제10-2000-0063753호 "3차원 입체영상을 위한 다시점 비디오 시스템 및 영상제조방법"(이하, "인용문헌 1"이라 함), 한국특허출원번호 제10-1998-0005297호 "여러대의 카메라 입력 영상을 이용한 조밀한 깊이정보 추출방법 및 그를 이용한 중간 영상 합성방법" (이하, "인용문헌 2"라 함) 등이 있으며, 예컨대, 한국특허출원번호 제10-1995-0042335호 "3차원 카탈로그 쇼핑 시스템 및 쇼핑 방법" 등과 같은 응용 시스템에 적용되고 있다.
도 1은 종래 기술인 인용 문헌 1에 개시되어 있는 압축해제수단(34) 및 중간영상생성수단(35)을 도시하고 있다.
인용 문헌 1에 따르면, 전체 N개의 평행한 다시점 영상을 이용하는 입체 시스템에서 획득된 M시점 영상 사이에 새로운 (N-M)개의 영상을 하나씩 생성하여 최종적으로 N 시점의 영상을 획득하는 방법이 제안되어 있다. 이를 위해, 사이 영상의 참조가 되는 참조 영상 간의 적응점 추출을 위한 적응점추출기(63)와, 적응점 추출데이터를 기반으로 참조 영상 간의 폐색(occlusion) 영역을 보상하는 폐색영역제조기(64)가 사용되고 있다.
보다 구체적으로 살펴보면, 도시된 바와 같이 비디오 압축해제수단(34)에서 9 시점의 영상이 복원되어 중간영상생성수단(35)으로 입력된다. 중간영상생성수단(35)은 각 기반이 되는 참조 영상(Ov2, Ov4, Ov5, Ov6, Ov8)으로부터 참조 영상(Ov1, Ov3, Ov4, Ov6, Ov7, Ov9)에 대한 적응점 추출을 적응점추출기(63)에서 수행하고, 이어서 폐색영역제조기(64)에서 적응점 추출데이터를 기반으로 폐색영역을 추출 및 생성한다. 다음으로, 적응점에 해당하는 데이터와 보간된 폐색영역을 합성하여 새로운 중간영상을 생성함으로써, 17시점을 획득할 수 있게 된다.
도 2는 종래 기술인 인용문헌 2에 개시되어 있는 다해상도 다기선 스테레오(MR-MBS; Multi-Resolution Multiple Baseline Stereo) 정합 방법을 도시하고 있다.
도 2의 MR-MBS 방법은 여러 위치에 있는 유한 개의 카메라로부터 획득한 영상으로부터 각 화소의 깊이 정보를 조밀하게 추출하고 이를 이용하여 중간 영상을 만드는 방법으로서, 다기선 스테레오 정합(MBS)을 다해상도 방식으로 바꾸어 구현한 것이다.
도 2를 참조하면, 하나의 물체에 대해 다수 카메라로부터 획득된 입력 영상을 다해상도로 분해한 후, 가장 저해상도 영상에 대하여 다기선 스테레오 정합(MBS) 및 폐색영역 처리를 통해 물체의 한 픽셀(부절점)에 대한 깊이 정보를 구하여(1단계), 고해상도 처리를 하는 2단계로 전달한다. 2단계에서는 전달된 깊이 정보를 기반으로 저 해상도의 한 픽셀에 해당하는 고 해상도에서의 여러 픽셀(자 절점)에 대해 다기선 스테레오 정합 및 폐색영역 처리를 수행하여, 자 절점의 깊이 정보를 구한다. 이러한 과정을 최고 해상도까지 반복해서 수행함으로써, 대상 물체의 각 화소에 대한 깊이 정보를 정밀하게 구하고, 이를 바탕으로 중간영상을 획득한다.
그런데, 이러한 종래의 중간 영상 합성 방법은 기선(base-line)의 거리가 멀어지거나 카메라 위치 간의 각도와 거리가 멀어지면, 폐색(occlusion) 발생 영역이 많이 발생하여 중간영상을 합성하기에 용이하지 못하다. 뿐만 아니라, 대상 물체 전체에 대해서 적응점 추출기를 적용하기 때문에, 불필요한 깊이 맵 정보와 과잉 적응점 데이터가 발생할 수 있다.
예컨대, 인용문헌 1에 있어서, 평행 카메라 배열에서 송신부로부터 전달된 시점 영상을 바탕으로 좌우 영상의 사이 영상을 합성할 경우, 기선의 거리가 조금 멀어질 경우 참조되는 좌우 영상 사이의 거리가 상당히 멀어지게 된다. 그리고, 이로 인하여 중간영상의 합성에 있어서, 폐색 발생 영역이 많이 증가하고, 적응점 추 출기만으로는 폐색 영역을 완벽하게 보상할 수 없다. 또한, 대상 물체 전체에 대해서 적응점 추출기를 적용하기 때문에, 과도한 시뮬레이션 시간(simulation time)이 소요된다.
전술한 인용문헌 2에 있어서는, 임의의 위치에 존재하는 여러 대의 카메라를 이용하는 다해상도 방식에 의하여 다기선 스테레오 정합의 처리 시간과 깊이 맵에서의 경계선 연장 문제를 해결하고 있으나, 각 카메라 간의 위치와 배치된 각도가 커지면 여러 대의 카메라를 통한 물체의 각 픽셀 해상도를 정확하지 구할 수 없으며, 정확한 깊이 맵을 구할 수 없다. 뿐만 아니라, 이 방식은 하나의 물체에 대해 모든 카메라를 통해 전체적인 깊이 맵을 구하고 필요한 중간 영상을 만들어내는 방식이기 때문에, 불필요한 깊이맵 정보로 인하여 시뮬레이션 시간이 많이 소모된다.
이러한 문제점을 해결하기 위해서 본 출원인에 의해서 출원된 한국특허출원번호 제10-2004-116703호(공개되지 않음)는 정방형 구조의 카메라 배열을 가진 다시점 입체 시스템의 효율적 구현을 위해서, 참조 영상 간 거리 매칭(matching distance), 블록 매칭(block matching), 그리고 영상 블렌딩(image blending) 기법을 이용하여 송신부에서 전달되지 않은 중간 영상을 수신부에서 합성하는 기술을 개시하고 있다.
도 3은 상기 한국특허출원번호 제10-2004-116703호에 따른 다시점 정방향 카메라 배열에 기반한 다시점 영상의 일부로부터 중간 영상을 합성하는 방법의 흐름도이다.
도 3에 도시되듯이 상기 한국특허출원번호 제10-2004-116703호에 따른 다시 점 정방향 카메라 배열에 기반한 다시점 영상의 일부로부터 중간 영상을 합성하는 방법은, 합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리매칭 단계(S100 내지 S110)와; 상기 중첩 영역에서 상기 참조 영상 간의 차분 영상이 존재하는 블록에 대하여 블록 매칭을 수행하는 블록매칭 단계(S115 내지 S130)와; 상기 블록 매칭 결과에 따라 상기 중첩 영역의 영상을 보정하는 영상보정 단계(S135)와, 상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상 합성 단계(S140 내지 S150)를 포함한다.
그러나 상기 한국특허출원번호 제10-2004-116703호의 경우, 거리 매칭을 구하는 연산 시간이 상당히 오래 걸리고, 정확성이 떨어지는 단점이 있다. 또한 참조하는 3개의 영상으로부터 블록 매칭만을 통해 시차를 구하고, 영상 보정을 수행하면 각 블록이 겹치게 되는 문제점이 있다. 또한 차분이 큰 영역에 한하여 여러 가지 알고리즘을 적용할 경우에, 영상내의 객체(object) 및 배경의 형태가 유지되기 어려운 단점이 있다.
본 발명은 본 출원인에 의해서 기출원된 상기 한국특허출원번호 10-2004-116703호의 중간영상 합성 방식에서 블록 매칭만을 이용하여 시차(disparity)를 구하기 때문에 전술한 단점들이 발생하는 것을 보완하여 객체 및 배경의 윤곽선에 대해서 메쉬를 기반으로 매칭하는 경우 좀 더 효과적인 입체 영상을 획득할 수 있는 것에 착안한 것이다.
본 발명의 목적은 거리 매칭을 이용하여 일정시간 간격으로 공유 영역을 찾 고 이를 기반으로 영역별로 합성 영상을 만들어내기 때문에 정확한 시차 벡터를 획득할 수 있으며, 3개의 참조 영상을 이용함으로써 폐색 영역을 줄이고, 시차가 큰 참조 영상에 대해서도 용이하게 합성영상을 만들어 낼 수 있으며, 윤곽선의 절점을 중심으로 메쉬를 통한 영상 변환이 이루어지기 때문에 변환된 윤곽을 정확히 표현할 수 있고, 높은 입체감을 표시할 수 있는 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법 및 장치와 이를 구현하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명은 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법으로서, 합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리매칭 단계와, 상기 중첩 영역에 따라서 나타나는 차분의 위치 특성을 고려하여 객체(object)의 윤곽선을 기반으로 절점(vertex)을 추출하여 메쉬를 구성하는 메쉬 매핑 단계와, 상기 추출된 절점을 중심으로 에피폴라 라인 상에서 지정된 일정한 블록 단위로 블록 매칭을 수행하여 상기 절점에 대한 시차 벡터를 획득하는 에피폴라 라인 기반 블록 매칭 단계와, 상기 블록 매칭 결과에 따라서 상기 참조 영상을 기초로 영상 변환 및 영상 변형을 수행하여 상기 중첩 영역의 영상을 보정하는 영상 보정 단계와, 상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상 합성 단계를 포함하는 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법을 제공한다.
또한 발명은 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치로서, 합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리 매칭 수단과, 상기 중첩 영역에 따라서 나타나는 차분의 위치 특성을 고려하여 객체의 윤곽선을 기반으로 절점을 추출하여 메쉬를 구성하는 메쉬 매핑 수단과, 상기 추출된 절점을 중심으로 에피폴라 라인 상에서 지정된 일정한 블록 단위로 블록 매칭을 수행하여 상기 절점에 대한 시차 벡터를 획득하는 에피폴라 라인 기반 블록 매칭 수단과, 상기 블록 매칭 결과에 따라서 상기 참조 영상을 기초로 영상 변환 및 영상 변형을 수행하여 상기 중첩 영역의 영상을 보정하는 영상 보정 수단과, 상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상 합성 수단을 포함하는 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치를 제공한다.
또한 본 발명은 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체로서, 합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리 매칭 기능과, 상기 중첩 영역에 따라서 나타나는 차분의 위치 특성을 고려하여 객체(object)의 윤곽선을 기반으로 절점을 추출하여 메쉬를 구성하는 메쉬 매핑 기능과, 상기 추출된 절점을 중심으로 에피폴라 라인 상에서 지정된 일정한 블록 단위로 블록 매칭을 수행하여 상기 절점에 대한 시차 벡터를 획득하는 에피폴라 라인 기반 블록 매칭 기능과, 상기 블록 매칭 결과에 따라서 상기 참조 영상을 기초로 영상 변환 및 영상 변형을 수행하여 상기 중첩 영역의 영상을 보정하는 영상 보정 기능과, 상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상 합성 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
이하, 본 발명의 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법 및 장치와 이를 구현하는 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 도면을 참조로 하여 보다 구체적으로 설명한다.
도 4는 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법의 흐름도이다.
도시되듯이, 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법은 거리 매칭 단계(S210)와, 메쉬 매핑 단계(S220)와, 에피폴라 라인(epipolar line) 기반 블록 매칭 단계(S230)와, 영상 보정 단계(S240)와, 영상 합성 단계(S250)를 포함한다.
거리 매칭 단계(S210)는 합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 단계이다.
메쉬 매핑 단계(S220)는 상기 중첩 영역에 따라서 나타나는 차분의 위치 특성을 고려하여 객체(object)의 윤곽선을 기반으로 절점(vertex)을 추출하여 메쉬를 구성하는 단계이다.
에피폴라 라인 기반 블록 매칭 단계(S230)는 상기 추출된 절점을 중심으로 에피폴라 라인 상에서 지정된 일정한 블록 단위로 블록 매칭을 수행하여 시차 벡터를 획득하는 단계이다.
영상 보정 단계(S240)는 상기 블록 매칭 결과에 따라서 상기 참조 영상을 기초로 영상 변환 및 영상 변형을 수행하여 상기 중첩 영역의 영상을 보정하는 단계이다.
영상 합성 단계(S250)는 상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 단계이다.
도 5a 내지 도 5b는 본 발명의 바람직한 실시예에 따라 중간 영상 합성을 위한 영역 분할을 예시하고 있다. 도 5a에서, 목표 영상(Target Image)은 본 발명에 따라 합성되는 중간 영상을 나타내며, 좌영상(Reference Image 1), 우영상(Reference Image 3) 및 하영상(Base Image)은 상기 목표 영상(Target Image)을 합성하기 위해 이용되는 세 개의 참조 영상을 예시하고 있다.
도 5a에 도시되듯이 목표 영상의
Figure 112007003743165-pat00001
영역은 참조되는 영상에서 ①에 해당하는 영역으로
Figure 112007003743165-pat00002
영역을 합성하기 위해서는 3개의 참조 영상(Base Image, Reference Image 1, Reference Image 3)이 적용된다.
목표 영상의
Figure 112007003743165-pat00003
,
Figure 112007003743165-pat00004
영역은 참조되는 영상에서 각각 ②, ③에 해당하는 영역으로,
Figure 112007003743165-pat00005
,
Figure 112007003743165-pat00006
영역의 합성을 위해서는 2개의 참조 영상(Base Image와 Reference Image 1 또는 Base Image와 Reference Image 3)이 적용된다.
목표 영상의
Figure 112007003743165-pat00007
영역은 좌, 우 영상(Reference Image 1, Reference Image 3)의 ④ 영역으로부터 합성된다. 목표 영상의 ⑤, ⑥ 영역은 각각 좌, 우 영상(Reference Image 1, Reference Image 3)의 ⑤ 영역, ⑥ 영역에만 존재하는 영역으로 그대로 사용된다.
이와 같이 목표 영상에서
Figure 112005058767091-pat00008
,
Figure 112005058767091-pat00009
,
Figure 112005058767091-pat00010
영역으로 구성되는 A 영역(A Area)이 합성되고
Figure 112005058767091-pat00011
, ⑤, ⑥ 영역으로 구성되는 B 영역(B Area)이 합성되면 A 영역, B 영역이 통합되고 이에 대해서 이미지 블렌딩이 적용되어 최종 목표 영상, 즉 중간 영상이 합성된다.
이하 본 발명의 상세한 설명에서 중간 영상은 목표 영상(Target Image)으로도 표현되며, 참조 영상(Base Image, Reference Image 1, Reference Image 3)은 하영상(Base Image 또는 IB ), 좌영상(Reference Image 1 또는 IL ), 우영상(Reference Image 3 또는 IR )으로도 각각 표현된다.
이하 각 단계별로 상세히 설명한다.
(1) 거리 매칭(Matching Distance) 단계
거리 매칭 단계는 예측되는 중간 영상(Target Image)과 3개 참조 영상간의 중첩 영역을 확인하는 단계이다.
거리 매칭의 예시적인 구성을 보다 구체적으로 설명하면, 예컨대 상기 한국특허출원번호 10-2004-116703호에서와 동일하다.
도 3과 도 5a를 참조로 설명하면, 단계(S100)에서, 도 5a의 좌영상(Reference Image 1)과 우영상(Reference Image 3)을 이용하여, 그 중 하나의 영상을 중심으로 다른 하나의 영상을 수평으로 1 픽셀(pixel)씩 평행 이동시키면서 최소 거리 에러(MDE; Minimum Distance Error), 예컨대, 최소 평균 거리 에러(MADE; Minimum Average Distance Error)를 적용한다. 이에 따라, 평균 오류 합계(Average Error Sum)가 최소가 되는 수평 거리(HD; horizontal distance, 이하 "HD"라 함)를 구할 수 있다.
이어서, 단계(S105)는 전술한 단계(S100)에서 구한 HD로부터 그 절반에 해당하는 half-HD를 구하여, 원하는 중간영상(도 5a의 Target Image)의 위치를 예측한다. 즉, 좌영상(Reference Image 1) 또는 우영상(Reference Image 3) 중 하나의 영상을 half-HD 만큼 평행 이동시켜 얻은 영상을 기준으로, 하영상(Base Image)을 수직으로 1 픽셀씩 이동시킴으로써, MDE에 의하여 평균 오류 합계가 최소가 되는 수직 거리(VD; vertical distance, 이하 "VD"라 함)를 구한다.
이이서, 단계(S110)에서는, 전술한 VD와 HD를 이용하여 참조 영상 간의 중첩 영역이 결정되며, 이에 따라 각 중첩 영역에서의 차분 영상(Diff. Image)을 구할 수 있다. 즉, 좌영상 또는 우영상 중 하나의 영상을 half-HD 만큼 평행 이동시켜 얻은 영상을 기준으로, 하영상을 VD 만큼 수직으로 이동하면, 각 참조 영상 간에 상호 중첩에 따라 영역이 분할된다.
예컨대, 도 5a의 경우에는, ①,②,③ 영역은 좌영상/우영상 중 적어도 하나와 하영상 간에 차분 영상이 발생하는 중첩(공유) 영역이며, 중간 영상의
Figure 112005058767091-pat00012
,
Figure 112005058767091-pat00013
,
Figure 112005058767091-pat00014
영역에 각각 중첩된다. 그리고, ④ 영역은 좌영상 및 우영상 간의 중첩 영역이며, 중간 영상의
Figure 112005058767091-pat00015
영역에 중첩된다. 중간 영상의 ⑤, ⑥ 영역은 참조 영상 중에서 좌영상, 우영상에만 각각 존재하는 영역이다.
이와 같은 거리 매칭 단계의 예시적인 구성은 상기 한국특허출원번호 10- 2004-116703호에서와 동일하다. 그러나 이러한 픽셀 이동을 통한 거리 매칭 방법은 복잡도(Complexity)가 단순한 반면 속도와 정확도 면에서는 단점이 있는 트레이드오프(trade-off) 관계가 있다.
따라서 픽셀 이동을 통한 방법이 아닌　FFT(Fast Fourier Transform)을 이용하여 거리를 매칭하는 방법을 사용할 수 도 있다. 즉 각 참조 영상에 대해서 FFT을 수행하여 중간 영상의 합성시 중첩되는 영역을 확인할 수 있다.
(2) 메쉬 매핑(Mesh Mapping) 단계
목표 영상(Target Image)의 각 영역을 합성하기 위해서는 참조 영상으로부터의 참조가 이루어져야 한다. 일반적으로 많이 사용되고 있는 블록 매칭, 예컨대 상기 한국특허출원번호 제10-2004-116703호에서 설명된 블록 매칭을 통한 참조는 픽셀 값의 비교를 통한 참조이기 때문에 정확한 윤곽과 모양을 합성하기 어렵다.
이러한 단점을 보안하기 위해 윤곽선의 주요 절점(vertex)을 획득하여 이를 기반으로 블록 매칭을 수행하여 참조 영상을 참조하는 것이 좀 더 정확한 중간 영상을 획득할 수 있다.
메쉬 매핑 단계는 이러한 주요 절점을 획득하여 메쉬를 구성하는 단계로서 절점을 추출하는 단계와 이를 통한 메쉬를 형성하는 단계로 구분될 수 있다.
(a) 절점 추출 단계
절점 추출을 통해 참조 영상들을 참조하기 위해서는 우선 영상의 내의 객체 (object)를 잘 표현할 수 있는 윤곽선을 추출하여야 한다.
이러한 윤곽선 추출은 예컨대 도 5b의 B 영역[B area]의 경우 하영상(Base Image)에 대해서 예컨대 캐니 에지 검출(Canny Edge Detection) 알고리즘 또는 소벨 에지 검출(Sobel Edge Detection) 알고리즘을 사용하여 수행될 수 있다.
에지 내의 절점 추출은 참조 영상을 16x16 또는 8x8 등으로 윈도우 크기를 다양하게 변화시키면서 스캐닝하여 해당 윈도우 내에 단 하나의 절점만이 존재하도록 윈도우 내에서 절점을 추출하는 과정을 반복하여 수행된다.
예컨대 소벨 에지 연산기(Sobel Edge Operator)로 에지를 검출하는 경우 검출된 에지에 대해서 윈도우 내에서 픽셀 값이 가장 작은 값에 해당하는 픽셀을 절점으로 검출할 수 있다. 또는 캐니 에지 연산기(Canny Edge Operator)로 검출된 에지에 대해서는 픽셀값의 변화가 발생하기 시작하는 픽셀을 절점으로 검출할 수 있다.
이 경우 절점을 획득하게 되면, 경우에 따라 여러 개의 절점이 매우 근접하여 있거나, 에지를 정확히 표현하지 못하는 경우가 발생할 수 있다. 따라서 이러한 경우에는 윈도우 간격의 오프셋(offset)을 변화시켜서 다시 한번 절점 추출 과정을 반복할 수 있다.
이러한 윤곽선 추출은 예컨대 도 5b의 A 영역[A area]의 경우 좌영상(Reference Image 1) 또는 우영상(Reference Image 3)에 대해서 수행될 수 있다. 이하의 설명에서는 도 5b의 B 영역[B area]의 경우를 위주로 설명한다.
(b) 메쉬 형성 단계
절점 추출을 통해 획득한 절점을 이용하여 각 영역에 대해서 참조 영상, 즉 하영상 또는 좌영상 또는 우영상에 대해서 메쉬를 형성할 수 있다.
예컨대 딜로니(Delaunay) 삼각 메쉬를 형성할 수 있다.
(3) 에피폴라 라인 기반 블록 매칭(epipolar line based block matching) 단계
목표 영상의 합성을 위해서는 예컨대 B 영역의 경우 하영상(Base Image)에서 추출한 절점을 중식으로 블록 매칭을 통하여 좌, 우 영상(Reference Image 1과 Reference Image 3)에서 대응점을 검출하여야 한다. 에피폴라 라인 기반 블록 매칭 단계는 이러한 대응점을 검출하여 시차 벡터(disparity vector)를 획득하기 위한 단계이다.
일반적인 다시점 영상에서의 각 참조 영상의 대응점은 에피폴라 기하학에서 표현되는 에피폴라 라인 또는 그 주변 영역 상에 존재하게 된다.
또한 영상 내 모든 점에 대한 에피폴라 라인은 영상 전체의 변환 벡터(Translation Vector) 방향과 평행하다. 이러한 영상 전체의 변환 벡터는 거리 매칭 단계에서 획득한 거리 매칭(Matching Distance)로 알 수 있기 때문에 각 대응점에 대한 에피폴라 라인은 거리 매칭(Matching Distance) 벡터와 평행하게 표현할 수 있다.
이러한 성질을 이용하여 두 영상 간의 중첩된 부분에 대한 대응점을 이 에피 폴라 라인 및 그 주변 영역에서 찾는다.
참조 영상들에 대한 대응점 검출은 에피폴라 라인 상에서 일정한 크기( B )의 블록을 지정한 뒤 평균 절대 오차(Mean Absolute Error, MAE)를 이용하여 검출하는 블록 매칭 기법을 사용할 수 있다.
다음 수식은 하영상(Base Image, I B )과 좌영상(Reference Image 1, I L ) 사이의 MAE를 구하는 식이다.
Figure 112005058767091-pat00016
도 5a를 참조로 설명하면, 목표 영상의
Figure 112007003743165-pat00017
,
Figure 112007003743165-pat00018
,
Figure 112007003743165-pat00019
영역은 하영상(Base Image, IB )의 ①, ②, ③ 영역을 기준으로 좌, 우 영상(Reference Image 1과 Reference Image 3)을 참조하여 합성된다.
하영상(Base Image, I B )의 ② 영역의 절점의 경우, 에피폴라 라인을 따라 시차 벡터 D L (d x , d y )를 변화시키면서 좌영상(Reference Image 1, I L )과의 MAE를 구한다. 계산된 MAE의 값이 최소화되는 지점이 하영상( I B )의 ② 영역의 절점에 대한 좌영상(Reference Image 1, I L )의 대응점이 되며, 이때의 시차 D L 이 절점에 대한 시차가 된다.
이러한 절점과 대응점을 구하기 위한 블록의 위치는 각 영역에서의 관계를 고려하여 제한될 수 있다.
예컨대 위치상으로 볼때 하영상( I B )의 ② 영역의 절점들은 좌영상(Reference Image 1, I L )에서는 오른쪽 아래 방향에 존재하기 때문에 대응점을 찾기 위해서는 좌영상(Reference Image 1, I L )의 대각선 오른쪽 아래 방향으로만 영역을 제한하여 검출하는 것이 대응점 검출을 위한 연산 시간을 줄일 수 있다.
이와 같은 방법으로 하영상( IB )의 다른 영역과 우영상((Reference Image 3, IR )에 대해서도 시차 벡터 DR (dx, dy)를 정의할 수 있다.
마찬가지로 하영상(Base Image)의 ③ 영역의 절점들은 우영상(Reference Image 3)에서는 왼쪽 아래 방향에 존재하기 때문에 우영상(Reference Image 3, IR )의 대각선 왼쪽 아래 방향으로만 영역을 제한하여 검출하는 것이 대응점 검출을 위한 연산 시간을 줄일 수 있다.
하영상(Base Image)의 ① 영역은 좌, 우영상(Reference Image 1과 Reference Image 3) 모두에 존재하는 영역으로 각각에 대해 시차 벡터 DL , DR 을 동시에 획득한다.
① 영역에 대한 절점들에 대해서 좌영상 I L 과 우영상 I R 은 스테레오 영상, 즉 평행한 관계에 있기 때문에 시차 벡터 D L , D R 의 y성분은 같은 값을 지니게 될 것이다. 따라서 만약 시차 벡터 D L , D R 의 dy 값이 차이가 일정 임계값을 넘어서면 이를 에러로 정의하여 절점과 대응점을 삭제할 수 있다.
일정 임계값 이내인 경우에는 두 시차 벡터의 dy를 일치시키기 위하여 다음과 같이 dy를 지정한다.
Figure 112005058767091-pat00020
이와 같은 시차 보정을 통해 각 참조 영상 간 중첩되지 않는 부분과 가려지는 영역에 대한 에러를 줄일 수 있고 좀 더 정확한 시차 벡터를 도출할 수 있다.
예컨대 하영상(Base Iamge, I B )과 중첩되지 않는 부분에 대해서는 좌영상 I L 과 우영상 I R 의 관계를 통하여 시차를 구할 수 있다.
목표 영상(Target Image)의
Figure 112007003743165-pat00021
영역은 좌영상(Reference Image 1)과 우영상(Reference Image 3)에만 존재하는 영역이며, 참조되는 두 영상(Reference Image 1, Reference Image 3)은 스테레오 영상 관계이기 때문에 모든 시차 벡터는 x축과 평행하다. 따라서 이러한 성질을 이용하여 A 영역에 대해서 추출한 절점들에 대해서 전술한 에피폴라 라인 상의 블록 매칭을 x축과 그 주변 영역에 대해서 평행한 방향을 따라서 적용하면 시차 벡터를 구할 수 있다.
(4) 영상 보정 단계
영상 보정 단계는 시차 벡터를 이용하여 원하는 중간 영상을 합성하기 위하여 영상 변형 또는 영상 변환을 수행하고 시점 보간 영상을 생성하기 위해서 시차의 연속성과 불연속성을 보정하는 단계이다.
영상 보정 단계는 어파인(Affine) 변환을 통한 시차 벡터의 재조정 단계와 메쉬 클러스터링(mesh clustering) 단계와, 홀 필링(hole filling) 단계를 포함할 수 있다.
(a) 어파인 변환 단계
도 5b의 B 영역의 경우를 예로 하여 설명하면, 하영상(Base Image)으로부터 참조 영상(Reference Image 1, Reference Image 3)을 참조하여 획득된 시차 벡터(disparity vector)를 이용하여 원하는 목표 영상(Target Image)을 합성하기 위해서는 영상 변형/영상 변환이 이루어져야 한다. 중간 영상 합성의 경우 참조 영상(Base Image, Reference Image 1, Reference Image 3)과 목표 영상(Target Image) 사이의 관계는 단순한 영상 변환이 아니라 객체를 보는 시점에 따라서 객체의 모양이 달라지게 되는 영상 변경 관계이다.
따라서 목표 영상(Target Image)의 각 영역을 합성하기 위해서 어파인 변환(Affine Transform)을 적용할 수 있다.
하영상(Base Image)의 ①, ②, ③ 영역을 기준으로 좌, 우영상(Reference Image 1과 Reference Image 3)의 ①, ②, ③ 영역을 참조하여 시차 벡터를 구하고 이를 이용하여 어파인 변환을 통해 목표 영상(Target Image)의
Figure 112007003743165-pat00022
,
Figure 112007003743165-pat00023
,
Figure 112007003743165-pat00024
영역을 획득한다.
또한 좌영상(Reference Image 1)의 ④ 영역을 기준으로 우영상(Reference Image 3)의 ④ 영역을 참조하여 획득한 x 방향의 시차 벡터(disparity vector)를 이용하여 어파인 변환을 통해 목표 영상(Target Image)의
Figure 112007003743165-pat00025
영역을 합성한다.
다음 식은 변형된 좌표 (u, v)와 변환 전의 원 영상의 메쉬의 삼각형 내부의 픽셀(x, y)의 관계를 나타내는 수식이다.
Figure 112005058767091-pat00026
위 식에서 a1 내지 a6는 변환에 따른 파라미터이다.
따라서 실제 구현에서 원 영상의 메쉬의 삼각형 내부의 픽셀 (x, y)에 대해 변형된 (u, v)좌표를 알고 있기 때문에 앞선 식과 반대로, (u, v)를 통해 역변환 행렬(inverse transform matrix)을 구하고, 블록 매칭을 통해 얻은 시차 벡터값을 적용하면, 시차 벡터 값이 재조정 되어, 변형된 삼각형 내부에 해당하는 픽셀의 위치를 원영상에서 얻을 수 있다. 원영상의 삼각형으로부터 픽셀 값들을 가져올 때는 스캔 라인(Scan Line) 알고리즘을 적용하여 삼각형 메쉬 단위로 재조정된 시차 벡터를 통하여 픽셀 값들을 가져온다.
(b) 메쉬 클러스터링 단계
다시점 정방향 카메라 구조 기반의 영상 합성에서 시점 보간 영상을 생성하기 위한 중요한 이슈는 시차의 연속성과 불연속성을 정확히 표현하는 것이다.
영상 내 특정 물체의 내부 픽셀은 시차가 연속적으로 표현되어야하고 물체와 물체 사이의 경계 부근은 시차가 불연속적으로 표현되어야 한다.
또한 가려짐 영역에 대한 처리를 해결하여야 한다. 가려짐 영역이란 한 쪽 시점의 영상에서는 보이지만 다른 쪽 시점 영상에서는 보이지 않는 영역을 말한다. 특히 불연속적인 성분을 제대로 처리해야 시점 보간 영상에서의 핵심적인 문제인 가려짐 영역에 대한 처리를 할 수가 있다.
절점을 기준으로 삼각망을 구성하여 시차 맵을 구성하거나 시점 보간 영상을 생성하는 방법은 시차의 연속성을 매우 잘 표현할 수 있지만 시차의 불연속성을 표현하고 가려짐 영역을 처리 하는 것에는 문제가 있다.
기존의 연구에서는 영상 전체를 단 하나의 메쉬망으로 구성하여 영상 변형을 통해 중간 영상을 합성함으로써 물체의 경계 부근에서 블러링이 생기는 문제가 있었다. 메쉬 클러스터링은 영상을 구성하는 메쉬를 시차의 크기별로 분류하여 별도로 처리하는 방법이다.
도 6은 실험 영상의 시차 dy에 따른 절점의 수를 표현하고 있다. 도 6에서 도시되듯이 시차 26을 기초로 메쉬를 크게 2개의 클러스터로 구분할 수 있음을 알 수 있다.
즉, 시차가 26보다 작은 메쉬는 클러스터 1 그룹으로 분류하고 26보다 큰 메 쉬는 클러스터 2 그룹으로 분류할 수 있다. 도시된 임계값 26은 실험 영상에 따라 달라지며 클러스터의 그룹 수도 시차 분포에 따라 적절하게 조절될 수 있다.
메쉬 클러스터링 방식은 객체를 분리하는 방식이 아니기 때문에 여러개의 객체가 연속적으로 존재하는 경우에도 하나의 클러스터로 분류될 수 있다. 또는 하나의 객체라 하더라도 다수개의 클러스터로 분류될 수있다.
이 경우 메쉬를 구성하는 세 점의 시차가 모두 어느 하나의 클러스터에 속하면 해당 메쉬는 해당 클러스터로 분류할 수 있다. 하지만 메쉬를 구성하는 세 점이 각각 서로 다른 클러스터에 속하면 해당 메쉬를 어느 클러스터에 분류해야 하는지를 결정하여야 한다.
도 7은 이러한 클러스터 결정을 나타내는 도면이다.
도 7에서 C1 영역은 시차가 작은 영역, C2 영역은 시차가 큰 영역으로 가정한다. 각 절점에서의 수치는 해당 절점의 시차를 의미한다. 도 7에서 도시되듯이 메쉬 t1과 메쉬 t2는 두 영역 사이의 경계에 위치하고 있으며 P1과 P2는 각 시차가 급격히 변하는 선분 위의 절점이다. 따라서 P1과 P2 절점에서는 메쉬 t1의 측면에서 보면 C1 영역의 시차를 가지는 것이 바람직하며, 메쉬 t2의 측면에서 보면 C2 영역의 시차를 가지는 것이 바람직하다. 즉 P1과 P2 절점에서는 시차에 있어서 이중적인 성질을 가진다. 이러한 점의 가려진 영역(occlusion region)에서의 시차를 실제로 구해보면 도 7의 (b)에 도시되듯이 시차가 높은 C2 영역의 시차로 나타나는데 이것 은 경계선이 시차가 높은 객체, 즉 보다 앞에 나와 있는 객체에 따라 결정되기 때문이다.
따라서 서로 다른 클러스터에 속하는 절점으로 이루어진 메쉬는 보다 낮은 시차를 가지는 클러스터로 분류할 수 있다.
이러한 클러스터 분류 후에 시차의 이중성을 보였던 P1과 P2 절점의 시차를 도 7의 (b)와 같이 재설정한다.
즉 C2에 속하는 메쉬 t2의 P1과 P2 절점의 시차는 이미 구한 시차값을 그대로 설정하고, C1에 속하는 메쉬 t1의 P'1과 P'2 절점의 시차는 다음 식을 이용하여 재설정한다.
Figure 112005058767091-pat00027
(c) 홀 필링(Hole Filling) 단계
일반적으로 하나의 객체가 아닌 다수의 객체 사이에는 시차가 크게 발생하고, 각각의 시점 사이에서 시차가 큰 영역에 따른 가려짐이 발생한다.
또한 메쉬 클러스터 간의 시차로 인해서, 변환 결과 도 8과 같이 홀(hole)이 발생하고, 이에 따라서 결과적으로 홀 영역과 가려짐 영역이 일치하는 현상이 발생함을 알 수 있다.
따라서 홀 영역을 가려짐 영역으로 간주하여, 클러스터를 중심으로 왼쪽에 있는 홀 영역은 좌영상(Reference Image 1)에만 존재하고, 클러스터를 중심으로 오른쪽에 있는 홀 영역은 우영상(Reference Image 3)에만 존재하는 것으로 간주하자.
이 경우 두 개의 클러스터가 분리되는 경계의 삼각형의 절점의 경우, 모든 절점이 하나의 클러스터에 포함되지 않기 때문에 이 성질을 바탕으로 경계에 있는 절점을 획득한다.
획득한 경계 절점 중에서 초기 절점(Initial vertex)을 구하여 전경(Object임) 내의 메쉬를 따라서 순서대로 정렬하여 좌, 우 2개로 나누어 콘투어 절점 클러스터링(Contour vertex clustering)을 수행한다. 도 9는 콘투어 절점 클러스터링을 수행한 이후의 꼭지점을 표현하고 있다.
도 9의 (a)는 변환된 오른쪽 경계 영역의 절점을 흰 점으로, 그에 해당하는 변환되기 전의 절점을 검은 점으로 하여 우영상(Reference Image 3)에 표시한 것이며, 도 9의 (b)는 오른쪽 경계 부분의 절점을 같은 방법으로 좌영상(Reference Image 1)에 표시한 것이다.
도 9의 (a) 내지 도 9의 (b) 에 도시되듯이, 검은 점과 흰점사이의 영역에 규칙적인 삼각 메쉬를 형성하고, 좌영상(Reference Image 1)과 우영상(Reference Image 3)으로부터 이 영역을 획득하여 가져온다. 따라서 홀 영역이 메워 짐과 동시에 가려짐 영역에 대한 보상이 이루어진다.
하지만 복잡한 영역의 경우 규칙적인 삼각 메쉬를 형성할 경우, 삼각형이 겹치는 현상이 발생한다. 따라서 제안한 알고리즘에서는 이러한 규칙적인 삼각 메쉬의 유효성 평가를 통해 서로 겹치지 않는 삼각형에 한하여 규칙저인 삼각 메쉬를 형성하고 변환을 수행하도록 보안하였다. 도 10은 규칙적인 삼각 메쉬의 유효성 평가를 통해 일부 삼각 메쉬가 제외된 규칙적인 삼각 메쉬의 예를 나타내고 있다. 즉 도 10의 (a)는 우영상에 대해서 콘투어 규칙 삼각 메쉬를 도시하며, 도 10의 (b)는 좌영상에 대해서 콘투어 규칙 삼각 메쉬를 도시한다.
도 5b의 B 영역을 참조로 영상 보정 단계가 설명되었지만 도 5b의 A 영역에 대해서도 동일하게 영상 보정 단계가 수행된다.
(5) 영상 합성 단계
영상 합성 단계는 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 단계이다. 즉 도 5b의 A 영역과 B 영역을 이미지 블렌딩을 수행한 후 통합하여 중간 영상을 합성한다. 이미지 블렌딩에 대한 상세한 설명은 생략한다.
이상과 같이 설명된 본 발명에 따른 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법은 특히 제한된 크기의 채널을 통한 3D TV 방송의 실현을 위해서 최소한의 영상만을 전송하는 경우에 적용될 수 있다. 즉 본 발명에 따른 중간 영상 합성 방법을 이용하여 전송되지 않은 영상을 실시간으로 합성할 수 있다.
또한 본 발명에 따른 중간 영상 합성 방법은 거리 매칭(Matching distance) 을 통하여 겹쳐지는 영역을 확인하고 참조 영상에 따라 나타나는 차분의 위치 특성을 고려하여, 절점을 중심으로 에피폴라 라인 중심의 블록 매칭을 이용하여 시차 벡터를 획득하는 방식을 사용함으로써 시차 벡터를 이용한 다시점 압축 알고리즘에 적용될 수 있다.
한편 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 장치와 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 대한 설명은 본 발명에 따른 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간 영상 합성 방법과 중복되므로 설명을 생략한다.
이상에서 본 발명의 구성이 구체적으로 설명되었지만 이는 예시적인 것에 불과하며 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 여타 실시예가 가능하다는 점을 이해할 것이다. 예컨대, 본 발명의 바람직한 실시예를 설명함에 있어서, 참조 영상으로 좌/우/하영상을 예시하였으나, 합성하고자 하는 중간 영상의 위치에 따라서는 상/하/우영상, 또는 상/하/좌영상 등과 같이 달리 설정될 수 있다. 따라서, 본 발명의 보호 범위는 이하의 특허청구범위에 의해서 정해져야 할 것이다.
이상 설명한 바와 같이, 본 발명에 따르면 거리 매칭을 이용하여 일정시간 간격으로 공유 영역을 찾고 이를 기반으로 영역별로 합성 영상을 만들어내기 때문에 정확한 시차 벡터를 획득할 수 있으며, 3개의 참조 영상을 이용함으로써 폐색 영역을 줄이고, 시차가 큰 참조 영상에 대해서도 용이하게 합성영상을 만들어 낼 수 있으며, 윤곽선의 절점을 중심으로 메쉬를 통한 영상 변환이 이루어지기 때문에 변환된 윤곽을 정확히 표현할 수 있고, 높은 입체감을 표시할 수 있다.

Claims (31)

  1. 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법으로서,
    합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리매칭 단계와,
    상기 중첩 영역에 따라서 나타나는 차분의 위치 특성을 고려하여 객체(object)의 윤곽선을 기반으로 절점(vertex)을 추출하여 메쉬를 구성하는 메쉬 매핑 단계와,
    상기 추출된 절점을 중심으로 에피폴라 라인 상에서 지정된 일정한 블록 단위로 블록 매칭을 수행하여 상기 절점에 대한 시차 벡터를 획득하는 에피폴라 라인 기반 블록 매칭 단계와,
    상기 블록 매칭 결과에 따라서 상기 참조 영상을 기초로 영상 변환 및 영상 변형을 수행하여 상기 중첩 영역의 영상을 보정하는 영상 보정 단계와,
    상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상 합성 단계
    를 포함하는 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  2. 제1항에 있어서, 상기 거리매칭 단계는,
    상기 세 개의 참조 영상 중에서 평행한 두 개의 참조 영상의 거리(HD)를 평행 이동 및 최소 평균 차분 에러에 의하여 계산하는 단계와,
    상기 평행한 두 개의 참조 영상을 상기 계산된 거리의 절반만큼 이동시켜서 중간 영상의 위치를 결정하고, 상기 중간 영상과 나머지 하나의 참조 영상의 거리(VD)를 상기 평행 이동과 수직한 이동 및 최소 평균 차분 에러에 의하여 계산하는 단계와,
    상기 평행한 두 개의 참조 영상을 상기 계산된 거리(HD)의 절반만큼 이동시키고 상기 나머지 하나의 참조 영상을 상기 계산된 거리(VD)만큼 이동시켜서, 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 단계
    를 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  3. 제1항에 있어서, 상기 거리 매칭 단계는,
    FFT(Fast Fourier Transform)을 사용하여 중첩 영역을 확인하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  4. 제1항에 있어서, 상기 메쉬 매핑 단계는,
    상기 참조 영상 내의 객체의 윤곽선을 검출하는 단계와,
    상기 검출된 윤곽선 내의 절점 추출을 위해서 상기 윤곽선 부근의 참조 영상을 소정 크기의 윈도우 크기로 스캐닝하여 해당 윈도우 내에 단 하나의 절점만이 존재하도록 상기 절점을 추출하는 단계와,
    상기 추출된 절점을 기초로 참조 영상에 대한 메쉬를 형성하는 단계
    를 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  5. 제4항에 있어서, 상기 윤곽선을 검출하는 단계는,
    캐니 에지 연산기(Canny Edge Operator) 또는 소벨 에지 연산기(Sobel Edge Operator)를 사용하여 수행되는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  6. 제4항에 있어서, 상기 절점을 추출하는 단계는,
    상기 윈도우 내에 하나 이상의 절점이 존재하는 경우 또는 윤곽선이 표현되지 않는 경우에, 상기 윈도우의 크기 또는 상기 윈도우 간격의 오프셋(offset)을 변화시켜서 상기 윈도우 내에 하나의 절점이 존재하도록 상기 절점을 추출하는 단계를 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  7. 제4항에 있어서, 상기 메쉬는,
    딜로니(Delaunay) 삼각 메쉬인 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  8. 제1항에 있어서, 상기 에피폴라 라인 기반 블록 매칭 단계는,
    상기 참조 영상들에 대한 대응점 검출을 위해서 상기 에피폴라 라인 상에서 일정한 크기의 블록을 지정하는 단계와,
    상기 블록에 대해서 상기 참조 영상 간의 평균 절대 오차(Mean Absolute Error)를 계산하는 단계와,
    상기 평균 절대 오차가 최소화되는 지점을 상기 절점에 대한 대응점으로 설정하는 단계와,
    상기 절점과 상기 절점에 대한 대응점을 기초로 시차 벡터를 획득하는 단계
    를 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  9. 제8항에 있어서, 상기 에피폴라 라인 기반 블록 매칭 단계는,
    상기 절점과 상기 대응점의 관계를 고려하여 상기 블록의 위치를 제한하는 단계
    를 더 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  10. 제8항에 있어서, 상기 에피폴라 라인 기반 블록 매칭 단계는,
    상기 참조 영상 모두를 참조하는 중첩 영역에 대해서 스테레오 영상인 두개의 참조 영상에 대해서 상기 절점의 시차 벡터의 y 성분의 값의 차이가 일정한 임계값 미만인지 확인하는 단계와,
    상기 y 성분 값의 차이가 상기 임계값 이상이면 상기 절점과 상기 절점에 대응하는 상기 대응점을 삭제하는 단계와,
    상기 y 성분 값의 차이가 상기 임계값 미만이면 상기 시차 벡터의 y성분을 평균하여 일치시키는 단계
    를 더 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  11. 제8항에 있어서, 상기 에피폴라 라인 기반 블록 매칭 단계는,
    상기 참조 영상 중 스테레오 영상인 두개의 참조 영상을 참조하는 중첩 영역에 대해서 상기 블록 매칭을 x 축 주변 영역과 그에 평행한 방향을 따라서 한정적으로 적용하는 단계
    를 더 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  12. 제1항에 있어서, 상기 영상 보정 단계는,
    어파인(Affine) 변환을 통하여 상기 중간 영상의 중첩 영역을 각각 생성하는 단계를 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  13. 제1항에 있어서, 상기 영상 보정 단계는,
    상기 메쉬 내의 절점의 시차값을 소정의 임계값을 기준으로 클러스터링(clustering)하여 시차를 재설정하고 폐색(occlusion) 영역을 검출하는 단계
    를 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  14. 제1항에 있어서, 상기 영상 보정 단계는,
    상기 중간 영상의 중첩 영역 각각에 대해서 홀(hole)이 발생하는 상기 메쉬의 절점에 대해서 상기 중첩 영역의 생성시 변환된 절점을 계산하는 단계와,
    상기 홀이 발생하는 메쉬의 절점과 상기 중첩 영역의 변환된 절점에 대해서 규칙적인 삼각 메쉬 영역을 형성하는 단계와,
    참조 영상으로부터 상기 규칙적인 삼각 메쉬 영역에 대한 영상을 획득하여 상기 중첩 영역의 상기 규칙적인 삼각 영역에 추가하는 단계
    를 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  15. 제1항에 있어서, 상기 영상 합성 단계는,
    상기 중첩 영역의 경계선에 대하여 이미지 블렌딩을 수행하는 단계를 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 방법.
  16. 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치로서,
    합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리 매칭 수단과,
    상기 중첩 영역에 따라서 나타나는 차분의 위치 특성을 고려하여 객체의 윤곽선을 기반으로 절점을 추출하여 메쉬를 구성하는 메쉬 매핑 수단과,
    상기 추출된 절점을 중심으로 에피폴라 라인 상에서 지정된 일정한 블록 단위로 블록 매칭을 수행하여 상기 절점에 대한 시차 벡터를 획득하는 에피폴라 라인 기반 블록 매칭 수단과,
    상기 블록 매칭 결과에 따라서 상기 참조 영상을 기초로 영상 변환 및 영상 변형을 수행하여 상기 중첩 영역의 영상을 보정하는 영상 보정 수단과,
    상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상 합성 수단을 포함하는 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  17. 제16항에 있어서, 상기 거리 매칭 수단은,
    상기 세 개의 참조 영상 중에서 평행한 두 개의 참조 영상의 거리(HD)를 평행 이동 및 최소 평균 차분 에러에 의하여 계산하고,
    상기 평행한 두 개의 참조 영상을 상기 계산된 거리의 절반만큼 이동시켜서 중간 영상의 위치를 결정하고, 상기 중간 영상과 나머지 하나의 참조 영상의 거리(VD)를 상기 평행 이동과 수직한 이동 및 최소 평균 차분 에러에 의하여 계산하고,
    상기 평행한 두 개의 참조 영상을 상기 계산된 거리(HD)의 절반만큼 이동시키고 상기 나머지 하나의 참조 영상을 상기 계산된 거리(VD)만큼 이동시켜서, 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  18. 제16항에 있어서, 상기 거리 매칭 수단은,
    FFT(Fast Fourier Transform)을 사용하여 중첩 영역을 확인하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  19. 제16항에 있어서, 상기 메쉬 매핑 수단은,,
    상기 참조 영상 내의 객체의 윤곽선을 검출하고,
    상기 검출된 윤곽선 내의 절점 추출을 위해서 상기 윤곽선 부근의 참조 영상을 소정 크기의 윈도우 크기로 스캐닝하여 해당 윈도우 내에 단 하나의 절점만이 존재하도록 상기 절점을 추출하고,
    상기 추출된 절점을 기초로 참조 영상에 대한 메쉬를 형성하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  20. 제19항에 있어서, 상기 윤곽선을 검출하는 수단은,
    캐니 에지 연산기(Canny Edge Operator) 또는 소벨 에지 연산기(Sobel Edge Operator)인 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  21. 제19항에 있어서, 상기 절점을 추출하는 수단은,
    상기 윈도우 내에 하나 이상의 절점이 존재하는 경우 또는 윤곽선이 표현되지 않는 경우에, 상기 윈도우의 크기 또는 상기 윈도우 간격의 오프셋(offset)을 변화시켜서 상기 윈도우 내에 하나의 절점이 존재하도록 상기 절점을 추출하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치..
  22. 제19항에 있어서, 상기 메쉬는,
    딜로니(Delaunay) 삼각 메쉬인 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  23. 제16항에 있어서, 상기 에피폴라 라인 기반 블록 매칭 수단는,
    상기 참조 영상들에 대한 대응점 검출을 위해서 상기 에피폴라 라인 상에서 일정한 크기의 블록을 지정하고,
    상기 블록에 대해서 상기 참조 영상 간의 평균 절대 오차(Mean Absolute Error)를 계산하고,
    상기 평균 절대 오차가 최소화되는 지점을 상기 절점에 대한 대응점으로 설정하고,
    상기 절점과 상기 절점에 대한 대응점을 기초로 시차 벡터를 획득하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치..
  24. 제23항에 있어서, 상기 에피폴라 라인 기반 블록 매칭 수단은,
    상기 절점과 상기 대응점의 관계를 고려하여 상기 블록의 위치를 제한하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  25. 제23항에 있어서, 상기 에피폴라 라인 기반 블록 매칭 수단은,
    상기 참조 영상 모두를 참조하는 중첩 영역에 대해서 스테레오 영상인 두개의 참조 영상에 대해서 상기 절점의 시차 벡터의 y 성분의 값의 차이가 일정한 임계값 미만인지 확인하고,
    상기 y 성분 값의 차이가 상기 임계값 이상이면 상기 절점과 상기 절점에 대응하는 상기 대응점을 삭제하고,
    상기 y 성분 값의 차이가 상기 임계값 미만이면 상기 시차 벡터의 y성분을 평균하여 일치시키는 것인 포함하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  26. 제23항에 있어서, 상기 에피폴라 라인 기반 블록 매칭 수단은,
    상기 참조 영상 중 스테레오 영상인 두개의 참조 영상을 참조하는 중첩 영역에 대해서 상기 블록 매칭을 x 축 주변 영역과 그에 평행한 방향을 따라서 한정적으로 적용하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  27. 제16항에 있어서, 상기 영상 보정 수단은,
    어파인(Affine) 변환을 통하여 상기 중간 영상의 중첩 영역을 각각 생성하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  28. 제16항에 있어서, 상기 영상 보정 수단은,
    상기 메쉬 내의 절점의 시차값을 소정의 임계값을 기준으로 클러스터링하여 시차를 재설정하고 폐색 영역을 검출하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  29. 제16항에 있어서, 상기 영상 보정 수단은,
    상기 중간 영상의 중첩 영역 각각에 대해서 홀(hole)이 발생하는 상기 메쉬의 절점에 대해서 상기 중첩 영역의 생성시 변환된 절점을 계산하고,
    상기 홀이 발생하는 메쉬의 절점과 상기 중첩 영역의 변환된 절점에 대해서 규칙적인 삼각 메쉬 영역을 형성하고,
    참조 영상으로부터 상기 규칙적인 삼각 메쉬 영역에 대한 영상을 획득하여 상기 중첩 영역의 상기 규칙적인 삼각 영역에 추가하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치..
  30. 제16항에 있어서, 상기 영상 합성 장치는,
    상기 중첩 영역의 경계선에 대하여 이미지 블렌딩을 수행하는 것인 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성 장치.
  31. 다시점 정방향 카메라 구조 기반 메쉬를 이용한 중간 영상 합성을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체로서,
    합성하고자 하는 중간 영상과 이에 이웃하는 세 개의 참조 영상이 중첩하는 영역을 확인하는 거리 매칭 기능과,
    상기 중첩 영역에 따라서 나타나는 차분의 위치 특성을 고려하여 객체(object)의 윤곽선을 기반으로 절점을 추출하여 메쉬를 구성하는 메쉬 매핑 기능과,
    상기 추출된 절점을 중심으로 에피폴라 라인 상에서 지정된 일정한 블록 단위로 블록 매칭을 수행하여 상기 절점에 대한 시차 벡터를 획득하는 에피폴라 라인 기반 블록 매칭 기능과,,
    상기 블록 매칭 결과에 따라서 상기 참조 영상을 기초로 영상 변환 및 영상 변형을 수행하여 상기 중첩 영역의 영상을 보정하는 영상 보정 기능과,
    상기 보정된 중첩 영역을 통합하여 중간 영상을 합성하는 영상 합성 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020050098033A 2005-10-18 2005-10-18 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체 KR100731979B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050098033A KR100731979B1 (ko) 2005-10-18 2005-10-18 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
US11/281,389 US7742657B2 (en) 2005-10-18 2005-11-18 Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050098033A KR100731979B1 (ko) 2005-10-18 2005-10-18 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체

Publications (2)

Publication Number Publication Date
KR20070042288A KR20070042288A (ko) 2007-04-23
KR100731979B1 true KR100731979B1 (ko) 2007-06-25

Family

ID=37948194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050098033A KR100731979B1 (ko) 2005-10-18 2005-10-18 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체

Country Status (2)

Country Link
US (1) US7742657B2 (ko)
KR (1) KR100731979B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100125292A (ko) * 2008-03-04 2010-11-30 톰슨 라이센싱 가상 레퍼런스 뷰
WO2011084021A3 (ko) * 2010-01-11 2011-11-10 엘지전자 주식회사 방송 수신기 및 3d 이미지 디스플레이 방법
US10839540B2 (en) 2017-09-29 2020-11-17 Electronics And Telecommunications Research Institute Apparatus and method for generating intermediate view image

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100900077B1 (ko) * 2006-12-04 2009-06-01 한국전자통신연구원 드로네이 공간분할에 기반한 곡률 반영 등위곡면 생성시스템 및 방법
KR100968204B1 (ko) 2007-01-11 2010-07-06 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
KR100918480B1 (ko) * 2007-09-03 2009-09-28 한국전자통신연구원 스테레오 비전 시스템 및 그 처리 방법
TWI343207B (en) * 2007-09-07 2011-06-01 Lite On Technology Corp Device and method for obtain a clear image
TWI348120B (en) * 2008-01-21 2011-09-01 Ind Tech Res Inst Method of synthesizing an image with multi-view images
KR101580284B1 (ko) * 2009-02-02 2015-12-24 삼성전자주식회사 중간 시점 영상 생성 장치 및 방법
AU2009243439A1 (en) * 2009-11-30 2011-06-16 Canon Kabushiki Kaisha Robust image alignment for distributed multi-view imaging systems
WO2011078244A1 (ja) * 2009-12-24 2011-06-30 シャープ株式会社 多眼撮像装置および多眼撮像方法
CN102834843B (zh) * 2010-04-02 2016-11-16 诺基亚技术有限公司 用于面部检测的方法和装置
JPWO2012023330A1 (ja) * 2010-08-16 2013-10-28 富士フイルム株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
WO2012026768A2 (en) 2010-08-27 2012-03-01 Samsung Electronics Co., Ltd. Rendering apparatus and method for generating multi-views
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
US9613453B2 (en) 2011-10-04 2017-04-04 Google Inc. Systems and method for performing a three pass rendering of images
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
EP2839664A4 (en) * 2012-07-09 2016-04-06 Mediatek Inc METHOD AND APPARATUS FOR PREDICTING INTERVIEW SUB-DIVISION IN 3D VIDEO CODING
KR102145965B1 (ko) * 2013-11-27 2020-08-19 한국전자통신연구원 다시점 삼차원 디스플레이에서 부분 영상의 운동 시차 제공 방법 및 그 장치
US20150348319A1 (en) * 2014-06-03 2015-12-03 Alexey M. Supikov Adaptive re-meshing for view interpolation from images with depth or disparity
US10477247B2 (en) 2015-11-18 2019-11-12 Electronics And Telecommunications Research Institute Method for decoding video using in-loop filter, and device therefor
JP6937302B2 (ja) * 2015-11-23 2021-09-29 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 多視点ビデオの符号化／復号化方法
CN106060511B (zh) * 2016-06-17 2018-11-16 浙江工商大学 基于深度图的立体视频补全方法及系统
US20180091797A1 (en) * 2016-09-27 2018-03-29 The Boeing Company Apparatus and method of compensating for relative motion of at least two aircraft-mounted cameras
EP3419286A1 (en) 2017-06-23 2018-12-26 Koninklijke Philips N.V. Processing of 3d image information based on texture maps and meshes
TWI775869B (zh) * 2017-06-29 2022-09-01 佳能企業股份有限公司 影像擷取裝置及影像處理方法
FR3093215B1 (fr) * 2019-02-22 2021-08-27 Fogale Nanotech Procédé et dispositif de surveillance de l’environnement d’un robot
KR102089500B1 (ko) * 2019-11-11 2020-05-26 공간정보기술 주식회사 스테레오 카메라를 탑재한 드론과 선형정보를 이용한 활주로 맵핑방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065014A (ko) * 2003-01-13 2004-07-21 전자부품연구원 다시점 영상의 압축/복원장치 및 방법
KR20050082764A (ko) * 2004-02-20 2005-08-24 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR20060047399A (ko) * 2004-10-12 2006-05-18 한국전자통신연구원 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치
KR100590025B1 (ko) 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07115534A (ja) * 1993-10-15 1995-05-02 Minolta Co Ltd 画像読取装置
JPH0877356A (ja) * 1994-09-09 1996-03-22 Fujitsu Ltd 三次元多眼画像の処理方法及び処理装置
US6084979A (en) * 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
US6078701A (en) * 1997-08-01 2000-06-20 Sarnoff Corporation Method and apparatus for performing local to global multiframe alignment to construct mosaic images
DE69823116D1 (de) * 1997-08-05 2004-05-19 Canon Kk Bildverarbeitungsverfahren und -gerät
US6657667B1 (en) * 1997-11-25 2003-12-02 Flashpoint Technology, Inc. Method and apparatus for capturing a multidimensional array of overlapping images for composite image generation
US6198852B1 (en) * 1998-06-01 2001-03-06 Yeda Research And Development Co., Ltd. View synthesis from plural images using a trifocal tensor data structure in a multi-view parallax geometry
US6473536B1 (en) * 1998-09-18 2002-10-29 Sanyo Electric Co., Ltd. Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040065014A (ko) * 2003-01-13 2004-07-21 전자부품연구원 다시점 영상의 압축/복원장치 및 방법
KR20050082764A (ko) * 2004-02-20 2005-08-24 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR20060047399A (ko) * 2004-10-12 2006-05-18 한국전자통신연구원 영상합성기반 다시점 동영상 부호화 및 복호화를 수행하기위한 방법 및 장치
KR100590025B1 (ko) 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100125292A (ko) * 2008-03-04 2010-11-30 톰슨 라이센싱 가상 레퍼런스 뷰
KR101653724B1 (ko) 2008-03-04 2016-09-02 톰슨 라이센싱 가상 레퍼런스 뷰
WO2011084021A3 (ko) * 2010-01-11 2011-11-10 엘지전자 주식회사 방송 수신기 및 3d 이미지 디스플레이 방법
US9215444B2 (en) 2010-01-11 2015-12-15 Lg Electronics Inc. Broadcasting receiver and method for displaying 3D images
US9485489B2 (en) 2010-01-11 2016-11-01 Lg Electronics Inc. Broadcasting receiver and method for displaying 3D images
US10839540B2 (en) 2017-09-29 2020-11-17 Electronics And Telecommunications Research Institute Apparatus and method for generating intermediate view image

Also Published As

Publication number Publication date
US20070086645A1 (en) 2007-04-19
US7742657B2 (en) 2010-06-22
KR20070042288A (ko) 2007-04-23

Similar Documents

Publication Publication Date Title
KR100731979B1 (ko) 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
Tam et al. 3D-TV content generation: 2D-to-3D conversion
US8351685B2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN101682794B (zh) 用于处理深度相关信息的方法、装置和系统
EP2560398B1 (en) Method and apparatus for correcting errors in stereo images
US10334231B2 (en) Display method and system for converting two-dimensional image into multi-viewpoint image
KR100902353B1 (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
Lee et al. Discontinuity-adaptive depth map filtering for 3D view generation
JP2013225740A (ja) 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
Jang et al. Efficient disparity map estimation using occlusion handling for various 3D multimedia applications
KR20100008677A (ko) 깊이맵 추정장치와 방법, 이를 이용한 중간 영상 생성 방법및 다시점 비디오의 인코딩 방법
EP2061005A2 (en) Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN109644280B (zh) 生成场景的分层深度数据的方法
WO2016202837A1 (en) Method and apparatus for determining a depth map for an image
KR100590025B1 (ko) 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치
EP2781099A1 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
Knorr et al. Stereoscopic 3D from 2D video with super-resolution capability
KR20140118083A (ko) 입체 영상 제작 시스템 및 깊이 정보 획득방법
KR20110060180A (ko) 관심 객체 선택을 통한 3차원 모델 생성 방법 및 장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
JPH08201941A (ja) ３次元画像形成方法
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体
Lee et al. Segment-based multi-view depth map estimation using belief propagation from dense multi-view video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee