KR20100088774A - 중간 시점 영상 생성 장치 및 방법 - Google Patents

중간 시점 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20100088774A
KR20100088774A KR1020090007875A KR20090007875A KR20100088774A KR 20100088774 A KR20100088774 A KR 20100088774A KR 1020090007875 A KR1020090007875 A KR 1020090007875A KR 20090007875 A KR20090007875 A KR 20090007875A KR 20100088774 A KR20100088774 A KR 20100088774A
Authority
KR
South Korea
Prior art keywords
view image
image
block
reference block
generating
Prior art date
Application number
KR1020090007875A
Other languages
English (en)
Other versions
KR101580284B1 (ko
Inventor
임일순
곽영신
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090007875A priority Critical patent/KR101580284B1/ko
Priority to US12/457,689 priority patent/US9215438B2/en
Publication of KR20100088774A publication Critical patent/KR20100088774A/ko
Application granted granted Critical
Publication of KR101580284B1 publication Critical patent/KR101580284B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

좌시점 영상 또는 우시점 영상 중 어느 하나의 영상을 이용하여 중간 시점 영상을 생성하고, 상기 좌시점 영상 또는 상기 우시점 영상 중 다른 하나의 영상을 참조하여 상기 중간 시점 영상을 보간하는 중간 시점 영상 생성 장치가 개시된다.
다시점, 스테레오, 영상, 중간 시점, 보간, 생성

Description

중간 시점 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING INTERMEDIATE VIEW IMAGE}
중간 시점 영상 생성 장치 및 방법이 개시된다. 특히, 중간 시점 영상을 생성할 때 발생할 수 있는 홀(hole)이나 블러링(blurring) 현상을 방지할 수 있는 중간 시점 영상 생성 장치 및 방법이 개시된다.
시청자에게 3차원 입체감을 제공하기 위한 다시점(Multi-View) 영상은 두 대 이상의 카메라를 이용하여 촬영한 영상들을 기하학적으로 교정하고, 공간적으로 처리하여 생성될 수 있다.
이러한 다시점 영상은 다양한 시점 영상을 시청자에게 제공하는 3차원 영상 처리 기술과 관련된 것으로, 동일한 3차원 장면을 두 대 이상의 카메라로 획득하여 보다 입체감 있는 화면을 제공하는 기술이다.
최근에는 다시점 영상뿐만 아니라 초다시점(Super Multi-View: SMV) 영상이나 자유 시점 TV(Free Viewpoint TV: FTV) 등에 대한 다양한 연구가 진행되고 있다.
일반적으로 다시점 영상을 위한 영상 보간법(view interpolation)은 크게 영 상 기반 렌더링(image-based rendering)과 변위(disparity)를 이용한 영상 보간법으로 나뉠 수 있다.
영상 기반 렌더링은 여러 시점의 2차원 영상을 이용하여 임의 시점의 영상을 생성하는 기술이다. 그리고, 변위를 이용한 영상 보간법은 자유 시점 TV를 구현하기 위해 제안된 방법으로 각 화소(pixel)의 변위를 측정하고, 그 변위를 이용하여 원하는 위치의 중간 시점 화소를 획득하는 기술이다.
전술한 바와 같이, 다시점 영상에 대해 많은 관심이 집중되고 있으므로, 다시점 영상과 관련된 3차원 영상 처리 기술을 보다 향상시킬 수 있는 연구가 필요하다.
본 발명의 일실시예에 따른 중간 시점 영상 생성 장치는 좌시점 영상 또는 우시점 영상 중 어느 하나의 영상으로부터 상기 어느 하나의 영상의 변위 지도(disparity map)를 참조하여 중간 시점 영상을 생성하는 생성부 및 상기 좌시점 영상 또는 상기 우시점 영상 중 다른 하나의 영상을 참조하여 상기 중간 시점 영상을 보간하는 보간부를 포함한다.
또한, 본 발명의 일실시예에 따른 중간 시점 영상 생성 방법은 좌시점 영상 또는 우시점 영상 중 어느 하나의 영상으로부터 상기 어느 하나의 영상의 변위 지도(disparity map)를 참조하여 중간 시점 영상을 생성하는 단계 및 상기 좌시점 영상 또는 상기 우시점 영상 중 다른 하나의 영상을 참조하여 상기 중간 시점 영상을 보간하는 단계를 포함한다.
좌시점 영상 및 우시점 영상을 이용하여 중간 시점 영상을 생성하는 중간 시점 영상 생성 장치 및 방법을 제공하여, 중간 시점 영상에서 발생할 수 있는 홀(hole)이나 블러링(blurring) 현상을 방지할 수 있다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명하기로 한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 좌시점 영상, 우시점 영상 및 중간 시점 영상의 관계를 도시한 개념도이다.
다시점(Multi-View) 영상이나 초다시점(Super Multi-View: SMV)과 같은 영상들은 스테레오(Stereoscopic) 영상이 입력되면, 좌시점 영상(110) 또는 우시점 영상(120)을 이용하여 중간 시점 영상(130)을 합성하여 생성될 수 있다.
보통, 좌시점 영상(110) 또는 우시점 영상(120)을 이용하여 중간 시점 영상(130)을 합성하면, 중간 시점 영상(130)은 가려진 영역(disocclusion region)을 포함하거나 서로 다른 시점의 영상이 중첩됨으로 인해, 블러링(blurring) 현상을 겪을 수 있다.
이와 관련하여, 본 발명의 일실시예에 따른 중간 시점 영상 생성 장치는 좌시점 영상(110) 또는 우시점 영상(120) 중 어느 하나의 영상으로부터 상기 어느 하나의 영상의 변위 지도(disparity map)를 참조하여 중간 시점 영상(130)을 생성한 후, 좌시점 영상(110) 또는 우시점 영상(120) 중 다른 하나의 영상을 참조하여 중간 시점 영상(130)을 보간(interpolation)함으로써, 중간 시점 영상(130)에 발생할 수 있는 홀(hole)을 제거하고, 블러링 현상을 방지할 수 있다.
따라서, 이하에서는 도 2 및 도 3을 참조하여 본 발명의 일실시예에 따른 중간 시점 영상 생성 장치를 상세히 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 중간 시점 영상 생성 장치의 구조를 도시한 도면이다.
도 2를 참조하면, 중간 시점 영상 생성 장치(210)가 도시되어 있다.
본 발명의 일실시예에 따른 중간 시점 영상 생성 장치(210)는 생성부(220) 및 보간부(230)를 포함한다.
생성부(220)는 좌시점 영상(110) 또는 우시점 영상(120) 중 어느 하나의 영상으로부터 상기 어느 하나의 영상의 변위 지도(disparity map)를 참조하여 중간 시점 영상(130)을 생성한다.
본 발명의 일실시예에 따르면, 생성부(220)는 상기 변위 지도를 참조하여 상기 어느 하나의 영상을 구성하는 적어도 하나의 화소(pixel)를 천이(shifting)시켜, 중간 시점 영상(130)을 생성할 수 있다.
예컨대, 생성부(220)는 좌시점 영상(110)의 변위 지도를 참조하여 좌시점 영상(110)을 구성하는 적어도 하나의 화소를 우측으로 천이시켜, 중간 시점 영상(130)을 생성할 수 있다.
또한, 생성부(220)는 우시점 영상(120)의 변위 지도를 참조하여 우시점 영상(120)을 구성하는 적어도 하나의 화소를 좌측으로 천이시켜, 중간 시점 영상(130)을 생성할 수 있다.
이때, 본 발명의 일실시예에 따르면, 생성부(220)는 하기의 수학식 1에 기초하여 중간 시점 영상(130)을 생성할 수 있다.
Figure 112009006275799-PAT00001
여기서, Iα는 중간 시점 영상(130)을 의미하고, IL과 IR-은 각각 좌시점 영상(110)과 우시점 영상(120)을 의미하며,
Figure 112009006275799-PAT00002
는 내림 연산자(floor)를 의미한다.
상기 수학식 1을 참조하면, 생성부(220)는 좌시점 영상(110)(IL)에 대해 소정의 변위만큼(
Figure 112009006275799-PAT00003
) 우측으로 화소 천이를 수행하여 중간 시점 영상(130)(Iα)을 생성할 수 있다.
또한, 생성부(220)는 좌시점 영상(110)(IL)에 대해 화소 천이를 수행하는 대신, 우시점 영상(120)(IR)에 대해 소정의 변위만큼(
Figure 112009006275799-PAT00004
) 좌측으로 화소 천이를 수행하여 중간 시점 영상(130)(Iα)을 생성할 수 있다.
이때, α값은 사용자가 임의로 설정할 수 있는 값으로서, 만약, 정중앙의 중간 시점 영상(130)을 생성하는 경우, 사용자는 α값을 0.5로 설정할 수 있다.
본 발명의 일실시예에 따르면, 생성부(220)는 상기 어느 하나의 영상에 대해 순방향 사상(forward process) 기법 또는 역방향 사상(backward process) 기법 중 어느 하나의 기법을 이용하여 중간 시점 영상(130)을 생성할 수 있다.
이와 관련하여, 생성부(220)의 동작을 상세히 설명하기로 한다.
먼저, 생성부(220)가 상기 순방향 사상 기법을 이용하여 좌시점 영상(110)으로부터 중간 시점 영상(130)을 생성하는 경우에 대해 살펴보기로 한다.
생성부(220)는 중간 시점 영상(130)을 NULL로 초기화한 후 좌시점 영상(110)을 구성하는 적어도 하나의 화소 각각에 대해
Figure 112009006275799-PAT00005
만큼 화소 천이를 수행하고, 상기 천이된 화소들이 존재하는 위치 상에 좌시점 영상(110)의 RGB 색 정보를 저장하여 중간 시점 영상(130)을 생성할 수 있다.
이때, 상기 화소 천이의 수행 결과에 따른 화소들의 위치가 중간 시점 영상(130)을 구성할 적어도 하나의 화소의 위치가 된다.
만약, 상기 화소 천이의 수행 결과, 동일한 위치 상에 2개 이상의 화소가 천이된 경우, 생성부(220)는 상기 2개 이상의 화소들 중 변위가 큰 값을 갖는 화소를 선택할 수 있다.
다음으로, 생성부(220)가 상기 역방향 사상 기법을 이용하여 좌시점 영상(110)으로부터 중간 시점 영상(130)을 생성하는 경우에 대해 살펴보기로 한다.
생성부(220)는 중간 시점 영상(130)의 변위 지도를 NULL로 초기화한 후 좌시점 영상(110)의 변위 지도에서 좌시점 영상(110)을 구성하는 적어도 하나의 화소 각각에 대해
Figure 112009006275799-PAT00006
만큼 화소 천이를 수행하고, 상기 천이된 화소들이 존재하는 위치 상에 좌시점 영상(110)의 변위 지도에 저장되어 있는 변위(disparity)를 저장하여 중간 시점 영상(130)의 변위 지도를 생성할 수 있다.
이때, 상기 화소 천이의 수행 결과에 따른 화소들의 위치가 중간 시점 영상(130)의 변위 지도 상에서 중간 시점 영상(130)을 구성할 적어도 하나의 화소의 위치가 된다.
만약, 상기 화소 천이의 수행 결과, 동일한 위치 상에 2개 이상의 화소가 천이된 경우, 생성부(220)는 상기 2개 이상의 화소들 중 변위가 큰 값을 갖는 화소를 선택할 수 있다.
그리고 나서, 생성부(220)는 전술한 방법으로 생성한 중간 시점 영상(130)의 변위 지도를 이용하여 좌시점 영상(110)의 RGB 색 정보를 불러오고, 상기 RGB 색 정보를 이용하여 중간 시점 영상(130)을 생성할 수 있다.
보간부(230)는 좌시점 영상(110) 또는 우시점 영상(120) 중 다른 하나의 영상을 참조하여 중간 시점 영상(130)을 보간(interpolation)한다.
예컨대, 생성부(220)가 좌시점 영상(110)에 대해 화소 천이를 수행하여 중간 시점 영상(130)을 생성한 경우, 보간부(230)는 우시점 영상(120)을 참조하여 중간 시점 영상(130)을 보간할 수 있다.
이와는 반대로, 생성부(220)가 우시점 영상(120)에 대해 화소 천이를 수행하여 중간 시점 영상(130)을 생성한 경우, 보간부(230)는 좌시점 영상(110)을 참조하여 중간 시점 영상(130)을 보간할 수 있다.
본 발명의 일실시예에 따르면, 보간부(230)는 화소 천이의 양자화 오류(quantization error)로 인해, 중간 시점 영상(130)에 홀(hole)이 발생한 경우, 상기 홀에 인접한 화소들의 평균을 이용하여 상기 홀을 보간할 수 있다.
중간 시점 영상(130)에는 아무런 RGB 색 정보가 존재하지 않는 영역, 이른바 홀이 발생할 수 있다.
이러한 홀은 생성부(220)에서 상기 어느 하나의 영상을 구성하는 적어도 하나의 화소가 천이됨으로 인해 발생할 수 있는 양자화 오류와 중간 시점 영상(130)이 생성되면서 발생할 수 있는 가려진 영역(disocclusion region)에 의해 발생할 수 있다.
이때, 보간부(230)는 화소 천이의 양자화 오류로 인해, 중간 시점 영상(130)에 홀이 발생한 경우, 상기 홀에 인접한 화소들의 평균을 이용하여 상기 홀을 보간할 수 있다.
중간 시점 영상(130)에는 시청자의 눈에 심각하게 거슬릴 정도 넓은 영역에 걸쳐 발생한 홀이 존재할 수 있는데, 이러한 홀은 중간 시점 영상(130)에 가려진 영역이 드러나기 때문에 발생할 수 있다.
따라서, 본 발명의 일실시예에 따르면, 보간부(230)는 중간 시점 영상(130)에 발생한 가려진 영역을 보간하기 위해, 블록 설정부(231), 검색부(232) 및 영역 보완부(233)를 포함할 수 있다.
블록 설정부(231)는 중간 시점 영상(130)에 가려진 영역이 발생한 경우, 상기 가려진 영역의 인접 영역에 대해 선정된(predetermined) 크기의 기준 블록(block)을 설정한다.
검색부(232)는 상기 다른 하나의 영상에 대해 상기 기준 블록과 정 합(matching)하는 참고 블록을 검색한다.
이때, 본 발명의 일실시예에 따르면, 검색부(232)는 상기 다른 하나의 영상을 상기 기준 블록의 크기와 동일한 크기를 갖는 적어도 하나의 후보(candidate) 블록으로 구분한 후 상기 적어도 하나의 후보 블록과 상기 기준 블록 간에 소정의 비용함수를 연산할 수 있다.
그리고 나서, 검색부(232)는 상기 적어도 하나의 후보 블록 중에서 상기 비용함수의 값이 최소가 되는 블록을 검색하여, 검색된 후보 블록을 상기 참고 블록으로 선택할 수 있다.
이때, 본 발명의 일실시예에 따르면, 검색부(232)는 상기 비용함수로 RGB 정보의 MAD(Mean of Absolute Difference)를 사용할 수 있다.
영역 보완부(233)는 상기 참고 블록을 기초로 상기 다른 하나의 영상을 참조하여 상기 가려진 영역을 보완한다.
이때, 본 발명의 일실시예에 따르면, 영역 보완부(233)는 상기 다른 하나의 영상에 대해, 상기 참고 블록을 포함하되 상기 참고 블록보다 큰 영역을 보완 블록으로 설정하고, 상기 보완 블록을 참조하여 상기 가려진 영역을 보완할 수 있다.
이와 관련하여, 이하에서는 도 3을 참조하여 보간부(230)의 동작에 대해 예를 들어 상세히 설명하기로 한다.
도 3은 본 발명의 일실시예에 따른 보간부의 동작을 설명하기 위한 개념도이다.
먼저, 생성부(220)가 좌시점 영상(110)을 이용하여 중간 시점 영상(130)을 생성한 후 보간부(230)가 우시점 영상(120)을 이용하여 중간 시점 영상(130)을 보간하는 경우를 가정하기로 한다.
도면 부호 310은 중간 시점 영상(130)을 도시한 도면이고, 도면 부호 320은 우시점 영상(120)을 도시한 도면이다.
생성부(220)가 좌시점 영상(110)을 이용하여 중간 시점 영상(130)을 생성하면, 중간 시점 영상(130)에는 도면 부호 310에 도시된 바와 같이, 가려진 영역(311)이 발생할 수 있다.
이때, 블록 설정부(231)는 가려진 영역(311)의 인접 영역에 대해 선정된 크기의 기준 블록을 설정할 수 있다.
도면 부호 310에서는 블록 설정부(231)가 가려진 영역(311)의 우측 인접 영역에 대해 선정된 크기의 기준 블록(312)을 설정한 예가 도시되어 있다.
블록 설정부(231)가 기준 블록(312)를 설정하면, 검색부(232)는 우시점 영상(120)에 대해 기준 블록(312)과 정합하는 참고 블록을 검색한다.
즉, 검색부(232)는 도면 부호 320에 도시된 바와 같이, 우시점 영상(120)에서 기준 블록(312)과 정합하는 영역을 참고 블록(321)으로 검색할 수 있다.
검색부(232)가 참고 블록(321)을 검색하면, 영역 보완부(233)는 우시점 영상(120)에 대해 참고 블록(321)을 포함하되 참고 블록(321)보다 큰 영역을 보완 블록으로 설정하고, 상기 보완 블록을 참조하여 가려진 영역(311)을 보완할 수 있다.
도면 부호 320에서는 영역 보완부(233)가 우시점 영상(120)에서 참고 블록(321)을 포함하되, 참고 블록(321)의 크기를 초과하는 좌측 영역을 보완 블 록(322)으로 설정한 예가 도시되어 있다.
즉, 영역 보완부(233)는 참고 블록(321)의 좌측 영역을 보완 블록(322)으로 설정한 후 보완 블록(322)을 참조하여 가려진 영역(311)을 보완할 수 있다.
이때, 보간부(230)는 전술한 동작을 반복(iteratively) 수행하여, 중간 시점 영상(130)에 발생한 가려진 영역(311)이 넓은 경우에도 이를 적절히 보간할 수 있다.
도 4는 본 발명의 일실시예에 따른 중간 시점 영상 생성 방법을 도시한 순서도이다.
단계(S410)에서는 좌시점 영상 또는 우시점 영상 중 어느 하나의 영상으로부터 상기 어느 하나의 영상의 변위 지도를 참조하여 중간 시점 영상을 생성한다.
본 발명의 일실시예에 따르면, 단계(S410)에서는 상기 변위 지도를 참조하여 상기 어느 하나의 영상을 구성하는 적어도 하나의 화소를 천이시켜, 상기 중간 시점 영상을 생성할 수 있다.
단계(S420)에서는 상기 좌시점 영상 또는 상기 우시점 영상 중 다른 하나의 영상을 참조하여 상기 중간 시점 영상을 보간할 수 있다.
본 발명의 일실시예에 따르면, 단계(S420)에서는 화소 천이의 양자화 오류로 인해, 상기 중간 시점 영상에 홀이 발생한 경우, 상기 홀에 인접한 화소들의 평균을 이용하여 상기 홀을 보간할 수 있다.
또한, 본 발명의 일실시예에 따르면, 단계(S420)에서는 상기 중간 시점 영상에 가려진 영역이 존재하는 경우, 상기 가려진 영역의 인접 영역에 대해 선정된 크기의 기준 블록을 설정하고, 상기 다른 하나의 영상에 대해 상기 기준 블록과 정합하는 참고 블록을 검색하며, 상기 참고 블록을 기초로 상기 다른 하나의 영상을 참조하여 상기 가려진 영역을 보완할 수 있다.
이때, 본 발명의 일실시예에 따르면, 단계(S420)에서는 상기 다른 하나의 영상을 상기 기준 블록의 크기와 동일한 크기를 갖는 적어도 하나의 후보 블록으로 구분한 후 상기 적어도 하나의 후보 블록과 상기 기준 블록 간에 소정의 비용함수를 연산할 수 있다.
그리고 나서, 단계(S420)에서는 상기 적어도 하나의 후보 블록 중에서 상기 비용함수의 값이 최소가 되는 블록을 검색하여, 검색된 후보 블록을 상기 참고 블록으로 선택할 수 있다.
이상, 도 4를 참조하여 본 발명의 일실시예에 따른 중간 시점 영상 생성 방법에 대해 설명하였다. 여기서, 본 발명의 일실시예에 따른 중간 시점 영상 생성 방법은 도 1 내지 도 3를 이용하여 설명한 중간 시점 영상 생성 장치의 구성과 대응될 수 있으므로, 이에 대한 보다 상세한 설명은 생략하기로 한다.
본 발명의 일실시예에 따른 중간 시점 영상 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가 능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 좌시점 영상, 우시점 영상 및 중간 시점 영상의 관계를 도시한 개념도이다.
도 2는 본 발명의 일실시예에 따른 중간 시점 영상 생성 장치의 구조를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 보간부의 동작을 설명하기 위한 개념도이다.
도 4는 본 발명의 일실시예에 따른 중간 시점 영상 생성 방법을 도시한 순서도이다.

Claims (12)

  1. 좌시점 영상 또는 우시점 영상 중 어느 하나의 영상으로부터 상기 어느 하나의 영상의 변위 지도(disparity map)를 참조하여 중간 시점 영상을 생성하는 생성부; 및
    상기 좌시점 영상 또는 상기 우시점 영상 중 다른 하나의 영상을 참조하여 상기 중간 시점 영상을 보간하는 보간부
    를 포함하는 중간 시점 영상 생성 장치.
  2. 제1항에 있어서,
    상기 생성부는
    상기 변위 지도를 참조하여, 상기 어느 하나의 영상을 구성하는 적어도 하나의 화소을 천이시켜 상기 중간 시점 영상을 생성하는 중간 시점 영상 생성 장치.
  3. 제1항에 있어서,
    상기 보간부는
    상기 중간 시점 영상에 가려진 영역(disocclusion region)이 존재하는 경우, 상기 가려진 영역의 인접 영역에 대해 선정된 크기의 기준 블록을 설정하는 블록 설정부;
    상기 다른 하나의 영상에 대해 상기 기준 블록과 정합하는 참고 블록을 검색 하는 검색부; 및
    상기 참고 블록을 기초로, 상기 다른 하나의 영상을 참조하여 상기 가려진 영역을 보완하는 영역 보완부
    를 포함하는 중간 시점 영상 생성 장치.
  4. 제3항에 있어서,
    상기 검색부는
    상기 다른 하나의 영상을 적어도 하나의 후보 블록으로 구분하고, 상기 적어도 하나의 후보 블록과 상기 기준 블록 간에 비용함수를 연산하며, 상기 적어도 하나의 후보 블록 중에서 상기 비용함수의 값이 최소가 되는 블록을 검색하여 상기 참고 블록을 선택하는 중간 시점 영상 생성 장치.
  5. 제3항에 있어서,
    상기 영역 보완부는
    상기 다른 하나의 영상에 대해 상기 참고 블록을 포함하되 상기 참고 블록보다 큰 영역을 보완 블록으로 설정하고, 상기 보완 블록을 참조하여 상기 가려진 영역을 보완하는 중간 시점 영상 생성 장치.
  6. 제2항에 있어서,
    상기 보간부는
    상기 중간 시점 영상에 홀(hole)이 존재하는 경우, 상기 홀에 인접한 화소들의 평균을 이용하여 상기 홀을 보간하는 중간 시점 영상 생성 장치.
  7. 제2항에 있어서,
    상기 생성부는
    상기 어느 하나의 영상에 대해 순방향 사상(forward process) 기법 또는 역방향 사상(backward process) 기법 중 어느 하나의 기법을 이용하여 상기 중간 시점 영상을 생성하는 중간 시점 영상 생성 장치.
  8. 좌시점 영상 또는 우시점 영상 중 어느 하나의 영상으로부터 상기 어느 하나의 영상의 변위 지도(disparity map)를 참조하여 중간 시점 영상을 생성하는 단계; 및
    상기 좌시점 영상 또는 상기 우시점 영상 중 다른 하나의 영상을 참조하여 상기 중간 시점 영상을 보간하는 단계
    를 포함하는 중간 시점 영상 생성 방법.
  9. 제8항에 있어서,
    상기 중간 시점 영상을 생성하는 단계는
    상기 변위 지도를 참조하여, 상기 어느 하나의 영상을 구성하는 적어도 하나의 화소을 천이시켜 상기 중간 시점 영상을 생성하는 중간 시점 영상 생성 방법.
  10. 제8항에 있어서,
    상기 중간 시점 영상을 보간하는 단계는
    상기 중간 시점 영상에 가려진 영역(disocclusion region)이 존재하는 경우, 상기 가려진 영역의 인접 영역에 대해 선정된 크기의 기준 블록을 설정하고, 상기 다른 하나의 영상에 대해 상기 기준 블록과 정합하는 참고 블록을 검색하며, 상기 참고 블록을 기초로 상기 다른 하나의 영상을 참조하여 상기 가려진 영역을 보완하는 중간 시점 영상 생성 방법.
  11. 제9항에 있어서,
    상기 중간 시점 영상을 보간하는 단계는
    상기 중간 시점 영상에 홀(hole)이 존재하는 경우, 상기 홀에 인접한 화소들의 평균을 이용하여 상기 홀을 보간하는 중간 시점 영상 생성 방법.
  12. 제8항 내지 제11항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020090007875A 2009-02-02 2009-02-02 중간 시점 영상 생성 장치 및 방법 KR101580284B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090007875A KR101580284B1 (ko) 2009-02-02 2009-02-02 중간 시점 영상 생성 장치 및 방법
US12/457,689 US9215438B2 (en) 2009-02-02 2009-06-18 Intermediate image generation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090007875A KR101580284B1 (ko) 2009-02-02 2009-02-02 중간 시점 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100088774A true KR20100088774A (ko) 2010-08-11
KR101580284B1 KR101580284B1 (ko) 2015-12-24

Family

ID=42397346

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090007875A KR101580284B1 (ko) 2009-02-02 2009-02-02 중간 시점 영상 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US9215438B2 (ko)
KR (1) KR101580284B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014035015A1 (ko) * 2012-08-28 2014-03-06 광운대학교 산학협력단 임의의 가상시점 홀로그램 서비스를 위한 의사변위 기반 중간시점 영상 생성 방법
WO2014088247A1 (ko) * 2012-12-03 2014-06-12 Bok Sun Woo 다시점 입체영상 제작방법 및 장치
KR20140080893A (ko) * 2012-12-20 2014-07-01 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
US8873834B2 (en) 2011-07-12 2014-10-28 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
US9071835B2 (en) 2012-09-24 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image with hole filling
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9681115B2 (en) 2011-07-25 2017-06-13 Sony Corporation In-painting method for 3D stereoscopic views generation using left and right images and a depth map
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치
WO2013087880A1 (en) * 2011-12-14 2013-06-20 Thomson Licensing Method and system for interpolating a virtual image from a first and a second input images
EP2765774A1 (en) * 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
KR102432081B1 (ko) 2020-12-17 2022-08-11 충북대학교 산학협력단 플렌옵틱 영상의 중간시점 영상 생성 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
US20040240725A1 (en) * 2001-10-26 2004-12-02 Li-Qun Xu Method and apparatus for image matching
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR100590025B1 (ko) * 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
KR100483609B1 (ko) 2002-07-27 2005-04-15 삼성전기주식회사 노이즈 차폐형 적층 기판의 제조방법
US7672378B2 (en) * 2005-01-21 2010-03-02 Stmicroelectronics, Inc. Spatio-temporal graph-segmentation encoding for multiple video streams
KR100731979B1 (ko) * 2005-10-18 2007-06-25 전자부품연구원 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
US8482654B2 (en) * 2008-10-24 2013-07-09 Reald Inc. Stereoscopic image format with depth information
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5768404A (en) * 1994-04-13 1998-06-16 Matsushita Electric Industrial Co., Ltd. Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
US20040240725A1 (en) * 2001-10-26 2004-12-02 Li-Qun Xu Method and apparatus for image matching
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
KR100590025B1 (ko) * 2004-12-30 2006-06-14 전자부품연구원 다시점 정방향 카메라 배열 기반 디스플레이를 위한중간영상합성 방법 및 그 장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582928B2 (en) 2011-01-13 2017-02-28 Samsung Electronics Co., Ltd. Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
US8873834B2 (en) 2011-07-12 2014-10-28 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
US9172947B2 (en) 2011-07-12 2015-10-27 Samsung Electronics Co., Ltd. Method and apparatus for processing multi-view image using hole rendering
WO2014035015A1 (ko) * 2012-08-28 2014-03-06 광운대학교 산학협력단 임의의 가상시점 홀로그램 서비스를 위한 의사변위 기반 중간시점 영상 생성 방법
US9071835B2 (en) 2012-09-24 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image with hole filling
WO2014088247A1 (ko) * 2012-12-03 2014-06-12 Bok Sun Woo 다시점 입체영상 제작방법 및 장치
KR20140080893A (ko) * 2012-12-20 2014-07-01 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치

Also Published As

Publication number Publication date
US9215438B2 (en) 2015-12-15
US20100194858A1 (en) 2010-08-05
KR101580284B1 (ko) 2015-12-24

Similar Documents

Publication Publication Date Title
KR20100088774A (ko) 중간 시점 영상 생성 장치 및 방법
KR101429349B1 (ko) 중간 시점 영상 합성 장치 및 방법과 이에 관한 기록매체
US9210398B2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
US9582928B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
KR101491556B1 (ko) 깊이 추정 장치 및 방법
KR101415147B1 (ko) 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
US9313473B2 (en) Depth video filtering method and apparatus
US8441521B2 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
US20130162634A1 (en) Image processing method and apparatus using multi-layer representation
KR101647408B1 (ko) 영상 처리 장치 및 방법
US20100309292A1 (en) Method and apparatus for generating multi-viewpoint depth map, method for generating disparity of multi-viewpoint image
KR101666019B1 (ko) 외삽 뷰 생성을 위한 장치 및 방법
KR101960852B1 (ko) 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
JP2009124308A (ja) 多眼視画像作成システム及び多眼視画像作成方法
JP2012019513A (ja) ２ｄ画像を３ｄ画像に変換するための方法および装置
US20150193965A1 (en) Apparatus and method for inpainting three-dimensional stereoscopic image
JP2011081605A (ja) 画像処理装置、方法及びプログラム
JP2000253422A (ja) ２次元映像からの立体映像生成方法
KR101966920B1 (ko) 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
JP2013005440A (ja) 映像処理のための方法及び装置
JP2019184308A (ja) 奥行推定装置およびそのプログラム、ならびに、仮想視点映像生成装置およびそのプログラム
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
KR102469228B1 (ko) 가상 시점 영상 생성 장치 및 방법
US8754891B2 (en) Method for image processing and an apparatus thereof
KR20120059955A (ko) 중간 시점 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181119

Year of fee payment: 4