KR20110063247A - 가상시점 영상 생성 방법 및 그 장치 - Google Patents

가상시점 영상 생성 방법 및 그 장치 Download PDF

Info

Publication number
KR20110063247A
KR20110063247A KR1020100020768A KR20100020768A KR20110063247A KR 20110063247 A KR20110063247 A KR 20110063247A KR 1020100020768 A KR1020100020768 A KR 1020100020768A KR 20100020768 A KR20100020768 A KR 20100020768A KR 20110063247 A KR20110063247 A KR 20110063247A
Authority
KR
South Korea
Prior art keywords
image
background image
generating
virtual
virtual viewpoint
Prior art date
Application number
KR1020100020768A
Other languages
English (en)
Other versions
KR101342783B1 (ko
Inventor
장은영
김태원
허남호
김진웅
김태준
유지상
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20110063247A publication Critical patent/KR20110063247A/ko
Application granted granted Critical
Publication of KR101342783B1 publication Critical patent/KR101342783B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

가상시점 영상에 대한 배경 영상을 이용하여 가상시점 영상을 생성하는 장치 및 방법이 제공된다. 가상시점 영상 생성 방법은 복수의 기준시점 영상장치에서 기준시점 영상을 획득하고, 상기 기준시점 영상으로부터 배경 영상을 생성하는 단계, 상기 기준시점 영상을 합성하여 가상시점 영상장치에 대한 가상시점 영상을 생성하는 단계, 상기 기준시점 영상으로부터 생성된 배경 영상을 합성하여 상기 가상시점 영상에 대한 배경 영상을 생성하는 단계 및 상기 가상시점 영상에 대한 배경 영상에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 단계를 포함한다.

Description

가상시점 영상 생성 방법 및 그 장치{METHOD FOR GENERATING VIRTUAL VIEW IMAGE AND APPARATUS THEREOF}
본 발명은 가상시점 영상의 생성에 관한 것으로서, 더욱 상세하게는 가상시점 영상에 대한 배경 영상을 이용하여 가상시점 영상을 생성하는 방법 및 그 장치에 관한 것이다.
본 발명은 지식경제부의 IT원천기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-011-01 과제명: 차세대 DTV 핵심기술 개발(표준화연계)-무안경 개인형 3D방송기술 개발].
가상시점 영상이란 가상시점 영상장치의 시점에서 바라본 영상이다. 가상시점 영상은 기준시점 영상장치로부터 획득한 실제영상을 이용하여 생성할 수 있다. 일반적으로 가상시점 영상에는 미처리 영역이 존재한다. 왜냐하면 기준시점에서 보이지 않는 영역이 존재하기 때문이다. 좀 더 구체적으로, 가상시점 영상의 미처리 영역은 기준시점 영상에 대한 깊이/변이정보의 정수화 문제, 폐색영역 등의 이유로 발생한다.
미처리 영역은 가상시점 영상의 화질을 저하시키므로 미처리 영역이 소정의 화소 값으로 보상되는 것이 필요하다. 깊이/변이정보의 정수화 문제로 인한 미처리 영역은 미처리 영역 주변의 유효 화소 값을 보간하여 비교적 쉽고 정확하게 보상할 수 있다.
그러나 폐색영역으로 인한 미처리 영역은 미처리 영역 주변 유효 화소 값을 보간하여 보상하는 경우, 폐색영역은 기준시점 영상에 존재하지 않는 부분이므로 보상과정에서 오차가 발생한다. 이러한 오차로 인해 부정확한 화소 값으로 보상되는 부분이 발생하여 가상시점 영상 전체의 화질이 저하되는 문제가 있다.
종래에는 하나 이상의 이전 프레임의 가상시점 영상의 화소값을 이용하여 현재 프레임의 가상시점 영상의 미처리 영역을 보상하였다.
하지만 이 경우, 오직 하나의 이전 프레임의 가상시점 영상을 이용하는 경우에는 현재 프레임의 가상시점 영상의 미처리 영역은 이전 프레임의 가상시점 영상에서도 미처리 영역일 수 있는 문제가 있다. 또한, 하나 이상의 이전 프레임의 가상 시점 영상을 이용하는 경우에는 하나 이상의 이전 프레임의 가상 시점 영상과 이에 대한 깊이(변이)정보 영상을 생성, 처리 및 저장해야 하므로 합성과정의 복잡도가 증가하고 대용량의 메모리가 요구되는 문제가 있다.
따라서, 합성과정의 복잡도를 줄이면서도 소용량의 메모리를 요구하는 가상시점 영상의 미처리 영역을 보상하는 기술들이 계속적으로 연구되어야 한다.
본 발명은 시간 축 상에 인접한 프레임을 이용하는 것이 아니라, 가상시점 영상에 대한 배경 영상을 이용하여 가상시점 영상의 미처리 영역을 보다 정확하게 보상함으로써, 고화질의 가상시점 영상을 생성하는 가상시점 영상 생성 방법 및 장치를 제공한다.
또한, 본 발명은 가상시점 영상에 대한 미처리 영역을 보상하기 위해 각 가상시점 영상의 배경 영상만을 처리 및 저장하므로 하나 이상의 이전 프레임의 가상시점 영상을 사용하는 방식에 비해 복잡도를 줄이면서도 대용량의 메모리를 요구하지 않는 가상시점 영상 생성 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 가상시점 영상 생성 방법은 복수의 기준시점 영상장치에서 기준시점 영상을 획득하고, 상기 기준시점 영상으로부터 배경 영상을 생성하는 단계, 상기 기준시점 영상을 합성하여 가상시점 영상장치에 대한 가상시점 영상을 생성하는 단계, 상기 기준시점 영상으로부터 생성된 배경 영상을 합성하여 상기 가상시점 영상에 대한 배경 영상을 생성하는 단계 및 상기 가상시점 영상에 대한 배경 영상에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 단계를 포함한다.
또한 본 발명의 일실시예에 따른 가상시점 영상 생성 장치는 복수의 기준시점 영상장치에서 기준시점 영상을 획득하고, 상기 기준시점 영상으로부터 배경 영상을 생성하는 기준시점 배경 영상 생성부, 상기 기준시점 영상을 합성하여 가상시점 영상장치에 대한 가상시점 영상을 생성하는 가상시점 영상 생성부, 상기 기준시점 영상으로부터 생성된 배경 영상을 합성하여 상기 가상시점 영상에 대한 배경 영상을 생성하는 가상시점 배경 영상 생성부 및 상기 가상시점 영상에 대한 배경 영상에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 미처리 영역 보상부를 포함한다.
본 발명은 시간축 상에 인접한 프레임을 이용하는 것이 아니라, 가상시점 영상에 대한 배경 영상을 이용하여 가상시점 영상의 미처리 영역을 보다 정확하게 보상함으로써, 고화질의 가상시점 영상을 생성하는 가상시점 영상 생성 방법 및 장치를 제공할 수 있다.
또한, 본 발명은 가상시점 영상에 대한 미처리 영역을 보상하기 위해 각 가상시점 영상의 배경 영상만을 처리 및 저장하므로 하나 이상의 이전 프레임의 가상시점 영상을 사용하는 방식에 비해 복잡도를 줄이면서도 대용량의 메모리를 요구하지 않는 가상시점 영상 생성 방법 및 장치를 제공할 수 있다.
도 1은 기준시점 영상 및 가상시점 영상을 설명하기 위한 도면이다.
도 2 및 도 3은 기준시점 영상에서 합성된 가상시점 영상을 나타낸 도면이다.
도 4는 시간의 흐름에 따라 가상시점 영상에 존재하는 미처리 영역을 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이다.
도 6은 본 발명의 일실시예에 따른 가상시점 영상 생성 방법을 나타낸 흐름도이다.
도 7은 본 발명의 일실시예에 따른 기준시점 영상 장치에 대한 배경 영상을 생성하는 단계를 나타내는 흐름도이다.
도 8은 도 7의 배경 영상을 생성하는 단계에서 프레임을 그룹 단위로 처리하는 경우를 나타낸 도면이다.
도 9는 도 7의 최종 배경 영상을 생성하기 위해 수행하는 확률분포를 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 따른 기준시점 영상 장치에 대한 배경 영상을 생성하는 단계를 나타내는 흐름도이다.
도 11은 도 10의 배경 영상을 생성하는 단계에서 프레임을 그룹 단위로 처리하는 경우를 나타낸 도면이다.
도 12는 도 7의 배경 영상을 생성하는 단계를 적용해 생성한 배경 영상과 배경 영상에 대한 깊이 영상을 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 가상시점 영상 생성 방법에서 가상시점 영상의 미처리 영역을 보상하는 단계를 나타낸 흐름도이다.
도 14는 미처리 영역이 존재하는 가상시점 영상과 본 발명의 일실시예에 따른 가상시점 영상 생성 방법을 적용한 가상시점 영상을 나타낸 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 기준시점 영상 및 가상시점 영상을 설명하기 위한 도면이다.
도 1을 참조하면, 기준시점 카메라(101, 107, 111)는 실제 영상을 획득한다. 가상시점 카메라(103, 105, 109, 113, 115, 117)는 실제로 촬영하여 영상을 획득하지 않는 가상시점의 카메라이다. 가상시점 영상이란 가상시점 카메라(103, 105, 109, 113, 115, 117)의 시점으로 바라본 영상이다. 가상시점 영상은 기준시점 카메라(101, 107, 111)로부터 획득한 실제영상, 즉 기준시점 영상과 깊이/변이정보 영상을 3차원 워핑(warping) 기법 또는 영상 보간 기법을 이용하여 합성함으로써 생성된다. 여기서 깊이(depth)란 촬영된 객체가 카메라로부터 떨어진 정도를 나타내고, 변이(disparity)란 기준시점 카메라 각각에서 촬영된 객체의 위치차이를 나타낸다. 깊이정보와 변이정보는 상호변환 가능하다.
광축선상의 가상시점 카메라(103, 105, 109)의 시점은 기준 시점 카메라(101, 107, 111)로부터 선형적으로 보간되어 광축선상에 위치한다. 광축선상 외의 가상시점 카메라(113, 115, 117)의 시점은 광축선상의 가상시점 카메라(103, 105, 109)에 회전 또는 병진운동을 적용하여 광축선상 외의 지점에 위치한다. 가상시점 카메라(103, 105, 109, 113, 115, 117) 중 어느 하나의 시점, 즉 다양한 가상시점의 영상은 기준시점 카메라(101, 107, 111)의 기준시점 영상을 합성하여 생성할 수 있다.
도 2 및 도 3은 기준시점 영상에서 합성된 가상시점 영상을 나타낸 도면이다.
도 2의 가상시점 영상은 두 기준시점 카메라(107, 111)의 기준시점 영상을 3차원 워핑기법으로 합성한, 광축선상의 가상시점 카메라(109)에 대한 영상이다. 도 3의 가상시점 영상은 두 기준시점 카메라(107, 111)의 기준시점 영상을 3차원 워핑기법으로 합성한, 광축선상 외의 가상시점 카메라(115)에 대한 영상이다. 가상 시점 영상의 주관적 화질 평가를 위해 MPEG-4(Moving Picture Expert Group) Video 분야에서 제공하는 테스트 영상 중 브레이크 댄서(Breaker Dancer) 영상을 이용하였다. 이하 도시되는 영상은 모두 MPEG-4 Video 분야에서 제공하는 브레이크 댄서 영상이다.
도 2 및 도 3을 참조하면, 가상시점 영상에는 하얗게 표시된 미처리 영역이 존재한다. 미처리 영역은 깊이/변이정보의 정수화 문제, 폐색영역 등으로 발생한다. 폐색영역은 가상시점 카메라(115)의 시점과 기준시점 카메라(107, 111)의 시점 차이로, 가상시점 카메라(115)의 시점에서는 보이지만 기준시점 카메라(107, 111)의 시점에서는 보이지 않는 영역이다. 광축선상의 가상시점 카메라(109)의 회전 또는 병진운동을 고려한, 광축선상 외의 가상시점 카메라(115)에서 보이지 않는 영역이 광축선상의 가상시점 카메라(109)에서 보이지 않는 영역보다 크다. 따라서, 광축선상 외의 가상시점 카메라(115)에 대한 가상시점 영상인 도 3에, 광축선상의 가상시점 카메라(109)에 대한 가상시점 영상인 도 2보다 많은 미처리 영역이 나타난다.
도 4는 시간의 흐름에 따라 가상시점 영상에 존재하는 미처리 영역을 나타낸 도면이다.
도 4를 참조하면, 가상시점 영상의 미처리 영역은 시간에 따라 변한다. 폐색영역으로 인한 미처리 영역은 동일 시간대의 기준시점 영상에는 존재하지 않는 부분이므로 보상하기 어렵지만, 이전 시간 프레임의 정보를 이용하면 보상할 수 있는 부분이 존재한다. 가상시점 영상(t-1, t, t+1)에서 빨간색 원으로 도시한 부분은 폐색영역에 의해 발생한 미처리 영역이다. 현재 프레임의 가상시점 영상(t)의 미처리 영역은 이전 프레임의 가상시점 영상(t-1)에서는 미처리 영역이 아닐 수 있다. 구체적으로, 현재 프레임의 가상시점 영상(t)에서 미처리 영역의 화소의 위치와 대응하는 이전 프레임의 가상시점 영상(t-1)의 부분은 미처리 영역이 아닐 수 있다. 따라서, 현재 프레임의 가상시점 영상(t)의 미처리 영역은 이전 프레임의 가상시점 영상(t-1)에 의해 보상될 수 있음을 알 수 있다.
하지만 오직 하나의 이전 프레임의 가상 시점 영상(t)을 이용하는 경우에 현재 프레임의 가상시점 영상(t+1)의 미처리 영역은 이전 프레임의 가상시점 영상(t)에서도 미처리 영역일 수 있다. 또한, 이를 극복하기 위해 하나 이상의 이전 프레임의 가상 시점 영상을 이용하는 경우에는 하나 이상의 이전 프레임의 가상 시점 영상과 이에 대한 깊이(변이)정보 영상을 생성, 처리 및 저장해야 하므로 합성과정의 복잡도가 증가하고 대용량의 메모리가 요구된다. 따라서, 시간 축 상에 인접한 프레임을 이용하여 미처리 영역을 보상하는 방법에는 한계가 있다.
그러나 본 발명은 작은 합성과정의 복잡도를 가지고도 상술한 문제점을 해결할 수 있다. 이에 대해서는 아래에서 다시 상세히 설명한다.
도 5는 본 발명의 일실시예에 따른 가상시점 영상 생성 장치를 나타낸 블록도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 가상시점 영상 생성 장치는 가상시점 영상 생성부(510), 기준시점 배경 영상 생성부(520), 가상시점 배경 영상 생성부(530), 미처리 영역 보상부(540)를 포함한다.
가상시점 영상 생성부(510)는 복수의 기준시점 영상을 합성하여 가상시점 영상을 생성한다. 가상시점 영상은 복수의 기준시점 영상장치로부터 획득할 수 있는 기준시점 영상과 기준시점 영상의 깊이(변이)정보 영상을 3차원 워핑 기법 또는 영상 보간 기법을 이용해 합성함으로써 생성된다.
가상시점 영상 생성부(510)에서 생성한 가상시점 영상은 기준시점 영상을 합성하여 생성되므로, 기준시점 영상장치에 의해 촬영되지 못한 폐색영역에 의한 미처리 영역이 존재한다. 이러한 미처리 영역에 대한 정보는 기준시점 영상장치에 존재하지 않을 수 있다. 또한, 가상시점 영상에는 깊이/변이 정보의 정수화 과정에서 발생하는 오류 등으로 인한 미처리 영역이 존재한다. 가상시점 영상의 미처리 영역은 후술하는 미처리 영역 보상부(540)에서 보상된다.
또한, 기준시점 배경 영상 생성부(520)는 복수의 기준시점 영상장치에 대한 배경 영상 및 배경 영상에 대한 깊이(변이) 영상을 생성한다. 기준시점 배경 영상 생성부(520)는 다시점 콘텐트를 촬영하기 전 복수의 기준시점 카메라를 이용하여 배경 영상 및 이에 대한 깊이(변이) 영상을 획득할 수 있다.
그러나, 다시점 콘텐트를 촬영하기 전 배경 영상을 복수의 기준시점 영상장치를 이용하여 직접 획득하는 것은 일반적으로 활용 가능하거나 실용적인 접근이 아니다. 대신에 복수의 기준시점 영상장치에 대한 기준시점 영상 및 기준시점 영상의 깊이(변이) 영상을 이용하여, 복수의 기준시점 영상장치에 대한 배경 영상 및 배경 영상의 깊이(변이) 영상을 생성한다. 기준시점 배경 영상 생성부(520)에 대한 자세한 설명은 도 7 및 도 10에서 후술한다.
또한, 가상시점 배경 영상 생성부(530)는 복수의 기준시점 영상장치에 대한 배경 영상 및 깊이 영상을 3차원 워핑 기법 또는 영상 보간 기법을 이용해 합성함으로써 가상시점 영상에 대한 배경 영상을 생성한다.
가상시점 배경 영상 생성부(530)에서 생성한 배경 영상에도 가상시점 영상 생성부(510)에서 생성한 가상시점 영상과 같이 미처리 영역이 존재한다. 가상시점 배경 영상 생성부(530)는 가상시점 영상에 대한 배경 영상의 미처리 영역을 보상할 수도 보상하지 않을 수도 있다.
가상시점 배경 영상 생성부(530)가 가상시점 영상에 대한 배경 영상의 미처리 영역을 보상하지 않는 경우는 미처리 영역 보상부(540)에서 가상시점 영상에 대한 배경 영상의 유효한(정확한) 정보만을 이용하여 미처리 영역을 보상할 때 사용할 수 있다. 이 경우, 가상시점 배경 영상 생성부(530)는 미처리 영역이 존재하는 가상 시점 영상에 대한 배경 영상을 생성한다.
다른 한편, 가상시점 배경 영상 생성부(530)가 가상시점 영상에 대한 배경 영상의 미처리 영역을 보상하는 경우는 미처리 영역 보상부(540)에서 가상시점 영상에 대한 배경 영상의 유효한(정확한) 정보뿐만 아니라 추정된 정보까지 이용하여 미처리 영역을 보상할 때 사용할 수 있다. 이 경우, 가상시점 배경 영상 생성부(530)는 미처리 영역 주변의 유효 화소값을 보간하여 미처리 영역을 보상하는 등의 방법을 사용하여 미처리 영역이 존재하지 않는 가상 시점 영상에 대한 배경 영상을 생성한다.
또한, 미처리 영역 보상부(540)는 가상시점 영상 생성부(510)에서 생성한 가상시점 영상의 미처리 영역을 보상한다. 이 때, 미처리 영역 보상부(540)는 가상시점 배경 영상 생성부(530)가 생성한 가상시점 영상에 대한 배경 영상을 이용한다. 왜냐하면 가상시점 영상에 존재하는 미처리 영역은 대부분 영상의 배경에서 발생하기 때문이다. 따라서, 미처리 영역 보상부(540)는 가상시점 영상에 대한 배경 영상의 화소 값에 의해 가상시점 영상의 미처리 영역을 보상한다.
한편, 가상시점 배경 영상 생성부(530)가 가상시점 영상에 대한 배경 영상의 미처리 영역을 보상하지 않는 경우에, 미처리 영역 보상부(540)는 가상시점 영상에 대한 배경 영상의 유효하다고 인정되는 화소값을 이용하여 가상시점 영상의 미처리 영역을 보상한다. 그 후에도 가상시점 영상의 미처리 영역이 존재할 경우에는 잔존하는 미처리 영역에 대해 미처리 영역 주변 유효 화소값을 보간하는 등의 방식을 수행하여 최종적인 보상을 수행한다. 미처리 영역 보상부(540)에 대한 자세한 설명은 도 13에서 후술한다.
도 6은 본 발명의 일실시예에 따른 가상시점 영상 생성 방법을 나타낸 흐름도이다.
본 발명의 일실시예에 따른 가상시점 영상 생성방법은, 복수의 기준시점 영상장치에서 기준시점 영상을 획득하고, 기준시점 영상에 대한 배경 영상 및 배경 영상에 대한 깊이(변이) 영상을 생성한다(610). 이 때, 가상시점 영상 생성방법은 복수의 기준시점 영상장치에 대한 기준시점 영상 및 기준시점 영상의 깊이(변이) 영상을 이용하여 복수의 기준시점 영상장치에 대한 배경 영상 및 이에 대한 깊이(변이) 영상을 생성한다.
또한, 본 발명의 일실시예에 따른 가상시점 영상 생성방법은, 복수의 기준시점 영상장치의 기준시점 영상을 합성하여 가상시점 영상장치에 대한 가상시점 영상을 생성한다(620). 이 때, 가상시점 영상 생성방법은 복수의 기준시점 영상장치로부터 획득할 수 있는 기준시점 영상과 기준시점 영상에 대한 깊이정보 영상을 3차원 워핑 기법 또는 영상 보간 기법을 이용해 합성함으로써 가상시점 영상을 생성한다. 가상시점 영상에는 폐색영역 및 깊이/변이 정보의 정수화 과정에서 발생하는 오류 때문에 미처리 영역이 존재한다.
또한, 본 발명의 일실시예에 따른 가상시점 영상 생성방법은, 복수의 기준시점 영상장치에 대한 배경 영상 및 깊이(변이) 영상을 3차원 워핑 기법 또는 영상 보간 기법을 이용해 합성함으로써 가상시점 영상에 대한 배경 영상을 생성한다(630).
또한, 본 발명의 일실시예에 따른 가상시점 영상 생성방법은, 가상시점 영상에 대한 배경 영상에 기초하여 가상시점 영상의 미처리 영역을 보상한다(640). 이 때, 가상시점 영상에 존재하는 미처리 영역은 대부분 영상의 배경에서 발생하므로 가상시점 영상에 대한 배경 영상의 화소 값에 의해 가상시점 영상의 미처리 영역을 보상한다.
상기 단계들(610 내지 640)이 반드시 전술한 순서에 따라 수행되는 것은 아니며, 실제 구현 시에는 한 단계의 수행 결과가 다른 단계의 수행 결과에 영향을 미치지 않는 범위 내에서 순서의 변경 및/또는 병렬 수행이 가능함은 본 기술분야의 당업자 들에게 용이하게 이해될 것이다. 예를 들어, 가상시점 영상을 생성하는 단계(620)를 수행하고 난 후 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610), 가상시점 영상장치에 대한 배경 영상을 생성하는 단계(630) 및 가상시점 영상의 미처리영역을 보상하는 단계(640)를 수행할 수도 있다.
도 7은 본 발명의 일실시예에 따른 가상시점 영상 생성 방법의 기준시점 영상 장치에 대한 배경 영상을 생성하는 단계를 나타내는 흐름도이다.
도 7을 참조하여, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)에 대해 보다 자세히 설명한다. 본 발명의 일실시예에 따른 가상시점 영상 생성 방법의, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 깊이(변이)정보 기반 초기 배경 영상 생성단계(710) 및 확률 기반 최종 배경 영상 생성단계(720)를 포함할 수 있다.
깊이(변이)정보 기반 초기 배경 영상 생성단계(710)에서는, 기준시점 영상의 깊이(변이) 정보를 비교하고, 깊이(변이) 값이 가장 작은 기준시점 영상의 화소 값을 선택하여 초기 배경 영상을 생성한다. 왜냐하면 깊이(변이)값이 가장 작은 값이 배경을 나타내기 때문이다. 깊이(변이)값이 클수록 객체가 카메라로부터 가까우며, 깊이(변이)값이 작을수록 객체가 카메라로부터 멀다. 또한, 초기 배경 영상으로 선택된 화소 값에 대한 깊이(변이) 정보를 통해 초기 배경 영상에 대한 초기 깊이(변이) 영상을 생성한다.
깊이(변이)정보 기반 초기 배경 영상 생성단계(710)는 기준시점 영상을 구성하는 프레임 각각을 독립적으로 처리하여 프레임 당 하나의 초기 배경 영상을 생성할 수 있다. 또한, 깊이(변이)정보 기반 초기 배경 영상 생성단계(710)는 기준시점 영상을 구성하는 프레임을 2 개 이상의 프레임으로 구성된 그룹으로 구분하고, 그룹 단위로 처리하여 각 그룹에 대해 하나의 초기 배경 영상을 생성할 수 있다.
이 때, 깊이(변이)정보 기반 초기 배경 영상 생성단계(710)는 그룹에 속하는 2 개 이상의 프레임에 대해 기준시점 영상의 깊이(변이) 정보를 비교하고, 가장 작은 깊이 값을 갖는 화소 값을 선택하여 초기 배경 영상을 생성한다. 따라서, 깊이(변이)정보 기반 초기 배경 영상 생성단계(710)는 기준시점 영상을 'N'개의 그룹으로 구분한다면 'N'개의 초기 배경 영상을 생성할 수 있다. 기준시점 영상을 구성하는 프레임 각각을 독립적으로 처리하는 경우에는 각각의 프레임이 각각의 그룹이 된다고 간주할 수 있다.
확률 기반 최종 배경 영상 생성단계(720)는, 깊이(변이)정보 기반 초기 배경 영상 생성단계(710)에서 생성된 다수의 초기 배경 영상의 발생 확률 분포를 분석하고, 발생 확률이 가장 높은 확률을 갖는 화소 값을 선택하여 최종 배경 영상을 생성할 수 있다. 또한, 확률 기반 최종 배경 영상 생성단계(720)는 최종 배경 영상으로 선택된 화소 값에 대한 깊이(변이) 정보를 통해 최종 배경 영상에 대한 최종 깊이(변이) 영상을 생성할 수 있다.
확률 기반 최종 배경 영상 생성단계(720)를 통해 최종 배경 영상 및 이에 대한 깊이 영상을 생성하는 첫 번째 이유는 현재 기술 수준에서 영상 처리를 통해 생성된 깊이(변이) 영상은 안정적이지 않기 때문이다. 예를 들어, MPEG-4 Video 분야에서 제공하는 테스트 영상 중 브레이크 댄서(Breaker Dancer) 영상의 경우, 영상 내에 정지되어 있는 동일한 물체의 깊이 정보는 시간에 따라 조금씩 변하며 불규칙한 값을 갖는다. 이 때, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)가 작은 값을 갖는 깊이 정보만을 이용하여 배경 영상을 구성하면 생성되는 배경 영상이 높은 신뢰도를 가지지 못할 수 있다. 따라서, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 각 그룹에서 전역적으로 초기 배경 영상을 생성하고, 생성된 초기 배경 영상들의 확률분포를 이용하여 최종 배경 영상을 생성하는 것이 안정적이다.
확률 기반 최종 배경 영상 생성단계(720)를 통해 최종 배경 영상 및 이에 대한 깊이 영상을 생성하는 두 번째 이유는, 기준시점 영상장치에 대한 배경 영상 및 깊이(변이) 영상을 생성하여, 가상시점 영상의 미처리 영역을 보상하기 위함이다. 따라서, 낮은 깊이를 갖되, 자주 나타나는 화소 값을 활용하는 것이 더욱 유용하기 때문이다.
도 7을 참조하여 설명한 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 실시간 응용과 같이 입력되는 프레임 정보를 실시간으로 처리하고자 하는 응용에서는, 새롭게 획득하는 그룹(프레임)마다 초기 배경 영상을 생성할 수 있다. 그리고 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 이를 활용하여 최종 배경 영상을 갱신할 수 있다. 본 발명의 일실시예에 따른 가상시점 영상 생성 방법은 새롭게 갱신된 최종 배경 영상을 이용하여 가상시점 영상을 생성하는 단계(620), 가상시점 영상에 대한 배경 영상을 생성하는 단계(630) 및 가상시점 영상의 미처리영역을 보상하는 단계(640)를 수행할 수 있다.
또한, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 비실시간 응용과 같이 기준시점 영상의 전체 비디오 정보(프레임)를 모두 획득하고 난 후 향후 이를 처리하고자 하는 응용에서는, 획득한 전체 비디오 정보(프레임)를 이용하여 초기 배경 영상 및 최종 배경 영상을 생성할 수 있다. 본 발명의 일실시예에 따른 가상시점 영상 생성 방법은 생성된 최종 배경 영상을 이용하여 가상시점 영상을 생성하는 단계(620), 가상시점 영상에 대한 배경 영상을 생성하는 단계(630) 및 가상시점 영상의 미처리영역을 보상하는 단계(640)를 수행할 수 있다.
기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 비실시간 응용에서도 실시간 응용과 같이 새롭게 획득하는 그룹(프레임)에 대해 초기 배경 영상을 생성하고 이를 활용하여 최종 배경 영상을 갱신할 수 있다.
도 8은 도 7의 배경 영상을 생성하는 단계에서 프레임을 그룹 단위로 처리하는 경우를 나타낸 도면이다.
도 7에 도시된 바와 같이 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 하나 이상의 프레임으로 구성된 N 개의 그룹에 대해 깊이(변이) 정보를 비교하고, 깊이(변이) 값이 가장 작은 기준시점 영상의 화소 값을 선택하여 각 그룹에 대한 초기 배경 영상을 생성할 수 있다. 그리고 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 생성된 N 개의 초기 배경 영상의 발생 확률 분포를 분석하고, 가장 높은 발생 확률을 갖는 화소 값을 선택하여 최종 배경 영상을 생성할 수 있다.
도 9는 도 7의 최종 배경 영상을 생성하기 위해 수행하는 확률분포를 설명하기 위한 도면이다.
도 9는 도 7의 깊이(변이)정보 기반 초기 배경 영상 생성단계(710)를 통해 생성된 초기 배경 영상을 이용하여, 확률 기반 최종 배경 영상 생성단계(720)에서 최종 배경 영상을 생성하기 위해 수행하는, 확률분포를 설명하기 위한 도면이다. 확률 기반 최종 배경 영상 생성단계(720)는 각 그룹에 대한 초기 배경 영상의 화소 'P' 위치에 존재하는 화소값을 구하여 확률분포를 계산할 수 있다. 확률 기반 최종 배경 영상 생성단계(720)는 화소 'P' 위치에 대한 확률분포에서 가장 높은 확률을 가지는 화소 값을 선택하여 최종 배경 영상에 대한 화소 'P' 위치의 화소값으로 설정할 수 있다. 확률 기반 최종 배경 영상 생성단계(720)가 영상내의 모든 화소에 대하여 이러한 과정을 수행하면 최종 배경 영상이 생성된다.
본 발명에 따른 또 다른 일실시예에 따르면, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)를 도 7과 같이 깊이(변이)정보 기반 배경 영상 생성단계(710) 및 확률 기반 최종 배경 영상 생성단계(720)의 2단계로 처리하지 않고, 깊이(변이)정보 기반만으로 배경 영상을 생성할 수 있다. 즉, 기준시점 영상의 깊이(변이) 정보를 비교하고, 깊이(변이) 값이 가장 작은 값을 가지는 기준시점 영상의 화소 값을 선택하여 배경 영상을 생성할 수 있다. 이 때, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 기준시점 영상을 구성하는 프레임 각각을 독립적으로 처리하여 프레임 단위로 처리할 수도 있고, 기준시점 영상을 구성하는 프레임을 2 개 이상의 프레임으로 구성된 그룹으로 구분하고, 그룹 단위로 처리할 수도 있다. 이러한 방법은 향후 영상 처리를 통한 깊이(변이) 정보 추정(추출) 기법이 안정화되어 정확한 정보를 제공할 시 사용하거나, 화소 값의 발생 빈도를 고려하지 않은 배경 영상을 생성하고자 할 때 이용할 수 있다.
본 발명에 따른 또 다른 일실시예에 따르면, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 확률 기반만으로 배경 영상을 생성할 수 있다. 즉, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 기준시점의 전 영상에서 가장 발생 확률이 높은 화소 값을 선택하여 배경 영상을 생성할 수 있다. 이 때, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 기준시점 영상을 구성하는 프레임 각각을 독립적으로 처리하여 프레임 단위로 처리할 수도 있고, 기준시점 영상을 구성하는 프레임을 2 개 이상의 프레임으로 구성된 그룹으로 구분하고, 그룹 단위로 처리할 수도 있다. 이러한 방법은 화소 값의 발생 빈도를 최우선으로 고려하여 배경 영상을 생성하고자 할 때 이용할 수 있다.
도 10은 본 발명의 일실시예에 따른 기준시점 영상 장치에 대한 배경 영상을 생성하는 단계를 나타내는 흐름도이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 확률 기반 초기 배경 영상 생성단계(1010) 및 깊이(변이)정보 기반 최종 배경 영상 생성단계(1020)를 포함할 수 있다.
확률 기반 초기 배경 영상 생성단계(1010)는 기준시점 영상의 각 화소에 대해 발생 확률 분포를 분석하고, 발생 확률이 가장 높은 확률을 갖는 화소 값을 선택하여 초기 배경 영상을 생성할 수 있다. 또한, 확률 기반 초기 배경 영상 생성단계(1010)는 초기 배경 영상으로 선택된 화소 값에 대한 깊이(변이) 정보를 통해 초기 배경 영상에 대한 초기 깊이(변이) 영상을 생성한다.
확률 기반 초기 배경 영상 생성단계(1010)는 초기 배경 영상을 생성할 때 기준시점 영상을 구성하는 프레임 각각을 독립적으로 처리하여 프레임 당 하나의 초기 배경 영상을 생성할 수 있다. 또한, 확률 기반 초기 배경 영상 생성단계(1010)는 기준시점 영상을 구성하는 프레임을 2 개 이상의 프레임으로 구성된 그룹으로 구분하고, 그룹 단위로 처리하여 각 그룹에 대해 하나의 초기 배경 영상을 생성할 수 있다.
이 때, 확률 기반 초기 배경 영상 생성단계(1010)는 그룹에 속하는 2 개 이상의 프레임에 대해 기준시점 영상의 발생 확률 분포를 비교하고, 가장 발생 확률이 높은 화소 값을 선택하여 초기 배경 영상을 생성한다. 따라서, 확률 기반 초기 배경 영상 생성단계(1010)는 기준시점 영상을 'N'개의 그룹으로 구분한다면 'N'개의초기 배경 영상을 생성할 수 있다. 기준시점 영상을 구성하는 프레임 각각을 독립적으로 처리하는 경우에는 각각의 프레임이 각각의 그룹이 된다고 간주할 수 있다.
깊이(변이) 정보 기반 최종 배경 영상 생성단계(1020)는 확률 기반 초기 배경 영상 생성단계(1010)에서 생성된 다수의 초기 배경 영상의 깊이(변이) 정보를 비교하고, 깊이(변이) 값이 가장 작은 값을 가지는 기준시점 영상의 화소 값을 선택하여 최종 배경 영상을 생성할 수 있다. 또한, 깊이(변이) 정보 기반 최종 배경 영상 생성단계(1020)는 최종 배경 영상으로 선택된 화소 값에 대한 깊이(변이) 정보를 통해 최종 배경 영상에 대한 최종 깊이(변이) 영상을 생성할 수 있다.
도 10을 참조하여 설명한 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 실시간 응용과 같이 입력되는 프레임 정보를 실시간으로 처리하고자 하는 응용에서는, 새롭게 획득하는 그룹(프레임)마다 초기 배경 영상을 생성할 수 있다. 그리고 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 이를 활용하여 최종 배경 영상을 갱신할 수 있다. 본 발명의 일실시예에 따른 가상시점 영상 생성 방법은 새롭게 갱신된 최종 배경 영상을 이용하여 가상시점 영상을 생성하는 단계(620), 가상시점 영상에 대한 배경 영상을 생성하는 단계(630) 및 가상시점 영상의 미처리영역을 보상하는 단계(640)를 수행할 수 있다.
또한, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 비실시간 응용과 같이 기준시점 영상의 전체 비디오 정보(프레임)를 모두 획득하고 난 후 향후 이를 처리하고자 하는 응용에서는, 획득한 전체 비디오 정보(프레임)을 이용하여 초기 배경 영상 및 최종 배경 영상을 생성할 수 있다. 본 발명의 일실시예에 따른 가상시점 영상 생성 방법은 생성된 최종 배경 영상을 이용하여 가상시점 영상을 생성하는 단계(620), 가상시점 영상에 대한 배경 영상을 생성하는 단계(630) 및 가상시점 영상의 미처리영역을 보상하는 단계(640)를 수행할 수 있다.
기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 비실시간 응용에서도 실시간 응용과 같이 새롭게 획득하는 그룹(프레임)에 대해 초기 배경 영상을 생성하고 이를 활용하여 최종 배경 영상을 갱신할 수 있다.
도 11은 도 10의 배경 영상을 생성하는 단계에서 프레임을 그룹 단위로 처리하는 경우를 나타낸 도면이다.
도 10에 도시된 바와 같이 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 하나 이상의 프레임으로 구성된 N 개의 그룹에 대해 확률 분포를 비교하고, 가장 높은 발생 확률을 갖는 화소 값을 선택하여 각 그룹에 대한 초기 배경 영상을 생성할 수 있다. 또한, 기준시점 영상장치에 대한 배경 영상을 생성하는 단계(610)는 생성된 N 개의 초기 배경 영상의 깊이(변이) 정보를 비교하고, 깊이(변이) 값이 가장 작은 기준시점 영상의 화소 값을 선택하여 최종 배경 영상을 생성할 수 있다.
도 12는 도 7의 기준시점 영상장치에 대한 배경 영상을 생성하는 단계를 적용해 생성한 배경 영상과 배경 영상에 대한 깊이 영상을 나타낸 도면이다.
도 13은 본 발명의 일실시예에 따른 가상시점 영상 생성 방법에서 가상시점 영상의 미처리 영역을 보상하는 단계를 나타낸 흐름도이다.
본 발명의 일실시예에 따른 가상시점 영상 생성 방법에서 가상시점 영상의 미처리 영역을 보상하는 단계는, 가상시점 영상을 생성하는 단계(620)에서 생성된 가상시점 영상의 미처리영역 내의 화소 각각에 대응하는 가상시점 영상에 대한 배경 영상의 화소 값을 탐색한다(1310).
본 발명의 일실시예에 따른 가상시점 영상 생성 방법에서 가상시점 영상의 미처리 영역을 보상하는 단계는, 탐색단계(1310)에서 탐색된 가상시점 영상에 대한 배경 영상의 화소 값이 유효한지의 여부를 판단한다(1320). 또한, 가상시점 영상에 대한 배경 영상을 생성하는 단계(630)에서 가상시점 영상에 대한 배경 영상의 미처리 영역이 선택적으로 보상되기 때문에 가상시점에 대한 배경 영상에 미처리 영역이 존재할 수 있다.
본 발명의 일실시예에 따른 가상시점 영상 생성 방법에서 가상시점 영상의 미처리 영역을 보상하는 단계는, 판단단계(1320)에서 배경 영상의 화소 값이 유효하면 가상시점 영상에 대한 배경 영상의 화소 값을 가상시점 영상의 미처리 영역 내의 화소 값으로 설정한다(1330). 즉, 가상시점 영상의 미처리 영역이 가상시점 영상에 대한 배경 영상의 화소 값으로 보상된다. 가상시점 영상에 존재하는 미처리 영역은 대부분 영상의 배경에서 발생하기 때문이다.
본 발명의 일실시예에 따른 가상시점 영상 생성 방법에서 가상시점 영상의 미처리 영역을 보상하는 단계는, 판단단계(1320)에서 배경 영상의 화소 값이 유효하지 않은 가상시점 영상의 미처리 영역 부분을 보간된 가상시점 영상의 미처리 영역의 주변 유효 화소 값으로 보상할 수 있다(1340). 또는, 수평 스캔 라인 단위로 미처리 영역의 경계의 유효 화소 값을 탐색하고, 탐색된 경계의 유효 화소 값을 보간하여 해당 수평 스캔 라인에 위치하는 미처리 영역을 보상할 수 있다(1340). 이 때 거리에 따른 가중치를 적용할 수 있다.
한편, 본 발명의 일실시예에 따른 가상시점 영상 생성 방법에서 가상시점 영상의 미처리 영역을 보상하는 단계는, 탐색단계(1310)를 실시하기 전 깊이/변이정보의 정수화 문제로 인해 발생한 하나 또는 두 개 화소 공간을 차지하는 미처리 영역에 대해서만 미리 미처리 영역 주변 유효 화소 값을 보간하여 보상할 수 있다.
도 14는 미처리 영역이 존재하는 가상시점 영상과 본 발명의 일실시예에 따른 가상시점 영상 생성 방법을 적용한 가상시점 영상을 나타낸 도면이다.
도 14는 가상시점 영상과 가상시점 영상에 존재하는 미처리 영역을 가상시점 영상에 대한 배경 영상을 이용하여 보상한 영상이다. 빨간색 원으로 도시된 미처리 영역은 폐색영역에 의한 미처리 영역이 화소 값 보간 등의 방식으로 보상되는 경우, 오류가 발생할 확률이 매우 높다.
도 14를 통해 가상시점 영상에 존재하는 미처리 영역은 대부분 영상의 배경에서 발생한다는 것과 본 발명이 적용된 가상시점 영상의 경우 미처리 영역이 의도된 화소 값으로 보상되었음을 알 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
510: 가상시점 영상 생성부
520: 기준시점 배경 영상 생성부
530: 가상시점 배경 영상 생성부
540: 미처리 영역 보상부

Claims (16)

  1. 복수의 기준시점 영상장치에서 기준시점 영상을 획득하고, 상기 기준시점 영상으로부터 배경 영상을 생성하는 단계;
    상기 기준시점 영상을 합성하여 가상시점 영상장치에 대한 가상시점 영상을 생성하는 단계;
    상기 기준시점 영상으로부터 생성된 배경 영상을 합성하여 상기 가상시점 영상에 대한 배경 영상을 생성하는 단계; 및
    상기 가상시점 영상에 대한 배경 영상에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 단계
    를 포함하는 가상시점 영상 생성 방법.
  2. 제1항에 있어서,
    상기 기준시점 영상으로부터 배경 영상을 생성하는 단계는,
    상기 기준시점 영상의 깊이 정보를 비교하고, 깊이 값이 가장 작은 기준시점 영상의 화소 값을 선택하여, 초기 배경 영상을 생성하는 단계; 및
    상기 초기 배경 영상의 각 화소에 대해 발생 확률 분포를 분석하고, 발생 확률이 가장 높은 확률을 갖는 화소 값을 선택하여, 최종 배경 영상을 생성하는 단계
    를 포함하는 가상시점 영상 생성 방법.
  3. 제1항에 있어서,
    상기 기준시점 영상으로부터 배경 영상을 생성하는 단계는,
    상기 기준시점 영상의 깊이 정보를 비교하고, 깊이 값이 가장 작은 기준시점 영상의 화소 값을 선택하여 배경 영상을 생성하는 가상시점 영상 생성 방법.
  4. 제1항에 있어서,
    상기 기준시점 영상으로부터 배경 영상을 생성하는 단계는,
    상기 기준시점 영상의 각 화소에 대해 발생 확률 분포를 분석하고, 가장 발생 확률이 높은 화소 값을 선택하여 배경 영상을 생성하는 가상시점 영상 생성 방법.
  5. 제1항에 있어서,
    상기 기준시점 영상으로부터 배경 영상을 생성하는 단계는,
    상기 기준시점 영상의 각 화소에 대해 발생 확률 분포를 분석하고, 발생 확률이 가장 높은 확률을 갖는 화소 값을 선택하여, 초기 배경 영상을 생성하는 단계; 및
    상기 초기 배경 영상의 깊이 정보를 비교하고, 깊이 값이 가장 작은 기준시점 영상의 화소 값을 선택하여, 최종 배경 영상을 생성하는 단계
    를 포함하는 가상시점 영상 생성 방법.
  6. 제1항에 있어서,
    상기 기준시점 영상으로부터 배경 영상을 생성하는 단계는,
    기준시점 영상을 구성하는 프레임 각각을 독립적으로 처리하여 배경 영상을 생성하는 가상시점 영상 생성 방법.
  7. 제1항에 있어서,
    상기 기준시점 영상으로부터 배경 영상을 생성하는 단계는,
    기준시점 영상을 구성하는 프레임을 2 개 이상의 프레임으로 구성된 그룹으로 구분하고, 그룹 단위로 처리하여 배경 영상을 생성하는 가상시점 영상 생성 방법.
  8. 제1항에 있어서,
    상기 기준시점 영상으로부터 배경 영상을 생성하는 단계는,
    기준시점 영상의 새로운 프레임을 획득할 때마다 상기 배경 영상을 갱신하는 가상시점 영상 생성 방법.
  9. 제1항에 있어서,
    상기 기준시점 영상으로부터 배경 영상을 생성하는 단계는,
    기준시점 영상의 전체 프레임을 획득한 후, 상기 배경 영상을 생성하는 가상시점 영상 생성 방법.
  10. 제1항에 있어서,
    상기 가상시점 영상의 미처리 영역을 보상하는 단계는,
    상기 가상시점 영상의 미처리영역 내의 화소 각각에 대응하는 가상시점 영상에 대한 배경 영상의 화소 값을 탐색하는 단계;
    상기 가상시점 영상에 대한 배경 영상의 화소 값이 유효한지 여부를 판단하는 단계; 및
    상기 배경 영상의 화소 값이 유효하면, 상기 가상시점 영상에 대한 배경 영상의 화소 값을 상기 가상시점 영상의 미처리 영역 내의 화소 값으로 설정하는 단계
    를 포함하는 가상시점 영상 생성 방법.
  11. 복수의 기준시점 영상장치에서 기준시점 영상을 획득하고, 상기 기준시점 영상으로부터 배경 영상을 생성하는 기준시점 배경 영상 생성부;
    상기 기준시점 영상을 합성하여 가상시점 영상장치에 대한 가상시점 영상을 생성하는 가상시점 영상 생성부;
    상기 기준시점 영상으로부터 생성된 배경 영상을 합성하여 상기 가상시점 영상에 대한 배경 영상을 생성하는 가상시점 배경 영상 생성부; 및
    상기 가상시점 영상에 대한 배경 영상에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 미처리 영역 보상부
    를 포함하는 가상시점 영상 생성 장치.
  12. 제11항에 있어서,
    상기 기준시점 배경 영상 생성부는,
    상기 기준시점 영상의 깊이 정보를 비교하고, 깊이 값이 가장 작은 기준시점 영상의 화소 값을 선택하여, 초기 배경 영상을 생성하는 깊이(변이)기반 초기 배경 영상 생성수단; 및
    상기 초기 배경 영상의 각 화소에 대해 발생 확률 분포를 분석하고, 발생 확률이 가장 높은 확률을 갖는 화소 값을 선택하여, 최종 배경 영상을 생성하는 최종 배경 영상 생성수단
    을 포함하는 가상시점 영상 생성 장치.
  13. 제11항에 있어서,
    상기 기준시점 배경 영상 생성부는,
    상기 기준시점 영상의 깊이 정보를 비교하고, 깊이 값이 가장 작은 기준시점 영상의 화소 값을 선택하여 배경 영상을 생성하는 가상시점 영상 생성 장치.
  14. 제11항에 있어서,
    상기 기준시점 배경 영상 생성부는,
    상기 기준시점 영상의 각 화소에 대해 발생 확률 분포를 분석하고, 가장 발생 확률이 높은 기준시점 영상의 화소 값을 선택하여 배경 영상을 생성하는 가상시점 영상 생성 장치.
  15. 제11항에 있어서,
    상기 기준시점 배경 영상 생성부는,
    상기 기준시점 영상의 각 화소에 대해 발생 확률 분포를 분석하고, 발생 확률이 가장 높은 확률을 갖는 화소 값을 선택하여, 초기 배경 영상을 생성하는 초기 배경 영상 생성수단; 및
    상기 초기 배경 영상의 깊이 정보를 비교하고, 깊이 값이 가장 작은 기준시점 영상의 화소 값을 선택하여, 최종 배경 영상을 생성하는 깊이 기반 최종 배경 영상 생성수단
    을 포함하는 가상시점 영상 생성 장치.
  16. 제11항에 있어서,
    상기 미처리 영역 보상부는
    상기 가상시점 영상의 미처리영역 내의 화소 각각에 대응하는 가상시점 영상에 대한 배경 영상의 화소 값을 탐색하는 탐색수단;
    상기 가상시점 영상에 대한 배경 영상의 화소 값이 유효한지 여부를 판단하는 판단수단; 및
    상기 배경 영상의 화소 값이 유효하면, 상기 가상시점 영상에 대한 배경 영상의 화소 값을 상기 가상시점 영상의 미처리 영역 내의 화소 값으로 설정하는 설정수단
    을 포함하는 가상시점 영상 생성 장치.
KR1020100020768A 2009-12-03 2010-03-09 가상시점 영상 생성 방법 및 그 장치 KR101342783B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090119017 2009-12-03
KR1020090119017 2009-12-03

Publications (2)

Publication Number Publication Date
KR20110063247A true KR20110063247A (ko) 2011-06-10
KR101342783B1 KR101342783B1 (ko) 2013-12-19

Family

ID=44397261

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100020768A KR101342783B1 (ko) 2009-12-03 2010-03-09 가상시점 영상 생성 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101342783B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336955B1 (ko) * 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 다시점 영상 생성 방법 및 시스템
CN112929628A (zh) * 2021-02-08 2021-06-08 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100186268B1 (ko) 1995-09-07 1999-05-01 김주용 가상 영상 영역을 이용한 영상의 가장자리 부분 보상 방법 및 구조
WO2007007923A1 (en) 2005-07-11 2007-01-18 3R Inc. Apparatus for encoding and decoding multi-view image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336955B1 (ko) * 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 다시점 영상 생성 방법 및 시스템
CN112929628A (zh) * 2021-02-08 2021-06-08 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及存储介质
CN112929628B (zh) * 2021-02-08 2023-11-21 咪咕视讯科技有限公司 虚拟视点合成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
KR101342783B1 (ko) 2013-12-19

Similar Documents

Publication Publication Date Title
EP3216216B1 (en) Methods and systems for multi-view high-speed motion capture
US9210398B2 (en) Method and apparatus for temporally interpolating three-dimensional depth image
US9313473B2 (en) Depth video filtering method and apparatus
KR101066550B1 (ko) 가상시점 영상 생성방법 및 그 장치
EP2214137B1 (en) A method and apparatus for frame interpolation
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
US7511730B2 (en) Image processing apparatus and method and image pickup apparatus
US9300940B2 (en) Method and apparatus for converting 2-dimensional image into 3-dimensional image by adjusting depth of the 3-dimensional image
Fang et al. An analytical model for synthesis distortion estimation in 3D video
KR101666019B1 (ko) 외삽 뷰 생성을 위한 장치 및 방법
KR20100087685A (ko) 깊이 영상의 품질 개선 방법 및 장치
KR20090071624A (ko) 이미지 개선
EP2202683A1 (en) Image generation method, device, its program and recording medium with program recorded therein
KR20110032157A (ko) 저해상도 비디오로부터 고해상도 비디오를 생성하는 방법
Varekamp et al. Improved depth propagation for 2D to 3D video conversion using key-frames
KR20130084232A (ko) 3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리
Lu et al. Spatio-temporally consistent color and structure optimization for multiview video color correction
KR101066542B1 (ko) 가상시점 영상 생성방법 및 그 장치
US5953079A (en) Machine method for compensating for non-linear picture transformations, E.G. zoom and pan, in a video image motion compensation system
KR102129085B1 (ko) 영상 데이터를 합성하는 장치 및 방법
JP2012238932A (ja) ３ｄ自動色補正装置とその色補正方法と色補正プログラム
KR101342783B1 (ko) 가상시점 영상 생성 방법 및 그 장치
JP2004356747A (ja) 画像のマッチング方法および装置
KR101050135B1 (ko) 광류 정보를 이용한 중간 영상 생성 방법
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 6