KR102469228B1 - 가상 시점 영상 생성 장치 및 방법 - Google Patents

가상 시점 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR102469228B1
KR102469228B1 KR1020160086054A KR20160086054A KR102469228B1 KR 102469228 B1 KR102469228 B1 KR 102469228B1 KR 1020160086054 A KR1020160086054 A KR 1020160086054A KR 20160086054 A KR20160086054 A KR 20160086054A KR 102469228 B1 KR102469228 B1 KR 102469228B1
Authority
KR
South Korea
Prior art keywords
image
virtual viewpoint
mapping
disparity
generating
Prior art date
Application number
KR1020160086054A
Other languages
English (en)
Other versions
KR20180005859A (ko
Inventor
신홍창
이광순
이진환
허남호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160086054A priority Critical patent/KR102469228B1/ko
Priority to CN201710252123.8A priority patent/CN107590857A/zh
Publication of KR20180005859A publication Critical patent/KR20180005859A/ko
Application granted granted Critical
Publication of KR102469228B1 publication Critical patent/KR102469228B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

가상 시점 영상 생성 장치 및 방법이 개시된다. 본 발명에 따른 가상 시점 영상 생성 장치는, 서로 다른 시점에 상응하는 기준 영상 및 참조 영상 각각을 분할 단위로 분할하여 기준 변이 영상 및 참조 변이 영상을 생성하는 분할 영상 생성부, 상기 분할 단위로 분할된 상기 기준 영상 및 상기 참조 영상에 상응하는 변이를 계산하여, 기준 변이 영상 및 참조 변이 영상을 생성하는 변이 계산부, 상기 변이를 이용하여, 상기 기준 변이 영상 및 상기 참조 변이 영상을 가상 시점에 매핑하는 영상 매핑부, 그리고 상기 기준 변이 영상이 상기 가상 시점에 매핑된 제1 매핑 영상과 상기 참조 변이 영상이 상기 가상 시점에 매핑된 제2 매핑 영상을 혼합하여, 상기 가상 시점에 상응하는 가상 시점 영상을 생성하는 가상 시점 영상 생성부를 포함한다.

Description

가상 시점 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING VIRTUAL VIEWPOINT IMAGE}
본 발명은 가상 시점 영상을 생성하는 기술에 관한 것으로, 특히 서로 다른 시점에 상응하는 기준 영상 및 참조 영상 간 기하관계를 이용하여 가상 시점에 대한 영상을 생성하는 기술에 관한 것이다.
가상 시점 영상(virtual viewpoint image)이란, 촬영 장치로 촬영하지 않은 가상 시점에 상응하는 영상을 의미하며, 촬영 장치로 촬영된 기존의 영상을 이용하여 생성될 수 있다.
기본적으로, 가상 시점 영상은 촬영 장치로 획득한 참조 영상의 기하정보를 이용하여 목표 가상 시점의 위치에 사상(mapping)시키고, 사상이 되지 않는 가려진 영역(occluded area)은 다른 참조영상을 통해 사상한다. 그리고 주위의 유사한 정보를 이용한 보간을 수행하여 최종적으로 가상 시점의 위치에 상응하는 가상 시점 영상을 생성한다. 여기서, 참조 영상의 기하정보는, 촬영 장치 캘리브레이션 정보, 개별 화소의 깊이 및 변이 정보 등을 포함할 수 있다.
종래 기술은 참조 영상들의 크기가 동일하고, 참조 영상들 간 기하정보를 나타내는 깊이 정보 및 변이 영상이 1 대 1로 대응된다고 가정하며, 화소 단위로 사상하여 영상을 합성한다.
화소 단위의 사상으로 인하여, 화소 한 개의 깊이 정보 또는 변이 정보가 정확하지 않을 경우, 화소 단위의 노이즈가 많이 발생한다. 일반적으로 스테레오 정합 방법을 사용하여, 두 영상의 모든 화소에 대한 유사도를 기반으로 대응점(correspondence)을 구할 경우, 정확한 결과를 얻기 힘들다.
또한, 화소 단위로 모든 화소의 깊이 정보 및 변이 정보를 구하고, 이를 이용하여 영상을 생성하는 과정은 많은 시간이 소요된다. 따라서, 실시간으로 가상 시점 영상을 생성하고자 하는 경우, 품질과 연산량 간의 상충 관계에 따른 문제가 발생한다.
즉, 종래의 화소 단위 사상 방법 외의 기술을 연구하여, 가상 시점 영상 생성에 소요되는 시간을 절감할 수 있는 기술의 개발이 필요하다.
한국 공개 특허 제10-2014-0022300호, 2014년 02월 24일 공개(명칭: 다시점 영상 생성 방법 및 장치)
본 발명의 목적은 촬영하지 못한 시점에 상응하는 가상 시점 영상을 제공할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 종래의 화소 단위로 매핑하는 기술에 비하여, 계산량을 감소시킬 수 있도록 하는 것이다.
또한, 본 발명의 목적은 지역성의 특성이 있는 인접한 화소를 그룹핑하여 처리함으로써, 강건한 가상 시점 영상을 생성할 수 있도록 하는 것이다.
또한, 본 발명의 목적은 블록 단위로 매핑 할 경우 발생할 수 있는 블록화 현상을 방지하고, 자연스러운 가상 시점 영상을 생성할 수 있도록 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 가상 시점 영상 생성 장치는 서로 다른 시점에 상응하는 기준 영상 및 참조 영상 각각을 분할 단위로 분할하는 분할 영상 생성부, 상기 분할 단위로 분할된 상기 기준 영상 및 상기 참조 영상에 상응하는 변이를 계산하여, 기준 변이 영상 및 참조 변이 영상을 생성하는 변이 계산부, 상기 변이를 이용하여, 상기 기준 변이 영상 및 상기 참조 변이 영상을 가상 시점에 매핑하는 영상 매핑부, 그리고 상기 기준 변이 영상이 상기 가상 시점에 매핑된 제1 매핑 영상과 상기 참조 변이 영상이 상기 가상 시점에 매핑된 제2 매핑 영상을 혼합하여, 상기 가상 시점에 상응하는 가상 시점 영상을 생성하는 가상 시점 영상 생성부를 포함한다.
이때, 상기 영상 매핑부는, 상기 기준 변이 영상 및 상기 참조 변이 영상을 기준으로 역방향 매핑(Backward mapping)을 수행할 수 있다.
이때, 상기 영상 매핑부는, 상기 분할 단위보다 크기가 크거나 같은 블록 단위로 매핑할 수 있다.
이때, 상기 영상 매핑부는, 상기 기준 변이 영상 및 상기 참조 변이 영상의 중심점과 픽셀 간 거리에 따른 매핑 가중치를 부여하여 매핑을 수행할 수 있다.
이때, 상기 영상 매핑부는, 상기 기준 영상, 상기 기준 변이 영상, 상기 참조 영상 및 상기 참조 변이 영상 중 적어도 두 개 이상의 영상을 이용하여 매핑을 수행할 수 있다.
이때, 상기 영상 매핑부는, 상기 기준 영상, 상기 기준 변이 영상, 상기 참조 영상 및 상기 참조 변이 영상 중 세 개의 영상을 이용하여 매핑을 수행할 경우, 상기 기준 영상 및 상기 참조 영상 각각에 혼합 가중치를 부여하여 매핑을 수행할 수 있다.
이때, 상기 혼합 가중치는, 상기 기준 영상의 시점과 상기 가상 시점 간 거리 및 상기 참조 영상의 시점과 상기 가상 시점 간 거리 중 적어도 하나를 이용하여 계산된 것 일 수 있다.
이때, 상기 가상 시점 영상 생성부는, 상기 제1 매핑 영상 및 제2 매핑 영상 각각에 합성 가중치를 부여하여, 상기 가상 시점 영상을 생성할 수 있다.
이때, 상기 합성 가중치는, 상기 기준 영상의 시점과 상기 가상 시점 간 거리 및 상기 참조 영상의 시점과 상기 가상 시점 간 거리 중 적어도 하나를 이용하여 설정된 것일 수 있다.
이때, 상기 합성 가중치는, 동일한 픽셀에 상응하는 곳에 사상되는 상기 기준 영상의 픽셀 값과 상기 참조 영상의 픽셀 값 간 오차 값을 이용하여 설정된 것일 수 있다.
이때, 상기 가상 시점 영상의 빈 영역을 보간하는 영상 보간부를 더 포함할 수 있다.
이때, 상기 영상 보간부는, 상기 빈 영역에 상응하는 공간 축 및 시간 축 중 적어도 어느 하나를 기준으로 인접한 영역의 픽셀 값을 이용하여 상기 빈 영역을 보간할 수 있다.
이때, 상기 가상 시점은, 상기 기준 영상의 시점과 상기 참조 영상의 시점 사이에 위치하는 것으로, 사용자로부터 설정받은 것이거나, 기 설정된 값일 수 있다.
이때, 상기 분할 영상 생성부는, 정형 영상 분할 및 비정형 영상 분할 중 적어도 하나를 수행하여, 상기 기준 영상 및 상기 참조 영상을 분할할 수 있다.
또한, 본 발명의 일실시예에 따른 가상 시점 영상 생성 장치에 의해 수행되는 가상 시점 영상 생성 방법은 서로 다른 시점에 상응하는 기준 영상 및 참조 영상 각각을 분할 단위로 분할하는 단계, 상기 분할 단위로 분할된 상기 기준 영상 및 상기 참조 영상에 상응하는 변이를 계산하여, 기준 변이 영상 및 참조 변이 영상을 생성하는 단계, 상기 변이를 이용하여, 상기 기준 변이 영상 및 상기 참조 변이 영상을 가상 시점에 매핑하는 단계, 그리고 상기 기준 변이 영상이 상기 가상 시점에 매핑된 제1 매핑 영상과 상기 참조 변이 영상이 상기 가상 시점에 매핑된 제2 매핑 영상을 혼합하여, 상기 가상 시점에 상응하는 가상 시점 영상을 생성하는 단계를 포함한다.
이때, 상기 가상 시점에 매핑하는 단계는, 상기 기준 변이 영상 및 상기 참조 변이 영상을 기준으로 역방향 매핑(Backward mapping)을 수행할 수 있다.
이때, 상기 가상 시점에 매핑하는 단계는, 상기 분할 단위보다 크기가 크거나 같은 블록 단위로 매핑할 수 있다.
이때, 상기 가상 시점에 매핑하는 단계는, 상기 기준 변이 영상 및 상기 참조 변이 영상의 중심점과 픽셀 간 거리에 따른 매핑 가중치를 부여하여 매핑을 수행할 수 있다.
이때, 상기 가상 시점에 매핑하는 단계는, 상기 기준 영상, 상기 기준 변이 영상, 상기 참조 영상 및 상기 참조 변이 영상 중 적어도 두 개 이상의 영상을 이용하여 매핑을 수행할 수 있다.
이때, 상기 가상 시점에 매핑하는 단계는, 상기 기준 영상, 상기 기준 변이 영상, 상기 참조 영상 및 상기 참조 변이 영상 중 세 개의 영상을 이용하여 매핑을 수행할 경우, 상기 기준 영상 및 상기 참조 영상 각각에 혼합 가중치를 부여하여 매핑을 수행할 수 있다.
이때, 상기 혼합 가중치는, 상기 기준 영상의 시점과 상기 가상 시점 간 거리 및 상기 참조 영상의 시점과 상기 가상 시점 간 거리 중 적어도 하나를 이용하여 계산된 것 일 수 있다.
이때, 상기 가상 시점 영상을 생성하는 단계는, 상기 제1 매핑 영상 및 제2 매핑 영상 각각에 합성 가중치를 부여하여, 상기 가상 시점 영상을 생성할 수 있다.
이때, 상기 합성 가중치는, 상기 기준 영상의 시점과 상기 가상 시점 간 거리 및 상기 참조 영상의 시점과 상기 가상 시점 간 거리 중 적어도 하나를 이용하여 설정된 것일 수 있다.
이때, 상기 합성 가중치는, 동일한 픽셀에 상응하는 곳에 사상되는 상기 기준 영상의 픽셀 값과 상기 참조 영상의 픽셀 값 간 오차 값을 이용하여 설정된 것일 수 있다.
이때, 상기 가상 시점 영상의 빈 영역을 보간하는 단계를 더 포함할 수 있다.
이때, 상기 빈 영역을 보간하는 단계는, 상기 빈 영역에 상응하는 공간 축 및 시간 축 중 적어도 어느 하나를 기준으로 인접한 영역의 픽셀 값을 이용하여 상기 빈 영역을 보간할 수 있다.
이때, 상기 가상 시점은, 상기 기준 영상의 시점과 상기 참조 영상의 시점 사이에 위치하는 것으로, 사용자로부터 설정받은 것이거나, 기 설정된 값일 수 있다.
이때, 상기 분할 단위로 분할하는 단계는, 정형 영상 분할 및 비정형 영상 분할 중 적어도 하나를 수행하여, 상기 기준 영상 및 상기 참조 영상을 분할할 수 있다.
본 발명에 따르면, 촬영하지 못한 시점에 상응하는 가상 시점 영상을 제공할 수 있다.
또한 본 발명에 따르면, 종래의 화소 단위로 매핑하는 기술에 비하여, 계산량을 감소시킬 수 있다.
또한 본 발명에 따르면, 지역성의 특성이 있는 인접한 화소를 그룹핑하여 처리함으로써, 강건한 가상 시점 영상을 생성할 수 있다.
또한 본 발명에 따르면, 블록 단위로 매핑 할 경우 발생할 수 있는 블록화 현상을 방지하고, 자연스러운 가상 시점 영상을 생성할 수 있다.
도 1은 본 발명의 일실시예에 따른 가상 시점 영상 생성 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 가상 시점 영상 생성 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일실시예에 따른 기준 영상 및 참조 영상의 분할을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 가상 시점을 설명하기 위한 도면이다.
도 5는 도 3의 S230 단계에서 변이 영상을 가상 시점에 매핑하는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 매핑 가중치를 설명하기 위한 도면이다.
도 7은 도 3의 S240 단계에서 가상 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 가상 시점 영상 생성 장치의 구성을 나타낸 블록도이다.
도 1에 도시한 바와 같이, 가상 시점 영상 생성 장치(100)는 분할 영상 생성부(110), 변이 계산부(120), 영상 매핑부(130), 가상 시점 영상 생성부(140) 및 영상 보간부(150)를 포함한다.
먼저, 분할 영상 생성부(110)는 서로 다른 시점에 상응하는 기준 영상 및 참조 영상 각각을 분할 단위(segment unit)로 분할한다.
이때, 기준 영상의 시점 및 참조 영상의 시점은 서로 상이하다. 그리고 가상 시점 영상 생성 장치(100)가 생성하고자 하는 가상 시점 영상에 상응하는 시점은, 기준 영상의 시점과 참조 영상의 시점 사이에 위치한다.
또한, 분할된 기준 영상은 분할 영상 생성부(110)가 기준 영상을 분할 단위로 분할하여 생성한 것이고, 분할된 참조 영상은 분할 영상 생성부(110)가 참조 영상을 분할 단위로 분할하여 생성한 것이다.
분할 영상 생성부(110)는 정형 영상 분할 및 비정형 영상 분할 중 적어도 하나를 수행하여, 기준 영상 및 참조 영상을 분할할 수 있다. 특히, 분할 영상 생성부(110)는 기준 영상 및 참조 영상을 일정한 간격으로 분할하는 정형(fixed) 영상 분할을 수행할 수 있다.
또한, 분할 영상 생성부(110)는 영상 분할 기법(image segmentation)을 이용하여 기준 영상 및 참조 영상을 의미 있는 단위로 비정형(variable)으로 분할할 수 있다. 그리고 분할 영상 생성부(110)는 비정형 영상 분할을 수행하여, 유사한 단위로 묶인 분할 단위로 기준 영상 및 참조 영상을 분할 할 수도 있다.
다음으로, 변이 계산부(120)는 분할된 기준 영상 및 분할된 참조 영상에 상응하는 변이를 계산하여, 기준 변이 영상 및 참조 변이 영상을 생성한다.
변이 계산부(120)는 분할 단위(segment unit)로 분할된 기준 영상 및 분할된 참조 영상에 상응하는 변이를 계산한다. 여기서, 변이(disparity)는 동일한 장면을 서로 상이한 시점에서 촬영한 영상인 기준 영상과 참조 영상에 포함된 동일한 점의 대응관계를 의미하며, 기준 영상에 포함된 점과 참조 영상에 포함된 점 간 위치 차이를 픽셀 단위로 표현한 값일 수 있다.
예를 들어, 기준 영상에 포함된 특정 픽셀의 변이가 10인 경우, 참조 영상 상에서 상기 특정 픽셀에 대응되는 대응점(correspondence)은 기준 영상에서의 상기 특정 픽셀의 좌표를 기준으로 왼쪽 또는 오른쪽으로 10만큼 이동한 곳에 위치한다.
즉, 기준 영상이 좌측 영상으로 설정되고, 참조 영상이 우측 영상으로 설정된 경우 기준 영상에 포함된 특정 픽셀의 변이가 10이면, 참조 영상에서 해당 특정 픽셀의 대응점은 기준 영상에서의 특정 픽셀의 좌표를 기준으로 좌측으로 10만큼 이동한 곳에 위치한다.
일반적으로 좌측 영상 및 우측 영상과 같은 스테레오 영상을 처리할 때, 스테레오 정합 기법을 이용한다. 스테레오 정합(stereo matching) 기법은 기준 영상의 픽셀과 참조 영상의 후보군 내 픽셀들을 비교하여, 유사도(similarity)가 가장 높은 픽셀을 선택하는 방식이다.
그러나, 본 발명의 일실시예에 따른 가상 시점 영상 생성 장치(100)의 변이 계산부(120)는 기준 영상 내에 포함된 픽셀들의 특성을 참조 영상의 후보군들과 비교함으로써, 대표 변이를 추정한다.
또한, 변이 계산부(120)는 계산된 변이를 이용하여, 기준 변이 영상 및 참조 변이 영상을 생성한다.
그리고 영상 매핑부(130)는 변이를 이용하여, 기준 변이 영상 및 참조 변이 영상을 가상 시점에 매핑한다.
여기서, 가상 시점은, 기준 영상의 시점과 참조 영상의 시점 사이에 위치하는 것으로, 사용자로부터 설정받은 것이거나, 기 설정된 값일 수 있다.
좌측 영상이 기준 영상이고, 우측 영상이 참조 영상으로 설정된 경우, 기준 영상의 시점 위치를 0으로 설정하고, 참조 영상의 시점 위치를 1로 설정할 수 있다. 그리고 기준 영상의 시점과 참조 영상의 시점 사이에 위치한 중간 시점인 가상 시점은 기준 영상의 시점 및 참조 영상의 시점을 기준으로 상대적 위치로 표현될 수 있다.
이때, 생성하고자 하는 가상 시점 영상에 상응하는 가상 시점의 위치는 하나 이상 설정될 수 있다. 그리고 가상 시점은 기 설정된 값이거나, 사용자로부터 입력받은 값 일 수 있다.
특히, 가상 시점은 기준 영상의 시점과 참조 영상의 시점 간 정 가운데를 의미하는 0.5로 설정될 수 있다. 또한, 복수 개의 가상 시점들이 설정되는 경우, 기준 영상의 시점, 복수 개의 가상 시점들 및 참조 영상의 시점 간 간격이 균등하도록 복수 개의 가상 시점들이 설정될 수 있다.
또한, 영상 매핑부(130)는 기준 변이 영상 및 참조 변이 영상을 기준으로 역방향 매핑(Backward mapping)을 수행한다.
영상 매핑부(130)는 기준 변이 영상을 가상 시점에 역방향 매핑하여 제1 매핑 영상을 생성하고, 참조 변이 영상을 가상 시점에 역방향 매핑하여 제2 매핑 영상을 생성할 수 있다.
그리고 영상 매핑부(130)는 분할 단위보다 크기가 크거나 같은 블록 단위로 매핑할 수 있다. 예를 들어, 분할 단위의 크기가 4x4인 경우, 영상 매핑부(130)는 4x4보다 큰 크기의 블록 단위인 8x8 크기로 매핑을 수행하여 4x4의 인접 픽셀까지 함께 매핑할 수 있다. 이를 통하여 영상 매핑부(130)는 블록화 현상을 해결하고, 자연스럽게 영상을 합성할 수 있다.
또한, 영상 매핑부(130)는 기준 영상 및 기준 변이 영상을 이용하여 제1 매핑 영상을 생성하거나, 기준 영상, 기준 변이 영상 및 참조 영상을 이용하여 제1 매핑 영상을 생성할 수 있다. 마찬가지로 영상 매핑부(130)는 제2 매핑 영상을 생성할 때, 참조 영상 및 참조 변이 영상을 이용하여 제2 매핑 영상을 생성하거나, 참조 영상, 참조 변이 영상 및 기준 영상을 이용하여 제2 매핑 영상을 생성할 수 있다.
영상 매핑부(130)가 3개의 영상을 이용하여 제1 매핑 영상 및 제2 매핑 영상을 생성하는 경우, 영상 매핑부(130)는 기준 영상 및 참조 영상에 혼합 가중치를 부여하여 제1 매핑 영상 및 제2 매핑 영상을 생성할 수 있다.
여기서, 혼합 가중치는, 기준 영상의 시점과 가상 시점간 거리 및 참조 영상의 시점과 가상 시점 간 거리 중 적어도 하나를 이용하여 설정된 것일 수 있다. 즉, 영상 매핑부(130)는 시점의 거리 차가 더 작은 경우, 더 큰 혼합 가중치를 부여하여 매핑 영상을 생성할 수 있다.
그리고 영상 매핑부(130)는 기준 변이 영상 및 참조 변이 영상의 중심점과 픽셀 간 거리에 따른 매핑 가중치를 부여하여 매핑을 수행할 수 있다.
여기서, 매핑 가중치는 기준 변이 영상의 중심점 및 참조 변이 영상의 중심점과 매핑할 픽셀 간 거리에 따른 가중치를 의미한다. 예를 들어, 기준 변이 영상이 4x4인 경우, 기준 변이 영상의 중심점과 가장 가까운 4개의 픽셀들은 제1 매핑 가중치를 부여한다. 그리고 기준 변이 영상의 중심점과의 거리가 2픽셀인 12개의 픽셀들에는 제2 매핑 가중치를 부여한다. 이때, 제1 매핑 가중치는 제2 매핑 가중치에 비해 더 큰 값을 갖는다.
다음으로 가상 시점 영상 생성부(140)는 기준 변이 영상이 가상 시점에 매핑된 제1 매핑 영상과 참조 변이 영상이 가상 시점에 매핑된 제2 매핑 영상을 합성하여, 가상 시점에 상응하는 가상 시점 영상을 생성한다.
그리고 가상 시점 영상 생성부(140)는 제1 매핑 영상 및 제2 매핑 영상에 각각 합성 가중치를 부여하여 가상 시점 영상을 생성할 수 있다. 여기서, 합성 가중치는, 기준 영상의 시점과 가상 시점 간 거리 및 참조 영상의 시점과 가상 시점 간 거리 중 적어도 하나를 이용하여 계산된 것 일 수 있다.
예를 들어, 기준 영상이 좌측 영상을 의미하고, 참조 영상이 우측 영상을 의미하며, 가상 시점이 0.4로 설정되었다고 가정한다. 이때, 가상 시점은 참조 영상보다 기준 영상에 더 가까우므로, 가상 시점 영상 생성부(140)는 제1 매핑 영상에 부여되는 제1 합성 가중치를 제2 매핑 영상에 부여하는 제2 합성 가중치보다 크게 설정할 수 있다.
즉, 가상 시점 영상 생성부(140)는 시점의 거리 차가 더 작은 경우, 더 큰 합성 가중치를 부여하여 제1 매핑 영상 및 제2 매핑 영상을 합성함으로써 가상 시점 영상을 생성할 수 있다.
또한, 합성 가중치는 매핑 수행 시 계산된 오차 값일 수 있다. 여기서 오차값은, 역방향 매핑 수행 시 기준 영상 및 참조 영상으로부터 동일한 점에 대해 추출한 픽셀 값들의 차이를 기반으로 설정된 값을 의미할 수 있다.
예를 들어, 기준 영상으로부터 추출한 픽셀 값을 PL이라 하고, 참조 영상으로부터 추출된 픽셀 값을 PR이라 할 때, 두 픽셀 값 간의 차이인 |PL-PR|이 오차 값을 의미할 수 있다.
기준 변이 영상이 정확할 경우, PL과 PR 간의 차이인 오차 값은 작은 값을 갖는다. 따라서, 가상 시점 영상 생성부(140)는 보다 큰 합성 가중치를 부여할 수 있다. 반면, 기준 영상이 부정확할 경우, 오차 값은 보다 큰 값을 가지며 가상 시점 영상 생성부(140)는 더 작은 합성 가중치를 부여한다.
설명의 편의상, 기준 변이 영상을 이용하여 합성 가중치를 부여하는 것으로 설명하였으나 이에 한정하지 않고, 가상 시점 영상 생성부(140)는 참조 변이 영상을 이용하여 합성 가중치를 부여할 수도 있고, 기준 변이 영상에 상응하는 합성 가중치와 참조 변이 영상에 상응하는 합성 가중치를 모두 이용하여 가상 시점 영상을 생성할 수도 있다.
마지막으로, 영상 보간부(150)는 생성된 가상 시점 영상의 빈 영역(hole)을 보간한다.
이때, 영상 보간부(150)는 빈 영역에 상응하는 공간 축 및 시간 축 중 적어도 어느 하나를 기준으로, 인접한 영역의 픽셀 값을 이용하여 빈 영역을 보간할 수 있다.
이하에서는 도 2 내지 도 7을 통하여, 본 발명의 일실시예에 따른 가상 시점 영상 생성 장치에 의해 수행되는 가상 시점 영상 생성 방법에 대하여 더욱 상세하게 설명한다.
도 2는 본 발명의 일실시예에 따른 가상 시점 영상 생성 방법을 설명하기 위한 순서도이다.
먼저, 가상 시점 영상 생성 장치(100)는 기준 영상 및 참조 영상을 분할한다(S210).
가상 시점 영상 생성 장치(100)는 입력받은 기준 영상 및 참조 영상을 각각 분할 단위로 분할한다. 설명의 편의상, 기준 영상은 좌측 영상을 의미하고, 참조 영상은 우측 영상을 의미하는 것으로 가정한다.
도 3은 본 발명의 일실시예에 따른 기준 영상 및 참조 영상의 분할을 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 가상 시점 영상 생성 장치(100)는 정형 영상 분할(310) 및 비정형 영상 분할(320) 중 적어도 하나를 수행하여, 기준 영상 및 참조 영상을 분할할 수 있다.
가상 시점 영상 생성 장치(100)는 기준 영상 및 참조 영상을 일정한 간격으로 분할하는 정형 영상 분할(310)을 수행하여, 도 3과 같이 크기가 일정한 분할된 기준 영상 및 분할된 참조 영상을 생성할 수 있다.
예를 들어, 가상 시점 영상 생성 장치(100)가 가로 4픽셀, 세로 4픽셀인 4x4 크기의 분할 단위를 설정하였다고 가정한다. 이때, 기준 영상 및 참조 영상의 크기가 FHD(1920x1080)인 경우, 기준 영상 및 참조 영상은 가로 480개의 분할된 영상 및 세로 270개의 분할된 영상으로 분할 될 수 있다.
또한, 가상 시점 영상 생성 장치(100)는 영상 분할(image segmentation) 기법을 이용하여, 기준 영상 및 참조 영상을 유의미한 단위로 비정형 분할할 수 있다. 그리고 가상 시점 영상 생성 장치(100)는 유사한 단위로 묶인 기준 영상 및 참조 영상을 생성할 수 있다.
일반적으로 영상 분할 기법은 기준이 되는 픽셀과의 유사도가 높은 주변 픽셀들을 하나로 그룹핑하는 과정을 반복하여 수행될 수 있다. 그리고 가상 시점 영상 생성 장치(100)가 영상 분할 기법을 이용하여 비정형 분할을 수행할 경우, 도 3의 비정형 영상 분할(320)과 같이 유사도가 임계치 이상인 픽셀들끼리 그룹핑된 영상을 생성할 수 있다.
다음으로 가상 시점 영상 생성 장치(100)는 변이 영상의 변이를 계산하고, 기준 변이 영상 및 참조 변이 영상을 생성한다(S220).
가상 시점 영상 생성 장치(100)는 동일한 장면을 서로 상이한 시점에서 촬영한 영상인 기준 영상과 참조 영상 간 대응 관계를 의미하는 변이(disparity)를 계산한다.
이때, 가상 시점 영상 생성 장치(100)는 같은 장면을 서로 다른 시점에서 촬영한 영상인 기준 영상 및 참조 영상에 공통으로 포함된 점을 탐색한다. 그리고 가상 시점 영상 생성 장치(100)는 공통으로 포함된 점에 상응하는 픽셀 간 대응관계를 구하고, 기준 영상의 해당 픽셀과 참조 영상의 해당 픽셀간 거리를 화소 단위로 표현하여 변이를 계산할 수 있다.
예를 들어, 좌측 영상이 기준 영상이고, 우측 영상이 참조 영상이며, 기준 변이 영상에 포함된 어느 한 픽셀의 변이가 10인 것으로 가정한다. 이때, 기준 영상에서의 픽셀 A에 대응되는 참조 영상에서의 픽셀 A'은 픽셀 A의 위치를 기준으로 왼쪽으로 10만큼 이동한 곳에 위치한다.
다음으로 가상 시점 영상 생성 장치(100)는 변이 영상을 가상 시점에 매핑한다(S230).
도 4는 본 발명의 일실시예에 따른 가상 시점을 설명하기 위한 도면이다.
도 4에 도시한 바와 같이, 가상 시점(Vi)은 기준 영상(410)의 시점과 참조 영상(420)의 시점 사이에 위치하며, 가상 시점 영상 생성 장치(100)는 사용자로부터 가상 시점(Vi)을 설정받거나, 기 설정된 값을 이용하여 가상 시점(Vi)을 설정할 수 있다.
기준 영상(410)의 시점을 0이라 하고, 참조 영상(420)의 시점을 1이라 했을 때, 가상 시점(Vi)은 0과 1 사이의 값을 가질 수 있다. 그리고 가상 시점(Vi)은 기준 영상(410)의 시점 및 참조 영상(420)의 시점을 기준으로 한 상대적인 위치를 의미할 수 있다.
가상 시점 영상 생성 장치(100)가 하나의 가상 시점에 상응하는 가상 시점 영상을 생성하고자 하는 경우, 가상 시점 영상 생성 장치(100)는 0.5를 가상 시점(Vi)으로 설정할 수 있다. 또한, 가상 시점 영상 생성 장치(100)가 복수 개의 가상 시점들을 설정하고자 하는 경우, 가상 시점 영상 생성 장치(100)는 기준 영상의 시점, 복수 개의 가상 시점들 및 참조 영상의 시점 간 간격이 균등하도록 복수 개의 가상 시점들을 설정할 수도 있다.
그리고 가상 시점 영상 생성 장치(100)는 기준 변이 영상(DL)(415) 및 참조 변이 영상(DR)(425)를 기준으로 역방향 매핑(Backward Mapping)을 수행한다.
도 5는 도 3의 S230 단계에서 변이 영상을 가상 시점에 매핑하는 과정을 설명하기 위한 도면이다.
도 5에 도시한 바와 같이, 좌측 영상이 기준 영상(IL)(510)을 의미하고, 기준 영상(IL)(510)의 변이 영상을 기준 변이 영상(DL)(515)이라 한다. 이때, 기준 영상(510)을 4x4 크기의 분할 단위(540)로 정형 분할하였다고 가정한다. 그리고 우측 영상이 참조 영상(IR)(520)을 의미하고, 가상 시점(V0.4)은 0.4라고 가정한다.
도 5와 같이, 기준 영상(IL)(510)을 4x4 크기의 분할 단위(540)로 일정하게 분할할 경우, 기준 영상 대비 가로 및 세로가 각각 1/4인 크기의 기준 변이 영상(DL)(515)이 생성된다. 즉, 기준 변이 영상(DL)(515)의 한 화소의 변이 값은, 기준 영상(IL)(510)의 4x4 크기인 블록의 변이에 대응될 수 있다.
기준 변이 영상(DL)(515)의 점 x의 변이값인 DL(x)를 편의상 dL이라 할 때, dL은 기준 영상(IL)(510)의 점 x의 픽셀과 점 x에 대응되는 참조 영상(IR)(520)의 점 x'의 대응 관계를 의미한다. 즉, dL이 10인 경우, 참조 영상(IR)(520)의 점 x'은 기준 영상(IL)(510)의 점 x의 픽셀에서 좌측 방향으로 10만큼 이동한 픽셀과 대응된다.
그리고 기준 영상(IL)(510)의 시점을 0이라 하고, 참조 영상(IR)(520)의 시점을 1이라 할 때, 가상 시점(V0.4)은 기준 영상(IL)(510)으로부터 참조 영상(IR)(520) 방향으로
Figure 112016065780715-pat00001
만큼 이동한 곳에 위치한다.
따라서, 가상 시점 영상 생성 장치(100)는 가상 시점 영상(530)을 생성할 때, 생성하고자 하는 가상 시점 영상의 위치에서 기준 영상(IL)(510)인 우측 방향으로
Figure 112016065780715-pat00002
만큼 떨어진 곳에 위치한 픽셀을 기준 영상(IL)(510)으로부터 가지고 오는 역방향 매핑(후방사상)을 수행한다.
또한, 변이값은 기준 영상(IL)(510) 및 참조 영상(IR)(520)의 동일한 점에 대한 관계를 의미하므로, 동일한 방법으로 가상 시점 영상의 위치에서 참조 영상(IR)(520)인 좌측 방향으로
Figure 112016065780715-pat00003
만큼 떨어진 곳에 위치한 픽셀을 참조 영상(IR)(520)으로부터 가지고 오는 역방향 매핑을 수행한다. .
그리고 가상 시점 영상 생성 장치(100)는 기준 영상(IL)(510), 기준 변이 영상(DL)(515) 및 참조 영상(IR)(520) 중 적어도 두 개 이상의 영상을 이용하여 기준 영상(IL)(510)에 대한 역방향 매핑을 수행할 수 있다.
가상 시점 영상 생성 장치(100)가 기준 영상(IL)(510), 변이 영상 및 참조 영상(IR)(520)을 이용하여, 역방향 매핑을 수행하는 경우, 기준 영상(IL)(510) 및 참조 영상(IR)(520)에 각각 혼합 가중치를 부여하여 매핑을 수행할 수 있다. 이때, 변이 영상(515, 525)는 기준 변이 영상(DL)(515) 이거나, 참조 변이 영상 중 어느 하나를 의미할 수 있다.
여기서, 혼합 가중치는 기준 영상의 시점과 가상 시점간 거리 및 참조 영상의 시점과 가상 시점 간 거리 중 적어도 하나를 이용하여 설정된 것일 수 있다. 즉, 가상 시점 영상 생성 장치(100)는 시점의 거리 차가 더 작은 경우, 더 큰 혼합 가중치를 부여하여 매핑 영상을 생성할 수 있다.
가상 시점 영상 생성 장치(100)는 수학식 1과 같이, 기준 영상(IL)(510)으로부터 가지고 온 픽셀과 참조 영상(IR)(520)으로부터 가지고 온 픽셀에 서로 다른 혼합 가중치를 부여할 수 있다.
Figure 112016065780715-pat00004
여기서,
Figure 112016065780715-pat00005
은 기준 영상(
Figure 112016065780715-pat00006
)으로부터 가지고 온 픽셀 값을 의미하고,
Figure 112016065780715-pat00007
는 참조 영상(
Figure 112016065780715-pat00008
)으로부터 가지고 온 픽셀 값을 의미하며, 0.6은
Figure 112016065780715-pat00009
에 부여되는 제1 혼합 가중치를 의미하고, 0.4는
Figure 112016065780715-pat00010
에 부여되는 제2 혼합 가중치를 의미하며,
Figure 112016065780715-pat00011
는 매핑 가중치를 의미한다.
가상 시점 영상 생성 장치(100)는 수학식 1과 같이, 기준 영상(IL)(510)으로부터 가져온 픽셀 값에 제1 혼합 가중치를 부여하고, 참조 영상(IR)(520)으로부터 가져온 픽셀 값에 제2 혼합 가중치를 부여하여 합한다. 그리고 가상 시점 영상 생성 장치(100)는 합해진 값에 매핑 가중치를 부여하여 해당 가상 시점 영상의 위치에 상응하는 최종 픽셀 값을 결정한다.
여기서, 제1 혼합 가중치 및 제2 혼합 가중치는, 기준 영상(IL)(510)의 시점과 가상 시점(V0.4) 간 차이 및 참조 영상(IR)(520)의 시점과 가상 시점(V0.4) 간 차이를 이용하여 설정된 값일 수 있다. 예를 들어, 기준 영상(IL)(510)의 시점이 0이고, 가상 시점(V0.4)이 0.4이며, 참조 영상(IR)(520)의 시점이 1인 경우, 가상 시점 영상 생성 장치(100)는 제1 혼합 가중치를 0.6으로 설정하고, 제2 혼합 가중치를 0.4로 설정할 수 있다. 이를 통하여 가상 시점 영상 생성 장치(100)는 기준 영상(IL)(510) 및 참조 영상(IR)(520) 중 가상 시점(V0.4)과의 시점 차이가 더 적은 영상에 더 큰 가중치를 부여할 수 있다.
설명의 편의상 제1 혼합 가중치가 0.6이고, 제2 혼합 가중치가 0.4인 것으로 설명하였으나 이에 한정하지 않고, 제1 혼합 가중치 및 제2 혼합 가중치는 기준 영상(IL)(510)의 시점과 가상 시점(V0.4) 간 차이 및 참조 영상(IR)(520)의 시점과 가상 시점(V0.4) 간 차이를 기반으로 다양하게 설정될 수 있다.
도 6은 본 발명의 일실시예에 따른 매핑 가중치를 설명하기 위한 도면이다.
도 6에 도시한 바와 같이, 매핑 가중치(
Figure 112016065780715-pat00012
)는 매핑을 수행하는 변이 영상의 중심점으로부터 해당 픽셀의 거리에 따라 설정된 값을 의미할 수 있다. 이때, 매핑 가중치는 해당 픽셀과 중심점의 거리가 가까울수록 더 큰 값으로 설정될 수 있다.
본 발명의 일실시예에 다른 가상 시점 영상 생성 장치(100)는 변이 영상의 중심점과 거리가 가까운 픽셀에 더 큰 가중치를 부여하여 매핑을 수행함으로써, 더 자연스러운 가상 시점 영상을 생성할 수 있다.
변이 영상의 한 픽셀의 변이값이 기준영상의 4x4 크기의 블록의 변이로 대응되므로, 하나의 변이 값을 참조하여 역방향 매핑을 수행할 경우 기준영상은 최소 4x4 크기를 갖는 블록일 수 있다. 이때, 블록 단위로 매핑을 수행할 경우 블록화 현상이 발생할 수 있다. 따라서, 가상 시점 영상 생성 장치(100)는 분할 단위보다 크기가 크거나 같은 블록 단위로 매핑을 수행하여 블록화 현상을 방지하고, 자연스러운 가상 시점 영상을 생성할 수 있다.
가상 시점 영상 생성 장치(100)는 분할 단위인 4x4 보다 크기가 크거나 같은 블록 단위로 매핑하여, 인접한 블록들이 서로 중첩(overlay) 되도록 매핑할 수 있다. 도 4에 도시한 바와 같이, 블록 단위(550)의 크기를 8x8로 설정할 경우, 가상 시점 영상 생성 장치(100)는 원래 4x4 크기의 분할 단위가 매핑될 때, 8x8 크기의 블록 단위(550)까지 같이 매핑하여 인접한 픽셀까지 한 번에 매핑할 수 있다.
이때, 가상 시점 영상 생성 장치(100)는 도 6에 도시한 바와 같이 정규분포와 같은 확률 분포(probability distribution)를 따르는 매핑 가중치(
Figure 112016065780715-pat00013
)를 각각의 픽셀에 부여하여 매핑을 수행할 수도 있다.
또한, 가상 시점 영상 생성 장치(100)는 가상 시점 영상을 생성한다(S240).
가상 시점 영상 생성 장치(100)는 기준 변이 영상이 가상 시점에 매핑된 제1 매핑 영상과 참조 변이 영상이 가상 시점에 매핑된 제2 매핑 영상을 혼합(blending)하여, 가상 시점에 상응하는 가상 시점 영상을 생성한다.
도 7은 도 3의 S240 단계에서 가상 시점 영상을 생성하는 과정을 설명하기 위한 도면이다.
도 7에 도시한 바와 같이, 가상 시점 영상 생성 장치(100)는 제1 매핑 영상(730)과 제2 매핑 영상(740)을 합성하여 가상 시점 영상(750)을 생성한다. 이때, 제1 매핑 영상(730)은 기준영상(710) 및 기준변이영상(715)을 이용하여 매핑한 결과 생성된 것이고, 제2 매핑 영상(740)은 참조영상(720) 및 참조변이영상(725)을 이용하여 매핑한 결과 생성된 것이다.
또한, 가상 시점 영상 생성 장치(100)는 제1 매핑 영상(730) 및 제2 매핑 영상(740) 각각에 합성 가중치를 부여하여 가상 시점 영상(750)을 생성할 수도 있다.
Figure 112016065780715-pat00014
여기서,
Figure 112016065780715-pat00015
은 제1 매핑 영상을 의미하고,
Figure 112016065780715-pat00016
은 제2 매핑 영상을 의미하며,
Figure 112016065780715-pat00017
는 제1 매핑 영상에 부여되는 제1 합성 가중치를 의미하고,
Figure 112016065780715-pat00018
는 제2 매핑 영상에 부여되는 제2 합성 가중치를 의미하며,
Figure 112016065780715-pat00019
는 가상 시점 영상을 의미한다.
이때, 제1 합성 가중치 및 제2 합성 가중치는, 기준 영상의 시점, 참조 영상의 시점 및 가상 시점 간 거리가 반영되어 설정된 값이거나, 매핑시 계산된 오차값(error)이 반영된 값 일 수 있다.
여기서 오차값은 역방향 매핑을 수행하여 기준 영상 및 참조 영상으로부터 각각 픽셀 값을 가지고 올 때, 기준 영상으로부터 가지고 온 픽셀 값과 참조 영상으로부터 가지고 온 픽셀 값의 차이를 기반으로 설정된 값일 수 있다.
그리고 제1 합성 가중치 및 제2 합성 가중치가 기준 영상의 시점, 참조 영상의 시점 및 가상 시점 간 거리를 기반으로 설정된 경우, 제1 합성 가중치 및 제2 합성 가중치는 각각 제1 혼합 가중치 및 제2 혼합 가중치와 동일한 값을 가질 수도 있다.
마지막으로, 가상 시점 영상 생성 장치(100)는 가상 시점 영상을 보간한다(S250).
가상 시점 영상 생성 장치(100)는 가상 시점 영상 상에 빈 영역(hole)이 남아있는 경우, 가상 시점 영상을 보간한다. 이때, 가상 시점 영상 생성 장치(100)는 공간 축 및 시간 축 중 적어도 하나를 기준으로 인접한 영역의 비슷한 픽셀 값을 기반으로 가상 시점 영상을 보간할 수 있다.
도 8은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.
도 8을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(800)에서 구현될 수 있다. 도 8에 도시된 바와 같이, 컴퓨터 시스템(800)은 버스(820)를 통하여 서로 통신하는 하나 이상의 프로세서(810), 메모리(830), 사용자 입력 장치(840), 사용자 출력 장치(850) 및 스토리지(860)를 포함할 수 있다. 또한, 컴퓨터 시스템(800)은 네트워크(880)에 연결되는 네트워크 인터페이스(870)를 더 포함할 수 있다. 프로세서(810)는 중앙 처리 장치 또는 메모리(830)나 스토리지(860)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(830) 및 스토리지(860)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(831)이나 RAM(832)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 태양에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 가상 시점 영상 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 가상 시점 영상 생성 장치
110: 분할 영상 생성부 120: 변이 계산부
130: 영상 매핑부 140: 가상 시점 영상 생성부
150: 영상 보간부 310: 정형 영상 분할
320: 비정형 영상 분할 410, 510, 710: 기준 영상
415, 515, 715: 기준 변이 영상
420, 520, 720: 참조 영상
425, 725: 참조 변이 영상
430, 530, 750: 가상 시점 영상
540: 분할 단위 550: 블록 단위
730: 제1 매핑 영상 740: 제2 매핑 영상
800: 컴퓨터 시스템
810: 프로세서 820: 버스
830: 메모리 831: 롬
832: 램 840: 사용자 입력 장치
850: 사용자 출력 장치 860: 스토리지
870: 네트워크 인터페이스 880: 네트워크

Claims (20)

  1. 서로 다른 시점에 상응하는 기준 영상 및 참조 영상 각각을 분할 단위로 분할하는 분할 영상 생성부,
    상기 분할 단위로 분할된 상기 기준 영상 및 상기 참조 영상에 상응하는 변이를 계산하여, 기준 변이 영상 및 참조 변이 영상을 생성하는 변이 계산부,
    상기 변이를 이용하여, 상기 기준 변이 영상 및 상기 참조 변이 영상을 가상 시점에 매핑하는 영상 매핑부, 그리고
    상기 기준 변이 영상이 상기 가상 시점에 매핑된 제1 매핑 영상과 상기 참조 변이 영상이 상기 가상 시점에 매핑된 제2 매핑 영상을 혼합하여, 상기 가상 시점에 상응하는 가상 시점 영상을 생성하는 가상 시점 영상 생성부
    를 포함하고,
    상기 영상 매핑부는
    상기 기준 변이 영상 및 상기 참조 변이 영상을 기준으로 역방향 매핑(Backward mapping)을 수행하고,
    상기 분할 단위보다 크기가 크거나 같은 블록 단위로 매핑하는 것을 특징으로 하는 가상 시점 영상 생성 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 영상 매핑부는,
    상기 기준 변이 영상 및 상기 참조 변이 영상의 중심점과 픽셀 간 거리에 따른 매핑 가중치를 부여하여 매핑을 수행하는 것을 특징으로 하는 가상 시점 영상 생성 장치.
  5. 제1항에 있어서,
    상기 영상 매핑부는,
    상기 기준 영상, 상기 기준 변이 영상, 상기 참조 영상 및 상기 참조 변이 영상 중 적어도 두 개 이상의 영상을 이용하여 매핑을 수행하는 것을 특징으로 하는 가상 시점 영상 생성 장치.
  6. 제5항에 있어서,
    상기 영상 매핑부는,
    상기 기준 영상, 상기 기준 변이 영상, 상기 참조 영상 및 상기 참조 변이 영상 중 세 개의 영상을 이용하여 매핑을 수행할 경우, 상기 기준 영상 및 상기 참조 영상 각각에 혼합 가중치를 부여하여 매핑을 수행하는 것을 특징으로 하는 가상 시점 영상 생성 장치.
  7. 제6항에 있어서,
    상기 혼합 가중치는,
    상기 기준 영상의 시점과 상기 가상 시점 간 거리 및 상기 참조 영상의 시점과 상기 가상 시점 간 거리 중 적어도 하나를 이용하여 계산된 것을 특징으로 하는 가상 시점 영상 생성 장치.
  8. 제1항에 있어서,
    상기 가상 시점 영상 생성부는,
    상기 제1 매핑 영상 및 제2 매핑 영상 각각에 합성 가중치를 부여하여, 상기 가상 시점 영상을 생성하는 것을 특징으로 하는 가상 시점 영상 생성 장치.
  9. 제8항에 있어서,
    상기 합성 가중치는,
    상기 기준 영상의 시점과 상기 가상 시점 간 거리 및 상기 참조 영상의 시점과 상기 가상 시점 간 거리 중 적어도 하나를 이용하여 설정된 것을 특징으로 하는 가상 시점 영상 생성 장치.
  10. 제8항에 있어서,
    상기 합성 가중치는,
    동일한 픽셀에 상응하는 곳에 사상되는 상기 기준 영상의 픽셀 값과 상기 참조 영상의 픽셀 값 간 오차 값을 이용하여 설정된 것을 특징으로 하는 가상 시점 영상 생성 장치.
  11. 제1항에 있어서, 상기 가상 시점 영상의 빈 영역을 보간하는 영상 보간부를 더 포함하는 가상 시점 영상 생성 장치.
  12. 제11항에 있어서,
    상기 영상 보간부는,
    상기 빈 영역에 상응하는 공간 축 및 시간 축 중 적어도 어느 하나를 기준으로 인접한 영역의 픽셀 값을 이용하여 상기 빈 영역을 보간하는 것을 특징으로 하는 가상 시점 영상 생성 장치.
  13. 제1항에 있어서,
    상기 가상 시점은,
    상기 기준 영상의 시점과 상기 참조 영상의 시점 사이에 위치하는 것으로, 사용자로부터 설정받은 것이거나, 기 설정된 값인 것을 특징으로 하는 가상 시점 영상 생성 장치.
  14. 제1항에 있어서,
    상기 분할 영상 생성부는,
    정형 영상 분할 및 비정형 영상 분할 중 적어도 하나를 수행하여, 상기 기준 영상 및 상기 참조 영상을 분할하는 것을 특징으로 하는 가상 시점 영상 생성 장치.
  15. 가상 시점 영상 생성 장치에 의해 수행되는 가상 시점 영상 생성 방법에 있어서,
    서로 다른 시점에 상응하는 기준 영상 및 참조 영상 각각을 분할 단위로 분할하는 단계,
    상기 분할 단위로 분할된 상기 기준 영상 및 상기 참조 영상에 상응하는 변이를 계산하여, 기준 변이 영상 및 참조 변이 영상을 생성하는 단계,
    상기 변이를 이용하여, 상기 기준 변이 영상 및 상기 참조 변이 영상을 가상 시점에 매핑하는 단계, 그리고
    상기 기준 변이 영상이 상기 가상 시점에 매핑된 제1 매핑 영상과 상기 참조 변이 영상이 상기 가상 시점에 매핑된 제2 매핑 영상을 혼합하여, 상기 가상 시점에 상응하는 가상 시점 영상을 생성하는 단계
    를 포함하고,
    상기 가상 시점에 매핑하는 단계는,
    상기 기준 변이 영상 및 상기 참조 변이 영상을 기준으로 역방향 매핑(Backward mapping)을 수행하고,
    상기 분할 단위보다 크기가 크거나 같은 블록 단위로 매핑하는 것을 특징으로 하는 가상 시점 영상 생성 방법.
  16. 삭제
  17. 삭제
  18. 제15항에 있어서,
    상기 가상 시점에 매핑하는 단계는,
    상기 기준 변이 영상 및 상기 참조 변이 영상의 중심점과 픽셀 간 거리에 따른 매핑 가중치를 부여하여 매핑을 수행하는 것을 특징으로 하는 가상 시점 영상 생성 방법.
  19. 제15항에 있어서,
    상기 가상 시점에 매핑하는 단계는,
    상기 기준 영상, 상기 기준 변이 영상, 상기 참조 영상 및 상기 참조 변이 영상 중 적어도 두 개 이상의 영상을 이용하여 매핑을 수행하고,
    상기 기준 영상, 상기 기준 변이 영상, 상기 참조 영상 및 상기 참조 변이 영상 중 세 개의 영상을 이용하여 매핑을 수행할 경우, 상기 기준 영상 및 상기 참조 영상 각각에 혼합 가중치를 부여하여 매핑을 수행하는 것을 특징으로 하는 가상 시점 영상 생성 방법.
  20. 제15항에 있어서,
    상기 가상 시점 영상을 생성하는 단계는,
    상기 제1 매핑 영상 및 제2 매핑 영상 각각에 합성 가중치를 부여하여, 상기 가상 시점 영상을 생성하며,
    상기 합성 가중치는,
    상기 기준 영상의 시점과 상기 가상 시점 간 거리 및 상기 참조 영상의 시점과 상기 가상 시점 간 거리 중 적어도 하나를 이용하여 설정된 것이거나, 동일한 픽셀에 상응하는 곳에 사상되는 상기 기준 영상의 픽셀 값과 상기 참조 영상의 픽셀 값 간 오차 값을 이용하여 설정된 것을 특징으로 하는 가상 시점 영상 생성 방법.
KR1020160086054A 2016-07-07 2016-07-07 가상 시점 영상 생성 장치 및 방법 KR102469228B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160086054A KR102469228B1 (ko) 2016-07-07 2016-07-07 가상 시점 영상 생성 장치 및 방법
CN201710252123.8A CN107590857A (zh) 2016-07-07 2017-04-18 用于生成虚拟视点图像的设备和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160086054A KR102469228B1 (ko) 2016-07-07 2016-07-07 가상 시점 영상 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180005859A KR20180005859A (ko) 2018-01-17
KR102469228B1 true KR102469228B1 (ko) 2022-11-23

Family

ID=61025783

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160086054A KR102469228B1 (ko) 2016-07-07 2016-07-07 가상 시점 영상 생성 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102469228B1 (ko)
CN (1) CN107590857A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11575935B2 (en) 2019-06-14 2023-02-07 Electronics And Telecommunications Research Institute Video encoding method and video decoding method
CN116320358B (zh) * 2023-05-19 2023-12-01 成都工业学院 一种视差图像预测装置及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
CN101556700B (zh) * 2009-05-15 2012-02-15 宁波大学 一种虚拟视点图像绘制方法
CN101702241A (zh) * 2009-09-07 2010-05-05 无锡景象数字技术有限公司 基于视差图的多视点图像渲染方法
KR20130001541A (ko) * 2011-06-27 2013-01-04 삼성전자주식회사 다시점 영상의 해상도 복원 방법 및 장치
CN102254348B (zh) * 2011-07-25 2013-09-18 北京航空航天大学 一种基于自适应视差估计的虚拟视点绘制方法
JP2014014034A (ja) * 2012-07-05 2014-01-23 Toshiba Corp 視差画像生成装置及び視差画像生成方法
KR20140022300A (ko) 2012-08-14 2014-02-24 광주과학기술원 다시점 영상 생성 방법 및 장치
CN102892021B (zh) * 2012-10-15 2014-11-19 浙江大学 一种合成虚拟视点图像的新方法

Also Published As

Publication number Publication date
CN107590857A (zh) 2018-01-16
KR20180005859A (ko) 2018-01-17

Similar Documents

Publication Publication Date Title
KR100731979B1 (ko) 다시점 정방향 카메라 구조 기반의 메쉬를 이용한 중간영상 합성 방법 및 장치와 이를 구현하는 기능을실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는기록 매체
US7321374B2 (en) Method and device for the generation of 3-D images
KR101415147B1 (ko) 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
KR101669840B1 (ko) 다시점 비디오로부터 일관성 있는 변이를 추정하는 변이 추정 시스템 및 방법
US8363985B2 (en) Image generation method and apparatus, program therefor, and storage medium which stores the program
US10708619B2 (en) Method and device for generating predicted pictures
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
KR101580284B1 (ko) 중간 시점 영상 생성 장치 및 방법
KR102454167B1 (ko) 가상 시점 영상 생성 방법 및 장치
KR102407137B1 (ko) 영상 처리 방법 및 장치
CN103220542A (zh) 用于产生视差值的图像处理方法和设备
CN102609974A (zh) 一种基于深度图分割渲染的虚拟视点图像的生成方法
US20200162714A1 (en) Method and apparatus for generating virtual viewpoint image
JP2012170067A (ja) トレリス構造を用いてシーンの仮想画像を生成する方法とシステム
JP6128748B2 (ja) 画像処理装置及び方法
KR102469228B1 (ko) 가상 시점 영상 생성 장치 및 방법
KR20200057612A (ko) 가상시점 영상을 생성하는 방법 및 장치
KR20170040571A (ko) 깊이 정보 생성 장치 및 방법
JP5906165B2 (ja) 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム
KR101868017B1 (ko) 스테레오 매칭 방법 및 그 장치
US20140009493A1 (en) Parallax image generating device and parallax image generating method
US20120206442A1 (en) Method for Generating Virtual Images of Scenes Using Trellis Structures
US20160286198A1 (en) Apparatus and method of converting image
US20130021332A1 (en) Image processing method, image processing device and display device

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160707

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210521

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160707

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20220426

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20221027

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20221116

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20221117

End annual number: 3

Start annual number: 1

PG1601 Publication of registration