KR101066542B1 - 가상시점 영상 생성방법 및 그 장치 - Google Patents

가상시점 영상 생성방법 및 그 장치 Download PDF

Info

Publication number
KR101066542B1
KR101066542B1 KR1020080116833A KR20080116833A KR101066542B1 KR 101066542 B1 KR101066542 B1 KR 101066542B1 KR 1020080116833 A KR1020080116833 A KR 1020080116833A KR 20080116833 A KR20080116833 A KR 20080116833A KR 101066542 B1 KR101066542 B1 KR 101066542B1
Authority
KR
South Korea
Prior art keywords
pixel value
virtual viewpoint
edge
unprocessed
virtual
Prior art date
Application number
KR1020080116833A
Other languages
English (en)
Other versions
KR20100019926A (ko
Inventor
장은영
엄기문
김태원
방건
허남호
김진웅
이수인
박세환
유지상
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20100019926A publication Critical patent/KR20100019926A/ko
Application granted granted Critical
Publication of KR101066542B1 publication Critical patent/KR101066542B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 고화질의 가상시점 영상을 생성하는 가상시점 영상 생성방법 및 그 장치에 관한 것으로서 본 발명에 따른 가상시점 영상 생성방법은 복수의 기준 시점 카메라의 영상을 합성하여 가상 시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성단계; 상기 가상시점 영상의 에지정보를 추출하는 에지정보 추출단계; 및 상기 에지정보에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 미처리 영역 보상단계를 포함한다.
기준시점, 가상시점, 폐색영역, 미처리영역, 에지

Description

가상시점 영상 생성방법 및 그 장치{METHOD FOR GENERATING VITUAL VIEW IMAGE AND APPARATUS THEREOF}
본 발명은 가상시점 영상 생성방법 및 그 장치에 관한 것으로, 보다 상세하게는 에지 정보를 이용하는 가상시점 영상 생성방법 및 그 장치에 관한 것이다. 본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리 번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술 개발(표준화연계)-무안경 개인형 3D방송기술 개발].
최근 인터랙티브 응용 및 다시점 3D 디스플레이 산업이 활성화됨에 따라 기준 시점 카메라의 기준시점 영상(스테레오 영상 또는 다시점 영상)과 상기 기준 시점 카메라의 깊이/변이 영상을 이용하여 실제 카메라로부터 획득되지 않은 시점에 대한 가상영상을 생성하기 위한 가상시점 영상 생성에 관한 기술이 활발히 연구되고 있다.
도 1은 가상시점 영상을 설명하기 위한 도면이다.
기준시점 카메라(101, 107, 111)는 실제 영상을 획득한다. 그리고 가상시점 카메라(103, 105, 109, 113, 115, 117)는 실제로 촬영하여 영상을 획득하지 않는 가상시점의 카메라이다. 가상시점 영상이란 가상시점 카메라(103, 105, 109, 113, 115, 117)의 시점으로 바라본 영상이다. 가상시점 영상은 기준시점 카메라(101, 107, 111)로부터 획득한 실제영상, 즉 기준시점 영상과 깊이/변이정보 영상을 3차원 워핑(warping) 기법 또는 영상 보간 기법을 이용하여 합성함으로써 생성된다. 여기서 깊이(depth)란 촬영된 객체가 카메라로부터 떨어진 정도를 나타내며 변이(disparity)란 기준시점 카메라 각각에서 촬영된 객체의 위치차이를 나타낸다.
광축선상의 가상시점 카메라(103, 105, 109)의 시점은 기준 시점 카메라(101, 107, 111)로부터 선형적으로 보간되어 광축선상에 위치하며 광축선상 외의 가상시점 카메라(113, 115, 117)의 시점은 광축선 상의 가상시점 카메라(103, 105, 109)에 회전 또는 병진운동을 적용하여 광축선 상 외의 지점에 위치한다. 기준시점 카메라(101, 107, 111)의 기준시점 영상이 합성되어 가상시점 카메라(103, 105, 109, 113, 115, 117) 중 어느 하나의 시점, 즉 다양한 가상시점의 영상이 생성될 수 있다.
도 2는 가상시점 영상(201) 및 가상시점 영상(201)의 미처리 영역을 보상한 영상(203, 205, 207)을 도시한 도면으로서, 가상시점 영상(201)은 두 기준시점 카메라(107, 111)의 영상을 3차원 워핑기법으로 합성한 광축선상 외의 가상시점 카메 라(115)에 대한 가상시점 영상이다. 주관적 화질 평가를 위해 MPEG-4(Moving Picture Expert Group) Video 분야에서 제공하는 테스트 영상 중 브레이크 댄서(Breaker Dancer) 영상을 이용하였다. 그리고 이하 도시되는 영상은 모두 MPEG-4 Video 분야에서 제공하는 브레이크 댄서 영상이다.
도 2에 도시된 바와 같이, 가상시점 영상(201)에는 하얗게 도시된 미처리 영역이 존재한다. 미처리 영역은 깊이/변이정보의 정수화 문제, 폐색영역 등으로 발생한다. 폐색영역은 가상시점 카메라(115)와 기준시점 카메라(107, 111)의 시점차이로 가상시점 카메라의 시점(115)에서는 보이나 기준시점 카메라(107, 111)의 시점에서는 보이지 않는 영역이다.
미처리 영역은 가상시점 영상의 화질을 저하시키므로 미처리 영역은 소정의 화소값으로 보상될 필요가 있다. 종래에는 미처리 영역을 보상하기 위해 미처리 영역 주변의 유효한 화소값을 이용하는 방법이 활용되었으며, 합성된 가상시점 영상(201)의 미처리 영역을 보상한 영상인 제1 내지 제3영상(203, 205, 207)은 종래기술을 이용하여 미처리 영역을 보상한 최종 가상시점 영상이다. 유효한 화소값은 미처리 영역이 아닌 처리된 영역의 화소값이다. 제1영상(203)은 미처리 영역에 대해 수직적으로 존재하는 주변 유효 화소값들의 보간을 통하여 미처리 영역을 보상한 영상이다. 제2영상(205)은 미처리 영역에 대해 거울을 보듯이 주변의 유효 화소값들을 수직적으로 반사시켜 미처리 영역을 보상한 영상이다. 제3영상(207)은 미처리 영역에 대한 깊이 정보의 수직적인 탐색을 통해 얻은 깊이 정보와 유사한 깊이 정보를 갖는 유효 화소값들의 보간을 통하여 미처리 영역을 보상한 영상이다.
한편, 가상시점 카메라(115)의 시점이 기준시점 카메라(107, 111)의 시점보다 높은 곳에 존재하므로 폐색 영역은 수직적으로 발생하는 특성이 있다. 따라서 제1 내지 제3영상(203, 205, 207)은 모두 미처리 영역에 대해 수직적으로 존재하는 주변의 화소값을 이용하여 미처리 영역을 보상하였다. 수직적으로 존재하는 주변의 화소값이란 미처리 영역의 상하에 존재하는 화소값을 의미한다.
이처럼, 제1 내지 제3영상(203, 205, 207)에서 깊이/변이정보의 정수화 문제로 인한 미처리 영역은 미처리 영역 주변의 유효 화소값의 보간을 통하여 의도한 소정의 화소값으로 보상된다. 그러나 제1 내지 제3영상(203, 205, 207)에서 빨간색 원으로 표시된 부분은 폐색영역에 의한 미처리 영역으로서 의도하지 않은 결과의 화소값으로 보상되어 화소값의 경계가 불분명하고 최종 가상시점 영상의 화질이 저하되었음을 알 수 있다. 즉, 종래기술에 따른 미처리 영역의 보상 결과 부정확한 화소값으로 보상되는 부분이 발생하여 가상시점 영상 전체의 화질이 저하되는 문제가 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로서, 가상시점 영상의 미처리 영역을 보다 정확하게 보상하여 보다 고화질의 가상시점 영상을 생성하는 가상시점 영상 생성방법 및 그 장치를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명은 복수의 기준 시점 카메라의 영상을 합성하여 가상 시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성단계; 상기 가상시점 영상의 에지정보를 추출하는 에지정보 추출단계; 및 상기 에지정보에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 미처리 영역 보상단계를 포함하는 가상시점 영상 생성방법을 제공한다.
또한 상기 목적을 달성하기 위한 본 발명은 복수의 기준 시점 카메라의 영상을 합성하여 가상 시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상합성부; 상기 가상시점 영상의 에지정보를 추출하는 에지정보 추출부; 및 상기 에지정보에 기초하여 상기 가상시점 영상의 미처리 영역을 보상하는 미처리 영역 보상부를 포함하는 가상시점 영상 생성장치를 제공한다.
본 발명에 따르면, 가상시점 영상의 에지정보를 이용하여 가상시점 영상의 미처리 영역 내의 에지를 예측하고 예측된 에지에 기초하여 미처리 영역을 보상함으로써 보다 정확하게 미처리 영역을 보상할 수 있다. 따라서 보다 고화질의 가상시점 영상을 생성할 수 있는 효과가 있다.
이하 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다.
도 3은 본 발명의 일실시예에 따른 가상시점 영상 생성방법을 나타내는 흐름도이다.
도 3을 참조하면, 본 발명에 따른 가상시점 영상 생성방법은 가상시점 영상 합성단계(301), 에지정보 추출단계(303) 및 미처리 영역 보상단계(305)를 포함한다. 이하 도 2의 기준시점 카메라(107, 111) 및 가상시점 카메라(115)의 위치에 대한 가상시점 영상을 생성하는 경우를 일실시예로서 설명한다.
가상시점 영상 합성단계(301)에서, 복수의 기준시점 카메라(107, 111)에 대한 기준시점 영상이 합성되어 가상시점 카메라(115)에 대한 가상시점 영상이 생성된다. 가상시점 카메라(115)에 대한 가상시점 영상은 복수의 기준시점 카메라(107, 111)로부터 획득할 수 있는 기준시점 영상과 깊이/변이정보 영상을 3차원 워핑 기법 또는 영상 보간 기법을 이용해 합성함으로써 생성될 수 있다. 가상시점 카메라(115)의 시점이 기준시점 카메라(107, 111)의 시점보다 높으므로 가상시점 영상 합성단계(301)에서 생성된 가상시점 영상에는 기준시점 카메라(107, 111)에 의해 촬영되지 못한 폐색영역에 의한 미처리 영역이 존재한다. 또한 상기 가상시점 영상에는 깊이/변이정보의 정수화 과정에서 발생하는 오류 등으로 인한 미처리 영역이 존재한다. 가상시점 영상 합성단계(301)에서 생성되는 가상시점 영상의 미처리 영역은 후술되는 미처리 영역 보상단계(305)에서 보상된다.
에지정보 추출단계(303)에서, 에지연산자가 이용되어 가상시점 영상 합성단계(301)에서 생성되는 가상시점 영상의 에지(edge)정보가 추출된다. 에지정보 추출단계(303)에 이용될 수 있는 에지연산자는 소벨(Sobel) 연산자, 캐니(Canny) 연산자 등 에지정보를 추출하는 에지연산자 모두이다.
한편, 가상시점 영상 합성단계(301)에서 생성된 가상시점 영상의 에지정보가 추출된 에지 맵이 도 4에 도시되어 있다. 도 4는 가상시점 영상 합성단계(301)에서 생성된 가상시점 영상(401)과, 소벨 연산자를 이용하여 추출한 가상시점 영상(401)의 에지정보가 표시된 에지 맵(403)을 도시한 도면이다. 도 4를 참조하면, 가상시점 영상(401)과 에지 맵(403)에서 빨간색 원으로 표시된 부분은 도 2에서 종래기술에 의해 완벽하게 보상되지 못한 미처리 영역에 대응된다. 에지 맵(403)을 통해 알 수 있듯이 빨간색 원으로 표시된 부분의 미처리 영역에는 미처리 영역이 아닌 처리 영역의 에지가 연속되어 존재하여야 하나 존재하지 않는다.
미처리영역 보상단계(305)에서, 가상시점 영상 합성단계(301)에서 생성되는 가상시점 영상의 미처리 영역이 보상되는데 에지정보 추출단계(303)에서 추출된 에지정보가 이용된다. 도 4에서 살펴본 바와 같이 폐색영역에 의한 미처리 영역에는 존재해야할 에지가 존재하지 않아 종래기술에 의해 빨간색 원으로 표시된 부분의 미처리 영역을 보상하는 경우, 오류가 발생하는 문제가 있었다. 본 발명에 따른 미처리 영역 보상단계(305)에서는, 에지정보 추출단계(303)에서 추출된 에지정보로 미처리 영역의 에지가 예측된 후 미처리 영역이 보상된다. 따라서 본 발명에 따른 가상시점 영상 생성방법에 의할 경우 종래 기술의 문제점이 해결되어 보다 정확하 게 미처리 영역이 보상될 수 있고 보다 화질이 좋은 최종 가상시점 영상이 생성될 수 있다. 미처리영역 보상단계(305)에 대한 보다 상세한 설명은 도 5에서 후술된다.
도 5는 도 3의 미처리 영역 보상단계(305)를 나타내는 상세 흐름도이다.
도 5를 참조하면 미처리 영역 보상단계(305)는 에지 예측단계(501) 및 화소값 보상단계(503)를 포함한다.
에지 예측단계(501)에서, 먼저 가상시점 영상 합성단계(301)에서 생성되는 가상시점 영상의 미처리 영역이 탐색된다. 그리고 처리 영역에서 연속되는 에지가 미처리 영역에서 연속되지 않는 경우 에지정보 추출단계(303)에서 추출되는 에지정보의 방향성이 고려되어 미처리 영역 내의 에지가 예측된다.
도 6을 참조하여 에지 예측단계(501)를 자세히 설명하기로 한다. 도 6은 에지 예측단계(501)를 설명하기 위한 도면으로서, 에지 예측단계(501) 진행 전, 후에 있어서 에지 및 미처리 영역과의 관계를 나타낸다. 도 6에서 처리 영역은 흰색 화소, 미처리 영역은 검은색 화소 그리고 에지는 파란색 화소로 도시되었다.
에지 예측단계(501) 진행 전 오른쪽 아래로 향하는 처리 영역의 에지는 미처리 영역까지 연속되지 못하고 단절되어 있다. 에지 예측단계(501)에서, 에지정보 추출단계(303)에서 추출되는 에지정보의 방향성이 고려되어 미처리 영역 내의 에지는 처리 영역의 에지에 연속되어 오른쪽 아래로 향하도록 예측된다. 예를 들어 에지 예측단계(501) 진행 후, 도 4의 에지 맵(403)의 빨간색 원으로 표시된 미처리 영역에서 에지가 연장된다.
한편, 에지 예측단계(501)에서 미처리 영역 내의 에지는 도 6의 빨간색 블럭같이 소정의 크기의 블럭단위로 예측될 수 있으며 또는 수평 또는 수직 방향의 스캔라인 단위로 예측될 수 있다. 그리고 이하 후술되는 화소값 보상단계(503)에서도 블럭단위 또는 스캔라인 단위로 미처리 영역의 화소값이 보상될 수 있다.
화소값 보상단계(503)에서, 가상시점 영상 합성단계(301)에서 생성되는 가상시점 영상의 미처리 영역의 화소값이 보상되며 이 때 에지 예측단계(501)에서 예측된 미처리 영역의 에지가 이용된다. 화소값 보상단계(503)는 제1화소값 설정단계(505), 탐색단계(507) 및 제2화소값 설정단계(509)를 포함한다.
제1화소값 설정단계(505)에서, 에지 예측단계(501)에서 예측된 에지의 화소 값이 설정된다. 에지의 화소 값이 설정된다는 것은 미처리 영역 내에 에지가 표현되도록 화소값이 설정된다는 것이다. 미처리 영역 중 예측된 에지가 없는 미처리 영역에는 제1화소값 설정단계(505)에서 화소값이 설정되지 않는다.
제1화소값 설정단계(505)를 설명하기 위한 도 7을 참조하여 제1화소값 설정단계(505)에 대해 자세히 설명하기로 한다. 부분영상(701)은 가상시점 영상 합성단계(301)에서 생성된 가상시점 영상의 일부분을 화소단위로 표현한 영상으로서 도6의 에지 예측단계(501) 진행 전의 에지정보를 나타내는 도면과 대응한다. 제1화소값 설정단계(505)에서, 에지 예측단계(501) 진행 후 예측된 에지정보(703)가 이용되어 부분영상(701)에서 갈색으로 도시된 부분과 회색으로 도시된 부분의 경계, 즉 에지가 미처리 영역(검은색으로 도시)까지 확장된다.
탐색단계(507)에서, 미처리 영역 주변의 유효한 화소값이 탐색됨으로써 미처리 영역의 경계가 탐색된다. 제1화소값 설정단계(505)에서, 화소값이 설정된 미처리 영역 내의 에지 역시 탐색단계(507)에서 탐색될 경계의 대상이 된다. 즉, 도 7의 부분영상(701)에서 한 부분으로 도시된 미처리 영역은 제1화소값 설정단계(505) 진행 후 두 부분으로 나뉘어지며 탐색단계(507)에서 각각 나누어진 미처리 영역의 경계가 탐색된다.
이 때 미처리 영역의 경계를 탐색하는 방향은 수직 또는 수평 또는 그 이외의 방향이 될 수 있으나 폐색영역이 발생하는 방향 특성을 기준으로 함이 바람직하다. 일실시예로서 가상시점 카메라(115)의 시점이 기준시점 카메라(107, 111)의 시점보다 높아 폐색영역이 수직적으로 발생하므로 미처리 영역의 탐색방향은 수직방향이 바람직하다.
제2화소값 설정단계(509)에서, 탐색단계(507)에서 탐색된 미처리 영역 경계의 유효한 화소값이 이용되어 미처리 영역 내부의 화소값이 설정된다. 제1화소값 설정단계(505)에서 예측된 에지의 화소값만이 보상되고 제2화소값 설정단계(509)에서 최종적으로 모든 미처리 영역의 화소값이 보상된다.
미처리 영역 경계의 유효한 화소값을 보간하거나, 미처리 영역에 대해 거울을 보듯이 유효한 화소값을 반사시키거나, 미처리 영역에 대한 깊이 정보의 탐색을 통해 유사한 깊이 정보를 갖는 화소값을 보간하여 미처리 영역 내부의 화소값을 설정할 수 있다. 상기된 바와 같이 폐색영역이 수직적으로 발생하는 경우 미처리 영역에 대해 수직적으로 존재하는 주변의 화소값을 이용하여 미처리 영역의 화소값이 설정되는 것이 바람직하다.
미처리영역 경계의 유효한 화소값을 보간하여 미처리 영역내의 화소값을 보상하는 경우, 미처리 영역 내부의 화소값은 탐색된 경계의 유효한 화소값을 평균값, 최대값, 최소값 또는 거리개념을 적용한 가중 평균값 등으로 보간한 값일 수 있다.
도 8은 본 발명에 따른 가상시점 영상 합성방법을 적용해 생성한 가상시점 영상을 도시한 도면이다.
도 2에 도시된 제1 내지 제3영상(203, 205, 207)과 비교해서 폐색영역에 의한 미처리 영역인 빨간색 원으로 표시된 부분이 의도된 화소값으로 보상되어 화소값의 경계가 분명해지고 화질이 개선되었음을 알 수 있다. 결국, 본 발명에 따른 가상시점 영상 합성방법은 종래 기술과 비교하여 개선된 화질의 가상시점 영상을 제공할 수 있다.
도 9는 본 발명의 일실시예에 따른 가상시점 영상 생성장치의 구성도이다.
도 9를 참조하면, 본 발명에 따른 가상시점 영상 생성장치는 가상시점 영상부(901), 에지정보 추출부(903) 및 미처리영역 보상부(905)를 포함한다.
가상시점 영상부(901)는 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 미처리 영역이 포함된 가상시점 카메라에 대한 가상시점 영상을 생성한다. 이때 3차원 워핑 기법 또는 영상 보간 기법이 적용될 수 있다. 에지정보 추출 부(903)는 가상시점 영상부(901)에서 생성된 가상시점 영상의 에지정보를 추출한다. 에지정보 추출부(903)는 일실시예로서 소벨 연산자에 의해 에지정보를 추출할 수 있다. 가상시점 영상의 미처리 영역내에는 에지정보가 존재하지 않는다. 미처리영역 보상부(905)는 에지정보 추출부(903)에서 추출된 에지정보에 기초하여 가상시점 영상부(901)에서 생성된 가상시점 영상의 미처리 영역 내의 에지를 예측하고 미처리 영역의 화소값을 보상한다.
도 10은 도 9의 미처리영역 보상부(905)의 상세 구성도이다.
도 10을 참조하면, 미처리영역 보상부(905)는 에지 예측수단(1001) 및 화소값 보상수단(1003)을 포함한다. 에지 예측수단(1001)은 에지정보 추출부(903)에서 추출된 에지정보의 방향성을 이용하여 미처리 영역 내의 에지를 예측한다. 화소값 보상수단(1003)은 에지 예측수단(1001)에 의해 예측된 에지에 기초하여 미처리 영역의 화소값을 보상한다.
화소값 보상수단(1003)은 제1화소값 설정수단(1005), 탐색수단(1007) 및 제2화소값 설정수단(1009)을 포함한다. 제1화소값 설정수단(1005)은 에지 예측수단(1001)에서 예측된 미처리 영역의 에지의 화소값을 설정한다. 에지의 화소 값이 설정된다는 것은 미처리 영역 내에 에지가 표현되도록 화소값이 설정된다는 것이다. 탐색수단(1007)은 미처리 영역의 경계를 탐색한다. 이 때 미처리 영역의 경계를 탐색하는 방향은 수직 또는 수평 또는 그 이외의 방향이 될 수 있으나 폐색영역이 발생하는 방향 특성을 기준으로 함이 바람직하다. 제2화소값 설정수단(1009)은 탐색수단(1007)에 의해 탐색된 미처리 영역의 경계 주변의 유효한 화소값을 이용하여 미처리 영역의 화소값을 설정한다. 제2화소값 설정수단(1009)은 미처리 영역의 경계 주변의 유효한 화소값을 보간하여 미처리 영역내의 화소값을 보상할 수 있으며 이 경우 폐색영역이 발생하는 방향 특성에 대응되는 방향의 화소값을 이용하는 것이 바람직하다. 미처리영역 보상부(905)가 포함하는 각각의 수단은 소정 크기의 블럭단위 또는 수평, 수직 방향의 스캔라인 단위로 동작을 수행할 수 있다.
한편, 전술한 바와 같은 본 발명에 따른 가상시점 영상 생성방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
도 1은 가상시점 영상을 설명하기 위한 도면,
도 2는 합성된 가상시점 영상 및 합성된 가상시점 영상의 미처리 영역을 보상한 영상을 도시한 도면,
도 3은 본 발명의 일실시예에 따른 가상시점 영상 생성방법을 나타내는 흐름도,
도 4는 가상시점 영상 합성단계에서 생성된 가상시점 영상과, 소벨 연산자를 이용하여 추출한 가상시점 영상의 에지정보가 표시된 에지 맵을 도시한 도면,
도 5는 도 3의 미처리 영역 보상단계를 나타내는 상세 흐름도,
도 6은 에지 예측단계(401)를 설명하기 위한 도면,
도 7은 제1화소값 설정단계(405)를 설명하기 위한 도면,
도 8은 본 발명에 따른 가상시점 영상 생성방법을 적용해 생성한 가상시점 영상을 도시한 도면,
도 9는 본 발명의 일실시예에 따른 가상시점 영상 생성장치의 구성도,
도 10은 도 9의 미처리영역 보상부의 상세 구성도이다.

Claims (10)

  1. 복수의 기준 시점 카메라에 대한 기준시점 영상을 합성하여 가상 시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성단계;
    상기 생성된 가상시점 영상의 에지정보를 추출하는 에지정보 추출단계; 및
    상기 추출된 에지정보에 기초하여 상기 생성된 가상시점 영상의 미처리 영역에 대한 보상을 수행하는 미처리 영역 보상단계
    를 포함하는 가상시점 영상 생성방법.
  2. 제 1 항에 있어서,
    상기 미처리 영역 보상 단계는,
    상기 추출된 에지정보의 방향성을 이용하여 상기 생성된 가상시점 영상의 미처리 영역 내의 에지를 예측하는 에지 예측단계; 및
    상기 예측된 에지에 기초하여 상기 미처리 영역의 화소 값을 설정하는 화소 값 보상단계
    를 포함하는 가상시점 영상 생성방법.
  3. 제 2 항에 있어서,
    상기 화소 값 보상 단계는,
    상기 예측된 에지의 화소 값을 설정하는 제1 화소값 설정 단계;
    상기 미처리 영역의 경계를 탐색하는 탐색 단계; 및
    상기 탐색된 경계의 유효한 화소 값을 이용하여 상기 미처리 영역의 화소 값을 설정하는 제2 화소값 설정 단계
    를 포함하는 가상시점 영상 생성방법.
  4. 제 3항에 있어서,
    상기 미처리 영역의 경계를 탐색하는 방향은
    상기 미처리 영역이 발생하는 방향인
    가상시점 영상 생성방법.
  5. 제 2항에 있어서,
    상기 각 단계는
    블록 단위 또는 스캔 라인 단위로 수행되는
    가상시점 영상 생성방법.
  6. 복수의 기준 시점 카메라의 영상을 합성하여 가상 시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상합성부;
    상기 생성된 가상시점 영상의 에지 정보를 추출하는 에지정보 추출부; 및
    상기 추출된 에지 정보에 기초하여 상기 생성된 가상시점 영상의 미처리 영역에 대한 보상을 수행하는 미처리 영역 보상부
    를 포함하는 가상시점 영상 생성장치.
  7. 제 6 항에 있어서,
    상기 미처리 영역보상부는,
    상기 추출된 에지 정보의 방향성을 이용하여 상기 미처리 영역의 에지를 예측하는 에지 예측수단; 및
    상기 예측된 에지에 기초하여 상기 미처리 영역의 화소 값을 설정하는 화소값 보상수단
    을 포함하는 가상시점 영상 생성장치.
  8. 제 7항에 있어서,
    상기 화소값 보상수단은
    상기 예측된 에지의 화소 값을 설정하는 제1화소값 설정수단;
    상기 미처리 영역의 경계를 탐색하는 탐색수단; 및
    상기 탐색된 경계의 유효한 화소 값을 이용하여 상기 미처리 영역의 화소 값을 설정하는 제2화소값 설정수단
    을 포함하는 가상시점 영상 생성장치.
  9. 제 8항에 있어서,
    상기 미처리 영역의 경계를 탐색하는 방향은
    상기 미처리 영역이 발생하는 방향인
    가상시점 영상 생성장치.
  10. 제 7항에 있어서,
    상기 에지 예측수단 및 화소값 보상수단은
    블록 단위 또는 스캔 라인 단위로 동작을 수행하는
    가상시점 영상 생성장치.
KR1020080116833A 2008-08-11 2008-11-24 가상시점 영상 생성방법 및 그 장치 KR101066542B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080078464 2008-08-11
KR20080078464 2008-08-11

Publications (2)

Publication Number Publication Date
KR20100019926A KR20100019926A (ko) 2010-02-19
KR101066542B1 true KR101066542B1 (ko) 2011-09-21

Family

ID=42090123

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080116833A KR101066542B1 (ko) 2008-08-11 2008-11-24 가상시점 영상 생성방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101066542B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115816A (ko) * 2022-01-27 2023-08-03 계명대학교 산학협력단 360 캠을 이용한 스테레오 영상 생성 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101669820B1 (ko) 2010-07-02 2016-10-27 삼성전자주식회사 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
KR101729924B1 (ko) 2010-08-03 2017-04-26 삼성전자주식회사 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법
US11048333B2 (en) 2011-06-23 2021-06-29 Intel Corporation System and method for close-range movement tracking
US20140104394A1 (en) * 2012-10-15 2014-04-17 Intel Corporation System and method for combining data from multiple depth cameras
KR102267739B1 (ko) * 2020-02-24 2021-06-22 주식회사 딥덴탈스 치아 진단 방법 및 이를 수행하기 위한 컴퓨팅 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KwangHee Jung et al., "Depth Image Based Rendering for 3D Data Service over T-DMB". 3DTV-CONFERENCE The True Vision Capture, Transmission and Display of 3D Video, May. 28~30, 2008.

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230115816A (ko) * 2022-01-27 2023-08-03 계명대학교 산학협력단 360 캠을 이용한 스테레오 영상 생성 장치 및 방법
KR102589623B1 (ko) 2022-01-27 2023-10-16 계명대학교 산학협력단 360 캠을 이용한 스테레오 영상 생성 장치 및 방법

Also Published As

Publication number Publication date
KR20100019926A (ko) 2010-02-19

Similar Documents

Publication Publication Date Title
KR101066550B1 (ko) 가상시점 영상 생성방법 및 그 장치
Zhu et al. Depth image based view synthesis: New insights and perspectives on hole generation and filling
US10070115B2 (en) Methods for full parallax compressed light field synthesis utilizing depth information
US9171372B2 (en) Depth estimation based on global motion
JP5317955B2 (ja) 複数の視野の効率的な符号化
US9123115B2 (en) Depth estimation based on global motion and optical flow
KR102013978B1 (ko) 이미지들의 융합을 위한 방법 및 장치
US8508580B2 (en) Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US7260274B2 (en) Techniques and systems for developing high-resolution imagery
US8854425B2 (en) Method and apparatus for depth-related information propagation
KR101066542B1 (ko) 가상시점 영상 생성방법 및 그 장치
US20090129667A1 (en) Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same
JP4939639B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
CN105191287A (zh) 替换视频流中的对象的方法及计算机程序
JPH08331607A (ja) 三次元表示画像生成方法
KR20110134142A (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
US20140293003A1 (en) Method for processing a stereoscopic image comprising an embedded object and corresponding device
CN104349155A (zh) 模拟立体图像显示方法及显示设备
CN102985949A (zh) 使用背景像素扩大和背景优先块匹配的多视图绘制设备和方法
WO2019244944A1 (ja) 三次元再構成方法および三次元再構成装置
JP2004229093A (ja) 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体
KR100945307B1 (ko) 스테레오스코픽 동영상에서 이미지를 합성하는 방법 및장치
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 7