KR20100040593A - 영상처리 장치 및 방법 - Google Patents

영상처리 장치 및 방법 Download PDF

Info

Publication number
KR20100040593A
KR20100040593A KR1020080099799A KR20080099799A KR20100040593A KR 20100040593 A KR20100040593 A KR 20100040593A KR 1020080099799 A KR1020080099799 A KR 1020080099799A KR 20080099799 A KR20080099799 A KR 20080099799A KR 20100040593 A KR20100040593 A KR 20100040593A
Authority
KR
South Korea
Prior art keywords
frame
region
color information
disinclusion
block
Prior art date
Application number
KR1020080099799A
Other languages
English (en)
Other versions
KR101502362B1 (ko
Inventor
정영주
곽영신
한영란
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080099799A priority Critical patent/KR101502362B1/ko
Priority to US12/382,747 priority patent/US8823771B2/en
Priority to CN200910177614.6A priority patent/CN101729791B/zh
Priority to EP09171221.6A priority patent/EP2175663B1/en
Publication of KR20100040593A publication Critical patent/KR20100040593A/ko
Priority to US14/472,837 priority patent/US20140368612A1/en
Application granted granted Critical
Publication of KR101502362B1 publication Critical patent/KR101502362B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/40—Hidden part removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/80—Shading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

영상 처리 장치가 제공된다. 계산부는 영상(video)의 제1 프레임의 디스어클루젼 영역을 결정한다. 그리고, 처리부는 상기 영상의 제2 프레임과 연관된 칼라 정보를 이용하여 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성한다.
멀티뷰, 3D 디스플레이, 스테레오 영상, 입체영상, multi view display, 3D rendering

Description

영상처리 장치 및 방법{Apparatus and Method for Image Processing}
본 발명에 따른 실시예들은 버츄얼 3D 디스플레이, 보다 특정하게는 멀티-뷰(multi-view) 디스플레이에서 시점에 따라 디스어클루젼(disocclusion) 부분의 칼라 정보를 복원하는 장치 및 방법에 관한 것이다.
버츄얼 3D 디스플레이는 인간의 양안에 서로 다른 이미지(서로 시점을 달리하는 이미지)를 제공하여, 인간으로 하여금 입체감을 느끼게 한다. 상기 버츄얼 3D 디스플레이(Display)가 두 개(하나는 왼쪽 눈에 제공되기 위한 것, 하나는 오른쪽 눈에 제공되기 위한 것)의 서로 다른 이미지를 제공하는 경우를 스테레오스코픽(stereoscopic)이라고 한다. 그리고, 그보다 많은 수의 서로 다른 이미지를 디스플레이와의 시야각에 따라 달리 제공하는 경우를 3D 멀티뷰(3D multi-view)이다.
한편, 상기 3D 멀티뷰 이미지를 렌더링하기 위해, 입력되는 (특정 프레임의) 칼라 정보와 깊이 정보를 이용하는데, 이 경우 디스어클루젼(disocclusion) 현상의 해결이 필요하다. 상기 깊이 정보 중에는, 3D 모델 내에서 디스패러티(disparity)가 비교적 큰 오브젝트 부분에 해당하는 정보와 상기 디스패러티가 비교적 작은 배경 부분에 해당하는 정보가 있다. 상기 멀티뷰를 위해 복수 개의 시점에서 렌더링 을 하는 경우, 시야각이 큰 부분에서 칼라 정보가 없는 부분이 발생하는데, 이 부분이 디스어클루젼 영역이다.
멀티뷰 디스플레이가 발달함에 따라, 이 디스어클루젼 문제를 해결하는 것이 큰 이슈가 되고 있다.
본 발명의 일부 실시예는, 디스어클루젼 영역을 효과적으로 예측하고 칼라 정보를 생성하는 영상 처리 장치 및 방법을 제공하기 위한 것이다.
본 발명의 다른 실시예는, 영상의 적어도 하나 이상의 프레임의 칼라 정보로부터 상기 디스어클루젼 영역의 칼라 정보를 효율적으로 얻는 영상 처리 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따르면, 영상(video)의 제1 프레임의 디스어클루젼 영역을 결정하는 계산부, 및 상기 영상의 제2 프레임과 연관된 칼라 정보를 이용하여 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 처리부를 포함하는 영상 처리 장치가 제공된다.
상기 계산부는, 상기 제1 프레임과 연관된 깊이 정보를 이용하여 계산되는, 상기 제1 프레임의 배경 영역(background)의 디스패러티(disparity)와 상기 제1 프레임의 오브젝트 영역(object)의 디스패러티의 차이에 기초하여 상기 제1 프레임의 디스어클루젼 영역을 결정한다.
한편, 상기 계산부는, 상기 제1 프레임의 배경 영역과 상기 제1 프레임의 오브젝트 영역의 경계(boundary)를 결정하고, 상기 경계 주위의 제1 넓이(width)의 밴드(band)(단, 상기 제1 넓이는, 상기 제1 프레임의 배경 영역의 디스패러티와 오브젝트 영역(object)의 디스패러티의 차이에 비례함)를 상기 제1 프레임의 디스어 클루젼 영역으로 결정할 수 있다.
본 발명의 일 실시예에 따르면, 상기 제1 프레임의 배경 영역의 디스패러티 및 상기 제1 프레임의 오브젝트 영역의 디스패러티 중 적어도 하나는, 상기 제1 프레임을 기초로 렌더링 할 멀티뷰 이미지(multi-view image)와 연관된 복수 개의 시점 중, 최대 시야각을 갖는 시점과 최소 시야각을 갖는 시점 사이에서 계산된다.
한편, 상기 처리부는, 상기 제1 프레임의 디스어클루젼 영역 주위의 제1 블록(block)을 결정하고, 상기 영상(video)의 적어도 하나의 프레임 내에서 상기 제1 블록에 대응하는 부분에 대해 제1 특성 값을 결정하고, 상기 제1 특성 값에 기초하여 상기 제2 프레임을 선택할 수 있다.
본 발명의 일 실시예에 따르면, 상기 처리부는, 상기 영상의 적어도 하나의 프레임 중 상기 제1 특성 값이 제1 임계 값보다 작은 프레임을 제2 프레임의 후보(candidate) 프레임으로 결정하고, 상기 제2 프레임 후보 프레임에 대해 상기 제1 블록 주위의 디스어클루젼 영역 칼라 정보를 생성하고, 상기 제1 블록 주위의 디스어클루젼 영역 칼라 정보를 많이 생성하는 프레임을 상기 제2 프레임으로 선택한다. 상기 처리부는, 상기 제2 프레임 후보 프레임 각각의 상기 제1 특성 값을 비교하여, 상기 제2 프레임 선택에 이용한다.
본 발명의 다른 실시예에서는, 상기 처리부는, 상기 제2 프레임 후보 프레임 내에서, 상기 제1 블록에 대응하는 부분의 주위 부분 픽셀 중, 상기 제1 프레임의 배경 영역의 픽셀들과 깊이 값(depth value) 차이가 제2 임계 값보다 작은 픽셀에 연관되는 칼라 정보 정보를 획득하여, 상기 제1 블록 주위의 디스어클루젼 영역 칼 라 정보로 결정하고, 상기 제1 블록 주위의 디스어클루젼 영역 칼라 정보를 많이 생성하는 프레임을 상기 제2 프레임으로 결정한다.
한편, 상기 처리부는, 상기 제2 프레임 내에서, 상기 제1 블록에 대응하는 부분의 주변의 칼라 정보를 복사하여, 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성한다. 이 경우 상기 처리부는, 상기 제2 프레임 내에서, 상기 제1 블록에 대응하는 부분 주위의 칼라 정보를 복사하고, 상기 제1 프레임 내의 상기 제1 블록의 위치를 변경하고, 상기 제2 프레임 내에서 위치가 변경된 상기 제1 블록에 대응하는 부분 주위의 칼라 정보를 복사하여, 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성한다.
본 발명의 다른 실시예에 따르면, 상기 제1 프레임과 연관된 칼라 정보, 상기 제1 프레임과 연관된 깊이 정보, 및 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보에 기초하여 멀티뷰(multi-view) 영상을 렌더링하는 렌더링부를 더 포함하는 영상 처리 장치가 제공된다.
본 발명의 또 다른 일실시예에 따르면, 영상(video)의 제1 프레임의 디스어클루젼 영역을 결정하는 계산부, 및 상기 영상의 제2 프레임과 연관된 칼라 정보 및 상기 영상의 제1 프레임과 연관된 칼라 정보 중 적어도 하나를 이용하여 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 처리부를 포함하는 영상 처리 장치가 제공된다.
본 발명의 또 다른 일 실시예에 따르면, 영상(video)의 제1 프레임의 디스어클루젼 영역을 결정하는 단계, 및 상기 영상의 제2 프레임과 연관된 칼라 정보를 이용하여 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 단계를 포함하는 영상 처리 방법이 제공된다.
한편, 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 단계는, 상기 제1 프레임의 디스어클루젼 영역 주위의 제1 블록(block)을 결정하고, 상기 영상(video)의 적어도 하나의 프레임 내에서 상기 제1 블록에 대응하는 부분에 대해 제1 특성 값을 결정하고, 상기 제1 특성 값에 기초하여 상기 제2 프레임을 선택하는 영상 처리 방법이 제공된다.
본 발명의 일부 실시예에 따르면, 디스어클루젼 영역을 효과적으로 예측하고 칼라 정보를 생성할 수 있다.
본 발명의 다른 일부 실시예에 따르면, 영상의 적어도 하나 이상의 프레임의 칼라 정보로부터 상기 디스어클루젼 영역의 칼라 정보를 효율적으로 얻을 수 있다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 설명하기 위한 개념도이다.
프레임(110)은, 복수 개의 프레임을 제공하여 3D 렌더링을 하기 위한 영상(video) 중, i 번째(단, i는 자연수) 프레임이다. 본 발명의 일부 실시예들에 따른 영상 처리 장치에 따르면, 프레임(110)(이하에서는 "제1 프레임"이라고도 한다)의 디스어클루젼 영역의 칼라 정보가 생성된다.
본 발명의 일 실시예에 따른 칼라 정보(color information)(111)는, 상기 제1 프레임(110)에 연관된 칼라 값(color value), 이를테면 픽셀들의 RGB 값을 나타낸다. 깊이 정보(depth information)(111)는, 상기 제1 프레임(110)에 연관된 픽셀들의 깊이 값을 포함하며, 렌더링부(120)에 의해 상기 칼라 정보(111)과 매칭될 수 있다.
멀티뷰 스크린(또는 디스플레이 패널)(130)은, 상기 렌더링부(120)에서 제공하는 멀티뷰 이미지들을, 차별적으로 굴절시켜 복수 개의 시점에 서로 다른 이미지를 제공한다. 상기 멀티뷰 스크린(130)은, 렌디큘러 렌즈를 이용하는 구성일 수 있다.
이미지(141)는, 상기 복수 개의 시점 중, 제일 왼쪽으로 최대 시야각을 갖는 시점(제1 시점; 1st view point)에서 관찰되는 이미지이다.
이미지(142)는, 상기 복수 개의 시점 중, 상기 스크린(130)과 이루는 시야각이 최소인(따라서, 상기 스크린(130)의 법선 방향(orthogonal direction)에 가까운) 시점이다.
이미지(143)는, 상기 복수 개의 시점 중, 제일 오른쪽으로 최대 시야각을 갖는 시점(제k 시점; k-th view point)(단, k는 자연수)에서 관찰되는 이미지이다. 상기 "k"는 상기 멀티뷰 스크린의 스펙(Spec.)에 의존하는 수로써, 상기 복수 개의 시점의 총 갯수이다. 예를들면, 9-view(nine-view) 특성을 갖는 멀티뷰 스크린에 서는, k = 9이다.
그런데, 이미지(141)를 관찰하면, 오브젝트(object)인 주사위 모양 왼쪽에, 배경(background)의 일부분의 칼라 정보가 없어서, 검은색으로 렌더링된 제1 디스어클루젼 부분이 발견된다.
그리고, 이미지(143)를 관찰하면, 오브젝트 오른쪽에, 배경의 일부분의 칼라 정보가 없어서, 검은색으로 렌더링된 제2 디스어클루젼 부분이 발견된다. 이미지(142)는 디스어클루젼 현상이 발생되지 않았다.
한편, 멀티뷰 이미지들이 k개 제공되는 경우, 서로 이웃하는 두 개의 이미지가 인간의 양안(왼쪽 것은 좌안에, 오른쪽 것은 우안에) 제공되면, k-1개의 서로 다른 3D 입체 화상이 제공될 수 있다. 따라서, 인간은 오브젝트를 입체로 인식하고, 그 주변을 둘러보는 효과를 느낄 수 있다.
본 발명의 일 실시예에 따르면, 영상 처리 장치(100)는, 상기 제1 프레임(110)의 칼라 정보(111), 깊이 정보(112), 및 상기 제1 프레임 이외의 프레임의 칼라 정보(113)를 제공받아서, 상기 제1 프레임(110)의 디스어클루젼 부분의 칼라 정보를 생성하여, 상기 렌더링부(120)에 제공한다.
본 발명의 일부 실시예에 따르면, 상기 영상 처리 장치(100)는, 상기 제1 프레임(110)의 디스어클루젼 부분의 칼라 정보를 상기 제1 프레임 이외의 프레임 중 적합한 프레임(제2 프레임)의 칼라 정보에 기초하여 생성한다. 그러나, 본 발명은 이에 한정되지 않고, 상기 영상 처리 장치(100)는, 상기 제1 프레임(110)의 디스어클루젼 부분의 칼라 정보 중 적어도 일부는, 상기 제1 프레임(110)의 칼라 정보에 기초하여 생성한다.
그리고, 렌더링부(120)는, 상기 제1 프레임(110)의 칼라 정보(111), 깊이 정보(112) 및 상기 제1 프레임(110)의 디스어클루젼 부분의 칼라 정보를 이용하여, k 개의 (멀티뷰) 이미지를 생성한다.
이미지(151)은, 상기 본 발명의 일 실시예에 따른 영상 처리 장치(100)을 이용하여 생성된, 상기 제1 시점에 제공되는 이미지이다. 이미지(151)은 상기 이미지(141)에 대응하는데, 상기 이미지(141)에서 관찰되는 디스어클루젼 부분도 칼라 정보를 갖는다.
한편, 이미지(153)은, 상기 본 발명의 일 실시예에 따른 영상 처리 장치(100)을 이용하여 생성된, 상기 제k 시점에 제공되는 이미지이다. 이미지(153)은 상기 이미지(143)에 대응하는데, 상기 이미지(143)에서 관찰되는 디스어클루젼 부분도 칼라 정보를 갖는다.
보다 상세한 내용들은, 도 2 내지 도 10을 참조하여 후술한다.
도 2는 본 발명의 일 실시예에 따라 입력되는 제1 프레임의 칼라 정보 및 깊이 정보를 도시한다.
칼라 정보(210)는 도 1의 칼라 정보(111)에 대응한다. 영역(211)은, 상기 이미지(141)의 디스어클루젼 영역에 대응한다. 오브젝트에 가려져서(occluded) 도 2가 나타내는 시점에서는 드러나지 않는 부분이다. 그리고, 영역(212)은, 상기 이미지(143)의 디스어클루젼 영역에 대응한다. 오브젝트에 가려져서 도 2가 나타내는 시점에서는 드러나지 않지만, 렌더링되는 시점에 따라 드러나는(따라서, 칼라 정보가 필요한) 영역이다.
깊이 정보(220)는, 스크린(130)으로부터의 거리를 나타낸다. 깊이 정보(220)는 오브젝트 부분(221)에서 크고(따라서, 도 2에서 밝게 나타났다), 배경부분(222)에서는 작다(어둡게 도시됨). 본 실시예에서는, 설명의 편의를 위해, 깊이 정보(220)을 단순화시켜 표현하였으나, 실제로는 그래디언트(gradient)를 갖는 것이 보통이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에 의해 복원되어야 할 디스어클루젼 영역을 도시한다.
이미지(310)는 도 1의 이미지(141)에 대응한다. 상술한 바와 같이, 다른 이미지(320 내지 360)와 비교하면, 오브젝트 왼쪽에서 가장 큰 디스어클루젼 부분(310)을 갖는다. 이미지(320)은, 도 1의 제2 시점(왼쪽으로 두 번째 시야각이 큰 시점)에 제공되는 이미지로써, 상기 이미지(310)보다는 작은 왼쪽 디스어클루젼 부분(320)을 갖는다. 마찬가지로, 도 1의 제4 시점에 대응하는 이미지(330)은, 디스어클루젼 부분(330)이 더욱 작다.
한편, 이미지(340)은, 본 발명의 일 실시예에 따라, k = 9인 경우에, (시야각이 가장 작은)도 1의 이미지(142)에 대응하고, 디스어클루젼 현상이 발생하지 않았다.
점점 오른쪽으로 시점을 옮겨 가면서 관찰하는 이미지가 이미지(350)와 이미지(360)이다. 이미지(350)는 오브젝트의 오른쪽에 디스어클루젼(350) 부분을 갖고, 이미지(360)는 오브젝트의 오른쪽에 최대 크기의 디스어클루젼 부분(361)을 갖 는다.
본 발명의 일 실시예에 따른, 영상 처리 장치는, 상기 디스어클루젼 부분(311) 및 디스어클루젼 부분(361)을 결정하고, 칼라 정보를 생성한다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치(400)를 도시한다.
계산부(410)는, 제1 프레임의 복수 개의 시점에서의, 오브젝트와 배경의 디스패러티 차이를 계산하여 상기 제1 프레임의 디스어클루젼 영역을 결정한다.
본 발명의 일 실시예에 따르면, 상기 계산부(410)는, 상기 제1 프레임의 깊이 정보를 입력 받는다. 그리고, 상기 계산부(410)는 상기 깊이 정보에 포함된 각 부분의 깊이 값(depth value) 및/또는 임의의 시점에서 계산한 디스패러티에 기초하여 오브젝트 부분과 배경부분의 경계(boundary)를 구한다. 그리고, 상기 경계 주위에서 상기 제1 프레임의 디스어클루젼 영역을 결정한다. 보다 상세한 내용은 도5를 참조하여 후술한다.
상기 처리부(420)는, 계산부(410)로부터 제1 프레임의 디스어클루젼 영역 정보를 입력 받는다. 그리고, 상기 디스어클루젼 영역의 주위에 제1 블록을 지정한다. 상기 제1 블록은, 디스어클루젼 영역(610)의 칼라 정보를 생성하기 위한 레퍼런스 프레임(reference frame)을 찾기 위해 이용된다.
상기 처리부(420)는 복수 개의 프레임에 연관되는 칼라 정보를 입력 받는다. 그리고, 상기 복수 개의 프레임 각각에서 상기 제1 블록과 같은 부분(즉, 칼라 값이 유사해서 서로 매칭될 수 있는 부분)을 찾는다.
본 발명의 일 실시예에 따르면, 상기 처리부(420)는 제1 특성 값을 계산한 다. 상기 제1 특성 값은, 소정의 블록 내의 칼라 값에 기초하여 계산되는 값으로서, 이를테면, SSD(Sum of Squared Difference) 값이다. 어느 두 프레임의 소정의 부분 간에 SSD가 작을수록 같은 칼라 값을 가지는 부분일 확률이 크다.
그리고, 상기 처리부(420)는, 복수 개의 프레임 각각의 상기 제1 특성 값을 소정의 제1 임계값(threshold)과 비교하여, 제1 특성 값이 제1 임계값 보다 작은 프레임을 레퍼런스 프레임(제2 프레임)의 후보로 결정한다.
그리고, 상기 처리부(420)는 상기 제2 프레임의 후보 프레임 중, 상기 제1 블록에 해당하는 부분의 오른쪽 부분의 칼라 정보를 더 많이 제공하는 프레임을 제2 프레임으로 결정한다. 이 경우, 다른 조건이 동일하다면, 상기 계산한 (제1 프레임과의 사이의) SSD 값이 더 작은 프레임이 제2 프레임으로 선택될 수 있다.
본 발명의 일 실시예에 따르면, 상기 제1 프레임 내의 배경의 칼라 정보에서 일정한 반복이 있는 경우(texture의 특성에 따라), 상기 처리부(420)는 제1 프레임 그 스스로로부터 디스어클루젼 영역의(적어도 일부의) 칼라 정보를 생성할 수도 있다.
본 발명의 일 실시예에 따르면, 영상처리 장치(400)은, 렌더링부(430)를 더 포함한다. 렌더링부는 상기 제1 프레임에 연관되는 칼라 정보, 및 깊이 정보와 함께 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 제공받아 스크린(130)을 통해 멀티뷰 칼라 이미지를 제공한다.
도 5는 본 발명의 일 실시예에 따라, 도 1의 제1 프레임의 디스패러티를 구하는 방법을 설명하기 위한 개념도이다.
디스패러티 d(521)는 인간의 양안(좌안(531) 및 우안(532))에서 특정한 포인트(511)을 바라보는 경우에 포인트(511)가 스크린(520)과 교차하는 위치의 차이이다. 인간의 양안 거리 E(533)는 한계가 있으므로, 상기 디스패러티 d(521)는, 스크린(520)과 포인트가 존재하는 부분(510) 사이의 거리 V가, 양안(531 및 532)과 스크린(520) 사이의 거리 D에 비해 클수록 작다. 즉, 멀리 있는 물체일수록 디스패러티 d가 작고, 가까이 있는 물체일수록 디스패러티 d가 크다. 디스패러티 d는 다음 식에 의해 구할 수 있다.
Figure 112008070876112-PAT00001
본 발명의 일 실시예에 따르면, 도 4의 계산부(410)는, 도1의 제1 시점(최대 시야각)과 제5 시점(k = 9인 경우)에서의, 오브젝트(디스패러티가 상대적으로 크다)와 배경(디스패러티가 상대적으로 작다)의 디스패러티 차이를 계산하여 (오브젝트 왼쪽의)디스어클루젼 부분을 결정한다.
그리고, 계산부(410)는, 도1의 제5 시점과 제9 시점(이상은 k = 9인 경우)에서의, 오브젝트와 배경의 디스패러티 차이를 계산하여 (오브젝트 오른쪽의)디스어클루젼 부분을 결정한다.
본 발명의 일 실시예에 따르면, 상기 계산부(410)는, 상기 제1 프레임(110)의 깊이 정보(112)를 입력 받는다. 그리고, 상기 계산부(410)는 상기 깊이 정보에 포함된 각 부분의 깊이 값(depth value) 및/또는 임의의 시점에서 계산한 디스패러 티에 기초하여 오브젝트 부분(221)과 배경부분(222)의 경계(boundary)를 구한다. 그리고, 상기 경계 주위에서 상기 제1 프레임(110)의 디스어클루젼 영역(211, 212)을 결정한다.
본 발명의 다른 일 실시예에 따르면, 상기 계산부는 상기 경계 중, 수직 방향으로 방향성을 갖는 경계만을 검출하고, 검출된 적어도 하나 이상의 수직 방향의 방향성을 갖는 경계 중, 프레임의 좌반부(left half plane)에 존재하는 것의 오른쪽에 제1 넓이의 밴드(band)를 결정하고, 이것을 왼쪽 디스어클루젼 영역(211)로 결정한다. 그리고 상기 검출된 적어도 하나 이상의 수직 방향의 방향성을 갖는 경계 중, 프레임의 우반부(Right half plane)에 존재하는 것의 왼쪽에 제1 넓이의 밴드(band)를 결정하고, 이것을 오른쪽 디스어클루젼 영역(212)로 결정한다.
상기 제1 넓이는 다음 수학식에 의해 계산될 수 있다.
Figure 112008070876112-PAT00002
상기 수학식 2에서 우변의 제1 항(first term)은 오브젝트의 디스패러티를 상기 수학식 1에 의해 구한 것이고, 우변의 제 2항(second term)은 배경의 디스패러티를 상기 수학식 1에 의해 구한 것이다. 상기 수학식 2에서 E는 k 개의 시점 가운데 서로 이웃하는 시점 사이의 거리이며, 멀티뷰 시점의 개수인 k를 2로 나눈 것은, 시야각이 가장 큰 시점과 가장 작은 시점 사이의 디스패러티 차이를 구하기 위한 것이다.
본 실시예에서는, 가장 단순한 방법으로, 상기 경계의 일정 부분에 상기 제1 넓이의 밴드를 상기 제1 프레임(110)의 디스어클루젼 영역으로 결정하지만, 본 발명은 이러한 일부 실시예에 한정되지 않는다. 계산의 복잡도(complexity)는 높아질 수 있으나, 각 부분마다 적응적으로(adaptively) 상기 디스어클루젼 영역을 결정할 수도 있다.
도 6는 본 발명의 일 실시예에 따라 결정되는 도 2의 제1 프레임(110)의 디스어클루젼 영역을 도시한다.
상기 계산부(410)에 의해 제1 프레임(600) 내에 왼쪽 디스어클루젼 영역(610) 및 오른쪽 디스어클루젼 영역(620)이 결정되었다.
본 발명의 일부 실시예에 따르면, 상기 디스어클루젼 영역(610)과 디스어클루젼 영역(620)에 대한 칼라 정보는, 상기 처리부(420)에 의하여 별도로 생성될 수도 있으나, 함께 생성될 수도 있다. 즉, 만약 디스어클루젼 영역이 n개 있다면(단, n은 자연수) 하나씩 별도로 상기 처리부(420)가 칼라 정보를 생성할 수도 있고, 그 중 일부 또는 전부에 대한 칼라 정보를 함께 생성할 수도 있다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 디스어클루젼 영역의 칼라 정보를 생성하기 위한 제1 블록을 도시한다.
본 발명의 일 실시예에 따르면, 상기 처리부(420)는, 상기 도 6의 디스어클루젼 영역(610) 정보를 입력 받는다. 그리고, 상기 디스어클루젼 영역(610)의 주 위에 제1 블록(710)을 지정한다. 상기 제1 블록(710)은, 디스어클루젼 영역(610)의 칼라 정보를 생성하기 위한 레퍼런스 프레임(reference frame)을 찾기 위해 이용된다.
상기 처리부(420)는, i-n번째 프레임, i-(n+1)번째 프레임, … i-1번째 프레임, i번째 프레임(제1 프레임 자신), i+1번째 프레임, … i+n번째 프레임과 같이 복수 개의 프레임에 연관되는 칼라 정보를 입력 받는다. 그리고, 상기 복수 개의 프레임 각각에서 상기 제1 블록과 같은 부분(즉, 칼라 값이 유사해서 서로 매칭될 수 있는 부분)을 찾는다.
본 발명의 일 실시예에 따르면, 상기 처리부(420)는 제1 특성 값을 계산한다. 상기 제1 특성 값은, 소정의 블록 내의 칼라 값에 기초하여 계산되는 값으로서, 이를테면, SSD(Sum of Squared Difference) 값이다. 어느 두 프레임의 소정의 부분 간에 SSD가 작을수록 같은 칼라 값을 가지는 부분일 확률이 크다.
그리고, 상기 처리부(420)는, 복수 개의 프레임 각각의 상기 제1 특성 값을 소정의 제1 임계값(threshold)과 비교하여, 제1 특성 값이 제1 임계값 보다 작은 프레임을 레퍼런스 프레임(제2 프레임)의 후보로 결정한다.
본 발명의 일 실시예에 따르면, 상기 처리부(420)는, 상기 제2 프레임의 후보 프레임 각각에 대해 상기 제1 블록에 해당하는 부분의 오른쪽 부분의 칼라 값에 기초하여 디스어클루젼 영역의 칼라정보를 생성한다. 그런데, 상기 디스어클루젼 영역의 칼라 정보는, 각 프레임의 깊이 정보를 참고하여(이 경우는, 도면에도 불구하고 상기 처리부(420)에 상기 복수 개의 프레임에 연관되는 깊이 정보가 제공되 고, 상기 처리부(420)는 이를 이용한다), 백그라운드 부분에 해당하는 부분의 칼라 정보로부터 생성된다. 이 경우, 제1 프레임과 제2 프레임 후보 프레임 각각의 깊이 값을 비교하여, 제2 임계값 이하인 부분의 칼라 정보만이, 상기 디스어클루젼 영역의 칼라 정보 생성에 이용된다.
따라서, 프레임에 따라 오브젝트의 위치가 바뀐다면, 상기 디스어클루젼 부분이 완전히 드러나서, 그 부분의 칼라 정보를 갖는 프레임이 상기 제2 프레임으로 선택될 수 있다. 즉, 상기 처리부(420)는, 상기 제2 프레임의 후보 프레임 중, 상기 제1 블록에 해당하는 부분의 오른쪽 부분의 칼라 정보를 더 많이 제공하는 프레임을 제2 프레임으로 결정한다. 이 경우, 다른 조건이 동일하다면, 상기 계산한 (제1 프레임과의 사이의) SSD 값이 더 작은 프레임이 제2 프레임으로 선택될 수 있다.
본 발명의 일 실시예에 따르면, 프레임(700)의 예와 같이, 배경의 칼라 정보에서 일정한 반복이 있는 경우(texture의 특성에 따라), 상기 처리부(420)는 제1 프레임(700) 자신으로부터 디스어클루젼 영역의 칼라 정보를 생성할 수도 있다.
상술한 내용과 도 7의 제1 블록(710)의 형태는 예시적인 것에 불과하므로, 본 발명은 특정 실시예에 국한되지 않는다. 즉, 본 기술분야에서 통상의 지식을 가진 자라면, 본 발명의 사상을 유지하면서 적당한 변형을 가할 수 있다. 예를 들어, 제1 프레임(700)에서 디스어클루젼 영역 바로 옆에서 선택되는 상기 제1 블록(710)의 크기, 위치는 프레임에 따라, 요구되는 퀄리티에 따라, 영상의 특성에 따라 얼마든지 조정될 수 있다.
도 8는 본 발명의 일 실시예에 따라, 도 4의 처리부 내에서 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 방법을 도시하는 흐름도이다.
처리부(800) 내에서, 단계(S810) 내지 단계(S860)이 수행된다.
단계(S810)에서, 상기 처리부(800)은 입력된 디스어클루젼 영역 정보에 기초하여, 상기 디스어클루젼 영역(도 6의 610)의 주위에 제1 블록(도 7의 710)을 지정한다. 그리고, 상기 처리부(420)는 제1 특성 값(이를테면, 제1 프레임과 현재 고려되는 j번째 프레임 사이의SSD 값)을 계산한다. 제1 프레임과 j번째 프레임(단, j는 자연수) 사이의 SSD 값이 작을수록 같은 칼라 값을 가지는 부분일 확률이 크다.
단계(S820)에서, 상기 처리부(420)는, 복수 개의 프레임 각각의 상기 제1 특성 값을 소정의 제1 임계값인 "Th"(threshold)와 비교하여, 제1 특성 값이 제1 임계값 보다 크다면, j번째 프레임은 무시하고, 다음 프레임에 대해 단계(S810)을 수행한다.
그리고 제1 특성 값이 제1 임계값 보다 크다면, 단계(S830)에서, j번째 프레임을 제2 프레임이 후보로 결정된다.
단계(S840)에서 상기 처리부(800)는 상기 j 번째 프레임이 고려의 대상이 되는 마지막 프레임인지 판단하고, 그렇지 않다면, 단계(S810)으로 돌아가서 다른 프레임에 대해 상기 단계를 반복한다.
단계(S850)에서, 상기 제2 프레임의 후보 프레임 중, 제2 프레임이 선택된다. 그리고, 단계(S860)에서 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보가 생성된다. 단계(S850)과 단계(S860)의 상세한 과정은, 도 7을 참조하여 상술한 바와 같다.
본 발명의 일 실시예에 따르면, 상기 단계(S810) 내지 단계(S860)은, 상기 제1 프레임의 디스어클루젼 영역을 복수 개로 분할하여, 그 중 하나에 대해 칼라 정보를 생성하는 과정이다. 이 경우, 상기 과정을 모든 디스어클루젼 부분들에 반복하면, 전체 디스어클루젼 부분에 대해 칼라 정보가 생성된다.
한편, 본 발명의 일 실시예에 따르면, 상기 과정에 의해서도 상기 제1 프레임의 디스어클루젼 영역의 전체 부분에 대한 칼라 정보가 완전히 생성되지 않는 경우, extrapolation을 통해 남은 부분에 대한 칼라 정보를 생성할 수 있다.
도 9은 본 발명의 일 실시예에 따라 생성된 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 도시한다.
제1 프레임(900) 내에서 영역(910)의 칼라 정보는 도 6의 영역(610)에 대한 칼라 정보를 생성한 것이다. 그리고, 영역(920)의 칼라 정보는 영역(620)에 대한 칼라 정보를 생성한 것이다.
도 10는 본 발명의 일 실시예에 따른 영상 처리 장치에 의해 제공되는 멀티뷰 이미지들을 도시한다.
상기 처리부(410)에서 생성된 칼라 정보(910 내지 920)가 도 1의 제1 프레임(110)에 연관되는 칼라 정보(111) 및 깊이 정보(112)와 함께 렌더링부(120)에 제공된다. 그리고, 상기 렌더링부(120)는 스크린(130)을 통해 (예시적으로 k = 9인 경우) 9개 시점에서의 이미지(1010 내지 1060)를 제공한다.
이미지(1010) 내지 이미지(1060)은 각각 도 3의 이미지(310) 내지 이미지(360)에 대응한다. 각각을 비교하면, 디스어클루젼 영역(311, 321, 331, 351, 및 361) 부분이 개선되었음을 알 수 있다.
본 발명에 따른 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따라 입력되는 제1 프레임의 칼라 정보 및 깊이 정보를 도시한다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에 의해 복원되어야 할 디스어클루젼 영역을 도시한다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치를 도시한다.
도 5는 본 발명의 일 실시예에 따라, 도 1의 제1 프레임의 디스패러티를 구하는 방법을 설명하기 위한 개념도이다.
도 6는 본 발명의 일 실시예에 따라 결정되는 도 2의 제1 프레임의 디스어클루젼 영역을 도시한다.
도 7은 본 발명의 일 실시예에 따라, 도 6의 디스어클루젼 영역의 칼라 정보를 생성하기 위한 제1 블록을 도시한다.
도 8는 본 발명의 일 실시예에 따라, 도 4의 처리부 내에서 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 방법을 도시하는 흐름도이다.
도 9은 본 발명의 일 실시예에 따라 생성된 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 도시한다.
도 10는 본 발명의 일 실시예에 따른 영상 처리 장치에 의해 제공되는 멀티뷰 이미지들을 도시한다.

Claims (19)

  1. 영상(video)의 제1 프레임의 디스어클루젼 영역을 결정하는 계산부; 및
    상기 영상의 제2 프레임과 연관된 칼라 정보를 이용하여 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 처리부
    를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 계산부는, 상기 제1 프레임과 연관된 깊이 정보를 이용하여 계산되는, 상기 제1 프레임의 배경 영역(background)의 디스패러티(disparity)와 상기 제1 프레임의 오브젝트 영역(object)의 디스패러티의 차이에 기초하여 상기 제1 프레임의 디스어클루젼 영역을 결정하는 영상 처리 장치.
  3. 제2항에 있어서,
    상기 계산부는, 상기 제1 프레임의 배경 영역과 상기 제1 프레임의 오브젝트 영역의 경계(boundary)를 결정하고, 상기 경계 주위의 제1 넓이(width)의 밴드(band)(단, 상기 제1 넓이는, 상기 제1 프레임의 배경 영역의 디스패러티와 오브젝트 영역(object)의 디스패러티의 차이에 비례함)를 상기 제1 프레임의 디스어클루젼 영역으로 결정하는 영상 처리 장치.
  4. 제2항에 있어서,
    상기 제1 프레임의 배경 영역의 디스패러티 및 상기 제1 프레임의 오브젝트 영역의 디스패러티 중 적어도 하나는, 상기 제1 프레임을 기초로 렌더링 할 멀티뷰 이미지(multi-view image)와 연관된 복수 개의 시점 중, 최대 시야각을 갖는 시점과 최소 시야각을 갖는 시점 사이에서 계산되는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 처리부는, 상기 제1 프레임의 디스어클루젼 영역 주위의 제1 블록(block)을 결정하고, 상기 영상(video)의 적어도 하나의 프레임 내에서 상기 제1 블록에 대응하는 부분에 대해 제1 특성 값을 결정하고, 상기 제1 특성 값에 기초하여 상기 제2 프레임을 선택하는 영상 처리 장치.
  6. 제5항에 있어서,
    상기 처리부는, 상기 영상의 적어도 하나의 프레임 중 상기 제1 특성 값이 제1 임계 값보다 작은 프레임을 제2 프레임의 후보(candidate) 프레임으로 결정하고, 상기 제2 프레임 후보 프레임에 대해 상기 제1 블록 주위의 디스어클루젼 영역 칼라 정보를 생성하고, 상기 제1 블록 주위의 디스어클루젼 영역 칼라 정보를 많이 생성하는 프레임을 상기 제2 프레임으로 선택하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 처리부는, 상기 제2 프레임 후보 프레임 각각의 상기 제1 특성 값을 비교하여, 상기 제2 프레임 선택에 이용하는 영상 처리 장치.
  8. 제6항에 있어서,
    상기 처리부는, 상기 제2 프레임 후보 프레임 내에서, 상기 제1 블록에 대응하는 부분의 주위 부분 픽셀 중, 상기 제1 프레임의 배경 영역의 픽셀들과 깊이 값(depth value) 차이가 제2 임계 값보다 작은 픽셀에 연관되는 칼라 정보 정보를 획득하여, 상기 제1 블록 주위의 디스어클루젼 영역 칼라 정보로 결정하고, 상기 제1 블록 주위의 디스어클루젼 영역 칼라 정보를 많이 생성하는 프레임을 상기 제2 프레임으로 결정하는 영상 처리 장치.
  9. 제5항에 있어서,
    상기 처리부는, 상기 제2 프레임 내에서, 상기 제1 블록에 대응하는 부분의 주변의 칼라 정보를 복사하여, 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 처리부는, 상기 제2 프레임 내에서, 상기 제1 블록에 대응하는 부분 주위의 칼라 정보를 복사하고, 상기 제1 프레임 내의 상기 제1 블록의 위치를 변경하고, 상기 제2 프레임 내에서 위치가 변경된 상기 제1 블록에 대응하는 부분 주위의 칼라 정보를 복사하여, 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 영상 처리 장치.
  11. 제1항에 있어서,
    상기 제1 프레임과 연관된 칼라 정보, 상기 제1 프레임과 연관된 깊이 정보, 및 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보에 기초하여 멀티뷰(multi-view) 영상을 렌더링하는 렌더링부를 더 포함하는 영상 처리 장치.
  12. 영상(video)의 제1 프레임의 디스어클루젼 영역을 결정하는 계산부; 및
    상기 영상의 제2 프레임과 연관된 칼라 정보 및 상기 영상의 제1 프레임과 연관된 칼라 정보 중 적어도 하나를 이용하여 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 처리부
    를 포함하는 영상 처리 장치.
  13. 제12항에 있어서,
    상기 계산부는, 상기 제1 프레임과 연관된 깊이 정보를 이용하여 계산되는, 상기 제1 프레임의 배경 영역(background)의 디스패러티(disparity)와 상기 제1 프레임의 오브젝트 영역(object)의 디스패러티의 차이에 기초하여 상기 제1 프레임의 디스어클루젼 영역을 결정하는 영상 처리 장치.
  14. 제12항에 있어서,
    상기 처리부는, 상기 제1 프레임의 디스어클루젼 영역 주위의 제1 블록(block)을 결정하고, 상기 영상(video)의 적어도 하나의 프레임 내에서 상기 제1 블록에 대응하는 부분에 대해 제1 특성 값을 결정하고, 상기 제1 특성 값에 기초하여 상기 제2 프레임을 선택하는 영상 처리 장치.
  15. 제12항에 있어서,
    상기 처리부는, 상기 제1 프레임 내에서 상기 제1 블록과 칼라 정보가 유사한 제2 블록을 결정하고, 상기 제1 프레임 내의 제2 블록과, 상기 제2 프레임 내에서 상기 제1 블록에 대응하는 부분에 대해, 상기 제1 프레임의 디스어클루젼 영역을 복원하는 정도 및 상기 제1 특성 값에 기초하여, 상기 제1 프레임 내의 제2 블록이 보다 적합한 경우, 상기 제1 블록에 연관되는 칼라 정보 값과 상기 제2 블록을 이용하여 상기 제1 프레임의 디스어클루젼 영역을 복원하는 영상 처리 장치.
  16. 영상(video)의 제1 프레임의 디스어클루젼 영역을 결정하는 단계; 및
    상기 영상의 제2 프레임과 연관된 칼라 정보를 이용하여 상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 단계
    를 포함하는 영상 처리 방법.
  17. 제16항에 있어서,
    상기 제1 프레임의 디스어클루젼 영역을 결정하는 단계는,
    상기 제1 프레임과 연관된 깊이 정보를 이용하여 계산되는, 상기 제1 프레임의 배경 영역(background)의 디스패러티(disparity)와 상기 제1 프레임의 오브젝트 영역(object)의 디스패러티의 차이에 기초하여 상기 제1 프레임의 디스어클루젼 영역을 결정하는 영상 처리 방법.
  18. 제16항에 있어서,
    상기 제1 프레임의 디스어클루젼 영역의 칼라 정보를 생성하는 단계는, 상기 제1 프레임의 디스어클루젼 영역 주위의 제1 블록(block)을 결정하고, 상기 영상(video)의 적어도 하나의 프레임 내에서 상기 제1 블록에 대응하는 부분에 대해 제1 특성 값을 결정하고, 상기 제1 특성 값에 기초하여 상기 제2 프레임을 선택하는 영상 처리 방법.
  19. 제16항 내지 제18항 중 어느 하나의 항에 있어서,
    상기 영상 처리 방법을 컴퓨터 상에서 구현하기 위한 프로그램을 수록한 컴퓨터 판독 가능 기록매체.
KR1020080099799A 2008-10-10 2008-10-10 영상처리 장치 및 방법 KR101502362B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020080099799A KR101502362B1 (ko) 2008-10-10 2008-10-10 영상처리 장치 및 방법
US12/382,747 US8823771B2 (en) 2008-10-10 2009-03-23 Image processing apparatus and method
CN200910177614.6A CN101729791B (zh) 2008-10-10 2009-09-24 图像处理设备和方法
EP09171221.6A EP2175663B1 (en) 2008-10-10 2009-09-24 Image processing apparatus
US14/472,837 US20140368612A1 (en) 2008-10-10 2014-08-29 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080099799A KR101502362B1 (ko) 2008-10-10 2008-10-10 영상처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100040593A true KR20100040593A (ko) 2010-04-20
KR101502362B1 KR101502362B1 (ko) 2015-03-13

Family

ID=41395943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080099799A KR101502362B1 (ko) 2008-10-10 2008-10-10 영상처리 장치 및 방법

Country Status (4)

Country Link
US (2) US8823771B2 (ko)
EP (1) EP2175663B1 (ko)
KR (1) KR101502362B1 (ko)
CN (1) CN101729791B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014046522A1 (en) 2012-09-24 2014-03-27 Samsung Electronics Co., Ltd. Multiview image generating method and multi view image display apparatus
US8803947B2 (en) 2010-08-03 2014-08-12 Samsung Electronics Co., Ltd. Apparatus and method for generating extrapolated view

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120050483A1 (en) * 2010-08-27 2012-03-01 Chris Boross Method and system for utilizing an image sensor pipeline (isp) for 3d imaging processing utilizing z-depth information
WO2012067399A2 (ko) * 2010-11-15 2012-05-24 엘지전자 주식회사 프레임 포맷 전환 방법 및 이러한 방법을 사용하는 장치
US9460551B2 (en) 2011-08-10 2016-10-04 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for creating a disocclusion map used for coding a three-dimensional video
JP5711634B2 (ja) * 2011-09-22 2015-05-07 株式会社東芝 画像処理装置、画像処理方法および画像処理プログラム
CN102427547B (zh) * 2011-11-15 2013-11-06 清华大学 多视角立体渲染装置
KR101966920B1 (ko) 2012-07-10 2019-04-08 삼성전자주식회사 다시점 영상의 시차 정보를 이용하여 영상의 움직임을 추정하는 방법 및 장치
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
KR102224716B1 (ko) * 2014-05-13 2021-03-08 삼성전자주식회사 스테레오 소스 영상 보정 방법 및 장치
KR102350235B1 (ko) * 2014-11-25 2022-01-13 삼성전자주식회사 영상 처리 방법 및 장치
US10038889B2 (en) 2015-03-01 2018-07-31 Nextvr Inc. Methods and apparatus for requesting, receiving and/or playing back content corresponding to an environment
EP3185550A1 (en) * 2015-12-23 2017-06-28 Thomson Licensing Tridimensional rendering with adjustable disparity direction
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
EP3416371A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method for displaying, on a 2d display device, a content derived from light field data
EP3416381A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
WO2019153196A1 (zh) * 2018-02-08 2019-08-15 深圳市大疆创新科技有限公司 图像处理的方法、装置、计算机系统和可移动设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6111582A (en) * 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US6266068B1 (en) * 1998-03-13 2001-07-24 Compaq Computer Corporation Multi-layer image-based rendering for video synthesis
US20050231505A1 (en) 1998-05-27 2005-10-20 Kaye Michael C Method for creating artifact free three-dimensional images converted from two-dimensional images
EP1112553B9 (en) 1999-07-20 2006-10-11 Koninklijke Philips Electronics N.V. Method and apparatus for computing a computer graphics image of a textured surface
US6593925B1 (en) * 2000-06-22 2003-07-15 Microsoft Corporation Parameterized animation compression methods and arrangements
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US6870945B2 (en) * 2001-06-04 2005-03-22 University Of Washington Video object tracking by estimating and subtracting background
US20040091047A1 (en) 2002-11-11 2004-05-13 Sony Corporation Method and apparatus for nonlinear multiple motion model and moving boundary extraction
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
US7633511B2 (en) * 2004-04-01 2009-12-15 Microsoft Corporation Pop-up light field
US8711155B2 (en) * 2004-05-14 2014-04-29 Nvidia Corporation Early kill removal graphics processing system and method
CA2511040A1 (en) * 2004-09-23 2006-03-23 The Governors Of The University Of Alberta Method and system for real time image rendering
EP1851727A4 (en) * 2005-02-23 2008-12-03 Craig Summers AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO
US7512262B2 (en) * 2005-02-25 2009-03-31 Microsoft Corporation Stereo-based image processing
US7522749B2 (en) * 2005-04-08 2009-04-21 Microsoft Corporation Simultaneous optical flow estimation and image segmentation
EP1934936A2 (en) 2005-10-10 2008-06-25 Nordic Bioscience A/S A method of segmenting an image
EP1977395B1 (en) * 2006-01-27 2018-10-24 Imax Corporation Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality
EP1862969A1 (en) * 2006-06-02 2007-12-05 Eidgenössische Technische Hochschule Zürich Method and system for generating a representation of a dynamically changing 3D scene
TW200834471A (en) * 2007-02-15 2008-08-16 Ind Tech Res Inst Image filling methods, and machine readable medium thereof
US7889947B2 (en) * 2007-06-27 2011-02-15 Microsoft Corporation Image completion
US8351685B2 (en) * 2007-11-16 2013-01-08 Gwangju Institute Of Science And Technology Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same
CN102239506B (zh) * 2008-10-02 2014-07-09 弗兰霍菲尔运输应用研究公司 中间视合成和多视点数据信号的提取

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8803947B2 (en) 2010-08-03 2014-08-12 Samsung Electronics Co., Ltd. Apparatus and method for generating extrapolated view
WO2014046522A1 (en) 2012-09-24 2014-03-27 Samsung Electronics Co., Ltd. Multiview image generating method and multi view image display apparatus
US9071835B2 (en) 2012-09-24 2015-06-30 Samsung Electronics Co., Ltd. Method and apparatus for generating multiview image with hole filling

Also Published As

Publication number Publication date
EP2175663A1 (en) 2010-04-14
US20100091092A1 (en) 2010-04-15
CN101729791A (zh) 2010-06-09
CN101729791B (zh) 2014-01-29
US20140368612A1 (en) 2014-12-18
KR101502362B1 (ko) 2015-03-13
EP2175663B1 (en) 2018-11-21
US8823771B2 (en) 2014-09-02

Similar Documents

Publication Publication Date Title
KR20100040593A (ko) 영상처리 장치 및 방법
RU2519433C2 (ru) Способ и система для обработки входного трехмерного видеосигнала
US9445071B2 (en) Method and apparatus generating multi-view images for three-dimensional display
US8290244B2 (en) Apparatus and method for controlling depth of three-dimensional image
US9582928B2 (en) Multi-view rendering apparatus and method using background pixel expansion and background-first patch matching
KR101960844B1 (ko) 영상 처리 장치 및 방법
US9171373B2 (en) System of image stereo matching
KR102492971B1 (ko) 3차원 이미지를 생성하기 위한 방법 및 장치
KR101944911B1 (ko) 영상 처리 방법 및 영상 처리 장치
US8213708B2 (en) Adjusting perspective for objects in stereoscopic images
GB2576548A (en) Method and system for reconstructing colour and depth information of a scene
KR102250821B1 (ko) 디스플레이 장치 및 디스플레이 장치 동작 방법
KR101697181B1 (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
EP2444936A2 (en) Disparity estimation system, apparatus, and method for estimating consistent disparity from multi-viewpoint video
KR20120137295A (ko) 영상 처리를 위한 방법 및 장치
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
KR101105359B1 (ko) 깊이 영상에 기반한 3차원 영상의 피로도 측정 방법 및 장치
KR20210038659A (ko) 2차원 이미지를 외삽하기 위해 깊이 정보를 사용하는 시스템 및 방법
US8766974B2 (en) Display apparatus and method
KR20170046434A (ko) 영상 처리 방법 및 영상 처리 장치
KR20120073804A (ko) 영상 처리 장치 및 방법
KR101978176B1 (ko) 영상 처리 장치 및 방법
KR101326279B1 (ko) 스테레오 비디오를 위한 움직임 추정 시스템 및 방법
JP2014138306A (ja) 画像生成方法、画像生成装置及び画像生成プログラム
KR20110090488A (ko) 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6