KR101345364B1 - 출력 영상 렌더링 - Google Patents

출력 영상 렌더링 Download PDF

Info

Publication number
KR101345364B1
KR101345364B1 KR1020087023542A KR20087023542A KR101345364B1 KR 101345364 B1 KR101345364 B1 KR 101345364B1 KR 1020087023542 A KR1020087023542 A KR 1020087023542A KR 20087023542 A KR20087023542 A KR 20087023542A KR 101345364 B1 KR101345364 B1 KR 101345364B1
Authority
KR
South Korea
Prior art keywords
depth
image
calculating
data
input image
Prior art date
Application number
KR1020087023542A
Other languages
English (en)
Other versions
KR20080108489A (ko
Inventor
크리스티안 바레캄프
윌헬머스 에이치. 에이. 브룰스
Original Assignee
코닌클리케 필립스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 엔.브이. filed Critical 코닌클리케 필립스 엔.브이.
Publication of KR20080108489A publication Critical patent/KR20080108489A/ko
Application granted granted Critical
Publication of KR101345364B1 publication Critical patent/KR101345364B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

입력 영상(200) 및 대응하는 깊이와 관련된 데이터(204)의 매트릭스(matrix)에 기초하여 출력 영상(202)을 렌더링(rendring)하는 방법에 있어서, 상기 입력 영상(200)은 제 1 뷰포인트(viewpoint)에 대응하고 상기 출력 영상(200)은 상기 제 1 뷰포인트와 상이한 제 2 뷰포인트에 대응하는, 출력 영상(202)을 렌더링하는 방법이 개시된다. 이 방법은: 소정의 방향(X)으로 깊이와 관련된 데이터의 도함수들을 계산함으로써 깊이와 관련된 데이터(204)의 매트릭스 내의 에지들(212, 312)를 계산하는 단계; 에지들(212, 312)의 이웃들에 대응하는 입력 영상(200)의 영역들에서 픽셀값들의 변화의 측정치를 계산하는 단계로서, 상기 이웃들은 에지들(212, 312)의 배경측에 위치되는, 상기 계산 단계; 및 스케일링된 깊이와 관련된 데이터에 기초하여 소정의 방향(X)으로 입력 영상(200)의 각 픽셀 값들을 시프트(shift)시킴으로써 출력 영상(202)를 계산하는 단계를 포함하는데, 스케일링은 큰 변화 측정이 큰 깊이를 감소시키도록 한다.
Figure R1020087023542
입력 영상, 뷰포인트, 깊이 맵, 출력 영상, 에지들

Description

출력 영상 렌더링{RENDERING AN OUTPUT IMAGE}
본 발명은 입력 영상 및 깊이와 관련된 데이터의 대응하는 매트릭스(matrix)에 기초하여 출력 영상을 렌더링(rendering)하는 방법으로서, 상기 입력 영상은 제 1 뷰포인트(viewpoint)에 대응하며, 상기 출력 영상은 상기 제 1 뷰포인트와 상이한 제 2 뷰포인트에 대응한다.
본 발명은 또한 입력 영상 및 깊이와 관련된 데이터의 대응하는 매트릭스에 기초하여 출력 영상을 렌더링하는 영상 렌더링 유닛에 관한 것이며, 상기 입력 영상은 제 1 뷰포인트에 대응하고 상기 출력 영상은 상기 제 1 뷰포인트와 상이한 제 2 뷰포인트에 대응한다.
본 발명은 또한 영상 처리 장치에 관한 것이며, 상기 장치는:
- 입력 영상 및 깊이와 관련된 데이터의 대응하는 매트릭스를 수신하는 수신 수단 및 상기 입력 영상 및 상기 깊이와 관련된 데이터의 대응하는 매트릭스에 기초하여 출력 영상을 렌더링하는 영상-렌더링 유닛을 포함한다.
본 발명은 또한 입력 영상 및 깊이와 관련된 데이터의 대응하는 매트릭스에 기초하여 출력 영상을 계산하는 명령들을 포함하는 컴퓨터 장치에 의해 로딩되도록 하는 컴퓨터 프로그램 제품에 관한 것이며, 상기 입력 영상은 제 1 뷰포인트에 대응하고 상기 출력 영상은 상기 제 1 뷰포인트와 상이한 제 2 뷰포인트에 대응하며, 상기 컴퓨터 장치는 프로세싱 수단 및 메모리를 포함한다.
디스플레이 디바이스들의 도입 후, 사실적 3차원(3-D) 디스플레이 디바이스는 오랜동안 꿈이었다. 이와 같은 디스플레이 디바이스로 이끄는 많은 원리들이 연구되어 왔다. 일부 원리들은 특정 볼륨에 사실적 3-D 오브젝트를 생성하도록 한다. 예를 들어, A. Sullivan이 2003년의 proceedings of SID'03, 1531-1533 발표한 발명의 명칭이 "Solid-state Multi-planar Volumetric Display"인 논문에 서술된 바와 같은 디스플레이 디바이스에서, 정보는 고속 프로젝터에 의해 평면들의 어레이로 변위된다. 각 평면은 스위치가능한 디퓨저(diffuser)이다. 평면들의 수가 충분히 높다면, 인간 두뇌는 픽쳐들을 통합하고 사실적 3차원 오브젝트를 관찰한다. 이 원리는 뷰어가 어느 정도 내에서 오브젝트를 둘러보도록 한다. 이 디스플레이 디바이스에서, 모든 오브젝트들은 (반)투명이다.
많은 다른 것들은 양안 불일치(disparity)만을 기반으로 하는 3-D 디스플레이 디바이스를 생성하도록 시도한다. 이들 시스템들에서, 뷰어의 좌 및 우안은 또 다른 영상을 인식함으로, 결과적으로, 뷰어는 3-D 영상을 인식한다. 이들 개념들의 개요는 D.F.McAllister (Ed.)가 1993년 Princeton University Press에 발표한 "Stereo Computer Graphics and Other True 3D Technologies"에서 알 수 있다. 제 1 원리는 예를 들어 CRT와 조합하여 셔터 글래스들(shutter glasses)을 이용한다. 홀수 프레임이 디스플레이되면, 좌안에 대해서 광이 차단되고 짝수 프레임이 디스플레이되면 우안에 대해선 광이 차단된다.
글래스들과 같은 부가적인 설비들이 필요로 되지 않는 3-D를 나타내는 디스플레이 디바이스들은 오토-스테레오스코픽(auto-stereoscopic) 디스플레이 디바이스들이라 칭한다.
제 1의 글래스 없는 디스플레이 디바이스는 배리어(barrier)를 포함하여 뷰어의 좌 및 우측 눈을 향하는 광의 콘들(cones)을 생성한다. 이 콘들은 예를 들어 짝수 및 홀수 서브-픽셀 열들(columns)에 대응한다. 적절한 정보로 이들 열들을 어드레싱함으로써, 뷰어가 정확한 지점에 위치되면 자신의 좌 및 우측 눈에서 상이한 뷰들을 얻고 3-D 감을 인식할 수 있다.
제 2 글래스-없는 디스플레이 디바이스는 뷰어의 좌 및 우측 눈에 홀수 및 짝수 서브-픽셀 열들의 광을 촬상하도록 하는 렌즈들의 어레이를 포함한다.
상술된 글래스-없는 디스플레이 디바이스들의 단점은 뷰어가 고정된 위치에 남아 있어야 한다는 것이다. 뷰어를 가이드하기 위하여, 지시자들은 우측 위치에 있는 뷰어를 나타내도록 제안된다. 예를 들어, 배리어 플레이트가 적색 및 녹색 레드(red and green led)와 결합되는 미국 특허 US5986804를 참조하라. 뷰어가 자리를 잘 잡은 경우에, 그는 녹색광 및 그렇치 않으면 적색광을 본다.
고정된 위치에 앉아있는 뷰어를 해제하기 위하여, 멀티-뷰 오토-스테레오스코픽 디스플레이 디바이스들이 제안되었다. 예를 들어, 미국 특허 US6064424를 참조하라. US6064424에 서술된 바와 같은 디스플레이 디바이스들에서, 경사진 렌티큘러(lenticular)가 사용되고, 렌티큘러의 폭은 2개의 서브 픽셀들보다 크다. 이 방식으로, 상호 인접한 여러개의 뷰들이 존재하고 이 뷰어는 좌 및 우로 이동하는데 어느정도 자유도를 갖는다.
오토-스테레오스코픽 디스플레이 디바이스들의 결점은 3-D 영상들 발생과 통합된 해상도 손실이다. 이들 디스플레이 디바이스들이 (2차원) 2-D 및 3-D 모드 간에, 즉 단일-뷰 모드 및 멀티-뷰 모드간에서 스위칭되는 것이 유용하다. 상대적으로 높은 해상도가 필요로 되면, 더 높은 해상도를 갖는 단일 뷰 모드로 스위칭할 수 있다.
이와 같은 스위칭가능한 디스플레이 디바이스의 일례는 1998년 SPIE 3295의 proceedings 에서 J.Eichenlaub가 발표한 "A lightweight compact 2-D/3-D auto stereoscopic LCD backlight for games, monitor and notebook applications"인 논문에 서술되어 있다. 스위칭가능한 디퓨저가 2-D 및 3-D 간에서 스위칭하도록 사용된다는 것이 개시되어 있다. 스위칭가능한 오토-스테레오스코픽 디스플레이의 또 다른 예는 LC 기반으로 한 렌즈들은 스위칭가능한 렌티큘러를 생성하도록 사용되는 WO2003015424에 서술되어 있다. 또한 US6069650을 참조하라.
3-D 영상들을 가시화하기 위하여, 디스플레이 디바이스는 적절한 영상 데이터가 제공되어야만 된다. 바람직하게는, 멀티-카메라 셋업은 3-D 영상들의 포착을 위하여 사용된다. 그러나, 많은 경우들에 정상적인 2-D 카메라들은 영상 데이터의 포착을 위하여 사용된다. 2-D 영상 데이터를 3-D 영상 데이터로 변환시키기 위한 여러 기술들이 존재한다. 전형적으로, 이들 기술들은 영상 컨텐트의 분석을 기반으로 한다. 그 후, 목적은 깊이 맵을 추정하기 위한 것이다. 깊이 맵은 장면내의 각 포인트에 대해서 카메라까지의 거리, 즉 뷰포인트를 포함한다. 이는 깊이 값들이 2-D 영상의 픽셀들에 대해 추정된다는 것을 의미한다. 예를 들어, 선명도(sharpness), 색, 휘도(luminance), 오브젝트들의 크기, 및 오브젝트들의 곡면들의 접합들 등과 같은 여러 큐들이 이 추정을 위하여 공지되었다.
전형적으로, 큰 깊이 값은 뷰포인트에 대해서 큰 거리에 대응한다. 이는 배경 오브젝트들이 전경 오브젝트들보다 큰 깊이 값들을 갖는다는 것을 의미한다.
2-D 입력 메시지에 속하는 깊이 맵이 계산되면, 다수의 영상들은 렌더링되며, 이들은 함께 3-D 영상 또는 멀티-뷰 영상을 형성한다. 이 렌더링은 전형적으로, 2-D 입력 영상의 변환들의 적용에 기초하여 디스플레이 디바이스를 구동시키는 각 구동 영상들을 계산하여 뷰들을 생성하고, 이 변환들은 추정된 깊이 맵에 기초한다. 다른 말로서, 이 렌더링은 하나 이상의 출력 영상들이 입력 영상 및 대응하는 깊이 맵에 기초하여 계산된다는 것을 의미한다.
전형적으로, 구동 영상들, 즉, 출력 영상들은 각 시프트(shift) 양들에 의해 입력 영상의 픽셀들을 공간적으로 시프팅함으로써 생성된다. 예를 들어, 1999년 11월 Computer Graphics, Vol 33. No. 4, pp61-64에 L.McMillan과 S.Gorthler가 발표한 "Image-Based Rendering: A New Interface Between Computer Vision and Computer Graphics"의 논문을 참조하라. 시프트들 양은 불일치들이라 칭한다. 전형적으로, 각 픽셀에 대해서, 대응하는 불일치 값이 존재함으로써, 불일치 맵을 함께 형성한다.
시프팅함으로써 구동 영상들을 생성하는 방법은 구동 영상들에서 일부 영역들의 영상 정보가 언커버링(uncovering)으로 인해 미지인 채로 남게 된다는 한계를 갖는다. 홀들은 깊이 스텝들에서 발생되고 홀의 크기는 깊이 스텝의 크기에 비례한다. 홀 내의 정보가 이용될 수 없기 때문에, 홀을 채우는 것은 추측되어진다.
Wan-Yu Chen 외의 논문, 명칭이 "Efficient Depth Image Based Rendering(DIBR) with Edge Dependent Depth Filter and Interpolation", Multimedia and Expo, 2005, ICME 2005, IEEE International Conference in Amsterdam, The Netherlands, pages 1314-1317, XP010843908, ISBN: 0-7803-9331-7은 홀을 채우는 문제를 해결하는 DIBR 방법에 관한 것이다.
Christopher Fehn의 논문, 명칭이 "Depth Image-Based Rendering, Compression and Transmission for a New Approach on 3D-TV", Stereoscopic displays and virtual reality systems XI, vol. 5291, 2004년 5월 31일, pages 93-104, XP002444222는 기존 2D 디지털 TV 프레임워크로 깊이 인지를 소개하는 시스템에 관한 것이다.
본 발명의 목적은 비엄폐(de-occlusion)에 의해 야기되는 상대적으로 적은 양의 가시적 아티팩트들(artifacts)로 서두에 서술된 종류의 출력 영상을 렌더링하는 방법을 제공하는 것이다.
본 발명의 이 목적은 다음 방법에 의해 성취되는데, 이 방법은:
- 소정의 방향으로 깊이와 관련된 데이터의 도함수들을 계산함으로써 깊이와 관련된 데이터의 매트릭스 내의 에지들을 계산하는 단계;
- 에지들의 이웃들에 대응하는 입력 영상의 영역들에서 픽셀값들의 변화의 측정치를 계산하는 단계로서, 상기 이웃들은 에지들의 배경측에 위치되는, 상기 계산 단계; 및
- 스케일링된 깊이와 관련된 데이터에 기초하여 소정의 방향으로 입력 영상의 각 픽셀 값들을 시프트시킴으로써 출력 영상을 계산하는 단계를 포함하고, 스케일링은 큰 변화 측정이 큰 깊이를 감소시키도록 한다.
본 발명가들은 홀들에 채움으로써 발생될 수 있는 아티팩트들의 가시성이 배경이 픽셀 값들의 변화에 관련된다는 것을 관찰하였다. 전형적으로, 픽셀 값들을 시프팅함으로써 생성되는 홀들은 배경의 픽셀값들로 채워진다. 다른 말로서, 배경의 픽셀값들은 홀들의 미지의/할당되지 않은 픽셀 값들에 대한 추정값들을 계산하도록 사용된다. 에지 근처의 배경의 픽셀 값들, 즉 깊이 스텝이 상호 실질적으로 동일하면, 홀로의 배경의 픽셀값들의 외삽(extrapolation)이 실제로 성가신 영상 아티팩트들을 유발하지 않는다. 그러나, 텍스쳐링된 배경의 경우에, 가시 왜곡들/아티팩트들은 배경 픽셀들이 홀을 채우도록 사용될 때 발생될 수 있다.
본 발명에 따른 방법에서, 깊이 효과는 배경 텍스쳐 변화가 상대적으로 높으면 감소되고, 즉, 변화의 측정치가 상대적으로 높으면 감소된다. 전형적으로, 깊이 관련 데이터의 매트릭스, 즉 깊이 맵은 스케일링된 깊이 맵으로 스케일링 되며, 이는 다음에 출력 영상의 계산을 위하여 적용된다. 대안적으로, 깊이 감소량은 스케일링된 깊이와 관련된 데이터로 깊이와 관련된 데이터를 명시적으로 스케일링함이 없이 픽셀값들을 시프팅하면서 암시적으로 고려된다.
변화의 측정의 계산을 위하여, 바람직하게는 배경에 속하는 픽셀 값들만이 사용된다. 배경에 대응하는 입력 영상 내의 영역들을 결정하고 결국 입력 영상 내의 어느 영역들이 전경에 대응하는 지를 결정하기 위하여, 깊이와 관련된 데이터의 매트릭스 내 에지들이 검출된다. 이 에지들은 배경 및 전경간에서 경계를 형성한다.
상기와 같이, 이웃들은 에지들의 배경측에 위치된다. 이는 이웃들이 에지들의 대향하는 측들에 위치되는 지역들보다 제 1 뷰포인트에 대해서 더 큰 깊이를 갖는 에지들의 각 제 1 측들에 위치된다는 것을 의미한다. 후자의 지역들은 전경에 속한다.
출력 영상의 뷰포인트, 즉 제 2 뷰포인트에 따르면, 변화의 측정의 계산을 위한 픽셀 값들의 세트가 결정된다. 제 1 뷰포인트에 대한 제 2 뷰포인트의 위치가 채워져야만 하는 비엄폐로 인한 전경 오브젝트의 어느 측상에서 홀이 발생되는지를 결정한다. 이는 스케일링 양의 감소가 존재하지 않으면 발생될 수 있는 변화의 측정의 계산, 즉 잠재적인 가시적 아티팩트들의 추정이 바람직하게는 비엄폐 지역들의 영역들의 픽셀들을 기초로 한다는 것을 의미한다. 이는 바람직하게는 배경의 픽셀 값들이 비엄폐 지역들에 대응하여 고려된다는 것을 의미한다.
그러므로, 본 발명에 따른 출력 영상을 렌더링하는 방법의 한 실시예에서, 상기 방법은:
제 2 뷰 포인트가 소정의 방향으로 제 1 뷰포인트의 양(positive)의 측상에 위치되면 깊이와 관련된 데이터의 더 많은 양의 도함수들이 음(negative)의 도함수들보다 깊이와 관련된 데이터의 매트릭스에서 에지들을 계산하기 위하여 사용되며;
제 2 뷰포인트가 소정의 방향으로 제 1 뷰포인트의 음의 측상에 위치되면 깊이와 관련된 데이터의 더 많은 양의 도함수들이 양의 도함수들보다 깊이와 관련된 데이터의 매트릭스에서 에지들을 계산하기 위하여 사용된다.
제 1 경우에, 출력 영상이 입력 영상의 뷰포인트로부터 우측인 뷰포인트에 대응하고 제 2 경우에 출력 영상이 입력 영상의 뷰포인트로부터 좌측인 뷰포인트에 대응한다. 이는 좌로부터 우까지 양이라고 간주된다는 것을 의미한다.
선택적인 에지 검출에 의해 입력 영상의 적절한 영역들은 변화의 측정치를 계산하기 위하여 선택된다.
깊이와 관련된 데이터의 매트릭스 내의 에지들을 계산하기 위하여 출력 영상을 렌더링하는 방법의 한 실시예에서, 각 도함수들의 크기들은 소정의 임계값보다 크다. 깊이 맵에서 단지 실질적인 스텝들만이 변화 측정의 계산을 위하여 고려된다는 것이 바람직하다.
출력 영상을 렌더링하는 방법의 한 실시예에서, 입력 영상의 영역들 중 특정 하나의 제 1 경계는 대응하는 에지에 기초하여 결정되고 대향하는 경계는 소정의 방향으로 제 1 경계로부터 소정수의 픽셀들에 위치된다. 바람직하게는, 픽셀들이 변화 측정의 계산을 위하여 선택되는 입력 영상에서 영역들은 선택된 에지들을 기초로 한다. 바람직하게는, 영역들의 형상들은 대응하는 에지의 형상에 대응한다.
본 발명의 또 다른 목적은 비엄폐에 의해 야기되는 상대적으로 낮은 가시적인 아티팩트들의 양의 결과를 나타내는 서두에 서술된 종류의 출력 영상을 렌더링하기 위한 영상 렌더링 유닛을 제공하는 것이다.
본 발명의 이 목적은 영상 렌더링 유닛이:
소정의 방향으로 깊이와 관련된 데이터의 도함수들을 계산함으로써 깊이와 관련된 데이터의 매트릭스에서 에지들을 계산하기 위한 제 1 계산 수단;
상기 에지들의 이웃들에 대응하는 입력 영상의 영역들에서 픽셀 값들의 변화의 측정치를 계산하는 제 2 계산 수단으로서, 상기 이웃들은 에지들의 배경측에 위치되는, 상기 제 2 계산 수단;
스케일링된 깊이와 관련된 데이터에 기초하여 소정의 방향으로 입력 영상의 각 픽셀 값들을 시프트시킴으로써 출력 영상을 계산하기 위한 제 3 계산 수단으로서, 스케일링은 큰 변화 측정이 큰 깊이 감소가 되도록 하는, 상기 제 3 계산 수단을 포함하는 것으로부터 달성된다.
영상 처리 장치에서 이와 같은 영상-렌더링 유닛을 적용하는 것이 유용하다. 전형적으로, 이와 같은 영상 처리 장치는 입력 영상을 기초로 한 다수의 출력 영상들을 디스플레이하고 또한 입력 영상을 선택적으로 디스플레이하기 위한 멀티-뷰 디스플레이 디바이스를 포함한다.
영상 렌더링 유닛 및 변화들에 대한 수정들은 서술되는 영상 처리 장치, 출력 영상을 렌더링하는 방법 및 컴퓨터 프로그램 제품의 수정들 및 변화들에 대응한다.
본 발명에 따른 영상 렌더링 유닛, 출력 영상을 렌더링하는 방법, 영상 처리 장치, 및 컴퓨터 프로그램 제품의 이들 및 다른 양상들은 이하에 서술된 구현방식들 및 실시예들과 첨부한 도면들과 관련하여 명백하게 될 것이다.
도 1은 디스플레이 디바이스에 연결된 본 발명에 따른 영상 렌더링 유닛의 한 실시예를 개요적으로 도시한 도면.
도 2는 입력 영상, 대응하는 깊이 맵 및 상기 입력 영상 및 깊이 맵을 기초로 한 출력 영상을 개요적으로 도시하고, 출력 영상이 입력 영상의 우측에 위치되는 뷰포인트에 대응하는 것을 도시한 도면.
도 3은 입력 영상, 대응하는 깊이 맵 및 상기 입력 영상 및 깊이 맵을 기초로 한 출력 영상을 개요적으로 도시하고, 출력 영상이 입력 영상의 좌측에 위치되는 뷰포인트에 대응하는 것을 도시한 도면.
도 4는 본 발명에 따른 영상 처리 장치를 개요적으로 도시한 도면.
도 5는 다수의 입력 영상들 및 대응하는 깊이 맵들을 도시한 도면.
도 6은 도 5의 입력 영상들에 기초하여 다수의 출력 영상들을 도시한 도면.
동일한 참조 번호들이 도면 전반에 걸쳐서 유사한 부품들을 표시하기 위해 사용된다.
도 1은 디스플레이 디바이스(120)에 연결되는 본 발명에 따른 영상-렌더링 유닛(100)의 한 실시예를 개요적으로 도시한다. 영상-렌더링 유닛(100)은 입력 영상 및 대응하는 깊이 맵에 기초하여 출력 영상들의 세트를 계산하도록 배열된다. 출력 영상들의 세트 및 전형적으로 또한 입력 영상들은 디스플레이 디바이스(120)에 제공된다. 이들 영상들 모두는 디스플레이 디바이스(120)를 구동하기 위한 구동 수단이다. 디스플레이 디바이스(120)는 서술되고 위에 언급된 3-D 디스플레이이다. 바람직하게는, 디스플레이 디바이스(120)는 소위 멀티-뷰 디스플레이이며, 이는 디스플레이 디바이스의 스크린에 대한 상호 다른 방향들로 다수의 뷰들을 투영하도록 배열된다. 상이한 방향들은 상이한 뷰포인트들에 대응하는데, 즉 구동 영상들로 나타내지는 화면이 관찰되는 여러 지점들에 대응한다.
영상-렌더링 유닛(100)은 영상-렌더링 유닛(100)에 입력 영상을 제공하기 위한 제 1 입력 커넥터(114)를 포함한다. 전형적으로, 입력 영상들의 시퀀스가 제공된다. 영상-렌더링 유닛(100)은 대응하는 깊이 맵을 영상-렌더링 유닛(100)에 제공하기 위한 제 2 입력 커넥터(110)를 포함한다. 전형적으로, 깊이 맵들의 시퀀스가 제공된다. 영상-렌더링 유닛은 렌더링될 출력 영상의 필요로 되는 뷰포인트를 나타내기 위한 제어 인터페이스를 더 포함한다.
영상-렌더링 유닛(100)은:
-소정의 방향으로 깊이 값들의 도함수들을 계산함으로써 깊이 맵에서 에지들을 검출하기 위한 에지 검출 유닛(104);
- 에지들의 이웃들에 대응하는 입력 영상의 영역들에 픽셀 값의 변화(116) 측정치를 계산하기 위한 텍스쳐 분석 유닛(102)으로서, 상기 이웃들은 에지들의 배경측에 위치되는 텍스쳐 분석 유닛;
- 깊이 맵을 계산된 변화 측정에 기초하여 스케일링된 깊이 맵으로 스케일링하기 위한 스케일링 유닛(106)으로서, 스케일링은 큰 변화 측정이 큰 깊이를 감소시키도록 하는, 스케일링 유닛;
-스케일링된 깊이 맵에 기초하여 소정의 방향으로 입력 영상의 각 픽셀 값들을 시프트시킴으로써 출력 영상을 계산하는 렌더링 유닛(108)을 포함한다.
에지 검출 유닛(104), 텍스쳐 분석 유닛(102), 스케일링 유닛(106) 및 렌더링 유닛(108)은 하나의 프로세서를 이용하여 구현될 수 있다. 통상적으로, 이들 기능들은 소프트웨어 프로그램 제품의 제어하에서 수행된다. 실행동안, 통상적으로 소프트웨어 프로그램 제품은 ROM, 하드 디스크, 또는 자기 및/또는 광학 저장장치와 같은 메모리로 로딩되거나 인터넷과 같은 네트워크를 통해서 로딩될 수 있다. 선택적으로, 주문형 집적 회로는 서술된 기능성을 제공한다.
에지 검출 유닛(104)은 깊이 맵에서 에지들을 검출하도록 배열된다. 전형적으로, 에지 검출은 깊이 맵의 이웃하는 데이터 요소들, 즉 이웃하는 깊이 값들 간의 차들을 계산함으로써 수행된다. 바람직하게는, 소정의 임계값 △보다 큰 이웃하는 깊이 값들 간의 절대 차들만이 고려된다. 전형적으로, 렌더링되는 입력 영상의 제 1 뷰포인트 및 출력 영상의 제 2 뷰포인트 간의 상호 관계에 대응하는 소정의 방향에서 깊이 값들의 도함수들 만이 계산된다. 검출된 에지들에 기초하여 그리고 바람직하게는 출력 영상의 뷰포인트에 기초하여, 입력 영상의 영역들은 변화의 측정치를 계산하기 위하여 결정된다. 이들 영역들에서 픽셀들은 픽셀 서브셋(Svp)를 형성한다. 첨자 (vp)는 픽셀 서브셋이 뷰포인트를 따른다는 것을 나타내기 위하여 사용된다. 도 2 및 도 3과 관련하여, 뷰포인트 및 영역들 간의 어떤 관계가 설명될 것이다.
텍스쳐-분석 유닛(102)은 서브셋(Svp)의 픽셀들의 변화의 측정치(Tvp)를 계산하도록 구성된다. 식 1은 변화의 측정 (Tvp)의 계산을 위한 한 실시예를 규정한다.
Figure 112008067705760-pct00001
여기서
Figure 112012012481766-pct00002
는 서브셋(Svp)의 픽셀들의 수, r(xk, yk)은 좌표들(xk, yk)을 갖는 픽셀 값의 적색 성분이며, g(xk, yk)는 좌표들(xk, yk)을 갖는 픽셀 값의 녹색 성분이며, b(xk, yk)는 좌표들 (xk, yk)을 갖는 픽셀 값의 청색 성분이고 k는 인덱스이다. 텍스쳐 측정치(Tvp)는 영역에 걸쳐서 평균화된, x 방향으로 한 픽셀로부터 다음 픽셀로의 입력 영상의 평균 수평 색 변화이다. 적색, 녹색, 청색 공간이 사용되지만, 입력 영상을 위한 또 다른 색 표현은 또한 작동한다. 대안적으로, 이 영역에서 픽셀들의 휘도 성분은 변화 측정의 계산을 위하여 고려된다.
이 영역은 연결된 영역이 될 필요가 없도록 스트레치되어야만 한다. 이는 변화의 측정치(Tvp)를 계산하기 위하여 픽셀들이 선택되는 입력 영상에 다수의 지역들이 존재한다는 것을 의미한다.
스케일링 유닛(106)은 깊이 맵을 스케일링된 깊이 맵으로 스케일링하도록 배열된다. 스케일링은 큰 변화의 측정치(Tvp)가 큰 깊이 감소가 되도록 한다. 전형적으로, 스케일링은 스케일링 팩터와의 승산이며, 이는 변화 측정 (Tvp)의 함수 f(Tvp)이다
Figure 112008067705760-pct00003
첨자 vp는 스케일링된 깊이가 뷰포인트에 좌우될 수 있다는 것을 나타내는데 사용된다. 전형적으로, 스케일링은 룩업 테이블(LUT)에 의해 구현된다. 대안적으로, 스케일링은 글로벌 스케일링이 아니라 깊이 맵의 로컬 스케일링이다.
렌더링 유닛(108)은 스케일링된 깊이 맵에 기초하여 소정의 방향으로 입력 영상의 각 픽셀 값들을 시프트시킴으로써 출력 영상을 계산하도록 구성된다. 예를 들어, 이 유형의 렌더링의 설명에 대해선 1999년 11월 Computer Graphics의 No. 4, Vol. 33에 L.McMillan and S.Gorthler가 발표한 "Image-Based Rendering: A New Interface Between Computer Vision and Computer Graphics"의 논문을 참조하라.
다음에, 도 2 및 3과 관련하여, 입력 영상(200)의 뷰포인트에 대한 각 출력 영상들(202, 302)이 뷰포인트들에 서브셋 (Svp)이 좌우된다는 것이 설명될 것이다. 입력 영상(200)는 센터 뷰에 대응하고 두개의 상이한 출력 영상들(202, 302)은 계산되어야만 한다라고 가정하자. 출력 영상들(202) 중 제 1 영상은 입력 영상(200)으로부터 우측으로 위치되고 출력 영상들(302)중 제 2 영상은 입력 영상(200)으로부터 좌측에 위치된다. 이는 출력 영상들(202) 중 제 1 영상의 뷰포인트가 x 방향에서 입력 영상의 뷰포인트의 양의 측에 위치되고 출력 영상들(302)의 제 2 영상의 뷰포인트가 x 방향에서 입력 영상(200)의 뷰포인트의 음의 측상에 위치된다는 것을 의미한다.
도 2는 입력 영상(200)에 기초하여 입력 영상(200), 대응하는 원래의 스케일링되지 않은 깊이 맵(204) 및 출력 영상들(202) 중 제 1 영상을 개요적으로 도시한다. 도 2는 전경에 위치된 오브젝트의 표현(206)을 도시하고 배경(208)을 도시한다. 도 2에서, 영역(210)은 또한 도시되어 있는데 이는 서브셋 (Svp)의 픽셀들에 대응한다. 깊이 맵(204)은 오브젝트(206)에 대응하는 깊이 값들의 제 1 세트(222) 및 배경에 대응하는 깊이 값들의 제 2 세트(224)을 갖는다. 깊이 맵(204)의 에지(212)는 이웃하는 값들 간의 스텝이 상대적으로 높고 양의 부호를 갖는 위치들에 위치된다. 에지(212)는 입력 영상(200)의 영역(210)의 경계들 중 하나에 대응한다. 영역(210)의 대응하는 경계는 소정의 방향(x)으로 제 1 경계로부터 소정수의 픽셀들(B)에 위치된다.
출력 영상들(202)중 제 1 영상은 입력 영상(200)에서 표시된 바와 동일한 오브젝트의 또 다른 표현(216)을 도시하지만 좌로 이동됨으로써, 시프트 양은 스케일링된 깊이 맵에 관련된다. 스케일링된 깊이 맵은 도 2에 도시되지 않는다. 스케일링된 깊이 맵은 깊이 맵(204)으로부터 유도된다.
출력 영상들(202)중 제 1 영상에 대해서, 홀들은 z(xi, yi)-z(xi,-1, yi)>0인경우 생성되는데, i는 인덱스이다. 출력 영상들(202)중 제 1 영상의 렌더링하기 위한 깊이 맵을 스케일하는데 필요로 되는 변화의 측정치(Tvp)의 계산을 위한 입력 영상(200)의 픽셀들의 서브셋(Svp)을 생성하면 0<xj-xi<B에 대한 선택하는 픽셀들(j)을 기초로 하는데, B는 크기의 깊이 변화까지의 거리이다.
z(xi, yi)-z(xi,-1, yi)>△
깊이 변화, 깊이 스텝 및 깊이 값들의 도함수는 동일한 개념의 상이한 항들이다.
도 3은 입력 영상을 기초로 한 입력 영상(200), 대응하는 원래, 즉 스케일링되지 않은 깊이 맵(204) 및 출력 영상들(302) 중 제 2 영상을 개요적으로 도시한다. 도 3은 전경에 위치된 오브젝트의 표현(206)을 도시하고 배경(208)을 도시한다. 도 2에서, 영역(310)이 또한 도시되어 있는데 이는 서브셋 (Svp)의 픽셀들에 대응한다. 깊이 맵(204)은 오브젝트(206)에 대응하는 깊이 값들의 제 1 세트(222) 및 배경에 대응하는 깊이 값들의 제 2 세트(224)를 갖는다. 깊이 맵(204)의 에지(212)는 이웃하는 값들 간의 스텝이 상대적으로 높고 음의 부호를 갖는 위치들에 위치된다. 에지(312)는 입력 영상(200)의 영역(310)의 경계들 중 하나에 대응한다. 영역(210)의 대응하는 경계는 소정의 방향(x)에 대해 반대인 제 1 경계로부터 소정수의 픽셀들(B)에 위치된다.
출력 영상들(302)중 제 2 영상은 입력 영상(200)에 표시된 바와 동일한 오브젝트의 또 다른 표현(216)을 도시하지만 좌로 이동됨으로써, 시프트 양은 스케일링된 깊이 맵에 관련된다. 스케일링된 깊이 맵은 도 3에 도시되지 않는다. 스케일링된 깊이 맵은 깊이 맵(204)으로부터 유도된다.
출력 영상들(302)중 제 2 영상에 대해서, 홀들은 z(xi,-1, yi)-z(xi, yi)>0인경우 생성되는데, i는 인덱스이다. 출력 영상들(302)중 제 2 영상을 렌더링하기 위한 깊이 맵을 스케일하는데 필요로 되는 변화의 측정치(Tvp)의 계산을 위한 입력 영상(200)의 픽셀들의 서브셋(Svp)을 생성하면 0<xj-xi<B에 대한 선택하는 픽셀들(j)을 기초로 하는데, B는 크기의 깊이 변화까지의 거리이다.
z(xi,-1, yi)-z(xi, yi)>△
전형적으로, 출력 영상들(202) 중 제 1 영상에 대한 스케일링된 깊이 값들 및 출력 영상들(302) 중 제 2 출력에 대한 각 스케일링된 깊이 값들이 상호 상이하다는 것이 명백할 것이다.
Figure 112008067705760-pct00004
단일 입력 영상을 기초로 구동 영상들의 세트는 9개의 뷰 디스플레이 디바이스를 위하여 생성됨으로써, 입력 영상이 구동 영상들의 세트의 중앙 영상에 대응하다고 가정하자. 중앙 뷰로부터 우측에 위치되는 각 뷰포인트들을 갖는 4개의 구동 영상들 중 제 1 서브셋이 존재하고 중앙 뷰로부터 좌측에 위치되는 각 뷰포인트들을 갖는 4개의 구동 영상들의 제 2 서브셋이 존재한다. 이 경우에, 제 1 서브셋에 대해서,
Figure 112012012481766-pct00005
이 사용되고 이 제 2 서브셋에 대해서
Figure 112012012481766-pct00006
이 사용된다는 것이 바람직하다.
도 4는 본 발명에 따른 영상 처리 장치(400)를 개요적으로 도시한다. 상기 장치는:
-신호 표시 입력 이미지들을 수신하고 대응하는 깊이 맵들을 선택적으로 수신하기 위한 수신 수단으로서, 대안적으로, 영상 처리 장치는 수신된 입력 영상들에 기초하여 깊이 맵들 그 자체를 계산하도록 배열되는 수신 수단;
-도 1과 관련하여 서술된 영상 렌더링 유닛(100);
- 영상 렌더링 유닛(100)의 출력 영상들을 디스플레이하고 바람직하게는 영상들과 함께 입력 영상들을 표시하기 위한 디스플레이 디바이스(120)을 포함한다.
신호는 안테나 또는 케이블을 통해서 수신된 방송 신호일 수 있지만, 비디오 카세트 레코더(VCR) 또는 디지털 비디오 디스크(DVD)와 같은 저장 장치로부터의 신호일 수 있다. 신호는 입력 커넥터(410)에 제공된다. 영상 처리 장치(400)는 예를 들어 TV일 수 있다. 대안적으로, 영상 처리 장치(400)는 선택적인 디스플레이 장치를 포함하지 않지만 출력 영상들을 디스플레이 디바이스(120)를 포함하는 장치로 제공한다. 그 후, 영상 처리 장치(400)는 예를 들어 셋톱 박스, 위상-튜너, VCR 플레이어, DVD 플레이어 또는 레코더일 수 있다. 선택적으로, 영상 처리 장치(400)는 하드 디스크 또는 착탈식 매체, 예를 들어, 광학 디스크들 상에 저장 수단과 같은 저장 수단을 포함한다. 영상 처리 장치(400)는 또한 필름-스튜디오 또는 브로드캐스터에 의해 적용되는 시스템일 수 있다.
도 5는 다수의 입력 영상들(502-508) 및 대응하는 깊이 맵들(512-518) 각각을 도시한다. 입력 수단(502-508) 모두는 배경 앞에서 사과를 표시한다. 입력 영상들(502-508)간의 주요한 차이는 배경이다. 사과의 위치는 또 다른 차이가 있지만 이는 본 명세서의 내용과 관련되지 않는다. 변화의 측정에 의해 정량화될 수 있는 배경에서 텍스쳐의 양은 상이하다.
깊이 맵들(512-518)의 그레이 값들은 깊이 값들을 표시한다.
도 6은 도 5의 입력 영상들(502-508)에 기초하여 다수의 출력 영상들(602-608, 622-628)을 도시한다. 좌측 열은 도 5에 도시된 바와 같은 원래 스케일링되지 않은 깊이 맵들에 의해 계산되는 각 입력 영상들(502-508)의 출력 영상들(602-608)을 도시한다. 특히, 참조 번호들(604 및 606)로 표시된 출력 영상들은 사과의 우측에서 명백한 아티팩트들을 도시한다. 이들 아티팩트들은 특히 상대적으로 큰 텍스쳐 양 때문에 가시화될 수 있다.
중간 열은 스케일링된 깊이 맵들(612-618)을 도시한다. 그레이 값들은 깊이 값들을 표시한다. 참조 번호(612)와 관련된 도 6에 도시된 스케일링된 깊이 맵의 그레이값들을 참조 번호 (512)와 관련된 도 5에 도시된 원래 깊이 맵의 그레이 값들과 비교함으로써, 상기 깊이 맵들은 실질적으로 서로 동일하다는 것을 알 수 있다. 이는 대응하는 입력 영상(502)의 배경이 실질적으로 균일하기 때문에 놀라운 것은 아니다. 그러나, 참조 번호(616)와 관련된 도 6에 도시된 스케일링된 깊이 맵의 그레이값들을 참조 번호 (516)와 관련된 도 5에 도시된 원래 깊이 맵의 그레이 값들과 비교함으로써, 상기 후자의 깊이 맵들은 실질적으로 서로 동일하다는 것을 알 수 있다. 이는 깊이 값들의 동적 범위가 강하게 감소된다는 것을 의미한다. 상대적으로 많은 양의 텍스쳐는 다음과 같은 이유이다.
우측 열은 스케일링된 깊이 맵들(612-618) 각각에 기초하여 렌더링되는 출력 영상들(622-628)을 도시한다. 도 6에 도시된 바와 같이, 특히 제 2 및 제 3 로우에서, 아티팩트들 양은 강하게 감소된다. 아티팩트들의 양의 이 감소를 위한 가격은 깊이 인식의 감소이다.
도 1 내지 도 6과 관련하여 서술된 바와 같은 본 발명에 따른 실시예들에서, 깊이는 장면에서 뷰포인트 및 포인트간의 물리적 거리의 측정으로서 규정된다. 청구범위들은 이 명세서를 기반으로 해석되어야 한다. 대안적인 양들은 깊이를 표현하도록 사용될 수 있다는 것이 명백할 것이다. 예를 들어, 깊이는 카메라로부터 가장 멀리 떨어진 장면에서 특정 포인트로부터 거리로서 표현될 수 있다. 이는 배경이 상대적으로 낮은 깊이를 갖고 전경이 상대적으로 높은 깊이를 갖는다는 것을 의미한다. 거리의 역과 같은 깊이에 대한 대안적인 양들이 또한 사용될 수 있다. 이들 경우들에, 크고 감소되는 것과 같은 단어들은 작고 크게 각각으로 대체될 수 있다.
상술된 실시예들은 본 발명을 제한하는 것이 아니라 설명하기 위한 것이고 당업자는 첨부된 청구범위들로부터 벗어남이 없이 대안적인 실시예들을 설계하도록 할 수 있다는 점에 유의하라. 청구범위들에서, 괄호들간에 배치된 임의의 참조 부호들은 청구범위를 제한하는 것으로서 해석되지 않을 것이다. 단어 "포함하는"은 청구범위에 열거되지 않은 요소들 또는 단계들의 존재를 배제하지 않는다. 요소앞의 단어 "하나(a)" 또는 "하나(an)"은 다수의 이와 같은 요소들의 존재를 배제하지 않는다. 본 발명은 여러 별개의 요소들을 포함하는 하드웨어 및 적절한 프로그램된 컴퓨터에 의해 구현될 수 있다. 여러 수단을 열거하는 단위 청구범위들에서, 여러 이들 수단은 하드웨어 또는 소프트웨어의 동일한 항목에 의해 구현될 수 있다. 단어들, 제 1, 제 2 및 제 3 등의 사용은 임의의 순서를 표시하지 않는다. 이들 단어들은 명명한 것들로서 해석되어야 한다. 특별히 지적되지 않는한 작용들의 특정 순서가 필요로 되지 않는다.

Claims (9)

  1. 입력 영상(200) 및 깊이와 관련된 데이터(204)의 대응하는 매트릭스(matrix)에 기초하여 출력 영상(202)을 렌더링(rendering)하는 방법으로서, 상기 입력 영상(200)은 제 1 뷰포인트(viewpoint)에 대응하고 상기 출력 영상(202)은 상기 제 1 뷰포인트와 상이한 제 2 뷰포인트에 대응하는, 상기 출력 영상(202)을 렌더링하는 방법에 있어서,
    수평 방향(X)으로 상기 깊이와 관련된 데이터의 도함수들을 계산함으로써 상기 깊이와 관련된 데이터(204)의 매트릭스에서의 에지들(212, 312)를 계산하는 단계;
    상기 에지들(212, 312)의 이웃들에 대응하는 상기 입력 영상(200)의 영역들(210, 310)에서 픽셀값들의 텍스쳐 변화의 측정치를 계산하는 단계로서, 상기 이웃들은 상기 깊이와 관련된 데이터(204)의 매트릭스에서의 상기 에지들(212, 312)의 배경측에 위치되는, 상기 변화의 측정치를 계산하는 단계; 및
    상기 깊이와 관련된 데이터(204)의 매트릭스를 스케일링하고, 상기 스케일링된 깊이와 관련된 데이터에 기초하여 상기 수평 방향(X)으로 상기 입력 영상(200)의 각 픽셀 값들을 시프트(shift)시킴으로써 상기 출력 영상(202)을 계산하는 단계로서, 스케일링은 큰 텍스쳐 변화의 측정치가 큰 깊이의 감소를 초래하게 하는, 상기 스케일링 및 계산 단계를 포함하는, 출력 영상(202)을 렌더링하는 방법.
  2. 제 1 항에 있어서, 상기 깊이와 관련된 데이터(204)의 매트릭스에서의 상기 에지들(212, 312)를 계산하기 위하여,
    상기 수평 방향(X)에서 상기 제 2 뷰포인트가 상기 제 1 뷰포인트의 양(positive)의 측에 위치되면, 상기 깊이와 관련된 데이터의 양의 도함수들이 음(negative)의 도함수들보다 더 사용되며;
    상기 수평 방향(X)에서 상기 제 2 뷰포인트가 상기 제 1 뷰포인트의 음의 측에 위치되면, 상기 깊이와 관련된 데이터의 음의 도함수들이 양의 도함수들보다 더 사용되는, 출력 영상(202)을 렌더링하는 방법.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 깊이와 관련된 데이터(204)의 매트릭스에서의 상기 에지들(212, 312)을 계산하기 위하여, 각 도함수들의 크기들은 소정의 임계값보다 더 크도록 요구되는, 출력 영상(202)을 렌더링하는 방법.
  4. 제 1 항 또는 제 2 항에 있어서, 상기 입력 영상(200)의 영역들(210, 310) 중 특정한 한 영역의 제 1 경계는 대응하는 에지에 기초하여 결정되고 대향하는(opposite) 경계는 상기 수평 방향(X)에서 상기 제 1 경계로부터 소정의 수의 픽셀들에 위치되는, 출력 영상(202)을 렌더링하는 방법.
  5. 제 1 항 또는 제 2 항에 있어서, 상기 스케일링은 상기 입력 영상에서 전체적으로(globally) 수행되는, 출력 영상(202)을 렌더링하는 방법.
  6. 제 1 항 또는 제 2 항에 있어서, 상기 스케일링은 국부적으로(locally) 계산된 텍스쳐 변화의 측정치에 의존하여 상기 입력 영상에서 국부적으로 수행되는, 출력 영상(202)을 렌더링하는 방법.
  7. 입력 영상(200) 및 깊이와 관련된 데이터(204)의 대응하는 매트릭스에 기초하여 출력 영상(202)을 렌더링하는 영상 렌더링 유닛으로서, 상기 입력 영상(200)은 제 1 뷰포인트에 대응하고 상기 출력 영상(202)은 상기 제 1 뷰포인트와 상이한 제 2 뷰포인트에 대응하는, 상기 출력 영상(202)을 렌더링하는 영상 렌더링 유닛에 있어서,
    수평 방향(X)으로 상기 깊이와 관련된 데이터의 도함수들을 계산함으로써, 상기 깊이와 관련된 데이터(204)의 매트릭스에서의 에지들(212, 312)을 계산하기 위한 제 1 계산 수단(104);
    상기 에지들(212, 312)의 이웃들에 대응하는 상기 입력 영상(200)의 영역들(210, 310)에서의 픽셀 값들의 텍스쳐 변화의 측정치를 계산하기 위한 제 2 계산 수단(102)으로서, 상기 이웃들은 상기 깊이와 관련된 데이터(204)의 매트릭스에서의 상기 에지들(212, 312)의 배경측에 위치되는, 상기 텍스쳐 변화의 측정치를 계산하기 위한 제 2 계산 수단(102); 및
    상기 깊이와 관련된 데이터(204)의 매트릭스를 스케일링하고, 상기 스케일링된 깊이와 관련된 데이터에 기초하여 상기 수평 방향(X)으로 상기 입력 영상(200)의 각 픽셀 값들을 시프트시킴으로써 상기 출력 영상(202)을 계산하기 위한 제 3 계산 수단(108)으로서, 스케일링은 큰 텍스쳐 변화의 측정치가 큰 깊이의 감소를 초래하게 하는, 상기 출력 영상(202)을 계산하기 위한 제 3 계산 수단(108) 포함하는, 출력 영상(202)을 렌더링하는 영상 렌더링 유닛.
  8. 영상 처리 장치에 있어서,
    입력 영상(200) 및 깊이와 관련된 데이터(204)의 대응하는 매트릭스를 수신하기 위한 수신 수단; 및
    제 5 항에 따른, 상기 입력 영상(200) 및 상기 깊이와 관련된 데이터(204)의 대응하는 매트릭스에 기초하여 출력 영상(202)을 렌더링 방법을 수행하기 위한 영상 렌더링 유닛을 포함하는, 영상 처리 장치.
  9. 입력 영상(200) 및 깊이와 관련된 데이터(204)의 대응하는 매트릭스에 기초하여 출력 영상(202)을 계산하도록 하는 명령들을 포함하는, 컴퓨터 장치에 의해 로딩될 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 매체로서, 상기 입력 영상(200)은 제 1 뷰포인트에 대응하고 상기 출력 영상(202)은 상기 제 1 뷰포인트와 상이한 제 2 뷰포인트에 대응하고, 상기 컴퓨터 장치는 프로세싱 수단 및 메모리를 포함하고, 상기 컴퓨터 프로그램은, 로딩된 후, 상기 프로세싱 수단에:
    수평 방향(X)에서 상기 깊이와 관련된 데이터의 도함수들을 계산함으로써 상기 깊이와 관련된 데이터(204)의 매트릭스에서의 에지들(212, 312)을 계산하는 단계;
    상기 에지들(212, 312)의 이웃들에 대응하는 상기 입력 영상(200)의 영역들(210, 310)에서의 픽셀 값들의 텍스쳐 변화의 측정치를 계산하는 단계로서, 상기 이웃들은 상기 깊이와 관련된 데이터(204)의 매트릭스에서의 상기 에지들(212, 312)의 배경측에 위치되는, 상기 변화의 측정치를 계산하는 단계; 및
    상기 깊이와 관련된 데이터(204)의 매트릭스를 스케일링하고, 스케일링된 깊이와 관련된 데이터에 기초하여 상기 수평 방향(X)으로 상기 입력 영상(200)의 각 픽셀 값들을 시프트시킴으로써 상기 출력 영상(202)을 계산하는 단계로서, 스케일링은 큰 텍스쳐 변화의 측정치가 큰 깊이의 감소를 초래하게 하는, 상기 스케일링 및 계산 단계를 실행하도록 하는 능력을 제공하는, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능한 매체.
KR1020087023542A 2006-02-27 2007-02-16 출력 영상 렌더링 KR101345364B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06110455.0 2006-02-27
EP06110455 2006-02-27
PCT/IB2007/050515 WO2007096816A2 (en) 2006-02-27 2007-02-16 Rendering an output image

Publications (2)

Publication Number Publication Date
KR20080108489A KR20080108489A (ko) 2008-12-15
KR101345364B1 true KR101345364B1 (ko) 2013-12-30

Family

ID=38223982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087023542A KR101345364B1 (ko) 2006-02-27 2007-02-16 출력 영상 렌더링

Country Status (6)

Country Link
US (1) US8253740B2 (ko)
EP (1) EP1991963B1 (ko)
JP (1) JP5011316B2 (ko)
KR (1) KR101345364B1 (ko)
CN (1) CN101390131B (ko)
WO (1) WO2007096816A2 (ko)

Families Citing this family (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8082289B2 (en) * 2006-06-13 2011-12-20 Advanced Cluster Systems, Inc. Cluster computing support for application programs
KR101367284B1 (ko) * 2008-01-28 2014-02-26 삼성전자주식회사 시점 변화에 따른 영상 복원 방법 및 장치
BRPI0822142A2 (pt) 2008-01-29 2015-06-30 Thomson Licensing Método e sistema para converter dados de imagem em 2d para dados de imagem estereoscópica
CN102165496B (zh) * 2008-09-25 2014-08-13 皇家飞利浦电子股份有限公司 三维图像数据处理
US8339441B2 (en) * 2008-12-26 2012-12-25 Kabushiki Kaisha Toshiba Frame processing device, television receiving apparatus and frame processing method
CN101789235B (zh) * 2009-01-22 2011-12-28 华为终端有限公司 一种图像处理方法及装置
CN105657405B (zh) * 2009-02-19 2018-06-26 汤姆逊许可证公司 3d视频格式
GB2467932A (en) * 2009-02-19 2010-08-25 Sony Corp Image processing device and method
JP5663857B2 (ja) * 2009-10-08 2015-02-04 株式会社ニコン 画像表示装置および画像表示方法
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
JP5728673B2 (ja) * 2010-02-19 2015-06-03 デュアル・アパーチャー・インターナショナル・カンパニー・リミテッド 多開口画像データの処理
US9495751B2 (en) 2010-02-19 2016-11-15 Dual Aperture International Co. Ltd. Processing multi-aperture image data
KR101155227B1 (ko) * 2010-06-04 2012-06-13 중앙대학교 산학협력단 원 영상의 형태 방향 정보를 반영한 영상 변환 장치 및 방법
KR101385514B1 (ko) * 2010-06-08 2014-04-16 주식회사 에스칩스 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
JP5627498B2 (ja) * 2010-07-08 2014-11-19 株式会社東芝 立体画像生成装置及び方法
EP2596475B1 (en) * 2010-07-19 2019-01-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Filling disocclusions in a virtual view
US9865083B2 (en) 2010-11-03 2018-01-09 Industrial Technology Research Institute Apparatus and method for inpainting three-dimensional stereoscopic image
TWI492186B (zh) * 2010-11-03 2015-07-11 Ind Tech Res Inst 修補三維立體影像之裝置及方法
EP2451164B1 (en) * 2010-11-08 2017-05-03 Telefonaktiebolaget LM Ericsson (publ) Improved view synthesis
KR101764424B1 (ko) * 2010-11-08 2017-08-14 삼성전자주식회사 영상 데이터 검색 방법 및 장치
KR20120059367A (ko) * 2010-11-30 2012-06-08 삼성전자주식회사 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
US20130286010A1 (en) * 2011-01-30 2013-10-31 Nokia Corporation Method, Apparatus and Computer Program Product for Three-Dimensional Stereo Display
US9483836B2 (en) * 2011-02-28 2016-11-01 Sony Corporation Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content
JP2014112749A (ja) * 2011-03-18 2014-06-19 Sharp Corp 画像符号化装置および画像復号装置
US8681182B2 (en) 2011-04-19 2014-03-25 Deluxe 3D Llc Alternate viewpoint rendering
CN102985952B (zh) * 2011-05-12 2016-06-22 松下知识产权经营株式会社 图像生成装置及图像生成方法
US20120293489A1 (en) * 2011-05-20 2012-11-22 Himax Technologies Limited Nonlinear depth remapping system and method thereof
EP2533212A1 (en) * 2011-06-10 2012-12-12 Samsung Electronics Co., Ltd. Reference layer for hole recovery within an output image.
WO2013005365A1 (ja) * 2011-07-01 2013-01-10 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路
US9300946B2 (en) 2011-07-08 2016-03-29 Personify, Inc. System and method for generating a depth map and fusing images from a camera array
JP5983935B2 (ja) 2011-11-30 2016-09-06 パナソニックＩｐマネジメント株式会社 新視点画像生成装置および新視点画像生成方法
TW201325200A (zh) * 2011-12-02 2013-06-16 Ind Tech Res Inst 三維視訊的景深圖的壓縮方法、裝置、電腦可讀取記錄媒體及電腦程式產品
CA2861868A1 (en) * 2012-01-25 2013-08-01 Lumenco, Llc Conversion of a digital stereo image into multiple views with parallax for 3d viewing without glasses
KR20140016735A (ko) * 2012-07-31 2014-02-10 삼성전자주식회사 3ｄ 영상 변환 방법 및 이를 적용한 디스플레이 장치
US10510179B2 (en) 2013-02-12 2019-12-17 Thomson Licensing Method and device for enriching the content of a depth map
US20140368425A1 (en) * 2013-06-12 2014-12-18 Wes A. Nagara Adjusting a transparent display with an image capturing device
CN104463784B (zh) * 2014-11-04 2017-07-04 上海爱福窝云技术有限公司 一种2.5d模型的缩放方法
WO2016071374A1 (en) * 2014-11-06 2016-05-12 Koninklijke Philips N.V. Computed tomography system
US9948913B2 (en) * 2014-12-24 2018-04-17 Samsung Electronics Co., Ltd. Image processing method and apparatus for processing an image pair
US10349491B2 (en) 2015-01-19 2019-07-09 Tetra Tech, Inc. Light emission power control apparatus and method
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
JP6512575B2 (ja) * 2015-03-03 2019-05-15 芳隆 大吉 三次元形状情報の配信または放送の方法
CN104935910B (zh) * 2015-06-03 2017-10-17 青岛海信电器股份有限公司 一种三维图像矫正的方法及设备
EP3285232B1 (en) 2016-07-04 2019-01-23 Beijing Qingying Machine Visual Technology Co., Ltd. Method for matching feature points of planar array of four-phase unit and measurement method on basis thereof
DE102018206848A1 (de) * 2018-05-03 2019-11-07 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Tiefeninformationsbilds aus einem Eingangsbild
US11393113B2 (en) 2019-02-28 2022-07-19 Dolby Laboratories Licensing Corporation Hole filling for depth image based rendering
US11670039B2 (en) * 2019-03-04 2023-06-06 Dolby Laboratories Licensing Corporation Temporal hole filling for depth image based video rendering

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040041083A (ko) * 2001-07-13 2004-05-13 가부시키가이샤 소니 컴퓨터 엔터테인먼트 렌더링 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3826236B2 (ja) * 1995-05-08 2006-09-27 松下電器産業株式会社 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置
AUPN732395A0 (en) * 1995-12-22 1996-01-25 Xenotech Research Pty Ltd Image conversion and encoding techniques
US6064424A (en) 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
JP3443272B2 (ja) 1996-05-10 2003-09-02 三洋電機株式会社 立体映像表示装置
GB9623682D0 (en) 1996-11-14 1997-01-08 Philips Electronics Nv Autostereoscopic display apparatus
AU5652700A (en) * 1999-09-24 2001-03-29 Nintendo Co., Ltd. Method and apparatus for providing non-photorealistic cartoon outlining within a 3D vodeographic system
WO2002027667A1 (en) * 2000-09-14 2002-04-04 Orasee Corp. Method for automated two-dimensional and three-dimensional conversion
GB0119176D0 (en) 2001-08-06 2001-09-26 Ocuity Ltd Optical switching apparatus
WO2003058556A1 (en) * 2002-01-07 2003-07-17 Koninklijke Philips Electronics N.V. Method of and scaling unit for scaling a three-dimensional model and display apparatus
KR100727513B1 (ko) * 2002-12-16 2007-06-14 산요덴키가부시키가이샤 입체 영상 생성 장치 및 입체 영상 배신 방법
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
CN1723476A (zh) * 2003-01-06 2006-01-18 皇家飞利浦电子股份有限公司 用于数字图像的深度排序的方法和设备
EP1587329B1 (en) * 2003-01-20 2015-04-15 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
US7321669B2 (en) * 2003-07-10 2008-01-22 Sarnoff Corporation Method and apparatus for refining target position and size estimates using image and depth data
CN1830217B (zh) * 2003-08-05 2010-06-09 皇家飞利浦电子股份有限公司 多视图图像产生
EP1671276B1 (en) 2003-09-30 2007-09-05 Koninklijke Philips Electronics N.V. Image rendering with interactive motion parallax
KR101163020B1 (ko) * 2003-12-19 2012-07-09 코닌클리케 필립스 일렉트로닉스 엔.브이. ３차원 모델을 스케일링하는 방법 및 스케일링 유닛
CN1930585B (zh) * 2004-03-12 2013-01-30 皇家飞利浦电子股份有限公司 建立深度图
ATE504897T1 (de) * 2004-10-26 2011-04-15 Koninkl Philips Electronics Nv Disparitätskarte
WO2006075304A2 (en) * 2005-01-12 2006-07-20 Koninklijke Philips Electronics N.V. Depth perception

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040041083A (ko) * 2001-07-13 2004-05-13 가부시키가이샤 소니 컴퓨터 엔터테인먼트 렌더링 방법

Also Published As

Publication number Publication date
US8253740B2 (en) 2012-08-28
JP5011316B2 (ja) 2012-08-29
WO2007096816A2 (en) 2007-08-30
KR20080108489A (ko) 2008-12-15
CN101390131A (zh) 2009-03-18
JP2009528587A (ja) 2009-08-06
WO2007096816A3 (en) 2007-11-01
CN101390131B (zh) 2013-03-13
EP1991963B1 (en) 2019-07-03
EP1991963A2 (en) 2008-11-19
US20090115780A1 (en) 2009-05-07

Similar Documents

Publication Publication Date Title
KR101345364B1 (ko) 출력 영상 렌더링
EP1839267B1 (en) Depth perception
JP4762994B2 (ja) 視差マップ
JP5150255B2 (ja) ビューモードの検出
US9036015B2 (en) Rendering views for a multi-view display device
JP5406269B2 (ja) 奥行き検知装置及び方法
EP1897056B1 (en) Combined exchange of image and related data
US9270981B2 (en) Apparatus and method for adaptively rendering subpixel
US8902284B2 (en) Detection of view mode

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161209

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191220

Year of fee payment: 7