KR20110090958A - 이미지 속성들에 대한 오클루젼 데이터의 생성 - Google Patents
이미지 속성들에 대한 오클루젼 데이터의 생성 Download PDFInfo
- Publication number
- KR20110090958A KR20110090958A KR1020117011992A KR20117011992A KR20110090958A KR 20110090958 A KR20110090958 A KR 20110090958A KR 1020117011992 A KR1020117011992 A KR 1020117011992A KR 20117011992 A KR20117011992 A KR 20117011992A KR 20110090958 A KR20110090958 A KR 20110090958A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- occlusion
- image property
- map
- property map
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 70
- 230000004044 response Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 8
- 239000010410 layer Substances 0.000 description 18
- 238000009877 rendering Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000002356 single layer Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011960 computer-aided design Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/40—Hidden part removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Generation (AREA)
Abstract
3차원 장면을 위해 오클루젼(occlusion) 뷰 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법이 제공된다. 오클루젼 이미지 속성 맵은 오클루젼 뷰잉 위치로부터 가려진 적어도 몇몇의 이미지 속성 값들을 포함한다. 방법은 뷰 위치의 함수로서 3차원 장면을 나타내는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 알고리즘을 이용한다. 방법은 이들 위치에 대해 알고리즘을 실행함으로써 서로 다른 뷰 위치들에 대한 이미지 속성 맵을 생성한다(701, 703). 오클루젼 이미지 속성 맵은 서로 다른 뷰 위치들의 이미지 속성 맵들로부터 생성된다(705). 구체적으로, 이미지 속성 맵들은 일부 예들에서는 오클루젼 뷰잉 위치로 이동될 수 있고, 이어서 오클루젼 이미지 속성 맵의 데이터는 가장 앞쪽에 화소(모든 화소들이 동일 깊이를 갖지 않는 한)에 대응하지 않는 이동된 이미지 속성 맵들로부터 화소로서 선택된다.
Description
본 발명은 이미지 속성들에 대한 오클루젼 데이터의 생성에 관한 것으로, 특히 3차원 이미지 데이터의 층상(layered) 표현에 대한 오클루젼(occlusion) 이미지의 생성에만 관한 것은 아니지만 이에 관한 것이다.
3차원 디스플레이들은 증가하는 관심을 받고 있고 뷰어에게 3차원 인식을 제공하는 방법에 대해 상당한 연구를 하고 있다. 3차원(3D) 디스플레이들은 보게되는 장면의 서로 다른 뷰들을 뷰어의 양눈에 제공함으로써 뷰 경험에 제 3의 차원을 추가한다. 이것은 디스플레이되는 2개의 뷰들을 분리하기 위해 이용자가 안경을 착용함으로써 달성될 수 있다. 그러나, 안경은 이용자에게 불편한 것으로 여겨질 수 있기 때문에, 많은 상황들에서 디스플레이에 뷰들을 분리하여 이들을 이용자의 양눈에 도달할 수 있는 서로 다른 방향들로 보내기 위한 위한 수단(이를테면 렌티큘라 렌즈, 또는 배리어들)을 이용하는 오토스테레오스코픽 디스플레이들을 이용하는 것이 바람직하다. 스테레오 디스플레이들에 있어서는 2개의 뷰들이 필요하나 오토스테레오스코픽 디스플레이들은 전형적으로 더 많은 뷰들(예를 들면, 9개의 뷰들과 같은)을 필요로 한다.
3D 표현을 효과적으로 지원하기 위해서는 생성된 3D 콘텐트의 적합한 데이터 표현이 이용되는 것이 중요하다. 예를 들면, 서로 다른 스테레오 디스플레이들에 있어서 두 개의 뷰들은 반드시 동일한 것은 아니며 최적의 뷰 경험은 전형적으로 콘텐트 데이터를 화면 크기와 뷰어 거리와의 특별한 조합에 맞게 맞출 것을 요구한다. 이러한 고찰들은 오토스테레오스코픽 디스플레이들에도 적용된다.
3차원 이미지들을 표현하기 위한 일반적인 방법은 하나 이상의 층으로 된 2차원 이미지들과 깊이 표현을 이용하는 것이다. 예를 들면, 각각이 깊이 정보에 연관된 전경 및 배경 미미지를 3차원 장면을 표현하기 위해 이용할 수 있다.
이러한 수법은 3차원 뷰들이 비교적 저 복잡성으로 생성될 수 있게 하고 효율적인 데이터 표현을 제공하여 예를 들면, 3차원 이미지(및 비디오) 신호들에 대한 저장 및 통신 요건들을 감소시키는 것을 포함한 다수의 잇점들을 제공한다. 또한, 이 수법은 3차원 표현에 포함되는 2차원 이미지들과는 다른 뷰포인트들 및 뷰 각도들의 2차원 이미지들이 생성될 수 있게 한다. 또한, 표현은 예를 들면, 5, 9 또는 15와 같은 상이한 개수의 뷰들을 가진 서로 다른 디스플레이 구성들에 맞게 용이하게 수정되어 이들을 지원할 수 있다.
층상 이미지들에 의해 표현된 것과는 다른 뷰 각도로부터 뷰를 렌더링할 때, 전경 화소들은 이들의 깊이에 따라 옮겨진다. 이에 따라 원래의 뷰 각도에 대해 가려진 영역들이 보여지게 된다(즉, 카메라/뷰 위치가 일측으로 전환/이동된다). 이들 영역들은 배경 층을 이용함으로써, 또는 적합한 배경 층 데이터가 얻어질 수 없다면 전경 이미지의 화소들을 반복함으로써 채워질 수 있다. 그러나, 이러한 화소 반복은 가시적 아티팩트들을 초래할 수 있다. 배경 정보는 전형적으로 전경 이미지 물체들의 끝들 주위에서만 요구되며 따라서 대부분의 콘텐트에 있어 고도로 압축될 수 있다.
고품질 3D 인식을 달성하기 위해서는 3D 이미지 콘텐트의 생성이 매우 중요하다. 예를 들면, 3차원 장면을 묘사하는 데이터에 기초하여 이미지들을 생성할 수 있는 컴퓨터 생성 콘텐트 도구들을 포함한, 3D 콘텐트를 생성하기 위한 다양한 방법들이 공지되어 있다. 예를 들면, 컴퓨터 게임을 위해 컴퓨터로 생성된 전경 및 배경 이미지들은 전경 이미지 물체들 등을 포함한 환경을 특징짓는 데이터에 기초하여 생성될 수 있다. 예를 들면, 3D 모델들을 생성하기 위한 몇몇 프로그램들이 알려져 있고 이들 프로그램들 대다수는 연관된 깊이 맵들(아마도 투명성 맵들 뿐만 아니라)을 이용하여 하나 이상의 층상 이미지들 형태로 3D 이미지 표현들을 생성할 수 있는 소프트웨어 플러그-인에 의해 향상될 수 있다. 이에 따라, 3D 모델링 프로그램에서 3D 모델의 디자인에 따라, 알고리즘은 이 3D 모델에 기초하여, 규정된 뷰 각도로부터의 뷰를 나타내는 배경 및 하나 이상의 전경 층들을 생성할 수 있다. 또한, 이 뷰를 위해 하나 이상의 깊이 맵들 및 투명성 맵들이 생성될 수 있다. 이미지 층들과 깊이 및 투명성 맵들은 예를 들면, 스테레오 또는 오토스테레오스코픽 디스플레이들에 의한 이용에 적합한 3D 표현을 제공할 수 있다.
그러나, 이러한 수법들이 많은 실시예들에서 유용할 수 있을지라도, 이들은 몇가지 연관된 결함들이 있을 수 있다. 예를 들면, 복수 층들의 생성은 매우 복잡해져 상당한 수작업 개입을 요구할 수 있다. 예를 들면, 배경 층을 생성하기 위해서는 어느 이미지 물체들 또는 영역들을 전경으로 간주하고 이에 따라 배경 이미지를 생성할 때 제거할지가 명시되어야 한다. 그러나, 정밀한 3D 표현 및 고품질 배경을 제공하기 위해서, 이것은 전형적으로 조작자에 의해 수작업으로 행해져야 하기 때문에 3D 이미지 데이터의 생성은 매우 복잡하고 시간 소비적인 것이 된다. 이에 따라, 현재의 수법들에서, 배경 층은 전형적으로 수작업으로 일부 전경 물체들을 제거하고 콘텐트를 다시 렌더링함으로써 생성된다. 그러나, 이것은 많은 노고를 요구할 뿐만 아니라 예를 들면, 물체가 자신을 가리거나 배경 상에 그림자들을 드리울 땐 문제들을 야기한다.
또 다른 기술은 규정된 임계값보다 가까운 모든 이미지 영역들 및 물체들을 제거하는 커팅 면(cutting plane)을 명시하는 것이다. 그러나, 최적 배경 층은 서로 다른 영역들에서 서로 다른 커팅 임계값들을 요구하기 때문에 이러한 수법은 최적이 아닌 배경 층을 초래할 수 있다(즉, 전경 이미지 물체들을 제거하기에 적합한 적합한 깊이 레벨은 특정 3D 모델에 따르며 이미지에 걸쳐 일정하지 않다). 실제로, 단일 커팅 면은 좀처럼 최적이 아니며 복수의 커팅 면들을 선택한다는 것은 프로세스가 훨씬 더 복잡해지게 한다.
따라서, 전경에 대한 오클루젼 데이터 정보를 제공하는 정보의 생성은 차선이기 쉽고 특히 복잡하고, 자원을 요구하고 및/또는 품질이 차선이 되기 쉽다. 실제로, 기술된 문제들은 오클루젼 이미지 데이터의 생성으로 제한되는 것이 아니라 투명성 또는 깊이 정보과 같은 다른 이미지 속성들을 나타내는 데이터의 생성에도 관계된다.
그러므로, 오클루젼 데이터를 생성하기 위한 개선된 수법은 잇점이 있을 것이며 특히 증가된 융통성, 감소된 복잡성, 단순화된 조작, 감소된 자원요건, 개선된 품질 및/또는 개선된 성능을 가능하게 하는 수법은 잇점이 있을 것이다.
따라서, 발명은 바람직하게는 위에 언급된 단점들 중 하나 이상을 단일로 또는 몇몇을 경감, 완화, 또는 제거하려는 것이다.
본 발명의 일 양태에 따라서, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법으로서, 오클루젼 이미지 속성 맵은 오클루젼 뷰잉 위치로부터 가려진 적어도 몇몇의 이미지 속성 값들을 포함하는 것으로, 방법은, 뷰 위치의 함수로서 3차원 장면을 나타내는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 알고리즘을 제공하는 단계; 제 1 뷰 위치에 대해 알고리즘을 실행함으로써 제 1 이미지 속성 맵을 생성하는 단계; 제 1 뷰 위치에 대한 제 1 오프셋을 갖는 제 2 뷰 위치에 대해 알고리즘을 실행함으로써 제 2 이미지 속성 맵을 결정하는 단계; 및 제 1 이미지 및 상기 제 2 이미지에 응답하여 오클루젼 이미지 속성 맵을 생성하는 단계를 포함하는, 방법이 제공된다.
발명은 많은 실시예들에서 오클루젼 이미지 속성 맵의 개선된 및/또는 단순화된 생성을 제공할 수 있다. 오클루젼 이미지 속성 맵은 특정하게, 오클루젼 뷰잉 위치에 대해 생성된 (더) 전경 이미지 속성 맵 층에 의해 가려진 이미지 영역들에 대한 이미지 속성 데이터를 포함할 수 있다. 예를 들면, 오클루젼 이미지 속성 맵은 전경(또는 더 앞쪽의 중간 그라운드) 이미지 층에 의해 가려진 이미지 데이터를 제공하는 배경(또는 중간 그라운드) 이미지 층일 수 있다.
발명은 특히 수작업 개입을 요구함이 없이 및/또는 정보에 대한 어떠한 커팅 면들도 정의함이 없이 오클루젼 정보가 생성될 수 있게 한다. 오히려, 오클루젼 이미지 속성 맵을 제공하기 위해 알고리즘의 단순한 반복된 실행이 이용될 수 있다. 발명은 특히 동일 3D 모델에 기초하여 그러나 서로 다른 뷰 위치들에서 생성되는 서로 다른 이미지 속성 맵들로부터 장면의 층상 3D 이미지 속성 표현이 생성될 수 있게 한다. 이에 따라, 3D 모델에 기초한 단일 렌더링 알고리즘은 층상 3D 표현을 생성하기 위해 후처리될 복수의 () 이미지 속성 맵들을 생성하기 위해 반복적으로 이용될 수 있다. 발명은 자원 이용 및/또는 복잡성을 감소시킬 수 있다. 특히, (비- 층상, 가변 뷰 각도) 이미지 속성 맵들의 후 처리는 전형적으로 저 복잡성 및/또는 저 자원 이용으로 구현될 수 있다.
서로 다른 뷰 위치들은 구체적으로 제 1 뷰 위치에 대한 뷰 방향에 수직한 면에서 이동된, -및 특정하게 이 면에서 옆으로 이동된 뷰 위치들에 대응할 수 있다. 각각의 뷰 위치에 대한 뷰 각도/방향은 실질적으로 같을 수 있는데, 즉 제 1 및 제 2 뷰 위치(및 따라서 제 1 및 제 2 이미지 속성 맵)에 대한 뷰 방향은 실질적으로 같을 수 있다.
수법은 많은 현존하는 알고리즘들과의 개선된 역호환성을 가능하게 한다. 예를 들면, 제 1 알고리즘은 층상 3D 이미지 속성 맵 표현을 생성하는 소프트웨어 도구/플러그-인에 의해 더욱 향상된 현존의 3D 모델링 애플리케이션일 수 있다. 따라서, 후-처리는 예를 들면, 콘텐트 생성 도구들을 위한 플러그-인으로서 제공될 수 있다.
오클루젼 이미지 속성 맵은 오클루젼 데이터가 제공되는 이미지 속성 맵과 동일한 뷰 각도를 나타낼 수 있다. 특정하게, 오클루젼 이미지 속성 맵은 오클루젼 뷰잉 위치를 나타내는 또 다른 이미지 속성 맵을 가진 층상 이미지 속성 맵일 수 있다. 특정하게, 오클루젼 이미지 속성 맵은 제 1 이미지 속성 맵을 위한 오클루젼 이미지 속성 맵 일 수 있고 제 1 뷰 위치를 나타낼 수 있다. 특정하게, 오클루젼 뷰잉 위치는 제 1 뷰 위치와 실질적으로 동일할 수 있다.
제 1 알고리즘은 구체적으로 3D 모델 알고리즘일 수 있다(에 기초할 수 있다). 따라서 제 1 및 제 2 이미지 속성 맵은 장면에 대해 동일 3D 모델을 이용하여 생성될 수 있다. 뷰 위치(들)는(은) 구체적으로 뷰 각도일 수 있다. 일부 실시예들에서 및 몇가지를 고려하여 거리는 고려되지 않는다. 뷰 위치라는 용어는 많은 시나리오들에서 뷰 각도라는 용어와 같은 것으로 간주될 수 있다. 제 1 및 제 2 뷰 위치들은 서로 다른 뷰 각도들에 대응한다. 이미지 속성 맵들은 구체적으로 제 1 이미지의 각 화소에 대한 이미지 속성 값을 포함할 수 있다.
오클루젼 이미지 속성 맵은 다른(유형들의) 이미지 속성 맵들에 응답하여 생성될 수도 있다. 예를 들면, 제 1 및 제 2 이미지 속성 맵들은 예를 들면, 오클루젼 뷰잉 위치에 대응하는 이미지 속성 맵의 렌더링 전에 전경 물체들을 수작업으로 제거함으로써 생성되었던 이미지 속성 맵들이 보충될 수도 있다.
본 발명의 선택적 특징에 따라서, 상기 오클루젼 이미지 속성 맵을 결정하는 단계는, 적어도 제 1 이미지 속성 맵 및 제 2 이미지 속성 맵을 오클루젼 뷰잉 위치로 이동시킴으로써 오클루젼 뷰잉 위치에 대응하는 수정된 한 세트의 이미지 속성 맵들을 생성하는 단계; 및 수정된 한 세트의 이미지 속성 맵들의 대응하는 화소들로부터 오클루젼 이미지 속성 맵의 화소들에 대한 이미지 속성들을 선택함으로써 오클루젼 이미지 속성 맵을 결정하는 단계를 포함한다.
이것은 많은 실시예들에서 오클루젼 이미지의 개선된 및/또는 단순화된 특성 맵 생성을 제공할 수 있다. 한 세트의 이미지 속성 맵들은 서로 다른 뷰 위치들에 대한 이미지 속성 맵들을 오클루젼 뷰잉 위치로 이동/전환함으로써 얻어진 복수의 수정된 이미지 속성 맵들을 포함할 수 있다. 이동/전환은 특정하게는 동일 뷰 각도일 수도 있다. 실질적으로 오클루젼 뷰잉 위치에 대해 알고리즘에 의해 생성된 이미지 속성 맵들에 대해서, 수정된 이미지 속성 맵은 생성된 이미지 속성 맵과 같을 수 있다. 구체적으로, 오클루젼 뷰잉 위치로 이동/전환은 이미 오클루젼 뷰잉 위치를 나타내고 있는 이미지 속성 맵들에 대해선 널(null) 조작일 수도 있다.
일부 실시예들에서, 오클루젼 이미지 속성 맵의 화소들에 대한 이미지 속성들을 선택하는 것은 제 2 대응하는 화소가 가려지지 않게 된 화소이고 제 1 화소는 가려지게 된 화소라면 제 2 대응하는 화소보다 우선하여 제 1 대응하는 화소에 대한 이미지 속성들을 선택하는 것을 포함할 수 있다. 예를 들면, 수정된 이미지 속성 맵을 생성할 때, 오클루젼 뷰잉 위치로부터는 아니지만 원 이미지에서 가려진 값들은 가려지지 않게 된다. 이에 따라, 수정된 이미지 속성 맵들에서 몇몇 화소 값들은 전형적으로 가려지지 않게 된 화소들이며(예를 들면, 화소 반복에 의해 생성된) 다른 화소들은 가려지게 된다. 구체적으로, 반복되지 않은 화소는 반복된 화소보다 우선하여 선택될 수 있다.
본 발명의 선택적 특징에 따라서, 수정된 한 세트의 이미지 속성 맵들의 대응하는 화소들 간에 선택은 대응하는 화소들에 대한 깊이 값들에 따른다.
이것은 많은 실시예들에서 오클루젼 이미지의 개선된 및/또는 단순화된 특성 맵 생성을 제공할 수 있다.
본 발명의 선택적 특징에 따라서, 대응하는 화소들 간에 선택은 오클루젼 이미지 속성 맵의 제 1 화소에 대한 이미지 속성을, 제 1 화소에 대해 대응하는 화소들에 대한 가장 맨 앞에 깊이에 대응하는 깊이 값을 갖지 않는 대응하는 화소에 대한 이미지 속성으로서 선택하는 단계를 포함한다.
이것은 많은 실시예들에서 오클루젼 이미지의 개선된 및/또는 단순화된 특성 맵 생성을 제공할 수 있다. 특히, 각 화소에 대해서 제 2 깊이 값(전방으로부터)에 대한 이미지 속성을 선택하는 것은 전경 이미지들 뒤에 제 1 물체들에 대한 오클루젼 데이터를 제공하게 된다. 이들은 전형적으로 서로 다른 뷰 각도들에서 렌더링하기가 가장 적합할 것이며 따라서 가장 유용한 오클루젼 정보를 제공하게 된다.
본 발명의 선택적 특징에 따라서, 대응하는 화소들 간에 선택은 오클루젼 이미지 속성 맵의 제 1 화소에 대한 이미지 속성을, 제 1 화소에 대해 대응하는 화소들에 대한 두번째 맨 앞에 깊이에 대응하는 깊이 값을 갖는 대응하는 화소에 대한 이미지 속성으로서 선택하는 단계를 포함한다.
이것은 많은 실시예들에서 오클루젼 이미지의 개선된 및/또는 단순화된 특성 맵 생성을 제공할 수 있다. 특히, 각 화소에 대해서 제 2 깊이 값(전방으로부터)에 대한 이미지 속성을 선택하는 것은 전경 이미지들 뒤에 제 1 물체들에 대한 오클루젼 데이터를 제공하게 된다. 이들은 전형적으로 서로 다른 뷰 각도들에서 렌더링하기가 가장 적합할 것이며 따라서 가장 유용한 오클루젼 정보를 제공하게 된다.
대안적으로 대응하는 화소들 간에 선택은 오클루젼 이미지 속성 맵의 제 1 화소에 대한 이미지 속성을, 제 1 화소에 대해 대응하는 화소들에 대한 제 3, 제 4, 제 5 등 가장 앞쪽에 깊이에 대응하는 깊이 값을 갖는 대응하는 화소에 대한 이미지 속성으로서 선택하는 것을 포함함을 알 것이다. 이것은 예를 들면, 이미지 속성 맵들의 복수 층들을 효율적으로 생성할 수 있게 한다.
본 발명의 선택적 특징에 따라서, 수정된 한 세트의 이미지 속성 맵들 중 적어도 하나를 생성하는 단계는 이동에 따른 중첩하는 이미지 영역들에 대응하는 화소들에 대해 복수의 이미지 속성 값들을 생성하는 단계를 포함한다.
이것은 많은 실시예들에서 오클루젼 이미지의 개선된 및/또는 단순화된 특성 맵 생성을 제공할 수 있다. 특히, 오클루젼 이미지 속성 맵을 생성할 때 서로 다른 뷰 위치들의 이미지 속성 맵들에 의해 제공된 모든 정보가 고려될 수 있게 한다.
복수의 화소들은 구체적으로 오클루젼 뷰잉 위치에서 동일 화소 위치로 변위되는 화소들일 수 있다.
본 발명의 선택적 특징에 따라서, 오클루젼 이미지 속성 맵, 제 1 이미지 속성 맵 및 제 2 이미지 속성 맵으로 표현되는 이미지 속성은 이미지 광도(luminosity); 이미지 컬러; 이미지 물체 식별; 투명성; 및 깊이로 구성된 그룹에서 선택된 적어도 한 이미지 속성을 포함한다.
발명은 3D 이미지 표현에 유용한 다수의 서로 다른 특성들에 대한 오클루젼 정보의 개선된 및/또는 단순화된 생성을 가능하게 한다.
본 발명의 선택적 특징에 따라서, 방법은 제 1 뷰 위치에 관한 제 2 오프셋을 갖는 제 3 뷰 위치에 대해 알고리즘을 실행함으로써 제 3 이미지 속성 맵을 결정하는 단계를 추가로 포함하고, 오클루젼 이미지 속성 맵을 결정하는 단계는 또한 제 3 이미지에 따른다.
이것은 많은 실시예들에서 개선된 오클루젼 이미지 속성 맵이 생성될 수 있게 한다. 특히, 이것은 추가의 오클루젼 데이터가 오클루젼 이미지 속성 맵에 의해 결정되고 표현될 수 있게 한다. 제 2 및 제 3 이미지 속성 맵들은 예를 들면, 중앙 뷰의 양측으로 이동하기 위해 오클루젼 정보가 생성될 수 있게 한다.
오클루젼 이미지 속성 맵을 결정하는 것은 제 3 뷰 위치에서 오클루젼 뷰잉 위치로 제 3 이미지 속성 맵을 이동/전환함으로써 수정된 제 3 이미지 속성 맵을 생성하는 단계를 추가로 포함할 수 있고, 수정된 제 3 이미지 속성 맵은 수정된 한 세트의 이미지 속성 맵들에 포함될 수 있고 이로부터 오클루젼 이미지 속성 맵의 화소들에 대한 이미지 속성들이 선택될 수 있다. 또한, 본 수법은 서로 다른 뷰 위치들로부터 생성되는 제 4, 제 5, 등의 이미지 속성 맵으로 확장될 수 있다.
본 발명의 선택적 특징에 따라서, 제 1 오프셋은 실질적으로 제 2 오프셋과 대향한 것일 수 있다. 구체적으로, 제 1 뷰 위치와 제 3 뷰 위치 간에 뷰 각도 오프셋은 방향은 반대이지만 제 1 뷰 위치와 제 2 뷰 위치 간에 뷰 각도와 실질적으로 같을 수 있다.
이것은 많은 실시예들에서 개선된 오클루젼 이미지 속성 맵이 생성될 수 있게 한다. 특히, 서로 다른 방향에서 뷰 각도 변화들에 적합한 오클루젼 데이터가 생성될 수 있다.
제 1 오프셋 및/또는 제 2 오프셋은 구체적으로 실질적으로 수평면에 있을 수 있다.
본 발명의 선택적 특징에 따라서, 방법은 오클루젼 이미지 속성 맵을 포함하고 오클루젼 뷰잉 위치에 대한 이미지 속성 맵들만을 포함하는 이미지 신호를 생성하는 단계를 추가로 포함한다.
발명은 3D 이미지의 효율적 표면을 생성할 수 있다. 규정된 뷰 각도(오클루젼 뷰잉 위치에 대응하는)에 대한 (추가의) 전경 이미지 속성 맵(이를테면 전경 이미지), 및 동일 뷰 각도를 나타내는 오클루젼 이미지 속성 맵을 포함하는 층상 표현이 제공될 수 있다. 그러나, 다른 뷰 각도를 나타내는 어떠한 이미지들 또는 이미지 속성 맵들도 포함되지 않을 수도 있다. 구체적으로, 이미지 신호는 다수의 채널들(이미지 데이터, 깊이 데이터 및 투명성 데이터와 같은 서로 다른 이미지 속성들에 대응하는)을 포함할 수 있고 이들 중 적어도 하나는 방법에 의해 생성된 오클루젼 이미지 속성 맵을 포함하는 층상 이미지 속성 표현을 포함한다.
본 발명의 선택적 특징에 따라서, 제 1 오프셋은 스크린 깊이에서 물체에 관하여 2°내지 10°의 간격으로 뷰 각도 오프셋에 대응한다.
이것은 대부분의 스테레오 디스플레이들 및/또는 오토스테레오스코픽 디스플레이들을 위해 이미지들을 렌더링하는데 특히 적합한 오클루젼 이미지 속성 맵을 제공할 수 있다. 특히, 이것은 생성된 오클루젼 이미지 속성 맵을 이용하여 렌더링될 수 있는 한 범위의 뷰 각도들과 오클루젼 이미지 속성 맵의 데이터에 갭들 또는 홀들의 위험 간에 개선된 절충을 제공할 수 있다.
본 발명의 선택적 특징에 따라서, 제 1 이미지 속성 맵, 제 2 이미지 속성 맵 및 오클루젼 이미지 속성 맵은 이미지들이다.
따라서, 오클루젼 이미지를 생성하는 방법으로서, 오클루젼 이미지는 가려진 이미지 물체에 대한 적어도 몇몇의 이미지 값들을 포함하는 것으로, 방법은 뷰 위치에 따라 장면을 나타내는 이미지를 생성하게 배열된 렌더링 알고리즘을 제공하는 단계; 제 1 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 1 이미지를 생성하는 단계; 제 1 뷰 위치에 대한 제 1 오프셋을 갖는 제 2 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 2 이미지를 결정하는 단계; 및 제 1 이미지 및 제 2 이미지에 응답하여 오클루젼 이미지를 생성하는 단계를 포함하는 방법이 제공될 수 있다.
발명은 많은 실시예들에서 오클루젼 이미지의 개선된 및/또는 단순화된 생성을 제공할 수 있다. 오클루젼 이미지는 특정하게 (다른) 전경 이미지 층에 의해 가려진 이미지 영역들에 대한 이미지 데이터를 포함할 수 있다.
본 발명의 또 다른 양태에 따라서, 위에 기술된 방법(들)을 실행하기 위한 컴퓨터 프로그램 물이 제공된다.
본 발명의 또 다른 양태에 따라서, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하기 위해 3차원 모델링 컴퓨터 프로그램과 함께 이용하는 소프트웨어 도구로서, 오클루젼 이미지 속성 맵은 오클루젼 뷰잉 위치로부터 가려진 적어도 몇몇의 이미지 속성 값들을 포함하는 것으로, 3차원 모델링 컴퓨터 프로그램은 뷰 위치의 함수로서 3차원 장면을 나타내는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 알고리즘을 포함하고; 소프트웨어 도구는, 제 1 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 1 이미지 속성 맵을 생성하는 단계; 제 1 뷰 위치에 대한 제 1 오프셋을 갖는 제 2 뷰 위치에 대해 알고리즘을 실행함으로써 제 2 이미지 속성 맵을 결정하는 단계; 및 제 1 이미지 및 제 2 이미지에 응답하여 오클루젼 이미지 속성 맵을 생성하는 단계를 실행하게 배열되는, 소프트웨어 도구가 제공된다.
본 발명의 또 다른 양태에 따라서, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 장치로서, 오클루젼 이미지 속성 맵은 오클루젼 뷰잉 위치로부터 가려진 적어도 몇몇의 이미지 속성 값들을 포함하는 것으로, 장치는, 뷰 위치의 함수로서 3차원 장면을 나타내는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 알고리즘을 제공하기 위한 수단; 제 1 뷰 위치에 대해 알고리즘을 실행함으로써 제 1 이미지 속성 맵을 생성하기 위한 수단; 제 1 뷰 위치에 대한 제 1 오프셋을 갖는 제 2 뷰 위치에 대해 알고리즘을 실행함으로써 제 2 이미지 속성 맵을 결정하기 위한 수단; 및 제 1 이미지 및 제 2 이미지에 응답하여 오클루젼 이미지 속성 맵을 생성하기 위한 수단를 포함하는, 장치가 제공된다.
본 발명의 이들 및 다른 양태들은 예로서 및 동반된 도면들을 참조하여 상세히 설명될 것이다.
본 발명의 실시예들은 도면을 참조로 단지 예로서 기술될 것이다.
도 1은 본 발명의 일부 실시예들에 따른 오클루젼 이미지 속성 맵을 생성하기 위한 디바이스의 예를 도시한 도면.
도 2는 3차원 모델에 기초하여 이미지를 렌더링하는 예를 도시한 도면.
도 3은 3차원 모델에 기초하여 이미지를 렌더링하는 예를 도시한 도면.
도 4는 본 발명의 일부 실시예들에 따라 서로 다른 뷰 위치들에 대응하는 이미지 속성 맵들로부터 오클루젼 이미지 속성 맵을 생성하는 방법의 예를 도시한 도면.
도 5는 한 뷰 위치에서 또 다른 뷰 위치로 이미지 속성 맵의 이동/전환의 예를 도시한 도면.
도 6은 본 발명의 일부 실시예들에 따라 서로 다른 뷰 위치들에 대응하는 이미지 속성 맵들로부터 오클루젼 이미지 속성 맵을 생성하기 위한 수법의 예를 도시한 도면.
도 7은 본 발명의 일부 실시예들에 따라 오클루젼 이미지 속성 맵을 생성하는 방법의 예를 도시한 도면.
도 2는 3차원 모델에 기초하여 이미지를 렌더링하는 예를 도시한 도면.
도 3은 3차원 모델에 기초하여 이미지를 렌더링하는 예를 도시한 도면.
도 4는 본 발명의 일부 실시예들에 따라 서로 다른 뷰 위치들에 대응하는 이미지 속성 맵들로부터 오클루젼 이미지 속성 맵을 생성하는 방법의 예를 도시한 도면.
도 5는 한 뷰 위치에서 또 다른 뷰 위치로 이미지 속성 맵의 이동/전환의 예를 도시한 도면.
도 6은 본 발명의 일부 실시예들에 따라 서로 다른 뷰 위치들에 대응하는 이미지 속성 맵들로부터 오클루젼 이미지 속성 맵을 생성하기 위한 수법의 예를 도시한 도면.
도 7은 본 발명의 일부 실시예들에 따라 오클루젼 이미지 속성 맵을 생성하는 방법의 예를 도시한 도면.
다음 설명은 전경 이미지를 위한 오클루젼 이미지의 생성에 적용할 수 있는 본 발명의 실시예들에 중점을 둔다. 그러나, 발명은 이러한 적용으로 제한되는 것은 아니며 예를 들면, 이미지 물체 식별, 투명성, 및 깊이 특성들을 반영하는 이미지 속성 맵들을 포함한 다른 이미지 속성 맵들의 생성에도 적용될 수 있음을 알게 될 것이다.
명확성과 간략성을 위해서, 다음 설명은 정지 이미지와 같은 단일 이미지의 처리에 중점을 둘 것이다. 그러나, 기술된 원리는 예를 들면, 애니메이션들 및 동화상들에도 똑같이 적용됨을 알게 될 것이다. 예를 들면, 기술된 처리는 복수-뷰 이미지 시퀀스에서 각각의 타임스탬프에 대해 모든 뷰들을 생성하기 위해서, 층상 깊이 모델에 기초하여 3차원 비디오 신호의 각각의 이미지 및 깊이 맵에 개별적으로 적용될 수도 있다.
도 1은 오클루젼 이미지 속성 맵을 생성하기 위한 디바이스의 예를 도시한 것이다.
디바이스는 장면을 표현하는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 맵 생성기(101)를 포함한다. 이미지 속성 맵은 뷰 위치의 함수로서 및 특정하게 뷰 각도의 함수로서 생성된다. 특히, 맵 생성기는 3D 모델에 기초하여 규정된 특정된 뷰 각도에 대한 이미지 맵을 생성할 수 있다. 3D 모델은 배경 이미지와 배경 이미지 전방에 다수의 3D 물체들에 의해 규정된 인공적 장면을 특정하게 정의할 수 있다.
예에서, 맵 생성기(101)는 규정된 뷰 위치에서, 및 특정하게는 규정된 뷰 각도에서 카메라에 의해 캡처될 이미지에 대응하는 이미지를 생성하게 배열된다. 따라서, 특정의 뷰 각도에서 볼 수 있는 3D 모델의 물체를 반영하는 각각의 화소에 대한 광도 및/또는 컬러 값을 갖는 이미지가 생성된다. 이에 따라, 3D 모델로 표현되는 규정된 인공적 장면에 기초하여, 맵 생성기(101)는 간단히 뷰 각도 입력 파라미터에 기초하여 이미지를 생성할 수 있다.
3D 모델 및 뷰 위치의 정의에 기초하여 인공적 장면에 대한 이미지들 및 연관된 이미지 속성 데이터를 생성할 수 있는 많은 서로 다른 알고리즘들 및 도구들이 공지되어 있음을 알 것이다. 예를 들면, 오프라인 컴퓨터 3D 모델링 도구들이 공지되어 있고 예를 들면, 컴퓨터 이용 설계, 게임 설계, 컴퓨터 애니메이션들 등을 위해 광범하게 이용된다. 또한, 인공적 3D 장면들에 대한 이미지들의 실시간 렌더링이 예를 들면, 게임들 또는 실시간 컴퓨터 이용 설계 애플리케이션들로부터 공지되어 있다. 맵 생성기(101)는 이미지 속성 맵들을 생성하기 위한 임의의 적합한 방법을 이용할 수 있음을 알 것이다.
또한, 맵 생성기(101)는 다른 이미지 속성들에 대응하는 이미지들 또는 맵들을 생성할 수 있음을 알 것이다. 따라서, 이미지 속성은 이미지가 어떻게 렌더링될 수 있는가의 정보를 제공하는 임의의 특성일 수 있고, 특정하게는, 서로 다른 뷰 각도들에서 이미지들을 생성하는데 유용한 정보를 제공하는 3D 이미지 속성일 수 있다.
예를 들면, 맵 생성기(101)는 뷰 각도를 위한 깊이 맵 뿐만 아니라, 규정된 뷰 각도에 대한 이미지를 생성하는 것을 진행할 수 있다. 깊이 맵은 특정하게는 깊이 표시가 화소에 의해 표현된 이미지 물체의 이미지에서 깊이를 반영하는 이미지의 각각의 화소에 대한 깊이 표시(이를테면 깊이 레벨 또는 차이(disparity) 값)을 포함할 수 있다.
또한, 맵 생성기(101)는 생성된 이미지의 각각의 화소에 대한 투명성 값을 생성할 수 있다. 투명성 값은 특정하게는 이미지 화소의 투명성을 표현할 수 있다.
또 다른 예로서, 생성된 이미지의 각각의 화소에 대해 화소에 대응하는 이미지 물체를 식별하는 맵 생성기(101)는 이미지 물체 식별 맵을 생성할 수 있다.
특정의 예에서, 맵 생성기(101)는 뷰 각도에 대해 다수의 대응하는 이미지 속성 맵들을 생성한다. 각각의 이미지 속성(유형)을 채널이라 칭하고 특정의 예에서 맵 생성기(101)는 이미지를 포함하는 이미지 채널, 생성된 이미지에 대한 깊이 맵을 포함하는 깊이 채널, 및 몇몇 시나리오들에서는 생성된 이미지에 대한 투명성 맵 및/또는 생성된 이미지에 대한 이미지 물체 식별 맵을 생성한다.
예에서, 각각의 채널은 단일 이미지 속성 맵만을 포함하고, 이에 따라 각각의 이미지 속성은 단일 비-층상(non-layered) 이미지 속성 맵에 의해 표현된다.
다른 실시예들에서, 맵 생성기(101)는 단일 채널에 대한 이미지 속성 맵, 즉 단일 이미지 속성에 대한 이미지 속성 맵만을 생성할 수 있음을 알 것이다. 예를 들면, 깊이 맵은 이미지가 생성되지 않고 생성될 수 있다.
장치는 맵 생성기(101)에 결합되는 제 1 이미지 속성 맵 생성기(103)를 추가로 포함한다. 제 1 이미지 속성 맵 생성기(103)는 제 1 뷰 위치에 대해 맵 생성기(101)의 알고리즘을 실행함으로써 제 1 이미지 속성 맵을 생성하게 배열된다. 구체적으로, 제 1 이미지 속성 맵 생성기(103)는 장면에 대한 뷰 각도 또는 위치를 정의하고 이를 맵 생성기(101)에 공급할 수 있다. 이에 응답하여, 맵 생성기(101)는 이 뷰 위치에 대응하는 이미지 속성 맵들을 생성하기 위해서 3D 모델을 평가하는 것을 진행한다.
특정의 예에서, 맵 생성기(101)는 서로 다른 유형의 이미지 속성에 대응하는 각각의 채널로 복수의 단일층 채널들을 생성하는 것을 진행한다. 이에 따라, 맵 생성기(101)는 매칭 깊이 맵 및 일부 시나리오들에서는 매칭 투명성 맵 및/또는 매칭 물체 식별 맵 뿐만 아니라, 특정된 뷰 위치/각도로부터 장면/3D 모델의 뷰를 표현하는 이미지를 생성한다. 서로 다른 이미지 속성 맵들을 포함하는 채널들은 제 1 이미지 속성 맵 생성기(103)에 공급된다.
도 2는 배경 물체(203) 및 전경 이미지 물체(205)를 포함하는 3차원 장면/모델에 대해 뷰 위치(201)가 정의되는 예를 도시한 것이다. 맵 생성기(101)는 서로 다른 방향들에서 보여지는 특정 이미지 물체를 반영하는 이미지를 생성하기를 시작한다. 또한, 이미지에서 볼 수 있는 이미지 물체의 깊이를 반영하는 대응하는 깊이 맵이 생성된다. 맵 생성기(101)는 컬러 값, 휘도값 및 각각의 화소에 대한 깊이를 계산한다. 컬러/휘도는 화소 선(ray)을 따라 카메라/뷰 위치에 가장 가까운 물체에 의해 결정된다. 이에 따라, 전경 이미지 물체(205)에 대응하는 화소들에 대해, 전경 물체(205)의 이미지 및 깊이 값이 포함되고, 배경 물체(203)에 대응하는 화소들에 대해, 배경 물체(203)의 이미지 및 깊이값이 포함된다. 또한, 각각의 화소에 대해 화소에 의해 표현된 이미지 물체를 나타내는(예를 들면, 이것이 물체(203)인지 아니면 물체(205)인지) 물체 식별 맵이 생성될 수 있다. 마찬가지로, 각 화소에 대해 투명성 표시를 가진 투명성 맵이 생성될 수 있다.
3D 장면 또는 모델로부터 이미지 속성 맵(이를테면 이미지 또는 깊이 맵)을 생성하기 위한 어떠한 적합한 알고리즘이든 맵 생성기(101)에 의해 이용될 수 있음을 알 것이다.
도 1의 장치는 맵 생성기(101)에 결합되는 제 2 이미지 속성 맵 생성기(105) 를 추가로 포함한다. 제 2 이미지 속성 맵 생성기(105)는 제 1 뷰 위치에 관하여 오프셋된 제 2 뷰 위치에 대해 맵 생성기(101)의 알고리즘을 실행함으로써 제 2 이미지 속성 맵를 생성하게 배열된다. 제 2 뷰 위치는 제 1 뷰 위치와는 다른 뷰 각도에 대응한다. 이에 따라, 생성된 이미지 속성 맵들에 모든 것이 정확히 동일한 깊이 레벨에 있게 되는 것이 아닌 한, 제 1 및 제 2 이미지 속성 맵들은 일부 영역들에서는 서로 다른 이미지 물체들을 나타낼 수 있다. 따라서, 제 1 및 제 2 이미지 속성 맵은 다른 이미지 속성 맵 내 (더 앞에) 전경 이미지 물체에 의해 가려진 이미지 물체 영역에 대한 이미지 속성 데이터를 포함할 수 있다.
도 3은 제 2 뷰 위치(301)가 제 1 뷰 위치에 대해 상대적 오프셋(303)을 갖는 도 2의 예를 도시한 것이다. 뷰 각도 오프셋에 기인하여, 제 2 뷰 위치(301)에 대해 생성된 이미지 속성 맵은 제 1 이미지 뷰 위치(201)에 대한 이미지 속성 맵에 포함되지 않은 배경 물체(203)의 영역(305)이 이 뷰 각도에 대한 전경 물체(205)에 의해 가려지기 때문에 이 영역(305)을 포함한다. 마찬가지로, 배경 물체(203)의 영역(307)은 제 1 뷰 위치에 대해 생성된 제 1 이미지 속성 맵에서만 볼 수 있다.
따라서, 3D 모델에 의해 표현된 장면은 이동/전환/이전된 뷰 위치로부터 다시 렌더링된다. 이 제 2 뷰 위치는 제 1 뷰 위치에 관하여 물체들 둘러보기(look around)를 제공한다. 제 2 뷰 위치로부터 뷰에서, 물체들은 우측으로 이동된 것처럼 보이는데 이 이동은 각각의 변환 때문에 깊이에 반비례한다.
특정의 예에서, 맵 생성기(101)는 제 2 뷰 위치에 대한 복수의 단일 층 채널들을 생성하는 것을 진행하고 각 채널은 다른 유형의 이미지 속성에 대응한다. 구체적으로, 제 2 이미지 속성 맵 생성기(105)는 이미지, 연관된 깊이 맵 및 아마도 제 2 뷰 위치에 대한 투명성과 이미지 물체 식별 맵을 수신한다.
도 1의 장치는 맵 생성기(101)에 결합된 제 3 이미지 속성 맵 생성기(107)를 추가로 포함한다. 제 3 이미지 속성 맵 생성기(107)는 제 1 뷰 위치 및 제 2 뷰 위치에 관하여 오프셋된 제 3 뷰 위치에 대한 맵 생성기(101)의 알고리즘을 실행함으로써 제 3 이미지 속성 맵을 생성하게 배열된다. 제 3 뷰 위치는 제 1 뷰 위치 및 제 2 뷰 위치와는 다른 뷰 각도에 대응한다.
제 3 뷰 위치는 제 2 뷰 위치의 실질적으로 반대되는 방향으로 제 1 뷰 위치로부터 특정하게 오프셋될 수도 있다. 또한, 오프셋은 제 1 뷰 위치와 제 2 뷰 위치 간에 뷰 각도가 제 1 뷰 위치와 제 3 뷰 위치 간에 뷰 각도와 같게 되도록 제 1 뷰 위치에 관하여 대칭일 수 있다. 예를 들면, 도 3에서, 제 2 뷰 위치(301)는 제 1 뷰 위치(201)의 좌측으로 오프셋될 수 있고 제 3 뷰 위치(309)는 제 1 뷰 위치(201)의 우측으로 같은 량만큼 오프셋될 수 있다. 제 3 뷰 위치의 이용으로 결과적인 오클루젼 데이터는 서로 다른 방향들에서 뷰 각도 오프셋들에 대한 이미지를 가려지지 않게 하는데 유용할 수 있다. 예를 들면, 제 1 뷰 위치에 대한 이미지가 전경 이미지로서 이용된다면, 제 2 뷰 위치 및 제 3 뷰 위치들(좌 및 우)로부터 생성될 수 있는 오클루젼 데이터는 중앙 뷰의 좌 및 우 양쪽 모두에 대한 뷰 각도들을 반영하게 중앙 이미지를 수정할 수 있게 한다.
제 1 뷰 위치와 제 2 뷰 위치 간에 오프셋(제 1 뷰 위치와 제 3 뷰 위치 간에 오프셋 뿐만 아니라)은 특정 예에서는 스크린 깊이에서 물체에 관하여 2°내지 10°(두 값들을 포함해서)의 간격에 속하는 뷰 각도 오프셋에 대응답하여 선택된다. 이것은 많은 실제적인 3D 디스플레이 응용들에서 이용되는 전형적인 다양한 뷰 각도에 특히 적합한 오클루젼 데이터를 제공하기 때문에 이러한 응용들에 특히 적합한 오클루젼 데이터를 제공할 수 있다. 또한, 뷰 각도 오프셋들을 제약함으로써, 생성된 오클루젼 데이터(예를 들면, 전경 물체에 작은 홀(hole)에 기인하는)에서 갭들이 생길 위험이 감소될 수 있다.
도 3의 예에서, 3개의 대칭 뷰 위치들에 대해 이미지 속성 맵들이 생성된다. 그러나, 다른 예들에서는 2, 4 또는 그 이상의 뷰 위치들이 이용될 수도 있고 및/또는 비-대칭 뷰 위치들이 채용될 수도 있음을 알 것이다.
제 1 이미지 속성 맵 생성기(103), 제 2 이미지 속성 맵 생성기(105) 및 제 3 이미지 속성 맵 생성기(107)는 제 1 이미지 속성 맵 생성기(103), 제 2 이미지 속성 맵 생성기(105) 및 제 3 이미지 속성 맵 생성기(107)로부터 이미지 속성 맵들 을 수신하는 오클루젼 프로세서(109)에 결합된다. 이어서, 오클루젼 프로세서(109)는 각각 제 1, 제 2 및 제 3 뷰 위치의 3개의 이미지 속성 맵들로부터 오클루젼 이미지 속성 맵을 생성하기를 진행한다.
특정의 예에서, 오클루젼 프로세서(109)는 예를 들면, 3개의 뷰 위치들 각각에 대한 이미지 및 깊이 맵을 수신할 수 있다. 이어서 3개의 이미지 및 깊이 맵들의 각각으로부터 값들을 선택함으로써 오클루젼 이미지 및 깊이 맵을 생성하는 것을 진행할 수 있다. 오클루젼 이미지 속성 맵을 위한 화소들은 대응하는 값이 전경에 없는 이미지 물체를 반영하는데 이용될 수 있다면 전경 이미지 물체를 표현하지 않게 선택된다. 예를 들면, 도 3의 예에서 화소들은 영역(305)에 대한 제 2 뷰 위치의 이미지 속성 맵으로부터 및 영역(307)에 대한 제 1 뷰 위치의 이미지 속성 맵으로부터 선택될 수 있다.
구체적으로, 오클루젼 프로세서(109)에는 측 뷰 위치들의 오프셋과 뷰 위치들에 대한 가상 카메라들의 뷰 필드가 제공될 수 있다(또는 이미 알고 있을 수 있다). 이것은 측 뷰들에서 중앙 뷰로 화소들을 이전시키기 위해 이용될 수 있다. 프로세스는 역 투영변환을 통해 측 뷰로부터 화소를 투영되지 않게 하고 이를 중앙 뷰에 투사하는 것에 대응하는 것으로 간주될 수 있다. 이들 방식은 평행 카메라들이 이용될 때 패럴랙스에 비례하여 이동시키는 것과 같게 된다.
따라서, 임의의 단일 뷰포인트에 대해 가용한 것보다 비-전경 이미지 속성들의 더 많은 정보를 제공하는 오클루젼 이미지 속성 맵이 생성될 수 있다. 오클루젼 데이터는 특히 임의의 단일 뷰 위치로부터 가용한 것보다 비-전경 이미지 물체들을 반영하는 더 많은 데이터를 포함하기 위해 생성될 수도 있다. 오클루젼 이미지 속성 맵은 특정하게, 규정된 뷰 위치 또는 각도(오클루젼 뷰잉 위치 또는 각도라 함)로부터 뷰를 표현하고 이 뷰 위치/각도로부터 (더 많은) 전경 이미지 물체에 의해 가려진 적어도 몇몇 이미지 속성 데이터를 포함하게 생성될 수 있다. 오클루젼 이미지 속성 맵는 이미지의 층상 3D 표현을 제공하기 위해서 오클루젼 뷰잉 위치를 표현하는 또 다른 이미지 속성 맵과 조합될 수 있다.
예를 들면, 오클루젼 이미지 및 제 1 이미지(제 1의 중앙 뷰 위치에 대한)는 (혼합된) 전경 및 배경 층 표현을 제공하기 위해 조합될 수 있는데, 적어도 몇몇 화소들에 대한 오클루젼 이미지는 제 1 뷰 위치로부터 볼 수 있는 전경 이미지 물체의 부분이 아닌 이미지 물체에 대한 이미지 값을 표현한다. 따라서, 이 실시예에서 오클루젼 뷰잉 위치는 제 1 뷰 위치와 동일할 수 있다.
오클루젼 프로세서(109)는 3D 정보를 포함하는 이미지 신호를 생성하는 신호 생성기(111)에 결합된다. 구체적으로, 신호 생성기(111)는 선택적으로 오클루젼 이미지 속성 맵에 대한 오클루젼 깊이 맵 뿐만 아니라, 오클루젼 뷰잉 위치/각도에 대한 이미지, 오클루젼 이미지, 이미지에 대한 깊이 맵을 포함하는 이미지 신호를 생성한다. 일부 실시예들 또는 시나리오들에서, 투명성 맵 및 오클루젼 투명성 맵 및/또는 물체 식별 맵 및 오클루젼 물체 식별 맵이 추가적으로 또는 대안적으로 포함될 수 있다.
또한, 이미지 신호는 각각의 이미지 속성 채널에 대해 2 이상의 층들을 포함할 수 있음을 알 것이다. 예를 들면, 복수의 서로 다른 레벨 오클루젼 이미지들이 생성되어 이미지 채널에 포함될 수 있다. 그러나, 서로 다른 뷰 각도들의 뷰들로부터 오클루젼 이미지 속성 맵이 생성될지라도, 생성된 이미지 신호는 단지 오클루젼 뷰 각도에 대한 이미지 속성 맵들을 포함할 수 있다.
맵 생성기(101)에 의해 생성된 이미지 속성 맵들 중 적어도 하나가 이미지 신호에 포함되고 맵 생성기에 의해 생성된 이미지 속성 맵들 중 다른 어떤 것도 이미지 신호에 포함되지 않게 이미지 신호가 특정하게 생성된다. 실제로, 이들 예들에서는 맵 생성기로부터 생성된 이미지 속성 맵들 중 어느 것도 이미지 신호에 포함되지 않거나 단지 하나만이 포함될 수 있다. 구체적으로, 이미지 신호의 이미지는 제 1 뷰 위치에 대한 추가의 오클루젼 데이터를 제공하는 오클루젼 이미지와 함께 이 위치에 대해 생성된 이미지에 대응할 수 있다. 대응하는 이미지 속성 맵들은 다른 채널들용으로 포함될 수도 있다. 이에 따라, 이미지 신호는 단지 한 뷰 각도, 즉 오클루젼 이미지 속성 맵에 대응하는 오클루젼 뷰 각도에 대한 이미지 속성 맵들을 포함할 수 있다. 이 뷰 각도는 특정하게, 맵 생성기(101)에 의해 이미지 속성 맵들을 생성하기 위해 이용되는 뷰 각도들 중 하나와 동일할 수 있는데 그러나 그럴 필요는 없다.
본 수법은 오클루젼 데이터를 포함하는 층상 이미지 표현의 저 복잡성, 저 자원 이용 및 완전한 자동적 생성을 가능하게 한다. 실제로, 본 수법은 수작업 개입 또는 커팅 면들의 어떠한 정의 등도 필요로 하지 않는다. 따라서, 3D 이미지 데이터의 효율적 표면의 저 복잡성 및 고품질 생성이 달성될 수 있다. 또한, 본 수법은 현존의 3D 콘텐트 생성 도구들을 이용할 수 있게 하고 그럼으로써 개선된 역호환성 및 융통성을 제공한다.
도 4는 특정 예에서 오클루젼 프로세서(109)에 의해 이용되는 방법을 도시한 것이다. 방법은 모든 생성된 이미지 속성 맵들(현재의 경우엔 3개의 서로 다른 뷰 위치들에 대한)을 동일 뷰 각도로 이동하고(또는 전환 또는 이전) 깊이 레벨들에 따라 이 뷰 각도에 대한 서로 다른 이미지 속성 맵들 간에 오클루젼 이미지 속성 맵을 선택하는 것에 기초한다.
도 4의 방법은 오클루젼 이미지 속성 맵이 생성되는 뷰 위치로, 즉 오클루젼 뷰잉 위치/각도로 이미지 속성 맵이 이동/이전/전환되는 단계(401)에서 시작된다. 특정 예에서, 제 1 뷰 위치에 대응하는 데이터를 포함하게 이미지 신호가 생성되고, 이에 따라 이동된 이미지 속성 맵들에 대한 뷰 위치는 제 1 뷰 위치에 대해 생성된 이미지 속성 맵들에 대한 뷰 위치와 동일하다. 구체적으로, 측 뷰들로부터 각각의 화소는 가려지지 않았다면 보여졌을 중앙 뷰 내 위치로 이동/이전될 수 있다.
단계(401)에 이어 단계(403)에서 모든 뷰 위치들에 대한 이미지 속성 맵들이 공통 오클루젼 뷰잉 위치로 이동/이전/전환되었는지가 판정된다. 그렇지 않다면, 방법은 단계(405)로 진행하여 다음 뷰 위치가 선택된다. 이어서 방법은 단계(401)로 되돌아가 이 다음 뷰 위치에 대한 이미지 속성 맵들이 오클루젼 뷰 각도로 이전된다.
이에 따라, 오클루젼 프로세서(109)는 모든 뷰 위치들을 처리하고, 각 뷰 위치에 대해, 이미지 속성 맵 내 내포된 정보를 반영하나 오클루젼 뷰잉 위치에 대응하게 이전 또는 워프(warped)되었던 수정된 이미지 속성 맵들이 생성된다. 따라서, 예에서, 오클루젼 프로세서(109)는 3개의 수정된 이미지들, 깊이 맵들 및 선택적으로 이미지들로부터 오클루젼 뷰 각도에 대응하는 투명성 및 이미지 물체 맵들, 깊이 맵들 및 선택적으로 제 1, 제 2 및 제 3 뷰 위치들/각도들에 대해 생성된 투명성 및 이미지 물체 맵들을 결정한다. 특정 예에서, 오클루젼 뷰잉 위치는 중앙 뷰 위치, 즉 제 1 뷰 위치와 같으며, 따라서 제 1 이미지 속성 맵 생성기(103)로부터 제공된 이미지 속성 맵들을 전환한다는 것은 단순히 어떠한 처리 또는 수정도 하지 않고 이미지 속성 맵들을 유지하는 것으로 구성될 수 있음을 알 것이다.
이미지 속성 맵을 오클루젼 뷰 각도로 전환하는 것은 구체적으로, 서로 다른 화소들의 깊이에 기초하여 이들 화소들에 대해 변위들을 결정함으로써 달성될 수 있다. 이에 이어, 임의의 결과적으로 나타난 가려지지 않게 된 이미지 영역들을 채운다. 이러한 뷰 각도 이동들을 실행하기 위한 서로 다른 알고리즘들은 당업자에게 공지되어 있을 것이며 임의의 적합한 수법이 이용될 수 있음을 알 것이다.
특정 예로서, 도 5는 제 2 뷰 위치에 대해 생성된 이미지로부터, 수정된 제 2 이미지의 생성의 예를 도시한 것이다.
오클루젼 프로세서(109)는 먼저 각각의 화소 또는 이미지 영역에 대해 화소의 깊이에 따른 변위 벡터(501, 503)를 생성한다. 구체적으로, 화소들은 이들의 패럴랙스에 비례하여 이동되며(실제로 이웃 화소들 간에 라인들은 변위되고 라스터라이즈(rasterize)된다), 이에 따라 이동은 더 먼(더 뒤쪽에 배경) 이미지 물체들(507)에 대해서 보다는 더 가까운(더 앞쪽에 전경) 이미지 물체들에 대해 더 크다.
결국, 서로 다른 이미지 영역들(서로 다른 깊이들에서 이미지 물체들에 대응하는) 내 서로 다른 화소들은 다르게 이동될 것이며 따라서 오클루젼 뷰 각도에서 화소들 간에 갭들(511) 뿐만 아니라 잠재적 중첩들(509)이 초래될 것이다. 갭들은 뷰 각도 수정에 따라 가려지지 않게 된 이미지 영역들에 대응하고 적합한 단일 층 디-오클루젼 알고리즘을 이용하여 채워진다. 구체적으로, 인접 화소들이 가려지지 않게 된 화소 영역들에 카피되는 화소 복제가 이용될 수 있다.
그러나, 중첩 영역들(509)에 대해서, 두 깊이 레벨들 뿐만 아니라 두 화소 값들이 유지된다. 따라서, 공통 뷰 각도에 대한 생성된 수정된 이미지 속성 맵은 이전되는 이미지 속성 맵의 복수의 화소들에 대응하는 화소들에 대한 복수의 이미지 속성 값들을 내포할 수 있다. 특히, 복수의 이미지 속성 값들은 원 이미지 속성 맵의 개별적 이미지 물체들이 동일 화소들로 변위되는 중첩 영역에 포함되는 모든 화소들에 대해 유지될 수 있다.
기술된 수법은 임의의 또는 모든 이미지 속성 채널들에 적용될 수 있음을 알 것이다. 특히, 오클루젼 뷰 각도에 대한 이미지, 깊이 맵, 투명성 맵 및/또는 이미지 물체 맵이 기술된 수법을 이용하여 생성될 수 있다.
모든 뷰 각도들에 대한 이미지 속성 맵들이 오클루젼 뷰 각도로 이전되었을 때, 방법은 단계(407)로 진행하여 오클루젼 뷰 각도에 대한 오클루젼 맵이 생성된다. 이 단계에서, 모든 이미지 속성 맵들이 동일 뷰 각도, 즉 오클루젼 뷰 각도를 반영하는 각각의 이미지 속성 채널마다 한 세트의(이 경우에서는) 3개의 이미지 속성 맵들이 제공된다. 따라서, 이들은 서로 직접 중첩하게 되어 각 화소에 대해 복수의 값들을 선택하는 결과가 된다. 이어서 오클루젼 프로세서(109)는 연관된 깊이 값들에 기초하여 어느 값을 이용할지를 선택한다.
예를 들면, 각각의 화소 위치에 대해서 단계(401)에서 생성된 한 세트의 이미지들 내 이 화소 위치에서의 모든 화소값들로부터 화소값을 선택함으로써 오클루젼 이미지가 생성된다. 선택된 화소값은 단계(401)에서 생성된 한 세트의 깊이 맵들의 깊이 맵들에 저장된 화소 위치에 대한 깊이 값에 따른다.
구체적으로, 각각의 화소 위치에 대해서, 오클루젼 프로세서(109)는 제 2의 가장 앞쪽에 깊이 값에 대응하는 이미지 속성 값을 선택하기를 진행할 수 있다. 이에 따라, 모든 깊이 값들이 동일 레벨을 나타내는 화소 위치에 대해서는 어떠한 화소든 선택될 수 있다. 이 상황은 모든 원 뷰 위치들이 동일 정보를 제공하는 상황, 예를 들면, 보여지는 동일 전경 또는 배경 물체를 모든 뷰 위치들이 갖게 될 상황에 대응한다.
그러나, 서로 다른 뷰 각도들이 서로 다른 뷰 물체들을 보여지게 하였다면, 이 수법에 따라 오클루젼 이미지 속성 맵은 맨 앞에 전경 이미지 물체가 아니라 이 뒤에 이미지 물체의 값을 취하게 될 것이다. 따라서, 오클루젼 이미지 속성 맵은 전경 이미지를 가져지지 않게 하는데 이용될 수 있는 오클루젼 데이터를 포함할 것이다.
예를 들면, 오클루젼 뷰 각도가 오클루젼 뷰 각도와 동일한 예에서 도 6은 생성된 오클루젼 이미지(609)의 대응하는 이미지 화소(607)가 제 1 뷰 위치에서 볼 수 있는 전경보다는 배경을 나타내도록 이미지 화소(601)가 어떻게 3개의 이동/이전/전환된 이미지들(603, 605)로부터 선택될 수 있는가를 예시한다. 이에 따라, 오클루젼 이미지(609)는 제 1 이미지(605)에 대해 추가의 배경 정보 및 디-오클루젼 데이터를 내포하게 생성될 것이다. 또한, 제 1 이미지(605) 및 오클루젼 이미지(609)는 동일 뷰 각도에 대응하기 때문에, 이들은 장면의 층상 3D 표현을 나타낸다.
깊이 레벨들간 차이가 규정된 값 미만이라면 선택 목적을 위해 이들 깊이 레벨들은 동일한 깊이 레벨인 것으로 간주될 수 있고 또는 대안적으로 또는 추가적으로, 깊이 레벨들은 선택 단계를 위해 비교적 거친 양자화를 이용할 수도 있음을 알 것이다.
일부 실시예들 또는 시나리오들에서, 오클루젼층은 제 2, 제 3, 제 4 등 대부분의 전경 깊이 레벨을 선택함으로써 오클루젼층이 생성될 수 있음을 알 것이다. 실제로, 복수의 오클루젼 층들은 각각의 반복에서 및 각각의 오클루젼 층에 의해 상이한 레벨을 선택하는 수법을 반복함으로써 생성될 수 있다.
일부 예들에서 깊이 레벨 선택 기준은 복수의 적합한 이미지 속성 값들이 한 세트의 이전된 이미지들으로부터 입수될 수 있게 함을 알 것이다. 이 경우에, 선택은 다른 인자들 또는 파라미터들을 고려할 수 있다. 예를 들면, 전환에 앞서 원 이미지 속성 맵들에 있는 이미지 속성 값들은 전환 프로세스에서 생성되었던 이미지 속성 값들보다 우선으로 선택될 수 있다. 예를 들면, 원 이미지 화소 값은 화소 복제에 의해 생성되었던 이미지 화소 값보다 우선으로 선택될 수 있다.
도 7은 오클루젼 이미지 속성 맵이 제 1 이미지에서 가려진 적어도 일부 이미지 속성 값들을 포함하는 제 1 이미지에 대한 오클루젼 이미지 속성 맵을 생성하는 방법의 예를 도시한 것이다. 방법은 뷰 위치에 따른 장면을 나타내는 이미지에 대한 이미지 속성 맵을 생성할 수 있는 렌더링 알고리즘을 이용한다.
방법은 제 1 이미지 속성 맵이 제 1 뷰 위치에 대해 제 1 알고리즘을 실행함으로써 생성되는 단계(701)에서 시작된다.
방법은 단계(703)로 계속되어 제 2 이미지 속성 맵이 제 2 뷰 위치에 대해 제 1 알고리즘을 실행함으로써 생성된다. 단계들(701 및/또는 703)은 다른 뷰 위치들에 대응하는 다른 이미지 속성 맵들에 대해 반복될 수 있음을 알 것이다.
단계(703)에 이어서 단계(705)에서는 제 1 이미지 및 제 2 이미지에 응답하여 오클루젼 이미지 속성 맵이 생성된다. 단계(705)는 특히 도 4의 방법을 실행할 수 있다.
오클루젼 이미지 속성 맵은 3D 이미지 데이터의 효율적 표면을 제공하기 위해 제 1 이미지 또는 다른 이미지 속성 맵들과 조합될 수 있다.
방법은 예를 들면, 도 1을 참조로 기술된 것과 같은 프로세서 또는 계산 플랫폼 상에서 특정하게 실행될 수 있음을 알 것이다. 또한, 본 수법은 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하기 위해 3차원 모델링 컴퓨터 프로그램과 함께 소프트웨어 도구가 이용될 수 있게 함을 알 것이다. 오클루젼 이미지 속성 맵은 오클루젼 뷰잉 위치로부터 가려진 적어도 몇몇 이미지 속성 값들을 포함하고, 3차원 모델링 컴퓨터 프로그램은 뷰 위치의 함수로서 3차원 장면을 표현하는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 알고리즘을 포함한다. 구체적으로, 소프트웨어 도구는 3D 모델링 소프트웨어 프로그램 또는 애플리케이션을 위한 소프트웨어 플러그-인 일 수 있고, 특정하게, 제 1 뷰 위치에 대한 알고리즘을 실행함으로써 제 1 이미지 속성 맵을 생성하는 단계; 제 1 뷰 위치에 대한 제 1 오프셋을 갖는 제 2 뷰 위치에 대한 알고리즘을 실행함으로써 제 2 이미지 속성 맵을 결정하는 단계; 제 1 이미지 및 제 2 이미지에 응답하여 오클루젼 이미지 속성 맵을 생성하는 단계를 구현하게 배열될 수 있다.
명확성을 위해 전술한 바는 서로 다른 기능 유닛들 및 프로세서들에 관련하여 본 발명의 실시예들을 기술하였음을 알 것이다. 그러나, 서로 다른 기능 유닛들 또는 프로세서들 간에 기능의 임의의 적합한 분배는 발명 내에서 이용될 수 있음이 명백할 것이다. 예를 들면, 별도의 프로세서들 또는 제어기들에 의해 실행되는 것으로 예시된 기능은 동일 프로세서 또는 제어기들에 의해 실행될 수도 있다. 따라서, 특정 기능 유닛들에 대한 언급은 엄격한 논리적 또는 물리적 구조 또는 구성을 나타내기보다는 기술된 기능을 제공하기 위한 적합한 수단에 대한 언급으로서 보아야만 한다.
발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 어떤 조합을 포함한 임의의 적합한 형태로 구현될 수 있다. 발명은 선택적으로 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들에서 실행되는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 성분들은 물리적으로, 기능적으로, 및 논리적으로 임의의 적합한 방식으로 구현될 수 있다. 실제로, 기능은 단일 유닛, 복수의 유닛들 또는 그외 기능 유닛들의 부분으로서 구현될 수 있다. 따라서, 발명은 단일 유닛으로 구현될 수 있고, 또는 서로 다른 유닛들과 프로세서들 간에 물리적으로 기능적으로 분산될 수도 있다.
본 발명이 일부 실시예들에 관련하여 기술되었을지라도, 여기에 개시된 특정 형태로 제한하려는 것은 아니다. 그보다는 본 본 발명의 범위는 동반된 청구항들에 의해서만 제한된다. 또한, 특징이 특정 실시예들에 관련하여 기술된 것으로 보일지라도, 당업자는 기술된 실시예들의 다양한 특징들이 발명에 따라 조합될 수 있음을 인식할 것이다. 청구항들에서, 용어 "포함하는(comprising)"은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.
또한, 개별적으로 열거되었을지라도, 복수의 수단, 요소들 또는 방법의 단계들은 예를 들면, 단일 유닛 또는 프로세서에 의해 구현될 수 있다. 또한, 개별적 특징들이 서로 다른 방법 청구항들에 포함될 수도 있을지라도, 이들은 아마도 잇점이 있게 조합될 수도 있고, 서로 다른 청구항들에 포함은 특징들의 조합이 가능하지 않고/않거나 잇점이 없음을 뜻하지 않는다. 또한 한 범주의 청구항들에 특징의 포함은 이 범주로의 제한을 의미하는 것이 아니라 적합할 때 특징이 똑같이 다른 청구항 범주들에 적용될 수 있음을 나타낸다. 또한, 청구항들에서 특징들의 순서는 특징들이 실시되어야 하는 임의의 특정 순서를 의미하지 않으며, 특히 방법 청구항에서 개개의 단계들의 순서는 단계들이 이 순서로 실행되어야 함을 의미하지 않는다. 그보다는, 단계들은 임의의 적합한 순서로 실행될 수 있다. 또한, 단수의 언급들은 복수를 배제하지 않는다. 따라서, 부정 관사("a", "an"), "제 1(first)", "제 2(second)" 등의 언급들은 복수를 배제하지 않는다. 청구항들에 참조부호들은 명료하게 하려는 예로서 제공된 것이며 어떠한 식으로든 청구항들의 범위를 제한하는 것으로 해석되지 않는다.
101: 맵 생성기
103: 제 1 이미지 속성 맵 생성기
105: 제 2 이미지 속성 맵 생성기
107: 제 3 이미지 속성 맵 생성기 109: 오클루젼 프로세서
111: 신호 생성기
103: 제 1 이미지 속성 맵 생성기
105: 제 2 이미지 속성 맵 생성기
107: 제 3 이미지 속성 맵 생성기 109: 오클루젼 프로세서
111: 신호 생성기
Claims (15)
- 3차원 장면을 위해 오클루젼(occlusion) 뷰 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법으로서, 상기 오클루젼 이미지 속성 맵은 상기 오클루젼 뷰잉 위치로부터 가려진 적어도 몇몇의 이미지 속성 값들을 포함하는, 상기 오클루젼 이미지 속성 맵 생성 방법에 있어서:
뷰 위치의 함수로서 상기 3차원 장면을 나타내는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 알고리즘을 제공하는 단계;
제 1 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 1 이미지 속성 맵을 생성하는 단계(701);
상기 제 1 뷰 위치에 대한 제 1 오프셋을 갖는 제 2 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 2 이미지 속성 맵을 결정하는 단계(703); 및
상기 제 1 이미지 및 상기 제 2 이미지에 응답하여 상기 오클루젼 이미지 속성 맵을 생성하는 단계(705)를 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 1 항에 있어서,
상기 오클루젼 이미지 속성 맵을 결정하는 단계는:
적어도 상기 제 1 이미지 속성 맵 및 상기 제 2 이미지 속성 맵을 상기 오클루젼 뷰잉 위치로 이동시킴으로써 상기 오클루젼 뷰잉 위치에 대응하는 수정된 한 세트의 이미지 속성 맵들을 생성하는 단계(401, 403, 405); 및
상기 수정된 한 세트의 이미지 속성 맵들의 대응하는 화소들로부터 상기 오클루젼 이미지 속성 맵의 화소들에 대한 이미지 속성들을 선택함으로써 상기 오클루젼 이미지 속성 맵을 결정하는 단계(407)를 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 2 항에 있어서,
상기 수정된 한 세트의 이미지 속성 맵들의 대응하는 화소들 간에 상기 선택은 상기 대응하는 화소들에 대한 깊이 값들에 따르는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 2 항에 있어서,
대응하는 화소들 간에 상기 선택은 상기 오클루젼 이미지 속성 맵의 제 1 화소에 대한 이미지 속성을 상기 제 1 화소에 대해 상기 대응하는 화소들에 대해 가장 맨 앞에 깊이에 대응하는 깊이 값을 갖지 않는 대응하는 화소에 대한 이미지 속성으로서 선택하는 단계를 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 2 항에 있어서,
대응하는 화소들 간에 상기 선택은 상기 오클루젼 이미지 속성 맵의 제 1 화소에 대한 이미지 속성을 상기 제 1 화소에 대해 상기 대응하는 화소들에 대한 두번째 맨 앞에 깊이에 대응하는 깊이 값을 갖는 대응하는 화소에 대한 이미지 속성으로서 선택하는 단계를 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 2 항에 있어서,
상기 수정된 한 세트의 이미지 속성 맵들 중 적어도 하나를 생성하는 단계(401, 403, 405)는 상기 이동에 따른 중첩하는 이미지 영역들에 대응하는 화소들에 대해 복수의 이미지 속성 값들을 생성하는 단계를 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 1 항에 있어서,
상기 오클루젼 이미지 속성 맵, 상기 제 1 이미지 속성 맵 및 상기 제 2 이미지 속성 맵으로 표현되는 이미지 속성은 이미지 광도; 이미지 컬러; 이미지 물체 식별; 투명성; 및 깊이로 구성된 그룹에서 선택된 적어도 한 이미지 속성을 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 1 항에 있어서,
상기 제 1 뷰 위치에 관하여 제 2 오프셋을 갖는 제 3 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 3 이미지 속성 맵을 결정하는 단계를 추가로 포함하고, 상기 오클루젼 이미지 속성 맵을 결정하는 단계는 상기 제 3 이미지에도 따르는 것인, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 8 항에 있어서,
상기 제 1 오프셋은 실질적으로 상기 제 2 오프셋과는 대향하여 있는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 1 항에 있어서,
상기 오클루젼 이미지 속성 맵을 포함하고 상기 오클루젼 뷰잉 위치에 대한 이미지 속성 맵들만을 포함하는 이미지 신호를 생성하는 단계를 추가로 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 1 항에 있어서,
상기 제 1 오프셋은 스크린 깊이에서 물체에 관하여 2°내지 10°의 간격으로 뷰 각도 오프셋에 대응하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 1 항에 있어서,
상기 오클루젼 이미지 속성 맵, 상기 제 1 이미지 속성 맵 및 상기 제 2 이미지 속성 맵은 이미지들인, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 방법. - 제 1 항 내지 제 12 항 중 어느 한 항의 방법을 실행하기 위한, 컴퓨터 프로그램 제품.
- 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하기 위해 3차원 모델링 컴퓨터 프로그램과 함께 이용하는 소프트웨어 도구로서, 상기 오클루젼 이미지 속성 맵은 상기 오클루젼 뷰잉 위치로부터 가려진 적어도 몇몇의 이미지 속성 값들을 포함하고, 상기 3차원 모델링 컴퓨터 프로그램은 뷰 위치의 함수로서 상기 3차원 장면을 나타내는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 알고리즘을 포함하는, 상기 소프트웨어 도구에 있어서:
제 1 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 1 이미지 속성 맵을 생성하는 단계(701);
상기 제 1 뷰 위치에 대한 제 1 오프셋을 갖는 제 2 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 2 이미지 속성 맵을 결정하는 단계(703); 및
상기 제 1 이미지 및 상기 제 2 이미지에 응답하여 상기 오클루젼 이미지 속성 맵을 생성하는 단계(705)를 실행하게 배열되는, 소프트웨어 도구. - 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 장치로서, 상기 오클루젼 이미지 속성 맵은 상기 오클루젼 뷰잉 위치로부터 가려진 적어도 몇몇의 이미지 속성 값들을 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 장치에 있어서:
뷰 위치의 함수로서 상기 3차원 장면을 나타내는 이미지에 대한 이미지 속성 맵을 생성하게 배열된 알고리즘을 제공하기 위한 수단(101);
제 1 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 1 이미지 속성 맵을 생성하기 위한 수단(103);
상기 제 1 뷰 위치에 대한 제 1 오프셋을 갖는 제 2 뷰 위치에 대해 상기 알고리즘을 실행함으로써 제 2 이미지 속성 맵을 결정하기 위한 수단(105); 및
상기 제 1 이미지 및 상기 제 2 이미지에 응답하여 상기 오클루젼 이미지 속성 맵을 생성하기 위한 수단(109)를 포함하는, 3차원 장면을 위해 오클루젼 뷰잉 위치에 대한 오클루젼 이미지 속성 맵을 생성하는 장치.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP08167688.4 | 2008-10-28 | ||
| EP08167688 | 2008-10-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20110090958A true KR20110090958A (ko) | 2011-08-10 |
Family
ID=41508282
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020117011992A KR20110090958A (ko) | 2008-10-28 | 2009-10-21 | 이미지 속성들에 대한 오클루젼 데이터의 생성 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US20110205226A1 (ko) |
| EP (1) | EP2342900A1 (ko) |
| JP (1) | JP2012507181A (ko) |
| KR (1) | KR20110090958A (ko) |
| CN (1) | CN102204262A (ko) |
| BR (1) | BRPI0914466A2 (ko) |
| RU (1) | RU2011121550A (ko) |
| TW (1) | TW201031177A (ko) |
| WO (1) | WO2010049850A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200465456Y1 (ko) * | 2011-08-01 | 2013-02-21 | 최홍섭 | 차량용 후방카메라 |
| US10991144B2 (en) | 2016-07-29 | 2021-04-27 | Sony Corporation | Image processing apparatus and image processing method |
| KR20230080224A (ko) | 2021-11-29 | 2023-06-07 | (주)테슬라시스템 | 인공지능 학습용 오클루젼된 이미지 형성 방법 |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010521216A (ja) * | 2007-03-15 | 2010-06-24 | バイオプロテクト リミテッド | 軟組織固定装置 |
| US20130162774A1 (en) * | 2010-09-14 | 2013-06-27 | Dong Tian | Compression methods and apparatus for occlusion data |
| EP2458877A1 (en) * | 2010-11-26 | 2012-05-30 | Thomson Licensing | Occlusion layer extension |
| CN104067317A (zh) | 2011-09-08 | 2014-09-24 | 宝福特控股私人有限公司 | 用于在真实世界视频剪辑内对合成对象进行可视化的系统和方法 |
| US9451232B2 (en) | 2011-09-29 | 2016-09-20 | Dolby Laboratories Licensing Corporation | Representation and coding of multi-view images using tapestry encoding |
| US8705071B2 (en) * | 2012-04-03 | 2014-04-22 | Infoprint Solutions Company Llc | Bitmap compare mechanism |
| TWI485653B (zh) * | 2012-06-28 | 2015-05-21 | Imec Taiwan Co | 成像系統及方法 |
| US9866813B2 (en) | 2013-07-05 | 2018-01-09 | Dolby Laboratories Licensing Corporation | Autostereo tapestry representation |
| US9514574B2 (en) * | 2013-08-30 | 2016-12-06 | Qualcomm Incorporated | System and method for determining the extent of a plane in an augmented reality environment |
| WO2015055607A2 (en) * | 2013-10-14 | 2015-04-23 | Koninklijke Philips N.V. | Remapping a depth map for 3d viewing |
| KR102156402B1 (ko) | 2013-11-05 | 2020-09-16 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| WO2016014020A1 (en) | 2014-07-21 | 2016-01-28 | Hewlett-Packard Development Company, L.P. | Radial histogram matching |
| EP3192259A4 (en) * | 2014-09-09 | 2018-05-16 | Nokia Technologies Oy | Stereo image recording and playback |
| CN105513112B (zh) * | 2014-10-16 | 2018-11-16 | 北京畅游天下网络技术有限公司 | 图像处理方法和装置 |
| WO2016087702A1 (en) * | 2014-12-03 | 2016-06-09 | Nokia Technologies Oy | Digital video rendering |
| US9704298B2 (en) * | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
| US10742954B2 (en) * | 2015-07-31 | 2020-08-11 | Versitech Limited | Multi-overlay variable support and order kernel-based representation for image deformation and view synthesis |
| US20190318188A1 (en) * | 2016-01-29 | 2019-10-17 | Ent. Services Development Corporation Lp | Image skew identification |
| EP3273686A1 (en) * | 2016-07-21 | 2018-01-24 | Thomson Licensing | A method for generating layered depth data of a scene |
| EP3324209A1 (en) * | 2016-11-18 | 2018-05-23 | Dibotics | Methods and systems for vehicle environment map generation and updating |
| CN110800020B (zh) * | 2017-07-28 | 2021-07-09 | 深圳配天智能技术研究院有限公司 | 一种图像信息获取方法、图像处理设备及计算机存储介质 |
| EP3698332A4 (en) * | 2017-10-18 | 2021-06-30 | Nokia Technologies Oy | APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VOLUMETRIC VIDEO |
| US20220353530A1 (en) * | 2021-04-29 | 2022-11-03 | Active Theory Inc | Method and System for Encoding a 3D Scene |
| US11475610B1 (en) | 2021-04-30 | 2022-10-18 | Mobeus Industries, Inc. | Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer |
| US11682101B2 (en) | 2021-04-30 | 2023-06-20 | Mobeus Industries, Inc. | Overlaying displayed digital content transmitted over a communication network via graphics processing circuitry using a frame buffer |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5751927A (en) * | 1991-03-26 | 1998-05-12 | Wason; Thomas D. | Method and apparatus for producing three dimensional displays on a two dimensional surface |
| US5973700A (en) * | 1992-09-16 | 1999-10-26 | Eastman Kodak Company | Method and apparatus for optimizing the resolution of images which have an apparent depth |
| US6252974B1 (en) * | 1995-03-22 | 2001-06-26 | Idt International Digital Technologies Deutschland Gmbh | Method and apparatus for depth modelling and providing depth information of moving objects |
| US6163337A (en) * | 1996-04-05 | 2000-12-19 | Matsushita Electric Industrial Co., Ltd. | Multi-view point image transmission method and multi-view point image display method |
| KR100239132B1 (ko) * | 1996-10-10 | 2000-01-15 | 윤종용 | 3차원 시차 그리기 장치 및 방법 |
| US6784885B1 (en) * | 1996-10-10 | 2004-08-31 | Samsung Electronics Co., Ltd. | Method and apparatus for three-dimensional parallax drawing |
| US6031564A (en) * | 1997-07-07 | 2000-02-29 | Reveo, Inc. | Method and apparatus for monoscopic to stereoscopic image conversion |
| JP3745117B2 (ja) * | 1998-05-08 | 2006-02-15 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US20050146521A1 (en) * | 1998-05-27 | 2005-07-07 | Kaye Michael C. | Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images |
| US7085409B2 (en) * | 2000-10-18 | 2006-08-01 | Sarnoff Corporation | Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery |
| CN1739119A (zh) * | 2003-01-17 | 2006-02-22 | 皇家飞利浦电子股份有限公司 | 全深度图采集 |
| KR100505334B1 (ko) * | 2003-03-28 | 2005-08-04 | (주)플렛디스 | 운동 시차를 이용한 입체 영상 변환 장치 |
| US7369139B2 (en) * | 2003-11-20 | 2008-05-06 | Honeywell International, Inc. | Background rendering of images |
| US7555158B2 (en) * | 2004-12-07 | 2009-06-30 | Electronics And Telecommunications Research Institute | Apparatus for recovering background in image sequence and method thereof |
| US8384763B2 (en) * | 2005-07-26 | 2013-02-26 | Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
| US7778491B2 (en) * | 2006-04-10 | 2010-08-17 | Microsoft Corporation | Oblique image stitching |
| KR100866491B1 (ko) * | 2007-01-30 | 2008-11-03 | 삼성전자주식회사 | 영상 처리 방법 및 장치 |
| RU2487488C2 (ru) * | 2007-06-26 | 2013-07-10 | Конинклейке Филипс Электроникс Н.В. | Способ и система для кодирования сигнала трехмерного видео, инкапсулированный сигнал трехмерного видео, способ и система для декодера сигнала трехмерного видео |
-
2009
- 2009-10-21 WO PCT/IB2009/054638 patent/WO2010049850A1/en active Application Filing
- 2009-10-21 JP JP2011532755A patent/JP2012507181A/ja not_active Withdrawn
- 2009-10-21 EP EP09743931A patent/EP2342900A1/en not_active Withdrawn
- 2009-10-21 RU RU2011121550/07A patent/RU2011121550A/ru not_active Application Discontinuation
- 2009-10-21 US US13/125,857 patent/US20110205226A1/en not_active Abandoned
- 2009-10-21 CN CN2009801430216A patent/CN102204262A/zh active Pending
- 2009-10-21 KR KR1020117011992A patent/KR20110090958A/ko not_active Application Discontinuation
- 2009-10-21 BR BRPI0914466A patent/BRPI0914466A2/pt not_active Application Discontinuation
- 2009-10-26 TW TW098136206A patent/TW201031177A/zh unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR200465456Y1 (ko) * | 2011-08-01 | 2013-02-21 | 최홍섭 | 차량용 후방카메라 |
| US10991144B2 (en) | 2016-07-29 | 2021-04-27 | Sony Corporation | Image processing apparatus and image processing method |
| KR20230080224A (ko) | 2021-11-29 | 2023-06-07 | (주)테슬라시스템 | 인공지능 학습용 오클루젼된 이미지 형성 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012507181A (ja) | 2012-03-22 |
| TW201031177A (en) | 2010-08-16 |
| EP2342900A1 (en) | 2011-07-13 |
| CN102204262A (zh) | 2011-09-28 |
| BRPI0914466A2 (pt) | 2015-10-27 |
| US20110205226A1 (en) | 2011-08-25 |
| RU2011121550A (ru) | 2012-12-10 |
| WO2010049850A1 (en) | 2010-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20110090958A (ko) | 이미지 속성들에 대한 오클루젼 데이터의 생성 | |
| US8471898B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
| KR101697184B1 (ko) | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 | |
| US9843776B2 (en) | Multi-perspective stereoscopy from light fields | |
| EP2150065B1 (en) | Method and system for video rendering, computer program product therefor | |
| KR102492971B1 (ko) | 3차원 이미지를 생성하기 위한 방법 및 장치 | |
| US20130162634A1 (en) | Image processing method and apparatus using multi-layer representation | |
| JP4489610B2 (ja) | 立体視可能な表示装置および方法 | |
| KR101334187B1 (ko) | 다시점 렌더링 장치 및 방법 | |
| US9196080B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
| WO2012140397A2 (en) | Three-dimensional display system | |
| KR20170046434A (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| KR20140051035A (ko) | 영상 부호화 방법 및 장치 | |
| Knorr et al. | From 2D-to stereo-to multi-view video | |
| KR101192121B1 (ko) | 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 | |
| Shishido et al. | Pseudo-Dolly-In Video Generation Combining 3D Modeling and Image Reconstruction | |
| US20210217229A1 (en) | Method and apparatus for plenoptic point clouds generation | |
| Tian et al. | A trellis-based approach for robust view synthesis | |
| Jeong et al. | Depth image‐based rendering for multiview generation | |
| CN117635454A (zh) | 多源光场融合渲染方法、装置及存储介质 | |
| Byalmarkova et al. | Approaches in Creation of 3D Content for Autostereoscopic Displays | |
| KR101336955B1 (ko) | 다시점 영상 생성 방법 및 시스템 | |
| KR20140144089A (ko) | 프리뷰를 통한 다시점 영상의 편집 기법 및 그 장치 | |
| KR20110090488A (ko) | 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |