KR20050004120A - 디지털 이미지들을 코딩하는 디바이스, 시스템 및 방법 - Google Patents

Abstract

본 발명은 3차원 가상 장면의 시점들을 나타내는 2차원 이미지들을 코딩하는 디바이스에 관한 것으로, 연속적인 이미지들의 표시에 의해 시뮬레이션되는 이러한 장면에서의 움직임은 소정의 궤적들에 의해 제한된다.

본 발명에 따르면, 상기 디바이스는 적어도 하나의 2차원 소스 이미지 및 이러한 이미지의 하나의 변환이 각 노드 N_i와 관련되도록 연속적인 노드들 N_i의 그래프(300)를 이용하여 궤적을 코딩하는 수단을 포함한다.

Description

디지털 이미지들을 코딩하는 디바이스, 시스템 및 방법{DEVICE, SYSTEM AND METHOD OF CODING DIGITAL IMAGES}

본 발명은 디지털 이미지를 코딩하는 디바이스, 시스템 및 방법에 관한 것으로서, 특히 3차원 가상 장면(virtual scene)에서의 움직임을 시뮬레이션하는 것에 관한 것이다.

비디오 게임들, 온라인 판매 또는 자산 시뮬레이션 등과 같이 수많은 어플리케이션들은, 앞서 언급한 소정의 예들에 따라, 가게 또는 아파트에 대응할 수 있는 3차원 가상 장면에서의 움직임을 시뮬레이션하기 위해 스크린 상에 연속적으로 표시되는 2차원 디지털 이미지들의 생성을 필요로 한다.

즉, 스크린 상에 표시되는 2차원 이미지들은 3차원 가상 장면에서 사용자가 원하는 움직임들의 함수로서 변화하며, 각각의 새로운 이미지는 발생되는 움직임에 따라 장면의 새로운 시점에 대응하여 표시된다.

이러한 2차원 이미지들을 생성하기 위해, 예를 들면 폴리콘의 각 패싯(facet)이 소정의 시점에 따라 장면의 일부분을 코딩하는 폴리곤(polygon)들을 이용하여, 3차원 장면의 가능한 모든 시점들을 코딩하는 기술이 알려져 있다.

사용자가 장면 내의 움직임을 시뮬레이션하기를 원할 경우, 그 후, 요구되는 시점과 관련되는 장면의 부분들을 나타내는 폴리콘들의 적절한 패싯(들)을 선택하고 그 다음 이러한(또는 이러한 것들의) 패싯(facet)(들)에 의해 코딩된 이미지들을 스크린 상에 투사함으로써 표시된 이미지가 생성된다.

이러한 이미지를 생성하기 위해 실행되는 동작들이 많고 복잡하기 때문에,그러한 방법은 이미지들을 생성하는데 사용되는 디바이스 레벨에서의 그래픽 맵(graphical map)을 필요로 함으로써, 비용을 증가시키고 이러한 방법의 복잡도를 증가시키는 단점들을 가지고 있다.

더우기, 데이터 양은 가능한 모든 시점들에 따라 장면을 코딩하는데 필요한 정보에 대응하기 때문에, 이미지를 생성하기 위해 저장되고 처리되어야 하는 데이터 양이 특히 중요하다.

또한, 소스 이미지가 다양하게 표시된 이미지들을 생성하는데 사용될 수 있도록 2차원 이미지들 - 이후에서는 더브된 소스 이미지(dubbed source images)로 나타냄 - 을 이용하여, 2차원 장면의 움직임을 시뮬레이션하는 것도 알려져 있다.

따라서, 표시된 이미지를 생성하는데 사용되는 소스 이미지의 영역(zone)을 수정하고 가능하다면 소스 이미지의 연관된 영역들에 대해 변환을 수행함으로써 다양한 2차원 이미지들을 생성하는 것이 가능하도록 표시된 이미지의 차원보다 소스 이미지의 차원이 더 크다.

소스 이미지를 사용하는 일례가 도 1에 도시되어 있는데, 여기서, 3개의 이미지(I_a1, I_a2, I_a3)는 단일 소스 이미지(I_s)에 기초하여 생성된다.

그러한 사용은 문서 ISO/IEC JTC 1/SC 29/WG 11 N 2502의 페이지 189 ~ 195에 예로서 설명된 것과 같이, MPEG(Motion Picture Expert Group)-4 표준으로 구현된다.

본 발명은, 3차원 장면 또는 환경에서의 움직임을 시뮬레이션하는 수많은 어플리케이션들에서 시뮬레이션된 움직임들이 미리 정의된 궤적들(predefined trajectories)을 따라 이루어진다라는 발견에 기초한다.

예를 들면, (각각 자산 프로젝트의) 온라인 판매의 프레임워크 내에서 사용자에게 액세스가능한 움직임들은, 이러한 판매를 (자산 프로젝트에 관련된 아파트 또는 집의 방들에 각각 한정되게 하는) 가게의 쉘프(shelves)들로 한정된다.

도 1은 2차원 이미지를 생성하기 위한 소스 이미지의 사용을 나타내는 도면.

도 2는 원격 통신망(telecommunication network)을 사용하는 본 발명에 따른 시스템을 나타내는 도면.

도 3은 본 발명에 따른 3차원 가상 장면(scene)의 코딩을 나타내는 도면.

도 4 및 5는 본 발명에 따른 시스템에서 데이터 전송을 나타내는 도면.

도 6은 MPEG-4 표준을 사용하는 본 발명에 따른 시스템에서의 표시될 이미지의 생성을 나타내는 도면.

<도면의 주요 부분에 대한 부호의 설명>

104 : 디바이스

110 : 디코더

106 : 사용자

100 : 시스템

108 : 제어 수단

이러한 문제를 해결하기 위해, 본 발명은, 3차원 가상 장면의 시점들을 나타내는 2차원 이미지들을 코딩하기 위한 디바이스 - 이미지들의 연속적인 표시에 의해 시뮬레이션되는, 이러한 장면에서의 움직임은 미리 결정된 궤적들에 따라 한정됨 - 에 관한 것으로서, 적어도 하나의 2차원 소스 이미지, 및 표시될 이미지를 생성할 수 있게 하는 이러한 소스 이미지의 하나의 변환이 각 노드와 연관되도록 연속적인 노드들의 그래프를 이용하여 궤적을 코딩하는 수단을 포함한다.

본 발명에 의해, 3차원 장면에서의 움직임의 시뮬레이션은, 코딩을 3차원으로 처리하기 위해 그래픽 맵을 사용할 필요없이 2차원 소스 이미지들을 이용하여 실행된다.

결과적으로, 본 발명에 따른 이미지들의 코딩 및 프로세싱은 보다 비용이 적게 들고 보다 용이하게 구현할 수 있다.

또한, 이미지들을 생성하는데 필요한 데이터베이스들은, 사용자에게 액세스가능하지 않은 시점들에 따른 이미지의 코딩은 고려되지 않기 때문에 3차원 데이터가 코딩되는 경우보다 적다.

일 실시예에서, 디바이스는, 2진 마스크와 같은, 소스 이미지와 연관된 마스크를 이용하여 표시될 이미지를 코딩하는 수단을 포함하는데, 마스크는 표시될 이미지의 각 픽셀에 대해 구성될 소스 이미지에 기초하여, 소스 이미지(I_s,i)를 식별한다.

일 실시예에 따르면, 디바이스는 소스 이미지들, 및 연속적인 노드들에 대한 이러한 소스 이미지들의 변환들에 관련되는 리스트를 2진 트레인(bianry train)의 형태로 코딩하는 수단을 포함한다.

일 실시예에 따르면, 디바이스는 가장 먼 것으로부터 - 즉 사용자로부터 가장 멀리 떨어진 것과 같이 보이는 이미지의 일부분을 생성함 - 가장 가까운 소스 이미지로 - 즉 , 사용자에게 가장 가깝운 것과 같이 보이는 이미지의 일부분을 생성함 - 이미지를 생성하는 소스 이미지들을 리스트에 배열하는 수단을 포함한다.

일 실시예에 따르면, 디바이스는, 이러한 노드들에 의해 정의되는, 수개의 궤적들이 가능할 때 다수의 노드중에서 고려될 노드를 결정하는 커맨드를 수신하는 수단을 포함한다.

일 실시예에 따르면, 디바이스는 MPEG-4형 비디오 이미지들의 스트림에 따라 소스 이미지들을 생성하는 수단을 포함한다.

일 실시예에서, 디바이스는, 어파인(affine) 또는 선형 호모그래픽 관계(linear homographic relation)를 이용하여, 3차원 코딩을 표시될 이미지면으로 투사함으로써 3차원 코딩에 기초하여 소스 이미지들을 생성하는 수단을 포함한다.

일 실시예에 따르면, 디바이스는 샷(shot)을 시뮬레이션하는 카메라의 파라미터들을 고려하는 수단을 포함한다.

일 실시예에서, 디바이스는, 이러한 투사와 어파인(개별적으로 호모그래픽) 투사 사이의 편차가 투사 에러(projection error)보다 작은 경우 선형(개별적으로 어파인) 투사가 실행되는 방식으로 3차원 코딩의 투사의 에러를 평가하는 수단을 포함한다.

일 실시예에 따르면, 디바이스는, 표시될 이미지와 연관된 각 소스 이미지에 대해, 이러한 인접한 이미지들에 소스 이미지의 파라미터들을 적용함으로써 생성되는 에러가 관련된 모든 픽셀들에 대한 임계값보다 작거나 또는 최소 퍼센티지에 대한 임계값보다 작은지를 검증함으로써 통합될 수 있는 인접한 소스 이미지들을 결정하여 생성되는 소스 이미지들을 함께 그룹화하는 수단을 포함한다.

또한, 본 발명은 이미지 표시 디바이스를 포함하는 3차원 가상 장면(scene)에서의 움직임들을 시뮬레이션하는 시스템에 관한 것으로, 이 시스템은 한정된 다수의 미리 선정된 궤적들 중 하나의 궤적에 따라 움직임을 사용자가 제어할 수 있도록 하는 표시 스크린 및 제어 수단을 포함하며, 이 시스템은 앞선 실시예들 중 하나에 따른 디바이스를 포함하는 것을 특징으로 한다.

일 실시예에 있어서, 시스템은, 더 가까운 또 다른 소스 이미지를 갖는 사용자에 대하여 멀리 있는 소스 이미지 일부에 대해 블랭킹을 자동적으로 수행하는 수단을 포함한다.

일 실시예에 따르면, 시스템은, 여러 개의 소스 이미지(source image)들에 기초하여 연속적인 방식으로 표시될 이미지의 픽셀을 생성하는 수단을 포함하고, 상기 픽셀의 새로운 값 각각이 이전에 계산된 값들을 대신한다.

마지막으로, 본 발명은 이미지 표시 디바이스를 사용하여 3차원 가상 장면에서의 움직임을 시뮬레이션하는 방법에 관한 것으로, 표시 스크린 및 제어 수단은 한정된 다수의 미리 정의된 궤적들 중에서 하나의 궤적에 따라 움직임을 사용자가 제어할 수 있도록 하고, 이 방법은 앞선 실시예들 중 하나에 따른 디바이스를 포함한다는 점에 그 특징이 있다.

본 발명의 다른 특징들 및 장점들은 첨부 도면을 참조로 하는 후술되는 본 발명의 실시예(이에 한정되지 않음)에 대한 설명으로부터 명백해질 것이다.

본 발명에 따른 시스템(100)(도 2 참조)은 2차원 이미지를 코딩하는 디바이스(104)를 포함한다.

코딩된 이미지들은 3차원 가상 장면의 시점들(viewpoints)을 나타낸다. 사실상, 이러한 실시예에 있어서, 이러한 장면은 여러 개의 룸들(rooms)을 포함하는 아파트(apartment)에 대응하는 것으로 간주된다.

이미지들의 연속적인 표시에 의해 시뮬레이션되는, 이러한 아파트를 지나는 움직임들은 제1 룸으로부터 상기 제1 룸에 이웃해 있는 제2 룸으로의 이동에 대응하는 미리 결정된 궤적들에 따라 제한된다.

본 발명에 따르면, 장치(104)는 도 3을 참조하여 후술되는 연속적인 노드들로 이루어진 그래프를 이용하여 궤적를 코딩하는 수단들을 포함하는데, 상기 그래프의 각 노드는 적어도 하나의 2차원 소스 이미지 및 표시될 이미지을 생성하기 위한 해당 이미지의 변환과 관련된다.

상기 실시예에 있어서, 여러 사용자들(106, 106', 106")은 동일한 디바이스(104)를 사용하여, 아파트 내에서 다양한 움직임들을 동일하게 또는 서로 다르게 시뮬레이션한다.

따라서, 이러한 시스템(100)은 각 사용자(106, 106', 106")가 아파트 내에서 시뮬레이션하기를 희망하는 움직임들에 관한 커맨드들을 각 사용자(106, 106' 106")가 디바이스(104)로 전송할 수 있게 하는 제어의 수단들(108, 108', 108")을 포함한다.

이러한 커맨드들에 응답하여, 디바이스에 의해 전송된 데이터는 변화하고, 도 4를 참조하여 후술되는 바와 같이, 이 데이터들은 표시될 각 이미지를 생성하기 위해, 데이터를 처리하는 디코더들(110, 110', 110")로 전송된다.

도 3에는 연속적인 노드들 N₁, N₂, N₃, ... N_n을 이용하여 3개의 가능한 궤적들을 코딩하는 본 발명에 따른 그래프(300)가 도시되는데, 표시될 이미지에 대응하는 각 노드 N_i는 코딩된 장면의 시점이라 칭한다.

따라서, 그래프(300)는 2차원인 하나 이상의 소스 이미지들 I_s, 및 각 소스 이미지에 대한 특정 변환 T_s,i가 각 노드 N_i와 관련되는 방식으로 디바이스(104)에 저장된다.

계속해서, 3차원 장면에서의 움직임을 시뮬레이션하는 동안, 그래프(300)는후술되는 2개 모드에 따라 표시될 이미지들을 생성하기 위해 사용된다.

제1 수동 모드에 따르면, 움직임의 시뮬레이션이 3차원 장면에서 단일 가능 궤적(single possible trajectory)으로 수행된다. 그러한 모드는, 예를 들어, 노드 N₁에서 N₆까지 포함하는 그래프(300) 부분(302)에 대응한다.

이러한 경우에, 디바이스의 사용자는 커맨트들(108)을 사용하여, 시뮬레이션된 움직임을 지속, 중지, 또는 복귀시킨다.

움직임이 지속되는 경우에, 노드 N_i와 관련된 소스 이미지들 I_s은 연속적인 방식으로 디바이스(104)에서 생성 수단(110)으로 전송되므로, 후자가 스크린(102)에 전송될 이미지들을 형성한다.

본 발명의 이러한 실시예에 있어서, 소스 이미지 I_s은 표시될 이미지의 생성을 위해 필요한 경우에만 전송된다.

또한, 전송된 소스 이미지들 I_s은 새로운 전송을 요구하지 않고, 그들이 재사용될 수 있는, 즉, 표시될 새로운 이미지을 형성하는 방식으로 디코더(110, 110', 110")에 의해 저장된다.

따라서, 3차원 장면에서의 움직임의 시뮬레이션을 위해 전송된 데이터의 품질이 저감된다.

그러나, 소스 이미지 I_s이 이미지을 생성하는데 더 이상 사용되지 않는 경우, 이 소스 이미지 I_s은 디코더로부터 삭제되고, 사용되거나 혹은 보다 최근에 전송된 또 다른 소스 이미지 I_t으로 대체된다.

제2 양방향성 모드(second interactive mode)에 따르면, 제어 수단(108, 108', 108") 및 디바이스(104)는 다수의 가능한 움직임들 중에서 하나의 움직임에 대한 시뮬레이션을 선택하도록 통신한다. 따라서, 사용자는 여러 개의 가능한 새로운 시점들에 대한 선택 중에서 새로운 시점의 표시를 선택한다.

그래프(300)가 하나의 동일한 이전 노드 N₇(N₉각각)에 연속하는 다수의 노드 N₈과 N₁₂(N₁₀과 N₁₁각각)를 나타내는 경우에, 그러한 시뮬레이션이 발생한다.

구체적으로, 움직임이 하나의 동일한 위치로부터 시작하는 2개의 병행 궤적에 따라 실시될 수 있는 경우에, 이것이 발생한다.

이러한 경우에, 디코더(110, 110', 110")는 궤적의 선택을 나타내는 커맨드를 코더(104)에 전송하는 수단을 포함한다.

그 때문에, 사용자의 움직임을 모니터하고 필요한 요구들을 서버에 전송하는 수신기에, 네비게이션 그래프가 미리 전송된다는 것이 강조되어야 한다.

수동 또는 양방향성 네비게이션 모드에 있어서, 소스 이미지 I_s은 텍스쳐를 코딩하는 장방형 이미지(rectangular image)의 형태, 및 이러한 소스 이미지 I_s의 픽셀을 나타내는 하나 이상의 2진 마스크의 형태로 표현되는데, 이것은 표시될 이미지을 형성하기 위해 고려되어야 한다.

텍스쳐의 이미지의 꼭지점들의 2차원 좌표에 의해 정의되는, 폴리곤의 꼭지점들의 배열된 리스트에 의해 묘사된 폴리곤을 이진 마스크 대신에 사용할 수 있다.

또한, 소스 이미지의 유용한 부분을 묘사하는 폴리곤을 이용하여 소스 이미지를 재구성할 수 있는 표시될 이미지의 영역을 결정할 수 있다. 이와 같이 이 소스 이미지에 기초하여 표시될 이미지를 재구성하는 것은, 이렇게 식별된 영역으로 제한된다.

디코더(110, 110' 또는 110'')가 사용하게될 소스 이미지 I_s가 후자에 의해 저장되지 않는 경우, 그것의 텍스쳐 및 그것의 형상은 코더에 의해 전송되는 한편, 이 소스 이미지를 사용하는 이후의 시점을 위해서는, 오직 그것의 형상과 그것의 변환 만이 전송된다.

따라서, 코더(104)와 디코더들(110, 110' 또는 110'') 사이에 전송된 데이터의 양은 제한된다.

사실상, i로 인덱스된, 표시될 각각의 이미지에 대해, 코더(104)는 이 이미지의 구성에 필요한 소스 이미지들 I_s의 리스트를, 예를 들어 각각의 소스 이미지 I_s를 식별하는 참조 번호들 s의 형태로 전송한다.

또한, 이 리스트는 표시될 이미지 i에 대한 각 소스 이미지 I_s와 연관된 기하학적 변환 T_s,i를 포함한다.

이 리스트는 다른 가까운 소스 이미지에 의해 멀리 떨어진 소스 이미지에 대해 블랭킹을 자동적으로 수행할 수 있는 방식으로, 가장 멀리있는 소스 이미지로부터 - 즉 사용자로부터 가장 멀리있는 것으로 나타나는 이미지의 부분을 생성함 - 가장 가까운 소스 이미지 - 즉 사용자에게 가장 가까운 것으로 나타나는 이미지의 부분을 생성함 - 로 배열될 수 있다.

발명의 변형에 따르면, 표시될 각 이미지에 대해 이진 마스크가 전송되고, 표시될 이미지의 각 픽셀에 대한 이 마스크는 그것이 구성되는 것에 기초하여 소스 이미지 I_s를 식별한다.

요약하면, 표시될 이미지를 생성하기 위하여, 이하의 동작들이 수행된다:

- 첫째로, 표시될 이미지와 연관된 소스 이미지들 I_s는 사용자가 소정의 시점으로 이동하기를 원할 때 전송된 리스트에 의해 식별된다.

- 둘째로, 각각의 소스 이미지 I_s에 대해, 가장 멀리있는 소스 이미지로부터 시작하여 가장 가까운 소스 이미지로 진행함으로써, 재구성 중에 스캔될 이미지의 영역을 감소시키는 방식으로, 표시될 이미지 상에 볼록 폴리곤이 투사된다.

- 셋째로, 식별된 영역에 속하는 표시될 이미지의 각각의 픽셀에 대해, 소스 이미지 I_s내의 대응하는 픽셀의 어드레스를 결정하기 위해 기하학적 변환 T_s,i를 적용한다.

본 실시예에 있어서, 이 픽셀이 이 소스 이미지에 속하는 4개의 다른 픽셀들에 의해 둘러싸이면, 소스 이미지 I_s의 픽셀의 멤버십이 결정되며, 이 특성은 마스크가 제공한 정보에 기초하여 결정된다.

이 경우에, 픽셀의 휘도값 및 색도값은 이들 둘러싸는 점들에 의한 양선형 보간법(bilinear interpolation)에 의해 계산된다.

표시될 이미지의 픽셀은 여러개의 소스 이미지들에 기초하여 연속적으로 재구성될 수 있으며, 픽셀의 각각의 새로운 값은 이전에 계산된 값들로 대체된다.

발명의 변형에 따르면, 소스 이미지들이 가장 가까운 이미지로부터 가장 멀리 떨어진 이미지로 배열되는 경우에, 사용자가 위치해 있는 노드와 연관된 시점의 구성에 대해 전송된 리스트에서 식별되는 모든 소스 이미지들을 고려함으로써, 각 픽셀은 차례로 구성될 수 있다.

이 경우에, 소스 이미지에 기초하여 보간하는 것이 가능할 때 픽셀의 구성이 멈춘다.

다른 변형에서는, 하나의 소스 이미지를 차례로 고려함으로써, 및 보다 가까운 소스 이미지에 기초하여 픽셀이 이미 구성되지 않았다면 픽셀을 구성함으로써, 각각의 소스 이미지에 기초하여 이미지를 재구성하는 것이 가능하다.

마지막으로, 앞서서 언급된 제3 변형에 따라, 만약 이진 마스크가 시점과 연관된 변환과 함께 전송되었다면, 앞에서 언급된 단계 1 및 단계 2는 삭제된다.

이후의 설명에서, 소스 이미지들에 의해 얻어진 영상들을 이용하여 시점이 시뮬레이트되는 MPEG4 표준에 특히 적합한 본 발명의 응용이 설명된다.

따라서, 이들 영상들은, 사용의 목적으로, 고려된 노드에 의해 제공된 표식들(indications)에 따라 표시 스크린에서 결합된다.

그러한 방법에 의해, MPEG-4 영상 표준(문서 ISO/IEC JTC 1/SC 29/WG 11 N 2502의 파트 7.8 페이지 189 내지 195를 참조함)에 전술된 것처럼, 소스 이미지의 텍스쳐를 점차적으로 전송하는 것이 가능하다.

다음에는, 텍스쳐 등의 소스 이미지에 관한 표식들(404 또는 404'), 및 표시될 이미지를 생성하기 위해 연관된 소스 이미지에 적용되는 변환들 T_i,s에 관한 표식들(406 또는 406')을 포함하는 정보 그룹들을 전송함으로써 이미지의 코딩이 전송되는 연속적인 이진 트레인들(binary trains)(400)(도 4)에 의해, 표시된 각 이미지에 관한 데이터의 전송이 수행된다.

그러한 전송은, 도 5를 참조하여 설명된 바와 같이, 디코더에 의해 사용되어, 표시될 이미지의 부분을 생성한다.

도 5에 나타내어진 바와 같이, 다양한 이진 트레인들(502, 504, 506 및 508)에 의해, 표시 수단(510)의 레벨에서 다양한 이미지들(500₂, 500₄, 500₆및 500₈)을 결합함으로써, 표시될 이미지(500)의 다양한 부분들을 생성할 수 있다.

마지막으로, 움직임을 시뮬레이트하는 일련의 이미지들(608)이 생성되도록, 영상 시퀀스의 프레임워크 내에서 도 5를 참조하여 설명된 이미지 생성 방법의 응용이 도 6에 나타나 있다.

따라서, 표시될 이미지(608)를 생성할 수 있는 이진 트레인들(600, 602, 604 및 606)에 의해 전송된 다양한 부분들은 다양한 연속 순간들 t0, t1, t2 및 t3로 나타내어진다.

그러므로, 다양한 트레인들(600, 602, 604 및 606)에 의해 코드화된 이미지들의 속성을 변경함으로써, 표시될 이미지(608)는 움직임을 시뮬레이트하는 방식으로 변경되는 것이 명백하다.

상술한 바와 같이, 본 발명에 의해 오직 이러한 2차원의 데이터만을 고려하여 네비게이션의 2차원 표현을 간단한 방식으로 3차원 환경으로 간주함으로써, 장면(scene) 또는 환경의 움직임을 시뮬레이트하는 것이 가능하다.

그러나, 이용가능한 환경이 3차원 툴들에 의해 코딩되면, 상술된 시스템의 사용을 가능하게 하기 위해서, 이 3차원 코딩을 2차원 코딩으로 변환하는 것이 필요하다.

따라서, 이하에는 가능한 최소의 이미지 목록들을 채택된 궤적의 각 시점과 관련시키고, 그 시점들을 생성하기 위해 소스 이미지들과 관련되어야 하는 가능한 가장 간단한 변환 T_s,i를 정의하기 위해 가능한 최소의 소스 이미지들 I_s의 세트를 합성하고, 방법이 기술된다.

네비게이션 궤적의 선정으로 이러한 2차원 표현의 구성이 가능하다. 이러한 단순화는 모니터링될 가능성이 있는 재구성된 이미지들의 품질의 손상을 희생하여 만들어질 수 있다.

3차원 표현을 2차원 표현으로 변환하는 이러한 변환을 수행하기 위하여, 3차원 장면에서의 소정의 궤적들과, 카메라의 특성, 특히 장면의 인식이 시뮬레이션되고, 사용자가 요구하는 시점들이 결정되는 카메라의 방위나 광학적 특성과 같은 파라미터들에 대한 지식이 이용된다.

3차원 코딩에서 2차원 코딩으로 변환하는 이 예에서, 이 3차원 코딩은 N개의 텍스쳐에 대응하는 N개의 평면적인 패싯들(planar facets)을 이용하는 것으로 고려된다.

각 패싯(facet) f는 각 패싯의 꼭지점들의 좌표들로 이루어지는 3차원 파라미터 세트 (X, Y, Z)와 텍스쳐 이미지에서의 이 꼭지점들의 2차원 좌표로 정의된다.

또한, 3차원적 장면에서 사용자의 위치, 방위 및 광학적 파라미터들을 기술하는 파라미터들도 이용된다.

소정의 궤적들의 각 시점에 대해서, 패싯들의 꼭지점들의 좌표들과 상기 파라미터들을 이용하여 공지의 원근법적 투사(perspective projection)에 의해 관련 이미지를 재구성하는 데 필요한 패싯들이 결정된다.

마지막으로, 이들 시점들에 대응하는 이미지들을 재구성하는데 필요한 정보가 결정된다: 텍스쳐 이미지(이는 선택된 패싯들과 관련됨) 및 패싯들 각각에 대하여 재구성될 이미지의 좌표들로부터 텍스쳐 이미지의 좌표들로 이동할 수 있게 하는 변환.

이 변환은 호모그래픽 방적식이라고 하는 공지의 2차원 평면 프로젝션 방정식으로 기술되며, 이하의 관계로 정의된다.

여기서 계수 p_ii는 이 면의 수평면을 기술하는 파라미터들과 그 시점의 파라미터들의 공지의 조합에서 나온다.

따라서, 이러한 변환 T_s,i는 3D(3차원) 그래픽 맵이 없어도 되게 하는 단순한 계산에 의해 수행된다.

T_s,i는 소스 이미지 I_s및 표시될 이미지의 픽셀들의 좌표들을 연결하는 8개의 파라미터들 p_ij(p₃₃=1)에 의해 기술된다는 점에 유의해야 한다.

또한, 시점의 재구성에 필요한 패싯들의 리스트가 이와 같이 선정되면, 이미지를 생성하는 데 필요한 소스 이미지들의 리스트와, 후자와 관련된 각 소스 이미지에 특정한 호모그래픽 변환을 구할 수 있다.

2차원 표현의 복잡성을 더 감소시켜 네비게이션 동안 이미지 합성의 복잡성을 더 줄이기 위하여, 결과적인 이미지의 품질이 만족스러울 때에는 이 호모그래픽 변환을 어파인(affine) 변환 또는 선형 변환으로 단순화하는 것이 가능하다.

예를 들어, 패싯이 이미지의 면에 평행하거나 이 패싯의 꼭지점들 간의 거리 변화가 카메라에 대한 거리와 비교하여 작을 때가 이러한 경우가 된다.

어파인 투사의 경우에 있어서, 이하와 같은 관계가 이용될 수 있다.

반면, 선형 투사인 경우, 이하와 같은 관계가 이용될 수 있다.

요약하면, 3차원 모델에 기초하여 소스 이미지을 구성하는 것은 이하와 같은 방식으로 나타날 수 있다.

- 궤적의 각 시점에 대해, 재구성에 필요한 패싯들의 리스트를 컴파일하기 위하여 고려되는 시점에 따라 3차원 모델의 패싯들이 투사된다.

- 식별된 각 면에 대하여, 그 패싯의 텍스쳐에 기초하여 고려되는 이미지의 영역을 재구성할 수 있는 호모그래픽 변환이 계산된다. 이 변환은, 8개의 파라미터들로 구성되는데, 재구성될 이미지의 각 픽셀에 대해 대응하는 텍스쳐 이미지에서의 그 어드레스를 계산할 수 있기 때문에 이 변환으로 충분히 재구성을 수행할 수 있다.

그리고 패싯에 대한 설명은 그 다음 텍스쳐 이미지의 2D 좌표들로 축소되고, 이 패싯은 소스 이미지가 된다.

- p₃₁과 p₃₂를 0으로 설정함으로써 생성된 텍스쳐 이미지 ΔE 상의 2D 투사의 에러가 고려되는 모든 픽셀들 또는 최소한의 퍼센티지에 대한 임계값 ψ보다 작은지를 확인함으로써, 이 호모그래픽 모델이 어파인 모델로 축소되는지를 그 후에 확인하는 것이 또한 가능하다.

- 또한 p₁₂과 p₂₂를 0으로 추가로 설정함으로써 생성된 텍스쳐 이미지 ΔE 상의 2D 투사의 에러가 고려되는 모든 픽셀들 또는 최소한의 퍼센티지에 대한 임계값 ψ보다 작은지를 확인함으로써, 이 어파인 모델이 선형 모델로 축소되는지를 확인하는 것도 가능하다.

식별 번호 s는 생성된 소스 이미지 뿐만 아니라 이 변환을 통해 표시된 이미지의 생성에 특정한 기하학적 변환 T_s,i과 관련된 것이다.

표현의 복잡성을 더욱 줄이고 장면의 표시를 가속화하기 위하여, 고려되는 소스 이미지들의 수를 제한하는 것이 유리하다. 따라서, 소스 이미지의 생성에 여러 패싯들이 함께 그룹화될 수 있다.

특히, 인접하고 동일 평면이 아닌 패싯들이, 예컨대 시점으로부터 멀거나 단일 위치로부터 (예를 들어, 팬 타입의 가상 카메라 움직임(virtual camera motion of pan type)으로) 관찰되는 단일한 패싯으로 품질의 큰 손실없이 합쳐질 수 있다.

이러한 어플리케이션은 이하의 동작들을 고려함으로써 수행될 수 있다.

- 표시될 이미지과 관련된 리스트의 각 소스 이미지 I_s에 대해, 소스 이미지 I_s의 파라미터들을 I_s'에 적용함으로써 생성되는 2차원 투사 ΔE_s(s')의 에러가 관련된 모든 픽셀들, 또는 최소 퍼센티지에 대해 임계값보다 작은지를 확인함으로써 그자신이 통합될 수 있는 I_s에 인접한, 리스트의 각 소스 이미지 I_s'를 결정한다.

이에 의해, 인접 소스 이미지들과 대응하는 통합 비용들 사이의 가능한 그룹화들의 전체 세트가 얻어진다.

- 그 후 임계값보다 작은 최소 에러 ΔE_s의 제약 하에서 그 수를 최소화하도록 소스 이미지들이 함께 그룹화된다.

소스 이미지들의 그룹화는 더이상의 그룹화가 허용되지 않을 때까지 반복되고, 그 후 표시될 이 이미지의 생성을 위해 획득된 소스 이미지들의 세트가 고려되는 것이 가능하다.

후속 이미지가 고려되는 경우, 우선 이전 이미지에서 수행되는 것과 마찬가지의 임의의 그룹화들 뿐만 아니라 표시된 이전 이미지에 존재하는 소스 이미지들 I_s(i)를 고려한다.

상술된 처리는 소스 이미지들의 새로운 그룹에 대해 반복된다.

ΔE에 대한 에러 임계값을 이용하여, 이들 그룹화들이 수행되어야 하는지의 여부를 결정할 수 있다.

본 발명에 의하면, 3차원 장면에서의 움직임의 시뮬레이션은, 코딩을 3차원으로 처리하기 위해 그래픽 맵을 사용할 필요없이 2차원 소스 이미지들을 이용하여 실행된다.

결과적으로, 본 발명에 따른 이미지들의 코딩 및 프로세싱은 보다 비용이 적게 들고 보다 용이하게 구현할 수 있다.

Claims (14)

1. 3차원 가상 장면의 시점들을 나타내는 2차원 이미지들을 코딩하기 위한 디바이스(104) - 이미지들의 연속적인 표시에 의해 시뮬레이션되는, 이러한 장면에서의 움직임은 미리 결정된 궤적들에 따라 한정됨 - 로서, 적어도 하나의 2차원 소스 이미지(I_s) 및 이러한 이미지의 하나의 변환(T_i,s)이 각 노드(N_i)와 연관되도록 연속적인 노드들(N_i)의 그래프를 이용하여 궤적을 코딩하는 수단을 포함하는 디바이스.
2. 제1항에 있어서,

   2진 마스크와 같은, 소스 이미지와 관련된 마스크, 및/또는 폴리곤들을 이용하여 표시될 이미지를 코딩하는 수단을 포함하며, 상기 마스크는 상기 표시될 이미지의 각 픽셀에 대해 구성될 소스 이미지에 기초하여, 상기 소스 이미지(I_s)를 식별하는 디바이스.
3. 제2항에 있어서,

   상기 소스 이미지들(I_s) 및 연속적인 노드들에 대한 상기 소스 이미지들(I_s)의 변환들(T_i,s)과 관련된 리스트를 2진 트레인(400)의 형태로 코딩하는 수단을 포함하는 디바이스.
4. 제3항에 있어서,

   가장 먼 것으로부터 - 즉 사용자로부터 가장 멀리 떨어진 것과 같이 보이는 이미지의 일부분을 생성함 - 가장 가까운 소스 이미지(I_s)로 - 즉 , 사용자에게 가장 가까운 것과 같이 보이는 이미지의 일부분을 생성함 - 이미지를 생성하는 소스 이미지들(I_s)을 리스트에 배열(ordering)하는 수단을 포함하는 디바이스.
5. 전술한 항들 중 어느 한 항에 있어서,

   상기 노드들에 의해 정의되는 다수의 궤적들이 가능한 경우에 복수의 노드들(N_i) 중에서 고려될 노드(N_i)를 결정하는 커맨드를 수신하는 수단을 포함하는 디바이스.
6. 전술한 항들 중 어느 한 항에 있어서,

   MPEG-4형의 비디오 이미지들의 스트림에 따라 상기 소스 이미지들(I_s)을 생성하는 수단을 포함하는 디바이스.
7. 전술한 항들 중 어느 한 항에 있어서,

   어파인(affine) 및/또는 선형의 호모그래픽 관계(homographic relation)를 이용하여, 3차원 코딩을 표시될 이미지면으로 투사함으로써, 3차원 코딩에 기초하여 상기 소스 이미지들(I_s)을 생성하는 수단을 포함하는 디바이스.
8. 제7항에 있어서,

   샷(shot)을 시뮬레이션하는 카메라의 파라미터들을 고려하는 수단을 포함하는 디바이스.
9. 제7항 또는 제8항에 있어서,

   선형 투사와 어파인(개별적으로 호모그래픽) 투사 사이의 편차가 에러(ΔE)보다 작은 경우에 상기 선형(개별적으로 어파인) 투사가 수행되는 방식으로 상기 3차원 코딩의 투사 에러(ΔE)를 평가하는 수단을 포함하는 디바이스.
10. 제7항, 제8항, 제9항 중 어느 한 항에 있어서,

    표시될 이미지와 관련된 각 소스 이미지(I_s)에 대해, 상기 소스 이미지(I_s)의 파라미터들을 인접하는 이미지들에 적용함으로써 생성되는 상기 에러(ΔE_i)가 관련된 모든 픽셀들, 또는 최소 퍼센티지에 대한 임계값보다 작은지를 확인함으로써, 통합될 수 있는 인접한 소스 이미지들(I_s,i-1; I_s,i+1)을 결정하는 것에 의해 생성되는 상기 소스 이미지들을 함께 그룹화하는 수단을 포함하는 디바이스.
11. 이미지 표시 장치를 포함하는 3차원 가상 장면에서의 움직임들을 시뮬레이션하는 시스템으로서,

    사용자로 하여금 한정된 복수의 미리 형성된 궤적들중 하나의 궤적에 따라 움직임을 제어하게 하는 제어 수단(108) 및 표시 화면(102)을 포함하고,

    전술된 항들중 하나에 따른 디바이스(104)를 포함하는 시스템.
12. 제11항에 있어서,

    또 다른 보다 근접한 소스 이미지를 갖는 사용자에 대해 떨어져 있는 소스 이미지의 일부에 대해 블랭킹(blanking)을 자동적으로 수행하는 수단을 포함하는 시스템.
13. 제11항 또는 제12항에 있어서,

    다수의 소스 이미지들에 기초하여 연속적으로 표시될 상기 이미지의 픽셀을 생성하는 수단을 포함하며, 각각의 새로운 픽셀값은 이전에 계산된 값들을 대체하는 시스템.
14. 이미지 표시 디바이스(104)를 사용하여 3차원 가상 장면에서의 움직임들을 시뮬레이션하는 방법으로서,

    표시 스크린(102) 및 제어 수단(108)은 사용자로 하여금 한정된 복수의 미리 형성된 궤적들중 하나의 궤적에 따라 움직임들을 제어할 수 있게 하고,

    제1항 내지 제10항중 한 항에 따른 디바이스를 포함하는 방법.