KR20210090180A - 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스 - Google Patents

Abstract

화상 처리 디바이스는 상이한 시간에서의 복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하도록 구성된 회로를 포함한다.

Description

화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스

본 기술은 화상 처리 디바이스, 화상 처리 방법, 프로그램 및 표시 디바이스에 관한 것으로, 특히, 예를 들어, 보기 쉬운 화상을 제공할 수 있는 화상 처리 디바이스, 화상 처리 방법, 프로그램, 및 표시 디바이스에 관한 것이다.

본 출원은 2018년 11월 20일자로 출원된 일본 특허 출원 JP 2018-217179의 이익을 주장하며, 그 전체 내용이 본 명세서에 참고로 포함된다.

복수 시간에 촬영된 피사체(화상)를 나타내는 스트로브 화상(strobe image)을 생성하는 방법이 제안되어 있다(예를 들어, 특허 문헌 1 참조). 스트로브 화상은 복수 시간에서의 피사체를 표시하여, 피사체의 움직임 및 궤적을 용이하게 파악할 수 있다.

JP 2007-259477A

예를 들어, 특히, 장시간 프레임(시퀀스)에 나타나는 피사체에 대한 스트로브 화상을 생성하는 경우, 스트로브 화상을 보기 어려울 수 있다.

본 기술은 이러한 상황을 감안하여 이루어진 것이며, 보기 쉬운 화상, 예를 들어, 보기 쉬운 스트로브 화상 등을 제공하려는 것이다.

본 기술의 양태에 따른 화상 처리 디바이스 또는 프로그램은 복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성되는 복수의 3D 모델 중 적어도 하나의 3D 모델에 대하여 효과 처리(effect process)를 수행하고; 미리 결정된 시점으로부터 효과 처리를 거친 복수의 3D 모델을 본 2D 화상을 생성하도록 구성된 회로를 포함하는 화상 처리 디바이스이다.

본 기술의 양태에 따른 화상 처리 방법은 복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하는 단계, 및 효과 처리를 수행한 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하는 단계를 포함한다.

본 기술의 양태의 화상 처리 디바이스, 화상 처리 방법, 및 프로그램에 따르면, 복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하고, 효과 처리를 수행한 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성한다.

본 기술의 양태에 따른 표시 디바이스는 복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하고 효과 처리를 수행한 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성함으로써 획득된 2D 화상을 수신하도록 구성되는 회로를 포함한다.

본 기술의 양태의 표시 디바이스에 따르면, 복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나에 대해 효과 처리를 수행하고, 그 효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성함으로써, 2D 화상이 획득된다.

또한, 화상 처리 디바이스 및 표시 디바이스는 독립된 디바이스 또는 하나의 디바이스를 구성하는 내부 블록일 수 있다는 점에 유의한다.

또한, 프로그램은 송신 매체를 통해 송신됨으로써, 또는 비일시적 컴퓨터 판독가능 매체 상에 기록됨으로써 제공될 수 있다.

도 1은 본 기술이 적용되는 화상 처리 시스템의 일 실시예의 구성예를 나타내는 블록도이다.
도 2는 화상 처리 시스템에 의해 수행되는 자유 시점 화상을 표시하는 자유 시점 화상 표시 처리의 일례의 흐름도이다.
도 3은 부자연스러운 자유 시점 화상의 예를 나타내는 도면이다.
도 4는 자연스러운 자유 시점 화상의 예를 나타내는 도면이다.
도 5는 스트로브 구간에서 미리 결정된 수의 프레임마다 생성 프레임을 선택함으로써 생성되는 스트로브 화상의 예를 나타내는 도면이다.
도 6은 촬영부(11)에 의해 획득된 복수의 시점으로부터의 시점 화상들의 예를 개략적으로 나타내는 도면이다.
도 7은 스트로브 화상 생성부(13)에 의해 피사체의 모션을 판정하는 제1 판정 방법을 설명하는 도면이다.
도 8은 스트로브 화상 생성부(13)에 의해 피사체의 모션을 판정하는 제1 판정 방법을 설명하는 도면이다.
도 9는 스트로브 화상 생성부(13)에 의해 피사체의 모션을 판정하는 제2 판정 방법을 설명하는 도면이다.
도 10은 스트로브 화상 생성부(13)에 의해 피사체의 모션을 판정하는 제3 판정 방법을 설명하는 도면이다.
도 11은 스트로브 화상 생성부(13)에 의한 생성 프레임의 선택의 예를 설명하는 도면이다.
도 12는 복수의 생성 프레임에 나타나는 피사체의 3D 모델을 원래의 위치로부터 시프트함으로써 생성되는 스트로브 화상의 예를 나타내는 도면이다.
도 13은 효과 처리부(14)에 의해 효과 처리가 수행된 스트로브 화상에서의 3D 모델들을 설명하는 도면이다.
도 14는 효과 처리들의 구체예들을 설명하는 도면이다.
도 15는 효과 모드 1에서의 효과 처리의 예를 나타내는 도면이다.
도 16은 2개의 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타내는 도면이다.
도 17은 효과 모드 1에서의 효과 처리의 다른 예를 나타내는 도면이다.
도 18은 효과 모드 2에서의 효과 처리의 예를 나타내는 도면이다.
도 19는 효과 모드 3에서의 효과 처리의 예를 나타내는 도면이다.
도 20은 효과 모드 4에서의 효과 처리의 예를 나타내는 도면이다.
도 21은 효과 모드 5에서의 효과 처리의 예를 나타내는 도면이다.
도 22는 효과 모드 6에서의 효과 처리의 예를 나타내는 도면이다.
도 23은 효과 모드 7 내지 9에서의 효과 처리의 예를 나타내는 도면이다.
도 24는 효과 모드 10에서의 효과 처리의 예를 나타내는 도면이다.
도 25는 화상 처리 시스템이 적용되는 송신 시스템의 구성예를 나타내는 블록도이다.
도 26은 송신 디바이스(101)에 의한 처리의 예의 흐름도이다.
도 27은 수신 디바이스(102)에 의한 처리의 예의 흐름도이다.
도 28은 화상 처리 시스템이 적용되는 송신 시스템의 다른 구성예를 나타내는 블록도이다.
도 29는 송신 디바이스(101)에 의한 처리의 제1 예의 흐름도이다.
도 30은 수신 디바이스(102)에 의한 처리의 제1 예의 흐름도이다.
도 31은 송신 디바이스(101)에 의한 처리의 제2 예의 흐름도이다.
도 32는 수신 디바이스(102)에 의한 처리의 제2 예의 흐름도이다.
도 33은 본 기술이 적용되는 화상 처리 시스템의 다른 실시예의 구성예를 나타내는 블록도이다.
도 34는 자유 시점 화상을 표시하는 자유 시점 화상 표시 처리의 예의 흐름도이다.
도 35는 화상 처리 시스템이 적용되는 송신 시스템의 구성예를 도시하는 블록도이다.
도 36은 3D 모델의 크기를 변경하는 효과 처리를 설명하는 도면이다.
도 37은 본 기술이 적용되는 컴퓨터의 실시예의 구성예를 나타내는 블록도이다.

<본 기술이 적용되는 화상 처리 시스템>

도 1은 본 기술이 적용되는 화상 처리 시스템의 일 실시예의 구성예를 나타내는 블록도이다.

도 1에 나타낸 화상 처리 시스템에서는, 가상 시점으로부터 3차원 공간에서의 피사체의 모습이 재생되는 자유 시점 화상을 생성할 수 있는 방식으로 촬영된 화상으로부터 자유 시점 데이터가 생성된다. 그 후, 자유 시점 데이터로부터, 가상 시점으로부터 본 피사체의 자유 시점 화상이 생성되어 표시된다.

도 1에 나타낸 화상 처리 시스템은 촬영부(11), 자유 시점 데이터 생성부(12), 스트로브 화상 생성부(13), 효과 처리부(14), 자유 시점 화상 생성부(15), 및 표시부(16)를 포함한다.

촬영부(11)는 적어도 복수의 카메라를 포함하고, 복수의 시점으로부터 피사체를 촬영한다. 예를 들어, 촬영부(11)를 구성하는 복수의 카메라는 피사체를 둘러싸도록 배치되고, 각각의 카메라는 카메라가 배치된 위치의 시점으로부터 피사체를 촬영한다. 카메라들의 위치로부터 촬영된 2차원(2D) 화상들, 즉 복수의 시점으로부터 촬영된 2D 화상들로서의 복수의 시점으로부터의 시점 화상들(동화상들)은 촬영부(11)로부터 자유 시점 데이터 생성부(12)에 프레임 단위로 공급된다.

여기서, 촬영부(11)에는, 복수의 카메라 외에, 복수의 거리 측정 디바이스가 제공될 수 있다. 거리 측정 디바이스들은 카메라들과 동일한 위치들(시점들)에 배치될 수 있거나, 또는 카메라들과 상이한 위치들에 배치될 수 있다. 거리 측정 디바이스들 각각은 거리 측정 디바이스가 배치된 위치(시점)로부터 피사체까지의 거리를 측정하고, 거리에 관한 정보로서 깊이를 화소값으로 갖는 2D 화상인 깊이 화상을 생성한다. 깊이 화상은 촬영부(11)로부터 자유 시점 데이터 생성부(12)에 공급된다.

촬영부(11)에 거리 측정 디바이스가 제공되어 있지 않은 경우, 복수의 시점의 시점 화상 중 2개의 시점으로부터의 시점 화상을 사용한 삼각 측량의 원리에 따라 피사체까지의 거리를 측정하여, 깊이 화상을 생성한다는 점에 유의한다.

자유 시점 데이터 생성부(12)는 촬영부(11)로부터의 복수의 시점으로부터의 시점 화상들 및 깊이 화상들로부터 3D 화상의 자유 시점 데이터를 프레임 단위로 생성한다.

여기서, 자유 시점 데이터는 자유 시점 화상을 생성할 수 있는 3D 화상의 데이터이다. 자유 시점 데이터로서, 예를 들어, 촬영부(11)로부터의 복수의 시점으로부터의 시점 화상들 및 깊이 화상들의 세트가 그대로 채택될 수 있다. 또한, 자유 시점 데이터로서, 예를 들어, 3D 모델(또는 배경 화상 등을 포함하는 3D 데이터) 또는 복수의 시점으로부터의 2D 화상들 및 깊이 화상들의 세트가 채택될 수 있다.

자유 시점 데이터 생성부(12)는, 촬영부(11)로부터의 복수의 시점으로부터의 시점 화상들 및 깊이 화상들의 세트를 자유 시점 데이터로서 채택하는 경우, 촬영부(11)로부터의 복수의 시점으로부터의 시점 화상들 및 깊이 화상들의 세트를 자유 시점 데이터로서 스트로브 화상 생성부(13)에 공급한다.

자유 시점 데이터 생성부(12)는, 자유 시점 데이터로서 3D 모델을 채택하는 경우, 복수의 시점으로부터의 시점 화상들과 촬영부(11)로부터의 복수의 시점으로부터의 깊이 화상들을 사용하여, 비주얼 헐(Visual Hull) 등에 의한 모델링을 수행한다. 그 후, 자유 시점 데이터 생성부(12)는 시점 화상들에 나타나는 피사체의 3D 모델을 생성하고, 3D 모델(3D 모델을 포함하는 3D 데이터)을 자유 시점 데이터로서 스트로브 화상 생성부(13)에 공급한다. 촬영부(11)로부터의 깊이 화상들의 시점이 촬영부(11)로부터의 시점 화상들의 시점과 상이한 경우, 자유 시점 데이터 생성부(12)는 촬영부(11)로부터의 복수의 시점으로부터의 깊이 화상들을 사용하여 촬영부(11)로부터의 시점 화상들의 시점으로부터 깊이 화상들을 생성한다는 점에 유의한다.

자유 시점 데이터 생성부(12)는, 복수의 시점으로부터의 자유 시점 데이터로서 2D 화상들 및 깊이 화상들의 세트를 채택하는 경우, 상술한 바와 같이 시점 화상들에 나타나는 피사체의 3D 모델을 생성하고, 복수의 시점(촬영부(11)를 구성하는 카메라들과 동일한 시점들 또는 다른 시점들)으로부터 본 3D 모델의 2D 화상들 및 깊이 화상들의 세트를 생성한다. 그 후, 자유 시점 데이터 생성부(12)는 3D 모델로부터 생성된 복수의 시점으로부터의 2D 화상들과 깊이 화상들의 세트를 자유 시점 데이터로서 스트로브 화상 생성부(13)에 공급한다.

이하, 설명의 간략화를 위해, 달리 특정되지 않는 한, 자유 시점 데이터로서 3D 모델(3D 모델을 포함하는 3D 데이터)이 채택될 것이다.

자유 시점 데이터로서 3D 모델이 아니라, 3D 모델로부터 생성된 복수의 시점으로부터의 2D 화상들과 깊이 화상들의 세트를 채택함으로써 자유 시점 데이터의 양을 감소시킬 수 있다는 점에 유의한다. 본 출원인에 의해 제시된 WO 2017/082076에는 3D 모델로부터 복수의 시점으로부터 2D 화상들 및 깊이 화상들의 세트를 생성하고 송신하기 위한 기술이 기재되어 있다. 3D 모델로부터 복수의 시점으로부터 2D 화상들과 깊이 화상들의 세트를 생성하는 경우, 복수의 시점으로부터의 2D 화상들과 깊이 화상들의 세트는, 예를 들어, MVCD(multiview and depth video coding), AVC(advanced video coding), 또는 HEVC(high efficiency video coding) 등의 2D 화상들을 대상으로 하는 부호화 방법에 의해 부호화될 수 있다.

여기서, 3D 모델(그 표현 형태)은 뷰 독립(view independent)이라고 불리는 모델(이하, VI 모델이라고도 칭함)과 뷰 종속(view dependent)이라고 불리는 모델(이하, VD 모델이라고도 칭함)로 대략 나눌 수 있다.

VD 모델은 3차원 형상의 정보로서의 3D 형상 모델과, 텍스처가 되는 화상의 정보가 이격된 3D 모델이다. VD 모델에서, 3D 형상 모델은 텍스처가 되는 화상을 매핑(텍스처 매핑)함으로써 채색된다. VD 모델에 따르면, 피사체의 표면에서의 반사 정도를 (가상) 시점에 따라 상이한 VD 모델로서 표현할 수 있다.

VI 모델은 3D 형상 모델의 구성 요소들로서의 다각형들 및 포인트들이 컬러 정보를 갖는 3D 모델이다. VI 모델의 예들은 예를 들어, 채색된 포인트 클라우드 및 3D 형상 모델과 3D 형상 모델의 컬러 정보로서의 UV 맵의 세트를 포함한다. VI 모델에 따르면, 다각형들 및 포인트들이 처리된 컬러들은 임의의 (가상) 시점으로부터 관찰될 수 있다.

스트로브 화상 생성부(13)는 자유 시점 데이터 생성부(12)로부터의 3D 화상의 자유 시점 데이터로서 3D 모델을 사용하여, 복수 시간(프레임들)에서의 동일한 피사체의 3D 모델이 나타난(배치된) 3D 화상의 스트로브 화상의 자유 시점 데이터를 생성하고, 이 자유 시점 데이터를 효과 처리부(14)에 공급한다.

여기서, 스트로브 화상은 복수 시간에 촬영된 하나 이상의 동일한 피사체(화상)를 나타내는 화상이다. 2D 화상에 나타난 피사체를 나타내는 스트로브 화상을 2D 스트로브 화상이라고도 하고, 피사체의 3D 모델을 나타내는 3D 화상의 스트로브 화상을 3D 스트로브 화상이라고도 한다. 스트로브 화상 생성부(13)는 3D 스트로브 화상을 생성한다. 여기서, 3D 화상은 3차원적으로 확산하는 화상, 즉 깊이 방향뿐만 아니라 수평 및 수직 방향으로 확산하는 화상을 의미한다.

자유 시점 데이터가 복수의 시점으로부터의 시점 화상들 및 깊이 화상들, 또는 복수의 시점으로부터의 2D 화상들 및 깊이 화상들을 포함하는 경우, 스트로브 화상의 생성을 위해, 생성에 사용되는 복수의 프레임 각각에 대해 모델링이 수행되어, 복수의 프레임에 나타나는 피사체의 3D 모델들을 개별적으로 생성한다는 점에 유의한다. 그 후, 복수의 프레임의 3D 모델들을 배경 화상(배경 화상으로서의 3차원 공간)과 조합하여 스트로브 화상을 생성한다. 그렇지 않으면, 복수의 프레임에 나타난 피사체의 실루엣 화상들이 조합되고, 이 조합에 의해 획득된 합성 실루엣 화상을 사용하여 모델링이 수행됨으로써, 복수의 프레임에 나타난 피사체의 3D 모델들을 조합하여 합성 3D 모델을 생성한다. 그 후, 합성 3D 모델은 배경 화상과 결합되어 스트로브 화상을 생성한다.

효과 처리부(14)는 스트로브 화상 생성부(13)로부터 공급된 자유 시점 데이터에서 스트로브 화상에서 보이는 3D 모델에 대해 효과 처리를 수행하고, 효과 처리가 수행된 스트로브 화상의 자유 시점 데이터를 자유 시점 화상 생성부(15)에 공급한다.

여기서, 화상 처리 시스템에서, 가상 시점은 사용자의 조작에 따라 설정되고, 효과 처리부(14), 자유 시점 화상 생성부(15), 및 다른 필요한 블록들에 공급된다. 효과 처리부(14)는 스트로브 화상에 나타나는 복수 시간(프레임)에서의 3D 모델 중 미리 결정된 시간에서의 3D 모델, 예를 들어, 최신의 가상 시점이 설정될 때의 시간에 기준 3D 모델을 참조하여 과거 및 미래의 한쪽 또는 양쪽 3D 모델에 효과 처리를 수행할 수 있다. 기준 3D 모델로서, 최신의 가상 시점이 설정된 시간의 3D 모델 대신에, 사용자가 지정한 3D 모델이 채택될 수 있다.

효과 처리부(14)는 예를 들어, 사용자의 조작 등에 따라 효과 처리를 수행하지 않고, 스트로브 화상 생성부(121)로부터의 자유 시점 데이터를 자유 시점 화상 생성부(15)에 공급할 수 있다는 점에 유의한다. 또한, 스트로브 화상 생성부(13)는 예를 들어, 사용자의 조작 등에 따라, 스트로브 화상을 생성하지 않고, 자유 시점 데이터 생성부(12)로부터의 자유 시점 데이터를 효과 처리부(14)에 공급할 수 있다. 스트로브 화상 생성부(13)가 스트로브 화상을 생성하지 않는 경우, 효과 처리부(14)는 효과 처리를 수행하지 않고, 스트로브 화상 생성부(121)로부터의 자유 시점 데이터를 자유 시점 화상 생성부(15)에 공급한다.

자유 시점 화상 생성부(15)는 효과 처리부(14)로부터의 자유 시점 데이터를 사용하여, 예를 들어, 3D 모델에 효과 처리가 수행된 스트로브 화상에 나타나는 3차원 공간을 가상 시점들(여기서는, 좌안 2D 화상과 우안 2D 화상의 세트를 포함함)로부터 본 2D 화상들 등의 가상 시점들로부터 촬영부(11)에 의해 촬영된 3차원 공간을 본 2D 화상들(데이터)을 자유 시점 화상들(데이터)로서 생성하고, 이 자유 시점 화상들을 표시부(16)에 공급한다.

표시부(16)는 예를 들어, 2D 헤드-장착 디스플레이, 2D 모니터, 3D 헤드-장착 디스플레이, 3D 모니터 등을 포함하고, 자유 시점 화상 생성부(15)로부터의 자유 시점 화상을 표시한다. 3D 헤드-장착 디스플레이 또는 모니터는 예를 들어, 좌안 2D 화상 및 우안 2D 화상을 표시함으로써 입체 시각을 제시하는 표시 디바이스이다.

화상 처리 시스템은 예를 들어, 클라이언트, 클라우드 서버 등을 포함하는 서버 클라이언트 시스템으로부터 형성될 수 있다는 점에 유의한다. 이 경우, 자유 시점 데이터 생성부(12) 내지 자유 시점 화상 생성부(15) 중 일부 또는 전부는 클라우드 서버에 제공될 수 있다. 클라이언트에는 자유 시점 데이터 생성부(12) 내지 자유 시점 화상 생성부(15) 중 나머지와 표시부(16)가 제공될 수 있다. 촬영부(11)는 임의의 장소에 배치될 수 있고, 촬영부(11)에 의해 출력된 시점 화상 등은 자유 시점 데이터 생성부(12)에 송신될 수 있다.

전술한 바와 같이 구성된 화상 처리 시스템에 따르면, 예를 들어, 축구, 럭비, 야구, 레슬링, 복싱, 유도, 골프, 테니스, 및 체조와 같은 다양한 스포츠의 장면들이 시점 화상들로서 촬영되고, 특정 선수와 같은 특정 피사체의 3D 모델을 나타내는 스트로브 화상이 생성될 수 있다. 이 경우, 특정 선수의 3D 모델을 나타내는 스트로브 화상은 그 특정 선수의 모션의 분석과 같은 스포츠 분석에 사용될 수 있다.

도 2는 도 1에 나타낸 화상 처리 시스템에 의해 수행되는 자유 시점 화상을 표시하는 자유 시점 화상 표시 처리의 예의 흐름도이다.

자유 시점 화상 표시 처리에서, 단계 S11에서, 촬영부(11)는 복수의 시점으로부터 피사체를 촬영하고, 복수의 시점으로부터 프레임 단위로 시점 화상들 및 깊이 화상들을 획득한다. 촬영부(11)는 복수의 시점으로부터의 시점 화상들 및 깊이 화상들을 자유 시점 데이터 생성부(12)에 공급하고, 처리는 단계 S11로부터 단계 S12로 진행한다.

단계 S12에서, 자유 시점 데이터 생성부(12)는 촬영부(11)로부터의 복수의 시점으로부터의 시점 화상들 및 깊이 화상들을 사용하여, 시점 화상들에 나타나는 피사체의 모델링을 수행함으로써, 자유 시점 데이터로서 피사체 등의 3D 모델을 예를 들어, 프레임 단위로 생성한다. 자유 시점 데이터 생성부(12)는 피사체의 3D 모델(및 배경 화상을 포함하는 3D 데이터)을 자유 시점 데이터로서 스트로브 화상 생성부(13)에 공급하고, 처리는 단계 S13으로 진행한다.

단계 S13에서, 스트로브 화상 생성부(13)는 자유 시점 데이터 생성부(12)로부터의 자유 시점 데이터로서의 3D 모델인 피사체의 모션을 판정하고, 처리는 단계 S14로 진행한다.

단계 S14에서, 스트로브 화상 생성부(13)는 스트로브 화상을 생성할지를 판정한다.

여기서, 단계 S14에서의 스트로브 화상을 생성할지에 대한 판정은, 예를 들어, 단계 S13에서 판정된 피사체의 모션에 따라 수행된다. 피사체에 모션이 없을 때, 복수의 시간에서의 피사체의 3D 모델이 실질적으로 동일한 위치에 나타나기 때문에, 모션이 없는 복수의 시간에서의 피사체의 3D 모델을 나타내는 스트로브 화상을 보기 어려울 수 있다. 따라서, 단계 S14에서, 피사체에 모션이 없는 경우, 스트로브 화상이 생성되지 않는다고 판정하고, 피사체에 모션이 있을 경우, 스트로브 화상이 생성된다고 판정한다.

단계 S14에서의 스트로브 화상을 생성할지에 대한 판정은, 예를 들어, 사용자의 조작에 따라 수행해질 수 있다는 점에 유의한다.

단계 S14에서 스트로브 화상을 생성하지 않는다고 판정된 경우, 스트로브 화상 생성부(13) 및 효과 처리부(14)는 처리를 수행하지 않고 자유 시점 데이터를 자유 시점 화상 생성부(15)에 공급한다. 그 후, 처리는 단계 S14로부터 단계 S15 내지 S18을 스킵하고 단계 S19로 진행한다.

이 경우, 단계 S19에서, 자유 시점 화상 생성부(15)는 효과 처리부(14)로부터의 자유 시점 데이터를 사용하여, 가상 시점들로부터 본 자유 시점 데이터로서 3D 모델들의 2D 화상들을 자유 시점 화상들로서 생성한다. 그 후, 자유 시점 화상 생성부(15)는 자유 시점 화상들을 표시부(16)에 공급하고, 처리는 단계 S19로부터 단계 S20으로 진행한다.

단계 S20에서, 표시부(16)는 자유 시점 화상 생성부(15)로부터의 자유 시점 화상들을 표시한다. 이 경우, 표시부(16)는 가상 시점으로부터 본 피사체의 3D 모델을 나타내는 화상들을 표시한다.

한편, 단계 S14에서 스트로브 화상을 생성한다고 판정된 경우, 처리는 단계 S15로 진행한다.

단계 S15에서, 스트로브 화상 생성부(13)는 자유 시점 데이터 생성부(12)로부터 공급된 3D 모델의 프레임들 중에서 스트로브 화상의 생성에 사용되는 프레임(이하, 생성 프레임이라고도 칭함)을 선택하고, 처리는 단계 S16으로 진행한다.

여기서, 스트로브 화상의 생성시에, 3D 모델이 되는 피사체를 나타내는 시점 화상의 프레임 시퀀스에서, 스트로브 화상에 나타날 수 있는 피사체의 첫번째 프레임(시간) 및 최종 프레임이 사용자의 조작 등에 응답하여 설정된다. 스트로브 화상에서 볼 수 있는 피사체의 첫번째 프레임부터 최종 프레임까지의 구간이 스트로브 구간이라고 가정하여, 스트로브 구간의 모든 프레임이 스트로브 화상을 생성하기 위한 생성 프레임들로서 사용되면, 스트로브 구간의 프레임들의 수와 동일한 피사체의 동일한 수의 3D 모델이 중첩되기 때문에 스트로브 화상을 보기 어려워질 수 있다.

따라서, 스트로브 화상 생성부(13)는 스트로브 구간의 프레임들로부터 몇 개의 프레임을 생성 프레임들로서 선택하고, 생성 프레임들(생성 프레임들에 나타난 피사체의 3D 모델들)을 사용하여 스트로브 화상(자유 시점 데이터)을 생성한다.

예를 들어, 스트로브 화상 생성부(13)는, 예를 들어, 스트로브 구간의 프레임들로부터 3D 모델들 간의 간섭도가 임계값 이하인 프레임들을, 생성 프레임들로서, 선택할 수 있다. 즉, 스트로브 화상 생성부(13)는 스트로브 구간의 프레임에 피사체가 나타나는 3차원 공간에서의 피사체의 3D 모델들 간의 중첩도를 나타내는 간섭도를 산출한다. 간섭도는 예를 들어, 2개의 임의의 프레임 내의 3D 모델들이 3차원 공간에서 완전히 중첩되는 경우에는 100%로서 산출되고, 3D 모델들이 전혀 중첩되지 않는 경우에는 0%로서 산출된다. 그 후, 스트로브 화상 생성부(13)는 간섭도가 0 내지 10% 등의 미리 결정된 임계값 이하인 프레임들을 생성 프레임들로서 선택한다. 전술한 바와 같이, 스트로브 구간의 프레임들로부터, 3D 모델들 간의 간섭도가 임계값 이하인 프레임들을 생성 프레임들로서 선택하고, 생성 프레임들에 3D 모델들을 나타내는 스트로브 화상을 생성함으로써, 3D 모델들을 중첩하여 스트로브 화상이 보기 어렵게 되는 것을 억제할 수 있다.

생성 프레임들의 선택시, 예를 들어, 스트로브 구간의 프레임들은 미리 결정된 수의 프레임들마다 간단히 선택될 수 있다는 점에 유의한다.

단계 S16에서, 스트로브 화상 생성부(13)는 3D 모델들의 피사체를 나타내는 3차원 공간의 배경 화상에, 스트로브 구간의 프레임들로부터 선택된 복수의 생성 프레임 내의 3D 모델이 나타나는 스트로브 화상을 생성한다. 그 후, 스트로브 화상 생성부(13)는 스트로브 화상을 효과 처리부(14)에 공급하고, 처리는 단계 S16으로부터 단계 S17로 진행한다. 여기서, 복수의 생성 프레임에 1개의 피사체만이 나타나는 경우, 스트로브 화상 생성부(13)는 1개의 피사체의 3D 모델을 나타내는 스트로브 화상을 생성한다. 또한, 스트로브 화상 생성부(13)는, 복수의 피사체가 복수의 생성 프레임에 나타나는 경우, 복수의 피사체 각각의 3D 모델을 나타내는 스트로브 화상을 생성할 수 있다. 그러나, 복수의 피사체가 복수의 생성 프레임에 나타나는 경우, 스트로브 화상 생성부(13)는 예를 들어, 복수의 생성 프레임에 나타나는 복수의 피사체 중, 사용자가 지정한 1개 또는 2개 이상의 피사체의 3D 모델들을 나타내는 스트로브 화상을 생성할 수 있다.

단계 S17에서, 효과 처리부(14)는 스트로브 화상 생성부(13)로부터의 스트로브 화상의 3D 모델들(스트로브 화상에 나타나는 3D 모델들)에 대해 효과 처리를 수행할지를 판정한다. 단계 S17에서의 스트로브 화상을 생성할지에 대한 판정은, 예를 들어, 사용자의 조작에 따라 수행될 수 있다.

단계 S17에서 효과 처리가 수행되지 않는다고 판정되는 경우, 효과 처리부(14)는 효과 처리를 수행하지 않고 스트로브 화상 생성부(13)로부터의 스트로브 화상을 자유 시점 화상 생성부(15)에 공급한다. 그 후, 처리는 단계 S17로부터 단계 S18을 스킵하고 단계 S19로 진행한다.

이 경우, 단계 S19에서, 자유 시점 화상 생성부(15)는 효과 처리부(14)로부터의 스트로브 화상을 가상 시점으로부터 본 2D 화상들을 자유 시점 화상들로서 생성한다. 그 후, 자유 시점 화상 생성부(15)는 자유 시점 화상들을 표시부(16)에 공급하고, 처리는 단계 S19로부터 단계 S20으로 진행한다.

단계 S20에서, 표시부(16)는 자유 시점 화상 생성부(15)로부터의 자유 시점 화상들을 표시한다. 이 경우, 표시부(16)는 가상 시점들로부터 본 복수의 생성 프레임의 피사체의 3D 모델들을 나타내는 2D 화상들(3D 스트로브 화상을 가상 시점들로부터 본 2D 화상들)을 표시한다.

한편, 단계 S17에서 효과 처리가 수행된다고 판정될 때, 처리는 단계 S18로 진행한다.

단계 S18에서, 효과 처리부(14)는 스트로브 화상 생성부(13)로부터의 스트로브 화상에 나타나는 복수의 시간(생성 프레임)의 3D 모델들 중, 최신의 가상 시점이 설정될 때의 시간에 기준 3D 모델을 기준으로 하여 과거 및 미래의 어느 한쪽 또는 양쪽의 3D 모델들에 대해 효과 처리를 수행한다. 그 후, 효과 처리부(14)는 효과 처리가 수행된 스트로브 화상(3D 모델들을 나타냄)을 자유 시점 화상 생성부(15)에 공급하고, 처리는 단계 S18로부터 단계 S19로 진행한다.

이 경우, 단계 S19에서, 자유 시점 화상 생성부(15)는 효과 처리부(14)로부터의 효과 처리 후의 스트로브 화상을 가상 시점들로부터 본 2D 화상들을 자유 시점 화상으로서 생성한다. 그 후, 자유 시점 화상 생성부(15)는 자유 시점 화상들을 표시부(16)에 공급하고, 처리는 단계 S19로부터 단계 S20으로 진행한다.

단계 S20에서, 표시부(16)는 자유 시점 화상 생성부(15)로부터의 자유 시점 화상들을 표시한다. 이 경우, 표시부(16)는 가상 시점들로부터 본 복수의 생성 프레임의 피사체의 3D 모델들을 나타내고, 3D 모델들 중 일부에 효과 처리를 수행한 2D 화상들(효과 처리를 수행한 3D 스트로브 화상을 가상 시점들로부터 본 2D 화상들)을 표시한다.

전술한 바와 같이, 3D 모델에 대해 효과 처리를 수행함으로써 쉽게 볼 수 있는 화상을 제공할 수 있다. 특히, 예를 들어, 스트로브 화상에 나타난 복수의 시간에서 동일한 피사체의 3D 모델들 중 일부 또는 전부에 대해 효과 처리를 수행함으로써, 보기 쉬운 스트로브 화상을 제공할 수 있다. 여기서, 설명의 이해를 용이하게 하기 위해, (3D) 스트로브 화상이 생성된 다음, 스트로브 화상에 나타난 3D 모델들에 대해 효과 처리가 수행된다는 점에 유의한다. 그러나, 스트로브 화상의 생성 및 스트로브 화상에 나타난 3D 모델들에 대한 효과 처리의 실행은 병행하여 또는 적절히 변경된 순서대로 수행될 수 있다. 예를 들어, 화상 처리 시스템에서는, 3D 모델들에 대한 효과 처리 후에, 효과 처리를 수행한 3D 모델들을 나타내는 스트로브 화상을 생성할 수 있다.

<스트로브 화상의 생성>

도 3은 부자연스러운 자유 시점 화상의 예를 나타내는 도면이다.

도 3은 근거리 측에서 원거리 측으로 피사체로서의 볼(ball)이 굴러가는 것을 나타내는 시점 화상의 프레임들 중 생성 프레임들로서 5개의 프레임을 사용하여 생성된 (3D) 스트로브 화상으로부터 생성된 자유 시점 화상의 예를 나타낸다.

도 3에서, 5개의 생성 프레임에 나타난 볼의 3D 모델들은 나중의 3D 모델들에 우선순위를 부여하도록 배열(렌더링)된다. 따라서, 나중의(볼) 3D 모델들은 근거리 측에 위치해 있음에도 불구하고 이전의 3D 모델들을 숨기도록 구성되어 있다. 그 결과, 도 3에 나타낸 자유 시점 화상은 부자연스러운 화상이다.

도 4는 자연스러운 자유 시점 화상의 예를 나타내는 도면이다.

도 4는 근거리 측에서 원거리 측으로 피사체로서의 볼이 굴러가는 것을 나타내는 시점 화상의 프레임들 중 생성 프레임들로서 5개의 프레임을 사용하여 생성된 (3D) 스트로브 화상으로부터 생성된 자유 시점 화상의 예를 나타낸다.

도 4에서, 5개의 생성 프레임에 나타난 볼의 3D 모델들은 근거리 측의 3D 모델들에 우선순위를 부여하도록 배열된다. 따라서, 가까운 측의 3D 모델들은 원거리 측의 3D 모델들을 숨기도록 배열되는데, 즉 근거리 측의 3D 모델들은 우선적으로 표시된다. 그 결과, 자유 시점 화상은 자연스러운 화상이다.

스트로브 화상 생성부(13)는 깊이들을 사용하여, 상술한 바와 같이, 자유 시점 화상에 근거리 측의 3D 모델들이 우선적으로 나타나는 스트로브 화상을 생성한다.

도 5는 스트로브 구간에서 미리 결정된 수의 프레임마다 생성 프레임을 선택함으로써 생성되는 스트로브 화상의 예를 나타내는 도면이다.

도 5는 근거리 측에서 원거리 측으로 피사체로서의 볼이 굴러가는 것을 나타내는 시점 화상의 프레임들 중 생성 프레임들로서 8개의 프레임을 사용하여 생성된 스트로브 화상의 예를 도시한다.

스트로브 구간에서 미리 결정된 수의 프레임마다 생성 프레임을 선택하고 생성 프레임들을 사용하여 스트로브 화상을 생성하는 경우, 피사체의 이동 속도가 변하면, 스트로브 화상에 나타나는 피사체의 3D 모델들 간의 거리가 변한다. 예를 들어, 도 5에 나타낸 바와 같이, 피사체의 이동 속도가 특정 속도로부터 감소할 때, 3D 모델들 간의 거리가 좁아지고, 3D 모델들 간의 중첩도가 커져서, 스트로브 화상을 보기 어렵게 할 수 있다.

도 2를 참조하여 전술한 바와 같이, 스트로브 구간의 프레임들로부터 3D 모델들 간의 간섭도가 임계값 이하인 프레임들을 선택하면, 피사체의 3D 모델들 간의 거리가 피사체의 이동 속도의 변화에 따라 좁아져서, 스트로브 화상이 보기 어렵게 되는 것을 억제한다.

스트로브 구간의 프레임 중 3D 모델들 간의 간섭도가 임계값 이하가 되는 프레임들을 생성 프레임으로서 선택할지 또는 미리 결정된 수의 프레임마다 프레임을 생성 프레임으로서 선택할지는, 예를 들어, 사용자의 조작에 따라 설정될 수 있다는 점에 유의한다.

<시점 화상>

도 6은 촬영부(11)에 의해 획득된 복수의 시점으로부터의 시점 화상의 예를 개략적으로 나타내는 도면이다.

도 6을 참조하면, 촬영부(11)는 피사체인 사람을 둘러싸도록 배열된 6개의 카메라를 포함한다. 카메라들은 피사체 주위에 또는 천장에 배열될 수 있다. 6대의 카메라는 피사체를 동기하여 촬영하고, 각각의 카메라는 촬영의 결과로서 획득된 2D 화상을 카메라의 위치로부터 시점 화상으로서 시점 vp#i로서 출력한다. 시점 vp#i는 촬영부(11)를 구성하는 6개의 카메라 중 i번째 카메라의 위치이다.

도 6은 6대의 카메라로부터 출력된 6개의 시점 vp1 내지 vp6으로부터의 시점 화상들의 8개의 프레임(시간)을 나타낸다.

전술한 바와 같이 6개의 시점 vp1 내지 vp6으로부터의 시점 화상들(프레임들) 외에, 예를 들어, 자유 시점 데이터 생성부(12)는 6개의 시점 vp1 내지 vp6으로부터의 깊이 화상들 및 촬영부(11)를 구성하는 6대의 카메라의 카메라 파라미터들을 사용하여 시점 화상들에 나타나는 피사체의 3D 모델들을 생성한다.

즉, 자유 시점 데이터 생성부(12)는 예를 들어, 시점 vp#i로부터의 시점 화상의 전경과 배경의 차이를 사용하여, 시점 화상에 나타난 피사체의 실루엣 화상을 시점 vp#i로부터 획득한다. 그 후, 시점 vp#i로부터의 실루엣 화상, 시점 vp#i로부터의 시점 화상 및 깊이 화상, 및 카메라 파라미터들을 사용하여, 자유 시점 데이터 생성부(12)는 시점 화상에 나타난 피사체를 비주얼 헐 등에 의해 모델링하여 피사체의 3D 모델을 생성한다.

여기서, 촬영부(11)를 구성하는 6대의 카메라의 카메라 파라미터들은 카메라들의 초점 거리, 카메라들 간의 위치 관계, 카메라들의 자세, 및 카메라들에 포함되는 렌즈들의 왜곡 등의 정보를 포함한다.

또한, 실루엣 화상을 획득하기 위한 전경과 배경의 차이는 시점 vp#i로부터의 시점 화상의 배경과 시점 vp#i로부터의 시점 화상 사이의 차이를 취함으로써 결정될 수 있다. 시점 vp#i로부터의 시점 화상의 배경은 피사체의 부재시에 3차원 공간을 촬영함으로써, 또는 피사체의 위치가 상이한 시점 vp#i로부터의 시점 화상들의 복수의 프레임을 사용함으로써 생성될 수 있다.

<피사체의 모션 판정>

도 7 및 도 8은 스트로브 화상 생성부(13)에 의해 피사체의 모션을 판정하는 제1 판정 방법을 설명하는 도면들이다.

도 7은 제1 판정 방법에 의해 피사체가 이동하고 있다고 판정된 경우를 나타낸다. 도 8은 제1 판정 방법에 의해 피사체가 이동하고 있지 않다고 판정된 경우를 나타낸다.

도 7 및 도 8을 참조하면, 피사체인 스케이터는 스케이팅 링크 내에서 슬라이딩하고 있다.

촬영부(11)는, 복수의 카메라 외에, TOF(time of flight) 센서 또는 LiDAR(light detection and ranging) 센서 등의 액티브 센서를 거리 측정 디바이스로서 갖는 경우, 액티브 센서에 의해 측정된 피사체까지의 거리 d#j에 따라 피사체의 움직임을 결정할 수 있다. 거리 d#j는 복수의 액티브 센서 중 j번째 액티브 센서에 의해 측정된 피사체까지의 거리를 나타낸다.

도 7 및 도 8을 참조하면, 4개의 액티브 센서가 스케이팅 링크 주위에 제공된다. 스트로브 화상 생성부(13)는, 피사체의 움직임의 판정시, 4개의 액티브 센서가 시간(프레임) t에서 측정한 거리 d1, d2, d3, 및 d4와, 시간 t와는 다른 시간, 예를 들어, 시간 t 이후의 시간 t'에서 측정한 거리 d1, d2, d3, 및 d4를 비교한다.

그 후, 도 7에 나타낸 바와 같이, 시간 t와 시간 t' 사이에서 거리 d1 내지 d4 중 1개 이상이 미리 결정된 임계값 이상 상이하면(변하면), 스트로브 화상 생성부(13)는 피사체의 움직임이 있다고 판정한다.

한편, 도 8에 나타낸 바와 같이, 시간 t와 시간 t' 사이에서 거리 d1 내지 d4 중 어느 것도 미리 결정된 임계값 이상 상이하지 않은 경우, 스트로브 화상 생성부(13)는 피사체의 움직임이 없다고 판정한다.

여기서, 4개의 액티브 센서가 도 7 및 도 8을 참조하여 제공되어 있지만, 4개 이상의 액티브 센서가 제공될 수 있거나, 또는 하나의 액티브 센서가 제공될 수 있다.

도 9는 스트로브 화상 생성부(13)에 의해 피사체의 모션을 판정하는 제2 판정 방법을 설명하는 도면이다.

제2 판정 방법은 액티브 센서 없이 촬영부(11)에 의해 피사체의 움직임을 판정하는 방법들 중 하나이다.

제2 판정 방법에서, 스트로브 화상 생성부(13)는 촬영부(11)를 구성하는 카메라들 중 임의의 것에 의해 촬영된 시점 화상의, 예를 들어, 스트로브 구간 등의 미리 결정된 구간에서의 프레임 수를 몇 개의 프레임을 남기는 방식으로 감소시킨다. 또한, 스트로브 화상 생성부(13)는 프레임 감소 후에 남은 몇 개의 프레임을 피사체의 움직임의 판정에 사용하기 위한 판정 프레임들로서 설정하고, 판정 프레임들의 실루엣 화상들을 생성한다. 도 9를 참조하면, 5개의 프레임을 판정 프레임들로 하여 실루엣 화상들이 생성된다.

스트로브 화상 생성부(13)는 복수의 판정 프레임 중 2개의 임의의 프레임의 실루엣 화상들 간의 중첩을 검출한다. 그 후, 예를 들어, 2개의 판정 프레임의 임의의 하나 이상의 조합에서 실루엣 화상들 간에 중첩이 없는 경우, 스트로브 화상 생성부(13)는 피사체의 움직임이 있다고 판정한다.

한편, 예를 들어, 2개의 판정 프레임의 모든 조합에서 실루엣 화상들 간에 중첩이 있는 경우, 스트로브 화상 생성부(13)는 피사체의 움직임이 없다고 판정한다.

도 9의 A는 복수의 판정 프레임 중 임의의 2개의 프레임의 모든 조합에서 실루엣 화상들 간에 중첩이 없는 경우를 나타낸다. 도 9의 B는 복수의 판정 프레임 중 임의의 2개의 프레임의 모든 조합에서 실루엣 화상들 간에 중첩이 있는 경우를 나타낸다.

도 9의 A에 나타낸 바와 같이, 실루엣 화상들 사이에 중첩이 없는 경우, 피사체의 움직임이 있다고 판정되고, 도 9의 B에 나타낸 바와 같이, 실루엣 화상들 사이에 중첩이 있는 경우, 피사체의 움직임이 없다고 판정된다.

도 10은 스트로브 화상 생성부(13)에 의해 피사체의 모션을 판정하는 제3 판정 방법을 설명하는 도면이다.

제3 판정 방법은 액티브 센서 없이 촬영부(11)에 의해 피사체의 움직임을 판정하는 방법들 중 다른 방법이다.

촬영부(11)(의 카메라들)에 의한 투시 투영을 통해 시점 화상들이 촬영된다고 가정하면, 시점 화상들에서, 원거리 측의 피사체는 작은 크기로 나타나고, 근거리 측의 피사체는 큰 크기로 나타난다. 따라서, 예를 들어, 피사체가 근거리 측에서 원거리 측으로 이동하고 있을 때, 도 10에 나타낸 바와 같이, 피사체가 원거리 측으로 움직인 만큼 피사체의 실루엣 화상의 크기가 작아진다.

제3 판정 방법에서, 스트로브 화상 생성부(13)는 복수의 판정 프레임에 나타나는 피사체의 실루엣 화상들의 크기를 검출한다. 그 후, 예를 들어, 2개의 판정 프레임의 임의의 하나 이상의 조합에서, 실루엣 화상의 크기의 변화가 임계값 이상인 경우, 스트로브 화상 생성부(13)는 피사체의 움직임이 있다고 판정한다.

한편, 예를 들어, 2개의 판정 프레임의 모든 조합에서, 실루엣 화상들의 크기의 변화가 임계값 이상이 아닐 경우, 스트로브 화상 생성부(13)는 피사체의 움직임이 없다고 판정한다.

제1 내지 제3 판정 방법에 따르면, 피사체의 움직임은 피사체의 3D 모델이 생성되기 전에 판정될 수 있다는 점에 유의한다. 그렇지 않으면, 피사체의 움직임에 대한 판정은, 예를 들어, 깊이 화상을 생성한 후에 또는 포인트 클라우드 또는 다각형과 같은 3D 모델을 생성한 후에, 3차원 공간에서 3D 모델의 위치에 관한 깊이 화상 또는 위치 정보를 사용하여 이루어질 수 있다.

또한, 피사체가 사람인 경우, 시점 화상으로부터 얼굴 검출에 사용되는 사람의 얼굴의 특징점들이 검출되고, 스트로브 구간 등의 미리 결정된 구간의 프레임들에 걸친 특징점들의 위치에 따라 피사체의 움직임이 판정될 수 있다.

또한, 피사체의 모션 벡터가 검출되고, 피사체의 움직임이 모션 벡터에 따라 판정될 수 있다.

또한, 촬영부(11)에 의해 촬영된 복수의 시점으로부터의 시점 화상들 중 일부로부터의 시점 화상들, 예를 들어, 30대의 카메라에 의해 촬영된 30개의 시점으로부터의 시점 화상들 중 4대의 카메라에 의해 촬영된 4개의 시점으로부터의 시점 화상들을 사용하여, 시점 화상들에 나타나는 피사체의 단순 3D 모델을 생성하고, 3D 모델(의 위치)을 사용하여 피사체의 움직임을 판정할 수 있다.

또한, 화상 처리 시스템에서, 시점 화상들에 나타나는 하나 이상의 피사체를 둘러싸는 밴딩 박스(banding box)가 설정될 때, 피사체의 움직임은 스트로브 구간과 같은 미리 결정된 구간의 프레임들에 걸친 밴딩 박스의 위치에 따라 판정될 수 있다.

<생성 프레임들의 선택>

도 11은 스트로브 화상 생성부(13)에 의한 생성 프레임의 선택의 예를 설명하는 도면이다.

도 2를 참조하여 전술한 바와 같이, 스트로브 화상(으로부터 생성된 자유 시점 화상들)이 3D 모델들 간의 중첩으로 인해 보기 어렵게 되는 것을 억제하기 위해, 스트로브 화상 생성부(13)는 스트로브 구간의 프레임들로부터, 3D 모델들 간의 간섭도가 임계값 이하인 프레임들을 생성 프레임들로서 선택하고, 그 생성 프레임들의 3D 모델들을 나타내는 스트로브 화상을 생성할 수 있다.

도 11의 A는 0%의 임계값을 갖는 스케이팅 링크에서 슬라이딩하는 스케이터의 스트로브 화상을 나타낸다. 도 11의 A를 참조하면, 임계값이 0%이기 때문에, 개개의 시간들(생성 프레임들)에서의 피사체의 3D 모델들은 스트로브 화상에서 중첩되지 않는다.

도 11의 B는 0%보다 큰 작은 값(예를 들어, 10% 정도)의 임계값을 갖는 스케이팅 링크에서 슬라이딩하는 스케이터의 스트로브 화상을 나타낸다. 도 11의 B에서, 임계값이 0%보다 큰 값이기 때문에, 스트로브 화상에서, 개개의 시간들에서의 피사체의 3D 모델들 중 일부는 인접한 3D 모델들과 다소 중첩된다.

여기서, 도 1에 나타낸 화상 처리 시스템은 송신측으로부터 수신측으로 자유 시점 데이터를 송신하고, 수신측에 스트로브 화상을 생성하여 표시하는 송신 시스템에 적용될 수 있다. 이 경우, 스트로브 화상에서의 3D 모델 간의 중첩인 간섭을 나타내는 간섭 플래그를 송신측에서 수신측으로 송신할 수 있다. 그 후, 수신측에서는, 간섭 플래그에 따라, 간섭(중첩)하는 3D 모델들을 나타내는 스트로브 화상 또는 간섭하지 않는 3D 모델들을 나타내는 스트로브 화상을 생성할 수 있다. 간섭 플래그로서, 예를 들어, 간섭의 유무를 나타내는 1비트 플래그 또는 간섭도의 임계값이 채택될 수 있다.

화상 처리 시스템은 피사체의 움직임이 없는(없다고 판정된) 경우에도, 사용자의 조작에 따라 스트로브 화상을 생성할 수 있다는 점에 유의한다. 피사체의 움직임이 없을 때, 스트로브 구간의 프레임들에 나타나는 피사체의 3D 모델들 간의 간섭도는 프레임들 중 임의의 프레임에서 증가할 수 있고, 임계값 아래로 떨어지지 않을 수 있다. 따라서, 피사체의 움직임이 없을 경우에 스트로브 화상을 생성하기 위해서는, 스트로브 구간의 프레임들로부터 미리 결정된 수의 프레임마다 (복수의) 생성 프레임을 선택할 수 있다.

그러나, 이 경우, 복수의 생성 프레임에 나타나는 피사체의 3D 모델들이 단순히 배열된 스트로브 화상은, 3D 모델들이 크게 중첩되기 때문에 보기 어렵다.

따라서, 스트로브 화상 생성부(13)는, 피사체의 움직임이 없을 경우에 스트로브 화상을 생성하기 위해서, 피사체(복수의 시간에서의 피사체)의 3D 모델들을 원래의 위치들(3차원 공간에서의 피사체의 위치들)에 배열하지 않고, 간섭도가 임계값 이하가 되도록 3D 모델들을 원래의 위치로부터 시프트시켜서 배열할 수 있다.

도 12는 복수의 생성 프레임에 나타나는 피사체의 3D 모델을 원래의 위치로부터 시프트함으로써 생성되는 스트로브 화상의 예를 나타내는 도면이다.

도 12는 피사체로서의 스케이터가 스케이팅 링크의 중앙에서 회전하고 있고, 피사체로서의 스케이터의 위치가 거의 변하지 않는 것을 나타낸다.

이 경우, 스트로브 화상 생성부(13)는 원래 위치로부터 시프트된 복수의 생성 프레임에 나타나는 피사체의 3D 모델들(복수의 시간에서의 3D 모델들)을, 3D 모델들 간의 간섭도가 임계값 이하가 되도록 시프트함으로써 스트로브 화상을 생성할 수 있다.

도 12를 참조하면, 복수의 생성 프레임에 나타나는 피사체의 3D 모델들이 (생성 프레임의) 시간순으로 원형으로 배열된 스트로브 화상과, 3D 모델들이 선형으로 배열된 스트로브 화상이 생성된다.

전술한 바와 같이, 스트로브 화상의 생성시, 복수의 생성 프레임에 나타나는 피사체의 3D 모델들을 원래의 위치들로부터 시프트하여, 3D 모델들 간의 간섭도가 임계값 이하가 되도록 함으로써, 3D 모델들이 크게 중첩하여 스트로브 화상이 보기 어렵게 되는 것을 억제할 수 있다.

<효과 처리의 대상이 되는 3D 모델들>

도 13은 효과 처리부(14)에 의해 효과 처리가 수행된 스트로브 화상에서의 3D 모델들을 설명하는 도면이다.

효과 처리부(14)는 스트로브 구간의 프레임들로부터 선택된 복수 시간으로서의 복수의 프레임의 3D 모델들 중, 최신의 가상 시점이 설정될 때의 시간에서의 기준 3D 모델을 기준으로 하여, 과거 및 미래 중 어느 한쪽 또는 양쪽의 3D 모델에 대해 효과 처리를 수행한다.

효과 처리를 수행할 3D 모델들로서의 대상 모델들은 기준 3D 모델에 대한 시간 방향(과거 방향 및 미래 방향)을 나타내는 효과 방향 및 기준 3D 모델로부터의 이격 정도를 나타내는 효과 거리에 의해 특정된다.

효과 방향으로서, 과거 방향 "past", 미래 방향 "future", 또는 과거 방향 "past"와 미래 방향 "future" 둘 다가 설정될 수 있다.

과거 방향 "past"이 효과 방향으로서 설정될 때, 기준 3D 모델로부터 과거 방향의 3D 모델들에 대해 효과 처리가 수행된다. 미래 방향 "future"이 효과 방향으로서 설정될 때, 기준 3D 모델로부터 미래 방향의 3D 모델들에 대해 효과 처리가 수행된다. 과거 방향 "past" 및 미래 방향 "future"이 효과 방향으로서 설정될 때, 기준 3D 모델로부터 과거 방향의 3D 모델들 및 미래 방향의 3D 모델들에 대해 효과 처리가 수행된다.

효과 거리는 기준 3D 모델로부터의 3D 모델들의 수 "number", 거리 "distance", 또는 시간 "time"에 의해 지정될 수 있다.

모델들 수 "number"에 따르면, 스트로브 화상에 나타나는 3D 모델들 중에서, 즉 스트로브 화상을 생성하는데 사용되는 생성 프레임들에 나타나는 3D 모델들 중에서, 기준 3D 모델로부터 모델들의 수 "number" 이상 이격된 3D 모델들을 대상 모델들로서 지정할 수 있다.

거리 "distance"에 따르면, 스트로브 화상에 나타나는 3D 모델들 중에서, 기준 3D 모델로부터 거리 "distance" 이상 이격된 3D 모델들을 대상 모델들로서 지정할 수 있다.

시간 "time"에 따르면, 스트로브 화상에 나타나는 3D 모델들 중에서, 기준 3D 모델로부터 시간 "time" 이상 이격된 3D 모델들을 대상 모델들로서 특정할 수 있다.

효과 처리부(14)는 과거 방향 또는 미래 방향, 또는 과거 방향과 미래 방향의 양쪽 모두에서, 스트로브 화상에서의 기준 3D 모델로부터, 모델들의 수 "number", 거리 "distance", 또는 시간 "time" 이상 이격된 3D 모델들에 대하여 효과 처리를 수행한다.

이하에서는, 설명의 단순화를 위해, 달리 명시되지 않는 한, 기준 3D 모델로부터 과거 방향으로 이격된 3D 모델들에 대해 효과 처리가 수행된다고 가정된다.

여기서, 스트로브 구간이 길고 다수의 프레임이 생성 프레임들로서 선택될 때, 다수의 3D 모델을 사용하여 스트로브 화상이 생성된다.

다수의 3D 모델을 사용하여 생성되는 스트로브 화상은 보기 어려울 수 있다.

예를 들어, 다수의 3D 모델을 사용하여 생성되는 스트로브 화상에서, 스트로브 화상에 나타나는 미리 결정된 피사체의 3D 모델들 중에서, 기준 3D 모델에 특정 시간 이상 선행하는 3D 모델들은 후속(미래) 3D 모델들 및 다른 피사체들의 3D 모델들에 대한 (시청의) 방해일 수 있다.

또한, 다수의 3D 모델을 사용하여 생성되는 스트로브 화상에서, 피사체가 유사한 궤적을 따라 이동하는 경우, 예를 들어, 피사체가 철봉 상에서 거대한 스윙(후방 스윙 또는 전방 스윙)을 수행하는 경우, 시간적으로 선행하는(과거의) 3D 모델들과 시간적으로 후속하는 3D 모델들은 유사한 궤적을 가지며, 이는 시간 경과를 이해하기 어렵게 할 수 있다.

또한, 다수의 3D 모델을 사용하여 생성되는 스트로브 화상에서는, 3D 모델들의 데이터량이 커지고, 스트로브 화상들(로부터 생성된 자유 시점 화상들)을 표시하는데 필요한 처리량이 커진다.

효과 처리부(14)는 스트로브 화상에 나타나는 3D 모델들에 대해 효과 처리를 수행하여, 스트로브 화상을 보기 쉽게 하고, 스트로브 화상의 데이터량 및 스트로브 화상을 표시하는데 필요한 처리량을 감소시킨다.

<효과 처리의 구체예>

도 14는 효과 처리들의 구체예들을 설명하는 도면이다.

도 14를 참조하면, 효과 모드 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 및 10에 의해 표현되는 효과 처리가 있다. 효과 모드 1 내지 10에서는, 도 13을 참조하여 전술한 효과 방향 및 효과 거리가 설정될 수 있다.

효과 방향이 설정되어 있지 않을 때, 예를 들어, 과거 방향 "past"이 디폴트로 효과 방향으로서 설정된다고 가정하여 효과 처리가 수행된다는 점에 유의한다.

효과 거리는 도 13을 참조하여 전술한 바와 같이 기준 3D 모델로부터의 3D 모델들의 수 "number", 거리 "distance" 또는 시간 "time"에 의해 지정된다. 예를 들어, 효과 방향이 과거 방향 "past"로 설정되고, 효과 거리가 모델들의 수 "number"=1로 설정되어 있는 경우, 기준 3D 모델로부터 과거 방향으로 모델들의 수 "number"=1 이상 이격된 대상 3D 모델들에 대하여, 효과 모드에서 표현된 효과 처리가 수행된다.

효과 모드 0은 효과 처리가 수행되지 않았다는 것을 나타낸다.

효과 모드 1은 3D 모델들을 투명하게 하는 효과 처리를 나타낸다. 효과 모드 1의 효과 처리에서, 대상 모델은 모두 동일한 투명도로 투명하게 될 수 있거나, 또는 점진적으로 투명하게 될 수 있는데, 즉, 기준 3D 모델로부터 시간 또는 거리면에서 더 많이 이격된 3D 모델들(대상 모델들)이 더 높은 투명도로 투명하게 될 수 있다. 3D 모델을 투명하게 하는 방법은, 예를 들어, 효과 모드 1과 연관하여 정의된 파라미터에 의해 지정될 수 있다. 100%의 투명도에서는, 대상 모델들은 완전히 투명하다는 점에 유의한다. 이 경우, 효과 모드 1의 효과 처리의 결과는 후술하는 효과 모드 4와 실질적으로 유사하다.

효과 모드 2는 3D 모델들이 점진적으로 사라지게 하는 효과 처리를 나타낸다.

효과 모드 3은 3D 모델들의 텍스처의 수(텍스처로서 사용되는 2D 화상들의 수)를 감소시키는 효과 처리를 나타낸다. 효과 모드 3의 효과 처리에서는, 대상 모델들의 텍스처의 수가 모두 동일한 수로 감소될 수 있거나, 또는 점진적으로 감소될 수 있는데, 즉, 기준 3D 모델들로부터 시간 또는 거리면에서 더 많이 이격되어 있는 3D 모델들이 텍스처의 수를 더 감소시킬 수 있다. 3D 모델들의 텍스처의 수를 감소시키는 방법은, 예를 들어, 효과 모드 3과 연관하여 정의된 파라미터에 의해 지정될 수 있다.

효과 모드 3의 효과 처리는, 텍스처 매핑될 3D 모델들, 즉, VD 모델들에 대해 수행되고, 텍스처 매핑되지 않을 VI 모델들에 대해서는 수행되지 않는다.

효과 모드 4는 3D 모델들을 소거하는 효과 처리를 나타낸다.

효과 모드 5는 3D 모델들의 휘도 및 채도 중 적어도 하나를 감소시키는 효과 처리를 나타낸다. 효과 모드 5의 효과 처리에서는, 대상 모델들의 휘도 및 채도가 모두 동일한 비율로 감소될 수 있거나, 또는 점진적으로 감소될 수 있는데, 즉, 기준 3D 모델로부터 시간 또는 거리면에서 더 이격된 3D 모델들은 휘도 및 채도가 더 높은 비율로 감소될 수 있다. 3D 모델들의 휘도 및 채도를 감소시키는 방법 및 휘도 및 채도 중 어느 것이 감소될지는, 예를 들어, 효과 모드 5와 연관하여 정의된 파라미터에 의해 지정될 수 있다.

효과 모드 6은 스트로브 화상에 나타나는 3D 모델들의 수를 제한하는 효과 처리를 나타낸다. 효과 모드 6의 효과 처리에서는, 스트로브 화상에 나타나는 3D 모델들이 생성 프레임들 내의 3D 모델들 중 대상 모델들 이외의 3D 모델만으로 제한된다.

효과 모드 7은 3D 모델들을 로우 다각형(low polygon)들로 전환하는 효과 처리, 즉, 3D 모델들의 메시의 수(다각형의 수)를 감소시키는 효과 처리를 나타낸다. 효과 모드 7의 효과 처리에서는, 대상 모델들의 메시의 수가 모두 동일한 수로 감소될 수 있거나, 또는 점진적으로 감소될 수 있는데, 즉 기준 3D 모델로부터 시간 또는 거리면에서 더 이격된 3D 모델들은 메시의 수가 더 감소될 수 있다. 3D 모델들의 메시의 수를 감소시키는 방법은, 예를 들어, 효과 모드 7과 연관하여 정의된 파라미터에 의해 지정될 수 있다.

효과 모드 7의 효과 처리는 예를 들어, 다각형들로 형성된 3D 모델들에 대해 수행되고, 다각형들로 형성되지 않은 3D 모델들, 즉, 와이어 프레임들에 대해서는 수행되지 않는다는 점에 유의한다.

효과 모드 8 및 9는 3D 모델들의 표현 형태를 변경하는 효과 처리를 나타낸다.

즉, 효과 모드 8은 다각형들로부터 형성된 3D 모델들을 와이어 프레임들로 변경하는 효과 처리를 나타낸다.

효과 모드 9는 3D 모델들의 표현 형태를 뷰 종속으로부터 뷰 독립으로 변경하는 효과 처리, 즉, VD 모델들을 VI 모델들(예를 들어, 포인트 클라우드)로 변경하는 효과 처리를 나타낸다.

효과 모드 10은 3D 모델들의 흔적들을 남기면서 3D 모델들을 소거하는 효과 처리를 나타낸다.

효과 모드 1 내지 10에 대해서는 효과 방향 및 효과 거리가 설정될 수 있지만, 디폴트 효과 방향 및 효과 거리는 필요에 따라 정의될 수 있다.

예를 들어, 효과 모드 1 내지 10의 디폴트 효과 방향으로서, 과거 방향 "past"가 정의될 수 있다.

또한, 예를 들어, 효과 모드 1의 디폴트 효과 거리로서, 모델들의 수 "number"=1이 정의될 수 있다.

이 경우, 효과 모드 1의 효과 방향 및 효과 거리가 설정되어 있지 않을 때, 기준 3D 모델로부터 과거 방향의 1개 이상의 모델만큼 이격된 3D 모델, 즉, 과거 방향의 기준 3D 모델 다음의 3D 모델에 선행하는 3D 모델들에 대하여 효과 모드 1의 효과 처리가 수행된다.

또한, 예를 들어, 효과 모드 4의 디폴트 효과 거리로서, 거리 "distance"=5[m]가 정의될 수 있다.

이 경우, 효과 모드 4의 효과 방향 및 효과 거리가 설정되어 있지 않은 경우, 기준 3D 모델로부터 과거 방향으로 5m 이상 이격된 3D 모델들에 대하여 효과 모드 4의 효과 처리가 수행된다.

또한, 예를 들어, 효과 모드 5의 디폴트 효과 거리로서, 시간 "time"=10[sec]가 정의될 수 있다.

이 경우, 효과 모드 5의 효과 방향 및 효과 거리가 설정되어 있지 않은 경우, 기준 3D 모델로부터 과거 방향으로 10초 이상 이격된 3D 모델들에 대하여 효과 모드 5의 효과 처리가 수행된다.

또한, 예를 들어, 효과 모드 7의 디폴트 효과 거리로서, 모델들의 수 "number"=3이 정의될 수 있다.

이 경우, 효과 모드 7의 효과 방향 및 효과 거리가 설정되어 있지 않을 때, 기준 3D 모델로부터 과거 방향의 3개 이상의 모델만큼 이격된 3D 모델들, 즉, 과거 방향의 기준 3D 모델로부터 세번째 3D 모델에 선행하는 3D 모델들에 대하여 효과 모드 7의 효과 처리가 수행된다.

효과 처리부(14)에 의해 수행되는 효과 처리에 대해 복수의 효과 모드가 설정될 수 있다는 점에 유의한다. 예를 들어, 효과 처리들에 대해 효과 모드 1 및 3이 설정될 때, 3D 모델들을 투명하게 하고 텍스처들의 수를 감소시키기 위한 효과 처리들이 수행된다.

여기서, 도 1에 나타낸 화상 처리 시스템은 송신측으로부터 수신측으로 자유 시점 데이터를 송신하고, 수신측에 스트로브 화상을 생성하여 표시하는 송신 시스템에 적용될 수 있다. 이 경우, 효과 처리와 관련된 효과 플래그(효과 정보)로서, 효과 모드와 필요한 효과 방향 및 효과 거리가 송신측으로부터 수신측으로 송신될 수 있다. 그 후, 수신측에서, 효과 플래그로서의 효과 모드, 효과 방향, 및 효과 거리에 따라 효과 처리가 수행될 수 있다.

도 15는 효과 모드 1의 효과 처리의 예를 나타내는 도면이다.

도 15는 직선으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 15를 참조하면, 스트로브 화상은 5개의 생성 프레임에 3D 모델들을 나타내고, 최신의 시간의 3D 모델(최신의 생성 프레임에서의 3D 모델)은 기준 3D 모델이다. 그 후, 스트로브 화상에 나타나는 3D 모델들에 대하여 효과 모드 1의 기준 3D 모델에 선행하는 3D 모델들을 점진적으로 투명하게 하는 효과 처리를 수행한다.

따라서, 효과 모드 1의 효과 처리가 수행된 스트로브 화상에 따르면, 사용자는 시간 경과를 직감적으로 인식할 수 있다. 또한, 스트로브 화상의 데이터량을 감소시킬 수 있다. 또한, 시간적으로 선행하는(과거) 3D 모델들이 시간적으로 후속하는(미래) 3D 모델들에 방해(장애)가 되는 것을 억제하고, 보기 쉬운 스트로브 화상을 제공할 수 있다.

도 16은 2개의 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타내는 도면이다.

도 16을 참조하면, 스트로브 화상에는, 2개의 피사체 A 및 B의 복수의 시간(생성 프레임)에서의 3D 모델들이 나타나 있다. 그 후, 도 15의 경우와 마찬가지로, 피사체 A의 3D 모델들에 대하여, 기준 3D 모델에 선행하는 3D 모델들이 점진적으로 투명하게 되도록, 효과 모드 1의 효과 처리가 수행된다.

도 16을 참조하면, 피사체 B는 피사체 A의 움직임의 궤적을 가로지르도록 이동한다. 따라서, 피사체 B의 3D 모델들은 기준 3D 모델에 선행하는 피사체 A의 3D 모델들과 중첩될 수 있다.

그러나, 기준 3D 모델에 선행하는 피사체 A의 3D 모델들이 점진적으로 투명하게 되기 때문에, 피사체 B의 3D 모델들이 기준 3D 모델에 선행하는 피사체 A의 3D 모델들과 중복하더라도, 선행하는 3D 모델들이 피사체 B의 3D 모델들을 간섭하는 것을 억제할 수 있다.

도 16을 참조하면, 피사체 A의 3D 모델들에 대해서는 효과 처리가 수행되고, 피사체 B의 3D 모델들에 대해서는 효과 처리가 수행되지 않지만, 피사체 A의 3D 모델들과 피사체 B의 3D 모델들 둘 다에 대해서는 효과 처리가 수행될 수 있다는 점에 유의한다.

도 17은 효과 모드 1의 효과 처리의 다른 예를 나타내는 도면이다.

도 17은 원형으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 17을 참조하면, 스트로브 화상에 나타나는 3D 모델들에 대하여 효과 모드 1의 효과 처리가 수행되어, 기준 3D 모델에 선행하는 3D 모델들이 점진적으로 투명하게 된다.

여기서, 피사체가 동일한 궤적을 중심으로 원을 그리는 경우, 예를 들어, 피사체의 3D 모델들을 나타내는 스트로브 화상에서, 제1 라운드(round)의 3D 모델들과 제2 라운드의 3D 모델들이 동시에 나타날 수 있다. 효과 처리가 수행되지 않을 때, 스트로브 화상에서 제1 라운드의 3D 모델들과 제2 라운드의 3D 모델들을 구별하는 것이 어렵고, 따라서 스트로브 화상을 보는 것이 어렵게 된다.

효과 모드 1의 효과 처리가 수행될 때, 예를 들어, 최신의 시간에서의 3D 모델이 기준 3D 모델인 경우, 스트로브 화상에 나타나는 3D 모델들은 기준 3D 모델에 대한 근접성이 감소함에 따라 보다 투명하게 된다. 따라서, 사용자가 제1 라운드의 3D 모델과 제2 라운드의 3D 모델을 쉽게 구별할 수 있게 하는 쉽게 볼 수 있는 스트로브 화상을 제공할 수 있다.

또한, 효과 모드 1의 효과 처리에 따르면, 동일한 궤적을 따라 돌고 있는 피사체의 3D 모델들을 나타내는 스트로브 화상에서, 피사체(의 3D 모델들)는 최신 라운드의 3D 모델들이 이전 라운드의 3D 모델들에 진입(잭 인(jack in))하도록 표현된다. 따라서, 사용자가 최신 라운드의 피사체와 이전 라운드의 피사체를 쉽게 비교할 수 있게 하는 FVV(free view video)를 제공할 수 있다.

피사체가 동일한 궤적을 돌고 있는 경우, 예를 들어, 피사체로서의 운동선수가 트랙 주위를 달리거나, 또는 피사체로서의 자동차 또는 모터바이크가 서킷을 레이싱하고, 피사체로서의 체조 선수가 철봉 상에서 스윙한다는 점에 유의한다.

여기서, 가상 시점은 임의의 위치에 설정될 수 있다. 가상 시점은 피사체를 내려다보는 위치 또는 피사체의 위치에 설정될 수 있다. 가상 시점이 피사체를 내려다보는 위치로 설정될 때, 사용자는 제3자의 관점에서 피사체(의 3D 모델)를 볼 수 있다. 가상 시점이 피사체의 위치(1인칭 시점)로 설정되면, 사용자는 자신이 피사체를 추종하는 것처럼 피사체의 시점으로부터 효과 처리에 의해 투명하게 된 과거의 피사체(의 3D 모델들)를 볼 수 있다.

도 18은 효과 모드 2의 효과 처리의 예를 나타내는 도면이다.

도 18은 직선으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 18을 참조하면, 스트로브 화상은 5개의 생성 프레임의 3D 모델들을 나타내고, 최신의 시간의 3D 모델은 기준 3D 모델이다. 그 후, 스트로브 화상에 나타나는 3D 모델에 대하여 효과 모드 2의 효과 처리를 수행하여, 기준 3D 모델에 선행하는 3D 모델들이 점진적으로(그리고 완만하게) 사라지게 한다.

따라서, 효과 모드 2의 효과 처리가 수행된 스트로브 화상에 따르면, 사용자는 시간 경과를 직감적으로 인식할 수 있다. 또한, 스트로브 화상의 데이터량을 감소시킬 수 있다. 또한, 시간적으로 선행하는 3D 모델들이 시간적으로 후속하는 3D 모델들에 방해가 되는 것을 억제하고, 보기 쉬운 스트로브 화상을 제공할 수 있다.

3D 모델들이 다각형들로 형성될 때, 3D 모델들이 점진적으로 사라지는 효과 모드 2의 효과 처리는, 예를 들어, 기준 3D 모델로부터 더 많이 이격된 3D 모델들에서의 다각형들의 수를 더 크게 감소시킴으로써 수행될 수 있다는 점에 유의한다. 또한, 3D 모델들이 점진적으로 사라지는 효과 모드 2의 효과 처리는, 예를 들어, 기준 3D 모델로부터 더 이격된 3D 모델들에서의 다각형들의 수를 더 크게 감소시키고, 원래의 다각형들의 수로부터 미리 결정된 비율로 다각형들의 수가 감소된 3D 모델들 중에서, 기준 3D 모델로부터 더 이격된 3D 모델들을 포인트들의 수(포인트 클라우드의 포인트들의 수)로 더 크게 감소시킴으로써 수행될 수 있다. 또한, 3D 모델들이 점진적으로 사라지는 효과 모드 2의 효과 처리는, 예를 들어, 3D 모델들을 포인트 클라우드들로 변경하고 기준 3D 모델로부터 더 이격된 3D 모델들에서의 포인트들의 수를 더 크게 감소시킴으로써 수행될 수 있다.

3D 모델들이 포인트 클라우드들로 형성될 때, 3D 모델들이 점진적으로 사라지는 효과 모드 2의 효과 처리는 기준 3D 모델로부터 더 이격된 3D 모델들에서의 포인트들의 수를 더 크게 감소시킴으로써 수행될 수 있다.

전술한 바와 같은 효과 모드 2의 효과 처리에 따르면, 기준 3D 모델로부터 이격된 3D 모델들 각각은 안개와 같은 희소 입자들의 집합으로서 표현된다.

도 19는 효과 모드 3의 효과 처리의 예를 나타내는 도면이다.

도 19는 직선으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 19를 참조하면, 스트로브 화상은 5개의 생성 프레임의 3D 모델들을 나타내고, 최신의 시간의 3D 모델은 기준 3D 모델이다. 그 후, 스트로브 화상에 나타나는 3D 모델에 대하여 효과 모드 3의 효과 처리를 수행하여, 기준 3D 모델에 선행하는 3D 모델들의 텍스처들의 수가 점진적으로 감소되게 한다.

따라서, 효과 모드 3의 효과 처리가 수행된 스트로브 화상에 따르면, 3D 모델들의 텍스처 품질이 저하되지만, 스트로브 화상의 데이터량 및 스트로브 화상을 표시하는데 필요한 처리량을 감소시킬 수 있다.

효과 모드 3의 효과 처리에서의 텍스처들의 수에 있어서 기준 3D 모델로부터 더 이격된 3D 모델들이 더 감소될 때, 텍스처들의 수를 감소시키는 비율은, 예를 들어, 스트로브 화상에 나타나는 3D 모델들의 수로 100%를 제산함으로써 획득되는 값을 취할 수 있다는 점에 유의한다. 이 경우, 5개의 생성 프레임에 3D 모델들을 나타내는 스트로브 화상에 대해, 텍스처들의 수를 감소시키는 비율은 20%=100/5이다. 따라서, 예를 들어, 스트로브 화상에 나타나는 기준 3D 모델이 10개의 시점으로부터의 시점 화상들과 텍스처 매핑되는 경우, 기준 3D 모델의 과거 방향의 첫번째 3D 모델은 기준 3D 모델의 텍스처 매핑의 10개의 시점으로부터 20%만큼 감소된 8개의 시점으로부터의 시점 화상들로 텍스처 매핑된다. 기준 3D 모델의 과거 방향에서의 두번째 3D 모델은 과거 방향에서의 첫번째 3D 모델의 텍스처 매핑의 8개의 시점으로부터 20%만큼 감소된 6개의 시점으로부터의 시점 화상들로 텍스처 매핑된다. 이하에서, 유사하게, 기준 3D 모델의 과거 방향에서의 세번째 3D 모델은 과거 방향에서의 두번째 3D 모델의 텍스처 매핑의 6개의 시점으로부터 20%만큼 감소된 4개의 시점으로부터의 시점 화상들로 텍스처 매핑되고, 기준 3D 모델의 과거 방향에서의 네번째 3D 모델은 과거 방향에서의 제3 3D 모델의 텍스처 매핑의 4개의 시점으로부터 20%만큼 감소된 2개의 시점으로부터의 시점 화상들로 텍스처 매핑된다.

도 20은 효과 모드 4의 효과 처리의 예를 나타내는 도면이다.

도 20은 직선으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 20을 참조하면, 스트로브 화상은 5개의 생성 프레임의 3D 모델들을 나타내고, 최신의 시간의 3D 모델은 기준 3D 모델이다. 그 후, 스트로브 화상에 나타나는 3D 모델들에 대하여 효과 모드 4의 효과 처리를 수행하여, 기준 3D 모델에 선행하는 3D 모델들 중, 예를 들어, 기준 3D 모델로부터의 네번째 3D 모델을 대상 모델로서 1회 표시한 후, 특정 시간 경과 후에 소거한다.

따라서, 효과 모드 4의 효과 처리가 수행된 스트로브 화상에 따르면, 스트로브 화상의 데이터량 및 스트로브 화상을 표시하는데 필요한 처리량을 감소시킬 수 있다.

효과 모드 4의 효과 처리에서는, 예를 들어, 대상 모델의 표시로부터 소거까지의 특정 시간이 효과 모드 4와 연관하여 정의된 파라미터에 의해 지정될 수 있다는 점에 유의한다.

또한, 효과 모드 4의 효과 처리에서는, 특정 시간의 경과 후에 대상 모델을 소거하는 대신에, 스트로브 화상에 나타나는 3D 모델들의 수가 특정 수에 도달했을 때 대상 모델을 소거할 수 있다. 대상 모델을 소거하기 위한 특정 수의 3D 모델들은, 예를 들어, 전술한 특정 시간의 경우에서와 같이, 효과 모드 4와 연관된 파라미터에 의해 지정될 수 있다.

도 21은 효과 모드 5의 효과 처리의 예를 나타내는 도면이다.

도 21은 직선으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 21을 참조하면, 스트로브 화상은 5개의 생성 프레임의 3D 모델들을 나타내고, 최신의 시간의 3D 모델은 기준 3D 모델이다. 그 후, 스트로브 화상에 나타나는 3D 모델에 대하여 효과 모드 5의 효과 처리를 수행하여, 기준 3D 모델에 선행하는 3D 모델의 휘도 및 채도를 점진적으로 감소시킨다.

따라서, 효과 모드 5의 효과 처리가 수행된 스트로브 화상에 따르면, 스트로브 화상의 데이터량 및 스트로브 화상을 표시하는데 필요한 처리량을 감소시킬 수 있다.

효과 모드 5의 효과 처리에서 기준 3D 모델로부터 더 이격된 3D 모델들의 휘도 및 채도를 더 크게 감소시키는 경우, 휘도 및 채도의 감소 비율은, 예를 들어, 효과 모드 3의 경우와 같은 비율일 수 있다는 점에 유의한다. 즉, 휘도 및 채도의 감소 비율은 스트로브 화상에 나타나는 3D 모델들의 수로 100%를 제산함으로써 획득되는 값일 수 있다. 이 경우, 5개의 생성 프레임에 3D 모델을 나타내는 스트로브 화상에서의 휘도 및 채도의 감소 비율은 20%=100/5이다. 기준 3D 모델로부터 거리가 하나의 각 모델만큼 이격될 때마다 기준 3D 모델에 선행하는 3D 모델들은 휘도 및 채도가 20%씩 감소된다.

또한, 기준 3D 모델로부터 거리가 하나의 각 모델만큼 이격될 때마다 3D 모델들의 휘도 및 채도를 더 크게 감소시키는 것 대신에, 3D 모델들의 휘도 및 채도가 기준 3D 모델로부터 특정 시간 동안 거리에 따라 감소될 수 있다.

도 22는 효과 모드 6의 효과 처리의 예를 나타내는 도면이다.

도 22는 직선으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 22를 참조하면, 스트로브 화상은 5개의 생성 프레임의 3D 모델들을 나타내고, 최신의 시간의 3D 모델 직전의 3D 모델은 기준 3D 모델이다. 그 후, 효과 모드 6의 효과 처리가 스트로브 화상에 나타나는 3D 모델들에 대해 수행되어, 스트로브 화상에 나타나는 3D 모델들은 기준 3D 모델을 포함하는 3개의 모델, 즉 기준 3D 모델과 기준 3D 모델의 과거 방향에서 서로 인접한 2개의 3D 모델로 제한된다.

따라서, 효과 모드 6의 효과 처리가 수행된 스트로브 화상에 따르면, 스트로브 화상의 데이터량을 감소시킬 수 있다. 또한, 예를 들어, 시간적으로 선행하는 3D 모델들이 시간적으로 후속하는 3D 모델들에 방해가 되는 것을 억제하고, 보기 쉬운 스트로브 화상을 제공할 수 있다.

도 23은 효과 모드 7 내지 9의 효과 처리의 예를 나타내는 도면이다.

도 23은 직선으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 23을 참조하면, 스트로브 화상은 5개의 생성 프레임의 3D 모델들을 나타내고, 최신의 시간의 3D 모델은 기준 3D 모델이다. 그 후, 스트로브 화상에 나타나는 3D 모델에 대하여, 효과 모드 7 내지 9 중 어느 하나의 효과 처리를 수행한다.

즉, 도 23의 A는 효과 모드 7의 효과 처리가 스트로브 화상에 나타나는 3D 모델들에 대하여 수행되어, 다각형들로 형성되는 3D 모델 중 하나의 메시들의 수(다각형들의 수)가 감소된 상태를 나타낸다.

도 23의 B는 효과 모드 8의 효과 처리가 스트로브 화상에 나타나는 3D 모델들에 대하여 수행되어, 다각형들로 형성되는 3D 모델들 중 하나가 와이어 프레임으로 변경되는 상태를 나타낸다.

효과 모드 9의 효과 처리에서는, 스트로브 화상에 나타나는 VD 모델로서의 3D 모델이 포인트 클라우드 등의 VI 모델로 변경되지만, 그 도시는 생략된다는 점에 유의한다.

효과 모드 7 내지 9의 효과 처리가 수행된 스트로브 화상에 따르면, 스트로브 화상의 데이터량을 감소시킬 수 있다. 또한, 예를 들어, 시간적으로 선행하는 3D 모델들이 시간적으로 후속하는 3D 모델들에 방해가 되는 것을 억제하고, 보기 쉬운 스트로브 화상을 제공할 수 있다.

데이터량을 추가로 감소시킬 필요가 있을 때, 예를 들어, 효과 모드 9의 효과 처리에서는, 3D 모델들이 포인트 클라우드들로 변경된 후에, 형상들의 품질이 감소될 수 있지만, 포인트 클라우드들의 포인트들의 수가 감소될 수 있고 포인트들의 컬러들에 대한 정보가 감소될 수 있다는 점에 유의한다. 포인트 클라우드들 이외의 VI 모델들에 대해서도 마찬가지이다.

도 24는 효과 모드 10의 효과 처리의 예를 나타내는 도면이다.

도 24는 직선으로 이동하는 피사체의 3D 모델들을 나타내는 스트로브 화상의 예를 나타낸다. 도 24를 참조하면, 스트로브 화상은 5개의 생성 프레임의 3D 모델들을 나타내고, 최신의 시간의 3D 모델은 기준 3D 모델이다. 그 후, 스트로브 화상에 나타나는 3D 모델들에 대하여 효과 모드 10의 효과 처리를 수행하여, 기준 3D 모델에 선행하는 3D 모델들 중, 기준 3D 모델로부터의 세번째 및 네번째 3D 모델을, 이러한 3D 모델들의 그림자를 흔적으로서 남겨두고 소거한다.

따라서, 효과 모드 10의 효과 처리가 수행된 스트로브 화상에 따르면, 사용자는 시간 경과를 직감적으로 인식할 수 있다. 또한, 스트로브 화상의 데이터량을 감소시킬 수 있다. 또한, 시간적으로 선행하는(과거) 3D 모델들이 시간적으로 후속하는(미래) 3D 모델들에 방해(장애)가 되는 것을 억제하고, 보기 쉬운 스트로브 화상을 제공할 수 있다.

3D 모델의 흔적으로서, 그림자 대신에, 예를 들어, 3D 모델이 존재했던 위치를 나타내는 점, 3D 모델의 움직임의 궤적을 나타내는 선 등이 채택될 수 있다는 점에 유의한다.

또한, 효과 모드 10의 효과 처리에서는, 3차원 공간에서의 3D 모델의 위치를 저장하고, 그 위치에 따라 그림자 등을 묘화함으로써, 3D 모델의 흔적을 남길 수 있다.

<송신 시스템>

도 25는 도 1에 나타낸 화상 처리 시스템이 적용되는 송신 시스템의 구성예를 나타내는 블록도이다.

도 25를 참조하면, 송신 시스템은 송신 디바이스(101)와 수신 디바이스(102)를 포함한다. 송신 시스템에서는, 송신 디바이스(101)로부터 수신 디바이스(102)로 자유 시점 데이터가 송신된다. 그 후, 수신 디바이스(102)에서는, 송신 디바이스(101)로부터의 자유 시점 데이터를 사용하여 스트로브 화상이 생성되어 표시된다.

송신 디바이스(101)는 촬영부(111), 자유 시점 데이터 생성부(112), 화상 처리부(113), 부호화부(114) 및 송신부(115)를 포함한다.

촬영부(111)는 도 1에 나타낸 촬영부(11)와 동일한 방식으로 구성되고, 복수의 시점으로부터 피사체를 촬영하고, 복수의 시점으로부터의 시점 화상들을 자유 시점 데이터 생성부(112)에 공급한다.

자유 시점 데이터 생성부(112)는, 도 1에 나타낸 자유 시점 데이터 생성부(12)와 마찬가지로, 예를 들어, 촬영부(111)로부터의 복수의 시점으로부터의 시점 화상들을 사용하여 자유 시점 데이터를 생성하고, 그 자유 시점 데이터를 화상 처리부(113)에 공급한다.

화상 처리부(113)는 스트로브 화상 생성부(121)와 효과 처리부(122)를 포함한다. 화상 처리부(113)는, 자유 시점 데이터 생성부(112)로부터의 자유 시점 데이터를 사용하여, 촬영부(111)에 의해 촬영된 시점 화상들의 복수의 시간(프레임)에서 피사체의 3D 모델들을 나타내는 스트로브 화상(3D 스트로브 화상)을 필요에 따라 생성하고, 스트로브 화상에 대하여 효과 처리를 수행한다.

도 1에 나타낸 스트로브 화상 생성부(13)와 마찬가지로, 스트로브 화상 생성부(121)는 자유 시점 데이터 생성부(12)로부터의 자유 시점 데이터를 사용하여 복수의 시간에서 3D 모델들을 나타내는 스트로브 화상을 생성하고, 스트로브 화상의 자유 시점 데이터를 효과 처리부(122)에 공급한다.

도 1에 나타낸 효과 처리부(14)와 마찬가지로, 효과 처리부(122)는 스트로브 화상 생성부(121)로부터 공급된 자유 시점 데이터에서 스트로브 화상에서 보이는 3D 모델에 대해 효과 처리를 수행하고, 효과 처리가 수행된 스트로브 화상의 자유 시점 데이터를 부호화부(114)에 공급한다.

화상 처리부(113)는, 예를 들어, 사용자의 조작 등에 따라 효과 처리부(122)에 의한 효과 처리 없이, 스트로브 화상 생성부(121)로부터의 자유 시점 데이터를 부호화부(114)에 공급할 수 있다는 점에 유의한다. 또한, 화상 처리부(113)는, 예를 들어, 사용자의 조작 등에 따라 스트로브 화상 생성부(121)에서의 스트로브 화상의 생성 및 효과 처리부(122)에 의한 효과 처리 없이, 자유 시점 데이터 생성부(112)로부터의 자유 시점 데이터를 부호화부(114)에 공급할 수 있다. 또한, 화상 처리부(113)는 스트로브 화상의 생성과 효과 처리를 병행하여 수행할 수 있는데, 즉, 자유 시점 데이터로부터 3D 모델들에 대해 효과 처리가 수행된 효과 처리 후에 (3D) 스트로브 화상을 생성할 수 있다.

부호화부(114)는 화상 처리부(113)(의 효과 처리부(122))로부터 공급되는 자유 시점 데이터를 미리 결정된 부호화 방법에 따라 부호화하고, 부호화에 의해 획득된 부호화된 데이터를 송신부(115)에 공급한다.

송신부(115)는 부호화부(114)로부터의 부호화된 데이터를 유선 통신 또는 무선 통신에 의해 송신한다.

수신 디바이스(102)는 수신부(131), 복호부(132), 자유 시점 화상 생성부(133), 및 표시부(134)를 포함한다.

수신부(131)는 송신 디바이스(101)(의 송신부(115))로부터 송신된 부호화된 데이터를 수신하고, 이 부호화된 데이터를 복호부(132)에 공급한다.

복호부(132)는 수신부(131)로부터의 부호화된 데이터를 부호화부(114)의 부호화 방법에 따라 자유 시점 데이터로 복호하고, 그 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급한다.

자유 시점 화상 생성부(133)는, 도 1에 나타낸 자유 시점 화상 생성부(15)와 마찬가지로, 복호부(132)로부터의 자유 시점 데이터를 사용하여, 예를 들어, 수신 디바이스(102)에 대한 사용자의 조작에 따라 설정된 가상 시점들로부터 3D 모델들이 효과 처리를 거친 스트로브 화상에 나타나는 3차원 공간을 본 2D 화상 등의 가상 시점들로부터 촬영부(111)에 의해 촬영된 3차원 공간을 본 2D 화상들을 생성하고, 그 2D 화상들을 자유 시점 화상들로서 표시부(134)에 공급한다.

도 1에 나타낸 표시부(16)와 마찬가지로, 표시부(134)는, 예를 들어, 2D 헤드-장착 디스플레이, 2D 모니터, 3D 헤드-장착 디스플레이, 3D 모니터 등을 포함하고, 자유 시점 화상 생성부(133)로부터의 자유 시점 화상을 표시한다.

도 26은 도 25에 나타낸 송신 디바이스(101)에 의한 처리의 예의 흐름도이다.

단계 S111에서, 송신 디바이스(101)의 촬영부(111)는 복수의 시점으로부터 피사체를 촬영하고, 그 촬영에 의해 획득된 복수의 시점으로부터의 시점 화상들을 자유 시점 데이터 생성부(112)에 공급하고, 처리는 S112로 진행한다.

단계 S112에서, 자유 시점 데이터 생성부(112)는, 예를 들어, 촬영부(111)로부터의 복수의 시점으로부터의 시점 화상들을 사용하여 자유 시점 데이터를 생성한다.

예를 들어, 자유 시점 데이터 생성부(112)는 촬영부(111)로부터의 복수의 시점으로부터의 시점 화상들을 사용하여, 시점 화상들에 나타나는 피사체의 3D 모델들을 비주얼 헐 등에 의해 생성함으로써, 3D 모델들(3D 모델들 및 배경 화상을 포함하는 3D 데이터)을 자유 시점 화상 데이터로서 생성할 수 있다. 3D 모델은, 예를 들어, 3D 형상 모델 및 텍스처가 될 복수의 시점의 시점 화상들을 갖는 VD 모델, 및 예를 들어, 채색된 포인트 클라우드, 또는 3D 형상 모델과 3D 형상 모델의 컬러 정보로서의 UV 맵의 세트 등의 VI 모델일 수 있다.

또한, 예를 들어, 자유 시점 데이터 생성부(112)는, 복수의 시점으로부터의 시점 화상들을 사용하여 생성된 시점 화상들에 나타나는 피사체의 3D 모델들을, 복수의 시점으로부터 본 2D 화상들 및 깊이 화상들(시점 화상들의 시점들과 동일할 수 있거나 또는 상이할 수 있음)로 변환함으로써, 복수의 시점으로부터의 2D 화상들 및 깊이 화상들을 자유 시점 데이터로서 생성할 수 있다. 3D 모델들을 복수의 시점으로부터의 2D 화상들 및 깊이 화상들로 변환하는 처리는, 예를 들어, 자유 시점 데이터를 부호화하기 전에 자유 시점 데이터 생성부(112) 또는 부호화부(114)에 의해 수행될 수 있다는 점에 유의한다.

자유 시점 데이터 생성부(112)는 자유 시점 데이터를 화상 처리부(113)의 스트로브 화상 생성부(121)에 공급하고, 처리는 단계 S112로부터 단계 S113으로 진행한다.

단계 S113에서, 스트로브 화상 생성부(121)는 스트로브 화상을 생성할지를 판정한다.

여기서, 단계 S113에서의 스트로브 화상을 생성할지에 대한 판정은, 예를 들어, 도 2에 나타낸 단계 S14에서와 같이, 피사체의 모션에 따라 수행될 수 있다. 또한, 단계 S113에서 스트로브 화상을 생성할지에 대한 판정은, 예를 들어, 송신 디바이스(101)에 대한 사용자의 조작에 따라 이루어질 수 있다.

단계 S113에서 스트로브 화상을 생성하지 않는다고 판정된 경우, 스트로브 화상 생성부(121)와 효과 처리부(122)는 처리를 수행하지 않고 자유 시점 데이터를 부호화부(114)에 공급한다. 그 후, 처리는 단계 S113으로부터 단계 S114 내지 S117을 스킵하고 단계 S118로 진행한다.

또한, 단계 S113에서 스트로브 화상을 생성할 것이라고 판정되는 경우, 처리는 단계 S114로 진행한다.

단계 S114에서, 스트로브 화상 생성부(121)는 자유 시점 데이터 생성부(112)로부터의 자유 시점 데이터를 사용하여 스트로브 화상을 생성한다.

즉, 스트로브 화상 생성부(121)는 자유 시점 데이터 생성부(112)로부터의 자유 시점 데이터의 프레임들로부터 복수의 생성 프레임을 선택한다. 또한, 스트로브 화상 생성부(121)는 복수의 생성 프레임에 나타나는 피사체의 3D 모델들(복수의 시간에서의 3D 모델들)을 나타내는 스트로브 화상을 생성한다.

스트로브 화상 생성부(121)는 스트로브 화상의 자유 시점 데이터를 효과 처리부(122)에 공급하고, 처리는 단계 S114로부터 단계 S115로 진행한다.

단계 S115에서, 효과 처리부(122)는 스트로브 화상 생성부(121)로부터 자유 시점 데이터가 공급되는 스트로브 화상의 3D 모델들에 대하여 효과 처리를 수행할지를 판정한다. 단계 S115에서의 스트로브 화상을 생성할지에 대한 판정은, 예를 들어, 송신 디바이스(101)에 대한 사용자의 조작 등에 따라 이루어질 수 있다.

단계 S115에서 효과 처리를 수행하지 않는다고 판정되는 경우, 효과 처리부(122)는 효과 처리를 수행하지 않고 스트로브 화상 생성부(121)로부터의 스트로브 화상의 자유 시점 데이터를 부호화부(114)에 공급한다. 그 후, 처리는 단계 S115로부터 단계 S116 및 S117을 스킵하고 단계 S118로 진행한다.

또한, 단계 S115에서 효과 처리가 수행되는 것으로 판정될 때, 처리는 단계 S116으로 진행한다.

단계 S116에서, 효과 처리부(122)는, 예를 들어, 효과 플래그(도 14), 즉, 효과 모드, 효과 방향, 및 효과 거리를 송신 디바이스(101)에 대한 사용자의 조작 등에 따라 설정하고, 처리는 S117로 진행한다.

단계 S117에서, 효과 처리부(122)는, 효과 플래그에 따라, 스트로브 화상 생성부(121)로부터 자유 시점 데이터가 공급된 스트로브 화상에 나타나는 복수의 시간(생성 프레임)에서 3D 모델에 대하여 효과 처리를 수행한다.

예를 들어, 효과 모드가 효과 모드 1로 설정되고, 효과 방향이 과거로 설정되고, 효과 거리가 time=10으로 설정되는 경우, 효과 처리부(122)는 스트로브 화상에서 기준 3D 모델로부터 과거 방향으로 10초 이상 이격된 3D 모델들을 투명하게 하는 효과 처리를 수행한다.

그 후, 효과 처리부(122)는 효과 처리가 수행된 스트로브 화상의 자유 시점 데이터를 부호화부(114)에 공급하고, 처리는 단계 S117로부터 단계 S118로 진행한다.

단계 S118에서, 부호화부(114)는 효과 처리부(122)으로부터 공급된 자유 시점 데이터를 부호화하고, 부호화에 의해 획득된 부호화된 데이터를 송신부(115)에 공급하고, 처리는 단계 S119로 진행한다.

단계 S119에서, 송신부(115)는 부호화부(114)로부터의 부호화된 데이터를 송신하고, 처리를 종료한다.

상술한 바와 같이, 송신 디바이스(101)에서는, 송신 디바이스(101)에 대한 사용자의 조작 등에 응답하여 설정된 효과 플래그에 따라 효과 처리가 수행된다. 따라서, 송신 디바이스(101)의 사용자는 효과 플래그를 설정함으로써 스트로브 화상에 나타나는 피사체의 3D 모델들에 원하는 효과를 적용할 수 있다.

도 27은 도 25에 나타낸 수신 디바이스(102)에 의한 처리의 예의 흐름도이다.

단계 S131에서, 수신 디바이스(102)의 수신부(131)는 송신 디바이스(101)의 송신부(115)로부터 송신된 부호화된 데이터를 수신하고, 부호화된 데이터를 복호부(132)에 공급하고, 처리는 단계 S132로 진행한다.

단계 S132에서, 복호부(132)는 수신부(131)로부터의 부호화된 데이터를 복호하고, 복호에 의해 획득된 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급하고, 처리는 단계 S133으로 진행한다. 여기서, 복호부(132)는, 복호에 의해 획득된 자유 시점 데이터가 복수의 시점으로부터의 2D 화상들 및 깊이 화상들인 경우, 복수의 시점으로부터의 2D 화상들 및 깊이 화상들을 3D 모델들로 변환할 수 있고, 자유 시점 데이터로서 3D 모델들(3D 모델들을 포함하는 3D 데이터)을 자유 시점 화상 생성부(133)에 공급한다.

단계 S133에서, 자유 시점 화상 생성부(133)는 복호부(132)로부터의 자유 시점 데이터를 사용하여, 송신 디바이스(101)의 촬영부(111)에 의해 촬영된 3차원 공간이 수신 디바이스(102)에 대한 사용자의 조작 등에 의해 설정된 가상 시점으로부터 본 2D 화상들을 자유 시점 화상으로서 생성한다. 즉, 예를 들어, 자유 시점 화상 생성부(133)는 3D 모델들에 대해 효과 처리를 수행함으로써 획득된 스트로브 화상에 나타나는 3차원 공간이 가상 시점으로부터 본 2D 화상들을 자유 시점 화상들로서 생성한다. 그 후, 자유 시점 화상 생성부(133)는 자유 시점 화상(데이터)을 표시부(134)에 공급하고, 처리는 단계 S133으로부터 단계 S134로 진행한다.

단계 S134에서, 표시부(134)는 자유 시점 화상 생성부(133)로부터의 자유 시점 화상들을 표시하고, 처리를 종료한다.

상술한 바와 같이, 수신 디바이스(102)에서는, 송신 디바이스(101)로부터의 부호화된 데이터를 복호하여 획득된 자유 시점 데이터를 사용하여 생성된 자유 시점 화상들이 표시된다. 따라서, 스트로브 화상이 생성되고 송신 디바이스(101)에서 스트로브 화상에 나타난 피사체에 대해 효과 처리가 수행될 때, 수신 디바이스(102)의 사용자는 그 효과가 3D 모델들에 적용된 스트로브 화상(스트로브 화상으로부터 생성된 자유 시점 화상)을 볼 수 있다.

도 28은 도 1에 나타낸 화상 처리 시스템이 적용되는 송신 시스템의 다른 구성예를 나타내는 블록도이다.

도 25에 나타낸 것들에 대응하는 구성 요소들에는 동일한 참조 부호가 표시되고, 그 설명은 이하에서 적절히 생략할 것이라는 점에 유의한다.

도 28을 참조하면, 송신 시스템은 송신 디바이스(101)와 수신 디바이스(102)를 포함한다. 송신 디바이스(101)는 촬영부(111), 자유 시점 데이터 생성부(112), 부호화부(114), 및 송신부(115)를 포함한다. 수신 디바이스(102)는 수신부(131), 복호부(132), 자유 시점 화상 생성부(133), 표시부(134), 및 화상 처리부(141)를 포함한다.

따라서, 도 28에 나타낸 송신 시스템은 송신 시스템이 송신 디바이스(101)과 수신 디바이스(102)를 포함하고, 송신 디바이스(101)가 촬영부(111), 자유 시점 데이터 생성부(112), 부호화부(114), 및 송신부(115)를 포함하고, 수신 디바이스(102)가 수신부(131), 복호부(132), 자유 시점 화상 생성부(133), 및 표시부(134)를 포함한다는 점에서, 도 25에 나타낸 송신 시스템과 공통된다.

그러나, 도 28에 나타낸 송신 시스템은 송신 디바이스(101)가 화상 처리부(113)를 갖지 않고, 수신 디바이스(102)가 화상 처리부(141)를 추가로 갖는다는 점에서, 도 25에 나타낸 송신 시스템과 상이하다.

화상 처리부(141)는 스트로브 화상 생성부(151)와 효과 처리부(152)를 포함한다. 화상 처리부(141)에는 복호부(132)로부터 자유 시점 데이터가 공급된다. 화상 처리부(141)는 복호부(132)로부터의 자유 시점 데이터를 사용하여, 필요에 따라, 촬영부(111)에 의해 촬영된 시점 화상들의 복수의 시간(프레임)에 피사체의 3D 모델들을 나타내는 스트로브 화상을 생성하고, 스트로브 화상에 대하여 효과 처리를 수행한다.

즉, 도 25에 나타낸 스트로브 화상 생성부(121)와 마찬가지로, 스트로브 화상 생성부(151)는 복호부(132)로부터의 자유 시점 데이터를 사용하여 복수의 시간에 3D 모델들을 나타내는 스트로브 화상을 생성하고, 스트로브 화상의 자유 시점 데이터를 효과 처리부(152)에 공급한다.

도 25에 나타낸 효과 처리부(122)와 마찬가지로, 효과 처리부(152)는 스트로브 화상 생성부(151)로부터 공급된 자유 시점 데이터에서 스트로브 화상에서 보이는 3D 모델에 대해 효과 처리를 수행하고, 효과 처리가 수행된 스트로브 화상의 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급한다.

화상 처리부(141)는 예를 들어, 사용자의 조작 등에 따라 효과 처리부(152)에 의한 효과 처리 없이, 스트로브 화상 생성부(151)로부터의 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급할 수 있다. 또한, 화상 처리부(141)는 예를 들어, 사용자의 조작 등에 따라 스트로브 화상 생성부(151)에서의 스트로브 화상의 생성 및 효과 처리부(152)에 의한 효과 처리 없이, 복호부(132)로부터의 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급할 수 있다. 또한, 화상 처리부(141)는 스트로브 화상의 생성과 효과 처리를 병행하여 수행할 수 있는데, 즉, 자유 시점 데이터로부터 3D 모델에 대해 효과 처리를 수행한 효과 처리 후의 (3D) 스트로브 화상을 생성할 수 있다.

도 29는 도 28에 나타낸 송신 디바이스(101)에 의한 처리의 제1 예의 흐름도이다.

단계 S151 및 S152에서는, 도 26의 단계 S111 및 S112와 마찬가지의 처리를 수행한다. 이에 의해, 자유 시점 데이터 생성부(112)에 의해 생성된 자유 시점 데이터가 부호화부(114)에 공급되고, 처리는 단계 S152로부터 단계 S153으로 진행한다.

단계 S153에서, 부호화부(114)는 예를 들어, 효과 플래그(도 14), 즉, 효과 모드, 효과 방향, 및 효과 거리를 송신 디바이스(101)에 대한 사용자의 조작 등에 따라 설정하고, 처리는 S154로 진행한다.

단계 S154에서, 부호화부(114)는 자유 시점 데이터 생성부(112)로부터의 자유 시점 데이터를 부호화하여 효과 플래그를 포함하는 부호화된 데이터를 생성한다. 그 후, 부호화부(114)는 부호화된 데이터를 송신부(115)에 공급하고, 처리는 단계 S154로부터 단계 S155로 진행한다.

단계 S155에서, 송신부(115)는 부호화부(114)로부터의 부호화된 데이터를 송신하고, 처리를 종료한다.

상술한 바와 같이, 송신 디바이스(101)는 송신 디바이스(101)에 대한 사용자의 조작 등에 응답하여 설정된 효과 플래그를 포함하는 부호화된 데이터를 생성하여 송신할 수 있다.

도 30은 도 28에 나타낸 수신 디바이스(102)에 의한 처리의 제1 예의 흐름도이다.

단계 S161에서, 수신 디바이스(102)의 수신부(131)는 송신 디바이스(101)의 송신부(115)로부터 송신된 부호화된 데이터를 수신하고, 부호화된 데이터를 복호부(132)에 공급하고, 처리는 단계 S132로 진행한다.

단계 S162에서, 복호부(132)는 수신부(131)로부터의 부호화된 데이터를 복호하고, 복호에 의해 획득된 자유 시점 데이터 및 효과 플래그를 화상 처리부(141)에 공급하고, 처리는 단계 S163으로 진행한다.

단계 S163에서, 화상 처리부(141)의 스트로브 화상 생성부(151)는 스트로브 화상을 생성할지를 판정한다.

여기서, 단계 S163에서의 스트로브 화상을 생성할지에 대한 판정은 예를 들어, 수신 디바이스(102)에 대한 사용자의 조작에 따라 이루어질 수 있다.

단계 S163에서 스트로브 화상을 생성하지 않는다고 판정된 경우, 스트로브 화상 생성부(151)와 효과 처리부(152)는 처리를 수행하지 않고 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급한다. 그 후, 처리는 단계 S163으로부터 단계 S164 내지 S166을 스킵하고 단계 S167로 진행한다.

또한, 단계 S163에서 스트로브 화상을 생성할 것이라고 판정된 경우, 처리는 단계 S164로 진행한다.

단계 S164에서, 스트로브 화상 생성부(151)는 복호부(132)로부터 화상 처리부(141)에 공급되는 자유 시점 데이터를 사용하여 스트로브 화상을 생성한다.

즉, 스트로브 화상 생성부(151)는 복호부(132)로부터의 자유 시점 데이터의 프레임들로부터 복수의 생성 프레임을 선택한다. 또한, 스트로브 화상 생성부(151)는 복수의 생성 프레임에 나타나는 피사체의 3D 모델들(복수의 시간에서의 3D 모델들)을 나타내는 스트로브 화상을 생성한다.

스트로브 화상 생성부(151)는 스트로브 화상의 자유 시점 데이터를 효과 처리부(152)에 공급하고, 처리는 단계 S164로부터 단계 S165로 진행한다.

단계 S165에서, 효과 처리부(152)는 스트로브 화상 생성부(151)로부터 자유 시점 데이터가 공급되는 스트로브 화상의 3D 모델들에 대하여 효과 처리를 수행할지를 판정한다. 단계 S165에서의 스트로브 화상을 생성할지에 대한 판정은 예를 들어, 수신 디바이스(102)에 대한 사용자의 조작 등에 따라 이루어질 수 있다.

단계 S165에서 효과 처리를 수행하지 않는다고 판정되는 경우, 효과 처리부(152)는 효과 처리를 수행하지 않고 스트로브 화상 생성부(151)로부터의 스트로브 화상의 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급한다. 그 후, 처리는 단계 S165로부터 단계 S166을 스킵하고 단계 S167로 진행한다.

또한, 단계 S165에서 효과 처리가 수행되는 것으로 판정될 때, 처리는 단계 S166으로 진행한다.

단계 S166에서, 복호부(132)로부터 화상 처리부(141)에 공급되는 효과 플래그에 따라, 효과 처리부(152)는 스트로브 화상 생성부(151)로부터 자유 시점 데이터가 공급된 스트로브 화상에 나타나는 복수의 시간(생성 프레임)에서의 3D 모델들에 대해 효과 처리를 수행한다.

예를 들어, 효과 모드가 효과 모드 1로 설정되고, 효과 방향이 past로 설정되고, 효과 거리가 time=10으로 설정되는 경우, 효과 처리부(152)는 스트로브 화상에서 기준 3D 모델로부터 과거 방향으로 10초 이상 이격된 3D 모델들을 투명하게 하는 효과 처리를 수행한다.

그 후, 효과 처리부(152)는 효과 처리가 수행된 스트로브 화상의 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급하고, 처리는 단계 S166으로부터 단계 S167로 진행한다.

단계 S167에서, 자유 시점 화상 생성부(133)는 화상 처리부(141)(의 효과 처리부(152))로부터의 자유 시점 데이터를 사용하여, 송신 디바이스(101)의 촬영부(111)에 의해 촬영된 3차원 공간이 수신 디바이스(102)에 대한 사용자의 조작 등에 의해 설정된 가상 시점으로부터 본 2D 화상들을 자유 시점 화상들로서 생성한다. 즉, 예를 들어, 자유 시점 화상 생성부(133)는 3D 모델들에 대해 효과 처리를 수행함으로써 획득된 스트로브 화상에 나타나는 3차원 공간이 가상 시점으로부터 본 2D 화상들을 자유 시점 화상들로서 생성한다. 그 후, 자유 시점 화상 생성부(133)는 자유 시점 화상(데이터)을 표시부(134)에 공급하고, 처리는 단계 S167로부터 단계 S168로 진행한다.

단계 S168에서, 표시부(134)는 자유 시점 화상 생성부(133)로부터의 자유 시점 화상들을 표시하고, 처리를 종료한다.

전술한 처리에 의해, 수신 디바이스(102)는 송신 디바이스(101)에 대한 사용자의 조작에 따라 설정된 효과 플래그에 따라 효과 처리를 수행한 3D 모델들을 나타내는 스트로브 화상을 표시할 수 있다.

도 31은 도 28에 나타낸 송신 디바이스(101)에 의한 처리의 제2 예의 흐름도이다.

단계 S181 및 S182에서는, 도 29의 단계 S151 및 S152와 마찬가지의 처리를 수행한다. 이에 의해, 자유 시점 데이터 생성부(112)에 의해 생성된 자유 시점 데이터가 부호화부(114)에 공급되고, 처리는 단계 S182로부터 단계 S183으로 진행한다.

단계 S183에서, 부호화부(114)는 자유 시점 데이터 생성부(112)로부터의 자유 시점 데이터를 부호화하여 부호화된 데이터를 생성한다. 그 후, 부호화부(114)는 부호화된 데이터를 송신부(115)에 공급하고, 처리는 단계 S183으로부터 단계 S184로 진행한다.

단계 S184에서, 송신부(115)는 부호화부(114)로부터 부호화된 데이터를 송신하고, 처리를 종료한다.

전술한 바와 같이, 도 31의 경우, 도 29의 경우와 달리, 송신 디바이스(101)는 효과 플래그를 포함하지 않는 부호화된 데이터를 생성 및 송신한다.

도 32는 도 28에 나타낸 수신 디바이스(102)에 의한 처리의 제2 예의 흐름도이다.

단계 S191에서, 수신 디바이스(102)의 수신부(131)는 송신 디바이스(101)의 송신부(115)로부터 송신된 부호화된 데이터를 수신하고, 부호화된 데이터를 복호부(132)에 공급하고, 처리는 단계 S132로 진행한다.

단계 S192에서, 복호부(132)는 수신부(131)로부터의 부호화된 데이터를 복호하고, 복호에 의해 획득된 자유 시점 데이터를 화상 처리부(141)에 공급하고, 처리는 단계 S193으로 진행한다.

단계 S193 내지 S195에서는, 도 30에 나타낸 단계 S163 내지 S165와 마찬가지의 처리를 수행한다.

그 후, 단계 S195에서 효과 처리를 수행하지 않는다고 판정되는 경우, 효과 처리부(152)는 효과 처리를 수행하지 않고 스트로브 화상 생성부(151)로부터의 스트로브 화상의 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급한다. 그 후, 처리는 단계 S195로부터 단계 S196 및 S197을 스킵하고 단계 S198로 진행한다.

또한, 단계 S195에서 효과 처리가 수행되는 것으로 판정될 때, 처리는 단계 S196으로 진행한다.

단계 S196에서, 효과 처리부(152)는 예를 들어, 효과 플래그(도 14), 즉, 효과 모드, 효과 방향, 및 효과 거리를 수신 디바이스(102)에 대한 사용자의 조작 등에 따라 설정하고, 처리는 S197로 진행한다.

여기서, 수신 디바이스(102)의 사용자는 효과 플래그로서 효과 모드, 효과 방향, 및 효과 거리를 개별적으로 설정하는 것을 번거롭게 느낄 수 있다. 따라서, 효과 처리부(152)에서는, 효과 플래그로서의 효과 모드, 효과 방향, 및 효과 거리의 복수의 조합이 효과 필터들로서 준비된다. 이것은 수신 디바이스(102)의 사용자가, 단계 S196에서, 복수의 효과 필터들 중에서 원하는 필터를 선택하고 그 원하는 필터를 효과 플래그로서의 효과 모드, 효과 방향, 및 효과 거리로서 설정할 수 있게 한다.

단계 S197에서, 효과 처리부(152)는, 수신 디바이스(102)에 대한 사용자의 조작에 따라 설정된 효과 플래그에 따라, 스트로브 화상 생성부(151)로부터 자유 시점 데이터가 공급된 스트로브 화상에 나타나는 복수의 시간(생성 프레임)에서 3D 모델들에 대해 효과 처리를 수행한다.

그 후, 효과 처리부(152)는 효과 처리가 수행된 스트로브 화상의 자유 시점 데이터를 자유 시점 화상 생성부(133)에 공급하고, 처리는 단계 S197로부터 단계 S198로 진행한다.

단계 S198 및 S199에서는, 도 30의 단계 S167 및 S168과 마찬가지의 처리를 수행하고, 처리를 종료한다.

전술한 처리에 의해, 수신 디바이스(102)는 수신 디바이스(102)에 대한 사용자의 조작에 따라 설정된 효과 플래그에 따라 효과 처리를 수행한 3D 모델들을 나타내는 스트로브 화상을 표시할 수 있다.

<본 기술이 적용되는 화상 처리 시스템>

도 33은 본 기술이 적용되는 화상 처리 시스템의 다른 실시예의 구성예를 나타내는 블록도이다.

도 1에 나타낸 것들에 대응하는 구성 요소들에는 동일한 참보 부호가 표시되고, 그 설명은 이하에서 적절히 생략할 것이라는 점에 유의한다.

도 33에 나타낸 화상 처리 시스템은 촬영부(11), 자유 시점 데이터 생성부(12), 효과 처리부(14), 자유 시점 화상 생성부(15), 및 표시부(16)를 포함한다.

도 33에 나타낸 화상 처리 시스템은 촬영부(11), 자유 시점 데이터 생성부(12), 효과 처리부(14), 자유 시점 화상 생성부(15), 및 표시부(16)를 포함하는 도 1에 나타낸 화상 처리 시스템과 공통된다. 그러나, 도 33에 나타낸 화상 처리 시스템은 스트로브 화상 생성부(33)가 제공되지 않는다는 점에서 도 1에 나타낸 화상 처리 시스템과 상이하다.

전술한 바와 같이, 도 33의 화상 처리 시스템은 스트로브 화상 생성부(33)를 가지고 있지 않기 때문에, 3D 화상의 자유 시점 데이터가 자유 시점 데이터 생성부(12)로부터 효과 처리부(14)에 공급된다.

그 후, 효과 처리부(14)는 자유 시점 데이터 생성부(12)로부터 자유 시점 데이터가 공급되는 3D 화상에 나타나는 피사체의 3D 모델들에 대해 효과 처리를 수행한다.

예를 들어, 자유 시점 데이터 생성부(12)로부터 자유 시점 데이터가 공급되는 3D 화상에 복수의 피사체가 나타나는 경우, 효과 처리부(14)는 복수의 피사체 중 하나 이상의 3D 모델들의 각각에 대해 효과 처리를 수행할 수 있다.

따라서, 자유 시점 데이터가 자유 시점 데이터 생성부(12)로부터 효과 처리부(14)에 공급되는 3D 화상이 축구 게임의 콘텐츠 화상인 경우, 효과 처리부(14)는 예를 들어, 3D 화상에 나타나는 복수의 피사체로서, 복수의 축구 선수 또는 볼 및 볼 근처의 한 명 이상의 축구 선수의 3D 모델들에 대해 효과 처리를 수행할 수 있다.

전술한 바와 같이, 효과 처리부(14)는 (3D 화상에 나타나는 복수의 피사체의 모든 3D 모델을 포함하는) 스트로브 화상 이외의 임의의 3D 화상에 나타나는 복수의 피사체의 3D 모델들 중 하나 이상의 3D 모델에 대해 효과 처리를 수행할 수 있다.

도 34는 도 33에 나타낸 화상 처리 시스템에 의해 수행되는 자유 시점 화상을 표시하는 자유 시점 화상 표시 처리의 예의 흐름도이다.

자유 시점 화상 표시 처리에서는, 단계 S211 및 S212에서, 도 2에 나타낸 단계 S11 및 S12와 동일한 처리가 수행된다. 따라서, 자유 시점 데이터 생성부(12)는 예를 들어, 3D 화상의 자유 시점 데이터로서, 피사체의 3D 모델들(및 배경 화상을 포함하는 3D 데이터)을 프레임 단위로 생성한다. 3D 화상의 자유 시점 데이터(프레임 단위)는 자유 시점 데이터 생성부(12)로부터 효과 처리부(14)에 공급되고, 처리는 단계 S212로부터 단계 S213으로 진행한다.

단계 S213에서, 효과 처리부(14)는 자유 시점 데이터 생성부(12)로부터 자유 시점 데이터가 공급되는 3D 화상에 나타나는 3D 모델들에 대해 효과 처리를 수행할지를 판정한다. 단계 S217에서의 스트로브 화상을 생성할지에 대한 판정은 예를 들어, 사용자의 조작에 따라 이루어질 수 있다.

단계 S213에서 효과 처리를 수행하지 않는다고 판정되는 경우, 효과 처리부(14)는 효과 처리를 수행하지 않고 자유 시점 데이터 생성부(12)로부터의 3D 화상의 자유 시점 데이터를 자유 시점 화상 생성부(15)에 공급한다. 그 후, 처리는 단계 S213으로부터 단계 S214를 스킵하고 단계 S215로 진행한다.

이 경우, 단계 S215에서, 자유 시점 화상 생성부(15)는 효과 처리부(14)로부터의 3D 화상(자유 시점 데이터)을 가상 시점들로부터 본 2D 화상들을 자유 시점 화상들로서 생성한다. 그 후, 자유 시점 화상 생성부(15)는 자유 시점 화상을 표시부(16)에 공급하고, 처리는 단계 S215로부터 단계 S216으로 진행한다.

단계 S216에서, 표시부(16)는 자유 시점 화상 생성부(15)로부터의 자유 시점 화상들을 표시한다. 이 경우, 표시부(16)는 가상 시점들로부터 본 피사체의 3D 모델들을 나타내는 2D 화상들(3D 화상을 가상 시점들로부터 본 2D 화상들)을 표시한다.

한편, 단계 S213에서 효과 처리가 수행되는 것으로 판정될 때, 처리는 단계 S214로 진행한다.

단계 S214에서, 효과 처리부(14)는 자유 시점 데이터 생성부(12)로부터 자유 시점 데이터가 공급되는 3D 화상에 나타나는 피사체의 3D 모델들에 대해 효과 처리를 수행한다.

여기서, 3D 화상에 1개의 피사체가 나타나면, 효과 처리부(14)는 그 1개의 피사체의 3D 모델들에 대해 효과 처리를 수행한다. 또한, 3D 화상에 복수의 피사체가 나타나는 경우, 효과 처리부(14)는 복수의 피사체의 3D 모델들로부터 하나 이상의 피사체의 3D 모델들을 선택하고, 하나 이상의 피사체의 3D 모델들 각각에 대해 효과 처리를 수행할 수 있다. 효과 처리를 수행할 3D 모델들은 예를 들어, 사용자의 조작 등에 따라 선택될 수 있다.

효과 처리부(14)는 효과 처리가 수행된 3D 모델들을 나타내는 3D 화상을 자유 시점 화상 생성부(15)에 공급하고, 처리는 단계 S214로부터 단계 S215로 진행한다.

이 경우, 단계 S215에서, 자유 시점 화상 생성부(15)는 효과 처리부(14)로부터의 효과 처리가 수행된 3D 모델들을 나타내는 3D 화상을 가상 시점으로부터 본 2D 화상들을 자유 시점 화상들로서 생성한다. 그 후, 자유 시점 화상 생성부(15)는 자유 시점 화상을 표시부(16)에 공급하고, 처리는 단계 S215로부터 단계 S216으로 진행한다.

단계 S216에서, 표시부(16)는 자유 시점 화상 생성부(15)로부터의 자유 시점 화상들을 표시한다. 이 경우, 표시부(16)는 가상 시점들로부터 본 1개 이상의 피사체의 3D 모델들에 효과를 적용한 2D 화상들(효과 처리가 수행된 2D 화상들)을 표시한다.

전술한 바와 같이, 스트로브 화상 이외의 3D 화상에 나타나는 복수의 피사체의 3D 모델들 중 하나 이상의 3D 모델에 대해 효과 처리를 수행함으로써, 보기 쉬운 화상을 제공할 수 있다. 예를 들어, 상술한 바와 같이, 3D 화상이 축구 경기의 콘텐츠의 화상인 경우, 골, 공 및 공 또는 공 근처의 한 명 이상의 축구 선수, 여행하는 축구 선수, 및 여행을 받은 축구 선수 등과 관련된 복수의 축구 선수의 3D 모델에 효과를 적용한 화상을 3D 화상에 나타나는 복수의 피사체로서 제공할 수 있다.

<송신 시스템>

도 35는 도 33에 나타낸 화상 처리 시스템이 적용되는 송신 시스템의 구성예를 나타내는 블록도이다.

도 25에 나타낸 것들에 대응하는 구성 요소들에는 동일한 참조 부호가 표시되고, 그 설명은 이하에서 적절히 생략할 것이라는 점에 유의한다.

도 35를 참조하면, 송신 시스템은 송신 디바이스(101)와 수신 디바이스(102)를 포함한다. 송신 디바이스(101)는 촬영부(111), 자유 시점 데이터 생성부(112), 화상 처리부(113), 부호화부(114), 송신부(115), 및 자유 시점 화상 생성부(211)를 포함한다. 화상 처리부(113)는 효과 처리부(122)를 갖는다. 수신 디바이스(102)는 수신부(131), 복호부(132), 및 표시부(134)를 포함한다.

따라서, 도 35에 나타낸 송신 시스템은, 송신 시스템이 송신 디바이스(101)와 수신 디바이스(102)를 포함하고, 송신 디바이스(101)가 촬영부(111), 자유 시점 데이터 생성부(112), 화상 처리부(113), 부호화부(114), 및 송신부(115)를 포함하고, 수신 디바이스(102)가 수신부(131), 복호부(132), 및 표시부(134)를 포함한다는 점에서, 도 25에 나타낸 송신 시스템과 공통된다.

그러나, 도 28에 나타낸 송신 시스템은 송신 디바이스(101)의 화상 처리부(113)가 스트로브 화상 생성부(121)를 포함하지 않고, 송신 디바이스(101)가 자유 시점 화상 생성부(211)를 추가로 포함하고, 수신 디바이스(102)가 자유 시점 화상 생성부(133)를 포함하지 않는다는 점에서, 도 25에 나타낸 송신 시스템과 상이하다.

송신 디바이스(101)에서, 촬영부(111), 자유 시점 데이터 생성부(112), 화상 처리부(113)의 효과 처리부(122), 및 자유 시점 화상 생성부(211)는 각각 도 33에 나타낸 촬영부(11), 자유 시점 데이터 생성부(12), 효과 처리부(14), 및 자유 시점 화상 생성부(15)와 유사한 방식으로 처리를 수행한다.

따라서, 자유 시점 화상 생성부(211)는 가상 시점들로부터 본 피사체의 3D 모델에 효과를 적용한 2D 화상 또는 가상 시점들로부터 본 피사체의 3D 모델들에 효과를 적용하지 않은 2D 화상을 자유 시점 화상들로서 부호화부(114)에 공급한다.

부호화부(114)는 화상 처리부(113)의 효과 처리부(122)로부터 공급되는 자유 시점 화상들을 미리 결정된 부호화 방법에 따라 부호화하고, 부호화에 의해 획득된 부호화된 데이터를 송신부(115)에 공급한다. 송신부(115)는 부호화부(114)로부터의 부호화된 데이터를 유선 통신 또는 무선 통신에 의해 송신한다.

수신 디바이스(102)(표시 디바이스)에서는, 수신부(131)가 송신 디바이스(101)(의 송신부(115))로부터 송신된 부호화된 데이터를 수신하고, 이 부호화된 데이터를 복호부(132)에 공급한다.

복호부(132)는 수신부(131)로부터의 부호화된 데이터를 자유 시점 화상으로 복호하고, 자유 시점 화상을 표시부(134)에 공급한다. 표시부(134)는 복호부(132)로부터의 자유 시점 화상을 표시한다.

수신 디바이스(102)의 사용자는 예를 들어, 수신 디바이스(102)를 조작함으로써 가상 시점들을 지정할 수 있다. 수신 디바이스(102)는 사용자에 의해 지정된 가상 시점들을 송신 디바이스(101)에 송신할 수 있다. 송신 디바이스(101)에서, 자유 시점 화상 생성부(211)는 수신 디바이스(102)로부터의 가상 시점에 따라 가상 시점으로부터 본 2D 화상으로서 자유 시점 화상을 생성할 수 있다.

<효과 처리의 변형>

효과 처리부(14)(및 효과 처리부들(122 및 152))에 의해 수행되는 효과 처리로서, 도 14에 나타낸 효과 모드 1 내지 10의 효과 처리 이외의 각종 효과 처리가 채택될 수 있다.

예를 들어, 3D 모델들의 크기를 변경하는 처리, 3D 모델들의 텍스처(텍스처 재료)를 변경하는 처리, 3D 모델들의 텍스처를 삭제하는 처리 등이 효과 처리부(14)에 의해 수행되는 효과 처리로서 채택될 수 있다. 또한, 효과 처리부(14)에 의해 수행되는 효과 처리로서, 예를 들어, 3D 모델들의 형상(3D 형상 모델들)을 흐릿하게 하는 처리, 3D 모델들의 컬러를 변경하는 처리 등을 채택할 수 있다. 이들 효과 처리에 대해서는, 도 14에 나타낸 효과 모드 1 내지 10의 효과 처리와 마찬가지로, 효과 방향, 효과 거리, 및 필요한 파라미터들을 설정할 수 있다.

도 36은 3D 모델들의 크기를 변경하는 효과 처리를 설명하는 도면이다.

3D 모델들의 크기를 변경하는 효과 처리에서, 예를 들어, 3D 모델들 각각의 크기는 3D 모델의 중심과 같은 미리 결정된 포인트를 참조하여 감소되거나 확대될 수 있다.

여기서, 크기 변경 전의 3D 모델들이 평면과 접촉하는 경우, 단순히 3D 모델들의 중심을 기준으로 하여 3D 모델들의 크기를 축소하거나 확대하는 것은, 크기 변경 후의 3D 모델들을 평면으로부터 이격하여 공중에 떠 있거나 평면에 가라앉은 상태로 만들 수 있다.

즉, 도 36은 예를 들어, 축구공이 축구 지면에서 구르는 3D 모델들을 나타내는 (3D) 스트로브 화상을 나타낸다.

축구공의 3D 모델들의 중심을 기준으로 하여 3D 모델들의 크기를 축소시키는 효과 처리가 수행될 때, 축구공의 3D 모델들은 도 36에 나타낸 바와 같이 지면으로부터 떠 있다. 그 결과, 효과 처리 후의 스트로브 화상은 부자연스럽게 된다.

축구공의 3D 모델들의 중심을 기준으로 하여 3D 모델들의 크기를 확대하는 효과 처리가 수행될 때, 축구공의 3D 모델들은 지면에 가라앉게 된다는 점에 유의한다. 그 결과, 효과 처리 후의 스트로브 화상은 부자연스럽게 된다.

따라서, 3D 모델들의 크기를 변경하는 효과 처리를 수행하는 경우, 크기 변경 전의 3D 모델들이 평면과 접촉할 때, 도 36에 나타낸 바와 같이, 효과 처리부(14)는 크기 변경 후의 3D 모델들이 평면과 접촉하도록 크기 변경 후의 3D 모델들을 이동시킬 수 있다.

이는 효과 처리 후의 스트로브 화상이 부자연스러워지는 것을 방지한다.

(크기 변경 전의) 3D 모델들이 평면과 접촉하는 경우에, 전술한 바와 같이, 축구공의 3D 모델들은 지면과 접촉할 수 있거나, 3D 모델들은 바닥 표면 또는 테이블 상부와 접촉할 수 있거나, 3D 모델들은 벽 또는 천장과 접촉할 수 있다.

크기 변경 후의 3D 모델들은 크기 조정 전의 3D 모델들이 접촉하는 평면에 수직한 방향으로 이동된다. 또한, 3D 모델의 크기를 s배로 축소 또는 확대할 경우, 크기 변경 후의 3D 모델들의 중심과 평면 간의 거리가 크기 변경 전의 거리보다 s배 짧거나 길어지도록, 크기 변경 후의 3D 모델을 이동시킨다.

<본 기술이 적용되는 컴퓨터의 설명>

다음으로, 전술된 일련의 처리는 하드웨어에 또는 소프트웨어에 의해 수행될 수 있다. 일련의 처리가 소프트웨어에 의해 수행되는 경우, 소프트웨어를 구성하는 프로그램은 범용 컴퓨터에 인스톨된다.

도 37은 전술한 일련의 처리를 실행하는 프로그램이 인스톨된 컴퓨터의 실시예의 구성예를 나타내는 블록도이다.

프로그램은 컴퓨터에 포함된 기록 매체로서 하드 디스크(905) 또는 ROM(903)에 미리 기록될 수 있다.

대안적으로, 프로그램은 드라이브(909)에 의해 구동되는 이동식 기록 매체(911)에 저장(기록)될 수 있다. 이러한 이동식 기록 매체(911)는 소위 패키지 소프트웨어로서 제공될 수 있다. 여기서, 이동식 기록 매체(911)의 예는, 플렉시블 디스크, CD-ROM(compact disc read only memory), MO(magneto optical) 디스크, DVD(digital versatile disc), 자기 디스크, 반도체 메모리 등을 포함한다.

프로그램은 전술한 바와 같이 이동식 기록 매체(911)로부터 컴퓨터에 인스톨될 수 있거나, 또는 통신망 또는 방송망을 통해 컴퓨터에 다운로드되어 내장 하드 디스크(905)에 인스톨될 수 있다는 점에 유의한다. 즉, 예를 들어, 프로그램은 다운로드 사이트로부터 디지털 위성 방송용 인공 위성을 통해 컴퓨터에 무선으로 송신되거나, 또는 LAN(local area network) 또는 인터넷 등의 네트워크를 통해 컴퓨터에 유선 방식으로 송신된다.

컴퓨터는 중앙 처리 유닛(CPU)(902)을 포함하고, 입출력 인터페이스(910)는 버스(901)를 통해 CPU(902)에 접속된다.

입출력 인터페이스(910)를 통해 입력부(907) 등을 조작하는 사용자에 의해 명령이 입력될 때, CPU(902)는 그에 따라 판독 전용 메모리(ROM)(903)에 저장된 프로그램을 실행한다. 대안적으로, CPU(902)는 하드 디스크(905) 내의 프로그램을 랜덤 액세스 메모리(RAM)(904)에 로딩하고 프로그램을 실행한다.

따라서, CPU(902)는 전술한 흐름도에 따른 처리 또는 전술한 블록도에 나타낸 구성에 의해 수행되는 처리를 수행한다. 그 후, CPU(902)는 필요에 따라, 예를 들어, 입출력 인터페이스(910)를 통해, 처리 결과가 출력부(906)로부터 출력되게 하거나, 통신부(908)로부터 송신되게 하거나, 또는 하드 디스크(905)에 기록되게 한다.

또한, 입력부(907)는 키보드, 마우스, 마이크로폰 등을 포함한다는 점에 유의한다. 또한, 출력부(906)는 액정 디스플레이(LCD), 스피커 등을 포함한다.

여기서, 본 명세서에서, 프로그램에 따라 컴퓨터에 의해 수행되는 처리는 반드시 흐름도에 기재된 순서로 시간순으로 수행될 필요는 없다. 즉, 프로그램에 따라 컴퓨터에 의해 수행되는 처리는 병행하여 또는 개별적으로 실행되는 처리(예를 들어, 병렬 처리 또는 오브젝트에 의한 처리)를 포함한다.

또한, 프로그램은 하나의 컴퓨터(프로세서)에 의해 처리될 수 있거나, 또는 복수의 컴퓨터에 의해 분산 및 처리될 수 있다. 또한, 프로그램은 실행을 위해 원격 컴퓨터에 송신될 수 있다.

또한, 본 명세서에서, 시스템은 복수의 구성 요소(장치, 모듈(부품) 등)의 세트를 의미하고, 모든 구성 요소가 동일한 하우징 내에 있는지는 중요하지 않다. 따라서, 시스템은 별개의 하우징들에 하우징되고 네트워크를 통해 접속된 복수의 디바이스일 수 있거나, 또는 하나의 하우징 내에 복수의 모듈을 포함하는 하나의 디바이스일 수 있다.

본 기술의 실시예들은 전술한 실시예들에 한정되지 않고, 본 기술의 요지를 일탈하지 않고 다양한 방식으로 수정될 수 있다는 점에 유의한다.

예를 들어, 본 기술은 하나의 기능이 네트워크를 통해 복수의 디바이스에 의해 공유되고 협력하여 처리되는 클라우드 컴퓨팅 구성을 가질 수 있다.

또한, 전술한 흐름도에서 설명된 단계들 각각은 하나의 디바이스에 의해 실행될 수 있거나 또는 복수의 디바이스에 의해 공유될 수 있다.

또한, 하나의 단계에 복수의 처리가 포함되는 경우, 하나의 단계에 포함되는 복수의 처리는 하나의 디바이스에 의해 실행될 수 있거나, 또는 복수의 디바이스에 의해 공유되어 실행될 수 있다.

또한, 본 명세서에 설명된 유리한 효과들은 단지 예들이지만, 그것들로 제한되지 않는다. 본 기술은 임의의 다른 유리한 효과들을 가질 수 있다.

본 기술은 이하와 같이 구성될 수 있다는 점에 유의한다.

<1>

화상 처리 디바이스로서,

복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 하나 이상에 대해 효과 처리를 수행하는 효과 처리부; 및

효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하는 생성부를 포함하는 화상 처리 디바이스.

<2>

<1>에 따른 화상 처리 디바이스에서,

효과 처리부는 복수의 3D 모델 중에서 미리 결정된 3D 모델을 투명하게 하는 효과 처리를 수행한다.

<3>

<1> 또는 <2>에 따른 화상 처리 디바이스에서,

효과 처리부는 복수의 시점 화상으로부터 생성된 복수의 시간에서의 미리 결정된 피사체의 3D 모델들에 대해 효과 처리를 수행한다.

<4>

<1> 내지 <3> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 복수의 시간에서의 미리 결정된 피사체의 3D 모델들 중 하나의 기준 모델에 대한 3D 모델들의 수, 거리, 또는 시간에 의해 지정되는 미리 결정된 피사체의 3D 모델들에 대해 효과 처리를 수행한다.

<5>

<1> 내지 <4> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 복수의 효과 처리로부터 3D 모델들에 대해 수행될 효과 처리를 설정한다.

<6>

<1> 내지 <5> 중 어느 하나에 따른 화상 처리 디바이스에서,

2D 화상을 표시하는 표시부를 추가로 포함한다.

<7>

<1> 내지 <6> 중 어느 하나에 따른 화상 처리 디바이스에서,

3D 모델은 뷰 독립(View Independent)을 포함한다.

<8>

<1> 내지 <7> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델의 크기를 변경하는 효과 처리를 수행하고,

크기 변경 이전의 3D 모델이 평면과 접촉할 때, 효과 처리부는 크기 변경 이후의 3D 모델이 평면과 접촉하도록 3D 모델을 이동시킨다.

<9>

화상 처리 방법으로서,

복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 하나 이상에 대해 효과 처리를 수행하는 단계; 및

효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하는 단계를 포함하는 화상 처리 방법.

<10>

프로그램으로서, 컴퓨터로 하여금:

복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 각각에 대해 효과 처리를 수행하는 효과 처리부; 및

효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하는 생성부로서 기능하게 하는 프로그램.

<11>

표시 디바이스로서,

복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 하나 이상에 대해 효과 처리를 수행하고 효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성함으로써 획득되는 2D 화상을 수신하는 수신부; 및

2D 화상을 표시하는 표시부를 포함하는 표시 디바이스.

<A1>

화상 처리 디바이스로서,

복수의 시점으로부터 피사체의 시점 화상들로부터 생성된 복수의 시간에서의 피사체의 3D 모델들을 나타내는 스트로브 화상을 생성하는 스트로브 화상 생성부; 및

스트로브 화상에 나타나는 3D 모델들에 대해 효과 처리를 수행하는 효과 처리부를 포함하는 화상 처리 디바이스.

<A2>

<A1>에 따른 화상 처리 디바이스에서,

스트로브 화상 생성부는 근거리 측의 3D 모델들이 우선적으로 표시되도록 스트로브 화상을 생성한다.

<A3>

<A1> 또는 <A2>에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델들을 투명하게 하는 효과 처리를 수행한다.

<A4>

<A1> 내지 <A3> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델을 점진적으로 사라지게 하는 효과 처리를 수행한다.

<A5>

<A1> 내지 <A4> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델들의 텍스처의 수를 감소시키는 효과 처리를 수행한다.

<A6>

<A1> 내지 <A5> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델들을 소거하는 효과 처리를 수행한다.

<A7>

<A1> 내지 <A6> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델들의 휘도 또는 채도를 감소시키는 효과 처리를 수행한다.

<A8>

<A1> 내지 <A7> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 스트로브 화상에 나타나는 3D 모델들의 수를 제한하는 효과 처리를 수행한다.

<A9>

<A1> 내지 <A8> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델들의 메시들의 수를 감소시키는 효과 처리를 수행한다.

<A10>

<A1> 내지 <A9> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델들의 표현 형태를 변경하는 효과 처리를 수행한다.

<A11>

<A1> 내지 <A10> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 다각형들로 형성된 3D 모델들을 와이어 프레임들로 변경하는 효과 처리를 수행한다.

<A12>

<A1> 내지 <A11> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델들의 표현 형태를 뷰 종속(View Dependent)으로부터 뷰 독립(View Independent)으로 변경하는 효과 처리를 수행한다.

<A13>

<A1> 내지 <A12> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 3D 모델들의 흔적들을 남겨두고 3D 모델들을 소거하는 효과 처리를 수행한다.

<A14>

<A1> 내지 <A13> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 스트로브 화상에 나타나는 3D 모델들 중에서 최신의 가상 시점이 설정될 때의 시간에, 기준 3D 모델 전후의 3D 모델들에 대해 효과 처리를 수행한다.

<A15>

<A1> 내지 <A14> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 스트로브 화상에 나타나는 3D 모델들 중에서 최신의 가상 시점이 설정될 때의 시간에, 기준 3D 모델로부터 미리 결정된 수의 모델 이상 이격된 3D 모델들에 대해 효과 처리를 수행한다.

<A16>

<A1> 내지 <A15> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 스트로브 화상에 나타나는 3D 모델들 중에서 최신의 가상 시점이 설정될 때의 시간에, 기준 3D 모델로부터 미리 결정된 거리 이상 이격된 3D 모델들에 대해 효과 처리를 수행한다.

<A17>

<A1> 내지 <A16> 중 어느 하나에 따른 화상 처리 디바이스에서,

효과 처리부는 스트로브 화상에 나타나는 3D 모델들 중에서 최신의 가상 시점이 설정될 때의 시간에, 기준 3D 모델로부터 미리 결정된 시간 이상 이격된 시간에서의 3D 모델들에 대해 효과 처리를 수행한다.

<A18>

화상 처리 방법으로서,

복수의 시점으로부터의 피사체의 시점 화상들로부터 생성된 복수의 시간에서의 피사체의 3D 모델들을 나타내는 스트로브 화상을 생성하는 단계; 및

스트로브 화상에 나타나는 3D 모델들에 대해 효과 처리를 수행하는 단계를 포함하는 화상 처리 방법.

<A19>

프로그램으로서, 컴퓨터로 하여금:

복수의 시점으로부터 피사체의 시점 화상들로부터 생성된 복수의 시간에서의 피사체의 3D 모델들을 나타내는 스트로브 화상을 생성하는 스트로브 화상 생성부; 및

스트로브 화상에 나타나는 3D 모델들에 대해 효과 처리를 수행하는 효과 처리부로서 기능하게 하는 프로그램.

<A20>

송신 시스템으로서,

복수의 시점으로부터의 피사체의 시점 화상들로부터 생성된 복수의 시간에서의 피사체의 3D 모델들을 나타내는 스트로브 화상에서의 3D 모델들에 대해 수행될 효과 처리에 관한 효과 플래그를 송신하는 송신부를 갖는 송신 디바이스; 및

효과 플래그를 수신하는 수신부,

스트로브 화상을 생성하는 스트로브 화상 생성부, 및

효과 플래그에 따라 스트로브 화상에 나타나는 3D 모델들에 대해 효과 처리를 수행하는 효과 처리부를 갖는 수신 디바이스를 포함하는 송신 시스템.

<B1>

효과 처리 후에 스트로브 화상을 생성하는 화상 처리 디바이스로서,

효과 처리는 복수의 시점으로부터의 피사체의 시점 화상들로부터 생성된 복수의 시간에서의 피사체의 3D 모델들을 나타내는 스트로브 화상에 나타나는 3D 모델들에 대해 수행되는 화상 처리 디바이스.

<C1>

화상 처리 디바이스로서,

복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하고;

효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하도록 구성되는 회로를 포함하는 화상 처리 디바이스.

<C2>

<C1>에 따른 화상 처리 디바이스로서, 회로는 추가로:

복수의 3D 모델 중 적어도 하나의 3D 모델을 투명하게 하는 효과 처리를 수행하도록 구성된다.

<C3>

<C1> 또는 <C2>에 따른 화상 처리 디바이스에서, 회로는 추가로:

복수의 시점 화상으로부터 생성된 복수의 시간에서의 미리 결정된 피사체의 3D 모델에 대해 효과 처리를 수행하도록 구성된다.

<C4>

<C1> 내지 <C3> 중 어느 하나에 따른 화상 처리 디바이스에서, 회로는 추가로:

복수의 시간에서의 미리 결정된 피사체의 복수의 3D 모델의 기준 모델에 대한 3D 모델들의 수, 거리, 또는 시간에 의해 지정되는 미리 결정된 피사체의 3D 모델들에 대해 효과 처리를 수행하도록 구성된다.

<C5>

<C1> 내지 <C4> 중 어느 하나에 따른 화상 처리 디바이스에서, 회로는 추가로:

복수의 효과 처리로부터 3D 모델들에 대해 수행될 효과 처리를 설정하도록 구성된다.

<C6>

<C1> 내지 <C5> 중 어느 하나에 따른 화상 처리 디바이스에서,

회로는 추가로:

2D 화상의 표시를 개시하도록 구성된다.

<C7>

<C1> 내지 <C6> 중 어느 하나에 따른 화상 처리 디바이스에서,

3D 모델의 표현 형태는 뷰 독립 모델을 포함한다.

<C8>

<C1> 내지 <C7> 중 어느 하나에 따른 화상 처리 디바이스에서, 회로는 추가로:

3D 모델의 크기를 변경하는 효과 처리를 수행하고;

크기 변경 이전의 3D 모델이 평면과 접촉할 때, 크기 변경 이후의 3D 모델이 평면과 접촉하게 3D 모델을 이동시키도록 구성된다.

<C9>

화상 처리 방법으로서,

복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하는 단계; 및

효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하는 단계를 포함하는 화상 처리 방법.

<C10>

컴퓨터에 의해 실행될 때, 컴퓨터로 하여금 화상 처리 방법을 실행하게 하는 프로그램이 구현되어 있는 비일시적 컴퓨터 판독가능 매체로서, 본 방법은:

복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하는 단계; 및

효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하는 단계를 포함하는 비일시적 컴퓨터 판독가능 매체.

<C11>

표시 디바이스로서,

복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하고, 효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성함으로써 획득되는 2D 화상을 수신하고;

2D 화상의 표시를 개시하도록 구성되는 회로를 포함하는 표시 디바이스.

다양한 수정들, 조합들, 하위 조합들 및 변경들이 첨부된 청구항들 또는 그 등가물들의 범위 내에 있는 한 설계 요건들 및 다른 인자들에 따라 발생할 수 있다는 점이 본 기술분야의 통상의 기술자에 의해 이해되어야 한다.

11 촬영부
12 자유 시점 데이터 생성부
13 스트로브 화상 생성부
14 효과 처리부
15 자유 시점 화상 생성부
16 표시부
101 송신 디바이스
102 수신 디바이스
111 촬영부
112 자유 시점 데이터 생성부
113 화상 처리부
114 부호화부
115 송신 디바이스
131 수신 디바이스
132 복호부
133 자유 시점 화상 생성부
134 표시부
141 화상 처리부
151 스트로브 화상 생성부
152 효과 처리부
901 버스
902 CPU
903 ROM
904 RAM
905 하드 디스크
906 출력부
907 입력부
908 통신부
909 드라이브
910 입출력 인터페이스
911 이동식 기록 매체

Claims (11)

1. 화상 처리 디바이스로서,
   복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하고;
   상기 효과 처리가 수행된 상기 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하도록 구성된 회로를 포함하는 화상 처리 디바이스.
2. 제1항에 있어서,
   상기 회로는 추가로:
   상기 복수의 3D 모델 중 상기 적어도 하나의 3D 모델을 투명하게 하는 상기 효과 처리를 수행하도록 구성되는 화상 처리 디바이스.
3. 제1항에 있어서,
   상기 회로는 추가로:
   상기 복수의 시점 화상으로부터 생성된 복수의 시간에서의 미리 결정된 피사체의 3D 모델들에 대해 상기 효과 처리를 수행하도록 구성되는 화상 처리 디바이스.
4. 제3항에 있어서,
   상기 회로는 추가로:
   상기 복수의 시간에서의 상기 미리 결정된 피사체의 상기 복수의 3D 모델의 기준 모델에 대한 상기 3D 모델들의 수, 거리, 또는 시간에 의해 지정되는 상기 미리 결정된 피사체의 상기 3D 모델들에 대해 상기 효과 처리를 수행하도록 구성되는 화상 처리 디바이스.
5. 제1항에 있어서,
   상기 회로는 추가로:
   복수의 효과 처리로부터 상기 3D 모델들에 대해 수행될 상기 효과 처리를 설정하도록 구성되는 화상 처리 디바이스.
6. 제1항에 있어서,
   상기 회로는 추가로:
   상기 2D 화상의 표시를 개시하도록 구성되는 화상 처리 디바이스.
7. 제1항에 있어서,
   상기 3D 모델의 표현 형태는 뷰 독립(View Independent) 모델을 포함하는 화상 처리 디바이스.
8. 제1항에 있어서,
   상기 회로는 추가로:
   상기 3D 모델의 크기를 변경하는 상기 효과 처리를 수행하고;
   상기 크기 변경 이전의 상기 3D 모델이 평면과 접촉할 때, 상기 크기 변경 이후의 상기 3D 모델이 상기 평면과 접촉하게 상기 3D 모델을 이동시키도록 구성되는 화상 처리 디바이스.
9. 화상 처리 방법으로서,
   복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하는 단계; 및
   상기 효과 처리가 수행된 상기 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하는 단계를 포함하는 화상 처리 방법.
10. 컴퓨터에 의해 실행될 때, 상기 컴퓨터로 하여금 화상 처리 방법을 실행하게 하는 프로그램이 구현되어 있는 비일시적 컴퓨터 판독가능 매체로서,
    상기 방법은:
    복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하는 단계; 및
    상기 효과 처리가 수행된 상기 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성하는 단계를 포함하는 비일시적 컴퓨터 판독가능 매체.
11. 표시 디바이스로서,
    복수의 시점으로부터 촬영된 복수의 시점 화상으로부터 생성된 복수의 3D 모델 중 적어도 하나의 3D 모델에 대해 효과 처리를 수행하고, 효과 처리가 수행된 복수의 3D 모델을 미리 결정된 시점으로부터 본 2D 화상을 생성함으로써 획득되는 2D 화상을 수신하고;
    상기 2D 화상을 표시하도록 구성되는 회로를 포함하는 표시 디바이스.

Images