KR20130016318A

KR20130016318A - 비디오 시퀀스에 기록되는 실제 엔티티에 대한 실시간 크로핑 방법

Info

Publication number: KR20130016318A
Application number: KR1020127028390A
Authority: KR
Inventors: 브라이스 르끌레르; 올리비어 마르세; 얀 레프로보스트
Original assignee: 알까뗄 루슨트
Priority date: 2010-04-06
Filing date: 2011-04-01
Publication date: 2013-02-14
Also published as: WO2011124830A1; US20130101164A1; CN102859991A; FR2958487A1; EP2556660A1; JP2013524357A

Abstract

실제 환경에서 이동하고 비디오 시퀀스에 기록되는 실제 엔티티에 대해 실시간 크로핑하는 방법으로서, 실제 엔티티는 가상 엔티티와 연관되는, 실시간 크로핑하는 방법에 있어서, 기록된 실제 엔티티를 포함하는 이미지를 비디오 시퀀스로부터 추출하는 단계(S1, S1A), 기록된 실제 엔티티를 포함하는 이미지에 기초하여 실제 엔티티의 크기조정 및/또는 배향을 결정하는 단계(S2, S2A), 가상 엔티티와 기록된 실제 엔티티를 대략적으로 동일한 방식으로 크기조정하고 배향하고 위치결정하기에 적합한 변환하는 단계(S3, S4, S3A, S4A), 및 가상 엔티티를 실제 엔티티의 크로핑된 이미지로 대체하는 단계로서, 실제 엔티티의 크로핑된 이미지는 가상 엔티티의 윤곽에 의해 경계가 이뤄지는 기록된 실제 엔티티를 포함하는 이미지의 영역인, 대체하는 단계(S5, S6, S5A, S6A)를 포함한다.

Description

비디오 시퀀스에 기록되는 실제 엔티티에 대한 실시간 크로핑 방법{A METHOD OF REAL-TIME CROPPING OF A REAL ENTITY RECORDED IN A VIDEO SEQUENCE}

본 발명의 일 양태는 비디오 시퀀스에 기록되는 실제 엔티티를 실시간으로 크로핑하는 방법에 관한 것으로, 보다 구체적으로 아바타의 대응 신체 부분을 이용하여 비디오 시퀀스에서의 사용자의 신체의 일부에 대한 실시간 크로핑에 관한 것이다. 이러한 방법은 가상 현실, 특히 소위 가상 환경 또는 혼합현실 환경에서 아바타를 애니메이팅하는 분야에서 특별히 적용되지만 이에 한정되는 것은 아니다.

도 1은 멀티미디어 시스템, 예를 들어 화상 회의 또는 온라인 게임 시스템의 배경 내에서 예시적인 가상 현실 애플리케이션을 나타낸다. 멀티미디어 시스템(1)은 데이터를 송신하는 것을 가능하게 하는 텔레커뮤니케이션 네트워크(9)에 접속되는 다중 멀티미디어 디바이스들(3, 12, 14, 16), 및 원격 애플리케이션 서버(10)를 포함한다. 이러한 멀티미디어 시스템(1)에서, 각각의 멀티미디어 디바이스들(3, 12, 14, 16)의 사용자들(2, 11, 13, 15)은 가상 환경 또는 혼합현실 환경(20)(도 2에 도시)에서 상호작용할 수도 있다. 원격 애플리케이션 서버(10)는 가상 환경 또는 혼합현실 환경(20)을 관리할 수도 있다. 통상적으로, 멀티미디어 디바이스(3)는 프로세서(4), 메모리(5), 텔레커뮤니케이션 네트워크(9)로의 접속 모듈(6), 디스플레이 및 상호작용 수단(7), 및 카메라(8), 예를 들어 웹캠을 포함한다. 다른 멀티미디어 디바이스들(12, 14, 16)은 멀티미디어 디바이스(3)와 동등하며, 더 상세히는 설명하지 않기로 한다.

도 2는 아바타(21)가 진화하는(evolve) 가상 환경 또는 혼합현실 환경(20)을 나타낸다. 가상 환경 또는 혼합현실 환경(20)은 사용자들(2, 11, 13, 15)이 진화, 상호작용, 및/또는 일 등을 행할 수 있는 세계를 모방한 그래픽 표현이다. 가상 환경 또는 혼합현실 환경(20)에서, 각각의 사용자(2, 11, 13, 15)는 인간의 가상 그래픽 표현을 의미하는 사용자의 아바타(21)로 표현된다. 전술한 애플리케이션에서, 아바타의 머리(22)를 카메라(8)에 의해 찍힌 사용자(2, 11, 13 또는 15)의 머리의 비디오와 실시간으로 혼합하는 것, 즉 바꾸어 말하면 대응 아바타(21)의 머리(22)를 사용자(2, 11, 13 또는 15)의 머리로 동적으로 또는 실시간으로 대체하는 것이 유리하다. 여기서, 동적인 또는 실시간으로라는 말은, 아바타(21)의 머리(22) 상에 이들의 멀티미디어 디바이스들(3, 12, 14, 16) 앞에 있는 사용자(2, 11, 13 또는 15)의 머리의 이동들, 자세들, 및 실제 외관들을 동기적으로 또는 준(quasi)-동기적으로 재생하는 것을 의미한다. 여기서, 비디오는 이미지들의 시퀀스를 포함하는 시각 또는 시청각 시퀀스를 지칭한다.

문헌 US 20091202114 는 제 1 컴퓨터 디바이스 상에서 실시간으로 복수의 비디오 프레임들 내의 얼굴을 식별하고 추적하는 것, 식별되고 추적된 얼굴을 나타내는 데이터를 생성하는 것, 그리고 제 2 컴퓨팅 디바이스가 아바타의 신체상에 그 얼굴을 디스플레이하기 위해 네트워크에 의해 제 2 컴퓨팅 디바이스에 얼굴의 데이터를 송신하는 것을 포함하는, 컴퓨터에 의해 구현되는 비디오 캡처 방법을 설명한다.

SONOU LEE 등에 의한 문헌: "CFBOXTM: superimposing 3D human face on motion picture", PROCEEDINGS OF THE SEVENTH INTERNATIONAL CONFERENCE ON VIRTUL SYSTEMS AND MULTIMEDIA BERLELEY, CA, USA 2001년 10월 25일~27일, LOS ALAMITOS, CA, USA, IEEE COMPUT. SOC, US LNKD D01:10.1109NSMM.2001.969723, 2001년 10월 25일(2001-10-25), 페이지 644~651, XP01567131 ISBN: 978-0-7695-1402-4는 일종의 개인용 커머셜 필름 스튜디오를 구성하는 CFBOX 라고 명명되는 제품을 기재하고 있다. 이것은 삼차원의 얼굴 통합 기술을 실시간으로 사용하여 사람의 얼굴을 사용자의 모델링된 얼굴로 대체한다. 이것은 또한 사람의 기호에 맞도록 모델링된 얼굴의 텍스처를 변경시키는 조작 특징들을 제안한다. 그러므로, 이것은 커스텀 디지털 비디오의 생성을 가능하게 한다.

그러나, 주어진 순간에 카메라에 의해 캡처되는 사용자의 비디오로부터 머리를 크로핑하고 이를 추출한 후 아바타의 머리 상에 붙이고 차후의 순간들에 시퀀스를 반복하는 것은, 리얼 렌더링이 추구되기 때문에, 어렵고 고비용이 소요되는 동작이다. 먼저, 윤곽 인식 알고리즘들은 하이 콘트라스트 비디오 이미지를 필요로 한다. 이것은 스튜디오에서 특별한(ad hoc) 조명을 이용하여 획득될 수도 있다. 반면, 이것은 웹캠을 이용하여 및/또는 집이나 사무실 건물에서의 방의 조명 환경에서 항상 가능한 것은 아니다. 또한, 윤곽 인식 알고리즘들은 프로세서로부터 큰 컴퓨팅 능력을 요구한다. 일반적으로 말해, 이러한 큰 컴퓨팅 능력은 개인용 컴퓨터들, 랩탑 컴퓨터들, 개인용 휴대 단말기(PDA)들, 또는 스마트폰들과 같은 표준 멀티미디어 디바이스들 상에서 현재에는 이용가능하지 않다.

결과적으로, 가상 환경에서의 몰입을 느낄 수 있을 만큼 충분히 높은 품질을 가지면서도 상기 표준 멀티미디어 디바이스들에 의해 구현될 수도 있는 아바타의 신체의 대응 부분을 이용하여, 사용자의 신체의 일부를 비디오에서 실시간으로 크로핑하는 방법을 필요로 한다.

본 발명의 일 목적은 실시간으로 비디오의 영역을 크로핑하는 방법, 보다 구체적으로 사용자의 신체 일부의 외관을 재생하도록 의도되는 아바타의 신체의 대응하는 일부를 사용함으로써 실시간으로 비디오에서의 사용자의 신체의 일부를 크로핑하는 방법을 제안하는 것이며, 본 방법은,

- 사용자의 기록된 신체 일부를 포함하는 이미지를 비디오 시퀀스로부터 추출하는 단계,

- 사용자의 기록된 신체 일부를 포함하는 이미지 내에서 사용자의 신체 일부의 배향 및 크기조정을 결정하는 단계,

- 사용자의 신체 일부의 배향 및 크기조정과 대략적으로 동일한 방식으로 아바타의 신체 일부를 배향하고 크기조정하는 단계, 및

- 아바타의 신체 일부의 윤곽을 사용하여 사용자의 기록된 신체 일부를 포함하는 이미지의 크로핑된 이미지를 형성하는 단계로서, 크로핑된 이미지는 윤곽 내에 포함되는 사용자의 기록된 신체 일부를 포함하는 이미지의 영역에 한정되는, 크로핑된 이미지를 형성하는 단계를 포함한다.

본 발명의 다른 실시예에 따르면, 실제 엔티티는 사용자의 신체 일부일 수도 있고, 가상 엔티티는 사용자의 신체 일부의 외관을 재생하도록 의도되는 아바타의 신체의 대응하는 일부일 수도 있으며, 본 방법은,

- 사용자의 신체 일부를 포함하는 이미지로부터 사용자의 신체 일부의 배향을 결정하는 단계,

- 사용자의 기록된 신체 일부를 포함하는 이미지의 배향과 대략적으로 동일한 방식으로 아바타의 신체 일부를 배향하는 단계,

- 사용자의 기록된 신체 일부를 포함하는 이미지를 아바타의 대응 배향된 신체 일부와 정렬시키기 위해, 이미지를 변환하고 크기조정하는 단계,

- 아바타의 배향된 신체 일부의 윤곽에 의해 경계가 이뤄지는 크로핑된 영역이 픽셀들의 부존재 또는 투명한 픽셀들에 의해 코딩되는 가상 환경의 이미지를 드로잉하는 단계, 및

- 사용자의 변환되고 크기조정된 신체 일부를 포함하는 이미지에 가상 환경의 이미지를 중첩시키는 단계를 포함한다.

사용자의 기록된 신체 일부를 포함하는 이미지의 배향 및/또는 크기조정을 결정하는 단계는, 이미지에 적용되는 머리 추적자 기능에 의해 이행될 수도 있다.

배향하고 크기조정하는 단계, 윤곽을 추출하는 단계, 그리고 병합하는 단계는 아바타나 사용자의 신체 일부의 주목할만한 지점들 또는 영역들을 고려할 수도 있다.

아바타의 신체 일부는 상기 아바타의 신체 일부의 삼차원 표현일 수도 있다.

그 외관이 재생되어야 하는 사용자의 신체 일부에 따라 아바타의 신체 일부에 대한 삼차원 표현을 모델링하는 것으로 구성되는 초기화 단계를 더 포함할 수도 있다.

신체 일부는 사용자 또는 아바타의 머리일 수도 있다.

다른 양태에 따르면, 본 발명은 창의적인 크로핑 방법을 구현하는 프로세서를 포함하는, 멀티미디어 시스템에 관한 것이다.

또 다른 양태에 따르면, 본 발명은 멀티미디어 시스템의 메모리 내에 로딩되도록 의도되는 컴퓨터 프로그램 제품으로서, 프로그램이 멀티미디어 시스템의 프로세서에 의해 구동될 때마다, 창의적인 크로핑 방법을 구현하는 소프트웨어 코드의 부분들을 포함하는, 컴퓨터 프로그램 제품에 관한 것이다.

본 발명은 비디오 시퀀스 내에서 엔티티를 표현하는 영역들을 효율적으로 크로핑하는 것을 가능하게 한다. 본 발명은 또한 아바타와 비디오 시퀀스를 가상 환경에 몰입할 수 있기에 충분한 품질로 실시간으로 병합하는 것을 가능하게 한다. 본 창의적인 방법은 프로세서 리소스들을 거의 소모하지 않고, 그래픽 카드들로 일반적으로 인코딩되는 기능들을 사용한다. 그러므로, 개인용 컴퓨터들, 랩탑 컴퓨터들, 개인용 휴대 단말기들, 또는 스마트폰들과 같은 표준 멀티미디어 디바이스들로 이것이 구현될 수도 있다. 저-콘트라스트 이미지들 또는 웹캠들로부터 유래되는 결함을 갖는 이미지들을 사용할 수도 있다.

다른 이점들은 이하에서의 본 발명에 대한 상세한 설명으로부터 명확해질 것이다.

본 발명은, 동일한 참조번호들이 유사한 엘리먼트들을 나타내는, 첨부된 도면들에서의 비한정적인 예들에 의해 설명된다.

도 1은 화상 회의 시스템 또는 온라인 게임 시스템과 같은 멀티미디어 시스템과 관련된 가상 현실의 애플리케이션을 나타내는 도면.
도 2는 아바타가 진화하는 가상 환경 또는 혼합현실 환경을 나타내는 도면.
도 3a 및 도 3b는 비디오 시퀀스에 기록되는 사용자의 머리에 대해 실시간 크로핑하는 창의적인 방법의 일 실시예를 도시하는 기능 도면.
도 4a 및 도 4b는 비디오 시퀀스에 기록되는 사용자의 머리에 대해 실시간 크로핑하는 창의적인 방법의 다른 실시예를 도시하는 기능 도면.

도 3a 및 도 3b는 비디오 시퀀스에 기록되는 사용자 머리를 실시간 크로핑하는 창의적인 방법의 일 실시예를 도시하는 기능 도면이다.

제 1 단계(S1) 동안, 주어진 순간에 이미지(31)는 사용자의 비디오 시퀀스(30)로부터 추출된다(EXTR). 비디오 시퀀스는, 예를 들어 카메라에 의해 기록된 일련의 이미지들을 지칭한다(도 1 참조).

제 2 단계(S2) 동안, 추출된 이미지(31)에 머리 추적자 기능(HTFunc)이 적용된다. 머리 추적자 기능은 사용자의 머리의 크기조정(E) 및 배향(O)을 결정하는 것을 가능하게 한다. 이것은 얼굴(32)의 일정 지점들 또는 영역들의 주목할만한 위치, 예를 들어 눈들, 눈썹들, 코, 볼들, 및 턱을 이용한다. 이러한 머리 추적자 기능은 Seeing Machines 사에 의해 판매되는 소프트웨어 애플리케이션인 "faceAPI" 에 의해 구현될 수 있다.

제 3 단계(S3) 동안, 결정된 배향(O) 및 크기조정(E)에 기초하여, 추출된 이미지의 머리의 위치와 대략 동일한 방식으로 삼차원의 아바타 머리(33)가 배향되고(ORI) 크기조정된다(ECH). 그 결과는 그 크기와 배향이 추출된 머리(31)의 이미지에 부합하는 삼차원의 아바타 머리(34)이다. 이 단계는 표준 회전 알고리즘 및 표준 크기조정 알고리즘을 이용한다.

제 4 단계(S4) 동안, 그 크기 및 배향이 추출된 머리의 이미지에 부합하는 삼차원의 아바타 머리(34)가 추출된 이미지(31)에서의 머리처럼 위치결정된다(ROSI). 그 결과 두 개의 머리들이 이미지와 비교될 때 동일하게 위치결정된다. 이 단계는 표준 변환 기능을 사용하고, 변환들은 아바타의 머리에 대해 인코딩되는 주목할만한 지점들뿐만 아니라 눈들, 눈썹들, 코, 볼들, 및/또는 턱과 같은 얼굴의 주목할만한 지점들이나 영역들을 고려한다.

제 5 단계(S5) 동안, 위치결정된 삼차원의 아바타 머리(35)가 평면에 투영된다(PROJ). 표준 평면상에서의 투영 기능, 예를 들어 변환 행렬이 사용될 수도 있다. 다음으로, 투영된 삼차원의 아바타 머리의 윤곽(36) 내에 위치하는 추출된 이미지(31)로부터의 픽셀들만이 선택(PIX SEL)되고 저장된다. 표준 기능(ET)이 사용될 수도 있다. 픽셀들의 이러한 선택은 크로핑된 머리 이미지(37), 아바타의 투영된 머리의 기능 및 주어진 순간에서의 비디오 시퀀스로부터 초래되는 이미지를 형성한다.

제 6 단계(S6) 동안, 크로핑된 머리 이미지(37)가 위치결정되고, 적용되어, 가상 환경 또는 혼합현실 환경(20) 내에서 진화하는 아바타(21)의 머리(22)를 대체(SUB)할 수 있다. 이러한 방식으로 가상 환경 또는 혼합현실 환경 내에서 아바타의 특징과 멀티미디어 디바이스 앞에 있는 사용자의 실제 머리는 주어진 순간에 대략적으로 동일하다. 이 실시예에 따르면, 크로핑된 머리 이미지가 아바타의 머리에 붙여짐에 따라, 아바타의 엘리먼트들, 예를 들어 그 머리카락은 크로핑된 머리 이미지(37)에 의해 덮인다.

대안으로서, 단계 S6은 크로핑 방법이 사용되어 비디오 시퀀스를 필터링하고 이로부터 사용자의 얼굴만을 추출할 때 선택적으로 고려될 수도 있다. 이 경우에는, 가상 환경 또는 혼합현실 환경의 이미지가 디스플레이되지 않는다.

도 4a 및 도 4b는 비디오 시퀀스에 기록되는 사용자 머리를 실시간 크로핑하는 창의적인 방법의 일 실시예를 도시하는 기능 도면이다. 이 실시예에서, 얼굴에 대응하는 아바타의 머리(22)의 영역은 삼차원의 아바타 머리 모델에서 특정 방식으로 인코딩된다. 이것은, 예를 들어 대응 픽셀들의 부존재 또는 투명한 픽셀들일 수도 있다.

제 1 단계(S1A) 동안, 주어진 순간에 이미지(31)는 사용자의 비디오 시퀀스(30)로부터 추출된다(EXTR).

제 2 단계(S2A) 동안, 추출된 이미지(31)에 머리 추적자 기능(HTFunc)이 적용된다. 머리 추적자 기능은 사용자의 머리의 배향(O)을 결정하는 것을 가능하게 한다. 얼굴(32)의 일정 지점들 또는 영역들의 주목할만한 위치, 예를 들어 눈들, 눈썹들, 코, 볼들, 및 턱을 이용한다. 이러한 머리 추적자 기능은 Seeing Machines 사에 의해 판매되는 소프트웨어 애플리케이션인 "faceAPI" 에 의해 구현될 수도 있다.

제 3 단계(S3A) 동안, 아바타가 진화하는(21) 가상 환경 또는 혼합현실 환경(20)이 계산되고, 결정된 배향(O)에 기초하여 추출된 이미지의 머리의 배향과 대략 동일한 방식으로 삼차원의 아바타 머리(33)가 배향된다(ORI). 그 결과는 그 배향이 추출된 머리(31)의 이미지에 부합하는 삼차원의 아바타 머리(34A)이다. 이 단계는 표준 회전 알고리즘을 이용한다.

제 4 단계(S4A) 동안, 비디오 시퀀스로부터 추출된 이미지(31)는 가상 환경 또는 혼합현실 환경(20)에서 삼차원의 아바타 머리(34A)처럼 위치결정되고(POSI) 크기조정된다(ECH). 그 결과는, 가상 환경 또는 혼합현실 환경(20)에서 비디오 시퀀스로부터 추출된 이미지(38)와 아바타의 머리의 정렬이다. 이 단계는 아바타의 머리에 대해 인코딩되는 주목할만한 지점들뿐만 아니라 눈들, 눈썹들, 코, 볼들, 및/또는 턱과 같은 얼굴의 주목할만한 지점들이나 영역들을 고려하는 변환들을 이용하는 표준 변환 기능을 사용한다.

제 5 단계(S5A) 동안, 아바타(21)가 진화하는 가상 환경 또는 혼합현실 환경(20)의 이미지가 드로잉되며, 배향된 얼굴에 대응하는 아바타의 머리(22)의 영역 외측에 위치하는 픽셀들을 드로잉하지 않도록 주의하는데, 이들 픽셀들은 얼굴에 대응하는 아바타의 머리(22)의 영역에 대한 특정 코딩 덕분에 또는 단순한 투영에 의해 용이하게 식별가능하기 때문이다.

제 6 단계(S6A) 동안, 가상 환경 또는 혼합현실 환경(20)의 이미지 및 사용자의 변환되고 크기조정된 머리(38)를 포함하는 비디오 시퀀스로부터 추출된 이미지가 중첩된다(SUP). 이와 달리, 배향된 얼굴에 대응하는 아바타의 머리(22)의 영역 뒤에 있는, 사용자의 변환되고 크기조정된 머리(38)를 포함하는 비디오 시퀀스로부터 추출되는 이미지의 픽셀들이 아바타의 배향된 얼굴에서 가장 깊은 픽셀들의 깊이에서 가상 이미지로 통합된다.

이 방식에서 아바타는 대략적으로 동일한 주어진 순간에 가상 환경 또는 혼합현실 환경 내에서 멀티미디어 디바이스 앞에 있는 사용자의 실제 얼굴을 특별히 포함한다. 이 실시예에 따르면, 아바타의 크로핑된 얼굴을 포함하는 가상 환경 또는 혼합현실 환경(20)의 이미지가 사용자의 변환되고 크기조정된 머리(38)의 이미지에 중첩됨에 따라, 아바타의 엘리먼트들, 예를 들어 그 머리카락은 가시적이며 사용자의 이미지를 덮는다.

삼차원의 아바타 머리(33)는 삼차원의 디지털 모델로부터 취해진다. 이것은 표준 멀티미디어 디바이스들을 위한 삼차원의 아바타 머리의 배향에 상관없이 계산하기에 빠르며 단순하다. 이를 평면에 투영하는 것도 유효하다. 따라서, 표준 프로세서를 이용하더라도 시퀀스는 전체적으로 양질의 결과를 제공한다.

그 후, 단계들(S1 내지 S6 또는 S1A 내지 S6A)의 시퀀스는 차후의 순간들동안 반복될 수도 있다.

선택적으로 초기화 단계(미도시)가 시퀀스들의 구현형태(S1 내지 S6 또는 S1A 내지 S6A)에 앞선 단일 시간에 수행될 수도 있다. 초기화 단계 동안, 삼차원의 아바타 머리는 사용자의 머리에 부합되게 모델링된다. 이 단계는 하나의 이미지로부터 또는 상이한 각도들로 취해지는 사용자의 머리에 대한 다수의 이미지들로부터 수동으로 또는 자동으로 수행될 수도 있다. 이 단계는 창의적인 실시간 크로핑 방법에 가장 적합할 삼차원의 아바타 머리의 실루엣을 정확히 구별하는 것을 가능하게 한다. 사진에 기초한 아바타의 사용자의 머리로의 적응은 예를 들어 Abalone 사에 의해 판매되는 "FaceShop" 과 같은 소프트웨어 애플리케이션에 의해 이행될 수도 있다.

도면들 및 이들의 상기 설명들은 본 발명을 제한한다기 보다는 예시하는 것이다. 특히 본 발명은 화상 회의 시스템 또는 온라인 게임에 적용하는 특정 예와 관련하여 설명되었다. 그럼에도 불구하고, 본 발명이 다른 온라인 애플리케이션들, 그리고 일반적으로 말해 사용자의 머리를 실시간으로 재생하는 아바타를 요구하는 모든 애플리케이션들, 예를 들어 사용자들 사이에서의 게임, 토론회, 원격 협력 업무, 수화를 통해 통신하는 사용자들 사이에서의 상호작용 등으로 확장될 수도 있음은 본 기술분야에서 통상의 지식을 가지는 자에게 자명하다. 사용자의 분리된 얼굴 또는 머리의 실시간 디스플레이를 요구하는 모든 애플리케이션들로 또한 확장될 수도 있다.

본 발명은 아바타 머리와 사용자 머리를 혼합하는 특정 예를 이용하여 설명되었다. 그럼에도 불구하고, 다른 신체 부분들, 예를 들어 임의의 팔, 또는 입 등과 같은 얼굴의 보다 구체적인 부분으로 확장될 수도 있음은 본 기술분야에서 통상의 지식을 가지는 자에게 자명하다. 이것은 또한 동물의 신체 부위들, 또는 물건들, 또는 풍경 엘리먼트들 등에 적용한다.

몇몇 도면들은 상이한 기능적 엔티티들을 별개의 블록들로 나타내지만, 이것은 단일 엔티티가 다수의 기능들을 수행하거나 다수의 엔티티들이 단일의 기능을 수행하는 본 발명의 실시예들을 어떠한 방식으로도 배제하지 않는다. 따라서, 도면들은 본 발명에 대한 매우 도식적인 설명으로서 고려되어야 한다.

청구항들에서의 참조들의 심볼들은 어떠한 방식으로도 한정하려는 것이 아니다. "포함하다" 라는 동사는 청구항들에 열거되는 엘리먼트들 이외의 다른 엘리먼트들의 존재를 배제하지 않는다. 단수의 엘리먼트는 이러한 엘리먼트들의 복수의 존재를 배제하지 않는다.

1: 멀티미디어 시스템
2, 11, 13, 15: 사용자
3, 12, 14, 16: 멀티미디어 디바이스
4: 프로세서
5: 메모리
6: 접속 모듈
7: 디스플레이와 상호작용의 수단
8: 카메라
9: 텔레커뮤니케이션 네트워크
10: 원격 애플리케이션 서버

Claims

비디오 시퀀스에 기록되는 실제 환경 내에서 이동하는 실제 엔티티에 대해 실시간 크로핑하는 방법으로서, 상기 실제 엔티티는 가상 엔티티와 연관되는, 상기 실시간 크로핑하는 방법에 있어서,
- 상기 기록된 실제 엔티티를 포함하는 이미지를 상기 비디오 시퀀스로부터 추출하는 단계(S1, S1A),
- 상기 기록된 실제 엔티티를 포함하는 상기 이미지로부터 상기 실제 엔티티의 크기조정 및/또는 배향을 결정하는 단계(S2, S2A),
- 상기 가상 엔티티와 상기 기록된 실제 엔티티를 대략적으로 동일한 방식으로 크기조정하고 배향하고 위치결정함으로써 변환하는 단계(S3, S4, S3A, S4A), 및
- 상기 가상 엔티티를 실제 엔티티의 크로핑된 이미지로 대체하는 단계로서, 상기 실제 엔티티의 크로핑된 이미지는 상기 가상 엔티티의 윤곽에 의해 경계가 이뤄지는 상기 기록된 실제 엔티티를 포함하는 상기 이미지의 영역인, 상기 대체하는 단계(S5, S6, S5A, S6A)를 포함하는, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 1 항에 있어서,
실제 엔티티는 사용자(2)의 신체 일부이고, 가상 엔티티는 상기 사용자(2)의 신체 일부의 외관을 재생하도록 의도되는 아바타(21)의 대응 신체 일부(22)이고,
상기 방법은,
- 상기 사용자의 기록된 신체 일부(31)를 포함하는 이미지를 상기 비디오 시퀀스(30)로부터 추출하는 단계(S1),
- 상기 사용자의 기록된 신체 일부(31)를 포함하는 상기 이미지 내에서 상기 사용자의 신체 일부의 배향(32) 및 크기조정을 결정하는 단계(S2),
- 상기 사용자의 신체 일부의 배향 및 크기조정과 대략적으로 동일한 방식으로 상기 아바타의 신체 일부(33, 34)를 배향하고 크기조정하는 단계(S3), 및
- 상기 아바타의 신체 일부의 윤곽(36)을 사용하여 상기 사용자의 기록된 신체 일부(31)를 포함하는 상기 이미지의 크로핑된 이미지(37)를 형성하는 단계로서, 상기 크로핑된 이미지(37)는 상기 윤곽(36) 내에 포함되는 상기 사용자의 기록된 신체 일부(31)를 포함하는 상기 이미지의 영역에 한정되는, 상기 크로핑된 이미지(37)를 형성하는 단계(S4, S5)를 포함하는, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 2 항에 있어서,
상기 아바타(21)의 상기 신체 일부(22)를 상기 크로핑된 이미지(37)와 병합하는 단계(S6)를 더 포함하는, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 1 항에 있어서,
상기 실제 엔티티는 상기 사용자(2)의 신체 일부이고, 가상 엔티티는 상기 사용자(2)의 신체 일부의 외관을 재생하도록 의도되는 아바타(21)의 대응 신체 일부(22)이며,
상기 방법은,
- 상기 사용자의 기록된 신체 일부를 포함하는 이미지(31)를 상기 비디오 시퀀스(30)로부터 추출하는 단계(S1A),
- 상기 사용자의 신체 일부를 포함하는 상기 이미지(31)로부터 상기 사용자의 신체 일부의 배향을 결정하는 단계(S2A),
- 상기 사용자의 기록된 신체 일부를 포함하는 상기 이미지(31)의 배향과 대략적으로 동일한 방식으로 상기 아바타의 신체 일부(33, 34A)를 배향하는 단계(S3A),
- 상기 사용자의 기록된 신체 일부(33, 34)를 포함하는 상기 이미지(31)를 상기 아바타(34A)의 대응 배향된 신체 일부와 정렬시키기 위해, 상기 이미지(31)를 변환하고 크기조정하는 단계(S4A),
- 상기 아바타의 배향된 신체 일부의 윤곽에 의해 경계가 이뤄지는 크로핑된 영역이 픽셀들의 부존재 또는 투명한 픽셀들에 의해 코딩되는 상기 가상 환경의 이미지를 드로잉하는 단계(S5A), 및
- 상기 사용자의 변환되고 크기조정된 신체 일부(38)를 포함하는 상기 이미지에 상기 가상 환경의 이미지를 중첩시키는 단계(S6A)를 포함하는, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 사용자의 기록된 신체 일부를 포함하는 상기 이미지(31)의 배향 및/또는 크기조정을 결정하는 단계(S2)는, 상기 이미지(31)에 적용되는 머리 추적자 기능(HTFunc)에 의해 수행되는, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 2 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 배향하고 크기조정하는 단계(S3), 상기 윤곽을 추출하는 단계(S4, S5), 그리고 상기 병합하는 단계(S6)는 상기 아바타나 사용자의 신체 일부의 주목할만한 지점들 또는 영역들을 고려하는, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 2 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 아바타의 신체 일부(33, 34)는 상기 아바타의 상기 신체 일부에 대한 삼차원 표현인, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 2 항 내지 제 7 항 중 어느 한 항에 있어서,
그 외관이 재생되어야 하는 상기 사용자의 신체 일부에 따라 상기 아바타의 신체 일부에 대한 삼차원 표현을 모델링하는 것으로 구성되는 초기화 단계를 더 포함하는, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 2 항 내지 제 8 항 중 어느 한 항에 있어서,
상기 신체 일부는 상기 사용자(2) 또는 상기 아바타(21)의 머리인, 실제 엔티티에 대해 실시간 크로핑하는 방법.
제 1 항 내지 제 9 항 중 어느 한 항에 기재된 상기 크로핑 방법을 구현하는 프로세서(4)를 포함하는, 멀티미디어 시스템(1).
멀티미디어 시스템(1)의 메모리(5) 내에 로딩되도록 의도되는 컴퓨터 프로그램 제품으로서,
상기 프로그램이 상기 멀티미디어 시스템(1)의 프로세서(4)에 의해 구동될 때마다, 제 1 항 내지 제 9 항 중 어느 한 항에 기재된 상기 크로핑 방법을 구현하는 소프트웨어 코드의 부분들을 포함하는, 컴퓨터 프로그램 제품.