KR101883018B1 - 3ｄ 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치 - Google Patents

3ｄ 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR101883018B1
KR101883018B1 KR1020137004319A KR20137004319A KR101883018B1 KR 101883018 B1 KR101883018 B1 KR 101883018B1 KR 1020137004319 A KR1020137004319 A KR 1020137004319A KR 20137004319 A KR20137004319 A KR 20137004319A KR 101883018 B1 KR101883018 B1 KR 101883018B1
Authority
KR
South Korea
Prior art keywords
content
main
auxiliary
auxiliary content
trigger condition
Prior art date
Application number
KR1020137004319A
Other languages
English (en)
Other versions
KR20130100994A (ko
Inventor
린 두
지안핑 송
웬주안 송
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130100994A publication Critical patent/KR20130100994A/ko
Application granted granted Critical
Publication of KR101883018B1 publication Critical patent/KR101883018B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware

Abstract

3D 멀티미디어 장치에서 이용되는 주요 3D 콘텐츠 및 보조 콘텐츠를 제공하기 위한 방법이 제공된다. 상기 방법은 상기 주요 3D 콘텐츠를 디스플레이하는 단계; 및 상기 주요 3D 콘텐츠의 3D 관련 이벤트에 의해 상기 보조 콘텐츠를 트리거하는 단계를 포함하고, 상기 보조 콘텐츠의 깊이 값이 상기 주요 3D 콘텐츠의 깊이 값 변화에 따라 업데이트된다.

Description

3Ｄ 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치{METHOD AND DEVICE FOR PROVIDING SUPPLEMENTARY CONTENT IN 3D COMMUNICATION SYSTEM}
본 발명은 3D 통신 시스템에서 주요 3D 콘텐츠 및 보조 콘텐츠를 제공하기 위한 방법 및 장치에 관한 것이다.
DVB-H(Digital Video Broadcasting - Handheld), DVB-T(Digital Video Broadcasting - Terrestrial) 또는 다른 클라이언트-서버 통신 시스템과 같은 디지털 통신 시스템들은 최종 사용자들이 비디오, 오디오, 및 데이터를 포함하는 디지털 콘텐츠를 수신할 수 있게 한다. 고정 또는 이동 단말기를 이용하여, 사용자는 케이블 또는 무선 디지털 통신 네트워크를 거쳐서 디지털 콘텐츠를 수신할 수 있다. 예를 들어, 사용자는 주요 콘텐츠로서 데이터 스트림 내의 방송 프로그램과 같은 비디오 데이터를 수신할 수 있다. 프로그램 타이틀, 뉴스, 쌍방향 서비스들, 또는 부가적인 오디오, 비디오 및 그래픽을 포함하는 쌍방향 멀티미디어 콘텐츠와 같은, 주요 콘텐츠와 연관된 보조 콘텐츠가 또한 이용가능할 수 있다.
보조 콘텐츠는 오디오/비디오(A/V) 스트림일 수 있는 주요 콘텐츠에 기초하여 시간에 따라 변할 수 있는, 그래픽, 텍스트, 오디오 및 비디오 등과 같은 멀티미디어 데이터의 모음(collection)이다. A/V 스트림은 그 자신의 타임라인(timeline)을 갖고, 여기서, 타임라인은 타임 스탬프(time stamp)에 의해 비디오/오디오 시퀀스가 정렬되는 것을 설명하는 데 이용되는 용어이다. 대응하는 쌍방향 멀티미디어 콘텐츠는 또한 시작 포인트 태그와 같은 기준에 의해 이 A/V 스트림 타임라인과 관련되는 타임라인을 갖는다. 즉, 대응하는 쌍방향 멀티미디어 콘텐츠와 A/V 스트림 사이에 시간적 동기화가 존재한다. 시작 포인트 태그는 A/V 스트림의 타임라인의 특정 시간 포인트를 가리킨다. A/V 스트림이 특정 시간 포인트로 플레이할 때, 대응하는 쌍방향 멀티미디어 콘텐츠를 플레이하기 위해 이벤트가 트리거된다.
지난 몇 년 동안 2D 콘텐츠 관련 정보 서비스는 2D 쌍방향 미디어, 또는 2D 리치(rich) 미디어에서 연구되었고, 많은 조직들 및 회사들이 이 기술의 표준화 및 산업화에 공을 들이고 있다. OMA(Open Mobile Alliance)의 BCAST Working Group이 RME(Rich-Media Environment)의 인에이블러(enabler)를 공개하였고; 3GPP(3rd Generation Partnership Project)가 DIMS(Dynamic and Interactive Multimedia Scenes)를 공개하였고; 2D 리치 미디어를 위한 그의 국제 표준/권고로서 ISO/IEC가 LASeR(Lightweight Application Scene Representation)를 공개하였고; Adobe Flash와 Microsoft SilverLight는 인터넷에서 이용되는 2가지 대중적인 2D 쌍방향 미디어 기술들이다.
2D 콘텐츠 관련 정보 서비스는 보통 주요 콘텐츠(예를 들어, 2D 라이브 비디오, 애니메이션 등) 및 보조 콘텐츠(예를 들어, 비디오, 오디오, 텍스트, 애니메이션, 그래픽 등)를 포함하지만, 현재의 리치 미디어 사양들은 오직 각각의 미디어 요소의 로드, 시작, 중지, 및 언로드(unload) 시간을 정의함으로써 타임 라인에 상이한 2D 미디어 요소들을 제공할지에 초점을 맞춘다.
지난 몇 년 동안, 3D 인터페이스들 및 상호작용들과 같은 3D 스테레오 기술은 학계와 산업계 둘다에서 많은 관심을 받아 왔다. 그러나, 특별히 3D 입력들 및 디스플레이들에 대한 하드웨어 한계들로 인해, 3D 인터페이스의 유용성은 여전히 대량 판매를 위해 충분히 양호하지 않다. 그러나, 3D 입체 디스플레이들의 최근의 개발 및 전개에 의하여, 3D 디스플레이들은 매우 한정된 전문적인 시장 대신에 상업적인 시장으로 들어가기 시작한다.
3D 스테레오의 기본적인 아이디어가 19세기에 출현하였다. 우리의 2개의 눈은 서로 대략 6.5㎝ 떨어져 있기 때문에, 각각의 눈은 우리가 보는 장면의 약간 상이한 시야각(angle of view)을 보고, 상이한 시각(perspective)을 제공한다. 우리의 뇌는 그 다음에 우리 눈으로부터의 2개의 뷰(view)에 기초하여 장면 내의 깊이의 감각을 생성할 수 있다. 도 1은 3D 입체 디스플레이들의 기본적인 개념을 도시하고, 여기서 Z는 인지된 물체의 깊이이고, D는 스크린과의 거리이고, 스크린의 앞에(자동차), 스크린 위에(기둥), 스크린 뒤에(나무) 및 무한한 거리에(상자) 있는 4개의 물체가 인지된다. 물체의 좌측 도면(figure)이 오른쪽 눈으로 볼 수 있고, 물체의 우측 도면이 왼쪽 눈으로 볼 수 있는 경우, 물체의 깊이는 포지티브이고 자동차와 같이 스크린의 앞에 있는 것으로서 인지된다. 그렇지 않으면, 물체의 깊이는 네거티브이고 나무와 같이 스크린의 뒤에 있는 것으로서 인지된다. 물체의 2개의 도면이 두 눈에 대해 단지 반대인 경우, 물체의 깊이는 무한할 것이다. 대부분의 현대의 3D 디스플레이들은 왼쪽 및 오른쪽 눈에 대한 2개의 뷰를 각각 분리하는 법에 대해 주요 차이를 갖는 3D 스테레오 개념들에 기초하여 확립된다.
3D 콘텐츠 관련 정보 서비스에서, 주요 콘텐츠 및 보조 콘텐츠를 포함하는 3D 쌍방향 미디어 전송 및 디스플레이를 기대할 수 있다. 따라서, 3D 통신 시스템에서 보조 콘텐츠의 트리거링 및 표시를 갖는 것이 중요하다.
본 발명은 3D 멀티미디어 장치에서 이용되는 주요 3D 콘텐츠 및 보조 콘텐츠를 제공하기 위한 방법에 관한 것이다. 상기 방법은, 상기 주요 3D 콘텐츠를 디스플레이하는 단계; 및 상기 주요 3D 콘텐츠의 3D 관련 이벤트에 의해 상기 보조 콘텐츠를 트리거하는 단계를 포함하고, 상기 보조 콘텐츠의 깊이 값이 상기 주요 3D 콘텐츠의 깊이 값 변화에 따라 업데이트된다.
본 발명은 또한 주요 3D 콘텐츠 및 보조 콘텐츠를 제공하기 위한 3D 멀티미디어 장치에 관한 것이다. 상기 장치는, 상기 주요 3D 콘텐츠를 디스플레이하기 위한 3D 디스플레이; 상기 주요 3D 콘텐츠의 3D 관련 이벤트에 의해 상기 보조 콘텐츠의 디스플레이를 트리거하기 위한 사용자 단말기; 및 상기 주요 3D 콘텐츠의 깊이 값 변화에 따라 상기 보조 콘텐츠의 깊이 값을 업데이트하기 위한 업데이터를 포함한다.
삭제
삭제
본 발명의 이들 및 다른 양태들, 특징들 및 이점들은 첨부 도면들과 관련하여 실시예의 다음의 설명으로부터 명백해질 것이다.
도 1은 종래 기술의 3D 입체 디스플레이들의 기본적인 개념을 도시한다.
도 2는 본 발명의 실시예에 따른 3D 멀티미디어 장치를 도시하는 블록도이다.
도 3은 본 발명의 실시예에 따른 이벤트 트리거 리스트를 도시하는 블록도이다.
도 4는 본 발명의 실시예에 따른 이벤트 트리거들을 도시하는 실례가 되는 예이다.
도 5는 본 발명의 실시예에 따른 3D 보조 콘텐츠 트리거들을 도시하는 실례가 되는 예이다.
도 6은 본 발명의 실시예에 따른 보조 콘텐츠를 제공하기 위한 방법을 도시하는 흐름도이다.
다음의 상세한 설명에서, 본 발명의 철저한 이해를 제공하기 위하여 주요 3D 콘텐츠 및 보조 콘텐츠를 제공하기 위한 시스템 및 방법이 설명된다. 그러나, 본 발명은 이들 특정 상세들 없이 또는 그의 등가물을 갖고 실시될 수 있다는 것이 이 기술분야의 통상의 기술자에 의해 인식될 것이다. 다른 사례들에서, 잘 알려진 방법들, 절차들, 컴포넌트들 및 회로들은 본 발명의 양태들을 불필요하게 불명료하게 하지 않도록 하기 위해 상세하게 설명되지 않았다.
도 2는 본 발명의 실시예에 따른 3D 멀티미디어 장치(100)를 도시하는 블록도이다. 도 2에 도시된 바와 같이, 3D 멀티미디어 장치(100)는 사용자 단말기(101) 및 적어도 하나의 3D 디스플레이(102)를 포함한다. 사용자 단말기(101)와 3D 디스플레이(102)는 단일 장치로 결합될 수 있거나, 또는 셋톱박스(Set Top Box; STB), DVD/BD 플레이어 또는 수신기, 및 디스플레이와 같은 별개의 장치들일 수 있다. 사용자 단말기(101)는 3D 쌍방향 미디어 디-멀티플렉서(de-multiplexer)(디먹스)(105), 주요 3D 콘텐츠 디코더(103), 보조 콘텐츠 디코더(104), 이벤트 엔진(107), 이벤트 트리거 리스트 모듈(106), 및 구성 업데이터(108)를 포함한다.
3D 쌍방향 미디어 콘텐츠는 헤드 엔드 장치(head-end device)(도시되지 않음)로부터 생성되어 전송되고, 단말기(101)의 프로세스는 단말기가 주요 및 보조 콘텐츠를 포함하는 멀티미디어 콘텐츠를 수신할 때 시작한다. 여기서, 헤드 엔드 장치는 멀티플렉싱, 시간 재설정(retiming), 전송 등과 같은 기능들을 제공하는 장치의 일종이다. 멀티미디어 콘텐츠는 또한 클라이언트 장치(100)에 의해 플레이될 디스크(도시되지 않음)와 같은 착탈가능한 저장 매체에 저장될 수 있거나, 또는 클라이언트 장치의 메모리에 저장될 수 있다.
본 발명의 실시예에 따르면, 주요 3D 콘텐츠 및 보조 콘텐츠를 포함하는 멀티미디어 콘텐츠는 클라이언트 디바이스(100)에 제공된다. 주요 3D 콘텐츠는 디스플레이(102) 상에 플레이될 것이고, 보조 콘텐츠는 주요 3D 콘텐츠의 3D 관련 이벤트에 의해 트리거되어 디스플레이(102) 상의 주요 3D 콘텐츠와 함께 플레이될 수 있다. 여기서, 보조 콘텐츠는 3D 콘텐츠로 한정되지 않고, 그것은 또한 2D 콘텐츠일 수 있거나 심지어 오디오 정보일 수 있다. 또한, 멀티미디어 콘텐츠는 주요 3D 콘텐츠 및 보조 콘텐츠를 함께 링크하기 위한 3D 관련 이벤트 트리거들을 포함하는 이벤트 트리거들을 더 포함한다.
3D 이벤트 트리거는 특정 값을 초과하는 주요 3D 콘텐츠에서의 주어진 영역 또는 물체의 깊이, 또는 임계값보다 더 작거나 더 크게 되는 주요 3D 콘텐츠에서의 주어진 물체의 크기와 같은, 주요 3D 콘텐츠의 설명 파일에서의 조건식일 수 있다. 주요 3D 콘텐츠 및 보조 콘텐츠는 관련 트리거들을 포함하는 설명 파일에서의 조건식에 의해 링크된다.
사용자 단말기(101)에서의 3D 쌍방향 미디어 디먹스(105)는 네트워크를 통해 또는 저장 매체로부터 수신된 멀티미디어 콘텐츠를 분석하고, 주요 3D 콘텐츠, 보조 콘텐츠, 및 그것들을 함께 링크하는 이벤트 트리거들을 추출한다. 주요 3D 콘텐츠는 3D 라이브 방송 비디오들 또는 3D 애니메이션들일 수 있고, 보조 콘텐츠는 3D 비디오 클립들, 3D 그래픽 모델들, 3D 사용자 인터페이스들, 3D 애플릿 또는 위젯을 포함할 수 있고, 이벤트 트리거들은 시간, 3D 물체 위치, 3D 물체 자세, 3D 물체 스케일, 물체들의 커버링 관계(covering relationship), 사용자 선택들, 및 시스템 이벤트들에 대한 조건식의 일부 결합들일 수 있다.
주요 3D 콘텐츠 디코더(103)에 의해 디코딩된 후에, 주요 3D 콘텐츠는 3D 디스플레이(102) 상에 플레이된다. 보조 콘텐츠는 주어진 유효 기간(validness period)으로 로컬 버퍼에 저장되어 렌더링될 준비를 하고, 설명 파일 내의 이벤트 트리거들은 트리거 조건들에 의해 분류된 이벤트 트리거 리스트 모듈(106) 내로 푸시(push)된다. 트리거 조건들은 주요 3D 콘텐츠의 타임라인의 특정 시간 포인트, 또는 3D 관련 트리거일 수 있다. 위에 언급한 바와 같이, 3D 관련 트리거는 주요 3D 콘텐츠의 3D 깊이, 3D 위치, 3D 자세 및 3D 스케일의 특정 값 또는 범위, 물체들의 커버링 관계 등일 수 있다.
도 3은 본 발명의 실시예에 따른 이벤트 트리거 리스트를 도시하는 블록도이다. 이벤트 트리거 1, ..., 이벤트 트리거 n은 이벤트 트리거 리스트의 요소들이다. 각각의 이벤트 트리거는 위에 언급한 바와 같은 트리거 조건, 및 응답 이벤트를 포함한다. 응답 이벤트는 보조 콘텐츠의 저장된 오리지널 구성 정보의 업데이트, 보조 콘텐츠의 디스플레이와 같은, 구현될 몇몇 액션들을 포함한다. 구성 정보는 보조 콘텐츠의 위치, 자세, 스케일 및 다른 구성가능한 파라미터들일 수 있다. 구성 정보는 요구에 따라 주요 3D 콘텐츠에 기초하여 구성 업데이터(108)에 의해 업데이트될 수 있다.
주요 3D 콘텐츠의 플레이백 동안, 이벤트 트리거들은 이벤트 엔진(107)에 의해 정기적으로 해석되고 체크되고 있다. 상이한 트리거 타입들은 상이한 체킹 메커니즘 및 체킹 빈도를 요구한다. 예를 들어, 깊이 트리거(위치 Z 타입)를 체크하기 위해서는, 주요 3D 콘텐츠로부터 주어진 영역의 깊이 정보를 추출하고 나서, 트리거가 발화(fired)되어야 하는지를 결정하기 위해 트리거 조건들과 비교할 필요가 있다. 주요 3D 콘텐츠가 2D 비디오 플러스 깊이 맵(2D video plus depth map)인 경우, 깊이 정보는 깊이 맵으로부터 직접 인출(fetch)될 수 있다. 주요 3D 콘텐츠가 프레임 호환 포맷(frame-compatible format), 예를 들어, 나란히 또는 상하(top-and-bottom)인 경우, 깊이 정보는 에지 검출, 피처 포인트 상관(feature point correlation) 등과 같은 이미지 프로세싱 알고리즘들을 이용하여 계산될 수 있다. 시간 관련 이벤트 트리거들에 대해서, 체킹 빈도는 이벤트 트리거에서의 미리 정의된 실시간 레벨에 따라, 각각의 비디오 프레임으로부터 몇 시간 또는 몇 일까지의 범위일 수 있다. 임의의 이벤트 트리거가 그의 발화 조건을 충족하자마자, 즉, 트리거 조건이 주요 3D 콘텐츠에서 일어나자마자, 이벤트 엔진(107)은 연관된 보조 콘텐츠에 대해 로컬 버퍼를 검색하고 보조 콘텐츠 디코더(104)에 전송한다. 디코딩된 보조 콘텐츠는 그 다음에 디스플레이(102) 상에 디스플레이된다. 보조 콘텐츠 및 주요 3D 콘텐츠는 동일한 디스플레이 또는 별개의 디스플레이들 상에 보여질 수 있다.
일단 이벤트 트리거가 발화되면, 이벤트 엔진(107)은 구성 업데이터(108)에 통지할 것이다. 그 다음, 보조 콘텐츠의 구성들은 주요 3D 콘텐츠의 변화에 따라 구성 업데이터(108)에 의해 업데이트된다. 보조 콘텐츠의 구성은 그것들의 라이프 사이클 동안 클라이언트 디바이스(100)의 이벤트 트리거 리스트 모듈(106)에 저장된다. 업데이터(108)는 이벤트 트리거들로부터 응답 이벤트들에 의해 행해진 변화들을 반영하기 위하여, 도 5의 물체 A의 위치 정보의 업데이트와 같은, 관련 보조 콘텐츠에 대한 구성 데이터를 수정할 수 있다.
도 4는 본 발명의 실시예에 따른 3D 보조 콘텐츠 트리거를 도시하는 실례가 되는 예이다. 그것은 3D 관련 트리거에 기초하여 3D 디스플레이(102)에 도시된 이벤트 트리거들의 3개의 예를 도시한다. 예를 들어, 주요 3D 콘텐츠의 오리지널 물체 A가(3D 애니메이션들로부터의 3D 그래픽 모델들 또는 3D 비디오로부터의 3D 물체/영역들/패턴들일 수 있음) 도 4(a), 4(b) 및 4(c)에서 각각 새로운 물체 A'로 이동/회전/줌(zoom)될 때, 이벤트 트리거 리스트에 저장된 미리 정의된 이벤트 트리거들이 트리거될 것이다.
발명의 실시예에 따르면, 주요 3D 콘텐츠는 3D 월드컵 축구 경기의 라이브 방송일 수 있다. 3D 관련 이벤트 트리거가 공이 주어진 3D 영역(골문)을 가로질러 이동한 조건으로 정의된다. 미리 정의된 3D 프레젠테이션 구성과 함께, 광고판 및 모든 플레이어의 3D 정보의 보조 콘텐츠가 이벤트 트리거와 연관된다.
사용자 단말기(101)의 이벤트 엔진(107)은 공을 인식하고 추적함으로써 3D 라이브 비디오를 분석한다. 이것은 컴퓨터 비전 기술들에서의 패턴 인식 및 모션 추적 알고리즘들을 이용하여 행해질 수 있다. 예를 들어, 이벤트 트리거의 조건은 공이 골문의 에지를 가로질렀는지를 최종적으로 결정하기 위하여, 비디오 프레임 추출, 이미지 세그먼트화(image segmentation), 에지 추출, 피처 추출, 패턴 인식, 모션 추적, 템플릿 매칭(template matching) 등의 결합과 같은, 현재의 이미지 프로세싱 기법들에 의해 실시간으로 체크될 수 있다. 공을 골문 안으로 찼을 때, 트리거가 발화될 것이다. 그 다음에, 사용자 단말기(101)의 이벤트 엔진(107)은 로컬 버퍼를 검색하여 연관된 보조 콘텐츠, 즉, 광고판 및 모든 플레이어들의 3D 정보를 찾는다.
그 다음에, 보조 콘텐츠가 업데이트되고, 즉, 광고판 상의 스코어가 업데이트되고, 미리 정의된 3D 구성들 및 주요 3D 콘텐츠의 변화에 따른 구성 업데이트에 따라 3D 디스플레이(102) 상에 제시된다. 이벤트 엔진(107)은 또한 특정 슈터의 3D 정보를 찾고 그것을 유사하게 제시한다.
도 5는 본 발명의 실시예에 따른 3D 보조 콘텐츠 트리거들을 도시하는 실례가 되는 예이다. 그것은 주요 3D 콘텐츠의 플레이 동안 관심 물체에 따라 보조 콘텐츠의 적응 깊이 값(adaptive depth value)을 도시한다.
보조 콘텐츠에 대한 위치, 자세, 스케일 및 다른 구성가능한 파라미터들을 갖는 초기 구성들은 구성 업데이터(108)에 의해 이벤트 트리거 리스트에서의 관련 보조 콘텐츠 이벤트 트리거로부터 인출된다. 일단 이벤트 트리거가 발화되면, 이벤트 엔진(107)은 구성 업데이터(108)에 통지할 것이다. 그 다음, 보조 콘텐츠의 구성들은 사용자에게 전체 프레젠테이션에 대한 일관된 감성을 제공하기 위해 주요 3D 콘텐츠의 변화들에 따라 구성 업데이터(108)에 의해 업데이트된다. 예를 들어, 텍스트 정보의 바와 같은 정보 바, 예를 들어, 비디오의 서브타이틀의 깊이 값은, 사용자가 그의 눈알을 주요 물체 및 정보 바로부터 빈번하게 이동할 필요가 없도록, 주요 3D 비디오에서의 사용자 포커싱된 물체의 깊이 값이 현저히 변화할 때에 동적으로 조정되어야 한다. 도 5에는 그것이 스크린의 밖으로 이동하고 있을 때 주요 3D 콘텐츠에서의 관심 물체(즉, 헬리콥터)에 보조 콘텐츠(즉, 상자 A)가 항상 붙어 있는 예가 도시되어 있다. 상자 A의 3D 구성은 전체 프로세스 동안 업데이트된다. 보조 콘텐츠에 대한 타임라인을 따르는 3D 구성 정보는 미리 정의되거나 또는 컴퓨터 비전 기술들에서의 패턴 인식 및 모션 추적 알고리즘들을 이용하여 주요 3D 콘텐츠로부터 자동으로 발생되며, 예를 들어, 도 5의 상자 A의 위치가 미리 정의되거나 또는 고정된 오프셋을 갖는 헬리콥터의 위치를 이용하여 자동으로 발생될 수 있다. 헬리콥터의 위치는 골 슈팅 예를 검출하는 데 이용되는 것들과 유사한 이미지 프로세싱 기법들을 이용하여 검출될 수 있다.
보조 콘텐츠가 만료될 때, 그의 플레이는 중단될 것이고 로컬 버퍼로부터 제거될 것이다. 물론, 사용자는 또한 언제라도 주요 3D 콘텐츠 또는 보조 콘텐츠의 플레이 백을 중단할 수 있다.
실시예의 방법에 따르면, 상이한 3D 관련 트리거 타입들을 갖는 콘텐츠 관련 이벤트들이 제공되고, 주요 3D 콘텐츠에 기초하여 업데이트된 구성을 갖는 3D 콘텐츠 관련 정보 서비스에 대한 3D 보조 콘텐츠가 3D 디스플레이 시스템들에 제시되어, 사용자들에게 흥미진진하지만 여전히 편안한 경험을 준다.
통상적인 콘텐츠 관련 정보 서비스들은 오직 타임라인을 따라 주요 및 보조 콘텐츠를 제시하는 법을 정의하였지만, 3D 공간에서는, 그래픽 물체들의 미디어 시간, 3D 위치, 자세, 또는 스케일, 사용자 선택들 등과 같은 보조 콘텐츠를 제시하는 이벤트들을 트리거하기 위해 더 많은 기준이 고려되어야 한다. 임의의 미리 정의된 이벤트 트리거가 발화될 때, 관련 보조 콘텐츠를 제시하는 것을 포함하는 연관된 이벤트의 핸들링 프로세스가 그 다음에 시작된다.
또한, 종래의 2D 쌍방향 미디어 서비스들에서, 보조 콘텐츠는 스크린 상의 미리 정의된 위치에 따라 제시되지만, 3D 공간에서는, 3D 디스플레이 시스템들 상에 3D 쌍방향 미디어 서비스들의 전체 프레젠테이션에 대한 일관된 감정을 사용자에게 제공하기 위하여 위치뿐만 아니라 깊이가 중요하다. 주요 3D 비디오에서의 각각의 프레임의 깊이 분포(depth distribution)는 보통 상당히 다르기 때문에, 3D 보조 콘텐츠의 깊이 값들은 또한 주요 3D 콘텐츠의 깊이 맵에 적응될 필요가 있다.
3D 쌍방향 미디어 서비스들에서, 상이한 미디어 콘텐츠의 깊이 정보는 3D 디스플레이 시스템들 상의 전체 프레젠테이션에 대한 일관된 감정을 사용자에게 주기 위하여 잘 정의될 필요가 있고, 콘텐츠 관계들은 또한 더 많은 3D 애플리케이션들을 지원하기 위해 오직 타임라인 동기화로부터 확장될 필요가 있다. 따라서, 이 발명은 콘텐츠 관련 이벤트들을 트리거하는 법에 대한 문제를 해결하고, 3D 디스플레이 시스템들에서의 3D 쌍방향 미디어 서비스에 대한 3D 보조 콘텐츠를 제시하는 것을 목적으로 한다.
도 6은 본 발명의 실시예에 따른 보조 콘텐츠를 제공하기 위한 방법을 도시하는 흐름도이다. 단계(501)에서, 3D 멀티미디어 장치(100)의 사용자 단말기(101)에 의해 멀티미디어 콘텐츠가 수신된다. 다음으로 단계(502)에서, 디먹스(105)가 수신된 멀티미디어 콘텐츠로부터 주요 3D 콘텐츠, 보조 콘텐츠, 및 이벤트 트리거들을 추출하고, 단계(503)에서 주요 3D 콘텐츠는 디코딩되어 3D 디스플레이(102) 상에 디스플레이된다. 단계(504)에서, 이벤트 엔진(107)은 주요 3D 콘텐츠의 3D 관련 이벤트에 따라 3D 관련 이벤트 트리거를 체크하고, 보조 콘텐츠 디코더(104)에 의해 디코딩된 연관된 보조 콘텐츠를 트리거한다. 다음으로 단계(505)에서, 디코딩된 보조 콘텐츠는 주요 3D 콘텐츠를 갖는 동일한 3D 디스플레이 또는 다른 디스플레이 상에 디스플레이된다. 단계(506)에서, 보조 콘텐츠의 3D 구성은 주요 3D 콘텐츠에 따라 업데이트된다.
전술한 것은 단지 발명의 실시예를 예시하는 것이고, 따라서 이 기술분야의 통상의 기술자는, 본원에 명백하게 설명되어 있지 않더라도, 발명의 원리들을 구체화하고 그의 사상 및 범위 내에 있는 다수의 대안적인 배열들을 고안할 수 있을 것임을 알 것이다.

Claims (12)

  1. 3D 멀티미디어 장치에서 이용되는 주요 3D 콘텐츠 및 보조 콘텐츠를 제공하기 위한 방법으로서,
    트리거 조건과 연관된 상기 주요 3D 콘텐츠를 디스플레이하는 단계; 및
    상기 주요 3D 콘텐츠 내에서 상기 트리거 조건이 발생할 때, 상기 보조 콘텐츠의 디스플레이를 트리거하는 단계
    를 포함하고,
    상기 보조 콘텐츠의 깊이 값이 상기 주요 3D 콘텐츠 내의 물체의 깊이 값 변화에 따라 업데이트되고, 상기 주요 3D 콘텐츠는 프레임 호환 포맷(frame-compatible format)이며, 상기 트리거 조건은 비디오 프레임 추출, 피처 추출, 패턴 인식, 모션 추적, 템플릿 매칭(template matching) 중 적어도 하나에 의해 체크되는, 콘텐츠 제공 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 트리거 조건은 상기 주요 3D 콘텐츠의 깊이 값, 상기 주요 3D 콘텐츠의 물체 또는 영역의 3D 위치, 3D 자세(posture) 및 3D 스케일(scale)을 포함하는 그룹의 부분인 콘텐츠 제공 방법.
  4. 제1항에 있어서, 상기 보조 콘텐츠 및 상기 주요 3D 콘텐츠를 동일한 디스플레이 상에 또는 별개의 디스플레이 상에 디스플레이하는 단계를 더 포함하는 콘텐츠 제공 방법.
  5. 제1항에 있어서, 상기 보조 콘텐츠는 그래픽, 텍스트, 오디오 및/또는 비디오, 및 3D 이미지를 포함하는 멀티미디어 데이터의 모음(collection)인 콘텐츠 제공 방법.
  6. 삭제
  7. 주요 3D 콘텐츠 및 보조 콘텐츠를 제공하기 위한 3D 멀티미디어 장치로서,
    트리거 조건과 연관된 상기 주요 3D 콘텐츠를 디스플레이하기 위한 3D 디스플레이;
    상기 주요 3D 콘텐츠 내에서 상기 트리거 조건이 발생할 때, 상기 보조 콘텐츠의 디스플레이를 트리거하기 위한 사용자 단말기; 및
    상기 주요 3D 콘텐츠 내의 물체의 깊이 값 변화에 따라 상기 보조 콘텐츠의 깊이 값을 업데이트하기 위한 업데이터
    를 포함하고,
    상기 주요 3D 콘텐츠는 프레임 호환 포맷(frame-compatible format)이며, 상기 트리거 조건은 비디오 프레임 추출, 피처 추출, 패턴 인식, 모션 추적, 템플릿 매칭(template matching) 중 적어도 하나에 의해 체크되는, 3D 멀티미디어 장치.
  8. 제7항에 있어서, 상기 주요 3D 콘텐츠의 깊이 값, 상기 주요 3D 콘텐츠의 물체 또는 영역의 3D 위치, 3D 자세 및 3D 스케일을 포함하는 상기 트리거 조건을 저장하기 위한 이벤트 트리거 리스트 모듈을 더 포함하는 3D 멀티미디어 장치.
  9. 삭제
  10. 제7항에 있어서, 상기 보조 콘텐츠는 그래픽, 텍스트, 오디오 및/또는 비디오, 및 3D 이미지를 포함하는 멀티미디어 데이터의 모음(collection)인 3D 멀티미디어 장치.
  11. 삭제
  12. 삭제
KR1020137004319A 2010-07-21 2011-07-21 3ｄ 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치 KR101883018B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
WOPCT/CN2010/001100 2010-07-21
CN2010001100 2010-07-21
PCT/CN2011/077434 WO2012010101A1 (en) 2010-07-21 2011-07-21 Method and device for providing supplementary content in 3d communication system

Publications (2)

Publication Number Publication Date
KR20130100994A KR20130100994A (ko) 2013-09-12
KR101883018B1 true KR101883018B1 (ko) 2018-07-27

Family

ID=45496526

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137004319A KR101883018B1 (ko) 2010-07-21 2011-07-21 3ｄ 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치

Country Status (5)

Country Link
US (1) US20130120544A1 (ko)
EP (1) EP2596641A4 (ko)
JP (1) JP2013535889A (ko)
KR (1) KR101883018B1 (ko)
WO (1) WO2012010101A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972530B2 (en) 2016-12-30 2021-04-06 Google Llc Audio-based data structure generation
US8688514B1 (en) 2011-06-24 2014-04-01 Google Inc. Ad selection using image data
US11087424B1 (en) 2011-06-24 2021-08-10 Google Llc Image recognition-based content item selection
US11093692B2 (en) * 2011-11-14 2021-08-17 Google Llc Extracting audiovisual features from digital components
US9762889B2 (en) * 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
US11030239B2 (en) 2013-05-31 2021-06-08 Google Llc Audio based entity-action pair based selection
WO2016103067A1 (en) * 2014-12-22 2016-06-30 Husqvarna Ab Garden mapping and planning via robotic vehicle
CN106161988A (zh) * 2015-03-26 2016-11-23 成都理想境界科技有限公司 一种增强现实视频生成方法
US9865305B2 (en) 2015-08-21 2018-01-09 Samsung Electronics Co., Ltd. System and method for interactive 360-degree video creation
CN106791786B (zh) * 2016-12-29 2019-04-12 北京奇艺世纪科技有限公司 直播方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065162A (ja) * 2003-08-20 2005-03-10 Matsushita Electric Ind Co Ltd 表示装置、送信装置、送受信システム、送受信方法、表示方法、送信方法、およびリモコン
JP2010086228A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp ３次元表示装置および方法並びにプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075587B2 (en) * 2002-01-04 2006-07-11 Industry-Academic Cooperation Foundation Yonsei University Video display apparatus with separate display means for textual information
JP2004145832A (ja) * 2002-08-29 2004-05-20 Sharp Corp コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
KR100585966B1 (ko) * 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
CN101048996A (zh) * 2004-10-22 2007-10-03 慧达企业有限公司 用于移动三维图形消息传送的系统和方法
US7248968B2 (en) * 2004-10-29 2007-07-24 Deere & Company Obstacle detection using stereo vision
DE602006004033D1 (de) * 2005-04-19 2009-01-15 Koninkl Philips Electronics Nv Tiefenwahrnehmung
KR100747550B1 (ko) * 2005-12-09 2007-08-08 한국전자통신연구원 Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
JP4735234B2 (ja) * 2005-12-19 2011-07-27 ブラザー工業株式会社 画像表示システム
JP2010505174A (ja) * 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
KR101842622B1 (ko) * 2007-03-16 2018-03-27 톰슨 라이센싱 3차원 콘텐츠와 텍스트를 조합하기 위한 시스템 및 방법
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
PL2362671T3 (pl) * 2008-07-25 2014-05-30 Koninklijke Philips Nv Obsługa napisów przez wyświetlacz 3D
WO2010036128A2 (en) * 2008-08-27 2010-04-01 Puredepth Limited Improvements in and relating to electronic visual displays
CN102232294B (zh) * 2008-12-01 2014-12-10 图象公司 用于呈现具有内容自适应信息的三维动态影像的方法和系统
EP2356820B1 (en) * 2008-12-02 2017-07-19 LG Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same
US8749588B2 (en) * 2009-09-15 2014-06-10 HNTB Holdings, Ltd. Positioning labels in an engineering drawing
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005065162A (ja) * 2003-08-20 2005-03-10 Matsushita Electric Ind Co Ltd 表示装置、送信装置、送受信システム、送受信方法、表示方法、送信方法、およびリモコン
JP2010086228A (ja) * 2008-09-30 2010-04-15 Fujifilm Corp ３次元表示装置および方法並びにプログラム

Also Published As

Publication number Publication date
JP2013535889A (ja) 2013-09-12
KR20130100994A (ko) 2013-09-12
EP2596641A4 (en) 2014-07-30
EP2596641A1 (en) 2013-05-29
US20130120544A1 (en) 2013-05-16
WO2012010101A1 (en) 2012-01-26

Similar Documents

Publication Publication Date Title
KR101883018B1 (ko) 3ｄ 통신 시스템에서 보조 콘텐츠를 제공하기 위한 방법 및 장치
CN106303555B (zh) 一种基于混合现实的直播方法、装置和系统
KR101210315B1 (ko) 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값
US8665374B2 (en) Interactive video insertions, and applications thereof
US20090213270A1 (en) Video indexing and fingerprinting for video enhancement
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
KR102246305B1 (ko) 증강 미디어 서비스 제공 방법, 장치 및 시스템
US20190259423A1 (en) Dynamic media recording
KR101850482B1 (ko) 방송 연동형 증강현실 서비스 시스템 및 방법
CN108293140B (zh) 公共媒体段的检测
CN107360442A (zh) 一种直播方法、装置及电子设备
EP2954690A1 (en) Attention estimation to control the delivery of data and audio/video content
JP2006087098A (ja) 受信器で視聴覚的記録を見る方法及びそのような記録を見るための受信器
US20200053253A1 (en) Video content synchronisation method and apparatus
CN108111899A (zh) 视频传输方法、客户端、服务器
US20170225077A1 (en) Special video generation system for game play situation
KR100681017B1 (ko) 동영상의 요약 제공이 가능한 이동통신 단말기 및 이를 이용한 요약 제공 방법
CN110798692A (zh) 一种视频直播方法、服务器及存储介质
Goldsmith “SporTV”: The Legacies and Power of television
CN112287771A (zh) 用于检测视频事件的方法、装置、服务器和介质
CN110198457B (zh) 视频播放方法及其设备、系统、存储介质、终端、服务器
US20220224958A1 (en) Automatic generation of augmented reality media
CN106804008A (zh) 一种信息展示方法及装置
KR101427711B1 (ko) 컨텐츠 연관 정보 관리 장치 및 그 방법
JP2016004566A (ja) 提示情報制御装置、方法及びプログラム

Legal Events

Date Code Title Description
AMND Amendment
A201 Request for examination
AMND Amendment
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant