KR102147748B1

KR102147748B1 - 증강현실 지원을 위한 데이터 처리 방법 및 장치

Info

Publication number: KR102147748B1
Application number: KR1020130043577A
Authority: KR
Inventors: 쉬이링; 유성열; 박경모; 송재연
Original assignee: 삼성전자주식회사
Priority date: 2012-04-20
Filing date: 2013-04-19
Publication date: 2020-08-25
Also published as: US20130278634A1; US9147291B2; WO2013157890A1; KR20130118824A

Abstract

증강현실(AR) 지원을 위한 데이터 처리 방법 및 장치를 제공한다. 수신기는 장면 디스크립션 스트림과 오브젝트 디스크립션(OD) 스트림 및 현실 세계 미디어를 포함하는 시각 스트림을 적어도 포함하는 이미지 파일을 수신한다. 여기서 장면 디스크립션 스트림은 상기 현실 세계 미디어에 증강될 수 있는 적어도 하나의 AR 컨텐트에 관련된 정보를 나타내는 AR 노드를 가지는 장면 디스크립션을 포함한다. 프로세서는, 상기 AR 노드로부터, 상기 적어도 하나의 AR 컨텐트가 어디서 언제 나타날지와 상기 현실 세계 미디어에 어떻게 증강할지를 설명하는 AR 로케이터 정보와 상기 적어도 하나의 AR 컨텐트를 설명하는 OD를 지시하는 OD_ID를 획득하고, 상기 OD_ID에 의해 지시된 상기 OD)로부터, 상기 적어도 하나의 AR 컨텐트를 운반하는 엘리멘터리 스트림(ES)에 각각 관련되며 상기 AR 컨텐트의 식별자를 포함하는 적어도 하나의 엘리멘터리 스트림 디스크립터(ES_D)를 획득하며, 상기 적어도 하나의 ES_D에 근거하여 상기 적어도 하나의 AR 컨텐트를 운반하는 적어도 하나의 엘리멘터리 스트림을 액세스한다. 표시부는, 상기 적어도 하나의 AR 컨텐트 중 선택된 AR 컨텐트를 상기 현실 세계 미디어에 증강하여 출력한다.

Description

증강현실 지원을 위한 데이터 처리 방법 및 장치{METHOD AND APPARATUS OF PROCESSING DATA FOR SUPPORTING AUGMENTED REALITY}

본 발명은 데이터 처리 방법 및 장치에 관한 것으로서, 특히, 증강현실 (augmented reality: AR)을 지원하기 위한 영상 파일 데이터 (image file data)를 처리하는 방법 및 장치에 관한 것이다.

AR이란 사용자가 눈으로 보는 현실세계 오브젝트에 가상 오브젝트를 겹쳐서(overlap) 보여주는 기술을 의미한다. 현실세계 이미지에 실기간으로 특정 정보를 갖는 가상세계 이미지를 합쳐 하나의 영상으로 보여주므로, 혼합현실 (mixed reality)이라고도 한다. 증강현실은 현실 환경과 가상 환경을 융합하는 복합형 가상현실 시스템 (hybrid virtual reality system)이다.

현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 즉 증강현실은 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다.

가상현실 기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실 기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어 스마트폰 카메라로 촬영된 영상 이미지에, 인근에 있는 상점의 위치, 전화번호 등의 정보가 2차원 (2-dementional: 2D) 혹은 3차원 (3D) 영상으로 중첩될 수 있다.

이러한 가상현실 기술은 원격의료진단, 방송, 건축설계, 제조공정관리 등과 같은 여러 응용에 다양하게 활용될 수 있는데, 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 위치기반 서비스, 모바일 게임, 모바일 솔루션 업계, 교육 분야 등으로 그 활용범위가 다양하게 확장되고 있다.

본 발명은 증강현실의 지원을 위한 데이터를 관리하고 처리하는 방법 및 장치를 제공한다.

본 발명은 증강현실을 위한 컨텐트에 대한 정보를 포함하는 파일 프레임워크를 제공한다.

본 발명은 증강현실을 위한 AR 컨텐트의 전송 및 저장을 지원하는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따른 방법은, 증강현실 (AR) 지원을 위한 데이터 처리 방법에 있어서, 장면 디스크립션 스트림과 오브젝트 디스크립션 스트림 및 현실 세계 미디어를 포함하는 시각 스트림을 적어도 포함하는 이미지 파일을 수신하는 과정과, 상기 장면 디스크립션 스트림은 상기 현실 세계 미디어에 증강될 수 있는 적어도 하나의 AR 컨텐트에 관련된 정보를 나타내는 AR 노드를 가지는 장면 디스크립션을 포함하며, 상기 AR 노드로부터, 상기 적어도 하나의 AR 컨텐트가 어디서 언제 나타날 지와 상기 현실 세계 미디어에 어떻게 증강할지를 설명하는 AR 로케이터 정보와 상기 적어도 하나의 AR 컨텐트를 설명하는 오브젝트 디스크립터(OD)를 지시하는 오브젝트 디스크립터 식별자를 획득하는 과정과, 상기 오브젝트 디스크립터 식별자에 의해 지시된 상기 오브젝트 디스크립터(OD)로부터, 상기 적어도 하나의 AR 컨텐트를 운반하는 엘리멘터리 스트림(ES)에 각각 관련되며 상기 AR 컨텐트의 식별자를 포함하는 적어도 하나의 엘리멘터리 스트림 디스크립터(ES_D)를 획득하는 과정과, 상기 적어도 하나의 엘리멘터리 스트림 디스크립터(ES_D)에 근거하여 상기 적어도 하나의 AR 컨텐트를 운반하는 적어도 하나의 엘리멘터리 스트림을 액세스하는 과정과, 상기 적어도 하나의 AR 컨텐트 중 선택된 AR 컨텐트를 상기 현실 세계 미디어에 증강하여 출력하는 과정을 포함하며, 상기 엘리멘터리 스트림 디스크립터 (ES_D)는 상기 AR 컨텐트를 운반하는 엘리멘터리 스트림을 지시하는 엘리멘터리 스트림 식별자 (ES_ID)와 상기 AR 컨텐트를 지시하는 AR 컨텐트 식별자 (AR_Content_ID)를 포함함을 특징으로 한다.

본 발명의 일 실시예에 따른 장치는; 증강현실(AR) 지원을 위한 데이터 처리 장치에 있어서, 장면 디스크립션 스트림과 오브젝트 디스크립션 스트림 및 현실 세계 미디어를 포함하는 시각 스트림을 적어도 포함하는 이미지 파일을 수신하는 수신기와, 상기 장면 디스크립션 스트림은 상기 현실 세계 미디어에 증강될 수 있는 적어도 하나의 AR 컨텐트에 관련된 정보를 나타내는 AR 노드를 가지는 장면 디스크립션을 포함하며, 상기 AR 노드로부터, 상기 적어도 하나의 AR 컨텐트가 어디서 언제 나타날 지와 상기 현실 세계 미디어에 어떻게 증강할지를 설명하는 AR 로케이터 정보와 상기 적어도 하나의 AR 컨텐트를 설명하는 오브젝트 디스크립터(OD)를 지시하는 오브젝트 디스크립터 식별자를 획득하고, 상기 오브젝트 디스크립터 식별자에 의해 지시된 상기 오브젝트 디스크립터(OD)로부터, 상기 적어도 하나의 AR 컨텐트를 운반하는 엘리멘터리 스트림(ES)에 각각 관련되며 상기 AR 컨텐트의 식별자를 포함하는 적어도 하나의 엘리멘터리 스트림 디스크립터(ES_D)를 획득하고, 상기 적어도 하나의 엘리멘터리 스트림 디스크립터(ES_D)에 근거하여 상기 적어도 하나의 AR 컨텐트를 운반하는 적어도 하나의 엘리멘터리 스트림을 액세스하는 프로세서와, 상기 적어도 하나의 AR 컨텐트 중 선택된 AR 컨텐트를 상기 현실 세계 미디어에 증강하여 출력하는 표시부를 포함하며, 상기 엘리멘터리 스트림 디스크립터 (ES_D)는 상기 AR 컨텐트를 운반하는 엘리멘터리 스트림을 지시하는 엘리멘터리 스트림 식별자 (ES_ID)와 상기 AR 컨텐트를 지시하는 AR 컨텐트 식별자 (AR_Content_ID)를 포함함을 특징으로 한다.

도 1은 본 발명의 일 실시예에 따라 증강현실을 위해 사용 가능한 파일의 프레임워크(framework)를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실의 일 예를 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 증강현실의 지원을 위한 어플리케이션 모델을 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따라 AR 로케이터를 제공하기 위한 파일 프레임워크를 도시한 것이다.
도 5는 본 발명의 일 실시예에 따라 복수의 AR 컨텐츠를 제공하기 위한 AR 파일 프레임워크를 도시한 것이다.
도 6은 본 발명의 다른 실시예에 따른 AR 파일 프레임워크를 도시한 것이다.
도 7은 본 발명의 또 다른 실시예에 따른 AR 파일 프레임워크를 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 디바이스의 동작을 나타낸 흐름도이다.
도 9는 본 발명의 일 실시예에 따른 디바이스의 시스템 디코더 모델을 나타낸 블록도이다.
도 10은 본 발명의 일 실시예에 따른 파일 제공자의 구성을 나타낸 블록도이다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따라 증강현실을 위해 사용 가능한 파일의 프레임워크 (framework)를 도시한 도면이다. 도시한 바와 같이 프레임워크(100)는 장면 디스크립션 (scene description) 스트림(102)과, 오브젝트 디스크립터 스트림 (object descriptor stream)(104)과, 오디오 및/또는 시각 스트림들 (audio and/or visual streams) (106, 108, 110)을 제공한다. 장면 디스크립션들 뿐 아니라 오디오 및/또는 시각 오브젝트들 (audio and/or visual objects)의 스트리밍 데이터 (streaming data)를 전달하는 상기 엘리멘터리 스트림들(102, 104, 106, 108, 110)은 ISO/IEC 14496-1 표준에 따른 구조의 기본 빌딩 블록 (building block)들이다. 초기 (initial) 오브젝트 디스크립터(120) 내의 엘리멘터리 스트림 디스크립터들(122)은 하나 혹은 그 이상의 초기 장면 디스크립션 스트림들(102)과 그에 대응하는 오브젝트 디스크립터 스트림들(104)을 지시한다.

장면 디스크립션 스트림(102)은 장면 디스크립션들(130)을 나타내는 BIFS (binary format for scene) 명령어를 운반하는 엘리멘터리 스트림으로서, 여기서 장면 디스크립션(130)은 미디어 오브젝트들 (미디어 스트림들(106, 108, 110) 내의 오디오 혹은 시각 오브젝트들)에 대한 공간적 시간적 (spatio-temporal) 위치들 (positioning)/관계와 상기 오브젝트들로 인한 동작 결과 (behaviors resulting)와 사용자 상호동작 (interactions)을 기술하는 정보를 포함한다. 각 장면 디스크립션(130)은 부호화된 계층적 트리 구조의 노드들(132)로 구성되며, 각 노드(132)는 속성 및 다른 정보들을 나타낸다. 트리 상의 종단 노드들은 특정한 오디오 혹은 시각 오브젝트들과 같은 미디어 노드들에 대응되며, 중간 노드들은 그룹화, 변환 및 다른 동작의 수행에 관련된 장면 디스크립션 노드들에 대응된다.

오브젝트 디스크립터 스트림(104)은 오브젝트 디스크립터들(140)을 운반하는 엘리멘터리 스트림으로서, 여기서 오브젝트 디스크립터(140)는 장면 디스크립션 스트림(102)과 엘리멘터리 스트림들(106, 108, 110) 간의 링크를 제공한다.

장면 디스크립션 스트림(102)은 오디오-시각 오브젝트들의 시공간 관계를 설명하는데 반해, 오브젝트 디스크립터 스트림(104)는 장면에 대한 시변 (time-varying) 데이터를 제공하는 엘리멘터리 스트림 자원들을 설명한다. 이런 인디렉션 (indirection)은 장면 구조와, 엘리멘터리 스트림들(106 내지 110)의 특성들 (일 예로, 상기 엘리멘터리 스트림들의 인코딩 (encoding) 방식) 및 엘리멘터리 스트림들(106 내지 110)의 전달에 대한 독립적인 변경을 가능하게 한다.

오브젝트 디스크립터 스트림(104)는 엘리멘터리 스트림들(106 내지 110)을 식별하고 설명하며, 엘리멘터리 스트림들(106 내지 110)을 서로간에 및 장면 디스크립션(130)에서 사용되는 시청각 오브젝트들 (audio-visual objects)에 대해 적절하게 연관시킬 수 있도록 하는 오브젝트 디스크립터들(140)의 집합으로 구성된다. 'ObjectDescriptorIDs'라 칭해지는 식별자들은 오브젝트 디스크립터들(140)을 장면 디스크립션(130)에 포함되어 있는 적합한 노드(node)들(132)에 연관시킨다. 오브젝트 디스크립터들(140)은 엘리멘터리 스트림을 통해 전달되며, 타임 스탬프 (time stamp)된 변경들을 생성될 오브젝트 디스크립터들의 유용한 집합으로 허여한다.

각 오브젝트 디스크립터(140)는 하나의 노드에 연관되고, 일반적으로 하나의 오디오 혹은 시각 오브젝트에 관련되는 하나 혹은 그 이상의 엘리멘터리 스트림들을 설명하는 엘리멘터리 스트림 디스크립터들 (elementary stream descriptor: ES_D)(142)의 집합이다. 각 오브젝트 디스크립터(140)는 일 예로 다중 품질들 혹은 서로 다른 언어들을 사용하여 동일한 컨텐트를 전달하는 다중 대체 스트림들 (multiple alternative streams) 뿐만 아니라 확장성 있는 컨텐트 (scalable content) 설명을 나타낼 수 있다.

오브젝트 디스크립터(140) 내의 엘리멘터리 스트림 디스크립터(142)는 ES_ID (elementary stream ID)로 칭해지는 식별자를 사용하여 대응하는 하나의 엘리멘터리 스트림(106 내지 110 중 하나)을 식별한다. 각 엘리멘터리 스트림 디스크립터(142)는 저작권 (intellectual property: IP)의 식별뿐만 아니라 해당 엘리멘터리 스트림에 대한 디코딩 프로세스 (decoding process)를 개시하고 구성하는데 필요한 정보를 포함한다. 선택적으로, 추가적인 정보가 하나의 엘리멘터리 스트림과, 상기 엘리멘터리 스트림 디스크립터(142)의 송신에 대한 가장 중요한 서비스 요구 조건들 혹은 언어 지시에 연관될 수 있다. 오브젝트 디스크립터들(140)과 엘리멘터리 스트림 디스크립터들(142) 모두는 URL (uniform resource locators)을 사용하여 원격 오브젝트 디스크립터들 혹은 원격 엘리멘터리 스트림 소스 (source)를 각각 지시 (point)할 수 있다.

AR 어플리케이션 (application)들은 컴퓨터 구동 프로세스에서 엘리멘터리 (element)들이 그래픽들 혹은 사운드와 같은 컨텐트에 의해 증강되는 현실 세계 환경 (real-world environment: RWE)을 참조한다.

증강현실은 이동 단말기와, 태블릿 (tablet)과 개인용 컴퓨터 (personal computer: PC)와 텔레비전 (television: TV) 등과 같은 플랫폼 (platform)들에서, 광고와 엔터테인먼트 (entertainment)와 교육 등과 같은 다양한 서비스 영역들에 대한 새로운 트랜드 (trend)이다. 증강현실을 통해 2D/3D 그래픽이 현실 세계와 결합됨으로써 사용자 경험 (user experience)을 증가시키고 정보를 풍부하게 할 수 있다.

도 2는 본 발명의 일 실시예에 따른 증강현실의 일 예를 도시한 것이다. 도시한 바와 같이, 현실 세계로부터 캡쳐된 나무에 대한 비디오/이미지와 같은 시각 오브젝트(202)가 존재하며, '웃는 얼굴'의 가상 오브젝트(204), 즉 AR 컨텐트가 상기 시각 오브젝트(202)에 증강된다. 증강현실(200)는 시각 오브젝트(202)와 가상 오브젝트(204)의 합성 (composition)이다.

본 발명의 실시예에 따라 증강현실을 지원하기 위한 파일 프레임워크는 증강현실을 위한 AR 컨텐트와, 상기 AR 컨텐트가 증강될 시각 오브젝트와의 관계 정보를 제공한다.

도 3은 본 발명의 일 실시예에 따른 증강현실의 지원을 위한 어플리케이션 모델을 나타낸 것이다.

도 3을 참조하면, 증강 현실을 지원하는 어플리케이션은 저장부에 저장된 미디어(302)를 독출하거나, 카메라로 라이브 미디어(304)를 촬영하거나, 혹은 센서나 GPS (global positioning system)를 사용하여 센서/위치 정보(306)를 감지할 수 있다. 일반적으로 저장된 미디어(302) 및 카메라로부터의 라이브 미디어(304)는 자신의 AR 로케이터를 포함하고 있지 않다. 따라서 분석기 (analyzer)(310)는 상기 미디어 혹은 감지 정보(302, 304, 306)를 분석하여 그에 대한 AR 로케이터(308)를 생성한다.

AR 로케이터(308)는, 현실 세계 오브젝트에 증강하고자 하는 가상 오브젝트들이 어디서 언제 나타나는지 및 상기 현실 세계 오브젝트와 가상 오브젝트들을 어떻게 제어할 것인지를 나타낸다. AR 로케이터(308)에 포함되거나, 혹은 별도로 제공될 수 있는 AR 제어 필드는 어떤 AR 컨텐트가 현실 세계 오브젝트와 혼합되고, AR 컨텐트에서 가상 오브젝트들이 언제 나타나고 또한 언제 사라지는지를 설명한다.

AR 컨테이너 생성기(320)는 AR 플레이어 혹은 브라우저 (browser)로서, 상기 미디어 혹은 감지 정보(302, 304, 306)와 같은 현실 세계 오브젝트와 AR 로케이터(308)를 포함하는 AR 컨테이너를 생성한다. 선택 가능한 실시예로서 AR 컨테이너는 AR 컨테이너 생성기(320)에 의해 생성되는 대신, 미리 구성되어 바로 입력(300)될 수 있다. 선택 가능한 다른 실시예로서 미디어와 AR 컨테이너가 함께 생성되고, AR 컨테이너 생성기(320)에 의해 직접 사용될 수 있다.

AR 컨텐츠(322)는 현실 세계 오브젝트에 증강하고자 하는 적어도 하나의 가상 오브젝트와 사용자들과 가상 오브젝트 간의 상호동작 정보를 포함한다. 각 가상 오브젝트는 일 예로서 2차원 혹은 3차원 그래픽 및/또는 텍스쳐, 오디오, 이미지/비디오 등이 될 수 있으며, 상호동작 정보는 일 예로서 헵틱 효과 (haptic effect) 등이 될 수 있다.

AR 컨텐츠(322)는 AR 로케이터(308)에 결합된 채 AR 컨테이너 생성기(320)로 입력되거나 혹은 AR 컨테이너 생성기(320)에 의해 생성될 수 있다. 다른 실시예로서 AR 컨테이너 생성기(320)는 어떤 가상 오브젝트가 주어진 시간에 필요한지를 기술하는 요청 포맷을 생성하여 로컬 저장부 혹은 서버 (도시하지 않음)에 전송하고, 상기 요청 포맷에 대한 응답으로 AR 컨텐츠(322)를 독출 혹은 수신할 수 있다.

합성기(325)는 AR 로케이터(308)를 참조하여, AR 컨테이너(320)로부터의 현실 세계 오브젝트(302-306)에 AR 컨텐츠(322)로부터의 가상 오브젝트를 증강하여 AR 오브젝트를 생성한다. AR 오브젝트는 시각화부 (visualization unit)(330)에 의해 시각화된 후 화면에 렌더링될 수 있다. 상호동작 처리부 (interaction processor)(340)는 화면상의 터치와 같은 사용자 제스처를 감지하여 업데이트된 정보 포맷을 생성하고 AR 컨테이너(320) 및/또는 AR 컨텐츠(322)로 제공하며, 그에 따라 업데이트된 AR 오브젝트가 시각화될 수 있도록 시각화부(330)를 제어한다.

AR 로케이터는 BIFS 혹은 다른 방식을 사용하여 정의될 수 있다. 본 명세서에서는 일 예로 BIFS가 사용되는 경우를 설명할 것이나, 본 발명이 이러한 설명으로 제한되는 것은 아니다.

도 4는 본 발명의 일 실시예에 따라 AR 로케이터를 제공하기 위한 파일 프레임워크를 도시한 것이다. 도시한 바와 같이, 프레임워크는 장면 디스크립션 스트림(402)과, 오브젝트 디스크립터 스트림(404)과, 오디오 및/또는 시각 스트림들(406,408)과 AR 스트림(410)을 포함한다.

장면 디스크립션 스트림(402) 상의 장면 디스크립션(420)은 AR 로케이터의 정보를 제공하는 AR 노드(422)를 포함한다. AR 노드(422)는 AR 컨텐트(442)가 언제 어디서 나타나고, 현실세계 미디어(440)와 어떻게 증강될 것인지를 기술한다. 상기 AR 로케이터에서 보여질 상기 AR 컨텐트(442)는 ObjectDescriptorID에 의해 식별되는 오브젝트 디스크립터(430)에 의해 기술된다. 즉, 오브젝트 디스크립터(430)는 AR 노드(422)를 위한 AR 컨텐트(442)를 운반하는 하나 혹은 그 이상의 엘리멘터리 스트림(410)을 지시하는 엘리멘터리 스트림 디스크립터(ES_D)(432)를 포함하며, 상기 엘리멘터리 스트림 디스크립터(432)는 AR 컨텐트(442)를 운반하는 AR 스트림(410)에 대한 정보를 포함한다.

하나의 AR 로케이터는 하나 혹은 그 이상의 AR 컨텐츠를 제공할 수 있다. 즉 AR 로케이터는 다양한 AR 컨텐트들 중 하나를 선택할 수 있으며, 동일 AR 로케이터 내에 하나 혹은 그 이상의 AR 컨텐츠가 중첩되어 보여지거나 서로 다른 AR 컨텐트들이 AR 로케이터에 연속적으로 도시될 수 있다. 즉 서로 다른 AR 컨텐트들이 AR 로케이터 내에서 제공된다.

도 5는 본 발명의 일 실시예에 따라 복수의 AR 컨텐츠를 제공하기 위한 AR 파일 프레임워크를 도시한 것이다. 도시한 바와 같이, 프레임워크는 장면 디스크립션 스트림(502)과, 오브젝트 디스크립터 스트림(504)과, 오디오 및/또는 시각 스트림들(506, 508)과 복수의 AR 스트림들(510a, 510b)을 포함한다.

장면 디스크립션 스트림(502) 상의 장면 디스크립션(520)은 AR 로케이터의 정보를 제공하는 AR 노드(522)를 포함한다. AR 노드(522)는 AR(550, 552)에 나타낸 바와 같이, AR 컨텐츠(542, 544)가 언제 어디서 나타나고, 현실세계 미디어(540)와 어떻게 증강될 것인지를 기술한다. 현실세계 미디어(540)은 오브젝트 디스크립터(536) 내의 엘리멘터리 스트림 디스크립터(538)에 의해 지시된 엘리멘터리 스트림(506) 상에 존재한다. AR 로케이터는 다양한 AR 컨텐츠(542, 544)와 연관 (bond)될 수 있다. 서로 다른 AR 컨텐츠(542, 544)를 구별하기 위해서는 고유한 AR_Content_ID가 사용된다.

AR 컨텐츠(542,544)는 AR 노드(522) 내의 ObjectDescriptorID에 의해 식별되는 오브젝트 디스크립터(530)에 의해 기술된다. 즉, 오브젝트 디스크립터(530)는 AR 노드(522)를 위한 AR 컨텐츠(542, 544)를 운반하는 엘리멘터리 스트림들(510a, 510b)을 각각 지시하는 엘리멘터리 스트림 디스크립터(ES_D)(532,534)를 포함한다. AR 로케이터는 증강현실을 위해 선택된 하나 혹은 그 이상의 AR 컨텐트에 해당하는 AR_Content_ID를 제공하며, 엘리멘터리 스트림 디스크립터(532, 534)는 해당 AR_Content_ID에 근거하여 해당 AR 스트림(510a, 510b)을 지정하게 된다.

AR_Content_ID의 AR 컨텐트는 AR 로케이터에 결합(bond)될 수 있다. AR 컨테이너 생성기는 또한 일부 AR 로케이터에 대한 일부 AR 컨텐트를 요구할 수 있다. 상기 선택된/고객화된(customized) AR 컨텐트는 상기 AR 로케이터로 제공될 수 있다. AR 로케이터가 어떤 AR 컨텐트가 일부 특정 시점 및 위치에서 선택되는지를 사전에 결정하는 경우, AR_Content_ID가 요구될 수 있다. AR_Content_ID를 가지는 오브젝트 디스크립터(530) 내의 엘리멘터리 스트림 디스크립터(ES_D)(532,534)는 선택된 AR 컨텐트를 가지는 AR 스트림을 지시한다.

하기의 <표 1>은 본 발명의 일 실시예에 따라 AR_Content_ID를 포함하는 엘리멘터리 스트림 디스크립터의 구문(syntax)을 나타낸 것이다. 다른 정보의 의미는 ISO/IEC 14496-1의 7.2.6.5 절을 참조할 수 있다.

class ES_Descriptor extends BaseDescriptor : bit(8) tag=ES_DescrTag {
bit(16) ES_ID;
bit(16) AR_Content_ID;
bit(1) streamDependenceFlag;
bit(1) URL_Flag;
bit(1) OCRstreamFlag;
bit(5) streamPriority;
if (streamDependenceFlag)
bit(16) dependsOn_ES_ID;
if (URL_Flag) {
bit(8) URLlength;
bit(8) URLstring[URLlength];
}
if (OCRstreamFlag)
bit(16) OCR_ES_Id;
DecoderConfigDescriptor decConfigDescr;
if (ODProfileLevelIndication==0x01) //no SL extension.
{
SLConfigDescriptor slConfigDescr;
}
else // SL extension is possible.
{
SLConfigDescriptor slConfigDescr;
}
IPI_DescrPointer ipiPtr[0 .. 1];
IP_IdentificationDataSet ipIDS[0 .. 255];
IPMP_DescriptorPointer ipmpDescrPtr[0 .. 255];
LanguageDescriptor langDescr[0 .. 255];
QoS_Descriptor qosDescr[0 .. 1];
RegistrationDescriptor regDescr[0 .. 1];
ExtensionDescriptor extDescr[0 .. 255];
}

<표 1>을 참조하면, 엘리멘터리 스트림 디스크립터 (ES_Descriptor)는 특정 엘리멘터리 스트림에 관련된 모든 정보를 운반하며, 디스크립터 태그들의 리스트 중 ES_DescrTag에 의해 식별되는 클래스 태그에 의해 정의된다.

ES_ID는 각 엘리멘터리 스트림에 대한 고유한 라벨 (label)을 제공하며, AR_Content_ID는 증강하고자 하는 AR 컨텐츠를 식별한다.

StreamDependenceFlag는 depensOn_ES_ID가 후속 (follow)하는지를 지시하며, URL_Flag는 URLstring의 존재 여부를 지시하는 플래그이며, streamPriority는 해당 엘리멘터리 스트림의 우선도(priority) 에 대한 상대적 값을 나타낸다. 즉 높은 스트림 우선도를 가지는 엘리멘터리 스트림은 낮은 스트림 우선도를 가지는 스트림에 비하여 보다 중요하다. dependsOn_ES_ID는 해당 엘리멘터리 스트림이 종속된 다른 엘리멘터리 스트림의 ES_ID를 나타낸다. dependsOn_ES_ID의 스트림은 또한 해당 오브젝트 디스크립터에 연관될 수 있다. URLstring은 다른 스트림, 특히 AR 컨텐트를 포함하는 엘리멘터리 스트림의 위치를 이름으로 지시하는 URL을 포함한다.

DecoderConfigDescriptor은 해당 엘리멘터리 스트림에 필요한 디코더 타입과 디코더 자원에 대한 정보를 제공한다. SLConfigDescriptor는 해당 엘리멘터리 스트림에 대한 동기 계층(Sync Layer: SL) 헤더의 구성을 정의한다. IP_IdentificationDataSet은 컨텐트의 지적 재산권 (intellectual property: IP)을 식별하기 위해 사용된다. 컨텐트의 타입은 오디오, 가시정보 (visual) 및 장면 디스크립션 데이터를 포함할 수 있으며, 다수의 IP_IdentificationDataSet가 하나의 엘리멘터리 스트림에 연관될 수 있다.

IPI_DescrPointer는 해당 스트림에 대해 유효한 IP_IdentificationDataSet(들)을 포함하는 엘리멘터리 스트림에 대한 참조 정보를 포함한다. QoS_Descriptor는 해당 엘리멘터리 스트림이 생성할 트래픽의 전송 채널 (transport channel) 및 상세정보 (description)에 대한 요구사항을 포함한다. RegistrationDescriptor는 개인 (private) 데이터 스트림의 포맷들을 고유하고 명확하게 식별하기 위한 방법을 제공한다. ExtensionDescriptor는 해당 엘리멘터리 스트림을 위한 추가적인 정보를 포함할 수 있다.

추가적으로 본 발명의 일 실시예에 따른 오브젝트 디스크립터는 다른 AR 컨텐트에 대한 조건 정보를 나타내는 ConditionInfo를 더 포함할 수 있다. 하기의 <표 2> 및 <표 3>은 본 발명의 일 실시예에 따른 오브젝트 디스크립터의 구문의 예들을 나타낸 것이다.

class ObjectDescriptor extends ObjectDescriptorBase : bit(8) tag=ObjectDescrTag {
bit(10) ObjectDescriptorID;
bit(1) URL_Flag;
bit(3) ConditionInfo
const bit(2) reserved=0b11.1;
if (URL_Flag) {
bit(8) URLlength;
bit(8) URLstring[URLlength];
} else {
ES_Descriptor esDescr[1 .. 255];
OCI_Descriptor ociDescr[0 .. 255];
IPMP_DescriptorPointer ipmpDescrPtr[0 .. 255];
IPMP_Descriptor ipmpDescr [0 .. 255];
}
ExtensionDescriptor extDescr[0 .. 255];
}

class ObjectDescriptor extends ObjectDescriptorBase : bit(8) tag=ObjectDescrTag {
bit(10) ObjectDescriptorID;
bit(1) URL_Flag;
const bit(5) reserved=0b1111.1;
if (URL_Flag) {
bit(8) URLlength;
bit(8) URLstring[URLlength];
} else {
bit(3) ConditionInfo
const bit(13) reserved=0b111111111111.1;
ES_Descriptor esDescr[1 .. 255];
OCI_Descriptor ociDescr[0 .. 255];
IPMP_DescriptorPointer ipmpDescrPtr[0 .. 255];
IPMP_Descriptor ipmpDescr [0 .. 255];
}
ExtensionDescriptor extDescr[0 .. 255];
}

<표 2> 및 <표 3>을 참조하면, 오브젝트 디스크립터는 ObjectDescriptorID에 의해 식별되며, URL_Flag 이후에 AR 컨텐트에 대한 조건 정보를 나타내는 ConditionInfo를 포함한다.

ES_Descriptor는 일 예로서 <표 1>과 같이 구성될 수 있는 엘리멘터리 스트림 디스크립터를 나타낸다. OCI_Descriptor는 해당 오브젝트 디스크립터에 의해 기술되는 미디어 오브젝트에 관련된 오브젝트 컨텐트 정보(Object Content Information: OCI) 디스크립터들의 어레이를 의미한다. IPMP_DescriptorPointer 및 IPMP_Descriptor는 지적 재산권(IP)의 관리 및 보호(IP Management and Protection: IPMP)에 관련된 정보를 제공한다.

본 발명의 일 실시예에 따른 조건 정보 ConditionInfo의 의미는 일 예로 하기와 같다.

000: unknown.

001: 서로 다른 AR 컨텐트들 중 하나의 AR 컨텐트가 선택될 수 있다.

010: AR 컨텐트들의 집합이 AR 로케이터에 의해 사용될 수 있다, 일 예로 오버랩될 수 있다.

011: 각 AR 컨텐트가 AR 로케이터에서 순차적으로 나타날 수 있다.

다른 정보의 의미는 ISO/IEC 14496-1의 7.2.6.3 절을 참조할 수 있다.

AR 컨텐트는 다른 제공자들에 의해서 제공되어, 현실 세계 미디어와 동일한 파일로 전달되지 않을 수 있다. 일 예로, 동일한 축구 게임에서 서로 다른 광고 컨텐츠가 제공될 수 있다. 이 경우, AR 컨텐트들은 서로 다른 파일들을 통해 전달될 수 있다.

도 6은 본 발명의 다른 실시예에 따른 AR 파일 프레임워크를 도시한 것이다. 여기에서는 AR 컨텐트들이 현실 세계 미디어와는 다른 파일들에 존재하는 경우의 예를 도시하였다. 도시한 바와 같이, 제1 파일(600)은 장면 디스크립션 스트림(602)과, 오브젝트 디스크립터 스트림(604)과, 오디오 및/또는 시각 스트림들(606, 508)을 포함한다. 현실 세계 미디어(640)은 제1 파일(600)의 시각 스트림(606) 내에 존재한다. 제2 및 제3 파일들(650, 660)은 서로 다른 AR 컨텐트들(652, 662)을 가지는 AR 스트림들을 제공한다. 여기서 현실 세계 미디어(640)의 제1 파일(600)는 제공자 A에 의해 제공되고, 2개의 AR 컨텐트들(652, 662)의 파일들(650, 660)은 제공자 B와 제공자 C에 의해 각각 제공될 수 있다.

현실세계 미디어(640)가 존재하는 엘리멘터리 스트림(606)은 오브젝트 디스크립터(636) 내의 엘리멘터리 스트림 디스크립터(638)에 의해 지시된다. 장면 디스크립션 스트림(602) 상의 장면 디스크립션(620)은 AR 로케이터의 정보를 제공하는 AR 노드(622)를 포함한다. AR 노드(622)는 다른 파일들(650, 660) 내의 AR 컨텐트들(652, 662)가 언제 어디서 나타나고, 현실세계 미디어(640)와 어떻게 증강될 것인지를 기술한다.

다른 파일들(650, 660) 내의 AR 컨텐츠(652, 662)는 AR 노드(622) 내의 ObjectDescriptorID에 의해 식별되는 오브젝트 디스크립터(630)에 의해 기술된다. 오브젝트 디스크립터(630)는 AR 컨텐츠(652, 662)를 운반하는 엘리멘터리 스트림들을 각각 지시하는 엘리멘터리 스트림 디스크립터(ES_D)(632, 634)를 포함한다. 각 엘리멘터리 스트림 디스크립터(632, 634)는 해당하는 AR 컨텐츠(652, 662)를 고유하게 지시하는 AR_Content_ID를 포함한다.

각 AR 컨텐트들(652, 662)은 엘리멘터리 스트림 디스크립터(632, 634)에 포함되는 ES_ID와 URL에 의해 지시된다. 엘리멘터리 스트림 디스크립터(632, 634)는 참조되는 각 AR 컨텐트(652, 662)에 대한 일부 정보, 일 예로 제공자 명을 제공하기 위한 AR_Cont_Info를 더 포함할 수 있다.

상기에서 설명한 실시예에 따른 엘리멘터리 스트림 디스크립터의 구문의 일 예를 하기의 <표 4>에 나타내었다.

class ES_Descriptor extends BaseDescriptor : bit(8) tag=ES_DescrTag {
bit(16) ES_ID;
bit(1) streamDependenceFlag;
bit(1) URL_Flag;
bit(1) OCRstreamFlag;
bit(5) streamPriority;
if (streamDependenceFlag)
bit(16) dependsOn_ES_ID;
if (URL_Flag) {
bit(8) URLlength;
bit(8) URLstring[URLlength];
bit(8) AR_Cont_Info_Length;
bit(8) AR_Cont_Infostring[AR_Cont_Info_Length]
}
if (OCRstreamFlag)
bit(16) OCR_ES_Id;
DecoderConfigDescriptor decConfigDescr;
if (ODProfileLevelIndication==0x01) //no SL extension.
{
SLConfigDescriptor slConfigDescr;
}
else // SL extension is possible.
{
SLConfigDescriptor slConfigDescr;
}
IPI_DescrPointer ipiPtr[0 .. 1];
IP_IdentificationDataSet ipIDS[0 .. 255];
IPMP_DescriptorPointer ipmpDescrPtr[0 .. 255];
LanguageDescriptor langDescr[0 .. 255];
QoS_Descriptor qosDescr[0 .. 1];
RegistrationDescriptor regDescr[0 .. 1];
ExtensionDescriptor extDescr[0 .. 255];
}

<표 4>에서 AR_Cont_Infostring는 URLstring에 의해 참조되는 AR 컨텐트에 대한 일부 정보를 제공할 수 있다. 또한 <표 4>의 엘리멘터리 스트림 디스크립터는 AR_Content_ID를 더 포함할 수 있다. 다른 정보의 구문은 ISO/IEC 14496-1의 7.2.6.5 절을 참조할 수 있다.

본 발명의 또 다른 실시예로서, 현실 세계 미디어의 제공자가 AR 컨텐트에 대한 구체적인 정보를 제공할 수 없을 경우, 상기 AR 컨텐트에 대한 제공자가 직접 상기 AR 컨텐트에 대한 오브젝트 디스크립터를 제공할 수 있다.

도 7은 본 발명의 또 다른 실시예에 따른 AR 파일 프레임워크를 도시한 것이다. 여기에서는 AR 컨텐트에 대한 오브젝트 디스크립터가 현실 세계 미디어와는 다른 파일에 존재하는 경우의 예를 도시하였다. 도시한 바와 같이, 제1 파일(700)은 장면 디스크립션 스트림(702)과, 오브젝트 디스크립터 스트림(704)과, 오디오 및/또는 시각 스트림들(706, 708)을 포함한다. 현실 세계 미디어(740)은 제1 파일(700)의 시각 스트림(706) 내에 존재하며, 다른 제공자에 의해 제공되는 파일들(750, 770) 상의 적어도 하나의 AR 컨텐츠들(754a, 756a, 774a, 776a)과 합성될 수 있다.

제2 파일(750)은 적어도 하나의 AR 컨텐트(754a, 756a)을 가지는 적어도 하나의 AR 스트림(754, 756)을 제공하며, 상기 AR 컨텐트(754a, 756a)에 대한 오브젝트 디스크립터(760)을 포함하는 오브젝트 디스크립터 스트림(752)을 더 제공한다. 이와 유사하게, 제3 파일(770)은 적어도 하나의 AR 컨텐트(774a, 776a)을 가지는 적어도 하나의 AR 스트림(774, 776)을 제공하며, 상기 AR 컨텐트(774a, 776a)에 대한 오브젝트 디스크립터(780)을 포함하는 오브젝트 디스크립터 스트림(772)을 더 제공한다. 여기서 현실 세계 미디어(740)의 제1 파일(700)는 제공자 A에 의해 제공되고, AR 컨텐트들(754a, 756a, 774a, 776a)의 파일들(750, 770)은 제공자 B와 제공자 C에 의해 각각 제공될 수 있다.

현실세계 미디어(740)가 존재하는 엘리멘터리 스트림(706)은 오브젝트 디스크립터(736) 내의 엘리멘터리 스트림 디스크립터(738)에 의해 지시된다. 장면 디스크립션 스트림(702) 상의 장면 디스크립션(720)은 AR 로케이터의 정보를 제공하는 AR 노드(722)를 포함한다. AR 노드(722)는 다른 파일들(750,770) 내의 AR 컨텐트들(754a, 756a, 774a, 776a)가 언제 어디서 나타나고, 현실세계 미디어(740)와 어떻게 증강될 것인지를 기술한다.

다른 파일들(750,770) 내의 AR 컨텐트들(754a, 756a, 774a, 776a)는 AR 노드(722) 내의 ObjectDescriptorID에 의해 식별되는 오브젝트 디스크립터(730)에 의해 간접적으로 기술된다. 오브젝트 디스크립터(730) 내의 각 엘리멘터리 스트림 디스크립터(732, 734)는 AR 컨텐트들(754a, 756a, 774a, 776a)를 운반하는 다른 파일들(750, 770) 내의 오브젝트 디스크립터(760,780)을 지시하는 오브젝트 디스크립터 정보 OD_Info를 포함한다. 각 엘리멘터리 스트림 디스크립터(732, 734) 내의 오브젝트 디스크립터 정보 OD_Info는 해당하는 AR 컨텐츠(754a, 756a, 774a, 776a)가 위치하는 오브젝트 디스크립터들(760, 780)를 고유하게 지시하는 오브젝트 디스크립터 ID OD_ID와 그 위치를 나타내는 URL 및 AR_Content_ID를 포함한다.

제2 파일(750) 내의 오브젝트 디스크립터(760)는 해당하는 동일 파일(750) 내의 AR 컨텐츠들(754a, 756a)에 대응하는 엘리멘터리 스트림 디스크립터들(762, 764)과 추가적으로 조건 정보를 포함하며, 각 엘리멘터리 스트림 디스크립터(762, 764)는 AR 컨텐츠(754a, 756a)을 고유하게 식별하는 AR_Content_ID를 포함한다. 이와 유사하게, 제3 파일(770) 내의 오브젝트 디스크립터(780)는 해당하는 동일 파일(780) 내의 AR 컨텐츠들(774a, 776a)에 대응하는 엘리멘터리 스트림 디스크립터들(782, 784)과 추가적으로 조건 정보를 포함하며, 각 엘리멘터리 스트림 디스크립터(782, 784)는 AR 컨텐츠(774a, 776a)을 고유하게 식별하는 AR_Content_ID를 포함한다.

상기의 실시예에서 제1 파일(700)의 AR 노드(722)에 대한 오브젝트 디스크립터(730)는 다른 파일들(750, 770) 내의 오브젝트 디스크립터들(760, 780)를 전달하는 어드레스인 URL을 시그널링한다. 다른 URL을 가지는 다른 제공자에 의한 하나 이상의 오브젝트 디스크립터(760, 780)가 존재할 수 있다. 다른 URL에서 전달되는 각 오브젝트 디스크립터(760, 780)에 대한 일부 정보는 제1 파일(700) 내의 오브젝트 디스크립터(730)에 포함되는 OD_Info에 의해 설명될 수 있다. 추가적으로 오브젝트 디스크립터(730)는 각 AR 컨텐츠에 대한 AR_content_ID를 각 URL에 대해서 리스트할 수 있으며, 서로 다른 오브젝트 디스크립터들(730, 760, 780) 간의 관계를 설명하는 조건 정보 ODConditionInfo(730a)를 더 포함할 수 있다.

하기의 <표 5>는 조건 정보 ODConditionInfo(730a)를 포함하는 오브젝트 디스크립터(730)의 구문의 일 예를 나타낸 것이다.

class ObjectDescriptor extends ObjectDescriptorBase : bit(8) tag=ObjectDescrTag {
bit(10) ObjectDescriptorID;
bit(1) URL_Flag;
bit(3) ConditionInfo
const bit(2) reserved=0b1.1;
bit(16) URL_Numb;
if (URL_Flag) {
bit(3) ODConditionInfo
const bit(13) reserved=0b111111111111.1;
for(i<=URL_Numb){
bit(8) URLlength;
bit(8) URLstring[URLlength];
bit(8) OD_Info_Length;
bit(8) OD_Infostring[OD_Info_Length];
bit(16) AR_Content_Numb
for(j<= AR_Content_Numb){
bit(16) AR_Content_ID
}
}
} else {

ES_Descriptor esDescr[1 .. 255];
OCI_Descriptor ociDescr[0 .. 255];
IPMP_DescriptorPointer ipmpDescrPtr[0 .. 255];
IPMP_Descriptor ipmpDescr [0 .. 255];
}
ExtensionDescriptor extDescr[0 .. 255];
}

<표 5>를 참조하면, 오브젝트 디스크립터(730)는 URL 개수를 나타내는 URL_Numb와, URL_Numb만큼의 URLlength들 및 URLstring들과, AR_Content_ID 개수를 나타내는 AR_Content_Numb와, AR_Content_Numb만큼의 AR_Content_ID들을 포함하며, 추가적으로 ODConditionInfo를 더 포함한다.

본 발명의 일 실시예에 따르면 ODConditionInfo는 하기와 같이 정의될 수 있다.

000: unknown.

001: OD URL의 집합 중 1개의 OD URL이 선택될 수 있다.

010: OD URL의 집합이 AR 로케이터에 의해서 사용될 수 있고, 일 예로 오버랩될 수 있다.

장면 디스크립션 스트림 및 오브젝트 디스크립터 스트림에 대한 엘리멘터리 스트림 디스크립터가 초기 오브젝트 디스크립터에 리스트되는 것을 제외하면, 다른 파일들(750,770) 내의 오브젝트 디스크립터 스트림들(752,772)에 대한 엘리멘터리 스트림 디스크립터들(732,734)은 오브젝트 디스크립터 스트림(704) 내의 오브젝트 디스크립터(730) 상에 리스트될 수 있다.

디바이스가 다른 파일로부터 선택된 오브젝트 디스크립터를 가지는 현실 세계 미디어를 저장하기를 원할 경우, 디바이스는 이전의 오브젝트 디스크립터를 상기 선택된 오브젝트 디스크립터와 교체할 수 있고, AR 스트림을 현실 세계 미디어를 포함하는 현재의 파일에 복사할 수 있다. 이상과 같이, 새로운 파일은 원래의 현실 세계 미디어 및 선택되는 AR 컨텐트를 사용하여 생성된다.

도 8은 본 발명의 일 실시예에 따른 디바이스의 동작을 나타낸 흐름도이다.

도 8을 참조하면, 과정 802에서 디바이스는 증강하고자 하는 현실 세계 미디어를 포함하는 파일에 액세스하고, 상기 파일에 포함된 초기 오브젝트 디스크립터에 따라 상기 파일 내의 장면 디스크립션 스트림 및 오브젝트 디스크립터 스트림을 검출한다. 과정 804에서 디바이스는 장면 디스크립션 스트림 내의 장면 디스크립션을 분석하고, 장면 디스크립션에 포함된 AR 노드의 정보를 획득한다. 즉 디바이스는 상기 AR 노드로부터, 가상 오브젝트가 어디서 언제 나타날 것 인지와 상기 가상 오브젝트와 현실 세계 미디어를 어떻게 혼합할 것인지를 설명하는 AR 로케이터의 정보를 검출할 수 있다.

과정 806에서 디바이스는 상기 AR 노드에 포함된 ObjectdescriptorID를 기반으로, 상기 오브젝트 디스크립터 스트림에서 상기 AR 노드에 대한 오브젝트 디스크립터를 검출한다. 상기 AR 노드에 연관되는 하나 이상의 AR 컨텐트가 존재할 경우, 과정 808에서 디바이스는 상기 오브젝트 디스크립터에 포함된 조건 정보 ConditionInfo로부터 상기 AR 노드에 연관되는 하나 이상의 AR 컨텐트의 관계 및 존재를 알 수 있다. 또한, 디바이스는 상기 AR 노드에 포함된 AR_content_ID를 기반으로 상기 AR 노드에 연관되는 하나 이상의 AR 컨텐트를 요구할 수도 있다.

과정 810에서 디바이스는 상기 연관된 하나 이상의 AR 컨텐트에 대한 오브젝트 디스크립터 정보가 현재의 파일 내에 존재하는지를 판단한다. 상기 오브젝트 디스크립터 정보가 일 예로 다른 제공자에 의해서 다른 파일에서 전달되는 경우, 과정 812에서 디바이스는 상기 오브젝트 디스크립터를 통해 해당 오브젝트 디스크립터를 액세스할 수 있는 어드레스인 URL과 OD_Info를 검출하고, 액세스하고자 하는 AR_Content_ID를 검출할 수 있다. 과정 814에서 디바이스는 상기 검출된 AR_Content_ID와 OD_info로부터, AR 컨텐트가 전달되는 각 오브젝트 디스크립터를 액세스하고 필요한 정보를 획득한 후 과정 818로 진행한다.

한편 상기 과정 810에서 상기 오브젝트 디스크립터 정보가 현재의 파일 내에서 전달되는 경우, 과정 816에서 디바이스는 현재 파일에서 상기 AR 컨텐트에 연관된 오브젝트 디스크립터 정보를 액세스한 후 과정 818로 진행한다. 과정 818에서 디바이스는 AR 컨텐트에 연관된 오브젝트 디스크립터 내의 엘리멘터리 스트림 디스크립터를 액세스하여 상기 엘리멘터리 스트림 디스크립터에 포함된 AR_Content_ID와 필요한 경우 URL 등을 획득한다.

과정 820에서 디바이스는 상기 AR 컨텐트가 현재 파일에서 전달되는지를 판단한다. 상기 AR 컨텐트가 다른 제공자에 의해 다른 파일에서 전달되는 경우, 과정 822에서 디바이스는 상기 엘리멘터리 디스크립터로부터 획득한 URL과 상기 AR 컨텐트를 포함하는 엘리멘터리 스트림을 지시하는 엘리멘터리 스트림 식별자 ES_ID를 기반으로 상기 AR 컨텐트를 액세스한다. 상기 AR 컨텐트가 현재의 파일에서 전달되고 있는 경우, 과정 824에서 디바이스는 상기 엘리멘터리 스트림 디스크립터로부터 획득한 ES_ID를 기반으로 상기 AR 컨텐트를 액세스한다. 과정 826에서 디바이스는 상기 AR 컨텐트 혹은 AR 컨텐트들의 집합 중에서 선택된 AR 컨텐트를 현실 세계 미디어에 증강시키고, 요구된 경우 가시화하여 사용자에게 보여준다.

도 9는 본 발명의 일 실시예에 따른 디바이스의 시스템 디코더 모델을 나타낸 블록도이다.

도시한 바와 같이, 시스템 디코더 모델은 역다중화기(905)와 복수의 디코딩 버퍼들 (decoding buffers: DBs)(910)과 복수의 오브젝트 디코더들(915)과 복수의 합성 메모리들 (composition memories: CBs)(920)과 합성기 (compositor)(925)를 포함한다. 여기에서 각 구성요소는 하나 혹은 그 이상의 프로세서로 구성될 수 있으며, 복수의 구성요소들이 하나의 프로세서로 구성될 수도 있다.

역다중화기(905)는 저장부(900)로부터 독출되거나 혹은 수신부(900)에 의해 서버로부터 유선/무선으로 수신된 적어도 하나의 파일의 파일 스트림들을 분석하여, 일련의 패킷들로 각각 구성된 장면 디스크립션 스트림과 오브젝트 디스크립터 스트림 및 미디어 스트림들로 분리한다. 분리된 스트림들은 대응하는 디코딩 버퍼들(910)에 저장된다.

오브젝트 디코더들(915)는 대응하는 디코딩 버퍼들(910)에 저장된 엘리멘터리 스트림들의 패킷들을 소정 디코딩 단위로 추출하여, 해당하는 미디어의 인코딩 방식에 따라 디코딩을 수행한다. 특히 특정 디코더는 장면 디스크립션 스트림에 포함된 장면 디스크립션을 분석하여, 앞서 설명된 본 발명의 실시예들 중 적어도 하나에 따라 AR 컨텐트들에 대한 정보를 검출한다. 적어도 하나의 오브젝트 디코더는 복수의 디코딩 버퍼들에 연결될 수 있다. 합성 메모리들(920)은 오브젝트 디코더들(915)에 의해 디코딩된 데이터를 소정의 합성 단위 (composition units)로 저장한다. 합성기(925)는 합성 메모리들(2020)에 저장된 데이터를 소정 기준에 따라 합성한다. 일 예로 합성기(2025)는 미디어 스트림으로부터 추출되고 디코딩된 현실세계 오브젝트에 AR 스트림으로부터 추출되고 디코딩된 가상 오브젝트를 증강하여 표시부(930)에 표시할 수 있다.

도 10은 본 발명의 일 실시예에 따른 파일 제공자의 구성을 나타낸 블록도이다.

도 10을 참조하면, 제공자 서버는 장면 디스크립션 스트림 생성기(1005)와 오브젝트 디스크립션 스트림 생성기(1010)를 포함한다. 추가적으로 제공자 서버는 오디오 혹은 시각 컨텐트에 대응하는 적어도 하나의 미디어 스트림 생성기(1015,1020)를 더 포함할 수 있다. 다른 실시예로서 미디어 스트림 생성기(1015,1020)는 별도의 서버에 위치하거나, 디바이스 내에 위치할 수도 있다.

스트림 생성기(1005,1010)는 앞서 설명된 본 발명의 실시예들 중 적어도 하나에 따른 장면 디스크립션을 포함하는 장면 디스크립션 스트림 및 오브젝트 디스크립터를 포함하는 오브젝트 디스크립터 스트림을 생성한다.

다중화기(1030)는 스트림 생성기(1005,1010)로부터의 장면 디스크립션 스트림 및 오브젝트 디스크립터 스트림과, 필요한 경우 미디어 스트림 생성기(1015,1020)로부터의 미디어 스트림들을 다중화하여 하나의 파일로 구성한 후, 저장부(1035)에 저장하거나, 요구된 경우 송신부(1035)에 의해 디바이스로 제공한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims

증강현실 (AR) 지원을 위한 데이터 처리 방법에 있어서,
장면 디스크립션 스트림과 오브젝트 디스크립션 스트림 및 현실 세계 미디어를 포함하는 시각 스트림을 적어도 포함하는 이미지 파일을 수신하는 과정과, 상기 장면 디스크립션 스트림은 상기 현실 세계 미디어에 증강될 수 있는 적어도 하나의 AR 컨텐트에 관련된 정보를 나타내는 AR 노드를 가지는 장면 디스크립션을 포함하며,
상기 AR 노드로부터, 상기 적어도 하나의 AR 컨텐트가 어디서 언제 나타날 지와 상기 현실 세계 미디어에 어떻게 증강할지를 설명하는 AR 로케이터 정보와 상기 적어도 하나의 AR 컨텐트를 설명하는 오브젝트 디스크립터 (OD)를 지시하는 오브젝트 디스크립터 식별자를 획득하는 과정과,
상기 오브젝트 디스크립터 식별자에 의해 지시된 상기 오브젝트 디스크립터 (OD)로부터, 상기 적어도 하나의 AR 컨텐트를 운반하는 엘리멘터리 스트림 (ES)에 각각 관련되며 상기 AR 컨텐트의 식별자를 포함하는 적어도 하나의 엘리멘터리 스트림 디스크립터 (ES_D)를 획득하는 과정과,
상기 적어도 하나의 엘리멘터리 스트림 디스크립터 (ES_D)에 근거하여 상기 적어도 하나의 AR 컨텐트를 운반하는 적어도 하나의 엘리멘터리 스트림을 액세스하는 과정과,
상기 적어도 하나의 AR 컨텐트 중 선택된 AR 컨텐트를 상기 현실 세계 미디어에 증강하여 출력하는 과정을 포함하며,
상기 엘리멘터리 스트림 디스크립터 (ES_D)는 상기 AR 컨텐트를 운반하는 엘리멘터리 스트림을 지시하는 엘리멘터리 스트림 식별자 (ES_ID)와 상기 AR 컨텐트를 지시하는 AR 컨텐트 식별자 (AR_Content_ID)를 포함하는 것을 특징으로 하는 데이터 처리 방법.
삭제
제 1 항에 있어서, 상기 AR 컨텐트가 다른 파일 내의 AR 스트림을 통해 운반되는 경우, 상기 엘리멘터리 스트림 디스크립터 (ES_D)는, 상기 AR 스트림의 위치를 지시하는 URL (uniform resource locator)과, 상기 AR 컨텐트에 대한 추가 정보를 포함하는 AR 조건 정보 (AR_Cont_Info)를 더 포함하는 것을 특징으로 하는 데이터 처리 방법.
제 1 항 또는 제 3 항에 있어서, 상기 오브젝트 디스크립터 (OD)는,
AR 컨텐트들의 집합에 대한 사용 조건을 지시하는 조건 정보를 더 포함하는 것을 특징으로 하는 데이터 처리 방법.
제 1 항에 있어서, 상기 AR 컨텐트와 상기 AR 컨텐트를 설명하는 AR 오브젝트 디스크립터 (AR OD)가 다른 하나의 파일을 통해 운반되는 경우,
상기 엘리멘터리 스트림 디스크립터 (ES_D)는, 상기 AR 오브젝트 디스크립터 (AR OD)를 운반하는 오브젝트 디스크립터 스트림의 위치를 지시하는 URL과, 상기 AR 오브젝트 디스크립터 (AR OD)에 대한 오브젝트 디스크립터 정보 (OD_Info)를 더 포함하며,
상기 AR 오브젝트 디스크립터 (AR OD)는, 상기 AR 컨텐트에 관련된 AR 엘리멘터리 스트림 디스크립터를 포함하고,
상기 AR 엘리멘터리 스트림 디스크립터는, 상기 AR 컨텐트를 운반하는 AR 스트림을 지시하는 엘리멘터리 스트림 식별자 (ES_ID)와, 상기 AR 컨텐트를 지시하는 AR 컨텐트 식별자 (AR_Content_ID)를 포함함을 특징으로 하는 데이터 처리 방법.
제 5 항에 있어서, 상기 오브젝트 디스크립터 (OD)는, 오브젝트 디스크립터들의 집합에 대한 사용 조건을 지시하는 오브젝트 디스크립터 조건 정보 (OD Condition Info)를 더 포함하며,
상기 AR 오브젝트 디스크립터 (AR OD)는, AR 컨텐트들의 집합에 대한 사용 조건을 지시하는 조건 정보를 더 포함하는 것을 특징으로 하는 데이터 처리 방법.
증강현실 (AR) 지원을 위한 데이터 처리 장치에 있어서,
장면 디스크립션 스트림과 오브젝트 디스크립션 스트림 및 현실 세계 미디어를 포함하는 시각 스트림을 적어도 포함하는 이미지 파일을 수신하는 수신기와, 상기 장면 디스크립션 스트림은 상기 현실 세계 미디어에 증강될 수 있는 적어도 하나의 AR 컨텐트에 관련된 정보를 나타내는 AR 노드를 가지는 장면 디스크립션을 포함하며,
상기 AR 노드로부터, 상기 적어도 하나의 AR 컨텐트가 어디서 언제 나타날 지와 상기 현실 세계 미디어에 어떻게 증강할지를 설명하는 AR 로케이터 정보와 상기 적어도 하나의 AR 컨텐트를 설명하는 오브젝트 디스크립터 (OD)를 지시하는 오브젝트 디스크립터 식별자를 획득하고, 상기 오브젝트 디스크립터 식별자에 의해 지시된 상기 오브젝트 디스크립터 (OD)로부터, 상기 적어도 하나의 AR 컨텐트를 운반하는 엘리멘터리 스트림 (ES)에 각각 관련되며 상기 AR 컨텐트의 식별자를 포함하는 적어도 하나의 엘리멘터리 스트림 디스크립터 (ES_D)를 획득하고, 상기 적어도 하나의 엘리멘터리 스트림 디스크립터 (ES_D)에 근거하여 상기 적어도 하나의 AR 컨텐트를 운반하는 적어도 하나의 엘리멘터리 스트림을 액세스하는 프로세서와,
상기 적어도 하나의 AR 컨텐트 중 선택된 AR 컨텐트를 상기 현실 세계 미디어에 증강하여 출력하는 표시부를 포함하며,
상기 엘리멘터리 스트림 디스크립터 (ES_D)는 상기 AR 컨텐트를 운반하는 엘리멘터리 스트림을 지시하는 엘리멘터리 스트림 식별자 (ES_ID)와 상기 AR 컨텐트를 지시하는 AR 컨텐트 식별자 (AR_Content_ID)를 포함하는 것을 특징으로 하는 데이터 처리 장치.
삭제
제 7 항에 있어서, 상기 AR 컨텐트가 다른 파일 내의 AR 스트림을 통해 운반되는 경우, 상기 엘리멘터리 스트림 디스크립터(ES_D)는, 상기 AR 스트림의 위치를 지시하는 URL (uniform resource locator)과, 상기 AR 컨텐트에 대한 추가 정보를 포함하는 AR 조건 정보(AR_Cont_Info)를 더 포함하는 것을 특징으로 하는 데이터 처리 장치.
제 7 항 또는 제 9 항에 있어서, 상기 오브젝트 디스크립터 (OD)는,
AR 컨텐트들의 집합에 대한 사용 조건을 지시하는 조건 정보를 더 포함하는 것을 특징으로 하는 데이터 처리 장치.
제 7 항에 있어서, 상기 AR 컨텐트와 상기 AR 컨텐트를 설명하는 AR 오브젝트 디스크립터(AR OD)가 다른 하나의 파일을 통해 운반되는 경우,
상기 엘리멘터리 스트림 디스크립터 (ES_D)는, 상기 AR 오브젝트 디스크립터 (AR OD)를 운반하는 오브젝트 디스크립터 스트림의 위치를 지시하는 URL과, 상기 AR 오브젝트 디스크립터 (AR OD)에 대한 오브젝트 디스크립터 정보 (OD_Info)를 더 포함하며,
상기 AR 오브젝트 디스크립터는, 상기 AR 컨텐트에 관련된 AR 엘리멘터리 스트림 디스크립터를 포함하고,
상기 AR 엘리멘터리 스트림 디스크립터는, 상기 AR 컨텐트를 운반하는 AR 스트림을 지시하는 엘리멘터리 스트림 식별자 (ES_ID)와, 상기 AR 컨텐트를 지시하는 AR 컨텐트 식별자 (AR_Content_ID)를 포함함을 특징으로 하는 데이터 처리 장치.
제 11 항에 있어서, 상기 오브젝트 디스크립터 (OD)는, 오브젝트 디스크립터들의 집합에 대한 사용 조건을 지시하는 오브젝트 디스크립터 조건 정보 (OD Condition Info)를 더 포함하며,
상기 AR 오브젝트 디스크립터(AR OD)는, AR 컨텐트들의 집합에 대한 사용 조건을 지시하는 조건 정보를 더 포함하는 것을 특징으로 하는 데이터 처리 장치.