KR20120113057A - 단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법 - Google Patents

단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법 Download PDF

Info

Publication number
KR20120113057A
KR20120113057A KR1020110030755A KR20110030755A KR20120113057A KR 20120113057 A KR20120113057 A KR 20120113057A KR 1020110030755 A KR1020110030755 A KR 1020110030755A KR 20110030755 A KR20110030755 A KR 20110030755A KR 20120113057 A KR20120113057 A KR 20120113057A
Authority
KR
South Korea
Prior art keywords
media
content
resolution
base level
generating
Prior art date
Application number
KR1020110030755A
Other languages
English (en)
Inventor
기명석
차지훈
이인재
임성용
박상현
이중윤
Original Assignee
한국전자통신연구원
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 에스케이플래닛 주식회사 filed Critical 한국전자통신연구원
Priority to KR1020110030755A priority Critical patent/KR20120113057A/ko
Priority to PCT/KR2012/002498 priority patent/WO2012138103A2/ko
Priority to US14/009,274 priority patent/US20140181879A1/en
Publication of KR20120113057A publication Critical patent/KR20120113057A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Abstract

본 발명은 MPEG LASeR(Lightweight Application Scene Representation)를 사용하여 리치미디어 콘텐츠 생성 시 사용자가 정한 콘텐츠 해상도와 다를 때 콘텐츠가 단말의 해상도에 맞게 적응적으로 재생하기 위한 단말 적응형 콘텐츠 생성 장치와 이를 재생하기 위한 재생 장치 및 방법에 관한 것이다.
이를 위하여 본 발명의 실시 예에 따른 단말 적응형 콘텐츠 생성 장치는 리치 미디어 콘텐츠를 기반으로 제 1 해상도를 갖는 기본 레벨 미디어를 생성한 후 제 1 해상도보다 순차적으로 높은 해상도를 갖는 적어도 하나 이상의 확장 레벨 미디어를 생성하는 미디어 생성부와, 미디어 생성부에서 생성된 기본 레벨 미디어와 확장 레벨 미디어에 접근할 수 있는 메타 데이터를 생성하는 메타 데이터 생성부와, 리치 미디어 콘텐츠에 대한 특징 정보를 생성하는 특징 정보 생성부를 포함하며, 특징 정보, 메타 데이터, 기본 레벨 미디어 및 적어도 하나 이상의 확장 레벨 미디어를 이용하여 구성된 리치 미디어 콘텐츠를 생성할 수 있다.

Description

단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법{TERMINALR ADAPTIVE CONTENTS GENERATING APPARATUS, CONTENTS PLAYING APPARATUS AND METHOD}
본 발명은 적응적 콘텐츠 제공 및 재생에 관한 것으로, 더욱 상세하게는 MPEG LASeR(Lightweight Application Scene Representation)를 사용하여 리치미디어 콘텐츠 생성 시 사용자가 정한 콘텐츠 해상도와 다를 때 콘텐츠가 단말의 해상도에 맞게 적응적으로 재생하기 위한 단말 적응형 콘텐츠 생성 장치와 이를 재생하기 위한 재생 장치 및 방법에 관한 것이다.
휴대 단말에서 멀티미디어 콘텐츠를 제공하기 위해 하나의 단일을 타겟으로 한 기존의 콘텐츠 저작 형태는 다양한 디스플레이 및 해상도를 지닌 휴대 멀티미디어 기기가 등장하고 있는 현시점에는 적당하지 않다.
이러한 이유로 하나의 콘텐츠로 여러 형태의 단말에 대응하기 위한 콘텐츠 저작 방법 및 방안이 널리 이용되고 있다. 현재 이를 위해 가장 널리 이용되고 있는 방법은 콘텐츠를 충분히 큰 해상도 사이즈로 제작한 후 단말기의 사양에 상관없이 디코딩 작업을 수행 한 후 낮은 해상도의 단말에 맞게 단지 렌더링 크기를 줄이는 방식이다.
그러나 이러한 방법은 고사양의 단말에서는 문제없이 동작하지만 저사양의 하드웨어를 가진 단말에서는 고해상도를 고려하여 생성된 콘텐츠를 디코딩 하기에는 무리가 따른다.
한편, 또 다른 방법으로는 서버 또는 기타 다른 툴을 이용하여 저작된 콘텐츠를 저사양 단말을 위한 형태로 변환 한다던가, 여러 개의 단말을 고려한 다양한 버전의 콘텐츠를 하나의 콘텐츠를 내에 포함하도록 저작한 후 이를 선택에 따른 분기 또는 기타 다른 방법에 따라 단말 성격에 맞는 콘텐츠를 재생하도록 하는 방법 등이 존재한다.
그러나 이러한 방법들은 동일한 여러 개의 동일한 버전을 준비해야 한다는 점에서 콘텐츠 관리 및 중복성에서 단점을 갖는다.
상기와 같은 필요성에 의해 안출된 것으로서, 본 발명의 목적은 MPEG LASeR를 이용한 리치미디어 콘텐츠 저작시 콘텐츠 내의 미디어 데이터들에 대한 단말 적응적 동작을 위해, 저해상도에 렌더링 될 미디어 데이터와 고해상도에 렌더링 될 미디어 데이터로 단계적으로 구성할 수 있는 단말 적응형 콘텐츠 생성 장치를 제공하는데 있다.
또한, 본 발명은 단계적 미디어로 구성된 콘텐츠를 단말 장치의 해상도에 의거하여 단계적 미디어 중 필요한 미디어만을 추출하여 재생할 수 있는 콘텐츠 재생 장치 및 방법을 제공하는데 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 본 발명의 실시 예에 따른 단말 적응형 콘텐츠 생성 장치는 리치 미디어 콘텐츠를 기반으로 제 1 해상도를 갖는 기본 레벨 미디어를 생성한 후 상기 제 1 해상도보다 순차적으로 높은 해상도를 갖는 적어도 하나 이상의 확장 레벨 미디어를 생성하는 미디어 생성부와, 상기 미디어 생성부에서 생성된 기본 레벨 미디어와 상기 확장 레벨 미디어에 접근할 수 있는 메타 데이터를 생성하는 메타 데이터 생성부와, 상기 리치 미디어 콘텐츠에 대한 특징 정보를 생성하는 특징 정보 생성부와, 상기 특징 정보, 메타 데이터, 기본 레벨 미디어 및 적어도 하나 이상의 확장 레벨 미디어를 이용하여 구성된 상기 리치 미디어 콘텐츠가 저장되어 있는 데이터베이스를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 단말 적응형 콘텐츠 생성 장치는 단말 장치의 리치 미디어 콘텐츠 요청에 따라 상기 단말 장치의 사양 정보에 의거하여 상기 요청한 리치 미디어 콘텐츠의 기본 레벨 미디어를 제공하거나 상기 기본 레벨 미디어와 적어도 하나 이상의 확장 레벨 미디어를 제공하는 콘텐츠 제공부를 더 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 단말 적응형 콘텐츠 생성 장치는 단말 장치의 콘텐츠 요청에 따라 상기 요청한 콘텐츠에 대응되는 메타 데이터와 특징 정보 및 기본 레벨 미디어만을 제공한 후 상기 단말 장치의 요청에 의거하여 확장 레벨 미디어를 선택적으로 제공하는 콘텐츠 제공부를 더 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따르면, 본 발명의 실시 예에 따른 콘텐츠 재생 장치는 콘텐츠 생성 장치에 요청하여 제공받은 콘텐츠를 로딩한 후 상기 로딩된 콘텐츠 내 미디어 정보와 단말 장치의 사양 정보에 의거하여 상기 로딩된 콘텐츠가 재생될 해상도를 결정하는 콘텐츠 분석부와, 상기 결정된 해상도에 의거하여 상기 로딩된 콘텐츠에 포함된 기본 레벨 미디어만을 로딩하거나, 상기 로딩된 콘텐츠에 포함된 기본 레벨 미디어와 적어도 하나 이상의 확장 레벨 미디어를 로딩하는 미디어 로딩부와, 상기 미디어 로딩부에서 로딩된 기본 레벨 미디어와 상기 적어도 하나 이상의 확장 레벨 미디어를 조합하여 조합 미디어를 생성하는 미디어 조합부와, 상기 기본 레벨 미디어 또는 상기 조합 미디어를 복호화하여 표시부에 디스플레이해주는 미디어 복호화부를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 콘텐츠 재생 장치에서 상기 콘텐츠 분석부는, 상기 콘텐츠 생성 장치로부터 요청한 콘텐츠에 대한 기본 레벨 미디어를 제공받아 로딩한 후 상기 기본 레벨 미디어의 정보와 상기 단말 장치의 사양 정보간의 비교를 통해 상기 콘텐츠가 재생될 해상도를 결정하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 콘텐츠 재생 장치에서 상기 미디어 로딩부는, 상기 결정된 해상도에 의거하여 상기 콘텐츠 생성 장치에 적어도 하나 이상의 확장 레벨 미디어를 요청하여 제공받는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따르면, 본 발명의 실시 예에 따른 콘텐츠 재생 장치은 단계적 미디어로 구성된 콘텐츠가 재생될 해상도를 결정하는 단계와, 상기 결정된 해상도에 의거하여 상기 콘텐츠의 단계적 미디어를 선택적으로 조합하여 조합 미디어를 생성하는 단계와, 상기 조합 미디어를 복호화하여 표시부에 재생하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 콘텐츠 재생 장치에서 상기 해상도를 결정하는 단계는, 상기 콘텐츠를 콘텐츠 생성 장치에 요청하여 제공받아 로딩하는 단계와, 상기 로딩된 콘텐츠의 정보와 단말 장치의 사양 정보간의 비교를 통해 상기 콘텐츠가 재생될 해상도를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 콘텐츠 재생 장치에서 상기 조합 미디어를 생성하는 단계는, 상기 결정된 해상도에 의거하여 상기 로딩된 콘텐츠에서 기본 레벨 미디어와 적어도 하나 이상의 확장 레벨 미디어를 추출한 후 상기 추출된 확장 레벨 미디어와 기본 레벨 미디어를 이용하여 상기 조합 미디어를 생성하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 콘텐츠 재생 장치에서 상기 해상도를 결정하는 단계는, 상기 콘텐츠의 단계적 미디어 중 기본 레벨 미디어와 그에 대한 정보를 상기 콘텐츠 생성 장치에 요청하여 제공받는 단계와, 상기 기본 레벨 미디어 및 그에 대한 정보와 단말 장치의 사양 정보간의 비교를 통해 상기 콘텐츠가 재생될 해상도를 결정하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 콘텐츠 재생 장치에서 상기 조합 미디어를 생성하는 단계는, 상기 결정된 해상도에 의거하여 상기 콘텐츠 재생에 필요한 적어도 하나 이상의 확장 레벨 미디어를 상기 콘텐츠 생성 장치에 요청하여 제공받는 단계와, 상기 제공받은 확장 레벨 미디어와 상기 기본 레벨 미디어를 이용하여 상기 조합 미디어를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명은 리치 미디어 콘텐츠를 단계적 미디어로 구성하여 데이터베이스 저장함으로써, 콘텐츠 재생 장치를 구비한 단말 장치의 사양별로 동일한 콘텐츠를 준비할 필요가 없기 때문에 콘텐츠 관리에 있어서 편의성을 제공할 수 있다.
또한, 본 발명은 리치 미디어 콘텐츠를 단계적 미디어로 구성하고, 단말 장치의 사양 정보에 의거하여 단계적 미디어의 조합을 통해 이를 재생함으로써, 데이터 중복이나 단말 장치의 부하를 줄일 수 있는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 리치 미디어 콘텐츠 제공 및 재생 장치가 적용된 전체 네트워크 구성도이며,
도 2는 본 발명의 실시 예에 따른 리치 미디어 콘텐츠를 단계적 미디어로 구성한 예를 도시한 도면이며,
도 3은 본 발명의 실시 예에 따른 리치 미디어 콘텐츠의 내부 구성을 도시한 도면이며,
도 4는 본 발명의 실시 예에 따른 리치 미디어 콘텐츠 재생 과정을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 실시 예에 따른 리치 미디어 콘텐츠 생성 및 재생 장치가 적용된 전체 네트워크 구성도로서, 크게 리치 미디어 콘텐츠 생성 장치(100), 통신망(150) 및 리치 미디어 콘텐츠 재생 장치(200) 등을 포함할 수 있다.
여기에서, 리치 미디어 콘텐츠는 리치 미디어 콘텐츠 재생 장치(200)의 최대 사양을 예상하여 생성되는 것으로, MPEG LASeR을 기반으로 생성될 수 있다. MPEG LASeR은 SVC 표준을 확장하여 멀티미디어 서비스에 필요한 규격을 추가한 모바일 리치미디어 표준이며, LASeR은 SVG를 기본적으로 사용하고 있기 때문에 그래픽 및 애니메이션 요소에 있어서 리치 미디어 콘텐츠 재생 장치(200), 예컨대 단말 장치의 해상도에 관계없이 자유롭게 확대 및 축소가 가능하다.
이러한 리치 미디어 콘텐츠 생성 장치(100)는 리치 미디어 콘텐츠 재생 장치(200)인 단말 장치의 해상도나 디스플레이 변경에 대응 가능한 단계적 리치 미디어를 생성하고, 생성된 단계적 리치 미디어를 이용하여 리치 미디어 콘텐츠 재생 장치(200)인 단말 장치에 제공할 수 있다.
본 발명의 실시 예에 따른 리치 미디어 콘텐츠 생성 장치(100)는, 도 1에 도시된 바와 같이, 미디어 생성부(102), 메타 데이터 생성부(104), 특징 정보 생성부(106), 콘텐츠 제공부(108) 및 데이터베이스(110) 등을 포함할 수 있다.
미디어 생성부(102)는 리치 미디어 콘텐츠 재생 장치(200)를 구비한 단말 장치의 해상도를 고려하여 리치 미디어 콘텐츠를 피라미드 계층 구조를 갖는 다수의 미디어로 재구성할 수 있다. 예를 들어, 리치 미디어 콘텐츠가 미디어 콘텐츠인 경우 도 2에 도시된 바와 같이 리치 미디어 콘텐츠를 기본 레벨 미디어(120)와 이를 더 큰 해상도에서 재생하기 위해 기본 레벨 미디어(120)에 추가될 제 1, 2 확장 레벨 미디어(122, 124)로 분리하여 구성할 수 있다. 여기에서, 기본 레벨 미디어(120)는 가장 저해상도에서 재생되는 것이며, 제 1, 2 확장 레벨 미디어(122, 124)는 기본 레벨 미디어(120)와 조합되어 재생될 수 있는 것으로, 기본 레벨 미디어(120)가 재생되는 해상도보다 높은 해상도에서 재생될 수 있다.
한편, 제 1, 2 확장 레벨 미디어(122, 124)는 기본 레벨 미디어(120)보다 순차적으로 높은 해상도를 가질 수 있으며, 기본 레벨 미디어(120)와 제 1 확장 레벨 미디어(122)의 조합을 통해 중간 해상도에서 재생될 수 있는 중간 레벨 미디어(130)가 생성될 수 있고, 중간 레벨 미디어(130)와 제 2 확장 레벨 미디어(122)의 조합을 통해 최고 해상도에서 재생될 수 있는 최고 레벨 미디어(140)가 생성될 수 있다.
메타 데이터 생성부(104)는 미디어 생성부(102)에서 생성된 각 단계별 미디어에 접근할 수 있는 메타 데이터를 생성하기 위한 것으로, 예를 들어 기본 레벨 미디어(120), 제 1, 2 확장 레벨 미디어(122, 124)에 접근할 수 있는 메타 데이터를 생성한 후 이를 소정 영역인 'ilco/iinf'에 저장할 수 있다. 즉, 단말 장치의 리치 미디어 콘텐츠 재생 장치(200)는 소정 영역을 통해 기본 레벨 미디어(120), 제 1, 2 확장 레벨 미디어(122, 124)에 접근하여 리치 미디어 콘텐츠를 재생할 수 있다.
특징 정보 생성부(106)는 리치 미디어 콘텐츠에 대한 특징 정보를 생성할 수 있는데, 즉 리치 미디어 콘텐츠에서 레이저 파일의 특징 정보와 일반 미디어의 특징 정보를 생성할 수 있다. 여기에서 특정 정보는 미디어 타입, 디코더 타입, 미디어 파일 크기, 관련 정보 등을 들 수 있다.
이러한 구성을 통해 리치 미디어 콘텐츠는 특징 정보, 메타 데이터, 단계별 미디어 형태로 데이터베이스(110)에 저장될 수 있다. 즉, 리치 미디어 콘텐츠는, 도 3에 도시된 바와 같이, 레이저 파일의 특징 정보와 미디어 파일의 특징 정보가 설정되어 있는 moov 영역(300), 리치 미디어 콘텐츠에 대한 LASeR 스트림과 레벨별 미디어가 저장되어 있는 mdat 영역(310) 및 메타 데이터가 저장되어 있는 meta 영역(320)으로 구성될 수 있다.
콘텐츠 제공부(108)는 단말 장치의 리치 미디어 콘텐츠 재생 장치(200)의 요청에 따라 단말 장치의 사양 정보에 의거하여 리치 미디어 콘텐츠의 기본 레벨 미디어(120)만을 제공하거나 기본 레벨 미디어(122)뿐만 아니라 제 1, 2 확장 레벨 미디어(122, 124) 중 적어도 하나 이상을 제공할 수 있다. 즉, 단말 장치가 단계적 미디어를 재생할 수 없는 경우에는 단말 장치에 기본 레벨 미디어(120)만을 제공하며, 단말 장치가 단계적 미디어를 재생할 수 있을 경우 단말 장치의 리치 미디어 콘텐츠 재생 장치(200)의 요청에 의거하여 제 1, 2 확장 레벨 미디어(122, 124) 중 적어도 하나 이상을 제공할 수 있다.
본 발명의 실시 예에 따른 리치 미디어 콘텐츠 생성 장치(100)에 따르면, 리치 미디어 콘텐츠를 단계적 미디어로 구성하여 데이터베이스(110)에 저장함으로써, 리치 미디어 콘텐츠 재생 장치(200)를 구비한 단말 장치의 사양별로 동일한 콘텐츠를 준비할 필요가 없기 때문에 콘텐츠 관리의 편의를 증진시킬 수 있다.
본 발명의 실시 예에서의 미디어는 이미지 데이터뿐만 아니라 비디오 및 오디오 데이터로 구성된 멀티미디어 스트림 등을 포함할 수 있다.
리치 미디어 콘텐츠 재생 장치(200)는 리치 미디어 콘텐츠를 통신망(150)을 통해 요청하여 재생하기 위한 것으로, 이를 위하여 콘텐츠 분석부(202), 미디어 로딩부(204), 미디어 조합부(206), 미디어 복호화부(208) 및 표시부(210) 등을 포함할 수 있다.
콘텐츠 분석부(202)는 리치 미디어 콘텐츠 생성 장치(100)로부터 제공받은 리치 미디어 콘텐츠의 mdat 영역(310) 내 LASeR 스트림을 추출한 후 리치 미디어 콘텐츠의 장면 크기 정보를 추출하고, 추출한 장면 크기 정보와 단말 장치의 사양 정보를 비교하여 리치 미디어 콘텐츠 재생 장치(200)에 의해 재생될 리치 미디어 콘텐츠의 해상도를 결정함과 더불어 리치 미디어 콘텐츠가 단계적 미디어를 포함하고 있는지의 여부 정보를 확인할 수 있다. 이와 같이 결정된 해상도와 단계적 미디어의 포함 여부에 대한 정보는 미디어 로딩부(204)에 제공될 수 있다. 여기에서, 단말 장치의 사양 정보는 단말 장치가 지원하는 해상도, 표시부(210)의 크기 등을 들 수 있다.
미디어 로딩부(204)는 리치 미디어 콘텐츠에 단계적 미디어가 포함되어 있을 경우 결정된 해상도를 기반으로 요청할 확장 레벨 미디어를 결정한 후 결정된 확장 레벨 미디어, 예컨대 제 1 확장 레벨 미디어(122)를 리치 미디어 콘텐츠 생성 장치(100)에 요청할 수 있다. 이에 따라, 미디어 로딩부(204)는 리치 미디어 콘텐츠 생성 장치(100)로부터 제 1 확장 레벨 미디어(122)를 제공받으며, 제공받은 제 1 확장 레벨 미디어(122)를 미디어 조합부(206)에 제공할 수 있다.
한편, 미디어 로딩부(204)는 리치 미디어 콘텐츠 재생 장치(200)에 로딩된 리치 미디어 콘텐츠에서 콘텐츠 분석부(202)에서 결정한 해상도에 의거하여 필요한 미디어를 추출할 수 있다.
미디어 조합부(206)는 기본 레벨 미디어(120)와 제 1 확장 레벨 미디어(122)를 조합하여 조합 미디어를 생성한 후 이를 미디어 복호화부(208)에 제공할 수 있다.
미디어 복호화부(208)는 조합 미디어의 해석을 통해 그래픽과 텍스트 데이터 등을 표시부(210)에 렌더링하여 재생시킬 수 있다.
상기와 같은 구성을 갖는 리치 미디어 콘텐츠 재생 장치(200)가 리치 미디어 콘텐츠를 재생하는 과정에 대해 도 4를 참조하여 설명한다.
도 4는 본 발명의 실시 예에 따른 리치 미디어 콘텐츠를 재생하는 과정을 도시한 흐름도이다.
도 4에 도시된 바와 같이, 먼저 리치 미디어 콘텐츠 재생 장치(200)는 사용자의 요청에 의거하여 리치 미디어 콘텐츠 생성 장치(100)에게 리치 미디어 콘텐츠를 요청하며, 이에 따라 리치 미디어 콘텐츠 생성 장치(100)의 콘텐츠 제공부(108)는 요청한 리치 미디어 콘텐츠, 즉 도 3에 도시된 바와 같은 구조를 갖는 리치 미디어 콘텐츠를 리치 미디어 콘텐츠 재생 장치(200)에 제공할 수 있다. 이에 따라, 리치 미디어 콘텐츠 재생 장치(200)의 콘텐츠 분석부(202)는 리치 미디어 콘텐츠 생성 장치(100)로부터 제공받은 리치 미디어 콘텐츠를 로딩(S400)한 후 로딩된 리치 미디어 콘텐츠의 mdat 영역(310)의 LASeR 스트림과 미디어를 분석(S402)하여 리치 미디어 콘텐츠의 장면 크기 정보를 추출하고, 추출한 장면 크기 정보와 단말 장치의 사양 정보, 예컨대 해상도 및 표시부(210)의 크기 등을 비교하여 리치 미디어 콘텐츠 재생 장치(200)에서 재생될 리치 미디어 콘텐츠의 해상도를 결정한다(S404).
그런 다음, 콘텐츠 분석부(202)는 리치 미디어 콘텐츠에 단계적 미디어가 포함되었는지의 여부를 판단한다(S406). 즉, 콘텐츠 분석부(202)는 리치 미디어 콘텐츠의 mdat 영역(310) 또는 meta 영역(320)의 정보를 분석하여 리치 미디어 콘텐츠 내에 단계적 미디어가 포함되어 있는지를 판단할 수 있다.
S406의 판단 결과, 단계적 미디어가 포함된 경우 미디어 로딩부(204)는 단계적 미디어 조합 기능을 온(S408)시킨 다음 결정된 해상도에 의거하여 리치 미디어 콘텐츠 재생 장치(200)에 로딩된 미디어 중 필요한 미디어만, 예컨대 기본 레벨 미디어(120)과 제 1 확장 레벨 미디어(122)만을 추출한 후 이를 미디어 조합부(206)에 제공할 수 있다.
이후, 미디어 조합부(206)는 기본 레벨 미디어(120)와 제공받은 제 1 확장 레벨 미디어(122)를 조합하여 조합 미디어를 생성하여 조합 미디어를 생성한다(S410).
그리고 나서, 미디어 복호화부(208)는 조합 미디어를 복호화하여 조합 미디어에 대한 그래픽, 텍스트 데이터 등을 표시부(210)에 디스플레이함으로써, 리치 미디어 콘텐츠 재생 장치(200)의 해상도에 맞는 리치 미디어 콘텐츠를 재생시킨다(S412, S414).
한편, S406의 판단 결과, 단계적 미디어가 포함되어 있지 않을 경우 미디어 로딩부(204)는 단계적 미디어 조합 기능을 오프(S416)시킨 다음 S412로 진행하여 리치 미디어 콘텐츠 생성 장치(100)로부터 제공받은 리치 미디어 콘텐츠를 재생시킨다.
본 발명의 실시 예에 따른 콘텐츠 재생 장치에서는 리치 미디어 콘텐츠에 대한 전체를 로딩하는 것으로 예를 들어 설명하였지만, 기본 레벨 미디어만을 먼저 로딩한 후에 결정된 해상도에 따라 확장 레벨 미디어를 요청하여 제공받을 수 있다. 다시말해서, 미디어 로딩부(204)는 콘텐츠 분석부(202)에서 결정된 해상도에 의거하여 제 1 또는 제 2 확장 레벨 미디어(122 또는 124)를 리치 미디어 콘텐츠 생성 장치(100)에 요청하여 제공받을 수 있다.
본 발명의 실시 예에 따르면, 리치 미디어 콘텐츠를 단계적 미디어로 구성하고, 단말 장치의 사양 정보에 의거하여 단계적 미디어의 조합을 통해 이를 재생함으로써, 데이터 중복이나 단말 장치의 부하를 줄일 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 예를 들어 당업자는 각 구성요소를 적용 분야에 따라 변경하거나, 개시된 실시형태들을 조합 또는 치환하여 본 발명의 실시예에 명확하게 개시되지 않은 형태로 실시할 수 있으나, 이 역시 본 발명의 범위를 벗어나지 않는 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것으로 한정적인 것으로 이해해서는 안 되며, 이러한 변형된 실시예들은 본 발명의 특허청구범위에 기재된 기술사상에 포함된다고 하여야 할 것이다.
본 발명의 실시 예에 따른 콘텐츠 생성 장치는 이동 통신 단말기와 같이 다양한 사양을 갖는 단말 장치에 제공될 콘텐츠를 관리하기 위한 기술로 이용될 수 있다.
또한, 본 발명의 실시 예에 따른 콘텐츠 재생 장치는 단계적 미디어로 구성된 콘텐츠를 재생하기 위한 기술로 이용될 수 있을 뿐만 아니라 단말 장치의 부하를 줄일 수 있는 기술로 이용될 수 있다.
100 : 리치 미디어 콘텐츠 생성 장치
102 : 미디어 생성부 104 : 메타 데이터 생성부
106 : 특징 정보 생성부 108 : 특징 정보 생성부
110 : 콘텐츠 제공부
200 : 리치 미디어 콘텐츠 재생 장치
202 : 콘텐츠 분석부 204 : 미디어 로딩부
206 : 미디어 조합부 208 : 미디어 복호화부
210 : 표시부

Claims (11)

  1. 리치 미디어 콘텐츠를 기반으로 제 1 해상도를 갖는 기본 레벨 미디어를 생성한 후 상기 제 1 해상도보다 순차적으로 높은 해상도를 갖는 적어도 하나 이상의 확장 레벨 미디어를 생성하는 미디어 생성부와,
    상기 미디어 생성부에서 생성된 기본 레벨 미디어와 상기 확장 레벨 미디어에 접근할 수 있는 메타 데이터를 생성하는 메타 데이터 생성부와,
    상기 리치 미디어 콘텐츠에 대한 특징 정보를 생성하는 특징 정보 생성부와,
    상기 특징 정보, 메타 데이터, 기본 레벨 미디어 및 적어도 하나 이상의 확장 레벨 미디어를 이용하여 구성된 상기 리치 미디어 콘텐츠가 저장되어 있는 데이터베이스를 포함하는 것을 특징으로 하는
    단말 적응형 콘텐츠 생성 장치.
  2. 제 1 항에 있어서,
    상기 단말 적응형 콘텐츠 생성 장치는,
    단말 장치의 리치 미디어 콘텐츠 요청에 따라 상기 단말 장치의 사양 정보에 의거하여 상기 요청한 리치 미디어 콘텐츠의 기본 레벨 미디어를 제공하거나 상기 기본 레벨 미디어와 적어도 하나 이상의 확장 레벨 미디어를 제공하는 콘텐츠 제공부를 더 포함하는 것을 특징으로 하는
    단말 적응형 콘텐츠 생성 장치.
  3. 제 1 항에 있어서,
    상기 단말 적응형 콘텐츠 생성 장치는,
    단말 장치의 콘텐츠 요청에 따라 상기 요청한 콘텐츠에 대응되는 메타 데이터와 특징 정보 및 기본 레벨 미디어만을 제공한 후 상기 단말 장치의 요청에 의거하여 확장 레벨 미디어를 선택적으로 제공하는 콘텐츠 제공부를 더 포함하는 것을 특징으로 하는
    단말 적응형 콘텐츠 생성 장치.
  4. 콘텐츠 생성 장치에 요청하여 제공받은 콘텐츠를 로딩한 후 상기 로딩된 콘텐츠 내 미디어 정보와 단말 장치의 사양 정보에 의거하여 상기 로딩된 콘텐츠가 재생될 해상도를 결정하는 콘텐츠 분석부와,
    상기 결정된 해상도에 의거하여 상기 로딩된 콘텐츠에 포함된 기본 레벨 미디어만을 로딩하거나, 상기 로딩된 콘텐츠에 포함된 기본 레벨 미디어와 적어도 하나 이상의 확장 레벨 미디어를 로딩하는 미디어 로딩부와,
    상기 미디어 로딩부에서 로딩된 기본 레벨 미디어와 상기 적어도 하나 이상의 확장 레벨 미디어를 조합하여 조합 미디어를 생성하는 미디어 조합부와,
    상기 기본 레벨 미디어 또는 상기 조합 미디어를 복호화하여 표시부에 디스플레이해주는 미디어 복호화부를 포함하는 것을 특징으로 하는
    콘텐츠 재생 장치.
  5. 제 4 항에 있어서,
    상기 콘텐츠 분석부는,
    상기 콘텐츠 생성 장치로부터 요청한 콘텐츠에 대한 기본 레벨 미디어를 제공받아 로딩한 후 상기 기본 레벨 미디어의 정보와 상기 단말 장치의 사양 정보간의 비교를 통해 상기 콘텐츠가 재생될 해상도를 결정하는 것을 특징으로 하는
    콘텐츠 재생 장치.
  6. 제 5 항에 있어서,
    상기 미디어 로딩부는,
    상기 결정된 해상도에 의거하여 상기 콘텐츠 생성 장치에 적어도 하나 이상의 확장 레벨 미디어를 요청하여 제공받는 것을 특징으로 하는
    콘텐츠 재생 장치.
  7. 단계적 미디어로 구성된 콘텐츠가 재생될 해상도를 결정하는 단계와,
    상기 결정된 해상도에 의거하여 상기 콘텐츠의 단계적 미디어를 선택적으로 조합하여 조합 미디어를 생성하는 단계와,
    상기 조합 미디어를 복호화하여 표시부에 재생하는 단계를 포함하는 것을 특징으로 하는
    콘텐츠 재생 방법.
  8. 제 7 항에 있어서,
    상기 해상도를 결정하는 단계는,
    상기 콘텐츠를 콘텐츠 생성 장치에 요청하여 제공받아 로딩하는 단계와,
    상기 로딩된 콘텐츠의 정보와 단말 장치의 사양 정보간의 비교를 통해 상기 콘텐츠가 재생될 해상도를 결정하는 단계를 포함하는 것을 특징으로 하는
    콘텐츠 재생 방법.
  9. 제 8 항에 있어서,
    상기 조합 미디어를 생성하는 단계는,
    상기 결정된 해상도에 의거하여 상기 로딩된 콘텐츠에서 기본 레벨 미디어와 적어도 하나 이상의 확장 레벨 미디어를 추출한 후 상기 추출된 확장 레벨 미디어와 기본 레벨 미디어를 이용하여 상기 조합 미디어를 생성하는 것을 특징으로 하는
    콘텐츠 재생 방법.
  10. 제 7 항에 있어서,
    상기 해상도를 결정하는 단계는,
    상기 콘텐츠의 단계적 미디어 중 기본 레벨 미디어와 그에 대한 정보를 상기 콘텐츠 생성 장치에 요청하여 제공받는 단계와,
    상기 기본 레벨 미디어 및 그에 대한 정보와 단말 장치의 사양 정보간의 비교를 통해 상기 콘텐츠가 재생될 해상도를 결정하는 단계를 포함하는 것을 특징으로 하는
    콘텐츠 재생 방법.
  11. 제 10 항에 있어서,
    상기 조합 미디어를 생성하는 단계는,
    상기 결정된 해상도에 의거하여 상기 콘텐츠 재생에 필요한 적어도 하나 이상의 확장 레벨 미디어를 상기 콘텐츠 생성 장치에 요청하여 제공받는 단계와,
    상기 제공받은 확장 레벨 미디어와 상기 기본 레벨 미디어를 이용하여 상기 조합 미디어를 생성하는 단계를 포함하는 것을 특징으로 하는
    콘텐츠 재생 방법.
KR1020110030755A 2011-04-04 2011-04-04 단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법 KR20120113057A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110030755A KR20120113057A (ko) 2011-04-04 2011-04-04 단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법
PCT/KR2012/002498 WO2012138103A2 (ko) 2011-04-04 2012-04-03 단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법
US14/009,274 US20140181879A1 (en) 2011-04-04 2012-04-03 Device-adaptable contents generation device, contents Device-adaptable contents generation device, contents reproduction device, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110030755A KR20120113057A (ko) 2011-04-04 2011-04-04 단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120113057A true KR20120113057A (ko) 2012-10-12

Family

ID=46969664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110030755A KR20120113057A (ko) 2011-04-04 2011-04-04 단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법

Country Status (3)

Country Link
US (1) US20140181879A1 (ko)
KR (1) KR20120113057A (ko)
WO (1) WO2012138103A2 (ko)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7830965B2 (en) * 2004-01-14 2010-11-09 Sony Ericsson Mobile Communications Ab Multimedia distributing and/or playing systems and methods using separate resolution-enhancing supplemental data
KR100686521B1 (ko) * 2005-09-23 2007-02-26 한국정보통신대학교 산학협력단 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
US8996589B2 (en) * 2006-11-14 2015-03-31 Accenture Global Services Limited Digital asset management data model
KR100982111B1 (ko) * 2007-11-20 2010-09-14 에스케이 텔레콤주식회사 리치 미디어 전송 시스템 및 그 제어방법
US8208006B2 (en) * 2008-04-10 2012-06-26 Research In Motion Limited Method and system for progressive delivery and synchronization of discrete content in rich media services
KR20100036156A (ko) * 2008-09-29 2010-04-07 삼성전자주식회사 리치미디어 서비스를 제공하는 방법 및 장치

Also Published As

Publication number Publication date
US20140181879A1 (en) 2014-06-26
WO2012138103A2 (ko) 2012-10-11
WO2012138103A3 (ko) 2013-01-10

Similar Documents

Publication Publication Date Title
CN106257930B (zh) 生成内容的动态时间版本
US20060274835A1 (en) Method and apparatus for coding information
US8265457B2 (en) Proxy editing and rendering for various delivery outlets
CN110463210A (zh) 用于生成媒体数据的方法
US8612623B2 (en) Protection of delivered media
US20170180788A1 (en) Method for video image switch and electronic device
JP2004287595A (ja) 複合メディアコンテンツの変換装置及び変換方法並びに複合メディアコンテンツ変換プログラム
US9313084B2 (en) Systems and methods for client-side media chunking
US10319411B2 (en) Device and method for playing an interactive audiovisual movie
CN110913278B (zh) 视频播放方法、显示终端及存储介质
CN111131848A (zh) 一种视频直播数据处理方法、客户端及服务器
KR20170063860A (ko) 홍보 정보의 처리방법, 장치, 디바이스 및 비휘발성 컴퓨터 저장매체
WO2021065277A1 (ja) 情報処理装置、再生処理装置及び情報処理方法
CN117178557A (zh) 用于场景中的定时和事件触发更新的方法和装置
CN104219555A (zh) 一种安卓系统终端中的视频显示装置和方法
CN101770371A (zh) 应用主题内容预览方法及装置
US20180225289A1 (en) Audio/video file playback method and audio/video file playback apparatus
JP2016072858A (ja) メディアデータ生成方法、メディアデータ再生方法、メディアデータ生成装置、メディアデータ再生装置、コンピュータ読み取り可能な記録媒体、及びプログラム
KR20120113057A (ko) 단말 적응형 콘텐츠 생성 장치, 콘텐츠 재생 장치 및 방법
US9078049B2 (en) Protection of internet delivered media
KR20110107802A (ko) 상이한 대상 플랫폼들에 대한 미디어 이식성 및 호환성
KR20110007383A (ko) 개인화 동영상 제공 장치 및 방법
US7881368B2 (en) Method for parsing the size of contents to be reproduced in a mobile communication device
WO2021002142A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
Dufourd LASeR: The lightweight rich media representation standard [Standards in a Nutshell]

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal