KR20140047482A - 미디어 정보 송수신 방법 및 장치 - Google Patents

미디어 정보 송수신 방법 및 장치 Download PDF

Info

Publication number
KR20140047482A
KR20140047482A KR1020120113841A KR20120113841A KR20140047482A KR 20140047482 A KR20140047482 A KR 20140047482A KR 1020120113841 A KR1020120113841 A KR 1020120113841A KR 20120113841 A KR20120113841 A KR 20120113841A KR 20140047482 A KR20140047482 A KR 20140047482A
Authority
KR
South Korea
Prior art keywords
media
information
terminals
exchange
area
Prior art date
Application number
KR1020120113841A
Other languages
English (en)
Other versions
KR101959820B1 (ko
Inventor
류영선
김규헌
조민우
송재연
유성열
박광훈
서덕영
Original Assignee
삼성전자주식회사
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020120113841A priority Critical patent/KR101959820B1/ko
Application filed by 삼성전자주식회사, 경희대학교 산학협력단 filed Critical 삼성전자주식회사
Priority to RU2015117516A priority patent/RU2627032C2/ru
Priority to ES13846199T priority patent/ES2749691T3/es
Priority to MX2015004602A priority patent/MX352888B/es
Priority to JP2015536719A priority patent/JP6516675B2/ja
Priority to EP13846199.1A priority patent/EP2907314B1/en
Priority to CN201380053379.6A priority patent/CN104737544B/zh
Priority to CA2888004A priority patent/CA2888004C/en
Priority to PCT/KR2013/009150 priority patent/WO2014058284A1/en
Priority to AU2013330543A priority patent/AU2013330543B2/en
Priority to US14/054,293 priority patent/US20140104367A1/en
Publication of KR20140047482A publication Critical patent/KR20140047482A/ko
Priority to US14/944,595 priority patent/US10271011B2/en
Application granted granted Critical
Publication of KR101959820B1 publication Critical patent/KR101959820B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43079—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on multiple devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8355—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed
    • H04N21/83555—Generation of protective data, e.g. certificates involving usage data, e.g. number of copies or viewings allowed using a structured language for describing usage rules of the content, e.g. REL
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8543—Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window

Abstract

본 발명은 멀티미디어 서비스에 장면 구성 정보를 적용하는데 장면 구성 정보와 함께 서비스의 초기화 정보를 제공하고, 미디어의 연속성을 유지하며 장면의 전체 혹은 일부를 전환하는 방법에 관한 것이다.
본 발명은 멀티미디어 서비스에 장면 구성 정보를 적용하는데 장면 구성 정보와 함께 단말간 미디어 교환을 위한 정보를 제공하고, 미디어 교환에 따른 시점 정보를 이벤트를 통해 제공하며, 미디어 교환을 위해 단말간에 주고받는 정보를 정의하는 방법에 관한 것이다.
기존의 장면 구성 정보는 장면 구성 정보만을 제공하므로 단말간의 미디어 교환을 지원하기 위해서는 두 서비스가 서로 다른 어플리케이션을 통해 제공되어야 하므로 단말의 부화를 초래할 수 있고, 하나의 화면에 표시되는 두 서비스에 따라 나타날 수 있는 시청 시, 미디어의 부조화는 서비스의 질과 사용자 경험을 저하 시킬 수 있다.
따라서 본 발명은 멀티미디어의 서비스에 장면 구성 정보와 단말간 미디어 교환에 필요한 정보를 함께 제공하는데 있어서, 하나 이상의 미디어에 대한 타 단말의 재생의 허용 여부를 제공하고, 타 단말에서의 재생이 허용되는 하나 이상의 미디어에 대한 서비스 종류 정보를 제공하며, 단말간 미디어 교환을 통해 전달받은 하나 이상의 미디어를 위한 시공간 정보를 제공하는 한편, 단말간 미디어 교환을 위해 미디어의 자원정보 및 장면 구성 정보를 전달하는 하면서, 전달하는 미디어의 획득과 반환 시, 양 단말에서 발생하는 이벤트를 정의하는 방법에 관한 것이다.

Description

미디어 정보 송수신 방법 및 장치{METHOD AND APPARATUS FOR TRNAMSMITTING AND RECEIVING MEDIA INFORMATION}
본 발명은 멀티미디어 서비스에 있어서, 단말간에 하나 이상의 미디어를 교환하는 방법 및 장치에 관한 것이다. 보다 구체적으로 본 발명은 하나 이상의 미디어를 타 단말에서 재생하기 위해 미디어 교환과 관련된 속성을 장면 구성 정보를 통해 제공하는 방법과, 미디어 획득 및 반환 시점을 제공하기 위한 이벤트를 정의하는 방법과, 미디어의 자원 정보 및 장면 구성 정보를 전달하는 방법 및 장치에 관한 것이다.
최근 스마트폰의 확산과 함께 태블릿 PC가 등장하였고 스마트 TV까지 가세하여 스마트 미디어 환경이 조성되고 있다. 스마트폰을 필두로 시작된 스마트 기기의 발전은 기존의 TV와 모바일로 이어지던 3-스크린 환경에서 스마트 TV와 태블릿 PC, 클라우딩 컴퓨팅 등의 스크린의 변화로 멀티스크린(Multi-Screen) 이용을 활성화시키면서 크로스 미디어 환경을 실현하였다. 스마트 미디어의 성장과 클라우드 컴퓨팅의 본격화와 통신 환경의 변화로 본격적인 멀티스크린 서비스가 시작될 전망이다.
멀티스크린 서비스란, 하나 이상의 미디어를 스마트폰, PC, 스마트 TV, 태블릿 PC 등 다양한 단말에서 교환할 수 있는 차세대 컴퓨팅ㆍ네트워크 서비스를 말한다. 이러한 멀티스크린 서비스는 장소에 구애 받지 않고 미디어를 사용할 수 있도록 할 뿐만 아니라, 다수의 단말을 이용하여 다양한 미디어를 동시에 사용할 수 있도록 한다.
이와 같은 멀티스크린 서비스는 다수의 미디어를 다수의 단말이 동시에 사용한다는 점, 공유된 미디어에 대한 스크린 상의 배치가 필요하다는 점을 고려해 볼 때 장면 구성 정보와 유사한 측면이 존재한다. 따라서 장면 구성 정보와 함께 멀티스크린 서비스를 위한 단말간 미디어 교환 방법을 제공하는 것이 필요하다.
장면 구성 정보와 멀티스크린 정보를 각각 제공한다는 것은 두 서비스가 서로 다른 어플리케이션을 통해 제공된다는 것을 의미하며, 다음과 같은 두 가지 문제점을 초래할 수 있다. 첫째로 서로 다른 서비스를 동시에 제공함으로써 단말에 부화를 초래할 수 있다. 둘째로 하나의 화면에 표시되는 두 개의 서비스를 사용자가 시청하는 경우, 미디어의 부조화는 서비스의 질과 사용자 경험을 저하 시킬 수 있다.
본 발명은 미디어 정보 송수신 방법 및 장치를 제안한다.
또한 본 발명은 장면 구성 정보를 사용하여 단말간 미디어 교환 방법 및 장치를 제안한다.
상기와 같은 문제를 해결하기 위한 본 발명에서 제안하는 방법은; 제1단말이 미디어 정보를 송신하는 방법에 있어서, 제2단말로부터 상기 제1단말에서 재생 중인 제1미디어의 재생을 허락할 것을 요청하는 요청 메시지를 수신하는 과정과, 상기 제1미디어의 재생을 위한 정보를 장면 구성 정보에 포함시켜 상기 제2단말로 송신하는 과정을 포함하며, 상기 장면 구성 정보는 상기 제1미디어가 재생될 화면 상의 위치 정보 및 상기 제1미디어의 재생 시간에 대한 정보를 포함함을 특징으로 한다.
상기와 같은 문제를 해결하기 위한 본 발명에서 제안하는 다른 방법은; 제2단말이 미디어 정보를 수신하는 방법에 있어서, 제1단말에서 재생 중인 제1미디어의 재생을 허락할 것을 요청하는 요청 메시지를 상기 제1단말로 송신하는 과정과, 상기 제1단말로부터 상기 제1미디어의 재생을 위한 정보를 포함하는 장면 구성 정보를 수신하는 과정을 포함하며, 상기 장면 구성 정보는 상기 제1미디어가 재생될 화면 상의 위치 정보 및 상기 제1미디어의 재생 시간에 대한 정보를 포함함을 특징으로 한다.
본 발명에 따른 장면 구성 정보를 사용하여 단말간 미디어 교환을 위해 필요한 정보를 제공하는 기술은 장면 구성 서비스와 멀티스크린 서비스를 하나의 어플리케이션으로 제공할 수 있는 기반이 되며, 두 서비스 사이에 중첩되는 기능 들의 중복된 사용을 줄이는데 유용하게 사용될 수 있다.
도 1은 본 발명의 실시 예에 따른 CI에 따른 화면상의 Area의 배치를 나타낸 도면,
도 2는 본 발명의 실시 예에 따른 단말간의 미디어 교환을 통해 나타날 수 있는 제1서비스의 예를 보인 도면,
도 3은 본 발명의 실시 예에 따른 단말간의 미디어 교환을 통해 나타날 수 있는 제2서비스의 예를 보인 도면,
도 4는 본 발명의 실시 예에 따른 단말간의 미디어 교환을 통해 나타날 수 있는 제3서비스의 예를 보인 도면,
도 5는 본 발명의 실시 예에 따른 단말간의 미디어 교환을 통해 나타날 수 있는 제4서비스의 예를 보인 도면,
도 6a 및 도 6b는 본 발명의 실시 예에 따른 장면 구성 정보를 이용한 단말간 미디어 교환의 예를 통해 서비스 수행 과정을 나타낸 도면,
도 7은 본 발명의 실시 예에 따른 단말의 블록 구성도.
이하 첨부된 도면을 참조하여 본 발명의 동작 원리를 상세히 설명한다. 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
이하 본 발명의 바람직한 실시 예들을 첨부한 도면을 참조하여 상세히 설명한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명의 실시 예에서는 XML을 사용하는 장면 구성 정보를 통한 서비스에 대해 설명한다. 하지만, 본 발명의 실시 예는 장면 구성 정보를 통한 서비스에만 한정되어 사용될 필요는 없고, 다양한 멀티미디어를 복합적으로 구성하여 서비스를 제공하는 모든 분야에 적용될 수 있다.
본 발명의 실시 예에서 제안하는 장면 구성 정보는 다양한 미디어의 시공간 정보와 요소들 간의 연관 관계를 설명하기 위한 정보를 포함한다. 이하에서는 장면 구성 정보를 CI(Composition Information)로 정의하고, 하나의 미디어를 Asset(XML상에서 미디어의 종류에 따라 video, audio, img 등으로 표시) 으로 정의하고, 여러 Asset 각각의 속성정보에 대한 나열을 LoA(List of Asset)로 정의하고, Asset 하나의 속성정보를 AI(Asset Information)로 정의하고, Asset의 자원정보를 src로 정의하고, 장면을 view로 정의하고, 하나 이상의 Asset들을 시공간에 관하여 독립적으로 구성한 Asset들의 집합을 Area(XML상에서 div로 표시) 로 정의하고, 하나의 Area를 화면상에 배치하기 위한 view의 일부 영역을 divLocation로 정의하고, LoA와 AI와 view와 divLocation 관련 정보의 집합을 head 로 정의하고, Area 관련 정보의 집합을 body로 정의하여 설명하기로 한다.
그리고 Asset과 view와 Area와 divLocation에 대한 공간정보는 width(너비), height(높이), left(좌측여백), top(상단여백), z-index(공간상의 중첩 시, 재생 우선순위)로 정의하여 설명하기로 한다. Asset과 view와 Area와 divLocation에 대한 시간정보는 begin(재생시작시간), end(재생중단시간), dur(재생기간)으로 정의하여 설명한다. 또한 미디어의 단말간 교환을 나타내기 위해 미디어를 타 단말에게 전달하는 단말을 기본 디바이스(이하 'primary device'라 칭함)로 정의하고, 미디어를 타 단말로부터 전달받는 단말을 부가 디바이스(이하 'secondary device'라 칭함)로 정의한다.
이하에서는 CI를 사용하여 단말간 미디어 교환에 필요한 정보를 제공하는데 있어서, 하나 이상의 미디어에 대한 타 단말의 재생의 허용 여부를 제공하는 방법과, 타 단말에서의 재생이 허용되는 하나 이상의 미디어에 대한 서비스 종류 정보를 제공하는 방법과, 단말간 미디어 교환을 통해 전달받은 하나 이상의 미디어를 위한 시공간 정보를 제공하는 방법과, 단말간 미디어 교환을 위해 미디어의 자원정보 및 장면 구성 정보를 전달하는 방법과, 전달하는 미디어의 획득과 반환시, 양 단말에서 발생하는 이벤트를 정의하는 방법에 대해 설명한다.
표 1은 primary device를 위한 CI의 일 예를 나타낸 표이다.
Figure pat00001
표 1에 나타난 바와 같이, CI는 XML 형태로 구성될 수 있다. 일 예로서, 표 1의 CI는 3개의 비디오 Asset이 존재하고, 3개의 div가 각 Asset을 시공간에 관하여 독립적으로 구성되어 있으며, 2개의 div가 divLocation에 의해 view에 배치되어 있음을 보이고 있다.
도 1은 본 발명의 실시 예에 따른 표 1의 CI에 따른 화면상의 Area의 배치를 나타낸 도면이다. 표 1의 CI에 따라, 3개의 비디오 Asset 중 view에 배치된 video 1을 포함하는 Area 1(100)과 video 2를 포함하는 Area 2 (120)가 화면 상에 배치된다.
표 2는 단말간의 미디어 교환을 제공하기 위해, 표 1의 CI에 secondary device에 대한 재생을 제한하는 정보가 추가된 예를 나타낸 표이다.
Figure pat00002
Area는 하나 이상의 Asset을 묶을 수 있어 secondary device에 다수의 Asset을 전달하는데 용이하다. 따라서, Area는 Asset의 전달 단위로 사용된다. divLocation은 Area를 화면상에 배치할 때 특성을 제공하므로 미디어 교환에 대한 정보도 함께 제공한다. 표 2에 추가된 정보 (plungeOut="disable")에 의해 "divL1"의 divLocation이 지시하는 Area1은 secondary device에 대한 재생이 제한된다.
도 2는 본 발명의 실시 예에 따른 단말간의 미디어 교환을 통해 나타날 수 있는 제1서비스 예를 보인 도면이다. 도 2에서는 primary device에서는 재생되지 않은 video 3 (Area 3(200)에 표시됨)이 미디어 교환을 통해 secondary device에서 재생되는 일 예를 보이고 있다.
표 3은 단말간의 미디어 교환을 제공하기 위해, 표 1의 CI에 도 2에 도시된 바와 같은 서비스를 제공할 수 있도록 하는 정보가 추가된 예를 나타낸 표이다.
Figure pat00003
표 3과 같이 CI에 추가된 정보(plungeOut= "complementary")에 따라, 존재하였으나 divLocation에 의해 view에 나타나지 않았던 Area3를 새로운 divLocation을 통해 미디어 교환에 대한 정보를 제공함으로써 primary device의 재생은 제한되나 secondary device의 재생은 허용될 수 있다.
도 3은 본 발명의 실시 예에 따른 단말간의 미디어 교환을 통해 나타날 수 있는 제2서비스의 예를 보인 도면이다. primary device에서 재생되는 미디어는 secondary device에서도 함께 재생될 수 있다. 도 3에서는 primary device의 Area 2(120)와 secondary device의 Area 2(300)에서 각각 video 2가 동시에 재생되는 것을 나타내고 있다.
표 4는 단말간의 미디어 교환을 제공하기 위해, 표 1의 CI에 도 3에 도시된 바와 같은 서비스를 제공할 수 있도록 하는 정보가 추가된 예를 나타낸 표이다.
Figure pat00004
표 4와 같이 CI에 추가된 정보(plungeOut= "sharable")에 따라, divLocation에 미디어 교환에 대한 정보를 제공함으로써 primary device와 secondary device에서 video 2가 동시에 재생되는 것이 허용된다.
도 4는 본 발명의 실시 예에 따른 단말간의 미디어 교환을 통해 나타날 수 있는 제3서비스의 예를 보인 도면이다. primary device에서 재생되던 미디어는 secondary device로 전달되어 재생될 수 있다. 도 4에서는 primary device의 Area 2(120)에서 재생되던 video 2가 secondary device의 Area 2(400)에서 재생되는 것을 나타내고 있다. video 2가 secondary device의 Area 2(400)에서 재생되는 경우, primary device에 남겨진 Area 1(400)은 새로운 공간 정보를 통해 재배치 될 수 있다.
표 5는 단말간의 미디어 교환을 제공하기 위해, 표 1의 CI에 도 4에 도시된 바와 같은 서비스를 제공할 수 있도록 하는 정보가 추가된 예를 나타낸 표이다.
Figure pat00005
표 5와 같이 CI에 divLocation에 미디어 교환에 대한 정보가 포함됨으로써 secondary device에 미디어가 전달되어 재생되는 것이 허용된다. 여기서 primary device에 남겨진 Area 1에 새로운 공간 정보를 할당하기 위해 단말간 미디어 교환이 발생한 시점 정보가 필요하다. 이러한 정보를 제공하기 위해 단말간 미디어 교환 시, 미디어의 획득과 반환 시점에 대한 이벤트가 정의될 수 있다.
Area 1에 표시되는 video 1은 "divL1"의 divLocation을 통해서 0초부터 재생을 시작하여, Area 2에 표시되는 video 2가 secondary device로 이동했을 때부터 정의된 이벤트에 의하여 "divL2"의 divLocation에 의해 새로운 위치에서 계속 재생된다. 그리고 video 1은 다시 video 2가 primary device로 반환되었을 때, 정의된 이벤트에 의하여 "divL1"의 divLocation 위치로 돌아와 계속 재생된다.
도 5는 본 발명의 실시 예에 따른 단말간의 미디어 교환을 통해 나타날 수 있는 제4서비스의 예를 보인 도면이다. 도 5에서는 secondary device에서 CI가 사용 중인 상황에서 Area (일 예로, The 1st received Area (540) 및 The second received Area)가 전달된 경우를 나타낸다. 전달된 Area에 따라 secondary device의 특정 위치에서 재생되며, 기존에 존재하던 Area 1(500)은 새로운 공간정보를 통해 새로운 위치(520)에 재배치 된다.
표 6은 도 5의 서비스를 제공할 수 있도록 미디어 교환 관련 정보를 추가한 secondary device가 사용 중인 CI의 일 예를 나타낸 표이다.
Figure pat00006
Area1은 View1의 divLocation에 의해 0초부터 재생된다. 미디어 교환을 통해 Area정보가 전달되면 이벤트에 의해 View1이 종료되고 View2가 재생된다. View2의 "divL2"의 divLocation에 의해 Area1은 새로운 위치에서 계속 재생된다. View2의 "divL3"의 divLocation은 미디어 교환에 대한 정보로 추가된 속성을 통해 빈 Area로 결정되며 속성의 값에 따라 첫 번째로 전달된 Area가 재생되는 영역이 된다. View2의 "divL4"의 divLocation 또한 빈 Area로 결정되며, 속성의 값에 따라 두 번째로 전달된 Area가 재생되는 영역이 된다. View2는 "divL3"에서 재생되는 Area가 반환되거나, 전달된 모든 Area가 반환되는 경우, 종료 이벤트에 의해 재생이 중단되며, View1은 시작 이벤트에 의해 다시 재생된다.
표 7은 단말간의 미디어 교환에서 primary device가 secondary device에 전달하는 Area 정보의 형식의 일 예를 나타낸 표이다.
Figure pat00007
표 7을 참조하면, 초기에 제공되어야 할 정보는 Area의 공간정보와 Area 내 Asset들의 src정보, 공간정보와 Asset의 현재까지 재생된 시간정보를 포함하며, 이후에 제공되어야 할 정보는 Asset 간의 동기화를 제공하기 위해 각 Asset의 재생 시간 정보를 포함함을 알 수 있다.
도 6a 및 도 6b는 본 발명의 실시 예에 따른 장면 구성 정보를 이용한 단말간 미디어 교환의 예를 통해 서비스 수행 과정을 나타낸 도면이다.
먼저, 도 6a를 참조하면, 600 단계에서는 primary device와 secondary device는 각각 CI 재생을 시작한다. 그리고 602 단계에서 사용자에 의해 Area1-2에 대한 미디어 교환이 요청되면, primary device는 604 단계에서 secondary device에게 Area1-2의 자원 정보 및 장면 구성 정보를 전달한다. 그러면 606 단계에서 Area1-2의 정보 전달을 완료한 primary device는 Area1-2의 재생을 종료한다.
608 단계에서는 Area 교환에 의해 발생한 이벤트에 따라 primary device의 새 장면 구성이 적용된다. 그리고 610 단계에서 secondary device에는 Area 교환에 의해 발생한 이벤트에 따라 새 장면 구성이 적용된다. 새 장면 구성을 적용한 secondary device는 612 단계에서 전달받은 Area 정보와 CI 내 빈 Area 정보에 따라 Area1-2를 재생한다.
도 6a의 "A는 도 6a의 612 단계와 도 6b의 614 단계가 연결됨을 나타내기 위해 도시된 것으로, 도 6a의 612 단계에 이후 수행되는 내용을 도 6b를 참조하여 설명하기로 한다.
도 6b를 참조하면, 614 단계에서 Area1-2의 동기화된 재생을 유지하기 위해 primary device는 secondary device에게 각 Asset의 시간 정보를 주기적으로 전송한다. 그리고 616 단계에서 사용자에 의해 Area1-2에 대한 미디어 반환이 요청되면, secondary device는 618 단계에서 Area1-2의 재생을 종료한다. 이어 secondary device는 Area 반환에 의해 발생한 이벤트에 따라 620 단계에서 기존의 장면 구성으로 회귀한다. 622 단계에서 primary device 또한 Area 반환에 의해 발생한 이벤트에 따라 기존의 장면 구성으로 회귀한다. 그리고 624 단계에서 primary device는 Area1-2의 재생을 재개한다.도 7을 본 발명의 실시 예에 따른 단말은 블록 구성도이다.
도 7에 도시된 단말의 내부 구성은 primary device 또는 secondary device의 내부 구성이 될 수 있으며, 이하에서는 단말이라 칭하기로 한다.
도 7을 참조하면, 단말은 제어부(700), 송신부(702), 수신부(704) 및 메모리(706)를 포함한다.
상기 제어부(700)는 상기 송신부(702), 수신부(704) 및 메모리(706)를 제어하고, 상기 단말의 전반적인 동작을 제어한다. 특히, 상기 제어부(700)는 앞서 설명한 제1서비스 내지 제4서비스를 위한 primary device 또는 secondary device에 대응되는 동작을 수행한다.
상기 송신부(702) 및 수신부(704)는 단말의 무선 통신을 수행하기 위한 구성부로서, 단말 간의 통신을 위한 별도의 구성부를 포함할 수 있다.
상기 메모리(706)는 상기 단말의 동작에 의해 생성되는 데이터 및 정보, 미디어 등을 저장한다.
본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것 일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가지는 자에게 자명한 것이다.

Claims (2)

  1. 제1단말이 미디어 정보를 송신하는 방법에 있어서,
    제2단말로부터 상기 제1단말에서 재생 중인 제1미디어의 재생을 허락할 것을 요청하는 요청 메시지를 수신하는 과정과,
    상기 제1미디어의 재생을 위한 정보를 장면 구성 정보에 포함시켜 상기 제2단말로 송신하는 과정을 포함하며,
    상기 장면 구성 정보는 상기 제1미디어가 재생될 화면 상의 위치 정보 및 상기 제1미디어의 재생 시간에 대한 정보를 포함함을 특징으로 하는 미디어 정보 송신 방법.
  2. 제2단말이 미디어 정보를 수신하는 방법에 있어서,
    제1단말에서 재생 중인 제1미디어의 재생을 허락할 것을 요청하는 요청 메시지를 상기 제1단말로 송신하는 과정과,
    상기 제1단말로부터 상기 제1미디어의 재생을 위한 정보를 포함하는 장면 구성 정보를 수신하는 과정을 포함하며,
    상기 장면 구성 정보는 상기 제1미디어가 재생될 화면 상의 위치 정보 및 상기 제1미디어의 재생 시간에 대한 정보를 포함함을 특징으로 하는 미디어 정보 수신 방법.
KR1020120113841A 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치 KR101959820B1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
KR1020120113841A KR101959820B1 (ko) 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치
PCT/KR2013/009150 WO2014058284A1 (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system
MX2015004602A MX352888B (es) 2012-10-12 2013-10-14 Método y aparato para comunicar información de medios en un sistema de comunicación de multimedios.
JP2015536719A JP6516675B2 (ja) 2012-10-12 2013-10-14 マルチメディア通信システムにおけるメディア情報送受信方法及び装置
EP13846199.1A EP2907314B1 (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system
CN201380053379.6A CN104737544B (zh) 2012-10-12 2013-10-14 用于在多媒体通信系统中传送媒体信息的方法和装置
RU2015117516A RU2627032C2 (ru) 2012-10-12 2013-10-14 Способ и устройство для передачи информации о мультимедийных элементах в системе передачи мультимедиа
ES13846199T ES2749691T3 (es) 2012-10-12 2013-10-14 Procedimiento y aparato para comunicar información de medios en sistema de comunicación multimedia
AU2013330543A AU2013330543B2 (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system
CA2888004A CA2888004C (en) 2012-10-12 2013-10-14 Method and apparatus for communicating media information in multimedia communication system
US14/054,293 US20140104367A1 (en) 2012-10-12 2013-10-15 Method and apparatus for communicating media information in multimedia communication system
US14/944,595 US10271011B2 (en) 2012-10-12 2015-11-18 Method and apparatus for communicating media information in multimedia communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120113841A KR101959820B1 (ko) 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20140047482A true KR20140047482A (ko) 2014-04-22
KR101959820B1 KR101959820B1 (ko) 2019-03-20

Family

ID=50474979

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120113841A KR101959820B1 (ko) 2012-10-12 2012-10-12 멀티미디어 통신 시스템에서 구성 정보 송수신 방법 및 장치

Country Status (11)

Country Link
US (2) US20140104367A1 (ko)
EP (1) EP2907314B1 (ko)
JP (1) JP6516675B2 (ko)
KR (1) KR101959820B1 (ko)
CN (1) CN104737544B (ko)
AU (1) AU2013330543B2 (ko)
CA (1) CA2888004C (ko)
ES (1) ES2749691T3 (ko)
MX (1) MX352888B (ko)
RU (1) RU2627032C2 (ko)
WO (1) WO2014058284A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105094737B (zh) * 2015-08-07 2018-07-31 北京橙鑫数据科技有限公司 多媒体信息显示方法及装置
EP3402477A4 (en) 2016-01-11 2019-08-21 The Rockefeller University METHODS FOR THE TREATMENT OF DISORDERS ASSOCIATED WITH SUPPRESSIVE CELLS DERIVED FROM MYELOID CELLS
CN106507171B (zh) * 2016-10-13 2019-10-18 深圳市创易联合科技有限公司 多媒体播放方法及多媒体播放器
US10380493B2 (en) * 2017-04-17 2019-08-13 Essential Products, Inc. System and method for generating machine-curated scenes
CN109672845B (zh) * 2018-12-29 2020-11-03 维沃移动通信有限公司 一种视频通话的方法、装置以及移动终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080066103A1 (en) * 2006-08-24 2008-03-13 Guideworks, Llc Systems and methods for providing blackout support in video mosaic environments
KR20080081182A (ko) * 2005-12-22 2008-09-08 베리메트릭스 인코퍼레이티드 다중 소스 브리지 네트워크 분배 시스템 및 방법
US20110299832A1 (en) * 2010-06-02 2011-12-08 Microsoft Corporation Adaptive video zoom
US20110304686A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Unified communication based multi-screen video system
US20120011544A1 (en) * 2005-01-27 2012-01-12 Arthur Vaysman Viewer-customized interactive displays including dynamic video mosaic elements

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5706290A (en) 1994-12-15 1998-01-06 Shaw; Venson Method and apparatus including system architecture for multimedia communication
EP1018840A3 (en) * 1998-12-08 2005-12-21 Canon Kabushiki Kaisha Digital receiving apparatus and method
US7103906B1 (en) * 2000-09-29 2006-09-05 International Business Machines Corporation User controlled multi-device media-on-demand system
US8255791B2 (en) * 2000-11-29 2012-08-28 Dov Koren Collaborative, flexible, interactive real-time displays
JP4114421B2 (ja) * 2002-07-22 2008-07-09 ソニー株式会社 電子機器装置、サーバ装置、レイアウト記述文書の提供方法
JP4449359B2 (ja) * 2003-07-23 2010-04-14 ソニー株式会社 電子機器及び情報視聴方法、並びに情報視聴システム
KR100533675B1 (ko) 2003-07-24 2005-12-05 삼성전자주식회사 구조화된 데이터 포맷을 이용한 원격 제어 장치 및 제어방법
KR100982517B1 (ko) 2004-02-02 2010-09-16 삼성전자주식회사 이벤트 정보가 포함된 동영상 데이터가 기록된 저장 매체 및 재생 장치
US20080010664A1 (en) * 2004-08-30 2008-01-10 Maurizio Pelizza Method and System for Providing Interactive Services in Digital Television
JP4738805B2 (ja) * 2004-12-16 2011-08-03 株式会社リコー 画面共有システム、画面共有方法、画面共有プログラム
US20080094415A1 (en) * 2005-08-05 2008-04-24 Samsung Electronics Co., Ltd. Method and apparatus for identifying application in multiscreen environment
US20080072139A1 (en) * 2006-08-20 2008-03-20 Robert Salinas Mobilizing Webpages by Selecting, Arranging, Adapting, Substituting and/or Supplementing Content for Mobile and/or other Electronic Devices; and Optimizing Content for Mobile and/or other Electronic Devices; and Enhancing Usability of Mobile Devices
US8490126B2 (en) * 2006-10-02 2013-07-16 AT&T Intellecutal Property I, LP System and method of restricting access to video content
US20080085682A1 (en) * 2006-10-04 2008-04-10 Bindu Rama Rao Mobile device sharing pictures, streaming media and calls locally with other devices
JP5151211B2 (ja) * 2007-03-30 2013-02-27 ソニー株式会社 多画面同期再生システム、表示制御端末、多画面同期再生方法、及びプログラム
JP2009123178A (ja) * 2007-11-12 2009-06-04 Masakazu Morisato ネットワークコンピュータシステム及び画面共有システム
US8301618B2 (en) 2008-02-26 2012-10-30 Microsoft Corporation Techniques to consume content and metadata
JP5078152B2 (ja) * 2008-04-09 2012-11-21 シャープ株式会社 通信端末装置、その制御方法、及びコンピュータプログラム
KR100979909B1 (ko) * 2008-04-10 2010-09-03 드리머 디지털 방송의 데이터 애플리케이션 제공 방법 및 이를실현시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한기록 매체
US20110030000A1 (en) * 2008-04-17 2011-02-03 Akira Tojima Operation object device, permission input device, operation device, operation object data providing device, remote operation system, control method, control program, and computer-readable storage medium holding the control program
CN102017651B (zh) * 2008-04-21 2014-01-29 三星电子株式会社 使用富媒体内容组成场景的装置和方法
WO2010058591A1 (ja) * 2008-11-20 2010-05-27 パナソニック株式会社 画像表示装置、テレビ会議装置、及び画像表示方法
WO2010150505A1 (ja) * 2009-06-26 2010-12-29 パナソニック株式会社 通信装置
KR101555063B1 (ko) * 2009-07-07 2015-09-23 삼성전자주식회사 이동단말기의 다중 화면 서비스를 위한 시스템 및 방법
JP5285781B2 (ja) 2009-09-29 2013-09-11 シャープ株式会社 周辺機器情報表示システム、表示装置、及び周辺機器
CN102378046A (zh) * 2010-08-13 2012-03-14 国基电子（上海）有限公司 服务器及利用其实现机顶盒影音节目共享的方法
JP5723586B2 (ja) 2010-12-14 2015-05-27 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ポインタ制御方法、システム、およびそのプログラム。
JP5254411B2 (ja) * 2011-08-31 2013-08-07 株式会社東芝 受信装置、受信方法及び外部装置連携システム
WO2013055164A1 (ko) * 2011-10-13 2013-04-18 삼성전자 주식회사 콘텐츠 디스플레이 방법, 콘텐츠 동기화 방법, 방송 콘텐츠 디스플레이 방법 및 디스플레이 장치
KR101903443B1 (ko) * 2012-02-02 2018-10-02 삼성전자주식회사 멀티미디어 통신 시스템에서 장면 구성 정보 송수신 장치 및 방법
JP2014049884A (ja) * 2012-08-30 2014-03-17 Toshiba Corp シーン情報出力装置、シーン情報出力プログラム、及びシーン情報出力方法
US9213515B2 (en) * 2012-09-24 2015-12-15 At&T Intellectual Property I, L.P. On-demand multi-screen computing
US20140298157A1 (en) * 2013-03-26 2014-10-02 Samsung Electronics Co., Ltd Apparatus and method for presenting html page

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120011544A1 (en) * 2005-01-27 2012-01-12 Arthur Vaysman Viewer-customized interactive displays including dynamic video mosaic elements
KR20080081182A (ko) * 2005-12-22 2008-09-08 베리메트릭스 인코퍼레이티드 다중 소스 브리지 네트워크 분배 시스템 및 방법
US20080066103A1 (en) * 2006-08-24 2008-03-13 Guideworks, Llc Systems and methods for providing blackout support in video mosaic environments
US20110299832A1 (en) * 2010-06-02 2011-12-08 Microsoft Corporation Adaptive video zoom
US20110304686A1 (en) * 2010-06-10 2011-12-15 Microsoft Corporation Unified communication based multi-screen video system

Also Published As

Publication number Publication date
US20140104367A1 (en) 2014-04-17
CN104737544B (zh) 2019-01-04
KR101959820B1 (ko) 2019-03-20
EP2907314A1 (en) 2015-08-19
AU2013330543B2 (en) 2017-08-24
US10271011B2 (en) 2019-04-23
CA2888004A1 (en) 2014-04-17
WO2014058284A1 (en) 2014-04-17
MX2015004602A (es) 2015-10-09
ES2749691T3 (es) 2020-03-23
CA2888004C (en) 2021-08-31
EP2907314A4 (en) 2016-04-27
AU2013330543A1 (en) 2015-05-28
US20160073053A1 (en) 2016-03-10
EP2907314B1 (en) 2019-07-17
RU2015117516A (ru) 2016-11-27
RU2627032C2 (ru) 2017-08-03
JP6516675B2 (ja) 2019-05-22
CN104737544A (zh) 2015-06-24
MX352888B (es) 2017-12-13
JP2015534797A (ja) 2015-12-03

Similar Documents

Publication Publication Date Title
US10114522B2 (en) Method of controlling display of display device by mobile terminal and mobile terminal for the same
CN108933948B (zh) 一种视频播放进度同步方法及装置
US20100153576A1 (en) Multiple devices multimedia control
RU2012145099A (ru) Устройство воспроизведения контента, сервер предоставления управляющей информации и система воспроизведения контента
US20150067743A1 (en) Method And System For Realizing Mutual Control Of Multimedia Terminals In the Home
KR20140047482A (ko) 미디어 정보 송수신 방법 및 장치
US20120141092A1 (en) Hierarchical Storage Management for Data
CN103533460A (zh) 一种分享电视业务的方法、装置、终端及系统
CN102630039A (zh) 基于多个装置的因特网协议电视(iptv)云的记录和回放
JPWO2009069692A1 (ja) コンテンツ配信システム、コンテンツ配信サーバ、コンテンツ配信方法およびコンテンツ配信用プログラム
US20080240670A1 (en) Picture recording system and picture recording and reproducing method
WO2014190655A1 (zh) 应用同步方法、应用服务器及终端
KR101539975B1 (ko) 이어보기 정보 공유기능을 갖는 스트리밍 콘텐츠 재생 장치및 시스템
KR20100099659A (ko) 베이스 서버 장치, 통신 방법, 통신 제어 프로그램, 배포 시스템, 및 통신 시스템
CN105898356A (zh) 直播流媒体记录方法及系统
WO2019100631A1 (zh) 视频播放方法、装置、系统及存储介质
KR101769845B1 (ko) 기기 간의 컨텐츠 공유 방법 및 장치
KR20130093810A (ko) 스트림 변환을 수행하는 단말 및 방법, 그리고 단말로 스트림을 전송하는 스트리밍 서버
JP2008160301A (ja) コンテンツ配信装置、ネットワーク端末及びコンテンツ配信システム
CN106550493A (zh) 一种媒体资源共享方法及移动终端
KR102603548B1 (ko) 협력적 컨텐츠 렌더링을 위한 방법 및 장치
CN112583814A (zh) 多终端设备合并播放方法
KR20130077246A (ko) 스마트디바이스 상에서 파노라마 동영상 재생시 ｃｐｕ에 의한 과도 처리 경감방법 및 과도 처리 경감시스템
JP2011114421A (ja) 映像蓄積視聴システム、装置、映像の蓄積・再生方法およびプログラム
JP2010033477A (ja) シンクライアントシステム、アプリケーションサーバ、デバイス管理装置、端末制御サーバ、通信方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant