KR20070103969A - 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법 - Google Patents

방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법 Download PDF

Info

Publication number
KR20070103969A
KR20070103969A KR1020060035944A KR20060035944A KR20070103969A KR 20070103969 A KR20070103969 A KR 20070103969A KR 1020060035944 A KR1020060035944 A KR 1020060035944A KR 20060035944 A KR20060035944 A KR 20060035944A KR 20070103969 A KR20070103969 A KR 20070103969A
Authority
KR
South Korea
Prior art keywords
image
control information
reproduced
reproduction control
reproduction
Prior art date
Application number
KR1020060035944A
Other languages
English (en)
Other versions
KR101177412B1 (ko
Inventor
곽재도
양승헌
윤종근
최병호
한성철
김진태
정문호
Original Assignee
엘지전자 주식회사
주식회사 문화방송
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사, 주식회사 문화방송 filed Critical 엘지전자 주식회사
Priority to KR1020060035944A priority Critical patent/KR101177412B1/ko
Priority to US11/735,352 priority patent/US8035753B2/en
Priority to CN2007101013808A priority patent/CN101094370B/zh
Priority to JP2007111572A priority patent/JP5144113B2/ja
Priority to EP07008130.2A priority patent/EP1848211B1/en
Publication of KR20070103969A publication Critical patent/KR20070103969A/ko
Application granted granted Critical
Publication of KR101177412B1 publication Critical patent/KR101177412B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/09—Arrangements for device control with a direct linkage to broadcast information or to broadcast space-time; Arrangements for control of broadcast-related services
    • H04H60/13—Arrangements for device control affected by the broadcast information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신 방법에 관한 것이다. 본 발명의 한 관점에서 본 발명은 이미지를 준비하고, 상기 이미지의 재생 제어 정보를 생성하는 단계; 상기 이미지와 상기 이미지의 재생 제어 정보를 방송 데이터로 변환하는 단계; 및 상기 방송 데이터를 전송하는 단계를 포함하는 것을 특징으로 하는 방송 신호 송신 방법을 제공한다. 본 발명에 의하면 방송 수신단에서 전송 이미지를 역동적으로 변형하여 재생할 수 있다.
이미지, 방송, 3차원, 입체, 재생

Description

방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신 방법{apparatus for transmitting and receiving broadcast signal and method thereof}
도 1은 종래의 방송 신호 송수신 방법의 일 예를 개념적으로 나타낸 도면
도 2는 본 발명에 따른 방송 신호 송신 방법의 일 실시예를 나타낸 흐름도
도 3은 본 발명에 따른 방송 신호 수신 방법의 일 실시예를 나타낸 흐름도
도 4는 본 발명에 따른 방송 신호 송수신 방법에 따라 이미지가 재생되는 일 예에 대한 개념도
도 5는 본 발명에 따른 방송 신호 송수신 방법에 따라 이미지가 재생되는 다른 일 예에 대한 개념도
도 6은 본 발명에 따른 방송 신호 송수신 방법에 따라 이미지가 재생되는 또 다른 일 예에 대한 개념도
도 7은 본 발명에 따른 방송 신호 송수신 방법에 따라 이미지가 재생되는 또 다른 일 예에 대한 개념도
도 8은 본 발명에 따른 방송 신호 송수신 방법에 따라 이미지가 재생되는 또 다른 일 예에 대한 개념도
도 9는 본 발명에 따른 방송 신호 송수신 방법에 의한 방송 데이터 구조를 개념적으로 나타낸 도면
도 10은 본 발명에 따른 데이터 구조 중 재생 제어 정보가 포함된 예를 나타낸 도면
도 11(a) 및 도 11(b)는 멀티미디어 객체 전송 (Multimedia Object Transfer ; MOT) 프로토콜을 나타낸 도면
도 12은 본 발명에 따른 방송 신호 송신 장치의 일 실시예를 나타낸 구성도
도 13은 본 발명에 따른 방송 신호 수신 장치의 일 실시예를 나타낸 구성도
도 14은 본 발명에 따른 방송 신호 수신 장치의 일 실시예를 나타낸 구성도
도 15는 본 발명에 따른 방송 신호 수신 장치가 입체 영상을 구현하는 개념도
<도면 주요부분의 부호의 설명>
110: 재생제어정보생성부 120 : 이미지저장부
130 : 방송데이터변환부 140 : 전송부
210 : 방송신호수신부 220 : 방송신호복호화부
230, 330 : 메모리부 232, 332 : 이미지버퍼부
235, 335 : 재생제어정보저장부 250 : 이미지처리부
260 : 제어부 280, 380 : 디스플레이부
281 : 스위칭패널부 310 : 신호수신부
320 : 신호복조부 330 : 메모리부
350 : 단말기제어부 360 : 인터페이스부
371 : 사운드모듈 373 : 음향처리부
379 : 그래픽모듈 392 : 카메라 모듈
395 : 외장메모리
본 발명은 방송 신호 송수신 장치 및 방송 신호 송수신 방법에 관한 것이다.
아날로그 방송에서 디지털 신호를 전송하는 디지털 방송으로 전환되면서 순수 방송을 위한 화면 전송뿐만 아니라 그 외의 부가적인 화면이나 텍스트 등의 전송도 가능하게 되었다.
그러나, 일반적으로 디지털 방송 시스템뿐만 아니라 다른 디지털 통신 시스템이라 하더라도 전송 대역폭이 제한되어 있기 때문에 전송하고자 하는 부가 정보의 크기에는 한계가 있다.
방송 및 통신 시스템에서 전송단이 일정 시간 간격으로 일련의 이미지들을 전송하면, 수신단은 그 이미지들을 위와 같은 간격으로 이미지를 수신한다. 그리고, 수신단은 전송단의 이미지 전송시점으로부터 지연된 시점에서 이미지 전송 간격과 동일한 시간 간격으로, 위의 순서와 동일한 순서에 따라 이미지들을 재생하였다.
도 1은 종래의 방송 신호를 송수신 방법의 일 예를 개념적으로 나타낸 도면이다. 도 1의 예에서 각 이미지의 전송 시점의 차이는 n으로 나타냈다. 도면에서 가로축은 시간축이고, 시간축에 수직인 선은 이미지를 전송하는 시점을 나타낸다. 각 전송 시점에서 전송되는 방송 객체는 이미지라고 가정한다.
이와 같은 이미지들을 수신하여 재생할 경우, 재생되는 이미지들은 전송 시점의 차와 동일한 차이인 n 만큼의 시간 간격과 전송된 이미지들의 순서에 따라 재생된다.
따라서, 만약 대역폭이 많이 소요되는 전송 객체를 대역폭이 좁은 방송이나 통신 시스템에서 재생하면 재생된 객체의 수신 속도는 전송 속도와 같을 수 없기 때문에 재생된 객체의 역동성이 떨어질 수 있는 문제점이 있다.
또한, 수신단이, 전송단이 전송한 속도로 객체들을 재생할 수 있다고 하더라도 전송단이 전송하는 객체들의 전송 속도나 전송 순서에 종속되어 개체들을 재생할 수밖에 없었다.
이러한 제한 때문에 전송단은 수신자에게 다양한 컨텐트를 제공하기 위해서는 모든 컨텐트를 다양하게 변화시킨 후 전송시켜야 한다.
예를 들어 방송 전송단은 수신자의 관심을 끌 수 있도록 입체 영상을 전송하거나 다양하게 화면 구성을 한 방송 신호를 전송할 수 있다. 이러한 과정을 종래와 같은 방법으로 전송한다면 대역폭 문제는 물론 모든 전송 화면을 방송 전송단이 구성하여 전송해야 하는 부담을 주는 문제점이 있다.
반면 종래의 방송 수신 장치나 방송 수신 방법에 의하면 방송 수신단은 방송 전송단이 전송한 객체를 수신하고, 전송한 객체 그 자체를 재생하여야 했다. 이러한 경우 방송 신호의 전송 속도가 느리거나 대역폭이 제한되는 경우 재생하는 객체를 제대로 재생할 수 없는 불편한 문제점이 있었다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서 본 발명의 목적은 방송 신호를 송신하고자 하는 측과 방송 신호를 수신하고자 하는 측에 신호의 송신 및 이미지 재생에 대한 편의를 제공할 수 있는 방송 신호 송수신 장치 및 방송 신호 송수신 방법을 제공하는 것이다.
본 발명의 다른 목적은 전송한 방송 객체를 역동적으로 변형하여 재생할 수 있는 방송 신호 송수신 장치 및 방송 신호 송수신 방법을 제공하는 것이다.
본 발명의 다른 또 목적은 방송 수신 장치가 전송한 방송 신호를 입체적으로 재생할 수 있도록 하는 방송 신호 송수신 장치 및 방송 신호 송수신 방법을 제공하는 것이다.
상기 목적을 달성하기 위하여 본 발명은 이미지를 준비하고, 상기 이미지의 재생 제어 정보를 생성하는 단계; 상기 이미지와 상기 이미지의 재생 제어 정보를 방송 데이터로 변환하는 단계; 및 상기 방송 데이터를 전송하는 단계를 포함하는 것을 특징으로 하는 방송 신호 송신 방법을 제공한다.
상기 재생 제어 정보는 재생되는 이미지들의 재생 순서를 나타내는 정보일 수 있다.
상기 재생 제어 정보는, 상기 이미지들이 재생될 경우 재생 이미지상의 차원(次元)을 정의하는 정보일 수 있다.
상기 재생 제어 정보는 재생 이미지 상이 2차원임을 나타내는 정보 및 3차원 임을 나타내는 정보 중 어느 하나의 정보일 수 있다.
상기 재생 제어 정보는 재생 이미지 상이 2차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 및 3차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 중 어느 하나의 정보일 수 있다.
상기 재생 제어 정보는 재생 이미지 상이 이미지 그룹에 속하는 이미지들에 의해 재생될 경우 하나의 그룹의 이미지 수를 나타내는 정보, 그룹에 속하는 이미지의 일련번호를 나타내는 정보, 그룹의 재생 간격을 나타내는 정보 및 그룹의 일련번호를 나타내는 정보 중 어느 하나의 정보를 포함할 수 있다.
상기 재생 제어 정보는 멀티미디어 객체 전송 프로토콜(multimedia object transfer ; MOT)에 포함되어 전송될 수 있다.
상기 재생 제어 정보는 가변 길이의 필드(field) 길이의 값을 가지는 것이 바람직하다.
다른 관점에 본 발명은 이미지와 재생 제어 정보가 포함된 방송 데이터를 수신하는 단계; 상기 수신한 방송 데이터를 복호하여 상기 방송 데이터로부터 재생 제어 정보를 획득하는 단계; 및 상기 획득된 재생 제어 정보에 따라 상기 방송 데이터에 포함된 이미지를 재생하는 단계를 포함하는 방송 신호 수신 방법을 제공한다.
또 다른 관점에서 본 발명은 생성된 이미지를 저장하는 이미지저장부; 상기 생성된 이미지의 재생 원칙을 나타내는 재생 제어 정보를 생성하여 출력하는 재생제어정보생성부; 상기 이미지저장부가 저장한 이미지와 상기 재생제어정보생성부가 출력하는 재생 제어 정보를 방송 데이터 형식으로 변환하는 방송데이터변환부; 및 상기 방송데이터변환부가 출력하는 방송 신호를 전송하는 전송부를 포함하는 것을 특징으로 하는 방송 신호 송신 장치를 제공한다.
상기 방송데이터변환부가 변환시키는 방송 신호의 형식은 멀티미디어 객체 전송 프로토콜(MOT)일 수 있다.
또 다른 관점에서 본 발명은 방송 신호로부터 수신한 이미지와 재생 제어 정보를 저장하는 메모리부; 상기 재생 제어 정보에 따라 상기 메모리부에 저장된 이미지를 처리하여 출력하는 이미지처리부; 및 상기 이미지처리부가 출력하는 이미지를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 방송 신호 수신 장치를 제공한다.
상기 이미지처리부는 상기 재생 제어 정보가 이미지들의 재생 순서를 나타낼 경우 상기 이미지들의 재생 순서에 따라 이미지를 출력할 수 있다.
상기 이미지처리부는 상기 재생 제어 정보가 재생된 이미지상의 차원을 나타낼 경우 상기 차원에 따라 이미지들을 합성하여 출력할 수 있다.
상기 방송 신호 수신 장치는 입사 시각을 분산시킬 수 있는 스위칭패널부를 더 포함할 수 있다.
또한, 방송 객체와 상기 방송 객체의 재생 제어 정보를 생성하는 단계; 상기 방송 객체와 상기 방송 객체의 재생 제어 정보를 방송 데이터 형식으로 변환하는 단계; 및 상기 방송 데이터를 전송하는 단계를 포함하는 것을 특징으로 하는 방송 신호 송신 방법을 제공한다.
또한, 본 발명은 방송 객체와 재생 제어 정보가 포함된 방송 데이터를 수신하는 단계; 상기 수신한 방송 데이터로부터 상기 방송 객체에 대한 재생 제어 정보를 획득하는 단계; 및 상기 획득한 재생 제어 정보에 따라 상기 방송 객체를 재생하는 단계를 포함하는 방송 신호 수신 방법을 제공한다.
이하 상기 목적을 구체적으로 달성할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다.
먼저 본 발명에 따른 방송 신호 송수신 방법을 용이하게 설명하기 위해 방송 객체로서 이미지를 전송하는 경우를 개념적으로 설명하지만, 본 발명의 사상이 이에 국한되는 것은 아니다.
본 발명에 따른 방송 신호 송수신 장치 및 방송 신호 송수신 방법은 방송 신호 수신 장치가 재생하는 이미지들의 순서와 간격이, 방송 신호 전송 장치가 전송하는 이미지의 순서와 간격과 달라지도록 하여 재생 이미지가 역동적이고 입체적으로 재생되도록 할 수 있다.
즉, 본 발명에 따른 방송 신호 송수신 장치 및 방송 신호 송수신 방법은 서로 다른 시간에 수신한 두 개 이상의 이미지들에 대해 그 이미지들의 순서를 달리하여 재생하거나, 서로 다른 시간에 수신한 두 개 이상이 이미지를 합성하여 동시에 재생할 수 있다.
도 2는 본 발명에 따른 방송 신호 송신 방법의 일 실시예를 나타낸 흐름도이다. 도 2를 참조하여 본 발명에 따른 방송 신호 송신 방법의 일 실시예를 설명하면 다음과 같다. 본 발명에 따른 방송 신호 송신 방법은 전송할 이미지 등의 방송 객 체와 그 방송 객체의 재생 원칙을 정의하는 재생 제어 정보를 생성한다(S10).
이하, 본 명세서에서는 방송 신호에 포함된 방송 객체들을 재생할 경우, 상기 방송 객체들의 재생 순서 등의 재생 원칙을 정의하며, 상기 전송하는 방송 신호로부터 획득될 수 있는 정보를 재생 제어 정보라고 호칭한다.
이미지 등의 방송 객체와 재생 제어 정보는 방송 데이터의 형식으로 변환된다(S20). 그리고, 방송 데이터 형식으로 전송된 방송 객체와 재생 제어 정보를 포함하는 방송 신호를 전송한다(S30).
도 3은 본 발명에 따른 방송 신호 수신 방법의 일 실시예를 나타낸 흐름도이다. 도 3을 참조하여 본 발명에 따른 방송 신호 수신 방법의 일 실시예를 설명하면 다음과 같다. 먼저, 이미지와 같은 방송 객체와 재생 제어 정보가 포함된 방송 신호를 수신한다(S110).
그리고, 수신한 방송 데이터로부터 방송 객체와 재생 제어 정보를 획득한다(S120). 획득한 재생 제어 정보에 따른 이미지 등의 수신한 방송 객체를 재생한다.
재생 제어 정보는 방송 객체의 재생 순서, 재생 간격, 재생 차원(次元)이 정의되어 있어서, 이 정보에 따르면 수신한 이미지를 역동적으로 또는 입체감 있게 재생할 수 있다.
도 4 내지 도 8은 본 발명에 따른 방송 신호 송수신 방법의 실시예에 따라 이미지가 재생되는 개념을 나타낸 도면이다.
도 4 내지 도 8에서는 본 발명에 따른 방송 신호 송수신 방법의 실시예를 용 이하게 이해하기 위해 방송 신호의 객체로 이미지를, 각 이미지의 전송 간격을 1초라고 가정한다.
먼저, 도 4를 참조하여 본 발명에 따른 방송 신호 송수신 방법의 일 실시예를 설명하면 다음과 같다.
먼저 방송 신호 송신 장치가 일정한 간격으로 A, B, C, D, E, F...이미지를 전송할 수 있다. 방송 신호 수신 장치는 이미지를 수신할 경우 전송 시점의 지연된 시점에서 전송 간격과 같은 간격인 1초 간격으로 이미지를 수신할 수 있다.
그러나, 도 4의 실시예는 둘 이상의 이미지가 수신된 시점에서 그 전에 수신한 이미지를 1 초보다 빠른 시간 간격으로 재생할 수 있다. 도 4의 실시예에서는 B 이미지가 수신되는 시점에서 A, B 이미지를 0.1초의 간격으로 반복적으로 재생하고 D 이미지가 수신된 시점에서 C, D 이미지를 반복적으로 재생하는 경우를 나타낸다.
따라서, 수신자는 다소 긴 시간 간격으로 재생되던 이미지가 빠르게 반복 재생됨으로써 슬라이드 쇼와 같은 역동적인 이미지를 볼 수 있다.
도 5는 본 발명에 따른 방송 신호 송수신 방법의 다른 실시예를 개념적으로 나타낸 도면이다. 본 발명에 따른 방송 신호 송수신 방법에 의하면 2차원의 이미지를 전송하여 입체 이미지를 재생할 수 있다. 여기서, 입체 이미지라 함은 좌우의 눈에 각각 좌우방향에서 본 것과 같은 2개의 이미지를 화면에 표시하여 양안시차(兩眼視差)를 주고 이것을 시각적으로 합성할 경우 나타나는 이미지 상을 의미한다.
방송 신호 송신 장치가 각 이미지를 왼쪽 눈이 보는 이미지(이하 왼쪽 이미 지라고 한다; L 인덱스로 표시)와 오른쪽 눈이 보는 이미지(이하 오른쪽 이미지라고 한다; R 인덱스로 표시)로 나누고, 각 이미지를 양쪽 눈에 의한 이미지를 교대로 전송한다.
도 5의 실시예에서 A 에 대한 이미지 AR, AL, B에 대한 이미지 BR, BL, C에 대한 이미지 CL, CR...등을 각각 순서대로 전송하는 경우를 나타낸다. 각 이미지에 대한 왼쪽 이미지와 오른쪽 이미지 중 어느 하나의 이미지가 반드시 먼저 전송될 필요는 없지만, 도 5의 예는 왼쪽 이미지가 먼저 전송되는 경우를 나타낸다.
방송 신호 수신 장치가 위와 같이 전송한 이미지를 재생할 경우, 방송 신호 수신 장치는 AR과 AL이 모두 전송된 시점에서 A에 대한 입체 이미지를, BR, 과 BL이 모두 전송된 시점에서 B에 대한 입체 이미지를 각각 재생할 수 있다. 따라서, 수신자는 각 이미지의 입체 이미지를 재생할 수 있어서 방송 시청에 현실감을 느낄 수 있다. 두 개의 이미지를 이용하여 입체 이미지를 합성하는 과정은 도 15에서 상세히 설명한다.
도 6은 본 발명에 따른 방송 신호 송수신 방법의 또 다른 실시예를 개념적으로 나타낸 도면이다.
도 6의 실시예는 도 5의 실시예와 같은 방법으로 이미지를 전송한다. 방송 신호 수신 장치는 다수의 이미지에 대한 왼쪽 이미지와 오른쪽 이미지가 모두 전송된 경우 각 입체 이미지를 빠른 시간 내(도 6의 예에서는 0.1초로 가정) 반복 재생시킬 수 있다. 따라서, 방송 신호 수신 장치가 재생하는 이미지를 시청할 경우 수 신자는 입체 이미지의 역동적인 움직임으로 인해 방송 시청에 생동감을 느낄 수 있다.
도 7은 본 발명에 따른 방송 신호 송수신 방법의 또 다른 실시예를 나타낸 도면이다. 도 7를 참조하여 본 발명의 또 다른 실시예를 설명하면 다음과 같다.
방송 신호 송신 장치가 서로 관련된 이미지들을 하나의 그룹으로 설정하여 전송할 수 있다. 도 7의 실시예에서 A, B, C, D는 서로 관련된 이미지를 나타내는 제 1 이미지 그룹이고, E, F, G, H, I는 서로 관련된 이미지를 나타내는 제 2 이미지 그룹이다. 동일한 그룹 내 이미지들은 재생되는 이미지 상과 관련된 이미지들일 수 있고, 각 그룹에 따른 이미지 상은 서로 구분될 수 있다.
각 그룹 내 이미지들은 도 4 내지 도 6에서 예시한 바와 같이 2차원 슬라이드로 재생될 수 있는 이미지들이거나, 또는 입체 이미지로 재생되는 이미지들이거나, 또는 움직이는 입체 이미지로 재생될 수 있는 이미지들일 수 있다.
따라서, 동일 그룹 내 이미지들이 재생되어 수신자가 그 이미지 그룹에 의한 이미지를 볼 경우 불쾌감을 느끼지 않도록 그 그룹 내 이미지는 서로 관련성을 가진 이미지들인 것이 바람직하다.
도 7의 실시예는 제 2 이미지 그룹의 이미지들의 마지막 이미지(I)가 수신되는 경우에 제 1 이미지 그룹에 속하는 이미지가 재생되는 예를 나타낸다. 즉, 이미지 그룹은 임의의 개수의 이미지를 가질 수 있고, 수신한 이미지들을 재생하는 시점도 임의적으로 설정될 수 있다.
도 8은 본 발명에 따른 방송 신호 송수신 방법의 또 다른 실시예를 개념적으 로 나타낸 도면이다.
방송 신호 송신 장치는 입체 이미지를 구성할 수 있는 이미지들과 2차원 영상을 구성할 수 이미지를 섞어서 전송할 수 있다. 도 8의 실시예에서 A에 대한 왼쪽 이미지(AL)과 오른쪽 이미지(AR)와 B에 대한 왼쪽 이미지(BL), 오른쪽 이미지(BR), C, D, E에 대한 왼쪽 이미지(EL)와 오른쪽 이미지(ER)를 순차적으로 전송했다고 가정한다. 그리고 전송 경로 상에서 B에 대한 왼쪽 이미지(BL)가 손실되어 전송되지 않았다고 가정한다.
도 8의 실시예에서 방송 신호 수신 장치는 AL을 수신한 후 AR을 수신할 때까지 이미지 재생을 지연시킨 후 A에 대한 이미지를 입체 영상으로 재생시킨 경우를 나타낸다. 그러나, AL을 수신한 시점에서 2차원 이미지를 재생시켰다가 AR이 수신된 경우 입체 이미지를 재생하는 것도 가능하다.
그리고 방송 신호 수신 장치는 B에 대한 왼쪽 이미지(BL)를 전송받지 못했기 때문에 BR 이미지를 받은 시점에서 B에 대한 왼쪽 이미지를 2차원 이미지로 재생시킬 수 있다.
그 후 방송 신호 수신 장치는 2차원 이미지인 C, D를 수신하여 재생시킬 수 있다. 도 8의 실시예는 C, D를 시간적 지연을 두고 수신한 순서에 따라 재생시킨다. 그러나, D를 수신할 때까지 C를 재생하지 않고, D를 수신한 후 C, D를 이용한 슬라이드 쇼를 재생하는 것도 가능하다.
그리고, 방송 신호 수신 장치가 ER를 수신하면 E를 2차원 이미지로 재생시킬 수 있다. 그리고, EL이 수신되면 E를 입체 이미지로 재생시킬 수 있다.
위의 실시예들처럼 본 발명에 따른 방송 신호 송수신 방법에 의하면 수신한 이미지들을 전송한 이미지들보다 역동적이거나 생동감 있게 재생시킬 수 있다. 다수의 이미지의 재생 순서를 달리하면 이미지를 역동적으로 재생할 수 있으며 상기한 예 이외에도 다양한 실시예가 가능하다.
도 9는 상기에서 설명한 방송 신호 송수신 방법에 대한 실시예를 실현시킬 수 있는 방송 데이터 구조의 일 예를 나타낸다. 도 9을 참조하여 본 발명의 실시예를 가능케 하는 방송 데이터의 구조의 일 예를 설명하면 다음과 같다.
방송 신호를 전송할 경우 전송하는 방송 객체들의 재생시 필요한 재생 정보를 삽입하여 전송할 수 있다.
방송 신호 송신 장치는 방송 객체를 전송할 경우 그 방송 객체들에 대한 재생 제어 정보를 방송 객체들과 함께 전송할 수 있다.
따라서, 방송 신호 송신 장치는 객체들을 다양하게 변형하여 전송할 필요없이 방송 신호 수신 장치가 재생 제어 정보를 참조하도록 하여, 수신한 방송 객체들을 수신한 형태와 다른 형태로 다양하게 변형시켜 재생하도록 할 수 있다.
반면에 방송 신호 수신 장치는 수신한 방송 신호를 복호할 경우 재생 제어 정보로부터 얻은 재생 원칙에 따라 방송 객체들을 수신한 이미지와 다른 이미지로 변형하여 재생할 수 있다.
도 9의 데이터 구조의 일 예는, 전송하는 방송 객체의 신호 구조와 관련된 정보가 속하는 제 1 필드, 재생되는 방송 객체가 재생될 경우 필요한 부가 정보가 속하는 제 2 필드 및 방송 객체에 대한 로우 데이터(raw data)가 속하는 제 3 필드를 포함할 수 있다.
제 1 필드는 방송 객체를 전송할 경우 함께 전송할 수 있는 헤더 필드라고 호칭할 수 있다. 그리고, 제 3 필드는 방송 객체에 대한 데이터가 전송되는 필드이므로, 일반적으로 데이터 필드 또는 바디(body) 필드 등으로 호칭될 수 있다. 따라서, 본 명세서에서 사용하는 용어는 그 명칭에 국한되어 해석되어야 할 것이 아니라 그 용어가 가지는 의미로 해석되어야 한다.
이하에서는 상기 제 2 필드를 부가 정보 필드로 호칭한다. 부가 정보 필드는 방송 객체를 재생할 경우 필요한 정보로서, 메모리 정보 또는 재생 순서에 관련된 정보 등을 포함할 수 있다.
상기에서 설명한 재생 제어 정보는 상기에서 설명한 필드 중 어느 필드에도 들어갈 수 있지만, 방송 객체가 재생될 경우 필요한 부가 정보 필드에 포함되는 것이 바람직하다.
도 10은 본 발명에 의해 전송될 수 있는 재생 제어 정보가 부가 정보 필드에 포함될 경우 부가 정보 필드의 구조의 예를 나타낸다. 도 10을 참조하여 본 발명에 따른 재생 제어 정보를 포함하는 부가 정보 필드를 상세히 설명하면 다음과 같다.
재생 제어 정보는 이미지가 재생될 경우 재생 이미지의 차원(次元)을 나타내는 정보 또는 이미지들의 재생 순서를 나타내는 정보일 수 있다.
따라서, 도 10의 예의 부가 정보 필드는 차원 정보나 재생 순서 정보를 나타내는 필드를 포함할 수 있는데, 이하에서 그 필드를 이미지 재생 필드(a)라고 호칭한다.
도 10의 예는 이미지 재생 필드의 데이터 값이 1인 경우, 재생 이미지가 3차원 이미지(입체 이미지)임을 나타내고, 2인 경우 재생 이미지들이 2차원 이미지 그룹에 속하는 이미지임을, 3인 경우 재생 이미지들이 3차원 이미지 그룹에 속하는 이미지임을 나타낸다.
반면에 이미지 재생 필드의 데이터 값이 0인 경우 재생하는 이미지는 2차원 이미지임 나타낸다. 즉, 이미지 재생 필드의 값이 0이면, 종래의 방식과 같이 이미지를 전송한 그대로 표출하도록 한다. 따라서, 종래 방송 신호 수신 장치에 대해 역호환성(backward compatibility)을 가지도록 할 수 있다.
위의 예에서, 방송 신호 수신 장치는 이미지 재생 필드의 값이 0인 경우, 도 1과 같은 방식으로 이미지를 재생할 수 있고, 이미지 재생 필드 값이 1인 경우 도 5와 같은 방식으로 3차원 이미지를 재생할 수 있다.
또한, 이미지 재생 필드 값이 2인 값인 경우 방송 신호 수신 장치는 도 4와 같은 방식으로 2차원 슬라이드 이미지를 재생할 수 있고, 이미지 재생 필드 값이 3인 경우 도 6에서 예시한 3차원 이미지 그룹에 속하는 이미지들을 재생할 수 있다.
또한 본 발명에 따른 방송 데이터로 전송되는 재생 제어 정보는, 상기 방송 데이터가 이미지 재생 필드를 가지는 경우 한 그룹의 이미지 수를 나타내는 정보, 각 그룹 내 일련번호를 나타내는 정보, 각 그룹 간 재생 간격을 나타내는 정보 및 각 그룹의 일련번호를 나타내는 정보 중 어느 하나 이상의 정보를 포함할 수 있다.
한 그룹의 이미지 수를 나타내는 정보는, 하나의 이미지 그룹에 속하는 이미지 전체 수를 나타낸다. 도 10의 예에 의하면 한 그룹의 이미지 수를 나타내는 정보는 이미지 재생 필드의 값이 2 또는 3인 경우 유효하다.
각 그룹 내 일련번호를 나타내는 정보는 이미지 그룹에 속하는 이미지의 순서를 나타내는 것으로, 도 10의 예에서는 0 부터 99가지의 일련번호를 가질 수 있음을 나타냈다.
또한, 도 10의 예는 재생 이미지가 입체 이미지일 경우 각 이미지 번호가 짝수인 경우 왼쪽 이미지임을, 홀수인 경우 오른쪽 이미지임을 나타낸다.
각 그룹 간 재생간격에 대한 정보는 하나의 이미지 그룹이 재생된 후 다른 이미지 그룹이 재생될 시간을 의미한다. 도 10의 예에서는 0.1초가 될 수 있음을 나타내었고, 0일 경우 이미지가 이미지 그룹에 속하지 않음을 나타낸다. 만약 각 그룹 간 재생간격에 대한 정보가 0인 경우 수신한 이미지는 그룹 단위로 재생되지 않고, 수신하는 대로 재생될 수 있다.
그룹의 일련번호를 나타내는 정보는 각 그룹에 매겨진 그룹 번호를 나타낸다. 도 10의 예에서는 0부터 999999까지 일련번호를 가질 수 있음을 나타낸다.
도 10에서 예시한 데이터 구조는 방송 신호를 전송하는 객체를 전송할 수 있는 어떤 방송 시스템 또는 어떤 통신 시스템에서도 사용될 수 있다. 방송 시스템과 통신 시스템은 이미지를 전송할 수 있는 다양한 규약을 사용하는데 위와 같은 규약의 미지정(reserved) 영역에 도 10과 같은 필드를 마련할 수 있다. 그리고, 이를 이용해 방송 객체에 대한 재생 제어 정보를 전송할 수 있다.
본 발명에 따른 방송 신호 송수신 방법을 더욱 구체적으로 실현할 수 있도록 멀티미디어 객체 전송 (Multimedia Object Transfer ; MOT) 프로토콜을 참조하여 설명한다.
도 11(a) 및 도 11(b)는 다양한 방송 및 통신 전송 규약 중 멀티미디어 객체 전송 (Multimedia Object Transfer ; MOT) 프로토콜을 나타낸 도면이다. 도 11(a) 및 도 11(b)를 참조하여 MOT 프로토콜을 이용하여 재생 제어 정보를 전송하는 예를 설명하면 다음과 같다.
도 11(b)는 EN 301 234 V2.1.1의 DAB(multimedia audio broadcasting) MOT 프로토콜의 일부 데이터 필드를 나타낸 도면이다. 본 발명에 따른 데이터 구조는 MOT 프로토콜의 미지정 영역에 정의될 수 있다. 도 11(b)에서 미지정 영역은 음영으로 표시하였다.
본 발명에 따른 방송 신호 송수신 방법의 확장성을 위해 MOT 프로토콜의 미지정 영역 중 가변 길이(variable)의 데이터 필드에 정의할 수 있다. 재생 제어 정보는 고정 길이 필드에도 삽입이 가능하지만, 가변 길이의 데이터 필드는 필드를 정의할 수 있는 확장성을 줄 수 있다.
도 11(b) 예는 가변 길이를 가진 ContentName 필드에 본 발명에 따른 데이터 구조를 삽입할 수 있음을 보여준다. 도 11(a)의 예는 ContentName과 같은 필드를 채우기 위한 특성 지시자(indicator)로서, 음영으로 표시한 부분은 ContentName 필드에 아라비아 숫자로 데이터가 채워져 전송될 수 있음을 나타낸다.
따라서, 도 10에서 설명한 예와 같이 데이터 필드와 그 데이터 필드 값을 도 11(b)에서 보인 ContentName와 같은 필드에 삽입하여 재생 제어 정보를 전송하면, 그 재생 제어 정보에 따라 방송 객체가 재생될 수 있다.
위에서 기술한 바와 같이 본 발명의 데이터 구조는 MOT 프로토콜 이외에 다른 방송 전송 규약 또는 통신 전송 규약으로도 전송이 가능하다.
도 12는 본 발명에 따른 방송 신호 송신 장치의 일 실시예를 나타낸 도면이다. 본 발명에 따른 방송 신호 송신 장치의 일 실시예는 재생제어정보생성부(110), 이미지저장부(120), 방송데이터변환부(130) 및 전송부(140)를 포함한다.
도 12를 참조하여 본 발명에 따른 방송 신호 송신 장치의 일 실시예의 동작을 설명하면 다음과 같다.
재생제어정보생성부(110)는 이미지가 전송되어 방송 신호 수신 장치에서 재생될 경우 재생 원칙에 대한 정보를 생성할 수 있다. 따라서, 재생제어정보생성부(110)가 생성하는 재생 제어 정보는 도 10에서 예시한 필드들을 포함할 수 있다
이미지저장부(120)는 전송할 방송 객체인 이미지들을 저장할 수 있다. 이미지저장부(120)는 외부에서 생성한 이미지를 전송받아 저장하거나, 또는 전송할 이미지를 생성하여 임시저장할 수 있다.
방송데이터변환부(130)는 이미지저장부(120)에 저장된 이미지 데이터와 재생제어정보생성부(110)가 출력하는 재생 제어 정보를 전송할 수 있는 방송 데이터 형식으로 변환하여 출력할 수 있다. 그리고, 방송 신호를 전송하는 원칙이나 규약에 따라서는 생성한 방송 신호를 패킷화하여 출력할 수도 있다.
전송부(140)는 방송데이터변환부(130)가 생성한 방송 신호를 전송망을 통해 전송할 수 있다.
따라서, 방송 신호 송신 장치는 이미지들을 미리 변형하여 전송할 필요없이 이미지들이 재생될 경우 재생 형태에 관련된 재생 제어 정보도 전송하여 방송 신호 수신 장치에서 이미지들이 역동적으로 재생될 수 있도록 할 수 있다.
도 13은 본 발명에 따른 방송 신호 수신 장치의 일 실시예를 나타낸 도면이다. 도 13의 방송 신호 수신 장치의 일 실시예는 방송신호수신부(210), 방송신호복호부(220), 메모리부(230), 이미지처리부(250), 제어부(260), 디스플레이부(280)를 포함할 수 있다.
도 13의 실시예는 두 개의 이미지의 양안시차를 이용하여 입체 이미지를 표출할 경우 스위칭패널부(281)를 더 포함할 수 있다.
방송 신호 수신 장치는 텔레비전에 국한되는 것이 아니며 위의 구조를 가지는 이동통신용 단말기 등 방송을 수신할 수 있는 장치이면 충분하다.
도 13을 참조하여 방송 신호 수신 장치의 일 실시예의 동작을 설명하면 다음과 같다. 방송신호수신부(210)는 방송 신호를 수신하고, 그 신호를 복조하여 출력할 수 있다.
방송신호복호부(220)는 복조된 방송 신호로부터 방송 신호를 복호하여 방송 객체와 방송 객체에 대한 재생 제어 정보를 분리하여 출력할 수 있다.
메모리부(230)는 방송신호복호부(220)가 출력하는 방송 객체인 이미지와 재생 제어 정보를 저장할 수 있다. 이를 위해 메모리부(230)는 이미지를 저장하는 이 미지버퍼부(232)와 재생 제어 정보를 저장하는 재생제어정보저장부(235)를 별도로 구비할 수 있다. 이미지버퍼부(232)는 수신한 각각의 이미지를 저장할 수 있는 다수의 버퍼를 가질 수도 있다.
재생제어정보저장부(235)는 방송신호복호부(230)가 복호한 재생제어정보를 수신하여 저장할 수 있다.
이미지처리부(250)는 메모리부(230)에 저장된 재생 제어 정보에 따라 저장된 이미지들이 재생되도록 할 수 있다.
제어부(260)는 방송 신호 수신 장치의 각 구성 요소를 제어하는 신호를 출력할 수 있다. 이미지처리부(260)와 제어부(260)는 하나의 구성 요소가 될 수도 있다.
디스플레이부(280)는 이미지처리부(250)가 출력하는 이미지를 화면에 표출할 수 있다. 특히 양안시차를 이용하여 입체 이미지를 표출할 경우 방송 신호 수신 장치는 디스플레이부(280)의 표면에 입체 이미지를 위한 스위칭패널부(281)를 구비할 수 있다.
스위칭패널부(281)는 재생할 이미지가 2차원 이미지일 경우 오프되지만, 재생할 이미지가 입체일 경우 패널이 온(on) 되어 이미지에 대한 입체감이 높아지도록 입사 시각을 분리할 수 있다. 스위칭패널부(281)의 동작은 도 15에서 더욱 상세히 설명한다.
도 14는 본 발명에 따른 방송 신호 수신 장치로서 이동통신용 단말기를 고려한 경우로서, 이동통신용 단말기의 일 실시예를 나타낸 블록도이다.
도 14의 방송 신호 수신 장치의 일 실시예는 신호수신부(310), 신호복조부(320), 메모리부(330), 단말기제어부(350), 디스플레이부(380) 등을 포함할 수 있다.
신호수신부(310)가 방송 객체와 재생 제어 정보를 포함하는 신호를 수신할 수 있다. 신호복조부(320)는 수신한 신호를 복조하여 출력할 수 있다.
단말기제어부(350)는 수신한 신호로부터 이미지와 같은 방송 객체와 재생 제어 정보를 획득하여 메모리부(330)에 획득한 이미지와 재생 제어 정보를 저장할 수 있다. 메모리부(330)는 이를 위해 재생제어정보저장부(335)와 이미지버퍼부(332)를 각각 가질 수도 있다.
그리고, 단말기제어부(350)는 저장한 재생 제어 정보에 따라 이미지를 재생시키도록 할 수 있다. 디스플레이부(380)는 단말기제어부(350)의 재생 제어 정보에 따라 슬라이드 쇼나, 입체 이미지 또는 입체 이미지의 동적인 움직임을 재생시킬 수 있다. 특히 디스플레이부(380)가 입체 이미지를 재생시킬 경우 스위칭패널부(미도시)를 더 구비할 수 있다.
이동통신용 단말기는 통신을 위한 사운드 모듈(371), 음향처리부(373)와 스피커(375) 및 그래픽 모듈(379)을 가질 수 있다. 그리고 단말기의 인터페이스부(360)에 카메라모듈(392), 외장메모리(395)를 연결시킬 수도 있다.
도 15는 스위칭패널부가 전송한 이미지를 입체로 보이도록 하는 개념을 나타낸 도면이다. 스위칭패널부는 양안시차를 이용하여 이미지가 입체 영상으로 보이도록 할 수 있다. 양안시차는 오른쪽 눈과 왼쪽 눈이 사물을 보는 시각의 차이를 나 타낸다. 사람의 뇌에서 오른쪽 눈을 통해 보는 이미지(R)와 왼쪽 눈을 통해 보는 이미지(L)를 합성하면, 그 합성된 이미지는 사람에게 입체 이미지 상으로 보일 수 있다.
이를 위해 하나의 이미지를 오른쪽 눈이 보는 이미지와 왼쪽 눈이 보는 이미지로 나누어 준비하고, 왼쪽 이미지(L)와 오른쪽 이미지(R)를 픽셀 단위로 합성하여 하나의 화면에 표시한다. 그리고, 사람의 두 눈이 왼쪽 이미지에 의한 픽셀 단위 이미지와 오른쪽 이미지에 의한 픽셀단위의 이미지를 분리시켜 보도록 하면, 그 이미지는 입체 이미지로 보일 수 있다.
두 이미지를 합성하는 방법은 주로 보간 방법이 사용될 수 있지만, 이미지를 형성하는 방법에 따라 달라질 수 있다.
도 15에서 b는 스위칭패널부의 배리어(barrier) 간격을, g는 스위칭패널부와 디스플레이부의 간격을, z는 사람이 보는 위치로부터 디스플레이부까지의 거리를 나타낸다.
도 15와 같이 두 이미지를 픽셀단위로 합성할 경우(L, R), 오른쪽 눈의 시각이 오른쪽 이미지에 포함된 픽셀로, 왼쪽 눈의 시각이 왼쪽 이미지에 포함된 픽셀로 대응되도록 시각을 입사받는 스위칭패널부(281)가 동작할 수 있다.
스위칭패널부(281)는 방송 신호 수신 장치가 입체 이미지를 재생하고자 할 경우, 온(on) 되어 입사 시각을 분리할 수 있다. 또한, 스위칭패널부(281)는 방송 신호 수신 장치가 2차원 이미지를 재생하고자 할 경우 오프(off) 되어 입사 시각을 분리시키지 않고 그대로 통과시킬 수 있다. 따라서, 스위칭패널부(281)가 오프될 경우에는 양안시차가 분리되지 않는다.
이상에서 상기한 실시예는 방송 객체가 이미지일 경우를 예로 하였으나, 당업자는 방송 객체가 텍스트, 정지 영상, 동영상, 오디오 콘텐츠라도 본 발명을 변형하여 재생 제어 정보로 재생되도록 할 수 있으며, 이러한 변형도 본 발명의 사상에 포함되는 것이다.
따라서, 동일한 기술분야의 당업자가 본 특허명세서로부터 본 발명을 변경하거나 변형하는 것은 용이한 것이다. 본 발명의 일 실시예가 상기 명확하게 기재되었더라도, 그것을 여러 가지로 변경하는 것은 본 발명의 사상과 관점으로부터 이탈하는 것이 아니며 본 발명의 사상과 관점 내에 있다고 해야 할 것이다.
상기에서 설명한 본 발명에 따른 방송 신호 송수신 장치 및 방송 신호 송수신 방법의 효과를 설명하면 다음과 같다.
첫째, 본 발명에 따른 방송 신호 송수신 장치 및 방송 신호 송수신 방법에 의하면 방송 신호를 전송하고자 하는 측과 방송 신호를 수신하고자 하는 측이 이미지를 전송하거나 재생할 경우에 대한 편의를 제공할 수 있다.
둘째, 본 발명에 따른 방송 신호 송수신 장치 및 방송 신호 송수신 방법에 의하면 전송 이미지를 역동적으로 변형하여 재생할 수 있다.
셋째, 본 발명에 따른 방송 신호 송수신 장치 및 방송 신호 송수신 방법에 의하면 전송한 방송 신호를 입체적으로 재생할 수 있다.

Claims (37)

  1. 이미지를 준비하고, 상기 이미지의 재생 제어 정보를 생성하는 단계;
    상기 이미지와 상기 이미지의 재생 제어 정보를 방송 데이터로 변환하는 단계; 및
    상기 방송 데이터를 전송하는 단계를 포함하는 것을 특징으로 하는 방송 신호 송신 방법.
  2. 제 1항에 있어서,
    상기 재생 제어 정보는 재생되는 이미지들의 재생 순서를 나타내는 정보인 것을 특징으로 하는 방송 신호 송신 방법.
  3. 제 1항에 있어서,
    상기 재생 제어 정보는, 상기 이미지들이 재생될 경우 재생 이미지상의 차원(次元)을 정의하는 정보인 것을 특징으로 하는 방송 신호 송신 방법.
  4. 제 1항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 2차원임을 나타내는 정보 및 3차원임을 나타내는 정보 중 어느 하나의 정보인 것을 특징으로 하는 방송 신호 송신 방법.
  5. 제 1항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 2차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 및 3차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 중 어느 하나의 정보인 것을 특징으로 하는 방송 신호 송신 방법.
  6. 제 1항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 이미지 그룹에 속하는 이미지들에 의해 재생될 경우 하나의 그룹의 이미지 수를 나타내는 정보, 그룹에 속하는 이미지의 일련번호를 나타내는 정보, 그룹의 재생 간격을 나타내는 정보 및 그룹의 일련번호를 나타내는 정보 중 어느 하나의 정보를 포함하는 것을 특징으로 하는 방송 신호 송신 방법.
  7. 제 1항에 있어서,
    상기 재생 제어 정보는 멀티미디어 객체 전송 프로토콜(multimedia object transfer ; MOT)에 포함되어 전송되는 것을 특징으로 하는 방송 신호 송신 방법.
  8. 제 1항에 있어서,
    상기 재생 제어 정보는 가변 길이의 필드(field) 길이의 값을 가지는 것을 특징으로 하는 방송 신호 송신 방법.
  9. 이미지와 재생 제어 정보가 포함된 방송 데이터를 수신하는 단계;
    상기 수신한 방송 데이터를 복호하여 상기 방송 데이터로부터 재생 제어 정보를 획득하는 단계; 및
    상기 획득된 재생 제어 정보에 따라 상기 방송 데이터에 포함된 이미지를 재생하는 단계를 포함하는 방송 신호 수신 방법.
  10. 제 9항에 있어서,
    상기 재생 제어 정보는, 재생되는 이미지들의 재생 순서를 나타내는 정보인 것을 특징으로 하는 방송 신호 수신 방법.
  11. 제 9항에 있어서,
    상기 재생 제어 정보는, 상기 이미지들이 재생될 경우 재생 이미지상의 차원을 정의하는 정보인 것을 특징으로 하는 방송 신호 수신 방법.
  12. 제 9항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 2차원임을 나타내는 정보 및 3차원임을 나타내는 정보 중 어느 하나의 정보인 것을 특징으로 하는 방송 신호 수신 방법.
  13. 제 9항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 2차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 및 3차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 중 어느 하나의 정보인 것을 특징으로 하는 방송 신호 수신 방법.
  14. 제 9항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 이미지 그룹에 속하는 이미지들에 의해 재생될 경우 하나의 그룹의 이미지 수를 나타내는 정보, 그룹에 속하는 이미지의 일련번호를 나타내는 정보, 그룹의 재생 간격을 나타내는 정보 및 그룹의 일련번호를 나타내는 정보 중 어느 하나의 정보를 포함하는 것을 특징으로 하는 방송 신호 수신 방법.
  15. 제 9항에 있어서,
    상기 재생 제어 정보는 멀티미디어 객체 전송 프로토콜(multimedia object transfer ; MOT)에 포함되어 전송되는 것을 특징으로 하는 방송 신호 수신 방법.
  16. 제 9항에 있어서,
    상기 재생 제어 정보는 가변 길이의 필드(field) 길이의 값을 가지는 것을 특징으로 하는 방송 신호 수신 방법.
  17. 생성된 이미지를 저장하는 이미지저장부;
    상기 생성된 이미지의 재생 원칙을 나타내는 재생 제어 정보를 생성하여 출력하는 재생제어정보생성부;
    상기 이미지저장부가 저장한 이미지와 상기 재생제어정보생성부가 출력하는 재생 제어 정보를 방송 데이터 형식으로 변환하는 방송데이터변환부; 및
    상기 방송데이터변환부가 출력하는 방송 신호를 전송하는 전송부를 포함하는 것을 특징으로 하는 방송 신호 송신 장치.
  18. 제 17항에 있어서,
    상기 재생 제어 정보는 재생되는 이미지들의 재생 순서를 나타내는 정보인 것을 특징으로 하는 방송 신호 송신 장치.
  19. 제 17항에 있어서,
    상기 재생 제어 정보는, 상기 이미지들이 재생될 경우 재생 이미지상의 차원을 정의하는 정보인 것을 특징으로 하는 방송 신호 송신 장치.
  20. 제 17항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 2차원임을 나타내는 정보 및 3차원 임을 나타내는 정보 중 어느 하나의 정보인 것을 특징으로 하는 방송 신호 송신 장치.
  21. 제 17항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 2차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 및 3차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 중 어느 하나의 정보인 것을 특징으로 하는 방송 신호 송신 장치.
  22. 제 17항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 이미지 그룹에 속하는 이미지들에 의해 재생될 경우 하나의 그룹의 이미지 수를 나타내는 정보, 그룹에 속하는 이미지의 일련번호를 나타내는 정보, 그룹의 재생 간격을 나타내는 정보, 및 그룹의 일련번호를 나타내는 정보 중 어느 하나의 정보를 포함하는 것을 특징으로 하는 방송 신호 송신 장치.
  23. 제 17항에 있어서,
    상기 방송데이터변환부가 변환시키는 방송 데이터의 형식은 멀티미디어 객체 전송 프로토콜에 따른 형식인 것을 특징으로 하는 방송 신호 송신 장치.
  24. 제 17항에 있어서,
    상기 재생 제어 정보는 가변 길이의 필드(field) 길이의 값인 것을 특징으로 하는 방송 신호 송신 장치.
  25. 방송 신호로부터 수신한 이미지와 재생 제어 정보를 저장하는 메모리부;
    상기 재생 제어 정보에 따라 상기 메모리부에 저장된 이미지를 처리하여 출력하는 이미지처리부; 및
    상기 이미지처리부가 출력하는 이미지를 디스플레이하는 디스플레이부를 포함하는 것을 특징으로 하는 방송 신호 수신 장치.
  26. 제 25항에 있어서,
    상기 재생 제어 정보는 재생되는 이미지들의 재생 순서를 나타내는 정보인 것을 특징으로 하는 방송 신호 수신 장치.
  27. 제 25항에 있어서,
    상기 재생 제어 정보는, 상기 이미지들이 재생될 경우 재생 이미지상의 차원을 정의하는 정보인 것을 특징으로 하는 방송 신호 수신 장치.
  28. 제 25항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 2차원임을 나타내는 정보 및 3차원 임을 나타내는 정보 중 어느 하나의 정보인 것을 특징으로 하는 방송 신호 수신 장치.
  29. 제 25항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 2차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 및 3차원 이미지 그룹에 속하는 이미지들에 의해 재생됨을 나타내는 정보 중 어느 하나의 정보인 것을 특징으로 하는 방송 신호 수신 장치.
  30. 제 25항에 있어서,
    상기 재생 제어 정보는 재생 이미지 상이 이미지 그룹에 속하는 이미지들에 의해 재생될 경우 하나의 그룹의 이미지 수를 나타내는 정보, 그룹에 속하는 이미지의 일련번호를 나타내는 정보, 그룹의 재생 간격을 나타내는 정보 및 그룹의 일련번호를 나타내는 정보 중 어느 하나의 정보를 포함하는 것을 특징으로 하는 방송 신호 수신 장치.
  31. 제 25항에 있어서,
    상기 이미지처리부는 상기 재생 제어 정보가 이미지들의 재생 순서를 나타낼 경우 상기 이미지들의 재생 순서에 따라 이미지를 출력하는 것을 특징으로 하는 방송 신호 수신 장치.
  32. 제 25항에 있어서,
    상기 이미지처리부는 상기 재생 제어 정보가 재생된 이미지상의 차원을 나타낼 경우 상기 차원에 따라 이미지들을 합성하여 출력하는 것을 특징으로 하는 방송 신호 수신 장치.
  33. 제 25항에 있어서,
    상기 방송 신호 수신 장치는 입사 시각(視覺)을 분산시킬 수 있는 스위칭패널부를 더 포함하는 것을 특징으로 하는 방송 신호 수신 장치.
  34. 방송 객체와 상기 방송 객체의 재생 제어 정보를 생성하는 단계;
    상기 방송 객체와 상기 방송 객체의 재생 제어 정보를 방송 데이터 형식으로 변환하는 단계; 및
    상기 방송 데이터를 전송하는 단계를 포함하는 것을 특징으로 하는 방송 신호 송신 방법.
  35. 제 34 항에 있어서,
    상기 재생 제어 정보는 상기 방송 객체의 재생 순서 정보인 것을 특징으로 하는 방송 신호 송신 방법.
  36. 방송 객체와 재생 제어 정보가 포함된 방송 데이터를 수신하는 단계;
    상기 수신한 방송 데이터로부터 상기 방송 객체에 대한 재생 제어 정보를 획득하는 단계; 및
    상기 획득한 재생 제어 정보에 따라 상기 방송 객체를 재생하는 단계를 포함하는 방송 신호 수신 방법.
  37. 제 36항에 있어서,
    상기 재생 제어 정보는 상기 방송 객체의 재생 순서 정보인 것을 특징으로 하는 방송 신호 수신 방법.
KR1020060035944A 2006-04-20 2006-04-20 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법 KR101177412B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020060035944A KR101177412B1 (ko) 2006-04-20 2006-04-20 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법
US11/735,352 US8035753B2 (en) 2006-04-20 2007-04-13 Apparatus and a method for transmitting and receiving a broadcast signal and a data structure thereof
CN2007101013808A CN101094370B (zh) 2006-04-20 2007-04-20 用来发送和接收广播信号的装置和方法
JP2007111572A JP5144113B2 (ja) 2006-04-20 2007-04-20 放送信号及びそのデータ構造を送受信する装置及び方法
EP07008130.2A EP1848211B1 (en) 2006-04-20 2007-04-20 An apparatus and a method for transmitting and receiving a broadcast signal and a data structure thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060035944A KR101177412B1 (ko) 2006-04-20 2006-04-20 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법

Related Child Applications (2)

Application Number Title Priority Date Filing Date
KR1020110098983A Division KR101155009B1 (ko) 2011-09-29 2011-09-29 방송 신호 수신 방법 및 장치
KR1020110098984A Division KR101100229B1 (ko) 2011-09-29 2011-09-29 방송 신호 표출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20070103969A true KR20070103969A (ko) 2007-10-25
KR101177412B1 KR101177412B1 (ko) 2012-08-24

Family

ID=38283972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060035944A KR101177412B1 (ko) 2006-04-20 2006-04-20 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법

Country Status (5)

Country Link
US (1) US8035753B2 (ko)
EP (1) EP1848211B1 (ko)
JP (1) JP5144113B2 (ko)
KR (1) KR101177412B1 (ko)
CN (1) CN101094370B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849009B2 (en) 2008-03-12 2014-09-30 Samsung Electronics Co., Ltd. Image processing method and apparatus, image reproducing method and apparatus, and recording medium

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101480186B1 (ko) * 2007-12-10 2015-01-07 삼성전자주식회사 2ｄ 영상과 3ｄ 입체영상을 포함하는 영상파일을 생성 및재생하기 위한 시스템 및 방법
WO2009075495A1 (en) * 2007-12-10 2009-06-18 Samsung Electronics Co., Ltd. System and method for generating and reproducing image file including 2d image and 3d stereoscopic image
JP5095436B2 (ja) * 2008-02-12 2012-12-12 ソニー株式会社 Ｂｇｍ付きスライドショー表示システム、ｂｇｍ付きスライドショー表示方法、情報処理装置、再生装置及びプログラム
RU2011148354A (ru) * 2010-03-29 2014-05-10 Панасоник Корпорэйшн Устройство обработки видео
JP2011250317A (ja) * 2010-05-28 2011-12-08 Sharp Corp ３次元ディスプレイ装置、表示方法、プログラム、及び、記録媒体
JP2012039340A (ja) * 2010-08-06 2012-02-23 Hitachi Consumer Electronics Co Ltd 受信装置および受信方法
CN110248041A (zh) * 2018-03-08 2019-09-17 阿里巴巴集团控股有限公司 图像数据传输控制方法、装置及电子设备
CN116938372B (zh) * 2023-07-25 2024-03-12 广东保伦电子股份有限公司 一种基于时间轴的快速配置广播定时任务的方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08251628A (ja) * 1995-03-08 1996-09-27 Cosmo Syst:Kk 立体画像表示システム
EP0735776B1 (en) * 1995-03-29 2004-01-28 Hitachi, Ltd. Decoder for compressed and multiplexed video and audio data
US20030121040A1 (en) * 2001-07-02 2003-06-26 Ferman A. Mufit Audiovisual management system
KR100523052B1 (ko) 2002-08-30 2005-10-24 한국전자통신연구원 다중 디스플레이 방식을 지원하는 다시점 동영상의 객체 기반 부호화 장치 및 그 방법과 그를 이용한 객체 기반 송수신 시스템 및 그 방법
KR100751422B1 (ko) 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
JP4324435B2 (ja) * 2003-04-18 2009-09-02 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
JP3908691B2 (ja) * 2003-04-28 2007-04-25 株式会社東芝 情報記録媒体、録画前処理方法、情報記録方法、情報再生方法、情報記録装置および情報再生装置
JP4259223B2 (ja) * 2003-08-05 2009-04-30 三菱電機株式会社 映像情報配信表示システム
JP2005094168A (ja) * 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
US7650036B2 (en) 2003-10-16 2010-01-19 Sharp Laboratories Of America, Inc. System and method for three-dimensional video coding
KR100576544B1 (ko) 2003-12-09 2006-05-03 한국전자통신연구원 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
JP4304108B2 (ja) 2004-03-31 2009-07-29 株式会社東芝 メタデータ配信装置、動画再生装置および動画再生システム
KR100585966B1 (ko) 2004-05-21 2006-06-01 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
KR100703063B1 (ko) 2005-11-24 2007-04-06 주식회사 문화방송 이미지 전송 장치 및 이미지 수신 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8849009B2 (en) 2008-03-12 2014-09-30 Samsung Electronics Co., Ltd. Image processing method and apparatus, image reproducing method and apparatus, and recording medium

Also Published As

Publication number Publication date
CN101094370A (zh) 2007-12-26
JP2007295572A (ja) 2007-11-08
EP1848211A2 (en) 2007-10-24
EP1848211A3 (en) 2008-08-06
CN101094370B (zh) 2011-11-02
JP5144113B2 (ja) 2013-02-13
US8035753B2 (en) 2011-10-11
US20070247521A1 (en) 2007-10-25
KR101177412B1 (ko) 2012-08-24
EP1848211B1 (en) 2016-09-14

Similar Documents

Publication Publication Date Title
KR101177412B1 (ko) 방송 신호 송수신 장치 및 이를 이용한 방송 신호 송수신방법
KR101137347B1 (ko) 이동통신 단말기 및 그 단말기를 이용한 이미지 표출 방법
US8384766B2 (en) Apparatus for processing a stereoscopic image stream
JP4942784B2 (ja) マルチメディア情報生成装置およびマルチメディア情報再生装置
US20110018966A1 (en) Receiving Device, Communication System, Method of Combining Caption With Stereoscopic Image, Program, and Data Structure
KR100816965B1 (ko) 입체시용 영상 제공 방법 및 입체 영상 표시 장치
US20110293240A1 (en) Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
KR20070041745A (ko) 비디오 정보를 전송하기 위한 시스템 및 방법
KR20040031519A (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상 데이터 처리시스템 및 그 방법
KR101490005B1 (ko) 3-차원 비디오 콘텐츠로의 삽입을 위해 2-차원 비디오 콘텐츠를 변환하는 방법 및 장치
KR100810539B1 (ko) 다중 카메라 시스템에서 자유로운 기본설정 뷰의부호화/복호화 방법 및 그 장치
KR101314601B1 (ko) 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및 콘텐츠 표출 방법
JP2011249945A (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR101100212B1 (ko) 방송 신호 전송 방법, 방송 신호 재생 방법, 방송 신호전송 장치 및 방송 신호 수신 장치
WO2019155930A1 (ja) 送信装置、送信方法、処理装置および処理方法
KR101155009B1 (ko) 방송 신호 수신 방법 및 장치
KR101100229B1 (ko) 방송 신호 표출 방법 및 장치
KR101191195B1 (ko) 콘텐츠 전송 장치, 콘텐츠 표출 장치, 콘텐츠 전송 방법 및콘텐츠 표출 방법
KR101265595B1 (ko) 방송 신호 전송 방법, 방송 신호 재생 방법, 방송 신호전송 장치 및 방송 신호 수신 장치
JP4424640B2 (ja) 立体映像信号生成方法及び伝送方法と、そのシステム
JP2007174097A (ja) 映像信号処理装置
TW201407540A (zh) 影像處理方法與影像顯示系統

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150724

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee