KR20160114586A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20160114586A
KR20160114586A KR1020167018708A KR20167018708A KR20160114586A KR 20160114586 A KR20160114586 A KR 20160114586A KR 1020167018708 A KR1020167018708 A KR 1020167018708A KR 20167018708 A KR20167018708 A KR 20167018708A KR 20160114586 A KR20160114586 A KR 20160114586A
Authority
KR
South Korea
Prior art keywords
time information
time
clock
frequency
unit
Prior art date
Application number
KR1020167018708A
Other languages
English (en)
Other versions
KR102171652B1 (ko
Inventor
나오히사 기타자토
준 기타하라
가즈유키 다카하시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20160114586A publication Critical patent/KR20160114586A/ko
Application granted granted Critical
Publication of KR102171652B1 publication Critical patent/KR102171652B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/0803—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division using frequency interleaving, e.g. with precision offset
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/38—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space
    • H04H60/40—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying broadcast time or space for identifying broadcast time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/081—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division the additional information signals being transmitted by means of a subcarrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H04N7/087—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only
    • H04N7/088—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division with signal insertion during the vertical blanking interval only the inserted signal being digital

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 비디오, 오디오 등의 전송 미디어를 단편화하여 얻어진 전송 미디어 패킷을 방송 신호에 실어서 송신하는 경우에 있어서의 클럭 동기, 제시 동기를 양호하게 실현 가능하게 한다. 시각 정보 서버로부터 취득된 시각 정보에 동기된 27㎒의 클럭을 생성한다. 이 27㎒의 클럭의 주파수 정보를 포함하는, 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성한다. 전송 미디어를 부호화한다. 부호화된 전송 미디어를 소정의 단위로 단편화하고, 각 단편을 포함하는 전송 미디어 패킷을 생성한다. 전송 미디어 패킷, 시각 정보를 갖는 패킷 및 제어 신호를 갖는 패킷을 시분할적으로 포함하는 스트림을 방송파에 실어서 송신한다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법{TRANSMISSION DEVICE, TRANSMISSION METHOD, RECEPTION DEVICE, AND RECEPTION METHOD}
본 기술은, 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 상세하게는, 비디오, 오디오 등의 전송 미디어를 단편화하여 얻어진 전송 미디어 패킷을 방송 신호에 실어서 송신하는 송신 장치 등에 관한 것이다.
종래, 디지털 방송은 세계적으로 MPEG2-TS 방식의 시스템 사양에 기초하여 규정되어 운용되어 왔다. 운용을 개시한 후, 10-15년 경과하는 동안에, 영상 부호화의 기술이 진화함과 함께 보다 고해상도 고화질화의 요구도 높아져 왔다. 또한, 한편으로, 인터넷의 보급과 고속화가 진행되어, 방송과 동등한 화질의 영상 신호를, 통신로를 경유하여 수신하는 것도 가능하게 되어 왔다.
종래, 인터넷 등의 네트워크를 이용한 IPTV(Internet Protocol Television) 배신 시스템이 제안되어 있다(예를 들어, 특허문헌 1 참조). 최근, IPTV 등의 인터넷 스트리밍에 있어서의 표준화가 행해지고 있다. 예를 들어, HTTP(Hypertext Transfer Protocol) 스트리밍에 의한 VoD((Video on Demand) 스트리밍이나, 라이브 스트리밍에 적용되는 방식의 표준화가 행해지고 있다.
특히, ISO/IEC/MPEG로 표준화가 행해지고 있는 DASH(Dynamic Adaptive Streaming over HTTP)가 주목받고 있다. DASH에서는, 클라이언트 단말기는, MPD(Media Presentation Description)라고 불리는 메타 파일과, 거기에 기술되는 청크화된 미디어 데이터의 어드레스(url)를 바탕으로, 스트리밍 데이터를 취득하여 재생한다. 이 경우의 미디어 데이터는, 오디오(Audio)/비디오(Video)/서브타이틀(Subtitle) 등의 미디어 데이터이다.
일본 특허 공개 제2011-193058호 공보
그러한 상황에 있어서, 방송과 통신을 통합적으로 이용한 서비스에 대한 기대도 커지고 있으며, 기술적으로도 방송과 통신의 배신 사양의 공통화, 통합화가 요구되고 있다.
본 기술의 목적은, 비디오, 오디오 등의 전송 미디어를 단편화하여 얻어진 전송 미디어 패킷을 방송 신호에 실어서 송신하는 경우에 있어서의 클럭 동기, 제시 동기를 양호하게 실현하는 데 있다.
본 기술의 개념은,
시각 정보 서버로부터 취득된 시각 정보에 동기된 제1 주파수의 클럭을 생성하는 클럭 생성부와,
상기 클럭 생성부에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성부와,
전송 미디어를 부호화하는 부호화부와,
상기 부호화부에서 부호화된 전송 미디어를 소정의 단위로 단편화하고, 각 단편을 포함하는 전송 미디어 패킷을 생성하는 패킷화부와,
상기 패킷화부에서 생성된 전송 미디어 패킷, 상기 시각 정보 생성부에서 생성된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 갖는 제어 신호 패킷을 시분할적으로 포함하는 스트림을 방송파에 실어서 송신하는 송신부를 구비하는
송신 장치에 있다.
본 기술에 있어서, 클럭 생성부에 의해, 시각 정보 서버, 예를 들어 NTP(Network Time Protocol) 서버로부터 취득된 시각 정보에 동기된 제1 주파수, 예를 들어 27㎒의 클럭이 생성된다. 시각 정보 생성부에 의해, 클럭 생성부에서 생성된 제1 주파수의 클럭의 주파수 정보를 포함하는 시각 정보가 생성된다.
예를 들어, 시각 정보 생성부는, 클럭 생성부에서 생성된 27㎒의 클럭을 카운트하여 300 분주하는 9비트 카운터와, 이 9비트 카운터의 분주 출력을 카운트하여 90000 분주하는 17비트 카운터와, 이 17비트 카운터의 분주 출력을 카운트하는 32비트 카운터를 포함할 수 있다.
부호화부에 의해, 비디오, 오디오 등의 전송 미디어가 부호화된다. 패킷화부에 의해, 부호화부에서 부호화된 전송 미디어가 소정의 단위로 단편화되고, 각 단편을 포함하는 전송 미디어 패킷이 생성된다. 예를 들어, 패킷화부는, 시각 정보 생성부에서 얻어지는 90K㎐의 클럭에 기초하여, 전송 미디어 패킷에 삽입하는, 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보를 취득할 수 있다.
또한, 예를 들어 패킷화부에서 생성되는 전송 미디어 패킷은, 소정수의 무비 프래그먼트를 포함하는 미디어 세그먼트이며, 패킷화부는, 이 무비 프래그먼트를 구성하는 moof 박스 내의 tfdt 박스 및 trun 박스에 삽입하는 시간 정보를 취득할 수 있다.
송신부에 의해, 패킷화부에서 생성된 전송 미디어 패킷, 시각 정보 생성부에서 생성된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 갖는 제어 신호 패킷을 시분할적으로 포함하는 스트림을 실은 방송파가 송신된다.
이렇게 본 기술에 있어서는, 방송파에 싣는 스트림에, 시각 정보 서버로부터 취득된 시각 정보에 동기된 제1 주파수의 클럭의 주파수 정보를 갖는 시각 정보를 가진 패킷이 포함되는 것이다. 그로 인해, 수신측에서는, 이 시각 정보에 기초하여 송신측과 마찬가지의 제1 주파수의 클럭(시스템 클럭)을 생성할 수 있고, 클럭 동기의 실현이 가능하게 된다.
또한, 본 기술에 있어서는, 전송 미디어 패킷에 삽입하는, 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보가, 시각 정보 생성부에서 얻어지는 제2 주파수, 예를 들어 90K㎐의 클럭에 기초하여 취득되는 것이다. 그로 인해, 수신측에서는, 스트림에 포함되는 시각 정보에 기초하여 생성되는 제1 주파수의 클럭의 주파수 정보를 포함하는 시각 정보와, 전송 미디어의 제시 단위마다 전송 미디어 패킷에 삽입되어 있는 시간 정보에 의해 구해지는 디코드 시각 및 표시 시각에 기초하여, 제시 동기의 실현이 가능하게 된다.
또한, 본 기술의 다른 개념은,
부호화된 전송 미디어가 단편화되어 얻어진 단편을 갖는 전송 미디어 패킷, 제1 주파수의 클럭의 주파수 정보를 포함하는, 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 포함하는 제어 신호 패킷을 시분할적으로 포함하는 스트림이 실린 방송파를 수신하는 수신부와,
상기 시각 정보 패킷이 갖는 시각 정보에 기초하여, 상기 제1 주파수의 클럭을 생성하는 클럭 생성부와,
상기 클럭 생성부에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성부와,
상기 전송 미디어 패킷에 삽입되어 있는 시간 정보에 기초하여, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하는 시각 산출부와,
상기 수신부에서 수신된 전송 미디어 패킷에 포함되는 부호화된 전송 미디어를, 제시 단위마다, 상기 시각 산출부에서 산출된 디코드 시각 및 표시 시각과, 상기 시각 정보 생성부에서 생성된 시각 정보에 기초하여 처리하는 처리부를 구비하는
수신 장치에 있다.
본 기술에 있어서, 수신부에 의해, 스트림을 실은 방송파가 수신된다. 이 스트림에는, 전송 미디어 패킷, 시각 정보 패킷 및 제어 신호 패킷이 시분할적으로 포함되어 있다. 여기서, 전송 미디어 패킷은, 부호화된 전송 미디어가 단편화되어 얻어진 단편을 가지고 있다. 시각 정보 패킷은, 제1 주파수, 예를 들어 27㎒의 클럭의 주파수 정보를 포함하는, 시각 정보 서버, 예를 들어 NTP 서버로부터 취득된 시각 정보에 동기된 시각 정보를 가지고 있다. 또한, 제어 신호 패킷은, 제어 신호를 가지고 있다.
예를 들어, 수신부에서 수신되는 전송 미디어 패킷은, 소정수의 무비 프래그먼트를 포함하는 미디어 세그먼트이며, 무비 프래그먼트를 구성하는 moof 박스 내의 tfdt 박스 및 trun 박스에, 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보가 삽입되어 있을 수 있다.
클럭 생성부에 의해, 시각 정보 패킷이 갖는 시각 정보에 기초하여, 제1 주파수의 클럭이 생성된다. 시각 정보 생성부에 의해, 이 제1 주파수의 클럭의 주파수 정보를 포함하는, 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보가 생성된다.
시각 산출부에 의해, 전송 미디어 패킷에 삽입되어 있는 시간 정보에 기초하여, 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각이 구해진다. 그리고, 처리부에 의해, 수신부에서 수신된 전송 미디어 패킷에 포함되는 부호화된 전송 미디어가, 제시 단위마다, 시각 산출부에서 산출된 디코드 시각 및 표시 시각과, 시각 정보 생성부에서 생성된 시각 정보에 기초하여 처리된다.
이렇게 본 기술에 있어서는, 방송 신호에 포함되는 시각 정보 서버로부터 취득된 시각 정보에 관련된 시각 정보에 기초하여 송신측과 마찬가지의 제1 주파수의 클럭(시스템 클럭)과, 이 제1 주파수의 클럭의 주파수 정보를 포함하는 시각 정보가 생성되는 것이다. 또한, 전송 미디어 패킷에 삽입되어 있는 시간 정보에 기초하여, 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각이 구해지고, 전송 미디어의 제시 단위마다의 디코드나 표시의 처리가 행해진다. 그로 인해, 클럭 동기 및 제시 동기의 실현이 가능하게 된다.
또한, 본 기술에 있어서, 예를 들어 시각 정보 생성부는, 클럭 생성부에서 생성되는 27㎒의 클럭을 카운트하여 300 분주하는 9비트 카운터와, 이 9비트 카운터의 분주 출력을 카운트하여 90000 분주하는 17비트 카운터와, 이 17비트 카운터의 분주 출력을 카운트하는 32비트 카운터를 갖고, 초 부분과, 90K㎐의 클럭의 카운트값으로 표시되는 서브 초 부분을 갖는 시각 정보를 생성하고, 시각 산출부는, 디코드 시각 및 표시 시각을, 각각 초 부분과, 90K㎐의 클럭의 카운트값으로 표시되는 서브 초 부분으로 나누어 산출할 수 있다. 이 경우, 디코드나 표시의 타이밍을, 생성된 시각 정보와, 산출된 디코드 시각, 표시 시각의 매칭을, 초 부분과 서브 초 부분의 매칭을 각각 취함으로써 행하는 것이 가능하게 된다.
본 기술에 의하면, 비디오, 오디오 등의 전송 미디어를 단편화하여 얻어진 전송 미디어 패킷을 방송 신호에 실어서 송신하는 경우에 있어서의 클럭 동기, 제시 동기를 양호하게 실현할 수 있다. 또한, 여기에 기재된 효과에 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 한 효과여도 된다.
도 1은 실시 형태로서의 송수신 시스템의 구성예를 도시하는 블록도이다.
도 2는 송신·수신 시스템에 있어서의 클럭 동기와 제시 동기에 대하여 설명하기 위한 도면이다.
도 3은 방송 송출 시스템으로부터 수신기에 송신되는 방송 신호에 포함되는 f-MP4 방식의 스트림 구조를 도시하는 도면이다.
도 4는 f-MP4 방식의 스트림에 포함되는 초기화 세그먼트(IS)의 구조를 도시하는 도면이다.
도 5는 f-MP4 방식의 스트림에 포함되는 미디어 세그먼트(MS)의 구조를 도시하는 도면이다.
도 6은 f-MP4 방식의 스트림에 서비스·채널·시그널(SCS)로서 포함되는 MPD 파일의 기술예를 도시하는 도면이다.
도 7은 피리어드(Period)와 세그먼트 타임 라인(SegmentTimeline)의 시간 관계 등을 도시하는 도면이다.
도 8은 "moof" 박스 내의 "tfdt" 박스, "trun" 박스에 포함되는 주요한 정보의 내용을 도시하는 도면이다.
도 9는 제시 단위마다의 디코드 시각(Decoding Time) 및 표시 시각(Presentation Time)을 산출하기 위한 수식을 설명하기 위한 도면이다.
도 10은 NTP 서버 및 이 NTP 서버가 제공하는 시각 정보의 포맷(NTP time stamp format)을 설명하기 위한 도면이다.
도 11은 방송 송출 시스템의 구성예를 도시하는 블록도이다.
도 12는 NTP·클럭·레퍼런스의 구성을 도시하는 도면이다.
도 13은 시간 정보 취득부의 구성예를 도시하는 블록도이다.
도 14는 시간 정보 취득부의 각 부의 신호의 상태를 도시하는 도면이다.
도 15는 수신기의 구성예를 도시하는 블록도이다.
도 16은 수신기에 있어서의 동기 제어 처리의 처리 수순의 일례를 나타내는 흐름도이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라고 함)에 대하여 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[송수신 시스템의 구성예]
도 1은, 실시 형태로서의 송수신 시스템(10)의 구성예를 도시하고 있다. 이 송수신 시스템(10)은, 방송 송출 시스템(100)과, 수신기(200)에 의해 구성되어 있다.
방송 송출 시스템(100)은, 시각 정보 서버로서의 NTP(Network Time Protocol) 서버로부터 취득된 시각 정보에 동기된, 27㎒의 클럭(시스템 클럭)과, 이 27㎒의 클럭의 주파수 정보를 포함하는 시각 정보를 생성한다. 방송 송출 시스템(100)은, 비디오, 오디오 등의 전송 미디어를 소정의 단위로 단편화하고, 각 단편을 포함하는 전송 미디어 패킷(미디어 세그먼트)을 생성한다.
방송 송출 시스템(100)은, 전송 미디어 패킷에, 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보를 삽입하는데, 이 시간 정보를 시각 생성에서 사용되는 90K㎐의 클럭에 기초하여 취득한다. 방송 송출 시스템(100)은, 전송 미디어 패킷, 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 갖는 제어 신호 패킷을 시분할적으로 포함하는, Fragmented MP4(f-MP4) 방식의 스트림을 방송파에 실어서 송신한다.
수신기(200)는, 방송 송출 시스템(100)으로부터 보내져 오는 상술한 방송파를 수신한다. 수신기(200)는, 방송파에 실려 보내져 오는 f-MP4 방식의 스트림에 포함되는 시각 정보에 기초하여, 이 시각 정보에 동기된, 27㎒의 클럭(시스템 클럭)과, 이 27㎒의 클럭의 주파수 정보를 포함하는, 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성한다.
또한, 수신기(200)는, 전송 미디어 패킷에 삽입되어 있는 시간 정보에 기초하여, 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구한다. 그리고, 수신기(200)는, f-MP4 방식의 스트림에 포함되는 전송 미디어를, 제시 단위마다, 산출된 디코드 시각 및 표시 시각과, 생성된 시각 정보에 기초하여 처리한다.
송수신 시스템(10)에 있어서는, 방송 송출 시스템(100) 및 수신기(200)를 상술한 구성으로 함으로써, 종래의 MPEG2-TS 방식과 마찬가지로, 클럭 동기와 제시 동기가 실현된다.
도 2를 사용하여, 송신·수신 시스템에 있어서의 클럭 동기와 제시 동기에 대하여 설명한다. 송신 시스템, 수신 시스템은, 예를 들어 상술한 방송 송출 시스템(100), 수신기(200)에 대응한다. 송신 시스템은, 27㎒의 시스템 클럭을 생성하는 클럭 생성부(11)와, 시각 정보를 생성하는 시계부(시각 정보 생성부)(12)를 갖고 있다. 또한, 송신 시스템은, 인코드 처리부(13)와, 패킷화/타임 스탬프 부가부(14)와, 인코드 버퍼(15)를 갖고 있다.
인코드 처리부(13)에서는, 비디오, 오디오 등의 전송 미디어가 부호화된다. 패킷화/타임 스탬프 부가부(14)에서는, 부호화 후의 전송 미디어의 패킷화가 행해짐과 함께, 시계부(12)에서 생성되는 시각 정보에 기초하여 전송 미디어의 제시 단위마다 표시 시각(PTS: Presentation Time Stamp)이 부가된다. 그리고, 전송 미디어의 패킷은, 인코드 버퍼(15)에 일시적으로 축적되고, 적당한 타이밍에 송신된다.
수신 시스템은, 27㎒의 시스템 클럭을 생성하는 클럭 생성부(21)와, 시각 정보를 발생하는 시계부(시각 정보 생성부)(22)를 갖고 있다. 또한, 수신 시스템은, 디코드 버퍼(23)와, 디패킷화/타이밍 조정부(24)와, 디코드 처리부(25)를 갖고 있다.
디코드 버퍼(23)에서는, 수신된 전송 미디어의 패킷을 일시적으로 축적한다. 디패킷화/타이밍 조정부(24)에서는, 디코드 버퍼(23)에 축적되어 있는 전송 미디어의 패킷이, 시계부(22)에서 생성되는 시각 정보가 참조되고, 부가되어 있는 표시 시각 정보의 타이밍에 취출되어 디패킷화된다. 디코드 처리부(25)에서는, 디패킷화에 의해 얻어진 전송 미디어가 복호화되어, 기저 대역의 전송 미디어가 얻어진다.
여기서, 클럭 동기란, 송신 시스템의 클럭 생성부(11)에서 생성되는 시스템 클럭의 주파수와, 수신 시스템의 클럭 생성부(21)에서 생성되는 시스템 클럭의 주파수가, 동일 주파수가 되는 것을 의미한다. 클럭 동기가 실현되지 않은 경우, 수신측에서 수신을 계속하고 있는 동안에 프레임 스킵 등이 발생하는 등의 파탄이 일어난다.
또한, 제시 동기란, 송신 시스템의 시계부(12)의 시각 정보와 수신 시스템의 시계부(22)의 시각 정보를 합하고, 또한 전송 미디어의 제시 단위마다의 표시 시각 정보를 전송 미디어의 패킷에 부가하는 것을 의미한다. 또한, 여기서, 송신 시스템의 시계부(12)의 시각 정보에 수신 시스템의 시계부(22)의 시각 정보를 합한 경우에는, 송신 시스템으로부터 수신 시스템으로의 전송 지연이 고려된다. 제시 동기가 실현되어 있지 않은 경우, 수신측에서 비디오, 오디오의 동기화를 취하여 버퍼를 파탄시키지 않고 적절하게 제시한다고 할 수 없게 된다.
도 3은, 방송 송출 시스템(100)으로부터 수신기(200)에 송신되는 방송 신호에 포함되는 f-MP4 방식의 스트림 구조를 도시하고 있다. 이 f-MP4 방식의 스트림에는, 비디오, 오디오의 각 컴포넌트에 관련하여, 상술한 전송 미디어 패킷으로서의 미디어 세그먼트(MS: Media Segment)와, 초기화 세그먼트(IS: Initialization Segment)가 존재한다. 초기화 세그먼트(IS)에는, 복호 처리의 초기화 정보 등이 포함되어 있다. 수신 시에는, 초기화 세그먼트(IS)를 취득한 다음, 미디어 세그먼트(MS)를 취득하게 된다.
또한, 이 f-MP4 방식의 스트림에는, 서비스·채널·시그널(SCS: Service Channel Signal), 즉 제어 신호를 포함하는 패킷(제어 신호 패킷)이 존재한다. 도면에는, MPD(Media Presentation Description) 파일이라는 메타 파일을 포함하는 패킷만이 표시되어 있다. MPD 파일에는, 동화상의 압축 방식이나 부호화 속도, 화상 사이즈, 언어 등의 정보가 XML 형식으로 계층적으로 기술되어 있다.
또한, 이 f-MP4 방식의 스트림에는, NTP(Network Time Protocol) 서버로부터 취득된 시각 정보에 동기된, 27㎒의 클럭의 주파수 정보를 포함하는 시각 정보를 갖는 패킷(시각 정보 패킷)이 존재한다.
도 4는 초기화 세그먼트(IS)의 구조를 도시하고 있다. 이 초기화 세그먼트(IS)는, ISOBMFF(ISO Base Media File Format)에 기초하는 박스(Box) 구조를 갖는다. 선두에, 파일 타입(File type)을 나타내는 "ftyp" 박스가 배치되고, 그것에 이어 제어용 "moov" 박스가 배치되어 있다. 상세 설명은 생략하지만, "moov" 박스 내에는, 도시하는 "mvex" 박스를 포함하는 다양한 박스가 포함되어 있다. 이 "moov" 박스에, 복호 처리의 초기화 정보 등이 들어 있다.
도 5는 미디어 세그먼트(MS)의 구조를 도시하고 있다. 이 미디어 세그먼트(MS)는, ISOBMFF(ISO Base Media File Format)에 기초하는 박스(Box) 구조를 갖는다. 선두에 세그먼트 타입(Segment type)을 나타내는 "styp" 박스가 배치되고, 그것에 이어 segment index(Segment index)를 나타내는 "sidx" 박스는 배치되며, 그것에 이어 하나 또는 복수의 무비 프래그먼트(Movie Fragment)가 배치되어 있다.
"styp" 박스에 들어 있는 세그먼트 타입의 정보는 고정값인 'msdh'이다. 이 "styp" 박스는 없어도 된다. 또한, "sidx" 박스에 들어 있는 세그먼트 인덱스의 정보는, 각 무비 프래그먼트의 선두의 바이트(byte)값을 나타내는 정보이다. 무비 프래그먼트가 하나인 경우에는, 이 "styp" 박스가 없어도 된다. 무비 프래그먼트의 사이즈는 가변 길이인 점에서, 무비 프래그먼트가 복수인 경우에는, 각 무비 프래그먼트의 선두의 바이트 값을 알기 위해, "sidx" 박스가 필요해진다.
무비 프래그먼트(Movie Fragment)는, 제어 정보가 들어가는 "moof" 박스와, 비디오, 오디오 등의 신호(전송 미디어)의 실체 그 자체가 들어가는 "mdat" 박스로 구성된다. 하나의 무비 프래그먼트의 "mdat" 박스에는, 전송 미디어가 단편화되어 얻어진 단편이 들어가므로, "moof" 박스에 들어가는 제어 정보는 그 단편에 관한 제어 정보가 된다. 단편의 크기로서는, 예를 들어 MPEG Video의 GOP(Group Of Picture) 등이 상정된다.
도 6은 MPD 파일의 일례를 도시하고 있다. 또한, 이 예시는 실제의 XML 기술이 아니고, 기술되는 각 요소와 속성을 구조에 따라서 배열한 것이다. MPD 파일에는, 상술한 바와 같이, 동화상의 압축 방식이나 부호화 속도, 화상 사이즈, 언어 등의 정보가 XML 형식으로 계층적으로 기술되어 있다. MPD 파일에는, 피리어드(Period), 어댑테이션 세트(AdaptationSet), 리프리젠테이션(Representation), 세그먼트 템플릿(SegmentTemplate) 등의 구조체가, 계층적으로 포함되어 있다. 이 MPD 파일의 기술 사양은, MPEG-DASH의 사양을 규정하는 국제 표준 규격 「ISO/IEC 23009-1」으로 정해져 있다.
피리어드의 구조체는, 프로그램(동기를 취한 1조의 동화상이나 음성 등의 데이터)의 정보를 갖는다. 또한, 피리어드의 구조체에 포함되는 어댑테이션 세트의 구조체는, 스트림의 선택 범위(리프리젠테이션 군)를 그룹으로 분류한다. 또한, 어댑테이션 세트의 구조체에 포함되는 리프리젠테이션의 구조체는, 동화상이나 음성의 부호화 속도, 동화상의 음성 사이즈 등의 정보를 갖는다.
또한, 어댑테이션 세트의 구조체에 포함되는 세그먼트 템플릿의 구조체는, 동화상이나 음성의 세그먼트에 관련된 정보를 갖는다. 세그먼트 템플릿의 구조체에는, 초기화 세그먼트(IS)를 취득하는 로케이션 정보를 나타내는 이니셜라이제이션 요소와, 시시각각 상이한 파일에서 공급되는 미디어 세그먼트(MS)를 취득하는 로케이션 정보의 템플릿을 나타내는 미디어 속성 등이 포함된다.
MPD 파일에는, 피리어드(Period)마다의 제어 정보가 기술된다. 이 피리어드는, 예를 들어 하나의 프로그램에 상당하는 기간을 나타내고 있다. MPD 파일에는, 피리어드의 개시 시각 정보가, 「Period＠start」로서 포함되어 있다. 이 정보는, 연, 월, 일, 시, 분, 초로 표시된다. 도시한 예에서는, 「Period＠start = "2013-12-01T10:30:30"」이라 되어 있으며, 2013년 12월 1일 10시 30분 30초가 표시되어 있다.
또한, MPD 파일에는, 제시 타이밍 등의 시각 지정일 때의 시간 단위 정보가, 「SegmentBase＠timescale」로서 포함되어 있다. 도시한 예에서는, 「SegmentBase＠timescale = 90000」이라 되어 있고, 1/90000초(90K㎐의 클럭의 주기에 상당)의 단위인 것이 표시되어 있다.
또한, MPD 파일에는, 피리어드에 포함되는 미디어 세그먼트(MS)의 연속인 세그먼트 타임 라인(SegmentTimeline)의 개시 시각을 나타내는 시간 정보가, 「SegmentTimeline S＠t」로서 포함되어 있다. 이 때, 시간 정보는, 피리어드의 개시 시각으로부터 세그먼트 타임 라인의 개시 시각까지의 상대적인 시간의 길이를 나타내고, 「SegmentBase＠timescale」로 표시되는 주파수의 클럭의 카운트값으로 표시된다. 도시한 예에서는, 「SegmentTimeline S＠t = 0」이라 되어 있고, 세그먼트 타임 라인의 개시 시간이 피리어드의 개시 시간과 같은 것이 표시되어 있다.
또한, MPD 파일에는, 피리어드에 포함되는 미디어 세그먼트(MS)의 시간의 길이를 나타내는 시간 정보가, 「SegmentTimeline S＠d」로서 포함되어 있다. 이 때, 시간 정보는, 「SegmentBase＠timescale」로 표시되는 주파수의 클럭의 카운트값으로 표시된다. 도시한 예에서는, 「SegmentTimeline S＠t = 180000」이라 되어 있고, 「SegmentBase＠timescale = 90000」일 때, 2초인 것이 표시되어 있다.
도 7은 피리어드(Period)와 세그먼트 타임 라인(SegmentTimeline)과의 시간 관계 등을 도시하고 있다. 도시한 예에서는, 「SegmentTimeline S＠t = 0」이고, 세그먼트 타임 라인의 개시 시간이 피리어드의 개시 시간과 같은 예를 나타내고 있다. 세그먼트 타임 라인에 있어서의 d1, d2, …, dr은, 각각 미디어 세그먼트(MS)를 나타내고 있다.
미디어 세그먼트(MS)에는, 상술한 바와 같이 하나 또는 복수의 무비 프래그먼트(Movie Fragment)가 배치되어 있고, 각 무비 프래그먼트는, "moof" 박스와, "mdat" 박스로 구성되어 있다. "mdat" 박스에는, 전송 미디어가 단편화되어 얻어진 단편이 포함되어 있다. 예를 들어, 전송 미디어가 비디오 신호일 경우, "mdat" 박스에는, MPEG Video의 부호화 데이터가 포함된다. 도시와 같이, 이 부호화 데이터는, I 픽처, B 픽처 등의 복수의 픽처의 부호화 데이터에 의해 구성되어 있다.
또한, "moof" 박스에는, "tfdt" 박스가 포함되어 있다. 이 "tfdt" 박스에는, 「base Media Decode Time」의 정보가 포함되어 있다. 도 8에 도시하는 바와 같이, 「base Media Decode Time」은, 세그먼트 타임 라인(SegmentTimeline) 상의 당해 무비 프래그먼트의 최초의 디코드 시각(세그먼트 타임 라인 상의 타임 스케일 단위의 시각)을 나타내고 있다. 도시한 예에서는, I 픽처(#1의 픽처)의 디코드 시각이다.
또한, "moof" 박스에는, "trun" 박스가 포함되어 있다. 이 "trun" 박스에는, 「trun＠sample」, 「trun＠dataoffset」, 「trun＠sample_duration」, 「trun＠sample_composition_time_offset」 등의 정보가 포함되어 있다. 도 8에 도시하는 바와 같이, 「trun＠sample」은 샘플수를 나타내고, "trun" 박스는 「trun＠dataoffset」, 「trun＠sample_duration」, 「trun＠sample_composition_time_offset」의 각 정보를 샘플마다 구비한다.
도 8에 도시하는 바와 같이, 「trun＠dataoffset」은 각 샘플의 선두(바이트 위치)를 나타내고, 「trun＠sample_duration」은 각 샘플의 시간 폭(duration)을 나타내며, 「trun＠sample_composition_time_offset」은 디코드 시각부터 표시 시각까지의 오프셋 시간을 나타낸다. 여기서 샘플이란, MPEG Video의 각 픽처에 상당한다.
수신측에 있어서는, MPD 파일에 포함되는 「Period＠start」, 「SegmentBase＠timescale」, 「SegmentTimeline S＠t」의 정보와, 각 무비 프래그먼트(Movie Fragment)에 포함되는 「base Media Decode Time」, 「trun＠sample_duration」, 「trun＠sample_composition_time_offset」의 정보에 기초하여, 제시 단위마다의 디코드 시각(Decoding Time) 및 표시 시각(Presentation Time)을 산출할 수 있다.
즉, 도 9에 도시하는 바와 같이, 가장 먼저, 세그먼트 타임 라인(SegmentTimeline)의 개시 시각인 「Segment Timeline Initial Time」이, 이하의 수식 (1)로 구해진다.
SegmentTimelineInitialTime
=Period＠start + SegmentTimeline s＠t/SegmentBase＠timescale
…(1)
그리고, 도 9에 도시하는 바와 같이, 디코드 시각(Decoding Time)이, 이하의 수식 (2)로 구해진다.
DecodingTime
=SegmentTimelineInitialTime
+ (BaseMediaDecodeTime + Σ(SampleDuration))/timescale
…(2)
또한, 도 9에 도시하는 바와 같이, 표시 시각(Presentation Time)이, 이하의 수식 (3)으로 구해진다.
PresentationTime
=DecodingTime + CompositionTimeOffset)/timescale
…(3)
NTP(Network Time Protocol)에 대하여 설명한다. 도 10의 (a)에 도시하는 바와 같이, NTP 서버에는, 계층(Stratum)이 존재하고, 번호가 작을수록 고정밀도로 되어 있다. 예를 들어, 계층 1(Stratum 1)의 NTP 서버는 원자 시계와 직결되어 있고, 시각 정보의 오차는 1μs 미만이다. NTP 서버가 제공하는 시각 정보는, 1900년 1월 1일부터의 적산 초수(UTC: Coordinated Universal Time)로 표현되어 있다.
도 10의 (b)는 NTP 서버가 제공하는 시각 정보의 포맷(NTP time stamp format)을 도시하고 있다. 이 시각 정보는, 64비트 포맷이며, 상위 32비트는 UTC의 적산 초수를 나타내고, 하위 32비트는 초 미만을 나타내고 있다.
퍼스널 컴퓨터, 스마트폰 등의 클라이언트로부터 NTP 프로토콜로 NTP 서버에 액세스하여 시각 정보를 취득할 때에는, 어느 계층의 NTP 서버에 석세스될지 불분명하다. 그로 인해, 복수의 NTP 서버에 동기 액세스하여 평균값을 취함으로써 편차를 억제하여, 보다 정확한 시각 정보를 얻게 된다.
[방송 송출 시스템의 구성]
도 11은, 방송 송출 시스템(100)의 구성예를 도시하고 있다. 또한, 도시한 예에 있어서는, 오디오의 송신계에 대해서는, 생략되어 있다. 이 방송 송출 시스템(100)은, NTP/IP 인터페이스(131)와, 32비트 레지스터(132a, 132b)를 갖고 있다. 또한, 이 방송 송출 시스템(100)은, 27㎒의 클럭(시스템 클럭)을 생성하는 전압 제어 발진기(133)와, 시계부를 구성하는 9비트 카운터(134a), 17비트 카운터(134b) 및 32비트 카운터(134c)와, 비트 변환부(135)와, 비교기(136)를 갖고 있다. 또한, 이 방송 송출 시스템(100)은, NTP-CR 패킷화부(137)와, 비디오 인코드 처리부(138)와, f-MP4 패킷화부(139)와, 인코드 버퍼(140)와, MPD 발생기(141)와, 멀티플렉서(142)를 갖고 있다.
NTP/IP 인터페이스(131)에 의해, 인터넷 경유로 도시하지 않은 NTP 서버에 소정의 시간 간격으로 액세스되고, 64비트 포맷의 시각 정보(도 10의 (b) 참조)가 취득된다. 32비트 레지스터(132a, 132b)에서는, NTP/IP 인터페이스(131)로 취득되는 64비트 포맷의 시각 정보가 유지된다. 32비트 레지스터(132a)에는 상위 32비트의 비트 데이터가 유지되고, 32비트 레지스터(132b)에는 하위 32비트의 비트 데이터가 유지된다. 32비트 레지스터(132a, 132b)의 유지 내용은, NTP/IP 인터페이스(131)로 64비트 포맷의 시각 정보를 취득할 때마다 갱신된다.
여기서 시각 정보를 취득하는 빈도가 충분히 높은 경우에는 이대로의 구성이면 되지만, 낮은 경우에는 레지스터(132a, 132b)는 NTP 서버의 시계를 재현하도록 자동적으로 시각을 나타내는 카운터로서 계속 동작하는 것도 생각할 수 있다. 여기서, 취득한 시각 정보의 하위 32비트를 나타내는 레지스터(132b)의 출력이 모두 0이 된 시점에서, 시각 정보의 상위 32비트를 나타내는 레지스터(132a)의 출력을 32비트 카운터(134c)의 초기값으로서 세트하고, 또한 17비트 카운터(134b)와 9비트 카운터(134a)를 각각 모두 0으로 세트한다. 이 설정 동작은 방송 송출 시스템(100)이 동작 개시되는 1회에만 한정된다.
전압 제어 발진기(133)에서는, 27㎒의 클럭(시스템 클럭)이 발생된다. 9비트 카운터(134a)에서는, 전압 제어 발진기(133)로부터 출력되는 27㎒의 클럭이 카운트되고, 300 분주되어, 90K㎐의 클럭이 출력된다. 17비트 카운터(134b)에서는, 9비트 카운터(134a)로부터 출력되는 90K㎐의 클럭이 카운트되고, 90000 분주되어, 1Hz의 클럭이 출력된다. 32비트 카운터(134c)에서는, 17비트 카운터(134b)로부터 출력되는 1Hz의 클럭이 카운트되고, 초 정밀도의 시각 정보(Regenerated UTC)인 32비트의 비트 출력이 얻어진다.
9비트 카운터(134a), 17비트 카운터(134b) 및 32비트 카운터(134c)의 58비트의 비트 출력은, 초기값으로부터의 카운터 동작에 의해, 시각 정보로서의 시스템·타임·클럭(STC: System Time Clock)이 된다. 이 시스템·타임·클럭은 비트 변환부(135)에 입력된다.
이 비트 변환부(135)에서는, 예를 들어 변환 테이블이 사용됨으로써, 9비트 카운터(134a) 및 17비트 카운터(134b)의 비트 출력이, 32비트 카운터(134c)의 비트 출력의 하위에 연속되는 32비트 출력으로 변환된다. 이 변환은, NTP 서버로부터 취득되는 64비트 포맷의 시각 정보의 하위 32비트의 비트 출력에 대응시키기 위해 행해진다. 비트 변환부(135)에서는, 이렇게 변환된 32비트 출력과 32비트 카운터(134c)의 비트 출력을 합한 64비트 출력이 얻어진다.
비교기(136)에서는, 32비트 레지스터(132a, 132b)의 유지 내용이 갱신되는 타이밍에 비트 변환부(135)로부터의 64비트의 비트 출력이 래치되고, 레지스터 유지 내용, 즉 NTP 서버로부터 취득된 64비트 포맷의 시각 정보와 비교된다. 그리고, 비교기(136)로부터 전압 제어 발진기(133)에, 비교 오차 신호가 제어 신호로서 공급된다.
여기서, 전압 제어 발진기(133), 카운터(134a, 134b, 134c), 비트 변환부(134) 및 비교기(136)에 의해, PLL(Phase Locked Loop) 회로가 구성된다. 그로 인해, 전압 제어 발진기(133)에서는, NTP 서버로부터 취득된 64비트 포맷의 시각 정보에 동기된 27㎒의 클럭(시스템 클럭)이 생성된다. 또한, 카운터(134a, 134b, 134c)에서는, 이 27㎒의 클럭의 주파수 정보를 포함하고, NTP 서버로부터 취득된 64비트 포맷의 시각 정보에 동기된, 58비트의 시각 정보가 생성된다.
이 58비트의 시각 정보는, NTP-CR 패킷화부(137)에 공급된다. NTP-CR 패킷화부(137)에서는, 이 58비트의 시각 정보에 기초하여, 27㎒의 클럭의 주파수 정보를 갖는 NTP·클럭·레퍼런스(NTP_CR: NTP Clock Reference)를 포함하는 패킷이 생성된다. 도 12의 (a)는, 이 NTP·클럭·레퍼런스의 구성을 도시하고 있다. 이렇게 패킷화부(137)에서 생성되는 NTP_CR을 포함하는 패킷은 멀티플렉서(142)에 공급된다.
비디오 인코드 처리부(138)에서는, 전압 제어 발진기(133)에서 얻어지는 27㎒의 클럭에 동기하여, 송신해야 할 비디오 데이터의 부호화가 행해져, 비디오 엘리멘터리 스트림이 얻어진다. f-MP4 패킷화부(139)에서는, 이렇게 얻어지는 비디오 엘리멘터리 스트림이, 소정 시간분, 예를 들어 10초분마다 단편화되고, 각 단편을 포함하는 미디어 세그먼트(MS)가 생성된다. 또한, 이 f-MP4 패킷화부(139)에서는, 초기화 세그먼트(IS)도 생성된다. 이렇게 f-MP4 패킷화부(139)에서 생성되는 미디어 세그먼트(MS) 및 초기화 세그먼트(IS)는, 인코드 버퍼(140)를 통하여 멀티플렉서(142)에 공급된다.
또한, f-MP4 패킷화부(139)에서는, 전송 미디어로서의 비디오 신호의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보가, 시계부를 구성하는 9비트 카운터(134a)로부터 출력되는 90K㎐의 클럭에 기초하여 취득된다. 여기에서 말하는 시간 정보는, 각 무비 프래그먼트(Movie Fragment)를 구성하는 "moof" 박스 내의 "tfdt" 박스에 삽입해야 할 「base Media Decode Time」과, 그 "moof" 박스 내의 "trun" 박스에 삽입해야 할 각 샘플의 「trun＠sample_duration」이다.
도 13은 f-MP4 패킷화부(139) 내의 시간 정보 취득부(150)의 구성예를 도시하고 있다. 이 시간 정보 취득부(150)는, 90K㎐ 카운터(151)와, 래치 회로(152, 153, 155)와, 감산기(154)를 갖고 있다. 9비트 카운터(134a)로부터 출력되는 90K㎐의 클럭(도 14의 (a) 참조)은, 90K㎐ 카운터(151)에 카운트 클럭으로서 공급된다.
또한, 이 90K㎐ 카운터(151)에는, 비디오 인코드 처리부(138)로부터, 세그먼트 타임 라인(SegmentTimeline)의 개시 시각의 타이밍에 발생되는 세그먼트 타임 라인·스타트 펄스(Segment Timeline Start pulse)(도 14의 (b) 참조)가 클리어 신호로서 공급된다. 이에 의해, 90K㎐ 카운터(151)의 카운트값은, 세그먼트 타임 라인의 개시 시각에 0으로 클리어되고, 그 후에는 90K㎐의 클럭에 동기하여 카운트 업되어 간다(도 14의 (c) 참조).
90K㎐ 카운터(151)의 카운트값은, 래치 회로(152)에 입력된다. 또한, 이 래치 회로(152)에는, 비디오 인코드 처리부(138)로부터, 각 무비 프래그먼트(Movie Fragment)의 "mdat" 박스에 포함되는 GOP의 최초의 픽처의 디코드 시각의 타이밍에 발생되는 프래그먼트·스타트 펄스(Fragment Start pulse)(도 14의 (d) 참조)가 래치 펄스로서 공급된다. 이에 의해, 래치 회로(152)의 출력으로서, 각 무비 프래그먼트(Movie Fragment)의 "mdat" 박스 내의 "tfdt" 박스에 삽입해야 할 「base Media Decode Time」의 정보, 즉 세그먼트 타임 라인의 개시 시각으로부터 GOP의 최초의 픽처의 디코드 시각까지의 시간의 길이에 대응하는 카운트값(도 14의 (e) 참조)이 순차로 얻어진다.
또한, 90K㎐ 카운터(151)의 카운트값은, 래치 회로(153)에 입력된다. 또한, 이 래치 회로(153)에는, 비디오 인코드 처리부(138)로부터, 각 무비 프래그먼트(Movie Fragment)의 "mdat" 박스에 포함되는 GOP의 각 픽처의 디코드 시각의 타이밍에 발생되는 픽처·스타트 펄스(Picture Start pulse)(도 14의 (f) 참조)가 래치 펄스로서 공급된다. 이에 의해, 래치 회로(153)의 출력으로서, 세그먼트 타임 라인의 개시 시각으로부터 각 무비 프래그먼트의 GOP의 각 픽처의 디코드 시각까지의 시간의 길이에 대응하는 카운트값(도 14의 (g) 참조)이 순차로 얻어진다.
이 래치 회로(153)의 출력은, 감산기(154)에 한쪽의 입력으로서 공급된다. 또한, 90K㎐ 카운터(151)의 카운트값은, 이 감산기(154)에 다른 쪽 입력으로서 공급된다. 그리고, 이 감산기(254)의 출력으로서, 90K㎐ 카운터(151)의 카운트값으로부터 래치 회로(153)의 출력이 감산되어 얻어진 차분값이 얻어진다.
이 감산기(154)의 출력은, 래치 회로(155)에 입력된다. 또한, 이 래치 회로(155)에는, 비디오 인코드 처리부(138)로부터, 각 무비 프래그먼트(Movie Fragment)의 "mdat" 박스에 포함되는 GOP의 각 픽처의 디코드 시각의 타이밍에 발생되는 픽처·스타트 펄스(Picture Start pulse)(도 14의 (f) 참조)가 래치 펄스로서 공급된다. 이에 의해, 래치 회로(155)의 출력으로서, 각 무비 프래그먼트(Movie Fragment)의 "mdat" 박스 내의 "trun" 박스에 삽입해야 할 「Sample Duration」의 정보, 즉 GOP의 각 픽처(각 샘플)의 시간 폭(duration)에 대응하는 카운트값(도 14의 (h) 참조)이 순차로 얻어진다.
도 11로 복귀하여, MPD 발생기(141)에서는, MPD 파일(도 6 참조)이 생성되고, 이 MPD 파일을 포함하는 패킷이 생성된다. 이 패킷은, 멀티플렉서(142)에 공급된다. 멀티플렉서(142)에서는, 각 패킷을 포함하는 f-MP4 방식의 스트림이 생성된다. 이 f-MP4 방식의 스트림이 방송파에 실려 송신된다.
또한, 방송 송출 시스템이, 참조 부호 131 내지 137을 동기 신호 생성기, 참조 부호 138 내지 140을 인코더, 참조 부호 142를 멀티플렉서라는 형태의 독립된 장치의 집합체로서 구성되는 것도 상정할 수 있다. 그 경우에는, 상기 동기 신호 생성기로부터의 인코더의 인터페이스로서는, 27㎒ 클럭을 직접 접속하는 것이 아니라, 90K㎐ 클럭만, 또는 소위 TV 동기 신호(수평·수직 동기 신호)를 동기 신호 생성기에서 생성하여 이것을 인코더에 입력하고, 인코더에서도 27㎒VCO를 상기 TV 동기 신호에 로크시키는 방법을 취하는 것을 생각할 수 있다.
[수신기의 구성]
도 15는, 수신기(200)의 구성예를 도시하고 있다. 또한, 도시한 예에 있어서는, 오디오의 수신계에 대해서는 생략되어 있다. 이 수신기(200)는, 디멀티플렉서(231)와, 27㎒의 클럭(시스템 클럭)을 생성하는 전압 제어 발진기(232)와, 시계부를 구성하는 9비트 카운터(233a), 17비트 카운터(233b) 및 32비트 카운터(233c)와, 비교기(234)를 갖고 있다. 또한, 이 수신기(200)는, 디코드 버퍼(235)와, MPD 해석부(236)과, Moof 해석부(237)와, DTS/PTS 산출부(238)와, 타이밍 컨트롤러(239)와, 비디오 디코드 처리부(240)를 갖고 있다.
디멀티플렉서(231)에는, 방송파에 실려 보내져 오는 f-MP4 방식의 스트림이 공급된다. 디멀티플렉서(231)에서는, NTP·클럭·레퍼런스(NTP_CR)를 포함하는 패킷으로부터 NTP_CR이 추출된다. 선국 시나 전원 투입 시에 있어서, 가장 먼저 수신한 58비트의 NTP_CR은 카운터(233a), 카운터(233b) 및 카운터(233c)를 포함하는 58비트의 카운터에 초기값으로서 세트되고, 그 후에 수신한 이 NTP_CR은, 비교기(234)에 공급된다.
또한, 전압 제어 발진기(232)에서 생성되는 27㎒의 클럭은 9비트 카운터(233a)에서 카운트되고, 300 분주된다. 이 9비트 카운터(233a)에서 얻어지는 90K㎐의 클럭은 17비트 카운터(233b)에서 카운트되고, 90000 분주된다. 그리고, 이 17비트 카운터(233b)에서 얻어지는 1Hz의 클럭은 32비트 카운터(233c)에서 카운트된다. 32비트 카운터(233c)에서는, 초 정밀도의 시각 정보(Regenerated UTC)인 32비트의 비트 출력이 얻어진다.
9비트 카운터(233a), 17비트 카운터(233b) 및 32비트 카운터(233c)의 58비트의 비트 출력은, 시각 정보로서의 시스템·타임·클럭(STC: System Time Clock)이 된다. 이 시스템·타임·클럭은, 비교기(234)에 공급된다. 비교기(234)에서는, 예를 들어 디멀티플렉서(231)로부터 NTP_CR이 공급되는 타이밍에, 시스템·타임·클럭이 래치되고, NTP_CR과 비교된다.
이 비교기(234)로부터 출력되는 비교 오차 신호는, 전압 제어 발진기(232)에 제어 신호로서 공급된다. 여기서, 전압 제어 발진기(232), 카운터(233a, 233b, 233c) 및 비교기(234)에 의해, PLL(Phase Locked Loop) 회로가 구성된다. 그로 인해, 전압 제어 발진기(232)에서는 NTP_CR에 동기된 27㎒의 클럭이 생성된다. 이 27㎒의 클럭의 주파수는, 상술한 방송 송출 시스템(100)의 전압 제어 발진기(133)에서 생성되는 클럭의 주파수와 동등해져, 클럭 동기가 실현된다.
또한, 카운터(233a, 233b, 233c)에서는, NTP_CR에 동기된 시스템·타임·클럭이 생성된다. 이 시스템·타임·클럭은, 상술한 방송 송출 시스템(100)의 카운터(134a, 134b, 134c)에서 생성되는 시스템·타임·클럭과 합한 것이 된다. 그로 인해, 상술한 바와 같이, f-MP4 스트림에 9비트 카운터(134a)로부터 출력되는 90K㎐의 클럭에 기초하여 취득된, 비디오 신호의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보가 삽입되어 있는 것과 더불어, 제시 동기가 실현된다.
또한, 디멀티플렉서(231)에서는, MPD 파일을 포함하는 패킷으로부터 MPD 파일이 추출된다. 이 MPD 파일은 MPD 해석부(236)에 공급된다. MPD 해석부(236)에서는, MPD 파일이 해석되고, 「Period＠start」, 「SegmentTemplete＠timescale」, 「SegmentTimeline S＠t」의 정보가 취출되어, DTS/PTS 산출부(238)에 공급된다.
또한, 디멀티플렉서(231)에서는, 초기화 세그먼트(IS) 및 미디어 세그먼트(MS)가 추출된다. 이 경우, 초기화 세그먼트(IS)가 추출된 후에, 그 후에 보내져 오는 미디어 세그먼트(MS)가 추출된다.
또한, 디멀티플렉서(231)에서는, 초기화 세그먼트(IS)로부터 복호 처리의 초기화 정보 등이 취출되어, 디코드 버퍼(235)를 통하여 비디오 디코드 처리부(240)에 공급된다. 비디오 디코드 처리부(240)에서는, 예를 들어 복호 처리의 초기화 정보에 기초하여, 초기화가 행해진다.
또한, 디멀티플렉서(231)에서는, 추출된 각 미디어 세그먼트(MS)의 디패킷화가 행해지고, 각 무비 프래그먼트(Movie Fragment)의 "mdat" 박스에 포함되어 있는 각 픽처의 부호화 비디오 데이터가 취출된다. 이렇게 취출된 각 픽처의 부호화 비디오 데이터는, 디코드 버퍼(235)에 일시적으로 축적된다.
또한, 디멀티플렉서(231)에서는, 추출된 각 미디어 세그먼트(MS)의 각 무비 프래그먼트(Movie Fragment)의 "moof" 박스가 추출된다. 이 "moof" 박스는, moof 해석부(237)에 공급된다. moof 해석부(237)에서는, moof" 박스 내의 "tfdt" 박스에 포함되어 있는 「base Media Decode Time」의 정보가 취출된다. 또한, moof 해석부(237)에서는, "moof" 박스 내의 "trun" 박스가 포함되어 있는 「trun＠sample_duration」, 「trun＠sample_composition_time_offset」의 정보가 취출된다. 이렇게 취출된 정보는, DTS/PTS 산출부(238)에 공급된다.
DTS/PTS 산출부(238)에서는, MPD 해석부(236)로부터 공급되는 정보 및 moof 해석부(237)로부터 공급되는 정보에 기초하여, 디코드 버퍼(235)에 축적되어 있는 각 픽처의 부호화 비디오 데이터에 대응한, 디코드 시각(DTS: Decoding Time Stamp)과, 표시 시각(PTS: Presentation TimeStamp)을 산출한다.
이 경우, 디코드 시각 및 표시 시각은, 각각, 초 부분과, 90K㎐의 클럭의 카운트값으로 표시되는 서브 초 부분으로 나누어 산출된다. 여기서, 「Period＠start」는, NTP 베이스이지만, 초 정밀도라고 상정한다. 또한, 기타 파라미터(정보)는 모두, 90K㎐의 클럭의 카운트값으로 표시된다. 그로 인해, DTS/PTS 산출부(238)는, 당해 기타의 파라미터에 대해서는 더한 값을 90000으로 나누고, 그 나눗셈의 몫을 초정밀도의 「Period＠start」와 더하여, 상위 32비트분으로 하고, 그 나눗셈의 나머지를 하위 17비트분으로 한다.
디코드 시각(DTS) 및 표시 시각(PTS)에 있어서의, 상위 32비트(초 부분) 및 하위 17비트(서브 초 부분)의 산출식을 나타낸다.
디코드 시각(DTS)의 산출식은, 이하와 같다.
Decoding Time
상위 32bit:
Period＠start+Period＠start + (SegmentTimeline s＠t + BaseMediaDecodeTime + Σ(SampleDuration))/90000
하위 17bit:
Mod(SegmentTimeline s＠t + BaseMediaDecodeTime + Σ(SampleDuration), 90000)
또한, 표시 시각(PTS)의 산출식은, 이하와 같다.
Presentation Time
상위 32bit:
Period＠start + Period＠start + (SegmentTimeline s＠t + BaseMediaDecodeTime + Σ(SampleDuration) + CompositionTimeOffset)/90000
하위 17bit:
Mod(SegmentTimeline s＠t + BaseMediaDecodeTime + Σ(SampleDuration) + CompositionTimeOffset, 90000)
상술한 바와 같이, 카운터(233a, 233b, 233c)에서 생성되는 시스템·타임·클럭(시각 정보)은, 방송 송출 시스템(100)의 카운터(134a, 134b, 134c)에서 생성되는 시스템·타임·클럭(시각 정보)에, 동기한 것이 된다. 32비트 카운터(233c)의 카운트값(초 부분)과, 17비트 카운터(233b)의 카운트값(서브 초 부분에서, 90K㎐의 클럭의 카운트값)은 타이밍 컨트롤러(239)에 공급된다. 또한, 타이밍 컨트롤러(239)에는, DTS/PTS 산출부(238)에서 산출된, 디코드 버퍼(235)에 축적되어 있는 각 픽처의 부호화 비디오 데이터에 대응한, 디코드 시각(DTS) 및 표시 시각(PTS)이 공급된다.
타이밍 컨트롤러(239)에서는, 비디오 디코드 처리부(238)에 대하여, 디코드 버퍼(235)에 축적되어 있는 각 픽처의 부호화 비디오 데이터에 대한, 디코드 지시 및 제시 지시가 행해진다. 이 경우, 타이밍 컨트롤러(239)는, 그것들의 지시를, 카운터(233c)의 카운트값(초 부분)과 카운터(233b)의 카운트값(서브 초 부분)을 참조하여, DTS/PTS 산출부(238)로부터 공급되는 디코드 시각(DTS) 및 표시 시각(PTS)에 기초하여, 각각의 타이밍에 지시를 행한다. 또한, 이 경우, 타이밍 컨트롤러(239)는, 디코드 시각(DTS)이나 표시 시각(PTS)이 되었는지의 판단을, 초 부분과 서브 초 부분의 매칭을 각각 수행함으로써 행한다.
비디오 디코드 처리부(240)에서는, 타이밍 컨트롤러(239)로부터의 지시에 기초하여, 디코드 버퍼(235)에 축적되어 있는 각 픽처의 부호화 비디오 데이터의 디코드 처리를 행하여 출력한다. 이 경우, 비디오 디코드 처리부(238)는, 디코드 지시에 따라서 디코드 버퍼(235)로부터 처리 대상의 픽처의 부호화 비디오 데이터를 도입하여 디코딩하고, 그 후, 제시 지시에 따라서 디코드 후의 비디오 데이터를 출력한다.
도 16의 흐름도는, 상술한 수신기(200)에 있어서의 동기 제어 처리의 처리 수순의 일례를 나타내고 있다. 수신기(200)는, 스텝 ST1에 있어서, 처리를 개시한다. 그 후, 수신기(200)는, 스텝 ST2에 있어서, MPD 파일을 수신했는지 여부를 판단한다. 수신했을 때, 수신기(200)는, 스텝 ST3에 있어서, MPD 파일을 해석하고, 스텝 ST4에 있어서, 그 해석으로 얻어진 「Period＠start」, 「SegmentTemplete＠timescale」, 「SegmentTimeline S＠t」의 정보에 기초하여, 세그먼트 타임 라인(SegmentTimeline)의 개시 시각인 「Segment Timeline Initial Time」을 산출한다. 수신기(200)는, 스텝 ST4의 처리 후, 스텝 ST5의 처리로 이행한다. 스텝 ST3에서 MPD 파일을 수신하고 있지 않을 때, 수신기(200)는, 즉시 스텝 ST5의 처리로 이행한다.
스텝 ST5에 있어서, 수신기(200)는, 미디어 세그먼트(MS)를 구성하는 무비 프래그먼트(Movie Fragment)를 수신했는지 여부를 판단한다. 수신했을 때, 스텝 ST6에 있어서, "moof" 박스를 해석한다. 그리고, 수신기(200)는, 스텝 ST7에 있어서, 스텝 ST4에서 산출한 「Segment Timeline Initial Time」과, 그 해석으로 얻어진 「base Media Decode Time」, 「trun＠sample_duration」, 「trun＠sample_composition_time_offset」의 정보에 기초하여, 무비 프래그먼트(Movie Fragment)에 포함되는 각 픽처의 디코드 시각(DTS) 및 표시 시각(PTS)을 산출한다.
이어서, 수신기(200)는, 스텝 ST8에 있어서, 디코드 시각(DTS)이 되었는지 여부를 판단한다. 디코드 시각(DTS)이 되었을 때, 수신기(200)는, 스텝 ST9에 있어서, 타이밍 컨트롤러(239)로부터 비디오 디코드 처리부(238)에 대하여, 대상 픽처의 부호화 비디오 데이터의 디코드 지시를 행한다. 그 후, 수신기(200)는, 스텝 ST10의 처리로 이행한다. 또한, 스텝 ST8에서 디코드 시각(DTS)으로 되어 있지 않을 때, 수신기(200)는, 즉시, 스텝 ST10의 처리로 이행한다.
이 스텝 ST10에 있어서, 수신기(200)는, 표시 시각(PTS)이 되었는지 여부를 판단한다. 표시 시각(PTS)이 되었을 때, 수신기(200)는, 스텝 ST11에 있어서, 타이밍 컨트롤러(239)로부터 비디오 디코드 처리부(238)에 대하여, 대상 픽처의 제시 지시, 즉 디코드 후의 비디오 데이터의 출력 지시를 행한다. 수신기(200)는, 이 스텝 ST11의 처리 후, 스텝 ST2의 처리로 복귀한다. 또한, 스텝 ST10에서 표시 시각(PTS)이 되어 있지 않을 때, 수신기(200)는, 즉시, 스텝 ST10의 처리로 복귀한다.
상술한 바와 같이, 도 1에 도시하는 송수신 시스템(10)에 있어서는, 방송 송출 시스템(100)으로부터 송신되는 방송파에 싣는 스트림에, 시각 정보 서버로부터 취득된 시각 정보에 동기된 27㎒의 클럭의 주파수 정보를 갖는 시각 정보를 가진 패킷이 포함되는 것이다. 그로 인해, 수신측에서는, 이 시각 정보에 기초하여 송신측과 마찬가지의 27㎒의 클럭(시스템 클럭)을 생성할 수 있고, 클럭 동기의 실현이 가능하게 된다.
또한, 도 1에 도시하는 송수신 시스템(10)에 있어서는, 방송 송출 시스템(100)으로부터 송신되는 방송파에 싣는 스트림에 포함되는 미디어 세그먼트(전송 미디어 패킷)에 삽입하는, 비디오나 오디오의 신호 등의 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보가, 시계부에서 얻어지는 90K㎐의 클럭에 기초하여 취득되는 것이다. 그로 인해, 수신측에서는, 스트림에 포함되는 시각 정보에 기초하여 생성되는 27㎒의 클럭의 주파수 정보를 포함하는 시각 정보와, 전송 미디어의 제시 단위마다 미디어 세그먼트에 삽입되어 있는 시간 정보에 의해 구해지는 디코드 시각(DTS) 및 표시 시각(PTS)에 기초하여, 제시 동기의 실현이 가능하게 된다.
<2. 변형예>
또한, 상술한 실시 형태에 있어서, 방송파에 실리는 스트림이 f-MP4 방식의 스트림인 예를 나타냈다. 본 기술은, 방송파에 실리는 스트림이 f-MP4 방식의 스트림에 한정되는 것은 아니며, 기타 동등한 스트림인 경우에도 마찬가지로 적용할 수 있는 것이다.
또한, 상술한 실시 형태에 있어서는, 방송 송출 시스템(100)의 전압 제어 발진기(133)나 수신기(200)의 전압 제어 발진기(232)에서 27㎒의 클럭을 생성하는 예를 나타냈다. 또한, 상술 실시 형태에 있어서는, 방송 송출 시스템(100)의 F-MP4 패킷화부(139)에서는, 90K㎐의 클럭에 기초하여, 전송 미디어 패킷(미디어 세그먼트)에 삽입해야 할 시간 정보를 생성하는 예를 나타냈다. 그러나, 본 기술은, 상술한 27㎒나 90K㎐에 반드시 한정되는 것은 아니며, 기타 주파수일 경우에도 마찬가지로 적용할 수 있는 것이다.
또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 시각 정보 서버로부터 취득된 시각 정보에 동기된 제1 주파수의 클럭을 생성하는 클럭 생성부와,
상기 클럭 생성부에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성부와,
전송 미디어를 부호화하는 부호화부와,
상기 부호화부에서 부호화된 전송 미디어를 소정의 단위로 단편화하고, 각 단편을 포함하는 전송 미디어 패킷을 생성하는 패킷화부와,
상기 패킷화부에서 생성된 전송 미디어 패킷, 상기 시각 정보 생성부에서 생성된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 갖는 제어 신호 패킷을 시분할적으로 포함하는 스트림을 방송파에 실어서 송신하는 송신부를 구비하는
송신 장치.
(2) 상기 패킷화부는,
상기 시각 정보 생성부에서 얻어지는 제2 주파수의 클럭에 기초하여, 상기 전송 미디어 패킷에 삽입하는, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보를 취득하는,
상기 (1)에 기재된 송신 장치.
(3) 상기 제1 주파수는 27㎒이고, 상기 제2 주파수는 90K㎐인
상기 (2)에 기재된 송신 장치.
(4) 상기 패킷화부에서 생성되는 전송 미디어 패킷은, 소정수의 무비 프래그먼트를 포함하는 미디어 세그먼트이고,
상기 패킷화부는,
상기 무비 프래그먼트를 구성하는 moof 박스 내의 tfdt 박스 및 trun 박스에 삽입하는 상기 시간 정보를 취득하는
상기 (2) 또는 (3)에 기재된 송신 장치.
(5) 상기 제1 주파수는 27㎒인
상기 (1)에 기재된 송신 장치.
(6) 상기 시각 정보 생성부는,
상기 클럭 생성부에서 생성되는 상기 27㎒의 클럭을 카운트하여 300 분주하는 9비트 카운터와, 당해 9비트 카운터의 분주 출력을 카운트하여 90000 분주하는 17비트 카운터와, 당해 17비트 카운터의 분주 출력을 카운트하는 32비트 카운터를 갖는
상기 (5)에 기재된 송신 장치.
(7) 시각 정보 서버로부터 취득된 시각 정보에 동기된 제1 주파수의 클럭을 생성하는 클럭 생성 스텝과,
상기 클럭 생성 스텝에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성 스텝과,
전송 미디어를 부호화하는 부호화 스텝과,
상기 부호화 스텝에서 부호화된 전송 미디어를 소정의 단위로 단편화하고, 각 단편을 포함하는 전송 미디어 패킷을 생성하는 패킷화 스텝과,
상기 패킷화 스텝에서 생성된 전송 미디어 패킷, 상기 시각 정보 생성 스텝에서 생성된 시각 정보를 갖는 패킷 및 제어 신호를 갖는 패킷을 시분할적으로 포함하는 송신 신호를 송신하는 송신 스텝을 갖는
송신 방법.
(8) 부호화된 전송 미디어가 단편화되어 얻어진 단편을 갖는 전송 미디어 패킷, 제1 주파수의 클럭의 주파수 정보를 포함하는, 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 갖는 제어 신호 패킷을 시분할적으로 포함하는 스트림이 실린 방송파를 수신하는 수신부와,
상기 시각 정보 패킷이 갖는 시각 정보에 기초하여, 상기 제1 주파수의 클럭을 생성하는 클럭 생성부와,
상기 클럭 생성부에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성부와,
상기 전송 미디어 패킷에 삽입되어 있는 시간 정보에 기초하여, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하는 시각 산출부와,
상기 수신부에서 수신된 전송 미디어 패킷에 포함되는 부호화된 전송 미디어를, 제시 단위마다, 상기 시각 산출부에서 산출된 디코드 시각 및 표시 시각과, 상기 시각 정보 산출부에서 생성된 시각 정보에 기초하여 처리하는 처리부를 구비하는
수신 장치.
(9) 상기 제1 주파수는 27㎒인
상기 (8)에 기재된 수신 장치.
(10) 상기 시각 정보 생성부는,
상기 클럭 생성부에서 생성되는 상기 27㎒의 클럭을 카운트하여 300 분주하는 9비트 카운터와, 당해 9비트 카운터의 분주 출력을 카운트하여 90000 분주하는 17비트 카운터와, 당해 17비트 카운터의 분주 출력을 카운트하는 32비트 카운터를 갖고, 초 부분과, 90K㎐의 클럭의 카운트값으로 표시되는 서브 초 부분을 갖는 시각 정보를 생성하고,
상기 시각 산출부는,
상기 디코드 시각 및 상기 표시 시각을, 각각, 초 부분과, 90K㎐의 클럭의 카운트값으로 표시되는 서브 초 부분으로 나누어 산출하는
상기 (9)에 기재된 수신 장치.
(11) 상기 수신부에서 수신되는 전송 미디어 패킷은, 소정수의 무비 프래그먼트를 포함하는 미디어 세그먼트이고,
상기 무비 프래그먼트를 구성하는 moof 박스 내의 tfdt 박스 및 trun 박스에, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보가 삽입되어 있는
상기 (8) 내지 (10) 중 어느 하나에 기재된 수신 장치.
(12) 부호화된 전송 미디어가 단편화되어 얻어진 단편을 포함하는 전송 미디어 패킷, 제1 주파수의 클럭의 주파수 정보를 포함하는, 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 포함하는 제어 신호 패킷을 시분할적으로 포함하는 스트림이 실린 방송파를 수신하는 수신 스텝과,
상기 전송 미디어 패킷에 삽입되어 있는 시간 정보에 기초하여, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하는 시각 산출 스텝과,
상기 시각 정보 패킷이 갖는 시각 정보에 기초하여, 상기 제1 주파수의 클럭을 생성하는 클럭 생성 스텝과,
상기 클럭 생성 스텝에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성 스텝과,
상기 수신 스텝에서 수신된 전송 미디어 패킷에 포함되는 부호화된 전송 미디어를, 제시 단위마다, 상기 시각 산출부에서 산출된 디코드 시각 및 표시 시각과, 상기 시각 정보 생성 스텝에서 생성된 시각 정보에 기초하여 처리하는 처리 스텝을 갖는
수신 방법.
10: 송수신 시스템
100: 방송 송출 시스템
131: NTP/IP 인터페이스
132a, 132b: 32비트 레지스터
133: 전압 제어 발진기
134a: 9비트 카운터
134b: 17비트 카운터
134c: 32비트 카운터
135: 비트 변환부
136: 비교기
137: NTP-CR 패킷화부
138: 비디오 인코드 처리부
139: f-MP4 패킷화부
140: 인코드 버퍼
141: MPD 발생기
142: 멀티플렉서
150: 시간 정보 취득부
151: 90K㎐ 카운터
152, 153, 155: 래치 회로
154: 감산기
200: 수신기
231: 디멀티플렉서
232: 전압 제어 발진기
233a: 9비트 카운터
233b: 17비트 카운터
233c: 32비트 카운터
234: 비교기
235: 디코드 버퍼
236: MPD 해석부
237: Moof 해석부
238: DTS/PTS 산출부
239: 타이밍 컨트롤러
240: 비디오 디코드 처리부

Claims (12)

  1. 시각 정보 서버로부터 취득된 시각 정보에 동기된 제1 주파수의 클럭을 생성하는 클럭 생성부와,
    상기 클럭 생성부에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성부와,
    전송 미디어를 부호화하는 부호화부와,
    상기 부호화부에서 부호화된 전송 미디어를 소정의 단위로 단편화하고, 각 단편을 포함하는 전송 미디어 패킷을 생성하는 패킷화부와,
    상기 패킷화부에서 생성된 전송 미디어 패킷, 상기 시각 정보 생성부에서 생성된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 갖는 제어 신호 패킷을 시분할적으로 포함하는 스트림을 방송파에 실어서 송신하는 송신부를 구비하는,
    송신 장치.
  2. 제1항에 있어서,
    상기 패킷화부는,
    상기 시각 정보 생성부에서 얻어지는 제2 주파수의 클럭에 기초하여, 상기 전송 미디어 패킷에 삽입하는, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한 시간 정보를 취득하는,
    송신 장치.
  3. 제2항에 있어서,
    상기 제1 주파수는 27㎒이고, 상기 제2 주파수는 90K㎐인,
    송신 장치.
  4. 제2항에 있어서,
    상기 패킷화부에서 생성되는 전송 미디어 패킷은, 소정수의 무비 프래그먼트를 포함하는 미디어 세그먼트이고,
    상기 패킷화부는,
    상기 무비 프래그먼트를 구성하는 moof 박스 내의 tfdt 박스 및 trun 박스에 삽입하는 상기 시간 정보를 취득하는,
    송신 장치.
  5. 제1항에 있어서,
    상기 제1 주파수는 27㎒인,
    송신 장치.
  6. 제5항에 있어서,
    상기 시각 정보 생성부는,
    상기 클럭 생성부에서 생성되는 상기 27㎒의 클럭을 카운트하여 300 분주하는 9비트 카운터와, 당해 9비트 카운터의 분주 출력을 카운트하여 90000 분주하는 17비트 카운터와, 당해 17비트 카운터의 분주 출력을 카운트하는 32비트 카운터를 갖는,
    송신 장치.
  7. 시각 정보 서버로부터 취득된 시각 정보에 동기된 제1 주파수의 클럭을 생성하는 클럭 생성 스텝과,
    상기 클럭 생성 스텝에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성 스텝과,
    전송 미디어를 부호화하는 부호화 스텝과,
    상기 부호화 스텝에서 부호화된 전송 미디어를 소정의 단위로 단편화하고, 각 단편을 포함하는 전송 미디어 패킷을 생성하는 패킷화 스텝과,
    상기 패킷화 스텝에서 생성된 전송 미디어 패킷, 상기 시각 정보 생성 스텝에서 생성된 시각 정보를 갖는 패킷 및 제어 신호를 갖는 패킷을 시분할적으로 포함하는 스트림을 방송파에 실어서 송신하는 송신 스텝을 갖는,
    송신 방법.
  8. 부호화된 전송 미디어가 단편화되어 얻어진 단편을 갖는 전송 미디어 패킷, 제1 주파수의 클럭의 주파수 정보를 포함하는, 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 갖는 제어 신호 패킷을 시분할적으로 포함하는 스트림이 실린 방송파를 수신하는 수신부와,
    상기 시각 정보 패킷이 갖는 시각 정보에 기초하여, 상기 제1 주파수의 클럭을 생성하는 클럭 생성부와,
    상기 클럭 생성부에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성부와,
    상기 전송 미디어 패킷에 삽입되어 있는 시간 정보에 기초하여, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하는 시각 산출부와,
    상기 수신부에서 수신된 전송 미디어 패킷에 포함되는 부호화된 전송 미디어를, 제시 단위마다, 상기 시각 산출부에서 산출된 디코드 시각 및 표시 시각과, 상기 시각 정보 생성부에서 생성된 시각 정보에 기초하여 처리하는 처리부를 구비한,
    수신 장치.
  9. 제8항에 있어서,
    상기 제1 주파수는 27㎒인,
    수신 장치.
  10. 제9항에 있어서,
    상기 시각 정보 생성부는,
    상기 클럭 생성부에서 생성되는 상기 27㎒의 클럭을 카운트하여 300 분주하는 9비트 카운터와, 당해 9비트 카운터의 분주 출력을 카운트하여 90000 분주하는 17비트 카운터와, 당해 17비트 카운터의 분주 출력을 카운트하는 32비트 카운터를 갖고, 초 부분과, 90K㎐의 클럭의 카운트값으로 표시되는 서브 초 부분을 갖는 시각 정보를 생성하고,
    상기 시각 산출부는,
    상기 디코드 시각 및 상기 표시 시각을, 각각, 초 부분과, 90K㎐의 클럭의 카운트값으로 표시되는 서브 초 부분으로 나누어 산출하는,
    수신 장치.
  11. 제8항에 있어서,
    상기 수신부에서 수신되는 전송 미디어 패킷은, 소정수의 무비 프래그먼트를 포함하는 미디어 세그먼트이고,
    상기 무비 프래그먼트를 구성하는 moof 박스 내의 tfdt 박스 및 trun 박스에, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하기 위한시간 정보가 삽입되어 있는,
    수신 장치.
  12. 부호화된 전송 미디어가 단편화되어 얻어진 단편을 포함하는 전송 미디어 패킷, 제1 주파수의 클럭의 주파수 정보를 포함하는, 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 갖는 시각 정보 패킷 및 제어 신호를 포함하는 제어 신호 패킷을 시분할적으로 포함하는 스트림이 실린 방송파를 수신하는 수신 스텝과,
    상기 전송 미디어 패킷에 삽입되어 있는 시간 정보에 기초하여, 상기 전송 미디어의 제시 단위마다의 디코드 시각 및 표시 시각을 구하는 시각 산출 스텝과,
    상기 시각 정보 패킷이 갖는 시각 정보에 기초하여, 상기 제1 주파수의 클럭을 생성하는 클럭 생성 스텝과,
    상기 클럭 생성 스텝에서 생성된 상기 제1 주파수의 클럭의 주파수 정보를 포함하는 상기 시각 정보 서버로부터 취득된 시각 정보에 동기된 시각 정보를 생성하는 시각 정보 생성 스텝과,
    상기 수신 스텝에서 수신된 전송 미디어 패킷에 포함되는 부호화된 전송 미디어를, 제시 단위마다, 상기 시각 산출부에서 산출된 디코드 시각 및 표시 시각과, 상기 시각 정보 생성 스텝에서 생성된 시각 정보에 기초하여 처리하는 처리 스텝을 갖는,
    수신 방법.
KR1020167018708A 2014-01-31 2015-01-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR102171652B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014017164 2014-01-31
JPJP-P-2014-017164 2014-01-31
PCT/JP2015/050695 WO2015115171A1 (ja) 2014-01-31 2015-01-13 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
KR20160114586A true KR20160114586A (ko) 2016-10-05
KR102171652B1 KR102171652B1 (ko) 2020-10-29

Family

ID=53756748

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167018708A KR102171652B1 (ko) 2014-01-31 2015-01-13 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (7)

Country Link
US (1) US10231007B2 (ko)
EP (1) EP3101902A4 (ko)
JP (1) JPWO2015115171A1 (ko)
KR (1) KR102171652B1 (ko)
CA (1) CA2937293C (ko)
MX (1) MX366224B (ko)
WO (1) WO2015115171A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220107467A (ko) * 2021-01-25 2022-08-02 한국전력공사 마스터 클럭 연계 시각 동기 신호 생성 장치, 이를 갖는 보호 제어 감시 자동화 시스템, 및 시각 동기 신호 생성 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3490174B1 (en) * 2014-11-20 2023-10-11 Panasonic Intellectual Property Corporation of America Transmitting method, receiving method, transmitting device, and receiving device
CN112135168B (zh) * 2014-11-20 2022-11-04 松下电器（美国）知识产权公司 发送方法、接收方法、发送装置以及接收装置
US11617019B2 (en) 2016-07-28 2023-03-28 Qualcomm Incorporated Retrieving and accessing segment chunks for media streaming
WO2020008115A1 (en) * 2018-07-06 2020-01-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040012510A1 (en) * 2002-07-17 2004-01-22 Chen Sherman (Xuemin) Decoding and presentation time stamps for MPEG-4 advanced video coding
US20060209966A1 (en) * 2005-03-10 2006-09-21 Walker Gordon K Method of time base reconstruction for discrete time labeled video
JP2011193058A (ja) 2010-03-11 2011-09-29 Sony Corp コンテンツ配信装置、コンテンツ配信方法および送信サーバ
KR20140008478A (ko) * 2010-07-19 2014-01-21 엘지전자 주식회사 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236694B1 (en) * 1994-08-19 2001-05-22 Thomson Licensing S.A. Bus and interface system for consumer digital equipment
US5841987A (en) * 1994-08-19 1998-11-24 Thomson Consumer Electronics, Inc. Simple bus and interface system for consumer digital equipment
US6567986B2 (en) 1998-03-12 2003-05-20 Sarnoff Corporation Method and apparatus for distributing a globally accurate knowledge of time and frequency to a plurality of a high definition television studios
US6356212B1 (en) * 2000-02-18 2002-03-12 Sarnoff Corporation Single clock reference for compressed domain processing systems
JP3906712B2 (ja) 2002-02-27 2007-04-18 株式会社日立製作所 データストリーム処理装置
JP2005079963A (ja) * 2003-09-01 2005-03-24 Pioneer Electronic Corp 映像信号伝送システム及び方法並びに送信装置及び受信装置
JP2014230154A (ja) * 2013-05-23 2014-12-08 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040012510A1 (en) * 2002-07-17 2004-01-22 Chen Sherman (Xuemin) Decoding and presentation time stamps for MPEG-4 advanced video coding
US20060209966A1 (en) * 2005-03-10 2006-09-21 Walker Gordon K Method of time base reconstruction for discrete time labeled video
JP2011193058A (ja) 2010-03-11 2011-09-29 Sony Corp コンテンツ配信装置、コンテンツ配信方法および送信サーバ
KR20140008478A (ko) * 2010-07-19 2014-01-21 엘지전자 주식회사 미디어 파일 송수신 방법 및 그를 이용한 송수신 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KYUNGMO PARK ET AL.: "Study of ISO/IEC CD 23008-1 MPEG Media Transport", ISO/IEC JTC1/SC29/WG11 MPEG/N13089 SHANGHAI, CHINA, OCTOBER 2012 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220107467A (ko) * 2021-01-25 2022-08-02 한국전력공사 마스터 클럭 연계 시각 동기 신호 생성 장치, 이를 갖는 보호 제어 감시 자동화 시스템, 및 시각 동기 신호 생성 방법
KR20220119582A (ko) * 2021-01-25 2022-08-30 한국전력공사 마스터 클럭 연계 시각 동기 신호 생성 장치, 이를 갖는 보호 제어 감시 자동화 시스템, 및 시각 동기 신호 생성 방법
KR20220119581A (ko) * 2021-01-25 2022-08-30 한국전력공사 마스터 클럭 연계 시각 동기 신호 생성 장치, 이를 갖는 보호 제어 감시 자동화 시스템, 및 시각 동기 신호 생성 방법

Also Published As

Publication number Publication date
MX366224B (es) 2019-07-03
CA2937293A1 (en) 2015-08-06
KR102171652B1 (ko) 2020-10-29
US10231007B2 (en) 2019-03-12
WO2015115171A1 (ja) 2015-08-06
MX2016009552A (es) 2016-10-13
EP3101902A4 (en) 2017-08-09
US20170013303A1 (en) 2017-01-12
EP3101902A1 (en) 2016-12-07
JPWO2015115171A1 (ja) 2017-03-23
CA2937293C (en) 2021-05-18

Similar Documents

Publication Publication Date Title
JP7260687B2 (ja) 送信方法および送信装置
KR101689616B1 (ko) 미디어 세그먼트 송수신 방법 및 그를 이용한 송수신 장치
WO2014188960A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP6302274B2 (ja) 送信装置及び受信装置
JP5708876B1 (ja) 送信装置、送信方法、受信装置および受信方法
KR102171652B1 (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
JP5586511B2 (ja) 同期制御装置及びプログラム
JP5972616B2 (ja) 受信装置、クロック復元方法及びプログラム
JP2018182677A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
JP2018182617A (ja) 情報処理装置、情報処理方法、プログラム、および記録媒体製造方法
EP3826313B1 (en) Video/audio transmission system, transmission method, transmission device, and reception device
JP6318953B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP5632711B2 (ja) 送信装置、受信装置及び伝送システム
WO2015151781A1 (ja) 送信装置、送信方法、受信装置および受信方法
CN116489342B (zh) 确定编码延时的方法、装置、及电子设备、存储介质
JP7371734B2 (ja) 送信方法
JP6908170B2 (ja) 送信方法
JP6504294B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP2019146188A (ja) 送信装置、送信方法、受信装置および受信方法
EP2150066A1 (en) Procedure for measuring the change channel time on digital television

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right