KR101443470B1 - 영상 정보 재생 방법 및 시스템, 및 영상 정보 콘텐츠가 기록된 컴퓨터 판독 가능한 기록 매체 - Google Patents

영상 정보 재생 방법 및 시스템, 및 영상 정보 콘텐츠가 기록된 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR101443470B1
KR101443470B1 KR1020127013418A KR20127013418A KR101443470B1 KR 101443470 B1 KR101443470 B1 KR 101443470B1 KR 1020127013418 A KR1020127013418 A KR 1020127013418A KR 20127013418 A KR20127013418 A KR 20127013418A KR 101443470 B1 KR101443470 B1 KR 101443470B1
Authority
KR
South Korea
Prior art keywords
reproduction
video information
time
frame
content
Prior art date
Application number
KR1020127013418A
Other languages
English (en)
Other versions
KR20120068048A (ko
Inventor
도모아키 류
사토시 미나미
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20120068048A publication Critical patent/KR20120068048A/ko
Application granted granted Critical
Publication of KR101443470B1 publication Critical patent/KR101443470B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/1075—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data
    • G11B2020/10759—Data buffering arrangements, e.g. recording or playback buffers the usage of the buffer being restricted to a specific kind of data content data
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10805—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer overflow
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/1062—Data buffering arrangements, e.g. recording or playback buffers
    • G11B2020/10814—Data buffering arrangements, e.g. recording or playback buffers involving specific measures to prevent a buffer underrun
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401—Monitoring of the client buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Abstract

콘텐츠의 본편의 최후의 프레임과 같은 내용의 영상을 표시하기 위한 I 또는 P 픽쳐를, 재생 동기 조정용의 프레임으로서, 본편의 최후의 프레임의 뒤에 복수매 추가하여 두고, 기준이 되는 재생 장치보다 재생이 앞서 있는 경우는, 보다 많은 동기 조정용 프레임을 재생하고(ST11), 재생이 늦어져 있는 경우에는, 보다 적은 동기 조정용 프레임을 재생한다(ST9). PCR을 이용하여 시스템 클록의 보정을 할 수 없는 정황에서, 축적 미디어로부터 데이터를 판독하여 재생하거나, 네트워크 전달로 데이터를 수신하여 재생하거나 한 경우에 있어서, 복수의 재생 장치(42)에 있어서의 재생을 동기시킬 수 있다.

Description

영상 정보 재생 방법 및 시스템, 및 영상 정보 콘텐츠가 기록된 컴퓨터 판독 가능한 기록 매체{METHOD AND SYSTEM FOR PLAYING VIDEO INFORMATION, AND COMPUTER READABLE RECORDING MEDIUM STORING VIDEO INFORMATION CONTENT}
본 발명은, 네트워크를 경유하여 전달된 부호화된 데이터나, 축적 미디어로부터 판독된 부호화된 데이터의 재생을 행하는 영상 정보 재생 방법 및 영상 정보 재생 시스템에 관한 것이다. 본 발명은 또한 네트워크를 경유하여 전달되는, 혹은 축적 미디어로부터 판독되는 콘텐츠에 관한 것이다.
복수의 재생 장치에 대하여 전달된 콘텐츠를, 버퍼 메모리가 언더플로우나, 오버플로우시키는 일 없이 재생 동기를 취하는 방법으로서는, TS(Transport Stream)에 포함되는, PCR(Program Clock Reference)을 이용하는 것이 일반적이다(예컨대, 특허 문헌 1 참조).
(선행 기술 문헌)
(특허 문헌)
(특허 문헌 1) 일본 특허 공개 2008-96756호 공보
지상파 디지털 방송 등의 TS(Transport Stream)를 사용한 방송에서는, 데이터 송신측으로부터 정해진 비트 레이트로 데이터가 보내져 오기 때문에, 디코더의 시스템 클록이 정규의 27㎒에 완전하게 일치하고 있지 않으면 버퍼 메모리가 비워져 버리거나, 혹은 버퍼 메모리가 오버플로우하여 버려, 정상적으로 재생할 수 없게 되어 버린다. 이 문제를 회피하기 위해, PCR(Program Clock Reference)을 사용하여, 디코더의 시스템 클록을 정기적으로 보정하는 구조가 준비되어 있다. 이와 같이 시스템 클록이 TS를 수신한 모든 재생 장치에 있어서, 동일한 시각에 조정되기 때문에, 복수의 재생 장치를 배열하여 표시를 행하게 한 경우, 모든 표시 장치 사이에서 완전하게 동기를 취할 수 있는 상태가 된다.
한편, DVD나 Blu-ray 플레이어 등의, MPEG 데이터를 재생하는 기기는, 디코더의 버퍼가 언더플로우나, 오버플로우를 일으키지 않도록, 축적 미디어로부터, 데이터의 판독을 행하기 때문에, 일반적으로는 PCR을 사용한 시스템 클록의 시각 보정은 필요하지 않다. 그 때문에, 예컨대, 이들 축적 미디어로부터 판독된 데이터를 복수의 재생 장치에 보내고, 그 복수의 재생 장치로 표시를 행한 경우, 수 시간 후에는, 시스템 클록의 격차 때문에, 동기가 어긋나 버리는 경우가 있다.
같은 일이, 네트워크 전달에 의한 재생에 있어서도 일어날 수 있다. 네트워크 경유의 전달도, 방송과 같이 정해진 비트 레이트로 데이터가 송출되지 않기 때문에, 재생 장치측에서 큰 버퍼 메모리를 보유하여 재생을 행하는 것이 일반적이고, DVD 등과 같이 PCR을 사용한 시스템 클록의 보정은 할 수 없다. 그 때문에, 장시간 재생을 행하면 표시 장치 사이에서 동기가 어긋나 버리는 경우가 있다.
예컨대, 사이니지(signage) 용도로는, 일제 전달된 콘텐츠는, 모든 재생 장치에 있어서 재생 동기하는 것이 요구되지만, 이상과 같이, 축적 미디어로부터 데이터를 판독하거나, 네트워크로 데이터를 전달하거나 하는 경우, PCR을 이용할 수 없기 때문에, 복수의 표시 장치로 장시간 재생을 행하고 있으면, 각각의 표시가 조금씩 어긋나 버리고, 그것이 문제가 된다.
그래서, 본 발명은, 상기의 과제를 해결하기 위해 이루어진 것이고, 그 목적은, PCR을 이용하여 시스템 클록의 보정을 할 수 없는 정황에서, 축적 미디어로부터 데이터를 판독하여 복수의 영상 정보 재생 장치로 재생하거나, 네트워크 전달된 데이터를 복수의 영상 정보 재생 장치로 수신하여 재생하거나 하는 경우에 있어서, 재생 장치 사이에서 재생의 동기를 취할 수 있도록 하는 것에 있다.
본 발명의 영상 정보 재생 방법은, 네트워크로 접속된 콘텐츠 서버로부터, 혹은 축적 미디어로부터, 적어도 프레임 내 부호화 화상 정보, 및 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성되고, 또한 타임 스탬프 정보를 포함하는 콘텐츠를 복수의 영상 정보 재생 장치로 수신하고, 상기 콘텐츠를 상기 영상 정보 재생 장치로 복호하여 재생하는 영상 정보 재생 방법으로서, 복수의 영상 정보 재생 장치 중에서, 재생 시각의 기준이 되는 영상 정보 재생 장치를 결정하여, 각각의 영상 정보 재생 장치와, 기준이 되는 영상 정보 재생 장치의 사이의 재생 시각의 오차를 검출하는 검출 단계와, 기준이 되는 영상 정보 재생 장치보다 늦어져 있는 경우는, 지연 시간에 따라 재생하는 부호화된 콘텐츠의 프레임수를, 기준이 되는 영상 정보 재생 장치가 재생하는 프레임수로부터 감산하고, 기준이 되는 영상 정보 재생 장치보다 앞서 있는 경우는, 앞선 시간에 따라 재생하는 부호화된 콘텐츠의 프레임수를, 기준이 되는 영상 정보 재생 장치가 재생하는 프레임에 가산하여, 재생하는 프레임수를 조정하는 조정 단계를 갖는 것을 특징으로 한다.
본 발명에 의하면, PCR을 사용한 디코더의 재생 시각 조정을 할 수 없는, 스트리밍 전달된 데이터나, 축적 미디어로부터 판독한 데이터의 재생에 있어서도, 각 재생 장치로 재생하는 콘텐츠의 총 프레임수를, 각각의 재생 장치에서 개별적으로 설정할 수 있기 때문에, 복수의 영상 정보 재생 장치 사이에서 재생 시각을 정밀하게 동기시킬 수 있다고 하는 효과를 얻을 수 있다.
도 1은 본 발명의 실시의 형태 1에 따른 영상 정보 재생 방법의 실시에 이용되는 영상 정보 재생 장치의 구성예를 개략적으로 나타내는 블록도이다.
도 2는 도 1에 따른 영상 정보 재생 장치와 그 영상 정보 재생 장치에 네트워크를 통해 접속되는 콘텐츠 서버를 포함하는 영상 정보 재생 시스템 전체의 구성을 개념적으로 나타내는 도면이다.
도 3은 도 1의 영상 정보 재생 장치의 버퍼 메모리의 잔량의 천이의 일례를 나타내는 도면이다.
도 4는 일반적인 TS 스트림의 패킷의 구성의 일례를 나타내는 도면이다.
도 5는 도 2의 영상 정보 재생 시스템 내의 재생 시각이 가장 앞선 재생 장치와, 가장 늦은 재생 장치의 버퍼 메모리의 잔량의 천이의 일례를 나타내는 도면이다.
도 6은 본 발명의 실시의 형태 1에 따른 MPEG 데이터의 PES 패킷의 구성의 일례를 나타내는 도면이다.
도 7은 발명의 실시의 형태 1에 따른 TS 스트림의 패킷의 구성의 일례를 나타내는 도면이다.
도 8은 도 7의 동기 조정용 패킷의 신택스의 일례를 나타내는 도면이다.
도 9는 본 발명의 실시의 형태 1에 따른 영상 정보 재생 방법을 나타내는 플로우차트이다.
도 10은 도 9의 단계 ST7의 상세를 나타내는 플로우차트이다.
도 11은 본 발명의 실시의 형태 1에 있어서의, 동기 조정을 위해, 재생 장치마다 다른 수의 프레임을 추가 재생하는 모습을 나타내는 도면이다.
도 12는 일반적인 MPEG2 데이터의, 디코드되는 차례와, 표시되는 차례의 관계의 일례를 나타내는 도면이다.
도 13은 본 발명의 실시의 형태 1에 따른 동기 조정용으로 추가된 프레임의, 디코드되는 차례와, 표시되는 차례의 관계의 일례를 나타내는 도면이다.
도 14는 본 발명의 실시의 형태 2에 따른 영상 정보 재생 방법을 나타내는 플로우차트이다.
실시의 형태 1.
도 1은 본 발명의 실시의 형태 1에 따른 영상 정보 재생 방법의 실시에 이용되는 영상 정보 재생 장치의 구성예를 개략적으로 나타내는 블록도이다. 도시한 영상 정보 재생 장치는, 콘텐츠 서버로부터 네트워크를 경유하여 전달되는 콘텐츠를 재생하는 장치이다.
도 2는 도 1의 영상 정보 재생 장치와 콘텐츠 서버를 포함하는 영상 정보 재생 시스템 전체를 개략적으로 나타내는 블록도이다. 콘텐츠 서버(41)로부터, 예컨대 이더넷(등록상표)으로 구성되는 네트워크(43)를 경유하여 각 영상 정보 재생 장치(42)에, 데이터는 전달된다. 이하에서는, 네트워크(43)상에, UDP(User Datagram Protocol)를 사용한 브로드캐스트 전달에 의해 데이터를 전달하는 것을 전제로 하여 설명을 행한다.
도 2에 나타내는 영상 정보 재생 장치(42)는, 예컨대 도 1에 나타내는 바와 같이 구성된다.
도 1에 나타내는 영상 정보 재생 장치는, 콘텐츠 서버(41)로부터 전달된 데이터의 재생 수단으로서의 재생부(10)와, 장치 전체의 제어를 실행하는 재생 제어 수단으로서의 CPU(21)를 갖는다. 재생부(10)는, 콘텐츠 서버(41)로부터 전달된 데이터를 수신하는, 데이터 수신부(11)와, 데이터 수신부(11)에서 수신된 데이터를 일시적으로 축적하여 두는 버퍼 메모리(12)와, 버퍼 메모리(12)로부터 판독된 데이터를, 영상 정보, 음성 정보의 각 정보로 분리하는 디멀티플렉서(13)와, 영상 정보를 디코드하는 비디오 디코더(14)와, 음성 정보를 디코드하는 오디오 디코더(15)를 갖는다. 비디오 디코더(14)로부터 출력되는 영상 신호는, 외부 표시 장치(31)에 보내져, 외부 표시 장치(31)에 의해 영상이 표시된다. 오디오 디코더(15)로부터 출력되는 음성 신호는, 음성 출력 장치(도시하지 않음)에 보내져, 음성이 출력된다.
본 실시의 형태에 있어서, 데이터 수신부(11)에 전달되는 데이터는, TS(Transport Stream)를 상정하고 있다. 이 경우, 영상 정보, 음성 정보는, PES(Packetized Elementary Stream) 패킷으로 분할된 다음, TS 패킷으로 더 분할되어, 영상 정보, 음성 정보가 중첩된 상태에서 전달된다.
PES 패킷은, MPEG2나, H.264 등으로 부호화된 ES(Elementary Stream)에, PES 헤더 정보가 부가된 것이다. PES 패킷은, 재생의 시간 관리를 행하는 단위로 패킷화한 것이고, 영상 정보는, 예컨대, 1매의 화상 프레임(픽쳐)이 1개의 PES 패킷이 된다. PES 패킷의 헤더 정보에는, 타임 스탬프, 예컨대 재생을 행하는 시각 정보인 PTS(Presentation Time Stamp)가 포함된다.
TS 패킷은 고정 길이(188바이트)를 가지며, 각각의 TS 패킷의 헤더 부분에는, 각각의 데이터 종별에 대하여 고유한 PID(Packet ID)가 부여되어 있다. 이 PID에 의해, 영상 정보인지, 음성 정보인지, 시스템 정보(재생 제어 정보 등)인지의 식별이 가능하다. 디멀티플렉서(13)에서는, PID를 판독하여, 영상 정보인지, 음성 정보인지를 식별하고, 각각의 디코더에 데이터를 분배한다.
또, 본 실시의 형태에 있어서는, 188바이트의 TS 패킷으로 분할되어 있는 것으로 하여 설명을 하고 있지만, 영상 정보인지, 음성 정보인지를 식별하는 것이 가능한, 데이터 포맷이면 TS 이외의 포맷이더라도 좋다. 또한, 음성 정보가 없고, 영상 정보만의 데이터가 전달되는 경우는, TS 패킷으로 분할하지 않고 PES(Packetized Elementary Stream)인 채로 전달되더라도 좋다. 이 경우, 재생부(10)의 디멀티플렉서(13), 오디오 디코더(15)는 필요가 없다.
본 실시의 형태의 영상 정보 재생 장치에 있어서는, CPU(21)는, 버퍼 메모리(12)의 용량을 상시 감시하고, 버퍼 메모리(12)가 언더플로우나 오버플로우를 일으키지 않도록 제어를 행하는, 수신 데이터의 제어 수단으로서 동작한다.
도 3은 버퍼 메모리(12)의 용량의 천이를 나타내는 도면이다. CPU(21)는 버퍼 메모리(12)의 용량을 항상 모니터하고 있고, 버퍼 메모리(12)의 잔량을 순차적으로 콘텐츠 서버(41)에 통지하고 있다.
콘텐츠 서버(41)가 데이터의 송신을 행하고 있지 않은 상태에서, 재생 장치가 재생을 행하고, 그 결과 버퍼 메모리(12)의 데이터 잔량이 하한치(제 1 소정의 임계치) SR1까지 감소하면, 콘텐츠 서버(41)는 재생 장치(42)에 대하여 데이터의 송신을 개시(재개)하고, 버퍼 메모리(12)의 잔량이 상한치(제 2 소정의 임계치) SR2에 이르면, 콘텐츠 서버(41)는 재생 장치(42)에 대한 데이터의 송신을 정지한다.
다음으로 버퍼 메모리(12)의 잔량이 하한치 SR1까지 감소하면, 콘텐츠 서버(41)는 데이터의 송신을 재개한다.
이상의 동작을 반복하는 것에 의해, 버퍼 메모리(12)의 데이터 잔량이 상한치 SR2와 하한치 SR1의 사이로 유지되도록 송신 데이터의 제어를 행한다.
또한, CPU(21)는, 같은 재생 장치(42) 내의 비디오 디코더(14)의 재생 시각을 감시하고, 콘텐츠 서버(41)에 그 시각을 통지함과 아울러, 콘텐츠 서버(41)로부터 수신되는 기준이 되는 재생 시각에 대한, 같은 재생 장치(42) 내의 비디오 디코더(14)의 재생 시각의 편차(skew)에 따라, 콘텐츠 서버(41)로부터 버퍼 메모리(12)에 전송하는 데이터 사이즈를 증감시켜 제어하는 수단으로서도 동작한다.
콘텐츠 서버(41)는, 표준이 되는 재생 장치(42)의 재생 시각으로부터의 편차량을, 각 재생 장치(42)에 통지한다. CPU(21)는, 재생 장치(42)의 재생 시각이 표준이 되는 재생 장치(42)의 재생 시각보다 앞서 있는 경우는, 데이터 수신부(11)에서 수신한 데이터로부터, 버퍼 메모리(12)에 축적하는 데이터량을 많게 하고, 표준이 되는 재생 장치(42)의 재생 시각보다 늦어져 있는 경우는, 버퍼 메모리(12)에 축적하는 데이터량을 적게 하도록, 데이터의 제어를 행한다. 버퍼 메모리(12)에 축적하는 데이터량의 제어의 상세한 설명은 후술한다.
도 4는 콘텐츠 서버(41)로부터 전달되는 TS 데이터의, 데이터 구성을 나타내는 도면이다. TS 데이터는, 영상 정보와 음성 정보는, 188바이트 단위의 패킷(TS 패킷)으로 분할되고, 영상 데이터가 저장된 비디오 패킷, 음성 데이터가 저장된 오디오 패킷, PATㆍPMT 등의 시스템 정보가 저장된 PSI/SI 패킷이, 영상, 음성의 재생이 중단되는 일이 없도록 중첩되어 있다.
다음으로, 콘텐츠 서버(41)로부터 전달된 콘텐츠가 재생될 때까지의 시퀀스에 대하여 설명을 행한다. 사용자로부터, 콘텐츠 서버(41)에 대하여 재생 개시의 요구(재생을 위한 데이터 송신의 요구)가 나오면, 콘텐츠 서버(41)는, 각 재생 장치(42)에 대한, TS 데이터의 브로드캐스트 송신을 개시한다(이 재생 개시의 요구는, 재생 장치의 어느 한쪽으로부터 신호를 보내는 것에 의해 행해지는 경우도 있고, 또한 도시하지 않는 별개의 제어 기기에 의해 주어지는 경우도 있다).
각 재생 장치(42)는, 전달된 TS 데이터를 데이터 수신부(11)에서 수신하고, 버퍼 메모리(12)에 축적을 개시한다. 이때, 콘텐츠 서버(41)는, 전체 재생 장치(42) 중에서, 대표 장치를 임의로 정하고, 대표로 한 재생 장치(42)의 버퍼 메모리(12)의 데이터 잔량을 순차적으로 모니터를 한다. 콘텐츠 서버(41)는, 버퍼 메모리(12)의 잔량이, 도 3의 하한치 SR1보다 크고, 상한치 SR2보다 작은 제 3 소정의 임계치(초기 재생 개시치) SR3을 넘은 것을 검지하면, 전체 재생 장치(42)에 대하여 재생의 개시(재생 장치에 있어서의 표시, 출력의 개시)를 지시한다.
콘텐츠 서버(41)로부터 재생 지시가 내려지면, 각 재생 장치(42)에 있어서, 버퍼 메모리(12)의 TS 데이터의 각각의 패킷은 디멀티플렉서(13)에 송출되고, 그 패킷의 PID에 따라 영상 정보, 음성 정보, PSI/SI 정보로 분리된다. 분리된 영상 정보는 비디오 디코더(14)에 송출되고, 디코드된 영상 신호는, 외부 표시 장치(31)에 출력된다. 또한 분리된 음성 정보는, 오디오 디코더(15)에 송출되고, 디코드된 음성 신호는 음성 출력 장치(도시하지 않음)에 보내져, 음성이 출력된다. 영상과 음성의 재생이 개시된 후에도, 콘텐츠 서버(41)로부터 데이터의 송신이 계속되는 한, 버퍼 메모리(12) 내의 잔량은 시간과 함께 증가하여 간다. 단, 증가의 속도는, 재생 장치에서 재생을 행하지 않고 있을 때에 비하면 느려지고, 그 때문에, 재생 개시보다 뒤의 잔량 곡선의 기울기는 작아진다.
앞서 말한 것처럼, CPU(21)는 버퍼 메모리(12)의 잔량을 순차적으로 콘텐츠 서버(41)에 통지하고 있고, 버퍼 메모리(12)의 잔량이 상한치 SR2에 이른 것을, 콘텐츠 서버(41)가 검지하면, 콘텐츠 서버(41)는, 데이터의 전송을 정지한다.
데이터의 전송이 정지되면, 각 재생 장치(42)의 버퍼 메모리(12)의 잔량은, 디코더에서 데이터가 소비됨에 따라 점차 감소한다. 대표가 되어 있는 재생 장치(42)의 버퍼 메모리(12)의 잔량이 하한치 SR1에 이른 것을 콘텐츠 서버(41)가 검지하면, 콘텐츠 서버(41)는 데이터의 전달을 재개한다.
이상의 동작을 반복하는 것에 의해, 버퍼 메모리(12)가 언더플로우나 오버플로우를 일으켜 음성이나 영상이 중단되는 일 없이, 재생이 계속된다.
단, 각 콘텐츠의 최후의 부분에서는, 버퍼 메모리(12)의 잔량이 하한치 SR1에 이른 것이 검지되더라도, 그 이상 송신해야 할 데이터가 존재하지 않기 때문에, 도 3에 점선 EOC로 나타내는 바와 같이, 잔량은 더 적어져, 최후에는 제로에 이른다.
임계치 SR1, SR2, SR3의 값에 대해서는, 버퍼 메모리(12)의 용량, 재생하는 비트 레이트 등에 따라 최적의 값으로 설정되어야 하지만, 본 출원에는 직접 관련되는 값이 아니기 때문에, 특별히 임계치의 값에 대해서는 언급하지 않는다.
이상의 순서로, 전체 재생 장치(42)에서 일제히 재생이 개시되지만, 비디오 디코더(14)의 기준 시각을 생성하고 있는, 클록 회로(22) 내의 수정 발진기의 발진 주파수는 완전히 동일하지 않아, 재생 장치(42) 사이에 발진 주파수에 차이가 있다. 디코드한 영상의 출력 시각은, 이 기준 시각을 바탕으로 영상 정보 중의 (PES 패킷의 헤더 정보에 포함되는) PTS에 따라 제어되고 있다. 즉, 각 PES는, 그 PES의 헤더 정보에 포함되는 PTS에 의해 지정된 시각(콘텐츠의 선두를 재생하는 시각에 대한 상대 시각)이 된 것을, 재생 장치(42) 내의 수정 발진기로부터 발생되는 클록 펄스의 카운트 결과와의 비교에 의해 검지하면서, 디코드를 행하거나, 디코드 후의 시간 조정(지연)을 행하거나 하면서, 각 PES의 화상을, 해당 PES의 헤더 정보에 포함되는 PTS에 의해 지정된 시각(콘텐츠의 재생 개시로부터의 상대 시각)에 재생 출력을 행하도록 하고 있다. 상기 재생 시각의 편차란, 어느 PTS를 포함하는 PES 패킷의 하나의 재생 장치에 있어서의 재생을, 당해 하나의 재생 장치 내의 클록 회로(22)에서 계시한 시각과, 같은 PTS를 포함하는 PES 패킷의, 다른 재생 장치에 있어서의 재생을, 당해 다른 재생 장치 내의 클록 회로(22)에서 계시한 시각의 차를 의미한다.
상기의 구성으로 인해, 수정 발진기의 주파수의 오차가 원인이 되어, 시간과 함께 각 재생 장치(42)의 재생 시각에 편차가 생겨 간다. 예컨대, 수정 발진기의 정밀도를 ±20ppm으로 하고, 가장 표시가 앞선 재생 장치(42)와, 가장 표시가 늦은 재생 장치(42)의 사이에는, 40ppm의 오차가 생겨, 24시간 연속하여 재생을 계속한다고 가정하면, 약 3초 미만의 시간의 편차가 생길 가능성이 있다.
또한, 콘텐츠 서버(41)는, 전체 재생 장치(42) 중, 하나를 대표의 재생 장치(42)로 하여, 그 버퍼 메모리(12) 내의 데이터 잔량을 모니터하면서, 데이터 전달의 제어를 행하고 있기 때문에, 가장 오차가 큰 재생 장치(42)를 대표로 한 경우, 다른 재생 장치(42)의 버퍼 메모리(12)에서 버퍼의 언더플로우나 오버플로우가 발생할 가능성이 높아진다.
도 5는 재생을 개시하고 20시간 뒤의, 가장 시각의 진행이 빠른 영상 재생 장치(42)가 대표로 선택되어 있는 경우의, 가장 시각의 진행이 빠른 재생 장치(F)와, 가장 늦은 재생 장치(S)의 버퍼의 잔량의 천이를 나타낸다. 가장 빠른 재생 장치(F)의 잔량이 하한치 SR1이 된 시각 T1에서, 콘텐츠 서버(41)로부터의 데이터 전달이 재개되지만, 이때, 가장 늦은 재생 장치의 잔량(S)은, 데이터가 보다 많이 남아 있다.
예컨대, 영상의 부호화 비트 레이트를 10Mbps로 하면, 상기 시간의 편차에 의해, 재생 장치(S)에는 재생 장치(F)보다, 3.5Mbit나 많이 데이터가 남아 있다.
버퍼 메모리(12)의 용량을 10Mbit, 하한치 SR1을 3Mbit, 상한치 SR2를 6Mbit로 하면, 재생 장치(F)의 잔량이 6Mbit가 된 시점에, 재생 장치(S)의 잔량은, 9.5Mbit가 되어, 버퍼 메모리의 용량의 한계에 가까워지고 있다. 이대로 재생(그것을 위한 데이터의 송신)을 더 계속하면, 재생 장치(S)의 버퍼 메모리(12)의 용량을 넘었을 때에, 재생해야 할 데이터가 버려져, 일부 프레임이 누락된 영상이 표시되게 된다.
상기에 설명한 것처럼, 수정 발진기의 주파수의 격차가 원인이 되어, 장시간 재생을 계속하는 것에 의해, 각 영상 정보 표시 장치 사이의 표시의 동기를 취할 수 없게 되어, 최악의 경우 버퍼 메모리의 오버플로우나, 언더플로우가 발생하고, 재생의 끊김이나 중단이 발생한다고 하는 문제가 있었다.
도 6은 본 발명의 실시의 형태에 따른 영상 정보 재생 방법을 실시하기 위해, 개량된 영상 정보에 있어서의 PES 패킷의 배열의 일례를 나타내는 도면이다.
PES 패킷 중, 부호 「I」로 나타내는 것은 I 픽쳐로 구성된 것, 부호 「P」는 P 픽쳐로 구성된 것, 부호 「B」는 B 픽쳐로 구성된 것을 나타낸다. 부호 「I」, 「P」, 「B」에 붙여진 첨자 「1」, 「2」, 「3」 등은 각각 I, P, B 픽쳐끼리를 구별하기 위한 것이며, 재생의 순서도 나타낸다.
I 픽쳐는 프레임 내 부호화된 화상 정보(프레임 내 부호화 화상 정보)이며, 단독으로 디코드 가능하다. P 픽쳐는 그것보다 앞의 픽쳐(I 픽쳐 또는 다른 P 픽쳐)를 참조하여 순방향 움직임 보상 예측 부호화된 화상 정보(프레임간 순방향 예측 부호화 화상 정보)이며, B 픽쳐는, 그것보다 앞의 픽쳐 및 그것보다 뒤의 픽쳐(I 픽쳐, P 픽쳐 또는 다른 B 픽쳐)를 참조하여 쌍방향 움직임 보상 예측 부호화된 화상 정보(프레임간 쌍방향 예측 부호화 화상)이다.
여기서 TS 데이터의 재생 시간이 60sec이고, 프레임 레이트를 30fps로 하면, TS 데이터는 합계 1800(60×30=1800)의 PES 패킷이 되지만, 본 실시의 형태에서는, 상기의 1800의 PES 패킷으로 구성되는 본편 부분(본 발명의 동기 조정을 행하지 않는 경우에도 TS 데이터를 구성하는 부분으로서 포함되는 부분)에, 재생 동기 조정용으로, 10 프레임분의 PES 패킷이 더 추가되어, 합계 1810의 PES 패킷에 의해 구성된다. 이 추가된 10 프레임의 영상은, 60sec의 최종 프레임의 영상과 같은 것을 반복하여 표시하도록 부호화되어 있다. 도시한 예에서는, 최종 프레임의 영상과 같은 영상의 데이터로 이루어지는 1 프레임의 I 픽쳐 데이터와, 그것에 계속하여 같은 영상을 계속 표시하기 위한 9 프레임의 P 픽쳐 데이터로 동기 조정용 프레임(군)이 구성되어 있다.
이와 같이 동기 조정용의 프레임의 추가는, 미리 콘텐츠 서버(41)에 재가(authoring)된 형태로 유지하더라도 좋고, 또한 MPEG의 더미 픽쳐를 이용하여, 콘텐츠 서버(41)상에서 전달시에 부가하더라도 좋다.
추가된 PES 패킷의 선두의 PES 패킷은, I 픽쳐(H.264의 경우는 IDR 픽쳐이지만, 이것도 프레임 내 부호화된 화상 정보이다)이며, 계속되는 PES 패킷은, B 픽쳐를 포함하지 않는, P 픽쳐 또는 I 픽쳐(IDR 픽쳐)에 의해 구성되어 있다. B 픽쳐를 포함하지 않기 때문에, 추가된 동기 조정용의 10 프레임분의 픽쳐는, 표시되는 차례와, 데이터의 배열의 차례가 일치하게 된다. 이에 비하여, 예컨대, 도 6의 TS 데이터의 선두 부분은, 「I1」, 「P1」, 「B1」, 「B2」의 차례로 PES 패킷이 배열되어 있지만, 실제로 표시되는 차례는, 「I1」, 「B1」, 「B2」, 「P1」이며, 배열 순서와 표시 순서가 다르다.
도 7은 실시의 형태에 따른 영상 정보 재생 방법을 실시하기 위해, 개량된 TS 데이터의 TS 패킷의 배열을 나타내는 도면이다. 도 4의 TS 데이터와의 차이는, 추가된 10 프레임분의 각 PES 패킷의 선두의 TS 패킷이, TS 데이터의 선두로부터 몇 번째 패킷에 존재하는지를 나타내는 조정 패킷 정보가 기술된 조정 정보 패킷이 중첩되어 있는 점이다.
도 8은 상기 동기 조정용 패킷의 신택스를 나타내는 도면이다.
"num_of_PES"는, 본편에 추가된 동기 조정용으로 이용할 수 있는 PES(프레임)의 총수이다. 다음의 루프는, "num_of_PES"의 수만큼 반복된다. 10 프레임이 있는 경우는 "num_of_PES"=10이 된다.
"PTS_for_adjust(i)"는, 동기 조정용으로 이용할 수 있는 PES 패킷의 각각의 선두의 PTS값을 나타낸다.
"SPN_for_adjust(i)"는, "PTS_for_adjust(i)"가 나타내는 PES 패킷의 선두를 포함하는 TS 패킷이, TS 데이터의 선두로부터 몇 번째 패킷인지를 나타내는 값이다.
또, 본 실시의 형태에서는, 조정 패킷 정보를 TS 패킷에 중첩하여 재생 장치(42)에 보내고 있지만, 반드시 TS 패킷에 중첩할 필요는 없고, 독자적인 커맨드에 조정 패킷 정보를 실어, 재생 장치(42)에 보내더라도 좋다.
콘텐츠 서버(41)에는, 도 7과 같이 구성된 TS 데이터가 복수 존재하고, 각 영상 정보 재생 장치(42)에 대하여, 연속하여 전달된다. 사용자로부터 콘텐츠 서버(41)에 대하여, 재생의 지시가 내려지면, 미리 지시된 차례로, 콘텐츠 서버(41)의 TS 데이터의 전달이 개시된다.
통상 재생시에 있어서는, CPU(21)에서는, TS 데이터에 포함되는 조정 정보 패킷의 데이터로부터, 추가된 10 프레임의 PES 패킷이 포함되는 TS 패킷이 오는 것을 감시하고, SPN_for_adjust(0) 이후의 TS 패킷은 파기하고, 버퍼 메모리(12)에 축적을 행하지 않는다.
도 9는 영상 정보 재생 장치(42) 사이의 재생을 동기시키기 위한 처리의 시퀀스를 나타내는 도면이다. 단계 ST5, ST6은, 콘텐츠 서버(41)에 있어서의 처리를 나타내고, 다른 단계는, 재생 장치(42)에 있어서의 처리를 나타낸다.
통상 재생을 행하고 있을 때는, 콘텐츠의 본편의 재생이 완료되더라도, 상술한 바와 같이 추가된 10 프레임분의 표시는 행해지지 않는다(ST1). 상술한 대로, 수정 발진기의 주파수는 20ppm 정도의 정밀도이기 때문에, 몇 분 재생한 정도로는, 동기 편차는 시인되지 않는 정도이다. 콘텐츠 서버(41)로부터는, 수십 분에 1회 정도, 즉 소정 시간이 경과할 때마다(ST2), 각 재생 장치(42)에 대하여, 현재의 재생 시각의 확인이 행해진다(ST3).
콘텐츠 서버(41)로부터의 재생 시각의 확인에 대하여, 각 재생 장치(42)로부터는, 현재의 재생 시각을 콘텐츠 서버(41)에 통지한다(ST4).
콘텐츠 서버(41)에서는, 통지된 시각을 집계하고, 재생 시각의 동기 조정을 행할 필요가 있는지 여부를 판단한다(ST5). 그것을 위해, 가장 앞서 있는 재생 시각과 가장 늦어져 있는 재생 시각의 차가 소정치 이상, 예컨대 1 프레임 이상인지 여부의 판단을 행한다.
재생 시각의 차가 1 프레임 이상 있어, 조정의 필요성이 있다고 판단된 경우, 재생 시각 중 평균치를 갖는 재생 장치(42)를 기준이 되는 재생 장치(42)로 하고, 그 재생 시각을 기준 시각으로 하여 전체 재생 장치(42)에 대하여 통지한다(ST6).
기준 시각을 받은 각 재생 장치(42)는, 조금 전 자신이 통지한 재생 시각과, 콘텐츠 서버(41)로부터 통지된 기준 시각의 차로부터, 기준의 재생 장치(42)로부터, 늦게 재생하고 있는지, 앞서 재생을 하고 있는지를 인식하여 재생 시각을 조정한다(ST7).
콘텐츠 서버(41)로부터 통지된 기준 재생 시각과의 차가 1 프레임 이내인지 여부를 판정하고, 재생 시각의 차가 1 프레임 이내인 경우, 재생 장치(42)는 동기 조정용으로 추가된 10 프레임 중, 5 프레임째까지를 재생하고, CPU(21)는 SPN_for_adjust(5) 이후의 데이터를 파기한다. 따라서, 현재 재생 중의 TS 데이터의 총 재생 시간은, 본편+5 프레임이 되고, 최후의 6 프레임은 본편 최종의 프레임이 연속하여 표시되게 된다. 부가된 전반 5 프레임분을 재생한 후는, 계속하여 다음의 콘텐츠의 TS 데이터의 재생을 계속한다.
도 10은 도 9의 단계 ST7의 조정 시퀀스를 상세하게 나타내는 도면이다. 우선, 기준으로 하는 재생 장치(42)의 재생 시각(기준 시각)으로부터, 1 프레임 이상 늦게 재생하고 있는지 여부를 판별한다(ST8).
기준 시각으로부터 1 프레임 이상 늦어져 있다고 판단한 재생 장치(42)는, 기준 시각과, 스스로의 재생 시각으로부터 지연 시간을 산출하고, 지연 시간에 상당하는 프레임수를 산출하고, 5 프레임으로부터 지연 시간에 상당하는 프레임수를 감산하는 것에 의해, 버퍼 메모리(12)에 축적해야 할 데이터 사이즈를 계산한다. 예컨대 지연 시간이 60msec(2 프레임분)인 경우, TS 데이터의 종단에 부가된 10 프레임 중, 전반의 3 프레임분까지를 버퍼 메모리(12)에 축적하고, SPN_for_adjust(3) 이후의 데이터를 파기한다(ST9).
이 결과, 현재 재생 중의 TS 데이터의 총 재생 시간은, 본편+3 프레임이 되고, 최후의 4 프레임은 본편 최종의 프레임이 연속하여 표시되게 된다. 부가된 전반 3 프레임분을 재생한 후, 계속하여 다음의 콘텐츠의 TS 데이터의 재생을 계속한다.
단계 ST10에서는, 기준이 되고 있는 재생 장치(42)의 재생 시각으로부터 1 프레임 이상 앞서 있는지 여부를 판단한다. 1 프레임 이상 앞서 있다고 판단한 재생 장치(42)는, 기준 시각과, 스스로의 재생 시각으로부터, 앞선 시간을 산출하고, 앞선 시간에 상당하는 프레임수를 산출하고, 5 프레임에 앞선 시간에 상당하는 프레임수를 가산하는 것에 의해, 버퍼 메모리(12)에 축적해야 할 데이터 사이즈를 계산한다(ST11). 예컨대 앞선 시간이 90msec(3 프레임분)인 경우, TS 데이터의 종단에 부가된 10 프레임 중, 전반의 8 프레임분까지를 버퍼 메모리(12)에 축적하고, SPN_for_adjust(8) 이후의 데이터를 파기한다. 따라서, 현재 재생 중의 TS 데이터의 총 재생 시간은, 본편+8 프레임이 되고, 최후의 9 프레임은 본편 최종의 프레임이 연속하여 표시되게 된다. 부가된 전반 8 프레임분을 재생한 후, 계속하여 다음의 콘텐츠의 TS 데이터의 재생을 계속한다.
단계 ST10에서, 앞선 시간이 1 프레임 이내라고 판단한 재생 장치(42)는, TS 데이터의 종단에 부가된 10 프레임 중, 5 프레임째까지를 재생하고, SPN_for_adjust(5) 이후의 데이터를 파기한다(ST12). 따라서, 현재 재생 중의 TS 데이터의 총 재생 시간은, 본편+5 프레임이 되고, 최후의 6 프레임은 본편 최종의 프레임이 연속하여 표시되게 된다. 부가된 전반 5 프레임분을 재생한 후는, 계속하여 다음의 콘텐츠의 TS 데이터의 재생을 계속한다.
상기의 경우, 기준 시각으로부터 늦은 재생 장치(42)의, 현재 재생 중의 콘텐츠의 총 재생 시간은, 기준이 되고 있는 재생 장치(42)에 비하여, 2 프레임분까지 짧아지고, 재생 시각이 앞선 재생 장치(42)의, 현재 재생 중의 콘텐츠의 총 재생 시간은, 기준이 되고 있는 재생 장치(42)에 비하여, 3 프레임분까지 길어진다.
도 11은 콘텐츠의 전환 전후의, 각 재생 장치(42)의 재생 시각의 천이를 나타낸 도면이다. 상기의 시퀀스에 따라 재생을 행하면, 기준 시각에 대하여, 늦어져 있는 재생 장치(42)는, 현재 재생하고 있는 TS 데이터의 총 재생 시간을, 늦은 만큼 기준이 되고 있는 재생 장치(42)보다 짧게 하고, 앞서 있는 재생 장치(42)는, 현재 재생하고 있는 TS 데이터의 총 재생 시간을, 앞선 만큼 기준이 되고 있는 재생 장치(42)보다 길게 하는 것에 의해, 다음의 콘텐츠의 TS 데이터의 재생의 개시 타이밍을 1 프레임 이내의 시간차 이하로 조정하는 것이 가능해진다.
이상과 같이, TS 데이터의 재생 시각을, 각 재생 장치(42)에서 정밀하게 조정 가능하게 하기 위해, 부가된 조정용의 TS 데이터에는 몇 개의 제약 조건이 필요하게 된다. 도 12는 일반적인 MPEG의 프레임의 배열을 나타낸 도면이다. 이 경우, 콘텐츠 서버(41)로부터는, 「I1」, 「P1」, 「B1」, 「B2」, …의 차례로 데이터가 전달되지만, 표시의 차례는, 「I1」, 「B1」, 「B2」, 「P1」, …이 되고 있다. 도 12와 같이, 추가 데이터가 배열되어 있는 경우에 있어서, 「B1」까지를 재생하고 싶은 경우, 데이터는 「I1」, 「P1」, 「B1」, 「B2」의 4 프레임분을 버퍼 메모리(12)에 입력할 필요가 있다. 디코더(14)에서는, 「I1」, 「B1」, 「B2」, 「P1」의 4 프레임이 재생되어 버리기 때문에, 본래 표시시키고 싶은 프레임수를 2 프레임 넘어 버린다.
마찬가지로, 「B2」까지 표시시키고 싶은 경우도, 「P1」까지 재생시키고 싶은 경우도, 「I1」, 「B1」, 「B2」, 「P1」의 4 프레임이 재생되어 버린다. 이와 같이, B 프레임이 포함되도록 부호화하면, 도 12에 나타내는 경우에는 최대 2 프레임의 오차가 발생하기 때문에, 동기 정밀도가 떨어져 버린다.
도 13은, 프레임 단위로, 1 프레임의 정밀도로 동기를 취하기 위해 고려된 프레임의 배열이다. 도 12와의 차이는 B 프레임을 사용하지 않고 부호화를 행하고 있는 점이다. 이와 같이 부호화한 경우, 프레임의 배열 순서와 재생 순서가 일치하고 있다. 이 때문에, 3 프레임분까지 재생하고 싶은 경우는, 「I1」, 「P1」, 「P2」의 3 프레임분의 데이터를 버퍼 메모리에 축적하고, 이후의 프레임을 파기하면 된다. 이와 같이 B 프레임을 사용하지 않는 것에 의해, 프레임 정밀도의 동기 조정이 가능해진다. 단, B 프레임을 사용하지 않고 부호화한 경우, 부호화 효율이 내려가기 때문에, B 프레임을 사용한 경우와 같은 화질을 확보하기 위해서는, 데이터 사이즈가 커져 버린다. 이것을 회피하려면, 본편 부분은 B 프레임을 사용하여 부호화를 행하고, 조정용의 프레임에 대해서는, B 프레임을 사용하지 않고 부호화를 행하는 방법이 바람직하지만, 본편과 조정용의 프레임을 다른 규칙으로 부호화하는 것은, 부호화가 복잡하게 되는 문제점도 있다. 따라서, 동기 정밀도가 요구되는 시스템에 대하여, 조정용의 프레임에 B 프레임을 사용하지 않고 부호화하고, 높은 동기 정밀도를 요구하지 않는 경우는, B 프레임을 사용한 부호화를 행하면 된다.
이상, 설명한 것처럼, 종단에 재생 시각의 동기를 조정하기 위한 프레임이 추가된 TS 데이터를 사용하여, 기준이 되고 있는 재생 장치(42)의 재생 시각으로부터의, 상대적인 재생 시각차 정보로부터, 버퍼 메모리에 축적하는 추가된 동기 조정용의 TS 데이터량을 조정하는 것에 의해, 정밀하게 표시 장치간의 재생의 동기를 도모하는 것이 가능해진다.
또, 본 실시의 형태의 설명에서는, 재생 시각이 전체 재생 장치(42)의 재생 시각의 평균치에 가까운 재생 장치(42)의 재생 시각을 기준 시각으로 설정하고 있지만, 평균치에 가까운 값일 필요는 없고, 예컨대, 중앙치로 하더라도 좋고, 또한 가장 재생 시각이 앞선 재생 장치(42)를 기준으로 하고, 가장 재생 시각이 앞선 재생 장치(42)에는, 추가된 10 프레임 모두를 재생시키고, 그 이외의 재생 장치(42)에는, 기준이 되고 있는 재생 시각과의 오차의 크기에 따라, 추가 재생하는 프레임수를 10 프레임으로부터 줄여서 재생시키더라도, 완전히 같은 효과를 얻을 수 있다. 마찬가지로, 가장 재생 시각이 늦은 재생 장치(42)를 기준으로 하고, 가장 재생 시각이 늦은 재생 장치(42)에는, 추가 프레임은 재생시키지 않고, 그 이외의 재생 장치(42)에는, 기준의 재생 시각과의 오차의 크기에 따라, 추가 재생하는 프레임을 늘려서 재생시키는 것에 의해서도, 완전히 같은 효과를 얻을 수 있다.
본 발명은, 예컨대 자동차, 열차, 건물 등에 있어서 복수의 화면에 표시를 행하는 표시 장치에 적용할 수 있고, 복수의 표시 장치간의 재생 시각을 정밀하게 동기시킬 수 있다고 하는 효과를 얻을 수 있다.
실시의 형태 2.
실시의 형태 1에서는, 각 재생 장치(42)간의 재생 시각의 격차가 조정용으로 준비된 프레임수 이내에 들어가고 있는 경우의 조정 방법에 대하여 설명을 행했다. 그러나, 재생 장치(42) 내에서 CPU(21)에 갑작스러운 부하가 걸리거나, 또한 전기적인 노이즈의 영향으로 재생 장치(42)에 리셋이 걸려 버리거나 하여, 재생 준비가 가능해지기 전에, 콘텐츠 서버(41)로부터의 데이터 전달이 개시되어 버린 경우, 대폭 재생 동기가 어긋나 버리는 경우가 있다. 이 경우, 편차 시간이, 몇 초간이나 되기 때문에, 실시의 형태 1의 조정 방법으로, 동기를 취할 수 있기까지, 수십 분으로부터 수 시간을 요하는 경우가 있다.
도 14는 이와 같이 대폭 재생 시각이 어긋나 버렸을 때에, 단시간에 조정을 행하기 위해 개량된 순서도이다. 동 도면에 있어서, 단계 ST18 및 ST19는, 콘텐츠 서버(41)에서 행해지는 처리이며, 그 외의 단계는, 각 재생 장치(42)에서 행해지는 처리이다.
우선, 기준이 되고 있는 재생 장치(42)의 재생 시각에 대하여, 실시의 형태 1에서 설명한 조정 방법으로, 동기화가 가능한 범위 내의 편차량인지 여부(실시의 형태 1에서 설명한 방법으로 조정이 가능한 범위 내인지 여부)를 판단한다(ST13).
동기화가 가능한 범위 내인 것으로 판단된 경우는, 단계 ST14로 진행하여, 통상의 조정(도 10을 참조하여 설명한 조정)을 행한다. 단계 ST14에서의 조정의 상세에 대해서는, 실시의 형태 1에서 상세하게 설명을 행했으므로 생략한다.
재생 시각의 편차량이, 동기화가 가능한 범위 밖인 것으로 판단되면, 현재 재생 중의 콘텐츠의 재생을 중단하고, 버퍼 메모리(12)에 축적되어 있는 모든 데이터를 클리어한다(ST15).
재생을 중단한 재생 장치(42)는, 현재 재생 중의 콘텐츠의 TS 데이터의 전달이 완료되고, 다음의 콘텐츠의 선두의 TS 패킷의 선두 패킷이 전달되는 것을 기다린다(ST16). 다음의 콘텐츠의 선두의 TS 패킷을 검출하면, CPU(21)는, 데이터의 버퍼 메모리(12)로의 축적을 개시한다(ST17).
다음으로, 콘텐츠 서버(41)는, 기준이 되고 있는 재생 장치(42)에 대하여, 다음의 콘텐츠의 선두의 프레임의 재생이 개시되면, 콘텐츠 서버(41)에 통지하도록 지시하고, 기준이 되고 있는 재생 장치(42)로부터, 다음의 콘텐츠의 재생이 개시된 것이, 콘텐츠 서버(41)에 통지되면(ST18), 콘텐츠 서버(41)는, 재생을 중단한 재생 장치(42)에 대하여, 재생 개시 지시를 내리고(ST19), 재생을 중단한 재생 장치(42)에 있어서의 콘텐츠의 재생이 재개된다.
기준이 되고 있는 재생 장치(42)로부터, 콘텐츠 서버(41)에 재생 개시가 통지되고, 콘텐츠 서버(41)로부터, 재생을 중단한 재생 장치(42)에 재생 개시 지시가 전해질 때까지, 네트워크에 의한 지연, 소프트웨어의 처리 시간에 의한 지연, 비디오 디코더(14)에 재생 지시를 내리고 나서 최초의 프레임이 표시될 때까지의 지연이 있기 때문에, 이 시점에서는, 재생을 중단한 재생 장치(42)의 재생 시각은, 다른 재생 장치(42)에 대하여 수 프레임 늦은 상태에 있다. 그러나, 이 지연은 통상의 동기를 조정하는 시퀀스로 조정 가능한 범위 내이기 때문에, 다음번의 조정 시퀀스에서 동기를 일치시키는 것이 가능하다.
이상 설명한 것처럼, 재생 시각이 대폭 어긋난 재생 장치(42)에 대해서는, 일단 재생을 중단하고, 기준이 되고 있는 재생 장치(42)가, 다음의 콘텐츠의 선두 프레임을 재생 개시하는 타이밍에, 재생을 재개하는 것에 의해, 다음의 콘텐츠의 조정에서 신속하게 재생 시각의 동기를 도모하는 것이 가능해진다.
본 발명은, 예컨대 자동차, 열차, 건물 등에 있어서 복수의 화면에 표시하는 표시 장치에 적용할 수 있고, 복수의 표시 장치간의 재생 시각의 동기를 단시간에 맞출 수 있다고 하는 효과를 얻을 수 있다.
10 : 재생부 11 : 데이터 수신부
12 : 버퍼 메모리 13 : 디멀티플렉서
14 : 비디오 디코더 15 : 오디오 디코더
21 : CPU(판별 수단, 재생 제어 수단)
31 : 외부 표시 장치 41 : 콘텐츠 서버
42 : 재생 장치 43 : 네트워크

Claims (16)

  1. 네트워크로 접속된 콘텐츠 서버로부터 전달된, 적어도 프레임 내 부호화 화상 정보, 및 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성되고, 또한 타임 스탬프 정보를 포함하는 콘텐츠를 복수의 영상 정보 재생 장치로 수신하고, 수정 발진기가 발생한 클록 펄스 신호에 근거하여, 상기 타임 스탬프 정보에서 지정된 시각에 상기 콘텐츠를 상기 영상 정보 재생 장치로 복호하여 재생하는 영상 정보 재생 방법으로서,
    상기 복수의 영상 정보 재생 장치의 각각이, 상기 클록 펄스 신호에 근거하여 상기 콘텐츠가 재생된 시각인 재생 시각을 상기 콘텐츠 서버에 통지하는 재생 시각 통지 단계와,
    상기 콘텐츠 서버가, 상기 복수의 영상 정보 재생 장치로부터 통지된 상기 재생 시각에 근거하여, 상기 복수의 영상 정보 재생 장치 중에서, 기준 영상 정보 재생 장치를 선택하고, 또한 그 기준 영상 정보 재생 장치로부터 통지된 상기 재생 시각을, 기준 재생 시각으로 결정하여, 상기 기준 재생 시각을 상기 복수의 영상 정보 재생 장치에 통지하는 기준 재생 시각 통지 단계와,
    상기 복수의 영상 정보 재생 장치의 각각이, 상기 콘텐츠 서버로부터 통지된 상기 기준 재생 시각과 상기 영상 정보 재생 장치가 상기 콘텐츠 서버에 통지한 상기 재생 시각을 비교하여 양자의 오차를 검출하는 검출 단계와,
    상기 복수의 영상 정보 재생 장치의 각각이,
    상기 영상 정보 재생 장치가, 상기 콘텐츠 서버에 통지한 상기 재생 시각이 상기 기준 재생 시각에 비하여 늦어져 있는 경우는, 지연 시간에 따라 재생하는 부호화된 콘텐츠의 프레임수를, 상기 기준 영상 정보 재생 장치가 재생하는 프레임수로부터 감산하고,
    상기 영상 정보 재생 장치가, 상기 콘텐츠 서버에 통지한 상기 재생 시각이 상기 기준 재생 시각에 비하여 앞서 있는 경우는, 앞선 시간에 따라 재생하는 부호화된 콘텐츠의 프레임수를, 상기 기준 영상 정보 재생 장치가 재생하는 프레임수에 가산하여, 재생하는 프레임수를 조정하는 조정 단계
    를 갖는 것을 특징으로 하는 영상 정보 재생 방법.
  2. 제 1 항에 있어서,
    상기 콘텐츠가, 적어도 상기 프레임 내 부호화 화상 정보, 및 상기 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성된 본편용 프레임에, 적어도 상기 프레임 내 부호화 화상 정보와 상기 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성되고, 상기 본편용 프레임에 포함되는 최종 프레임의 영상과 동일한 영상을 표시하도록 부호화된 동기 조정용 프레임이 추가된 것인 것을 특징으로 하는 영상 정보 재생 방법.

  3. 제 1 항 또는 제 2 항에 있어서,
    상기 오차를 검출하는 단계에 있어서, 콘텐츠 서버가, 각 영상 정보 재생 장치로부터 통지되는 재생 시각을 집계하고, 평균치에 가장 가까운 재생 시각의 영상 정보 재생 장치를 기준으로 하는 것을 특징으로 하는 영상 정보 재생 방법.
  4. 제 1 항 또는 제 2 항에 있어서,
    상기 오차를 검출하는 단계에 있어서, 콘텐츠 서버가, 각 영상 정보 재생 장치로부터 통지되는 재생 시각을 집계하고, 가장 늦은 재생 시각의 영상 정보 재생 장치를 기준으로 하는 것을 특징으로 하는 영상 정보 재생 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 오차를 검출하는 단계에 있어서, 콘텐츠 서버가, 각 영상 정보 재생 장치로부터 통지되는 재생 시각을 집계하고, 가장 앞선 재생 시각의 영상 정보 재생 장치를 기준으로 하는 것을 특징으로 하는 영상 정보 재생 방법.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 영상 정보 재생 장치의 각각이, 상기 검출 단계에서 검출된 상기 오차가, 상기 조정 단계에 의한 조정에 의해 동기화가 가능한 범위 내의 것인지 여부를 판단하는 판단 단계와,
    상기 영상 정보 재생 장치의 각각이, 상기 판단 단계에서 동기화가 가능한 범위 내의 것이 아니라고 판단된 경우, 현재 재생 중의 콘텐츠의 재생을 중단하고, 버퍼 메모리에 축적되어 있는 콘텐츠의 데이터를 파기하는 파기 단계와,
    상기 영상 정보 재생 장치의 각각이, 재생을 중단한 경우에는, 다음의 콘텐츠를 수신한 시점으로부터, 콘텐츠의 데이터를 버퍼 메모리에 축적하는 축적 단계와,
    상기 영상 정보 재생 장치의 각각이, 상기 재생을 중단한 경우에는, 다음의 콘텐츠를 상기 기준 영상 정보 재생 장치가 재생을 개시한 타이밍을, 콘텐츠 서버로부터 통지를 받으면, 다음의 콘텐츠의 재생을 개시하는 개시 제어 단계
    를 더 갖는 것을 특징으로 하는 영상 정보 재생 방법.
  7. 제 1 항 또는 제 2 항에 있어서,
    상기 프레임 내 부호화 화상 정보, 및 프레임간 순방향 예측 부호화 화상 정보가 MPEG2 또는 H.264로 부호화된 것인 것을 특징으로 하는 영상 정보 재생 방법.

  8. 적어도 프레임 내 부호화 화상 정보, 및 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성되고, 또한 타임 스탬프 정보를 포함하는 콘텐츠를 전달하는 콘텐츠 서버와, 상기 콘텐츠 서버에 네트워크로 접속되고, 상기 콘텐츠 서버로부터 전달된 상기 콘텐츠를 수신하고, 수정 발진기가 발생한 클록 펄스 신호에 근거하여, 상기 타임 스탬프 정보에서 지정된 시각에 상기 콘텐츠를 복호하여 재생하는 복수의 영상 정보 재생 장치를 갖는 영상 정보 재생 시스템으로서,
    상기 영상 정보 재생 장치의 각각은, 상기 클록 펄스 신호에 근거하여 상기 콘텐츠가 재생된 시각인 재생 시각을 상기 콘텐츠 서버에 통지하는 수단을 갖고,
    상기 콘텐츠 서버는, 상기 복수의 영상 정보 재생 장치로부터 통지된 상기 재생 시각에 근거하여, 상기 복수의 영상 정보 재생 장치 중에서, 기준 영상 정보 재생 장치를 선택하고, 또한 그 기준 영상 정보 재생 장치로부터 통지된 재생 시각을 기준 재생 시각으로 결정하여, 상기 기준 재생 시각을 상기 복수의 영상 정보 재생 장치에 통지하고,
    상기 영상 정보 재생 장치의 각각은,
    상기 콘텐츠 서버로부터 통지된 상기 기준 재생 시각과 상기 영상 정보 재생 장치가 상기 콘텐츠 서버에 통지한 상기 재생 시각을 비교하고, 양자의 오차를 검출하는 수단과,
    상기 영상 정보 재생 장치가 상기 콘텐츠 서버에 통지한 상기 재생 시각이, 상기 기준 재생 시각에 비하여 늦어져 있는 경우는, 지연 시간에 따라 재생하는 부호화된 콘텐츠의 프레임수를, 상기 기준 영상 정보 재생 장치가 재생하는 프레임수로부터 감산하고,
    상기 영상 정보 재생 장치가 상기 콘텐츠 서버에 통지한 상기 재생 시각이, 상기 기준 재생 시각에 비하여 앞서 있는 경우는, 앞선 시간에 따라 재생하는 부호화된 콘텐츠의 프레임수를, 상기 기준 영상 정보 재생 장치가 재생하는 프레임수에 가산하여, 재생하는 프레임수를 조정하는 수단
    을 갖는 것을 특징으로 하는 영상 정보 재생 시스템.
  9. 제 8 항에 있어서,
    상기 콘텐츠는, 적어도 상기 프레임 내 부호화 화상 정보 및 상기 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성된 본편용 프레임에, 적어도 상기 프레임 내 부호화 화상 정보와 상기 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성되고, 상기 본편용 프레임에 포함되는 최종 프레임의 영상과 동일한 영상을 표시하도록 부호화된 동기 조정용 프레임이 추가된 것인 것을 특징으로 하는 영상 정보 재생 시스템.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 오차를 검출하는 수단에 있어서, 콘텐츠 서버가, 각 영상 정보 재생 장치로부터 통지되는 재생 시각을 집계하고, 평균치에 가장 가까운 재생 시각의 영상 정보 재생 장치를 기준으로 하는 것을 특징으로 하는 영상 정보 재생 시스템.
  11. 제 8 항 또는 제 9 항에 있어서,
    상기 오차를 검출하는 수단에 있어서, 콘텐츠 서버가, 각 영상 정보 재생 장치로부터 통지되는 재생 시각을 집계하고, 가장 늦은 재생 시각의 영상 정보 재생 장치를 기준으로 하는 것을 특징으로 하는 영상 정보 재생 시스템.
  12. 제 8 항 또는 제 9 항에 있어서,
    상기 오차를 검출하는 수단에 있어서, 콘텐츠 서버가, 각 영상 정보 재생 장치로부터 통지되는 재생 시각을 집계하고, 가장 앞선 재생 시각의 영상 정보 재생 장치를 기준으로 하는 것을 특징으로 하는 영상 정보 재생 시스템.
  13. 제 8 항 또는 제 9 항에 있어서,
    상기 영상 정보 재생 장치의 각각은,
    상기 검출 수단에서 검출된 상기 오차가, 상기 조정 수단에 의한 조정에 의해 동기화가 가능한 범위 내의 것인지 여부를 판단하는 판단 수단과,
    상기 판단 수단에서 동기화가 가능한 범위 내의 것이 아니라고 판단된 경우, 현재 재생 중의 콘텐츠의 재생을 중단하고, 버퍼 메모리에 축적되어 있는 콘텐츠의 데이터를 파기하는 파기 수단과,
    상기 영상 정보 재생 장치가 재생을 중단한 경우에는, 다음의 콘텐츠를 수신한 시점으로부터, 콘텐츠의 데이터를 버퍼 메모리에 축적하는 축적 수단과,
    상기 영상 정보 재생 장치가 재생을 중단하고 있을 때에, 다음의 콘텐츠를 상기 기준 영상 정보 재생 장치가 재생을 개시한 타이밍을, 콘텐츠 서버로부터 통지를 받으면, 다음의 콘텐츠의 재생을 개시하는 개시 제어 수단
    을 더 갖는 것을 특징으로 하는 영상 정보 재생 시스템.
  14. 제 8 항 또는 제 9 항에 있어서,
    상기 프레임 내 부호화 화상 정보, 및 프레임간 순방향 예측 부호화 화상 정보가 MPEG2 또는 H.264로 부호화된 것인 것을 특징으로 하는 영상 정보 재생 시스템.
  15. 적어도 프레임 내 부호화 화상 정보, 및 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성된 본편용 프레임에, 적어도 상기 프레임 내 부호화 화상 정보와 상기 프레임간 순방향 예측 부호화 화상 정보를 포함하는 시퀀스로 구성되고, 상기 본편용 프레임에 포함되는 최종 프레임의 영상과 동일한 영상을 표시하도록 부호화된 동기 조정용 프레임이 추가되고, 또한 타임 스탬프 정보를 포함하는 영상 정보 콘텐츠가 기록된 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
  16. 제 15 항에 있어서,
    상기 영상 정보 콘텐츠는, 상기 프레임 내 부호화 화상 정보, 및 프레임간 순방향 예측 부호화 화상 정보가 MPEG2 또는 H.264로 부호화된 것인 것을 특징으로 하는 컴퓨터 판독 가능한 기록 매체.
KR1020127013418A 2009-11-27 2010-04-14 영상 정보 재생 방법 및 시스템, 및 영상 정보 콘텐츠가 기록된 컴퓨터 판독 가능한 기록 매체 KR101443470B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2009-270330 2009-11-27
JP2009270330A JP5489675B2 (ja) 2009-11-27 2009-11-27 映像情報再生方法及びシステム、並びに映像情報コンテンツ
PCT/JP2010/002707 WO2011064909A1 (ja) 2009-11-27 2010-04-14 映像情報再生方法及びシステム、並びに映像情報コンテンツ

Publications (2)

Publication Number Publication Date
KR20120068048A KR20120068048A (ko) 2012-06-26
KR101443470B1 true KR101443470B1 (ko) 2014-09-22

Family

ID=44066024

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127013418A KR101443470B1 (ko) 2009-11-27 2010-04-14 영상 정보 재생 방법 및 시스템, 및 영상 정보 콘텐츠가 기록된 컴퓨터 판독 가능한 기록 매체

Country Status (7)

Country Link
US (1) US9066061B2 (ko)
EP (1) EP2506570B1 (ko)
JP (1) JP5489675B2 (ko)
KR (1) KR101443470B1 (ko)
CN (1) CN102640511B (ko)
HK (1) HK1171591A1 (ko)
WO (1) WO2011064909A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101987756B1 (ko) * 2012-07-24 2019-06-11 삼성전자주식회사 미디어 재생 방법 및 미디어 장치
JP5542892B2 (ja) * 2012-10-18 2014-07-09 株式会社東芝 コンテンツ処理装置、及びコンテンツ同期方法
US8978076B2 (en) 2012-11-05 2015-03-10 Comcast Cable Communications, Llc Methods and systems for content control
JP6376526B2 (ja) * 2012-12-03 2018-08-22 株式会社コナミデジタルエンタテインメント 出力タイミング制御装置、出力タイミング制御システム、出力タイミング制御方法、およびプログラム
JP6051847B2 (ja) * 2012-12-25 2016-12-27 三菱電機株式会社 映像情報再生方法及びシステム
JP2015015706A (ja) * 2013-07-03 2015-01-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ データ送信方法、データ再生方法、データ送信装置およびデータ再生装置
EP2999260B1 (en) * 2013-07-08 2018-08-29 Huawei Technologies Co., Ltd. Control method, device and system for video playing
WO2015004131A1 (en) * 2013-07-09 2015-01-15 Koninklijke Kpn N.V. Synchronized data processing between receivers
KR20150033827A (ko) * 2013-09-24 2015-04-02 삼성전자주식회사 영상표시장치, 서버 및 그 동작방법
KR20150037372A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 영상표시장치, 컨텐츠 동기화 서버 및 그 동작방법
JP6510205B2 (ja) * 2013-10-11 2019-05-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 送信方法、受信方法、送信装置および受信装置
JP6136993B2 (ja) * 2014-03-05 2017-05-31 三菱電機株式会社 映像情報再生システム、この映像情報再生システムを備えた映像情報表示システム及びこの映像情報再生システムに設けられた車両内映像再生装置
CN104822008B (zh) * 2014-04-25 2019-01-08 腾讯科技（北京）有限公司 视频同步方法及装置
WO2015182189A1 (ja) * 2014-05-28 2015-12-03 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR102336709B1 (ko) 2015-03-11 2021-12-07 삼성디스플레이 주식회사 타일드 표시 장치 및 그 동기화 방법
US20160295256A1 (en) * 2015-03-31 2016-10-06 Microsoft Technology Licensing, Llc Digital content streaming from digital tv broadcast
US10021438B2 (en) 2015-12-09 2018-07-10 Comcast Cable Communications, Llc Synchronizing playback of segmented video content across multiple video playback devices
US11044183B2 (en) 2015-12-29 2021-06-22 Xilinx, Inc. Network interface device
US11165683B2 (en) * 2015-12-29 2021-11-02 Xilinx, Inc. Network interface device
JP6623888B2 (ja) * 2016-03-29 2019-12-25 セイコーエプソン株式会社 表示システム、表示装置、頭部装着型表示装置、表示制御方法、表示装置の制御方法、及び、プログラム
WO2018088784A1 (en) 2016-11-09 2018-05-17 Samsung Electronics Co., Ltd. Electronic apparatus and operating method thereof
CN110557675A (zh) * 2018-05-30 2019-12-10 北京视连通科技有限公司 一种对视频节目内容进行分析、标注及时基校正的方法
JP7229696B2 (ja) * 2018-08-02 2023-02-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR102650340B1 (ko) * 2019-06-07 2024-03-22 주식회사 케이티 재생 시각을 정밀하게 제어하는 동영상 재생 단말, 방법 및 서버
KR20210087273A (ko) * 2020-01-02 2021-07-12 삼성전자주식회사 전자장치 및 그 제어방법
CN112153445B (zh) * 2020-09-25 2022-04-12 四川湖山电器股份有限公司 一种分布式视频显示系统同步解码播放方法及系统
CN112675531A (zh) * 2021-01-05 2021-04-20 深圳市欢太科技有限公司 数据同步方法、装置、计算机存储介质及电子设备
US11968417B2 (en) * 2021-12-30 2024-04-23 Comcast Cable Communications, Llc Systems, methods, and apparatuses for buffer management

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244605A (ja) * 2004-02-26 2005-09-08 Nippon Telegr & Teleph Corp <Ntt> ストリーミングコンテンツ配信制御システム、プログラム及び該プログラムを格納した記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6061399A (en) * 1997-05-28 2000-05-09 Sarnoff Corporation Method and apparatus for information stream frame synchronization
US6034731A (en) * 1997-08-13 2000-03-07 Sarnoff Corporation MPEG frame processing method and apparatus
US6324217B1 (en) * 1998-07-08 2001-11-27 Diva Systems Corporation Method and apparatus for producing an information stream having still images
US6507616B1 (en) * 1998-10-28 2003-01-14 Lg Information & Communications, Ltd. Video signal coding method
JP4039417B2 (ja) * 2004-10-15 2008-01-30 株式会社日立製作所 記録再生装置
JP4457349B2 (ja) * 2005-03-31 2010-04-28 日本電気株式会社 Ｍｐｅｇコンテンツの同期再生方法、クライアント端末、ｍｐｅｇコンテンツの同期再生プログラム
US7885366B2 (en) 2005-04-20 2011-02-08 Panasonic Corporation Stream data recording device, stream data editing device, stream data reproducing device, stream data recording method, and stream data reproducing method
JP2008096756A (ja) 2006-10-12 2008-04-24 Sharp Corp 多画面表示システムおよびその表示方法
JP4967945B2 (ja) * 2007-09-13 2012-07-04 ヤマハ株式会社 端末装置およびデータ配信システム
JP2009081654A (ja) * 2007-09-26 2009-04-16 Nec Corp ストリーム同期再生システム及び方法
US20090213777A1 (en) 2008-02-27 2009-08-27 Sanyo Electric Co., Ltd. Distribution apparatus and receiving apparatus for reproducing predetermined contents
JP2009205396A (ja) * 2008-02-27 2009-09-10 Sanyo Electric Co Ltd 配信装置および受信装置
KR20120080122A (ko) * 2011-01-06 2012-07-16 삼성전자주식회사 경쟁 기반의 다시점 비디오 부호화/복호화 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244605A (ja) * 2004-02-26 2005-09-08 Nippon Telegr & Teleph Corp <Ntt> ストリーミングコンテンツ配信制御システム、プログラム及び該プログラムを格納した記録媒体

Also Published As

Publication number Publication date
WO2011064909A1 (ja) 2011-06-03
US20120207215A1 (en) 2012-08-16
CN102640511A (zh) 2012-08-15
EP2506570A4 (en) 2013-08-21
EP2506570B1 (en) 2017-08-23
CN102640511B (zh) 2014-11-19
KR20120068048A (ko) 2012-06-26
JP5489675B2 (ja) 2014-05-14
EP2506570A1 (en) 2012-10-03
US9066061B2 (en) 2015-06-23
JP2011114681A (ja) 2011-06-09
HK1171591A1 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
KR101443470B1 (ko) 영상 정보 재생 방법 및 시스템, 및 영상 정보 콘텐츠가 기록된 컴퓨터 판독 가능한 기록 매체
JP2011114681A5 (ko)
US20090116814A1 (en) Reproducer, portable telephone, and reproducing method
JP2001513606A (ja) 符号化ビデオの処理
JP2006186580A (ja) 再生装置およびデコード制御方法
JP2004297577A (ja) 画像再生装置
KR100981378B1 (ko) 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품
JP2008153908A (ja) 記録装置、記録方法、再生装置及び再生方法
US7343087B2 (en) Data stream playback device and method, digital broadcast receiver and related computer program
JP6051847B2 (ja) 映像情報再生方法及びシステム
US20090046994A1 (en) Digital television broadcast recording and reproduction apparatus and reproduction method thereof
JP2006254298A (ja) 動画再生装置及び動画再生方法
KR20120036788A (ko) 정보 처리 장치 및 방법, 및 프로그램
JP4192766B2 (ja) 受信装置および方法、記録媒体、並びにプログラム
JP2004350237A (ja) ストリーム切り替え装置、ストリーム切り替え方法及びストリーム切り替えプログラム、並びに、表示時刻補正装置
JP4874272B2 (ja) 映像信号処理装置および映像信号処理方法
JP2002374220A (ja) ストリーム送受信システム、ストリーム送信装置および受信装置
US20050265369A1 (en) Network receiving apparatus and network transmitting apparatus
JPH099215A (ja) データ多重方法、データ伝送方法、及び多重データ復号方法、多重データ復号装置
JP2008067179A (ja) 受信装置および符号化データ再生方法
JP4212404B2 (ja) ストリーム受信機のシステムクロック制御装置及びシステムクロック制御方法
JP2006014079A (ja) ディジタル信号処理装置及びディジタル信号処理方法
JP4188402B2 (ja) 映像受信装置
JP5720285B2 (ja) ストリーミングシステム
JP2012016066A (ja) 映像信号処理装置および映像信号処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170823

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180904

Year of fee payment: 5