KR20050056211A - 데이터 처리 장치 및 방법 - Google Patents

데이터 처리 장치 및 방법 Download PDF

Info

Publication number
KR20050056211A
KR20050056211A KR1020057004724A KR20057004724A KR20050056211A KR 20050056211 A KR20050056211 A KR 20050056211A KR 1020057004724 A KR1020057004724 A KR 1020057004724A KR 20057004724 A KR20057004724 A KR 20057004724A KR 20050056211 A KR20050056211 A KR 20050056211A
Authority
KR
South Korea
Prior art keywords
data
time
delay
audio
video
Prior art date
Application number
KR1020057004724A
Other languages
English (en)
Other versions
KR100711328B1 (ko
Inventor
가즈오 후지모토
신지 고지마
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20050056211A publication Critical patent/KR20050056211A/ko
Application granted granted Critical
Publication of KR100711328B1 publication Critical patent/KR100711328B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4392—Processing of audio elementary streams involving audio buffer management
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs

Abstract

데이터 처리 장치는, 압축 부호화된 비디오 콘텐츠에 관한 제 1 데이터, 제 1 데이터의 재생 시각을 규정하는 제 1 시각 정보, 비디오 콘텐츠와 다른 콘텐츠에 관한 제 2 데이터 및 제 2 데이터의 재생 시각을 규정하는 제 2 시각 정보를 갖는 데이터 스트림을 수취하는 수신부와, 데이터 스트림으로부터 제 1 데이터, 제 1 시각 정보, 제 2 데이터 및 제 2 시각 정보를 추출하는 분리부와, 제 1 데이터를 디코드하여, 제 1 시각 정보에 근거해서 출력하는 제 1 디코드부와, 제 2 시각 정보에 근거하여 제 2 데이터를 출력하는 제 2 디코드부를 갖고 있다. 데이터 처리 장치는, 제 1 시각 정보 및 제 2 시각 정보가 제 1 데이터 및 제 2 데이터를 동기하여 재생하는 시각을 규정하고 있는 경우에, 재생 시각의 지연량을 규정하는 지연 정보를 유지하고, 또한, 지연 정보에 근거하여 제 2 시각 정보를 수정해서, 제 2 데이터의 재생 시각을 지연시키는 지연 설정부를 더 구비하고 있다.

Description

데이터 처리 장치 및 방법{DATA PROCESSING DEVICE AND METHOD}
본 발명은 압축 부호화된 오디오 데이터 및 비디오 데이터를 재생할 때에, 오디오와 비디오를 동기하여 재생하는 장치 및 방법에 관한 것이다.
종래, 압축 부호화되어 기록된 비디오 신호 및 오디오 신호를 CD-ROM, DVD-ROM, 하드디스크 등의 기록 매체로부터 판독하여 디코드(신장)해서 출력하는 데이터 재생 장치가 알려져 있다. 데이터 재생 장치가 신장된 데이터를 그 장치에 접속된 모니터, 음향 스피커 등에 전송하는 것에 의해 비디오 및 오디오의 재생이 실현된다.
압축 부호화에 대해서는 많은 규격이 규정되어 있다. 예컨대 MPEG(Motion Picture Experts Group)는 비디오 신호 및 오디오 신호의 양쪽을 압축 부호화하는 규격으로서 알려져 있다. MPEG 규격에서는, 비디오 신호가 나타내는 비디오 및 오디오 신호가 나타내는 오디오가 동기하여 재생되는 것을 보증하기 위해서, 오디오 신호 및 비디오 신호의 각각에 재생되어야 할 시각을 나타내는 시각 정보가 부가된다. 이에 따라, 신장 시에는 시스템 기기가 갖는 시스템 시각 기준 참조값에 대하여, 이들의 시간 정보를 참조해서 오디오 신호와 비디오 신호를 동기시켜 재생할 수 있다.
이하, 종래의 동기 방법을 설명한다. 예컨대, 일본 특허 공개 평성 제 6-233269 호 공보에 기재된 기술에 따르면, 먼저, 재생 장치는 오디오 및 비디오 중 어느 한쪽이 신장 처리를 종료했을 때의 시각과, 다른쪽의 신장 처리가 종료했을 때의 시각과의 차분을 검출한다. 그리고, 검출된 차분값에 근거하여, 재생 장치는 압축 데이터의 전송 타이밍, 신장 회로의 기동 타이밍 및 비디오의 표시 타이밍을 변경하여, 오디오와 비디오를 동기시켜, 모니터, 음향 스피커 등의 외부 기기에 출력하고 있다.
그러나, 상술한 재생 장치는, 그 내부에서 오디오와 비디오를 동기시켜 외부 기기에 출력하고 있기 때문에, 외부 기기에서 비디오 및 오디오의 한쪽에 처리를 부여해서 지연이 발생하면 다른쪽과 동기하여 재생할 수 없다고 하는 문제가 발생하고 있었다.
예컨대, 텔레비전 등의 영상 표시기기가 외부 기기일 때, 영상 표시 기기에서 비월(interlacing)/비월(progressive) 변환, NTSC/PAL 변환 등의 변환 처리나, 사용자로부터의 지시에 의한 비디오의 확대·축소의 화상 처리를 실행하면, 처리에 시간이 필요하기 때문에 오디오 재생이 비디오 재생보다도 선행해 버린다. 예컨대, 출력 화면을 확대한 화상 처리를 상정하면, 본래의 출력 화면 데이터로부터 보간 데이터를 작성하기 위해서 연산 처리가 필요하다. 그리고, 매끄러운 동화상을 만들어내기 위해서, 시간적으로 전후하는 복수의 출력 프레임이나 출력 필드 단위의 필터 연산이 필요하게 된다. 또한, 복수의 입력 스트림을 독립적으로 신장할 수 있는 회로 등으로부터 출력된 2 이상의 비디오를 합성하는 처리를 상정하면, 모든 비디오를 동기시키기 위해서, 특정한 스트림의 비디오 출력을 지연시켜야 하는 경우가 있다. 또한, 시어터 시스템 등과 같이, 비디오 신호를 일단 광 신호 등으로 변환하여 전송할 때에도, 비디오 신호의 변환에 시간이 필요한 경우도 있다.
상술한 하나 또는 둘 이상의 연산 처리 등에는, 수 밀리초로부터 수십 밀리초의 시간이 필요한 경우가 있다. 오디오 재생이 비디오 재생보다도 일정 시간(대략 30밀리초) 이상 선행하면, 영상 내의 인물의 입의 움직임과 음성의 어긋남이 눈에 띄어, 시청자에게 위화감을 준다. 종래의 재생 장치는 외부 기기의 처리에 기인하는 비디오 및 오디오의 재생 타이밍의 어긋남을 상정하고 있지 않기 때문에, 외부 기기에서 시간이 더 필요한 처리를 하면 비디오 및 오디오의 재생 타이밍이 더 어긋나 버린다.
또, 외부 기기에 오디오 재생을 지연시키는 버퍼를 마련하여, 오디오와 화상 처리 후의 비디오를 동기하고 재생하는 것은 가능하다. 그러나, 외부 기기에 출력된 비디오 데이터 및 오디오 데이터에는 재생 타이밍을 지시하는 시각 정보는 존재하지 않기 때문에, 외부 기기에서 출력 타이밍을 독자적으로 결정하게 되어 버려 타당하지 않다. 또한, 버퍼를 마련한다고 하는 방법은 버퍼를 갖지 않는 현존의 외부 기기에는 적용할 수 없기 때문에, 근본적인 해결법이라고는 말할 수 없다.
본 발명은, 이상과 같은 과제를 해결하기 위해서 이루어진 것으로, 그 목적은, 외부 접속 기기의 상이, 처리 종별 등에 의해서 비디오의 지연량이 다른 경우에 있어서도, 당초 의도된 대로 오디오와 비디오를 동기하여 재생하는 것이다.
발명의 개시
본 발명에 따른 데이터 처리 장치는, 압축 부호화된 비디오 콘텐츠에 관한 제 1 데이터, 상기 제 1 데이터의 재생 시각을 규정하는 제 1 시각 정보, 상기 비디오 콘텐츠와 다른 콘텐츠에 관한 제 2 데이터 및 상기 제 2 데이터의 재생 시각을 규정하는 제 2 시각 정보를 갖는 데이터 스트림을 수취하는 수신부와, 상기 데이터 스트림으로부터 상기 제 1 데이터, 상기 제 1 시각 정보, 상기 제 2 데이터 및 상기 제 2 시각 정보를 추출하는 분리부와, 상기 제 1 데이터를 디코드하여, 상기 제 1 시각 정보에 근거해서 출력하는 제 1 디코드부와, 상기 제 2 시각 정보에 근거하여 상기 제 2 데이터를 출력하는 제 2 디코드부를 갖고 있다. 데이터 처리 장치는, 상기 제 1 시각 정보 및 상기 제 2 시각 정보가 상기 제 1 데이터 및 상기 제 2 데이터를 동기하여 재생하는 시각을 규정하고 있는 경우에, 재생 시각의 지연량을 규정하는 지연 정보를 유지하고, 또한, 상기 지연 정보에 근거하여 상기 제 2 시각 정보를 수정하여, 상기 제 2 데이터의 재생 시각을 지연시키는 지연 설정부를 더 구비하고 있다.
상기 제 2 데이터의 콘텐츠는 압축 부호화되어 있으며, 상기 제 2 디코드부는 상기 제 2 데이터를 복호하고, 상기 제 2 디코드부는 복호된 상기 제 2 데이터를 저장하는 내부 버퍼를 갖고 있더라도 된다.
상기 제 2 데이터의 콘텐츠는 압축 부호화되어 있으며, 상기 데이터 처리 장치는 압축 부호화된 상기 제 2 데이터를 저장하는 데이터 버퍼를 더 구비하며, 상기 데이터 버퍼는 수정 후의 제 2 시각 정보에 의해서 규정되는 재생 시각 전에 상기 압축 부호화된 상기 제 2 데이터를 취출하여 상기 제 2 디코드부에 출력하더라도 된다.
상기 수신부는 상기 데이터 스트림을 계속적으로 수취하고, 상기 데이터 버퍼는 상기 제 2 데이터를 순차적으로 저장한다. 상기 데이터 버퍼의 용량은 수정 전의 제 2 시각 정보에 의해서 규정되는 재생 시각의 도달 전까지 수취하는 상기 제 2 데이터의 데이터량과, 상기 재생 시각의 지연량에 따른 시각의 경과까지 수취하는 상기 제 2 데이터의 데이터량의 합 이상이더라도 된다.
상기 데이터 처리 장치는, 상기 제 2 데이터가 저장된 상기 데이터 버퍼 내의 위치를 나타내는 어드레스 정보와, 상기 제 2 데이터에 대응하는 수정 전의 제 2 시각 정보와의 대응 관계를 규정하는 테이블을 관리하는 관리부를 더 구비하고 있어라도 된다.
상기 관리부는 일부의 상기 제 2 데이터에 대하여 상기 테이블을 관리하여도 된다.
상기 수신부는 오디오 및 자막 중 적어도 한쪽에 관한 상기 제 2 데이터를 갖는 데이터 스트림을 수취하여도 된다.
상기 지연 설정부는 사용자로부터 상기 지연량을 특정하는 값을 수취하여, 상기 지연 정보로서 유지하여도 된다.
상기 지연 설정부는 미리 정해진 값을 상기 지연 정보로서 유지하더라도 된다.
상기 지연 설정부는 재생 시각의 지연량을 30밀리초 이상의 값으로서 규정한 지연 정보를 유지하더라도 된다.
상기 데이터 처리 장치는, 접속처의 기기에 상기 제 1 데이터를 송출하고, 또한, 상기 기기를 특정하는 것이 가능한 고유 정보를 상기 기기로부터 수취하는 송신기를 더 구비하고 있다. 상기 송신기는 상기 고유 정보에 근거하여 상기 기기에서 실행되는 상기 제 1 데이터에 관한 비디오 처리의 소요 시간을 특정하고, 상기 지연 설정부는 특정된 상기 소요 시간의 값을 상기 지연량으로서 지연 정보를 유지하더라도 된다.
상기 제 1 디코드부 및 상기 제 2 디코드부는 단일의 디코드 회로로서 실장되더라도 된다.
본 발명에 따른 데이터 처리 방법은, 압축 부호화된 비디오 콘텐츠에 관한 제 1 데이터, 상기 제 1 데이터의 재생 시각을 규정하는 제 1 시각 정보, 상기 비디오 콘텐츠와 다른 콘텐츠에 관한 제 2 데이터 및 상기 제 2 데이터의 재생 시각을 규정하는 제 2 시각 정보를 갖는 데이터 스트림을 수취하는 단계와, 상기 데이터 스트림으로부터 상기 제 1 데이터, 상기 제 1 시각 정보, 상기 제 2 데이터 및 상기 제 2 시각 정보를 추출하는 단계와, 상기 제 1 데이터를 디코드하여, 상기 제 1 시각 정보에 근거해서 출력하는 단계를 포함하고 있다. 데이터 처리 방법은, 상기 제 1 시각 정보 및 상기 제 2 시각 정보가 상기 제 1 데이터 및 상기 제 2 데이터를 동기하여 재생하는 시각을 규정하고 있는 경우에, 재생 시각의 지연량을 규정하는 지연 정보를 유지하는 단계와, 상기 지연 정보에 근거하여 상기 제 2 시각 정보를 수정하여 상기 제 2 데이터의 재생 시각을 지연시키는 단계와, 상기 제 2 시각 정보에 근거하여 상기 제 2 데이터를 출력하는 단계를 더 포함한다.
상기 제 2 데이터의 콘텐츠는 압축 부호화되어 있으며, 상기 제 2 데이터를 출력하는 단계는 상기 제 2 데이터를 복호하고, 복호된 상기 제 2 데이터를 데이터 버퍼에 저장한 후에 출력하여도 된다.
상기 제 2 데이터의 콘텐츠는 압축 부호화되어 있으며, 상기 데이터 처리 방법은, 압축 부호화된 상기 제 2 데이터를 데이터 버퍼에 저장하는 단계와, 수정 후의 제 2 시각 정보에 의해서 규정되는 재생 시각 전에, 저장된 상기 제 2 데이터를 상기 데이터 버퍼로부터 취출하는 단계를 더 포함한다. 상기 제 2 데이터를 출력하는 단계는 상기 데이터 버퍼로부터 취출된 상기 제 2 데이터를 출력하더라도 된다.
상기 수신하는 단계는 상기 데이터 스트림을 계속적으로 수신하고, 상기 제 2 데이터를 저장하는 단계는 상기 제 2 데이터를 상기 데이터 버퍼에 순차적으로 저장한다. 상기 데이터 버퍼의 용량은 수정 전의 제 2 시각 정보에 의해서 규정되는 재생 시각의 도달 전까지 수취하는 상기 제 2 데이터의 데이터량과, 상기 재생 시각의 지연량에 따른 시각의 경과까지 수취하는 상기 제 2 데이터의 데이터량과의 합 이상이어도 된다.
상기 데이터 처리 방법은, 상기 제 2 데이터가 저장된 상기 데이터 버퍼 내의 위치를 나타내는 어드레스 정보와, 상기 제 2 데이터에 대응하는 수정 전의 제 2 시각 정보와의 대응 관계를 규정하는 테이블을 관리하는 단계를 더 포함하여도 된다.
상기 관리하는 단계는 일부의 상기 제 2 데이터에 대하여 상기 테이블을 관리하여도 된다.
상기 수신하는 단계는 오디오 및 자막 중 적어도 한쪽에 관한 상기 제 2 데이터를 갖는 데이터 스트림을 수취하여도 된다.
상기 지연시키는 단계는 사용자로부터 상기 지연량을 특정하는 값을 수취하여 상기 지연 정보로서 유지하여도 된다.
상기 지연시키는 단계는 미리 정해진 값을 상기 지연 정보로서 유지하여도 된다.
상기 지연시키는 단계는 상기 재생 시각의 지연량을 30밀리초 이상으로 규정한 지연 정보를 유지하여도 된다.
상기 데이터 처리 방법은, 접속처의 기기에 상기 제 1 데이터를 송출하는 단계와, 상기 기기를 특정하는 것이 가능한 고유 정보를 상기 기기로부터 수취하는 단계와, 상기 고유 정보에 근거하여, 상기 기기에서 실행되는 상기 제 1 데이터에 관한 비디오 처리의 소요 시간을 특정하는 단계를 더 포함한다. 상기 지연시키는 단계는 특정된 상기 소요 시간의 값을 지연 정보로서 유지하여도 된다.
본 발명에 따른 컴퓨터 프로그램은 데이터 처리 장치의 컴퓨터에서 실행된다. 상기 프로그램에 따라서 컴퓨터가 실행하는 데이터 처리 방법은, 압축 부호화된 비디오 콘텐츠에 관한 제 1 데이터, 상기 제 1 데이터의 재생 시각을 규정하는 제 1 시각 정보, 상기 비디오 콘텐츠와 다른 콘텐츠에 관한 제 2 데이터 및 상기 제 2 데이터의 재생 시각을 규정하는 제 2 시각 정보를 갖는 데이터 스트림을 수취하는 단계와, 상기 데이터 스트림으로부터 상기 제 1 데이터, 상기 제 1 시각 정보, 상기 제 2 데이터 및 상기 제 2 시각 정보를 추출하는 단계와, 상기 제 1 데이터를 디코드하여, 상기 제 1 시각 정보에 근거해서 출력하는 단계를 포함하고 있다. 이 컴퓨터가 실행하는 데이터 처리 방법은, 상기 제 1 시각 정보 및 상기 제 2 시각 정보가 상기 제 1 데이터 및 상기 제 2 데이터를 동기하여 재생하는 시각을 규정하고 있는 경우에, 재생 시각의 지연량을 규정하는 지연 정보를 유지하는 단계와, 상기 지연 정보에 근거하여 상기 제 2 시각 정보를 수정해서 상기 제 2 데이터의 재생 시각을 지연시키는 단계와, 상기 제 2 시각 정보에 근거하여 상기 제 2 데이터를 출력하는 단계를 더 포함한다.
도 1은 MPEG2 프로그램 스트림(10)의 데이터 구조를 도시하는 도면,
도 2는 오디오 팩(40)의 데이터 구조를 도시하는 도면,
도 3은 데이터 처리 장치(100)와, 데이터 처리 장치(100)에 접속된 영상 음향 기기(120)를 도시하는 도면,
도 4는 디코드부(60)의 상세한 기능 블럭의 구성을 도시하는 도면,
도 5는 PTS을 이용하여 비디오와 오디오의 동기 재생을 실현하는 재생 타이밍을 도시하는 도면,
도 6은 본 실시예에 따른 디코드부(60)의 처리 순서를 나타내는 흐름도,
도 7(a)는 오디오 재생 관리부(7)에서 생성되는 테이블의 구성을 도시하는 도면,
도 7(b)는 오디오 버퍼부(6)에 저장된 오디오 데이터의 데이터 배치와, 오디오 어드레스 정보에 의해서 참조되는 데이터 위치의 관계를 도시하는 도면,
도 8(a)는 오디오 지연 설정부(9)의 조작부의 예를 나타내는 도면,
도 8(b)는 지연 시간의 설정 화면의 예를 나타내는 도면,
도 9는 오디오 버퍼부(6)의 구성의 예를 나타내는 도면,
도 10(a)는 시닝 전의 오디오 재생 관리부(7)의 테이블(7a)의 구성을 도시하는 도면,
도 10(b)는 시닝 후의 오디오 재생 관리부(7)의 테이블(7b)의 구성을 도시하는 도면,
도 11은 비디오 처리를 실행하는 처리 회로를 탑재한 비디오 출력부(12)의 기능 블럭의 구성을 도시하는 도면,
도 12는 데이터 처리 장치(100)와 영상 음향 기기(120)의 접속 및 그들 사이에서 수수되는 데이터의 종류를 도시하는 도면이다.
발명을 실시하기 위한 최선의 형태
이하에서는, 먼저 데이터 스트림의 데이터 구조를 설명하고, 그 후, 그 데이터 스트림을 이용하여 본 발명의 처리를 실행하는 데이터 처리 장치의 구성 및 동작을 설명한다.
도 1은 MPEG2 프로그램 스트림(10)의 데이터 구조를 나타낸다. MPEG2 프로그램 스트림(10)(이하 「데이터 스트림(10)」이라고 함)은 DVD 비디오 규격에 준거한 데이터 구조를 갖고 있다. 데이터 스트림(10)은, 비디오의 콘텐츠에 관한 비디오 데이터와, 오디오의 콘텐츠에 관한 오디오 데이터가 포함되어 있다. 이하에서는, 비디오 데이터 및 오디오 데이터가 포함되어 있는 것으로 하여 설명하지만, 이들 이외에도, 데이터 스트림(10)에는 자막 데이터 등이 포함되어 있어도 무방하다.
데이터 스트림(10)은 복수의 비디오 오브젝트(Video OBject ; VOB)#1, #2, …, #k를 포함하고 있다. 각 VOB는 복수의 VOB 유닛(Video OBject unit ; VOBU)#1, #2, …, #n을 포함하고 있다. 각 VOBU는 영상의 재생 시간으로서 0.4초 내지 1초 정도의 데이터를 포함하는 데이터 단위이다. 이하, VOBU#1 및 #2를 예로 하여, VOBU의 데이터 구조를 설명한다. 또, 이하에서 이용되는 「재생」이라고 하는 단어는, 특별히 명시하지 않은 한, 비디오 콘텐츠나 자막 등의 비디오에 대해서는 표시 기기(텔레비전 등)에 투영해내는 것을 말하고, 오디오에 대해서는 출력 기기(스피커 등)로부터 음으로서 출력되는 것을 말하는 것으로 한다.
VOBU#1은 복수의 팩으로 구성되어 있다. 데이터 스트림(10) 내의 각 팩의 데이터 길이(팩 길이)는 일정(2킬로바이트(2048 바이트))하다. VOBU의 선두에는, 도 1에 "N"로 표시되는 네비게이션 팩(나비 팩)(20)이 배치되어 있다. 나비 팩(20)의 이후에는, "V"로 표시되는 비디오 팩(비디오 팩(30) 등) 및 "A"로 표시되는 오디오 팩(오디오 팩(40) 등)이 복수 포함되어 있다.
각 팩은 이하의 정보를 저장하고 있다. 즉, 나비 팩(20)은 데이터 스트림(10) 내의 비디오, 오디오 등의 재생을 제어하기 위해서 이용되는 정보, 예컨대 VOBU의 재생 타이밍을 나타내는 정보 등을 저장하고 있다. 비디오 팩(30)은 MPEG2 압축 부호화된 비디오 데이터를 저장하고 있다. 오디오 팩(40)은, 예컨대 MPEG2-오디오 규격에 의해서 압축 부호화된 오디오 데이터를 저장하고 있다. 근접하는 비디오 팩(30) 및 오디오 팩(40)에는, 예컨대, 동기하여 재생되는 비디오 데이터 및 오디오 데이터가 저장되어 있지만, 그들의 배치(순서)는 임의적이다.
VOBU#2도 또한 복수의 팩으로 구성되어 있다. VOBU#2의 선두에는, 나비 팩(20)이 배치되고, 그 후, 비디오 팩(30) 및 오디오 팩(40) 등이 복수 배치되어 있다. 각 팩에 저장되는 정보의 내용은 VOBU#1과 마찬가지이다.
다음에, 도 2를 참조하면서 오디오 팩(40)의 데이터 구조를 설명한다. 도 2는 오디오 팩(40)의 데이터 구조를 나타낸다. 오디오 팩(40)은 오디오 패킷(41) 및 패딩 패킷(42)을 포함한다. 또, 패딩 패킷(42)은 데이터 팩의 팩 길이를 조정하기 위해서 마련된 패킷이기 때문에, 팩 길이를 조정할 필요가 없을 때는 존재하지 않는다. 이 때는, 오디오 팩(40)에는 오디오 패킷(41)만이 포함된다.
오디오 패킷(41)은 선두에서부터 순서대로 14바이트의 팩 헤더(Pack_H), 24바이트의 시스템 헤더(system_H), 패킷 헤더(Packet_H)(41a) 및 파일럿을 갖는다.
팩 헤더에는 팩의 종류(여기서는 오디오 패킷)를 특정하는 정보가 기술된다. 팩의 개시 코드에 연속해서, 기준 시간 정보인 SCR(System Clock Reference ; 시스템 시각 기준 참조값)이 기술되어 있다. SCR은, 스트림을 디코드할 때에, 복호기측의 동작 시각의 기준으로 되는 동기 신호 STC(System Time Clock ; 시스템 시각 기준)의 값을 부호기측이 의도한 값으로 설정하거나, 또는, 그 값으로 수정하기 위한 정보이다. SCR은 기본적으로 어떤 패킷 헤더에도 부가된다. SCR은 90㎑의 클럭으로 계측한 값이며, 33비트 길이로 표시되어 있다. 시스템 헤더는 VOBU의 선두의 팩에 반드시 부가된다. 패킷 헤더(41a)는 이후에 상술한다. 파일럿에는 압축 부호화된 비디오 데이터가 기술된다.
오디오 팩(40)에는, 팩 길이를 조정할 목적으로, 팩 헤더(42)와 패딩 데이터(42b)를 갖는 패딩 패킷(42)이 마련된다. 소정의 조건을 기초로는, 패딩 패킷(42)을 마련하는 것 대신에, 패킷 헤더(41a) 내에 스태핑 바이트 필드(49)가 마련된다. 양자는 동일한 팩 내에는 공존하지 않는다. 도 2에 나타내는 예에서는, 오디오 팩(40)에는 패딩 패킷(42)이 존재하고 있기 때문에, 스태핑 바이트 필드(49)는 0바이트이고 존재하지 않는다.
다음에, 오디오 패킷(41)의 패킷 헤더(41a)의 데이터 구조를 설명한다. 패킷 헤더(41a)는 패킷 길이 필드(43), 플래그 필드(44) 및 헤더 데이터 길이 필드(45)를 갖는다. 또한, 패킷 헤더(41a)에는, 시각 플래그 필드(44a) 및 PES 확장 플래그 필드(44b)의 값에 따라서, 추가의 필드(46)가 마련되는 경우가 있다.
패킷 길이 필드(43)에는, 그 필드 이후로부터 그 오디오 패킷(41)의 최후까지의 패킷 길이(바이트 길이)가 기술된다. 계속해서, 플래그 필드(44)는 시간 플래그 필드(44a)(PTS_DTS_flag), PES 확장 플래그 필드(PES_extension_flag)(44b) 등을 포함한다. 시간 플래그 필드(44a)에는, 후술하는 프리젠테이션 타임 스탬프(PTS) 또는 디코딩 타임 스탬프(DTS)의 유무를 나타내는 플래그가 기술된다. 또한, PES 확장 플래그 필드(44b)에는 PES 확장 필드(48)의 유무를 나타내는 플래그가 기술된다. 헤더 데이터 길이 필드(45)에는, 추가의 필드(46) 및 스태핑 바이트 필드(49)의 필드 길이의 합이 저장된다.
다음에, 추가의 필드(46)를 설명한다. MPEG에서는, 비디오 및 오디오의 동기 재생을 실현하기 위해서, 비디오와 오디오의 각 액세스 유닛이라고 불리는 디코드의 단위마다(비디오는 1프레임, 오디오는 1 오디오 프레임)에, 언제 재생할 것인지의 시각을 관리하기 위한 타임 스탬프값이 부가되어 있다. 이 타임 스탬프값은 PTS(Presentation Time Stamp)라고 불리고, 오디오용은 오디오 PTS(이하 「APTS」라고 기술함) 및 비디오용은 비디오 PTS(이하 「VPTS」라고 기술함)가 규정되어 있다.
PTS가 상술한 시스템 시각 기준 STC에 일치했을 때에, 그 PTS가 부가된 액세스 유닛이 재생을 위해 출력된다. PTS의 정밀도는 SCR와 마찬가지로, 90㎑의 클럭으로 계측한 값이며, 33비트 길이로 표시되어 있다. 90㎑에서 계측하는 이유는 NTSC, PAL의 양쪽의 비디오 방식의 프레임 주파수의 공배수인 것과, 오디오의 1샘플 주기보다도 높은 정밀도를 얻기 위해서이다.
한편, 압축 데이터를 어떠한 순서로 디코드할 것인지를 나타내는 타임 스탬프 정보가 부가되어 있다. 이 타임 스탬프값은 디코딩 타임 스탬프(DTS)라고 불린다.
필드(46)에 각 5바이트의 PTS/DTS 필드(47)가 마련되어 있을 때는, 시간 플래그 필드(44a)는 PTS 및 DTS를 갖는 것을 나타내고 있다. 시간 플래그 필드(44a)의 값에 따라서, 어느 한쪽의 필드가 마련된다. 또한, 추가의 필드(46)로서 PES 확장 필드(48)가 마련되는 경우도 있다. PES 확장 필드(48)에는 프로그램 스트림(10)의 디코드에 필요한 정보, 예컨대 디코드용 데이터 버퍼의 용량 등이 기술된다.
또, 도 2에서는 오디오 팩의 데이터 구조를 나타냈지만, 비디오 팩의 데이터 구조도 마찬가지이다. 「오디오 패킷」을 「비디오 패킷」으로 고쳐 판독하고, 파일럿에 저장되는 「오디오 데이터」를 「비디오 데이터」로 고쳐 판독하면 된다. 비디오 패킷에도, 상술한 PTS 및 DTS가 동일한 데이터 구조로 기술되어 있고, 디코드 타이밍 및 재생 타이밍이 규정된다.
다음에, 도 3 및 도 4를 참조하면서, 본 실시예에 따른 데이터 처리 장치(100)의 구성 및 동작을 설명한다. 도 3은 데이터 처리 장치(100)와, 데이터 처리 장치(100)에 접속된 영상 음향 기기(120)를 나타낸다. 데이터 처리 장치(100)는 DVD-ROM 등의 광디스크(110)로부터 광 픽업을 거쳐서 데이터 스트림(10)을 판독한다. 재생 처리부(50)는 아날로그 파형으로서 판독된 데이터 스트림(10)에 2치화 처리 등을 행하여, 디지털 데이터 스트림으로서 출력한다. MPEG2-PS 디코드부(60)(이하 「디코드부(60)」라고 기술함)는 이 스트림을 비디오 데이터 및 오디오 데이터로 분리하여, 각각을 디코드해서 영상 음향 기기(120)에 출력한다.
데이터 처리 장치(100)는 DVD 플레이어, DVD 리코더, PC 등이지만, 광디스크(110) 대신에 하드디스크를 이용했을 때는 하드디스크 리코더이다. 또는, 안테나 등을 거쳐서 디지털 방송의 데이터 스트림(10)을 수취할 때에는, 데이터 처리 장치(100)는 셋톱 박스, 디지털 위성 방송 수상기 등으로서 실현된다. 한편, 영상 음향 기기(120)는, 예컨대 TV 등의 모니터 출력 기기, 오디오 출력 앰프, AV 선택 기능을 갖는 AV 앰프 등의 인터페이스 기기이다. 도 3에서는 하나의 영상 음향 기기(120)가 도시되어 있지만, 영상을 표시하는 기기, 음성 등을 출력하는 기기 등이 복수개 존재하고 있어도 된다.
본 실시예에 따른 데이터 처리 장치(100)의 특징 중 하나는, 영상 음향 기기(120)에서 행하여지는 여러 가지의 연산 처리 등에 의해, 본래 동기하여 재생해야 할 비디오 및 오디오가 어긋나 재생되어 버리는 경우에, 선행하는 출력을 지연하여 출력하는 것에 있다. 예컨대, 영상 음향 기기(120)에서 비디오 데이터의 비월/순차 변환을 실행하기 위해서 비디오 데이터의 재생이 오디오의 재생보다도 지연해 버리는 경우에, 비디오 데이터의 재생 시각의 지연량 상당 시간만큼, 선행하는 오디오 데이터를 지연하여 출력한다. 이에 따라, 비디오 데이터와 오디오 데이터의 동기 재생이 가능하게 된다. 또, 오디오 데이터의 지연 출력은 오디오 데이터의 재생 시각을 규정하는 PTS를 수정함으로써 실현된다. 지연량은 예상되는 시간, 사용자에 의해서 설정된 시간, 영상 음향 기기(120)를 특정하여 판단할 수 있는 영상 음향 기기(120)에 있어서의 비디오 처리의 소요 시간 등에 근거하여 설정된다.
상술의 데이터 처리 장치(100)의 특징은 주로 데이터 처리 장치(100)의 디코드부(60)에 의해서 실현된다. 이하, 디코드부(60)를 상세히 설명한다.
도 4는 디코드부(60)의 상세한 기능 블럭의 구성을 나타낸다. 디코드부(60)는 시스템 디코드부(1)와, 비디오 버퍼부(2)와, 비디오 재생 관리부(3)와, 시스템 시각 기준 참조부(4)와, 비디오 디코드부(5)와, 오디오 버퍼부(6)와, 오디오 재생 관리부(7)와, 오디오 디코드부(8)와, 오디오 지연 설정부(9)를 갖는다.
시스템 디코드부(1)는, 데이터 스트림(10)으로부터, 디지털 압축 부호화된 오디오 및 비디오 데이터를 분리하여 추출함과 아울러, 비디오 팩에 부가된 PTS를 비디오 재생 시각 정보로서 추출하고, 오디오 팩에 부가된 PTS를 오디오 재생 시각 정보로서 추출한다.
먼저, 비디오 처리에 관한 구성요소를 설명한다. 비디오 버퍼부(2)는 시스템 디코더부(1)에 의해서 분리된 비디오 데이터를 저장한다. 비디오 재생 관리부(3)는 비디오 버퍼부(2)에 저장된 비디오 데이터와 비디오 재생 시각 정보를 관련지은 테이블을 생성하여 관리한다.
비디오 디코드부(5)는, 압축 부호화된 비디오 데이터의 속성 정보(비디오 헤더 정보)를 해석함과 아울러, 비디오 버퍼부(2)에 저장되어 있는 비디오 데이터를 비디오 재생 시각 정보에 따라서 디코드한다. 비디오 디코드부(5)에는 프레임 버퍼부(11) 및 비디오 출력부(12)가 마련되어 있다. 프레임 버퍼부(11)는 디코드한 비디오 데이터를 저장한다. 비디오 출력부(12)는 디코드부(60)로부터 그 외부로 비디오 데이터를 출력한다. 이 비디오 데이터도 데이터 처리 장치(100)에 접속된 영상 음향 기기(120)에 출력된다.
다음에, 오디오 처리에 관한 구성요소를 설명한다. 오디오 버퍼부(6)는 시스템 디코드부(1)에 의해서 분리된 오디오 데이터를 저장할 수 있는 반도체 메모리이다. 그 버퍼 사이즈는 취급하는 부호화 오디오 데이터의 압축률 등에 따라 상이하며, 예컨대 수 킬로바이트 내지 수십 킬로바이트 정도이다. 오디오 재생 관리부(7)는 오디오 버퍼부(6)에 저장된 오디오 데이터와 오디오 재생 시각 정보를 관련지은 테이블을 생성하여 관리한다. 이 테이블은 이후에 도 7(a) 및 (b)을 참조하면서 상술한다.
오디오 지연 설정부(9)는, 오디오의 재생 시각의 지연량을 규정하는 지연 정보를 유지하고, 또한, 지연 정보에 근거하여 오디오의 재생 시각 정보를 수정하여 그 재생 시각을 지연시킨다. 오디오 지연 설정부(9)는, 예컨대 지연 정보를 유지하는 메모리(도시하지 않음)를 갖고 있으며, 영상 음향 기기(120)의 처리에 비추어 상정되는 시간이 미리 설정되어 있다. 그리고 또한, 사용자에 의해서 설정된 수 밀리초 단위 또는 비디오 프레임 단위의 지연 시간에 관한 정보도 유지할 수 있다. 이에 따라, 영상 음향 기기(120)에서 발생하는 처리 지연에 따른 미세 조정이 가능하게 된다.
오디오 디코드부(8)는, 압축 부호화된 오디오 데이터의 속성 정보(오디오 헤더 정보)를 해석함과 아울러, 오디오 버퍼부(6)에 저장되어 있는 오디오 데이터를 오디오 재생 시각 정보에 따라서 디코드한다. 오디오 디코드부(8)에는 PCM 버퍼부(13) 및 오디오 출력부(14)가 마련되어 있다. PCM 버퍼부(13)는 디코드한 오디오 데이터를 저장한다. 오디오 출력부(14)는 디코드부(60)로부터 그 외부로 오디오 데이터를 출력한다. 이 오디오 데이터는 또한 데이터 처리 장치(100)에 접속된 영상 음향 기기(120)에 출력된다.
또, 상술한 비디오 디코드부(5) 및 오디오 디코드부(8)는 디코드하는 점에서 동일한 기능을 갖는다. 따라서, 각각의 기능을 실현할 수 있는 한, 하나의 반도체 집적 회로 등으로서 실장하여도 된다. 예컨대 도 4는 비디오 디코드부(5) 및 오디오 디코드부(8)를 갖는 디코더 칩(15)을 나타내고 있다.
다음에, 비디오 출력부(12) 및 오디오 출력부(14)로부터 출력되는 비디오 데이터 및 오디오 데이터를 동기하여 재생하기 위한 구성을 설명한다. 디코드 타이밍 및 재생 타이밍은 시스템 시각 기준 참조부(4)에 의해서 실현된다. 시스템 시각 기준 참조부(4)는 MPEG 시스템의 데이터 처리 장치(100)의 내부에서 시스템 시각 기준 STC를 생성한다. 데이터 처리 장치(100)측에서 STC를 생성하기 위해서는, DVD 디스크 등에서 사용되는 프로그램 스트림(PS)으로 규정되는 SCR의 값을 이용한다. 상술한 바와 같이, SCR은 팩 헤더에 기술되어 있다. 또, 입력되는 데이터 스트림이 BS 디지털 방송에서 사용되는 트랜스포트 스트림(TS)일 때는, PCR(Program Clock Reference : 프로그램 시각 기준 참조값)이 이용된다.
시스템 시각 기준 참조부(4)는, 비디오 데이터의 최종 바이트의 도착 시(재생 처리부(50)로부터의 데이터 수취 시)에, SCR의 값과 동일한 값이 시스템 시각 기준 STC으로서 설정되고, STC가 기준 시각으로 된다. 또한, 이 STC의 값과 PLL(위상 록 루프) 회로(도시하지 않음)를 조합하는 것에 의해, 디코드부(60)의 기준 시각용 시스템 클럭과 완전히 주파수가 일치한 STC로 할 수 있다. 시스템 시각 기준 STC의 시스템 클럭의 주파수는 27㎒이다. 이 STC로부터 카운터 등에 의해 분주함으로써, 각 PTS(주파수 : 90㎑)가 참조된다.
데이터 처리 장치(100)가 종래의 처리를 실행하는 경우에는, 비디오 디코드부(5)는 시스템 시각 기준 STC이 VPTS에 일치했을 때 그 PTS가 부가되어 있던 액세스 유닛을 출력하여 재생시킨다. 또한, 오디오 디코드부(8)는 STC가 APTS에 일치했을 때에 그 PTS가 부가되어 있던 액세스 유닛을 출력하여 재생시킨다. PTS의 주파수는 90㎑이므로, 이 정밀도의 범위 내에서, STC와 VPTS 및 APTS와의 동기를 취할 수 있도록 비디오 데이터 및 오디오 데이터의 각각을 디코드한다. 이에 따라, 비디오 및 오디오의 동기 재생을 실현할 수 있다.
한편, 본 실시예에 따른 처리에 의하면, 영상 음향 기기(120)에 있어서의 비디오 처리의 지연을 고려한 후에, 데이터 처리 장치(100)는 비디오 및 오디오의 동기 재생을 실현한다. 이하, 도 5를 참조하면서 그 개략을 설명하고, 그 후, 도 6을 참조하면서 그 동작을 실현하기 위한 처리의 순서를 설명한다.
도 5는 PTS을 이용하여 비디오와 오디오의 동기 재생을 실현하는 재생 타이밍을 나타낸다. 재생 시각 정보가 나타내는 타이밍이 4단으로 나뉘어져 기재되어 있다.
1단째는 데이터 스트림(10)에 규정되어 있던 비디오 재생 시각 정보(VPTS)의 타이밍을 나타낸다. 데이터 스트림(10)을 생성한 인코더(도시하지 않음)는 시각 tV1, tV2, …에 있어서, 비디오가 재생되는 것을 의도하여 압축 부호화를 행하고 있다. 시각 tV1과 tV2의 간격은, 예컨대, NTSC 방식이라면 33밀리초의 n배(n : 자연수)(30㎐), PAL 방식이면 40밀리초의 n배(n : 자연수)(25㎐)이다.
다음에, 3단째는 데이터 스트림(10)의 오디오의 재생 타이밍을 나타낸다. 오디오에 대해서도 비디오와 마찬가지로, 인코더(도시하지 않음)는 시각 tA1, tA2, …에 있어서, 오디오가 재생되는 것을 의도하여 압축 부호화를 실행하고 있다. 시각 tA1과 tA2의 간격은, 예컨대, AAC(Advanced Audio Coding) 방식에서는 21.12밀리초의 n배(n : 자연수)이다.
한편, 도 5의 2단째는 영상 음향 기기(120)에 있어서의 비디오 처리에 의해서 지연된 비디오의 재생 타이밍을 나타낸다. 예컨대, 최초에 표시되는 비디오에 대해서 보면, 비디오 처리에 기인하는 지연에 의해, 본래 시각 tV1로 표시될 것인 영상이, 시각 tV1보다 이후의 시각 tp1에서 재생되고 있다. 그 시각차를 Δt로 한다.
다음에, 4단째는 본 실시예의 오디오 지연 설정부(9)가 본래의 재생 시각 정보(APTS)를 수정한 후의 오디오의 재생 타이밍을 나타낸다. 오디오 지연 설정부(9)는, 시각 tv1에서 재생되어야 할 것을 나타내는 오디오의 재생 시각 정보(APTS)를, 비디오가 영상 음향 기기(120)에서 지연하는 시간(Δt)만큼 비키어 놓은 시각 정보(NAPTS)로 수정하여 오디오의 재생 시각을 지연시키고 있다. 이 결과, 비디오 데이터는 1단째의 타이밍(시각 tv1, tv2, …)에서 비디오 출력부(12)로부터 출력되고, 2단째의 타이밍(시각 tp1, tp2, …)에서 재생되며, 오디오 데이터는 3단째의 타이밍에서 오디오 출력부(14)로부터 출력되고, 4단째의 타이밍(시각 TNA1, TNA2, …)에서 재생된다. 비디오의 처리에 의해서 지연한 시간 Δt만큼 오디오의 재생 시간을 비키어 놓은 것에 의해, 인코드 시에 상정되고 있었던 재생 타이밍에서 비디오 및 오디오를 재생할 수 있다. 따라서, 동기 재생이 의도되고 있었던 비디오 및 오디오에 대해서도, 상정되고 있던 대로의 동기 재생을 실현할 수 있다.
또, 비디오 및 오디오의 「동기 재생」이란, 비디오의 재생 타이밍이 오디오의 재생 타이밍에 대하여, 일정한 시간 범위(예컨대 50밀리초 선행으로부터 30밀리초 지연 동안)에 들어가 있는 것을 말한다. 비디오 및 오디오의 PTS가 일치하고 있는 경우에 한정되는 것은 아니다.
비디오와 오디오가 시간으로서 30밀리초 이상이 어긋나면, 시청자에게 위화감을 주는 경우가 있다. 따라서, VPTS가, NAPTS에 대하여 50밀리초 선행(또한 엄밀하게는 30밀리초 선행)으로부터 30밀리초 지연까지의 기간 동안을 있으면, 실제의 시청에서 시청자에게 대해서는 동기 재생되어 있다고 할 수 있다.
도 6은 본 실시예에 따른 디코드부(60)의 처리 순서를 나타낸다. 우선 단계 S101에 있어서, 시스템 디코드부(1)는 부호화 데이터 스트림을 부호화 비디오 데이터 및 부호화 오디오 데이터로 분리하고, 단계 S102에 있어서, 부호화 데이터(비디오/오디오)로부터, 부호화 프레임 데이터 및 재생 시각 정보(VPTS/APTS)를 추출한다. 비디오 및 오디오의 각 부호화 프레임 데이터는 각각 비디오 버퍼부(2) 및 오디오 버퍼부(6)에 저장되고, 재생 시각 정보(VPTS/APTS)는 비디오 재생 관리부(3) 및 오디오 재생 관리부(7)에 전송된다.
도 7(a)는 오디오 재생 관리부(7)에서 생성되는 테이블의 구성을 나타낸다. 이 테이블은 오디오 버퍼부(6)에 저장된 오디오 데이터와 오디오 재생 시각 정보를 관련짓는다. 먼저, 오디오 재생 관리부(7)는, 예컨대 APTS마다 슬롯이라는 단위로 분할한다. 그리고, 각 슬롯과 오디오 어드레스 정보를 대응지을 수 있다. 오디오 어드레스 정보는 대응하는 슬롯에 재생되는, 오디오 버퍼부(6)에 저장된 오디오 데이터의 선두 어드레스를 참조한다. 도 7(b)는 오디오 버퍼부(6)에 저장된 오디오 데이터의 데이터 배치와, 오디오 어드레스 정보에 의해서 참조되는 데이터 위치의 관계를 나타낸다.
다시 도 6을 참조한다. 단계 S103에 있어서, 비디오 디코드부(5) 및 오디오 디코드부(8)는, VPTS/APTS가 시스템 시각 기준 STC에 도달하기 전에, 비디오/오디오의 부호화 프레임 데이터를 디코드하고, 단계 S104에 있어서, 디코드된 비디오/오디오 데이터를 프레임 버퍼부(11) 및 PCM 버퍼부(13)에 저장한다.
다음에 단계 S105에 있어서, 오디오 지연 설정부(9)는 미리 설정된 지연 시간에 대응하는 PTS값 Δt를 APTS의 값에 가산하여, 새로운 오디오 재생 시각 정보 NAPTS값을 구한다(NAPTS=APTS+Δt). 이상의 처리에 의해서, 오디오의 재생 시각 정보(APTS)를 수정한 새로운 재생 시각 정보(NAPTS)를 얻을 수 있다.
본 실시예에서는, 지연 시간은 사용자에 의해서 미리 설정되어 있다고 한다. 도 8(a)는 오디오 지연 설정부(9)의 조작부의 예를 나타낸다. 사용자가 초기 설정 화면에서 도 8(a)에 나타내는 항목 선택키를 조작하면, 음성의 지연 시간을 설정할 수 있는 모드로 이행한다. 도 8(b)는 음성의 지연 시간을 설정할 때의 화면의 예를 나타낸다. 사용자가 조작부을 거쳐서 화면 상의 하이라이트(91)를 「수동」으로 전환하여, 결정키를 누르면, 수동에 의한 지연 시간의 설정 모드로 이행한다. 사용자가 지연량의 표시창(93)을 보면서 도 8(a)의 「설정 1」이라고 표시되는 위 방향 버튼을 누르면 화면 상의 증가 버튼(92a)이 하이라이트되어 지연량이 증가한다. 반대로, 「설정 2」이라고 표시되는 아래 방향 버튼을 누르면, 화면 상의 감소 버튼(92b)이 하이라이트되어 지연량이 감소한다. 도 8에서는 지연시키고자 하는 시간이 "60㎳"로 설정되어 있다. PTS값 Δt는 설정된 지연 시간에 근거하여 얻을 수 있다. 설정된 시간이 t(㎳)일 때, PTS값 Δt=90.9t 또는 91t로 된다.
다음에 단계 S106에 있어서, 비디오 디코드부(5)는 시스템 시각 기준 STC이 VPTS에 도달했는지 여부를 판단한다. 도달하고 있으면, 단계 S107에서 비디오 출력부(12)는 프레임 버퍼로부터 비디오 데이터를 출력한다. 도달하고 있지 않으면, 도달할 때까지 대기한다. 다음에, 단계 S108에 있어서, 오디오 디코드부(8)는 STC가 NAPTS에 도달했는지 여부를 판단한다. 「도달함」이란, STC가 NAPTS에 일치했을 때 또는 STC가 NAPTS를 초과했을 때를 나타낸다. 도달하고 있으면, 단계 S109에 있어서, 오디오 출력부(14)는 PCM 버퍼로부터 비디오 데이터를 출력한다. 도달하고 있지 않으면, 도달할 때까지 대기한다.
그리고, 단계 S110에 있어서, 비디오 디코드부(5) 및 오디오 디코드부(8)는 디코드가 종료했는지 여부를 판단한다. 종료했을 때는 처리를 종료하고, 종료하고 있지 않으면 단계 S101로 되돌아가 처리를 계속한다. 또, 사용자로부터 재생의 정지가 지시된 경우에도 처리는 종료한다.
이상, 본 실시예에 따른 데이터 처리 장치(100)의 동작(특히 디코드부(60)의 동작)을 설명하였다.
상술한 설명에서는, 압축 부호화된 오디오 데이터를 디코드한 후 PCM 데이터를 버퍼링한다고 하였다. 그러나, 그 대신에, 디코드부(60)가 디코드하기 전의 오디오 버퍼부(6)에 오디오 데이터를 버퍼링하는 것도 바람직하다. 디코드된 PCM 데이터보다, 디코드 전의 압축 부호화된 상태의 오디오 데이터쪽이 데이터량이 작고, 오디오 버퍼부(6) 등의 버퍼 사이즈가 적게 끝나기 때문이다. 구체적으로는, 오디오의 부호화 프레임 데이터가 오디오 버퍼부(6)에 저장된 후, 미리 설정된 지연 시간에 대응하는 PTS값 Δt를 오디오의 재생 시각(APTS)의 값에 가산하여 NAPTS값을 구하면 된다(NAPTS=APTS+Δt). 이것은, 도 6의 단계 S102의 후, 단계 S103 전에, 단계 S105의 처리를 실행하는 것에 상당한다. 그 외의 처리는 도 6에 나타내는 바와 같다.
도 9는 오디오 버퍼부(6)의 구성이 예를 나타낸다. 오디오 버퍼부(6)에는, 오디오 지연이 없는 경우에 부호화 오디오 데이터가 저장되는 표준 버퍼(6a)와, 오디오 지연이 있는 경우에 추가의 부호화 오디오 데이터가 저장되는 추가 버퍼(6b)가 마련된다. 추가 버퍼(6b)가 마련되는 이유는, 오디오 지연이 있는 경우에는, 종래의 처리에 의하면 APTS에 의해서 표시된 시각에 출력되고 있을 것인 오디오 데이터가, 본 실시예에 따른 처리에서는 NAPTS로 될 때까지 출력되지 않기 때문에, 시각으로서 Δt(=NAPTS-APTS) 사이에 판독된 데이터를 더 저장하는 버퍼 용량이 필요하게 되기 때문이다.
따라서, 오디오 버퍼부(6)에 필요한 버퍼 용량은, 당초의 APTS에 의해서 규정되는 재생 시각의 도달 전까지 수취하는 부호화 오디오 데이터의 데이터량과, 재생 시각의 지연량(Δt)에 따른 시간의 경과까지 수취하는 부호화 오디오 데이터의 데이터량의 합 이상이다. 전자는 표준 버퍼(6a)에 의해, 후자는 추가 버퍼(6b)에 의해 확보된다.
예컨대, 추가 버퍼(6b)에 최대 100밀리초의 데이터를 추가적으로 저장할 수 있는 추가 버퍼(6b)가 필요한 경우를 생각한다. 이것은 지연 시간이 최대 100밀리초인 경우에 상당하며, 비디오에서는 NTSC 방식 출력일 때의 비디오 약 3프레임의 표시 시간에 상당한다. 이 경우에 필요한 추가 버퍼(6b)의 용량은 BS 디지털 방송에서 사용되고 있는 오디오 압축 포맷의 AAC 방식으로는 약 22킬로바이트이다(1채널당 288킬로비트초로서 6채널분의 데이터량을 산출함). 이 용량은 디코드 후의 PCM 데이터를 추가적으로 보존할 때의 용량의 수분의 1이다.
또, 오디오 버퍼부(6)에 저장되는 부호화 오디오 프레임 데이터의 데이터량이 증가하기 때문에, 오디오 재생 관리부(7)의 테이블 사이즈를 증가시켜 하는 점에도 유의해야만 한다.
단, 오디오 재생 관리부(7)에 모든 오디오의 재생 시각 정보(APTS)를 저장하지 않고, 일부를 추출하여 테이블을 구성하면, 테이블 사이즈의 증가를 방지할 수 있다. 도 10(a)은 시닝 전의 오디오 재생 관리부(7)의 테이블(7a)의 구성을 나타내고, 도 10(b)는 시닝 후의 오디오 재생 관리부(7)의 테이블(7b)의 구성을 나타낸다. 테이블(7b)은 테이블(7a)의 기수번째의 재생 시각 정보(APTS)를 시닝하여 생성되어 있다. 오디오 재생 관리부(7)가 실시간으로 테이블(7b)을 생성할 때는, 하나 거른 재생 시각 정보(APTS) 및 그 대응 어드레스 정보의 관계를 기술하면 된다. 이에 따라 테이블(7b)의 데이터량은 테이블(7a)의 데이터량의 절반으로 된다. 바꾸어 말하면, 동일한 테이블 사이즈이면, 테이블(7b)은 테이블(7a)의 배의 오디오 데이터를 관리할 수 있다. 또, 재생 시각 정보(APTS) 및 그 대응 어드레스 정보를 시닝하는 것에 의해, 동기에 필요한 APTS 정보가 감소하기 때문에, 동기시키는 빈도는 감소하지만, 관리해야 할 데이터의 데이터량이 증가하더라도 확실히 비디오와 오디오의 재생을 동기시킬 수 있다.
본 실시예에서는, 비디오 디코드부(5) 및 오디오 디코드부(8)는 압축 부호화된 비디오 데이터 및 오디오 데이터를 디코드하여 프레임 버퍼부(11) 및 PCM 버퍼부(13)에 유지해 둔다고 하였다. 그러나, 예컨대 DVD에는 리니어 PCM 데이터가 오디오 데이터로서 포함되어 있는 경우에는, 디코드 동작은 불필요하다. 리니어 PCM 데이터는 부호화는 되어 있지만 압축은 되어 있지 않기 때문이다. 단, 오디오 데이터가 리니어 PCM 데이터이더라도, 스트림에 포함되는 동기 정보에 따라서 비디오와 동기하여 재생되기 때문에, 앞선 설명을 그대로 적용할 수 있다. 또한, 데이터 처리 장치(100)가 광 출력 단자로부터 돌비 디지털 등의 부호화 스트림을 그대로 출력하는 경우에는, 스트림 버퍼(도시하지 않음)에 일단 축적하고, STC를 참조하여, NAPTS가 STC에 도달한 시점에서, 오디오 출력부(14)로부터 출력하면 된다.
다음에, 오디오의 지연을 발생시키는 영상 음향 기기(120)의 비디오 처리의 구체예를 설명한다. 상정되는 비디오 처리는,
(1) 매초 24 프레임의 필름 소재로부터 매초 30프레임의 비디오 소재로의 변환 처리,
(2) 비월 주사·순차 주사간의 변환 처리, 표준 화질(Standard Definition ; SD)의 D1 규격 신호·고선명 화질(High Definition ; HD)의 D3 규격 신호간의 변환 처리, NTSC 방식·PAL 방식간의 변환 처리
(3) 사용자로부터의 지시 등에 근거한 영상의 확대, 축소, 편집 처리
(4) 복수의 영상의 합성 처리
등이다. 상술한 처리가 불필요한 통상의 재생 시에는, 오디오 데이터를 지연하여 출력할 필요는 없다. 그러나, 비디오 처리의 온/오프에 의해서 지연이 발생할 수 있기 때문에, 지연량의 설정 및 그 설정에 근거한 오디오 데이터의 지연 출력이 필요하게 된다.
그러한 때에는, 오디오 지연 설정부(9)에 지연 시간이 다른 복수의 지연 정보를 마련하고, 행하여지는 처리 종별에 따라 대응지어 두는 것이 바람직하다. 예컨대, 영상 음향 기기(120)에서 실행되는 화상 처리의 종별을 사용자가 입력하면, 그 종별에 따라 지연 시간을 변경하도록 디코드부(60)를 구성하면 된다.
다음에, 오디오 데이터의 재생 시간을 지연시키는 지연 시간을 구하고, 그 시간을 오디오 지연 설정부(9)에서 자동적으로 설정하기 위한 제 1∼제 3 설정 방법을 설명한다.
먼저 제 1 방법은 이하와 같다. 데이터 처리 장치(100)에 있어서, 비디오 신호에 미리 특정 패턴의 신호가 포함되어 있는 동기 검증용 테스트 스트림 등을 디코드하여 영상 음향 기기(120)에 전송한다. 그리고, 영상 음향 기기(120)에서 비디오 처리된 후의 표시된 영상을 캡처하여 그 지연 시간을 측정한다. 얻어진 지연 시간을 오디오 지연 설정부(9)에 설정함으로써, 지연 시간을 설정할 수 있다. 이들의 처리를 자동화함으로써 오디오의 재생 지연 시간을 자동적으로 설정할 수 있다. 또, 지연 시간은 영상 음향 기기(120)에서의 각 신호 처리 모드의 각각에 대하여 지연 시간을 측정하고, 지연 시간을 설정하여도 된다. 테스트 스트림은 방송계로부터 입력되어도 되고, 테스트 디스크 또는 데이터 처리 장치(100) 내의 메모리 등으로부터 판독되어도 된다. 또, 입력이 테스트 스트림이 아니라, 미리 디코드된 비디오 데이터를 출력하는 테스트 패턴이어도 된다. 이것은 디코드한 후의 비디오 처리에서의 지연을 측정하면 되기 때문이다.
계속해서, 지연 시간을 자동적으로 설정하는 제 2 방법을 설명한다. 제 2 방법에서는, 오디오와의 동기를 저해하는 비디오 처리의 지연 원인 (1)∼(4)의 처리를, 영상 음향 기기(120)가 아니라, 비디오 디코드부(5)의 비디오 출력부(12)가 실행한다. 비디오 출력부(12)가 그와 같은 비디오 처리를 실행하는 것에 의해, 디코드부(60)는 비디오 처리에 기인하는 지연 시간을 파악할 수 있어, 그 결과, 오디오 지연 설정부(9)는 실시간으로 지연량을 변경할 수 있다. 또한, 영상 음향 기기(120)에서의 비디오 처리도 불필요하게 되기 때문에, 그 부하를 경감할 수 있다.
도 11은 비디오 처리를 실행하는 처리 회로를 탑재한 비디오 출력부(12)의 기능 블럭의 구성을 나타낸다. 비디오 출력부(12)는 프레임 버퍼부(11)로부터 디코드된 프레임 데이터를 수취하여, 소정의 비디오 처리를 실행한 비디오 데이터를 출력한다. 비디오 출력부(12)는 IP 변환부(71)와, 포맷 변환부(72)와, 확대 축소부(73)와, 타(他)화면 합성부(74)와, GUI 중첩부(75)와, 출력부(76)를 갖는다. 이들의 구성요소에 관련하여, 비디오 디코드부(5)에는 외부 영상 입력부(77) 및 GUI 데이터 생성부(78)가 별도로 마련된다.
IP 변환부(71)는 비월 주사·순차 주사간의 변환 처리를 실행한다. 포맷 변환부(72)는 480i 비디오 신호·1080i 비디오 신호간의 변환 처리 및 NTSC 방식·PAL 방식간의 변환 처리를 실행한다. 확대 축소부(73)는 사용자로부터의 지시 등에 근거한 영상의 확대, 축소, 편집 처리를 실행한다. 타화면 합성부(74)는 디코드된 비디오와 외부 영상 입력부(77)로부터 입력되는 비디오를 합성한다. GUI 중첩부(75)는 지금까지의 처리에 의해서 얻어진 비디오에, GUI 데이터 생성부(78)에 의해서 생성된 GUI 데이터를 중첩한다. 그리고, 출력부(76)는 최종적으로 얻어진 비디오 데이터를 출력한다. 이 출력은 영상 음향 기기(120)에 전송된다. 비디오 디코드부(5)는 비디오 데이터가 얻어졌을 때의 시각을 STC에 근거하여 취득하고, 그 비디오 데이터의 VPTS와 비교함으로써, 지연 시간을 특정할 수 있다.
또, 지연 시간을 자동적으로 설정하는 제 3 방법을 설명한다. 제 3 방법에서는, 데이터 처리 장치(100)와 영상 음향 기기(120)가 서로 통신하여, 데이터 처리 장치(100)가 영상 음향 기기(120)에서 행하여지는 비디오 처리의 종별을 특정한다. 이에 따라, 데이터 처리 장치(100)의 디코드부(60)는 비디오 처리에 기인하는 지연 시간을 미리 특정할 수 있다.
이하, 구체적으로 설명한다. 도 12는 데이터 처리 장치(100)와 영상 음향 기기(120)의 접속 및 그들 사이에서 수수되는 데이터의 종류를 나타낸다. 도 12의 예에서는, HDMI 규격에 따라서 데이터가 수수된다. 먼저 HDMI 송신기(80)는 영상 음향 기기(120)의 HDMI 수신기(130)에 대하여, 영상 음향 기기(120)를 특정하는 정보(기기 고유 정보)를 구하는 제어 커맨드를 송신한다. HDMI 수신기(130)는 그 제어 커맨드에 근거하여, 자기의 장치의 기기 ID를 기기 고유 정보로서 HDMI 송신기(80)에 송신한다. 기기 ID는, 예컨대 영상 음향 기기(120) 내의 ROM(131)에 제조사 고유 정보(Vendor Specific Data)로서 저장되어 있고, 제조사명, 기종명 등을 특정할 수 있다.
HDMI 송신기(80)는 기기 ID를 수취하여 디코드부(60)에 출력한다. 디코드부(60)는, 기기 ID를 수취하면, 내부 메모리 또는 외부의 메모리 카드 등에 규정된 테이블을 참조한다. 테이블에는 기기 ID와 지연 설정의 대응이 기술되어 있다. 디코드부(60)는, 기기 ID 및 그 테이블에 근거하여, 영상 음향 기기(120)가 실행하는 비디오 처리에 기인하는 지연 시간을 얻을 수 있다. 이에 따라, 그 지연 시간을 오디오 지연 설정부(9)에 설정할 수 있다. 또, 도 12는 MPEG2 프로그램 스트림을 디코드하는 데이터 처리 장치(100)를 이용하는 경우의 예이지만, 디코드의 대상은 이 스트림에 한정되지 않는다. 예컨대, 수신되어 기록된 디지털 방송의 MPEG2 트랜스포트 스트림도 디코드의 대상으로 된다. 디코드부(60)는 스트림의 종류에 따른 디코드를 실행하도록 구성되면 된다.
여기까지는, 시스템 시각 기준 참조값 SCR을 기준으로 하여 시스템 시각 기준 STC를 생성하고, 그 STC에 근거하여, 비디오의 재생 시간을 규정하는 VPTS 및 지연시킨 오디오의 재생 시간을 규정하는 NAPTS를 생성하여 비디오 및 오디오를 동기해서 재생시킨다고 해서 설명하였다. 그러나, 또한 VPTS에 근거하여 오디오를 재생할 수도 있고, NAPTS에 근거하여 비디오를 재생할 수도 있다.
광디스크(110)에 기록한 부호화 콘텐츠를 재생하는 경우, 부호화 콘텐츠 등을 편집하여, 편집점에서의 비디오를 도중에서 끊기지 않게 재생하는 경우에는, 비디오의 재생 시간을 기준으로 한 시간 관리가 유효하다. 이것은, VPTS를 기준으로 하여 NAPTS를 관리하는 것을 의미한다. 본 명세서에서는, VPTS를 기준으로 하여 NAPTS를 관리하는 것을 비디오 마스터라고 부른다. 시스템 시각 기준 참조부(4)는 SCR에 근거하여 생성한 STC가 아니라, VPTS에 근거하여 STC를 생성하고, 또한 NAPTS가 규정 정밀도 이내로 수습되도록 오디오 디코드를 실시한다. 그리고, NAPTS에 의해서 규정되는 시각이 VPTS에 의해서 규정되는 시각을 넘을 때까지의 오디오 데이터의 재생을 스킵함으로써, 비디오와 오디오를 동기하여 재생한다. 디코드부(60)의 시스템 시각 기준 참조부(4)는 VPTS에 의해서 규정되는 재생 시각과 NAPTS에 의해서 규정되는 시각이 일정한 허용 범위 내에 들어간 것을 확인한 후, 비디오 마스터에 근거하여 시간을 관리하여 재생하면 고른 편집 재생을 실현할 수 있다.
예컨대, 비디오 데이터의 일부를 삭제한 후에 삭제 부분의 전후에 걸쳐 고르게 영상을 재생하고자 하는 경우에는, 삭제 위치 직후의 비디오 데이터에 근거하여 영상을 표시함과 아울러, 삭제 위치 직전의 비디오 데이터의 VPTS로부터 생성한 STC값을, 삭제 위치 직후의 비디오 데이터의 VPTS로부터 생성한 STC값으로 변경한다. 그리고, 오디오 출력을 무트(mute)하여 재차, 지연량을 변경한 비디오 및 오디오의 재생 동기를 고치는 것에 의해 오디오 디코드를 재개한다. 이에 따라, 편집점의 전후라도 비디오 마스터로 한 STC값의 변경이 행하여져, 편집점의 재생 시에 재생된 영상이 멈추는 등의 부자연스러운 재생이 없어진다. 또 이 경우에도, 오디오 지연분의 오디오 버퍼부(6)의 용량의 증가, 및, 오디오 재생 시각 정보 관리부(7)의 테이블 사이즈의 증가는 필요해진다.
한편, 광디스크(110)에 기록한 부호화 콘텐츠를 재생할 때, 오디오를 도중에서 끊기지 않게 재생하는 경우에는, 오디오의 재생 시간 NAPTS를 기준으로 한 시간 관리가 유효하다. 이것은 NAPTS를 기준으로 하여 VPTS를 동기시키는 것을 의미한다. 본 명세서에서는 NAPTS를 기준으로 하여 VPTS를 관리하는 것을 오디오 마스터라고 부른다. 시스템 시각 기준 참조부(4)는 SCR에 근거하여 생성한 STC가 아니라, NAPTS에 근거하여 STC를 생성하고, 또한, VPTS가 규정 정밀도 이내로 수습되도록 비디오 디코드를 실시한다. 그리고, 적당한 출력 영상의 스킵 또는 동일한 화면의 복수회 출력에 의해서 오디오를 비디오와 동기하여 재생한다. 오디오의 재생 시간 NAPTS에 의해서 규정되는 시각을 오디오 마스터로 했을 때라도, 오디오 지연을 고려하여 출력하고 있기 때문에, 오디오를 지연한 비디오와 동기하여 재생할 수 있다. 또 이 경우에도, 오디오 지연분의 오디오 버퍼부(6)의 용량의 증가, 및, 오디오 재생 시각 정보 관리부(7)의 테이블 사이즈의 증가는 필요하게 된다.
예컨대, 출력 음성 또는 음악 등을 도중에서 끊기는 일없이 재생하고자 할 때(빨리 감기나 코마 전송 재생 시)에 있어서 오디오의 연속성을 유지하기 위해서는, 비디오의 재생이 지나치게 길거나 또는 지나치게 짧은 경우가 있다. 그 경우에는, 동일한 화면을 몇 번이나 반복하여 표시하거나, 또는, 특정수 프레임을 스킵하는 등의 처리를 실행한다.
오디오 지연 설정부(9)에서 지연 시간의 설정을 변경할 때는, 일단 오디오 출력을 페이드 아웃 또는 무트 설정하여 음량을 낮춘다. 그리고, 지연 설정을 변경한 후, 무트 해제 또는 페이드 인을 실행하여 본래의 음량으로 복귀시키면 된다.
도 1에 나타내는 데이터 스트림(10)에는 오디오 데이터와 비디오 데이터가 혼재하고 있어, 도 4에 나타내는 시스템 디코드부(1)에서 그들을 분리한다고 하여 설명하였다. 그러나, 오디오 데이터 및 비디오 데이터는 독립된 별개의 스트림으로서 포함되어 있어도 된다. 예컨대, 비디오 카메라 등으로 촬영한 오디오 데이터 및 비디오 데이터를 PC에서 편집하여, 비디오의 엘리멘터리(elementary) 스트림과 오디오의 엘리멘터리 스트림으로 나누어 데이터 처리 장치(100)에 입력하여도 된다. 비디오 데이터의 재생 시각 정보 및 오디오 데이터의 재생 시각 정보에 근거하여, 비디오와 오디오가 동기하여 재생되는 것이면, 본 발명은 적용 가능하다.
본 실시예는 비디오와 오디오를 동기하여 재생한다고 했지만, 이것은 예이다. 예컨대, DVD에 마련되어 있는 서브픽쳐에 대해서, 그 비디오 처리에 근거한 재생 지연이 발생하는 경우에는, 역시 오디오의 재생 시각 정보 NAPTS를 생성하여 자막과 오디오를 동기하여 재생할 수도 있다. 또한, 위성 방송을 수신하여 기록한 경우의 데이터 방송의 동기에 대해서도 마찬가지이다. 영상 음향 기기(120)에서 비디오와 데이터의 내용의 중첩 처리 등에서 처리 지연이 발생하는 경우에는, 오디오의 재생 시각 정보 NAPTS를 생성해서, 비디오, 데이터의 내용 및 오디오를 동기하여 재생할 수 있다.
본 실시예에서는, APTS에 오디오 지연 Δt에 상당하는 PTS를 가산하여 NAPTS를 구한다고 했지만, VPTS로부터 Δt 상당분을 감산하여도 된다. 단, VPTS로부터 Δt를 감산할 뿐만 아니라, 시스템 시각 기준 참조값 그 자체를 Δt 감산함으로써, 동일한 효과를 얻을 수 있다. 구체적으로는, 데이터 처리 장치(100)에, 비디오의 재생 시각 정보에 임의의 지연용 설정 시간을 감산하는 수단 및 시스템 시각 기준 참조값에 임의의 지연용 설정 시간을 감산하는 수단을 마련하면 된다. 이에 따라, 영상 음향 기기(120)에서의 비디오 처리의 지연을 고려하여 지연용 설정 시간을 감산한 시스템 시각 기준 참조값에 대하여, 지연을 위해 설정 시간을 감산한 비디오와, 오디오를 동기하여 재생할 수 있다.
또한, 본 실시예에서는, 화상 처리에 의해서 비디오가 오디오보다 늦어 재생되는 것을 상정하여 설명하였다. 그러나, 이와는 반대로, 데이터 처리 장치(100)의 출력 후에 행하여지는 각종 음향 효과 등의 처리에 기인하여 오디오의 재생이 지연되는 경우도 있다. 이 때는, 비디오 재생이 선행되어 버리기 때문에, VPTS에 지연 시간 Δt에 상당하는 PTS를 가산한 새로운 비디오 재생 시각 정보 NVPTS를 구하여, 비디오와 오디오의 재생을 동기시키면 된다. 이 때는 비디오 버퍼부(2) 및 비디오 재생 관리부(3)의 테이블 사이즈가 증가하게 된다.
데이터 처리 장치(100)에 마련된 여러 가지의 버퍼는 그 일부 또는 전부가 반도체 메모리에 의해서 구성되어 있어도 되고, 하드디스크 등의 기록 매체에 의해서 구성되어 있어도 된다.
상술한 데이터 처리 장치(10)의 기능, 특히 디코드부(60)의 기능은 소프트웨어를 실행함으로써 실현하더라도 된다. 예컨대, CPU(도시하지 않음)가 컴퓨터 프로그램을 실행함으로써, 각 구성요소의 동작을 제어하여도 된다. 컴퓨터 프로그램은, 예컨대 도 6에 나타내는 흐름도로 따라 처리를 데이터 스트림(10)에 실행시키도록 구성하면 된다.
컴퓨터 프로그램은, 광디스크로 대표되는 광 기록 매체, SD 메모리 카드, EEPROM으로 대표되는 반도체 기록 매체, 플렉시블 디스크로 대표되는 자기 기록 매체 등의 기록 매체에 기록할 수 있다. 또, 데이터 처리 장치(10)는 기록 매체를 거칠 뿐만 아니라, 인터넷 등의 전기 통신 회선을 거쳐서도 컴퓨터 프로그램을 취득할 수 있다.
본 발명에 의하면, 비디오, 오디오 등을 동기하여 재생할 수 있는 데이터 처리 장치 등이 제공된다. 예컨대, 비디오 처리에 기인하여 비디오의 재생이 지연하는 경우에는, 오디오의 재생 시각이 비디오의 지연 시간 상당량만큼 시각이 지연되도록 오디오의 재생 시각 정보를 수정하기 때문에, 비디오와 오디오를 동기하여 재생할 수 있다.

Claims (20)

  1. ① 압축 부호화된 비디오 콘텐츠에 관한 제 1 데이터, 상기 제 1 데이터의 재생 시각을 규정하는 제 1 시각 정보, 상기 비디오 콘텐츠와 다른 콘텐츠에 관한 제 2 데이터, 및 상기 제 2 데이터의 재생 시각을 규정하는 제 2 시각 정보를 갖는 데이터 스트림을 수취하는 수신부와, ② 상기 데이터 스트림으로부터 상기 제 1 데이터, 상기 제 1 시각 정보, 상기 제 2 데이터 및 상기 제 2 시각 정보를 추출하는 분리부와, ③ 상기 제 1 데이터를 디코드하여, 상기 제 1 시각 정보에 근거해서 출력하는 제 1 디코드부와, ④ 상기 제 2 시각 정보에 근거하여 상기 제 2 데이터를 출력하는 제 2 디코드부를 갖는 데이터 처리 장치로서,
    상기 제 1 시각 정보 및 상기 제 2 시각 정보가 상기 제 1 데이터 및 상기 제 2 데이터를 동기하여 재생하는 시각을 규정하고 있는 경우에, 재생 시각의 지연량을 규정하는 지연 정보를 유지하고, 또한, 상기 지연 정보에 근거하여 상기 제 2 시각 정보를 수정하여, 상기 제 2 데이터의 재생 시각을 지연시키는 지연 설정부를 더 구비한 데이터 처리 장치.
  2. 제 1 항에 있어서,
    상기 제 2 데이터의 콘텐츠는 압축 부호화되어 있고,
    상기 제 2 디코드부는 상기 제 2 데이터를 복호하고, 상기 제 2 디코드부는 복호된 상기 제 2 데이터를 저장하는 내부 버퍼를 갖는
    데이터 처리 장치.
  3. 제 2 항에 있어서,
    상기 제 2 데이터의 콘텐츠는 압축 부호화되어 있고,
    압축 부호화된 상기 제 2 데이터를 저장하는 데이터 버퍼를 더 구비하며,
    상기 데이터 버퍼는 수정 후의 제 2 시각 정보에 의해서 규정되는 재생 시각 전에 상기 압축 부호화된 상기 제 2 데이터를 취출하여 상기 제 2 디코드부에 출력하는
    데이터 처리 장치.
  4. 제 3 항에 있어서,
    상기 수신부는 상기 데이터 스트림을 계속적으로 수취하고, 상기 데이터 버퍼는 상기 제 2 데이터를 순차적으로 저장하며,
    상기 데이터 버퍼의 용량은, 수정 전의 제 2 시각 정보에 의해서 규정되는 재생 시각의 도달 전까지 수취하는 상기 제 2 데이터의 데이터량과, 상기 재생 시각의 지연량에 따른 시간의 경과까지 수취하는 상기 제 2 데이터의 데이터량과의 합 이상인
    데이터 처리 장치.
  5. 제 4 항에 있어서,
    상기 제 2 데이터가 저장된 상기 데이터 버퍼 내의 위치를 나타내는 어드레스 정보와, 상기 제 2 데이터에 대응하는 수정 전의 제 2 시각 정보의 대응 관계를 규정하는 테이블을 관리하는 관리부를 더 구비한 데이터 처리 장치.
  6. 제 5 항에 있어서,
    상기 관리부는 일부의 상기 제 2 데이터에 대하여 상기 테이블을 관리하는 데이터 처리 장치.
  7. 제 1 항에 있어서,
    상기 수신부는 오디오 및 자막 중 적어도 한쪽에 관한 상기 제 2 데이터를 갖는 데이터 스트림을 수취하는 데이터 처리 장치.
  8. 제 1 항에 있어서,
    상기 지연 설정부는 사용자로부터 상기 지연량을 특정하는 값을 수취하여, 상기 지연 정보로서 유지하는 데이터 처리 장치.
  9. 제 1 항에 있어서,
    상기 지연 설정부는 미리 정해진 값을 상기 지연 정보로서 유지하는 데이터 처리 장치.
  10. 제 9 항에 있어서,
    상기 지연 설정부는 재생 시각의 지연량을 30밀리초 이상의 값으로서 규정한 지연 정보를 유지하는 데이터 처리 장치.
  11. 제 1 항에 있어서,
    접속처의 기기에 상기 제 1 데이터를 송출하고 또한 상기 기기를 특정하는 것이 가능한 고유 정보를 상기 기기로부터 수취하는 송신기를 더 구비하며,
    상기 송신기는 상기 고유 정보에 근거하여 상기 기기에서 실행되는 상기 제 1 데이터에 관한 비디오 처리의 소요 시간을 특정하고,
    상기 지연 설정부는 특정된 상기 소요 시간의 값을 상기 지연량으로서 지연 정보를 유지하는
    데이터 처리 장치.
  12. 제 1 항에 있어서,
    상기 제 1 디코드부 및 상기 제 2 디코드부는 단일의 디코드 회로로서 실장되는 데이터 처리 장치.
  13. 압축 부호화된 비디오 콘텐츠에 관한 제 1 데이터, 상기 제 1 데이터의 재생 시각을 규정하는 제 1 시각 정보, 상기 비디오 콘텐츠와 다른 콘텐츠에 관한 제 2 데이터 및 상기 제 2 데이터의 재생 시각을 규정하는 제 2 시각 정보를 갖는 데이터 스트림을 수취하는 단계와, 상기 데이터 스트림으로부터 상기 제 1 데이터, 상기 제 1 시각 정보, 상기 제 2 데이터 및 상기 제 2 시각 정보를 추출하는 단계와, 상기 제 1 데이터를 디코드하여 상기 제 1 시각 정보에 근거해서 출력하는 단계를 포함하는 데이터 처리 방법으로서,
    상기 제 1 시각 정보 및 상기 제 2 시각 정보가 상기 제 1 데이터 및 상기 제 2 데이터를 동기하여 재생하는 시각을 규정하고 있는 경우에,
    재생 시각의 지연량을 규정하는 지연 정보를 유지하는 단계와,
    상기 지연 정보에 근거하여 상기 제 2 시각 정보를 수정해서 상기 제 2 데이터의 재생 시각을 지연시키는 단계와,
    상기 제 2 시각 정보에 근거하여 상기 제 2 데이터를 출력하는 단계
    를 포함하는 데이터 처리 방법.
  14. 제 13 항에 있어서,
    상기 제 2 데이터의 콘텐츠는 압축 부호화되어 있고,
    상기 제 2 데이터를 출력하는 단계는 상기 제 2 데이터를 복호하고, 복호된 상기 제 2 데이터를 데이터 버퍼에 저장한 후에 출력하는
    데이터 처리 방법.
  15. 제 14 항에 있어서,
    상기 제 2 데이터의 콘텐츠는 압축 부호화되어 있고,
    압축 부호화된 상기 제 2 데이터를 데이터 버퍼에 저장하는 단계와,
    수정 후의 제 2 시각 정보에 의해서 규정되는 재생 시각 전에, 저장된 상기 제 2 데이터를 상기 데이터 버퍼로부터 취출하는 단계를 더 포함하며,
    상기 제 2 데이터를 출력하는 단계는 상기 데이터 버퍼로부터 취출된 상기 제 2 데이터를 출력하는
    데이터 처리 방법.
  16. 제 15 항에 있어서,
    상기 수신하는 단계는 상기 데이터 스트림을 계속적으로 수신하고, 상기 제 2 데이터를 저장하는 단계는 상기 제 2 데이터를 상기 데이터 버퍼에 순차적으로 저장하고,
    상기 데이터 버퍼의 용량은, 수정 전의 제 2 시각 정보에 의해서 규정되는 재생 시각의 도달 전까지 수취하는 상기 제 2 데이터의 데이터량과, 상기 재생 시각의 지연량에 따른 시각의 경과까지 수취하는 상기 제 2 데이터의 데이터량과의 합 이상인
    데이터 처리 방법.
  17. 제 16 항에 있어서,
    상기 제 2 데이터가 저장된 상기 데이터 버퍼 내의 위치를 나타내는 어드레스 정보와, 상기 제 2 데이터에 대응하는 수정 전의 제 2 시각 정보와의 대응 관계를 규정하는 테이블을 관리하는 단계를 더 포함하는 데이터 처리 방법.
  18. 제 13 항에 있어서,
    상기 수신하는 단계는 오디오 및 자막 중 적어도 한쪽에 관한 상기 제 2 데이터를 갖는 데이터 스트림을 수취하는 데이터 처리 방법.
  19. 제 13 항에 있어서,
    상기 지연시키는 단계는 사용자로부터 상기 지연량을 특정하는 값을 수취하여 상기 지연 정보로서 유지하는 데이터 처리 방법.
  20. 제 13 항에 있어서,
    상기 지연시키는 단계는 미리 정해진 값을 상기 지연 정보로서 유지하는 데이터 처리 방법.
KR20057004724A 2003-02-27 2004-02-24 데이터 처리 장치 및 방법 KR100711328B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003050856 2003-02-27
JPJP-P-2003-00050856 2003-02-27

Publications (2)

Publication Number Publication Date
KR20050056211A true KR20050056211A (ko) 2005-06-14
KR100711328B1 KR100711328B1 (ko) 2007-04-27

Family

ID=32923357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057004724A KR100711328B1 (ko) 2003-02-27 2004-02-24 데이터 처리 장치 및 방법

Country Status (6)

Country Link
US (1) US8290353B2 (ko)
EP (1) EP1603336B1 (ko)
JP (1) JP4536653B2 (ko)
KR (1) KR100711328B1 (ko)
CN (1) CN1723703B (ko)
WO (1) WO2004077825A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101047820B1 (ko) * 2006-09-26 2011-07-08 퀄컴 인코포레이티드 오디오 타임스탬프를 이용한 멀티미디어 디코더의 재동기화

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006025584A1 (ja) * 2004-09-02 2006-03-09 Sony Corporation コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム
JP4270084B2 (ja) * 2004-09-14 2009-05-27 株式会社日立製作所 記録再生装置
EP1657929A1 (fr) * 2004-11-16 2006-05-17 Thomson Licensing Dispositif et méthode de synchronisation de différentes parties d'un service numérique
JP4660184B2 (ja) * 2004-12-27 2011-03-30 株式会社東芝 信号中継装置及び信号中継方法
KR100652956B1 (ko) * 2005-01-14 2006-12-01 삼성전자주식회사 비디오 수신지연 알림방법 및 이를 적용한 방송수신장치
WO2006118106A1 (ja) * 2005-04-28 2006-11-09 Matsushita Electric Industrial Co., Ltd. リップシンク補正装置及びリップシンク補正方法
US20070127909A1 (en) 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP4991129B2 (ja) * 2005-07-19 2012-08-01 Ｎｅｃディスプレイソリューションズ株式会社 映像音声再生装置および映像音声再生方法
JP4674520B2 (ja) * 2005-10-11 2011-04-20 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20080005350A1 (en) * 2006-06-05 2008-01-03 Oleg Logvinov System and method for synchronized content rendering in a multi-node network
US8539105B2 (en) * 2006-06-05 2013-09-17 Stmicroelectronics, Inc. System and method for synchronized content rendering in a multi-node network
WO2009078176A1 (ja) * 2007-12-19 2009-06-25 Panasonic Corporation 映像音響出力システム
KR100916505B1 (ko) * 2008-02-20 2009-09-08 한국전자통신연구원 정상 재생 타임을 이용한 스케일러블 비디오 코딩 정보와어드밴스드 오디오 코딩 정보의 동기화 지원 방법 및 장치
JP2009253744A (ja) * 2008-04-08 2009-10-29 Mitsubishi Electric Corp 符号化装置、復号装置及び映像音声伝送システム
US8539301B2 (en) * 2009-10-21 2013-09-17 Nec Laboratories America, Inc. Message-wise unequal error protection
JP2011188244A (ja) * 2010-03-09 2011-09-22 Sharp Corp 映像コンテンツ再生装置、その制御方法、プログラム、及び記録媒体
US9591374B2 (en) 2010-06-30 2017-03-07 Warner Bros. Entertainment Inc. Method and apparatus for generating encoded content using dynamically optimized conversion for 3D movies
US10326978B2 (en) 2010-06-30 2019-06-18 Warner Bros. Entertainment Inc. Method and apparatus for generating virtual or augmented reality presentations with 3D audio positioning
US8755432B2 (en) * 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
KR20120074059A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 오디오 데이터 출력 방법 및 장치
US20130132521A1 (en) * 2011-11-23 2013-05-23 General Instrument Corporation Presenting alternative media content based on environmental factors
US9282360B2 (en) * 2012-01-24 2016-03-08 Spencer Shanson System and method for maintaining integrity of audio data in a multiplexed audio/video stream over a low-latency network connection
JP2015012557A (ja) * 2013-07-02 2015-01-19 日本電気株式会社 映像音声処理装置、映像音声処理システム、映像音声同期方法、プログラム
US10051294B2 (en) * 2015-03-31 2018-08-14 Avago Technologies General Ip (Singapore) Pte. Ltd. Compressed video buffering
US10158905B2 (en) * 2016-09-14 2018-12-18 Dts, Inc. Systems and methods for wirelessly transmitting audio synchronously with rendering of video
EP4032059A4 (en) * 2019-09-17 2023-08-09 Lexia Learning Systems LLC TALKING AVATAR SYSTEM AND PROCEDURES
JP7365212B2 (ja) 2019-12-03 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 動画再生装置、動画再生システム、および動画再生方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5241389A (en) * 1991-07-29 1993-08-31 Intelligent Resources Integrated Systems, Inc. Video display system providing for synchronization of multiple video data streams
JPH0676471A (ja) * 1992-08-27 1994-03-18 Sony Corp データ再生システム
AU668762B2 (en) 1992-10-07 1996-05-16 Nec Personal Computers, Ltd Synchronous compression and reconstruction system
JP2500579B2 (ja) 1993-02-03 1996-05-29 日本電気株式会社 映像音声同期システム
JPH07307933A (ja) * 1994-05-12 1995-11-21 Canon Inc マルチメディア通信端末
US5594660A (en) 1994-09-30 1997-01-14 Cirrus Logic, Inc. Programmable audio-video synchronization method and apparatus for multimedia systems
US5815634A (en) * 1994-09-30 1998-09-29 Cirrus Logic, Inc. Stream synchronization method and apparatus for MPEG playback system
JPH09205618A (ja) * 1996-01-29 1997-08-05 Mitsubishi Electric Corp 動画像音声伸張再生装置および動画像音声同期制御器
CN1183780C (zh) 1996-12-04 2005-01-05 松下电器产业株式会社 光盘再现设备及光盘记录方法
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
DE69812258T2 (de) * 1997-09-17 2003-09-25 Matsushita Electric Ind Co Ltd Videodatenschnittgerät, optische Platte zur Verwendung als Aufzeichnungsmedium dafür und rechnerlesbares Aufzeichnungsmedium
US6285405B1 (en) * 1998-10-14 2001-09-04 Vtel Corporation System and method for synchronizing data signals
DE19930824C2 (de) 1999-07-03 2001-05-31 Grundig Ag Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb
JP2001028738A (ja) * 1999-07-14 2001-01-30 Hitachi Ltd 放送データ送受信システム及びこれに使用する送信装置並びにその受信装置
JP2001128167A (ja) * 1999-10-29 2001-05-11 Sharp Corp デジタルａｖシステム
JP2002101395A (ja) * 2000-09-21 2002-04-05 Sony Corp 多重化装置及び方法、並びに、復号装置及び方法
US7030930B2 (en) * 2001-03-06 2006-04-18 Ati Technologies, Inc. System for digitized audio stream synchronization and method thereof
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data
JP2003244658A (ja) * 2002-02-19 2003-08-29 Sharp Corp 映像／音声再生装置
JP2003284010A (ja) * 2002-03-26 2003-10-03 Mitsubishi Electric Corp 符号化装置及びメディアデータ同期方法
JP4186514B2 (ja) * 2002-05-29 2008-11-26 ソニー株式会社 放送受信機

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101047820B1 (ko) * 2006-09-26 2011-07-08 퀄컴 인코포레이티드 오디오 타임스탬프를 이용한 멀티미디어 디코더의 재동기화
US9083994B2 (en) 2006-09-26 2015-07-14 Qualcomm Incorporated Method and system for error robust audio playback time stamp reporting

Also Published As

Publication number Publication date
EP1603336A4 (en) 2009-06-10
JP4536653B2 (ja) 2010-09-01
WO2004077825A1 (ja) 2004-09-10
EP1603336A1 (en) 2005-12-07
CN1723703B (zh) 2012-05-30
JPWO2004077825A1 (ja) 2006-06-08
KR100711328B1 (ko) 2007-04-27
CN1723703A (zh) 2006-01-18
US20060072399A1 (en) 2006-04-06
EP1603336B1 (en) 2017-07-19
US8290353B2 (en) 2012-10-16

Similar Documents

Publication Publication Date Title
KR100711328B1 (ko) 데이터 처리 장치 및 방법
JP3215087B2 (ja) オーディオとビデオの同期方法及びデジタルビデオプロセッサ
US6859612B2 (en) Decoder and reproducing unit
WO2013136754A1 (ja) 表示装置、及び送信装置
US8233780B2 (en) Reproducing apparatus and method, and recording medium
JP2007336578A (ja) 多重化装置および逆多重化装置
US6041067A (en) Device for synchronizing data processing
JP4257478B2 (ja) 記録再生装置
US7577337B2 (en) Audio/video data recording/reproducing device and method, and audio/video data reproducing device and method
KR100693233B1 (ko) 데이터 기록 재생 장치
JP4096915B2 (ja) デジタル情報再生装置及び方法
US20050069289A1 (en) Transport stream recording/editing device and recording/editing method
JP2006148679A (ja) データ処理装置
JP4285099B2 (ja) データ再生方法及びデータ再生装置
JP2004280994A (ja) データ作成方法及びデータ記録装置
JP5168105B2 (ja) 音声再生装置、及び音声再生方法
KR100539731B1 (ko) 전송스트림저장장치및방법
CA2725179A1 (en) Reproducing apparatus and method, and recording medium
JP2001326908A (ja) 記録再生装置及び記録再生装置の制御方法
JP2005286742A (ja) Ａｖ装置、ａｖシステムおよびａｖ信号転送方法
JP2005276246A (ja) 情報再生方法および情報再生装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130318

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140320

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180316

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190319

Year of fee payment: 13