KR20050103248A - 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법 - Google Patents

편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법 Download PDF

Info

Publication number
KR20050103248A
KR20050103248A KR1020057018094A KR20057018094A KR20050103248A KR 20050103248 A KR20050103248 A KR 20050103248A KR 1020057018094 A KR1020057018094 A KR 1020057018094A KR 20057018094 A KR20057018094 A KR 20057018094A KR 20050103248 A KR20050103248 A KR 20050103248A
Authority
KR
South Korea
Prior art keywords
stream
picture
edit point
encoding
encoded
Prior art date
Application number
KR1020057018094A
Other languages
English (en)
Other versions
KR100604631B1 (ko
Inventor
히로미 요시나리
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20050103248A publication Critical patent/KR20050103248A/ko
Application granted granted Critical
Publication of KR100604631B1 publication Critical patent/KR100604631B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440254—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering signal-to-noise parameters, e.g. requantization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G11B2220/25—Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2537—Optical discs
    • G11B2220/2562—DVDs [digital versatile discs]; Digital video discs; MMCDs; HDCDs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

스플라이싱 포인트 근방에 설정된 재인코드 구간에 있어서 부호화 스트림 STA 및 STB를, MPEG 디코더(14A 및 14B)에 의해 디코드한다. 스플라이싱 콘트롤러(13)는, MPEG 인코더(16)에 있어서 재인코드 처리를 행할 때 VBV 버퍼가 파손되지 않도록 그 위에 점유량이 불연속으로 되도록 목표부호량을 연산하고, 목표부호량과 부호화 스트림 STA 및 STB 의 양자화 특성을 이용해서 새로운 양자화 특성을 설정한다. MPEG 인코더(15)는 새로운 양자화 특성에 기초해서 비디오 데이터를 재인코드 하고, 재인코드 스트림 STRE로 해서 출력한다. 스플라이싱 콘트롤러(13)는 스위치(17)를 제어함으로써, 부호화 스트림 STA, 재인코드 스트림 STRE 및 재인코드 스트림 STRE'를 전환해서 출력하여, 심리스한 스플라이스 스트림을 생성할 수 있다.

Description

편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법{Editing device, editing method, re-encoding device, re-encoding method, splicing device, and splicing method}
본 발명은, 복수의 영상소재를 편집함으로써 편집된 영상소재를 생성하는 편집장치 및 방법, 복수의 비트 스트림을 스플라이싱함으로써 이음매 없는 스플라이싱 스트림을 생성하는 비트 스트림 스플라이싱 장치와 방법, 및 비디오 데이터를 재부호화하는 재부호화 장치와 방법에 관한 것이다.
최근, 대용량의 디지털 데이터를 기록할 수 있는 광디스크인 DVD(디지털 버서타일 디스크 또는 디지털 비디오 디스크)와 같은 축적 미디어를 사용하여, 압축 부호화한 화상 데이터의 기록이나 재생을 하는 기록재생 시스템이나, 복수의 압축 부호화된 방송소재(프로그램)를 다중화하여 전송하는 다중전송 시스템이 제안되어 있다. 이것들의 시스템에서는, MPEG(Moving Picture Experts Croup) 규격에 의한 화상 데이터의 압축 부호화 기술이 이용되고 있다.
이 MPEG 규격에서는, 부호화 방식으로서 쌍방향 예측 부호화 방식이 채용되고 있다. 이 쌍방향 예측 부호화 방식에서는, 프레임내 부호화 , 프레임간 순방향 예측 부호화 및 쌍방향 예측 부호화의 3개 타입의 부호화가 행하여지고, 각 부호화 타입에 의한 화상은, 각각 I 픽처(intra coded picture), P 픽처(predictive coded picture) 및 B 픽처(bidirectionally predictive coded picture)라고 불린다. 또한, I, P, B의 각 픽처를 적절히 조합하여, 랜덤 액세스의 단위가 되는 GOP(Group of picture)가 구성된다. 일반적으로는, 각 픽처의 발생 부호량은, I 픽처가 가장 많고, 다음으로 P 픽처가 많으며, B 픽처가 가장 적다.
MPEG 규격과 같이 픽처마다 비트 발생량이 다른 부호화 방법에서는, 얻어지는 부호화 비트 스트림(이하, 단지 스트림이라고도 한다.)을 적절히 전송 및 복호하여 화상을 얻기 위해서는, 화상 복호화 장치에 있어서의 입력버퍼 안의 데이터 점유량을, 화상 부호화 장치 측에서 파악하고 있어야 한다. 그래서, MPEG 규격에서는, 화상 복호화 장치에 있어서의 입력버퍼에 대응하는 가상 버퍼인 VBV(Video Buffering Verifier) 버퍼를 상정하고, 화상 부호화 장치 측에서는, VBV 버퍼를 파탄, 요컨대 언더플로나 오버플로 시키지 않도록, 스트림을 생성하여야 한다.
여기서, 도 1을 참조하여, MPEG 규격에 따른 전송 시스템 및 기록재생 시스템을 개략적으로 설명한다. 한편, 도 1은, ISO/IEC 13818-1(MPEG1), ISO/IEC 13818-2(MPEG2)를 실현할 수 있도록 구성된 전송 시스템을 나타내고 있다.
이 전송 시스템은, 부호화 장치(110) 측의 구성으로서, 입력되는 비디오 데이터(DV)를 인코드(부호화)하여, 부호화 비트 스트림인 비디오 엘리멘터리 스트림(비디오 ES)을 출력하는 비디오 인코더(111)와, 이 비디오 인코더(111)에서 출력되는 비디오 엘리멘터리 스트림에 헤더 등을 부가하여 패킷화하고, 비디오 패키타이즈드 엘리멘터리 스트림(비디오 PES)을 출력하는 패키타이저(112)와, 입력되는 오디오 데이터(DA)를 인코드하고, 부호화 비트 스트림인 오디오 엘리멘터리 스트림(오디오 ES)을 출력하는 오디오 인코더(113)와, 이 오디오 인코더(113)에서 출력되는 오디오 엘리멘터리 스트림에 헤더 등을 부가하여 패킷화하고, 오디오 패키타이즈드 엘리멘터리 스트림(오디오 PES)을 출력하는 패키타이저(114)와, 패키타이저(112)에서 출력되는 비디오 패키타이즈드 엘리멘터리 스트림과 패키타이저(114)에서 출력되는 오디오 패키타이즈드 엘리멘터리 스트림을 다중화하여, 188바이트의 트랜스포트 스트림 패킷을 작성하고, 트랜스포트 스트림(TS)으로서 출력하는 트랜스포트 스트림 멀티플렉서(도면에서는, TSMUX라고 기록한다.)(115)를 구비하고 있다.
또한, 도 1에 도시된 전송 시스템은, 복호화 장치(120) 측의 구성으로서, 트랜스포트 스트림 멀티플렉서(115)에서 출력되어 전송 미디어(116)를 개재시켜 전송되는 트랜스포트 스트림을 입력하고, 비디오 패키타이즈드 엘리멘터리 스트림(비디오 PES)과 오디오 패키타이즈드 엘리멘터리 스트림(오디오 PES)으로 분리하여 출력하는 트랜스포트 스트림 디멀티플렉서(도면에서는, TSDEMUX라고 기록한다.)(121)와, 이 트랜스포트 스트림 디멀티플렉서(121)에서 출력되는 비디오 패키타이즈드 엘리멘터리 스트림을 디패킷화하여, 비디오 엘리멘터리 스트림(비디오 ES)을 출력하는 디패키타이저(122)와, 이 디패키타이저(122)에서 출력되는 비디오 엘리멘터리 스트림을 디코드(복호화)하여 비디오 데이터(DV)를 출력하는 비디오 디코더(124)와, 트랜스포트 스트림 디멀티플렉서(121)에서 출력되는 오디오 패키타이즈드 엘리멘터리 스트림을 디패킷화하고, 오디오 엘리멘터리 스트림(오디오 ES)을 출력하는 디패키타이저(124)와, 이 디패키타이저(124)에서 출력되는 오디오 엘리멘터리 스트림을 디코드하여 오디오 데이터(DA)를 출력하는 오디오 디코더(125)를 구비하고 있다.
도 1에 있어서의 복호화 장치(120)는, 일반적으로, 인텔리전트 리시버 디코더(IRD)라고 불린다.
또, 부호화된 데이터를 스트리지 미디어에 기록하는 기록재생 시스템의 경우에는, 도 1에 있어서의 트랜스포트 스트림 멀티플렉서(115) 대신에, 비디오 패키타이즈드 엘리멘터리 스트림과 오디오 패키타이즈드 엘리멘터리 스트림을 다중화하여 프로그램 스트림(PS)을 출력하는 프로그램 스트림 멀티플렉서가 설치되고, 전송 미디어(116) 대신에, 프로그램 스트림을 기록하는 축적 미디어가 사용되며, 트랜스포트 스트림 디멀티플렉서(121) 대신에, 프로그램 스트림을 비디오 패키타이즈드 엘리멘터리 스트림과 오디오 패키타이즈드 엘리멘터리 스트림으로 분리하는 프로그램 스트림 디멀티플렉서가 설치된다.
다음에, 비디오 데이터를 부호화 처리, 전송 처리 및 복호화 처리하는 경우를 예로 들어, 도 1에 나타낸 시스템 동작에 관해서 설명한다.
우선, 부호화 장치(110) 측에서는, 각 픽처가 같은 비트량을 가지는 입력 비디오 데이터(DV)는, 비디오 인코더(111)에 의해서 인코드되어, 각 픽처마다, 그 장황한 정도에 따라서 다른 비트량으로 변환, 압축되고, 비디오 엘리멘터리 스트림로서 출력된다. 패키타이저(112)는, 비디오 엘리멘터리 스트림을 입력하여, 그 비트 스트림 시간 축 상의 비트량의 변동을 흡수(평균)하기 위해서 패킷화하여, 비디오 패키타이즈드 엘리멘터리 스트림(PES)으로서 출력한다. 이 패키타이저(112)에 의해서 패킷화되는 PES 패킷은, 1 액세스 유닛 또는 복수의 액세스 유닛으로 구성된다. 일반적으로는, 이 1 액세스 유닛은, 1 프레임으로 구성된다. 트랜스포트 스트림 멀티플렉서(115)는, 비디오 패키타이즈드 엘리멘터리 스트림과 패키타이저(114)에서 출력되는 오디오 패키타이즈드 엘리멘터리 스트림을 다중화하여 트랜스포트 스트림 패킷을 작성하고, 트랜스포트 스트림(TS)으로서, 전송 미디어(116)를 개재시켜, 복호화 장치(120)에 보낸다.
복호화 장치(120) 측에서는, 트랜스포트 스트림 디멀티플렉서(121)에 의해서, 트랜스포트 스트림이, 비디오 패키타이즈드 엘리멘터리 스트림과 오디오 패키타이즈드 엘리멘터리 스트림으로 분리된다. 디패키타이저(122)는, 비디오 패키타이즈드 엘리멘터리 스트림을 디패킷화하여, 비디오 엘리멘터리 스트림을 출력하고, 비디오 디코더(123)는, 비디오 엘리멘터리 스트림을 디코드하여 비디오 데이터(DV)를 출력한다.
복호화 장치(120)는, 일정한 전송 레이트로 전송된 스트림을 VBV 버퍼에 버퍼링함과 동시에, 미리 픽처마다 설정된 디코디드 타임 스탬프(DTS)에 근거하여 VBV 버퍼로부터 픽처마다 데이터를 인출한다. 이 VBV 버퍼의 용량은, 전송되는 신호 규격에 따라서 결정되고 있으며, 메인 프로파일·메인 레벨(MP@ML)의 스탠더드 비디오 신호인 경우이면, 1.75 M비트의 용량을 갖고 있다. 부호화 장치(110) 측에서는, 이 VBV 버퍼를 오버플로나 언더플로 시키지 않도록, 각 픽처의 비트 발생량을 컨트롤해야 한다.
다음에, 도 2를 참조하여, VBV 버퍼에 관해서 설명한다. 도 2에 있어서, 꺾인 선은 VBV 버퍼에 기억되는 데이터 점유량의 변화를 나타내고, 그 경사(131)는 전송 비트 레이트를 나타내며, 수직으로 떨어지고 있는 부분(132)은 각 픽처의 재생을 위해서 비디오 디코더(123)가 VBV 버퍼로부터 인출하는 비트량을 나타내고 있다. 비디오 디코더(123)가 인출하는 타이밍은, 프리젠테이션 타임 스탬프(PTS)라고 불리는 정보 또는 디코디드 타임 스탬프(DTS)라고 불리는 정보에 의해서 지정된다. 이 PTS 및 DTS의 간격은, 일반적으로는 1 프레임 기간이다. 또, 도 2 중, I, P, B는, 각각 I 픽처, P 픽처, B 픽처를 나타내고 있다. 이것은, 다른 도면에 있어서도 같다. 또한, 도 2 중, vbv_delay는, VBV 버퍼의 점유량이 영의 상태로부터 가득히 채워지기까지의 시간이고, Tp는 프리젠테이션 타임 주기를 나타내고 있다. 디코더 측에 있어서, 도 2에 나타내는 바와 같이, 전송된 스트림에 의해서 일정한 비트 레이트(131)에서 VBV 버퍼가 만족되어지고, 프리젠테이션 타임에 따른 타이밍으로 각 픽처마다 데이터가 이 VBV 버퍼로부터 인출된다.
다음에, 도 3을 참조하여, MPEG 규격의 쌍방향 예측 부호화 방식에 있어서의 픽처의 순서 변경에 관해서 설명한다. 도 3에 있어서, (a)는 인코더에 대하여 공급되는 입력 비디오 데이터의 픽처 순서를 나타내고, (b)는 인코더에 있어서 순서 변경이 행하여진 후의 픽처의 순서를 나타내고, (c)는 인코더에서 출력되는 비디오 스트림의 픽처 순서를 나타내고 있다. 도 3에 나타내는 바와 같이, 인코더에서는, 입력 비디오 프레임은, 인코드시에 픽처의 종류(I, P, B)에 따라서 순서 변경이 행하여지고, 순서 변경후의 순서로 인코드된다. 구체적으로는, B 픽처는, I 픽처 또는 P 픽처로부터 예측 부호화 되므로, 도 3(b)에 나타내는 바와 같이, 예측 부호화에 사용되는 I 픽처 또는 P 픽처의 뒤에 위치하도록 순서 변경된다. 인코더는, 순서 변경된 픽처의 순서로 부호화 처리를 하고, 도 3(b) 및 (c)에 나타내어지는 순으로, 부호화된 각 픽처를 비디오 스트림으로서 출력한다. 출력된 부호화 스트림은, 전송로를 개재시켜 디코더 또는 축적 미디어에 공급된다. 또, 도 3에서는, 15장의 픽처로 GOP가 구성되는 것으로 하고 있다.
도 4는, 도 3에 있어서 설명한 예측 부호화 방식에 있어서, 각 픽처가, 어떤 픽처를 사용하고 예측 부호화 처리되는가를 나타내기 위한 도면이고, 인코더에 있어서의 픽처의 순서 변경과 예측 부호화 처리와의 관계를 나타내고 있다. 도 4에 있어서, (a)는 인코더에 대한 입력 비디오 데이터에 있어서의 픽처의 순서를 나타내고, (b)는 인코더에 있어서 순서 변경이 행하여진 후의 픽처 순서를 나타내고, (c), (d)는 각각 인코더내의 2개의 프레임 메모리(FM1, FM2)에 유지되는 픽처를 나타내며, (e)는 인코더에서 출력되는 엘리멘터리 스트림(ES)을 나타내고 있다. 또, 도면 중, I, P, B에 부수한 숫자는 픽처의 순서를 나타내고 있다. 인코더에서는, 도 4(a)에 나타낸 것과 같은 입력 비디오 데이터는, 도 4(b)에 나타낸 것과 같은 픽처의 순서로 순서 변경된다. 또한, 2개의 프레임 메모리(FM1, FM2)에는, 각각 도 4(c, d)에 나타낸 것과 같은 픽처가 유지된다. 그리고, 인코더는, 입력 비디오 데이터가 I 픽처인 경우는 입력 비디오 데이터(I 픽처)에만 근거하여 부호화 처리를 하고, 입력 비디오 데이터가 P 픽처인 경우는 입력 비디오 데이터와 프레임 메모리(FM1)에 유지되어 있는 I 픽처 또는 P 픽처에 근거하여 예측 부호화 처리를 하고, 입력 비디오 데이터가 B 픽처인 경우는 입력 비디오 데이터와 프레임 메모리(FM1, FM2)에 유지되어 있는 2개의 픽처에 근거하여 예측 부호화 처리를 한다. 도 4(e) 중의 부호는, 부호화 처리에 사용되는 픽처를 나타내고 있다.
다음에, 도 5를 참조하여, MPEG 규격의 쌍방향 예측 복호화 방식에 있어서의 픽처의 순서 변경에 관해서 설명한다. 도 5에 있어서, (a)는 인코더로부터 전송로를 개재시켜 디코더에 공급된 부호화 비디오 스트림의 픽처의 순서를 나타내고, (b)는 인코더로부터 전송로를 개재시켜 디코더에 공급된 부호화 비디오 스트림을 나타내고, (c)는 디코더에서 출력되는 비디오 데이터의 픽처 순서를 나타내고 있다. 도 5에 나타낸 바와 같이, 이 디코더에서는, B 픽처는, 인코드시에 I 픽처 또는 P 픽처를 사용하여 예측 부호화 처리되고 있으므로, 이 예측 부호화 처리에 사용된 픽처와 같은 픽처를 사용하여 복호화 처리를 한다. 그 결과, 도 5(c)에 나타내는 바와 같이, 이 디코더로부터 출력되는 비디오 데이터의 픽처의 순서는, I 픽처나 P 픽처보다 B 픽처가 빨리 출력된다.
도 6은, 도 5에 있어서 설명한 복호화 처리를 더욱 자세히 설명하기 위한 도면이다. 도 6에 있어서, (a)는 디코더에 대하여 공급되는 부호화된 비디오 엘리멘터리 스트림(ES)의 픽처 순서를 나타내고, (b), (c)는 각각 디코더내의 2개의 프레임 메모리(FM1, FM2)에 유지되는 픽처를 나타내며, (d)는 디코더에서 출력되는 출력 비디오 데이터를 나타내고 있다. 도 4와 같이, 도면 중, I, P, B에 부수한 숫자는 픽처의 순서를 나타내고 있다. 디코더에서는, 도 6(a)에 나타낸 것과 같은 입력 엘리멘터리 스트림(ES)이 입력되면, 예측 부호화 처리에 사용한 2개의 픽처를 기억시켜야 하므로, 2개의 프레임 메모리(FM1, FM2)에는, 각각 도 6(b), (c)에 나타낸 것과 같은 픽처가 유지된다. 그리고, 디코더는, 입력 엘리멘터리 스트림이 I 픽처인 경우는 입력 엘리멘터리 스트림(I 픽처)에만 근거하여 복호화 처리를 하고, 입력 엘리멘터리 스트림이 P 픽처인 경우는 입력 엘리멘터리 스트림과 프레임 메모리(FM1)에 유지되어 있는 I 픽처 또는 P 픽처와 근거하여 복호화 처리를 하고, 입력 엘리멘터리 스트림이 B 픽처인 경우는 입력 엘리멘터리 스트림과 프레임 메모리(FM1, FM2)에 유지되어 있는 2개의 픽처에 근거하여 복호화 처리를 하여, 도 6(d)에 나타낸 것과 같은 출력 비디오 데이터를 생성한다.
다음에, 도 7을 참조하여, MPEG 규격의 쌍방향 예측 부호화 방식에 있어서의 움직임 검출 및 움직임 보상에 관해서 설명한다. 도 7은, 입력 비디오 프레임 순서로 늘어선 픽처간의 예측방향(차분을 취하는 방향)을 화살표로 나타낸 것이다. MPEG 규격에서는, 보다 고압축을 가능하게 하는 움직임 보상이 채용되고 있다. 인코더에서는, 움직임 보상을 하기 위해서, 인코드시에, 도 7에 나타낸 예측방향을 따라서, 움직임 검출을 하여 움직임 벡터를 얻는다. P 픽처 및 B 픽처는, 이 움직임 벡터와, 움직임 벡터에 따라서 얻은 서치 화상 또는 예측 화상과의 차분 값으로 구성된다. 디코드시에는, 이 움직임 벡터와 차분 값에 따라서, P 픽처 및 B 픽처가 재구성된다.
일반적으로, 도 7에 나타내는 바와 같이, I 픽처는, 그 I 픽처가 없는 정보로부터 부호화된 픽처로, 프레임간 예측을 사용하지 않고 생성된 픽처이다. P 픽처는, 과거의 I 픽처 또는 P 픽처로부터의 예측을 하는 것에 의해 생성된 픽처이다. B 픽처는, 과거의 I 또는 P 픽처 및 미래의 I 또는 P 픽처의 쌍방향으로부터 예측된 픽처, 과거의 I 또는 P 픽처의 순방향에서 예측된 픽처, 또는 I 또는 P의 역방향으로부터 예측된 픽처의 어느 하나이다.
그런데, 방송국의 편집 시스템에 있어서는, 취재현장에 있어서 캠코더나 디지털 VTR를 사용하여 수록한 비디오 소재나, 지방 방송국이나 프로그램 공급회사에서 전송되어 온 비디오 소재 등을 편집하여, 1개의 방송용 비디오 프로그램을 생성하도록 하고 있다. 최근, 캠코더나 디지털 VTR를 사용하여 수록된 비디오 소재 및 지방 방송국이나 프로그램 공급회사 등으로부터 공급된 비디오 소재는, 상기한 MPEG 기술을 사용하여, 압축 부호화된 부호화 스트림으로서 공급되는 것이 대부분이다. 그 이유는, 압축되어 있지 않은 베이스밴드의 비디오 데이터를 그대로 기록매체에 기록하는 것보다도, MPEG 기술을 사용하여 압축 부호화한 편이 기록매체의 기록 에어리어를 유효하게 활용할 수 있다고 하는 이유나, 압축되어 있지 않은 베이스밴드의 비디오 데이터를 그대로 전송하는 것보다도, MPEG 기술을 사용하여 압축 부호화한 편이 전송로를 유효하게 활용할 수 있다고 하는 이유에서이다.
이 종래의 편집 시스템에 있어서는, 예를 들면 2개의 부호화 비디오 스트림을 편집하여 1개의 방송용 비디오 프로그램을 생성하기 위해서는, 편집처리 전에, 일단(一端) 부호화 스트림의 전 데이터를 디코드하여, 베이스밴드의 비디오 데이터로 되돌려야 한다. 왜냐하면, MPEG 규격에 준한 부호화 스트림에 포함되는 각 픽처의 예측방향은, 전후 픽처의 예측방향과 서로 관련하고 있으므로, 스트림 상의 임의의 위치에 있어서 부호화 스트림을 접속할 수가 없기 때문이다. 만일 강제적으로 2개의 부호화 스트림을 연결시켰다고 하면, 이음매가 불연속적으로 되고 말아, 정확하게 디코드할 수 없게 되어 버리는 경우가 발생한다.
따라서, 종래의 편집 시스템에 있어서 공급된 2개의 부호화 스트림을 편집하고자 하면, 2개의 소스 부호화 스트림을 일단 디코드하여 2개의 베이스밴드의 비디오 데이터를 생성하는 디코드 처리와, 2개 베이스밴드의 비디오 데이터를 편집하여 방송용으로 편집된 비디오 데이터를 생성하는 편집처리와, 편집된 비디오 데이터를 다시 부호화하여, 부호화 비디오 스트림을 생성한다고 하는 부호화 처리를 해야 한다.
그러나, MPEG 부호화는 100% 가역(可逆)의 부호화가 아니므로, 이와 같이 편집처리만을 위해 복호화 처리 및 부호화 처리를 행하면 화질이 열화(劣化)하여 버린다고 하는 문제가 있었다. 요컨대, 종래의 편집 시스템에 있어서 편집처리하기 위해서는, 반드시 복호화 처리와 부호화 처리가 필요하였므로, 그 만큼 화질이 열화한다고 하는 문제가 있었다.
그 결과, 최근에는, 공급된 부호화 스트림의 모든 복호화 처리를 하지 않고, 부호화 스트림의 상태대로 편집하는 것을 가능하게 하는 기술이 요구되어 왔다. 한편, 이와 같이 부호화된 비트 스트림 레벨로, 다른 2개의 부호화 비트 스트림을 연결하여, 연결된 비트 스트림을 생성하는 것을「스플라이싱」이라 부르고 있다. 요컨대, 스플라이싱이란, 부호화 스트림의 상태대로 복수의 스트림을 편집하는 것을 의미한다.
그러나, 이 스플라이싱을 실현하기 위해서는 이하와 같은 3개의 큰 문제점이 있다.
제1 문제점은, 픽처 프리젠테이션 순서의 관점에서 오는 문제점이다. 이 픽처 프리젠테이션 순서란, 각 비디오 프레임의 표시 순서이다. 이 제1 문제점에 관해서, 도 8 및 도 9를 참조하여 설명한다.
도 8 및 도 9는, 어느 것이나, 스트림이 단순한 스플라이스를 하였을 때의, 스플라이스 전후의 스트림에 있어서의 픽처의 순서와 스플라이스 후의 픽처 프리젠테이션 순서와의 관계를 나타낸 것이다. 도 8은 픽처 프리젠테이션의 순서에 문제가 생기지 않는 경우에 관해서 나타내고, 도 9는 픽처 프리젠테이션의 순서에 문제가 생기고 있는 경우에 관해서 나타내고 있다. 또한, 도 8 및 도 9에 있어서, (a)는 스플라이스되는 한편의 비디오 스트림(A)을 나타내고, (b)는 스플라이스되는 다른 쪽의 비디오 스트림(B)을 나타내고, (c)는 스플라이스 후의 스트림을 나타내며, (d)는 프리젠테이션의 순서를 나타내고 있다. 또한, SPA는 스트림(A)에 있어서의 스플라이스 포인트를 나타내고, SPB는 스트림(B)에 있어서의 스플라이스 포인트를 나타내고, STA는 스트림(A)을 나타내고, STB는 스트림(B)을 나타내며, STSP는, 스플라이싱된 스트림을 나타내고 있다.
인코더에 있어서 픽처의 순서 변경을 하는 것으로부터, 인코드 후의 부호화 스트림에 있어서의 픽처의 순서와 디코드 후의 프리젠테이션의 순서는 다르다. 그러나, 도 8에 나타낸 스플라이스 처리는 스트림(A)의 B 픽처 후에 스플라이스 포인트(SPA)가 설정되고, 스트림(B)의 P 픽처 전에 스플라이스 포인트(SPB)가 설정된 예를 게시하고 있는 도면이다. 이 도 8(d)에 나타내는 바와 같이, 스트림(A)과 스트림(B)의 경계(SP)를 경계로 하여, 스트림(A)의 픽처가 스트림(B)의 픽처보다 뒤에 표시되거나, 스트림(B)의 픽처가 스트림(A)의 픽처의 앞에 표시된다고 하는 것과 같은 현상은 일어나고 있지 않다. 요컨대, 도 8에 나타낸 스플라이스 포인트(SPA 및 SPB)에 있어서 스플라이싱하는 경우이면, 프리젠테이션의 순서에 문제는 생기지 않는다.
한편, 도 9에 나타낸 스플라이스 처리는, 스트림(A)의 P 픽처 뒤에 스플라이스 포인트(SPA)가 설정되고, 스트림(B)의 B 픽처 전에 스플라이스 포인트(SPB)가 설정된 예를 게시하고 있는 도면이다. 이 도 8(d)에 나타내는 바와 같이, 스트림(A)과 스트림(B)의 경계(SP)를 경계로 하여, 스트림(A)의 최후의 픽처가 스트림(B)의 픽처보다 뒤에 표시되거나, 스트림(B)의 2개의 픽처가 스트림(A)의 최후의 픽처보다 앞에 표시된다고 하는 현상이 일어나고 있다. 요컨대, 이러한 순서로 픽처가 표시되었다고 하면, 스플라이스 포인트의 근방에 있어서, 스트림(A)의 비디오 이미지로부터 스트림(B)의 비디오 이미지로 바뀌어, 그 2 프레임 뒤에 다시 스트림(A)의 비디오 이미지가 1 프레임만 표시된다고 하는 기묘한 이미지가 되어 버린다. 즉, 도 9에 나타낸 스플라이스 포인트(SPA 및 SPB)에 있어서 스플라이싱하는 경우이면, 프리젠테이션의 순서에 문제가 생긴다.
그러므로, 임의의 픽처 위치에서 스플라이스를 실현하기 위해서는, 이러한 프리젠테이션 순서에 관한 문제가 발생하는 경우가 있다.
제2 문제점은, 움직임 보상의 관점에서 오는 문제점이다. 이 문제점에 관해서, 도 10 내지 도 12를 참조하여 설명한다. 이들 도면은, 어느 것이나, 스트림의 단순한 스플라이스를 하였을 때의, 스플라이스 후의 스트림에 있어서의 픽처의 순서와 픽처 프리젠테이션의 순서와의 관계를 나타낸 것이다. 도 10은 움직임 보상에 관해서 문제가 생기지 않는 경우의 예를 나타내며, 도 11 및 도 12는 움직임 보상에 관해서 문제가 생기는 경우의 예를 나타내고 있다. 또, 도 11 및 도 12는, 각각, 도 8 및 도 9에 나타낸 스플라이스를 한 경우에 관해서 나타내고 있다. 또한, 각 도면에 있어서, (a)는 스플라이스 후의 스트림을 나타내고, (b)는 프리젠테이션의 순서를 나타내고 있다.
도 10에 나타낸 예에서는, 스트림(B)이 클로즈드 GOP(이전의 GOP에 예측을 의존하지 않는 닫힌 GOP)이고, 또한, 마침 GOP의 끊기는 곳에서 스플라이스를 하고 있기 때문에, 과부족 없이 움직임 보상이 행하여져, 문제없이 픽처의 디코드가 행하여진다.
이에 대하여, 도 11 및 도 12에서는, 디코드시에, 다른 스트림에 있어서의 픽처를 참조하는 움직임 보상이 행하여지기 때문에, 움직임 보상에 문제가 생긴다. 구체적으로는, 스트림(A)의 P 픽처를 참조하여 스트림(B)의 B 픽처나 P 픽처는 만들 수 없다고 하는 이유로부터, 도면 중, 파선으로 나타낸 예측방향에서의 움직임 벡터에 의한 움직임 보상은 무효(도면에서는 NG라고 기록한다.)이다. 따라서, 도 11 및 도 12에 나타낸 예에서는, 다음 I 픽처까지, 픽처가 파탄한 채로 된다.
임의의 픽처 단위로 스플라이스를 하는 경우, 단순한 스트림 상의 스플라이스에서는, 이 문제는 해결할 수가 없다.
제3 문제점은, VBV 버퍼의 관점에서 오는 문제점이다. 이 문제점에 관해서, 도 13 내지 도 18을 참조하여 설명한다. 도 13은, 픽처 프리젠테이션의 순서, 움직임 보상 및 VBV 버퍼의 조건을 만족시키는 이상적인 스트림 스플라이스를 한 경우의 예를 나타내고 있다. 또, 도면 중, STA, STB, STC는, 각각 스트림(A), 스트림(B), 스트림(C)를 나타내고 있다. 도 13에 있어서, (a)는 디코더 측의 VBV 버퍼의 상태를 나타내고, (b)는 스플라이스 후의 스트림을 나타내고, (c)는 인코더에 있어서의 순서 변경 후의 각 픽처의 발생 타이밍을 나타내며, (d)는 디코드 후의 픽처의 순서를 나타내고 있다. 또, 도 13에 있어서, SPV는 VBV 버퍼에 있어서의 스플라이스 점을 나타내고, V0C는 스플라이스 점SPV에서의 VBV 버퍼의 점유량을 나타내고, SPS는 스트림에 있어서의 스플라이스 점을 나타내고 있다. 도 13에 나타낸 예에서는, VBV 버퍼의 관점에서 볼 때, 스플라이스에 의해 VBV 버퍼의 오버플로나 언더플로 등의 VBV 버퍼의 파탄이 일어나지 않고 있다.
그러나, 일반적으로는, 임의의 픽처 단위로 스플라이스를 할 때에는, VBV 버퍼의 파탄을 일으키지 않는다고 하는 조건을 만족시킨다고는 한정할 수 없다. 이것을 도 14 내지 도 18을 참조하여 설명한다. 도 14 및 도 15는, 각각, VBV 버퍼의 제약을 만족시키는 정상인 스트림(A) 및 스트림(B)을 나타내고, (a)는 디코더 측의 VBV 버퍼의 상태를 나타내고, (b)는 스트림(A, B)을 나타내고 있다. 이러한 스트림(A, B)을 임의의 위치에서 단순하게 스플라이스한 경우의 3가지의 예를, 도 16내지 도 18에 나타낸다. 이들 도면에 있어서, (a)는 디코더 측의 VBV 버퍼의 상태를 나타내고, (b)는 스플라이스 후의 스트림을 나타내고 있다. 이들 도면에 나타내는 바와 같이, 스트림(A, B)을 어디에서 스플라이스 하는가에 따라서, VBV 버퍼의 상태가 다르다. 도 16에 나타낸 예에서는, 스플라이스 후의 스트림도 VBV 버퍼의 제약을 만족시키고 있지만, 도 17에 나타낸 예에서는, 부호(141)로 나타낸 오버플로가 발생하고 있어, VBV 버퍼의 제약을 만족시키고 있지 않다. 또한, 도 18에 나타낸 예에서는, 부호(142)로 나타낸 언더플로가 발생하고 있어, VBV 버퍼의 제약을 만족시키고 있지 않다. 디코더(IRD) 측에서는, VBV 버퍼의 언더플로 또는 오버플로가 발생하면, VBV 버퍼의 파탄에 의해 픽처 디코드에 실패하여, 이음매 없는 화상재생을 실현할 수 없다. 그 때의 화상재생 상태는, 인코더(IRD)의 기능에 의해서 화상 스킵, 프리즈, 처리 스톱 등, 여러 가지이다. 임의의 픽처 단위로 스플라이스를 하는 경우, 단순한 스트림 상의 스플라이스에서는 이 문제는 해결할 수 없다.
이와 같이, 종래는, 스트림 상의 이음매 없는 스플라이스를 실현하는 유효한 수단이 없다고 하는 문제점이 있었다.
(발명의 개시)
본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 그 제1 목적은, 복호화 장치 측의 입력버퍼에 대응하는 가상적 버퍼의 파탄이나 가상적 버퍼에 있어서의 데이터 점유량의 불연속이 발생하는 일이 없도록, 복수의 부호화 스트림을 이음매 없게 스플라이싱하는 것을 실현하는 스플라이싱 장치 및 스트림 편집장치를 제공하는 데에 있다.
본 발명의 제2 목적은, 상기 목적에 덧붙여, 스플라이싱 포인트 근방에 있어서의 화질 열화를 감소함과 동시에, 재인코드 처리에 있어서의 화질 열화를 방지하도록 한 스플라이싱 장치, 스트림 편집장치, 및 부호화 장치를 제공하는 데에 있다.
본 발명의 스트림 편집장치는, 복수의 영상 소재를 부호화하여 얻어지는 복수의 부호화 비트 스트림을 입력하고, 이 복수의 부호화 비트 스트림을 접속하기 위한 스트림 편집장치이고, 복수의 부호화 비트 스트림을 입력하여, 이 복수의 부호화 비트 스트림의 접속점을 포함하는 접속점 전후의 소정구간 내에서의 각 부호화 비트 스트림을 복호화하고, 소정구간 내의 화상 데이터를 출력하는 복호화 수단과, 이 복호화 수단에 의해서 출력되는 소정구간 내의 화상 데이터에 대한 새로운 목표 부호량을 설정하는 목표 부호량 설정수단과, 복호화 수단에 의해서 출력되는 소정구간 내의 화상 데이터를, 목표 부호량 설정수단에 의해서 설정되는 새로운 목표 부호량에 따라서 부호화하고, 소정구간 내의 새로운 부호화 비트 스트림을 출력하는 부호화 수단과, 소정구간 내의 원래의 부호화 비트 스트림을, 부호화 수단에 의해서 출력되는 소정구간 내의 새로운 부호화 비트 스트림에 바꾸어, 소정구간의 전후에 있어서의 원래의 부호화 비트 스트림과 새로운 부호화 비트 스트림을 연결하여 출력하는 부호화 비트 스트림 출력수단을 구비한 것이다.
본 발명의 스트림 편집장치에서는, 복호화 수단에 의해서, 복수의 부호화 비트 스트림의 접속점을 포함하는 접속점 전후의 소정구간 내에서의 각 부호화 비트 스트림이 복호화되고, 소정구간 내의 화상 데이터가 출력되어, 목표 부호량 설정수단에 의해서, 소정구간 내의 화상 데이터에 대한 새로운 목표 부호량이 설정되고, 부호화 수단에 의해서, 소정구간 내의 화상 데이터가 새로운 목표 부호량에 따라서 부호화되어, 소정구간 내의 새로운 부호화 비트 스트림이 출력된다. 그리고, 부호화 비트 스트림 출력수단에 의해서, 소정구간 내의 원래의 부호화 비트 스트림이, 소정구간 내의 새로운 부호화 비트 스트림으로 바뀌고, 소정구간의 전후에 있어서의 원래의 부호화 비트 스트림과 새로운 부호화 비트 스트림이 연결되어 출력된다.
본 발명의 스플라이싱 장치는, 복수의 소스 부호화 스트림에 대하여, 각각 스플라이싱 포인트를 설정하는 스플라이싱 포인트 설정수단과, 복수의 소스 부호화 스트림의 스플라이싱 포인트 부근의 픽처를 각각 디코드하여, 디코드된 비디오 데이터를 출력하는 디코드 수단과, 디코드된 비디오 데이터를 재인코드하여, 재인코드 스트림을 출력하는 재인코드 수단과, 소스 부호화 스트림과 재인코드 스트림을 바꿔 출력함으로써, 스플라이싱된 스플라이싱 스트림을 생성하는 스플라이싱 스트림 생성수단과, 스플라이싱 스트림이 디코드시에 불연속이 되지 않도록 재인코드 수단 및 스플라이싱 스트림 생성수단을 제어하는 스플라이스 제어수단을 구비한 것을 특징으로 하고 있는 장치이다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, VBV 버퍼에 오버플로 및 언더플로가 발생하지 않도록, 재인코드 수단에 있어서의 재인코드의 목표 비트량을 연산한다고 하는 기능을 구비하고 있다.
또한, 본 발명의 스플라이싱 장치의 스플라이스 제어수단은, 소스 부호화 스트림과 재인코드 스트림의 전환 포인트 또는 재인코드 스트림의 스플라이스 포인트에 있어서, VBV 버퍼의 데이터 점유량의 궤적이 불연속이 되지 않도록, 재인코드 수단에 있어서의 재인코드의 목표 비트량을 연산한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, 재인코드 스트림에 대응하는 VBV 버퍼의 데이터 점유량의 궤적이, 소스 부호화 스트림이 원래 갖고 있었을 것이라고 상정할 수 있는 VBV 버퍼의 데이터 점유량의 궤적에 가까워지도록, 재인코드 수단을 제어하는 기능을 갖고 있다.
또한, 본 발명의 스플라이싱 장치의 스플라이스 제어수단은, 소스 부호화 스트림에 포함되는 부호화 파라미터를 추출하여, 추출된 부호 파라미터를, 재인코드 수단에 있어서의 재인코드 처리시에 선택적으로 재이용함으로써, 스플라이싱 스트림의 화질 열화를 방지한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, 소스 부호화 스트림에 포함되는 양자화 특성에 관한 정보를 추출하여, 추출된 양자화 특성에 근거하여 재인코드 수단에 있어서의 재인코드 처리를 하도록 재인코드 수단을 제어한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, 소스 부호화 스트림에 포함되는 양자화 특성에 관한 정보를 각 픽처마다 추출하여, VBV 버퍼에 오버플로 및 언더플로가 발생하지 않도록, 재인코드 수단에 있어서의 재인코드 처리에 있어서의 각 픽처 목표 비트량을 연산하고, 소스 부호화 스트림에 포함되는 양자화 특성에 관한 정보를 각 픽처마다 추출하여, 소스 부호화 스트림으로부터 추출된 양자화 특성과, 연산된 목표 비트량에 근거하여, 새로운 양자화 특성을 연산하고, 연산된 새로운 양자화 특성에 근거하여 재인코드 처리를 하도록 재인코드 수단을 제어한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, VBV 버퍼에 오버플로 및 언더플로가 발생하지 않도록, 재인코드 수단에서의 재인코드 처리에 있어서의 목표 비트량을 연산하여, 소스 부호화 스트림에 포함되는 과거의 부호화 처리에 있어서 생성된 양자화 특성을 참조함으로써, 목표 비트량을, 재인코드 처리해야 할 각 픽처에 대하여 할당하고, 각 픽처에 할당된 목표 비트량에 따라서, 각 픽처마다 재인코드 처리를 하도록 재인코드 수단을 제어한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, VBV 버퍼에 오버플로 및 언더플로가 발생하지 않도록, 재인코드 수단에서의 재인코드 처리에 있어서의 목표 비트량을 연산하여, 소스 부호화 스트림의 과거의 부호화 처리에 있어서 각 픽처마다의 발생 비트량에 가까워지도록, 목표 비트량을, 재인코드 처리해야 할 픽처에 대하여 각각 할당하고, 각 픽처에 할당된 목표 비트량에 따라서, 각 픽처마다 재인코드 처리를 하도록 재인코드 수단을 제어한다고 하는 기능을 구비하고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, 소스 부호화 스트림으로부터 추출된 움직임 벡터 정보를, 재인코드 수단에 있어서의 재인코드 처리시에 선택적으로 재이용함으로써, 스플라이싱 스트림의 화질 열화를 방지한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, 소스 부호화 스트림으로부터 추출된 움직임 벡터 정보를, 재인코드 수단에 있어서의 재인코드 처리시에 재이용하는가 아닌가를 판단하여, 재이용한다고 판단된 경우에는, 움직임 검출수단에 있어서 검출된 움직임 벡터가 아니라, 스트림으로부터 추출된 움직임 벡터를, 재인코드 수단의 움직임 보상회로에 공급하도록 재인코드 수단을 제어한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, 스플라이스 포인트를 사이에 두고 다른 소스 부호화 스트림의 픽처로부터 예측되는 일이 없도록, 재인코드 수단의 재인코드 처리가 행하여지는 스플라이스 포인트 근방의 픽처에 대하여 예측 방향을 설정한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, 재인코드 수단에 의해서 재인코드되는 스플라이스 포인트 근방 픽처의 픽처 타입을 선택적으로 변경함으로써, 스플라이싱 스트림의 스플라이스 포인트 근방의 픽처의 화질 열화를 방지한다고 하는 기능을 갖고 있다.
또한, 본 발명인 스플라이싱 장치의 스플라이스 제어수단은, 스플라이스 포인트를 타고 넘어 다른 소스 부호화 스트림의 픽처로부터 예측되는 일이 없도록, 재인코드 수단에 의해서 재인코드되는 스플라이스 포인트 근방의 픽처의 픽처 타입을 선택적으로 변경한다고 하는 기능을 갖고 있다.
이하, 본 발명의 실시예에 관해서 도면을 참조하여 상세하게 설명한다.
도 19는, 본 발명의 한 실시예에 관련되는 스플라이싱 장치 및 편집장치의 구성을 나타내는 블록도이다. 이 스플라이싱 장치 및 편집장치는, 예를 들면 복수의 영상 소재인 비디오 데이터(VDA, VDB)를 인코더(1A, 1B)에 의해서 MPEG 규격에 의한 쌍방향 예측 부호화 방식에 따라서 인코드하여 얻어진 복수의 부호화 비트 스트림(이하, 단지 스트림이라고 한다.)(STA, STB)을 입력하도록 되어 있다. 또, 본 실시예에 있어서의 스트림은, 엘리멘터리 스트림, 패키타이즈드 엘리멘터리 스트림, 트랜스포트 스트림의 어느 하나라도 된다.
본 실시예에 관련되는 스플라이싱 장치 및 편집장치는, 스트림(STA, STB)을 입력하여, 이것들을 일시적으로 기억하기 위한 버퍼 메모리(10)와, 스트림(STA, STB)의 비트 수를 카운트하는 스트림 카운터(11)와, 스트림(STA, STB)의 신택스를 해석하는 스트림 해석부(12)와, 스플라이싱 처리를 하기 위해서 후술하는 각 블록을 컨트롤하기 위한 스플라이스 컨트롤러(13)를 구비하고 있다.
스플라이싱 장치 및 편집장치는, 더욱이, 각각, 버퍼 메모리(10)에서 출력되는 스트림(STA, STB)을 MPEG 규격에 따라 디코드하고, 베이스밴드 비디오 데이터를 출력하는 MPEG 디코더(14A, 14B)와, 이것들 MPEG 디코더(14A, 14B)로부터의 출력 비디오 데이터를 스위칭하는 스위치(15)와, 이 스위치(15)로부터 출력된 출력 비디오 데이터를 재인코드하는 MPEG 인코더(16)와, 버퍼 메모리(10)에서 출력되는 스트림(STA, STB) 및 MPEG 인코더(16)에서 출력되는 재인코드 스트림(STRE)을 바꿔 출력함으로써, 스플라이스된 스트림(STSP)을 출력하는 스위치(17)를 구비하고 있다.
이하에, 상술한 각 블록에 관해서 상세하게 설명한다.
버퍼 메모리(10)는, 후술하는 스플라이스 컨트롤러(13)로부터의 기입 명령에 응답하여, 공급된 2개의 스트림(STA, STB)을 일시적으로 기억하고, 스플라이스 컨트롤러(13)로부터의 판독 명령에 응답하여, 기억된 스트림(STA, STB)을 각각 판독한다. 이것에 의해, 스트림(STA, STB)의 각각 대하여 설정된 스플라이싱 포인트에 있어서 스플라이스를 하기 위해서, 스트림(STA, STB)의 스플라이싱 포인트의 위상 및 타이밍을 맞출 수 있다.
스트림 카운터(11)는, 스트림(STA, STB)을 받아, 이것들 스트림의 비트 수를 각각 카운트하여, 그 카운트 값을 스플라이스 컨트롤러(13)에 각각 공급한다. 이와 같이 공급된 비트 스트림(STA, STB)의 비트 수를 카운트하는 이유는, 스트림(STA, STB)에 대응하는 VBV 버퍼의 데이터 점유량의 궤적을 가상적으로 파악하기 위함이다.
스트림 해석부(12)는, 스트림(STA, STB)의 신택스를 해석함으로써, 시퀀스층, GOP층, 픽처층, 및 매크로 블록층으로부터 적절한 정보를 추출한다. 예를 들면, 픽처의 타입(I, B 또는 P)을 나타내는 픽처 타입, 움직임 벡터, 양자화 스텝, 및 양자화 매트릭스 등의 인코드 정보를 추출하여, 그것들 정보를 스플라이스 컨트롤러(13)에 출력한다.
이것들 인코드 정보는, 인코더(1A 및 1B)에서의 과거의 인코드 처리에 있어서 생성된 부호화 정보이고, 본 발명인 스플라이싱 장치에 있어서는, 이것들의 과거의 인코드 정보를 재인코드 처리시에 있어서 선택적으로 사용한다.
이 스플라이스 컨트롤러(13)는, 스트림 카운터(11)에서 출력된 카운트 값, 스트림 해석부(12)로부터 출력된 인코드 정보, 재인코드 구간을 설정하기 위한 파라미터(n0, m0) 및 스플라이스 포인트를 지시하기 위한 파라미터(p0)를 받아, 그것들 정보에 근거하여, 스위치(15), MPEG 인코더(16) 및 스위치(17)를 제어한다. 구체적으로는, 스플라이스 컨트롤러(13)는, 입력된 파라미터(p0)에 따라서 스위치(15)의 스위칭 타이밍을 제어하고, 파라미터(n0, mo, p0)에 따라서 스위치(17)의 스위칭 타이밍을 제어하도록 되어 있다.
또한, 스플라이스 컨트롤러(13)는, 스트림 카운터(11) 및 스트림 해석부(12)에서 공급된 카운트 값과 스트림 해석부(12)에서 공급된 코드 정보에 근거하여, 스플라이싱된 스트림에 의해서 VBV 버퍼가 오버플로/언더플로하지 않도록 함과 동시에, 스플라이싱된 스트림에 의해서 VBV 버퍼의 데이터 점유량의 궤적이 불연속이 되지 않도록, 재인코드 구간 내의 각 픽처에 대하여 새로운 목표 부호량을 연산한다.
나아가, 스플라이스 컨트롤러(13)는, 예를 들면, 버퍼 메모리(10)의 기입 어드레스 및 판독 어드레스를 제어함으로써, 버퍼 메모리(10)에 있어서의 각 스트림(STA, STB)의 지연량을 조정하고, 프리젠테이션 타임을 기준으로 하여, 각 스트림(STA, STB)의 스플라이스 포인트의 위상을 조정하도록 되어 있다.
도 20은, 도 19에 있어서의 MPEG 디코더(14A, 14B)와 MPEG 인코더(16)의 구성을 나타내는 블록도이다. 또, 이 도면에서는, MPEG 디코더(14A, 14B)를 대표하여 MPEG 디코더(14)로서 나타내고, 스트림(STA, STB)를 대표하여 스트림(ST)으로서 나타내고 있다.
MPEG 디코더(14)는, 스트림(ST)을 입력하여, 가변장 복호화하는 가변장 복호화 회로(도면에서는 VLD라고 기록한다.)(21)와, 이 가변장 복호화 회로(21)의 출력 데이터를 역양자화하는 역양자화 회로(도면에서는 IQ라고 기록한다.)(22)와, 이 역양자화 회로(22)의 출력 데이터에 대하여 역DCT(역이산 코사인변환)를 하는 역DCT 회로(도면에서는 IDCT라고 기록한다.)(23)와, 이 역DCT 회로(23)의 출력 데이터와 예측화상 데이터를 가산하는 가산회로(24)와, 역DCT 회로(23)의 출력 데이터와 가산회로(24)의 출력 데이터의 한편을 선택적으로 MPEG 디코더(14)의 출력 데이터로서 출력하는 스위치(25)와, 가산회로(24)의 출력 데이터를 유지하기 위한 2개의 프레임 메모리(도면에서는, FM1, FM2라고 기록한다.)(26, 27)와, 프레임 메모리(26, 27)에 유지된 데이터와 스트림(ST)에 포함되는 움직임 벡터의 정보에 근거하여서, 움직임 보상을 하고 예측화상 데이터를 생성하여, 이 예측화상 데이터를 가산회로(24)에 출력하는 움직임 보상부(도면에서는 MC라고 기록한다.)(28)를 구비하고 있다.
*MPEG 인코더(16)는, MPEG 디코더(14)로부터 공급된 출력 비디오 데이터에 대하여 인코드를 위한 전(前)처리 등을 하는 인코더 전처리부(30)를 구비하고 있다. 이 인코더 전처리부(30)는, 쌍방향 예측 부호화 방식에 의한 부호화를 위한 픽처의 순서 변경이나, 16×16화소의 매크로 블록화나, 각 픽처의 부호화 난이도의 연산 등의 처리를 하도록 되어 있다.
MPEG 인코더(16)는, 나아가, 인코더 전처리부(30)의 출력 데이터와 예측화상 데이터와의 차분을 취하는 감산회로(31)와, 인코더 전처리부(30)의 출력 데이터와 감산회로(31)의 출력 데이터의 한편을 선택적으로 출력하는 스위치(32)와, 이 스위치(32)의 출력 데이터에 대하여, DCT(이산 코사인변환) 블록 단위로 DCT를 하여, DCT 계수를 출력하는 DCT 회로(도면에서는 DCT라고 기록한다.)(33)와, 이 DCT 회로(33)의 출력 데이터를 양자화하는 양자화 회로(도면에서는 Q라고 기록한다.)(34)와, 이 양자화 회로(34)의 출력 데이터를 가변장 부호화하여, 재인코드 스트림(STRE)으로서 출력하는 가변장 부호화 회로(도면에서는 VLC라고 기록한다.)(35)를 구비하고 있다.
MPEG 인코더(16)는, 나아가, 양자화 회로(34)의 출력 데이터를 역양자화하는 역양자화 회로(도면에서는 IQ라고 기록한다.)(36)와, 이 역양자화 회로(36)의 출력 데이터에 대하여 역DCT를 하는 역DCT 회로(도면에서는 IDCT라고 기록한다.)(37)와, 이 역DCT 회로(37)의 출력 데이터와 예측화상 데이터를 가산하여 출력하는 가산회로(38)와, 이 가산회로(38)의 출력 데이터를 유지하기 위한 2개의 프레임 메모리(도면에서는, FM1, FM2라고 기록한다.)(39, 40)와, 프레임 메모리(39, 40)에 유지된 데이터와 움직임 벡터 정보에 근거하여서, 움직임 보상을 하고 예측화상 데이터를 생성하며, 이 예측화상 데이터를 감산회로(31) 및 가산회로(38)에 출력하는 움직임 보상부(도면에서는 MC이라고 기록한다.)(41)를 구비하고 있다.
MPEG 인코더(16)는, 나아가, 프레임 메모리(39, 40)에 유지된 데이터와 인코더 전처리부(30)의 출력 데이터에 근거하여서 움직임 벡터를 검출하고, 움직임 벡터 정보를 출력하는 움직임 검출회로(도면에서는 ME라고 기록한다.)(42)와, 스플라이스 컨트롤러(13)로부터 공급된 인코드 정보와 목표 부호량을 받아, 이것들의 정보에 근거하여, 양자화 회로(34), 역양자화 회로(36) 및 프레임 메모리(39, 40)를 제어하는 인코드 컨트롤러(43)와, 이 인코드 컨트롤러(43)에 의해서 제어되어, 인코드 컨트롤러(43)로부터 출력되는 움직임 벡터의 정보와 움직임 검출회로(42)로부터 출력되는 움직임 벡터 정보의 한편을 선택적으로 움직임 보상부(41)에 대하여 출력하는 스위치(44)를 구비하고 있다.
다음에, 도 20에 나타낸 MPEG 디코더(14) 및 MPEG 인코더(16)의 동작의 개략에 관해서 설명한다.
우선, MPEG 디코더(14)에서는, 스트림(ST)은, 가변장 복호화 회로(21)에 의해서 가변장 복호화되고, 역양자화 회로(22)에 의해서 역양자화되며, 역DCT 회로(23)에 의해서 역DCT가 행하여져, 역DCT 회로(23)의 출력 데이터가 가산회로(24) 및 스위치(25)에 입력된다. I 픽처의 경우에는, 역DCT 회로(23)의 출력 데이터가, 스위치(25)를 개재시켜 MPEG 디코더(14)의 출력 데이터로서 출력된다. P 픽처 또는 B 픽처의 경우에는, 가산회로(24)에 의해서 역DCT 회로(23)의 출력 데이터와 움직임 보상부(28)에서 출력되는 예측화상 데이터가 가산되어 P 픽처 또는 B 픽처가 재현되고, 가산회로(24)의 출력 데이터가, 스위치(25)를 개재시켜 MPEG 디코더(14)의 출력 데이터로서 출력된다. 또한, I 픽처 또는 P 픽처는, 적절히 프레임 메모리(26, 27)에 유지되어, 움직임 보상부(28)에 의한 예측화상 데이터의 생성에 이용된다.
한편, MPEG 인코더(16)에서는, MPEG 디코더(14)의 출력 데이터는 인코더 전처리부(30)에 입력되어, 이 인코더 전처리부(30)에 의해서, 픽처의 순서 변경이나 매크로 블록화 등이 행하여진다. 여기서, 인코더 전처리부(30)는, 스플라이스 컨트롤러(13)로부터의 픽처 타입의 정보에 따라서 픽처의 순서 변경을 한다.
인코더 전처리부(30)의 출력 데이터는, 감산회로(31) 및 스위치(32)에 입력된다. I 픽처의 경우에는, 스위치(32)는, 인코더 전처리부(30)의 출력 데이터를 선택적으로 출력한다. P 픽처 또는 B 픽처의 경우에는, 감산회로(31)에 의해서 인코더 전처리부(30)의 출력 데이터로부터 움직임 보상부(41)에서 출력되는 예측화상 데이터가 감산되어, 스위치(32)는, 감산회로(31)의 출력 데이터를 선택적으로 출력한다.
스위치(32)의 출력 데이터는, DCT 회로(33)에 의해서 DCT가 행하여져, DCT 회로(33)의 출력 데이터가 양자화 회로(34)에 의해서 양자화되고, 가변장 부호화 회로(35)에 의해서 가변장 부호화되어, 스트림(STRE)으로서 출력된다.
*또한, I 픽처의 경우에는, 양자화 회로(34)의 출력 데이터는, 역양자화 회로(36)에 의해서 역양자화되고, 역DCT 회로(37)에 의해서 역DCT가 행하여져, 역DCT 회로(37)의 출력 데이터가, 프레임 메모리(39) 또는 프레임 메모리(40)에 유지된다. P 픽처의 경우에는, 양자화 회로(34)의 출력 데이터는, 역양자화 회로(36)에 의해서 역양자화되고, 역DCT 회로(37)에 의해서 역DCT가 행하여지며, 가산회로(38)에 의해서 역DCT 회로(37)의 출력 데이터와 움직임 보상부(41)로부터의 예측화상 데이터가 가산되어 프레임 메모리(39) 또는 프레임 메모리(40)에 유지된다. 프레임 메모리(39) 또는 프레임 메모리(40)에 유지된 I 픽처 또는 P 픽처는, 적절히 움직임 보상부(41)에 의한 예측화상 데이터의 생성에 이용된다. 또한, 움직임 검출회로(42)는, 프레임 메모리(39, 40)에 유지된 데이터와 인코더 전처리부(30)의 출력 데이터에 근거하여 움직임 벡터를 검출하여, 움직임 벡터의 정보를 출력한다.
인코드 컨트롤러(43)는, 스플라이스 컨트롤러(13)로부터 공급된 인코드 정보 및 각 픽처마다의 목표 부호량을 받고, 그것들 정보에 근거하여, 양자화 회로(34), 역양자화 회로(36), 프레임 메모리(39, 40) 및 스위치(44)를 제어한다.
구체적으로는, 인코드 컨트롤러(43)는, 스플라이스 컨트롤러(13)로부터 공급된 인코드 정보에 포함되어 있는 움직임 벡터를 재이용할 때에는, 그 움직임 벡터의 정보를 스위치(44)를 개재시켜 움직임 보상부(41)에 입력시키고, 스플라이스 컨트롤러(13)로부터 공급된 인코드 정보에 포함되어 있는 움직임 벡터를 재이용하지 않을 때에는 움직임 검출회로(42)에 있어서 새롭게 생성된 움직임 벡터의 정보가 움직임 보상부(41)에 입력되도록 스위치(44)를 제어한다. 또한, 인코드 컨트롤러(43)는, 스플라이스 컨트롤러(13)로부터 공급된 인코드 정보에 포함되는 픽처 타입에 근거하여서, 예측화상 데이터의 생성에 필요한 픽처가 프레임 메모리(39, 40)에 유지되도록 프레임 메모리(39, 40)를 제어한다.
나아가, 인코드 컨트롤러(43)는, 가변장 부호화 회로(35)의 발생 부호량을 감시함과 동시에, 가변장 부호화 회로(35)를 제어하도록 되어 있다. 그리고, 인코드 컨트롤러(43)는, 설정된 목표 부호량에 대하여 발생 부호량이 부족하여 VBV 버퍼가 오버플로 할 것 같을 때에는, 목표 부호량에 대한 발생 부호량의 부족 분을 보충하기 위해서 더미 데이터의 부가, 즉 스터핑을 하도록 되어 있다. 또한, 인코드 컨트롤러(43)는, 설정된 목표 부호량에 대하여 발생 부호량이 초과하여 VBV 버퍼가 언더플로 할 것 같을 때에는, 매크로 블록 단위의 부호화 처리의 정지 처리인 스킵트 매크로 블록 처리(ISO/IEC 13818-2 7.6.6)를 하도록 되어 있다.
다음에, 도 21 내지 도 26을 참조하여, 본 발명의 실시예에 있어서의 픽처의 순서 변경 제어와 움직임 보상 제어에 관해서 자세하게 설명한다.
도 21은 MPEG 디코더(14A, 14B)에 의해 디코드하여 얻어진 비디오 데이터(이하, 프리젠테이션 비디오 데이터라고 한다.)에 있어서의 스플라이스 점 및 재인코드 구간의 일례를 나타내는 설명도이다. 도 21(a)은 스트림(A(STA))에 대응하는 프리젠테이션 비디오 데이터, 도 21(b)은 스트림(B(STB))에 대응하는 프리젠테이션 비디오 데이터를 나타내고 있다. 우선, 스플라이스 점을 정할 때에는, 프리젠테이션 비디오 데이터 상에서 픽처를 지정한다. 스플라이스 포인트의 지정은, 파라미터(p0)에 의해서 한다. 또한, 스플라이스 점을 포함하는 스플라이스 점 전후의 소정구간으로서, 재인코드 구간을 설정한다. 재인코드 구간의 설정은, 파라미터(n0, m0)에 의해서 한다.
이하의 설명에서는, 도 21에 나타낸 바와 같이, 파라미터(p0)를 사용하여, 스트림(STA)에 대응하는 프리젠테이션 비디오 데이터에 있어서의 스플라이스 점의 픽처를 An- P0으로 나타내면, 스플라이스 점의 픽처(An-P0)보다도 미래의 픽처는, A(n­P0)+1, A(n-PO)+2, A(n- P0 )+3, A(n­ P0 )+4,······로 나타낼 수 있고, 스플라이스 점의 픽처 An- P0보다도 과거의 픽처는, A(n- P0 )-1, A(n- P0 )-2, A(n- P0 )-3, A(n- P0 )-4,······로 나타낼 수 있다. 마찬가지로, 스트림(STB)에 대응하는 프리젠테이션 비디오 데이터에 있어서의 스플라이스 점의 픽처를 Bm ­ P0으로 나타내면, 스플라이스 점의 픽처(B0)보다도 미래의 픽처는, B(m­ P0 )+1, B(m­ P0 )+2, B(m­ P0 )+3, B(m­ P0 )+4,……로 나타낼 수 있고, 스플라이스 점의 픽처(B0)보다도 과거의 픽처는, B(m- P0 )-1, B(m- P0 )-2, B(m- P0 )-3, B(m- P0 )-4,……로 나타낼 수 있다.
재인코드 구간은, 스트림(STA)에 대응하는 프리젠테이션 비디오 데이터에 관해서는, 스플라이스 점보다 앞에 n0매, 스트림(STB)에 대응하는 프리젠테이션 비디오 데이터에 관해서는, 스플라이스 점보다 뒤에 m0매로 한다. 따라서, 재인코드 구간은, 픽처 A(n- P0 )+ n0 내지 픽처 An- P0 픽처 Bm - P0 내지 픽처 B(m­ P0 )-m0이 된다.
본 실시예에서는, 이와 같이 설정된 재인코드 구간에 관해서, 재인코드 처리를 하도록 하고 있다. 이 재인코드 처리란 공급된 소스 부호화 스트림(STA 및 STB)을 디코드함으로써 베이스밴드 비디오 데이터에 되돌려, 스플라이스 포인트에서 이 디코드된 2개의 비디오 데이터를 연결한 후, 이 비디오 데이터를 재인코드하여, 새로운 스트림(STRE)을 작성한다고 하는 처리이다.
이 재인코드 처리에 의해서, 픽처의 순서 변경과 움직임 보상에 관한 문제는 없어진다. 이것을 이하에 설명한다.
도 22는, 도 21에 나타낸 예에 있어서의 디코드 전후의 픽처의 순서를 나타낸 것이다. 도 22에 있어서, (a)는 재인코드 구간 근방의 스트림(STA)을 나타내고, (b)는 재인코드 구간 근방의 스트림(STA)에 대응하는 프리젠테이션 비디오 데이터를 나타내고, (c)는 재인코드 구간 근방의 스트림(STB)에 대응하는 프리젠테이션 비디오 데이터를 나타내며, (d)는 재인코드 구간 근방의 스트림(STB)을 나타내고 있다. 또, 도면 중, REPA는, 스트림(STA)에 대응하는 프리젠테이션 비디오 데이터 중의 재인코드 대상 픽처를 나타내고, REPB는, 스트림(STB)에 대응하는 프리젠테이션 비디오 데이터 중의 재인코드 대상 픽처를 나타내고 있다. 또, 도면 중, 곡선의 화살표는, 예측방향을 나타내고 있다.
도 23은, 도 21 및 도 22에 나타낸 스트림(STA)과 스트림(STB)을 스플라이싱 처리한 후의 상태를 나타내고 있고, 도 23(a)은, 2개의 스트림을 스플라이싱한 후의 프리젠테이션 비디오 데이터를 나타내고, 도 23(b)은 2개의 스트림을 스플라이싱한 후의 스트림(STSP)을 나타내고 있다. 도 23(b)에 나타낸 스트림(STSP)은, 재인코드 구간에 관해서 도 23(a)에 나타낸 화상 데이터를 재인코드하여 새로운 스트림(STRE)을 생성하고, 나아가, 재인코드 구간의 앞에 있어서의 오리지널 스트림(STA)(이하, OSTA라고 기록한다.)과 재인코드 구간 내의 새로운 스트림(STRE)과 재인코드 구간의 뒤에 있어서의 오리지널 스트림(STB)(이하, OSTB라고 기록한다.)을 연결하여 형성된다. 또, 도면 중, TRE는 재인코드 기간을 나타내고 있다.
도 21 내지 도 23에 나타낸 예에서는, 스플라이스 점의 근방에 있어서, 다른 스트림에 속하는 픽처를 이용한 예측 부호화 처리는 행하여지고 있지 않으므로, 픽처의 프리젠테이션 순서에 관해서는, 문제는 발생하지 않고 있다.
다음에, 도 21 내지 도 23에 나타낸 예란, 스플라이스 포인트가 다른 타 예를, 도 24 내지 도 26에 나타낸 것이다.
도 24는 프리젠테이션 비디오 데이터에 있어서의 스플라이스 점 및 재인코드 구간의 다른 예를 나타내는 설명도이다. 도 24에 있어서, (a)는 스트림(STA)에 대응하는 프리젠테이션 비디오 데이터, (b)는 스트림(STB)에 대응하는 프리젠테이션 비디오 데이터를 나타내고 있다.
도 25는, 도 24에 나타낸 예에 있어서의 디코드 전후의 픽처의 순서를 나타낸 것이다. 도 25에 있어서, (a)는 재인코드 구간 근방의 스트림(STA)을 나타내고, (b)는 재인코드 구간 근방의 스트림(STA)에 대응하는 프리젠테이션 비디오 데이터를 나타내고, (c)는 재인코드 구간 근방의 스트림(STB)에 대응하는 프리젠테이션 비디오 데이터를 나타내며, (d)는 재인코드 구간 근방의 스트림(STB)을 나타내고 있다.
도 26은, 도 24에 나타낸 예에 있어서의 스플라이스 후의 픽처의 순서를 나타낸 것이다. 도 26에 있어서, (a)는, 도 25(b)에 나타낸 프리젠테이션 비디오 데이터와 도 25(c)에 나타낸 프리젠테이션 비디오 데이터를 연결한 후의 화상 데이터를 나타내고, (b)는 스플라이스된 스트림(STSP)을 나타내고 있다. (b)에 나타낸 스트림(STSP)은, 재인코드 구간에 관해서 (a)에 나타낸 화상 데이터를 재인코드하여 새로운 스트림(STRE)을 생성하며 나아가, 재인코드 구간의 앞에 있어서의 원래의 스트림(STA)(OSTA)과 재인코드 구간 내의 새로운 스트림(STRE)과 재인코드 구간의 뒤에 있어서의 원래의 스트림(STB)(OSTB)을 연결하여 형성된다.
도 23 내지 도 26에 나타낸 예에서는, 스플라이스 점의 픽처(Bm-P0)가 P 픽처이기 때문에, 픽처 타입의 재구성을 하지 않고 그대로 도 25(b)에 나타낸 프리젠테이션 비디오 데이터와 도 25(c)에 나타낸 프리젠테이션 비디오 데이터를 연결하면, 픽처(Bm-P0)의 재인코드시에, 다른 스트림(STA)에 속하는 픽처를 이용한 예측 부호화 처리가 행하여지고 말아, 화질 열화가 생기고 만다. 그래서, 본 실시예에서는, 스플라이스 점 근방에 있어서, 다른 스트림에 속하는 픽처를 이용한 예측 부호화 처리가 행하여지지 않도록 픽처 타입의 재구성을 한다. 도 26(a)은, 이 픽처 타입의 재구성 결과, 픽처(Bm-P0)가 P 픽처로부터 I 픽처로 바뀐 후의 상태를 나타내고 있다.
또한, 도 26(a)에서는, 픽처(An-P0)가 B 픽처로 되어 있고, 이 픽처(An-P0)는, 원래, 쌍방향에서의 예측 부호화 처리가 행하여지는 픽처이지만, 그렇게 하면, 픽처(An-P0)의 재인코드시에, 다른 스트림(STB)에 속하는 픽처를 이용한 예측 부호화 처리가 행하여지고 말아, 화질 열화가 생겨 버린다. 그래서, 본 실시예에서는, B 픽처이더라도, 재인코드시에, 다른 스트림에 속하는 픽처 측에서의 예측은 사용하지 않고 예측 부호화 처리를 한다. 따라서, 도 26(a)에 나타낸 예에서는, 픽처(An-P0)에 관해서는, 그 전의 P 픽처(A(n-P0)+1)만을 사용한 예측 부호화 처리를 한다.
이상과 같은 픽처 타입의 재구성의 설정은, 스플라이스 컨트롤러(13)에 의해서 행하여져, 픽처 타입의 재구성 설정의 정보가 MPEG 인코드(17)의 인코드 컨트롤러(43)에 주어진다. 인코드 컨트롤러(43)는, 픽처 타입의 재구성 설정에 따라서, 부호화 처리를 한다. 움직임 벡터 등의 과거의 부호화 처리에 있어서 생성된 인코드 정보의 재이용도, 픽처 타입의 재구성의 설정에 따라서 행하여진다.
또, 본 실시예에 의한 스플라이스 처리에서는, 단순한 스트림 상의 스플라이스와는 다르기 때문에, 도 25(d)에 나타낸 바와 같이 스트림(STB)에 있어서 픽처(Bm-P0)의 뒤(과거)에 존재하고 있었던 B 픽처(B(m­P0)+2 및 B(m-P0)+1)는, 도 25(C)에 나타낸 바와 같이 디코드 후에 버려지기 때문에, 재인코드 후의 픽처 열에서는 존재하지 않는다.
다음에, 도 27에서 도 30을 참조하여, 본 실시예에 있어서의 재인코드 구간 내의 화상 데이터에 대한 새로운 목표 부호량의 산출방법에 관해서 설명한다.
2개의 스트림을 단순하게 스플라이스하면, 스플라이스 포인트 후에, 스플라이스된 스트림의 VBV 버퍼가 언더플로 또는 오버플로 하여 버리거나, 또는, 스플라이스된 스트림의 VBV 버퍼의 데이터 점유량의 궤적이 불연속으로 되는 경우가 생긴다. 이들 문제점을 해결하기 위한 본 발명인 스플라이싱 장치의 재인코드 처리에 관해서 도 27에서 도 30을 참조하여 설명한다.
우선, 도 27을 참조하여, 스플라이스 스트림의 VBV 버퍼가 언더플로 및 VBV 버퍼의 데이터 점유량이 불연속이 되는 문제에 관해서 설명한다.
도 27은, 먼저 설명한 도 23에 대응하는 단순한 스플라이스 처리를 한 경우의 예이고, 도 27(a)은, 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적을 나타낸 도면이고, 도 27(b)은, 재인코드 대상 스트림(STRE')을 나타낸 도면이다. 도 27에 있어서, TRE는, 재인코드 컨트롤 기간을 나타내고, OSTA는, 오리지널 스트림(A)을 나타내고, STRE'는 재인코드의 대상이 되는 재인코드 대상 스트림을 나타내고 있다. 한편, 이 재인코드 대상 스트림(STRE')이란 실제로 재인코드된 재인코드 스트림(STRE)과는 달리, 단순한 스플라이스 처리를 한 경우에 이러한 스트림(STRE')이 되면 상정되는 스트림을 나타내고 있다. 또한, OSTB는, 오리지널 스트림(B)을 나타내고, SPVBV는, VBV 버퍼에 있어서의 스플라이스 포인트를 나타내고, SP는 스트림에 있어서의 스플라이스 포인트를 나타내고 있다.
도27(a)에 나타내어지는 바와 같이, 스플라이스 처리의 대상이 되는 스트림(STRE')의 VBV 버퍼의 궤적은, 스플라이스 포인트(SP)의 앞에서는, 스트림(A(STA))의 VBV 버퍼의 데이터 점유량의 궤적이 되고, 스플라이스 포인트(SP)의 뒤에서는, 스트림(B(STB))의 VBV 버퍼의 데이터 점유량의 궤적이 된다. 스트림(A)과 스트림(B)을 단순하게 스플라이싱하면, 스트림(A(STA))의 VBV 버퍼의 데이터 점유량의 스플라이스 포인트에 있어서의 레벨과, 스트림(B(STB))의 VBV 버퍼의 데이터 점유량의 스플라이스 포인트에 있어서의 레벨과는 다르므로, VBV 버퍼의 데이터 점유량의 궤적이 불연속이 된다.
스트림(A)의 스플라이스 포인트에 있어서의 VBV의 데이터 점유량의 궤적과, 스플라이스 포인트에 있어서의 스트림(B)의 VBV의 데이터 점유량의 궤적이 연속하고 있는 것과 같은 이음매 없는 스플라이싱을 실현하기 위해서는, 도 27(a)과 같이, 스플라이스 포인트에 있어서의 스트림(B)의 VBV의 데이터 점유량의 개시 레벨을, 스트림(A)의 스플라이스 포인트에 있어서의 VBV의 데이터 점유량의 종료 레벨에 일치시켜야 한다. 요컨대, 그것들의 레벨을 일치시키기 위해서는, 도 27(a)에 나타내어지는 예에서는, 재인코드 제어기간(TRE)에 있어서, 스트림(B)의 VBV 버퍼의 데이터 점유량의 궤적이 원래 갖고 있었을 것인 궤적보다도 레벨을 낮게 해야 한다. 한편, 이 데이터 점유량의 궤적이 원래 갖고 있었을 것인 궤적이란, 공급된 스트림(B)이 스플라이싱 처리되지 않았다고 가정한 경우의 스트림(B)에 관한 VBV 버퍼의 데이터 점유량의 궤적이고, 도 27(a)의 VBV OST_B의 연장궤적에 의해서 나타내어진다.
그 결과, 도 27(a)에 나타내어지는 바와 같이, VBV 버퍼로부터의 인출 비트량이 가장 많은 I 픽처의 인출 타이밍으로, 이 VBV 버퍼가 언더플로 하고 만다.
본 발명의 실시예에서는, 도 27(a)에 나타낸 바와 같이 VBV 버퍼의 데이터 점유량의 궤적이 스플라이스 점에서 연속하고, 또한, 스플라이스 점의 뒤에, 언더플로가 발생하지 않도록 재인코드 기간의 각 픽처에 대하여 새로운 목표 부호량을 설정하도록 하고 있다.
또한, 스플라이싱된 스트림의 VBV 버퍼의 데이터 점유량의 궤적이, 스플라이스 포인트에 있어서 연속이 되도록, 스트림(B)의 VBV 버퍼의 데이터 점유량의 궤적을 단순히 내리면, 언더플로가 발생할 뿐만 아니라, 재인코드 대상 스트림(STRE')과 오리지널 스트림(OSTB)과의 전환 포인트에서 VBV 버퍼의 데이터 점유량의 궤적이 불연속으로 되어 버린다.
본 발명의 실시예에서는, 나아가, 도 27(a)에 나타낸 바와 같이 재인코드 대상 스트림(STRE')과 오리지널 스트림(OSTB)과의 전환 포인트에서, VBV 버퍼의 데이터 점유량의 궤적이 연속하도록, 재인코드 기간의 각 픽처에 대하여 새로운 목표 부호량를 설정하도록 하고 있다. 한편, 오리지널 스트림(OSTB)에 대응하는 VBV 버퍼의 데이터 점유량의 궤적(VBVOST _B)을 제어하지 않는 이유는, 궤적(VBVOST _B)이란, 스트림(B)의 VBV 버퍼의 데이터 점유량의 궤적이 본래 갖고 있었을 것인 궤적이며, 이 궤적을 컨트롤할 수는 없기 때문이다. 왜냐하면, 이 궤적(VBVOST _B)은, 오리지널 스트림(OSTB)이 오버플로 또는 언더플로하지 않도록 결정된 최적인 궤적이고, 만일 이 최적인 궤적의 레벨을 제어하면 오버플로 또는 언더플로가 발생할 가능성이 있기 때문이다.
다음에, VBV의 언더플로의 문제에 관한 설명과 같이, 도 29를 참조하여, 스플라이스 스트림의 VBV 버퍼가 오버플로 하는 문제에 관해서 설명한다.
도 29는, 먼저 설명한 도 26에 대응하는 스플라이스 처리를 한 경우의 예이고, 도 29(a)는, 스플라이싱 스트림(STSP)의 VBV 버퍼의 데이터 점유량의 궤적을 나타낸 도면이고, 도 29(b)는, 스플라이싱 스트림(STSP)을 나타낸 도면이다. 도 29에 있어서, TRE는, 스플라이싱 제어되는 스플라이스 기간을 나타내고, OSTA는, 오리지널 스트림(A)을 나타내고, STRE는 재인코드 대상 스트림을 나타내고, OSTB는, 오리지널 스트림(B)을 나타내고, SPVBV는, VBV 버퍼에 있어서의 스플라이스 포인트를 나타내고, SP는 스트림에 있어서의 스플라이스 포인트를 나타내고 있다.
도 29(a)에 나타내는 바와 같이, 스플라이스된 재인코드 대상 스트림(STRE')의 VBV 버퍼의 궤적은, 스플라이스 포인트(SP)의 앞에서는, 스트림(A(STA))의 VBV 버퍼의 데이터 점유량의 궤적이 되고, 스플라이스 포인트(SP)의 뒤에서는, 스트림(B(STB))의 VBV 버퍼의 데이터 점유량의 궤적이 된다. 스트림(A)과 스트림(B)을 단순하게 스플라이싱하면, 스트림(A(STA))의 VBV 버퍼의 데이터 점유량의 스플라이스 포인트에 있어서의 레벨과, 스트림(B(STB))의 VBV 버퍼의 데이터 점유량의 스플라이스 포인트에 있어서의 레벨과는 다르므로, VBV 버퍼의 데이터 점유량의 궤적이 불연속이 된다.
스트림(A)의 스플라이스 포인트에 있어서의 VBV의 데이터 점유량의 궤적과, 스플라이스 포인트에 있어서의 스트림(B)의 VBV의 데이터 점유량의 궤적이 연속하고 있는 것과 같은 이음매 없는 스플라이싱을 실현하기 위해서는, 도 29(a)와 같이, 스플라이스 포인트에 있어서의 스트림(B)의 VBV의 데이터 점유량의 개시 레벨을, 스트림(A)의 스플라이스 포인트에 있어서의 VBV의 데이터 점유량의 종료 레벨에 일치시켜야 한다. 요컨대, 그것들 레벨을 일치시키기 위해서는, 도 29(a)에 나타내어지는 예에서는, 재인코드 처리 제어기간(TRE)에 있어서, 스트림(B)의 VBV 버퍼의 데이터 점유량의 궤적이 원래 갖고 있었을 것인 궤적보다도 레벨을 높게 해야 한다. 한편, 이 데이터 점유량의 궤적이 원래 갖고 있었을 것인 궤적이란, 공급된 스트림(B)이 스플라이싱 처리되지 않았다고 가정한 경우의 스트림(B)에 관한 VBV 버퍼의 데이터 점유량의 궤적이고, 도 29(a)의 VBVOST _B의 연장 궤적에 의해서 나타내어진다.
그 결과, 도 29(a)에 나타내어지는 바와 같이, VBV 버퍼로부터의 인출 비트량이 적은 B 픽처나 P 픽처의 몇 개인가가 연속하여 VBV 버퍼로부터 인출된 후에, 이 VBV 버퍼가 오버플로 하고 만다.
본 발명의 실시예에서는, 도 29(a)에 나타내는 바와 같이 VBV 버퍼의 데이터 점유량의 궤적이 스플라이스 점에서 연속하고, 또한, 스플라이스 점의 뒤에, 오버플로가 발생하지 않도록 재인코드 기간의 각 픽처에 대하여 새로운 목표 부호량을 설정하도록 하고 있다.
또한, 스플라이싱된 스트림의 VBV 버퍼의 데이터 점유량의 궤적이, 스플라이스 포인트에 있어서 연속이 되도록, 스트림(B)의 VBV 버퍼의 데이터 점유량의 궤적을 단순하게 올리면, 오버플로가 발생할 뿐만 아니라, 재인코드 대상 스트림(STRE')과 오리지널 스트림(OSTB)과의 전환 포인트에서, VBV 버퍼의 데이터 점유량의 궤적이 불연속으로 되어 버린다.
본 발명의 실시예에서는, 나아가, 도 29(a)에 나타낸 바와 같이 재인코드 대상 스트림(STRE')과 오리지널 스트림(OSTB)과의 전환 포인트에서, VBV 버퍼의 데이터 점유량의 궤적이 연속하도록 재인코드 기간의 각 픽처에 대하여 새로운 목표 부호량을 설정하도록 하고 있다. 한편, 오리지널 스트림(OSTB)에 대응하는 VBV 버퍼의 데이터 점유량의 궤적(VBVOST _B)을 제어하지 않은 이유는, 궤적(VBVOST _B)이란, 스트림(B)의 VBV 버퍼의 데이터 점유량의 궤적이 원래 갖고 있었을 것인 궤적이고, 이 궤적을 컨트롤할 수는 없기 때문이다. 왜냐하면, 이 궤적(VBVOST _B)은, 오리지널 스트림(OSTB)이 오버플로 또는 언더플로 하지 않도록 결정된 최적인 궤적이고, 만일 이 최적인 궤적의 레벨을 제어하면 오버플로 또는 언더플로가 발생할 가능성이 있기 때문이다.
다음에, 상술한 VBV 버퍼의 언더플로 또는 오버플로를 회피하는 본 발명인 스플라이스 제어방법, 및 VBV 버퍼의 데이터 점유량이 불연속이 되지 않는 본 발명인 스플라이스 제어방법에 관해서 설명한다.
도 27에서 도 30에 있어서, vbv_under는, VBV 버퍼의 언더플로량을 나타내고, vbv_over는, VBV 버퍼의 오버플로량을 나타내고, vbv_gap은, 재인코드 대상 스트림(STRE')과 오리지널 스트림(OSTB)과의 스위칭 포인트에 있어서의 VBV 버퍼의 갭 값을 나타내는 데이터이다.
우선, 스플라이스 컨트롤러(13)는, 스트림 카운터(11)로부터 공급된 스트림(A)의 비트 카운트 값 및 스트림(B)의 비트 카운트 값에 근거하여, 오리지널 스트림(OSTA)의 VBV 버퍼의 데이터 점유량의 궤적, 오리지널 스트림(OSTB)의 VBV 버퍼의 데이터 점유량의 궤적, 및 스트림(A)과 스트림(B)을 단순하게 스플라이싱한 경우의 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적을 연산한다. 각 VBV 버퍼의 데이터 점유량의 궤적의 연산은, 프리젠테이션 시간마다, 스트림 카운터(11)로부터 공급되는 비트 카운트 값으로부터, 프리젠테이션 시간에 따라서 VBV 버퍼로부터 출력되는 비트량을 감산함으로써 용이하게 연산할 수 있다. 따라서, 스플라이스 컨트롤러(13)는, 오리지널 스트림(OSTA)의 VBV 버퍼의 데이터 점유량의 궤적, 오리지널 스트림(OSTB)의 VBV 버퍼의 데이터 점유량의 궤적, 및 스트림(A)과 스트림(B)을 단순하게 스플라이싱한 경우의 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적을 가상적으로 파악할 수가 있다.
다음에, 스플라이스 컨트롤러(13)는, 가상적으로 구하여진 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적을 참조함으로써, 재인코드 대상 스트림(STRE')의 언더플로량(vbv_under) 또는 오버플로량(vbv_over)을 연산한다. 나아가, 스플라이스 컨트롤러(13)는, 가상적으로 구하여진 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적과, 오리지널 스트림(OSTB)의 VBV 버퍼의 데이터 점유량의 궤적(VBVOST _B)을 참조함으로써, 재인코드 대상 스트림(STRE')과 오리지널 스트림(OSTB)과의 스위칭 포인트에 있어서의 VBV 버퍼의 갭 값(vbv_gap)을 연산한다.
그리고, 스플라이스 컨트롤러(13)는, 이하의 식(1) 및 (2)에 의해 목표 부호량의 오프세트량(vbv_off)을 구한다.
vbv_off=-(vbv_under - vbv_gap) … (1)
vbv_off=+(vbv_over - vbv_gap) … (2)
한편, 도 27(a)에 나타낸 예의 것과 같이 VBV 버퍼가 언더플로하는 경우에는, 식(1)을 사용하여 오프세트량(vbv_off)을 연산하고, 도 29(a)에 나타낸 예와 같이 VBV 버퍼가 오버플로하는 경우에는, 식(2)을 사용하여 오프세트량(vbv_off)을 연산한다.
스플라이스 컨트롤러(13)는, 다음에, 식(1) 또는 식(2)에 의해서 구한 오프세트량(vbv_off)을 사용하여, 이하의 식(3)에 의해서, 목표 부호량(목표 비트량)(TBP0)을 구한다.
… (3)
또, 이 목표 비트량(TBP0)은, 재인코드 처리를 하는 픽처에 대하여 할당되는 목표 비트량을 나타내고 있는 값이다. (3)에 있어서, GB_A는, 스트림(A)에서의 픽처(An-P0)에서 픽처(A(n-P0)+n0)까지 어느 하나의 픽처의 비트 발생량을 나타내는 값이고, ∑GB_A(n- P0 )+i는, 픽처(An-P0)에서 픽처(A(n-P0)+n0)까지의 각 픽처의 발생 비트량을 합계한 값이다. 마찬가지로, 식(3)에 있어서, GB_B는, 스트림(B)에서의 픽처(Bm-P0)에서 픽처(B(m-P0)-m0)까지의 어느 하나의 픽처의 발생 비트량을 나타내는 값이고, ∑GB_B(m-P0)-i는, 픽처(Bm-P0)에서 픽처(B(m-P0)-m0)까지의 각 픽처의 비트 발생량을 합계한 값이다.
즉, 식(3)에 의해서 나타내어지는 목표 부호량(TBP0)은, 픽처(A(n- P0 )+ n0) 내지 픽처(B(m­P0)-m0)의 합계 발생 비트량에, VBV의 오프세트 값(vbv_off)을 가산한 값이다. 이와 같이, 오프세트 값(vbv_off)을 가산하여 목표 비트량(TBP0)을 보정함으로써, 재인코드 대상 스트림(STSP)과 오리지널 스트림(OSTB)의 전환 포인트에 있어서의 데이터 점유량의 궤적의 갭을 0으로 할 수 있다. 그러므로, 이음매가 없는 심리스(seamless) 스플라이싱을 실현할 수가 있다.
다음에, 스플라이스 컨트롤러(13)는, 식(3)에 근거하여 얻어진 목표 비트량(TBP0)을, 픽처(A(n­ P0 )+ n0) 내지 픽처(B(m­P0)-m0)에 대하여 할당한다. 통상은, 목표 비트량(TBP0)을, 단순하게 I 픽처 : P 픽처 : B 픽처가 4 : 2 : 1의 비율이 되게 분배하도록, 각 픽처의 양자화 특성을 결정하고 있다.
그러나, 본 발명인 스플라이싱 장치에서는, 단순하게 I 픽처 : P 픽처 : B 픽처에 대하여 4 : 2 : 1의 고정비율로 목표 비트량(TBP0)을 분배하는 것과 같은 양자화 특성를 사용하는 것은 아니고, 각 픽처(A(n- P0 )+ n0) 내지 픽처(B(m-P0)-m0)의 과거의 양자화 스텝 및 양자화 매트릭스 등의 양자화 특성을 참조하여, 새로운 양자화 특성을 결정한다. 구체적으로는, 인코드 컨트롤러(43)는, 스트림(A) 및 스트림(B)에 포함되어 있는 양자화 스텝이나 양자화 매트릭스의 정보를 참조하여, 인코더(1A, 1B)에 있어서의 과거의 인코드 처리시의 양자화 특성과 크게 다를 일이 없도록, 재인코드시의 양자화 특성을 결정한다. 단지, 픽처의 재구성에 의해 픽처 타입이 변경된 픽처에 관해서는, 양자화 스텝이나 양자화 매트릭스의 정보를 참조하지 않고서, 재인코드시에 새롭게 양자화 특성을 연산한다.
도 28은, 도 27에 있어서 설명한 VBV 버퍼의 언더플로의 문제를 해결하기 위해서, 스플라이스 컨트롤러(13)에 있어서 연산된 목표 비트량(TBP0)에 의해서 재인코드 처리를 한 경우의 VBV 버퍼의 데이터 점유량을 나타내기 위한 도면이다. 또한, 도 30은, 도 29에 있어서 설명한 VBV 버퍼의 오버플로의 문제를 해결하기 위해서, 스플라이스 컨트롤러(13)에 있어서 연산된 목표 비트량(TBP0)에 의해서 재인코드 처리를 한 경우의 VBV 버퍼의 데이터 점유량을 나타내기 위한 도면이다.
그러므로, 재인코드된 후의 재인코드 스트림(STRE)은, 도 28 및 도 30에 나타내는 바와 같이, 도 27(a)에 있어서의 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적과, 도 28(a)에 있어서의 재인코드 스트림(STRE)의 VBV 버퍼의 데이터 점유량의 궤적과는 닮은 궤적이 되고, 도 29(a)에 있어서의 재인코드 대상 스트림(STRB')의 VBV 버퍼의 데이터 점유량의 궤적과, 도 30(a)에 있어서의 재인코드 스트림(STRE)의 VBV 버퍼의 데이터 점유량의 궤적과는 닮은 궤적이 된다.
다음에, 본 실시예에 관련되는 스플라이싱 장치 및 편집장치의 동작에 관해서, 도 31 및 도 32를 참조하여 설명한다. 또한, 본 실시예는, ISO13818-2, ISO11172-2의 Annex C의 규정과 ISO13818-1의 Annex L의 규정을 만족시키고 있는 것이다.
우선, 스텝(S10)에 있어서, 스플라이스 컨트롤러(13)는, 스트림(STA, STB)을 임의의 픽처 위치에서 스플라이스하기 위한 스플라이스 포인트(P0) 및 스플라이싱 처리에 있어서의 재인코드 구간(n0, m0)을 받아들인다. 실제로는, 오퍼레이터가 외부에서 이것들 파라미터를 입력하게 되지만, 재인코드 구간(n0, m0)에 관해서는, 스트림의 GOP의 구성 등에 따라서 자동으로 설정하도록 하여도 된다. 또, 이하의 설명에서는, 스플라이스 점에서, 스트림(STA)에서 스트림(STB)으로 전환하는 경우를 예로 들어 설명하는데, 물론 반대이어도 괜찮다.
*스텝(S11)에 있어서, 스플라이스 컨트롤러(13)는, 스트림(STA) 및 스트림(STB)을, 각각, 버퍼 메모리(10)에 일시적으로 기억되도록 버퍼 메모리(10)의 기입 동작을 제어함과 동시에, 프리젠테이션 타임을 기준으로 하여 스트림(STA) 및 스트림(STB)의 스플라이싱 포인트의 위상이 동기(同期)하도록, 버퍼 메모리(10)의 판독 동작을 제어한다.
스텝(S12)에 있어서, 스플라이스 컨트롤러(13)는, 스트림(STA)에 설정된 스플라이스 포인트의 픽처(An-P0)보다도 미래의 픽처를 출력하지 않도록, 스트림(STA)의 픽처를 선택하고, 스트림(STB)에 설정된 스플라이스 포인트의 픽처(Bm-P0)보다도 과거의 픽처를 출력하지 않도록, 스트림(STB)의 픽처를 선택한다. 예를 들면, 도 25(a) 및 도 25(b)에 나타내어진 예에서는, 픽처(A(n-P0)-2)인 P 픽처는, 스트림(STA) 상에서는, 스플라이스 포인트의 픽처(An-P0)보다는 과거이지만, 프리젠테이션 순서에서는, 픽처(An-P0)보다는 미래의 픽처이다. 그러므로, 이 픽처(A(n-P0)-2)인 P 픽처는, 출력되지 않는다. 또한, 도 25(c) 및 (d)에 나타내어진 예에서는, 픽처(B(m- P0 )+2) 및 픽처B((m- P0 )+1)인 B 픽처는, 스트림(STB) 상에서는, 스플라이스 포인트의 픽처(Bm ­P0)보다는 미래이지만, 프리젠테이션 순서에서는, 픽처(Bm­P0)보다는 과거의 픽처이다. 그러므로, 이 픽처(B(m- P0 )+2) 및 픽처(B(m-P0)+1)인 B 픽처는 출력되지 않는다. 또, 스플라이스 컨트롤러(13)가 디코더(14A, 14B)를 제어함으로써, 이 스텝에 있어서 선택되지 않았던 픽처는, 인코더(16)에는 공급되지 않는다.
이와 같이, 프리젠테이션 순서를 기준으로서 출력해야 할 픽처를 선택하고 있으므로, 스플라이싱 처리를 하였다고 해도 도 9에 있어서 설명하였던 것과 같은 프리젠테이션 순서에 관한 문제는 발생하는 일이 없다.
스텝(S13)에 있어서, 스플라이스 컨트롤러(13)는, 재인코드 처리를 할 때의, 픽처의 재구성 처리를 위해 필요한 부호화 파라미터를 설정하기 위한 처리를 시작한다. 이 픽처 재구성 처리는, 이하의 스텝(S14)에서 스텝(S30)까지 처리한 것을 의미하고, 이 처리에 있어서 설정되는 파라미터는, 픽처 타입, 예측방향 및 움직임 벡터 등이다.
스텝(S14)에 있어서, 스플라이스 컨트롤러(13)는, 픽처 재구성 처리의 대상으로 되어 있는 픽처가 스플라이스 포인트의 픽처(An-P0)인가 아닌가를 판단한다. 만일, 픽처 재구성 처리의 대상으로 되어있는 픽처가 스플라이스 포인트의 픽처(An-P0)인 경우에는, 다음 스텝(S15)으로 진행한다. 한편, 그렇지 않은 경우, 요컨대, 픽처 재구성 처리의 대상으로 되어있는 픽처가 픽처(A(n­P0)+n0)에서 픽처(A(n­P0)+1)인 경우에는, 스텝(S20)으로 진행한다.
스텝(S15)에 있어서, 스플라이스 컨트롤러(13)는, 픽처 재구성 처리의 대상으로 되어 있는 픽처가, B 픽처인가, P 픽처인가, 또는 I 픽처인가를 판단한다. 픽처 재구성 처리의 대상으로 되어있는 픽처가, B 픽처인 경우에는, 스텝(S17)으로 진행하고, 픽처 재구성 처리의 대상으로 되어있는 픽처가, P 또는 I 픽처인 경우에는, 스텝(S18)에 진행한다.
스텝(S16)에서는, 스플라이스 컨트롤러(13)는, 스플라이싱된 스플라이스 스트림(STSP)에 있어서, 픽처(An-P0)의 앞에 2개 이상의 B 픽처가 존재하는가 아닌가를 판단한다. 예를 들면, 도 26(b)에 나타내는 바와 같이, 픽처(An-P0)의 앞에, 2개의 B 픽처(픽처(A(n­P0)+2)와 픽처(A(n­ P0 )+3))가 있는 경우에는, 스텝(S18)에 진행한다. 그렇지 않는 경우에는, 스텝(S17)에 진행한다.
스텝(S17)에서는, 스플라이스 컨트롤러(13)는, 픽처(An-P0)의 픽처 타입의 변경 필요는 없음이라고 판단하여, 픽처(An-P0)의 재인코드 처리시에 있어서의 픽처 타입으로서, 인코더(1A)에서의 과거의 인코드 처리에 있어서 설정된 픽처 타입(B 픽처)과 같은 픽처 타입을 설정한다. 그러므로, 후술하는 재인코드 처리시에, 픽처(An-P0)를 다시 B 픽처로서 부호화하게 된다.
스텝(S18)에 있어서, 스플라이스 컨트롤러(13)는, 픽처(An-P0)의 픽처 타입을 B 픽처에서 P 픽처로 변경한다. 이와 같이 픽처 타입을 변경하는 이유에 관해서 설명한다. 이 스텝(S18)의 스텝에 도달한다는 것은, B 픽처(픽처(An-P0))의 앞에, 2개의 B 픽처(도 8에 있어서의 픽처(A(n-P0)+2)와 픽처(A(n- P0 )+3))가 존재하고 있는 것을 의미하고 있다. 즉, 재인코드 대상 스트림(STRE')에 있어서, 3개의 B픽처가 나란히 있다는 것이다. 통상의 MPEG 디코더에서는, 예측되고 있는 픽처를 일시적으로 기억하기 위해서, 2개의 프레임 메모리밖에 갖고 있지 않으므로, 3개의 B 픽처가 스트림 상에 있어서 연속하여 배열되어 있는 경우에는, 최후의 B 픽처를 디코드할 수 없게 되어 버린다. 그러므로, 도 26에 있어서 설명한 바와 같이, 픽처(An-P0)의 픽처 타입을 B 픽처에서 P 픽처로 변경함으로써, 픽처(An-P0)를 확실하게 디코드할 수 있다.
스텝(S19)에서는, 스플라이스 컨트롤러(13)는, 픽처(An-P0)의 픽처 타입의 변경 필요는 없음이라고 판단하고, 픽처(An-P0)의 재인코드 처리시에 있어서의 픽처 타입으로서, 인코더(1A)에서의 과거의 인코드 처리에 있어서 설정된 픽처 타입(I 픽처 또는 P 픽처)과 같은 픽처 타입을 설정한다.
스텝(S20)에서는, 스플라이스 컨트롤러(13)는, 픽처(An-P0)의 픽처 타입의 변경의 필요는 없음이라고 판단하고, 픽처(An-P0)의 재인코드 처리시에 있어서의 픽처 타입으로서, 인코더(1A)에서의 과거의 인코드 처리에 있어서 설정된 픽처 타입(I 픽처, P 픽처 또는 B 픽처)과 동일한 픽처 타입을 설정한다.
스텝(S21)에서는, 스플라이스 컨트롤러(13)는, 각 픽처에 대하여 예측방향의 설정 및 움직임 벡터에 관한 파라미터의 설정을 한다. 예를 들면, 도 25 및 도 26의 예에 있어서 나타내어져 있는 바와 같이, 픽처 재구성 처리의 대상으로 되어 있는 픽처(An-P0)가 오리지널 스트림(OSTA)에 있어서 B 픽처이던 경우에는, 픽처 재구성 처리의 대상으로 되어 있는 픽처(An-P0)는, A(n- P0 )+1의 P 픽처 및 A(n- P0 )-2의 P 픽처의 양편의 픽처로부터 쌍방향 예측되고 있던 픽처이다. 요컨대, 인코더(1A)에서의 과거의 인코드 처리에 있어서, 픽처(An-P0)는, A(n- P0 )+1의 P 픽처 및 A(n- P0 )-2의 P 픽처의 양편의 픽처로부터 쌍방향 예측되어 생성된 픽처라는 것이다. 스텝(S12)에 있어서 설명한 바와 같이, A(n- P0 )-2의 P 픽처는 스플라이싱 스트림에서는 출력되지 않으므로, 픽처 재구성 처리의 대상으로 되어 있는 픽처(An-P0)의 역방향 예측 픽처로서, A(n- P0 )-2의 P 픽처를 지정할 수는 없다.
그러므로, 스텝(S17)에 있어서 픽처 타입의 변경 없음으로 설정된 픽처(An-P0)(B 픽처)에 대해서는, A(n- P0 )+1의 P 픽처만을 예측하는 것과 같은 순방향 한 쪽 예측이 행하여져야 한다. 따라서, 이 경우에는, 스플라이스 컨트롤러(13)는, 픽처(An-P0)에 대하여, A(n- P0 )+1의 P 픽처만을 예측하는 것과 같은 순방향의 한 쪽 예측을 설정한다. 또한, 스텝(S18)에 있어서 B 픽처에서 P 픽처로 변경된 픽처(An-P0)에 관해서도, 마찬가지로, A(n- P0 )+1의 P 픽처만을 예측하는 것과 같은 한 쪽 예측의 파라미터를 설정한다.
스텝(S19)에 있어서 픽처 타입의 변경 없음으로 설정된 픽처(An-P0)(P 픽처)에 있어서는, 예측방향은 변경되지 않는다. 요컨대 이 경우에는, 스플라이스 컨트롤러(13)는, 픽처(An-P0)에 대하여, 인코더(1A)에서의 과거의 인코드 처리시에 예측한 픽처와 같은 픽처만을 예측하는 것과 같은 순방향의 한 쪽 예측을 설정한다.
스텝(S20)에 있어서 픽처 타입의 변경 없음으로 설정된 픽처(A(n-P0)+n0)에서 픽처(A(n-P0)+1)의 픽처에 관해서는, 예측방향의 변경은 필요 없다. 요컨대 이 경우에는, 스플라이스 컨트롤러(13)는, 픽처(A(n-P0)+n0)에서 픽처(A(n-P0)+1)에 대하여, 인코더(1A)에 있어서의 과거의 인코드 처리시에 예측한 픽처와 같은 픽처를 예측하는 것과 같은 예측방향을 설정한다. 단지, 픽처(A(n- P0 )+1) 및 픽처(An-P0)의 양 픽처가, 순방향의 P 픽처 또는 I 픽처와, 역방향의 I 픽처 또는 P 픽처의 쌍방향의 픽처로부터 예측되어 있는 B 픽처인 경우에는, 픽처(An-P0)뿐만 아니라, 픽처(A(n-P0)+1)도 순방향의 픽처에서만 예측하는 것과 같은 한 쪽 예측으로 변경되어야 한다.
나아가, 이 스텝(S21)에 있어서, 스플라이스 컨트롤러(13)는, 새롭게 설정된 예측방향에 근거하여, 각 픽처에 대하여 인코더(1A)에서의 과거의 인코드 처리에 의해서 설정된 움직임 벡터를, 재인코드 처리시에 재이용할 것인가 아닌가를 결정한다.
상술한 바와 같이 예측방향의 변경이 없던 P 픽처나 B 픽처에 관해서는, 재인코드 처리시에 있어서, 인코더(1A)에서의 과거의 인코드 처리에 사용한 움직임 벡터를 그대로 사용한다. 예를 들면, 도 23 및 도 26에 나타낸 예에서는, 픽처(A(n-P0)+n0)로부터 픽처(A(n-P0)+1)에 관해서는, 각각 인코더(1A)에서의 과거의 인코드 처리에 사용한 움직임 벡터를, 재인코드시에 재이용한다.
또한, 픽처(An- P0 )+1) 및 픽처(An-P0)가, 순방향의 P 픽처 또는 I 픽처와, 역방향의 I 픽처 또는 P 픽처의 쌍방향으로부터 예측되어 있는 B 픽처인 경우에는, 순방향의 픽처에서만 예측하는 것과 같은 한 쪽 예측으로 변경되어 있으므로, 그에 따라, 순방향의 픽처에 대응하는 움직임 벡터만을 사용할 필요가 있다. 요컨대, 스플라이스 컨트롤러(13)는, 이 스텝(S21)에 있어서, 픽처(A(n- P0 )+1) 및 픽처(An-P0)가 B 픽처인 경우에는, 이것들 픽처에 대하여, 순방향의 픽처에 관한 움직임 벡터를 사용하여, 역방향의 픽처의 움직임 벡터를 하지 않는다고 하는 설정을 한다.
만일, 인코더(1A)에서의 과거의 인코드 처리에 있어서, 픽처(An-P0)가 미래의 픽처인 A(n- P0 )-2로부터만 역방향의 한 쪽 예측되어 있던 픽처이었다면, 재인코드 처리시에 있어서, 인코더(1A)에서의 과거의 인코드 처리시에 생성한 움직임 벡터는 일체 사용하지 않고, A(n- P0 )+1에 대응하는 새로운 움직임 벡터를 생성한다. 요컨대, 스플라이스 컨트롤러(13)는, 이 스텝(S21)에 있어서, 과거의 움직임 벡터를 일체 사용하지 않는다고 하는 설정을 한다.
다음에, 스텝(S22)에 있어서, 스플라이스 컨트롤러(13)는, 픽처(A(n-P0)+n0)로부터 픽처(An-P0)의 모든 픽처에 대하여, 픽처 타입, 예측방향 및 과거의 움직임 벡터에 관한 파라미터가 설정되었는가 아닌가를 판단한다.
스텝(S23)에 있어서, 스플라이스 컨트롤러(13)는, 픽처 재구성 처리의 대상으로 되어 있는 픽처가 스플라이스 포인트의 픽처(Bm-P0)인가 아닌가를 판단한다. 만일, 픽처 재구성 처리의 대상으로 되어 있는 픽처가 스플라이스 포인트의 픽처(Bm-P0)인 경우에는, 다음 스텝(S24)에 진행한다. 한편, 그렇지 않은 경우, 요컨대, 픽처 재구성 처리의 대상으로 되어 있는 픽처가 픽처(B(m-P0)-1)에서 픽처(B(m-P0)+m0)인 경우에는, 스텝(S28)에 진행한다.
스텝(S24)에 있어서, 스플라이스 컨트롤러(13)는, 픽처 재구성 처리의 대상으로 되어 있는 픽처가, B 픽처인가, P 픽처인가, 또는 I 픽처인가를 판단한다. 픽처 재구성 처리의 대상으로 되어 있는 픽처가, B 픽처인 경우에는, 스텝(S25)에 진행하고, 픽처 재구성 처리의 대상으로 되어 있는 픽처가, P 픽처인 경우에는, 스텝(S26)에 진행하고, 픽처 재구성 처리의 대상으로 되어 있는 픽처가 I 픽처인 경우에는, 스텝(S27)에 진행한다.
스텝(S25)에서는, 스플라이스 컨트롤러(13)는, 도 22 및 도 23에 나타내어진 예와 같이, 재인코드 처리시에 있어서의 픽처(Bm-P0)의 픽처 타입의 변경은 필요 없음이라고 판단하고, 픽처(Bm-P0)의 재인코드 처리시에 있어서의 픽처 타입으로서, 인코더(1B)에서의 과거의 인코드 처리에 있어서 설정된 픽처 타입(B 픽처)과 같은 픽처 타입을 설정한다.
스텝(S26)에 있어서, 스플라이스 컨트롤러(13)는, 도 25 및 도 26에 나타낸 예와 같이, 픽처(Bm-P0)의 픽처 타입을 P 픽처에서 I 픽처로 변경한다. 이와 같이 픽처 타입을 변경하는 이유에 관해서 설명한다. P 픽처는, 순방향의 I 픽처 또는 P 픽처로부터 예측되는 한 쪽 예측의 픽처이므로, 스트림 상에 있어 그것들 예측된 픽처보다는 반드시 뒤의 위치에 존재하는 픽처이다. 만일, 스트림(STB)에서의 스플라이스 포인트의 최초의 픽처(Bm-P0)가 P 픽처라고 하면, 이 픽처(Bm-P0)보다 앞에 존재하는 스트림(STA)의 순방향의 픽처로부터 예측해야 한다. 스트림(STA)과 스트림(STB)은 전혀 다르므로, 최초의 픽처(Bm-P0)의 픽처 타입을 P 픽처로 설정하면, 이 픽처를 디코드하였다고 해도 화질이 상당히 열화한 그림이 되는 것은 분명하다.
그러므로, 스플라이스 컨트롤러(13)는, 스트림(STB)에서의 스플라이스 포인트의 최초의 픽처(Bm-P0)의 픽처 타입이 P 픽처이었던 경우에는, 이 픽처(Bm-P0)의 픽처 타입을 I 픽처로 변경한다.
스텝(S27)에 있어서, 스플라이스 컨트롤러(13)는, 픽처(Bm-P0)의 픽처 타입의 변경 필요는 없음이라고 판단하고, 픽처(Bm-P0)의 재인코드 처리시에 있어서의 픽처 타입으로서, 인코더(1B)에서의 과거의 인코드 처리에 있어서 설정된 픽처 타입(I 픽처)과 같은 픽처 타입을 설정한다.
스텝(S28)에서는, 스플라이스 컨트롤러(13)는, 픽처(B(m-P0)-1)로부터 픽처(B(m-P0)-m0)의 픽처 타입의 변경 필요는 없음이라고 판단하고, 그것들 픽처의 재인코드 처리시에 있어서의 픽처 타입으로서, 인코더(1B)에서의 과거의 인코드 처리에 있어서 설정된 픽처 타입(I 픽처, P 픽처 또는 B 픽처)과 같은 픽처 타입을 설정한다.
스텝(S29)에서는, 스플라이스 컨트롤러(13)는, 각 픽처에 대하여 예측방향의 설정 및 움직임 벡터에 관한 설정을 한다. 예를 들면, 도 22 및 도 23에 나타낸 예와 같이, 픽처 재구성 처리의 대상으로 되어 있는 픽처(Bm-P0)가 오리지널 스트림(OSTB)에서 B 픽처이던 경우에는, 픽처 재구성 처리의 대상으로 되어 있는 픽처(Bm -P0)는, B(m- P0 )+1의 P 픽처 및 B(m- P0 )-2의 I 픽처의 양편의 픽처로부터 쌍방향 예측되어 있던 픽처이다. 요컨대, 인코더(1B)에서의 과거의 인코드 처리에 있어서, 픽처(Bm -P0)는, B(m- P0 )+1의 P 픽처 및 B(m- P0 )-2의 I 픽처의 양편 픽처로부터 쌍방향 예측되어 생성된 픽처라고 하는 것이다. 스텝(S12)에 있어서 설명한 바와 같이, B(m- P0 )+1의 P 픽처는 스플라이싱 스트림으로서는 출력되지 않으므로, 픽처 재구성 처리의 대상으로 되어 있는 픽처(Bm-P0)의 순방향 예측 픽처로서, B(m- P0 )+1의 P 픽처를 지정할 수는 없다.
그러므로, 스텝(S25)에 있어서 픽처 타입의 변경 없음으로 설정된 픽처(Bm -P0)(B 픽처)에 대해서는, B(m- P0 )-2의 I 픽처만을 예측하는 것과 같은 역방향 한 쪽 예측이 행하여져야 한다. 그러므로 이 경우에는, 스플라이스 컨트롤러(13)는, 픽처(Bm-P0)에 대하여, B(m- P0 )-2의 I 픽처만을 예측하는 것과 같은 역방향의 한 쪽 예측을 하도록 예측방향을 설정한다.
스텝(S28)에 있어서 픽처 타입의 변경 없음으로 설정된 픽처(B(m-P0)+m0)에서 픽처(B(m-P0)+1)의 픽처에 관해서는, 예측방향의 변경은 필요 없다. 요컨대 이 경우에는, 스플라이스 컨트롤러(13)는, 픽처(B(m-P0)+m0)로부터 픽처(B(m-P0)+1)에 대하여, 인코더(1B)에서의 과거의 인코드 처리시에 예측한 픽처와 같은 픽처를 예측하는 것과 같은 예측방향을 설정한다. 단지, B(m- P0 )-1이 B 픽처인 경우에는, 픽처(Bm-P0)의 경우와 같이, 픽처(B(m-P0)-1)에 대하여, B(m- P0 )-2의 I 픽처만을 예측하는 것과 같은 역방향의 한 쪽 예측을 하는 것과 같은 예측방향이 설정된다.
나아가, 이 스텝(S29)에 있어서, 스플라이스 컨트롤러(13)는, 새로이 설정된 예측방향에 근거하여, 각 픽처에 대하여 인코더(1B)에서의 과거의 인코드 처리에 의해서 설정된 움직임 벡터를, 재인코드 처리시에 재이용할 것인가 아닌가를 결정한다.
*상술한 바와 같이 예측방향의 변경이 없던 P 픽처나 B 픽처에 관해서는, 재인코드 처리시에 있어서, 인코더(1B)에서의 과거의 인코드 처리에 사용한 움직임 벡터를 그대로 사용한다. 예를 들면, 도 22 및 도 23에 있어서는, B(m- P0 )-2의 I 픽처로부터 B(m- P0 )-m0까지인 P 픽처까지의 각 픽처에 대해서는, 과거의 인코드시에 사용한 움직임 벡터를 그대로 사용한다.
인코더(1B)에서의 과거의 인코드 처리에 있어서, B(m- P0 )+1의 P 픽처 및 B(m- P0 )-2의 I 픽처의 양편의 픽처로부터 쌍방향 예측되어 있던 픽처(Bm - P0) 및 픽처(B(m-P0)-1)에 대해서는, B(m- P0 )-2의 I 픽처만을 예측하는 것과 같은 한 쪽 예측에 예측방향이 변경되어 있으므로, 픽처(B(m-P0)+1)에 대응하는 움직임 벡터를 사용하지 않고서, 픽처(Bm-P0)에 대해서는 픽처(B(m-P0)-2)에 대응하는 움직임 벡터만을 사용할 필요가 있다. 요컨대, 스플라이스 컨트롤러(13)는, 이 스텝(S29)에 있어서, 픽처(Bm - P0) 및 픽처(B(m-P0)-1)에 대해서는, 한 방향만의 과거의 움직임 벡터를 재사용하고, 다른 쪽의 과거의 움직임 벡터를 사용하지 않는다고 하는 설정을 한다.
다음에, 스텝(S30)에 있어서, 스플라이스 컨트롤러(13)는, 픽처(Bm-P0)에서 픽처(B(m-P0)-m0)의 모든 픽처에 대하여, 픽처 타입, 예측방향 및 움직임 벡터에 관한 파라미터가 설정되었는가 아닌가를 판단한다.
스텝(S31)에 있어서, 스플라이스 컨트롤러(13)는, 이미 설명한 식 (3)에 근거하여, 재인코드 기간에 발생해야 할 목표 비트량(TBP0)을 연산한다. 이하에 구체적으로 설명한다. 우선, 스플라이스 컨트롤러(13)는, 스트림 카운터(11)로부터 공급된 스트림(A)의 비트 카운트 값 및 스트림(B)의 비트 카운트 값에 근거하여, 오리지널 스트림(OSTA)의 VBV 버퍼의 데이터 점유량의 궤적, 오리지널 스트림(OSTB)의 VBV 버퍼의 데이터 점유량의 궤적, 및 스트림(A)과 스트림(B)을 단순하게 스플라이싱한 경우의 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적을 연산한다.
다음에, 스플라이스 컨트롤러(13)는, 가상적으로 구하여진 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적을 해석함으로써, 재인코드 대상 스트림(STRE')의 언더플로량(vbv_under) 또는 오버플로량(vbv_over)을 연산한다. 나아가, 스플라이스 컨트롤러(13)는, 가상적으로 구하여진 재인코드 대상 스트림(STRE')의 VBV 버퍼의 데이터 점유량의 궤적과, 오리지널 스트림(OSTB)의 VBV 버퍼의 데이터 점유량의 궤적(VBVOST _B)을 비교함으로써, 재인코드 대상 스트림(STRE')과 오리지널 스트림(OSTB)과의 스위칭 포인트에 있어서의 VBV 버퍼의 갭 값(vbv_gap)을 연산한다.
이어서, 스플라이스 컨트롤러(13)는, 이미 설명한 식(1) 및 (2)에 의해 목표 부호량의 오프세트량(vbv_off)을 구하고, 나아가, 식(1) 또는 식(2)에 의해서 구한 오프세트량(vbv_off)을 사용하여, 이미 설명한 식(3)에 의해서, 목표 부호량(목표 비트량)(TBP0)을 구한다.
다음에, 스텝(S32)에 있어서, 스플라이스 컨트롤러(13)는, 식(3)에 근거하여 얻어진 목표 비트량(TBP0)을, 픽처(A(n- P0 )+ n0) 내지 픽처(B(m-P0)-m0)에 대하여 할당에 근거하여, 각 픽처에 대하여 설정되는 양자화 특성을 결정한다. 본 발명인 스플라이싱 장치에서는, 각 픽처(A(n- P0 )+ n0) 내지 픽처(B(m-P0)-m0)의 인코더(1A, 1B)에서의 과거의 양자화 스텝 및 양자화 매트릭스 등의 양자화 특성을 참조하여, 새로운 양자화 특성을 결정한다. 구체적으로는, 스플라이싱 컨트롤러(13)는, 우선, 스트림(A) 및 스트림(B)에 포함되어 있는 양자화 스텝이나 양자화 매트릭스 등의 인코더(1A, 1B)에서의 과거의 부호화 처리에 있어서 생성된 부호화 파라미터 정보를 스트림 해석부(12)로부터 받는다.
그리고, 스플라이싱 컨트롤러(13)는, 식(3)에 근거하여 얻어진 목표 비트량(TBP0)을, 픽처(A(n- P0 )+ n0) 내지 픽처(B(m-P0)-m0)에 대하여 할당된 부호량에서만 양자화 특성을 결정하는 것이 아니라, 이 목표 비트량(TBP0)으로부터 할당된 부호량과 이것들의 과거의 부호화 파라미터 정보를 참조하여, 인코더(1A, 1B)에서의 인코드시의 양자화 특성과 크게 다른 일이 없도록, 재인코드시의 양자화 특성을 결정한다. 단지 스텝(S18)이나 스텝(S26)에 있어서 설명한 바와 같이, 픽처의 재구성 처리에 의해 픽처 타입이 변경된 픽처에 관해서는, 양자화 스텝이나 양자화 매트릭스의 정보를 참조하지 않고, 재인코드 처리시에 새롭게 양자화 특성을 연산한다.
다음에, 스텝(S33)에 있어서, 스플라이스 컨트롤러(13)는, 재인코드 기간에 포함되는 픽처(A(n- P0 )+ n0) 내지 픽처(B(m-P0)-m0)를 디코드한다.
다음에, 스텝(S34)에 있어서, 스플라이스 컨트롤러(13), 스텝(S32)에 있어서 각 픽처(A(n- P0 )+ n0) 내지 픽처(B(m-P0)-m0)에 대하여 각각 설정된 양자화 특성을 사용하여, 발생 비트량의 컨트롤을 하면서, 픽처(A(n- P0 )+ n0) 내지 픽처(B(m-P0)-m0)를 재인코드한다.
이 재인코드 처리에 있어서, 스플라이스 컨트롤러(13)는, 인코더(1A, 1B)에서의 과거의 인코드 처리에 있어서 사용한 움직임 벡터를 재이용하는 경우에는, 스위치(44)를 개재시켜 움직임 보상부(41)에 공급하도록 인코드 컨트롤러에게 제어신호를 주어, 인코더(1A, 1B)에서의 과거의 인코드 처리에 있어서 사용한 움직임 벡터를 사용하지 않는 경우에는, 새롭게 움직임 검출부42에 있어서 생성된 움직임 벡터를 스위치(41)를 개재시켜 움직임 보상부(41)에 공급하도록 인코드 컨트롤러(43)를 제어한다. 그 때, 인코드 컨트롤러(43)는, 스플라이스 컨트롤러(13)로부터의 픽처 타입의 정보에 근거하여서, 예측화상 데이터의 생성에 필요한 픽처가 프레임 메모리(39, 40)에 유지되도록 프레임 메모리(39, 40)를 제어한다. 또한, 인코드 컨트롤러(43)는, 스플라이스 컨트롤러(13)로부터 공급된 재인코드 구간 내의 각 픽처에 대하여 설정된 양자화 특성을, 양자화 회로(34)와 역양자화 회로(36)에 대하여 설정한다.
스텝(S35)에 있어서, 스플라이스 컨트롤러(13)는, 스위치(17)를 제어하여, 버퍼 메모리(10)에서 출력되는 스트림(STA, STB) 및 MPEG 인코더(16)에서 출력되는 재인코드 구간 내의 새로운 스트림(STRE) 중의 하나를 선택적으로 출력함으로써, 재인코드 구간의 앞에 있어서의 스트림(STA)과 재인코드 구간 내의 새로운 스트림(STRE)과 재인코드 구간의 뒤에 있어서의 스트림(STB)을 연결하여, 스플라이스된 스트림(STSP)으로서 출력한다.
본 실시예에서는, 이와 같이 MPEG 인코더(17)에 있어서 목표 비트량(TBP0)에 따라서 레이트 컨트롤하면서 재인코드를 하여 얻어진 재인코드 구간 내의 새로운 스트림(STRE)을, 스위치(17)에 의해서, 원래의 스트림에 있어서의 픽처(A(n- P0 )+ n0) 내지 픽처(B(m-P0)-m0)의 위치에 끼워 넣는다. 이에 의해, 이음매 없는 스플라이스가 실현된다.
스트림(STA)에 스트림(STB)을 스플라이스할 때, 스플라이스 후의 스트림(STB)에서, VBV 버퍼의 오버플로, 언더플로를 일으키지 않기 위해서는, 스트림(STB)의 스플라이스 후의 VBV 버퍼의 상태를, 스플라이스 이전의 상태로 맞추는 것이, 연속인 픽처 프리젠테이션을 보증하기 위한 버퍼제어 상의 조건이 된다. 본 실시예에서는, 이 조건을, 원칙으로 하여, 상기와 같은 새로운 목표 부호량(목표 비트량)의 설정에 의해서 만족시키도록 한다.
이상 설명한 바와 같이, 본 실시예에 의하면, 복수의 스트림의 스플라이스 점을 포함하는 재인코드 구간 내에서의 각 스트림을 복호화하고, 얻어진 재인코드 구간 내의 화상 데이터를 새로운 목표 부호량에 따라서 재인코드하여, 재인코드 구간 내의 새로운 스트림을 생성하고, 재인코드 구간의 전후에 있어서의 원래의 스트림과 새로운 스트림을 연결하여 출력하도록 하였으므로, 복호화 장치(IRD) 측의 VBV 버퍼를 파탄시키지 않고, 또한 스플라이스 점 전후에서 픽처 프리젠테이션이 연속으로 화상을 파탄시키는 일도 없이, 스트림 상의 임의의 픽처 단위로, 복수의 영상 소재를 이음매 없이 스플라이스할 수 있다.
또한, 본 실시예에서는, 재인코드시에, 움직임 벡터 등의 복호화 때에 사용되는 정보를 재이용하도록 하고 있다. 즉, 본 실시예에서는, 스플라이스 점 근방에 있어서, 움직임 검출이 무효가 되는 픽처 이외의 픽처에 관해서는, 이전의 인코드시에 검출된 움직임 벡터 등의 움직임 검출의 정보를 재이용하고 있으므로, 재인코드 처리에 의해서 화질이 열화하는 일은 없다.
나아가, 재인코드시에 있어서의 양자화 특성을 결정할 때에는, 복호화의 때에 사용되는 양자화 스텝이나 양자화 매트릭스의 정보를 참조하도록 하고 있다. 따라서, 본 실시예에 의하면, 디코드와 재인코드의 반복에 의한 화질의 열화를 극력 억제할 수 있어, 화상 재구성의 정밀도를 보증할 수가 있다.
또, MPEG 규격에 의한 압축 부호화 과정에서는, 직교변환의 연산 정밀도나, 부정합 처리(DCT 계수의 고역(高域)에 오차를 넣는 처리) 등의 비선형 연산에서, 복호화 때에 사용되는 정보의 재이용만으로는 억제할 수 없는 재구성 오차가 발생한다. 그 때문에, 재인코드시에, 복호화 때에 사용되는 정보를 재이용하였다고 해도 완전한 화상의 재구성은 할 수 없다. 따라서, 화질 열화가 존재하는 것을 고려하면, 디코드, 재인코드를 하는 것은, 스플라이스 점을 포함하는 스플라이스 점 근방의 일정구간의 픽처에 멈추게 해야한다. 그래서, 본 실시예에서는, 스트림을 모두 디코드, 재인코드하는 것이 아니라, 재인코드 구간을 설정하여, 그 구간만, 디코드, 재인코드를 하도록 하고 있다. 이것에 의해서도, 화질의 열화를 방지할 수가 있다. 또, 재인코드 구간은, 화질 열화의 정도 등이나 GOP장이나 GOP 구조에 따라서 자동 나옴으로 설정할 수 있도록 하여도 된다. 상기를 고려하여, 임의로 설정할 수 있다.
또, 본 발명은 상기 실시예에 한정되지 않고, 예를 들면, 재인코드 구간에 대한 새로운 목표 부호량의 산출방법은, 식(1) 내지 (3)에 나타낸 방법에 한하지 않고, 적절히 설정할 수 있다.
이상 설명한 바와 같이, 본 발명인 스플라이싱 장치 및 편집방법에 의하면, 복수의 부호화 비트 스트림의 접속점을 포함하는 접속점 전후의 소정구간 내에서의 각 부호화 비트 스트림을 복호화하고 소정구간 내의 화상 데이터를 출력하여, 소정구간 내의 화상 데이터를, 새로운 목표 부호량에 따라서 부호화하고, 소정구간 내의 새로운 부호화 비트 스트림을 출력하고, 소정구간 내의 원래의 부호화 비트 스트림을, 소정구간 내의 새로운 부호화 비트 스트림으로 바꾸고, 소정구간의 전후에 있어서의 원래의 부호화 비트 스트림과 새로운 부호화 비트 스트림을 연결하여 출력하도록 하였으므로, 복호화 장치 측의 입력버퍼에 대응하는 가상적 버퍼의 파탄이나 화상의 파탄을 초래하는 일없이, 부호화 비트 스트림 상의 임의의 픽처 단위로, 복수의 영상 소재를 접속할 수 있다고 하는 효과를 낸다.
또한, 본 발명인 스플라이싱 장치 및 편집장치에 의하면, 원래의 부호화 비트 스트림에 포함되어, 복호화 때에 사용되는 정보를 이용하여 부호화를 하도록 하였으므로, 나아가, 접속점 근방에 있어서의 화질 열화를 감소할 수 있다고 하는 효과를 낸다.
또한, 본 발명인 스플라이싱 장치 및 편집장치에 의하면, 원래의 부호화 비트 스트림이 쌍방향 예측 부호화 방식에 의한 부호화를 위해 픽처의 순서 변경이 행하여지고 있는 경우에, 소정구간 내의 화상 데이터의 부호화 때에, 다른 부호화 비트 스트림에 속하는 픽처를 이용한 예측 부호화 처리가 행하여지지 않도록 픽처 타입의 재구성을 하여 부호화를 하도록 하였으므로, 나아가, 쌍방향 예측 부호화 방식에 의한 부호화를 하는 경우이더라도 화상의 파탄을 초래하는 일이 없다고 하는 효과를 낸다.
또한, 본 발명인 스플라이싱 장치 및 편집장치에 의하면, 복호화 장치 측의 입력버퍼에 대응하는 가상적 버퍼의 데이터 점유량의 궤적 접속점 전후에 있어서의 어긋남을 줄이도록, 새로운 목표 부호량을 설정하도록 하였으므로, 나아가, 가상적 버퍼의 파탄을 보다 확실하게 방지할 수 있다고 하는 효과를 낸다.
도 1은, MPEG 규격에 따른 전송 시스템의 개략의 구성을 나타내는 블록도.
도 2는, VBV 버퍼에 관해서 설명하기 위한 설명도.
도 3은, MPEG 규격의 쌍방향 예측 부호화 방식에 있어서 필요하여지는 인코더에 있어서의 픽처의 순서 변경에 관해서 설명하기 위한 설명도.
도 4는, 인코더에 있어서의 픽처의 순서 변경과 부호화 처리와의 관계를 나타내는 설명도.
도 5는, 디코더에 있어서의 픽처의 순서 변경에 관해서 설명하기 위한 설명도.
도 6은, 디코더에 있어서의 픽처의 순서 변경과 복호화 처리와의 관계를 나타내는 설명도.
도 7은, MPEG 규격의 쌍방향 예측 부호화 방식에 있어서의 움직임 검출 및 움직임 보상에 관해서 설명하기 위한 설명도.
도 8은, 스트림의 단순한 스플라이스를 하였을 때의 스플라이스 전후의 스트림에 있어서의 픽처 순서와 스플라이스 후의 픽처 프리젠테이션 순서와의 관계의 일례를 나타내는 설명도.
도 9는, 스트림의 단순한 스플라이스를 하였을 때의 스플라이스 전후의 스트림에 있어서의 픽처 순서와 스플라이스 후의 픽처 프리젠테이션 순서와의 관계의 다른 예를 나타내는 설명도.
도 10은, 스트림의 단순한 스플라이스를 하였을 때의 스플라이스 후의 스트림에 있어서의 픽처 순서와 픽처 프리젠테이션 순서와의 관계의 일례를 나타내는 설명도.
도 11은, 스트림의 단순한 스플라이스를 하였을 때의 스플라이스 후의 스트림에 있어서의 픽처 순서와 픽처 프리젠테이션 순서와의 관계의 다른 예를 나타내는 설명도.
도 12는, 스트림의 단순한 스플라이스를 하였을 때의 스플라이스 후의 스트림에 있어서의 픽처 순서와 픽처 프리젠테이션 순서와의 관계의 또 다른 예를 나타내는 설명도.
도 13은, 픽처 프리젠테이션의 순서, 움직임 보상 및 VBV 버퍼의 조건을 만족시키는 이상적인 스트림 스플라이스의 예를 나타내는 설명도.
도 14는, VBV 버퍼의 제약을 만족시키는 정상인 스트림을 나타내는 설명도.
도 15는, VBV 버퍼의 제약을 만족시키는 정상인 다른 스트림을 나타내는 설명도.
도 16은, 2개의 스트림을 임의의 위치에서 단순하게 스플라이스한 경우의 일례를 설명하기 위한 설명도.
도 17은, 2개의 스트림을 임의의 위치에서 단순하게 스플라이스한 경우의 다른 예를 설명하기 위한 설명도.
도 18은, 2개의 스트림을 임의의 위치에서 단순하게 스플라이스한 경우의 또 다른 예를 설명하기 위한 설명도.
도 19는, 본 발명의 한 실시예에 관련되는 스플라이싱 장치 및 스트림 편집장치의 구성을 나타내는 블록도.
도 20은, 도 19에 있어서의 MPEG 디코더와 MPEG 인코더의 구성을 나타내는 블록도.
도 21은, 도 19에 있어서의 MPEG 디코더에 의해 디코드하여 얻어진 프리젠테이션 비디오 데이터에 있어서의 스플라이스 점 및 재인코드 구간의 일례를 나타내는 설명도.
도 22는, 도 21에 나타낸 예에 있어서의 2개 스트림의 디코드 전후의 픽처 순서를 나타내는 설명도.
도 23은, 도 21에 나타낸 예에 있어서의 스플라이스 후의 스플라이스 스트림의 픽처 순서를 나타내는 설명도.
도 24는, 도 19에 있어서의 MPEG 디코더에 의해 디코드하여 얻어진 프리젠테이션 비디오 데이터에 있어서의 스플라이스 점 및 재인코드 구간의 다른 예를 나타내는 설명도.
도 25는, 도 24에 나타낸 예에 있어서의 디코드 전후의 2개 스트림의 픽처 순서를 나타내는 설명도.
도 26은, 도 24에 나타낸 예에 있어서의 스플라이스 후의 스플라이스 스트림의 픽처 순서를 나타내는 설명도.
도 27은, VBV 버퍼의 데이터 점유량에 언더플로가 생기는 예를 나타내는 설명도.
도 28은, 도 27에 있어서 설명한 언더플로를, 본 발명인 스플라이싱 장치에 의해서 개선한 예를 나타내는 설명도.
도 28은, VBV 버퍼의 데이터 점유량에 오버플로가 생기는 예를 나타내는 설명도.
도 29는, 도 28에 있어서 설명한 오버플로를, 본 발명인 스플라이싱 장치에 의해서 개선한 예를 나타내는 설명도.
도 30은 본 발명의 스플라이싱 장치를 도시하는 설명도.
도 31 및 32는 본 발명의 스트림 편집장치의 동작을 설명하는 플로차트.

Claims (37)

  1. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속점에서 접속하는 편집 장치에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 제 1 화상 데이터를 생성하는 동시에, 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여, 제 2 화상 데이터를 생성하는 복호 수단과,
    상기 제 1 및 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 수단과,
    상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 재부호화 처리의 대상이 되는 대상 픽처의 픽처 타입을 재구성하는 재구성 수단과,
    상기 재구성 수단에 의해 재구성된 픽처 타입으로 재부호화하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어 수단과,
    상기 제 1 및 상기 제 2 부호화 스트림과 상기 재부호화 수단에 의해 생성된 상기 재부호화 스트림을 바꿔 출력함으로써, 편집된 편집 부호화 스트림을 생성하는 편집 수단을 포함하는 것을 특징으로 하는 편집 장치.
  2. 제1항에 있어서,
    상기 편집 수단은, 상기 제 1 부호화 스트림에 설정된 상기 제 1 편집점에 대하여, 프리젠테이션 시간축에 있어서 과거의 픽처를 출력하는 동시에, 상기 제 2 부호화 스트림에 설정된 상기 제 2 편집점에 대하여, 프리젠테이션 시간축에 있어서 미래의 픽처를 출력함으로써, 상기 편집 부호화 스트림을 생성하는 것을 특징으로 하는 편집 장치.
  3. 제1항에 있어서,
    상기 제 1 부호화 스트림에 있어서의 제 1 편집점 및 상기 제 2 부호화 스트림에 있어서의 제 2 편집점을 설정하는 편집점 설정 수단을 더 포함하는 것을 특징으로 하는 편집 장치.
  4. 제1항에 있어서,
    상기 제 1 편집점을 포함하는 소정 구간 및 상기 제 2 편집점을 포함하는 소정 구간을 설정하는 설정 수단을 더 포함하는 것을 특징으로 하는 편집 장치.
  5. 제1항에 있어서,
    상기 재구성 수단은, 상기 제 1 편집점 및 상기 제 2 편집점에 대응하는 상기 대상 픽처의 픽처 타입에 따라서, 상기 제 1 편집점 및 상기 제 2 편집점에 대응하는 상기 대상 픽처의 픽처 타입을 선택적으로 변경하는 것을 특징으로 하는 편집 장치.
  6. 제1항에 있어서,
    상기 재구성 수단은, 상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 상기 대상 픽처의 참조 예측방향을 설정하는 것을 특징으로 하는 편집 장치.
  7. 제1항에 있어서,
    상기 재구성 수단은, 상기 제 1 편집점에 대응하는 상기 대상 픽처가 B픽처인 경우, 상기 제 1 편집점에 대응하는 상기 대상 픽처의 픽처 타입을 P픽처로 변경하는 것을 특징으로 하는 편집 장치.
  8. 제1항에 있어서,
    상기 재구성 수단은, 상기 제 1 편집점에 대응하는 상기 대상 픽처가 B픽처이고, 상기 제 1 편집점에 대응하는 상기 대상 픽처의 앞에 존재하는 B픽처의 수가 소정수 이상인 경우, 상기 제 1 편집점에 대응하는 상기 대상 픽처의 픽처 타입을 P픽처로 변경하는 것을 특징으로 하는 편집 장치.
  9. 제8항에 있어서,
    상기 소정수는 2인 것을 특징으로 하는 편집 장치.
  10. 제1항에 있어서,
    상기 재구성 수단은, 상기 제 1 편집점에 대응하는 상기 대상 픽처가 I픽처 또는 P픽처인 경우, 상기 제 1 편집점에 대응하는 상기 대상 픽처의 픽처 타입을 변경하지 않는 것을 특징으로 하는 편집 장치.
  11. 제1항에 있어서,
    상기 재구성 수단은, 상기 제 1 편집점에 대응하는 상기 대상 픽처가 P픽처인 경우, 상기 제 2 편집점에 대응하는 상기 대상 픽처의 픽처 타입을 I픽처로 변경하는 것을 특징으로 하는 편집 장치.
  12. 제1항에 있어서,
    상기 재구성 수단은, 상기 제 2 편집점에 대응하는 상기 대상 픽처가 I픽처 또는 B픽처인 경우, 상기 제 2 편집점에 대응하는 상기 대상 픽처의 픽처 타입을 변경하지 않는 것을 특징으로 하는 편집 장치.
  13. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속점에서 접속하는 편집 방법에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 제 1 화상 데이터를 생성하는 동시에, 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여, 제 2 화상 데이터를 생성하는 복호 공정과,
    상기 제 1 및 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속하는 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 공정과,
    상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 재부호화 처리의 대상이 되는 대상 픽처의 픽처 타입을 재구성하는 재구성 공정과,
    상기 재구성 공정에 의해 재구성된 픽처 타입으로 재부호화하도록, 상기 재부호화 공정의 재부호화 처리를 제어하는 제어 공정과,
    상기 제 1 및 상기 제 2 부호화 스트림과 상기 재부호화 공정에 의해 생성된 상기 재부호화 스트림을 바꿔 출력함으로써, 편집된 편집 부호화 스트림을 생성하는 편집 공정을 포함하는 것을 특징으로 하는 편집 방법.
  14. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속점에서 접속하는 재부호화 장치에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 제 1 화상 데이터를 생성하는 동시에, 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여, 제 2 화상 데이터를 생성하는 복호 수단과,
    상기 제 1 및 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 수단과,
    상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 재부호화 처리의 대상이 되는 대상 픽처의 픽처 타입을 재구성하는 재구성 수단과,
    상기 재구성 수단에 의해 재구성된 픽처 타입으로 재부호화하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어 수단을 포함하는 것을 특징으로 하는 재부호화 장치.
  15. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속점에서 접속하는 재부호화 방법에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 제 1 화상 데이터를 생성하는 동시에, 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여, 제 2 화상 데이터를 생성하는 복호 공정과,
    상기 제 1 및 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 공정과,
    상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 재부호화 처리의 대상이 되는 대상 픽처의 픽처 타입을 재구성하는 재구성 공정과,
    상기 재구성 공정에 의해 재구성된 픽처 타입으로 재부호화하도록, 상기 재부호화 공정의 재부호화 처리를 제어하는 제어 공정을 포함하는 것을 특징으로 하는 재부호화 방법.
  16. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속점에서 접속하는 재부호화 장치에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 얻어지는 제 1 화상 데이터 및 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여 얻어지는 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 수단과,
    상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 재부호화 처리의 대상이 되는 대상 픽처의 픽처 타입을 재구성하는 재구성 수단과,
    상기 재구성 수단에 의해 재구성된 픽처 타입으로 재부호화하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어 수단을 포함하는 것을 특징으로 하는 재부호화 장치.
  17. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속점에서 접속하는 재부호화 방법에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 얻어지는 제 1 화상 데이터 및 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여 얻어지는 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 공정과,
    상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 재부호화 처리의 대상이 되는 대상 픽처의 픽처 타입을 재구성하는 재구성 공정과,
    상기 재구성 수단에 의해 재구성된 픽처 타입으로 재부호화하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어 공정을 포함하는 것을 특징으로 하는 재부호화 방법.
  18. 제 1 부호화 스트림과 제 2 부호화 스트림을 스플라이싱 포인트에서 스플라이싱하는 스플라이싱 장치에 있어서,
    상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 재부호화 처리의 대상이 되는 대상 픽처의 픽처 타입을 재구성하는 재구성 수단과,
    상기 재구성 수단에 의해 재구성된 픽처 타입으로 상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림을 스플라이싱하는 스플라이싱 수단을 포함하는 것을 특징으로 하는 스플라이싱 장치.
  19. 제 1 부호화 스트림과 제 2 부호화 스트림을 스플라이싱 포인트에서 스플라이싱하는 스플라이싱 방법에 있어서,
    상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림의 사이에서 재부호화 처리에 따른 참조 예측을 필요로 하지 않도록, 재부호화 처리의 대상이 되는 대상 픽처의 픽처 타입을 재구성하는 재구성 공정과,
    상기 재구성 공정에 의해 재구성된 픽처 타입으로 상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림을 스플라이싱하는 스플라이싱 공정을 포함하는 것을 특징으로 하는 스플라이싱 방법.
  20. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속점에서 접속하는 편집 장치에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 제 1 화상 데이터를 생성하는 동시에, 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하는 제 2 화상 데이터를 생성하는 복호 수단과,
    상기 제 1 및 상기 제 2 화상 데이터를 상기 제 1 편집점과 상기 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 수단과,
    상기 제 1 또는 상기 제 2 부호화 스트림을 생성할 때에 이용한 부호화 파라미터를, 상기 제 1 편집점의 위치 또는 상기 제 2 편집점의 위치에 따라서, 선택적으로 재이용하여 재부호화 처리하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어 수단과,
    상기 제 1 및 상기 제 2 부호화 스트림과 상기 재부호화 수단에 의해 생성된 상기 재부호화 스트림을 바꿔 출력함으로써, 편집된 편집 부호화 스트림을 생성하는 편집 수단을 포함하는 것을 특징으로 하는 편집 장치.
  21. 제20항에 있어서,
    상기 편집 수단은 상기 제 1 부호화 스트림에 설정된 상기 제 1 편집점에 대하여, 프리젠테이션 시간축에 있어서 과거의 픽처를 출력하는 동시에, 상기 제 2 부호화 스트림에 설정된 상기 제 2 편집점에 대하여, 프리젠테이션 시간축에 있어서 미래의 픽처를 출력함으로써, 상기 편집 부호화 스트림을 생성하는 것을 특징으로 하는 편집 장치.
  22. 제20항에 있어서,
    상기 제 1 부호화 스트림에 있어서의 제 1 편집점 및 상기 제 2 부호화 스트림에 있어서의 제 2 편집점을 설정하는 편집점 설정 수단을 더 포함하는 것을 특징으로 하는 편집 장치.
  23. 제20항에 있어서,
    상기 제 1 편집점을 포함하는 소정 구간 및 상기 제 2 편집점을 포함하는 소정 구간을 설정하는 설정 수단을 더 포함하는 것을 특징으로 하는 편집 장치.
  24. 제20항에 있어서,
    상기 부호화 스트림을 해석함으로써, 상기 부호화 파라미터를 취득하는 부호화 스트림 해석 수단을 더 포함하는 것을 특징으로 하는 편집 장치.
  25. 제20항에 있어서,
    상기 부호화 파라미터는 양자화 스케일인 것을 특징으로 하는 편집 장치.
  26. 제20항에 있어서,
    상기 부호화 파라미터는 양자화 매트릭스인 것을 특징으로 하는 편집 장치.
  27. 제20항에 있어서,
    상기 부호화 파라미터는 양자화 스케일 및 양자화 매트릭스를 포함하는 양자화 특성 정보인 것을 특징으로 하는 편집 장치.
  28. 제20항에 있어서,
    상기 부호화 파라미터는 움직임 벡터 정보인 것을 특징으로 하는 편집 장치.
  29. 제28항에 있어서,
    상기 제어 수단은, 상기 부호화 스트림을 생성하였을 때의 픽처 타입과 동일한 픽처 타입으로 재부호화 처리하는 경우에, 상기 움직임 벡터 정보를 재이용하는 것을 특징으로 하는 편집 장치.
  30. 제20항에 있어서,
    상기 제어 수단은, 상기 부호화 스트림을 생성할 때에 이용한 상기 움직임 벡터 정보를 재이용할지를 판단하여, 재이용하지 않는다고 판단한 경우에는, 상기 화상 데이터의 픽처의 움직임을 검출함으로써 얻어지는 움직임 벡터 정보를 이용하여 재부호화 처리하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 것을 특징으로 하는 편집 장치.
  31. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속하는 편집 방법에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 제 1 화상 데이터를 생성하는 동시에, 상기 제 2 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여, 제 2 화상 데이터를 생성하는 복호 공정과,
    상기 제 1 및 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 공정과,
    상기 제 1 또는 상기 제 2 부호화 스트림을 생성할 때에 이용한 부호화 파라미터를, 상기 제 1 편집점의 위치 또는 상기 제 2 편집점의 위치에 따라서, 선택적으로 재이용하여 재부호화 처리하도록, 상기 재부호화 공정의 재부호화 처리를 제어하는 제어 공정과,
    상기 제 1 및 상기 제 2 부호화 스트림과 상기 재부호화 공정에 의해 생성된 상기 재부호화 스트림을 바꿔 출력함으로써, 편집된 편집 부호화 스트림을 생성하는 편집 공정을 포함하는 것을 특징으로 하는 편집 방법.
  32. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속하는 재부호화 장치에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 제 1 화상 데이터를 생성하는 동시에, 상기 제 2 부호화 스트림과 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여 제 2 화상 데이터를 생성하는 복호 수단과,
    상기 제 1 및 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 수단과,
    상기 제 1 또는 상기 제 2 부호화 스트림을 생성할 때에 이용한 부호화 파라미터를, 상기 제 1 편집점의 위치 또는 상기 제 2 편집점의 위치에 따라서, 선택적으로 재이용하여 재부호화 처리하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어 수단을 포함하는 것을 특징으로 하는 재부호화 장치.
  33. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속하는 재부호화 방법에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 제 1 화상 데이터를 생성하는 동시에, 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여, 제 2 화상 데이터를 생성하는 복호 공정과,
    상기 제 1 및 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 공정과,
    상기 제 1 또는 상기 제 2 부호화 스트림을 생성할 때에 이용한 부호화 파라미터를, 상기 제 1 편집점의 위치 또는 상기 제 2 편집점의 위치에 따라서, 선택적으로 재이용하여 재부호화 처리하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어공정을 포함하는 것을 특징으로 하는 재부호화 방법.
  34. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속하는 재부호화 장치에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 얻어지는 제 1 화상 데이터 및 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여 얻어지는 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 수단과,
    상기 제 1 또는 상기 제 2 부호화 스트림을 생성할 때에 이용한 부호화 파라미터를, 상기 제 1 편집점의 위치 또는 상기 제 2 편집점의 위치에 따라서, 선택적으로 재이용하여 재부호화 처리하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어 수단을 포함하는 것을 특징으로 하는 재부호화장치.
  35. 제 1 부호화 스트림과 제 2 부호화 스트림을 접속하는 재부호화 방법에 있어서,
    상기 제 1 부호화 스트림에 설정된 제 1 편집점을 포함하는 소정 구간을 복호 처리하여 얻어지는 제 1 화상 데이터 및 상기 제 2 부호화 스트림에 설정된 제 2 편집점을 포함하는 소정 구간을 복호 처리하여 얻어지는 상기 제 2 화상 데이터를, 상기 제 1 편집점과 상기 제 2 편집점에서 접속시켜 재부호화 처리하여, 재부호화 스트림을 생성하는 재부호화 공정과,
    상기 제 1 또는 상기 제 2 부호화 스트림을 생성할 때에 이용한 부호화 파라미터를, 상기 제 1 편집점의 위치 또는 상기 제 2 편집점의 위치에 따라서, 선택적으로 재이용하여 재부호화 처리하도록, 상기 재부호화 수단의 재부호화 처리를 제어하는 제어공정을 포함하는 것을 특징으로 하는 재부호화 방법.
  36. 제 1 부호화 스트림과 제 2 부호화 스트림을 스플라이싱 포인터에 있어서 스플라이싱하는 스플라이싱 장치에 있어서,
    상기 제 1 부호화 스트림으로부터 상기 제 1 부호화 스트림의 부호화 파라미터를 취득하는 동시에, 제 2 부호화 스트림으로부터, 상기 제 2 부호화 스트림의 부호화 파라미터를 취득하는 취득 수단과,
    상기 취득된 부호화 파라미터를 상기 스플라이싱 포인트에 따라서 선택적으로 재이용하여, 상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림을 스플라이싱하는 스플라이싱 수단을 포함하는 것을 특징으로 하는 스플라이싱 장치.
  37. 제 1 부호화 스트림과 제 2 부호화 스트림을 스플라이싱 포인터에 있어서 스플라이싱하는 스플라이싱 방법에 있어서,
    제 1 부호화 스트림으로부터, 상기 제 1 부호화 스트림의 부호화 파라미터를 취득하는 동시에, 제 2 부호화 스트림으로부터, 상기 제 2 부호화 스트림의 부호화 파라미터를 취득하는 취득 공정과,
    상기 취득 공정에 의해 취득된 상기 부호화 파라미터를 상기 스플라이싱 포인트에 따라서 선택적으로 재이용하여, 상기 제 1 부호화 스트림과 상기 제 2 부호화 스트림을 스플라이싱하는 스플라이싱 공정을 포함하는 것을 특징으로 하는 스플라이싱 방법.
KR1020057018094A 1997-07-25 1998-07-27 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법 KR100604631B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP19992397 1997-07-25
JPJP-P-1997-00199923 1997-07-25
KR1019997002513A KR100555164B1 (ko) 1997-07-25 1998-07-27 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1019997002513A Division KR100555164B1 (ko) 1997-07-25 1998-07-27 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법

Publications (2)

Publication Number Publication Date
KR20050103248A true KR20050103248A (ko) 2005-10-27
KR100604631B1 KR100604631B1 (ko) 2006-07-28

Family

ID=16415853

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020057018094A KR100604631B1 (ko) 1997-07-25 1998-07-27 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법
KR1019997002513A KR100555164B1 (ko) 1997-07-25 1998-07-27 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1019997002513A KR100555164B1 (ko) 1997-07-25 1998-07-27 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법, 스플라이싱 장치 및 스플라이싱 방법

Country Status (7)

Country Link
US (6) US6567471B1 (ko)
EP (3) EP0923243B1 (ko)
JP (5) JP3736808B2 (ko)
KR (2) KR100604631B1 (ko)
CN (1) CN1161989C (ko)
DE (1) DE69841897D1 (ko)
WO (1) WO1999005864A1 (ko)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0725399U (ja) * 1993-10-19 1995-05-12 廉正 赤澤 ミッションオイルクリーナ
GB2369518B (en) * 1997-07-18 2002-07-17 British Broadcasting Corp Switching compressed video bitstreams
WO1999005864A1 (fr) * 1997-07-25 1999-02-04 Sony Corporation Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage
EP0982726A4 (en) * 1998-01-19 2003-06-04 Sony Corp CUTTING SYSTEM, CUTTING CONTROL DEVICE AND CUTTING METHOD
JP2000138896A (ja) * 1998-10-30 2000-05-16 Hitachi Ltd 画像音声記録装置
JP2000165802A (ja) 1998-11-25 2000-06-16 Matsushita Electric Ind Co Ltd ストリーム編集装置と編集方法
WO2000062551A1 (en) * 1999-04-14 2000-10-19 Sarnoff Corporation Frame-accurate seamless splicing of information streams
JP2000354249A (ja) * 1999-04-16 2000-12-19 Sony United Kingdom Ltd ビデオ信号処理装置、ビデオ信号処理方法及びコンピュータプログラム製品
GB9908809D0 (en) 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
JP4689001B2 (ja) * 1999-04-16 2011-05-25 ソニー ヨーロッパ リミテッド ビデオ信号処理装置、コンピュータプログラム及びビデオ信号処理方法
JP4487374B2 (ja) * 1999-06-01 2010-06-23 ソニー株式会社 符号化装置及び符号化方法並びに多重化装置及び多重化方法
US7254175B2 (en) 1999-07-02 2007-08-07 Crystalmedia Technology, Inc. Frame-accurate seamless splicing of information streams
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
US6985188B1 (en) * 1999-11-30 2006-01-10 Thomson Licensing Video decoding and channel acquisition system
US8284845B1 (en) 2000-01-24 2012-10-09 Ati Technologies Ulc Method and system for handling data
US6988238B1 (en) 2000-01-24 2006-01-17 Ati Technologies, Inc. Method and system for handling errors and a system for receiving packet stream data
US6763390B1 (en) 2000-01-24 2004-07-13 Ati Technologies, Inc. Method and system for receiving and framing packetized data
US6885680B1 (en) 2000-01-24 2005-04-26 Ati International Srl Method for synchronizing to a data stream
US6778533B1 (en) 2000-01-24 2004-08-17 Ati Technologies, Inc. Method and system for accessing packetized elementary stream data
US6785336B1 (en) 2000-01-24 2004-08-31 Ati Technologies, Inc. Method and system for retrieving adaptation field data associated with a transport packet
JP2001218213A (ja) * 2000-01-31 2001-08-10 Mitsubishi Electric Corp 画像信号変換符号化装置
JP4170555B2 (ja) 2000-02-28 2008-10-22 株式会社東芝 映像符号化装置及び映像符号化方法
GB0007868D0 (en) 2000-03-31 2000-05-17 Koninkl Philips Electronics Nv Methods and apparatus for editing digital video recordings and recordings made by such methods
JP2002010259A (ja) * 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
US7490344B2 (en) 2000-09-29 2009-02-10 Visible World, Inc. System and method for seamless switching
US7095945B1 (en) 2000-11-06 2006-08-22 Ati Technologies, Inc. System for digital time shifting and method thereof
JP2002281433A (ja) * 2001-03-15 2002-09-27 Kddi Corp 動画像検索閲覧編集装置および記録媒体
US20020133486A1 (en) * 2001-03-15 2002-09-19 Kddi Corporation Video retrieval and browsing apparatus, video retrieval, browsing and editing apparatus, and recording medium
FI111590B (fi) * 2001-04-20 2003-08-15 Swelcom Oy Menetelmä ja laite datan lokalisointia varten
US7349691B2 (en) * 2001-07-03 2008-03-25 Microsoft Corporation System and apparatus for performing broadcast and localcast communications
US6965597B1 (en) * 2001-10-05 2005-11-15 Verizon Laboratories Inc. Systems and methods for automatic evaluation of subjective quality of packetized telecommunication signals while varying implementation parameters
KR100454501B1 (ko) * 2001-12-26 2004-10-28 브이케이 주식회사 영상신호를 부호화 또는 복호화하기 위한 예측 장치 및 방법
KR100475412B1 (ko) * 2002-03-11 2005-03-10 주식회사 럭스퍼트 상부 펌핑방식의 광소자
DE10212656A1 (de) * 2002-03-21 2003-10-02 Scm Microsystems Gmbh Selektive Verschlüsselung von Multimediadaten
US7151856B2 (en) * 2002-04-25 2006-12-19 Matsushita Electric Industrial Co., Ltd. Picture coding apparatus and picture coding method
US9948977B2 (en) * 2003-01-09 2018-04-17 Avago Technologies General Ip (Singapore) Pte. Ltd. System, method, and apparatus for determining presentation time for picture without presentation time stamp
US7426306B1 (en) * 2002-10-24 2008-09-16 Altera Corporation Efficient use of keyframes in video compression
FR2848766B1 (fr) * 2002-12-13 2005-03-11 Thales Sa Procede de commutation de signaux numeriques avant emission, commutateur et signal resultant
US8175154B2 (en) * 2003-06-03 2012-05-08 General Instrument Corporation Method for restructuring a group of pictures to provide for random access into the group of pictures
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US7924921B2 (en) 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7839930B2 (en) * 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US8213779B2 (en) 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US20050060420A1 (en) * 2003-09-11 2005-03-17 Kovacevic Branko D. System for decoding multimedia data and method thereof
JP3675464B2 (ja) * 2003-10-29 2005-07-27 ソニー株式会社 動画像符号化装置および動画像符号化制御方法
US9715898B2 (en) 2003-12-16 2017-07-25 Core Wireless Licensing S.A.R.L. Method and device for compressed-domain video editing
US7391809B2 (en) * 2003-12-30 2008-06-24 Microsoft Corporation Scalable video transcoding
TW200845724A (en) * 2004-06-02 2008-11-16 Matsushita Electric Ind Co Ltd Multiplexing apparatus and demultiplexing apparatus
CN1713727B (zh) * 2004-06-14 2010-11-10 松下电器产业株式会社 编辑资料流的方法及装置
KR100608061B1 (ko) * 2004-07-12 2006-08-02 삼성전자주식회사 전송 스트림 생성을 위한 다중화 방법 및 그 장치
JP4638874B2 (ja) * 2004-08-11 2011-02-23 株式会社日立製作所 符号化ストリーム記録媒体、及び画像符号化装置
JP4438059B2 (ja) * 2004-08-24 2010-03-24 キヤノン株式会社 画像再生装置及びその制御方法
JP4221667B2 (ja) * 2004-08-25 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4174728B2 (ja) * 2004-08-25 2008-11-05 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
EP1786212A4 (en) * 2004-08-25 2011-08-17 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, RECORDING MEDIUM AND PROGRAM
CN102833548B (zh) * 2005-07-28 2015-07-22 汤姆森特许公司 经由视频信道传输多个视频流的方法和装置
JP4528694B2 (ja) * 2005-08-12 2010-08-18 株式会社東芝 動画像符号化装置
JP4492484B2 (ja) * 2005-08-22 2010-06-30 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4791129B2 (ja) * 2005-10-03 2011-10-12 ルネサスエレクトロニクス株式会社 画像符号化装置、画像符号化方法及び画像編集装置
US20070116117A1 (en) * 2005-11-18 2007-05-24 Apple Computer, Inc. Controlling buffer states in video compression coding to enable editing and distributed encoding
JP4828925B2 (ja) * 2005-11-30 2011-11-30 パナソニック株式会社 符号化装置
JP4932242B2 (ja) * 2005-12-13 2012-05-16 三菱電機株式会社 ストリーム切換装置及びストリーム切換方法
JP4207072B2 (ja) 2006-04-07 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4207981B2 (ja) * 2006-06-13 2009-01-14 ソニー株式会社 情報処理装置および情報処理方法、プログラム、並びに記録媒体
JP4229149B2 (ja) * 2006-07-13 2009-02-25 ソニー株式会社 ビデオ信号処理装置およびビデオ信号処理方法、ビデオ信号符号化装置およびビデオ信号符号化方法、並びにプログラム
JP2008066851A (ja) * 2006-09-05 2008-03-21 Sony Corp 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4221676B2 (ja) 2006-09-05 2009-02-12 ソニー株式会社 情報処理装置および情報処理方法、記録媒体、並びに、プログラム
JP4369948B2 (ja) * 2006-09-20 2009-11-25 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4303743B2 (ja) * 2006-10-04 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4241839B2 (ja) 2007-02-02 2009-03-18 ソニー株式会社 データ及びファイルシステム情報の記録装置及び記録方法
JP2009077105A (ja) * 2007-09-20 2009-04-09 Sony Corp 編集装置および編集方法、プログラム、並びに記録媒体
US20090083811A1 (en) * 2007-09-26 2009-03-26 Verivue, Inc. Unicast Delivery of Multimedia Content
US8457958B2 (en) 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
US8432804B2 (en) * 2007-11-29 2013-04-30 Hewlett-Packard Development Company, L.P. Transmitting video streams
US8543667B2 (en) 2008-01-14 2013-09-24 Akamai Technologies, Inc. Policy-based content insertion
US8335262B2 (en) * 2008-01-16 2012-12-18 Verivue, Inc. Dynamic rate adjustment to splice compressed video streams
CA2721700C (en) 2008-04-17 2019-07-16 Sony Corporation Dual-type of playback for multimedia content
DE102008002005A1 (de) * 2008-05-27 2009-12-03 Robert Bosch Gmbh Exzenter-Planetenantrieb
JP2010004142A (ja) * 2008-06-18 2010-01-07 Hitachi Kokusai Electric Inc 動画像符号化装置、復号化装置、符号化方法及び復号化方法
US8904426B2 (en) * 2008-06-30 2014-12-02 Rgb Networks, Inc. Preconditioning ad content for digital program insertion
US8259177B2 (en) * 2008-06-30 2012-09-04 Cisco Technology, Inc. Video fingerprint systems and methods
US8347408B2 (en) * 2008-06-30 2013-01-01 Cisco Technology, Inc. Matching of unknown video content to protected video content
US20090327334A1 (en) * 2008-06-30 2009-12-31 Rodriguez Arturo A Generating Measures of Video Sequences to Detect Unauthorized Use
EP2334082A1 (en) * 2008-09-17 2011-06-15 Sharp Kabushiki Kaisha Scalable video stream decoding apparatus and scalable video stream generating apparatus
US20100104022A1 (en) * 2008-10-24 2010-04-29 Chanchal Chatterjee Method and apparatus for video processing using macroblock mode refinement
US20100128779A1 (en) * 2008-11-14 2010-05-27 Chanchal Chatterjee Method and apparatus for splicing in a compressed video bitstream
US8743906B2 (en) * 2009-01-23 2014-06-03 Akamai Technologies, Inc. Scalable seamless digital video stream splicing
US8311115B2 (en) * 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
WO2010093430A1 (en) * 2009-02-11 2010-08-19 Packetvideo Corp. System and method for frame interpolation for a compressed video bitstream
US9906757B2 (en) * 2009-02-26 2018-02-27 Akamai Technologies, Inc. Deterministically skewing synchronized events for content streams
US9565397B2 (en) * 2009-02-26 2017-02-07 Akamai Technologies, Inc. Deterministically skewing transmission of content streams
US8650602B2 (en) * 2009-02-27 2014-02-11 Akamai Technologies, Inc. Input queued content switching using a playlist
KR101280700B1 (ko) * 2009-02-27 2013-07-01 후지쯔 가부시끼가이샤 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화용 컴퓨터 프로그램
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US8724710B2 (en) * 2010-02-24 2014-05-13 Thomson Licensing Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
JP5682331B2 (ja) * 2010-03-11 2015-03-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US8718148B2 (en) * 2010-03-11 2014-05-06 Sony Corporation Information processing apparatus, information processing method, and program
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
KR101837004B1 (ko) 2010-06-18 2018-03-09 아카마이 테크놀로지스, 인크. 모바일 또는 유선 네트워크로의 콘텐츠 전송 네트워크(ｃｄｎ)의 확장
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
EP2547062B1 (en) * 2011-07-14 2016-03-16 Nxp B.V. Media streaming with adaptation
US9591318B2 (en) * 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
JP5891975B2 (ja) 2012-07-02 2016-03-23 富士通株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法および動画像復号方法
ITMI20131710A1 (it) * 2013-10-15 2015-04-16 Sky Italia S R L "sistema di cloud encoding"
EP3185564A1 (en) * 2015-12-22 2017-06-28 Harmonic Inc. Video stream splicing of groups of pictures (gop)
CN105657547B (zh) * 2015-12-31 2019-05-10 北京奇艺世纪科技有限公司 一种相似视频和盗版视频的检测方法及装置
US11936712B1 (en) * 2023-04-06 2024-03-19 Synamedia Limited Packet-accurate targeted content substitution

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5614952A (en) * 1994-10-11 1997-03-25 Hitachi America, Ltd. Digital video decoder for decoding digital high definition and/or digital standard definition television signals
JPH06253331A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 可変長符号化信号に対応した編集装置
DE69422960T2 (de) * 1993-12-01 2000-06-15 Matsushita Electric Ind Co Ltd Verfahren und Vorrichtung zum Editieren oder zur Mischung von komprimierten Bildern
JPH07212766A (ja) 1994-01-18 1995-08-11 Matsushita Electric Ind Co Ltd 動画像圧縮データ切り換え装置
JP3019912B2 (ja) * 1994-07-22 2000-03-15 日本ビクター株式会社 画像データ編集装置
JPH08149408A (ja) * 1994-11-17 1996-06-07 Matsushita Electric Ind Co Ltd ディジタル動画編集方法及び装置
GB9424437D0 (en) * 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Encoder system level buffer management
US5612900A (en) * 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
GB2307613B (en) * 1995-08-31 2000-03-22 British Broadcasting Corp Switching bit-rate reduced signals
JP3493872B2 (ja) * 1996-02-29 2004-02-03 ソニー株式会社 画像データ処理方法およびその装置
US6137834A (en) * 1996-05-29 2000-10-24 Sarnoff Corporation Method and apparatus for splicing compressed information streams
CA2208950A1 (en) * 1996-07-03 1998-01-03 Xuemin Chen Rate control for stereoscopic digital video encoding
JP3755206B2 (ja) * 1996-10-07 2006-03-15 ソニー株式会社 編集装置と編集方法
US5982436A (en) * 1997-03-28 1999-11-09 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
US6151443A (en) * 1997-05-16 2000-11-21 Indigita Corporation Digital video and data recorder
US6101195A (en) * 1997-05-28 2000-08-08 Sarnoff Corporation Timing correction method and apparatus
US6298088B1 (en) * 1997-05-28 2001-10-02 Sarnoff Corporation Method and apparatus for splicing compressed information signals
GB2369518B (en) * 1997-07-18 2002-07-17 British Broadcasting Corp Switching compressed video bitstreams
WO1999005864A1 (fr) * 1997-07-25 1999-02-04 Sony Corporation Dispositif d'edition, procede d'edition, dispositif d'epissage, procede d'epissage, dispositif de codage et procede de codage
US6611624B1 (en) * 1998-03-13 2003-08-26 Cisco Systems, Inc. System and method for frame accurate splicing of compressed bitstreams
GB9908809D0 (en) * 1999-04-16 1999-06-09 Sony Uk Ltd Signal processor
GB2353653B (en) * 1999-08-26 2003-12-31 Sony Uk Ltd Signal processor
GB2353655B (en) * 1999-08-26 2003-07-23 Sony Uk Ltd Signal processor

Also Published As

Publication number Publication date
JP2005295587A (ja) 2005-10-20
EP0923243A1 (en) 1999-06-16
US20070165715A1 (en) 2007-07-19
US6567471B1 (en) 2003-05-20
KR20000068626A (ko) 2000-11-25
EP1467563A1 (en) 2004-10-13
JP3736808B2 (ja) 2006-01-18
JP4088799B2 (ja) 2008-05-21
CN1236522A (zh) 1999-11-24
DE69841897D1 (de) 2010-10-28
US20030067989A1 (en) 2003-04-10
US20070047662A1 (en) 2007-03-01
JP2005323386A (ja) 2005-11-17
CN1161989C (zh) 2004-08-11
EP0923243A4 (en) 2002-12-04
EP1445773A1 (en) 2004-08-11
JP4088800B2 (ja) 2008-05-21
US7139316B2 (en) 2006-11-21
KR100555164B1 (ko) 2006-03-03
US8923409B2 (en) 2014-12-30
JP2005328548A (ja) 2005-11-24
KR100604631B1 (ko) 2006-07-28
JP2005253116A (ja) 2005-09-15
US20070047661A1 (en) 2007-03-01
US8223847B2 (en) 2012-07-17
JP4045553B2 (ja) 2008-02-13
WO1999005864A1 (fr) 1999-02-04
EP0923243B1 (en) 2010-09-15
US7711051B2 (en) 2010-05-04
US8798143B2 (en) 2014-08-05
US20070058729A1 (en) 2007-03-15

Similar Documents

Publication Publication Date Title
KR100604631B1 (ko) 편집 장치, 편집 방법, 재부호화 장치, 재부호화 방법,스플라이싱 장치 및 스플라이싱 방법
US8131135B2 (en) MPEG picture data recording apparatus, MPEG picture data recording method, MPEG picture data recording medium, MPEG picture data generating apparatus, MPEG picture data reproducing apparatus, and MPEG picture data reproducing method
EP1102493B1 (en) Video data formatting and storage
JP3716328B2 (ja) 編集装置および方法、再符号化装置および方法
KR101194967B1 (ko) 정보 처리 장치 및 정보 처리 방법, 및 기록 매체
KR19990072461A (ko) 동화상부호화방법및장치및기록매체
JPH08251582A (ja) 符号化データ編集装置
WO2004112397A1 (ja) 画像処理装置および画像処理方法、情報処理装置および情報処理方法、情報記録装置および情報記録方法、情報再生装置および情報再生方法、記録媒体、並びに、プログラム
JP2000197010A (ja) 画像デ―タ編集装置
JP4193224B2 (ja) 動画像符号化装置及び方法並びに動画像復号装置及び方法
JP2005278207A (ja) 編集装置および方法、再符号化装置および方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130712

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140711

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20150710

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20160708

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20170707

Year of fee payment: 12

EXPY Expiration of term