KR20090048386A - 편집 장치, 편집 방법, 편집 프로그램 및 편집 시스템 - Google Patents

편집 장치, 편집 방법, 편집 프로그램 및 편집 시스템 Download PDF

Info

Publication number
KR20090048386A
KR20090048386A KR20087008330A KR20087008330A KR20090048386A KR 20090048386 A KR20090048386 A KR 20090048386A KR 20087008330 A KR20087008330 A KR 20087008330A KR 20087008330 A KR20087008330 A KR 20087008330A KR 20090048386 A KR20090048386 A KR 20090048386A
Authority
KR
South Korea
Prior art keywords
encoding
editing
data
stream
gop
Prior art date
Application number
KR20087008330A
Other languages
English (en)
Other versions
KR101323472B1 (ko
Inventor
나오키 모리모토
켄이치로 아리도메
유키오 이소베
아츠시 마에
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20090048386A publication Critical patent/KR20090048386A/ko
Application granted granted Critical
Publication of KR101323472B1 publication Critical patent/KR101323472B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H04N21/6379—Control signals issued by the client directed to the server or network components directed to server directed to encoder, e.g. for requesting a lower encoding rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/84—Television signal recording using optical recording
    • H04N5/85—Television signal recording using optical recording on discs or drums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals

Abstract

프레임간 압축을 이용하여 압축 부호화된 비디오 데이터의 편집 처리를 적절히 행한다. 편집 대상의 비디오 스트림이 격납된 스트림 파일로부터, 해당 파일을 기록한 장치를 식별하는 식별 정보를 추출한다. 추출된 식별 정보가 편집 장치의 인코더의 대응 가능한 속성과 같은 속성으로 인코드할 수 있는 장치인 것을 나타내고 있으면, 필요한 최소 구간만을 디코드하고 재인코드하는 수법을 이용하여 편집 처리를 행한다. 그렇지 않은 경우에는, 편집 대상의 비디오 스트림의 전체를 디코드하고, 재인코드하는 수법을 이용하여 편집 처리를 행한다. 필요한 최소 구간만을 디코드하고 재인코드하는 수법을 이용한 편집 처리가 가능한지의 여부를, 비디오 스트림중의 소정의 식별 정보만에 의거하여 판단할 수 있다.
편집 장치, 편집 방법, 편집 프로그램 및 편집 시스템

Description

편집 장치, 편집 방법, 편집 프로그램 및 편집 시스템{EDITION DEVICE, EDITION METHOD, EDITION PROGRAM, AND EDITION SYSTEM}
본 발명은, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터의 편집을 보다 고속으로 행하는 편집 장치, 편집 방법, 편집 프로그램 및 편집 시스템에 관한 것이다.
종래로부터, 기록 가능하고 기록 재생 장치로부터 떼어냄이 가능하게 됨과 함께, 기록 용량이 비교적 크고, 비디오 데이터와 오디오 데이터로 이루어지는 AV(Audio/Video) 데이터를 기록하는데 적합한 기록 매체로서, 4.7GB(Giga Byte) 이상의 기록 용량을 갖는 DVD(Digital Versatile Disc)가 보급되어 있다. 특허 문헌 「특개2004-350251」에는, 기록 가능한 타입의 DVD에 대해 DVD-Video 포맷으로 기록하는 촬상 장치가 기재되어 있다.
이 기록 가능한 타입의 DVD는, 파일 시스템에 UDF(Universal Disk Format)가 사용되고 있고, UDF에 대응하는 컴퓨터 장치로 액세스가 가능하도록 되어 있다. UDF는, ISO(International Organization for Standarization)9660에 의한 포맷을 포함하고 있고, 컴퓨터 장치에 사용되는 다양한 파일 시스템에서 액세스 가능하도록 되어 있다. 이 기록 가능한 타입의 DVD에 대해, 예를 들면 촬상 장치로 촬상된 비디오 데이터와 촬상에 수반하여 얻어진 오디오 데이터를 파일로서 기록함으로써, 촬상 장치와 컴퓨터 장치 등의 다른 장치와의 친화성이 늘고, 기록된 데이터를 보다 유효하게 활용하는 것이 가능해진다.
그런데, 비디오 데이터는, 데이터 용량이 방대해지기 때문에, 소정의 방식으로 압축 부호화되어 기록 매체에 기록되는 것이 일반적이다. 비디오 데이터의 압축 부호화 방식으로서는, MPEG2(Moving Picture Experts Group 2) 방식이 표준적인 방식으로서 알려져 있다. 또한, 근래에는, MPEG2의 압축 부호화 방식을 더욱 추진하여 효율적인 부호화를 행할 수 있도록 한, ITU-T(International Telecommunication Union-Telecommunication Standarization Sector) 권고 H.264 또는 ISO(International Organization for Standarization)/IEC(International Electrotechnical Commission) 국제표준 14496-10(MPEG-4 파트 10) Advanced Video Coding(이하, H.264|AVC라고 약칭한다)도, 보급되어 오고 있다.
이들 MPEG2 및 H.264|AVC에서는, 직교 변환 등을 이용한 프레임 내 부호화를 행함과 함께, 움직임 보상을 이용한 예측 부호화에 의한 프레임간 부호화를 또한 행하여, 압축률을 높이고 있다. 이하, MPEG2 방식을 예로 들어, 예측 부호화에 의한 프레임간 압축에 관해 설명한다.
우선, MPEG2에 의한 데이터 스트림 구조에 관해, 개략적으로 설명한다. MPEG2는, 움직임 보상을 이용한 예측 부호화와, DCT에 의한 압축 부호화를 조합시킨 것이다. MPEG2의 데이터 구조는, 계층 구조를 하고 있고, 하위로부터, 블록층, 매크로 블록층, 슬라이스층, 픽처층, GOP층 및 시퀀스층으로 되어 있다. 블록층은, DCT를 행하는 단위인 DCT 블록으로 이루어진다. 매크로 블록층은, 복수의 DCT 블록으로 구성된다. 슬라이스층은, 헤더부와, 1 이상의 매크로 블록으로 구성된다. 픽처층은, 헤더부와, 1 이상의 슬라이스로 구성된다. 픽처는, 1화면에 대응한다. 각 층의 경계는, 각각 소정의 식별 부호로 식별 가능하도록 되어 있다.
GOP층은, 헤더부와, 프레임 내 부호화에 의거하는 픽처인 I(Intra-coded)픽처와, 예측 부호화에 의거한 픽처인 P(Predictive-coded)픽처 B(Bi-directionally predictive coded)픽처로 구성된다. I픽처는, 그 자신의 정보만으로 디코드가 가능하고, P 및 B픽처는, 기준 화상으로서 전(前) 또는 전후의 화상이 필요하게 되고, 단독으로는 디코드되지 않는다. 예를 들면 P픽처는, 자신보다 시간적으로 전의 I픽처 또는 P픽처를 기준 화상으로서 이용하여 디코드된다. 또한, B픽처는, 자신의 전후의 I픽처 또는 P픽처의 2장의 픽처를 기준 화상으로서 이용하여 디코드된다. 최저 1장의 I픽처를 포함하는 그 자신으로 완결된 그룹을 GOP(Group Of Picture)라고 부르고, MPEG의 스트림에서 독립하여 액세스 가능한 최소의 단위가 된다.
GOP는, 하나 또는 복수의 픽처로 구성된다. 이하에서는, GOP는, 복수의 픽처로 구성되는 것으로 한다. GOP에서, GOP 내에서 완전히 디코드가 가능한, GOP로 닫은 구조를 갖는 클로즈드 GOP와, 디코드할 때에 부호화순으로 하나 전의 GOP의 정보를 이용할 수 있는 오픈 GOP의 2종류가 있다. 오픈 GOP는, 클로즈드 GOP와 비교하여, 보다 많은 정보를 이용하여 디코드할 수 있기 때문에 고화질을 얻을 수 있고, 일반적으로 사용되고 있다.
도 1A, 도 1B 및 도 1C를 이용하여, 프레임간 압축을 행하는 데이터의 디코 드 처리에 관해 설명한다. 여기서는, 1GOP가 1장의 I픽처, 4장의 P픽처 및 10장의 B픽처의, 합계 15장의 픽처로 구성되는 것으로 하고, GOP의 타입은, 오픈 GOP인 것으로 한다. GOP 내의 I, P 및 B픽처의 표시순은, 도 1A에 한 예가 도시되는 바와 같이, 「B0 B1 I2 B3 B4 P5 B6 B7 P8 B9 B10 P11 B12 B13 P14」와 같이 된다. 또한, 첨자는 표시순을 나타낸다.*****
이 예에서는, 최초의 2장의 B0픽처 및 B1픽처는, 하나 전의 GOP에서의 최후미의 P14픽처와, 이 GOP 내의 I2픽처를 이용하여 예측되고 디코드된 픽처이다. GOP 내의 최초의 P5픽처는, I2픽처로부터 예측되고 디코드된 픽처이다. 다른 P8픽처, P11픽처 및 P14는, 각각 하나 전의 P픽처를 이용하여 예측되고 디코드된 픽처이다. 또한, I픽처 이후의 각 B픽처는, 각각 전후의 I 및/또는 P픽처로부터 예측되고 디코드된 픽처이다.
한편, B픽처는, 시간적으로 전후의 I 또는 P픽처를 이용하여 예측되고 디코드되기 때문에, 스트림이나 기록 매체상에 있어서의 I, P 및 B픽처의 나열 순서는, 디코더에서의 디코드의 순서를 고려하여 정할 필요가 있다. 즉, B픽처를 디코드하기 위한I 및/또는 P픽처는, 해당 B픽처보다도 항상 먼저 디코드되어 있어야 한다.
상술한 예에서는, 스트림이나 기록 매체상의 각 픽처의 배열은, 도 1B에 예시되는 바와 같이, 「I2 B0 B1 P5 B3 B4 P8 B6 B7 P11 B9 B10 P14 B12 B13」와 같이 되고, 이 순서로 디코더에 입력된다. 또한, 첨자는, 도 1A에 대응하고, 표시순을 나타낸 다.
디코더에서의 디코드 처리는, 도 1C에 도시되는 바와 같이, 우선 I2픽처를 디코드하고, 디코드된 이 I2픽처와 하나 전의 GOP에서의 최후미(표시순)의 P14픽처에 의해 B0픽처 및 B1픽처를 예측하고 디코드한다. 그리고, B0픽처 및 B1픽처를 디코드된 순서로 디코더로부터 출력하고, 다음에 I2픽처를 출력한다. B1픽처가 출력되면, 다음에 P5픽처가 I2픽처를 이용하여 예측되고 디코드된다. 그리고, I2픽처 및 P5픽처를 이용하여 B3픽처 및 B4픽처가 예측되고 디코드된다. 그리고, 디코드된 B3픽처 및 B4픽처를 디코드된 순서로 디코더로부터 출력하고, 다음에 P5픽처를 출력한다.
이하, 마찬가지로 하고, B픽처의 예측에 이용하는 P 또는 I픽처를 B픽처보다 먼저 디코드하고, 이 디코드된 P 또는 I픽처를 이용하여 B픽처를 예측하여 디코드하고, 디코드된 B픽처를 출력하고 나서, 해당 B픽처를 디코드하기 위해 이용한 P 또는 I픽처를 출력하는 처리가 반복된다. 기록 매체상이나 스트림에서의 도 1B와 같은 픽처 배열은, 일반적으로 사용되는 것이다.
또한, H.264|AVC 방식에서도, 비디오 데이터의 인코드 및 디코드 처리는, 개략적으로는, MPEG2 방식에서의 처리와 개략 마찬가지로 하여 행하여진다. H.264|AVC 방식에서는, 보다 유연하게 픽처를 이용하여 프레임 사이 예측을 행할 수 있도록 되어 있다. 또한, H.264|AVC 방식에서는, MPEG2 방식에서의 I픽처에 상 당하는, 랜덤 액세스 가능한 픽처를 IDR(Instantaneous Decoding Refresh)픽처라고 부른다. 이하에서는, 부호화 방식을 MPEG2 방식에 대표시켜서 설명한다.
여기서, MPEG2 방식과 같이 프레임간 압축을 이용하는 부호화 방식에 의해 압축 부호화된 비디오 데이터를 편집하는 경우에 관해 생각한다. 편집 처리의 한 예로서, 비디오 영상에서의 중간부의 장면을 삭제하고, 삭제한 구간의 전후를 결합하는 경우에 관해 설명한다. 예를 들면, 도 2A에 한 예가 도시되는 바와 같이, GOP#1, GOP#2, …, GOP#9, …와 같이 GOP 구조가 연결된 비디오 스트림에 대해, 삭제하는 장면에 대응하는 구간(A-B)을 지정한다. 여기서, 구간(A-B)의 전단(前端)의 편집점(A)과, 후단의 편집점(B)은, 각각 GOP#3 및 GOP#7의 중간부분의 픽처인 것으로 한다. 편집에 의해 해당 구간(A-B)의 픽처를 삭제하여, 편집점(A) 및 편집점(B)을 결합하고, 편집된 1개의 비디오 스트림을 얻는다(도 2 B).
이와 같은 편집을 행하는 경우, 단순히 구간(A-B) 내의 픽처를 삭제한 것에서는, 결합 후에 결합부분을 포함하는 GOP#3+7에서 GOP 구조가 파괴되어 버리고, 정상적으로 재생할 수 없게 된다는 부적합함이 생긴다. 그 때문에, 프레임 정밀도로의 편집을 행할 수 없고, 편집이 GOP 단위로의 처리로 되어 버린다.
또한, GOP 단위로 편집 처리를 행하는 예로서, 삭제 대상의 구간(A-B)에 포함되는 GOP#4 내지 GOP#6을 삭제하고, GOP#3의 후단과 GOP#7의 선두를 결합하는 방법이 고려된다. 그러나, GOP가 오픈 GOP 구조를 취하는 경우, 앞측의 GOP가 삭제되는 GOP#7에서, 선두측의 B픽처군(群)(도 1A, 도 1B 및 도 1C의 예에서는 B0픽처 및 B1픽처)이 디코드될 수 없게 되어 버린다는 부적합함이 생긴다.
상술한 부적합함을 해결하기 위해, 편집 대상의 비디오 스트림을 일단 디코드하고, 그리고 나서 프레임 정밀도로의 편집을 행하고, 재차 인코드하는 방법이 고려된다. 그러나, 대상이 되는 비디오 스트림의 전체를 디코드하고, 재인코드하는 처리를 편집할 때마다 행하는 것으로는, 처리시간이 방대하게 된다. 또한, 일단 인코드된 비디오 스트림의 전체를 디코드하고 재인코드하는 것으로는, 비디오 스트림의 전체에 걸쳐서 화질 열화를 초래하게 된다.
또한, 이러한 부적합함은, 복수의 비디오 스트림을 결합할 때에도 발생하는 것이다.
그래서, 종래로부터, 편집점 부근의 필요한 최소 구간만을 디코드하고 재인코드하는 수법이 알려져 있다. 즉, 삭제나 결합을 행하는 부분의 GOP 및 해당 GOP가 변화함에 의해 영향을 받는 GOP만을 디코드 및 재인코드하고, 그 이외의 GOP에 대해서는, GOP 단위로 카피를 행한다. 이 편집점 부근의 필요한 최소 구간만을 디코드하고 재인코드하는 수법의 대표적인 예로서는, 스마트 렌더링이라고 불리는 수법이 일반적으로 알려져 있다.
상술한 도 2A 및 도 2B를 이용하여, 편집점 부근의 필요한 최소 구간만을 디코드하고 재인코드하는 한 예의 처리에 관해, 개략적으로 설명한다. 편집점(A) 및 편집점(B)에 의한 구간(A-B)을 삭제하는 경우, 편집점(A)측에서 디코드가 필요한 부분은, 편집점(A)을 포함하는 GOP#3과, GOP#3의 직전의 GOP#2가 된다. GOP가 오픈 GOP인 경우, 편집점(A)을 포함하는 GOP#3의 직전의 GOP#2는, GOP#3의 표시순으로 선두의 B0픽처 및 B1픽처를 디코드하기 위해 필요하다. 또한, 편집점(B)측에서 디코드가 필요한 부분은, 편집점(B)을 포함하는 GOP#7과, GOP#7의 직후의 GOP#8이 된다. 오픈 GOP에서는, GOP#8의 표시순으로 선두의 B픽처군을 디코드하기 위해서는, GOP#7의 데이터를 이용할 필요가 있다.
도 2A의 상태에서, 예를 들면 우선 GOP#4 내지 GOP#6을 삭제하고, 다음에 GOP#2 및 GOP#3, 및, GOP#7 및 GOP#8을 각각 디코드한다. 그리고, GOP#3에서는, 디코드된 픽처중 편집점(A) 이후의 픽처를 삭제한다. 마찬가지로, GOP#7에서는, 디코드된 픽처중 편집점(B) 이전의 픽처를 삭제한다. 그리고, 편집점(A) 및 편집점(B)을 결합하고, 새롭게 작성된 GOP#3+7을, 전후의 GOP#2 및 GOP#8의 부호량을 참조하면서 재인코드한다(도 2B). GOP#3+7의 선두의 B0픽처 및 B1픽처는, 디코드된 GOP#2의 최후의 P15픽처와, 디코드된 GOP#3의 I3픽처를 이용하여 인코드한다. GOP#2 및 GOP#8에 관해서는, 디코드 전의 GOP#2 및 GOP#8을 메모리에 기억하여 두고, 이것을 이용할 수 있다.
이와 같은 처리는, 복수의 비디오 스트림을 결합하는 편집할 때에도, 마찬가지로 하여 적용 가능하다.
그런데, 상술한 바와 같은 재인코드를 이용한 편집을 행하기 위해서는, 결합하는 비디오 스트림은, 몇개의 제약을 만족하고 있을 필요가 있다. 상술한 바와 같이, 비디오 스트림은, 파일에 격납되어 기록 매체에 기록된다. 이때, 하나의 파일 에 기록되는 비디오 스트림에 관한 소정의 파라미터에 관해서는, 1파일중에서 값이 고정적일 필요가 있다.
예를 들면, 어떤 파라미터에 관해 다른 값을 갖는 비디오 스트림을, 편집에 의해 하나의 비디오 스트림에 결합하여 하나의 파일에 격납하고, 이 파일에 격납된 비디오 스트림을 재생기에서 재생할 때에, 이 속성의 값이 재생중에 변화한 경우, 재생기의 디코더가 이 파라미터의 값의 변화에 대응할 수 없을 가능성이 있다.
값이 고정적이라는 것이 필요한 파라미터의 예로서는, 수직 및 수평 방향 각각의 그림(畵)테두리 사이즈, 애스펙트비(16 : 9 또는 4 : 3 등), 프레임 레이트(29.97HZ, 59.94HZ 등), 프레임의 구조, 클로스드 캡션의 데이터의 유무 등이 있다. 편집에 의해 재인코드를 행할 때에는, 재인코드 구간에서 결합되는 전후의 비디오 스트림에서, 이들의 파라미터의 값이 모두 일치하고 있을 필요가 있다.
편집 장치에서, 이들의 파라미터의 모두에 대응하는 인코드가 가능하면, 이들의 속성에 맞추어서 소정의 값을 설정하여 인코드하면 좋다. 그러나 이 경우, 편집 장치는, 비디오 스트림의 포맷에 규정되는 각 파라미터에 관해, 파라미터가 취할 수 있는 값의 전부의 조합에 대응하고 있을 필요가 있어서, 인코더의 규모의 증대나, 비용의 증대를 초래하게 된다는 문제점이 있다.
이것을 피하기 위해, 편집 장치측에서, 어느 특정한 기록 장치에서 기록된 비디오 스트림에 대해서만, 편집이 가능하다고 하는 것도 고려된다. 이와 같이 편집 대상의 비디오 스트림을 제한함으로써, 편집 장치측에서는, 그 기록 장치가 대응하고 있는 파라미터만에 대응하고 있으면 된다. 그런데 이 경우, 이 편집 장치에 대해 다른 기록 장치에서 기록된 비디오 스트림을 공급한 경우에, 편집 장치가 오동작하여 버릴 가능성이 있다는 문제점이 있다.
따라서 본 발명의 목적은, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터의 편집 처리를 적절히 행할 수 있도록 한 편집 장치, 편집 방법, 편집 프로그램 및 편집 시스템을 제공하는 데 있다.
상술한 과제를 해결하기 위해, 제 1의 발명은, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터를 편집하는 편집 장치에 있어서, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터로 이루어지는 데이터 스트림이 입력되는 입력부와, 데이터 스트림에 매입된, 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 데이터 스트림으로부터 추출하는 추출부와, 데이터 스트림을 디코드하는 디코드부와, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해, 소정의 속성으로써 인코드하는 인코드부와, 데이터 스트림에 대해 설정된 편집점에 의거하여, 데이터 스트림에 대해 디코드 및 인코드를 행하여 데이터 스트림을 편집하도록 한 편집부를 구비하고, 편집부는, 추출부에서 스트림 데이터로부터 추출된 식별 정보가, 인코드부에 의한 인코드일 때의 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 편집점을 포함하는 소정 구간을 디코드 및 인코드함으로써 편집을 행하는 것을 특징으로 하는 편집 장치이다.
또한, 제 2의 발명은, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터를 편집하는 편집 방법에 있어서, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터로 이루어지는 데이터 스트림에 매입된, 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 데이터 스트림으로부터 추출하는 추출의 스텝과, 데이터 스트림을 디코드하는 디코드의 스텝과, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해, 소정의 속성으로써 인코드하는 인코드의 스텝과, 데이터 스트림에 대해 설정된 편집점에 의거하여, 데이터 스트림에 대해 디코드 및 인코드를 행하여 데이터 스트림을 편집하도록 한 편집의 스텝을 구비하고, 편집의 스텝은, 추출부에서 스트림 데이터로부터 추출된 식별 정보가, 인코드의 스텝에 의한 인코드일 때의 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 편집점을 포함하는 소정 구간을 디코드 및 인코드함으로써 편집을 행하는 것을 특징으로 하는 편집 방법이다.
또한, 제 3의 발명은, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터를 편집하는 편집 방법을 컴퓨터 장치에 실행시키는 편집 프로그램에 있어서, 편집 방법은, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터로 이루어지는 데이터 스트림에 매입된, 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 데이터 스트림으로부터 추출하는 추출의 스텝과, 데이터 스트림을 디코드하는 디코드의 스텝과, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해, 소정의 속성으로써 인코드하는 인코드의 스텝과, 데이터 스트림에 대해 설정된 편집점에 의거하여, 데이터 스트림에 대해 디코드 및 인코드를 행하여 데이터 스트림을 편집하도록 한 편집의 스텝을 구비하고, 편집의 스텝은, 추출부에서 스트림 데이터로부터 추출된 식별 정보가, 인코드의 스텝에 의한 인코드일 때의 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 편집점을 포함하는 소정 구간을 디코드 및 인코드함으로써 편집을 행하는 것을 특징으로 하는 편집 프로그램이다.
또한, 제 4의 발명은, 비디오 데이터를 프레임간 압축을 이용하여 압축 부호화하여 기록 매체에 기록하고, 기록 매체로부터 재생된 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터를 편집하는 편집 시스템에 있어서, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해 소정의 속성으로써 인코드하여 데이터 스트림으로서 출력하는 제 1의 인코드부와, 제 1의 인코드부로부터 출력된 데이터 스트림을 스트림 파일로서 기록 매체에 기록하는 기록부를 구비하고, 데이터 스트림에 대해 장치 자체를 식별하는 식별 정보를 매입하여 기록 매체에 기록하도록 한 기록 장치와, 기록 매체에 기록된 스트림 파일을 판독하여 데이터 스트림을 취출하는 재생부와, 데이터 스트림으로부터 식별 정보를 추출하는 추출부와, 데이터 스트림을 디코드하는 디코드부와, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해, 소정의 속성으로써 인코드하는 제 2의 인코드부와, 데이터 스트림에 대해 설정된 편집점에 의거하여, 데이터 스트림에 대해 디코드 및 인코드를 행하여 데이터 스트림을 편집하도록 한 편집부를 구비하고, 편집부는, 추출부에서 스트림 데이터로부터 추출된 식별 정보가, 제 2의 인코드부에 의한 인코드일 때의 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 편집점을 포함하는 소정 구간을 디코드 및 인코드함으로써 편집을 행하도록 한 편집 장치를 갖는 것을 특징으로 하는 편집 시스템이다.
상술한 바와 같이, 제 1, 제 2 및 제 3의 발명은, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터로 이루어지는 데이터 스트림에 매입된, 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 데이터 스트림으로부터 추출하고, 데이터 스트림에 대해 설정된 편집점에 의거하여, 데이터 스트림에 대해 디코드 및 인코드를 행하여 데이터 스트림을 편집하도록 되고, 편집시에, 추출부에서 스트림 데이터로부터 추출된 식별 정보가, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해 이루어지는 인코드할 때의 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 편집점을 포함하는 소정 구간을 디코드 및 인코드함으로써 편집을 행하도록 하고 있기 때문에, 데이터 스트림에 매입된, 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 보는 것만으로, 편집점을 포함하는 소정 구간의 디코드 및 인코드에 의한 편집이 가능한지의 여부를 판단할 수 있다.
또한, 제 4의 발명은, 기록 장치는, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해 소정의 속성으로써 인코드하여 출력된 데이터 스트림을 스트림 파일로서 기록 매체에 기록하고, 그때에, 데이터 스트림에 대해 장치 자체를 식별하는 식별 정보를 매입하여 기록 매체에 기록하도록 되고, 편집 장치는, 기록 매체에 기록된 스트림 파일을 판독하여 데이터 스트림을 취출하여 데이터 스트림으로부터 식별 정보를 추출하고, 데이터 스트림에 대해 설정된 편집점에 의거하여, 데이터 스트림에 대해 디코드 및 프레임간 압축을 이용한 압축 부호화에 의해 소정의 속성으로써 인코드를 행하여 데이터 스트림을 편집하도록 되고, 편집할 때에, 스트림 데이터로부터 추출된 식별 정보가, 편집 장치에서의 인코드할 때의 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 편집점을 포함하는 소정 구간을 디코드 및 인코드함으로써 편집을 행하도록 하고 있기 때문에, 편집 장치는, 데이터 스트림을 기록한 장치를 식별하는 식별 정보에 의거하여, 대응하는 기록 장치에서 기록된 데이터 스트림인지의 여부를 알 수 있어, 대응하는 기록 장치에서 기록된 데이터 스트림이라고 판단된 경우에, 편집점을 포함하는 소정 구간의 디코드 및 인코드에 의한 편집을 행할 수 있다.
제 1, 제 2 및 제 3의 발명은, 상술한 바와 같이, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터로 이루어지는 데이터 스트림에 매입된, 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 데이터 스트림으로부터 추출하고, 데이터 스트림에 대해 설정된 편집점에 의거하여, 데이터 스트림에 대해 디코드 및 인코드를 행하여 데이터 스트림을 편집하도록 되고, 편집시에, 추출부에서 스트림 데이터로부터 추출된 식별 정보가, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해 이루어지는 인코드할 때의 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 편집점을 포함하는 소정 구간을 디코드 및 인코드함으로써 편집을 행하도록 하고 있기 때문에, 데이터 스트림에 매입된, 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 보는 것만으로, 편집점을 포함하는 소정 구간의 디코드 및 인코드에 의한 편집이 가능한지의 여부를 판단할 수 있은 효과가 있다.
또한, 제 4의 발명은, 상술한 바와 같이, 기록 장치는, 비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해 소정의 속성으로써 인코드하여 출력된 데이터 스트림을 스트림 파일로서 기록 매체에 기록하고, 그 때에, 데이터 스트림에 대해 장치 자체를 식별하는 식별 정보를 매입하여 기록 매체에 기록하도록 되고, 편집 장치는, 기록 매체에 기록된 스트림 파일을 판독하여 데이터 스트림을 취출하고 데이터 스트림으로부터 식별 정보를 추출하고, 데이터 스트림에 대해 설정된 편집점에 의거하여, 데이터 스트림에 대해 디코드 및 프레임간 압축을 이용한 압축 부호화에 의해 소정의 속성으로써 인코드를 행하여 데이터 스트림을 편집하도록 되고, 편집할 때에, 스트림 데이터로부터 추출된 식별 정보가, 편집 장치에서의 인코드할 때의 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 편집점을 포함하는 소정 구간을 디코드 및 인코드함으로써 편집을 행하도록 하고 있기 때문에, 편집 장치는, 데이터 스트림을 기록한 장치를 식별하는 식별 정보에 의거하여, 대응하는 기록 장치에서 기록된 데이터 스트림인지의 여부를 알 수 있어, 대응하는 기록 장치에서 기록된 데이터 스트림이라고 판단된 경우에, 편집점을 포함하는 소정 구간의 디코드 및 인코드에 의한 편집을 행할 수 있는 효과가 있다.
도 1A, 도 1B 및 도 1C는 프레임간 압축을 행한 데이터의 디코드 처리에 관 해 설명하기 위한 약선도,
도 2A 및 도 2B는 비디오 영상에서의 중간부의 장면을 삭제하고, 삭제한 전후를 결합하는 편집을 설명하기 위한 약선도,
도 3은 NAL 유닛의 한 예의 구성을 도시하는 약선도,
도 4는 액세스 유닛의 한 예의 구성을 도시하는 약선도,
도 5는 본 발명의 실시의 한 형태에 적용 가능한 비디오 데이터의 한 예의 구조를 개략적으로 도시하는 약선도,
도 6은 SEI"User Data Unregistered SEI"에 격납되는 정보의 한 예의 구조를 나타내는 신택스를 도시하는 약선도,
도 7A 및 도 7B는, 블록(one_modified_dv_pack())의 구성의 예를 나타내는 신택스를 도시하는 약선도,
도 8A, 도 8B 및 도 8C는 본 발명의 실시의 한 형태에 의한 비디오 스트림의 한 예의 편집 방법에 관해 설명하기 위한 약선도,
도 9는 본 발명의 실시의 한 형태에 의한 편집 방법에 의한 한 예의 편집 처리를 도시하는 플로우 차트,
도 10A, 도 10B 및 도 10C는 편집점 부근의 필요한 최소 구간만을 재인코드하는 수법에 의한 한 예의 편집 처리에 관해 개략적으로 설명하기 위한 약선도,
도 11A 및 도 11B는 편집 대상의 비디오 스트림의 전 구간을 재인코드하는 수법에 의한 한 예의 편집 처리에 관해 개략적으로 설명하기 위한 약선도,
도 12A, 도 12B 및 도 12C는 2개의 스트림 파일에 격납되는 비디오 스트림에 대해 행하는 편집 처리를 개략적으로 도시하는 약선도,
도 13A, 도 13B 및 도 13C는 2개의 스트림 파일에 격납되는 비디오 스트림에 대해 편집을 행하는 경우의, 편집점 부근의 필요한 최소 구간만을 재인코드하는 수법에 의한 한 예의 편집 처리에 관해 개략적으로 설명하기 위한 약선도,
도 14A 및 도 14B는 2개의 스트림 파일에 격납되는 비디오 스트림에 대해 편집을 행하는 경우의, 편집 대상의 전 구간을 재인코드하는 수법에 의한 한 예의 처리에 관해 개략적으로 설명하기 위한 약선도,
도 15는 본 발명의 실시의 한 형태에 적용 가능한 기록 장치의 한 예의 구성을 도시하는 블록도,
도 16은 본 발명의 실시의 한 형태에 적용 가능한 편집 장치의 한 예의 구성을 도시하는 블록도,
도 17은 일반적인 컴퓨터 장치의 한 예의 구성을 개략적으로 도시하는 블록도.
(도면의 주요 부분에 대한 부호의 설명)
1 : 기록 장치
2 : 편집 장치
3 : 컴퓨터 장치
11 : 비디오 인코더
12 : 멀티플렉서
13 : 스트림 버퍼
14 : 기록 처리부
20 : 기록 매체
30 : 재생 처리부
31 : 스트림 버퍼
32 : 멀티플렉서
33 : 비디오 디코더
40 : 에디트부
41 : UI부
42 : 하드디스크 드라이브
51 : CPU
52 : ROM
53 : RAM
58 : 드라이브 장치
60 : 하드디스크 드라이브
S10 : 편집 대상의 스트림 파일로부터 Modified DV Pack의 MAKER&Model ID Pack를 검색
S11 : 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하는지?
S12 : 필요한 최소한의 구간만 재인코드에 의한 편집 처리
S13 : 전구간의 재인코드에 의한 편집 처리
이하, 본 발명의 실시의 한 형태를, 도면을 참조하면서 설명한다. 우선, 이해를 용이하게 하기 위해, 본 발명에 적용 가능한 한 예의 포맷(이하, AVCHD 포맷이라고 부른다)에 관해 설명한다. AVCHD 포맷은, 비디오 데이터와 오디오 데이터가 정한 바에 따라 다중화된 AV(Audio/Video) 스트림을 기록 가능한 기록 매체에 기록하는 기록 포맷으로서, AV 스트림을 기록 매체에 파일로서 기록하고, 기록된 AV 스트림을, 클립 단위로 플레이 리스트를 이용하여 관리 가능하게 하고 있다.
AVCHD에서는, 부호화 방식으로서, 예를 들면 ITU-T(International Telecommunication Union-Telecommunication Standarization Sector) 권고 H.264 또는 ISO(International Organization for Standarization)/IEC(International Electrotechnical Commission) 국제 표준 14496-10(MPEG-4 파트 10) Advanced Video Coding(이하, H.264|AVC라고 약칭한다)에 규정되는 부호화 방식을 이용하고, MPEG2 시스템의 규정에 따라 비디오 데이터 및 오디오 데이터를 다중화한다.
H.264|AVC 방식으로 부호화되고, MPEG2 시스템에 따라 다중화된 비트 스트림은, 클립 AV 스트림(또는 AV 스트림)이라고 칭하여진다. 클립 AV 스트림은, 소정의 파일 시스템에 의해 파일로서 기록 매체에 기록된다. 이하에서는, 클립 AV 스트림이 기록되는 파일을, 스트림 파일이라고 부른다.
이 AVCHD 포맷에 의한 데이터 구조는, H.264|AVC에 규정되는 비트 스트림 구조에 준한다. 여기서, H.264|AVC에 규정되는 비트 스트림 구조를 개략적으로 설명한다. H.264|AVC에서는, 동화상 부호화 처리 그 자체를 취급하는 VCL(Video Coding Layer)와, 부호화된 정보의 전송이나 축적을 행하는 하위 시스템과의 사이에 있는 NAL(Network Abstraction Layer)이 규정되고, VCL과 NAL이 분리된 구조가 된다. 또한, 시퀀스나 픽처의 헤더 정보에 상당하는 파라미터 세트도, VCL에서 생성한 정보로부터 분리하여 취급할 수 있도록 되어 있다.
H.264|AVC에 의한 비트 스트림의 하위 시스템, 예를 들면 MPEG2 시스템에 대한 매핑은, NAL의 한 단락인 NAL 유닛을 단위로 하여 행하여진다. 도 3은, NAL 유닛의 한 예의 구성을 도시한다. NAL 유닛은, NAL 헤더 및 RBSP(Raw Byte Sequence Payload)로 구성된다. NAL 헤더는, 1비트의 데이터 길이를 갖는 고정 비트 부분에 계속해서, 2비트의 데이터 길이를 갖는 정보(nal_ref_idc)와, 5비트의 데이터 길이를 갖는 정보(nal_unit_type)가 배치된다. 정보(nal_ref_idc)는, 이 NAL 유닛에 참조 픽처가 될 수 있는 슬라이스가 격납되어 있는지의 여부를 나타낸다. 정보(nal_unit_type)는, 이 NAL 유닛의 종류를 나타낸다. RBSP는, 동화상의 압축 부호화된 생(生)데이터가 격납된다.
또한, RBSP 트레일링 비트는, 이 NAL 유닛의 비트 길이를 8비트의 배수(倍數)로 조정하기 위한 조정용 비트이다. RBSP 트레일링 비트는, "1"부터 시작하고 그 뒤에 "0"이 연결되는 구성으로 되어 있고, 최초의 비트"1"을 검출함에 의해, RBSP의 최후의 비트 위치를 특정할 수 있다. 또한, "0"의 뒤에 "1"이 검출되면, 그 위치가 NAL 유닛의 선두인 것을 알 수 있다.
정보(nal_unit_type)에 의해 나타나는 NAL 유닛의 종류에는, 부호화된 각종 픽처의 슬라이스, SEI(Supplemental Enhancement Information), SPS(Sequence Parameter Set), PPS(Picture Parameter Set), AU(Access Unit) 델리미터, 시퀀스 의 종료(End Of Sequence : EOS), 스트림의 종료(End Of Stream : EOS) 등이 있고, 정보(nal_unit_type)의 값에 의해, RBSP에 격납되는 정보가 이들중 어느것인지가 나타난다.
SEI는, 보충적인 부가(附加) 정보로서, VCL의 복호화에 필수는 아닌 부가 정보가 나타난다. SEI로서는, 가상 참조 디코더에 관련되는 각 픽처의 타이밍 정보, 팬·스캔 기능에 관한 정보, 랜덤 액세스를 위해 사용되는 정보, 유저의 독자 정의에 의한 정보(유저 데이터) 등이 정의된다. SPS는, 시퀀스 전체의 부호화에 관한 정보가 포함된 헤더이다. PPS는, 픽처 전체의 부호화 모드에 관한 정보가 포함된 헤더이다. 또한, AU 델리미터는, 후술하는 액세스 유닛의 선두를 나타낸다.
비트 스트림중의 정보를 픽처 단위로 액세스하기 위해, 몇개의 NAL 유닛을 종합한 한 단락을, 액세스 유닛이라고 부른다. 도 4는, 액세스 유닛의 한 예의 구성을 도시한다. 도 4에 도시되는 액세스 유닛의 구성중, 주(主)픽처의 각 슬라이스에 상당하는 NAL 유닛을 제외한 다른 정보는, 반드시 액세스 유닛에 존재하고 있을 필요가 없는, 옵션의 정보이다. 이들 옵션의 정보를 이용하는 경우에는, 도 4에 도시되는 바와 같이, AU 델리미터, SPS, PPS, SEI, 주픽처, 용장(冗長)픽처, EOS(End Of Sequence) 및 EOS(End Of Stream)의 순서로 나열할 필요가 있다. 각 NAL 유닛은, NAL 헤더의 정보에 의거하여 식별된다. 또한, 용장픽처에 관해서는, 본 발명과의 관계가 희박하기 때문에, 설명을 생략한다.
도 5는, 본 발명의 실시의 한 형태에 적용 가능한 비디오 데이터의 한 예의 구조를, 개략적으로 도시한다. 이 실시의 한 형태에서는, 비디오 데이터는, GOP(Group Of Picture) 구조를 취하고, GOP는, 적어도 1장의 I픽처와, 각각 하나 내지 복수매의 P픽처 및 B픽처로 이루어진다.
GOP마다, 헤더가 마련된다. 헤더는, 도 4에 도시한 AU 델리미터, SPS, PPS 및 SEI에 대응하고, 적어도 AU 델리미터 및 SEI를 포함한다. SEI는, H.264|AVC의 규정에서 복수의 명칭이 정의되고, 명칭마다 다른 정보를 전송하도록 되어 있다. 본 발명의 실시의 한 형태에서는, 특히, SEI중 유저 독자적인 정의가 가능하게 된 SEI인 "User Data Unregistered SEI"에 대해, 기록 장치 고유의 정보를 격납하도록 하고 있다.
도 6은, 이 SEI"User Data Unregistered SEI"에 격납되는 정보의 한 예의 구조를 나타내는 신택스를 도시한다. 여기서는, 신택스를 컴퓨터 장치 등의 프로그램의 기술 언어로서 사용되는 C언어의 기술법에 의거하여 나타낸다. 이것은, 다른 신택스를 도시하는 도면에서도 마찬가지이다.
이 SEI"User Data Unregistered SEI"는, 도 6의 최초의 행에 "user_data_unregistered(payloadSize)"로서 나타나는 바와 같이, 페이로드 사이즈, 즉, 이 SEI"User Data Unregistered SEI"의 전체의 데이터 길이가 지정되어 참조된다. 도 6에서, 128비트의 데이터 길이를 갖는 필드(uuid_iso_iec_11578)는, 소정의 식별 정보가 격납된다. 다음의 데이터 길이가 32비트의 필드(type_indicator)는, 이 SEI"User Data Unregistered SEI"의 타입을 나타낸다. 필드(type_indicator)의 값이 "0x47413934"이고, if문자(文)에 따라, 클로스드 캡션의 데이터가 격납되는 블록(cc_data())이 배치된다. 클로스드 캡션에 관해서는, 본 발명과 관계가 희박하기 때문에, 설명을 생략한다.
또한, 수치의 기술에 있어서 "0x"는, 그 수치가 16진 표기되어 있는 것을 나타낸다. 이것은, 이하의 같은 표기에 관해 공통이다.
필드(type_indicator)의 값이 "0x4D44504D"라면, if문자에서의 "else if"의 기술에 따라, 블록(ModifiedDVPackMeta())이 기술된다. 이 블록(ModifiedDVPackMeta())은, 이 데이터를 기록한 기록 장치 고유의 정보가 격납된다. 블록(ModifiedDVPackMeta())에서, 8비트의 데이터 길이를 갖는 필드(number_of_modified_dv_pack_entries)는, 이 블록(ModifiedDVPackMeta())에 격납되는 데이터(modified_dv_pack)의 수를 나타낸다. 다음의 for루프문자에 따라, 이 필드(number_of_modified_dv_pack_entries)에 나타나는 수만큼, 데이터(modified_dv_pack) 즉 블록(one_modified_dv_pack())이 격납된다.
블록(one_modified_dv_pack())은, 8비트의 데이터 길이를 갖는 필드(mpd_id)와, 32비트의 데이터 길이를 갖는 필드(mpd_data)로 이루어진다. 도 7A 및 도 7B는, 블록(one_modified_dv_pack())의 구성의 예를 나타내는 신택스를 도시한다. 도 7A는, 블록(one_modified_dv_pack())이, 이 데이터를 기록한 기록 장치를 나타내는 정보가 격납되는 블록(MAKER & MODEL ID pack())인 예이다. 또한, 도 7B는, 블록(one_modified_dv_pack())이, 기록시의 화질 모드를 나타내는 정보가 격납되는 블록(MAKER OPTION pack())인 예이다.
도 7A의 블록(MAKER & MODEL ID pack())에 관해 설명한다. 필드(mpd_id)는, 8비트의 데이터 길이를 가지며, 이 블록(one_modified_dv_pack())의 종류별을 나타 낸다. 즉, 필드(mpd_id)가 소정의 값이고, 이 블록(one_modified_dv_pack())이 이 데이터를 기록한 기록 장치를 나타내는 정보가 격납되는 블록(MAKER & MODEL ID pack())인 것이 나타난다. 도 6에서 도시한 필드(mpd_data)는, 이 블록(MAKER & MODEL ID pack())에서는, 각각 16비트의 데이터 길이를 갖는 필드(maker_ID)와, 필드(maker_model_code)로 나뉘어져 있다. 필드(maker_ID)는, 이 데이터를 기록한 기록 장치의 메이커를 식별하기 위한 식별 정보를 나타낸다. 필드(maker_model_code)는, 해당 기록 장치의 형번(型番)이나 기종을 식별하는 식별 정보를 나타낸다.
도 7B의 블록(MAKER OPTION pack())에 관해 설명한다. 이 블록(MAKER OPTION pack())에는, 상술한 바와 같이, 기록시의 화질 모드를 나타내는 정보가 격납된다. 즉, 영상이나 음성을 기록 재생하는 장치에서, 비트 레이트를 단계적으로 전환함으로써 기록시간과, 화질 또는 음질을 전환할 수 있도록 하는 것은, 일반적으로 행하여지고 있다. 한 예로서, 가장 비트 레이트가 높고 고화질(또는 고음질)을 얻을 수 있지만, 기록 가능 시간이 짧은 HQ(High Quarity) 모드, 실용상 충분한 화질과 기록 가능 시간이 보증되고, 비트 레이트가 중간 정도인 LP(Long Play) 모드, 화질은 실용상 무방한 정도로 하고, 장시간 기록을 우선한, 비트 레이트가 낮은 SP(Standard Play) 모드가 설정된다.
한편, 이와 같은 기록시의 화질 모드는, 영상 및 음성의 기록 포맷상에, 반드시 표현할 수 있는 것은 아니고, 예를 들면 메이커나 장치의 형번(型番), 기종에 고유한 사양인 경우도 많다. 또한, 유저에 대해서는, 재생시에, 재생하려고 하는 컨텐츠가 어떤 기록 모드로 기록된 것인지를 통지 가능하게 되어 있는 것이 바람직 하다.
그래서, 메이커나 형번, 기종에 고유의 기록 모드를 기술 가능한 블록(MAKER OPTION pack())을 정의하는 것이 고려된다. 이 블록(MAKER OPTION pack())은, 예를 들면 상술한 블록(MAKER & MODEL ID pack())과 병렬적으로 이용하는 것이 고려된다. 한 예로서, SEI"User Data Unregistered SEI"에 대해, 블록(MAKER & MODEL ID pack())과 블록(MAKER OPTION pack())을 병기(倂記)한다.
도 7B에서, 필드(mpd_id)는, 8비트의 데이터 길이를 가지며, 이 블록(one_modified_dv_pack())의 종류별을 나타낸다. 즉, 필드(mpd_id)가 소정의 값이고, 이 블록(one_modified_dv_pack())이 이 데이터를 기록하였을 때의 화질에 관한 기록 모드를 나타내는 정보가 격납되는 블록(MAKER OPTION pack())인 것이 나타난다.
도 6에서 도시한 필드(mpd_data)는, 이 블록(MAKER OPTION pack())에서는, 예를 들면 32비트의 데이터 길이를 갖는 필드(REC_MODE)에, 이 블록(MAKER OPTION pack())이 격납되는 SEI"User Data Unregistered SEI"를 포함하는 비디오 데이터가 기록된 때의, 화질에 관한 기록 모드가 기술된다. 예를 들면, 필드(REC_MODE)의 값이 "0"에서 HQ 모드, "1"에서 SP 모드, "2"에서 LP 모드를 나타낸다. 기록 모드는, 이 3종류로 한정하지 않고, 더욱 많아도 좋고, HQ 모드와 SP 모드의 2종류만 등 적어도 좋다.
이와 같이, 비디오 데이터에 대해, SEI"User Data Unregistered SEI"에 해당 비디오 데이터를 기록한 때의 화질에 관한 기록 모드가 기술되는 블록(MAKER OPTION pack())과, 해당 비디오 데이터를 기록한 기록기의 메이커나 형번(型番), 기종이 기술되는 블록(MAKER & MODEL ID pack())을 병기함으로써, 해당 비디오 데이터를 재생시에, 블록(MAKER & MODEL ID pack())으로부터 해당 비디오 데이터가 자체기기(自機) 또는 자체기기와 동(同) 메이커, 동(同) 기종, 형번의 기록기에서 기록되었는지의 여부를 판별할 수 있다. 해당 비디오 데이터가 자체기기 또는 자체기기와 동 메이커, 동 기종, 형번의 기록기에서 기록되었다고 판별할 수 있다면, 해당 기록기에 특유한 데이터의 해석이나, 처리를 행할 수 있다.
한 예로서, 재생시에, 블록(MAKER OPTION pack())으로부터, 재생되는 비디오 데이터가 기록된 때의 화질에 관한 기록 모드를 판독하고, 예를 들면 표시할 수 있다. 또한, 다른 예로서, 화질에 관한 기록 모드를, SEI"User Data Unregistered SEI"에 격납되는 블록(one_modified_dv_pack())에 대해 정의함으로써, 해당 기록 모드를 나타내는 정보가 비디오 데이터의 스트림중에 매입되기 때문에, 해당 비디오 데이터에 대해 편집 작업을 행한 경우에도, 기록 모드 정보를 계속할 수 있다.
다음에, 본 발명의 실시의 한 형태에 관해 설명한다. 편집점 부근의 필요한 최소 구간만을 재인코드함으로써 편집을 행할 때에는, 편집 대상의 비디오 스트림에 포함되는 소정의 파라미터의 값이 스트림 파일중에서 고정적일 필요가 있다. 예를 들면, AVCHD 포맷에서는, 하나의 스트림 파일 내에서 이하의 파라미터(1 내지 6)가 일정하여야 한다고 규정되어 있다.
파라미터(1) : 그림테두리의 수평 방향의 사이즈를 나타내는 파라미터
파라미터(2) : 그림테두리의 수직 방향의 사이즈를 나타내는 파라미터
파라미터(3) : 표시 화상의 어스펙트를 나타내는 파라미터
파라미터(4) : 프레임 레이트를 나타내는 파라미터
파라미터(5) : 프레임의 구조를 나타내는 파라미터
파라미터(6) : 클로스드 캡션 데이터의 유무를 나타내는 파라미터
또한, AVCHD에서의 이들 파라미터(1 내지 6)의 구체적인 것은, H.264|AVC의 규정에 의거하여, 하기와 같이 된다. 파라미터(1)는 SPS에서 코드(pic_width_in_mbs_minus1)로서 기술된다. 파라미터(2)는 SPS에서 코드(pic_height_in_map_units_minus1)로서 기술된다. 파라미터(5)는 SPS에서 코드(frame_mbs_only_flag)로서 기술된다. 또한, 파라미터(3)는 SPS에서 코드(aspect_ratio_idc)로서 기술된다. 파라미터(4)는 예를 들면 SPS에서 코드( video_format)에 의거하여 구하여진다. 이들 코드(aspect_ratio_idc) 및 코드(video_format)는, SPS에서 옵션으로서 기술된다. 또한, 파라미터(6)는, 상술한 SEI"User Data Unregistered SEI"에서, 필드(type_indicator)의 값에 의거하여 판단할 수 있다. 즉, 필드(type_indicator)의 값이 "0x47413934"일 때에, 클로스드 캡션의 데이터가 존재한다고 판단된다.
여기서, 편집 대상의 스트림 파일중의 이들의 파라미터(1 내지 6)가 취할 수 있는 값의 전부에 관해 편집 장치측이 인코드 가능하면, 항상 편집점 부근의 필요한 최소 구간만을 재인코드하는 방법으로의 편집 방법을 적용하여 편집 처리를 고속으로 행할 수 있다. 그런데, 편집 장치를 파라미터(1 내지 6)가 취할 수 있는 값의 전부에 대해 대응 가능하게 설계하면, 인코더의 규모가 커지는 것을 피할 수 없 고, 또한, 비용도 늘어나 버린다.
그래서, 본 발명으로는, 비디오 스트림을 편집할 때에, 편집 대상의 비디오 스트림의 소정 위치에 배치된, 해당 비디오 스트림을 생성한 기록 장치를 나타내는 정보를 추출하고, 편집 대상의 비디오 스트림을 생성한 기록 장치가 특정한 기록 장치인지의 여부를 판단한다.
특정한 기록 장치란, 예를 들면, 그 기록 장치로 생성된 비디오 스트림에서의 상술한 파라미터(1 내지 6) 각각의 값에 나타나는 속성과 동등한 속성으로의 인코드가, 편집 장치측에서 가능한 값인 기록 장치이다. 특정한 기록 장치를 나타내는 정보는, 예를 들면, 도 6, 및, 도 7A 및 도 7B를 이용하여 설명한 SEI"User Data Unregistered SEI"에어서, 블록(ModifiedDVPackMeta())에 격납되는 블록(MAKER & MODEL ID pack())에, 필드(maker_ID) 및 필드(maker_model_code)로서 기술된다.
판단의 결과, 편집 대상의 비디오 스트림을 생성한 기록 장치가 특정한 기록 장치라고 되면, 편집점 부근의 필요한 최소 구간만을 재인코드하는 수법을 이용하여 비디오 스트림의 편집을 행한다. 만약, 편집 대상의 비디오 스트림을 생성한 기록 장치가 특정한 기록 장치가 아니다라고 판단되면, 편집 대상의 비디오 스트림의 전체를 디코드하고, 디코드된 비디오 데이터에 대해 프레임 단위로의 편집을 행하고, 편집된 비디오 데이터의 전체를, 재인코드한다.
본 발명에 의하면, 비디오 스트림의 편집시에, 편집점 부근의 필요한 최소 구간만을 재인코드하는 수법이 적용 가능한지를, 편집 대상의 비디오 스트림중의 정보에 의거하여 용이하게 판단할 수 있다. 또한, 편집 장치측에서는, 특정한 기록 장치에서 기록된 스트림 파일을 주된 편집 대상으로 하는 경우, 편집 장치의 인코더는, 대상이 되는 특정한 기록 장치와 동등한 파라미터만에 대응할 뿐, 필요한 최소 구간을 재인코드하는 수법을 이용한 편집 처리를 행할 수 있다.
본 발명의 실시의 한 형태에 의한 비디오 스트림의 한 예의 편집 방법에 관해 설명한다. 도 8A에 예시되는 바와 같이, GOP#1 내지 GOP#9의 9개의 GOP로 이루어지는 비디오 스트림 파일을 고려한다. GOP#1 내지 GOP#9에 대해, 헤더#1 내지 헤더#9가 각각 부가되어 있다. 헤더#1 내지 헤더#9의 각각에는, 상술한, 이 파일을 기록한 기록 장치의 정보를 나타내는 데이터(modified_dv_pack)를 포함하는 블록(ModifiedDVPackMeta())이 기술되는 SEI"User Data Unregistered SEI"가 격납되어 있다.
이 파일에 격납되는 비디오 스트림에 대해, 도 8B에 한 예가 도시되는 바와 같이, GOP#3 내에 있는 픽처에 편집점(A)을 설정하고, GOP#7 내에 있는 픽처에 편집점(B)을 설정하고, 편집점(A) 및 편집점(B) 사이의 구간(A-B)에 포함된 픽처를 삭제하고 편집점(A) 및 편집점(B)을 결합하는 편집 처리를 행하는 것으로 한다. 편집 결과는, 도 8C에 한 예가 도시되는 바와 같이, 편집점(A) 및 편집점(B) 사이의 GOP#4 내지 GOP#6이 삭제되고, 편집점(A)을 포함하는 GOP#3과, 편집점(B)을 포함하는 GOP#7이 편집점(A) 및 편집점(B)으로 결합된 GOP#3+7이 생성되고, 전체로서, GOP#1, GOP#2, GOP#3+7, GOP#8 및 GOP#9의 5개의 GOP로 이루어지는 비디오 스트림이 생성된다. 또한, 도 8B 및 도 8C에서는, 번잡을 피하기 위해 헤더의 기재를 생 략하고 있다.
도 9는, 본 발명의 실시의 한 형태에 의한 편집 방법에 의한 한 예의 편집 처리를 도시하는 플로우 차트이다. 편집 대상의 파일이 지정되면, 스텝 S10에서, 편집 대상이 된 스트림 파일로부터, 이 파일을 기록한 기록 장치의 정보를 나타내는 데이터(modified_dv_pack)의 블록(MAKER & MODEL ID pack())(도 6, 및, 도 7A 및 도 7B 참조)가 검색된다.
예를 들면, 도 8A를 참조하면, 편집 대상이 된 스트림 파일에 격납되는 비디오 스트림의 선두의 헤더#1의 NAL 유닛이 해석되고, SEI"User Data Unregistered SEI"가 추출된다. 그리고, SEI"User Data Unregistered SEI"로부터, 이 파일을 기록한 기록 장치의 정보를 나타내는 데이터(modified_dv_pack)를 포함하는 블록(ModifiedDVPackMeta())이 검색되고, 또한, 블록(ModifiedDVPackMeta())으로부터, 필드(mpd_id)의 값에 의거하여 블록(MAKER & MODEL ID pack())이 검색된다.
다음의 스텝 S11에서, 블록(MAKER & MODEL ID pack())에 격납되는 필드(maker_ID) 및 필드(maker_model_code)가 각각 취득되고, 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하는지의 여부가 판단된다. 또한, 같은 속성이란, 예를 들면, 상술한 파라미터(1 내지 6)에 관해, 동일한 파라미터 값으로써 인코드 가능한 것을 의미한다.
예를 들면, 편집 장치는, 미리 ROM(Read Only Memory)이나 하드 디스크 드라이브 등의 기억 수단에, 해당 편집 장치가 대응 가능한 파라미터로 인코드를 행하는 기록 장치의 특정 정보(필드(maker_ID) 및 필드(maker_model_code)의 값)를 기 억하여 두고, 기억되어 있는 필드(maker_ID) 및 필드(maker_model_code)의 값중, 편집 대상의 비디오 스트림으로부터 취득된 필드(maker_ID) 및 필드(maker_model_code)의 값이 일치하는 것이 존재하는지의 여부가 판단된다.
만약, 스텝 S11에서, 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재한다고 판단되면, 처리는 스텝 S12로 이행되고, 편집 대상의 비디오 스트림의, 편집점 부근의 필요한 최소 구간만을 재인코드하는 수법을 이용하여 편집을 행하는 한편, 스텝 S11에서, 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하지 않는다고 판단되면, 처리는 스텝 S13으로 이행되어, 편집 대상의 비디오 스트림의 전 구간을 재인코드하는 수법을 이용하여 편집을 행한다.
또한, 복수의 스트림 파일을 편집 대상으로 하는 경우, 예를 들면 2개의 스트림 파일의 각각에 편집점을 마련하고, 편집점에 의거하여 해당 2파일을 결합하는 편집을 행하는 경우, 편집 대상의 각각에 대해, 스텝 S10 및 스텝 S11의 처리를 행한다. 예를 들면, 편집 대상의 2파일에 관해 각각 블록(MAKER & MODEL ID pack())을 검색하고(스텝 S10), 각각의 블록(MAKER & MODEL ID pack())에서의 필드(maker_ID) 및 필드(maker_model_code)의 값에 관한 판단이 이루어진다(스텝 S11).
그리고, 편집 대상의 2파일에서의 필드(maker_ID) 및 필드(maker_model_code)의 값이, 모두, 편집 장치에 기억되어 있는 값에 일치하고 있으면, 스텝 S12의 편집점 부근의 필요한 최소 구간만의 재인코드 처리를 행하는 것으로 한다.
스텝 S12에 의한, 편집점 부근의 필요한 최소 구간만을 재인코드하는 수법에 의한 한 예의 편집 처리에 관해, 도 10A, 도 10B 및 도 10C를 이용하여 개략적으로 설명한다. 또한, 도 10A, 도 10B 및 도 10C에 예시되는 비디오 스트림의 구성은, 상술한 도 8A, 도 8B 및 도 8C에 대응하고, 9개의 GOP#1 내지 GOP#9로 이루어진다. 이 비디오 스트림에 대해, 상술한 바와 같이 하여 GOP#3 내에 편집점(A)을 지정하고, GOP#7 내에 편집점(B)을 지정하고, 구간(A-B)을 삭제하는 편집을 행한다.
우선, 도 10A에 예시되는 바와 같이, 편집점(A)을 포함하는 GOP#3의 직후의 GOP#4로부터, 편집점(B)을 포함하는 GOP#7의 직전의 GOP#6까지가 GOP 단위로 삭제된다. 편집점(A)을 포함하는 GOP#3과, 해당 GOP#3의 직전의 GOP#2가 디코드된다. 마찬가지로, 편집점(B)을 포함하는 GOP#7 및 GOP#7의 직후의 GOP#8이 디코드된다.
다음에, 도 10B에 예시되는 바와 같이, 디코드가 끝난 GOP#3에서, 편집점(A)부터 GOP#3의 종단까지가 프레임 단위로 삭제된다. 마찬가지로, 디코드가 끝난 GOP#7에서, GOP#7의 선두로부터 편집점(B)까지가 프레임 단위로 삭제된다. 그리고, 도 10C에 예시되는 바와 같이, 편집점(A)과 편집점(B)이 결합되고, GOP#2, GOP#3+7 및 GOP#8이 재인코드된다.
또한, 상술한 도 10A의 상태에서 디코드 전의 GOP#2를 메모리 등에 보존하여 두고, 재인코드를 GOP#3+7 및 GOP#8에 대해 행하고, 지지되어 있는 디코드 전의 GOP#2를 인코드된 GOP#3+7의 직전에 재기록 복사하는 것도 고려된다.
스텝 S13에 의한, 편집 대상의 비디오 스트림의 전 구간을 재인코드하는 수법에 의한 한 예의 편집 처리에 관해, 도 11A 및 도 11B를 이용하여 개략적으로 설 명한다. 편집 대상의 비디오 스트림의 구성은, 상술한 도 8A, 도 8B 및 도 8C, 및, 도 10A, 도 10B 및 도 10C와 동등하다고 한다. 이 경우, 도 11A에 예시되는 바와 같이, 편집 대상의 비디오 스트림의 전체(도 11A 및 도 11B의 예에서는 GOP#1 내지 GOP#9)를 대상으로 하여 디코드를 행하고, 편집점(A)부터 편집점(B)까지를 프레임 단위로 삭제하여 편집점(A) 및 편집점(B)을 결합한다. 편집점(A) 및 편집점(B)을 결합한 결과, GOP#3+7이 생성된다. GOP#3+7이 생성되면, 편집 결과의 GOP#1, GOP#2, GOP#3+7, GOP#8 및 GOP#9의 전체를 재인코드한다(도 11 B).
상술에서는, 하나의 스트림 파일에 격납된 비디오 스트림에 대해 편집점(A) 및 편집점(B)을 설정하여 편집하는 예에 관해 설명하였지만, 상술한 처리는, 2개의 스트림 파일에 격납된 비디오 스트림에 대해 각각 편집점(A) 및 편집점(B)을 설정하여 편집하는 경우에 대해서도, 마찬가지로 적용 가능하다.
도 12A, 도 12B 및 도 12C는, 2개의 스트림 파일에 격납되는 비디오 스트림에 대해 행하는 편집 처리를 개략적으로 도시한다. GOP#m를 종단으로 하는 비디오 스트림(100)이 격납되는 제 1의 스트림 파일과, GOP#1을 선두로 하는 비디오 스트림(101)이 격납되는 제 2의 스트림 파일을 생각한다(도 12A). 비디오 스트림(100)의 GOP#m-1 내에 편집점(A)을 설정하고, 비디오 스트림(101)의 GOP#2 내에 편집점(B)을 설정한다. 그리고, 비디오 스트림(100)의 편집점(A)부터 종단까지를 삭제함과 함께, 비디오 스트림(101)의 선두부터 편집점(B)을 삭제하고(도 12B), 편집점(A) 및 편집점(B)을 결합하여 1개의 비디오 스트림(102)을 작성한다(도 12C).
상술한 스텝 S12에 의한, 2개의 스트림 파일에 격납되는 비디오 스트림에 대 해 편집을 행하는 경우의, 편집점 부근의 필요한 최소 구간만을 재인코드하는 수법에 의한 한 예의 편집 처리에 관해, 도 13A, 도 13B 및 도 13C를 이용하여 개략적으로 설명한다. 또한, 도 13A, 도 13B 및 도 13C에 예시되는 비디오 스트림의 구성이나 편집점(A) 및 편집점(B)의 설정, 편집 개소 등은, 상술한 도 12A, 도 12B 및 도 12C와 동등하다고 한다.
우선, 도 13A에 예시되는 바와 같이, 비디오 스트림(100)에서, 편집점(A)을 포함하는 GOP#m-1의 직후의 GOP#m가 GOP 단위로 삭제되고, GOP#m-1 및 직전의 GOP#m-2가 디코드된다. 마찬가지로, 비디오 스트림(101)에서, 편집점(B)을 포함하는 GOP#2의 직전의 GOP#1가 GOP 단위로 삭제되고, GOP#2와 직후의 GOP#3가 디코드된다.
다음에, 도 13B에 예시되는 바와 같이, 비디오 스트림(100)의 디코드가 끝난 GOP#m-1에서, 편집점(A)부터 GOP#m-1의 종단까지가 프레임 단위로 삭제된다. 마찬가지로, 비디오 스트림(101)의 디코드가 끝난 GOP#2에서, GOP#2의 선두부터 편집점(B)까지가 프레임 단위로 삭제된다. 그리고, 도 13C에 예시되는 바와 같이, 편집점(A)과 편집점(B)이 결합되고, GOP#m-2, GOP#(m-1)+(2) 및 GOP#3이 재인코드되고, 1개의 비디오 스트림(102)이 작성된다.
또한, 상술한 도 13A의 상태에서 디코드 전의 GOP#2를 메모리 등에 보존하여 두고, 재인코드를 GOP#3+7 및 GOP#8에 대해 행하고, 보존되어 있는 디코드 전의 GOP#2를 인코드된 GOP#3+7의 직전에 재기록 복사하는 것도 고려된다.
상술한 스텝 S13에 의한, 2개의 스트림 파일에 격납되는 비디오 스트림에 대 해 편집을 행하는 경우의, 편집 대상의 전 구간을 재인코드하는 수법에 의한 한 예의 처리에 관해, 도 14A 및 도 14B를 이용하여 개략적으로 설명한다. 또한, 도 14A 및 도 14B에 예시되는 비디오 스트림의 구성이나 편집점(A) 및 편집점(B)의 설정, 편집 개소 등은, 상술한 도 12A, 도 12B 및 도 12C와 동등하다고 한다. 이 경우, 도 14A에 예시되는 바와 같이, 편집 대상의 비디오 스트림(100)의 전체와, 비디오 스트림(101)의 전체를 각각을 대상으로 하여 디코드를 행하고, 비디오 스트림(100)에서는, 편집점(A)으로부터 종단까지를 프레임 단위로 삭제하여 비디오 스트림(100')으로 하고, 비디오 스트림(101)에서도 마찬가지로, 선두부터 편집점(B)까지를 프레임 단위로 삭제하여 비디오 스트림(101')으로 한다. 그리고, 도 14B에 예시되는 바와 같이, 편집점(A)과 편집점(B)을 결합하여 전체를 재인코드하고, 1개의 비디오 스트림(102)을 얻는다.
여기서, 도 10A, 도 10B 및 도 10C, 도 11A 및 도 11B, 도 13A, 도 13B 및 도 13C, 및, 도 14A 및 도 14B를 이용하여 설명한 각 예와 같이, 편집점(A) 및 편집점(B)을 결합하여 새로운 GOP를 생성할 때에, 편집점(A) 및 편집점(B)의 GOP 내에서의 위치에 따라서는, 해당 새로운 GOP에 포함되는 픽처 수가 소정 수에 못 미치는 경우나, 소정 수를 초과하는 경우가 일어날 수 있다. 이와 같은 경우에는, 픽처의 복제나 추출 등을 행하여, 해당 새로운 GOP 내의 픽처 수를 소정 수로 수속하는 것이 고려된다.
또한, 도 10A, 도 10B 및 도 10C, 및, 도 13A, 도 13B 및 도 13C를 이용하여 설명한, 편집점 부근의 필요한 최소 구간만을 재인코드하는 수법의 순서는, 본 발 명의 실시의 한 형태를 실시 가능하게 하기 위한 한 예이고, 이 방법으로 한정되는 것은 아니다.
또한, 상술에서는, 도 9의 스텝 S11에서의, 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하는지의 여부의 판단 결과, 데이터가 존재하지 않는다고 되어, 처리가 스텝 S13으로 이행하였을 때에, 편집 대상의 전 구간을 재인코드하는 수법을 이용하여 편집을 행하도록 설명하였지만, 이것은 이 예로 한정되지 않는다. 예를 들면, 편집 대상의 비디오 스트림이 장치에 대응하지 않을 가능성이 있다는 취지를, 소정의 표시 수단 등을 이용하여 경고하도록 하여도 좋다.
도 15는, 본 발명의 실시의 한 형태에 적용 가능한 기록 장치(1)의 한 예의 구성을 도시한다. 이 기록 장치는, 입력된 비디오 데이터 및 오디오 데이터를 소정의 방식으로 압축 부호화하고, 압축 부호화된 비디오 데이터 및 오디오 데이터를 다중화하여 1개의 데이터 스트림으로 하고, 이 데이터 스트림을 파일로서 기록 매체에 기록하도록 하고 있다.
이 도 15에 예시된 기록 장치(1)는, 예를 들면, 광학계나 촬상 소자 등을 구비한 카메라 블록과 조합시키고, 촬상한 촬상 신호에 의거한 비디오 데이터를 기록 매체에 기록하는, 비디오 카메라 장치의 기록 블록으로서 사용되는 것이다. 이것으로 한정하지 않고, 기록 장치(1)는, 외부로부터 입력된 비디오 데이터 및 오디오 데이터를 기록 매체에 기록하는, 단독의 기록 장치로서 이용할 수도 있다.
적용 가능한 압축 부호화나 다중화의 방식으로서는, 다양하게 고려된다. 예를 들면, H.264|AVC에 규정되는 방식을, 본 발명의 실시의 한 형태의 압축 부호화 로서 적용할 수 있다. 또한, 다중화 방식은, 예를 들면 MPEG2 시스템이 적용된다.
데이터를 기록하는 기록 매체(20)는, 예를 들면 기록 가능한 타입의 DVD(Digital Versatile Disc)를 이용할 수 있다. 기록 매체(20)로서, 보다 대용량을 실현한 Blu-ray Disc(블루레이 디스크 : 등록상표)를 적용하는 것도 고려된다. 이것으로 한정하지 않고, 기록 매체(20)로서, 반도체 메모리를 적용할 수도 있고, 하드 디스크 드라이브를 적용할 수도 있다.
제어부(5)는, 예를 들면 CPU(Central Processing Unit), RAM(Random Access Memory) 및 ROM(Read Only Memory) 등으로 이루어지고(도시 생략), ROM에 미리 기억된 프로그램이나 데이터에 의거하여, RAM을 워크 메모리로서 이용하여 이 기록 장치(1)의 전체를 제어한다. 또한, 제어부(5)상에서 동작하는 프로그램에 의해, 이 기록 장치에서 이용되는 파일 시스템이 제공된다. 예를 들면, 제어부(5)는, 이 파일 시스템에 의거하여, 데이터가 기록 매체(20)에 기록될 때의, 기록 매체(20)의 물리적인 어드레스와 해당 데이터가 격납되는 파일과의 관련시킴을 행함과 함께, 각 데이터가 격납되는 파일이 논리적인 관리 정보를 생성한다.
UI(User Interface)부(6)는, 이 기록 장치의 동작을 유저가 조작하기 위한 조작자가 정한 바에 따라 마련되고, 조작자에 대한 조작에 따른 제어 신호를 출력한다. 이 제어 신호는, 제어부(5)에 공급된다. 제어부(5)는, 유저 조작에 따라 UI부(6)로부터 공급된 제어 신호에 의거하여 이루어지는 프로그램의 처리에 의해, 기록 장치(1)의 각 부분의 동작을 제어한다. 예를 들면, UI부(6)에 대해 이루어진 조작에 따라, 기록 장치에 의한 기록 동작의 시작 및 정지의 동작이 제어부(5)에 의 해 제어된다.
베이스 밴드의 디지털 비디오 데이터가 단자(10)로부터 입력되고, 비디오 인코더(11)에 공급된다. 비디오 인코더(11)는, 복수 프레임의 비디오 데이터를 격납 가능한 버퍼 메모리를 가지며, 공급된 베이스 밴드의 디지털 비디오 데이터를 버퍼 메모리에 모아 두고, 소정의 방식으로써 압축 부호화한다. AVCHD 포맷 즉 H.264|AVC에 규정되는 방식에 준하여 압축 부호화가 이루어지는 이 예에서는, 예를 들면, DCT(Discrete Cosine Transform)와 화면 내 예측에 의해 프레임 내 압축을 행함과 함께, 움직임 벡터를 이용한 프레임간 압축을 행하고, 또한 엔트로피 부호화를 행하여 압축 효율을 높인다.
비디오 인코더(11)는, 또한, 압축 부호화된 비디오 데이터에 의거하여 SPS, PPS, SEI 등의 부가 정보를 정한 바에 따라 생성한다. 이때, 이 기록 장치(1)의 메이커명을 식별하는 식별 정보와, 기종이나 형번을 식별하는 식별 정보를, SEI"User Data Unregistered SEI"의 블록(MAKER & MODEL ID pack())에서의 필드(maker_ID) 및 필드(maker_model_code)의 값으로서 생성한다. 이들 메이커명이나, 기종, 형번의 식별 정보는, 기록 장치(1)가 갖는 도시되지 않은 ROM에 미리 기억된다. 비디오 인코더(11)는, 압축 부호화된 비디오 데이터나, 이들 SPS, PPS, SEI 등의 부가 정보로부터 NAL 유닛을 형성하고, H.264|AV C엘리멘터리 스트림(ES)으로서 출력한다.
또한, H.264|AVC의 규정에 의하면, 디코더 모델에서, 디코더의 입력측의 버퍼인 부호화 픽처 버퍼(CPB : Coded Picture Buffer)와, 출력측의 버퍼인 복호 픽처 버퍼(DPB : Decoded Picture Buffer)가 각각 정의되고, 인코더는, 이들 CPB 및 DPB를 파탄시키지 않도록, 비트 스트림(엘리멘터리 스트림)을 생성하여야 하도록 되어 있다. 비디오 인코더(11)는, 발생되는 부호량이 이 규정을 충족시키도록, 비디오 데이터의 부호화 처리를 제어한다.
그때, 발생한 부호량에 의거하여, CPB 즉 디코더의 입력측의 버퍼에 대한 축량(畜量) 정보를 구하고, 부호화에서 얻어진 엘리멘터리 스트림에 정한 바에 따라 삽입할 수 있다. 예를 들면, NAL 유닛에서, SPS의 옵션으로 되어 있는 코드(bit_rate_scale), 코드(cpb_size_scale), 코드(bit_rate_value_minus1), 코드(cpb_size_value_minus1) 등에, 버퍼의 축량 정보를 기술할 수 있다. 이 축량 정보는, 픽처마다 기술하여도 좋고, GOP마다 기술하여도 좋다.
멀티플렉서(MUX)(12)는, 비디오 인코더(11)로부터 출력된 엘리멘터리 스트림과, 도시되지 않은 오디오 인코더로부터 출력된 오디오 데이터의 엘리멘터리 스트림을 소정의 방식으로 다중화하고, 1개의 데이터 스트림으로서 출력한다. MPEG2 시스템에 준하여 다중화가 행하여지는 이 예에서는, MPEG2의 트랜스포트 스트림을 이용하여, 공급된 비디오 데이터의 엘리멘터리 스트림과, 오디오 데이터의 엘리멘터리 스트림을 시분할로 다중화한다.
예를 들면, 멀티플렉서(12)는, 버퍼 메모리를 가지며, 공급된 엘리멘터리 스트림을 일단 버퍼 메모리에 격납한다. 버퍼 메모리에 격납된 엘리멘터리 스트림은, 소정 사이즈마다 분할되어 헤더가 부가되고, PES(Packetized Elementary Stream) 패킷화 된다. 헤더에는, 패킷에 격납되는 데이터의 재생 시각을 나타내는 PTS나 복호 시각을 나타내는 DTS라는, MPEG2 시스템에 규정되는 소정의 정보가 격납된다.
PES 패킷은, 다시 분할되어 트랜스포트 패킷(TS 패킷)의 페이로드에 채워 넣어진다. TS 패킷의 헤더에는, 페이로드에 채워 넣어진 데이터 종류별 등을 식별하기 위한 PID(Packet Identification)가 격납된다. TS 패킷에 대해 다시 소정 데이터 길이의 헤더가 부가되어, 소스 패킷이 형성된다. 멀티플렉서(12)는, 이 소스 패킷을 연결하여 1개의 데이터 스트림으로서 출력한다.
멀티플렉서(12)로부터 출력된 데이터 스트림은, 스트림 버퍼(13)에 일시적으로 격납된다. 스트림 버퍼(13)에 대한 데이터 스트림의 기록의 타이밍과, 스트림 버퍼(13)로부터의 데이터 스트림의 판독의 타이밍을 소스 패킷 단위로 정한 바에 따라 제어함으로써, 기록 매체(20)에 대한 액세스 속도와, 오디오 및 비디오 데이터의 인코드의 신호 처리 속도 사이의 정합성이 취하여진다.
스트림 버퍼(13)로부터 판독된 소스 패킷은, 데이터 스트림으로서 기록 처리부(14)에 공급된다. 기록 처리부(14)는, 공급된 데이터에 대해 에러 정정 부호화 처리 및 기록 부호화 처리를 시행하고, 얻어진 디지털 데이터를 정한 바에 따라 변조하여 기록 매체(20)에 기록한다. 이때, 기록 처리부(14)는, 제어부 등 상위로부터의 명령에 의거하여, 지정된 어드레스에 대해 데이터를 기록한다.
도 16은, 본 발명의 실시의 한 형태에 적용 가능한 편집 장치(2)의 한 예의 구성을 도시한다. 이 편집 장치(2)는, 예를 들면 상술한 기록 장치(1)에서 기록 매체(20)에 기록된 스트림 파일에 격납되는 비디오 스트림을 편집 가능하도록 되어 있다. 즉, 편집 장치(2)는, 기록 매체(20)에 기록된 스트림 파일을 재생하여 비디오 스트림을 취출하고, 정한 바에 따라 디코드 및 인코드를 행하여 재차 기록 매 체(20)에 기록하도록 되어 있다. 또한, 편집 장치(2)는, 기록측이 구성으로서 상술한 기록 장치(1)와 같은 구성을 갖기 때문에, 도 15와 공통되는 부분에는 동일한 부호를 붙이고, 상세한 설명을 생략한다.
이 편집 장치(2)의 전체는, 도시되지 않은 제어부에 의해, 프로그램에 따라 제어된다. 제어부는, CPU(Central Processing Unit), ROM(Read Only Memory) 및 RAM(Random Access Memory)을 가지며, ROM에 미리 격납되는 프로그램이나 데이터에 의거하여, RAM을 워크 메모리로서 동작하고, 편집 장치(2)의 각 부분과 커맨드나 스태터스, 데이터 등의 교환을 행하고, 편집 장치(2)의 동작을 제어한다. 또한, 제어부상에서 동작하는 프로그램에 의해, 이 편집 장치(2)에서 이용되는 파일 시스템이 제공된다. 예를 들면, 제어부는, UI부(41)에 대한 소정의 조작에 따라, 파일 시스템에 의해 기록 매체(20)에 기록된 파일에 액세스할 수 있도록 되어 있다.
재생 처리부(30)는, 기록 매체(20)에 기록된 데이터의 재생을 제어한다. 즉, 재생 처리부(30)는, 제어부 등 상위로부터의 명령에 의거하여 기록 매체(20)의 지정된 어드레스로부터 데이터의 판독을 행한다. 재생 처리부(30)는, 이 데이터의 판독에 의해 기록 매체(20)로부터 재생된 재생 신호를 복조하여 재생 디지털 데이터로 하여, 재생 디지털 데이터의 기록 부호를 복호화함과 함께 에러 정정 부호를 복호하고 에러 정정을 행하여, 재생 데이터 스트림을 얻는다. 이 재생 데이터 스트림은, 소스 패킷이 연결되어 1개의 스트림을 이루고 있는 것이다.
재생 처리부(30)로부터 출력된 데이터 스트림은, 스트림 버퍼(31)에 일시적으로 격납된다. 스트림 버퍼(31)에 대한 데이터 스트림의 기록의 타이밍과, 스트림 버퍼(31)로부터의 데이터 스트림의 판독의 타이밍을 소스 패킷 단위로 정한 바에 따라 제어함으로써, 기록 매체(20)에 대한 액세스 속도와, 오디오 및 비디오 데이터의 디코드의 신호 처리 속도 사이의 정합성이 취해진다.
스트림 버퍼(31)로부터 판독된 데이터 스트림은, 디멀티플렉서(DEMUX)(32)에 공급된다. 디멀티플렉서(32)는, 데이터 스트림에 정한 바에 따라 다중화된 비디오 데이터와 오디오 데이터를 분리하여 각각 취출한다. 이 예에서는, 디멀티플렉서(32)는, 공급된 데이터 스트림으로부터 소스 패킷을 추출하고, 추출된 소스 패킷의 헤더를 분리하여 TS 패킷으로 한다. 디멀티플렉서(32)는, 또한, TS 패킷의 헤더로부터 PID를 검출하고, TS 패킷을 페이로드에 격납되는 데이터 종류별마다 배분한다. 그리고, 배분된 TS 패킷의 각각에 대해, 페이로드에 격납된 데이터를 취출하고, PES 패킷을 재구축한다. 또한, PES 패킷의 페이로드에 격납된 압축 비디오 데이터나 압축 오디오 데이터를 취출하고, PES 헤더에 격납된 정보 등에 의거하여 헤더 정보 등을 부가하고, 각각 1개의 엘리멘터리 스트림으로서 출력한다.
디멀티플렉서(32)로부터 출력된, 오디오 데이터의 엘리멘터리 스트림은, 도시되지 않은 오디오 처리부에 공급된다.
디멀티플렉서(32)로부터 출력된, 비디오 데이터의 엘리멘터리 스트림은, 비디오 디코더(33)에 공급된다. 비디오 디코더(33)는, 복수 프레임의 비디오 데이터를 격납 가능한 버퍼 메모리를 가지며, 공급된 압축 비디오 데이터를 버퍼 메모리에 모아 두고, 압축 부호화 방식에 대응한 복호화 방식으로 디코드하고, 베이스 밴드의 디지털 비디오 데이터로서 출력한다.
비디오 데이터의 압축 부호화가 H.264|AVC에 규정되는 방식에 준하여 행하여지는 이 예에서는, 비디오 디코더(33)는, H.264|AVC에 규정되는 방식에 준하여 디코드 처리를 행한다. 즉, 비디오 디코더(33)는, NAL 유닛을 해석하고, 압축 부호화된 비디오 데이터나 SPS, PPS, SEI 등의 부가 정보를 NAL 유닛으로부터 취출한다. 비디오 디코더(33)는, NAL 유닛으로부터 취출한 정보에 의거하여 압축 부호화된 비디오 데이터의 복호화 처리를 행한다.
비디오 디코더(33)는, 후술하는 디멀티플렉서(DEMUX)(32)에서 추출된다, DTS(Decoding Time Stamp) 및 PTS(Presentation Time Stamp)로 나타나는 시각에 의거하여, 디코드 및 출력을 행할 수 있다. 비디오 디코더(33)에서 디코드되어 얻어진 베이스 밴드의 디지털 비디오 데이터는, 단자(34)로부터 출력된다. 또한, 이 편집 장치(2)에 영상 표시를 행하는 모니터(35)가 접속되어 있는 경우에는, 비디오 디코더(33)로부터 출력된 베이스 밴드의 디지털 비디오 데이터는, 모니터(35)에도 공급된다. 또한, 모니터(35)는, 베이스 밴드의 디지털 비디오 데이터에 대응하고 있는 것으로 한다.
또한, H.264|AVC 규격에서는, 적용 가능한 픽처 포맷은 매우 다방면에 미친다. AVCHD 포맷은, 기록 가능한 기록 매체에 대한 기록 포맷으로서, 적용 가능한 픽처 포맷을, 애스펙트비가 16:9이고 그림테두리 사이즈가 1920라인×1080화소의 HD(High Definition) 포맷과, 애스펙트비가 4:3이고 그림테두리 사이즈가 720라인×480화소의 SD(Standard Definition) 포맷으로 한정하고 있다.
여기서, 비디오 데이터의 압축 부호화 처리와, 압축 부호화된 비디오 데이터 의 복호화 처리를 비교한 경우, 일반적으로는, 복호화 처리의 부하보다도 압축 부호화 처리의 부하의 쪽이 훨신 크다고 되어 있다. 그 때문에, 이 실시의 한 형태에 의한 편집 장치(2)에서는, 비디오 인코더(11)의 기능을 제한하여 예를 들면 인코드 가능한 화상 포맷을 HD 포맷만으로 하고 있다. 한편, 비교적 처리의 부하가 작은 비디오 디코더(33)는, SD 포맷 및 HD 포맷의 양쪽에 대응한다.
UI부(41)는, 비디오 데이터의 편집을 행하기 위해 필요한 다양한 조작자가 마련되고, 조작자의 조작에 대응한 제어 신호를 출력한다. 에티트부(40)는, UI부(41)로부터 공급된 제어 신호에 의거하여 도시되지 않은 제어부와 커맨드나 데이터의 교환을 행하여 이 편집 장치(2)의 전체를 제어하고, 기록 매체(20)에 기록되는 스트림 파일에 격납되는 비디오 스트림에 대해 편집 처리를 행한다. 에티트부(40)는, 하드 디스크 드라이브(42)를 가지며, 편집 처리를, 이 하드 디스크 드라이브(42)를 이용하여 행한다.
비디오 인코더(11)는, 에티트부(40)로부터 공급되는 비디오 데이터를 H.264|AVC에 규정되는 방식에 준하여 압축 부호화한다. 즉, 도 15를 이용하여 설명한 기록 장치(1)의 경우와 마찬가지로 하여 비디오 데이터를 정한 바에 따라 압축 부호화함과 함께, 압축 부호화된 비디오 데이터에 의거하여 SPS, PPS, SEI 등의 부가 정보를 정한 바에 따라 생성한다. 이때, 이 편집 장치(2)의 메이커명을 식별하는 식별 정보와, 기종이나 형번을 식별하는 식별 정보를, SEI"User Data Unregistered SEI"의 블록(MAKER & MODEL ID pack())에서의 필드(maker_ID) 및 필드(maker_model_code)의 값으로서 생성하고, SEI"User Data Unregistered SEI"에 추가한다. 비디오 인코더(11)는, 압축 부호화된 비디오 데이터나, 이들 SPS, PPS, SEI 등의 부가 정보로부터 NAL 유닛을 형성하고, H.264|AVC 엘리멘터리 스트림(ES)으로서 출력한다.
멀티플렉서(12)는, 에티트부(40)로부터 공급된 엘리멘터리 스트림과, 도시되지 않은 오디오 인코더로부터 출력된 오디오 데이터의 엘리멘터리 스트림을 MPEG2 시스템에 준한 방식으로 다중화한다. 즉, 멀티플렉서(12)는, 공급된 엘리멘터리 스트림을 소정 사이즈마다 분할하고, PTS나 DTS 등 소정의 정보가 격납된 헤더를 부가하여 PES(Packetized Elementary Stream) 패킷화한다. 멀티플렉서(12)는, PES 패킷을 다시 분할하여 TS 패킷 페이로드에 채워 넣고, PID를 정한 바에 따라 생성하여 헤더를 부가한다. TS 패킷에 대해 또한 소정 데이터 길이의 헤더를 부가하여 소스 패킷을 형성하고, 소스 패킷을 연결하여 1개의 데이터 스트림으로서 출력한다.
멀티플렉서(12)로부터 출력된 데이터 스트림은, 스트림 버퍼(13)를 통하여 기록 처리부(14)에 공급되고, 정한 바에 따라 에러 정정 부호화 및 기록 부호화되고, 변조 처리되어 기록 신호로 되고, 기록 매체(20)에 기록된다.
이 편집 장치(2)에 의한 편집 처리에 관해, 개략적으로 설명한다. 한 예로서, 도 8A, 도 8B 및 도 8C를 이용하여 설명한 바와 같은, 하나의 스트림 파일에 격납되는 비디오 스트림에 대해 편집점(A) 및 편집점(B)을 지정하여 편집을 행하는 경우에 관해 설명한다. 유저는, UI부(41)에 대해 소정의 조작을 행하고, 기록 매체(20)에 기록되는 스트림 파일중 편집 대상으로 하는 파일을 지정한다. 에티트부(40)는, UI부(41)로부터 출력되는 제어 신호에 의거하여 편집 대상의 스트림 파 일을 기록 매체(20)로부터 판독하도록 제어한다. 스트림 파일은, 기록 매체(20)로부터 판독되면, 엘리멘터리 스트림이 추출되고, 이 추출된 엘리멘터리 스트림이 하드 디스크 드라이브(42)에 기록된다.
예를 들면, 기록 매체(20)로부터 판독된 스트림 파일은, 재생 처리부(30) 및 스트림 버퍼(31)를 통하여 디멀티플렉서(32)에 공급되어, 패킷 구조가 분해되고, 헤더 정보가 발출(拔出)됨과 함께 페이로드의 데이터가 취출되어 엘리멘터리 스트림이 재구축된다. 이 엘리멘터리 스트림이 에티트부(40)에 공급되고, 하드 디스크 드라이브(42)에 기록된다.
UI부(41)에 대한 소정의 조작에 따라, 하드 디스크 드라이브(42)로부터 엘리멘터리 스트림이 판독되고, 비디오 디코더(33)에 공급되어 베이스 밴드의 디지털 비디오 데이터가 된다. 이 디지털 비디오 데이터는, 모니터(35)에 공급되어 투영된다. 유저는, 모니터(35)에 투영된 영상을 보면서 UI부(41)를 조작하여, 편집점(A) 및 편집점(B)을 지정한다. 편집점(A) 및 편집점(B)의 지정은, 예를 들면 프레임 번호나 타임 코드 등에 의해 이루어진다. 편집점(A) 및 편집점(B)의 정보는, UI부(41)로부터 에티트부(40)에 공급되고, 보존된다. 그리고, UI부(41)에 대해 예를 들면 편집 실행을 지시하는 조작을 행하면, 에티트부(40)는, UI부(41)로부터의 제어 신호에 의거하여, 편집 처리를 시작한다.
즉, 도 9를 이용하여 이미 설명한 바와 같이, 하드 디스크 드라이브(42)에 기록된 엘리멘터리 스트림이 비디오 디코더(33)에 공급된다. 비디오 디코더(33)는, 공급된 엘리멘터리 스트림의 NAL 유닛을 해석하고, SEI"User Data Unregistered SEI"를 추출한다. 추출된 SEI"User Data Unregistered SEI"는, 에티트부(40)에 공급된다.
에티트부(40)는, 공급된 SEI"User Data Unregistered SEI"로부터, 이 파일을 기록한 기록 장치의 정보를 나타내는 데이터(modified_dv_pack)를 포함하는 블록(ModifiedDVPackMeta())이 검색되고, 또한, 블록(ModifiedDVPackMeta())으로부터, 필드(mpd_id)의 값에 의거하여 블록(MAKER & MODEL ID pack())이 검색된다(도 9의 스텝 S10). 에티트부(40)는, 검색된 블록(MAKER & MODEL ID pack())에 격납되는 필드(maker_ID)와, 필드(maker_model_code)에 의거하여, 도 9의 스텝 S11에 의한, 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하는지의 여부의 판단을 행한다.
또한, 이 편집 장치(2)와 같은 속성으로 인코드할 수 있는 기종의 정보는, 제어부가 갖는 도시되지 않은 ROM이나, 에티트부(40)에 접속되는 하드 디스크 드라이브(42) 등에 미리 기억되어 있는 것으로 한다. 또한, 편집 대상의 스트림 파일에서의 SEI"User Data Unregistered SEI"의 정보는, 편집점(A) 및 편집점(B)을 지정하기 위해 해당 스트림 파일을 재생할 때에 취득하고, 에티트부(40)로 보존하고 있어도 좋다.
같은 속성으로 인코드할 수 있는 기종의 데이터가 존재한다고 판단되면, 도 9의 스텝 S12에 의한, 필요한 최소 구간만을 재인코드하는 수법을 이용하여 편집 처리가 행하여진다.
한 예로서, 도 10A, 도 10B 및 도 10C를 이용하여 설명한 바와 같이, 에티트 부(40)는, 하드 디스크 드라이브(42)에 기록된 엘리멘터리 스트림으로부터, 편집점(A)을 포함하는 GOP#3과, GOP#3의 직전의 GOP#2를 판독한다. 예를 들면, 에티트부(40)는, 엘리멘터리 스트림의 NAL 유닛을 정한 바에 따라 해석하면서 GOP의 위치를 검출하고, 소망하는 GOP를 판독한다. 판독된 GOP#2 및 GOP#3은, 비디오 디코더(33)에 공급되고, 디코드된다. 디코드된 데이터는, 에티트부(40)에 공급되고, 하드 디스크 드라이브(42)에 기록된다. 에티트부(40)가 갖는 도시되지 않은 RAM에 기록하여도 좋다. 에티트부(40)는, 하드 디스크 드라이브(42)에 기록된, 디코드가 끝난 GOP#3에 관해, 편집점(A) 이후를 삭제한다.
마찬가지로, 에티트부(40)는, 하드 디스크 드라이브(42)에 기록된 엘리멘터리 스트림의, 편집점(B)을 포함하는 GOP#7과, GOP#7 직후의 GOP#8을 판독한다. 판독된 GOP#7 및 GOP#8은, 비디오 디코더(33)에 공급되고, 디코드된다. 디코드된 데이터는, 에티트부(40)에 공급되고, 하드 디스크 드라이브(42) 등에 기록된다. 에티트부(40)는, 하드 디스크 드라이브(42)에 기록된, 디코드가 끝난 GOP#7에 관해, 선두로부터 편집점(B)까지를 삭제한다.
다음에, 에티트부(40)는, 편집점(A) 이후가 삭제된 GOP#3과, 선두로부터 편집점(B)까지가 삭제된 GOP#7을 접속하고, 새로운 GOP인 GOP#3+7을 작성한다. GOP의 접속에 즈음하여, 접속된 GOP에 포함되는 픽처 수가 소정 수가 되지 않는 때는, 픽처의 보간이나 솎아냄 등을 행하여, 픽처 수가 소정 수가 되도록 한다.
에티트부(40)는, 하드 디스크 드라이브(42)에 기록되어 있는 GOP#2, GOP#3+7 및 GOP#8을 비디오 인코더(11)에 공급하고, 재인코드한다. 재인코드된 GOP#2, GOP#3+7 및 GOP#8은, 하드 디스크 드라이브(42)에 기록된다. 이때, 하드 디스크 드라이브(42)에 최초에 기록된, 디코드 전의 GOP#2를, 재인코드되어 하드 디스크 드라이브(42)에 기록된 GOP#2에 재기록할 수 있다. 에티트부(40)는, 하드 디스크 드라이브(42)에 기록된 GOP#1, GOP#2, GOP#3+7, GOP#8 및 GOP#9를 순차적으로, 연속적으로 판독함으로써, 1개의 엘리멘터리 스트림을 출력시킬 수 있다.
또한, 편집 대상의 엘리멘터리 스트림에 상술한 버퍼의 축량 정보가 기술되어 있는 경우에는, 에티트부(40)는, 이 축량 정보에 의거하여 발생 부호량을 정한 바에 따라 제어하고, GOP의 인코드를 행한다. 예를 들면, 편집점(A)이 포함되는 GOP#3의 직전의 GOP#2, 편집점(A)을 포함하는 GOP#3, 편집점(B)을 포함하는 GOP#7 및 GOP#7 직후의 GOP#8에 관해 NAL 유닛을 해석하여 버퍼의 축량 정보를 취득하고, 취득된 축량 정보에 의거하여, 각 GOP가 심레스하게 접속되어 재생 가능하게, 인코드 처리가 행하여진다.
한편, 도 9의 스텝 S11에서, SEI"User Data Unregistered SEI" 내의 블록(ModifiedDVPackMeta())에서의 블록(MAKER & MODEL ID pack())의 정보에 의거하여, 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하지 않는다고 판단되면, 도 9의 스텝 S13에 의한, 편집 대상의 비디오 스트림의 전 구간을 재인코드하는 수법을 이용하여 편집 처리가 행하여진다.
한 예로서, 도 11A 및 도 11B를 이용하여 설명한 바와 같이, 에티트부(40)는, 하드 디스크 드라이브(42)에 기록된 엘리멘터리 스트림을 판독하여, 비디오 디코더(33)에 공급한다. 비디오 디코더(33)는, 공급된 엘리멘터리 스트림을 전부 디 코드한다. 디코드된 데이터는, 에티트부(40)에 공급되고, 하드 디스크 드라이브(42)에 공급된다.
에티트부(40)는, 디코드된 비디오 데이터에 대해, 편집점(A)으로부터 편집점(B)까지의 사이를 프레임 단위로 삭제하여 편집점(A) 및 편집점(B)을 접속한다. 이때, 에티트부(40)는, 편집점(A) 및 편집점(B)의 접속에 즈음하여, 접속부를 포함하는 GOP에 포함되는 픽처 수가 소정 수가 되지 않을 때는, 픽처의 보간이나 솎아냄 등을 행하여, GOP 내의 픽처 수가 소정 수가 되도록 한다.
편집점(A) 및 편집점(B)이 접속된 비디오 데이터는, 비디오 인코더(11)에 공급된다. 비디오 인코더(11)는, 공급된 비디오 데이터를 전체 길이에 걸쳐서 재인코드하여 1개의 엘리멘터리 스트림으로서 출력한다. 이 엘리멘터리 스트림은, 에티트부(40)에 공급되고, 하드 디스크 드라이브(42)에 기록된다. 하드 디스크 드라이브(42)에 기록된 이 데이터는, 하드 디스크 드라이브(42)로부터 판독하여 멀티플렉서(12), 스트림 버퍼(13) 및 기록 처리부(14)에서 각각 정한 바에 따라 처리하여 기록 매체(20)에 기록하여도 좋고, 도시되지 않은 외부 인터페이스를 통하여 외부에 출력하여도 좋다.
또한, 2개의 스트림 파일에 대해 편집점(A) 및 편집점(B)을 각각 설정하여 편집하여 1개의 데이터 스트림을 얻는 경우의 처리도, 상술한 하나의 스트림 파일에 대해 편집점(A) 및 편집점(B)을 각각 설정하여 편집 처리를 행하는 경우와 같은 처리로 되기 때문에, 설명을 생략한다.
상술에서는, 편집 장치(2)는, 기록 매체(20)를 재생하고, 기록 매체(20)에 기록된 스트림 파일에 격납된 데이터 스트림에 대해 편집을 행하도록 설명하였지만, 이것은 이 예로 한정되지 않는다. 즉, 편집 장치(2)는, 외부로부터 공급된 비디오 데이터를 편집하도록 하여도 좋다.
비디오 데이터가 H.264|AVC의 엘리멘터리 스트림의 형식으로 외부로부터 공급되는 경우에는, 예를 들면, 외부로부터 공급된 엘리멘터리 스트림이 에티트부(40)에 입력되고, 하드 디스크 드라이브(42)에 기록된다. 그리고, 도 9를 이용하여 설명한 순서로 데이터 스트림에 매입된 메이커 정보 및 기종 또는 형번(형番) 정보에 의거하여 판단 처리를 행하고, 판단 결과에 따라, 필요한 최소 구간만을 재인코드하는 수법, 또는, 편집 대상의 비디오 스트림의 전 구간을 재인코드하는 수법의 어느 하나에 의해, 편집 처리를 행한다.
또한, 비디오 데이터가 소스 패킷이 연결되는 데이터 스트림의 형식이나, MPEG2 시스템에 의한 트랜스포트 스트림의 형식으로 외부로부터 공급되는 경우에는, 예를 들면, 외부로부터 공급된 데이터 스트림이 디멀티플렉서(32)에 입력되고, 패킷 구조가 분해되고, 헤더 정보가 발출됨과 함께 페이로드의 데이터가 취출되어 엘리멘터리 스트림이 재구축된다. 이 엘리멘터리 스트림이 에티트부(40)에 공급되고, 하드 디스크 드라이브(42)에 기록된다. 이후의 처리는, 상술과 마찬가지이다.
상술한 도 16에서는, 본 발명의 실시의 한 형태에 의한 편집 처리를 행하는 편집 장치(2)가 전용적인 하드웨어로서 구성되어 있는 것으로 설명하였지만, 이것은 이 예로 한정되지 않고, 예를 들면, 퍼스널 컴퓨터라는 컴퓨터 장치로 편집 장치를 구성하는 것도 가능하다.
도 17은, 일반적인 컴퓨터 장치(3)의 한 예의 구성을 개략적으로 도시한다. 버스(50)에 대해 CPU(51), ROM(52) 및 RAM(53)이 접속된다. CPU(51)는, ROM(52)이나 후술하는 하드 디스크 드라이브(60)에 격납된 프로그램이나 데이터에 따라, RAM(53)을 워크 메모리로서 이용하여, 버스(50)를 통하여 각 부분과 통신을 행하면서, 이 컴퓨터 장치(3)에서의 각 부분의 동작을 제어한다.
버스(50)에는, 또한, 그래픽스 처리부(54) 및 통신 인터페이스(통신 I/F)(55)가 접속된다. 그래픽스 처리부(54)에는, 모니터(54A)가 접속되고, CPU(51)로부터 공급된 표시 제어 신호를 영상 신호로 변환하여 모니터(54A)에 공급하고, 모니터(54A)에 대해 소정의 화상을 투영시킬 수 있다. 또한, 통신 I/F(55)는, 예를 들면 인터넷이나 LAN(Loca lArea Network)이라는 네트워크와 접속되고, CPU55의 명령에 의거하여, 네트워크를 통하여 이 컴퓨터 장치(3)와 외부와의 통신을 제어한다.
버스(50)에 대해, 또한, 입력 인터페이스(입력 I/F)(56), 비디오 인터페이스(비디오 I/F)(57), 드라이브 장치(58) 및 하드 디스크 드라이브(60)가 접속된다.
입력 I/F(56)에는, 예를 들면 마우스(56A) 등의 포인팅 디바이스나, 키보드(56B)라는 캐릭터 입력 디바이스라는, 유저에 의한 입력을 접수하는 입력 디바이스가 접속된다. 입력 I/F(56)에 접속되는 입력 디바이스는, 이들의 예로 한정하지 않고, 회전각에 따른 제어 신호가 출력된 로터리 인코더나, 스틱을 쓰러뜨린 방향이나 정도에 따라 제어 신호를 출력하는 조이 스틱, 평면상의 위치를 지정함으로써 값을 출력하는 태블릿 등, 다양하게 고려된다.
데이터 I/F(57)는, 이 컴퓨터 장치(3)와 외부의 기기 사이에서 디지털 데이터의 교환을 행하기 위한 인터페이스로서, 예를 들면 USB(Universal Serial Bus)나 IEEE1394(Institute Electrical and Electronics Engineers 1394)라는 인터페이스가 적용 가능하다. 인터페이스가 대응하는 외부 기기가 입출력단(57A)에 접속되면, 외부 기기와 데이터 I/F(57) 사이에서 인터페이스의 프로토콜에 따라 교환이 이루어지고, 외부 기기와 컴퓨터 장치(3) 사이에서 데이터 통신 가능한 상태가 된다.
드라이브 장치(58)는, 예를 들면 디스크형상 기록 매체에 대응하고, 장전된 기록 가능한 타입의 기록 매체에 대한 데이터의 기록이나, 기록 매체로부터의 데이터의 판독을 행할 수 있다. 기록 가능한 타입의 기록 매체는, 예를 들면 기록 가능한 타입의 DVD를 적용 가능하다. 이것으로 한정하지 않고, 드라이브 장치(58)는, 기록 가능한 타입의 CD(Compact Disc)나 Blu-ray Disc에 대응 가능하게 하여도 좋다. 또한, 드라이브 장치(58)는, 기록 가능한 타입의 기록 매체뿐만 아니라, 재생 전용의 기록 매체, 예를 들면 DVD-ROM, CD-ROM(Compact Disc-Read Only Memory)로부터 데이터를 판독할 수 있다. 또한, 드라이브 장치(58)는, 디스크형상 기록 매체에 대응 가능한 것으로 한정되지 않고, 예를 들면 플래시 메모리 등의 반도체 메모리를 기록 매체(59)로서 대응하여도 좋다.
하드 디스크 드라이브(60)는, 상술한 바와 같이, CPU(51)에서 이용하는 프로그램이나 데이터가 격납된다. 물론, 버스(50)를 통하여 공급된 다른 데이터의 기록 및 판독을 행할 수 있다.
이와 같은 컴퓨터 장치(3)에 대해, 본 발명의 실시의 한 형태에 의한 편집 방법을 실행하기 위한 편집 프로그램을 탑재시킴으로써, 이 컴퓨터 장치(3)를 AVCHD 포맷에 대응한 비디오 스트림의 편집 장치로서 작동시킬 수 있다. 즉, 이 편집 프로그램에 의해, 도 16을 이용하여 설명한 편집 장치(2)에서의 비디오 인코더(11), 멀티플렉서(12), 디멀티플렉서(32), 비디오 디코더(33) 및 에티트부(40)의 기능이 CPU(51)에 의해 실현된다. 또한, 비디오 인코더(11)는, 처리의 부하가 크기 때문에, 버스(50)에 접속되어 CPU(51)에 제어된 개별의 하드웨어로 하여도 좋다.
편집 프로그램은, 예를 들면 CD-ROM이나 DVD-ROM이라는 기록 매체에 기록되어 제공된다. 한 예로서, 편집 프로그램이 DVD-ROM에 기록되어 있는 경우, 해당 DVD-ROM이 드라이브 장치(58)에 장전되면, 예를 들면, CPU(51)의 제어에 의거하여, 드라이브 장치(58)에 의해 장전된 DVD-ROM에 기록된, 편집 프로그램이 격납된 프로그램 파일이 판독된다. 편집 프로그램은, 프로그램 파일로부터 판독되고, CPU(51)에 의해 정한 바에 따라 전개되어 하드 디스크 드라이브(60)에 기록됨과 함께, 시스템에 등록되어, 이 컴퓨터 장치(3)상에서 실행 가능한 상태가 된다.
또한, 컴퓨터 장치(3)에 대해 편집 프로그램을 제공하는 방법은, 기록 매체를 통하는 방법으로 한정되지 않는다. 예를 들면, 네트워크에 접속된 서버상에 해당 프로그램 파일을 준비하여 두고, 서버로부터 네트워크를 통하여 통신 I/F(55)에서 취득하도록 하여도 좋다. 또한, 데이터 I/F(57)를 통하여 프로그램 파일을 수취하도록 할 수도 있다.
이와 같이 편집 프로그램이 실행 가능하게 탑재된 컴퓨터 장치(3)에서, 본 발명의 실시의 한 형태에 의한 편집 방법을 실행할 때의 한 예의 처리에 관해, 개 략적으로 설명한다. 예를 들면, 도 15에서 도시한 기록 장치(1)에서 스트림 파일이 기록된 기록 매체(20)를 드라이브(58)에 장전하고, 기록 매체(20)에 기록된 스트림 파일에 대해 편집을 행한다.
스트림 파일이 기록된 기록 매체(20)가 드라이브 장치(58)에 장전되고, 유저에 의해 입력 I/F(56)에 접속된 입력 디바이스를 이용하여, 기록 매체(20)에 기록된 스트림 파일의 편집이 지시된다.
CPU(51)는, 기록 매체(20)에 기록된 스트림 파일을 하드 디스크 드라이브(60)에 카피하도록 제어한다. CPU(51)는, 하드 디스크 드라이브(60)에 기록된 스트림 파일을 판독하고, RAM(53)을 워크 메모리로서 이용하여 패킷을 분해하고, 각 패킷의 헤더로부터 소정의 정보를 수집함과 함께, 비디오 및 오디오의 엘리멘터리 스트림을 재구축한다. 엘리멘터리 스트림은, 하드 디스크 드라이브(60)에 기록된다. 또한, 이하에서는, 비디오 데이터의 엘리멘터리 스트림에 관해, 설명을 행한다.
CPU(51)는, 하드 디스크 드라이브(60)에 기록된 엘리멘터리 스트림을 판독하여 디코드하고, 베이스 밴드의 비디오 데이터를 얻는다. 이 베이스 밴드의 비디오 데이터는, 그래픽스 처리부(54)에 공급되고, 영상 신호로 변환되고, 모니터(54A)에 투영된다. 유저는, 모니터(54A)에 투영된 영상을 보면서 입력 I/F(56)에 접속된 입력 디바이스를 조작하여, 편집점(A) 및 편집점(B)을, 프레임 번호나 타임 코드 등으로 지정한다. 편집점(A) 및 편집점(B)의 정보는, 예를 들면 RAM(53)에 보존된다.
입력 디바이스를 이용하여 편집 실행이 지시되면, CPU(51)는, 하드 디스크 드라이브(60)에 기록된 엘리멘터리 스트림에 대해 편집 처리를 시작한다. 즉, 도 9를 이용하여 이미 설명한 바와 같이, CPU(51)는, 하드 디스크 드라이브(60)에 기록된 엘리멘터리 스트림의 NAL 유닛을 해석하고, SEI"User Data Unregistered SEI"를 추출한다. 그리고, 추출된 SEI"User Data Unregistered SEI"로부터, 기록 매체(20)에 편집 대상의 엘리멘터리 스트림이 격납된 파일을 기록한 기록 장치의 정보를 나타내는 데이터(modified_dv_pack)를 포함하는 블록(ModifiedDVPackMeta())이 검색되고, 또한, 블록(ModifiedDVPackMeta())으로부터, 필드(mpd_id)의 값에 의거하여 블록(MAKER & MODEL ID pack())이 검색된다(도 9의 스텝 S10).
또한, 편집 대상의 스트림 파일에서의 SEI"User Data Unregistered SEI"의 정보는, 편집점(A) 및 편집점(B)을 지정하기 위해 해당 스트림 파일을 재생할 때에 취득하고, RAM(53)에 보존하고 있어도 좋다.
CPU(51)는, 검색된 블록(MAKER & MODEL ID pack())에 격납되는 필드(maker_ID)와, 필드(maker_model_code)에 의거하여, 도 9의 스텝 S11에 의한, 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하는지의 여부의 판단을 행한다.
또한, 이 컴퓨터 장치(3)에 탑재되는 편집 프로그램과 같은 속성으로 인코드할 수 있는 기종의 정보는, 예를 들면 해당 편집 프로그램이 격납되는 프로그램 파일에, 편집 프로그램과 함께 격납된다. 이것으로 한정하지 않고, 다른 파일로서 해당 프로그램 파일이 기록되는 기록 매체에 기록되어 제공되어도 좋고, 네트워크에 접속된 외부의 서버 등으로부터 네트워크를 통하여 제공되어도 좋다.
같은 속성으로 인코드할 수 있는 기종의 데이터가 존재한다고 판단되면, 도 9의 스텝 S12에 의한, 필요한 최소 구간만을 재인코드하는 수법을 이용하여 편집 처리가 행하여진다.
한 예로서, 도 10A, 도 10B 및 도 10C를 이용하여 설명한 바와 같이 CPU(51)는, 하드 디스크 드라이브(60)에 기록된 엘리멘터리 스트림으로부터, 편집점(A)을 포함하는 GOP#3과, GOP#3의 직전의 GOP#2를 판독한다. 예를 들면, 에티트부(40)는, 엘리멘터리 스트림의 NAL 유닛을 정한 바에 따라 해석하면서 GOP의 위치를 검출하고, 소망하는 GOP를 판독한다. CPU(51)는, 판독된 GOP#2 및 GOP#3을 디코드하고, 하드 디스크 드라이브(60) 또는 RAM(53)에 기록한다. CPU(51)는, 하드 디스크 드라이브(60) 또는 RAM(53)에 기록된, 디코드가 끝난 GOP#3에 관해, 편집점(A) 이후를 삭제한다. 마찬가지로, CPU(51)는, 하드 디스크 드라이브(60)에 기록된 엘리멘터리 스트림의, 편집점(B)을 포함하는 GOP#7과, GOP#7 직후의 GOP#8을 판독하여 디코드하고, 하드 디스크 드라이브(60) 또는 RAM(53)에 기록한다. CPU(51)는, 하드 디스크 드라이브(60) 또는 RAM(53)에 기록된, 디코드가 끝난 GOP#7에 관해, 선두로부터 편집점(B)까지를 삭제한다.
다음에, CPU(51)는, 하드 디스크 드라이브(60)상 또는 RAM(53)상에서, 편집점(A) 이후가 삭제된 GOP#3과, 선두로부터 편집점(B)까지가 삭제된 GOP#7을 접속하고, 새로운 GOP인 GOP#3+7을 작성한다. GOP의 접속에 즈음하여, 접속된 GOP에 포함되는 픽처 수가 소정 수가 되지 않는 때는, 픽처의 보간이나 솎아냄 등을 행하여, 픽처 수가 소정 수가 되도록 한다.
CPU(51)는, 하드 디스크 드라이브(60) 또는 RAM(53)에 기록되어 있는 GOP#2, GOP#3+7 및 GOP#8을 재인코드하여, 하드 디스크 드라이브(60)에 기록한다. 이때, 하드 디스크 드라이브(60) 또는 RAM(53)에 최초에 기록된, 디코드 전의 GOP#2를, 재인코드되어 하드 디스크 드라이브(60)에 기록된 GOP#2에 재기록할 수 있다. CPU(51)는, 재인코드되어 하드 디스크 드라이브(60)에 기록된 GOP#1, GOP#2, GOP#3+7, GOP#8 및 GOP#9를 순차적으로, 연속적으로 판독함으로써, 1개의 엘리멘터리 스트림을 출력시킬 수 있다.
또한, 편집 대상의 엘리멘터리 스트림에 상술한 버퍼의 축량 정보가 기술되어 있는 경우에는, CPU(51)는, 이 축량 정보에 의거하여 발생 부호량을 정한 바에 따라 제어하여, GOP의 인코드를 행한다.
한편, 도 9의 스텝 S11에서, SEI"User Data Unregistered SEI" 내의 블록(ModifiedDVPackMeta())에서의 블록(MAKER & MODEL ID pack())의 정보에 의거하여, 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하지 않는다고 판단되면, 도 9의 스텝 S13에 의한, 편집 대상의 비디오 스트림의 전 구간을 재인코드하는 수법을 이용하여 편집 처리가 행하여진다.
한 예로서, 도 11A 및 도 11B를 이용하여 설명한 바와 같이, CPU(51)는, 하드 디스크 드라이브(60)에 기록된 엘리멘터리 스트림을 판독하여 디코드한다. 디코드된 데이터는, 하드 디스크 드라이브(60)에 기록된다. RAM(53)의 용량이 충분히 크면, 디코드된 데이터를 RAM(53)에 기록하도록 하여도 좋다.
CPU(51)는, 디코드된 비디오 데이터에 대해, 편집점(A)으로부터 편집점(B)까 지의 사이를 프레임 단위로 삭제하고 편집점(A) 및 편집점(B)을 접속한다. 이때, CPU(51)는, 편집점(A) 및 편집점(B)의 접속에 즈음하여, 접속부를 포함하는 GOP에 포함되는 픽처 수가 소정 수가 되지 않는 때는, 픽처의 보간이나 솎아냄 등을 행하여, GOP 내의 픽처 수가 소정 수가 되도록 한다. CPU(51)는, 편집점(A) 및 편집점(B)이 접속된 비디오 데이터를 전체 길이에 걸쳐서 재인코드하여 1개의 엘리멘터리 스트림을 생성한다. 이 엘리멘터리 스트림은, 하드 디스크 드라이브(60)에 기록된다.
또한, 2개의 스트림 파일에 대해 편집점(A) 및 편집점(B)을 각각 설정하여 편집하여 1개의 데이터 스트림을 얻는 경우의 처리도, 상술한 하나의 스트림 파일에 대해 편집점(A) 및 편집점(B)을 각각 설정하여 편집 처리를 행하는 경우와 같은 처리로 되기 때문에, 설명을 생략한다.
편집 처리가 종료되어 하드 디스크 드라이브(60)에 기록된 엘리멘터리 스트림은, CPU(51)에 의해, PES 패킷화, TS 패킷화 및 소스 패킷화되어, MPEG2 시스템의 트랜스포트 스트림이 된다. 이 데이터 스트림은, 드라이브 장치(58)에 공급되고, 기록 매체에 기록된다.
편집 결과의 엘리멘터리 스트림은, 드라이브 장치(58)에 장전되어 있는 기록 매체에 기록하는 것으로 한정하지 않고, 예를 들면 하드 디스크 드라이브(60)에 축적적으로 보존하고 있어도 좋다. 또한, 해당 엘리멘터리 스트림을 하드 디스크 드라이브(60)로부터 판독하여, 데이터 I/F(57)를 통하여 외부 기기에 대해 출력하도록 할 수도 있다. 통신 I/F(55)로부터 네트워크를 통하여 외부에 송신할 수도 있 다. 또한, 편집 결과의 엘리멘터리 스트림을 정한 바에 따라 패킷화하여 트랜스포트 스트림으로서, 하드 디스크 드라이브(60)에의 축적, 데이터 I/F(57)를 통한 외부 기기로의 출력, 통신 I/F(55)로부터 네트워크를 통한 외부로의 송신을 행하여도 좋다.
또한, 편집 대상의 비디오 데이터는, 드라이브 장치(58)에 장전된 기록 매체로부터 판독되는 것으로 한정하지 않고, 외부로부터 공급된 비디오 데이터를 편집 대상으로 할 수도 있다. 예를 들면, 편집 대상의 비디오 데이터를 입출력단(57A)으로부터 입력하고, 데이터 I/F(57)를 통하여 하드 디스크 드라이브(60)에 기록한다. CPU(51)는, 상술한 바와 마찬가지로 하여, 하드 디스크 드라이브(60)에 기록된 비디오 데이터에 대해 편집 처리를 행한다.
또한, 상술에서는, 편집시의 디코드 처리에서, 비디오 디코더(33)가 입력된 엘리멘터리 스트림을 디코드 가능하다고 하여 설명하였지만, 이것은 이 예로 한정되지 않는다. 즉, 비디오 디코더(33)는, 포맷에 규정되는 모든 스트림을 디코드할 수 있다고는 한정할 수 없다. 그 때문에, 예를 들면 도 9의 스텝 S11에서 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하는지의 여부의 판단 결과, 데이터가 존재하지 않는다고 된 경우에는, 비디오 디코더(33)에 입력되는 엘리멘터리 스트림을 비디오 디코더(33)가 디코드할 수 없을 가능성도 있을 수 있다.
이 경우에는, 이하에 나타내는 2가지 방법중, 어느 하나를 행하는 것이 고려된다. 제 1의 방법은, 도 9의 스텝 S11에서의 같은 속성으로 인코드할 수 있는 기종의 데이터가 존재하는지의 여부의 판단 결과, 데이터가 존재하지 않는다고 된 경 우에도, 상술한 바와 같이, 해당 엘리멘터리 스트림을 비디오 디코더(33)에 입력하여 디코드 처리를 행하고, 비디오 디코더(33)에서 에러가 발생하면 디코드 실패라고 하는 방법이다. 이 경우에는, 디코드할 수 없었던 취지를, 소정의 표시 수단 등을 이용하여 통지하면, 바람직하다.
제 2의 방법은, 해당 엘리멘터리 스트림 속성 정보를 이용하는 방법이다. 예를 들면, AVCHD 포맷에서는, 해당 엘리멘터리 스트림이 패킷화된 비디오 스트림이 격납되는 스트림 파일에 대해, 해당 비디오 스트림의 속성을 나타내는 속성 정보가 격납된 속성 정보 파일을 작성하고, 해당 스트림 파일이 기록되는 기록 매체에, 이 속성 정보 파일을 함께 기록하도록 되어 있다. 이 속성 정보 파일에는, 대응하는 스트림의 갯수나, 대응하는 스트림의 각각에 대한 부호화에 관한 파라미터가 기술되어 있다.
그래서, 편집시의 디코드할 때에 이 속성 정보 파일을 참조하여 부호화에 관한 파라미터를 추출하고, 대응 가능한지의 여부를 판단한다. 대응 불가라고 판단되면, 디코드 처리를 중지한다. 이때, 예를 들면 그 취지를 소정의 표시 수단 등을 이용하여 경고하면 바람직하다. 한편, 파라미터에 의거하여 대응 가능하다고 판단되면, 해당 엘리멘터리 스트림을 비디오 디코더(33)에 입력하고, 디코드를 시작한다. 디코드 시작 후는, 상술한 제 1의 방법과 마찬가지로, 비디오 디코더(33)에서 에러가 발생하면 디코드 실패로 한다.
본 발명은, 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터의 편집 처리를 적절히 행할 수 있도록 한 편집 장치, 편집 방법, 편집 프로그램 및 편집 시스템을 제공할 수 있다.

Claims (8)

  1. 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터를 편집하는 편집 장치에 있어서,
    프레임간 압축을 이용하여 압축 부호화된 비디오 데이터로 이루어지는 데이터 스트림이 입력되는 입력부와,
    상기 데이터 스트림에 매입된, 해당 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 해당 데이터 스트림으로부터 추출하는 추출부와,
    상기 데이터 스트림을 디코드하는 디코드부와,
    비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해, 소정의 속성으로써 인코드하는 인코드부와,
    상기 데이터 스트림에 대해 설정된 편집점에 의거하여, 해당 데이터 스트림에 대해 상기 디코드 및 상기 인코드를 행하여 해당 데이터 스트림을 편집하도록 한 편집부를 구비하고,
    상기 편집부는,
    상기 추출부에서 상기 스트림 데이터로부터 추출된 상기 식별 정보가, 상기 인코드부에 의한 상기 인코드할 때의 상기 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 상기 편집점을 포함하는 소정 구간을 상기 디코드 및 상기 인코드함으로써 편집을 행하는 것을 특징으로 하는 편집 장치.
  2. 제 1항에 있어서,
    상기 편집부는, 상기 추출부에서 상기 스트림 데이터로부터 추출된 상기 식별 정보가, 상기 인코드부에 의한 상기 인코드할 때의 상기 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있지 않다고 판단하면, 상기 데이터 스트림의 전체를 상기 디코드 및 상기 인코드함으로써 편집을 행하는 것을 특징으로 하는 편집 장치.
  3. 제 1항에 있어서,
    상기 식별 정보는, 상기 장치의 메이커를 식별하는 정보와, 상기 장치의 기종 또는 형번(型番)을 식별하는 정보로 이루어지는 것을 특징으로 하는 편집 장치.
  4. 제 1항에 있어서,
    상기 속성은, 상기 비디오 데이터의 그림테두리 사이즈, 애스펙트비, 프레임 레이트, 프레임 구조 및 클로스드 캡션 정보의 유무를 포함하는 것을 특징으로 하는 편집 장치.
  5. 제 1항에 있어서,
    상기 추출부는, 상기 스트림 데이터에 매입된, 해당 스트림 데이터를 디코드할 때의 버퍼 축량 정보를 더욱 추출하고, 상기 인코드부는, 상기 추출부에서 추출 된 해당 버퍼 축량 정보에 의거하여 상기 인코드를 행하도록 한 것을 특징으로 하는 편집 장치.
  6. 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터를 편집하는 편집 방법에 있어서,
    프레임간 압축을 이용하여 압축 부호화된 비디오 데이터로 이루어지는 데이터 스트림에 매입된, 해당 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 해당 데이터 스트림으로부터 추출하는 추출의 스텝과,
    상기 데이터 스트림을 디코드하는 디코드의 스텝과,
    비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해, 소정의 속성으로써 인코드하는 인코드의 스텝과,
    상기 데이터 스트림에 대해 설정된 편집점에 의거하여, 해당 데이터 스트림에 대해 상기 디코드 및 상기 인코드를 행하여 해당 데이터 스트림을 편집하도록 한 편집의 스텝을 구비하고,
    상기 편집의 스텝은,
    상기 추출부에서 상기 스트림 데이터로부터 추출된 상기 식별 정보가, 상기 인코드의 스텝에 의한 상기 인코드할 때의 상기 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 상기 편집점을 포함하는 소정 구간을 상기 디코드 및 상기 인코드함으로써 편집을 행하는 것을 특징으로 하는 편집 방법.
  7. 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터를 편집하는 편집 방법을 컴퓨터 장치에 실행시키는 편집 프로그램에 있어서,
    상기 편집 방법은,
    프레임간 압축을 이용하여 압축 부호화된 비디오 데이터로 이루어지는 데이터 스트림에 매입된, 해당 데이터 스트림을 생성한 장치를 식별하는 식별 정보를 해당 데이터 스트림으로부터 추출하는 추출의 스텝과,
    상기 데이터 스트림을 디코드하는 디코드의 스텝과,
    비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해, 소정의 속성으로써 인코드하는 인코드의 스텝과,
    상기 데이터 스트림에 대해 설정된 편집점에 의거하여, 해당 데이터 스트림에 대해 상기 디코드 및 상기 인코드를 행하여 해당 데이터 스트림을 편집하도록 한 편집의 스텝을 구비하고,
    상기 편집의 스텝은,
    상기 추출부에서 상기 스트림 데이터로부터 추출된 상기 식별 정보가, 상기 인코드의 스텝에 의한 상기 인코드할 때의 상기 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 상기 편집점을 포함하는 소정 구간을 상기 디코드 및 상기 인코드함으로써 편집을 행하는 것을 특징으로 하는 편집 프로그램.
  8. 비디오 데이터를 프레임간 압축을 이용하여 압축 부호화하여 기록 매체에 기록하고, 기록 매체로부터 재생된 프레임간 압축을 이용하여 압축 부호화된 비디오 데이터를 편집하는 편집 시스템에 있어서,
    비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해 소정의 속성으로써 인코드하여 데이터 스트림으로서 출력하는 제 1의 인코드부와,
    상기 제 1의 인코드부로부터 출력된 상기 데이터 스트림을 스트림 파일로서 기록 매체에 기록하는 기록부를 구비하고,
    상기 데이터 스트림에 대해 장치 자체를 식별하는 식별 정보를 매입하여 상기 기록 매체에 기록하도록 한 기록 장치와,
    상기 기록 매체에 기록된 상기 스트림 파일을 판독하여 상기 데이터 스트림을 취출하는 재생부와,
    상기 데이터 스트림으로부터 상기 식별 정보를 추출하는 추출부와,
    상기 데이터 스트림을 디코드하는 디코드부와,
    비디오 데이터를 프레임간 압축을 이용한 압축 부호화에 의해, 상기 소정의 속성으로써 인코드하는 제 2의 인코드부와,
    상기 데이터 스트림에 대해 설정된 편집점에 의거하여, 해당 데이터 스트림에 대해 상기 디코드 및 상기 인코드를 행하여 해당 데이터 스트림을 편집하도록 한 편집부를 구비하고,
    상기 편집부는,
    상기 추출부에서 상기 스트림 데이터로부터 추출된 상기 식별 정보가, 상기 제 2의 인코드부에 의한 상기 인코드할 때의 상기 소정의 속성과 동일한 속성으로 인코드 가능한 장치를 나타내고 있는지의 여부를 판단하고, 나타내고 있다고 판단하면, 상기 편집점을 포함하는 소정 구간을 상기 디코드 및 상기 인코드함으로써 편집을 행하도록 한 편집 장치를 갖는 것을 특징으로 하는 편집 시스템.
KR1020087008330A 2006-08-10 2007-08-08 편집 장치, 편집 방법, 편집 프로그램이 기록된 기록 매체 및 편집 시스템 KR101323472B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00219002 2006-08-10
JP2006219002A JP4737003B2 (ja) 2006-08-10 2006-08-10 編集装置、編集方法、編集プログラムおよび編集システム
PCT/JP2007/065882 WO2008018618A1 (en) 2006-08-10 2007-08-08 Edition device, edition method, edition program, and edition system

Publications (2)

Publication Number Publication Date
KR20090048386A true KR20090048386A (ko) 2009-05-13
KR101323472B1 KR101323472B1 (ko) 2013-10-31

Family

ID=39033138

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087008330A KR101323472B1 (ko) 2006-08-10 2007-08-08 편집 장치, 편집 방법, 편집 프로그램이 기록된 기록 매체 및 편집 시스템

Country Status (7)

Country Link
US (1) US8189665B2 (ko)
EP (1) EP2051528B1 (ko)
JP (1) JP4737003B2 (ko)
KR (1) KR101323472B1 (ko)
CN (1) CN101356826B (ko)
TW (1) TW200908745A (ko)
WO (1) WO2008018618A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4325657B2 (ja) * 2006-10-02 2009-09-02 ソニー株式会社 光ディスク再生装置、信号処理方法、およびプログラム
US8423859B2 (en) * 2007-12-20 2013-04-16 Nec Corporation Terminal device, terminal device control method, and storage medium
JP4445555B2 (ja) * 2008-02-06 2010-04-07 株式会社東芝 コンテンツ編集装置
JP5085462B2 (ja) * 2008-08-11 2012-11-28 ソニー株式会社 情報記録装置、撮像装置、情報記録方法およびプログラム
US9288470B2 (en) 2008-12-02 2016-03-15 Lg Electronics Inc. 3D image signal transmission method, 3D image display apparatus and signal processing method therein
JP5553533B2 (ja) * 2009-06-08 2014-07-16 キヤノン株式会社 画像編集装置およびその制御方法およびプログラム
US8471890B1 (en) * 2009-12-30 2013-06-25 Insors Integrated Communications Adaptive video communication channel
MX2014000048A (es) * 2011-07-02 2014-04-30 Samsung Electronics Co Ltd Metodo y aparato para multiplexar y desmultiplexar datos de video para identificar el estado de reproduccion de los datos de video.
CN104412598A (zh) * 2012-07-06 2015-03-11 夏普株式会社 发信号通知基于子图片的假想参考解码器参数的电子设备
JP6463967B2 (ja) * 2014-12-25 2019-02-06 キヤノン株式会社 撮像装置及びその制御方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3305999B2 (ja) * 1997-12-26 2002-07-24 日本ビクター株式会社 画像圧縮ストリーム編集装置及びその方法
EP0935395A2 (en) * 1998-02-06 1999-08-11 Sony Corporation Video encoding methods and apparatus
JPH11289541A (ja) * 1998-02-06 1999-10-19 Sony Corp 動画像符号化方法、動画像符号化装置及び記録媒体
JP4545993B2 (ja) 2000-06-26 2010-09-15 パナソニック株式会社 光ディスクについての編集装置、コンピュータ読取可能な記録媒体、編集プログラム。
JP3932546B2 (ja) * 2001-01-24 2007-06-20 日本電気株式会社 Ｍｐｅｇビデオ編集装置及びｍｐｅｇビデオ編集方法
JP2003085877A (ja) * 2001-09-10 2003-03-20 Hitachi Ltd ビットストリーム変換装置と多重化装置、記録装置、再生記録装置及びデータ集合体並びにコンピュータ・ソフトウエア
JP3896949B2 (ja) 2002-11-08 2007-03-22 日本電気株式会社 ビデオ編集装置及びビデオ編集プログラム
JP3912536B2 (ja) * 2003-03-25 2007-05-09 ソニー株式会社 記録方法、記録装置、記録媒体、撮像装置および撮像方法
JP4228767B2 (ja) * 2003-04-25 2009-02-25 ソニー株式会社 再生装置、再生方法、再生プログラムおよび記録媒体
JP2004357055A (ja) 2003-05-29 2004-12-16 Toshiba Corp 編集装置及び編集方法
JP4127662B2 (ja) 2003-06-27 2008-07-30 株式会社東芝 編集方法及び編集装置
JP4179262B2 (ja) * 2004-10-06 2008-11-12 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2009260933A (ja) * 2008-03-17 2009-11-05 Toshiba Corp 動画素材編集装置とそのプログラム及び動画素材編集方法

Also Published As

Publication number Publication date
WO2008018618A1 (en) 2008-02-14
EP2051528B1 (en) 2014-07-30
JP2008047983A (ja) 2008-02-28
CN101356826B (zh) 2010-11-03
EP2051528A1 (en) 2009-04-22
JP4737003B2 (ja) 2011-07-27
US20090136145A1 (en) 2009-05-28
CN101356826A (zh) 2009-01-28
KR101323472B1 (ko) 2013-10-31
TW200908745A (en) 2009-02-16
US8189665B2 (en) 2012-05-29
TWI346508B (ko) 2011-08-01
EP2051528A4 (en) 2010-05-26

Similar Documents

Publication Publication Date Title
KR101323472B1 (ko) 편집 장치, 편집 방법, 편집 프로그램이 기록된 기록 매체 및 편집 시스템
CN1950907B (zh) 运动画面流产生装置，运动画面编码装置，运动画面多路复用装置和运动画面解码装置
KR101364206B1 (ko) 기록 장치, 기록 방법 및 기록 프로그램, 기록 재생장치,기록 재생 방법 및 기록 재생 프로그램, 및, 편집 장치,편집 방법 및 편집 프로그램
JP4813591B2 (ja) 動画像符号化方法および装置、動画像復号化方法および装置並びに記録方法
JP4841688B2 (ja) 動画像符号化方法、動画像符号化装置、動画像記録方法、動画像再生方法および動画像再生装置
WO2006027880A1 (ja) 記録装置および方法、再生装置および方法、記録媒体、並びにプログラム
JP4343111B2 (ja) グラフィックデータの再生を管理するためのデータ構造を有する記録媒体、該記録媒体による記録・再生方法、およびその装置
US8190000B2 (en) Recording apparatus, recording method, and recording program
KR101137353B1 (ko) 기록된 텍스트 서브타이틀 데이터의 재생 관리를 위한데이터 구조를 갖는 기록매체, 그리고 기록/재생 방법 및장치
JP2006129338A (ja) 映像記録再生装置及び記録媒体
JP2009272929A (ja) 映像符号化装置および映像符号化方法
JP2006121415A (ja) 動画符号化装置
JP2005333354A (ja) 記録装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee