KR100962761B1 - 화상 처리 장치, 화상 처리 방법, 및 기록 매체 - Google Patents

화상 처리 장치, 화상 처리 방법, 및 기록 매체 Download PDF

Info

Publication number
KR100962761B1
KR100962761B1 KR20057024094A KR20057024094A KR100962761B1 KR 100962761 B1 KR100962761 B1 KR 100962761B1 KR 20057024094 A KR20057024094 A KR 20057024094A KR 20057024094 A KR20057024094 A KR 20057024094A KR 100962761 B1 KR100962761 B1 KR 100962761B1
Authority
KR
South Korea
Prior art keywords
encoding
image data
information
picture
data
Prior art date
Application number
KR20057024094A
Other languages
English (en)
Other versions
KR20060015758A (ko
Inventor
쇼지로 시바따
고로 가또
히로미찌 우에노
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20060015758A publication Critical patent/KR20060015758A/ko
Application granted granted Critical
Publication of KR100962761B1 publication Critical patent/KR100962761B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/775—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television receiver
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 소정의 조건에 합치한 I 픽쳐를 파라미터 정보를 이용하여 부호화할 수 있는 것이다. 단계 S1에서 픽쳐 타입이 I 픽쳐라고 판단되었을 경우, 단계 S2에서 이전과 금회의 부호화의 매크로 블록의 위상이 일치하고 있는지 여부가 판단되어, 위상이 일치하고 있으면, 단계 S3에서 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α가 만족되는지의 여부가 판단된다. 조건이 만족되어 있으면, 단계 S4에서 이전과 금회의 부호화의 화상 틀이 동일한지의 여부가 판단되어, 화상 틀이 동일하지 않으면, 파라미터 정보에 포함되는 픽쳐 타입, 움직임 벡터 및 양자화치의 정보가 재이용되고, 화상 틀이 동일하면, 복호부에 입력된 스트림 데이터가 출력된다. 이상의 조건을 만족하지 않는 경우, 파라미터는 재이용되지 않는다. 본 발명은 부호화부, 부호화 장치, 정보 기록 장치, 정보 재생 장치, 또는 트랜스코더에 적용할 수 있다.
화상 신호, 압축 부호화, 비트 스트림, 비트 레이트, 프레임 편집, 트랜스코더

Description

화상 처리 장치, 화상 처리 방법, 및 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은 화상 처리 장치 및 화상 처리 방법, 정보 처리 장치 및 정보 처리 방법, 정보 기록 장치 및 정보 기록 방법, 정보 재생 장치 및 정보 재생 방법, 기록 매체, 및 프로그램에 관한 것으로, 특히, 대응하는 데이터에 대해 과거에 실시된 부호화에 관한 정보를 이용하여 재부호화하는 것이 가능하도록 되어 있는 경우에 이용하기에 적합한 화상 처리 장치 및 화상 처리 방법, 정보 처리 장치 및 정보 처리 방법, 정보 기록 장치 및 정보 기록 방법, 정보 재생 장치 및 정보 재생 방법, 기록 매체, 및 프로그램에 관한 것이다.
예를 들면, TV 회의 시스템, TV 전화 시스템 등과 같이, 동화상 신호를 원격지에 전송하는 시스템에서는, 전송로를 효율적으로 이용하기 위해, 영상 신호의 라인 상관이나 프레임간 상관이 이용되어, 화상 신호가 압축 부호화된다.
화상 신호가 압축 부호화되는 경우, 생성되는 비트 스트림이 소정의 비트 레이트로 되도록 부호화가 행해진다. 그러나, 실제 운용상에 있어서, 전송로의 사정에 의해, 비트 스트림의 비트 레이트를 변환할 필요가 생기는 경우가 있다.
또한, 예를 들면, 전송된 화상 신호가 방송국에서 편집되는 경우, 편집은 초 단위로 행해지므로, 프레임의 화상 정보는 다른 프레임의 화상 정보로부터 독립해 있는 편이 바람직하다. 따라서, 낮은 비트 레이트(예를 들면, 3 내지 9Mbps)로 전송하여도 화질이 열화하지 않도록, 정보가 상관 관계에 있는 프레임의 집합인 GOP(Group of Picture)를 구성하는 프레임수가 많은 Long GOP와, 고비트 레이트(18 내지 50Mbps)로 전송되는, GOP를 구성하는 프레임수가 적은 Short GOP를, 서로 변환할 필요가 있었다.
예를 들면, 전송로를 통해 송수신되는 Long GOP의 스트림 데이터를, Short GOP인 전체 인트라 프레임(All Intra)의 스트림 데이터로 재부호화하여, 프레임 편집하는 것이 가능한 시스템에 대해, 도 1을 이용하여 설명한다.
전송로(1)에는 전송에 적합한 Long GOP의 스트림 데이터가 전송된다.
트랜스코더(2)는 전송로(1)를 통해 공급된, MPEG의 Long GOP의 스트림 데이터를 복호부(21)에서 일단 복호한 후, 부호화부(22)에서 전체 인트라 프레임(All Intra)으로 되도록 부호화하고, 부호화된 All Intra의 스트림 데이터(SDTI CP(Serial Data Transport Interface Contents Package) 스트림)를 SDTI CP 인터페이스의 프레임 편집 장치(3)에 출력한다.
프레임 편집 장치(3)에서 프레임 편집된 스트림 데이터는, 트랜스코더(4)에 공급된다. 트랜스코더(4)는 공급된 All Intra의 스트림 데이터를 복호부(23)에서 일단 복호한 후, 부호화부(24)에서 MPEG의 Long GOP로 되도록 부호화하고, 부호화된 MPEG의 Long GOP의 스트림 데이터를 전송로(1)를 통해, 소정의 데이터 전송처에 출력한다.
이와 같이, 화상 정보에 대한 부호화 및 복호가 반복되었을 경우, 부호화할 때마다 사용되는 부호화 파라미터가 변화해 버리면, 화상 정보가 열화해 버린다. 이 화상 정보의 열화를 방지하기 위해, 비트 스트림의 픽쳐층의 유저 데이터 에리어에 삽입된 부호화 이력 정보를 이용함으로써, 재부호화에 수반하는 화상의 열화를 억제할 수 있는 기술이, 일본특허공개 2000-059788호 공보에 개시되어 있다.
예를 들면, MPEG의 Long GOP를 프레임 편집을 행하는 것이 가능한 Short GOP로 변환하는 것이 가능한 시스템에서, 부호화 이력 정보를 이용하는 경우에, 도 2 및 도 3을 이용하여 설명한다. 또, 도 1에서의 경우와 대응하는 부분에는 동일한 부호를 첨부하고 있으며, 그 설명은 적당히 생략한다.
우선, 도 2를 이용해, 히스토리 정보를 이용하는 경우에 대해 설명한다.
즉, 트랜스코더(31)는 전송로(1)를 통해, MPEG의 Long GOP의 공급을 받는다.
MPEG의 Long GOP는 각각 부호화의 소성(素性)이 상이한 3종류의 픽쳐 타입의 픽쳐(I 픽쳐, P 픽쳐 및 B 픽쳐)에 의해 구성되기 때문에, 그것을 복호한 비디오 데이터에도 프레임에 따라 각각 I 픽쳐, P 픽쳐, B 픽쳐의 소성을 갖는 것이 존재한다. 따라서, 이 비디오 데이터를 MPEG의 Long GOP로 재부호화하는 경우, I 픽쳐, P 픽쳐, 또는 B 픽쳐의 소성을 갖는 비디오 데이터에 대해, 각각 별개의 픽쳐 타입으로 부호화해 버리면, 화상 열화가 발생하는 경우가 있다. 예를 들면, 복호전에 I 픽쳐 및 P 픽쳐보다 왜곡이 많아지기 쉬운 B 픽쳐인 비디오 데이터를 I 픽쳐로서 부호화해 버리면, 그 주변의 픽쳐가 왜곡이 많은 I 픽쳐를 참조 화상으로 하여 예측 부호화되어 버리기 때문에, 화질이 열화해 버린다.
이러한 재부호화에 의한 화질 열화를 일으키지 않기 위해, 트랜스코더(31)는, 예를 들면, 전송로(1)를 통해 다른 트랜스코더에 의해 과거에 부호화된 스트림 데이터의 공급을 받았을 경우, 공급된 MPEG의 Long GOP의 스트림 데이터를 복호부(41)에서 일단 복호한 후, 부호화부(42)에서 전체 인트라 프레임으로 되도록 부호화할 때, 과거에 실행된 부호화, 즉, 복호부(41)에 공급된 부호화 스트림의 부호화의 픽쳐 타입이나 양자화치 등의 파라미터를, All Intra의 부호화 스트림 상에, SMPTE(Society of Motion Picture and Television Engineers) 328M의 히스토리 정보(History data)로서 부가하여, 프레임 편집 장치(3)에 공급한다.
프레임 편집 장치(3)에서 프레임 편집된 스트림 데이터는, 다시, 트랜스코더(32)에 공급된다. 트랜스코더(32)는, 공급된, 히스토리 정보가 있는 All Intra의 스트림 데이터를, 복호부(43)에서 복호한다. 부호화부(44)는, 복호된 히스토리 정보에 포함되어 있는, 픽쳐 타입이나 양자화치 등의 필요한 파라미터를 사용하여, Long GOP로 재부호화하고, 전송로(1)에 출력한다.
다음으로, 도 3을 이용하여, 파라미터 정보를 이용하는 경우에 대해 설명한다.
트랜스코더(51)는 전송로(1)를 통해 MPEG의 Long GOP의 공급을 받는다.
MPEG의 Long GOP의 스트림 데이터의 공급을 받은 복호부(61)는 복호할 때에 필요한 부호화 파라미터를 취득하고, 복호된 비디오 데이터와 취득된 부호화 파라미터를 부호화부(62)에 공급한다. 부호화부(62)는 공급된 부호화 파라미터를 이용하여, 비디오 데이터를 All Intra의 부호화 스트림으로 변환하고, 프레임 편집 장치(3)에 공급한다.
프레임 편집 장치(3)에서 프레임 편집된 스트림 데이터는, 다시, 트랜스코더(52)에 공급된다. 트랜스코더(52)는 공급된 스트림 데이터를, 복호부(63)에서 복호한다. 복호부(63)는 복호할 때에 필요한 부호화 파라미터를 취득하여, 복호된 비디오 데이터와 취득된 부호화 파라미터를 부호화부(64)에 공급한다. 부호화부(64)는 공급된 부호화 파라미터를 이용하여, 비디오 데이터를 Long GOP의 부호화 스트림으로 변환하여, 전송로(1)에 출력한다.
상술한 바와 같이, 히스토리 정보, 또는 부호화 파라미터를 이용하여, 과거의 부호화 정보(과거에 행해진 부호화의 픽쳐 타입, 움직임 벡터, 양자화치 등의 픽쳐층, 매크로 블록층의 파라미터)를 재이용하여 부호화함으로써, 화질 열화를 막는 것이 가능하다. 그러나, 예를 들면, 편집 등에 의해, 이전의 부호화 처리 시와는 비트 레이트, 화상 틀, 크로마포맷 등이 상이한 스트림이, 치환되거나 삽입되는 경우가 있다. 이러한 경우, 모든 화상 데이터에 대해, 히스토리 또는 파라미터 정보를 이용하여 이전의 부호화에 관한 정보를 재이용해 부호화를 행할 수는 없다.
본 발명은 이러한 상황을 감안하여 이루어진 것으로, 부호화하는 화상 데이터의 상태에 따라, 과거의 부호화에 관한 정보를 재이용할 수 있는지의 여부를 판단할 수 있도록 하는 것이다.
본 발명의 화상 처리 장치는 화상 데이터에 대해 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과, 베이스밴드의 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터의, 중도 단계까지, 또는 완전한 부호화 처리를 제어하는 제어 수단을 구비하고, 제어 수단은 부호화의 픽쳐 타입이 소정의 픽쳐 타입이었을 경우, 취득 수단에 의해 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 것을 특징으로 한다.
제어 수단에는, 부호화에 관한 정보에 기재된 과거의 부호화에서의 매크로 블록의 위상이, 부호화 처리의 매크로 블록의 위상과 일치하고 있는지의 여부를 기초로, 부호화에 관한 정보를 이용할 것인지의 여부를 판단시키도록 할 수 있다.
제어 수단에는, 부호화에 관한 정보에 기재된 복호 시의 발생 부호량이 소정의 값 이하인지의 여부를 기초로, 부호화에 관한 정보를 이용할 것인지의 여부를 판단시키도록 할 수 있다.
화상 데이터를 복호한 다른 화상 처리 장치에 공급된 제1 부호화 데이터, 및 제어 수단에 의해 제어된 부호화 처리에 의해 생성된 제2 부호화 데이터의 공급을 받아, 제1 부호화 데이터 또는 제2 부호화 데이터를 출력하는 출력 수단을 더 구비하도록 할 수 있고, 제어 수단에는, 부호화에 관한 정보에 기재된 과거의 부호화에서의 매크로 블록의 위상이, 부호화 처리의 매크로 블록의 위상과 일치하고, 부호화에 관한 정보에 기재된 복호 시의 발생 부호량이 소정의 값 이하이면서, 또한 부호화에 관한 정보에 기재된 과거의 부호화에서의 화상 틀과, 부호화 처리의 화상 틀의 위치 및 크기가 일치하고 있는 경우, 출력 수단을 더 제어하여, 제1 부호화 데이터를 출력시키도록 할 수 있다.
본 발명의 화상 처리 방법은, 화상 데이터에 대해 과거에 행해진 부호화에 관한 정보를 취득하여, 부호화의 픽쳐 타입이 소정의 픽쳐 타입이었을 경우, 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대해 실행하는 부호화 처리에 관한 조건을 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 것을 특징으로 한다.
본 발명의 제1 기록 매체에 기록되어 있는 프로그램은, 컴퓨터에 부호화의 픽쳐 타입이 소정의 픽쳐 타입인지의 여부를 판단하는 제1 판단 단계와, 제1 판단 단계의 처리에 의해, 픽쳐 타입이 소정의 픽쳐 타입이라고 판단되었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 비교하는 비교 단계와, 비교 단계의 처리에 의한 비교 결과를 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 제2 판단 단계를 포함하는 것을 특징으로 하는 처리를 실행시킨다.
본 발명의 제1 프로그램은, 컴퓨터에 부호화의 픽쳐 타입이 소정의 픽쳐 타입인지의 여부를 판단하는 제1 판단 단계와, 제1 판단 단계의 처리에 의해, 픽쳐 타입이 소정의 픽쳐 타입이라고 판단되었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 비교하는 비교 단계와, 비교 단계의 처리에 의한 비교 결과를 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 제2 판단 단계를 포함하는 것을 특징으로 하는 처리를 실행시킨다.
부호화의 픽쳐 타입이 소정의 픽쳐 타입인지의 여부가 판단되어, 픽쳐 타입이 소정의 픽쳐 타입이라고 판단되었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건이 비교되어, 비교 결과를 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부가 판단된다.
본 발명의 정보 처리 장치는 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 수단과, 복호 수단에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 수단에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 수단을 구비하고, 부호화 수단은 화상 데이터에 대해 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과, 베이스밴드의 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터의 중도 단계까지, 또는 완전한 부호화 처리를 제어하는 제어 수단을 구비하며, 제어 수단은 부호화의 픽쳐 타입이 소정의 픽쳐 타입이었을 경우, 취득 수단에 의해 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 것을 특징으로 한다.
본 발명의 정보 처리 방법은 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 단계와, 복호 단계의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 단계의 처리에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 단계를 포함하고, 부호화 단계의 처리에서는 부호화의 픽쳐 타입이 소정의 픽쳐 타입인지의 여부를 판단하는 제1 판단 단계와, 제1 판단 단계의 처리에 의해, 픽쳐 타입이 소정의 픽쳐 타입이라고 판단되었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 비교하는 비교 단계와, 비교 단계의 처리에 의한 비교 결과를 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 제2 판단 단계를 포함하는 것을 특징으로 한다.
본 발명의 제2 기록 매체에 기록되어 있는 프로그램은, 컴퓨터에, 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 단계와, 복호 단계의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 단계의 처리에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 단계를 포함하고, 부호화 단계의 처리에서는 부호화의 픽쳐 타입이 소정의 픽쳐 타입인지의 여부를 판단하는 제1 판단 단계와, 제1 판단 단계의 처리에 의해, 픽쳐 타입이 소정의 픽쳐 타입이라고 판단되었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 비교하는 비교 단계와, 비교 단계의 처리에 의한 비교 결과를 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 제2 판단 단계를 포함하는 것을 특징으로 하는 처리를 실행시킨다.
본 발명의 제2 프로그램은, 컴퓨터에, 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 단계와, 복호 단계의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 단계의 처리에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 단계를 포함하고, 부호화 단계의 처리에서는 부호화의 픽쳐 타입이 소정의 픽쳐 타입인지의 여부를 판단하는 제1 판단 단계와, 제1 판단 단계의 처리에 의해 픽쳐 타입이 소정의 픽쳐 타입이라고 판단되었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 비교하는 비교 단계와, 비교 단계의 처리에 의한 비교 결과를 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 제2 판단 단계를 포함하는 것을 특징으로 하는 처리를 실행시킨다.
공급된 화상 데이터가 완전하게, 또는 불완전하게 복호되고, 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 수단에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터가, 중도 단계까지, 또는 완전하게 부호화 처리되고, 부호화 처리에서, 화상 데이터에 대해 과거에 행해진 부호화에 관한 정보가 취득되어, 부호화의 픽쳐 타입이 소정의 픽쳐 타입이었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부가 판단되어, 베이스밴드의 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터를 중도 단계까지, 또는 완전하게 부호화 처리하는 처리가 제어된다.
본 발명의 정보 기록 장치는 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 수단과, 복호 수단에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 수단에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 수단과, 부호화 수단에 의해 부호화된 화상 데이터의 기록을 제어하는 기록 제어 수단을 구비하고, 부호화 수단은 화상 데이터에 대해 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과, 베이스밴드의 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터의 부호화 처리를 제어하는 제어 수단을 구비하며, 제어 수단은 부호화의 픽쳐 타입이 소정의 픽쳐 타입이었을 경우, 취득 수단에 의해 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 것을 특징으로 한다.
기록 제어 수단에는 부호화 수단에 의해 부호화된 화상 데이터와, 화상 데이터에 대해 행해진 부호화에 관한 정보의, 상이한 위치에의 기록을 제어시키도록 할 수 있다.
본 발명의 정보 기록 방법은 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 단계와, 복호 단계의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 단계의 처리에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 단계와, 부호화 단계의 처리에 의해 부호화된 화상 데이터의 기록을 제어하는 기록 제어 단계를 포함하고, 부호화 단계의 처리에서는 부호화의 픽쳐 타입이 소정의 픽쳐 타입인지의 여부를 판단하는 제1 판단 단계와, 제1 판단 단계의 처리에 의해 픽쳐 타입이 소정의 픽쳐 타입이라고 판단되었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 비교하는 비교 단계와, 비교 단계의 처리에 의한 비교 결과를 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 제2 판단 단계를 포함하는 것을 특징으로 한다.
공급된 화상 데이터가 완전하게, 또는 불완전하게 복호되고, 완전하게 복호된 베이스밴드의 화상 데이터, 또는 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터가, 중도 단계까지, 또는 완전하게 부호화 처리되고, 부호화된 화상 데이터의 기록이 제어되고, 부호화 처리에서, 화상 데이터에 대해 과거에 행해진 부호화에 관한 정보가 취득되고, 베이스밴드의 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터의 부호화 처리가, 부호화의 픽쳐 타입이 소정의 픽쳐 타입이었을 경우, 취득 수단에 의해 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지 여부의 판단을 기초로 제어된다.
본 발명의 정보 재생 장치는 소정의 기록 매체에 기록된 화상 데이터를 재생하는 재생 수단과, 재생 수단에 의해 재생된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 수단과, 복호 수단에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 수단에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 수단을 구비하고, 부호화 수단은 화상 데이터에 대해 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과, 베이스밴드의 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터의 부호화 처리를 제어하는 제어 수단을 구비하며, 제어 수단은 부호화의 픽쳐 타입이 소정의 픽쳐 타입이었을 경우, 취득 수단에 의해 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 것을 특징으로 한다.
본 발명의 정보 재생 방법은 소정의 기록 매체에 기록된 화상 데이터를 재생하는 재생 단계와, 재생 단계의 처리에 의해 재생된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 단계와, 복호 단계의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 단계에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 단계를 포함하고, 부호화 단계의 처리에서는 부호화의 픽쳐 타입이 소정의 픽쳐 타입인지의 여부를 판단하는 제1 판단 단계와, 제1 판단 단계의 처리에 의해 픽쳐 타입이 소정의 픽쳐 타입이라고 판단되었을 경우, 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 비교하는 비교 단계와, 비교 단계의 처리에 의한 비교 결과를 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지의 여부를 판단하는 제2 판단 단계를 포함하는 것을 특징으로 한다.
소정의 기록 매체에 기록된 화상 데이터가 재생되고, 재생된 화상 데이터가 완전하게, 또는 불완전하게 복호되고, 완전하게 복호된 베이스밴드의 화상 데이터, 또는 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터가, 중도 단계까지, 또는 완전하게 부호화 처리되고, 부호화 처리에서, 화상 데이터에 대해 과거에 행해진 부호화에 관한 정보가 취득되어, 베이스밴드의 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터의 부호화 처리가, 부호화의 픽쳐 타입이 소정의 픽쳐 타입이었을 경우, 취득 수단에 의해 취득된 부호화에 관한 정보와 부호화 처리에 관한 조건을 기초로, 부호화 처리에 부호화에 관한 정보를 이용할 것인지 여부의 판단을 기초로 제어된다.
도 1은 프레임 편집을 행하는 경우의 재부호화가 행해지는 종래의 시스템을 설명하기 위한 도면.
도 2는, 프레임 편집을 행하는 경우의 재부호화가 행해지는 종래의 시스템에서, 부호화 이력 정보(히스토리 정보)를 이용하는 경우에 대해 설명하기 위한 도면.
도 3은, 프레임 편집을 행하는 경우의 재부호화가 행해지는 종래의 시스템에서, 부호화 이력 정보(파라미터 정보)를 이용하는 경우에 대해 설명하기 위한 도면.
도 4는 본 발명을 적용한 방송 데이터의 수수 시스템에 대해 설명하기 위한 도면.
도 5는 도 4의 중계 기지의 구성을 도시하는 블록도.
도 6은 도 4의 방송국의 구성을 도시하는 블록도.
도 7은 도 5 및 도 6의 부호화부의 구성을 도시하는 블록도.
도 8은 도 7의 부호화부가 실행하는 제1 부호화 제어 처리에 대해 설명하는 플로우차트.
도 9a는 부호량 할당에 대해 설명하기 위한 도면.
도 9b는 부호량 할당에 대해 설명하기 위한 도면.
도 10은 백 서치 처리를 실행 가능한 부호화부의 구성을 도시하는 블록도.
도 11은 도 10의 부호화부가 실행하는 제2 부호화 제어 처리에 대해 설명하는 플로우차트.
도 12는 본 발명을 적용 가능한 상이한 장치의 구성에 대해 설명하기 위한 도면.
도 13은 본 발명을 적용 가능한 정보 기록 장치의 구성에 대해 설명하기 위한 도면.
도 14는 본 발명을 적용 가능한 정보 재생 장치의 구성에 대해 설명하기 위한 도면.
도 15는 본 발명을 적용 가능한 정보 기록 장치의 구성에 대해 설명하기 위한 도면.
도 16은 본 발명을 적용 가능한 정보 재생 장치의 구성에 대해 설명하기 위한 도면.
도 17은 퍼스널 컴퓨터의 구성을 도시하는 블록도.
이하, 도면을 참조하여, 본 발명의 실시예에 대해 설명한다.
도 1은 본 발명에 따른 정보 처리 장치의 일 실시예의 구성예를 도시하는 도면이다. 도 4에 본 발명을 적용한 방송 데이터의 수수 시스템을 도시한다.
예를 들면, 중계 기지(101)에서, 텔레비전 카메라(121)에 의해 촬영된 화상 데이터는, MPEG All Intra의 압축 방식으로 부호화된 SDTI CP(Serial Data Transport Interface Contents Package) 신호로서, 또는 비압축의 SDI(Serial Digital Interface) 방식의 신호로서, 트랜스코더(122)에 출력된다. SDTI CP란 Pro-MPEG 포럼의 추진으로 SMPTE 326M으로서 표준화된, MPEG 데이터를 실시간 전송(동기 전송)하는 전송 방식의 세계 표준 규격이다. 또한, SDI란 Point to Point의 전송을 기본으로 생각한, 비압축의 디지털 비디오·오디오의 전송 방식으로서, ANSI(American National Standards Institute)/SMPTE(Society of Motion Picture and Television Engineers) 259M에 규정되어 있다.
트랜스코더(122)는 All Intra의 SDTI CP(Serial Data Transport Interface Contents Package) 신호, 또는 비압축의 SDI 신호의 공급을 받아 전송로(1)의 대역을 절약하기 위해, 압축 효율이 좋은 Long GOP의 프레임간 압축을 실시하여, 전송로(1)를 통해, 방송국(102-1), 방송국(102-2) 또는 아카이브 시스템(103)에 전송한다.
방송국(102-1)의 트랜스코더(131-1)는, MPEG Long GOP의 스트림 데이터의 공급을 받아, 프레임 단위로 편집을 행하는 것이 가능한 MPEG All Intra 방식의 스트림 데이터로 변환하여, 프레임 편집 장치(3-1)에 출력한다. 프레임 편집 장치(3-1)는, 예를 들면, MXF(Material eXchange Format)나 SDTI CP 등, 압축한 스트림을 직접 입출력하는 것이 가능한 인터페이스를 갖고 있어, 공급된 MPEG All Intra 방식의 스트림 데이터에 대해, 예를 들면, 광고의 삽입이나 화상의 가공 등의 편집을 행하고, 편집 후의 데이터를 방송하거나, 아카이브 시스템(103)에 보존시키기 위 해, 트랜스코더(131-1)에 출력한다. 트랜스코더(131-1)는 공급된 MPEG All Intra 방식의 스트림 데이터를, 전송로(1)의 전송에 적합한 MPEG Long GOP의 스트림 데이터로 변환하여, 전송로(1)를 통해, 아카이브 시스템(103)에 전송한다.
MXF는 Pro-MPEG 포럼이 중심으로 되어 표준화가 진행되고 있는 파일 형식이다. MXF는 비디오 데이터와 오디오 데이터가, 프레임마다 등의 작은 단위로 다중화되어 있어, 파일 교환 외에 스트리밍을 고려한 포맷이다.
방송국(102-2)의 트랜스코더(131-2)는 MPEG Long GOP의 스트림 데이터의 공급을 받아, 프레임 단위로 편집을 행하는 것이 가능한 MPEG All Intra 방식의 스트림 데이터로 변환하여, 프레임 편집 장치(3-2)에 출력한다. 프레임 편집 장치(3-2)는, 예를 들면, MXF나 SDTI CP 등, 압축한 스트림을 직접 입출력하는 것이 가능한 인터페이스를 갖고 있어, 공급된 MPEG All Intra 방식의 스트림 데이터에 대해, 예를 들면, 광고의 삽입이나 화상의 가공 등의 편집을 행하고, 편집 후의 데이터를 방송하거나, 아카이브 시스템(103)에 보존시키기 위해, 트랜스코더(131-2)에 출력한다. 트랜스코더(131-2)는 공급된 MPEG All Intra 방식의 스트림 데이터를, 전송로(1)의 전송에 적합한 MPEG Long GOP의 스트림 데이터로 변환하여, 전송로(1)를 통해, 아카이브 시스템(103)에 전송한다.
아카이브 시스템(103)은 공급된 프로그램의 소재로 되는 스트림 데이터를 보존한다. 아카이브 시스템(103)에서는, 효율적으로 데이터를 보존할 필요가 있기 때문에, 고압축률의 MPEG Long GOP 방식의 스트림 데이터를 보존한다.
이하, 방송국(102-1) 및 방송국(102-2)을 개개로 구별할 필요가 없는 경우, 단순히 방송국(102)으로 총칭하고, 트랜스코더(131-1) 및 트랜스코더(131-2)를 개개로 구별할 필요가 없는 경우, 단순히 트랜스코더(131)로 총칭하며, 프레임 편집 장치(3-1) 및 프레임 편집 장치(3-2)를 개개로 구별할 필요가 없는 경우, 단순히 프레임 편집 장치(3)로 총칭한다.
도 5는 중계 기지(101)의 더욱 상세한 구성을 도시하는 블록도이다.
또한, 종래의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절하게 생략한다. 즉, 트랜스코더(122)는, 부호화부(64)에 대신하여 공급되는 스트림의 조건에 대응해, 재이용 가능한 이력 정보를 선택할 수 있는 부호화부(151)가 설치되고, 부호화부(151)에는, 복호부(63)로부터 출력되는 복호된 신호 외에, 복호부(63)에 입력되고 있는 스트림 데이터도 입력되고 있는 것 이외에는, 도 3의 트랜스코더(52)와 기본적으로 마찬가지로 구성되어 있다.
중계 기지(101)에서, 텔레비전 카메라(121)에 의해 촬영된 화상 데이터는, MPEG All Intra의 압축 방식으로 부호화된 SDTI CP 신호로서, 트랜스코더(122)에 출력된다.
트랜스코더(122)의 복호부(63)는 All Intra의 SDTI CP 신호의 공급을 받아 복호하고, 복호할 때에, 필요한 부호화 파라미터를 취득하여, 복호된 비디오 데이터와 취득된 부호화 파라미터를 부호화부(151)에 공급한다. 부호화부(151)는 필요에 따라 공급된 부호화 파라미터를 이용하여, 비디오 데이터를 MPEG의 Long GOP로 되도록 부호화해, 전송로(1)에 송출한다.
도 6은 방송국(102)의 더 상세한 구성을 도시하는 블록도이다.
또, 종래의 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적당히 생략한다.
트랜스코더(131)는 Long GOP의 스트림 데이터를 All Intra의 스트림 데이터로 변환하는 트랜스코더(161)와, All Intra의 스트림 데이터를 Long GOP의 스트림 데이터로 변환하는 트랜스코더(162)로 구성되어 있다. 트랜스코더(161)는 부호화부(62)에 대신하여, 공급되는 스트림의 조건에 대응해, 재이용 가능한 이력 정보를 선택할 수 있는 부호화부(152)가 설치되고, 부호화부(152)에는 복호부(61)로부터 출력되는 복호된 신호 외에, 복호부(61)에 입력되고 있는 스트림 데이터도 입력되고 있는 것 외에는, 도 3의 트랜스코더(51)와 기본적으로 마찬가지로 구성되어 있다.
또한, 트랜스코더(162)는 부호화부(64)에 대신하여, 공급되는 스트림의 조건에 대응해, 재이용 가능한 이력 정보를 선택하는 것이 가능한 부호화부(151)가 설치되고, 부호화부(151)에는 복호부(63)로부터 출력되는 복호된 신호 외에, 복호부(63)에 입력되고 있는 스트림 데이터도 입력되고 있는 것 외에는, 도 3의 트랜스코더(52)와 기본적으로 마찬가지로 구성되어 있다.
트랜스코더(161)의 복호부(61)는, MPEG의 Long GOP의 스트림 데이터의 공급을 받아 복호하고, 복호할 때에, 필요한 부호화 파라미터를 취득하여, 복호된 비디오 데이터와 취득된 부호화 파라미터를, 부호화부(152)에 공급한다. 부호화부(152)는 필요에 따라, 공급된 부호화 파라미터를 이용하여, 비디오 데이터를 All Intra의 SDTI CP 신호로 되도록 부호화하고, 프레임 편집 장치(3)에 공급한다.
프레임 편집 장치(3)에서 프레임 편집된 스트림 데이터는, 트랜스코더(162)의 복호부(63)에 공급된다.
트랜스코더(162)의 복호부(63)는, All Intra의 SDTI CP(Serial Data Transport Interface Contents Package) 신호의 공급을 받아 복호하고, 복호할 때에, 필요한 부호화 파라미터를 취득하여, 복호된 비디오 데이터와 취득된 부호화 파라미터를 부호화부(151)에 공급한다. 부호화부(151)는 필요에 따라, 공급된 부호화 파라미터를 이용해, 비디오 데이터를 MPEG의 Long GOP로 되도록 부호화하여, 전송로(1)에 송출한다.
도 7은 부호화부(151) 및 부호화부(152)의 구성을 도시하는 블록도이다.
파라미터 입력부(187)는 복호부(61) 또는 복호부(63)로부터 공급되는 파라미터 정보를 취득하여 제어부(185)에 공급한다.
제어부(185)는 파라미터 입력부(187)로부터 파라미터 정보의 공급을 받아, 파라미터 정보를 참조하여, 실행되는 부호화의 조건이 소정의 조건에 합치하고 있는지의 여부를 기초로, 화상 재배열부(172), 움직임 벡터 검출부(174), 양자화치 결정부(177) 및 스트림 스위치(186)의 일부, 혹은 모든 처리를 제어한다.
구체적으로는, 제어부(185)는 실행되는 부호화의 픽쳐 타입이 I 픽쳐인지의 여부, 이전 부호화와 다음 부호화에서의 매크로 블록의 위상이 합치하고 있는지의 여부, 복호 시의 픽쳐 단위의 발생 부호량이 소정 범위 이내인지의 여부, 및 화상 틀이 동일한지의 여부를 기초로, 영상 재배열부(172) 내지 버퍼(184)의 처리에 의해 부호화된 부호화 데이터를 출력할지, 복호부(61) 또는 복호부(63)에 입력된 스 트림 데이터를 출력할지를 판단하고, 영상 재배열부(172) 내지 버퍼(184)의 처리에 의해 부호화된 부호화 데이터를 출력하는 경우에는, 파라미터의 재이용을 실시할지의 여부를 더 결정하여, 화상 재배열부(172), 움직임 벡터 검출부(174), 양자화치 결정부(177), 스트림 스위치(186)의 일부, 혹은 모든 처리를 제어한다.
영상 재배열부(172)는 제어부(185)의 제어에 기초하여, 순차적으로 입력되는 화상 데이터의 각 프레임 화상을, 필요에 따라, 재배열하거나, 16화소×16라인의 휘도 신호, 및 휘도 신호에 대응하는 색차 신호에 의해 구성되는 매크로 블록으로 분할한 매크로 블록 데이터를 생성하여, 연산부(173) 및 움직임 벡터 검출부(174)에 공급한다.
움직임 벡터 검출부(174)는 매크로 블록 데이터의 입력을 받아, 제어부(185)의 제어에 기초하여, 각 매크로 블록의 움직임 벡터를 매크로 블록 데이터 및 프레임 메모리(183)에 기억되어 있는 참조 화상 데이터를 기초로 산출하여, 움직임 벡터 데이터로서 움직임 보상부(182)에 송출하거나, 혹은, 제어부(185)로부터 공급된 이전의 부호화의 움직임 벡터를, 움직임 보상부(182)에 송출한다.
연산부(173)는 영상 재배열부(172)로부터 공급된 매크로 블록 데이터에 대해, 각 매크로 블록의 화상 타입에 기초한 움직임 보상을 행한다. 구체적으로는, 연산부(173)는 I 픽쳐에 대해서는 인트라 모드로 움직임 보상을 행하고, P 픽쳐에 대해서는 순방향 예측 모드로 움직임 보상을 행하고, B 픽쳐에 대해서는 쌍방향 예측 모드로 움직임 보상을 행하도록 되어 있다.
여기서, 인트라 모드란, 부호화 대상으로 되는 프레임 화상을 그대로 전송 데이터로 하는 방법이고, 순방향 예측 모드란, 부호화 대상으로 되는 프레임 화상과 과거 참조 화상의 예측 잔차를 전송 데이터로 하는 방법이며, 쌍방향 예측 모드란, 부호화 대상으로 되는 프레임 화상과, 과거와 장래의 참조 화상의 예측 잔차를 전송 데이터로 하는 방법이다.
우선, 매크로 블록 데이터가 I 픽쳐였을 경우, 매크로 블록 데이터는 인트라 모드로 처리된다. 즉, 연산부(173)는 입력된 매크로 블록 데이터의 매크로 블록을, 그대로 연산 데이터로서 DCT(Discrete Cosine Transform; 이산 코사인 변환)부(175)에 송출한다. DCT부(175)는 입력된 연산 데이터에 대해 DCT 변환 처리를 행함으로써 DCT 계수화하고, 이를 DCT 계수 데이터로서 양자화부(176)에 송출한다.
양자화부(176)는 양자화치 결정부(177)로부터 공급되는 양자화치(Q)에 기초하여, 입력된 DCT 계수 데이터에 대해 양자화 처리를 행하고, 양자화 DCT 계수 데이터로서 VLC(Variable Length Code; 가변 길이 부호화)부(178) 및 역양자화부(179)에 송출한다. 여기서, 양자화부(176)는 양자화치 결정부(177)로부터 공급되는 양자화치(Q)에 따라, 양자화 처리에서의 양자화 스텝 사이즈를 조정함으로써, 발생하는 부호량을 제어하도록 되어 있다.
역양자화부(179)에 송출된 양자화 DCT 계수 데이터는, 양자화부(176)와 동일한 양자화 스텝 사이즈에 의한 역양자화 처리를 받아, DCT 계수 데이터로서 역DCT부(180)에 송출된다. 역DCT부(180)는 공급된 DCT 계수 데이터에 역DCT 처리를 실시하고, 생성된 연산 데이터는 연산부(181)에 송출되어, 참조 화상 데이터로서 프레임 메모리(183)에 기억된다.
그리고, 연산부(173)는 매크로 블록 데이터가 P 픽쳐였을 경우, 매크로 블록 데이터에 대해 순방향 예측 모드에 의한 움직임 보상 처리를 행하고, B 픽쳐였을 경우, 매크로 블록 데이터에 대해 쌍방향 예측 모드에 의한 움직임 보상 처리를 행한다.
움직임 보상부(182)는 프레임 메모리(183)에 기억되어 있는 참조 화상 데이터를, 움직임 벡터 데이터에 따라 움직임 보상하여, 순방향 예측 화상 데이터, 또는 쌍방향 예측 화상 데이터를 산출한다. 연산부(173)는 매크로 블록 데이터에 대해, 움직임 보상부(182)로부터 공급되는 순방향 예측 화상 데이터, 또는 쌍방향 예측 화상 데이터를 이용하여 감산 처리를 실행한다.
즉, 순방향 예측 모드에서, 움직임 보상부(182)는 프레임 메모리(183)의 판독 어드레스를, 움직임 벡터 데이터에 따라 이동시킴으로써, 참조 화상 데이터를 판독하고, 이를 순방향 예측 화상 데이터로서 연산부(173) 및 연산부(181)에 공급한다. 연산부(173)는 공급된 매크로 블록 데이터로부터, 순방향 예측 화상 데이터를 감산하여, 예측 잔차로서의 차분 데이터를 얻는다. 그리고, 연산부(173)는 차분 데이터를 DCT부(175)에 송출한다.
연산부(181)에는 움직임 보상부(182)로부터 순방향 예측 화상 데이터가 공급되고 있어, 연산부(181)는 역DCT부로부터 공급된 연산 데이터에, 순방향 예측 화상 데이터를 가산함으로써, 참조 화상 데이터를 국부 재생하여, 프레임 메모리(183)에 출력하여 기억시킨다.
또한, 쌍방향 예측 모드에서, 움직임 보상부(182)는 프레임 메모리(183)의 판독 어드레스를, 움직임 벡터 데이터에 따라 이동시킴으로써, 참조 화상 데이터를 판독하고, 이를 쌍방향 예측 화상 데이터로서 연산부(173) 및 연산부(181)에 공급한다. 연산부(173)는 공급된 매크로 블록 데이터로부터, 쌍방향 예측 화상 데이터를 감산하여, 예측 잔차로서의 차분 데이터를 얻는다. 그리고, 연산부(173)는 차분 데이터를 DCT부(175)에 송출한다.
연산부(181)에는 움직임 보상부(182)로부터 쌍방향 예측 화상 데이터가 공급되고 있어, 연산부(181)는 역DCT부로부터 공급된 연산 데이터에, 쌍방향 예측 화상 데이터를 가산함으로써, 참조 화상 데이터를 국부 재생하고, 프레임 메모리(183)에 출력하여 기억시킨다.
이렇게 하여, 부호화부(151) 또는 부호화부(152)에 입력된 화상 데이터는, 움직임 보상 예측 처리, DCT 처리 및 양자화 처리를 받아, 양자화 DCT 계수 데이터로서, VLC부(178)에 공급된다. VLC부(178)는 양자화 DCT 계수 데이터에 대해, 소정의 변환 테이블에 기초하는 가변 길이 부호화 처리를 행하고, 그 결과 얻어지는 가변 길이 부호화 데이터를 버퍼(184)에 송출한다. 버퍼(184)는 공급된 가변 길이 부호화 데이터를 버퍼링한 후, 스트림 스위치(186)에 출력한다.
양자화치 결정부(177)는 버퍼(184)에 저장되는 가변 길이 부호화 데이터의 축적 상태를 상시 감시하고 있어, 제어부(185)의 제어에 기초하여, 축적 상태를 나타내는 점유량 정보, 또는 제어부(185)로부터 공급되는, 과거의 부호화 파라미터에 포함되는 양자화치(Q)를 기초로, 양자화 스텝 사이즈를 결정하도록 되어 있다.
양자화치 결정부(177)는, 상술한 바와 같이, 제어부(185)로부터 과거의 부호 화 파라미터에 포함되는 양자화치(Q)가 공급되어, 과거의 부호화의 양자화치를 재이용할 수 있는 경우, 과거의 부호화 파라미터에 포함되는 양자화치(Q)를 기초로, 양자화 스텝 사이즈를 결정할 수 있다.
또한, 양자화치 결정부(177)는 파라미터 정보를 기초로 양자화 스텝 사이즈를 결정하지 않는 경우에는, 목표 발생 부호량보다 실제로 발생한 매크로 블록의 발생 부호량이 많을 때, 발생 부호량을 줄이기 위해 양자화 스텝 사이즈를 크게 하고, 또한 목표 발생 부호량보다 실제의 발생 부호량이 적을 때, 발생 부호량을 늘리기 위해 양자화 스텝 사이즈를 작게 하도록 되어 있다.
즉, 양자화치 결정부(177)는 디코더측에 설치된 VBV(Video Buffer Verifier) 버퍼에 저장된 가변 길이 부호화 데이터의 축적 상태의 추이를 상정함으로써, 가상 버퍼의 버퍼 점유량을 구하여, 양자화치(Q)를 산출해, 이것을 양자화부(176)에 공급한다.
j번째의 매크로 블록에서의 가상 버퍼의 버퍼 점유량(d(j))은 수학식 1에 의해 나타내지고, 또한, j+1번째의 매크로 블록에서의 가상 버퍼의 버퍼 점유량(d(j+1))은 수학식 2에 의해 나타내지며, 수학식 1에서 수학식 2를 감산함으로써, j+1번째의 매크로 블록에서의 가상 버퍼의 버퍼 점유량(d(j+1))은 수학식 3으로서 나타내진다.
Figure 112005073431513-pct00001
여기서, d(0)은 초기 버퍼 용량, B(j)는 j번째의 매크로 블록에서의 부호화 발생 비트수, MBcnt는 픽쳐내의 매크로 블록수, 그리고, T는 픽쳐 단위의 목표 발생 부호량이다.
Figure 112005073431513-pct00002
Figure 112005073431513-pct00003
따라서, 발생 부호량 제어부(92)는 버퍼 점유량(d(j+1)) 및 수학식 4에 나타나는 상수 r을 수학식 5에 대입함으로써, 매크로 블록(j+1)의 양자화 인덱스 데이터(Q(j+1))를 산출하고, 이것을 양자화부(75)에 공급한다.
Figure 112005073431513-pct00004
Figure 112005073431513-pct00005
여기서, br는 비트 레이트이고, pr는 픽쳐 레이트이다.
양자화부(176)는 양자화치(Q)에 기초하여, 다음의 매크로 블록에서의 양자화 스텝 사이즈를 결정하고, 양자화 스텝 사이즈에 의해 DCT 계수 데이터를 양자화한다.
이에 따라, 양자화부(176)는 1개 전의 픽쳐에서의 실제의 발생 부호량에 기초하여 산출된, 다음 픽쳐의 목표 발생 부호량에서 최적의 양자화 스텝 사이즈에 따라, DCT 계수 데이터를 양자화할 수 있다.
이렇게 하여, 양자화부(176)에서는, 버퍼(184)의 데이터 점유량에 따라, 버퍼(184)가 오버플로우 또는 언더플로우 하지 않도록 양자화할 수 있을 뿐만 아니라, 디코더측의 VBV 버퍼가 오버플로우 또는 언더플로우 하지 않도록 양자화한 양자화 DCT 계수 데이터를 생성할 수 있다.
예를 들면, 부호화부(152)를 포함하는 트랜스코더(161)가 Long GOP의 부호화 스트림을 All Intra의 부호화 스트림으로 변환하는 경우, 복호부(61)에서, 역양자화 처리와 역DCT 변환이 실행되고, 부호화부(152)에서, DCT 변환 및 양자화 처리가 실행된다. 여기서, 역DCT 변환과 DCT 변환은 직교 역변환과 직교 변환이므로, Long GOP의 부호화 스트림 중의 I 픽쳐에 대해서는, 변환 후에도 동일한 픽쳐 타입이기 때문에, MPEG 고유의 8×8의 DCT 블록의 위상이 일치하고 있어, dct_type(field 또는 frame)이 일치하고 있는 경우, 연산 정밀도가 충분하면, 직교 역변환과 직교 변환의 곱은 0으로 되어, 역DCT 변환과 DCT 변환이 실행되는 것에 의한 I 픽쳐의 화상 데이터의 열화는 발생하지 않는다.
또한, 역양자화 처리는 8×8의 DCT 블록의 계수마다의 곱셈 처리이며, 양자화 처리는 8×8의 DCT 블록의 계수마다의 나눗셈 처리이기 때문에, DCT 계수마다의 양자화 계수인 q_matrix가 일치하고, 매크로 블록마다의 양자화치인 quantaizer_scale이 일치하고 있는 경우, 역양자화 처리에서의 곱셈에 이용한 값을 양자화 처리의 나눗셈에 재이용함으로써, 사사오입 등의 연산 오차가 충분히 적은 경우, 역양자화 처리와 양자화 처리가 실행되는 것에 의한 I 픽쳐의 화상 데이터의 열화는 발생하지 않는다.
즉, MPEG 고유의 8×8의 DCT 블록의 위상이 일치하고 있어, dct_type(field 또는 frame)이 일치하고, DCT 계수마다의 양자화 계수인 q_matrix가 일치하고, 매크로 블록마다의 양자화치인 quantaizer_scale가 일치하고 있는 경우, 픽쳐 타입, 움직임 벡터 및 양자화치의 정보를 재이용함으로써, 복호부(61)에 입력된 I 픽쳐와, 부호화부(152)로부터 출력되는 I 픽쳐에서, 화상의 열화는 발생하지 않는다. 또한, 화상 틀이 동일한 경우, 복호부(61)에 입력된 I 픽쳐를 부호화부(152)로부터의 출력으로 하는 것이 가능해진다.
마찬가지로 하여, 부호화부(151)를 포함하는 트랜스코더(122) 또는 트랜스코더(162)가, All Intra의 부호화 스트림을 Long GOP의 부호화 스트림으로 변환하는 경우, 복호부(63)에서 역양자화 처리와 역DCT 변환이 실행되고, 부호화부(151)에서 DCT 변환 및 양자화 처리가 실행된다. 여기서, 역DCT 변환과 DCT 변환은 직교 역변환과 직교 변환이므로, Long GOP에서 I 픽쳐로서 부호화되는 픽쳐에 대해서는, 변환 후의 픽쳐 타입이 동일하기 때문에, MPEG 고유의 8×8의 DCT 블록의 위상이 일치하고 있어, dct_type(field 또는 frame)이 일치하고 있는 경우, 연산 정밀도가 충분하면, 직교 역변환과 직교 변환의 곱은 0으로 되어, 역DCT 변환과 DCT 변환이 실행되는 것에 의한 I 픽쳐의 화상 데이터의 열화는 발생하지 않는다.
또한, 역양자화 처리는 8×8의 DCT 블록의 계수마다의 곱셈 처리이며, 양자화 처리는, 8×8의 DCT 블록의 계수마다의 나눗셈 처리이기 때문에, DCT 계수마다의 양자화 계수인 q_matrix가 일치하고, 매크로 블록마다의 양자화치인 quantaizer_scale이 일치하고 있는 경우, 역양자화 처리에서의 곱셈에 이용한 값을 양자화 처리의 나눗셈에 재이용함으로써, 사사오입 등의 연산 오차가 충분히 작은 경우, 역양자화 처리와 양자화 처리가 실행되는 것에 의한 I 픽쳐의 화상 데이터의 열화는 발생하지 않는다.
즉, MPEG 고유의 8×8의 DCT 블록의 위상이 일치하고 있어, dct_type(field 또는 frame)이 일치하고, DCT 계수마다의 양자화 계수인 q_matrix가 일치하고, 매크로 블록마다의 양자화치인 quantaizer_scale이 일치하고 있는 경우, 픽쳐 타입, 움직임 벡터 및 양자화치의 정보를 재이용함으로써, 복호부(63)에 입력된 I 픽쳐와 부호화부(151)로부터 출력되는 I 픽쳐에서, 화상의 열화는 발생하지 않는다. 또한, 화상 틀이 동일한 경우, 복호부(63)에 입력된 I 픽쳐를 부호화부(151)로부터의 출력으로 하는 것이 가능해진다.
이에 비해, 부호화의 조건이 만족되지 않은 경우, 부호화부(151) 및 부호화부(152)에서는, 양자화치 결정부(177)에 의해 통상의 양자화치가 결정되어, 과거의 부호화의 파라미터를 이용하지 않고, 부호화 처리가 실행된다. 양자화치 결정부(177)는 파라미터 정보를 기초로 양자화 스텝 사이즈를 결정하지 않는 경우에는, 목표 발생 부호량보다 실제로 발생한 매크로 블록의 발생 부호량이 많을 때, 발생 부호량을 줄이기 위해 양자화 스텝 사이즈를 크게 하고, 또한 목표 발생 부호량보다 실제의 발생 부호량이 적을 때, 발생 부호량을 늘리기 위해 양자화 스텝 사이즈를 작게 하도록 되어 있다. 따라서, 양자화치 결정부(177)는 B 픽쳐 및 P 픽쳐에 대해, 최적의 양자화 스텝 사이즈를 결정하도록 되어 있다.
다음으로, 도 8의 플로우차트를 참조하여, 부호화부(151) 및 부호화부(152)가 실행하는 제1 부호화 제어 처리에 대해 설명한다.
단계 S1에서, 제어부(185)는 부호화의 픽쳐 타입이 I 픽쳐인지의 여부를 판단한다. 단계 S1에서, 부호화의 픽쳐 타입은 I 픽쳐가 아니라고 판단되었을 경우, 처리는 후술하는 단계 S7로 진행한다.
단계 S1에서, 부호화의 픽쳐 타입은 I 픽쳐라고 판단되었을 경우, 단계 S2에서, 제어부(185)는 파라미터 입력부(187)로부터 파라미터 정보의 공급을 받아, 파라미터 정보에 포함되는 매크로 블록의 위상을 나타내는 정보(예를 들면, SMPTE 329M에서의 v_phase 및 h_phase와 마찬가지의 정보)를 참조하여, 이전의 부호화에서의 매크로 블록의 위상과 금회의 부호화의 매크로 블록의 위상이 일치하고 있는지를 판단한다. 단계 S2에서, 이전의 부호화에서의 매크로 블록의 위상과 금회의 부호화의 매크로 블록의 위상이 일치하지 않는다고 판단되었을 경우, 처리는 후술하는 단계 S7로 진행된다.
단계 S2에서, 이전의 부호화에서의 매크로 블록의 위상과 금회의 부호화의 매크로 블록의 위상이 일치하고 있다고 판단되었을 경우, 단계 S3에서, 제어부(185)는 파라미터 입력부(187)로부터 공급된 파라미터 정보에 포함되는 비트 레이트의 데이터를 기초로, 상수 α를, 예를 들면, 1≤α＜2의 값으로 하여 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α가 만족되는지의 여부를 판단한다. 단계 S3에서, 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α가 만족되지 않는다고 판단되었을 경우, 처리는 후술하는 단계 S7로 진행된다.
여기서, Long GOP의 부호화에서, 움직임 벡터의 발생량이 많은 화상 등에서는, P 픽쳐 및 B 픽쳐에 대해, 보다 많이 부호량을 할당하는 편이, 화질이 좋아지는 경우가 있다. 또한, Long GOP의 부호화 레이트가 작은 경우에, All Intra 부호화에서의 q_scale을 재이용하면, 부호량 제어를 할 수 없게 되는 경우가 있다. 따라서, 상수 α는 부호량 제어가 파탄되지 않도록 조정되는 값으로 되어, 예를 들면, 1≤α＜2 정도의 가중치 계수로 된다.
단계 S3에서, 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α가 만족되어 있다고 판단되었을 경우, 단계 S4에서, 제어부(185)는 파라미터 입력부(187)로부터 공급된 파라미터 정보에 포함되는 화상 틀을 나타내는 정보(예를 들면, SMPTE 329M에서의 horizontal_size_value 및 vertical_size_value와 마찬가지의 정보)를 참조하여, 이전의 부호화에서의 화상 틀과 금회의 부호화의 화상 틀이 동일한지의 여부를 판단한다.
단계 S4에서, 이전의 부호화에서의 화상 틀과 금회의 부호화의 화상 틀이 동일하지 않다고 판단되었을 경우, 단계 S5에서, 제어부(185)는 파라미터 입력부(187)로부터 공급된 파라미터 정보에 포함되는 픽쳐 타입, 움직임 벡터 및 양자화치의 정보를 재이용한다. 즉, 제어부(185)는 파라미터 입력부(187)로부터 공급된 파라미터 정보(예를 들면, SMPTE 329M이나 SMPTE 328M에서의 intra_quantizer_matrix[64], chroma_intra_quantizer_matrix[64], q_scale_type, intra_dc_precision 및 q_scale_type에 대응하는 정보)를 재이용하여, 부호화가 실행되도록, 부호화부(151) 또는 부호화부(152)의 각부를 제어하고, 처리가 종료된 다.
단계 S4에서, 이전의 부호화에서의 화상 틀과 금회의 부호화의 화상 틀이 동일하다고 판단되었을 경우, 단계 S6에서, 제어부(185)는 스트림 스위치(186)를 제어하여, 복호부(63)에 입력된 스트림 데이터를 출력하고, 처리가 종료된다.
단계 S1에서, 부호화의 픽쳐 타입이 I 픽쳐는 아니라고 판단되었을 경우, 단계 S2에서, 이전의 부호화에서의 매크로 블록의 위상과, 금회의 부호화의 매크로 블록의 위상이 일치하지 않는다고 판단되었을 경우, 또는 단계 S3에서, 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α가 만족되지 않는다고 판단되었을 경우, 단계 S7에서, 제어부(185)는 파라미터의 재이용을 행하지 않고 부호화가 실행되도록, 부호화부(151) 또는 부호화부(152)의 각부를 제어하고, 처리가 종료된다.
이러한 처리에 의해, 소정의 조건에 합치한 I 픽쳐를 부호화할 때만, 복호부에 입력된 스트림 데이터가 그대로 출력되거나, 또는 파라미터 정보를 이용한 부호화가 실행되므로, 이 이상 발생 부호량의 할당을 늘려도 화질을 향상할 수 없는 I 픽쳐에 대해, 여분의 발생 부호량을 할당하는 것을 막도록 할 수 있다.
도 4를 이용하여 설명한 시스템에서, 어느 하나의 파라미터가 미리 정해져 있는 것 같은 경우, 그 파라미터에 관한 조건의 판단을 생략하도록 해도 된다. 예를 들면, 도 4를 이용해 설명한 시스템에서, 모든 부호화에서의 q_scale_type이 동일한 값으로 운용되고 있는 경우, q_scale_type에 관한 조건의 판단은 생략 가능하다. 또한, 단계 S1 내지 단계 S3의 처리에서의 조건 판단의 차례는 변경해도 상관없음은 말할 필요도 없다.
I 픽쳐에 대해, 픽쳐 타입, 움직임 벡터 및 양자화치의 정보를 재이용함으로써, 도 9에 나타내는 바와 같이, 이 이상 발생 부호량의 할당을 늘려도 화질을 향상할 수 없는 I 픽쳐에 대해, 발생 부호량의 할당을 Long GOP와 All Intra에서 동일하게 하여, 여분의 발생 부호량을 할당하는 것을 막도록 할 수 있다. 따라서, 최적의 부호량 할당을 행하는 것이 가능해지기 때문에, 그만큼, B 픽쳐 및 P 픽쳐에 대해, 충분한 부호량을 할당하도록 하는 것이 가능해진다.
또한, 이상의 설명에서는, 도 4의 중계 기지(101)의 트랜스코더(122)의 부호화부(151) 및 방송국(102)의 트랜스코더(131)를 구성하는 트랜스코더(162)의 부호화부(151) 및 트랜스코더(161)의 부호화부(152)에서, 본 발명을 적용하는 것으로서 설명하였지만, 방송국(102)의 트랜스코더(131)를 구성하는 트랜스코더(162) 및 트랜스코더(161)에 대신하여, 도 2를 이용해 설명한, 종래의 히스토리 정보를 이용해 부호화를 행하기 위한 트랜스코더(31) 및 트랜스코더(32)를 이용하도록 해도 된다. 즉, 도 4의 중계 기지(101)의 트랜스코더(122)에서만, 본 발명을 적용하여, I 픽쳐의 부호화 시에, 상술한 소정의 조건을 만족하는 경우만, 파라미터 정보(예를 들면, SMPTE 329M이나 SMPTE 328M에서의 intra_quantizer_matrix[64], chroma_intra_quantizer_matrix[64], q_scale_type, intra_dc_precision 및 q_scale_type에 대응하는 정보)를 재이용하여, 부호화를 행하도록 하고, 그 이후의 부호화에서는, 트랜스코더(122)에서 실행된 부호화에 관한 정보를 히스토리 정보로서 스트림 데이터와 함께 전송하도록 함으로써, 복호 및 부호화의 반복에 의한 화상 데이터의 열화를 막아, 부호화 시에, 최적의 부호 할당을 행하도록 할 수 있다.
또한, 소정의 조건에 합치한 I 픽쳐를 부호화하는 경우, 픽쳐 타입 및 움직임 벡터를 재이용하고, 양자화치의 결정에 대해서는, 예를 들면, 일본특허공개 평10-174098호 공보 등에 개시되어 있는, 백 서치라 불리는 기술을 이용하도록 하는 것도 가능하다. 백 서치란, 이전의 압축 부호화에서 사용된 양자화 스텝, 혹은, 그 배수 관계에 있는 양자화 스텝을 이용하면, DCT 계수의 잉여 총합이 극소로 된다고 하는 성질을 이용해, 최소의 극소치를 나타내는 양자화 스텝을, 최적의 양자화 스텝으로서 구하는 기술이다.
본 발명에 백 서치 기술을 적용시키기 위해서는, 도 5 및 도 6의 부호화부(151) 또는 부호화부(152)에 대신하여, 도 10에 도시하는 부호화부(201)가 이용된다. 또, 도 10의 부호화부(201)에서, 도 7을 이용하여 설명한 경우와 대응하는 부분에는 동일한 부호를 부여하고 있으며, 그 설명은 적절하게 생략한다.
즉, 제어부(185)에 대신하여 제어부(215)가 설치되고, 양자화치 결정부(177)에 대신하여 양자화치 결정부(216)가 설치되고, 새롭게 움직임 보상부(211), 연산부(212), DCT부(213) 및 백 서치 처리부(214)가 설치되어 있는 것 이외에는, 도 10의 부호화부(201)는 도 7을 이용해 설명한 부호화부(151) 또는 부호화부(152)와 마찬가지의 구성을 갖는 것이다.
제어부(215)는 제어부(185)와 마찬가지로 하여, 파라미터 입력부(187)로부터 공급되는 파라미터 정보를 기초로, 실행되는 부호화의 조건이 소정의 조건에 합치하는지의 여부를 기초로, 화상 재배열부(172), 움직임 벡터 검출부(174), 양자화치 결정부(216) 및 스트림 스위치(186)의 일부, 혹은 모든 처리를 제어함과 함께, 백 서치 처리부(214)의 처리를 제어한다.
양자화치 결정부(216)는 제어부(215)의 제어에 기초하여, 파라미터의 재이용을 행하지 않는 경우에는, 양자화치 결정부(177)와 마찬가지로 하여, 양자화치의 결정을 행하지만, 소정의 조건에 합치한 I 픽쳐를 부호화할 때는, 양자화치의 결정을 행하지 않는다.
움직임 보상부(211)는 움직임 보상부(182)와 마찬가지로, 화상 재배열부(172)로부터 출력되는 매크로 블록 데이터에 대해, 움직임 벡터 검출부(174)로부터 입력되는 움직임 벡터를 이용하여 움직임 보상 처리를 행하여, 연산부(212)에 대해 출력한다. 연산부(212)는 화상 재배열부(172)로부터 출력되는 매크로 블록 데이터로부터, 필요에 따라, 움직임 보상부(211)로부터 입력되는 움직임 보상된 예측 화상 데이터를 감산하여, I 픽쳐의 영상 데이터, 및, P 픽쳐 또는 B 픽쳐의 예측 오차 데이터를 생성해, DCT부(213)에 출력한다.
DCT부(213)는 연산부(212)로부터 입력된 I 픽쳐의 영상 데이터, 또는 P 픽쳐 혹은 B 픽쳐의 예측 오차 데이터를 DCT 변환하여, DCT 처리의 결과로서 얻어진 DCT 계수를 생성하여, 백 서치 처리부(214)에 공급한다.
백 서치 처리부(214)는 제어부(215)의 제어에 기초하여, 소정의 조건에 합치한 I 픽쳐를 부호화할 때, DCT부(213)로부터 공급된 DCT 계수를 양자화하여 양자화 데이터를 생성하고, 사용자 등에 의해 외부로부터 설정되는 목표 데이터량, 및, 생성한 양자화 데이터의 데이터량(발생 부호량)에 기초하여, 입력 영상 데이터의 그림의 어려움(난이도)를 단위 기간마다 예측한다.
여기서, 그림의 어려움이란, 부호화 난이도에 대응하는 것으로서, 그림이 어려울 때, 부호화 난이도는 높다. 그림의 어려움은, 예를 들면, 인트라 AC 등의 통계량에 기초하여, 개괄적으로 계산할 수 있다.
인트라 AC는 MPEG 방식에서의 DCT 처리 단위의 DCT 블록마다의 영상 데이터와의 분산치의 총합으로 정의되는 파라미터로서, 영상의 복잡성을 지표하여, 영상 그림의 어려움 및 압축 후의 데이터량과 상관성을 갖는다. 즉, 인트라 AC란, DCT 블록 단위로, 각각의 화소의 화소치로부터, 블록마다의 화소치의 평균치를 뺀 것의 절대치합의, 화면 내에서의 총합이다.
그리고, 백 서치 처리부(214)는 추측한 입력 영상 데이터의 그림의 어려움에 따라, 입력 영상 데이터의 그림이 어려운 부분에 많은 데이터량(데이터 레이트)을 할당하고, 입력 영상 데이터의 그림이 간단한 부분에 적은 데이터량(데이터 레이트)를 할당하여, 출력 영상 데이터의 품질을 전체적으로 높게 유지하고, 또한, 출력 영상 데이터의 총량이 허용치를 넘지 않도록 하기 위해 실제로 이용할 양자화 스텝을 나타내는 양자화 인덱스를, 단위 기간마다 산출한다.
그리고, 백 서치 처리부(214)는 백 서치에 의해, 입력 영상 데이터가 1도 이상의 압축 부호화를 거치고 있는지의 여부를 판단하여, 전회의 압축 부호화에서 이용된 양자화 스텝을 나타내는 양자화 인덱스를 생성해, 양자화부(176)에 설정한다. 즉, 백 서치 처리부(214)는 산출한 양자화 인덱스가 가리키는 양자화 스텝 및 그 근방의 값으로, DCT부(213)로부터 공급된 DCT 계수를 나누어, 나눗셈 결과의 잉여의 총합이 현저히 작은 값을 나타내는 양자화 스텝이 존재하는 경우에는, 이 현저 히 작은 값을 나타내는 양자화 스텝을, 전회의 압축 부호화에서 이용된 양자화 스텝으로 판정하고, 이 양자화 스텝을 나타내는 양자화 인덱스를 양자화부(176)에 대해 출력한다.
양자화부(176)는 소정의 조건에 합치한 I 픽쳐를 부호화할 때, 백 서치 처리부(214)로부터 공급된 양자화 인덱스를 이용하여, DCT부(175)로부터 공급된 DCT 계수 데이터를 양자화한다.
다음으로, 도 11의 플로우차트를 참조하여, 부호화부(201)가 실행하는 제2 부호화 제어 처리에 대해 설명한다.
단계 S21에서, 제어부(215)는 부호화의 픽쳐 타입이 I 픽쳐인지의 여부를 판단한다. 단계 S21에서, 부호화의 픽쳐 타입이 I 픽쳐는 아니라고 판단되었을 경우, 처리는 후술하는 단계 S28로 진행된다.
단계 S21에서, 부호화의 픽쳐 타입은 I 픽쳐라고 판단되었을 경우, 단계 S22에서, 제어부(215)는 파라미터 입력부(187)로부터 파라미터 정보의 공급을 받아, 파라미터 정보에 포함되는 매크로 블록의 위상을 나타내는 정보(예를 들면, SMPTE 329M에서의 v_phase 및 h_phase와 마찬가지의 정보)를 참조하여, 이전의 부호화에서의 매크로 블록의 위상과 금회의 부호화의 매크로 블록의 위상이 일치하고 있는지의 여부를 판단한다. 단계 S22에서, 이전의 부호화에서의 매크로 블록의 위상과 금회의 부호화의 매크로 블록의 위상이 일치하고 있지 않다고 판단되었을 경우, 처리는 후술하는 단계 S28로 진행된다.
단계 S22에서, 이전의 부호화에서의 매크로 블록의 위상과 금회의 부호화의 매크로 블록의 위상이 일치하고 있다고 판단되었을 경우, 단계 S23에서, 제어부(215)는 파라미터 입력부(187)로부터 공급된 파라미터 정보에 포함되는 비트 레이트의 데이터를 기초로, 상수 α를, 예를 들면, 1≤α＜2의 값으로 하여 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α이 만족되어 있는지의 여부를 판단한다. 단계 S23에서, 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α이 만족되어 있지 않다고 판단되었을 경우, 처리는 후술하는 단계 S28로 진행된다.
여기서, Long GOP의 부호화에서, 움직임 벡터의 발생량이 많은 화상 등에서는, P 픽쳐 및 B 픽쳐에 대해, 보다 많은 부호량을 할당하는 편이 화질이 좋아지는 경우가 있다. 또한, Long GOP 부호화 레이트가 작은 경우에, All Intra 부호화에서의 q_scale을 재이용하면, 부호량 제어를 할 수 없게 되는 경우가 있다. 따라서, 상수 α는 부호량 제어가 파탄되지 않도록 조정되는 값으로 되어, 예를 들면, 1≤α＜2 정도의 가중치 계수로 된다.
단계 S23에서, 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α이 만족되어 있다고 판단되었을 경우, 단계 S24에서, 제어부(215)는 파라미터 입력부(187)로부터 공급된 파라미터 정보에 포함되는 화상 틀을 나타내는 정보(예를 들면, SMPTE 329M에서의 horizontal_size_value, 및, vertical_size_value와 마찬가지의 정보)를 참조하여, 이전의 부호화에서의 화상 틀과 금회의 부호화의 화상 틀이 동일한지의 여부를 판단한다.
단계 S24에서, 이전의 부호화에서의 화상 틀과 금회의 부호화의 화상 틀이 동일하지 않다고 판단되었을 경우, 단계 S25에서, 제어부(215)는 파라미터 입력부 (187)로부터 공급된 파라미터 정보에 포함되는 픽쳐 타입, 및 움직임 벡터를 재이용하여, 부호화가 실행되도록 부호화부(201)의 각부를 제어한다.
단계 S26에서, 제어부(215)는 백 서치 처리부(214)를 제어하여, 백 서치에 의해 부호화에 이용하는 양자화 인덱스를 구하게 하고, 양자화부(176)에 공급시킨다. 양자화부(176)는 공급된 양자화 인덱스를 기초로 양자화를 실행하고, 부호화가 실행되어, 처리가 종료된다.
단계 S24에서, 이전의 부호화에서의 화상 틀과 금회의 부호화의 화상 틀이 동일하다고 판단되었을 경우, 단계 S27에서, 제어부(215)는 스트림 스위치(186)를 제어하여, 복호부(63)에 입력된 스트림 데이터를 출력하고, 처리가 종료된다.
단계 S21에서, 부호화의 픽쳐 타입이 I 픽쳐는 아니라고 판단되었을 경우, 단계 S22에서, 이전의 부호화에서의 매크로 블록의 위상과 금회의 부호화의 매크로 블록의 위상이 일치하고 있지 않다고 판단되었을 경우, 또는 단계 S23에서, 복호 시의 픽쳐 단위의 발생 부호량≤목표 부호량×α가 만족되어 있지 않다고 판단되었을 경우, 단계 S28에서, 제어부(215)는 파라미터의 재이용을 행하지 않고 부호화가 실행되도록, 부호화부(201)의 각부를 제어하고, 처리가 종료된다.
이러한 처리에 의해, 소정의 조건에 합치한 I 픽쳐를 부호화할 때만, 복호부에 입력된 스트림 데이터가 그대로 출력되거나 또는, 백 서치 처리 및 파라미터 정보를 이용한 부호화가 실행되므로, 이 이상 발생 부호량의 할당을 늘려도 화질을 향상할 수 없는 I 픽쳐에 대해, 여분의 발생 부호량을 할당하는 것을 막도록 할 수 있다.
또, 상술한 실시예에서는, 스트림 데이터를 변환하는 트랜스코더가, 각각, 복호부와 부호화부를 갖고 있는 것으로 설명하였지만, 복호부 및 부호화부가, 각각, 복호 장치 및 부호화 장치로서 독립한 장치로 구성되어 있는 경우에서도, 본 발명은 적용 가능하다.
즉, 상술한 실시예에서는, 각각의 트랜스코더가 스트림 데이터를 변환하는 것으로서 설명하였지만, 예를 들면, 도 12에 도시하는 바와 같이, 스트림 데이터를 복호하여 베이스밴드 신호로 변환하는 복호 장치(251), 베이스밴드 신호를 부호화하여 스트림 데이터로 변환하는 부호화 장치(252)가, 각각 독립한 장치로서 구성되어 있어도 된다. 또한, 복호 장치(251)가 공급된 스트림 데이터를 완전하게 복호하지 않고, 대응하는 부호화 장치(252)가 비완전하게 복호된 데이터의 대응하는 부분을 부분적으로 부호화하는 경우에도, 본 발명은 적용 가능하다.
예를 들면, 복호 장치(251)가 VLC 부호에 대한 복호 및 역양자화만을 행하고, 역DCT 변환을 실행하지 않았던 경우, 부호화 장치(252)는 양자화 및 가변 길이 부호화 처리를 행하지만, DCT 변환 처리는 행하지 않는다. 이러한 부분적인 부호화(중도 단계부터의 부호화)를 행하는 부호화 장치(252)의 양자화에서의 양자화치를 재이용할지 여부의 결정에서, 본 발명을 적용할 수 있는 것은 말할 것도 없다.
또한, 복호 장치(251)가 완전하게 복호한 베이스밴드 신호를, 부호화 장치(252)가 중도 단계까지 부호화하는 경우(예를 들면, DCT 변환 및 양자화를 행하지만 가변 길이 부호화 처리를 행하지 않는 등)나, 복호 장치(251)가 완전하게 복호하고 있지 않았기 때문에(예를 들면, VLC 부호에 대한 복호 및 역양자화만을 행하 고, 역DCT 변환을 실행하고 있지 않았기 때문에), 중도 단계까지 부호화되어 있는 데이터에 대해, 부호화 장치(252)가 중도 단계까지 더 부호화하는 경우 등(예를 들면, 양자화를 행하지만 가변 길이 부호화 처리를 행하지 않는 등)에서도, 본 발명은 적용 가능하다.
또한, 이러한 부분적인 복호를 행하는 복호 장치(251)와 부분적인 부호화를 행하는 부호화 장치(252)로 구성된 트랜스코더(261)에서도, 본 발명은 적용 가능하다. 이러한 트랜스코더(261)는, 예를 들면, 스프라이싱 등의 편집을 행하는 편집 장치(262)가 이용되는 경우 등에 이용된다.
또한, 본 발명을 적용한 트랜스코더는, 기록 매체에 정보를 기록하는 정보 기록 장치, 및 기록 매체에 기록되어 있는 정보를 재생하는 정보 재생 장치에서도 적용 가능하다.
도 13은 본 발명을 적용한 정보 기록 장치(271)의 구성을 도시하는 블록도이다.
정보 기록 장치(271)는, 도 5 및 도 6을 이용하여 설명한, 복호부(63)와 부호화부(151)가 설치되어 있는 트랜스코더(122), 또는 복호부(61)와 부호화부(152)가 설치되어 있는 트랜스코더(161)(이하, 트랜스코더(122, 161)라고 한다), 채널 인코딩부(275), 및, 기록 매체(273)에 정보를 기록하는 기록부(276)로 구성되어 있다.
외부로부터 입력된 정보는, 상술한 경우와 마찬가지로 하여, 트랜스코더(122, 161)에 의해 처리되어, 채널 인코딩부(275)에 공급된다. 채널 인코딩부 (275)는 트랜스코더(122, 161)에 의해 출력되는 비트 스트림에, 오류 정정을 위한 패리티 부호를 붙인 후, 예를 들면, NRZI(Non Return to Zero Inversion) 변조 방식으로 채널 인코딩 처리를 행하여, 기록부(276)에 공급한다.
기록 매체(273)는, 예를 들면 CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등의 광디스크, MD(Mini-Disk)(상표) 등의 광자기 디스크, 반도체 메모리, 또는 비디오 테이프 등의 자기 테이프 등, 정보를 기록할 수 있는 것이면, 어떤 형태를 갖는 것이라도 된다.
기록부(276)는 기록 매체(273)에 대응하는 기록 형식으로, 공급된 정보를 기록 매체(273)에 기록할 수 있도록 되어 있어, 예를 들면, 기록 매체(273)가 광디스크인 경우에는, 기록 매체(273)에 레이저광을 조사하기 위한 레이저를 포함하여 구성되고, 기록 매체(273)가 자기 테이프인 경우에는 자기 기록 헤드를 포함하여 구성된다.
다음으로, 도 14는 본 발명을 적용한 정보 재생 장치(281)의 구성을 도시하는 블록도이다.
정보 재생 장치(281)는 기록 매체(273)로부터 정보를 재생하는 재생 처리부(285), 채널 디코딩부(286) 및 도 5 및 도 6을 이용해 설명한 트랜스코더(122, 161)로 구성되어 있다.
재생 처리부(285)는, 기록 매체(273)에 대응하는 방법으로, 기록 매체(273)에 기록되어 있는 정보를 재생하고, 채널 디코딩부(286)에 재생된 신호를 공급할 수 있도록 되어 있어서, 예를 들면, 기록 매체(273)가 광디스크인 경우에는, 광 픽 업을 포함하여 구성되고, 기록 매체(273)가 자기 테이프인 경우에는, 자기 재생 헤드를 포함하여 구성된다.
채널 디코딩부(286)는 재생 신호를 채널 디코드하고, 패리티를 이용해 오류 정정 처리를 행한 후, 오류 정정 후의 재생 정보를 트랜스코더(122, 161)에 공급한다. 트랜스코더(122, 161)에 공급된 정보는, 상술한 경우와 마찬가지로 하여, 트랜스코더(122, 161)에 의해 처리되고 출력된다.
도 15는 본 발명을 적용한 정보 기록 장치(291)의 구성을 도시하는 블록도이다.
정보 기록 장치(291)는 복호부(61) 또는 복호부(63), 및 도 10을 이용하여 설명한 부호화부(201)를 구비한 트랜스코더(292), 채널 인코딩부(275) 및 기록 매체(273)에 정보를 기록하는 기록부(276)로 구성되어 있다.
외부로부터 입력된 정보는 상술한 경우와 마찬가지로 하여, 트랜스코더(292)에 의해 처리되어, 채널 인코딩부(275)에 공급된다. 채널 인코딩부(275)는 트랜스코더(292)에 의해 출력되는 비트 스트림에, 오류 정정을 위한 패리티 부호를 붙인 후, 예를 들면, NRZI(Non Return to Zero Inversion) 변조 방식으로 채널 인코딩 처리를 행하여, 기록부(276)에 공급한다. 기록부(276)는 공급된 정보를 기록 매체(273)에 기록한다.
또, 도 15의 정보 기록 장치(291)에서는, 부호화 파라미터와 비디오 데이터를 기록 매체(273)의 상이한 위치에 기록하도록 하여도 된다.
다음으로, 도 16은 본 발명을 적용한 정보 재생 장치(295)의 구성을 도시하 는 블록도이다.
정보 재생 장치(295)는 기록 매체(273)로부터 정보를 재생하는 재생 처리부(285), 채널 디코딩부(286) 및 복호부(61) 또는 복호부(63), 그리고, 도 10을 이용해 설명한 부호화부(201)를 구비한 트랜스코더(292)로 구성되어 있다.
재생 처리부(285)는 기록 매체(273)에 대응하는 방법으로, 기록 매체(273)에 기록되어 있는 정보를 재생하고, 채널 디코딩부(286)에 재생된 신호를 공급한다. 채널 디코딩부(286)는 재생 신호를 채널 디코드하고, 패리티를 이용해 오류 정정 처리를 행한 후, 오류 정정 후의 재생 정보를 트랜스코더(292)에 공급한다. 트랜스코더(292)에 공급된 정보는, 상술한 경우와 마찬가지로 하여, 트랜스코더(292)에 의해 처리되어 출력된다.
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면, 트랜스코더(122)나 트랜스코더(131)는, 도 17에 도시하는 바와 같은 퍼스널 컴퓨터(301)에 의해 구성된다.
도 17에서, CPU(Central Processing Unit)(311)는 ROM(Read Only Memory)(312)에 기억되어 있는 프로그램, 또는 기억부(318)로부터 RAM(Random Access Memory)(313)으로 로드된 프로그램에 따라, 각종 처리를 실행한다. RAM(313)에는 또한, CPU(311)가 각종의 처리를 실행하는데 있어서 필요한 데이터 등도 적절하게 기억된다.
CPU(311), ROM(312) 및 RAM(313)은 패스(314)를 통해 서로 접속되어 있다. 이 패스(314)에는 또한, 입출력 인터페이스(315)도 접속되어 있다.
입출력 인터페이스(315)에는 키보드, 마우스 등으로 이루어지는 입력부(316), 디스플레이나 스피커 등으로 이루어지는 출력부(317), 하드 디스크 등으로 구성되는 기억부(318), 모뎀, 터미널 어댑터 등으로 구성되는 통신부(319)가 접속되어 있다. 통신부(319)는 인터넷을 포함하는 네트워크를 통한 통신 처리를 행한다.
입출력 인터페이스(315)에는 또한, 필요에 따라 드라이브(320)가 접속되고, 자기 디스크(331), 광디스크(332), 광자기 디스크(333), 혹은, 반도체 메모리(334) 등이 적절하게 장착되고, 이들로부터 판독된 컴퓨터 프로그램이, 필요에 따라, 기억부(318)에 인스톨된다.
일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이 전용의 하드웨어에 내장되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 도 17에 도시하는 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 공급하기 위해 배포되는, 프로그램이 기억되어 있는 자기 디스크(331)(플로피 디스크를 포함한다), 광디스크(332)(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함한다), 광자기 디스크(333)(MD(Mini-Disk)(상표)를 포함한다), 혹은 반도체 메모리(334) 등으로 이루어지는 패키지 미디어에 의해 구성될 뿐만 아니라, 장치 본체에 미리 내장된 상태로 유저에게 공급되는, 프로그램이 기억되어 있는 ROM(312)이나, 기억부(318)에 포함되는 하드 디스 크 등으로 구성된다.
또한, 본 명세서에서, 기록 매체에 기억되는 프로그램을 기술하는 단계는, 포함하는 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 혹은 개별적으로 실행되는 처리도 포함하는 것이다.
또한, 본 명세서에서, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
본 발명에 따르면, 화상 데이터를 부호화할 수 있다. 특히, 스트림 데이터를 MPEG Long GOP로부터 All Intra로 변환하도록 하는 경우, 및 All Intra로부터 Long GOP로 변환하도록 하는 경우의 부호화 처리에서, 소정의 조건에 합치한 I 픽쳐를 부호화할 때만, 복호부에 입력된 스트림 데이터를, 그대로 출력하거나, 또는 파라미터 정보를 이용하여 부호화를 실행하도록 하였으므로, 이 이상 발생 부호량의 할당을 늘려도 화질을 향상할 수 없는 I 픽쳐에 대해, 여분의 발생 부호량을 할당하는 것을 방지하도록 할 수 있다.
또한, 다른 본 발명에 따르면, 화상 데이터를 변환할 수 있는 것 외에, 스트림 데이터를 MPEG Long GOP로부터 All Intra로 변환하도록 하는 경우, 및 All Intra로부터 Long GOP로 변환하도록 하는 경우의 부호화 처리에서, 소정의 조건에 합치한 I 픽쳐를 부호화할 때만, 복호부에 입력된 스트림 데이터를, 그대로 출력하거나, 또는 파라미터 정보를 이용하여 부호화를 실행하도록 하였으므로, 이 이상 발생 부호량의 할당을 늘려도 화질을 향상할 수 없는 I 픽쳐에 대해, 여분의 발생 부호량을 할당하는 것을 방지하도록 할 수 있다.

Claims (16)

  1. 화상 데이터 또는 화상 데이터가 중도 단계까지 부호화된 중도 화상 데이터를, 중도 단계까지 또는 완전히 부호화하는 처리를 실행하는 화상 처리 장치에 있어서,
    상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 과거에 행해진 부호화에 관한 정보를 상기 화상 데이터 또는 상기 중도 화상 데이터와 함께 취득하는 취득 수단과,
    상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 실행하는 부호화의 픽쳐 타입이 I 픽쳐이고, 상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 매크로 블록의 위상이, 상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 실행하는 부호화의 매크로 블록의 위상과 일치하고 있는 경우, 상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보를 이용하여, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지, 또는 완전히 부호화하는 부호화 수단을 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 부호화 수단은, 또한, 상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보에 포함되는 복호 시의 발생 부호량이 소정의 값 이하인 경우, 상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보를 이용해서, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지, 또는 완전히 부호화하는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 소정의 값은, 1≤α＜2일 때의 목표 부호량 ×α인 것을 특징으로 하는 화상 처리 장치.
  4. 제2항에 있어서,
    상기 부호화 수단은, 상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보에 포함되는 복호 시의 발생 부호량이 소정의 값 이하인 경우, 상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보 중의 픽쳐 타입 및 움직임 벡터의 정보를 이용함과 함께, 상기 화상 데이터 또는 상기 중도 화상 데이터에 대한 과거의 부호화에서 이용된 양자화 스텝을 산출하는 백 서치 처리에 의해 구해진 양자화 인덱스를 이용해서, 상기 화상 데이터 또는 상기 중도 화상 데이터를 중도 단계까지 또는 완전히 부호화하는 것을 특징으로 하는 화상 처리 장치.
  5. 제2항에 있어서,
    상기 화상 데이터 또는 상기 중도 화상 데이터는, 제1 부호화 데이터를 완전히 또는 중도 단계까지 복호하여 얻어진 것이며,
    상기 제1 부호화 데이터를 취득함과 함께, 상기 부호화 수단에 의해 중도 단계까지 또는 완전히 부호화된 제2 부호화 데이터를 취득하고, 상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 실행하는 부호화의 픽쳐 타입이 I 픽쳐이고, 매크로 블록의 위상이 상기 화상 데이터에 대해서 실행하는 부호화의 매크로 블록의 위상과 일치하고, 상기 부호화에 관한 정보에 기재된 복호 시의 발생 부호량이 소정의 값 이하이고, 또한, 상기 부호화에 관한 정보에 기재된 과거의 부호화에 있어서의 화상 틀과 상기 화상 데이터에 대하여 실행하는 부호화의 화상 틀의 위치 및 크기가 일치하고 있는 경우, 상기 제1 부호화 데이터를 출력하고, 그 이외의 경우는, 상기 제2 부호화 데이터를 출력하는 출력 수단
    을 더 구비하는 것을 특징으로 하는 화상 처리 장치.
  6. 제5항에 있어서,
    상기 부호화 수단은, 상기 화상 데이터 또는 상기 중도 화상 데이터에 대하여 실행하는 부호화의 픽쳐 타입이 I 픽쳐이고, 매크로 블록의 위상이 상기 화상 데이터에 대해서 실행하는 부호화의 매크로 블록의 위상과 일치하고, 복호 시의 발생 부호량이 소정의 값 이하인 경우, 상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보 중의 픽쳐 타입 및 움직임 백터의 정보를 이용함과 함께, 상기 화상 데이터 또는 상기 중도 화상 데이터에 대한 과거의 부호화에서 사용된 양자화 스텝을 산출하는 백 서치 처리에 의해 구해진 양자화 인덱스를 이용하여, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지, 또는 완전히 부호화하고, 상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 실행하는 부호화의 픽쳐 타입이 I 픽쳐가 아니거나, 매크로 블록의 위상이 상기 화상 데이터에 대해서 실행하는 부호화의 매크로 블록의 위상과 일치하지 않거나, 또는 복호 시의 발생 부호량이 소정의 값 이하가 아닌 경우, 상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보를 이용하지 않고, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지, 또는 완전히 부호화하는 것을 특징으로 하는 화상 처리 장치.
  7. 제1항에 있어서,
    상기 화상 데이터는 프레임 간 부호화한 부호화 화상 데이터를 복호한 데이터이며,
    상기 부호화 수단은, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지 또는 완전히 프레임 내 부호화하는 것을 특징으로 하는 화상 처리 장치.
  8. 제1항에 있어서,
    상기 화상 데이터는, 프레임 내 부호화한 부호화 화상 데이터를 복호한 데이터이며,
    상기 부호화 수단은, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지 또는 완전히 프레임 간 부호화하는 것을 특징으로 하는 화상 처리 장치.
  9. 화상 데이터 또는 화상 데이터가 중도 단계까지 부호화된 중도 화상 데이터를, 중도 단계까지, 또는 완전히 부호화하는 처리를 실행하는 화상 처리 장치의 화상 처리 방법으로서,
    상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 과거에 행해진 부호화에 관한 정보를 상기 화상 데이터 또는 상기 중도 화상 데이터와 함께 취득하고,
    상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 실행하는 부호화의 픽쳐 타입이 I 픽쳐이고, 취득된 상기 부호화에 관한 정보에 포함되는 과거의 부호화에 있어서 매크로 블록의 위상이, 상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 실행하는 부호화의 매크로 블록의 위상과 일치하고 있는 경우, 취득된 상기 부호화에 관한 정보를 이용하여, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지, 또는 완전히 부호화하는 것을 특징으로 하는 화상 처리 방법.
  10. 화상 데이터 또는 화상 데이터가 중도 단계까지 부호화된 중도 화상 데이터에 대해서 과거에 행해진 부호화에 관한 정보의 공급을 받아, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지, 또는 완전히 부호화하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 기록 매체로서,
    상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 실행하는 부호화의 픽쳐 타입이 I 픽쳐이고, 상기 부호화에 관한 정보에 포함되는 과거의 부호화에 있어서 매크로 블록의 위상이, 상기 화상 데이터 또는 상기 중도 화상 데이터에 대해서 실행하는 부호화의 매크로 블록의 위상과 일치하고 있는 경우, 취득된 상기 부호화에 관한 정보를 이용하여, 상기 화상 데이터 또는 상기 중도 화상 데이터를, 중도 단계까지, 또는 완전히 부호화하는 스텝을 포함하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
KR20057024094A 2003-06-16 2004-06-09 화상 처리 장치, 화상 처리 방법, 및 기록 매체 KR100962761B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00170724 2003-06-16
JP2003170724A JP4120934B2 (ja) 2003-06-16 2003-06-16 画像処理装置および画像処理方法、記録媒体、並びに、プログラム

Publications (2)

Publication Number Publication Date
KR20060015758A KR20060015758A (ko) 2006-02-20
KR100962761B1 true KR100962761B1 (ko) 2010-06-09

Family

ID=33549434

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057024094A KR100962761B1 (ko) 2003-06-16 2004-06-09 화상 처리 장치, 화상 처리 방법, 및 기록 매체

Country Status (6)

Country Link
US (2) US7826669B2 (ko)
EP (1) EP1638335B1 (ko)
JP (1) JP4120934B2 (ko)
KR (1) KR100962761B1 (ko)
CN (1) CN100531377C (ko)
WO (1) WO2004112397A1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101710619B1 (ko) * 2009-02-04 2017-02-28 삼성전자주식회사 단계적인 영상 부호화, 복호화 방법 및 장치
JP5708490B2 (ja) * 2009-09-03 2015-04-30 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP2012054818A (ja) * 2010-09-02 2012-03-15 Sony Corp 画像処理装置と画像処理方法
KR101805427B1 (ko) * 2011-04-19 2017-12-08 삼성전자주식회사 예약녹화된 방송을 출력하는 장치 및 그 제어 방법
JP2013121032A (ja) * 2011-12-07 2013-06-17 Sony Corp 画像処理装置および方法
JP5900163B2 (ja) * 2012-05-30 2016-04-06 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9667982B2 (en) * 2013-10-02 2017-05-30 Netapp, Inc. Techniques for transform based transcoding
WO2015096038A1 (zh) * 2013-12-24 2015-07-02 华为终端有限公司 一种媒体数据传输方法和设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299857A (ja) 1999-02-09 2000-10-24 Sony Corp 符号化ストリーム記録装置および方法、符号化ストリーム再生装置および方法、トランスコーディングシステム、変換装置および方法、ビデオ符号化装置および方法、ストリーム処理装置および方法、ストリーム処理システム、ビデオ復号装置および方法、並びに記録媒体
JP2001186517A (ja) 1999-12-24 2001-07-06 Nec Corp 圧縮動画像再符号化装置および圧縮動画像再符号化方法

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04120934A (ja) 1990-09-12 1992-04-21 Nec Corp パケット交換機における回線収容方式
JPH06292019A (ja) * 1993-04-02 1994-10-18 Fujitsu Ltd 画像データ圧縮装置と画像符号圧縮装置
JPH06348504A (ja) 1993-06-04 1994-12-22 Sharp Corp マイクロプロセッサシステム
NL9301358A (nl) * 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
US5754235A (en) * 1994-03-25 1998-05-19 Sanyo Electric Co., Ltd. Bit-rate conversion circuit for a compressed motion video bitstream
JP3244399B2 (ja) * 1994-03-25 2002-01-07 三洋電機株式会社 圧縮動画像符号信号の情報量変換回路、及び方法
JP3265818B2 (ja) * 1994-04-14 2002-03-18 松下電器産業株式会社 動画符号化方法
JP3893480B2 (ja) 1994-09-28 2007-03-14 株式会社リコー デジタル電子カメラ
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
US5774593A (en) * 1995-07-24 1998-06-30 University Of Washington Automatic scene decomposition and optimization of MPEG compressed video
JPH0974566A (ja) * 1995-09-04 1997-03-18 Sony Corp 圧縮符号化装置及び圧縮符号化データの記録装置
US5633678A (en) 1995-12-20 1997-05-27 Eastman Kodak Company Electronic still camera for capturing and categorizing images
JPH09297827A (ja) 1996-04-30 1997-11-18 Matsushita Electric Ind Co Ltd デジタルカメラ
US6856650B1 (en) * 1996-07-16 2005-02-15 Kokusai Denshin Denwa Co., Ltd. Method and apparatus for second or later generation coding of video signal
US5819108A (en) 1996-10-17 1998-10-06 Acer Peripherals, Inc. Programming of software into programmable memory within a peripheral device
US7305040B1 (en) 1998-01-19 2007-12-04 Sony Corporation Edit system, edit control device, and edit control method
JPH11313331A (ja) 1998-02-27 1999-11-09 Sony Corp 画像信号処理システム、デコ―ダ、画像信号処理方法及び復号方法
US6574274B2 (en) * 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
JPH11306116A (ja) 1998-04-20 1999-11-05 Nippon Telegr & Teleph Corp <Ntt> １サイト複数表示システム
JP2000013237A (ja) 1998-06-23 2000-01-14 Victor Co Of Japan Ltd 携帯型データ再生装置及び半導体メモリ
US6208770B1 (en) 1998-09-18 2001-03-27 Eastman Kodak Company Digital colored corrected prints produced from colored film
US6445828B1 (en) * 1998-09-28 2002-09-03 Thomson Licensing S.A. Transform domain resizing of an image compressed with field encoded blocks
CN1241416C (zh) 1999-02-09 2006-02-08 索尼公司 编码系统和方法、编码及解码、记录及再现的设备和方法
JP2000305761A (ja) 1999-02-17 2000-11-02 Sony Corp 情報処理装置および方法、並びにプログラム格納媒体
JP4402203B2 (ja) 1999-06-30 2010-01-20 キヤノン株式会社 データ処理装置
US6704824B1 (en) 1999-07-27 2004-03-09 Inline Connection Corporation Universal serial bus adapter with automatic installation
JP2001045178A (ja) 1999-08-03 2001-02-16 Fuji Photo Film Co Ltd 画像送信方法、画像送信システム、並びに電子カメラ及び画像送信装置
JP2001117783A (ja) 1999-08-10 2001-04-27 Seiko Epson Corp プログラム起動システム及びプログラム起動制御方法
US7003038B2 (en) * 1999-09-27 2006-02-21 Mitsubishi Electric Research Labs., Inc. Activity descriptor for video sequences
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
JP2001166927A (ja) 1999-12-10 2001-06-22 Hitachi Ltd 情報処理装置
WO2001058141A1 (en) 2000-02-04 2001-08-09 Ideo Product Development Inc. System and method for synchronization of image data between a handheld device and a computer
JP4380032B2 (ja) 2000-07-19 2009-12-09 ソニー株式会社 情報処理システム及び情報処理方法、並びに記憶媒体
US6831754B1 (en) 2000-08-25 2004-12-14 Hewlett-Packard Development Company, L.P System for sending and printing images
US20020091659A1 (en) 2000-09-12 2002-07-11 Beaulieu Christopher F. Portable viewing of medical images using handheld computers
JP2002091767A (ja) 2000-09-13 2002-03-29 Toshiba Corp コンテンツ蓄積装置および携帯型電子機器
GB2372657B (en) 2001-02-21 2005-09-21 Sony Uk Ltd Signal processing
US6944700B2 (en) 2001-06-15 2005-09-13 Logitech Europe S.A. Method and system for transferring data between a digital camera and a host
JP2003008695A (ja) 2001-06-25 2003-01-10 Pioneer Electronic Corp 携帯情報端末機
US7068308B2 (en) 2001-07-13 2006-06-27 Logitech Europe, S.A. Removable media host executables
JP2003125324A (ja) 2001-10-12 2003-04-25 Fuji Photo Film Co Ltd 画像蓄積装置
US20030076365A1 (en) 2001-10-18 2003-04-24 Robert Sesek Preview and postview thumbnails
US7299304B2 (en) 2001-11-20 2007-11-20 Intel Corporation Method and architecture to support interaction between a host computer and remote devices
US7535492B2 (en) 2002-07-02 2009-05-19 Lightsurf Technologies, Inc. Imaging system providing automated fulfillment of image photofinishing based on location
WO2004090742A1 (en) 2003-04-03 2004-10-21 Commvault Systems, Inc. System and method for dynamically sharing storage volumes in a computer network
US20050015540A1 (en) 2003-07-18 2005-01-20 Hung-Chou Tsai Auto-executable portable data storage device and the method of auto-execution thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000299857A (ja) 1999-02-09 2000-10-24 Sony Corp 符号化ストリーム記録装置および方法、符号化ストリーム再生装置および方法、トランスコーディングシステム、変換装置および方法、ビデオ符号化装置および方法、ストリーム処理装置および方法、ストリーム処理システム、ビデオ復号装置および方法、並びに記録媒体
JP2001186517A (ja) 1999-12-24 2001-07-06 Nec Corp 圧縮動画像再符号化装置および圧縮動画像再符号化方法

Also Published As

Publication number Publication date
US20060133674A1 (en) 2006-06-22
EP1638335A1 (en) 2006-03-22
WO2004112397A1 (ja) 2004-12-23
CN1810032A (zh) 2006-07-26
EP1638335B1 (en) 2011-08-03
KR20060015758A (ko) 2006-02-20
US7826669B2 (en) 2010-11-02
US8155458B2 (en) 2012-04-10
JP4120934B2 (ja) 2008-07-16
US20110058751A1 (en) 2011-03-10
CN100531377C (zh) 2009-08-19
EP1638335A4 (en) 2009-06-24
JP2005012249A (ja) 2005-01-13

Similar Documents

Publication Publication Date Title
US7859956B2 (en) Image processing device and image processing method, information processing device and information processing method, information recording device and information recording method, information reproducing device and information reproducing method, storage medium, and program
US9025664B2 (en) Moving image encoding apparatus, moving image encoding method, and moving image encoding computer program
US8311095B2 (en) Method and apparatus for transcoding between hybrid video codec bitstreams
EP1445958A1 (en) Quantization method and system, for instance for video MPEG applications, and computer program product therefor
EP1587327A2 (en) Video transcoding
EP1032214A2 (en) Method and apparatus for transcoding moving picture data
US8155458B2 (en) Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program
KR101194967B1 (ko) 정보 처리 장치 및 정보 처리 방법, 및 기록 매체
JP4224778B2 (ja) ストリーム変換装置および方法、符号化装置および方法、記録媒体、並びに、プログラム
JP4826533B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JPH08251582A (ja) 符号化データ編集装置
JP2000197010A (ja) 画像デ―タ編集装置
US6940902B2 (en) Code quantity assignment device and method
Liu et al. Interface mb-based video content editing transcoding
JP4539028B2 (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP2002218470A (ja) 画像符号化データのレート変換方法、及び画像符号化レート変換装置
JP2001148855A (ja) 画像情報変換装置及び画像情報変換方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee