KR100968988B1 - 화상 처리 장치 및 화상 처리 방법, 및 기록 매체 - Google Patents

화상 처리 장치 및 화상 처리 방법, 및 기록 매체 Download PDF

Info

Publication number
KR100968988B1
KR100968988B1 KR20057021532A KR20057021532A KR100968988B1 KR 100968988 B1 KR100968988 B1 KR 100968988B1 KR 20057021532 A KR20057021532 A KR 20057021532A KR 20057021532 A KR20057021532 A KR 20057021532A KR 100968988 B1 KR100968988 B1 KR 100968988B1
Authority
KR
South Korea
Prior art keywords
encoding
information
image data
picture
data
Prior art date
Application number
KR20057021532A
Other languages
English (en)
Other versions
KR20060004693A (ko
Inventor
쇼지로 시바따
고로 가또
히로미찌 우에노
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20060004693A publication Critical patent/KR20060004693A/ko
Application granted granted Critical
Publication of KR100968988B1 publication Critical patent/KR100968988B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은, 부호화에 관한 정보를, 부호화 처리에 관한 조건과 비교하여, 재이용 가능한 정보를 선택할 수 있도록 한다. 이전의 부호화 시와 재부호화 시에서 딜레이 모드, 픽쳐 구성, 풀다운 모드가 일치하지 않은 경우, 파라미터가 재이용되지 않고, 이들이 일치하여, 화상 틀이 일치하지 않으면, 픽쳐 타입이 재이용된다. 이전의 부호화의 비트 레이트가 금회의 부호화보다도 작고, 크로마 포맷이 금회보다 큰 경우, 픽쳐 타입과 움직임 벡터가 재이용되고, 이것들의 조건이 만족되어 있지 않으면, 파라미터의 공급을 받아, 크로마 포맷이 일치하고 있는지의 여부가 판단되며, 일치하지 않는 경우, 픽쳐 타입, 움직임 벡터, 양자화값의 정보가 재이용되고, 일치하고 있는 경우, 복호부에 입력된 스트림 데이터가 출력된다. 본 발명은, 부호화부, 부호화 장치, 또는 트랜스코더에 적용할 수 있다.
베이스밴드, 화상 데이터, 화상 틀, 움직임 벡터, 크로마 포맷

Description

화상 처리 장치 및 화상 처리 방법, 및 기록 매체{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND RECORDING MEDIUM}
본 발명은, 화상 처리 장치 및 화상 처리 방법, 정보 처리 장치 및 정보 처리 방법, 정보 기록 장치 및 정보 기록 방법, 정보 재생 장치 및 정보 재생 방법, 기록 매체, 및 프로그램에 관한 것으로, 특히 대응하는 데이터에 대하여 과거에 실시된 부호화에 관한 정보를 이용하여 재부호화하는 것이 가능하도록 이루어져 있는 경우에 이용하기에 적합한, 화상 처리 장치 및 화상 처리 방법, 정보 처리 장치 및 정보 처리 방법, 정보 기록 장치 및 정보 기록 방법, 정보 재생 장치 및 정보 재생 방법, 기록 매체, 및 프로그램에 관한 것이다.
예를 들면, 텔레비전 회의 시스템, 텔레비전 전화 시스템 등과 같이, 동화상 신호를 원격지로 전송하는 시스템에서는, 전송로를 효율적으로 이용하기 위해서, 영상 신호의 라인 상관이나 프레임간 상관이 이용되어, 화상 신호가 압축 부호화된 다.
화상 신호가 압축 부호화되는 경우, 생성되는 비트 스트림이, 소정의 비트 레이트로 되도록 부호화가 행해진다. 그러나, 실제 운용 상에서, 전송로의 형편에 따라, 비트 스트림의 비트 레이트를 변환할 필요가 발생하는 경우가 있다.
또한, 예를 들면 전송된 화상 신호가, 방송국에서 편집되는 경우, 편집은 초 단위로 행해지기 때문에, 프레임의 화상 정보는, 다른 프레임의 화상 정보로부터 독립되어 있는 쪽이 바람직하다. 따라서, 낮은 비트 레이트(예를 들면, 3 내지 9 Mbps)로 전송하여도 화질이 열화하지 않도록, 정보가 상관 관계에 있는 프레임의 집합인 GOP(Group of Picture)를 구성하는 프레임 수가 많은 Long GOP와, 고비트 레이트(18 내지 50 Mbps)로 전송되는, GOP를 구성하는 프레임 수가 적은 Short GOP를, 서로 변환할 필요가 있었다.
예를 들면, 전송로를 통하여 송수신되는 Long GOP의 스트림 데이터를, Short GOP인, 모든 인트라 프레임(All Intra)의 스트림 데이터로 다시 부호화하고, 프레임 편집하는 것이 가능한 시스템에 대하여, 도 1을 이용하여 설명한다.
전송로(1)에는, 전송에 적합한 Long GOP의 스트림 데이터가 전송된다.
트랜스코더(2)는, 전송로(1)를 통하여 공급된, MPEG의 Long GOP의 스트림 데이터를, 복호부(21)에 의해 일단 복호한 후, 부호화부(22)에서, 모든 인트라 프레임(All Intra)으로 되도록 부호화하고, 부호화된 All Intra의 스트림 데이터(SDTI CP(Serial Data Transport Interface-Contents Package) 스트림)를, SDTI CP 인터페이스의 프레임 편집 장치(3)에 출력한다.
프레임 편집 장치(3)에 의해 프레임 편집된 스트림 데이터는, 트랜스코더(4)에 공급된다. 트랜스코더(4)는, 공급된 All Intra의 스트림 데이터를, 복호부(31)에 의해 일단 복호한 후, 부호화부(32)에서, MPEG의 Long GOP로 되도록 부호화하고, 부호화된 MPEG의 Long GOP의 스트림 데이터를, 전송로(1)를 통하여, 소정의 데이터 전송처에 출력한다.
또한, 입력 화상을 고비트 레이트로 MPEG의 Long GOP로 부호화하고, 그것을 복호하여 저비트 레이트의 MPEG의 Long GOP로 재부호화하는 것이 가능한 시스템에 대하여, 도 2를 이용하여 설명한다.
트랜스코더(51)는, 공급된, 압축되어 있지 않은 입력 화상을, 복호부(61)에 의해 일단 복호한 후, 부호화부(62)에서, 고비트 레이트의 MPEG의 Long GOP로 되도록 부호화하고, 부호화된 MPEG의 Long GOP의 스트림 데이터를 출력한다. 트랜스코더(52)는, 공급된 고비트 레이트의 MPEG의 Long GOP를, 복호부(71)에 의해 일단 복호한 후, 부호화부(72)에서, 저비트 레이트의 MPEG의 Long GOP로 되도록 부호화하고, 부호화된 저비트 레이트의 MPEG의 Long GOP의 스트림 데이터를, 전송로(1)를 통하여, 소정의 데이터 전송처에 출력한다.
이와 같이, 화상 정보에 대한 부호화 및 복호가 반복된 경우, 부호화할 때마다 사용되는 부호화 파라미터가 변화하면, 화상 정보가 열화한다. 이 화상 정보의 열화를 방지하기 위해서, 비트 스트림의 픽쳐층의 유저 데이터 에리어에 삽입된 부호화 이력 정보를 이용함으로써, 재부호화에 수반하는 화상의 열화를 억제할 수 있는 기술이, 일본 특개 2000-059788호 공보에 개시되어 있다.
예를 들면, MPEG의 Long GOP를, 프레임 편집을 하는 것이 가능한 Short GOP로 변환하는 것이 가능한 시스템에서, 부호화 이력 정보를 이용하는 경우에 대해, 도 3을 이용하여 설명한다. 또한, 도 1에서의 경우와 대응하는 부분에는 동일한 부호를 붙여 두고, 그 설명은 적절하게 생략한다.
즉, 트랜스코더(101)는, 전송로(1)를 통하여, MPEG의 Long GOP의 공급을 받는다.
MPEG의 Long GOP는 각각 부호화의 소성이 상이한 3 종류의 픽쳐 타입의 픽쳐(I 픽쳐, P 픽쳐, 및 B 픽쳐)에 의해 구성되기 때문에, 그것을 복호한 비디오 데이터에도, 프레임에 의해서 각각 I 픽쳐, P 픽쳐, B 픽쳐의 소성을 갖는 것이 존재한다. 따라서 이 비디오 데이터를 MPEG의 Long GOP로 재부호화하는 경우, I 픽쳐, P 픽쳐, 또는 B 픽쳐의 소성을 갖는 비디오 데이터에 대하여, 각각 다른 픽쳐 타입으로 부호화하면, 화상 열화가 발생하는 경우가 있다. 예를 들면, 복호 전에, I 픽쳐 및 P 픽쳐보다 왜곡이 많아지기 쉬운 B 픽쳐이었던 비디오 데이터를 I 픽쳐로서 부호화하면, 그 주변의 픽쳐가, 왜곡이 많은 I 픽쳐를 참조 화상으로 하여 예측 부호화되기 때문에, 화질이 열화한다.
이러한 재부호화에 의한 화질 열화를 야기하지 않기 때문에, 트랜스코더(101)는, 예를 들면 전송로(1)를 통하여, 다른 트랜스코더에 의해서 과거에 부호화된 스트림 데이터의 공급을 받은 경우, 공급된 MPEG의 Long GOP의 스트림 데이터를, 복호부(111)에 의해 일단 복호한 후, 부호화부(112)에서, 모든 인트라 프레임으로 되도록 부호화할 때, 과거에 실행된 부호화, 즉 복호부(111)에 공급된 부호화 스트림의 부호화의 픽쳐 타입이나 양자화값 등의 파라미터를, All Intra의 부호화 스트림 상에, SMPTE(Society of Motion Picture and Television Engineers) 328M의 히스토리 정보(History data)로서 부가하여, 프레임 편집 장치(3)에 공급한다.
프레임 편집 장치(3)에 의해 프레임 편집된 스트림 데이터는, 다시 트랜스코더(102)에 공급된다. 트랜스코더(102)는, 공급된, 히스토리 정보가 부착된 All Intra의 스트림 데이터를, 복호부(121)에 의해 복호한다. 부호화부(122)는, 복호된 히스토리 정보에 포함되어 있는, 픽쳐 타입이나 양자화값 등의 필요한 파라미터를 사용하여, Long GOP로 재부호화하여 출력한다.
또한, 도 2를 이용하여 설명한 바와 같이, 비압축의 데이터를 고비트 레이트로 MPEG의 Long GOP로 부호화하고, 그것을 복호하여 저비트 레이트의 MPEG의 Long GOP로 재부호화하는 것이 가능한 시스템에서, 재부호를 위한 화상 열화가 발생하지 않도록 이루어져 있는 경우에 대해, 도 4를 이용하여 설명한다. 또한, 도 2에서의 경우와 대응하는 부분에는 동일한 부호를 붙여 두고, 그 설명은 적절하게 생략한다.
즉, 트랜스코더(51)에 의해 부호화된 MPEG의 Long GOP의 스트림의 공급을 받은 트랜스코더(131)는, 고비트 레이트의 MPEG의 Long GOP를, 복호부(141)에 의해 복호할 때에, 필요한 부호화 파라미터를 취득하여, 복호된 비디오 데이터와 취득된 부호화 파라미터를, 부호화부(142)에 공급한다. 부호화부(142)는, 공급된 부호화 파라미터를 이용하여, 비디오 데이터를, 저비트 레이트의 MPEG의 Long GOP로 되도록 부호화하고, 부호화된 저비트 레이트의 MPEG의 Long GOP의 스트림 데이터를 출 력한다.
전술한 바와 같이, 히스토리 정보, 또는 부호화 파라미터를 이용하여, 과거의 부호화의 정보(과거에 행해진 부호화의 픽쳐 타입, 움직임 벡터, 양자화값 등의, 픽쳐층, 매크로 블록층의 파라미터)를 재이용하여 부호화함으로써, 화질 열화를 방지하는 것이 가능하다. 그러나, 예를 들면 편집 등에 따라서, 전의 부호화 처리 시에는, 비트 레이트, 화상 틀, 크로마 포맷 등이 다른 스트림이, 치환되거나, 삽입되는 경우가 있다. 이러한 경우, 파라미터를 픽쳐층으로부터 매크로 블록층까지의 모든 부호화의 정보를 재이용하여 재부호화할 수는 없다.
<발명의 개시>
본 발명은 이러한 상황을 감안하여 이루어진 것으로, 부호화하는 화상 데이터의 상태에 따라서, 재이용할 수 있는 정보를 선택할 수 있도록 하는 것이다.
본 발명의 화상 처리 장치는, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과, 취득 수단에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하여, 부호화 처리를 제어하는 제어 수단을 포함하는 것을 특징으로 한다.
제어 수단에는, 부호화에 관한 정보에 기재된 과거의 부호화에서의 딜레이 모드, 픽쳐 구성, 및 풀 다운 모드가, 부호화 처리에 관한 조건과 일치하고 있었던 경우, 부호화에 관한 정보에 기재된 픽쳐 타입의 정보를 이용하여, 부호화 처리를 제어시키도록 할 수 있다.
제어 수단에는, 부호화에 관한 정보에 기재된 과거의 부호화에서의 화상 틀과, 부호화 처리에서의 화상 틀과의 위치 및 크기가 일치하고 있는 경우, 부호화에 관한 정보에 기재된 움직임 벡터의 정보를 더 이용하여, 부호화 처리를 제어시키도록 할 수 있다.
제어 수단에는, 부호화에 관한 정보에 기재된 과거의 부호화에서의 비트 레이트가, 부호화 처리에서의 비트 레이트보다도 작고, 또한 부호화에 관한 정보에 기재된 과거의 부호화에서의 크로마 포맷이, 부호화 처리에서의 크로마 포맷과 비교하여, 동일하거나, 또는 큰 경우, 부호화에 관한 정보에 기재된 양자화값의 정보를 더 이용하여, 부호화 처리를 제어시키도록 할 수 있다.
화상 데이터를 복호한 다른 화상 처리 장치에 공급된 제1 부호화 데이터, 및 제어 수단에 의해 제어된 부호화 처리에 의해 생성된 제2 부호화 데이터의 공급을 받아, 제1 부호화 데이터 또는 제2 부호화 데이터를 출력하는 출력 수단을 더 구비하게 하도록 할 수 있고, 제어 수단에는, 부호화에 관한 정보에 기재된 과거의 부호화에서의 딜레이 모드, 픽쳐 구성, 풀다운 모드, 화상 틀의 위치 및 크기, 및 크로마 포맷이, 부호화 처리에 관한 조건과 일치하여, 부호화에 관한 정보에 기재된 과거의 부호화에서의 비트 레이트가, 부호화 처리에서의 비트 레이트보다도 작은 경우, 출력 수단을 더욱 제어하여, 제1 부호화 데이터를 출력시키도록 할 수 있다.
본 발명의 화상 처리 방법은, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하고, 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하고, 선택된 부호화에 관한 정보에 기초하여, 부호화 처리를 제어하는 것을 특징으로 한다.
본 발명의 제1 기록 매체에 기록되어 있는 프로그램은, 컴퓨터에, 공급된 부호화에 관한 정보와, 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 비교하는 비교 스텝과, 비교 스텝의 처리에 의한 비교 결과에 기초하여, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하는 선택 스텝을 포함하는 처리를 실행시키는 것을 특징으로 한다.
본 발명의 제1 프로그램은, 컴퓨터에, 공급된 부호화에 관한 정보와, 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 비교하는 비교 스텝과, 비교 스텝의 처리에 의한 비교 결과에 기초하여, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하는 선택 스텝을 포함하는 처리를 실행시키는 것을 특징으로 한다.
과거의 부호화에 관한 정보의 공급을 받아, 과거의 부호화에 관한 정보와, 화상 데이터에 대하여 실행되는 부호화에 관한 조건이 비교되고, 비교 결과에 기초하여, 부호화에 관한 정보 중, 부호화에 이용 가능한 정보가 선택된다.
본 발명의 정보 처리 장치는, 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 수단과, 복호 수단에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 수단에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 수단을 구비하고, 부호화 수단은, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과, 취득 수단에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하고, 부호화 처리를 제어하는 제어 수단을 포함하는 것을 특징으로 한다.
본 발명의 정보 처리 방법은, 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 스텝과, 복호 스텝의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 스텝의 처리에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 스텝을 포함하고, 부호화 스텝의 처리에서는, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하여, 부호화 처리를 제어하는 제어 스텝을 포함하는 것을 특징으로 한다.
본 발명의 제2 기록 매체에 기록되어 있는 프로그램은, 컴퓨터에, 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 스텝과, 복호 스텝의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 스텝의 처리에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 스텝을 포함하고, 부호화 스텝의 처리에서는, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하고, 부호화 처리를 제어하는 제어 스텝을 포함하는 처리를 실행시키는 것을 특징으로 한다.
본 발명의 제2 프로그램은, 컴퓨터에, 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 스텝과, 복호 스텝의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 스텝의 처리에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 스텝을 포함하고, 부호화 스텝의 처리에서는, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하고, 부호화 처리를 제어하는 제어 스텝을 포함하는 처리를 실행시키는 것을 특징으로 한다.
공급된 화상 데이터가, 완전하게, 또는 불완전하게 복호되어, 베이스밴드의 화상 데이터, 또는 중도 단계까지 부호화된 화상 데이터가, 중도 단계까지, 또는 완전하게 부호화되어, 부호화에서, 과거의 부호화에 관한 정보의 공급을 받아, 과거의 부호화에 관한 정보와 화상 데이터에 대하여 실행되는 부호화에 관한 조건이 비교되고, 비교 결과에 기초하여, 부호화에 관한 정보 중, 부호화에 이용 가능한 정보가 선택된다.
본 발명의 정보 기록 장치는, 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 수단과, 복호 수단에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 수단에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 수단과, 부호화 수단에 의해 부호화된 화상 데이터의 기록을 제어하는 기록 제어 수단을 구비하고, 부호화 수단은, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과, 취득 수단에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하여, 부호화 처리를 제어하는 제어 수단을 포함하는 것을 특징으로 한다.
기록 제어 수단에는, 부호화 수단에 의해 부호화된 화상 데이터와, 화상 데이터에 대하여 행해진 부호화에 관한 정보와의, 다른 위치에의 기록을 제어시키도록 할 수 있다.
본 발명의 정보 기록 방법은, 공급된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 스텝과, 복호 스텝의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 스텝의 처리에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 스텝과, 부호화 스텝의 처리에 의해 부호화된 화상 데이터의 기록을 제어하는 기록 제어 스텝을 포함하고, 부호화 스텝의 처리에서는, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하여, 부호화 처리를 제어하는 제어 스텝을 포함하는 것을 특징으로 한다.
공급된 화상 데이터가, 완전하게, 또는 불완전하게 복호되어, 베이스밴드의 화상 데이터, 또는 중도 단계까지 부호화된 화상 데이터가, 중도 단계까지, 또는 완전하게 부호화되고, 부호화된 화상 데이터의 기록이 제어되고, 부호화에서, 과거의 부호화에 관한 정보의 공급을 받아, 과거의 부호화에 관한 정보와 화상 데이터에 대하여 실행되는 부호화에 관한 조건이 비교되고, 비교 결과에 기초하여, 부호화에 관한 정보 중, 부호화에 이용 가능한 정보가 선택된다.
본 발명의 정보 재생 장치는, 소정의 기록 매체에 기록된 화상 데이터를 재생하는 재생 수단과, 재생 수단에 의해 재생된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 수단과, 복호 수단에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 수단에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 수단을 구비하고, 부호화 수단은, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과, 취득 수단에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하여, 부호화 처리를 제어하는 제어 수단을 포함하는 것을 특징으로 한다.
본 발명의 정보 재생 방법은, 소정의 기록 매체에 기록된 화상 데이터를 재생하는 재생 스텝과, 재생 스텝의 처리에 의해 재생된 화상 데이터를 완전하게, 또는 불완전하게 복호하는 복호 스텝과, 복호 스텝의 처리에 의해 완전하게 복호된 베이스밴드의 화상 데이터, 또는 복호 스텝에 의해 불완전하게 복호되어 생성된, 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화 처리하는 부호화 스텝을 포함하고, 부호화 스텝의 처리에서는, 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 스텝과, 취득 스텝의 처리에 의해 취득된 부호화에 관한 정보와 화상 처리 장치가 화상 데이터에 대하여 실행하는 부호화 처리에 관한 조건을 기초로, 부호화에 관한 정보 중, 부호화 처리에서 이용 가능한 정보를 선택하여, 부호화 처리를 제어하는 제어 스텝을 포함하는 것을 특징으로 한다.
소정의 기록 매체에 기록된 화상 데이터가 재생되어, 공급된 화상 데이터가, 완전하게, 또는 불완전하게 복호되어, 베이스밴드의 화상 데이터, 또는 중도 단계까지 부호화된 화상 데이터가, 중도 단계까지, 또는 완전하게 부호화되어, 부호화에서, 과거의 부호화에 관한 정보의 공급을 받아, 과거의 부호화에 관한 정보와 화상 데이터에 대하여 실행되는 부호화에 관한 조건이 비교되고, 비교 결과에 기초하여, 부호화에 관한 정보 중, 부호화에 이용 가능한 정보가 선택된다.
도 1은 프레임 편집을 하는 경우의 재부호화가 행해지는 종래의 시스템을 설명하기 위한 도면.
도 2는 MPEG의 Long GOP의 비트 레이트를 변경하고 재부호화하는 것이 가능한 종래의 시스템에 대하여 설명하기 위한 도면.
도 3은 프레임 편집을 하는 경우의 재부호화가 행해지는 종래의 시스템에서, 부호화 이력 정보를 이용하는 경우에 대해, 설명하기 위한 도면.
도 4는 MPEG의 Long GOP의 비트 레이트를 변경하고 재부호화하는 것이 가능한 종래의 시스템에서 부호화 이력 정보를 이용하는 경우에 대해, 설명하기 위한 도면.
도 5는 본 발명을 적용한, 프레임 편집을 하는 경우의 재부호화가 행해지는 시스템의 구성을 도시하는 블록도.
도 6은 도 5의 부호화부의 구성을 도시하는 블록도.
도 7은 SMPTE 329M에 규정되어 있는, compressed_stream_format_of_MPEG_2_recoding_set()의 신택스에 대하여 설명하기 위한 도면.
도 8은 extension_and_user_data(2) 내의 user_data(2)에 기재되어 있는 정보에 대하여 설명하기 위한 도면.
도 9는 본 발명을 적용한, MPEG의 Long GOP의 비트 레이트를 변경하여 재부호화하는 것이 가능한 시스템의 구성을 도시하는 블록도.
도 10은 도 9의 부호화부의 구성을 도시하는 블록도.
도 11은 본 발명을 적용한 부호화부가 실행하는 처리에 대하여 설명하는 플로우차트.
도 12는 본 발명을 적용 가능한 다른 장치의 구성에 대하여 설명하기 위한 도면.
도 13은 본 발명을 적용 가능한 정보 기록 장치의 구성에 대하여 설명하기 위한 도면.
도 14는 본 발명을 적용 가능한 정보 재생 장치의 구성에 대하여 설명하기 위한 도면.
도 15는 본 발명을 적용 가능한 정보 기록 장치의 구성에 대하여 설명하기 위한 도면.
도 16은 본 발명을 적용 가능한 정보 재생 장치의 구성에 대하여 설명하기 위한 도면.
도 17은 퍼스널 컴퓨터의 구성을 도시하는 블록도.
<발명을 실시하기 위한 최량의 형태>
이하, 도면을 참조하여, 본 발명의 실시 형태에 대하여 설명한다.
본 발명을 적용한, MPEG의 Long GOP를, 프레임 편집을 하는 것이 가능한 Short GOP로 변환하는 것이 가능한 시스템에서, 부호화 이력 정보를 이용하는 경우에 대해, 도 5를 이용하여 설명한다.
또한, 도 3을 이용하여 설명한 종래인 경우와 대응하는 부분에는 동일한 부호를 붙여 두고, 그 설명은 적절하게 생략한다. 즉, 트랜스코더(102)에 대신하여, 트랜스코더(151)가 설치되어 있는 것 외에는, 도 3을 이용하여 설명한 종래의 경우와 기본적으로 마찬가지로 구성되어 있고, 트랜스코더(151)는, 부호화부(122)에 대 신하여, 공급되는 스트림의 조건에 대응하여, 재이용 가능한 이력 정보(히스토리 정보)를 선택하는 것이 가능한 부호화부(161)가 설치되고, 부호화부(161)에는, 복호부(121)로부터 출력되는 복호된 신호 외에, 복호부(121)에 입력되어 있는 스트림 데이터도 입력되어 있는 것 외에는, 트랜스코더(102)와 기본적으로 마찬가지로 구성되어 있다.
트랜스코더(101)는, 전송로(1)로부터, MPEG의 Long GOP의 공급을 받는다. MPEG의 Long GOP는, 3 종류의 픽쳐 타입의 픽쳐(I 픽쳐, P 픽쳐, 및 B 픽쳐)에 의해 구성된다. 트랜스코더(101)는, 공급된 MPEG의 Long GOP의 스트림 데이터를, 복호부(111)에 의해 일단 복호한 후, 부호화부(112)에서, 모든 인트라 프레임으로 되도록 부호화하는 경우, 그 후의 처리에서, 이들의 스트림 데이터가 Long GOP로 재부호화되는 데 있어서, I 픽쳐, P 픽쳐, 또는 B 픽쳐의 소성을 갖는 비디오 데이터에 대하여, 다른 픽쳐 타입으로 부호화되는 것을 방지하기 위해서, 과거에 실행된 부호화, 즉 전송로(1)를 통하여, 트랜스코더(101)에, MPEG의 Long GOP 스트림을 송신한 장치에 의한 부호화의 파라미터(과거에 행해진 부호화의 픽쳐 타입, 움직임 벡터, 양자화값 등의, 픽쳐층 및 매크로 블록층의 파라미터)를, All Intra의 스트림 상에, SMPTE 328M의 히스토리 정보(History data)로서 부가하여, 프레임 편집 장치(3)에 공급한다.
프레임 편집 장치(3)에 의해 프레임 편집된, 히스토리 정보를 부착한 스트림 데이터는, 트랜스코더(151)에 공급된다. 트랜스코더(151)는, 공급된, 히스토리 정보가 부착된 All Intra의 스트림 데이터를, 복호부(121)에 의해 복호한다. 부호화 부(161)는, 복호된 히스토리 정보에 포함되어 있는, 과거에 행해진 부호화의 픽쳐 타입, 움직임 벡터, 양자화값 등의, 픽쳐층 및 매크로 블록층의 파라미터를, 필요에 따라 사용하여, 복호부(121)에 의해 복호된 정보를, Long GOP로 재부호화하여 출력한다.
도 6은 부호화부(161)의 구성을 도시하는 블록도이다.
히스토리 추출부(171)는, 복호부(121)에 의해 복호된, 히스토리 정보가 부착된 All Intra 스트림으로부터, 히스토리 정보를 추출하여, 제어부(185)에 공급함과 함께, 영상 스트림을 영상 재배열부(172)에 공급한다. 히스토리 정보에는, 예를 들면 픽쳐 타입, 양자화값, 움직임 벡터, 또는 양자화 매트릭스 등, 과거에 실행된 부호화에 관한 정보가 포함되어 있다.
제어부(185)는, 히스토리 추출부(171)에 의해 추출된, 히스토리 정보에 포함되어 있는, 과거의 부호화의 파라미터에 기초하여, 화상 재배열부(172), 움직임 벡터 검출부(174), 또는 양자화값 결정부(177)를 필요에 따라 제어한다.
히스토리 추출부(171)에 의해 추출되는 히스토리 정보는, SMPTE 329M에 규정되어 있는, compressed_stream_format_of_MPEG_2_recoding_set()의 형식으로 기재되어 있다. 다음으로, 도 7을 이용하여, SMPTE 329M에 규정되어 있는, compressed_stream_format_of_MPEG_2_recoding_set()의 신택스에 대하여 설명한다.
SMPTE 329M의 compressed_stream_format_of_MPEG_2_recoding_set()는, next_start_code() 함수, sequence_header() 함수, sequence_extension() 함수, extension_and_user_data(0) 함수, group_of_picture_header() 함수, extension_and_user_data(1) 함수, picture_header() 함수, picture_coding_extension() 함수, extension_and_user_data(2) 함수, 및 picture_data() 함수에 의해서 정의된 데이터 엘리먼트에 의해서 구성된다.
next_start_code() 함수는, 비트 스트림 중에 존재하는 스타트 코드를 찾기 위한 함수이다. sequence_header() 함수에 의해서 정의되는 데이터 엘리먼트에는, 예를 들면 화상의 수평 방향의 화소 수의 하위 12 비트로 이루어지는 데이터인 horizontal_size_value, 화상의 세로 라인 수의 하위 12 비트로 이루어지는 데이터인 vertical_size_value, 발생 부호량 제어용의 가상 버퍼(VBV; 비디오 버퍼 베리파이어)의 크기를 정하는 값의 하위 10 비트 데이터인 VBV_buffer_size_value 등이 있다. sequence_extension() 함수에 의해서 정의되는 데이터 엘리먼트에는, 예를 들면 비디오 데이터가 순차 주사인 것을 나타내는 데이터인 progressive_sequence, 비디오 데이터의 색차 포맷을 지정하기 위한 데이터인 chroma_format, B 픽쳐를 포함하지 않는 것을 나타내는 데이터인 low_delay 등이 있다.
extension_and_user_data(i) 함수는, 「i」가 2 이외일 때는, extension_data() 함수에 의해서 정의되는 데이터 엘리먼트는 기술되지 않고서, user_data() 함수에 의해서 정의되는 데이터 엘리먼트만이 이력 스트림으로서 기술된다. 따라서, extension_and_user_data(0) 함수는, user_data() 함수에 의해서 정의되는 데이터 엘리먼트만이 이력 스트림으로서 기술된다. 그리고, 이력 스트림 중에, GOP층의 스타트 코드를 나타내는 group_start_code가 기술되어 있는 경우에만, group_of_picture_header() 함수에 의해서 정의된 데이터 엘리먼트, 및 extension_and_user_data(1) 함수에 의해서 정의되는 데이터 엘리먼트가 기술되어 있다.
picture_headr() 함수에 의해서 정의되는 데이터 엘리먼트에는, 예를 들면 픽쳐층의 개시 동기 코드를 나타내는 데이터인 picture_start_code, 픽쳐의 표시순을 나타내는 번호로, GOP의 선두에서 리세트되는 데이터인 temporal_reference 등이 있다. picture_coding_extension() 함수에 의해서 정의되는 데이터 엘리먼트에는, 예를 들면 프레임 스트럭처인지 필드 스트럭처인지를 나타내는 데이터이며, 필드 스트럭처인 경우는 상위 필드인지 하위 필드인지도 맞추어서 나타내는 데이터인 picture_structure, 프레임 스트럭처인 경우, 최초의 필드가 상위인지 하위인지를 나타내는 데이터인 top_field_first, 선형 양자화 스케일을 이용하는지, 비선형 양자화 스케일을 이용하는지를 나타내는 데이터인 q_scale_type, 2:3 풀다운 시에 사용되는 데이터인 repeat_firt_field 등이 있다.
re_coding_stream_info() 함수에 의해서 정의되는 데이터 엘리먼트는, SMPTE 327M에서 정의되어 있다. extensions_and_user_data(2)에 대해서는, 도 8을 이용하여 후술한다. picture_data() 함수에 의해 정의되는 데이터 엘리먼트는, slice() 함수에 의해서 정의되는 데이터 엘리먼트이다. slice() 함수에 의해서, macroblock()가 정의되고, macroblock()에는, motion_vectors 정보가 기재되어 있다.
도 7에서 설명한, compressed-stream_format_of_MPEG_2_recoding_set()의 extension_and_user_data(2) 내의 user_data(2)에 기재되는 정보에 대하여, 도 8을 이용하여 설명한다.
Stream_Information_header는, 32bit의 데이터이며, picture_layer의 user_data에서의 식별용 Header 번호가 기재되어 있고, user_data로서 이 정보를 식별할 수 있는 값이 기재되어 있는 16bit의 Stream_Information_Header, Strema_Information()의 byte 길이를 나타낸다, 8bit의 Length, 및 marker_bits로 구성되어 있다.
Encoder_Serial_Number는, 인코더(부호화부 또는 부호화 장치)에 고유하게 붙여지는 번호(시리얼 넘버)이며, 16bit의 정보이다. Encoder_ID는, 인코더의 기종을 나타내는 ID이며, 15bit의 정보이다.
계속해서 Encoding_State_Time_Code는, 이 스트림의 생성이 시작된 시각을 나타내는 정보이며, 각 byte 데이터의 msb를, marker_bit=1로 한, 8byte의 정보이다. 여기서는, 8byte 중의 6byte가 이용되어, 스트림의 생성이 시작된 년(Time_Year), 월(Time_Month), 일(Time_day), 시(Time_Hour), 분(Time_Minute), 및 초(Time_Second)가 기재되어 있다. 이들의 값은, 1 스트림 중에서 일정값으로 된다.
Generation_Counter(GenC)는, 부호화의 세대 수를 나타내는 카운터값이며, 4 bit의 정보이다. 부호화의 세대수는, SDI(Serial Digital Interface) 데이터로부터 ASI(Asynchronous Serial Interface) 데이터에 인코드할 때에 카운트가 시작되고(제1 세대로 되고), ASI 데이터로부터 ASI 데이터에의 재인코드 시, 또는 SDTI CP(Serial Data Transport Interface-Contents Package) 데이터로부터 ASI 데이터 의 재인코드 시에, 카운터값이 인크리먼트된다.
SDTI CP란, Pro-MPEG 포럼의 추진으로 SMPTE 326M으로서 표준화된, MPEG 데이터를 리얼타임으로 전송(동기 전송)하는 세계 표준 규격이며, 모든 인트라 프레임(All Intra)인 경우의 전송 방식이다. SDI란, Point to Point의 전송을 기본으로 생각한, 비압축의 디지털 비디오·오디오의 전송 방식이며, ANSI/SMPTE259M으로 규정되어 있다. ASI란, 부호화된 MPEG의 Long GOP의 스트림 데이터의 전송 방식이다.
Continuity_Counter란, 프레임마다 인크리먼트되는 카운터이며, 최대값을 지나면, 재차 0부터 카운트가 개시된다. 또한, 필요에 따라, 프레임수가 아니라, 필드수나 픽쳐수를 카운트하도록 하여도 된다.
그리고, 이 이하에 설명하는 정보는, 디코더(복호부 또는 복호 장치)로써 복호되었을 때에 생성되는 파라미터로부터 추출되어 삽입되는 정보이기 때문에, 삽입전의 상태에서는, 영역이 확보되어 있을 뿐이다.
picture_coding_type은, MPEG2 규격에 준거한, 픽쳐의 코딩 타입을 나타내는 3bit의 정보로, 예를 들면 이 픽쳐는, I 픽쳐인지, B 픽쳐인지, P 픽쳐인지 등이 표시된다. temporal_reference는, MPEG2 규격에 준거한, GOP의 중의 화상순을 나타내는 (픽쳐마다 카운트 업된다) 10bit의 정보이다.
reuse_level이란, 파라미터의 재이용을 규정하기 위한 7bit의 정보이다. error_flag는, 각종 에러를 통지하기 위한 플래그이다.
header_present_flag(A)는, sequence header present flag와, GOP header present flag와의 2bit의 플래그 정보이다.
extension_start_code_flags는, SMPTE에 규정되어 있지 않은 정보이며, 각종의 확장 ID가 포함되어 있는지의 여부를 나타내는 16bit의 플래그 정보이며, 0은 확장 ID가 포함되어 있지 않은 것을, 1은 확장 ID가 포함되어 있는 것을 나타낸다. 확장 ID에는, 예를 들면 sequence extension ID, sequence display extension ID, quant matrix extension ID, copyright extension ID, sequence scalable extension ID, picture display extension ID, picture coding extension ID, picture spatial scalable extension ID, picture temporal scalable extension ID 등이 있다.
other_start_codes(도면 중 other)는, 유저 데이터의 스타트 코드가 어떤 레이어에 포함되어 있는지, 또는 시퀀스 에러 코드 및 시퀀스 엔드 코드가 포함되어 있는지의 여부를 나타내는 5bit의 플래그 정보이다.
도 7 중, B로 기재되어 있는 것은, reduced_bandwidth_flag(B)의 1bit의 정보이며, C로 기재되어 있는 것은, reduced_bandwidth_indicator(C)의 2bit의 정보이다. num_of_picture_bytes는, 픽쳐의 발생량을 나타내는 22bit의 정보이며, 레이트 컨트롤 등에 이용된다.
bit_rate_extension은, 12bit의, 비트 레이트에 관한 확장 정보 영역이며, bit_rate_value는, 18bit의 정보이다. SMPTE에 규정되어 있는 포맷에 있어서, 비트 레이트의 정보는, 통계 다중됨으로써, 종종, 특정한 값(예를 들면, "ff")으로 기재되어 있기 때문에, 이 정보를 재부호화에 이용할 수는 없다. 이에 대하여, bit_rate_extension은, 재부호화에 이용하기 위해서, 전의 부호화에서의 실제의 비트 레이트의 값이 기재되는 영역이다.
제어부(185)는, 히스토리 추출부(171)로부터, 도 7 및 도 8을 이용하여 설명한 히스토리 정보의 공급을 받아, 히스토리 정보에 기재되어 있는 내용이, 소정의 조건에 합치하고 있는지의 여부에 기초하여, 화상 재배열부(174), 움직임 벡터 검출부(174), 양자화값 결정부(177), 스트림 스위치(186)의 일부, 혹은 모든 처리를 제어한다.
구체적으로는, 제어부(185)는 이전의 부호화에서의 딜레이 모드, 픽쳐 구성, 및 풀 다운 모드가, 금회의 부호화와 일치하고 있는지의 여부를 판단하고, 일치하지 않는다고 판단된 경우, 파라미터부의 재이용을 행하지 않고, 후술하는 통상의 부호화를 실행한다고 판단한다. 딜레이 모드는 SMPTE 329M의 sequence_extension() 함수의 low_delay에 기재되어 있는 정보이며, 픽쳐 구성 및 풀다운 모드는, SMPTE 329M의 picture_coding_extension() 함수의 picture_structure, top_field_first 및, repeat_first_field에, 각각 기재되어 있는 정보이다.
이전의 부호화에서의 딜레이 모드, 픽쳐 구성, 및 풀다운 모드가, 금회의 부호화와 일치하고 있다고 판단된 경우, 제어부(185)는, 다음에 부호화하는 화상 틀은, 히스토리 정보에 나타내고 있는 부호화 처리를 한 화상 틀과 일치하고 있는지의 여부를 판단하여, 화상 틀이 일치하지 않는다고 판단된 경우, 픽쳐 타입(도 8을 이용하여 설명한, extension_and_user_data(2) 내의 user_data(2)에 기재되어 있는 picture_coding_type)의 정보만을 재이용한다. 화상 틀이 일치하고 있는지의 여부는, SMPTE 329M의 sequence_header() 함수에 기재되어 있는 horizontal_size_value 및 vertical_size_value, 및 SMPTE 329M의 v_phase 및 h_phase를 비교함으로써 판단된다.
화상 재배열부(172)는, 전의 부호화의 픽쳐 타입이 재이용된다고 판단된 경우, 제어부(185)로부터 공급된 제어 신호에 기초하여, 히스토리 정보에 포함되어 있는 픽쳐 타입에 기초하여, 화상의 재배열을 실행한다.
화상 틀이 일치하고 있다고 판단된 경우, 제어부(185)는, 이전의 부호화에서의 비트 레이트가, 금회의 부호화의 비트 레이트보다도 작고, 또한 이전의 부호화에서의 크로마 포맷이, 금회의 크로마 포맷과 비교하여, 동일하거나, 또는 큰지의 여부를 판단하여, 어느 하나의 조건이 만족되어 있지 않다고 판단된 경우, 픽쳐 타입의 정보 외에 추가로, 움직임 벡터의 정보(picture_data() 함수의 slice() 함수에 기재되어 있는 motion_vectors 정보)를 재이용한다. 비트 레이트의 정보는, SMPTE 329M의 extension_and_user_data(2) 내의 user_data(2)의 bit_rate_value에 기재되어 있다. 크로마 포맷의 정보는, SMPTE 329M의 sequence_header() 함수의 chroma_format에 기재되어 있다.
움직임 벡터 검출부(174)는, 제어부(185)로부터 공급된 제어 신호에 기초하여, 과거의 부호화에서의 움직임 벡터 정보를, 움직임 벡터로서 재이용한다.
이전의 부호화에서의 비트 레이트가, 금회의 부호화의 비트 레이트보다도 작고, 또한 이전의 부호화에서의 크로마 포맷이, 금회의 크로마 포맷과 비교하여, 동 일하거나, 또는 크다고 판단된 경우, 제어부(185)는, 픽쳐 타입, 움직임 벡터 외에 추가로, 양자화값(q_scale)을 재이용한다.
양자화값 결정부(177)는, 제어부(185)로부터 공급된 제어 신호에 기초하여, 필요에 따라, 재이용된 양자화값을 양자화부(176)에 공급하여, 양자화를 실행시킨다.
도 6의 설명으로 되돌아간다.
영상 재배열부(172)는, 제어부(185)의 제어에 기초하여, 순차적으로 입력되는 화상 데이터의 각 프레임 화상을, 필요에 따라, 재배열하거나, 16 화소×16 라인의 휘도 신호, 및 휘도 신호에 대응하는 색차 신호에 의해서 구성되는 매크로 블록으로 분할한 매크로 블록 데이터를 생성하여, 연산부(173), 및 움직임 벡터 검출부(174)에 공급한다.
움직임 벡터 검출부(174)는, 매크로 블록 데이터의 입력을 받아, 제어부(185)의 제어에 기초하여, 각 매크로 블록의 움직임 벡터를, 매크로 블록 데이터, 및 프레임 메모리(183)에 기억되어 있는 참조 화상 데이터에 기초하여 산출하여, 움직임 벡터 데이터로서, 움직임 보상부(182)에 송출하거나, 제어부(185)로부터 공급된 과거의 부호화의 움직임 벡터를 재이용하여, 움직임 보상부(182)에 송출한다.
연산부(173)는, 영상 재배열부(172)로부터 공급된 매크로 블록 데이터에 대하여, 각 매크로 블록의 화상 타입에 기초를 둔 움직임 보상을 행한다. 구체적으로는, 연산부(173)는, I 픽쳐에 대해서는 인트라 모드로 움직임 보상을 행하고, P 픽쳐에 대해서는, 순방향 예측 모드로 움직임 보상을 행하며, B 픽쳐에 대해서는, 쌍방향 예측 모드로 움직임 보상을 행하도록 이루어져 있다.
여기서 인트라 모드란, 부호화 대상으로 되는 프레임 화상을 그대로 전송 데이터로 하는 방법이며, 순방향 예측 모드란, 부호화 대상으로 되는 프레임 화상과 과거 참조 화상과의 예측 잔차를 전송 데이터로 하는 방법이며, 쌍방향 예측 모드는, 부호화 대상으로 되는 프레임 화상과, 과거와 장래의 참조 화상과의 예측 잔차를 전송 데이터로 하는 방법이다.
우선, 매크로 블록 데이터가 I 픽쳐인 경우, 매크로 블록 데이터는 인트라 모드로 처리된다. 즉, 연산부(173)는, 입력된 매크로 블록 데이터의 매크로 블록을, 그대로 연산 데이터로서 DCT(Discrete Cosine Transform: 이산 코사인 변환)부(175)로 송출한다. DCT부(175)는, 입력된 연산 데이터에 대하여 DCT 변환 처리를 함으로써 DCT 계수화하고, 이것을 DCT 계수 데이터로서, 양자화부(176)에 송출한다.
양자화부(176)는, 양자화값 결정부(177)로부터 공급되는 양자화값 Q에 기초하여, 입력된 DCT 계수 데이터에 대하여 양자화 처리를 하여, 양자화 DCT 계수 데이터로서 VLC(Variable Length Code; 가변 길이 부호화)부(178) 및 역 양자화부(179)에 송출한다. 여기서, 양자화부(176)는, 양자화값 결정부(177)로부터 공급되는 양자화값 Q에 따라서, 양자화 처리에서의 양자화 스텝 사이즈를 조정함으로써, 발생하는 부호량을 제어하도록 이루어져 있다.
역 양자화부(179)에 송출된 양자화 DCT 계수 데이터는, 양자화부(176)와 동일한 양자화 스텝 사이즈에 의한 역 양자화 처리를 받아, DCT 계수 데이터로서, 역 DCT부(180)에 송출된다. 역 DCT부(180)는, 공급된 DCT 계수 데이터에 역 DCT 처리를 실시하고, 생성된 연산 데이터는, 연산부(181)에 송출되어, 참조 화상 데이터로서 프레임 메모리(183)에 기억된다.
그리고, 연산부(173)는, 매크로 블록 데이터가 P 픽쳐인 경우, 매크로 블록 데이터에 대하여, 순방향 예측 모드에 의한 움직임 보상 처리를 하고, B 픽쳐인 경우, 매크로 블록 데이터에 대하여, 쌍방향 예측 모드에 의한 움직임 보상 처리를 한다.
움직임 보상부(182)는, 프레임 메모리(183)에 기억되어 있는 참조 화상 데이터를, 움직임 벡터 데이터에 따라서 움직임 보상하여, 순방향 예측 화상 데이터, 또는 쌍방향 예측 화상 데이터를 산출한다. 연산부(173)는, 매크로 블록 데이터에 대하여, 움직임 보상부(182)로부터 공급되는 순방향 예측 화상 데이터, 또는 쌍방향 예측 화상 데이터를 이용하여 감산 처리를 실행한다.
즉, 순방향 예측 모드에서, 움직임 보상부(182)는, 프레임 메모리(183)의 판독 어드레스를, 움직임 벡터 데이터에 따라서 변이되는 것에 따라, 참조 화상 데이터를 판독하여, 이것을 순방향 예측 화상 데이터로서 연산부(173) 및 연산부(181)에 공급한다. 연산부(173)는, 공급된 매크로 블록 데이터로부터, 순방향 예측 화상 데이터를 감산하여, 예측 잔차로서의 차분 데이터를 얻는다. 그리고, 연산부(173)는, 차분 데이터를 DCT부(175)에 송출한다.
연산부(181)에는, 움직임 보상부(182)로부터 순방향 예측 화상 데이터가 공급되어 있고, 연산부(181)는 역 DCT부로부터 공급된 연산 데이터에, 순방향 예측 화상 데이터를 가산함으로써, 참조 화상 데이터를 국부 재생하여, 프레임 메모리(183)에 출력하여 기억시킨다.
또한, 쌍방향 예측 모드에서, 움직임 보상부(182)는, 프레임 메모리(183)의 판독 어드레스를, 움직임 벡터 데이터에 따라서 변이되는 것에 따라, 참조 화상 데이터를 판독하여, 이것을 쌍방향 예측 화상 데이터로서 연산부(173) 및 연산부(181)에 공급한다. 연산부(173)는 공급된 매크로 블록 데이터로부터, 쌍방향 예측 화상 데이터를 감산하여, 예측 잔차로서의 차분 데이터를 얻는다. 그리고, 연산부(173)는 차분 데이터를 DCT부(175)에 송출한다.
연산부(181)에는 움직임 보상부(182)로부터 쌍방향 예측 화상 데이터가 공급되어 있고, 연산부(181)는 역 DCT부로부터 공급된 연산 데이터에, 쌍방향 예측 화상 데이터를 가산함으로써, 참조 화상 데이터를 국부 재생하여, 프레임 메모리(183)에 출력하고 기억시킨다.
따라서, 부호화부(161)에 입력된 화상 데이터는, 움직임 보상 예측 처리, DCT 처리 및 양자화 처리를 받아, 양자화 DCT 계수 데이터로서, VLC부(178)에 공급된다. VLC부(178)는 양자화 DCT 계수 데이터에 대하여, 소정의 변환 테이블에 기초하는 가변 길이 부호화 처리를 하고, 그 결과 얻어지는 가변 길이 부호화 데이터를 버퍼(184)에 송출한다. 버퍼(184)는 공급된 가변 길이 부호화 데이터를 버퍼링한 후, 스트림 스위치(186)에 출력한다.
스트림 스위치(186)는, 제어부(185)의 제어에 기초하여, 버퍼(184)로부터 공급된 가변 길이 부호화 데이터를 출력한다.
양자화값 결정부(177)는, 버퍼(184)에 저장되는 가변 길이 부호화 데이터의 축적 상태를 항상 감시하고 있고, 제어부(185)의 제어에 기초하여, 축적 상태를 나타내는 점유량 정보, 또는 제어부(185)로부터 공급되는, 과거의 부호화의 파라미터에 포함되는 양자화값 Q에 기초하여, 양자화 스텝 사이즈를 결정하도록 이루어져 있다.
양자화값 결정부(177)는, 전술한 바와 같이, 제어부(185)로부터 과거의 부호화 파라미터에 포함되는 양자화값 Q가 공급되고, 과거의 부호화의 양자화값을 재이용할 수 있는 경우, 과거의 부호화 파라미터에 포함되는 양자화값 Q에 기초하여, 양자화 스텝 사이즈를 결정할 수 있다.
또한, 양자화값 결정부(177)는, 히스토리 정보에 기초하여 양자화 스텝 사이즈를 결정하지 않은 경우에는, 목표 발생 부호량보다도 실제로 발생한 매크로 블록의 발생 부호량이 많을 때, 발생 부호량을 줄이기 위해서 양자화 스텝 사이즈를 크게 하고, 또한 목표 발생 부호량보다도 실제의 발생 부호량이 적을 때, 발생 부호량을 늘리기 위해서 양자화 스텝 사이즈를 작게 하도록 이루어져 있다.
즉, 양자화값 결정부(177)는, 디코더측에 설치된 VBV 버퍼에 저장된 가변 길이 부호화 데이터의 축적 상태의 추이를 상정함으로써, 가상 버퍼의 버퍼 점유량을 구하고, 양자화값 Q를 산출하여, 이것을 양자화부(176)에 공급한다.
j번째의 매크로 블록에서의 가상 버퍼의 버퍼 점유량 d(j)는, 다음 수학식 1에 의해서 표시되고, 또한 j+1번째의 매크로 블록에서의 가상 버퍼의 버퍼 점유량 d(j+1)은, 다음 수학식 2에 의해 표시되며, 수학식 1에서 수학식 2를 감산함으로 써, j+1번째의 매크로 블록에서의 가상 버퍼의 버퍼 점유량 d(j+1)은, 다음 수학식 3으로서 표시된다.
Figure 112005065025478-pct00001
여기서, d(0)은 초기 버퍼 용량, B(j)는 j번째의 매크로 블록에서의 부호화 발생 비트수, MBcnt는, 픽쳐 내의 매크로 블록 수, 그리고, T는 픽쳐 단위의 목표 발생 부호량이다.
Figure 112005065025478-pct00002
Figure 112005065025478-pct00003
양자화값 결정부(177)는, 픽쳐 내의 매크로 블록이 인트라 슬라이스 부분과 인터 슬라이스 부분으로 나뉘어져 있는 경우에는, 인트라 슬라이스 부분의 매크로 블록과 인터 슬라이스 부분의 각 매크로 블록에 할당하는 목표 발생 부호량 Tpi 및 Tpp를 각각 개별적으로 설정한다.
따라서, 발생 부호량 제어부(92)는, 버퍼 점유량 d(j+1), 및 수학식 4에 도시되는 상수 r을, 수학식 5에 대입함으로써, 매크로 블록(j+1)의 양자화 인덱스 데이터 Q(j+1)를 산출하여, 이것을 양자화부(75)에 공급한다.
Figure 112005065025478-pct00004
Figure 112005065025478-pct00005
여기서, br은 비트 레이트이며, pr은 픽쳐 레이트이다.
양자화부(176)는, 양자화값 Q에 기초하여, 다음 매크로 블록에서의 양자화 스텝 사이즈를 결정하고, 양자화 스텝 사이즈에 의해서 DCT 계수 데이터를 양자화한다.
이에 의해, 양자화부(176)는, 1개 전의 픽쳐에서의 실제의 발생 부호량에 기초하여 산출된, 다음 픽쳐의 목표 발생 부호량에서 최적의 양자화 스텝 사이즈에 의해서, DCT 계수 데이터를 양자화할 수 있다.
따라서, 양자화부(176)에서는, 버퍼(184)의 데이터 점유량에 따라서, 버퍼(184)가 오버 플로우 또는 언더 플로우하지 않도록 양자화할 수 있음과 함께, 디코더측의 VBV 버퍼가 오버 플로우, 또는 언더 플로우하지 않도록 양자화한 양자화 DCT 계수 데이터를 생성할 수 있다.
또한, 이상에서는, 부호화 처리를, 픽쳐 단위로 행하는 경우에 대해 설명했지만, 부호화 처리가, 픽쳐 단위가 아니라, 예를 들면 슬라이스 단위나, 매크로 블록 단위로 행해지는 경우에도, 기본적으로 마찬가지로 하여, 부호화 처리가 실행된다.
또한, 도 4를 이용하여 설명한, 입력 화상을 고비트 레이트로 MPEG의 Long GOP로 부호화하고, 그것을 복호하여, 저비트 레이트의 Long GOP로 재부호화하는 경우에, 재부호화를 위한 화상 열화가 발생하지 않도록 이루어져 있는 시스템에 대해 서도, 마찬가지로 하여 본 발명을 적용하는 것이 가능하다. 도 9는 본 발명을 적용한, 입력 화상을 고비트 레이트로 MPEG의 Long GOP로 부호화하고, 그것을 복호하여 저비트 레이트의 Long GOP로 재부호화하는 경우에, VBV 버퍼의 파탄을 방지하면서, 재부호화를 위한 화상 열화가 발생하지 않도록 이루어져 있는 시스템의 구성을 도시하는 블록도이다. 또한, 도 4에서의 경우와 대응하는 부분에는 동일한 부호를 붙여 두고, 그 설명은 적절하게 생략한다.
즉, 도 9의 시스템은, 트랜스코더(131)에 대신하여, 트랜스코더(201)가 구비되고, 트랜스코더(201)는, 부호화부(142)에 대신하여, 공급되는 스트림의 조건에 대응하여, 재이용 가능한 이력 정보(파라미터 정보)를 선택하는 것이 가능한 부호화부(211)가 설치되어 있고, 부호화부(211)에는, 복호부(141)로부터 출력되는 복호된 신호 이외에, 복호부(141)에 입력되어 있는 스트림 데이터도 입력되어 있는 것 외에는, 기본적으로, 트랜스코더(131)와 마찬가지의 구성을 갖는다.
트랜스코더(51)에 의해 부호화된 MPEG의 Long GOP의 스트림(ASI 스트림) 데이터의 공급을 받은 트랜스코더(201)는, 고비트 레이트의 MPEG의 Long GOP를, 복호부(141)에 의해 복호할 때에, 필요한 부호화 파라미터를 취득하여, 복호된 비디오 데이터와 취득된 부호화 파라미터를 부호화부(211)에 공급한다. 부호화부(211)는, 필요에 따라, 공급된 부호화 파라미터를 이용하여, 비디오 데이터를, 저비트 레이트의 MPEG의 Long GOP로 되도록 부호화하고, 부호화된 저비트 레이트의 MPEG의 Long GOP의 스트림(ASI 스트림) 데이터를 출력한다.
도 10은 부호화부(211)의 구성을 도시하는 블록도이다. 또한, 도 10에서는, 도 6의 부호화부(161)와 대응하는 부분에는 동일한 부호를 붙여 두고, 그 설명은 적절하게 생략한다.
즉, 부호화부(211)는, 히스토리 추출부(171)가 생략되고, 복호부(141)로부터 공급되는 파라미터를 취득하여 제어부(185)에 공급하는, 파라미터 입력부(221)가 설치되어 있는 것 외에는, 도 6의 부호화부(161)와, 기본적으로 마찬가지의 구성을 갖는 것이다.
제어부(185)는, 파라미터 입력부(221)로부터, 도 7 및 도 8을 이용하여 설명한 히스토리 정보와 마찬가지의 정보를 포함하는 파라미터 정보의 공급을 받아, 파라미터 정보에 기재되어 있는 내용이, 소정의 조건에 합치하고 있는지의 여부에 기초하여, 화상 재배열부(172), 움직임 벡터 검출부(174), 양자화값 결정부(177), 스트림 스위치(186)의 일부, 혹은 모든 처리를 제어한다.
구체적으로는, 제어부(185)는, 이전의 부호화에서의 딜레이 모드, 픽쳐 구성, 및 풀다운 모드가, 금회의 부호화와 일치하고 있는지의 여부를 판단하여, 일치하지 않는다고 판단된 경우, 파라미터의 재이용을 행하지 않고, 후술하는 통상의 부호화를 실행한다고 판단한다. 딜레이 모드는, SMPTE 329M의 sequence_extension() 함수의 low_delay와 마찬가지로 하여, 파라미터 정보에 기재되어 있는 정보이며, 픽쳐 구성 및 풀다운 모드는, SMPTE 329M의 picture_coding_extension() 함수의 picture_structure, top_field_first 및 repeat_firt_field와 마찬가지로 하여, 파라미터 정보에, 각각 기재되어 있는 정보이다.
이전의 부호화에서의 딜레이 모드, 픽쳐 구성, 및 풀다운 모드가, 금회의 부호화와 일치하고 있다고 판단된 경우, 제어부(185)는, 다음에 부호화하는 화상 틀은, 파라미터 정보에 나타내고 있는 부호화 처리를 한 화상 틀과 일치하고 있는지의 여부를 판단하여, 화상 틀이 일치하지 않는다고 판단된 경우, 픽쳐 타입의 정보(도 8을 이용하여 설명한, extension_and_user_data(2) 내의 user_data(2)에 기재되어 있는 picture_coding_type과 마찬가지로 하여, 파라미터 정보에 기재되어 있는 정보)만을 재이용한다. 화상 틀이 일치하고 있는지의 여부는, SMPTE 329M의 sequence_header() 함수에 기재되어 있는 horizontal_size_value, 및 vertical_size_value, 및 SMPTE 329M의 v_phase 및 h_phase와 마찬가지로 하여, 파라미터 정보에 기재되어 있는 정보를 비교함으로써 판단된다.
화상 재배열부(172)는, 전의 부호화의 픽쳐 타입이 재이용된다고 판단된 경우, 제어부(185)로부터 공급된 제어 신호에 기초하여, 파라미터 정보에 포함되어 있는 픽쳐 타입에 기초하여, 화상의 재배열을 실행한다.
화상 틀이 일치하고 있다고 판단된 경우, 제어부(185)는, 이전의 부호화에서의 비트 레이트가, 금회의 부호화의 비트 레이트보다도 작고, 또한 이전의 부호화에서의 크로마 포맷이, 금회의 크로마 포맷과 비교하여, 동일하거나, 또는 큰지의 여부를 판단하여, 어느 하나의 조건이 만족되어 있지 않았다고 판단된 경우, 픽쳐 타입의 정보 외에 추가로, 움직임 벡터의 정보(picture_data() 함수의 slice() 함수에 기재되어 있는 motion_vectors 정보와 마찬가지로 하여, 파라미터 정보에 기재되어 있는 정보)를 재이용한다. 비트 레이트의 정보는, SMPTE 329M의 extension_and_user가 data(2) 내의 user_data(2)의 bit_rate_value와 마찬가지로 하여, 파라미터 정보에 기재되어 있는 정보이다. 크로마 포맷의 정보는, SMPTE 329M의 sequence_header() 함수의 chroma_format과 마찬가지로 하여, 파라미터 정보에 기재되어 있다.
움직임 벡터 검출부(174)는, 제어부(185)로부터 과거의 부호화의 움직임 벡터 정보의 공급을 받아, 움직임 벡터로서 재이용한다.
이전의 부호화에서의 비트 레이트가, 금회의 부호화의 비트 레이트보다도 작고, 또한 이전의 부호화에서의 크로마 포맷이, 금회의 크로마 포맷과 비교하여, 동일하거나, 또는 크다고 판단된 경우, 제어부(185)는, 파라미터의 크로마 포맷과 금회의 크로마 포맷이 일치하고 있는지의 여부를 판단하여, 일치하지 않는다고 판단된 경우, 픽쳐 타입, 움직임 벡터 외에 추가로, 양자화값(q_scale)을 재이용한다.
양자화값 결정부(177)는, 제어부(185)로부터 공급된 제어 신호에 기초하여, 과거의 부호화에 이용된 양자화값을 양자화부(176)에 공급하여, 양자화를 실행시킨다.
크로마 포맷과 금회의 크로마 포맷이 일치하고 있다고 판단된 경우, 제어부(185)는, 스트림 스위치(186)를 제어하여, 복호부(141)에 입력된 스트림 데이터를 출력한다.
또한, 도 10의 부호화부(211)에서는, 파라미터 정보에 포함되기 전의 부호화에 관한 정보를 재이용할지의 여부에 관계되는 제어부(185)의 처리 이외의 통상의 부호화 처리에 대해서는, 도 6을 이용하여 설명한 부호화부(161)와 마찬가지의 처 리가 실행되므로, 그 상세한 설명은 생략한다.
즉, 도 6을 이용하여 설명한 부호화부(161) 및 도 10을 이용하여 설명한 부호화부(211)에서, 히스토리 정보 또는 파라미터 정보를 재이용하지 않는 경우, 통상의 인코드가 행해지고, 픽쳐 타입을 재이용하는 경우, 히스토리 정보에 포함되는 SMPTE329M의 picture_coding_type, 또는 파라미터 정보에 포함되는 마찬가지의 정보가 재이용되어, 더욱 움직임 벡터를 재이용하는 경우, 히스토리 정보에 포함되는 red_bw_indicator=0으로부터 q_scale_code를 제외한 정보, 또는 파라미터 정보에 포함되는 마찬가지의 정보가 재이용되고, 더욱 양자화값을 재이용하는 경우, 히스토리 정보에 포함되는 red_bw_indicator=0, 또는 파라미터 정보에 포함되는 마찬가지의 정보가 재이용되고, 인코더에의 입력 스트림이 출력되는 경우, 스트림 스위치(186)가 제어되어, 전단의 복호부에 입력된 스트림 데이터가 출력된다.
다음으로, 도 11의 플로우차트를 참조하여, 도 6의 부호화부(161) 및 도 10의 부호화부(211)가 실행하는 처리에 대하여 설명한다.
스텝 S1에서, 제어부(185)는, 히스토리 정보 추출부(171)로부터 히스토리 정보, 혹은, 파라미터 입력부(221)로부터 파라미터 정보의 공급을 받아, 히스토리 정보에 포함되는 SMPTE 329M의 sequence_extension() 함수의 low_delay, picture_coding_extension() 함수의 picture-structure, top_field_first 및, repeat_firt_field, 또는 파라미터 정보에 포함되는 이것들의 정보와 마찬가지의 정보를 참조하여, 이전의 부호화에서의 딜레이 모드, 픽쳐 구성, 및 풀다운 모드가, 금회의 부호화의 부호화 조건과 일치하고 있는지의 여부를 판단한다.
스텝 S1에서, 이전의 부호화에서의 딜레이 모드, 픽쳐 구성, 및 풀다운 모드가, 금회의 부호화의 부호화 조건과 일치하지 않는다고 판단된 경우, 스텝 S2에서, 제어부(185)는, 파라미터의 재이용을 하지 않는 것으로 하여, 부호화부(161) 또는 부호화부(211)의 각 부를 제어하고, 부호화를 실행시켜, 처리가 종료된다.
스텝 S1에서, 이전의 부호화에서의 딜레이 모드, 픽쳐 구성, 및 풀다운 모드가, 금회의 부호화의 부호화 조건과 일치하고 있다고 판단된 경우, 스텝 S3에서, 제어부(185)는, 공급된 히스토리 정보에 포함되는, SMPTE 329M의 sequence_header() 함수에 기재되어 있는 horizontal_size_value, 및 vertical_size_value, 및 SMPTE 329M의 v_phase 및 h_phase, 또는 파라미터 정보에 포함되는 이것들의 정보와 마찬가지의 정보를 참조하여, 이전의 부호화가 실행된 화상 틀과, 재부호화 시의 화상 틀이, 위치 및 크기와도 일치하고 있는지의 여부를 판단한다.
스텝 S3에서, 이전의 부호화가 실행된 화상 틀과 재부호화 시의 화상 틀로, 위치 또는 크기 중 적어도 하나가 일치하지 않는다고 판단된 경우, 스텝 S4에서, 제어부(185)는, 픽쳐 타입(picture_coding_type)의 정보를 재이용하여 부호화를 하는 것으로 하여, 화상 재배열부(172)를 제어하여, 공급된 픽쳐 타입의 정보를 재이용하여 화상의 재배열 등의 처리를 하고, 그 밖의 각 부를 제어하여, 부호화를 실행시켜, 처리가 종료된다.
스텝 S3에서, 이전의 부호화가 실행된 화상 틀과, 재부호화 시의 화상 틀이, 위치 및 크기와도 일치한다고 판단된 경우, 스텝 S5에서, 제어부(185)는, 히스토리 정보에 포함되어 있는 SMPTE 329M의 extension_and_user_data(2) 내의 user_data(2)의 bit_rate_value, 및 sequence_header() 함수의 chroma_format, 또는 파라미터 정보에 포함되는 이것들의 정보와 마찬가지의 정보를 참조하여, 이전의 부호화에서의 비트 레이트가, 금회의 부호화의 비트 레이트보다도 작고, 또한 이전의 부호화에서의 크로마 포맷이, 금회의 크로마 포맷과 비교하여, 동일하거나, 또는 큰지의 여부를 판단한다.
스텝 S5에서, 이전의 부호화에서의 비트 레이트가, 금회의 부호화의 비트 레이트보다도 크거나, 또는 이전의 부호화에서의 크로마 포맷이, 금회의 크로마 포맷보다 작다고 판단된 경우, 스텝 S6에서, 제어부(185)는, 픽쳐 타입, 및 움직임 벡터의 정보(motion_vectors 정보)를 재이용하여 부호화를 하는 것으로 하여, 화상 재배열부(172)를 제어하여, 공급된 픽쳐 타입의 정보를 재이용하여 화상의 재배열 등의 처리를 하여, 움직임 벡터 검출부(174)에 과거의 부호화에서의 움직임 벡터 정보를 공급하여 재이용시켜, 그 밖의 각 부를 제어하여, 부호화를 실행시키고, 처리가 종료된다.
스텝 S5에서, 이전의 부호화에서의 비트 레이트가, 금회의 부호화의 비트 레이트보다도 작고, 또한 이전의 부호화에서의 크로마 포맷이, 금회의 크로마 포맷과 비교하여, 동일하거나, 또는 크다고 판단된 경우, 스텝 S7에서, 제어부(185)는, 복호부에서 파라미터가 공급되고(즉, 히스토리 정보가 이용되어 재이용 부호화가 행해지는 것은 아니고, 파라미터 정보가 이용되어 재이용 부호화가 행해지고 있고), 또한 공급된 파라미터 정보에 포함되어 있는 SMPTE 329M의 sequence_header() 함수 의 chroma_format과 마찬가지의 정보를 참조하여, 파라미터의 크로마 포맷과 금회의 크로마 포맷이 일치하고 있는지의 여부를 판단한다. 즉, 부호화부(211)를 포함하는 트랜스코더(201)가, 예를 들면 4:2:0 포맷으로부터, 4:2:2 포맷에의 포맷 변환을 하는 경우 등에서는, 크로마 포맷이 일치하지 않는다고 판단된다.
스텝 S7에서, 복호부(141)로부터 파라미터가 공급되는 것은 아니고, 복호부(161)로부터 히스토리 정보가 공급되어 있거나, 또는 파라미터 정보의 크로마 포맷과 금회의 크로마 포맷이 일치하지 않는다고 판단된 경우, 스텝 S8에서, 제어부(185)는, 픽쳐 타입, 움직임 벡터, 및 양자화값의 정보(q_scale)를 재이용하여 부호화를 하는 것으로 하고, 화상 재배열부(172)를 제어하여, 공급된 픽쳐 타입의 정보를 재이용하여 화상의 재배열 등의 처리를 하여, 움직임 벡터 검출부(174)에 과거의 부호화에서의 움직임 벡터 정보를 공급하여 재이용시키고, 양자화값 결정부(177)에, 히스토리 정보 또는 파라미터 정보에 포함되어 있었던 양자화값을 양자화부(176)에 공급시키고, 양자화를 실행시켜서, 그 밖의 각 부를 제어하여, 부호화를 실행시켜, 처리가 종료된다.
스텝 S7에서, 복호부(141)로부터 파라미터가 공급되고, 또한 파라미터 정보의 크로마 포맷과 금회의 크로마 포맷이 일치하고 있다고 판단된 경우, 스텝 S9에서, 제어부(185)는, 스트림 스위치(186)를 제어하여, 복호부(141)에 입력된 스트림 데이터를 출력하여, 처리가 종료된다.
이러한 처리에 의해, 이전의 부호화와 금회의 부호화를 비교하여, 만족하고 있는 조건에 기초하여, 재이용 가능한 부호화 정보를 선택할 수 있도록 하였기 때 문에, 복호 및 부호화의 처리가 반복되도록 한 경우에도, 화상 데이터의 열화를 방지하도록 할 수 있다.
또한, 도 11의 플로우차트에 의한 설명에서는, 스텝 S1, 스텝 S3, 스텝 S5, 또는 스텝 S7의 처리에서, 이전의 부호화에서의 부호화의 파라미터와, 금회의 부호화의 조건을 비교하여, 소정의 조건을 만족하고 있는지의 여부를, 각각, 판단하는 것으로서 설명했지만, 예를 들면 데이터 전송의 시스템에서, 고정으로 되어 있는 파라미터가 존재하는 경우에는, 그 파라미터에 관한 판단 처리가 생략되도록 하여도 된다.
또한, 본 발명은, 예를 들면 리오더링 딜레이의 원인으로 되는 B 픽쳐, 및 발생 부호량이 많은 I 픽쳐를 사용하지 않고서, P 픽쳐만을 사용하고, 이 P 픽쳐를, 수 슬라이스로 이루어지는 인트라 슬라이스와, 잔여 모든 슬라이스로 이루어지는 인터 슬라이스로 구획함으로써, 리오더링없이 부호화할 수 있도록 이루어져 있는 로우 딜레이 인코드를 하는 경우에도 적용 가능하다.
또한, 본 발명은, 로우 딜레이 코딩으로서 각 프레임 화상을 모두 P 픽쳐로 하고, 예를 들면 가로 45 매크로 블록, 세로 24 매크로 블록의 화상 틀 사이즈 중에서 프레임 화상의 상단에서 세로 2 매크로 블록 및 가로 45 매크로 블록분의 영역을 1개의 인트라 슬라이스 부분, 그 외를 모두 인터 슬라이스 부분으로서 설정하도록 한 경우에도, 인트라 슬라이스 부분을 세로 1 매크로 블록, 가로 45 매크로 블록분의 영역으로 하는 등, 다른 여러 가지의 크기의 영역에서 형성하도록 한 경우에도 적용 가능하다.
또한, 전술한 실시 형태에서는, 본 발명을 MPEG 방식에 의해서 압축 부호화하는 부호화부(161), 또는 부호화부(211)에 적용하도록 한 경우에 대하여 설명했지만, 본 발명은 이것에 한하지 않고, 다른 여러 가지의 화상 압축 방식에 의한 부호화 장치에 적용하도록 하여도 된다.
또한, 전술한 실시 형태에서는, 스트림 데이터를 변환하는 트랜스코더가, 각각, 복호부와 부호화부를 갖고 있는 것으로 하여 설명했지만, 복호부 및 부호화부가, 각각, 복호 장치 및 부호화 장치로서, 독립된 장치로서 구성되어 있는 경우에도, 본 발명은 적용 가능하다.
즉, 전술한 실시 형태에서는, 각각의 트랜스코더가, 스트림 데이터를 변환하는 것으로서 설명했지만, 예를 들면 도 12에 도시된 바와 같이, 스트림 데이터를 복호하여 베이스밴드 신호로 변환하는 복호 장치(251), 베이스밴드 신호를 부호화하여 스트림데이터로 변환하는 부호화 장치(252)가, 각각 독립된 장치로서 구성되어 있어도 된다. 또한, 복호 장치(251)가, 공급된 스트림 데이터를 완전하게 복호하지 않고, 대응하는 부호화 장치(252)가, 비완전하게 복호된 데이터의 대응하는 부분을 부분적으로 부호화하는 경우에도, 본 발명은 적용 가능하다.
예를 들면, 복호 장치(251)가, VLC부호에 대한 복호 및 역 양자화만을 행하여, 역 DCT 변환을 실행하지 않았던 경우, 부호화 장치(252)는, 양자화 및 가변 길이 부호화 처리를 하지만, DCT 변환 처리는 행하지 않는다. 이러한 부분적인 부호화(중도 단계로부터의 부호화)를 행하는 부호화 장치(252)의 양자화에서의 양자화값을 재이용할지의 여부의 결정에서, 본 발명을 적용할 수 있는 것은 물론이다.
또한, 복호 장치(251)가 완전히 복호한 베이스밴드 신호를, 부호화 장치(252)가 중도 단계까지 부호화하는 경우(예를 들면, DCT 변환 및 양자화를 하지만 가변 길이 부호화 처리를 하지 않는 등)나, 복호 장치(251)가 완전히 복호하지 않기 때문에(예를 들면, VLC부호에 대한 복호 및 역 양자화만을 행하여, 역 DCT 변환을 실행하지 않기 때문에), 중도 단계까지 부호화되어 있는 데이터에 대하여, 부호화 장치(252)가 더욱 중도 단계까지 부호화하는 경우 등(예를 들면, 양자화를 하지만 가변 길이 부호화 처리를 하지 않는 등)에서도, 본 발명은 적용 가능하다.
또한, 이러한 부분적인 복호를 행하는 부호화 장치(251)와 부분적인 부호화를 하는 부호화 장치(252)로 구성된 트랜스코더(261)에서도, 본 발명은 적용 가능하다. 이러한 트랜스코더(261)는, 예를 들면 스플라이싱 등의 편집을 하는 편집 장치(262)가 이용되는 경우 등에 이용된다.
또한, 본 발명을 적용한 트랜스코더는, 기록 매체에 정보를 기록하는 정보 기록 장치, 및 기록 매체에 기록되어 있는 정보를 재생하는 정보 재생 장치에서도 적용 가능하다.
도 13은 본 발명을 적용한 정보 기록 장치(271)의 구성을 도시하는 블록도이다.
정보 기록 장치(271)는, 도 5 및 도 6을 이용하여 설명한 트랜스코더(151), 채널 인코딩부(275), 및 기록 매체(273)에 정보를 기록하는 기록부(276)로 구성되어 있다.
외부로부터 입력된 정보는, 전술한 경우와 마찬가지로 하여, 트랜스코더 (151)에 의해 처리되어, 채널 인코딩부(275)에 공급된다. 채널 인코딩부(275)는, 트랜스코더(151)에 의해 출력되는 비트 스트림에, 오류 정정을 위한 패리티 부호를 붙인 후, 예를 들면 NRZI(Non Return to Zero Inversion) 변조 방식으로 채널 인코딩 처리를 하여, 기록부(276)에 공급한다.
기록 매체(273)는, 예를 들면 CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등의 광 디스크, MD(Mini-Disk)(상표) 등의 광 자기 디스크, 반도체 메모리, 또는 비디오 테이프 등의 자기 테이프 등, 정보를 기록할 수 있는 것이면, 어느 한 쪽의 형태를 갖는 것이어도 된다.
기록부(276)는, 기록 매체(273)에 대응하는 기록 형식으로, 공급된 정보를 기록 매체(273)에 기록할 수 있도록 이루어져 있고, 예를 들면 기록 매체(273)가 광 디스크인 경우에는, 기록 매체(273)에 레이저광을 조사하기 위한 레이저를 포함하여 구성되고, 기록 매체(273)가 자기 테이프인 경우에는, 자기 기록 헤드를 포함하여 구성된다.
다음으로, 도 14는 본 발명을 적용한 정보 재생 장치(281)의 구성을 도시하는 블록도이다.
정보 재생 장치(281)는, 기록 매체(273)로부터 정보를 재생하는 재생 처리부(285), 채널 디코딩부(286), 및 도 5 및 도 6을 이용하여 설명한 트랜스코더(151)로 구성되어 있다.
재생 처리부(285)는, 기록 매체(273)에 대응하는 방법으로, 기록 매체(273)에 기록되어 있는 정보를 재생하고, 채널 디코딩부(286)에 재생된 신호를 공급할 수 있도록 이루어지고 있고, 예를 들면 기록 매체(273)가 광 디스크인 경우에는, 광 픽업을 포함하여 구성되고, 기록 매체(273)가 자기 테이프인 경우에는, 자기 재생 헤드를 포함하여 구성된다.
채널 디코딩부(286)는, 재생 신호를 채널 디코드하고, 패리티를 이용하여 오류 정정 처리를 한 후, 오류 정정 후의 재생 정보를 트랜스코더(151)에 공급한다. 트랜스코더(151)에 공급된 정보는, 전술한 경우와 마찬가지로 하여, 트랜스코더(151)에 의해 처리되어, 출력된다.
도 15는 본 발명을 적용한 정보 기록 장치(291)의 구성을 도시하는 블록도이다.
정보 기록 장치(291)는, 도 9 및 도 10을 이용하여 설명한 트랜스코더(201), 채널 인코딩부(275), 및 기록 매체(273)에 정보를 기록하는 기록부(276)로 구성되어 있다.
외부로부터 입력된 정보는, 전술한 경우와 마찬가지로 하여, 트랜스코더(201)에 의해 처리되어, 채널 인코딩부(275)에 공급된다. 채널 인코딩부(275)는, 트랜스코더(201)에 의해 출력되는 비트 스트림에, 오류 정정을 위한 패리티 부호를 붙인 후, 예를 들면 NRZI(Non Return to Zero Inversion) 변조 방식으로 채널 인코딩 처리를 하여, 기록부(276)에 공급한다. 기록부(276)는, 공급된 정보를 기록 매체(273)에 기록한다.
또한, 도 15의 정보 기록 장치(291)에서는, 부호화 파라미터와, 비디오 데이터를, 기록 매체(273)기 상이한 위치에 기록하도록 하여도 된다.
다음으로, 도 16은 본 발명을 적용한 정보 재생 장치(295)의 구성을 도시하는 블록도이다.
정보 재생 장치(295)는, 기록 매체(273)로부터 정보를 재생하는 재생 처리부(285), 채널 디코딩부(286), 및 도 9 및 도 10을 이용하여 설명한 트랜스코더(201)로 구성되어 있다.
재생 처리부(285)는, 기록 매체(273)에 대응하는 방법으로, 기록 매체(273)에 기록되어 있는 정보를 재생하여, 채널 디코딩부(286)에 재생된 신호를 공급한다. 채널 디코딩부(286)는, 재생 신호를 채널 디코드하여, 패리티를 이용하여 오류 정정 처리를 한 후, 오류 정정 후의 재생 정보를 트랜스코더(201)에 공급한다. 트랜스코더(201)에 공급된 정보는, 전술한 경우와 마찬가지로 하여, 트랜스코더(201)에 의해 처리되어, 출력된다.
전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있지만, 소프트웨어에 의해 실행시킬 수도 있다. 이 경우, 예를 들면 트랜스코더(151)나, 트랜스코더(201)는, 도 17에 도시되는 것과 같은 퍼스널 컴퓨터(301)에 의해 구성된다.
도 17에서, CPU(Central Processing Unit)(311)는, ROM(Read Only Memory)(312)에 기억되어 있는 프로그램, 또는 기억부(318)로부터 RAM(Random Access Memory)(313)에 로드된 프로그램에 따라서, 각종의 처리를 실행한다. RAM(313)에는 또한, CPU(311)가 각종의 처리를 실행하는 데에 있어 필요한 데이터등도 적절하게 기억된다.
CPU(311), ROM(312), 및 RAM(313)은, 버스(314)를 통하여 서로 접속되어 있 다. 이 버스(314)에는 또한, 입출력 인터페이스(315)도 접속되어 있다.
입출력 인터페이스(315)에는, 키보드, 마우스 등으로 이루어지는 입력부(316), 디스플레이나 스피커 등으로 이루어지는 출력부(317), 하드디스크 등으로 구성되는 기억부(318), 모뎀, 터미널 어댑터 등으로 구성되는 통신부(319)가 접속되어 있다. 통신부(319)는, 인터넷을 포함하는 네트워크를 통한 통신 처리를 한다.
입출력 인터페이스(315)에는 또한, 필요에 따라 드라이브(320)가 접속되어, 자기 디스크(331), 광 디스크(332), 광 자기 디스크(333), 혹은, 반도체 메모리(334) 등이 적절하게 장착되고, 이들로부터 판독된 컴퓨터 프로그램이, 필요에 따라 기억부(318)에 인스톨된다.
일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 전용의 하드웨어에 조립되어 있는 컴퓨터, 또는 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들면 범용의 퍼스널 컴퓨터 등에, 네트워크나 기록 매체로부터 인스톨된다.
이 기록 매체는, 도 17에 도시된 바와 같이, 장치 본체와는 별도로, 유저에게 프로그램을 공급하기 위해 배포되는, 프로그램이 기억되어 있는 자기 디스크(331)(플로피 디스크를 포함함), 광 디스크(332)(CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk)를 포함함), 광 자기 디스크(333)(MD(Mini-Disk)(상표)를 포함함), 혹은 반도체 메모리(334) 등으로 이루어지는 패키지 미디어에 의해 구성되는 것뿐만 아니라, 장치 본체에 미리 조립된 상태에서 유저에게 공급되는, 프로그램이 기억되어 있는 ROM(312)이나, 기억부(318)에 포함되는 하드디스크 등으로 구성된다.
또한, 본 명세서에서, 기록 매체에 기억되는 프로그램을 기술하는 스텝은, 포함하는 순서를 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않더라도, 병렬적 혹은 개별적으로 실행되는 처리를 포함하는 것이다.
또한, 본 명세서에서, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.
이와 같이, 본 발명에 따르면, 화상 데이터를 부호화할 수 있다. 특히, 부호화에 관한 정보를 취득하여, 부호화에 관한 조건과 비교함으로써, 부호화에 관한 정보 중, 재이용 가능한 정보를 선택할 수 있다.
또한, 다른 본 발명에 따르면, 화상 데이터를 변환할 수 있는 것 외에, 부호화 시에, 부호화에 관한 정보를 취득하여, 부호화에 관한 조건과 비교함으로써, 부호화에 관한 정보 중, 재이용 가능한 정보를 선택할 수 있다.

Claims (17)

  1. 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화하는 처리를 제어하는 화상 처리 장치로서,
    상기 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과,
    상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 딜레이 모드, 픽쳐 구성 및 풀다운 모드가, 상기 화상 데이터에 대하여 실행하는 부호화의 조건과 일치하는 경우, 상기 부호화에 관한 정보에 포함되는 픽쳐 타입의 정보를 이용하여, 부호화하는 처리를 제어하는 제어 수단
    을 구비하는 것을 특징으로 하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 제어 수단은, 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 화상 틀과, 상기 화상 데이터에 대하여 실행하는 부호화의 화상 틀과의 위치 및 크기가 일치하고 있는 경우, 상기 부호화에 관한 정보에 포함되는 움직임 벡터의 정보를 더 이용하여, 부호화하는 처리를 제어하는 것을 특징으로 하는 화상 처리 장치.
  3. 제2항에 있어서,
    상기 제어 수단은, 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 비트 레이트가, 상기 화상 데이터에 대하여 실행하는 부호화의 비트 레이트보다도 작고, 또한 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 크로마 포맷이, 상기 화상 데이터에 대하여 실행하는 부호화의 크로마 포맷과 비교하여, 동등하거나 또는 큰 경우, 상기 부호화에 관한 정보에 포함되는 양자화값의 정보를 더 이용하여, 부호화하는 처리를 제어하는 것을 특징으로 하는 화상 처리 장치.
  4. 제1항에 있어서,
    상기 화상 데이터를 복호한 다른 화상 처리 장치에 공급된 제1 부호화 데이터 및 상기 제어 수단에 의해 제어된 부호화 처리에 의해 생성된 제2 부호화 데이터의 공급을 받고, 상기 제1 부호화 데이터 또는 상기 제2 부호화 데이터를 출력하는 출력 수단을 더 구비하고,
    상기 제어 수단은, 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 딜레이 모드, 픽쳐 구성, 풀다운 모드, 화상 틀의 위치 및 크기와, 크로마 포맷이, 상기 화상 데이터에 대하여 실행하는 부호화의 조건과 일치하고, 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 비트 레이트가, 상기 화상 처리 장치가 상기 화상 데이터에 대하여 실행하는 부호화의 비트 레이트보다도 작은 경우, 상기 출력 수단을 더 제어하여, 상기 제1 부호화 데이터를 출력시키는 것을 특징으로 하는 화상 처리 장치.
  5. 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화하는 처리를 실행하는 화상 처리 장치의 화상 처리 방법으로서,
    상기 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하고,
    취득된 상기 부호화에 관한 정보와 상기 화상 처리 장치가 상기 화상 데이터에 대하여 실행하는 부호화에 관한 조건을 기초로, 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 딜레이 모드, 픽쳐 구성 및 풀다운 모드가, 상기 화상 데이터에 대하여 실행하는 부호화의 조건과 일치하는 경우, 상기 부호화에 관한 정보에 포함되는 픽쳐 타입의 정보를 선택하고,
    선택된 상기 픽쳐 타입의 정보를 기초로, 부호화 처리를 제어하는
    것을 특징으로 하는 화상 처리 방법.
  6. 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보의 공급을 받아, 화상 데이터 또는 중도 단계까지 부호화된 화상 데이터를, 중도 단계까지, 또는 완전하게 부호화하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 기록 매체로서,
    공급된 상기 부호화에 관한 정보와, 상기 화상 데이터에 대하여 실행하는 부호화에 관한 조건을 비교하는 비교 스텝과,
    상기 비교 스텝의 처리에 의한 비교 결과를 기초로, 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 딜레이 모드, 픽쳐 구성 및 풀다운 모드가, 상기 화상 데이터에 대하여 실행하는 부호화의 조건과 일치하는 경우, 상기 부호화에 관한 정보에 포함되는 픽쳐 타입의 정보를 선택하는 선택 스텝과,
    선택된 상기 픽쳐 타입의 정보를 기초로, 부호화 처리를 제어하는 부호화 처리 제어 스텝
    을 포함하는 것을 특징으로 하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체.
  7. 화상 데이터를 부호화한 부호화 스트림을 재부호화 스트림으로 변환하는 화상 처리 장치로서,
    상기 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 수단과,
    상기 취득 수단에 의해 취득된 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 딜레이 모드, 픽쳐 구성 및 풀다운 모드가, 상기 부호화 스트림에 대하여 실행하는 변환 처리의 조건과 일치하는 경우, 상기 부호화에 관한 정보에 포함되는 픽쳐 타입의 정보를 이용하여, 상기 부호화 스트림을 재부호화 스트림으로 변환하는 변환 수단
    을 구비하는 것을 특징으로 하는 화상 처리 장치.
  8. 화상 데이터를 부호화한 부호화 스트림을 재부호화 스트림으로 변환하는 처리를 실행하는 화상 처리 장치의 화상 처리 방법으로서,
    상기 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하고,
    취득된 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 딜레이 모드, 픽쳐 구성 및 풀다운 모드가, 상기 부호화 스트림에 대하여 실행하는 변환 처리의 조건과 일치하는 경우, 상기 부호화에 관한 정보에 포함되는 픽쳐 타입의 정보를 이용하여, 상기 부호화 스트림을 재부호화 스트림으로 변환하는 것을 특징으로 하는 화상 처리 방법.
  9. 화상 데이터를 부호화한 부호화 스트림을 재부호화 스트림으로 변환하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록되어 있는 기록 매체로서,
    상기 화상 데이터에 대하여 과거에 행해진 부호화에 관한 정보를 취득하는 취득 스텝과,
    취득된 상기 부호화에 관한 정보에 포함되는 과거의 부호화에서의 딜레이 모드, 픽쳐 구성 및 풀다운 모드가, 상기 부호화 스트림에 대하여 실행하는 변환 처리의 조건과 일치하는 경우, 상기 부호화에 관한 정보에 포함되는 픽쳐 타입의 정보를 이용하여, 상기 부호화 스트림을 재부호화 스트림으로 변환하는 변환 스텝
    을 포함하는 것을 특징으로 하는 처리를 컴퓨터에 실행시키는 프로그램이 기록되어 있는 기록 매체.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
KR20057021532A 2003-05-14 2004-05-14 화상 처리 장치 및 화상 처리 방법, 및 기록 매체 KR100968988B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2003-00135350 2003-05-14
JP2003135350A JP4196726B2 (ja) 2003-05-14 2003-05-14 画像処理装置および画像処理方法、記録媒体、並びに、プログラム

Publications (2)

Publication Number Publication Date
KR20060004693A KR20060004693A (ko) 2006-01-12
KR100968988B1 true KR100968988B1 (ko) 2010-07-09

Family

ID=33447179

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20057021532A KR100968988B1 (ko) 2003-05-14 2004-05-14 화상 처리 장치 및 화상 처리 방법, 및 기록 매체

Country Status (6)

Country Link
US (3) US7606124B2 (ko)
EP (1) EP1624703B1 (ko)
JP (1) JP4196726B2 (ko)
KR (1) KR100968988B1 (ko)
CN (1) CN100521791C (ko)
WO (1) WO2004102972A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2569491T3 (es) * 1999-02-09 2016-05-11 Sony Corporation Sistema de codificación y método asociado
JP2006311508A (ja) * 2005-03-29 2006-11-09 Toshiba Corp データ伝送システムとその送信側装置及び受信側装置
JP4795223B2 (ja) * 2006-01-31 2011-10-19 キヤノン株式会社 画像処理装置
JP4624321B2 (ja) * 2006-08-04 2011-02-02 株式会社メガチップス トランスコーダおよび符号化画像変換方法
US8457958B2 (en) 2007-11-09 2013-06-04 Microsoft Corporation Audio transcoder using encoder-generated side information to transcode to target bit-rate
US8213502B2 (en) * 2007-12-31 2012-07-03 Ceva D.S.P. Ltd. Method and system for real-time adaptive quantization control
JP2009200713A (ja) * 2008-02-20 2009-09-03 Sony Corp 画像処理装置、画像処理方法、プログラム
US8311115B2 (en) 2009-01-29 2012-11-13 Microsoft Corporation Video encoding using previously calculated motion information
US8396114B2 (en) * 2009-01-29 2013-03-12 Microsoft Corporation Multiple bit rate video encoding using variable bit rate and dynamic resolution for adaptive video streaming
US8311092B2 (en) 2009-02-06 2012-11-13 Broadcom Corporation Network packet aware data encoding
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
US8705616B2 (en) 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
JP2012199877A (ja) * 2011-03-23 2012-10-18 Sony Corp 画像処理装置、画像処理方法、並びにプログラム
CN108989847B (zh) 2011-08-30 2021-03-09 帝威视有限公司 用于编码和流处理视频的系统和方法
US9591318B2 (en) 2011-09-16 2017-03-07 Microsoft Technology Licensing, Llc Multi-layer encoding and decoding
US11089343B2 (en) 2012-01-11 2021-08-10 Microsoft Technology Licensing, Llc Capability advertisement, configuration and control for video coding and decoding
US9532080B2 (en) 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
SG11201504504YA (en) * 2012-12-18 2015-07-30 Sony Corp Image processing device and image processing method
US9350990B2 (en) 2013-02-28 2016-05-24 Sonic Ip, Inc. Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
US9357210B2 (en) 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
KR101823321B1 (ko) * 2013-05-24 2018-01-31 쏘닉 아이피, 아이엔씨. 적응적 비트레이트 스트리밍을 위해 적응적 양자화를 갖고 다수의 비디오 스트림들을 인코딩하는 시스템들 및 방법들
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content
CN114501020A (zh) * 2016-08-21 2022-05-13 上海天荷电子信息有限公司 使用最近运动矢量和邻近运动矢量的图像压缩方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111870A (ja) * 1994-10-12 1996-04-30 Kokusai Denshin Denwa Co Ltd <Kdd> 画像情報の再符号化方法及び装置
KR19990077748A (ko) * 1998-03-10 1999-10-25 이데이 노부유끼 부호화 히스토리 정보를 이용하는 트랜스코딩 시스템
JP2000341686A (ja) 1999-05-31 2000-12-08 Toshiba Corp トランスコーダ装置

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3649776A (en) * 1969-07-22 1972-03-14 William D Burton Omnidirectional horn loudspeaker
FR2443769A2 (fr) * 1978-12-08 1980-07-04 Telediffusion Fse Compression et expansion (quantification) de signaux numeriques de television a codage differentiel
DE3613343A1 (de) * 1986-04-19 1987-10-22 Philips Patentverwaltung Hybrid-codierer
US4825448A (en) * 1986-08-07 1989-04-25 International Mobile Machines Corporation Subscriber unit for wireless digital telephone system
US5187755A (en) 1988-06-30 1993-02-16 Dainippon Screen Mfg. Co., Ltd. Method of and apparatus for compressing image data
US5291484A (en) * 1989-09-04 1994-03-01 Fujitsu Limited Relay and exchange system for time division multiplex data
DE69122595T2 (de) * 1990-12-27 1997-03-20 Toshiba Kawasaki Kk Aufzeichnungs- und Abspielgerät
US5260783A (en) * 1991-02-21 1993-11-09 Gte Laboratories Incorporated Layered DCT video coder for packet switched ATM networks
US5148272A (en) * 1991-02-27 1992-09-15 Rca Thomson Licensing Corporation Apparatus for recombining prioritized video data
US5212549A (en) * 1991-04-29 1993-05-18 Rca Thomson Licensing Corporation Error concealment apparatus for a compressed video signal processing system
US5327520A (en) * 1992-06-04 1994-07-05 At&T Bell Laboratories Method of use of voice message coder/decoder
JP3196906B2 (ja) * 1992-08-21 2001-08-06 富士ゼロックス株式会社 画像信号の符号化装置
JP3358835B2 (ja) * 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
JP3163830B2 (ja) 1993-03-29 2001-05-08 ソニー株式会社 画像信号伝送方法及び装置
TW301098B (ko) * 1993-03-31 1997-03-21 Sony Co Ltd
JPH0795584A (ja) * 1993-07-30 1995-04-07 Matsushita Electric Ind Co Ltd 画像符号化装置
NL9301358A (nl) * 1993-08-04 1995-03-01 Nederland Ptt Transcodeerinrichting.
JP3081425B2 (ja) 1993-09-29 2000-08-28 シャープ株式会社 映像符号化装置
US5452006A (en) * 1993-10-25 1995-09-19 Lsi Logic Corporation Two-part synchronization scheme for digital video decoders
KR970003789B1 (ko) * 1993-11-09 1997-03-21 한국전기통신공사 비디오 부호기의 전송율을 제어하기 위한 비트 할당 방법
US5537440A (en) * 1994-01-07 1996-07-16 Motorola, Inc. Efficient transcoding device and method
US5563593A (en) * 1994-03-18 1996-10-08 Lucent Technologies Inc. Video coding with optimized low complexity variable length codes
US5500678A (en) * 1994-03-18 1996-03-19 At&T Corp. Optimized scanning of transform coefficients in video coding
US5754235A (en) * 1994-03-25 1998-05-19 Sanyo Electric Co., Ltd. Bit-rate conversion circuit for a compressed motion video bitstream
US5715009A (en) * 1994-03-29 1998-02-03 Sony Corporation Picture signal transmitting method and apparatus
US5534937A (en) * 1994-04-14 1996-07-09 Motorola, Inc. Minimum-delay jitter smoothing device and method for packet video communications
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
JPH07288804A (ja) 1994-04-18 1995-10-31 Kokusai Denshin Denwa Co Ltd <Kdd> 画像信号の再符号化装置
US5940130A (en) * 1994-04-21 1999-08-17 British Telecommunications Public Limited Company Video transcoder with by-pass transfer of extracted motion compensation data
US5561737A (en) * 1994-05-09 1996-10-01 Lucent Technologies Inc. Voice actuated switching system
DE4416967A1 (de) * 1994-05-13 1995-11-16 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Transcodierung von Bitströmen mit Videodaten
DE69529579D1 (de) 1994-06-17 2003-03-13 Snell & Wilcox Ltd Komprimieren eines aus kompressionskodierten Videosignalen nach deren Teildekodierung kombinierten Signales
GB9413001D0 (en) 1994-06-28 1994-08-17 Ntl Methods for the synchronisation of successive digital video compression/decompression systems
EP0690392B1 (en) * 1994-06-30 2001-09-26 Koninklijke Philips Electronics N.V. Method and device for transcoding a sequence of coded digital signals
JP3629728B2 (ja) * 1994-08-31 2005-03-16 ソニー株式会社 動画像信号符号化方法、動画像信号符号化装置及び動画像信号記録媒体
JP3623989B2 (ja) * 1994-09-22 2005-02-23 キヤノン株式会社 画像変換方法及び装置
JP3058028B2 (ja) 1994-10-31 2000-07-04 三菱電機株式会社 画像符号化データ再符号化装置
US5889561A (en) * 1994-11-04 1999-03-30 Rca Thomson Licensing Corporation Method and apparatus for scaling a compressed video bitstream
GB9501736D0 (en) 1995-01-30 1995-03-22 Snell & Wilcox Ltd Video signal processing
DE69607696T2 (de) * 1995-02-15 2000-10-19 Koninkl Philips Electronics Nv Vorrichtung und verfahren zur transkodierung von videosignalen
US5774206A (en) * 1995-05-10 1998-06-30 Cagent Technologies, Inc. Process for controlling an MPEG decoder
GB2301970B (en) * 1995-06-06 2000-03-01 Sony Uk Ltd Motion compensated video processing
ATE278297T1 (de) 1996-07-15 2004-10-15 Snell & Wilcox Ltd Videosignalkompression
JPH1032830A (ja) 1996-07-16 1998-02-03 Kokusai Denshin Denwa Co Ltd <Kdd> 画像情報の再符号化方法及び装置
US6856650B1 (en) * 1996-07-16 2005-02-15 Kokusai Denshin Denwa Co., Ltd. Method and apparatus for second or later generation coding of video signal
JP3956323B2 (ja) 1996-07-16 2007-08-08 Ｋｄｄｉ株式会社 画像情報の再符号化方法及び装置
JPH1051766A (ja) * 1996-08-05 1998-02-20 Mitsubishi Electric Corp 画像符号化データ変換装置
JP3623056B2 (ja) * 1996-09-10 2005-02-23 ソニー株式会社 動画像圧縮装置
GB2318246B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing digitally encoded signals
GB2318472B (en) * 1996-10-09 2000-11-15 Sony Uk Ltd Processing encoded signals
US6163573A (en) * 1996-12-12 2000-12-19 Sony Corporation Equipment and method for compressing picture data
US5870146A (en) * 1997-01-21 1999-02-09 Multilink, Incorporated Device and method for digital video transcoding
BR9809251A (pt) 1997-05-09 2000-06-27 Neomedia Technologies Inc Soci Método para inserir ligações a um recurso de rede em um meio de transmissão
US5907374A (en) 1997-06-30 1999-05-25 Hewlett-Packard Company Method and apparatus for processing a compressed input bitstream representing an information signal
US6100940A (en) * 1998-01-21 2000-08-08 Sarnoff Corporation Apparatus and method for using side information to improve a coding system
GB2333656B (en) 1998-01-22 2002-08-14 British Broadcasting Corp Compressed signals
US6574274B2 (en) * 1998-02-27 2003-06-03 Sony Corporation Picture signal processing system, decoder, picture signal processing method, and decoding method
JP3724204B2 (ja) * 1998-03-10 2005-12-07 ソニー株式会社 符号化装置および方法、並びに記録媒体
WO1999057673A2 (en) * 1998-04-30 1999-11-11 Koninklijke Philips Electronics N.V. Transcoding of a data stream
US6167084A (en) * 1998-08-27 2000-12-26 Motorola, Inc. Dynamic bit allocation for statistical multiplexing of compressed and uncompressed digital video signals
JP2000209425A (ja) * 1998-11-09 2000-07-28 Canon Inc 画像処理装置及び方法並びに記憶媒体
ES2569491T3 (es) * 1999-02-09 2016-05-11 Sony Corporation Sistema de codificación y método asociado
KR100357093B1 (ko) * 1999-06-02 2002-10-18 엘지전자 주식회사 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법
GB9920929D0 (en) * 1999-09-03 1999-11-10 Sony Uk Ltd Video signal processor
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
US6369722B1 (en) * 2000-03-17 2002-04-09 Matra Nortel Communications Coding, decoding and transcoding methods
FR2809573B1 (fr) * 2000-05-26 2002-08-16 Thomson Broadcast Systems Procede de codage d'un flux d'images video
US20020016755A1 (en) * 2000-07-17 2002-02-07 Pearce Kenneth F. Method of establishing a commercial relationship between a service provider and a potential customer of the service, including a reasoning criterion, and method of face-to-face advertising in a public place
JP3632591B2 (ja) * 2000-11-13 2005-03-23 日本電気株式会社 画像処理装置、方法及びコンピュータ読み取り可能な記録媒体
US8782254B2 (en) * 2001-06-28 2014-07-15 Oracle America, Inc. Differentiated quality of service context assignment and propagation
EP1292153B1 (en) * 2001-08-29 2015-08-19 Canon Kabushiki Kaisha Image processing method and apparatus, computer program, and storage medium
US20030059061A1 (en) * 2001-09-14 2003-03-27 Sony Corporation Audio input unit, audio input method and audio input and output unit
JP2005304065A (ja) 2005-05-16 2005-10-27 Sony Corp 復号装置および復号方法、符号化装置および符号化方法、情報処理装置および情報処理方法、並びに、記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08111870A (ja) * 1994-10-12 1996-04-30 Kokusai Denshin Denwa Co Ltd <Kdd> 画像情報の再符号化方法及び装置
KR19990077748A (ko) * 1998-03-10 1999-10-25 이데이 노부유끼 부호화 히스토리 정보를 이용하는 트랜스코딩 시스템
JP2000341686A (ja) 1999-05-31 2000-12-08 Toshiba Corp トランスコーダ装置

Also Published As

Publication number Publication date
JP4196726B2 (ja) 2008-12-17
CN100521791C (zh) 2009-07-29
CN1788496A (zh) 2006-06-14
US20090202162A1 (en) 2009-08-13
EP1624703B1 (en) 2011-11-30
KR20060004693A (ko) 2006-01-12
US7859956B2 (en) 2010-12-28
WO2004102972A1 (ja) 2004-11-25
JP2004343280A (ja) 2004-12-02
EP1624703A1 (en) 2006-02-08
EP1624703A4 (en) 2009-06-24
US7606124B2 (en) 2009-10-20
US20070053444A1 (en) 2007-03-08
US20110064321A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
KR100968988B1 (ko) 화상 처리 장치 및 화상 처리 방법, 및 기록 매체
JP5223769B2 (ja) 復号装置および方法、プログラム、並びに記録媒体
KR100766740B1 (ko) 부호화 히스토리 정보를 이용하는 데이터 변환 장치 및 방법
US6301428B1 (en) Compressed video editor with transition buffer matcher
KR20050109629A (ko) 코딩 시스템 및 방법, 부호화 장치 및 방법, 복호화 장치및 방법, 기록 장치 및 방법, 및 재생 장치 및 방법
US8155458B2 (en) Image processing apparatus and image processing method, information processing apparatus and information processing method, information recording apparatus and information recording method, information reproducing apparatus and information reproducing method, recording medium and program
EP2077670A1 (en) Transcoder, transcoding method, decoder, and decoding method
US6314139B1 (en) Method of inserting editable point and encoder apparatus applying the same
US7729425B2 (en) Image processing apparatus and method, program, and recording medium
US8107528B2 (en) Picture processing apparatus, picture processing method, information processing apparatus, recording medium, and program
JP4826533B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに、記録媒体
JP2000197010A (ja) 画像デ―タ編集装置
US20050084008A1 (en) Image processing apparatus and method, information processing apparatus and method, program, recording medium, and information processing system
JP4875285B2 (ja) 編集装置および方法
JPH11234675A (ja) 動画像符号化装置及び方法、動画像復号装置及び方法並びに記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee