KR100390115B1 - 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체 - Google Patents

화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체 Download PDF

Info

Publication number
KR100390115B1
KR100390115B1 KR10-2000-0018963A KR20000018963A KR100390115B1 KR 100390115 B1 KR100390115 B1 KR 100390115B1 KR 20000018963 A KR20000018963 A KR 20000018963A KR 100390115 B1 KR100390115 B1 KR 100390115B1
Authority
KR
South Korea
Prior art keywords
component
encoding
image
data
complexity
Prior art date
Application number
KR10-2000-0018963A
Other languages
English (en)
Other versions
KR20000071640A (ko
Inventor
분충셍
니시다카히로
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20000071640A publication Critical patent/KR20000071640A/ko
Application granted granted Critical
Publication of KR100390115B1 publication Critical patent/KR100390115B1/ko

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

본 발명은 각 구성요소의 오브젝트 화상 데이터(object image data)에 대한 부호화 처리를 최적의 조건에서 실시할 수 있고, 이것에 의해, 재생한 비디오 신호 전체의 화질을 높이는 것을 목적으로 하고, 상기 목적을 달성하기 위해 부호화 처리의 대상으로 되는 대상 프레임에 대응하는 비디오 신호에 할당되는 프레임 비트수를 결정하는 프레임 비트수 결정수단(210)과, 대상 프레임을 구성하는 각 구성요소의 복잡도에 따라, 상기 프레임 비트수를 각 구성요소에 할당하는 오브젝트 비트수 결정수단(209)을 구비하고, 상기 대상 프레임에 대응하는 각 오브젝트 화상 데이터를, 각 구성요소에 대하여 분배시킨 비트수에 근거하여 부호화하도록 하였다.

Description

화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체{IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS AND DATA STORAGE MEDIA}
본 발명은, 화상 처리 방법, 화상 처리 장치, 데이터 기억 매체에 관한 것으로, 특히 복수의 오브젝트(결국 1개의 화상을 구성하는 복수의 구성요소)의 시퀀스에 상당하는 오브젝트 화상 데이터로 이루어진 비디오 신호를 부호화하는 부호화 처리에 있어서의 발생 비트수의 제어에 관한 것이다.
디지털 화상 정보를 효율 좋게 축적 혹은 전송하기에는 디지털 화상 정보를 압축 부호화할 필요가 있고, 현재로서는, 디지털 화상 정보를 압축 부호화하기 위한 방법으로서 JPEG(Joint Photographic Coding Experts Group)나 MPEG(Moving Picture Experts Group)로 대표되는 이산 코사인 변환(DCT : Discrete Cosine Transform) 외에, 서브밴드, 웨이블릿, 프랙털 등의 파형 부호화 방법이 있다.
또한, 인접하는 프레임 등의 화면 간에 있어서의 불필요한 화상 정보를 제거하는 방법으로서는, 동작 보상을 이용한 화면간 예측을 실시하고, 결국 현 화면을 구성하는 화소의 화소값을, 이것과 전 화면을 구성하는 화소의 화소값과의 차분값을 이용하여 나타내고, 이 차분값으로 이루어진 차분 화상 신호를 파형 부호화하는 방법이 있다.
그런데, 최근, 비디오 신호의 압축효율을 향상시킴과 동시에, 소정의 화상을 구성하는 각각의 물체(구성요소)를 단위로 하여 비디오 신호의 재생을 할 수 있도록 그 물체에 대응하는 오브젝트 화상 데이터를 물체마다 각각 압축 부호화하여 전송하는 부호화 방식이 고려되고 있다. 이 부호화 방식에 의해 부호화된 비디오 신호에 대하여, 재생 측에서 상기 부호화 방식에 대응한 복호화 처리가 실시된다. 결국, 이 복호화 처리에서는, 각각의 물체에 대응하는 오브젝트 부호화 데이터가 복호화되고, 그 복호화에 의해 얻어진 각 물체에 대응하는 오브젝트 복호화 데이터가 구성되어, 재생 데이터가 생성된다. 그리고, 이 재생 데이터에 근거하여, 개개의 물체로 이루어진 화상이 표시된다.
상기와 같이 물체 단위로 비디오 신호의 부호화를 실행하는 부호화 방식을 이용하는 것에 의해, 재생측에서는, 개개의 물체를 자유롭게 조합시켜 합성화상을 생성하는 것이 가능하게 되고, 이것에 의해 동화상을 간단하게 재편집할 수 있다.또한, 통신로의 혼잡 상태나 재생 장치의 성능 혹은 시청자의 기호에 의해, 비교적 중요하지 않은 물체를 재생하지 않도록, 중요도가 높은 물체만으로 이루어진 동화상을 표시할 수 있다.
이와 같이 물체 단위로 비디오 신호의 부호화를 실행하는 부호화 방식을 오브젝트 부호화 방식이라 하고, MPEG4로서 국제적으로 표준화 작업이 진행되고 있다.
상기와 같이 부호화 처리에 의해 비디오 신호를 압축하여 얻어지는 부호화 데이터는 일정 시간당 복호화 처리되어야 할 부호량(피처리 비트수)이 변동한다. 이 때문에, 이와 같은 부호화 데이터를 일정 비트 레이트로 수신측에 전송하고, 수신측에서 그 부호화 데이터를 양호하게 재생하기에는 수신측에 부호화 데이터를 저장하는 버퍼를 설치하고, 일정 시간당 피처리 비트수의 변동을 흡수할 필요가 있다. 이 경우, 상기 버퍼의 크기, 결국 버퍼에 저장 가능한 데이터의 최대량에 의해, 버퍼에 의해 상기 피처리 비트수의 변동을 흡수 가능한 범위가 달라진다.
표준규격에는 상기 버퍼 크기의 최대값이 정해져 있고, 이 최대크기의 버퍼를 가지는 수신기에서는 시간당 피처리 비트수가 변동하는 부호화 데이터를 일정한 비트 레이트에서 수신하고, 이 부호화 데이터를 문제없이 재생하는 것이 가능하다.
또한 이 때, 부호화 측에서는, 수신측이 가지고 있는 버퍼에 대한 크기 등의 기능적인 제한에 근거하여, 버퍼가 넘치지 않도록(오버 플로우하지 않도록), 또한 한가하게 되지 않도록(언더 플로우하지 않도록), 송신 레이트가 일정 비트로 되도록 제어한다.
오브젝트 부호화 방식에서는 1개의 비디오 신호는 복수의 구성요소에 대응하는 오브젝트 화상 데이터로 구성되어 있다. 이들의 구성요소로서는 단형(短形) 형상의 화상이나 임의 형상을 가진 화상(물체) 등이 있고, 예컨대, 단형 형상의 화상에 이것을 배경으로서, 임의 형상의 화상인 애니메이션 캐릭터, 인물, 동물상을 조합시킬 수 있다.
그리고, 종래의 화상 전송 시스템에서는 수신 측의 화상 복호화 장치는 상기와 같은 단위 시간당 처리해야 할 비트수의 변동을 흡수하는 버퍼를, 개개의 구성요소에 대응시켜 구비한 구성으로 되어 있다.
즉, 수신측에서는, 1개의 구성요소에 대응하는 오브젝트 부호화 데이터를, 그 구성요소에 대응하는 버퍼 및 복호화기에 의해 복호화하도록 하고 있다. 또한, 송신측에서는 비디오 신호의 부호화 처리 시에, 각 구성요소에 대응하는 버퍼가 오버 플로우 또는 언더 플로우하게 되지 않도록, 레이트 제어, 결국 부호화 데이터로서 발생하는 부호량의 제어를 행하도록 하고 있다. 환언하면, 상기 부호화 처리 시의 레이트 제어는 구성요소 사이에서 독립하여 행해지고 있다.
도 13은 종래의 화상 전송 시스템을 구성하는 부호화 장치 및 복호화 장치의 구성을 나타내는 블록도이다. 또, 여기서는, 설명의 편의상, 3개의 구성요소를 처리하는 경우에 대하여 설명하지만, 구성요소의 수는 이것에 한정되는 것은 아니다.
이 화상 전송 시스템(1000)은 제 1, 제 2, 제 3 물체(구성요소)에 대응하는 화상 데이터(오브젝트 화상 데이터)(1304, 1314, 1324)를 수신하여, 이들 데이터에 대하여 압축 부호화 처리 및 다중화 처리를 실시하여 다중 비트 스트림(1308)을 출력하는 부호화 장치(1000a)와, 다중 비트 스트림(1308)을 수신하여 상기 각 물체에 대응하는 압축 데이터(오브젝트 부호화 데이터)에 대하여 신장 복호화 처리 및 합성 처리를 실시하고, 각 물체로 이루어진 화상에 대응하는 재생 데이터를 생성하는 복호화 장치(1000b)를 가지고 있다.
상기 부호화 장치(1000a)는 제 1, 제 2, 제 3 물체(구성요소)에 대응하는 화상 데이터(1304, 1314, 1324)를 부호화하여 압축 데이터(1305, 1315, 1325)를 출력하는 제 1, 제 2, 제 3 부호화기(1302, 1312, 1322)와, 각 물체에 대응하는 압축 데이터(1305, 1315, 1325)를 다중화하여, 다중 비트 스트림(1308)로서 출력하는 다중화기(1307)를 가지고 있다. 또한, 상기 부호화 장치(1000a)는 상기 각 부호화기(1304, 1314, 1324)에 대응시켜 설치되고, 각각의 부호화기로부터 출력되는 압축 데이터(1305, 1315, 1325)에 근거하여, 상기 각 부호화기에서 발생하는 압축 데이터의, 소정 시간당 복호화 처리를 실시해야 할 데이터량(비트수)을 제어하는 레이트 제어기(1303, 1313, 1323)를 가지고 있다.
또한, 상기 복호화 장치(1000b)는 상기 다중 비트 스트림(1308)를 입력 데이터(1317)로서 수신하고, 그 입력 데이터(1317)로부터, 각 물체에 대응하는 압축 데이터(1330, 1335, 1340)를 추출하는 분리기(1318)와, 각 물체에 대응하여 설치되고, 압축 데이터(1330, 1335, 1340)를 각각 저장하는 제 1, 제 2, 제 3 버퍼(1331, 1336, 1341)를 가지고 있다. 또한, 상기 복호화 장치(1000b)는, 각 물체에 대응하여 설치되고, 상기 각 버퍼에 저장되어 있는 압축 데이터(1332, 1337, 1342)를 판독하여 복호화 처리를 실시하는 제 1, 제 2, 제 3 복호화기(1333, 1338, 1343)와, 각 복호화기로부터 출력되는 복호화 데이터(1334, 1339, 1344)를 합성하여, 소정의화상에 대응하는 재생 데이터(1320)를 출력하는 합성기(1319)를 가지고 있다.
또, 도 13 중, 참조부호 1301, 1311, 1321은 각각 제 1, 제 2, 제 3 화상 데이터가 입력되는 부호화 장치(1000a)의 입력단자이고, 참조부호 1309는 상기 다중 비트 스트림(1308)이 출력되는 부호화 장치(1000a)의 출력단자이다. 또한, 참조부호 1310은 상기 다중 비트 스트림(1308)이 입력되는 복호화 장치(1000b)의 입력단자, 참조부호 1327은 상기 재생 데이터(1320)가 출력되는 복호화 장치(1000b)의 출력단자이다.
그리고, 이 화상 전송 시스템에서는 상기 레이트 제어기(1303, 1313, 1323)는, 수신 측의 버퍼(1331, 1336, 1341)가 오버 플로우 또는 언더 플로우하게 되지 않도록, 각 부호화기(1302, 1312, 1322)에 대하여 독립하여 레이트 제어를 하는 구성으로 되어 있다.
다음에 동작에 대하여 설명한다.
상기 화상 전송 시스템(1000)에서는 각 물체에 대응하는 화상 데이터(1304, 1314, 1324)가 각 입력단자(1301, 1311, 1321)에 입력되면, 예컨대, 제 1 부호화기에서는 제 1 물체에 대응하는 화상 데이터(1304)에 대한 부호화 처리가, 대응하는 레이트 제어기(1303)로부터의 제어신호(1306)에 근거하여 행해진다. 제 2, 제 3 부호화기(1312, 1322)에 있어서도, 마찬가지로, 화상 데이터(1314, 1324)의 부호화 처리가 제어신호(1316, 1326)에 근거하여 행해진다.
이와 같이 하여 각 부호화기에서의 부호화 처리에 의해 얻어지는 압축 데이터(1305, 1315, 1325)는 다중화기(1307)에서 다중화되고, 다중 비트 스트림(1308)으로서 출력단자(1309)로부터 출력된다.
한편, 수신측의 복호화 장치(1000b)에서는 다중 비트 스트림(1308)이 입력되면, 분리기(1318)에서, 그 다중 비트 스트림(1308)으로부터, 각 대응하는 압축 데이터(1330, 1335, 1340)가 분리되고, 각각 대응하는 버퍼(1331, 1336, 1341)에 입력된다. 그 각 버퍼에 입력된 압축 데이터는, 대응하는 복호화기(1333, 1338, 1343)에 판독되어, 각각 복호화 처리가 실시되어 복호화 데이터(1334, 1339, 1344)가 생성된다. 이들의 복호화 데이터(1334, 1339, 1344)는 합성기(1319)에서 합성되고, 합성된 데이터가 소정의 화상에 대응하는 재생 데이터(1320)로서 출력된다.
이와 같이 부호화 장치로부터 복호화 장치로 부호화 데이터의 전송이 행해질 때에는 상기 전송 측의 부호화 장치에 있어서의 레이트 제어기(1303, 1313, 1323)에서는 수신측의 버퍼(1331, 1336, 1341)가 오버 플로우 또는 언더 플로우되지 않도록, 각 물체에 대응하는 부호화기마다 독립하여, 부호화 처리에 있어서의 레이트 제어가 행해진다.
상술했듯이, 종래의 화상 전송 시스템(1000)은, 도 13에 나타내듯이, 각 복호화기(1333, 1338, 1343)가 각각 독립한 버퍼(1331, 1336, 1341)로부터 압축 데이터를 판독하여 복호화하는 구성으로 되어 있다. 또한, 상기 각 버퍼에서는 버퍼 크기의 최대값은 고정되어 있고, 대부분의 경우 그 최대값은 동일값으로 되어 있다.
이 경우, 부호화 측에는 상기 버퍼 크기의 최대값보다 작은 값을 버퍼 크기의 임계값으로 설정하여, 그 임계값에 따라 부호화 처리를 실시하는 것이 가능하고, 이와 같은 부호화 방법은 부호량이 작은 화상 부호화 데이터를 전송할 때에 잘 사용되는 방법이다.
그렇지만, 송신 측에서, 많은 부호량이 필요하게 되는 구성요소의 화상 데이터에 대하여, 버퍼 크기의 최대값보다 큰 값을 임계값으로서 레이트 제어를 하면서 부호화 처리를 하면, 수신 측의 복호화기에서는 정상인 복호화 처리를 할 수 없게 된다. 이 경우, 수신 측의 정상적인 복호화 처리를 하기에는, 많은 부호량이 필요하게 되는 구성요소의 화상 데이터를 더욱 높은 압축률로 부호화할 필요가 있고, 이와 같은 높은 압축률에서 부호화 처리를 하면, 재생되는 화상의 화질이 열화하여 버린다는 문제가 있다.
도 14는 디코더 버퍼 점유량(압축 데이터에 의한 버퍼용량의 점유량)의 천이를 그래프에 의해 나타내는 모식도이다. 도 14(a)는, 제 1 구성요소에 대한 디코더의 버퍼 점유량을 나타내고, 도 14(b), 도 14(c)는 각각 제 2와 제 3 구성요소에 대한 디코더 버퍼 점유량을 나타내고 있다. 또, 도면 중, 세로축(1401, 1411, 1421)은 디코더 버퍼 점유량을 나타내고, 가로축(1402, 1412, 1422)은 압축 데이터의 표시 시간 t를 나타내고 있다. 또, 표시시간 t0, t1, t2, t3, …은 예컨대, n번째, (n+1)번째, (n+2)번째, (n+3)번째, …의 프레임의 표시시간을 나타낸다.
상기 도 14(a)에 있어서의 그래프의 경사부분(1404)의 기울기는 버퍼에 입력되는 제 1 물체에 대응하는 압축 데이터의 단위 시간당 입력되는 부호량(입력 비트레이트)이고, 도 14(a)에서는 이 입력 비트 레이트는, 일정하게 되어 있다. 또, 도면 중, Dm1은 버퍼에 저장 가능한 압축 데이터의 최대값이고, 어떤 경우에도, 버퍼는 이 최대값을 초과하여 압축 데이터를 저장할 수 없다.
또한, 상기 그래프의 가로축과 수직인 세로선 부분(1405)의 길이는 시간 t0에 나타내는 프레임에 대응하는 제 1 물체의 압축 데이터 비트수를 나타내고 있다. 즉, 상기 그래프의 경사부분(1404)의 기울기에서 나타내는 입력비트 레이트를 가지고 비트열이 버퍼에 입력되어, 시간 t0에서 버퍼 내에 저장되어 있는 데이터량이 상기 세로선 부분(1405)의 정점에 대응하는 레벨에 다다른다. 이 때 디코더(복호화기)는 상기 세로선 부분(1405)의 길이로 나타내어지는 비트수의 압축 데이터를 기록하고, 시간 t0의 프레임에 대응하는 압축 데이터를 복호화한다.
또한, 상기 도 14(b),(c)에 있어서의 그래프의 경사 부분(1414, 1424)의 경사는 버퍼에 입력되는 제 2, 제 3 물체에 대응하는 압축 데이터의 단위 시간당 입력되는 부호량(입력 비트 레이트)이고, 도 14(b),(c)에서는 이 입력 비트 레이트는 일정하게 되어 있다. 또, 도면 중, Dm2, Dm3은 버퍼(1336, 1341)에 저장 가능한 데이터의 최대값이고, 어떤 경우에도 버퍼는 이 최대값을 초과하여 데이터를 저장할 수 없다.
또한, 상기 그래프의 가로축과 수직인 세로선 부분(1415, 1425)의 길이는 시간 t0에 나타내는 프레임에 대응하는 제 2, 제 3 물체의 압축 데이터의 비트수를 나타내고 있다. 즉, 상기 그래프의 경사부분(1414, 1424)의 기울기에서 나타내는 입력 비트 레이트를 가진 비트열이 버퍼에 입력되고, 시간 t0에서 버퍼 내에 저장되어 있는 데이터량이 상기 세로선 부분(1415, 1425)의 정점에 대응하는 레벨에 이른다. 이 때 디코더(복호화기)는 상기 세로선 부분(1415, 1425)의 길이로 나타내는 비트수의 압축 데이터를 기록하고, 시간 t0의 프레임에 대응하는 압축 데이터를 복호화한다.
여기서는, 제 1 구성요소(물체)는 부호화 처리에 필요로 하는 부호량이 많은 구성요소로 하고, 제 2 구성요소(물체)는 부호화 처리에 필요로 하는 부호량이 적은 구성요소로 한다. 제 1 구성요소(도 14(a))에 대응하는 버퍼는 거의 데이터 저장량의 최대값까지, 압축 데이터로 점유되어 있지만, 제 2 구성요소(도 14(b))에 대응하는 버퍼는 그런대로 데이터 저장량에 상당한 여유가 있다.
이와 같은 경우, 종래의 화상 전송 시스템에서는 데이터 저장량이 작은 버퍼의 데이터 저장 영역을, 제 1 구성요소에 대응하는 압축 데이터에 할당할 수 없다. 그 때문에 제 1 구성요소에 대응하는 화상 데이터를 제 2 구성요소보다 높은 압축률로 압축할 필요가 생겨, 결과로서 제 1 구성요소의 화질이 악화된다는 문제가 있다.
더욱이, 제 3 구성요소(도 14(c))에서는 시간 t0, t1에서 판독되는 압축 데이터는 부호량이 적은 것이고, 시간 t2에서 판독되는 압축 데이터는 부호량이 많은 것이다. 이와 같이 시간 경과와 함께 화상의 복잡도의 변동이 큰 구성요소에 대응하는 버퍼는 그 데이터 저장 영역이 거의 점유되어 버린다. 이와 같은 구성요소에 대하여는, 버퍼 크기의 제한에 의해, 시간 t2에 압축 데이터의 판독이 행해지는 프레임은, 압축 데이터에 대한 부호량의 할당이 제한되는 것으로 되고, 이 결과 이프레임에 대한 화질이 악화된다는 문제가 있다.
또한, 평균적으로는 모든 구성요소의 복잡도 혹은 복잡도의 변동이 동일하더라도, 국소적으로는 어떤 시각에 있어서, 특정의 구성요소의 화상이 다른 구성요소의 화상보다 복잡하게 되는 경우가 있다. 이와 같은 경우에 상기 특정의 구성요소에 대응하는 데이터에 많은 비트 수를 할당하여 부호화 하도록 하여도, 버퍼 크기의 제한에 의해, 다른 구성요소에 대응하는 버퍼의 데이터 점유량에 여유가 있어도, 상기 특정의 구성요소에 대하여는 대응하는 버퍼의 데이터 저장량의 상한까지 밖에 비트수를 할당할 수 없다. 이 때문에, 상기 특정의 구성요소의 화상이 복잡하게 되는 경우에 그 화상의 화질을 높일 수 없다.
이와 같이, 종래의 기술에서는 각 구성요소(즉 각각의 디코더)에 대하여, 수신 측에서는 부호화 데이터(압축 데이터)를 저장하는 버퍼를 독립하여 설치하고 있으므로, 구성요소 간의 버퍼의 유효 이용을 할 수 없고, 특정의 구성요소의 화질이 열화하고, 합성한 화상의 화질에 흩어짐이 생긴다는 문제가 있다.
더욱이, 각 물체에 대응하는 압축 데이터의 전송 레이트는 미리 물체의 화상의 복잡도를 고려하여 설정되어 있으므로, 반드시, 한정된 데이터 전송 속도를 가지는 실제의 통신 회선에 적용할 수 있는 것은 아니라는 문제도 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것이고, 복수의 다른 구성요소의 사이에서, 부호화 데이터를 저장하기 위한 버퍼를 유효하게 이용할 수 있고, 버퍼가 오버 플로우 혹은 언더 플로우를 생성하지 않는 한, 각 구성요소의 복잡도에 따라 비트수를 동적으로 분배할 수 있는 화상 처리 방법, 화상 처리 장치 및 화상 처리 방법에 의한 화상 처리를 컴퓨터에 의해 하기 위한 프로그램을 저장한 데이터 기억 매체를 얻는 것을 목적으로 한다.
본 발명은, 물체에 대응하는 압축 데이터의 전송레이트를, 한정된 데이터 전송 속도를 가진 실제의 통신 회선에 적용한 것으로 할 수 있는 화상 처리 방법, 화상 처리 장치 및 화상 처리 방법에 의한 화상 처리를 컴퓨터에 의해 실시하기 위한 프로그램을 저장한 데이터 기억 매체를 얻는 것을 목적으로 한다.
도 1은 본 발명의 실시예 1에 의한 화상 처리 방법을 설명하기 위한 도면이고, 그 화상 처리 방법에 의한 부호화 처리의 개략적인 흐름을 나타내고,
도 2는 본 발명의 실시예 1에 의한 화상 부호화 장치(화상 처리 장치)를 설명하기 위한 블록도,
도 3은 본 발명의 실시예 1에 의한 화상 복호화 장치(화상 처리 장치)를 설명하기 위한 블록도,
도 4는 상기 실시예 1의 화상 부호화 방법(화상 처리 방법)에 의한 구체적인 부호화 처리의 흐름을 나타내는 도면,
도 5는 상기 실시예 1의 화상 부호화 방법(화상 처리 방법)에 의한 상세한 부호화 처리의 흐름을 나타내는 도면,
도 6은 상기 실시예 1에 의한 화상 부호화 방법에 의해 처리하여 얻을 수 있는 부호화 데이터가 수신측의 디코더 버퍼를 점유하는 모양을, 버퍼 점유량의 시간 천이에 의해 나타내는 모식도,
도 7은 본 발명의 실시예 2에 의한 화상 부호화 장치(화상 처리 장치)를 설명하기 위한 블록도,
도 8은 본 발명의 실시예 2에 의한 화상 부호화 방법(화상 처리 방법)의 부호화 처리의 흐름을 나타내는 도면,
도 9는 본 발명의 실시예 3에 의한 화상 부호화 장치(화상 처리 장치)를 설명하기 위한 블록도,
도 10은 본 발명의 실시예 3에 의한 화상 부호화 방법(화상 처리 방법)의 부호화 처리의 흐름을 나타내는 도면,
도 11은 상기 실시예 3의 변형예에 의한 화상 부호화 방법(화상 처리 방법)의 부호화 처리의 흐름을 나타내는 도면,
도 12는 상기 각 실시예의 화상 부호화 방법을 컴퓨터 시스템에 의해 실현하기 위한 프로그램을 저장하기 위한 데이터 기억 매체((a), (b)) 및 컴퓨터 시스템(c)을 설명하기 위한 도면,
도 13은 종래의 화상 전송 시스템을 구성하는 부호화 장치 및 복호화 장치를 설명하기 위한 블록도,
도 14는 종래의 화상 전송 시스템을 구성하는 복호화 장치에 있어서의, 부호화 데이터의 버퍼 점유량의 천이를 나타내는 모식도이고, (a), (b), (c)는 각각 제 1, 제 2, 제3 구성요소에 대응하는 것을 나타내고,
도 15는 본 발명의 실시예 1의 화상 부호화 장치를 구성하는 부호화기를 설명하기 위한 블록도,
도 16은 본 발명의 실시예 1의 화상 복호화 장치를 구성하는 복호화기를 설명하기 위한 블록도,
도 17은 실시예 3의 변형예에 의한 화상 부호화 장치의 부호화 처리를 설명하기 위한 모식도이고, (a), (b), (c)는 각각 제 1, 제 2, 제 3 구성요소에 대응하는 비트 레이트 및 버퍼 크기 Bo(1), Bo(2), Bo(3)을 나타낸다.
도면의 주요 부분에 대한 부호의 설명
110a, 120a, 130 : 화상 부호화 장치 110b : 화상 복호화 장치
201~203, 301, 701~703, 901~903 : 입력단자
204~206, 704~706, 904~906 : 부호화기 207, 707, 907 : 다중화기
208, 308, 708, 908 : 출력단자 209, 712 : 오브젝트 비트수 결정기
210, 711 : 프레임 비트수 결정기 211, 710 : 레이트 제어기
212~214 : 화상 데이터(오브젝트 화상 데이터)
218~220 : 부호화 데이터(오브젝트 부호화 데이터)
221, 319, 721, 924 : 비트 스트림
222~224 : 복잡도 정보 302 : 분리기
303, 306, 717~719 : 전환 스위치 304 : 버퍼
305 : 복호화기 307 : 합성기
318 : 재생 데이터
709 : 발생 비트수 정보 저장 수단 713 : CPU
714~716, 734 : 개폐 스위치
720~722 : 화상 데이터(오브젝트 화상 데이터)
723~725 : 부호화 데이터(오브젝트 부호화 데이터)
909 : 비트 레이트, 버퍼 크기 결정 수단
910 : 오브젝트 복잡도 측정 수단
911~913 : 화상 데이터(오브젝트 화상 데이터)
917~919 : 부호화 데이터(오브젝트 부호화 데이터)
FC : 플로피 디스크 케이스
FD : 플로피 디스크 D : 플로피 디스크 본체
Se : 섹터 Tr : 트랙
Cs : 컴퓨터 시스템 FDD : 플로피 디스크 드라이브
본 발명의 제 1 특징에 관한 화상 처리 방법은 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 방법에 있어서, 상기 각 오브젝트 화상 데이터의 부호화 처리에 요하는 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정처리와, 상기 각 구성요소의 복잡도에 따라, 각 오브젝트 화상 데이터에 대하여 할당되는 비트수의, 상기 복수의 구성요소 간의 비율을 결정하는 비트수 할당 비율 결정 처리를 포함하고, 상기 각 오브젝트 화상 데이터를, 상기 각 오브젝트 부호화 데이터에 대응하는 비트수가 상기 각 구성요소 사이에서의 할당 비트수의 결정비율을 만족하도록 부호화하는 것이다.
본 발명의 제 2 특징에 관한 화상 처리 방법은 제 1 특징에 관한 화상처리 방법에 의해 얻어지는 각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 이루어진 다중부호화 데이터를 복호화하는 화상 처리 방법에 있어서, 상기 다중 부호화 데이터로부터 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 분리하는 분리 처리와, 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 1개의 버퍼에 저장하는 저장 처리와, 그 버퍼로부터 각 구성요소에 대응하는 오브젝트 부호화 데이터를 취출하여 복호화하는 복호화 처리를 포함하는 것이다.
본 발명의 제 3 특징에 관한 화상 처리 방법은 제 1 특징에 관한 화상 처리 방법에 있어서, 상기 각 구성요소의 복잡도를 나타내는 지표로서, 상기 각 구성요소를 구성하는 화소값의 분산을 나타내는 제 1 값, 상기 각 구성요소의 표시화상의 시간적인 변동의 크기를 나타내는 제 2 값, 상기 부호화 처리의 대상으로 되는 대상 프레임보다 이전에 부호화 처리가 실시된 전처리 프레임에 있어서의 대응하는 구성요소에 대한 부호화시의 발생비트수를, 대상 프레임과 전처리 프레임 간의, 동일 구성요소의 특성을 나타내는 계수의 비율에 의해 가중치 부여한 제 3 값 혹은 상기 각 구성요소에 대한 오브젝트 화상 데이터를 일정한 부호화 조건으로 예비 부호화했을 때에 발생하는, 각 구성요소에 대응하는 발생 비트수를 나타내는 제 4 값 중 어느 하나의 값을 이용하는 것이다.
본 발명의 제 4 특징에 관한 화상 처리 방법은 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를, 표시 처리의 단위인 프레임마다 실시하는 화상 처리 방법에 있어서, 상기 부호화 처리의 대상으로 되는 대상 프레임에 대응하는 비디오 신호로 할당되는 프레임 비트수를 결정하는 프레임 비트수 결정처리와, 상기 대상 프레임을 구성하는 각 구성요소의 복잡도에 따라, 상기 프레임 비트수를 그 각 구성요소에 대응하도록 분배하여 각 구성요소의 대상 프레임에 대응하는 오브젝트 비트수를 결정하는 비트수 분배처리를 포함하고, 상기 대상 프레임에 대응하는 각 오브젝트 화상 데이터를, 대응하는 오브젝트 부호화 데이터의 비트수가, 상기 각 구성요소의 대상 프레임에 대응하는 오브젝트 비트수로 되도록 부호화하는 것이다.
본 발명의 제 5 특징에 관한 화상 처리 방법은 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를, 표시처리의 단위인 프레임마다 실시하는 화상 처리 방법에 있어서, 상기 부호화 처리의 대상으로 되는 대상 프레임에 대응하는 비디오 신호로 할당되는 프레임 비트수를 결정하는 프레임 비트수 결정 처리와, 상기 대상 프레임을 구성하는 복수의 구성요소의 복잡도의 총합에 대한 각 구성요소의 복잡도의 비에 따라, 각 오브젝트 화상 데이터에 대하여 할당되는 비트수의, 상기 복수의 구성요소 간의 비율을 결정하는 비트수 할당 비율 결정 처리를 포함하고, 상기 각 오브젝트 화상 데이터를, 상기 프레임 비트수가 상기 각 구성요소 간의 할당 비트수의 결정 비율에 따라 상기 각 오브젝트 부호화 데이터로 분배되도록 부호화하는 것이다.
본 발명의 제 6 특징에 관한 화상 처리 장치는 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 장치에 있어서, 상기 각 오브젝트 화상 데이터의 부호화 처리에 요하는 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정수단과, 상기 부호화 처리의 대상으로 되는 대상 프레임을 구성하는 각 구성요소의 복잡도에 따라 그 각 구성요소에 대하여 그 오브젝트 화상 데이터의 부호화 시에 이용하는 비트수를 할당하는 비트수 할당 수단과, 상기 대상 프레임에 대응하는 각 오브젝트 화상 데이터를, 각 구성요소에 대하여 할당된 비트수에 근거하여 부호화하여 오브젝트 부호화 데이터를 생성하는 부호화기와, 각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 비트 스트림을 생성하는 다중화기를 구비한 것이다.
본 발명의 제 7 특징은, 제 6 특징에 관한 화상 처리 장치에 있어서, 상기 비트수 할당 수단을, 대상 프레임에 있어서의 모든 구성요소의 복잡도의 총합에 대한, 각 구성요소의 복잡도의 비율에 근거하여, 상기 각 구성요소에 대응하는 비트수의 할당을 하도록 구성한 것이다.
본 발명의 제 8 특징은, 제 6 특징에 관한 화상 처리 장치에 있어서, 상기 복잡도 측정 수단을, 각 구성요소를 구성하는 화소의 화소값의 분산을 나타내는 제 1 값, 각 구성요소의 표시 화상의 시간적인 변동의 크기를 나타내는 제 2 값, 그 대상 프레임보다 이전에 부호화 처리가 실시된 전처리 프레임에 있어서의 대응하는 구성요소에 대한 부호화 시의 발생 비트수를, 대상 프레임과 전처리 프레임의 사이에서의, 동일 구성요소의 특성을 나타내는 계수의 비율에 의해 가중치 부여하여 얻어지는 제 3 값 혹은 상기 각 구성요소에 대한 오브젝트 화상 데이터를 일정한 부호화 조건으로 예비 부호화했을 때 발생하는, 각 구성요소에 대응하는 발생 비트수를 나타내는 제 4 값의 어느 하나를 지표로서, 상기 구성요소의 복잡도를 측정하도록 구성한 것이다.
본 발명의 제 9 특징은, 제 6 특징에 관한 화상 처리 장치에 있어서, 상기 비트수 할당 수단을, 상기 비트 스트림에 대하여 복호화 처리를 실시하는 화상 복호화 장치에 있어서의, 상기 비트 스트림으로부터 분리된 각 구성요소에 대응하는 부호화 오브젝트 데이터를 저장하는 1개의 버퍼가, 오버 플로우 혹은 언더 플로우하게 되지 않도록, 상기 대상 프레임에 대응하는 비디오 신호로 할당되는 프레임 비트수를 그 각 구성요소로 분배하는 구성으로 한 것이다.
본 발명의 제 10 특징에 관한 데이터 기록 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램으로서, 제 1 특징에 관한 화상 처리 방법에 의한 비디오 신호의 부호화 처리를 컴퓨터에 의해 하기 위한 프로그램을 저장한 것이다.
본 발명의 제 11 특징에 관한 화상 처리 방법은, 소정의 화상을 표시하기 위한 비디오 신호를 프레임마다 부호화 처리에 의해 비트 스트림으로 변환하고, 그 비트 스트림을 송신하는 송신측 데이터 처리와, 그 비트 스트림을 수신하고, 그 비트 스트림을 프레임마다 복호화 처리에 의해 재생 데이터로 변환하는 수신측 데이터 처리를 포함하는 화상 처리 방법에 있어서, 상기 송신측 데이터 처리를, 상기 소정 화상을 구성하는 복수의 구성요소에 대응하는 부호화 처리의 대상으로 되는 대상 프레임의 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리와, 각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 상기 비트 스트림을 생성하는 다중화 처리를 포함하는 구성으로 하고, 상기 수신측 데이터 처리를, 상기 비트 스트림을 프레임마다 1개의 버퍼로 저장하는 데이터 저장 처리와, 상기 버퍼로부터 대상 프레임에 대응하는 비트 스트림을 판독하고, 판독한 비트 스트림을 각 구성요소 별로 복호화하여, 각 구성요소에 대응하는 재생 데이터를 생성하는 복호화 처리와, 상기 각 구성요소에 대응하는 재생 데이터를 합성하여 합성 데이터를 생성하고, 그 합성 데이터에 근거하여, 상기 소정의 화상을 표시하는 합성 표시 처리를 포함하는 구성으로 한 것이다.
본 발명의 제 12 특징은, 제 11 특징에 관한 화상 처리 방법에 있어서, 상기 오브젝트 부호화 처리를, 상기 버퍼가 언더 플로우 혹은 오버 플로우하게 되지 않도록, 부호화의 대상으로 되는 대상 프레임으로 할당하는 프레임 비트 수를 결정하는 비트수 결정 처리와, 상기 대상 프레임을 구성하는 각 구성요소의 복잡도에 따라, 상기 프레임 비트수를 그 각 구성요소에 대응하도록 분배하여, 각 구성요소에 대응하는 오브젝트 비트수를 결정하는 비트수 분할 처리를 포함하고, 그 각 오브젝트 비트수에 근거하여, 상기 대상 프레임의 각 구성요소에 대응하는 오브젝트 화상 데이터를 부호화하는 구성으로 한 것이다.
본 발명의 제 13 특징에 관한 화상 처리 장치는, 소정 화상을 나타내기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하고, 그 각 오브젝트 부호화 데이터를 다중화 하여 얻어지는 다중부호화 데이터를, 복호화하는 화상 처리 장치에 있어서, 상기 다중 부호화 데이터로부터 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 분리하는 분리기와, 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 저장하는 1개의 버퍼와, 그 버퍼로부터 각 구성요소에 대응하는 오브젝트 부호화 데이터를 취출하여 복호화하는 복호화기를 구비한 것이다.
본 발명의 제 14 특징에 관한 화상 처리 방법은, 소정 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를, 표시처리의 단위인 프레임마다 실시하여 변환하는 오브젝트 부호화 처리를, 표시처리의 단위인 프레임마다 실시하는 화상 처리방법에 있어서, 각 구성요소에 대응하는 오브젝트 화상 데이터를 예비부호화하여 얻어지는, 각 구성요소에 대한 발생 비트수를, 각 구성요소의 복잡도의 지표로서 구할 수 있는 복잡도 도출 처리와, 본 부호화 처리가 실시되지 않는 모든 미부호화 프레임의 복잡도의 총합과, 본 부호화 처리의 대상으로 되는 대상 프레임의 복잡도의 비를, 프레임 분배율로서 구하는 프레임 분배율 도출 처리와, 상기 비디오 신호로 할당되어 있는 총 비트수 중 미사용 비트수에 상기 프레임 분배율을 승산하여 상기 대상프레임에 할당되는 비트수를 결정하는 프레임 비트수 결정 처리와, 상기 대상 프레임을 구성하는 모든 구성요소의 복잡도의 총합과, 본 부호화 처리의 대상으로 되는 구성요소의 복잡도의 비를, 구성요소 분배율로서 구하는 분배율 도출 처리와, 상기 대상 프레임으로 할당된 비트수에 상기 구성요소 분배율을 승산하여, 상기 대상 구성요소로 할당되는 비트수를 결정하는 구성요소 비트수 결정 처리와, 각 구성요소에 대하여 할당된 비트수에 근거하여, 상기 대상 프레임을 구성하는 각 구성요소에 대응하는 오브젝트 화상 데이터를 별도로 부호화하는 구성요소 부호화 처리를 포함하는 것이다.
본 발명의 제 15 특징에 관한 화상 처리 장치는, 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 장치에 있어서, 상기 각 구성요소에 대응하는 오브젝트 화상 데이터의 예비 부호화에 의해 발생하는, 각 구성요소에 대응하는 발생 비트수를, 각 구성요소의 복잡도의 지표로서 도출하는 복잡도 측정기와, 본 부호화 처리가 실시되지 않는 모든 미부호화 프레임의 복잡도의 총합과, 본 부호화 처리의 대상으로 되는 대상 프레임의 복잡도의 비를, 프레임 분배율로서 구할 수 있는 프레임 분배율 도출기와, 상기 비디오 신호로 할당되어 있는 총비트수 중 미사용 비트수로 상기 프레임 분배율을 승산하여 상기 대상 프레임으로 할당되는 모든 구성요소의 복잡도의 총합과, 본래 부호화 처리의 대상으로 되는 구성요소의 복잡도의 비를, 구성요소 분배율로서 구하는 분배율 도출수단과, 상기 대상 프레임에 할당된 비트수로 상기 구성요소 분배율을 승산하여, 상기 대상구성요소로 할당되는 비트수를 결정하는 구성요소 비트수 결정수단과, 각 구성요소에 대하여 할당된 비트수에 근거하여, 상기 대상 프레임을 구성하는 각 구성요소를 별도로 부호화하여, 오브젝트 부호화 데이터를 생성하는 부호화 수단과, 상기 복수의 구성요소에 대응하는 오브젝트 부호화 데이터를 다중하여 비트스트림을 출력하는 다중화기로서 비트스트림을 출력하는 다중화기를 구비한 것이다.
본 발명의 제 16 특징에 관한 데이터 기억 매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램으로서, 제 14 특징에 관한 화상 처리 방법에 의한 비디오 신호의 부호화 처리를 컴퓨터에 의해 실시하기 위한 프로그램을 저장한 것이다.
본 발명의 제 17 특징은, 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 방법에 있어서, 상기 오브젝트 부호화 처리를, 상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소에 대한 오브젝트 부호화 데이터의 비트 레이트의, 그 복수의 구성요소간에서의 비율을 결정하는 레이트 비율 결정 처리를 포함하고, 상기 각 구성요소에 대한 비트 레이트의 비율에 근거하여, 모든 구성요소에 대응하는 비트 레이트의 총합이 일정값으로 되도록, 각 구성요소에 대한 오브젝트 화상 데이터를 소정의 비트 레이트로 부호화하는 구성으로 한 것이다.
본 발명의 제 18 특징은, 제 17 특징에 관한 화상 처리 방법에 의해 얻어지는 각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 이루어진 다중 부호화 데이터를 복호화하는 화상 처리 방법에 있어서, 상기 다중 부호화 데이터로부터 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 분리하는 분리 처리와, 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 1개의 버퍼로 저장하는 저장 처리와, 그 버퍼로부터 각 구성요소에 대응하는 오브젝트 부호화 데이터를 취출하여 복호화하는 복호화 처리를 포함하는 것이다.
본 발명의 제 19 특징은, 제 17 특징에 관한 화상 처리 방법에 있어서, 상기 오브젝트 부호화 처리를, 상기 버퍼가 언더 플로우 혹은 오버 플로우하지 않도록, 각 구성요소의 복잡도에 따라, 그 구성요소에 대한 비트 레이트의 비율, 및 각 구성요소에 대한, 상기 버퍼에 저장되는 오브젝트 부호화 데이터의 최대량을 결정하는 부호화 조건 결정 처리를 포함하고, 상기 각 구성요소에 대한 비트 레이트의 비율에 근거하여, 모든 구성요소에 대응하는 비트 레이트의 총합이 일정값으로 되도록, 각 구성요소에 대한 오브젝트 화상 데이터를 소정의 비트 레이트로 부호화하는 구성으로 한 것이다.
본 발명의 제 20 특징은, 제 17 특징에 관한 화상 처리 방법에 있어서, 상기 각 구성요소의 복잡도를 나타내는 지표로서, 상기 각 구성요소를 구성하는 화소의 화소값의 분산을 나타내는 제 1 값, 상기 각 구성요소의 표시 화상의 시간적인 변동의 크기를 나타내는 제 2 값, 상기 부호화 처리의 대상으로 되는 대상 프레임보다 이전에 부호화 처리가 실시된 전처리 프레임에 있어서의 대응하는 구성요소에 대한 부호화 시의 발생비트수를, 대상 프레임과 전처리 프레임의 사이에서의, 동일 구성요소의 특성을 나타내는 계수 비율에 의해 가중치 부여한 제 3 값 혹은 상기 각 구성요소에 대한 오브젝트 화상 데이터를 일정한 부호화 조건으로 미리 부호화했을 때에 발생하는, 각 구성요소에 대응하는 발생비트수를 나타내는 제 4 값의 어느 하나의 값을 이용하는 것이다.
본 발명의 제 21 특징에 관한 화상 처리 방법은, 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화한 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 방법에 있어서, 상기 오브젝트 부호화 처리를, 상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정처리와, 상기 모든 구성요소의 복잡도의 총합에 대한 각 구성요소의 복잡도의 비율에 따라, 그 각 구성요소에 대한 오브젝트 부호화 데이터의 비트 레이트의, 상기 복수의 구성요소 간의 비율, 및 각 구성요소에 대한, 복호화 측의 버퍼에 저장되는 오브젝트 부호화 데이터의 최대량을 결정하는 부호화 조건 결정 처리를 포함하고, 상기 각 구성요소에 대한 비트 레이트의 비율에 근거하여, 모든 구성요소에 대응하는 비트 레이트의 총합이 일정값으로 되도록, 각 구성요소에 대한 오브젝트 화상 데이터를 소정의 비트 레이트로 부호화하는 구성으로 한 것이다.
본 발명의 제 22 특징에 관한 화상 처리 장치는, 소정의 화상을 나타내기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 장치에 있어서, 상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정 수단과, 상기 각 구성요소의 복잡도에 따라, 각 구성요소에 대한 개별 비트 레이트 및 각 구성요소에 대한, 복호화 측의 버퍼에 저장되는 오브젝트 부호화 데이터의 최대량인 개별 버퍼 크기를 결정하는 부호화 조건 결정 수단과, 상기 결정된 개별 비트 레이트 및 개별 버퍼 크기에 근거하여 제어 신호를 출력하는 제어기와, 상기 구성요소에 대응하는 오브젝트 화상 데이터에 대한 부호화 처리를, 상기 제어신호에 근거하여 그 부호화 처리에 의해 발생하는 비트수를 제어하면서 실시하여, 각 구성요소에 대응하는 오브젝트 부호화 데이터를 출력하는 부호화기와, 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 비트 스트림을 생성하는 다중화기를 구비한 것이다.
본 발명의 제 23 특징은, 제 22 특징에 관한 화상 처리 장치에 있어서, 상기 부호화 조건 결정 수단을, 전송 경로의 최대 전송 비트 레이트를 상기 각 구성요소의 복잡도에 따라 각 구성요소로 분배하여 각 구성요소에 대한 개별 비트 레이트를 결정하고, 상기 복호화 측의 1개의 버퍼의 최대 데이터 저장량을, 상기 각 구성요소의 복잡도에 따라 그 각 구성요소로 분배하여 상기 개별 버퍼크기를 결정하도록 구성한 것이다.
본 발명의 제 24 특징에 관한 데이터 기록매체는, 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서, 상기 화상 처리 프로그램으로서, 제 17 특징에 관한 화상 처리 방법에 의한 비디오 신호의 부호화 처리를 컴퓨터에 의해 실시하기 위한 프로그램을 저장한 것이다.
이하, 본 발명의 실시예에 대하여 설명한다.
(실시예 1)
도 1은 본 발명의 실시예 1에 의한 화상 처리 방법을 설명하기 위한 도면이고, 그 화상 처리 방법에 의한 부호화 처리의 흐름을 개략적으로 나타내고 있다.
또, 본 실시예 1은, 청구항 2, 3, 7, 8 및 9 내지 13에 대응하고 있다.
먼저, 이 부호화 처리가 개시되면(단계 S101), 소정의 화상에 대응하는 비디오 신호를 구성하는, 복수의 구성요소(물체)에 대응하는 화상 데이터(오브젝트 화상 데이터)가 입력된다(단계 S102).
다음에, 상기 각 구성요소에 대응하는 1프레임 분의 화상의 복잡도가 측정된다(단계S103). 본 실시예에서는, 상기 1프레임의 화상의 복잡도로서, 각 구성요소의 화소의 화소값의 분산값을 이용한다. 즉, 구성요소의 1프레임에 대응하는 모든 화소값의 평균값을 구하고, 각 화소값과 평균값의 차분의 절대값을 구하여, 각 절대값의 합을 분산값으로 한다. 구성요소의 크기가 다른 경우, 분산값을 더욱 각 구성요소의 화상 크기에 의해 정규화한다.
계속하여, 측정한 복잡도에 따라, 각 구성요소에 할당되는, 대응하는 부호화 데이터의 1프레임당 비트수가 결정된다(단계 S104). 결정한 1프레임당 비트수에 근거하여 각 구성요소에 대응하는 화상 데이터가 부호화된다(단계 S105). 이것에 의해 부호화 처리는 종료한다(단계 S106).
여기서, 상기 1프레임당 비트수를 결정하기 위한 지표는, 상기 분산값에 한정되는 것은 아니고, 예컨대, 각 구성요소의 동작의 크기를 지표로 하여, 1프레임당 비트수를 결정하여도 좋다. 구체적으로는, 정지하고 있는 구성요소의 화상에대하여 할당하는 비트수를 많게 하고, 동작이 큰 구성요소의 화상에 대하여 할당하는 비트수를 억제한다.
이하, 상기 실시예 1의 화상 처리 방법에 의한 부호화 처리를 실시하는 화상 처리 장치(화상 부호화 장치) 및 그 부호화 처리에 의해 생성된 부호화 데이터를 복호화하는 화상 처리 장치(화상 복호화 장치)에 대하여 설명한다.
도 2는 상기 화상 부호화 장치를 설명하기 위한 블록도이다.
상기 화상 부호화 장치(110a)는 제 1 물체(구성요소)에 대응하는 화상 데이터(212)를 제어신호(215)에 근거하여 부호화하여 부호화 데이터(218)를 출력하는 제 1 부호화기(204)와, 제 2 물체(구성요소)에 대응하는 화상 데이터(213)를 제어신호(216)에 근거하여 부호화하여 부호화 데이터(219)를 출력하는 제 2 부호화기(205)와, 제 3 물체(구성요소)에 대응하는 화상 데이터(214)를 제어신호(217)에 근거하여 부호화하여 부호화 데이터(220)를 출력하는 제 3 부호화기(206)를 가지고 있다.
또한, 상기 화상 부호화 장치(110a)는, 각 물체에 대응하는 부호화 데이터(218, 219, 220)를 다중화하여, 다중 비트 스트림(221)로서 출력하는 다중화기(207)와, 상기 제 1, 제 2, 제 3 물체의 화상의 복잡도를 나타내는 정보(222, 223, 224) 및 상기 각 부호화 데이터(218, 219, 220)에 근거하여, 상기 제어신호(215, 216, 217)를 발생하는 레이트 제어기(211)를 가지고 있다.
여기서, 상기 레이트 제어기(211)는, 상기 각 부호화기(204, 205, 206)로부터의 부호화 데이터(218, 219, 220)에 근거하여, 상기 각 물체의 화상을 합성하여 얻어지는 합성 화상에 할당되는 1프레임분의 비트수를 결정하여, 프레임 비트수 정보(210a)를 출력하는 프레임 비트수 결정수단(210)과, 상기 각 물체의 화상의 복잡도를 나타내는 정보(222~224) 및 프레임 비트수 정보(210a)에 근거하여, 상기 합성 화상 1프레임 분의 비트수를 각 구성요소로 할당하여, 각 구성요소 1프레임분의 비트수를 결정하는 오브젝트 비트수 결정수단(209)으로 구성되어 있다.
또, 도 2 중, 참조부호 201, 202, 203은 각각, 각 물체의 화상 데이터가 입력되는 입력단자, 참조부호 208은 다중 비트 스트림(221)이 출력되는 출력단자이다.
도 15는 상기 제 1 부호화기의 구체적인 구성을 나타내는 블록도이다. 또, 여기서는 상기 제 1 부호화기(204)의 구성만 나타내고 있지만, 제 2, 제 3 부호화기(205, 206)도, 상기 제 1 부호화기(204)와 동일한 구성으로 되어 있다.
상기 제 1 부호화기(204)는, 물체, 결국 임의 형상의 화상에 대응하는 화상 데이터를 부호화하는 것이다. 이 임의 형상의 화상에 대응하는 화상 데이터는, 도안(텍스처)를 나타내고, 휘도 신호와 색차이 신호를 포함하는 텍스처 데이터와, 그 화상의 형상을 나타내는 형상 데이터(유의(有意) 신호 또는 형상 신호라고도 함)를 포함하고 있다. 유의 신호는 텍스처를 구성하는 각 샘플(화소)이 물체의 내부에 속하는지의 여부를 나타내는 것이고, 물체 내부에 속하는 샘플은 의미가 있고, 한편, 물체 내부에 속하지 않는 샘플은 의미가 없다. 본 실시예에서는, 텍스처의 샘플이 의미가 없는 경우, 대응하는 유의 신호는 0의 값을 갖는다. 또한 텍스처의 샘플은, 대응하는 유의 신호가 0 이외의 값을 갖는 경우, 의미가 있는 것으로 되어있다.
즉, 상기 제 1 부호화기(204)는 제 1 물체의 각 프레임에 대응하는 텍스처 Ts를, 부호화 처리의 단위로서의 16×16화소로 되는 블록에 대응하도록 분할하여 각 블록에 대응하는 화상 데이터(1516)를 출력하는 블록화기(도시하지 않음)를 가지고 있고, 이 화상 데이터(1516)가 입력단자(1501)에 공급되도록 되어 있다.
또한, 상기 부호화기(204)는, 부호화 처리가 행해지는 피처리 프레임에 있어서의 대상 블록(부호화 처리의 대상으로 되는 블록)의 화상 데이터(1516)와, 이것에 대응하는 예측 데이터(1526)와의 감산 처리에 의해 차분 데이터(1517)를 출력하는 제 1 가산기(1502)와, 그 제 1 가산기(1502)의 출력(1517)에 정보압축 처리를 실시하는 정보 압축기(1503)와, 그 정보 압축기(1503)의 출력(1519)에 대하여 가변길이 부호화 처리를 실시하여 부호화 데이터(218)를 출력하는 출력단자(1506)에 출력하는 가변 길이 부호화기(VLC)(1511)를 가지고 있다.
여기서, 상기 정보 압축기(1503)는, 상기 차분 데이터(1517)에 대하여, 공간 영역의 데이터를 주파수 영역의 데이터로 변환하는 이산 코사인 변환 처리를 실시하는 DCT기(1504)와, 그 DCT기(1504)의 출력(1518)을, 상기 오브젝트 비트수 결정 수단(209)으로부터의 제어신호(215)에 근거하여 양자화하여 양자화 계수를 생성하고, 이 양자화 계수를 상기 정보 압축기(1503)의 출력(1519)로서 출력하는 양자화기(1505)로 구성되어 있다. 여기서, 그 양자화기(1505)는, 상기 오브젝트 비트수 결정수단(209)으로부터 제어신호(215)로서 공급되는 제 1 구성요소 1프레임분의 비트수에 근거하여, 양자화 단계를 도출하는 양자화 단계 도출기(도시하지 않음)를 가지고 있고, 상기 DCT기(1504)의 출력(1518)은, 도출된 양자화 단계로서 양자화되도록 되어 있다.
또, 상기 이산 코사인 변환 처리는, 상기 16×16 화소로 된 블록을 4분할하여 얻어지는 8×8화소로 이루어지는 소블록을 단위로 하여 행해진다.
또한, 상기 제 1 부호화기(204)는, 상기 정보 압축기(1503)의 출력(1519)에 정보 신장 처리를 실시하는 정보 신장기(1507)와, 그 정보 신장기(1507)의 출력(1521)를 상기 예측 데이터(1526)로 가산하여 재생 데이터(1522)를 출력하는 제 2 가산기(1510)를 가지고 있다.
여기서, 상기 정보 신장기(1507)는, 상기 정보 압축기(1503)의 출력(1519)을 역양자화하는 역양자화기(1508)와, 그 역양자화기(1508)의 출력(1520)에 대하여, 주파수 영역의 데이터를 공간 영역의 데이터로 변환하는 역DCT처리를 실시하는 IDCT기(1509)로 구성되어 있다.
또한, 상기 제 1 부호화기(204)는, 상기 제 2 가산기(1510)의 출력(재생 데이터)(1522)를, 다음 처리 프레임에 대응하는 참조 화상 데이터로서 저장하는 프레임 메모리(1513)와, 텍스처 동작 벡터(1528)에 근거하여 상기 프레임 메모리(1513)으로부터 상기 예측 텍스처 데이터(1526)를 판독하는 움직임 보상기(1515)를 가지고 있다.
더욱이, 상기 제 1 부호화기(204)는 상기 형상 데이터(1536)에 대하여 형상부호화 처리를 실시하여 형상 부호화 데이터(1537)를 출력단자(1533)로부터 출력함과 아울러, 그 형상 부호화 데이터의 복호화에 의해 얻을 수 있는 데이터를 참조형상 데이터(1538)로서 상기 프레임 메모리(1513)에 출력하는 형상 부호화기(1531)와, 형상 동작 벡터(1540)에 근거하여 상기 프레임 메모리(1513)로부터 예측 형상 데이터(1541)를 판독하는 형상 움직임 보상기(1532)를 가지고 있다.
더욱이, 상기 제 1 부호화기(204)는 상기 프레임 메모리(1513)에 저장되어 있는 현재 처리 프레임에 대한 참조 텍스처 데이터 및 참조 형상 데이터(1524) 및 대상 블록의 텍스처 데이터(1516) 및 형상 데이터(1536)에 근거하여, 현처리 프레임의 대상블록에 대응하는 텍스처 동작 벡터(1528) 및 형상 동작 벡터(1540)를 구하여 출력하는 움직임 검출기(1514)를 가지고 있다.
이상과 같이 구성된 임의 형상 화상 부호화 장치(110a)에 대하여, 이하 그 동작을 설명한다.
본 실시예의 부호화 장치(110a)에서는 복수의 다른 구성요소로 이루어진 화상에 대응하는 비디오 신호의 부호화 처리가 실행된다.
즉, 상기 비디오 신호가, 새와 구름과 푸른 하늘의 3개의 구성요소에 대응하는 화상 데이터로 구성되어 있는 경우에는, 상기 입력단자(201, 202, 203)에는 각각 새와 구름과 푸른 하늘에 대응하는 화상 시퀀스의 데이터가 입력된다. 여기서, 시퀀스로는 시간계열이다. 화상은 표시 단위인 복수의 프레임으로 되고, 프레임의 시간계열이 비디오로 되어 있다. 복수의 구성요소에 대응하는 화상 데이터를 포함하는 비디오 신호에서는, 어떤 표시 시각의 프레임이 복수의 구성요소의 화상으로 구성된다. 여기서 열거한 예는, 어떤 표시 시간에 있어서의 새와 구름과 푸른 하늘의 화상을 합성하면 소정 장면의 화상으로 된다. 또한, 상기 화상 부호화 장치는, 단형 형상의 화상이나 임의 형상의 화상에 대응하는 데이터를, 부호화 처리의 대상 데이터로 하고 있다. 예컨대, 이 예에서는, 푸른 하늘은 단형 형상의 화상에서 배경으로 이용된다. 새와 구름은 각각의 임의의 형상을 가지는 임의 형상의 화상이다.
상기 입력단자(201, 202, 203)에는 각 구성요소에 대응하는 화상 데이터(212, 213, 214)가 입력되면, 이들의 화상 데이터는, 각각 대응하는 부호화기(204, 205, 206)에서 제어신호(215, 216, 217)에 근거하여 부호화된다. 이 때, 상기 레이트 제어기(211)에서는 프레임 비트수 결정 수단(210)에 의해, 각 부호화기로부터의 압축 데이터에 근거하여, 합성 화상의 1프레임분으로 할당되는 프레임 비트수가 구해지고, 더욱이, 이 프레임 비트수가, 각 물체의 화상의 복잡도에 근거하여 분할되어, 각 물체의 1프레임분의 부호화 데이터로 할당되는 비트수를 나타내는 정보가 제어신호(215, 216, 217)로서 상기 각 부호화 장치(204, 205, 206)로 출력된다.
이하 상기 부호화기에 있어서의 동작에 대하여 설명한다. 다만, 제 2, 제 3 부호화기의 동작은, 상기 제 1 부호화기의 동작과 동일하기 때문에, 여기서는 제 1 부호화기의 동작에 대하여 설명한다.
임의 형상의 화상(물체의 화상)에 대응하는 텍스처 데이터(1516) 및 형상 데이터(1536)이 각각 입력단자(1501, 1530)에 입력되면, 움직임 검출기(1514)에서는 텍스처 데이터(1516) 및 형상 데이터(1536)을 이용하여 동작 검출처리가 행해진다.
본 실시예에서는, 상기 각 입력단자(1516, 1530)에 입력되는 텍스처 데이터및 형상 데이터는 각각, 16×16의 샘플로 이루어진 블록에 대응하는 데이터로 되어 있다. 상기 움직임 검출기(1514)에서는, 부호화의 대상으로 되는 블록에 대응하는 동작의 변위 정보(동작 벡터)는, 프레임 메모리(1513)에 저장되어 있는 참조 데이터를 참조하여 블록 매칭 등의 방법으로 검출된다. 여기서, 상기 참조 데이터는, 이미 부호화 처리가 실시된 기처리 블록에 대응하는 부호화 텍스처 데이터 및 부호화 형상 데이터를 복호화하여 얻는 것이다.
이 때 대상 블록의 형상 데이터에 대응하는 동작 벡터(1540)는, 형상 움직임 보상기(1532)에 공급되고, 그 보상기(1532)에서 참조 데이터 중 형상 성분으로부터 형상 예측 데이터(1541)가 생성된다. 더욱이 형상 동작 벡터(1540)는 가변 길이 부호화기(VLC)(1511)로 전송되어 가변 길이 부호로 변환된다.
또한, 움직임 보상기(1532)에서는, 상기 형상 동작 벡터(1540)에 근거하여, 상기 프레임 메모리(1513)에 저장되어 있는 참조 형상 데이터로부터, 대상 블록에 대응하는 형상 예측 데이터(1541)가 생성된다.
대상 블록의 형상 데이터와 움직임 보상기(1532)에서 생성한 형상 예측 데이터가 형상 부호화기(1531)에 입력되면, 대상 블록의 형상 데이터는, MPEG4 방식과 동일 방법으로 형상 예측 데이터를 참조하여 산술 부호화 처리가 실시되고, 출력단자(1533)에 형상 부호화 데이터(1537)로서 출력된다. 한편, 그 형상 부호화기(1531)에서 그 형상 부호화 데이터에 대하여 복호화 처리를 실시하여 얻어진 형상 복호화 데이터(1538)는, 프레임 메모리(1513)으로 전송되어 참조형상 데이터로서 저장된다.
텍스처 데이터에 대응하는 동작 벡터(1528)가 움직임 보상기(1515)에 공급되면, 그 보상기(1515)에서는, 참조 텍스처 데이터로부터 대상 블록에 대응하는 예측 텍스처 데이터(1526)이 생성된다. 이 때, 동작 벡터(1528)는 가변 길이 부호화기(VLC)(1511)로 전송되어 가변 길이 부호로 변환된다.
상기 대상 블록에 대응하는 텍스처 데이터(1516) 및 예측 텍스처 데이터(1526)가 제 1 가산기(1502)에 공급되면, 이들 데이터의 차분 데이터(1517)가 구해지고, 이 차분 데이터가 정보 압축기(1503)에서 압축된다. 본 실시예에서는, 상기 차분 데이터(1517)는 DCT기(1504) 및 양자화기(1505)에서 각각 주파수 변환 처리 및 양자화 처리가 실시되어, 압축 데이터(1519)로 변환된다.
양자화된 데이터, 결국 압축 데이터(1519)는, 가변 길이 부호화기(VLC) (1511)에서 가변 길이 부호로 변환되고, 동작 벡터를 포함하는 그 외의 사이드 정보와 함께 출력단자(1506)로부터 출력된다.
그리고, 상기 각 출력단자(1506, 1533)로부터 출력된 가변 길이 부호는 소정 순서로 배열되어, 부호화 데이터(218)로서 도 2에 나타내는 다중화기(207)로 전송된다.
또한, 제 2, 제 3의 물체에 대응하는 화상 데이터도, 상기 제 1 물체에 대응하는 화상 데이터와 마찬가지로 부호화되고, 각각 대응하는 부호화 데이터(219, 220)가 상기 다중화기(207)로 공급된다.
그리고, 상기 다중화기(207)에서는, 상기 각 물체에 대응하는 부호화 데이터가 다중되어 1개의 비트 스트림(다중 부호화 데이터)(221)으로서 출력된다. 이와같은 비트 스트림은, 수신측의 화상 복호화 장치에서 재생되는 것으로 된다.
도 3은 실시예 1의 화상 복호화 장치를 설명하기 위한 블록도이다.
이 화상 복호화 장치(110b)는, 상기 화상 부호화 장치(110a)로부터의 다중 비트 스트림(221)을 입력 데이터(319)로서 수신하고, 그 입력 데이터(319)로부터, 각 물체에 대응하는 부호화 데이터(309, 310, 311)를 추출하는 분리기(302)와, 각 물체에 대응하는 부호화 데이터(309, 310, 311)를 저장하는 1개의 버퍼(304)와, 상기 버퍼(304)와 상기 분리기(302)의 사이에 설치되고, 상기 분리기(302)로부터 출력되는 각 물체에 대응하는 부호화 데이터의 1개를 선택하여 상기 버퍼로 출력하는 제 1 스위치(303)를 가지고 있다. 여기서 신호(312)는 상기 스위치(303)의 선택 출력, 결국 그 스위치에 의해 선택된 신호이다.
또한, 상기 화상 복호화 장치(110b)는, 상기 버퍼(304)에 저장되어 있는 부호화 데이터를 복호화하여 각 물체에 대응하는 복호화 데이터(314)를 출력하는 복호화기(305)와, 그 복호화기(305)로부터 출력되는 복호화 데이터(314)에 포함되어 있는, 각 물체에 대응하는 복호화 데이터(315, 316, 317)를 분리하여 출력하는 제 2 스위치(306)와, 그 스위치(306)로부터 출력되는 각 물체에 대응하는 복호화 데이터(315, 316, 317)를 합성하여, 합성 화상에 대응하는 재생 데이터(318)를 출력하는 합성기(307)를 가지고 있다.
또, 도 3 중, 참조부호 301은, 상기 화상 부호화 장치(110a)로부터의 다중 비트 스트림(221)이 입력되는, 복호화 장치(110b)의 입력단자이고, 참조부호 308은 상기 재생 데이터(318)이 출력되는, 복호화 장치(110b)의 출력단자이다.
도 16은 상기 복호화기의 구체적인 구성을 나타내는 블록도이다.
이 복호화기(305)는, 각 물체에 대응하는 부호화 데이터(이하, 압축 데이터라고도 함)의 해석에 의해, 복호화 처리의 대상으로 되는 대상 블록의 형상 동작 벡터(1626)에 근거하여 참조 형상 데이터(1629)로부터 대상 블록에 대응하는 예측 형상 데이터(1628)를 생성하는 움직임 보상기(1623)와, 상기 제 1 데이터 해석기(1621)를 통과한 압축 데이터(1625)와 상기 예측 형상 데이터(1628)에 근거하여, 대상 블록에 대응하는 형상 복호화 데이터(1627)를 생성하는 형상 복호화기(1622)를 가지고 있다.
또한, 상기 복호화기(305)는, 상기 형상 복호화기(1622)를 통과한 부호화 데이터(1611)의 해석에 의해, 대상 블록에 대응하는 텍스처 동작 벡터(1618) 및 양자화 계수에 대응하는 가변 길이 부호(1612)를 추출하는 데이터 해석기(1602)와, 그 텍스처 동작 벡터(1618)에 근거하여 참조 텍스처 데이터(1617)로부터 대상 블록에 대응하는 예측 텍스처 데이터(1620)를 생성하는 움직임 보상기(1610)을 가지고 있다.
더욱이, 상기 복호화기(305)는, 상기 가변 길이 부호(1612)에 대한 가변 길이 부호화 처리에 의해 상기 양자화 계수(1619)를 생성하는 계수 가변 길이 복호화기(1608)와, 상기 양자화 계수(1619)에 대한 정보 신장 처리에 의해 복호화 데이터(1614)를 출력하는 정보 신장기(1603)와, 상기 복호화 데이터(1614)와 예측 데이터(1620)의 가산 처리에 의해 재생 데이터(1615)를 출력하는 가산기(1606)를 가지고 있다. 여기서, 상기 정보 신장기(1603)는, 상기 양자화 계수(1619)에 역양자화 처리를 실시하여 주파수 영역의 데이터(1613)를 생성하는 역양자화기(1604)와, 그 주파수 영역의 데이터(1613)에 대하여 역주파수 변환 처리를 실시하여 공간 영역의 데이터를 대상 블록에 대응하는 복호화 데이터(1614)로서 출력하는 IDCT기(1605)로 구성되어 있다.
더욱이, 상기 복호화기(305)는, 상기 복호화 형상 데이터(1627) 및 재생 텍스처 데이터(1615)를 저장하면서, 움직임 보상기(1623, 1610)에 각각 참조 형상 데이터(1629) 및 참조 텍스처 데이터(1617)를 출력하는 프레임 메모리(1609)를 가지고 있다.
다음에 상기 화상 복호화 장치(110b)의 동작에 대하여 설명한다.
송신 측으로부터의 비트스트림(319)이 입력단자(301)에 입력되면, 분리기(302)에서는, 상기 비트 스트림이 각각의 구성요소에 대응하는 부호화 데이터로 분리되어, 전환 스위치(303)를 경유하여 버퍼(304)에 전송된다. 이 버퍼(304)에는 모든 구성요소에 대한 부호화 데이터가 저장된다.
이 버퍼(304)는, 각 물체에 대응하는 프레임당 비트수의 변동을, 복수의 물체의 사이에서 흡수하기 위한 것이고, 각 물체의 부호화 데이터의 비트열은 일정한 레이트(전송 레이트)로 버퍼(304)에 입력된다. 이 버퍼에, 어떤 표시 시각의, 합성화상의 1프레임분에 대응하는 데이터가 잔류하면, 그 버퍼로부터 부호화 데이터가 복호화기(305)에 순차 판독되어 그 부호화기(305)에서 복호화된다.
상기 복호화기(305)에서의 복호화 처리에 의해 얻어진 각 구성요소에 대응하는 복호화 데이터는, 전환 스위치(306)를 경유하여 합성기(307)로 전송된다. 이합성기(307)에서는, 각 구성요소에 대응하는 복호화 데이터(315, 316, 317)가 합성되어, 복수의 구성요소로 되는 소정 상황에 대응하는 재생 데이터(318)가 출력단자(308)를 경유하여 표시장치로 출력된다.
이하 상기 복호화기(305)의 동작에 대하여 설명한다.
각 물체에 대응하는 부호화 텍스처 데이터와 부호화 형상 데이터를 포함하는 비트 스트림(1624)이 입력단자(1601)에 입력되면, 데이터 해석기(1621)에서는, 형상 동작 벡터에 대응하는 가변 길이 부호가 그 데이터 해석에 의해, 소정의 값을 가지는 형상 동작 벡터(1626)로 변환된다. 이 형상 동작 벡터(1626)가 움직임 보상기(1623)에 출력되면, 움직임 보상기(1623)에서는, 동작 벡터에 근거하여 프레임 메모리(1609)의 참조형상 데이터(1629)로부터, 복호화 처리의 대상으로 되는 대상 블록에 대응하는 예측 형상 신호(1628)가 생성된다.
상기 형상 복호화기(1622)에서는, 이 형상 예측 신호(1628)에 근거하여 대상 블록에 대응하는 형상 복호화 데이터(1627)이 생성되고, 프레임 메모리(1609)에 저장된다. 또한, 상기 형상 복호화기(1622)를 통과한 부호화 데이터(1611)는, 제 2 데이터 해석기(1602)로 공급된다.
계속하여, 부호화 텍스처 데이터의 신장 처리가 행해진다.
즉, 데이터 해석기(1602)에서는, 상기 부호화 데이터(1611)의 데이터 해석에 의해, 텍스처 동작 벡터에 대응하는 가변 길이 부호가 소정의 값을 가지는 텍스처 동작 벡터(1618)로 변환됨과 아울러, 양자화 계수에 대응하는 가변 길이 부호(1612)가 추출된다. 동작 벡터(1618)가 움직임 보상기(1610)으로 전송되면,움직임 보상기(1610)에서는, 그 동작 벡터에 근거하여, 프레임 메모리(1609) 내의 참조 텍스처 신호로부터 대상 블록에 대응하는 예측 텍스처 신호(1620)가 생성된다.
한편, 가변 길이 부호(1612)는 계수 가변 길이 복호기(1608)에서 소정의 값을 가지는 양자화 계수(1619)로 변환되고, 역양자화기(1604)에서는 양자화 계수(1619)에 대하여 역양자화 처리가 실시되어 주파수 영역의 데이터(1613)가 생성된다. 이 주파수 영역의 데이터(1613)는 IDCT기(1605)에서, 역주파수 변환 처리에 의해 공간 영역의 데이터(1614)로 변환되어, 텍스처 복호화 데이터(1614)로서 출력된다.
그러면, 가산기(1606)에서는, 대상 블록의 텍스처 복호화 데이터(1614)와 예측 텍스처 데이터(1620)이 가산되어, 재생 텍스처 데이터(1615)가 생성된다. 이 재생 텍스처 데이터(1615)는 프레임 메모리(1609)에 저장된다.
또, 이 실시예 1에서는, 제 1 ~ 제 3 부호화기로서 도 15에 나타내는 구성의 것을 이용하여, 복호화기로서 도 16에 나타내는 구성의 것을 이용하였지만, 상기 부호화기 및 복호화기의 구성은 이들에 한정되는 것은 아니다.
예컨대, 부호화기는 데이터 압축 처리의 방법으로서는, 프랙털(fractals)이나 웨이블릿 등의 방법을 이용하여도 좋고, 복호화기는 이들의 데이터 압축 처리의 방법에 대응한 데이터 신장 처리의 방법을 이용하여도 좋다.
또한, 상기 실시예 1에서는, 화상 부호화 장치로서, 도 2에 나타내듯이, 3개의 물체에 대응하는 화상 데이터의 부호화 처리를 하는 구성의 것을 나타냈지만,화상 부호화 장치의 구성은, 이것에 한정되는 것은 아니다. 상기 화상 부호화 장치는, 일반적으로 임의의 수의 물체에 대응하는 화상 데이터를 부호화하는 구성으로 할 수 있다.
또한, 상기 실시예 1에서는, 화상 부호화 장치는 복수의 입력단자를 가지고 있지만, 1개의 입력단자에 복수의 구성요소에 대응하는 화상 데이터를 입력하는 구성으로 하여도 좋다.
또한, 상기 실시예 1에서는, 구성요소로서 단형 형상의 화상 및 임의 형상의 화상을 나타내고 있지만, 구성요소는 단형 형상의 화상만으로도 좋다. 이 경우, 도 15에 나타내는 부호화기(204)에 있어서의 점선으로 둘러싼 형상 부호화부(1534)는 동작되지 않고, 또한 마찬가지로, 도 16에 나타내는 복호화기(305)에 있어서의 점선으로 둘러싼 형상 복호화부(1624)는 동작하지 않는다.
이상 설명했듯이, 도 2에 나타내는 화상 부호화 장치(110a)에서는, 입력단자(201, 202, 203)로부터 입력된 각 구성요소의 화상 데이터가 대응하는 부호화기(204, 205, 206)에서 부호화된다. 부호화된 화상 데이터(부호화 데이터)(218, 219, 220)는 각각 다중화기(207)로 전송됨과 동시에 레이트 제어기(211)로 전송된다.
이 레이트 제어기(211)의 프레임 비트수 결정 수단(210)에서는, 부호화 데이터의 비트수가 카운트되고, 피처리 프레임까지 발생한 비트수에 근거하여 다음 처리 프레임의 비트수가 결정된다.
본 실시예 1에서는, 이하와 같이 프레임(i-1)의 각 구성요소의 발생비트수로부터, 프레임(i)의 비트수가 결정된다.
또, 여기서는, 복수의 구성요소로 이루어진 합성 화상의 1초당 프레임수에 대응하는 부호화 데이터에 필요한 비트수를 총비트수 N으로 한다.
먼저, 프레임(i-1)의 각 구성요소에 대한 부호화 처리가 종료한 시점에서, 그 발생 비트수의 합계가 구해진다. 이 시점에서의 발생 비트수의 합계를 F(i-1)로 하면, 나머지의 비트수 R은, N-F(i-1)에 의해 구해진다. 이 나머지 비트수 R은 다음의 프레임 이후의 구성요소를 부호화하는 것에 이용된다.
다음에 나머지 비트수 R을, 1초간의 나머지의 프레임수로 균등하게 나눗셈한다. 이와 같이 하여 프레임(i)의 프레임 비트수 F(i)를 얻을 수 있다.
그리고, 오브젝트 비트수 결정수단(209)에서는, 다음 처리 프레임(i)의 부호화 처리에 사용하는 비트수 F(i)가, 프레임(i)의 화상을 구성하는 구성요소의 화상으로 분배된다.
상기 프레임 비트수의 분배는, 각 구성요소의 복잡도의 측정값에 근거하여 행해진다. 본 실시예에서는, 이하의 방법 (1) 내지 (4) 중 어느 하나의 방법을 이용하여 구성요소의 화상의 복잡도를 측정한다.
(1) 복잡도의 지표로서, 각 구성요소의 화상 데이터를 구성하는 화소값의 분산값을 이용한다. 즉, 구성요소의 1프레임에 상당하는 화소값의 평균을 구하고, 각 화소값과 평균값의 차분의 절대값을 구하고, 각 절대값의 합을 분산값으로 한다. 또, 구성요소의 크기가 다른 경우, 상기 분산값을 또한 화상의 크기에 따라 정규화한다.
(2) 동작 보상 예측 부호화 처리를 실시하는 화상에 대하여는, 참조 프레임에 대응하는 화상 데이터로부터 얻어진 예측 데이터의, 피처리 프레임에 대응하는 화상 데이터에 대한 오차를 복잡도의 지표로 한다. 구체적으로는, 피처리 프레임에 대응하는 화상 데이터로부터, 참조 프레임에 대응하는 화상 데이터로부터 얻어진 예측 데이터를, 화소 단위로 감산하고, 그 차분값의 절대값의 합을 복잡도의 지표로 한다.
(3) 프레임(i-1)에 있어서의 각 구성요소에 대응하는 발생비트수를 프레임(i)에 있어서의 각 구성요소의 복잡도의 추정값으로 한다. 또, 이 추정값을 더욱 정확하게 하기에는, 프레임(i-1)에 있어서의 구성요소(j)에 대응하는 분산값과 프레임(i)에 있어서의 구성요소(j)에 대응하는 분산값과의 비를 이용하여, 프레임(i-1)에 있어서의 각 구성요소(j)의 발생 비트수를 가중치 부여한 것을 프레임(i)에 있어서의 각 구성요소의 복잡도의 추정값으로 한다.
(4) 프레임(i)의 각 구성요소에 대응하는 화상 데이터를 미리 부호화하고, 이 부호화 처리 시에 발생하는 비트수를, 각 구성요소의 화상의 복잡도의 지표로 한다. 본 실시예에서는, 고정 양자화 폭에서 프레임(i)에 있어서의 모든 구성요소를 부호화한다. 이 방법은, 화상 데이터의 부호화 처리에 있어서의 지연이 문제로 되지 않는 경우에 이용되는 복수회 부호화 방법이다.
상술한 각 구성요소의 복잡도는 미리 측정되고, 그 복잡도를 나타내는 정보(222, 223, 224)가 상기 레이트 제어기(211)에 입력되도록 되어 있다.
또, 도 2에 상기 복잡도를 측정하는 회로 구성은 나타내고 있지 않다.
이와 같이 결정한 복잡도에 근거하여, 상기 오브젝트 비트수 결정수단(209)에서는, 각 구성요소에 할당되는 비트수가 결정되어, 대응하는 부호화기(204, 205, 206)에 출력되고, 각 부호화기에서는 부호화 데이터에 있어서의 비트수가, 결정된 비트수로 되도록, 각 구성요소에 대응하는 화상 데이터의 부호화 처리가 행해진다.
도 4는, 레이트 제어기(211)에 있어서의 구체적인 처리를 포함하는 부호화 처리의 흐름을 나타내고 있다.
부호화 처리가 개시되면(단계 S401), 프레임(i)의 구성요소에 대응하는 화상 데이터가 입력된다(단계 S402). 각 구성요소의 화상의 복잡도가 측정된다(단계 S403). 구체적인 방법은 상술한 대로 이다.
각 부호화기로부터 출력되는 부호화 데이터(218~220)에 근거하여 프레임(i)에 할당되는 비트수가 결정된다(단계 S404). 구체적인 방법은 상술한 대로이다.
더욱이, 각 구성요소의 화상의 복잡도에 근거하여, 프레임(i)에 할당된 비트수가 각 구성요소에 분배된다(단계 S405). 각 물체에 대응하는 분배 비트수에 근거하여 각 구성요소의 화상 데이터가 부호화된다(단계 S406). 그 후, 부호화 처리의 대상으로 되어 있는 피처리 프레임이, 화상 시퀀스의 최후의 프레임인지의 여부가 판정되고, 최후라면, 부호화 처리가 종료하고(단계 S407), 최후가 아니라면, 상기 단계 S402~S407의 처리가 반복하여 행해진다. 이와 같이 하여, 상기 부호화 처리는 최후의 프레임까지 행해지는 것으로 된다.
도 5는 상기 실시예 1에 의한 화상 부호화 방법의 더욱 구체적인 처리를 나타내고 있다.
부호화 처리가 개시되면(단계 S501), 프레임(i)의 구성요소에 대응하는 화상 데이터가 입력된다(단계 S502). 이어서 단계 S503에서는, 프레임(i)의 화상에 있어서의 구성요소(j)의 복잡도 C(i, j)가 측정된다. 구체적인 방법은 상술한 대로이다.
단계 S504에서는 프레임(i)에 대응하는 부호화 데이터로 할당되는 비트수 Tf(i)가 결정된다. 구체적인 방법은 상술한 대로이다. 단계 S505에서는 상기 프레임 비트수 Tf(i)가 화상 복호화 장치(110b)에 있어서의 버퍼(304)의 조건을 만족하도록 조정된다. 결국, 프레임 비트수 Tf(i)는, 그 버퍼(304)를 초과하지 않도록 또는 비어 있게 되지 않도록, 이하의 조건을 만족할 필요가 있다.
B(i-1)+2R/P-B〈Tf(i)≤B(i-1)+R/P
여기서, B(i-1)은, 표시 시각(i-1)에 있어서의 프레임 (i-1)에 대응하는 부호화 데이터를 버퍼로부터 판독한 시점에 있어서의 그 버퍼의 데이터 점유량이고, B는 버퍼(304)의 크기(최대 데이터 저장량), R은 비트 레이트, P는 프레임 레이트이다.
상기 조건을 만족하지 않는 경우, 결국 프레임 비트수 Tf(i)가 상기 수학식 1에서 나타내는 범위의 최소값 이하일 때는, 프레임 비트수 Tf(i)는 상한에, 한편, 프레임 비트수 Tf(i)가 상기 수학식 1에서 나타내는 범위의 최대값을 넘을 때는, 프레임 비트수 Tf(i)는 하한값으로 설정된다.
그리고, 단계 S506에서는, 프레임(i)의 구성요소(j)의 화상에 대응하는 복잡도 C(i, j)에 근거하여, 프레임(i)의 비트수 Tf(i)가 각 구성요소에 할당된다. 구체적으로는, 이하의 수학식 2에 따라서 상기 비트수 Tf(i)의 할당이 행해진다.
결국, 프레임(i)의 각 구성요소(j)[j=1, 2,…, J]의 복잡도의 합에 대한 구성요소(j)의 화상의 복잡도의 비로 했으므로 비트수 Tf(i)가 분배된다.
최후에, 각 구성요소로 할당한 비트수에 근거하여 각 구성요소의 화상 데이터의 부호화 처리가 행해진다(단계 S508). 그 후, 부호화 처리의 대상으로 되어 있는 피처리 프레임이, 화상 시퀀스의 최후의 프레임인지의 여부가 판정되고(단계 S509), 최후라면, 부호화 처리가 종료하고(단계 S510), 최후가 아니라면, 상기 단계 S502~S509의 처리가 반복된다. 이와 같이 하여, 상기 부호화 처리는 최후의 프레임까지 반복하여 행해지는 것으로 된다.
이와 같이 본 실시예 1에서는, 상황을 구성하는 개개의 구성요소에 대응하는 부호화 데이터에 복호화 처리 및 합성 처리를 실시하는 수신 측의 화상 복호화 장치를, 각 구성요소에 대응하는 부호화 데이터를 저장하는 1개의 버퍼를 가지는 구성으로 하고, 이를 저장하도록 했으므로, 1개의 버퍼를 복수의 구성요소의 부호화 데이터에 의해 공유하는 것이 가능하게 되고, 버퍼를 유효하게 이용할 수 있다.
또한, 각 구성요소에 대하여, 모든 구성요소의 할당 비트수의 합이 버퍼의 용량을 넘지 않도록 비트수를 동적으로 할당하므로, 화상이 간단한 구성요소의 할당 비트수를 적게 하고, 화상이 복잡한 구성요소의 할당 비트수를 많게 하는 것에의해, 화상 전체의 화질을 향상시킬 수 있다.
도 6은, 도 3에 나타내는 버퍼(304)의 데이터 점유량의 천이를 그래프에 의해 나타내고 있다. 세로축은 버퍼의 데이터 점유량, 횡축은 시간을 나타내고 있다. 이 그래프의 경사부분(604)의 경사는, 각 구성요소에 대응하는 부호화 데이터의 모든 구성요소의 사이에서 평균하여 얻어지는 비트 레이트를 나타내고, 이 레이트에서 모든 구성요소의 부호화 데이터를 구성하는 비트열이 버퍼(304)에 입력된다.
상기 그래프에 있어서의 세로선부분(605)의 길이는, 표시 시각 t0의 프레임을 구성하는 모든 구성요소에 할당되어 있는 비트수의 총수(총 비트수)를 나타내고 있다.
이 총비트수는, 구성요소의 복잡도에 따라 가장 적절하게 분배할 수 있다. 예컨대, 표시 시각 t2에서는, 버퍼는 그 용량의 한도까지 부호화 데이터에 의해 점유되어 있고, 버퍼 내의 부호화 데이터 중에서, 간단한 구성요소에 대응하는, 선분(606)의 길이로 나타내는 부호화 데이터에는 작은 비트수가 할당되고, 복잡한 구성요소에 대한, 선분(607)의 길이로 나타내는 부호화 데이터에는 많은 비트수가 할당되어 있고, 이 결과로서 프레임 전체의 화질은 높은 것으로 된다.
(실시예 2)
도 7은 본 발명의 실시예 2에 의한 화상 부호화 장치(화상 처리 장치)를 설명하기 위한 블록도이다.
또, 이 실시예 2는, 청구항 2 및 7 내지 16에 대응하고 있다.
본 실시예 2의 화상 부호화 장치(120a)는, 제 1 물체(구성요소)에 대응하는 화상 데이터(720)을 제어신호(728)에 근거하여 부호화하여 부호화 데이터(723)을 출력하는 제 1 부호화기(704)와, 제 2 물체(구성요소)에 대응하는 화상 데이터(721)를 제어신호(729)에 근거하여 부호화하여 부호화 데이터(724)를 출력하는 제 2 부호화기(705)와, 제 3 물체(구성요소)에 대응하는 화상 데이터(722)를 제어신호(730)에 근거하여 부호화하여 부호화 데이터(725)를 출력하는 제 3 부호화기(706)를 가지고 있다.
또한, 상기 화상 부호화 장치(120a)는, 각 물체에 대응하는 부호화 데이터(723, 724, 725)를 다중화하여, 다중 비트 스트림(721)으로서 출력하는 다중화기(707)와, 상기 제 1, 제 2, 제 3 물체의 화상 데이터를 부호화했을 때에 발생하는 비트수를 프레임마다 저장하는 발생 비트수 정보 저장 수단(709)과, 그 발생 비트수 정보 및 상기 부호화 데이터(723, 724, 725)에 근거하여, 상기 제어신호(728, 729, 730)를 발생하는 레이트 제어기(710)를 가지고 있다.
여기서, 상기 레이트 제어기(710)는, 그 발생 비트수 정보(709a) 및 상기 각 부호화기(704, 705, 706)로부터의 부호화 데이터(723, 724, 725)에 근거하여, 상기 각 물체로 이루어진 합성 화상으로 할당되는 1프레임분의 비트수를 결정하는 프레임 비트수 결정수단(711)과, 상기 발생 비트수 정보 저장수단(709)에 저장되어 있는 각 물체의 1프레임분의 비트수를, 각 물체의 화상의 복잡도를 나타내는 지표로서 이용하여, 상기 합성화상 1프레임분의 비트수를 각 구성요소에 할당하면서, 각 구성요소 1프레임분의 비트수를 결정하는 오브젝트 비트수 결정수단(712)으로 구성되어 있다.
또한, 상기 오브젝트 비트수 결정 수단(712)과 상기 각 부호화기(704, 705, 706)의 사이에는, 개폐스위치(714, 715, 716)이 설치되어 있고, 상기 오브젝트 비트수 결정수단(712)로부터의 비트수 정보(728, 729, 730)가 각각 그 스위치(714, 715, 716)을 거쳐 상기 각 부호화기(704, 705, 706)에 공급되도록 되어 있다.
더욱이, 상기 각 부호화기(704, 705, 706)의 후단측에는, 각각 전환 스위치(717, 718, 719)가 설치되어 있고, 각 부호화기로부터 출력되는 부호화 데이터(723, 724, 725)가 각각, 전환 스위치(717, 718, 719)를 거쳐 다중화기(707)와 발생 비트수 정보 저장 수단(709)의 한쪽에 공급되도록 되어 있다.
또한, 상기 발생 비트수 정보 저장 수단(709)와 프레임 비트수 결정 수단(711)의 사이에는 개폐 스위치(734)가 설치되어 있고, 각 물체에 대응하는 비트수 정보가 그 개폐 스위치(734)를 거쳐 상기 프레임 비트수 결정 수단(711)에 공급되도록 되어 있다.
그리고, 상기 화상 부호화 장치(120a)는, 상기 각 개폐 스위치(714~716, 734) 및 전환 스위치(717~719)를 제어하는 스위치 제어수단으로서 CPU(713)를 가지고 있고, 예비 부호화 처리를 할 때에는, 상기 각 개폐 스위치(714~716, 734)가 열림 상태로 되고, 또한 전환 스위치(717~719)에 의해, 각 부호화기와 발생 비트수 정보 저장 수단(709)이 접속 상태로 되고, 한편, 본(本) 부호화 처리를 할 때에는, 상기 각 개폐 스위치(714~716, 734)가 닫힘 상태로 되고, 또한 전환스위치(717~719)에 의해, 각 부호화기와 다중화기(707) 및 프레임 비트수 결정 수단(711)이 접속 상태로 되도록, 상기 각 스위치가 상기 CPU(713)에 의해 제어되는 구성으로 되어 있다.
여기서, 상기 각 부호화기(704, 705, 706)는, 도 15에 나타내는 실시예 1의 화상 부호화 장치(110a)에 있어서의 제 1 부호화기(204)와 동일한 구성으로 되어 있다. 또한, 상기 화상 부호화 장치(120a)에서는, 예비 부호화 처리 시에는, 상기 각 부호화기에서의 양자화 처리는, 고정의 양자화폭(양자화 단계)으로 행해지고, 본 부호화 처리시에는, 각 부호화에서의 양자화 처리는, 상기 오브젝트 비트수 결정수단으로부터의 비트수 정보(728, 729, 730)에 대응한 양자화폭(양자화 단계)으로 행해지도록 되어 있다.
또, 도 7 중, 참조부호 701, 702, 703은 각각, 각 물체의 화상 데이터가 입력되는 입력단자, 참조부호 708은 다중 비트 스트림(721)이 출력되는 출력단자이다.
또한, 이와 같은 구성의 실시예 2의 화상 부호화 장치(120a)로부터 출력된 다중 비트 스트림(721)을 복호화하는 화상 복호화 장치는, 도 3에 나타내는 실시예 1의 화상 복호화 장치(110b)와 동일 구성으로 되어 있다.
다음에 동작에 대하여 설명한다.
도 8은 상기 화상 부호화 장치에 의한 부호화 처리의 흐름을 나타내는 도면이다.
본 실시예 2에서는, 실시예 1과 동일하도록, 이 부호화 처리가 개시되면(단계 S801), 프레임(i)를 구성하는, 보구의 구성요소(물체)에 대응하는 화상 데이터가 입력된다(단계 S802).
단계 S803에서는, 각 구성요소의 화상 데이터가 부호화된다. 여기서는 각 구성요소의 화상 데이터에 대하여, 고정의 양자화폭의 양자화 처리를 포함하는 예비 부호화 처리가 행해진다.
단계 S804에서는, 상기 예비 부호화 처리에 의해 발생한 각 구성요소의 비트수 S(i, j)가 기록된다. 또, 비트수 S(i, j)는 프레임(i)를 구성하는 구성요소(j)에 대응하는 비트수이다. 그 후, 부호화 처리의 대상으로 되어 있는 피처리 프레임이, 화상 시퀀스의 최후의 프레임인지 여부의 판정이 행해지고(단계 S805), 최후가 아니라면, 상기 단계 S802~S805의 처리가 반복하여 행해지고, 한편 최후라면, 예비 부호화 처리가 종료한다. 이와 같이 하여, 상기 예비 부호화 처리는 최후의 프레임까지 반복하여 행해지는 것으로 된다.
상기 예비 부호화가 완료하면, 본 부호화 처리가 행해진다.
즉, 프레임(i)을 구성하는, 복수의 구성요소(물체)에 대응하는 화상 데이터가 재차 입력된다(단계 S806).
단계 S807에서, 미(未)부호화 프레임의 복잡도의 총합과 부호화의 대상으로 되는 대상 프레임(i)의 복잡도이 비로부터, 나머지 비트수의 프레임 분배율이 구해지고, 나머지 비트수와 프레임 분배율의 승산에 의해, 대상 프레임(i)의 비트수 Tf(i)가 결정된다. 여기서 나머지 비트수는, 복수의 구성요소로 이루어진 화상의 시퀀스에 대하여 할당되어 있는 총비트수로부터, 부호화 처리가 실시된 기부호화프레임에 사용된 모든 비트수를 감산한 나머지의 비트수이다.
단계 S808에서는, 상기 프레임 비트수 Tf(i)가, 수신측의 화상 복호화 장치에 있어서의 버퍼의 조건을 만족하도록 조정된다. 구체적인 조정의 방법은, 상기 실시예 1의 단계 S505에 있어서의 처리와 동일하다.
그 후, 단계 S809에 있어서, 대상 프레임(i)에 있어서의 구성요소의 복잡도의 총합ΣS(i, j)과, 부호화의 대상으로 되는 구성요소의 복잡도 S(i, j)의 비로부터 구성요소 분배율이 구해지고, 대상 프레임(i)의 비트수 Tf(i)와 구성요소 분배율의 승산(하기의 수학식 3)에 의해, 대상 구성요소에 할당되는 비트수 To(i, j)가 결정된다.
그리고, 결정한 비트수 To(i, j)에 근거하여, 대상 프레임(i)의 구성요소가 별도로 부호화된다(단계 S810). 그 후, 부호화 처리의 대상으로 되어 있는 피처리 프레임이, 화상 시퀀스의 최후의 프레임인지의 여부가 판정되고(단계 S811), 최후가 아니라면, 상기 단계 S806 ~ S811의 처리가 반복하여 실행되고, 한편 최후라면, 본 부호화 처리가 종료한다(단계 S812). 이것에 의해, 상기 부호화 처리는 최후의 프레임까지 반복하여 실행되는 것으로 된다.
또, 이와 같은 구성의 실시예 2의 화상 부호화 장치(120a)로부터 출력된 다중 비트 스트림은, 도 3에 나타내는 실시예 1의 화상 부호화 장치(110b)와 동일 구성의 화상 복호화 장치에 의해 복호화된다.
이와 같이 본 실시예 2에서는, 예비 부호화 시에는, 스위치(714, 715, 716)을 열고, 각 부호화기에서는 구성요소의 화상 데이터에 대하여, 고정양자화폭의 양자화 처리를 포함하는 예비 부호화 처리를 실시하고, 각 부호화기로부터 출력되는 부호화 데이터에 근거하여 발생 비트수를 그 저장 수단(709)에 저장하고, 본 부호화 처리 시에는, 스위치(714, 715, 716)를 닫고, 레이트 제어기(710)에서는, 발생 비트수 정보 저장 수단(709)에 저장되어 있는 각 물체에 대응하는 발생 비트수의 정보에 따른 제어신호(728, 729, 730)를 상기 각 부호화기에 공급하도록 했으므로, 각 구성요소에 대하여, 모든 구성요소의 할당 비트수의 합이 복호화 측의 버퍼의 용량을 초과하지 않도록 비트수를 동적으로 할당할 수 있는 것만이 아니라, 각 구성요소에 대한 부호화 처리 시에 발생하는 비트수를, 프레임 사이에서 동적으로 분배할 수 있다. 이 때문에, 특정의 구성요소의 화상이 복잡한 프레임에 대하여, 특정의 구성요소의 화상이 간단한 프레임에 대응하는 비트수의 일부를 할당하는 것이 가능하게 된다. 이것에 의해 화상 전체의 화질을 보다 향상시킬 수 있다.
(실시예 3)
도 9는 본 발명의 실시예 3에 의한 화상 부호화 장치를 설명하기 위한 블록도이다.
또, 이 실시예 3은, 청구항 13, 14 내지 24에 대응하고 있다.
본 실시예 3의 화상 부호화 장치(130)에서는, 각 구성요소에 대응하는 화상 데이터를 부호화할 때, 각 구성요소의 화상의 복잡도를 측정하고, 이 화상의 복잡도에 따라, 각 구성요소에 대응하는 비트 레이트 및 버퍼크기를 결정하도록 하고 있고, 이 점에서, 실시예 1 및 2의 화상 부호화 장치에서, 각 구성요소의 화상 복잡도에 따라, 프레임에 할당된 비트수를 각 구성요소로 분배하도록 하고 있는 것은 다르게 되어 있다.
즉, 상기 부호화 장치(130)는, 제 1 물체(구성요소)에 대응하는 화상 데이터(911)를 레이트 제어신호(951a)에 근거하여 부호화하여 제 1 부호화 데이터(917)를 출력하는 제 1 부호화기(904)와, 제 2 물체(구성요소)에 대응하는 화상 데이터(912)를 레이트 제어신호(952a)에 근거하여 부호화하여 제 2 부호화 데이터(918)를 출력하는 제 2 부호화기(905)와, 제 3 물체(구성요소)에 대응하는 화상 데이터(913)을 레이트 제어신호(953a)에 근거하여 부호화하여 제 3 부호화 데이터(919)를 출력하는 제 3 부호화기(906)와, 각 부호화 데이터(917, 918, 919)를 다중화하여, 다중 비트 스트림(924)를 출력하는 다중화기(907)를 가지고 있다. 여기서, 상기 각 부호화기(904, 905, 906)는, 도 15에 나타내는 실시예 1의 화상 부호화 장치(110a)에 있어서의 제 1 부호화기(204)와 동일 구성으로 되어 있다.
또한, 상기 화상 부호화 장치(130)는, 상기 각 화상 데이터(911, 912, 913)에 근거하여, 각 구성요소를 구성하는 화소의 개수(구성요소의 크기)를 각 구성요소의 복잡도를 나타내는 지표로서 측정하는 오브젝트 복잡도 측정 수단(910)과, 그 오브젝트 복잡도 측정 수단(910)으로부터 출력되는 각 구성요소의 복잡도를 나타내는 정보(923)에 근거하여, 각 구성요소에 대응하는 비트 레이트 및 버퍼 크기를 결정하고, 각 구성요소에 대응하는 결정된 비트 레이트 및 버퍼 사이즈를 나타내는 제어 정보(920, 921, 922)를 출력하는 부호화 조건 결정 수단(비트 레이트, 버퍼 크기 결정 수단)(909)을 가지고 있다.
더욱이, 상기 화상 부호화 장치(130)는, 상기 제어정보(920) 및 부호화 데이터(917)에 근거하여, 제 1 부호화기(904)에서 단위 시간당 발생하는 부호량(비트 레이트)를 제어하는 레이트 제어기(951)와, 상기 제어 정보(921) 및 부호화 데이터(918)에 근거하여, 제 2 부호화기(905)에서 단위 시간당 발생하는 부호량(비트 레이트)를 제어하는 레이트 제어기(952)와, 상기 제어 정보(922) 및 부호화 데이터(919)에 근거하여, 제 3 부호화기(906)에서 단위 시간당 발생하는 부호량(비트 레이트)를 제어하는 레이트 제어기(953)를 가지고 있다.
또, 도 9 중, 참조부호 901, 902, 903은 상기 각 구성요소에 대응하는 화상 데이터(911, 912, 913)이 입력되는 입력단자, 참조부호 908은 상기 다중 비트 스트림(924) 출력되는 출력단자이다.
또한, 이와 같은 구성의 실시예 3의 화상 부호화 장치(130)로부터 출력된 다중 비트 스트림(924)을 복호화하는 화상 복호화 장치는, 도 3에 나타내는 실시예 1의 화상 복호화 장치(110b)와 동일 구성으로 되어 있다.
다음에 동작에 대하여 설명한다.
도 10은 상기 화상부호화 장치에 의한 부호화 처리의 흐름을 나타내는 도면이다.
본 실시예 3에서는, 부호화 처리가 개시되면(단계 S1001), 비디오(영상)을 구성하는 복수의 구성요소(물체)에 대응하는 화상 데이터 입력된다(단계 S1002).또, 본 실시예 3에서는 실시예 1과 동일 비디오 데이터를 부호화 처리의 대상으로 하고 있다.
다음에, 단계 S1003에서, 각 구성요소 C(j)(j=1, 2, …, J)의 화상의 복잡도가 측정된다. 여기서는, 구성요소의 크기, 즉 표시되는 물체를 구성하는 화소의 개수를 복잡도의 지표로 하고 있다.
다음에, 각 구성요소에 대응하는 비트 레이트가 결정된다. 이 때, 각 구성요소에 대응하는 버퍼 크기도 결정된다. 상기 대상 구성요소의 비트 레이트 Ro(j)는, 하기의 수학식 4에 나타내듯이, 모든 구성요소의 복잡도의 합 ΣC(j)에 대한 대상 구성요소의 복잡도 C(j)의 비를, 전송 경로의 최대 전송 비트 레이트에 근거하여 총 비트 레이트 Rt로 승산하는 것에 의해 구할 수 있다.
Ro(j)=Rt×C(j)/ΣC(j)
마찬가지로, 대상으로 되는 구성요소의 버퍼 크기 Bo(j)는, 하기의 수학식 5에 나타내듯이, 모든 구성요소의 복잡도의 합 ΣC(j)에 대한 대상으로 되는 구성요소의 복잡도 C(j)의 비를, 도 3에 나타내는 버퍼(304)의 최대 데이터 저장용량(Bt)로 승산하는 것에 의해 결정될 수 있다.
Bo(j)=Bt×C(j)/ΣC(j)
이와 같이 하여 결정한 비트 레이트와 버퍼 크기에 근거하여 각 구성요소에 대한 부호화 처리가 행해지고(단계 S1005), 최후의 프레임에 대한 부호화 처리가완료하면, 부호화 처리가 종료한다(단계 S1006).
또, 이와 같은 구성의 실시예 3의 화상 부호화 장치(130)로부터 출력된 다중 비트 스트림은, 도 3에 나타내는 실시예 1의 화상 복호화 장치(110b)와 동일 구성의 화상 복호화 장치에 의해 복호화된다.
이와 같이 본 실시예 3에서는, 1형태의 화상을 구성하는 각 구성요소에 대응하는 버퍼 크기 및 비트 레이트를, 각 구성요소의 화상의 복잡도에 따라 결정하고, 그 결정된 버퍼 크기 및 비트 레이트에 근거하여 각 구성요소에 대응하는 화상 데이터를 부호화하므로, 각 구성요소에 대응하는 부호화 데이터의 복호측에서는, 복호화기에 대응하는 단일의 버퍼의 데이터 저장영역이, 각 구성요소의 복잡도에 따라 동적으로 할당되는 것으로 된다. 이것에 의해 복호화 측에서는 복호화기에 대응하는 단일의 버퍼의 데이터 저장 영역을 유효하게 이용할 수 있다.
또한, 화상의 복잡도에 따라서 비트 레이트를 할당하기 때문에, 각 구성요소를 가장 적절한 조건에서 부호화 할 수 있고, 이 때문에, 재생한 비디오 신호 전체의 화질을 높일 수 있음과 아울러, 각 구성요소에 대응하는 부호화 데이터의 전송 레이트를, 한정된 데이터 전송 속도를 가진 실제의 통신 회선에 적용한 것으로 할 수 있다.
또, 상기 실시예 3에서는, 도 10의 단계 S1003에 나타내듯이, 구성요소의 크기, 결국 구성요소에 있어서의 화소의 개수를 측정하고, 측정된 화소의 개수를 화상의 복잡도의 지표로서, 각 구성요소의 비트 레이트 및 버퍼 크기를 결정하도록 하고 있지만, 비트 레이트 및 버퍼 크기의 결정방법은 이것에 한정되는 것은 아니다.
예컨대, 도 11에 나타내듯이, 부호화 처리가 개시되고(단계 S1101), 비디오의 구성요소의 데이터가 입력된(단계 S1102) 후, 각 구성요소의 최초의 N프레임(예컨대 3프레임)에 대한 부호화 처리에 의해 발생하는 비트 수를 측정하고, 각 구성요소에 대한 1 프레임당 평균 발생 비트수를, 각 구성요소의 화상의 복잡도 C(j)(j=1, 2, …, J)를 나타내는 지표로 하여도 좋다. 이 경우는, 이 지표에 근거하여 각 구성요소에 대한 부호화 처리가 행해지고(단계 S1107), 부호화 처리가 종료한다(단계 S1106).
또한, 상기 실시예 3의 화상 부호화 장치(130)에서는, 비디오의 각 구성요소의 데이터가 입력됐을 때에 각 구성요소의 화상의 복잡도를 측정하고, 그 각 구성요소의 화상의 복잡도를 지표로 하여, 각 구성요소의 비트 레이트 및 버퍼 크기를 결정하고, 그 후는, 결정된 비트 레이트 및 버퍼 크기에 근거하여, 각 구성요소의 화상 데이터를 부호화하는 것을 나타냈지만, 화상 부호화 장치는, 각 구성요소의 화상의 복잡도의 측정을 일정 주기로 실시하고, 비트 레이트 및 버퍼 크기를 일정 기간마다 갱신하고, 갱신된 비트 레이트 및 버퍼 크기에 근거하여, 각 구성요소의 화상 데이터를 부호화하도록 구성하여도 좋다.
도 17은 이와 같은 구성의 화상 부호화 장치에 의한 부호화 처리를 설명하기 위한 모식도이다. 도 17(a)는 제 1 구성요소에 대응하는 비트 레이트 및 버퍼 크기 Bo(1), 도 17(b)는 제 2 구성요소에 대응하는 비트 레이트 및 버퍼 크기 Bo(2), 도 17(c)는, 제 3 구성요소에 대응하는 비트 레이트 및 버퍼 크기 Bo(3)을 나타내고 있다.
또, 도면 중, 세로축(1701, 1711, 1721)은 복화호 측의 버퍼 점유량을 나타내고, 가로축(1702, 1712, 1722)는 압축 데이터(부호화 데이터)의 표시시간 t를 나타내고 있다. 또, 표시시간 t0, t1, t2, t3, …은 예컨대, n번째, (n+1)번째, (n+2)번째, (n+3)번째, …의 프레임의 표시시간을 나타낸다. 또한, 상기 도 17(a)에 있어서의 그래프의 경사부분(1704)의 경사는 제 1 구성요소에 대응하는 비트 레이트를 나타내고, 이 비트 레이트는, 도 17(a)에서는 나타내지 않지만, 일정 기간마다 갱신에 의해 변동되고 있다. 또한, 상기 그래프의 가로축과 수직인 세로선 부분(1705)의 길이는 시간 t0에 표시되는 프레임에 대응하는 제 1 구성요소의 부호화 데이터의 비트수를 나타내고 있다.
또한, 상기 도 17(b), (c)에 있어서의 그래프의 경사부분(1714, 1724)의 경사는 제 2, 제 3 구성요소에 대응하는 비트 레이트를 나타내고 있고, 이들의 비트 레이트는, 도 17(b), (c)에서는 표시되지 않지만, 일정 기간마다의 갱신에 의해 변동되고 있다. 또한, 상기 그래프의 가로축과 수직인 세로선 부분(1715, 1725)의 길이는 시간 t0에 표시되는 프레임에 대응하는 제 2, 제 3 구성요소의 부호화 데이터의 비트수를 나타내고 있다.
여기서는, 제 1 구성요소에 대응하는 버퍼 크기 Bo(1)는 일정값으로 하고, 제 2, 제 3 구성요소에 대응하는 버퍼 크기 Bo(2), Bo(3)은 일정 기간마다 갱신에 의해 변화되는 것으로 하고 있다. 그리고, 이들 버퍼 크기 Bo(2) 및 Bo(3)의 변화는 상보적인 것, 결국 한쪽이 증가하면 다른 쪽은 감소하고, 한쪽이 감소하면 다른쪽은 증가하는 것으로 되어 있다.
이 경우, 제 3 구성요소에 대응하는 버퍼 크기의 제어, 결국 비트 레이트의 증가에 따라 버퍼 크기를 증가시키는 제어는, 비트 레이트의 제약보다 화상 품질을 우선시키려는 구성요소에 적용하고 있다. 또한, 제 2 구성요소에 대응하는 버퍼 크기의 제어, 결국 다른 구성요소의 버퍼 크기의 변동을 흡수하도록 버퍼 크기를 변동시키는 제어는, 비트 레이트에 대한 제약을 화상 품질보다 우선시키려는 구성요소에 적용할 수 있다.
더욱이, 상기 실시예 3에 있어서의 복잡도의 지표로서는, 상기 구성요소의 크기외에, 각 구성요소의 분산값(실시예 1에서 설명한 방법(1)에 의해 얻을 수 있는 지표), 예측 오차(실시예 1에서 설명한 방법(2)에 의해 얻을 수 있는 지표), 혹은 동작의 크기(정지하고 있는가, 크게 동작하고 있는가)의 정보를 이용하여도 좋다. 더욱이, 그 외의 다른 복잡도의 지표로서는, 실시예 1에서 설명한 방법 (3) 혹은 (4)에 의해 얻을 수 있는 지표를 이용하여도 좋다.
더욱이, 상기 각 실시예에서 나타낸 부호화 장치 혹은 복호화 장치의 구성을 실현하기 위한 부호화 혹은 복호화 프로그램을, 플로피 디스크 등의 데이터 기억 매체에 기록하도록 하는 것에 의해, 상기 각 실시예에서 나타낸 처리를, 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능하게 된다.
도 12는, 상기 실시예 1 내지 3의 부호화 혹은 복호화 처리를, 상기 부호화 혹은 복호화 프로그램을 저장한 플로피 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우를 설명하기 위한 도면이다.
도 12(a)는 플로피 디스크의 정면으로부터 본 외관, 단면구조 및 플로피 디스크를 나타내고, 도 12(b)는 기록 매체 본체에 있는 플로피 디스크의 물리 포맷의 예를 나타낸다. 플로피 디스크 FD는 케이스 F 내에 내장되고, 그 디스크의 표면에는, 동심원상으로 외주로부터는 내주를 향하여 복수의 트랙 Tr이 형성되고, 각 트랙은 각도방향에 16의 섹터 Se로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플로피 디스크에서는 상기 플로피 디스크 FD 상에 할당된 영역에, 상기 프로그램으로서의 데이터가 기록되어 있다.
또한, 도 12(c)는 플로피 디스크 FD에 상기 프로그램의 기록 재생을 실행하기 위한 구성을 나타낸다. 상기 프로그램을 플로피 디스크 FD에 기록하는 경우는 컴퓨터 시스템(Cs)로부터 상기 프로그램으로서의 데이터를 플로피 디스크 드라이브를 거쳐 기록한다. 또한, 플로피 디스크 내의 프로그램에 의해 상기 부호화 혹은 복호화 장치를 컴퓨터 시스템 중에 구축하는 경우는 플로피 디스크 드라이브에 의해 프로그램을 플로피 디스크로부터 판독하고, 컴퓨터 시스템에 전송한다.
또, 상기 설명에서는, 데이터 기록 매체로서 플로피 디스크를 이용하여 설명을 하였지만, 광디스크를 이용하여도 마찬가지로 실행할 수 있다. 또한, 기록 매체는 이것에 한정되지 않고, IC카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이라면 마찬가지로 실시할 수 있다.
이상과 같이 본 발명(청구항 2, 3, 7~12)에 의하면, 화상을 구성하는 복수의 구성요소의 각각의 복잡도에 따라, 각 구성요소의 화상데이터에 대하여 부호화 처리에 필요한 비트수를 할당하도록 했으므로, 각 구성요소의 화상 데이터에 대한 부호화 처리를 최적인 조건에서 실시할 수 있고, 이것에 의해, 재생한 비디오 신호 전체의 화질을 높일 수 있는 효과가 있다.
특히, 본 발명(청구항 3)에 의하면, 복호화 측의 버퍼가 언더 플로우 혹은 오버 플로우하지 않도록, 부호화 처리의 대상으로 되는 대상 프레임으로 할당하는 프레임 비트수를 결정하므로, 수신측에서의 복호화 처리를 항상 양호하게 실시할 수 있다.
본 발명(청구항 13)에 의하면, 수신측에서는 화상을 구성하는 복수의 구성요소에 대응하는 부호화 데이터를, 상기 화상의 각 프레임마다 1개의 버퍼에 저장하고, 각 프레임에 대한 복호화 처리시에는 그 버퍼로부터, 각 프레임에 대응하는 모든 구성요소의 부호화 데이터를 판독하도록 했으므로, 버퍼의 데이터 저장 영역을, 복수의 구성요소의 사이에서 유효하게 이용할 수 있다. 결국, 각 구성요소의 복잡도에 따른, 각 구성요소에 대응하는 할당을 하여 비트수의 변동을, 각 구성요소 사이에서 흡수할 수 있다. 이 결과, 각 구성요소의 화상에 가장 적절한 비트를 할당하면서, 화상 전체의 화질을 높일 수 있다는 효과가 있다.
본 발명(청구항 17~24)에 의하면, 소정의 화상을 표시하기 위한 비디오 신호를 그 소정의 화상을 구성하는 구성요소마다 부호화하는 화상 부호화 방법에 있어서, 각 구성요소의 복잡도에 따라, 복수의 각 구성요소 사이에서의 비트 레이트의 비율을 구할 수 있고, 비트 레이트의 비율에 따라, 모든 구성요소에 대응하는 비트레이트의 총합이 일정하게 되도록 각 구성요소에 대응하는 데이터를 부호화하므로, 물체에 대응하는 압축 데이터(부호화 데이터)의 전송 레이트를, 한정된 데이터 전송 속도를 가진 실제의 통신 회선에 적용한 것으로 할 수 있다.

Claims (24)

  1. 삭제
  2. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 것에 의해 얻어지는 각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 이루어지는 다중 부호화 데이터에 대하여, 상기 각 구성요소마다 상기 오브젝트 부호화 데이터를 복호화하는 오브젝트 복호화 처리를 실시하는 화상 처리 방법에 있어서,
    상기 오브젝트 부호화 처리는,
    상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정 처리와,
    상기 각 구성요소의 복잡도에 따라서, 각 오브젝트 화상 데이터에 대하여 할당되는 비트수의, 상기 복수의 구성요소 사이에서의 비율을 결정하는 비트수 할당 비율 결정 처리를 포함하되,
    상기 각 오브젝트 화상 데이터를, 상기 각 오브젝트 부호화 데이터에 대응하는 비트수가 상기 각 구성요소 사이에서의 할당 비트 수의 결정비율을 만족하도록 부호화하는 것이며,
    상기 오브젝트 복호화 처리는,
    상기 다중 부호화 데이터로부터 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 분리하는 분리 처리와,
    상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 1개의 버퍼에 저장하는 저장 처리와,
    상기 버퍼로부터 각 구성요소에 대응하는 오브젝트 부호화 데이터를 취출(取出)하여 복호화하는 복호화 처리
    를 포함하는 것임을 특징으로 하는 화상 처리 방법.
  3. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 방법에 있어서,
    상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정 처리와,
    상기 각 구성요소의 복잡도에 따라서, 각 오브젝트 화상 데이터에 대하여 할당되는 비트수의, 상기 복수의 구성요소 사이에서의 비율을 결정하는 비트수 할당 비율 결정 처리를 포함하되,
    상기 각 오브젝트 화상 데이터를, 상기 각 오브젝트 부호화 데이터에 대응하는 비트수가 상기 각 구성요소 사이에서의 할당 비트 수의 결정비율을 만족하도록 부호화하며,
    상기 각 구성요소의 복잡도를 나타내는 지표는, 상기 각 구성요소를 구성하는 화소의 화소값의 분산을 나타내는 제 1 값, 상기 각 구성요소의 표시 화상의 시간적인 변동의 크기를 나타내는 제 2 값, 상기 부호화 처리의 대상으로 되는 대상 프레임보다 이전에 부호화 처리가 실시된 전(前)처리 프레임에 있어서의 대응하는 구성요소에 대한 부호화 시의 발생비트수를, 대상 프레임과 전처리 프레임 사이에서의, 동일 구성요소의 특성을 나타내는 계수의 비율에 의해 가중치 부여한 제 3 값 혹은 상기 각 구성요소에 대한 오브젝트 화상 데이터를 일정한 부호화 조건으로 예비 부호화했을 때에 발생하는, 각 구성요소에 대응하는 발생비트수를 나타내는 제 4 값중 어느 하나인 것을 특징으로 하는 화상 처리 방법.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 장치에 있어서,
    상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정 수단과,
    상기 부호화 처리의 대상으로 되는 대상 프레임을 구성하는 각 구성요소의 복잡도에 따라, 그 각 구성요소에 대하여 그 오브젝트 화상 데이터의 부호화 시에 이용되는 비트수를 할당하는 비트수 할당 수단과,
    상기 대상 프레임에 대응하는 각 오브젝트 화상 데이터를, 각 구성요소에 대하여 할당된 비트수를 근거로 부호화하여 오브젝트 부호화 데이터를 생성하는 부호화기와,
    각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 비트 스트림을 생성하는 다중화기를 포함하며,
    상기 비트수 할당 수단은, 대상 프레임에 있어서의 모든 구성요소의 복잡도의 총합에 대한, 각 구성요소의 복잡도의 비율에 근거하여, 상기 각 구성요소에 대응하는 비트수의 할당을 실행하도록 구성되어 있는 것을 특징으로 하는
    화상 처리 장치.
  8. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 장치에 있어서,
    상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정 수단과,
    상기 부호화 처리의 대상으로 되는 대상 프레임을 구성하는 각 구성요소의 복잡도에 따라, 그 각 구성요소에 대하여 그 오브젝트 화상 데이터의 부호화 시에 이용되는 비트수를 할당하는 비트수 할당 수단과,
    상기 대상 프레임에 대응하는 각 오브젝트 화상 데이터를, 각 구성요소에 대하여 할당된 비트수를 근거로 부호화하여 오브젝트 부호화 데이터를 생성하는 부호화기와,
    각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 비트 스트림을 생성하는 다중화기를 포함하며,
    상기 복잡도 측정 수단은,
    각 구성요소를 구성하는 화소의 화소값의 분산을 나타내는 제 1 값, 각 구성요소의 표시 화상의 시간적인 변동의 크기를 나타내는 제 2 값, 상기 대상 프레임보다 이전에 부호화 처리가 실시된 전(前)처리 프레임에 있어서의 대응하는 구성요소에 대한 부호화 시의 발생비트수를, 대상 프레임과 전처리 프레임 사이에서의, 동일 구성요소의 특성을 나타내는 계수의 비율에 의해 가중치 부여하여 얻어지는 제 3 값 혹은 상기 각 구성요소에 대한 오브젝트 화상 데이터를 일정한 부호화 조건으로 예비 부호화했을 때에 발생하는, 각 구성요소에 대응하는 발생비트수를 나타내는 제 4 값 중 어느 하나를 지표로 해서, 상기 구성요소의 복잡도를 측정하도록 구성되어 있는 것을 특징으로 하는
    화상 처리 장치.
  9. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 장치에 있어서,
    상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정 수단과,
    상기 부호화 처리의 대상으로 되는 대상 프레임을 구성하는 각 구성요소의 복잡도에 따라, 그 각 구성요소에 대하여 그 오브젝트 화상 데이터의 부호화 시에 이용되는 비트수를 할당하는 비트수 할당 수단과,
    상기 대상 프레임에 대응하는 각 오브젝트 화상 데이터를, 각 구성요소에 대하여 할당된 비트수를 근거로 부호화하여 오브젝트 부호화 데이터를 생성하는 부호화기와,
    각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 비트 스트림을 생성하는 다중화기를 포함하며,
    상기 비트수 할당 수단은 상기 비트 스트림에 대하여 복호화 처리를 실시하는 화상 복호화 장치에 있어서의, 상기 비트 스트림으로부터 분리된 각 구성요소에 대응하는 부호화 오브젝트 데이터를 저장하는 1개의 버퍼가, 오버 플로우 또는 언더 플로우로 되지 않도록, 상기 대상 프레임에 대응하는 비디오 신호로 할당되는 프레임 비트수를 그 각 구성요소로 분배하는 것인 것을 특징으로 하는 화상 처리 장치.
  10. 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서,
    상기 화상 처리 프로그램은, 청구항 제 2 항 또는 제 3 항에 기재한 화상 처리 방법에 의한 처리를 컴퓨터에 의해 실시하기 위한 프로그램인 것을 특징으로 하는 데이터 기억 매체.
  11. 소정의 화상을 표시하기 위한 비디오 신호를 프레임마다 부호화 처리에 의해 비트 스트림으로 변환하고, 그 비트 스트림을 송신하는 송신측 데이터 처리와, 그 비트 스트림을 수신하고, 그 비트 스트림을 프레임마다 복호화 처리에 의해 재생 데이터로 변환하는 수신측의 데이터 처리를 포함하는 화상 처리 방법에 있어서,
    상기 송신측 데이터 처리는,
    상기 소정의 화상을 구성하는 복수의 구성요소에 대응하는, 부호화 처리의 대상으로 되는 대상 프레임의 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리와,
    각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 상기 비트 스트림을 생성하는 다중화 처리를 포함하고,
    상기 수신측 데이터 처리는,
    상기 비트 스트림을 프레임마다 1개의 버퍼에 저장하는 데이터 저장 처리와,
    상기 버퍼로부터, 대상 프레임에 대응하는 비트 스트림을 판독하고, 판독한 비트 스트림을 각 구성요소별로 복호화하여, 해당 각 구성요소에 대응하는 재생 데이터를 생성하는 복호화 처리와,
    상기 각 구성요소에 대응하는 재생 데이터를 합성하여 합성 데이터를 생성하고, 그 합성 데이터에 근거하여, 상기 소정의 화상을 표시하는 합성 표시 처리를 포함하는 것을 특징으로 하는 화상 처리 방법.
  12. 제 11 항에 있어서,
    상기 오브젝트 부호화 처리는,
    상기 버퍼가 언더 플로우 혹은 오버 플로우로 되지 않도록, 부호화의 대상으로 되는 대상 프레임에 할당하는 프레임 비트수를 결정하는 비트수 결정처리와,
    상기 대상 프레임을 구성하는 각 구성요소의 복잡도에 따라, 상기 프레임 비트수를 그 각 구성요소에 대응하도록 분배하여, 각 구성요소에 대응하는 오브젝트 비트수를 결정하는 비트수 분할 처리를 포함하되,
    상기 각 오브젝트 비트수에 근거하여, 상기 대상 프레임의 각 구성요소에 대응하는 오브젝트 화상 데이터를 부호화하는 것을 특징으로 하는 화상 처리 방법.
  13. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하고, 그 각 오브젝트 부호화 데이터를 다중화하여 얻어지는 다중 부호화 데이터를, 복호화하는 화상 처리 장치에 있어서,
    상기 다중 부호화 데이터로부터 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 분리하는 분리기와,
    상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 저장하는 1개의 버퍼와,
    그 버퍼로부터 각 구성요소에 대응하는 오브젝트 부호화 데이터를 취출하여 복호화하는 복호화기를 구비한 것을 특징으로 하는 화상 처리 장치.
  14. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를, 표시 처리의 단위인 프레임마다 실시하는 화상 처리 방법에 있어서,
    각 구성요소에 대응하는 오브젝트 화상 데이터를 예비 부호화하여 얻어지는, 각 구성요소에 대한 발생 비트수를, 각 구성요소의 복잡도의 지표로서 구하는 복잡도 도출 처리와,
    본(本) 부호화 처리가 실시되지 않는 모든 미(未)부호화 프레임의 복잡도의 총합과, 본 부호화 처리의 대상으로 되는 대상 프레임의 복잡도와의 비를, 프레임 분배율로서 구하는 프레임 분배율 도출 처리와,
    상기 비디오 신호에 할당되어 있는 총비트수 중 미사용 비트수에 상기 프레임 분배율을 승산하여 상기 대상 프레임에 할당되는 비트수를 결정하는 프레임 비트수 결정 처리와,
    상기 대상 프레임을 구성하는 모든 구성요소의 복잡도의 총합과, 본(本) 부호화 처리의 대상으로 되는 구성요소의 복잡도와의 비를, 구성요소 분배율로서 구하는 분배율 도출 처리와,
    상기 대상 프레임에 할당된 비트수에 상기 구성요소 분배율을 승산하여, 상기 대상 구성요소에 할당되는 비트수를 결정하는 구성요소 비트수 결정 처리와,
    각 구성요소에 대하여 할당된 비트수에 근거하여, 상기 대상 프레임을 구성하는 각 구성요소에 대응하는 오브젝트 화상 데이터를 별도로 부호화하는 구성요소 부호화 처리를 포함하는 것을 특징으로 하는 화상 처리 방법.
  15. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 장치에 있어서,
    상기 각 구성요소에 대응하는 오브젝트 화상 데이터의 예비 부호화에 의해 발생하는, 각 구성요소에 대응하는 발생 비트수를, 각 구성요소의 복잡도의 지표로서 도출하는 복잡도 측정기와,
    본 부호화 처리가 실시되지 않은 모든 미부호화 프레임의 복잡도의 총합과, 본 부호화 처리의 대상으로 되는 대상 프레임의 복잡도와의 비를, 프레임 분배율로서 구하는 프레임 분배율 도출기와,
    상기 비디오 신호에 할당되어 있는 총 비트수 중 미사용 비트수에 상기 프레임 분배율을 승산하여 상기 대상 프레임에 할당되는 비트수를 결정하는 프레임 비트수 결정기와,
    상기 대상 프레임을 구성하는 모든 구성요소의 복잡도의 총합과, 본 부호화 처리의 대상으로 되는 구성요소의 복잡도와의 비를, 구성요소 분배율로서 구하는 분배율 도출 수단과,
    상기 대상 프레임에 할당된 비트수에 상기 구성요소 분배율을 승산하여, 상기 대상 구성요소에 할당되는 비트수를 결정하는 구성요소 비트수 결정 수단과,
    각 구성요소에 대하여 할당된 비트수에 근거하여, 상기 대상 프레임을 구성하는 각 구성요소를 별도로 부호화하여, 오브젝트 부호화 데이터를 생성하는 부호화 수단과,
    상기 복수의 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 비트 스트림을 출력하는 다중화기를 구비한 것을 특징으로 하는 화상 처리 장치.
  16. 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서,
    상기 화상 처리 프로그램은 제 14 항에 기재한 화상 처리 방법에 의한 비디오 신호의 부호화 처리를 컴퓨터에 의해 실시하기 위한 프로그램인 것을 특징으로 하는 데이터 기억 매체.
  17. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 방법에 있어서,
    상기 오브젝트 부호화 처리는,
    상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정 처리와,
    상기 각 구성요소의 복잡도에 따라, 각 구성요소에 대한 오브젝트 부호화 데이터의 비트 레이트의, 해당 복수의 구성요소 사이에서의 비율을 결정하는 레이트 비율 결정 처리를 포함하되,
    상기 각 구성요소에 대한 비트 레이트의 비율에 근거하여, 모든 구성요소에 대응하는 비트 레이트의 총합이 일정값으로 되도록, 각 구성요소에 대한 오브젝트 화상 데이터를 소정의 비트 레이트로 부호화하는 것인 것을 특징으로 하는 화상 처리 방법.
  18. 상기 제 17 항에 기재한 화상 처리 방법에 의해 얻어지는 각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 이루어지는 다중 부호화 데이터를 복호화하는 화상 처리 방법에 있어서,
    상기 다중 부호화 데이터로부터 상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 분리하는 분리 처리와,
    상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 1개의 버퍼에 저장하는 저장 처리와,
    그 버퍼로부터 각 구성요소에 대응하는 오브젝트 부호화 데이터를 취출하여 복호화하는 복호화 처리를 포함하는 것을 특징으로하는 화상 처리 방법.
  19. 제 17 항에 있어서,
    상기 오브젝트 부호화 처리는,
    상기 버퍼가 언더 플로우 혹은 오버 플로우로 되지 않도록, 각 구성요소의 복잡도에 따라, 해당 각 구성요소에 대한 비트 레이트의 비율 및 각 구성요소에 대한, 상기 버퍼에 저장되는 오브젝트 부호화 데이터의 최대량을 결정하는 부호화 조건 결정 처리를 포함하고,
    상기 각 구성요소에 대한 비트 레이트의 비율에 근거하여, 모든 구성요소에 대응하는 비트 레이트의 총합이 일정값으로 되도록, 각 구성요소에 대한 오브젝트 화상 데이터를 소정의 비트 레이트로 부호화하는 것인 것을 특징으로 하는 화상 처리 방법.
  20. 제 17 항에 있어서,
    상기 각 구성요소의 복잡도를 나타내는 지표는, 상기 각 구성요소를 구성하는 화소의 화소값의 분산을 나타내는 제 1 값, 상기 각 구성요소의 표시 화상의 시간적인 변동의 크기를 나타내는 제 2 값, 상기 부호화 처리의 대상으로 되는 대상 프레임보다 이전에 부호화 처리가 실시된 전처리 프레임에 있어서의 대응하는 구성요소에 대한 부호화 시의 발생 비트수를, 대상 프레임과 전처리 프레임의 사이에서의, 동일 구성요소의 특성을 나타내는 계수의 비율에 의해 가중치 부여한 제 3 값 혹은 상기 각 구성요소에 대한 오브젝트 화상 데이터를 일정한 부호화 조건으로 예비 부호화했을 때에 발생하는, 각 구성요소에 대응하는 발생 비트수를 나타내는 제 4 값 중 어느 하나인 것을 특징으로 하는 화상 처리 방법.
  21. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 방법에 있어서,
    상기 오브젝트 부호화 처리는,
    상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정 처리와,
    상기 모든 구성요소의 복잡도의 총합에 대한 각 구성요소의 복잡도의 비율에 따라, 해당 각 구성요소에 대한 오브젝트 부호화 데이터의 비트 레이트의, 상기 복수의 구성요소 사이에서의 비율 및 각 구성요소에 대한, 복호화 측의 버퍼에 저장되는 오브젝트 부호화 데이터의 최대량을 결정하는 부호화 조건 결정 처리를 포함하고,
    상기 각 구성요소에 대한 비트 레이트의 비율에 근거하여, 모든 구성요소에 대응하는 비트 레이트의 총합이 일정값으로 되도록, 각 구성요소에 대한 오브젝트 화상 데이터를 소정의 비트 레이트로 부호화하는 것인 것을 특징으로 하는 화상 처리 방법.
  22. 소정의 화상을 표시하기 위한 비디오 신호에 대하여, 그 소정의 화상을 구성하는 복수의 구성요소에 대응하는 오브젝트 화상 데이터를 각 구성요소마다 별도로 부호화하여 오브젝트 부호화 데이터로 변환하는 오브젝트 부호화 처리를 실시하는 화상 처리 장치에 있어서,
    상기 각 오브젝트 화상 데이터의 부호화 처리에 필요한 비트수에 대응하는 구성요소의 복잡도를 측정하는 복잡도 측정수단과,
    상기 각 구성요소의 복잡도에 따라, 해당 각 구성요소에 대한 개별 비트 레이트 및 각 구성요소에 대한, 복호화 측의 버퍼에 저장되는 오브젝트 부호화 데이터의 최대량인 개별 버퍼 사이즈를 결정하는 부호화 조건 결정 수단과
    상기 결정된 개별 비트 레이트 및 개별 버퍼 사이즈에 근거하여 제어신호를 출력하는 제어기와,
    상기 구성요소에 대응하는 오브젝트 화상 데이터에 대한 부호화 처리를, 상기 제어 신호에 근거하여 해당 부호화 처리에 의해 발생하는 비트수를 제어하면서 실행하여, 각 구성요소에 대응하는 오브젝트 부호화 데이터를 출력하는 부호화기와,
    상기 각 구성요소에 대응하는 오브젝트 부호화 데이터를 다중화하여 비트 스트림을 생성하는 다중화기를 구비한 것을 특징으로 하는 화상 처리 장치.
  23. 제 22 항에 있어서,
    상기 부호화 조건 결정 수단은, 전송 경로의 최대 전송 비트 레이트를 상기 각 구성요소의 복잡도에 따라서 각 구성요소로 분배하여 각 구성요소에 대한 개별 비트 레이트를 결정하고, 상기 복호화 측의 1개의 버퍼의 최대 데이터 저장량을, 상기 각 구성요소의 복잡도에 따라서 해당 각 구성요소로 분배하여 상기 개별 버퍼 사이즈를 결정하도록 구성되어 있는 것을 특징으로 하는 화상 처리 장치.
  24. 화상 처리 프로그램을 저장한 데이터 기억 매체에 있어서,
    상기 화상 처리 프로그램은, 청구항 제 17 항에 기재한 화상 처리 방법에 의한 비디오 신호의 부호화 처리를 컴퓨터에 의해 실행하기 위한 프로그램인 것을 특징으로 하는 데이터 기억 매체.
KR10-2000-0018963A 1999-04-12 2000-04-11 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체 KR100390115B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP99-104507 1999-04-12
JP10450799 1999-04-12

Publications (2)

Publication Number Publication Date
KR20000071640A KR20000071640A (ko) 2000-11-25
KR100390115B1 true KR100390115B1 (ko) 2003-07-04

Family

ID=14382419

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2000-0018963A KR100390115B1 (ko) 1999-04-12 2000-04-11 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체

Country Status (4)

Country Link
US (1) US6574368B1 (ko)
EP (1) EP1045592A3 (ko)
KR (1) KR100390115B1 (ko)
CN (1) CN1275021A (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1225704A1 (en) * 2001-01-12 2002-07-24 STMicroelectronics S.r.l. "A process and system for compressing and decompressing digital information and computer program product therefor
EP2804325B1 (en) 2001-08-31 2017-10-04 Panasonic Intellectual Property Corporation of America Picture decoding method and decoding device
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
EP1501309A4 (en) * 2002-04-26 2010-11-03 Sony Corp CODING DEVICE AND METHOD, DECODING DEVICE AND METHOD, EDITING DEVICE AND METHOD, RECORDING MEDIUM AND PROGRAM
US7760950B2 (en) * 2002-09-26 2010-07-20 Ntt Docomo, Inc. Low complexity and unified transforms for video coding
US7627187B2 (en) * 2003-09-24 2009-12-01 Ntt Docomo, Inc. Low complexity and unified transforms for video coding
US20060176953A1 (en) * 2005-02-04 2006-08-10 Nader Mohsenian Method and system for video encoding with rate control
JP4697276B2 (ja) * 2008-07-30 2011-06-08 ソニー株式会社 動きベクトル検出装置、動きベクトル検出方法及びプログラム
US9772958B2 (en) * 2011-10-31 2017-09-26 Hewlett Packard Enterprise Development Lp Methods and apparatus to control generation of memory access requests
US9891832B2 (en) * 2015-12-28 2018-02-13 Kyocera Document Solutions Inc. Memory saving system and methods for buffer overflow that occurs during image compression
KR20210072344A (ko) * 2019-12-09 2021-06-17 삼성전자주식회사 전자장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970019644A (ko) * 1995-09-26 1997-04-30 양승택 프레임 그룹별 비트율 제어 방법
KR19980034879A (ko) * 1996-11-09 1998-08-05 김광호 영상단위별 비트발생량 조절 장치 및 방법
KR100203627B1 (ko) * 1996-04-30 1999-06-15 전주범 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR100207419B1 (ko) * 1995-03-20 1999-07-15 전주범 부호화 비트발생율 제어방법 및 그 제어장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5079621A (en) * 1990-06-29 1992-01-07 Eastman Kodak Company Dct transform compression, transmission and recovery of digital color using virtual filtering mechanism
US5231484A (en) * 1991-11-08 1993-07-27 International Business Machines Corporation Motion video compression system with adaptive bit allocation and quantization
KR100213014B1 (ko) * 1994-03-15 1999-08-02 윤종용 동화상신호의 고능률 부호화를 위한 레이트 콘트롤 장치
US6351565B1 (en) * 1997-02-07 2002-02-26 Matsushita Electric Industrial Co, Ltd. Data structure for image transmission, method of image transmission, image decoding apparatus, and data recording media
JPH10304353A (ja) 1997-02-27 1998-11-13 Matsushita Electric Ind Co Ltd オブジェクトデータ処理装置，オブジェクトデータ記録装置，データ記憶媒体，及び伝送用データ構造
US6259733B1 (en) * 1998-06-16 2001-07-10 General Instrument Corporation Pre-processing of bit rate allocation in a multi-channel video encoder
JP3748717B2 (ja) * 1998-08-31 2006-02-22 シャープ株式会社 動画像符号化装置
US6490319B1 (en) * 1999-06-22 2002-12-03 Intel Corporation Region of interest video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100207419B1 (ko) * 1995-03-20 1999-07-15 전주범 부호화 비트발생율 제어방법 및 그 제어장치
KR970019644A (ko) * 1995-09-26 1997-04-30 양승택 프레임 그룹별 비트율 제어 방법
KR100203627B1 (ko) * 1996-04-30 1999-06-15 전주범 비트 발생량 조절기능을 갖는 영상 부호화 시스템
KR19980034879A (ko) * 1996-11-09 1998-08-05 김광호 영상단위별 비트발생량 조절 장치 및 방법

Also Published As

Publication number Publication date
EP1045592A3 (en) 2004-10-13
CN1275021A (zh) 2000-11-29
US6574368B1 (en) 2003-06-03
EP1045592A2 (en) 2000-10-18
KR20000071640A (ko) 2000-11-25

Similar Documents

Publication Publication Date Title
US5719632A (en) Motion video compression system with buffer empty/fill look-ahead bit allocation
US6522693B1 (en) System and method for reencoding segments of buffer constrained video streams
JP4786114B2 (ja) 映像をコード化するための方法及び装置
US6181742B1 (en) Single pass target allocation for video encoding
KR100343352B1 (ko) 일정 비트 레이트 혹은 가변 비트 레이트를 위한 디지털 동영상 시퀀스 2-패스 부호화 방법
EP0627858B1 (en) Apparatus for further compressing and recording encoded digital video data streams
KR100253931B1 (ko) 디지탈 영상 시퀀스의 디코딩 방법 및 장치
KR101643790B1 (ko) 적응적 비디오 스트리밍용의 가변 비트 레이트 및 동적 해상도를 이용한 다중 비트 레이트 비디오 인코딩
KR19990088475A (ko) 다수의비디오프레임스트림처리방법및그장치
KR101041973B1 (ko) 플래그 부호화 방법, 플래그 복호화 방법, 및 상기 방법을이용한 장치
KR100390115B1 (ko) 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체
US7173947B1 (en) Methods and apparatus to evaluate statistical remultiplexer performance
US5652629A (en) Bidirectional motion estimation in a motion video compression system
KR100988006B1 (ko) 복호 장치 및 방법, 그리고 기록 매체
KR20070009915A (ko) 픽쳐 드롭 및 합성을 통하여 레이트 컨트롤을 수행하는비디오 코딩 방법, 그 방법을 이용한 비디오 인코더, 및트랜스코더
KR20060070400A (ko) 영상 신호의 인코딩 및 디코딩 방법
US20080253447A1 (en) Video Transcoding with Selection of Data Portions to be Processed
KR20040048289A (ko) 트랜스코딩 장치 및 방법, 이에 사용되는 타겟비트할당 및픽처 복잡도 예측 장치 및 방법
KR20140023918A (ko) 동화상 부호화 장치
KR100394014B1 (ko) 영상 변환 부호화 장치
KR20060007765A (ko) 영상 압축/복원 방법 및 장치
JP3166501B2 (ja) 画像再圧縮方法及び画像再圧縮装置
KR20030063536A (ko) 슬라이스 구조를 갖는 관심 영역 부호화 및 복호화를 위한방법 및 장치
JP2000358243A (ja) 画像処理方法，画像処理装置，及びデータ記憶媒体
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee