KR100636465B1 - 데이터 처리 장치 및 데이터 처리 방법 - Google Patents

데이터 처리 장치 및 데이터 처리 방법 Download PDF

Info

Publication number
KR100636465B1
KR100636465B1 KR20047003659A KR20047003659A KR100636465B1 KR 100636465 B1 KR100636465 B1 KR 100636465B1 KR 20047003659 A KR20047003659 A KR 20047003659A KR 20047003659 A KR20047003659 A KR 20047003659A KR 100636465 B1 KR100636465 B1 KR 100636465B1
Authority
KR
South Korea
Prior art keywords
picture
image
unit
field
data
Prior art date
Application number
KR20047003659A
Other languages
English (en)
Other versions
KR20040035763A (ko
Inventor
이나가키히로키
후쿠다히데키
곤도사토시
Original Assignee
마츠시타 덴끼 산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마츠시타 덴끼 산교 가부시키가이샤 filed Critical 마츠시타 덴끼 산교 가부시키가이샤
Publication of KR20040035763A publication Critical patent/KR20040035763A/ko
Application granted granted Critical
Publication of KR100636465B1 publication Critical patent/KR100636465B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동화상에 특히 움직임이 빠른 화상이 포함되는 것과 같은 경우이더라도, 부호화 효율을 저하시키지 않고 동화상 데이터를 압축 부호화하는 데이터 처리 장치 등을 제공한다. 동화상은, 각각이 2개의 필드 화상으로 구성되는 복수의 프레임 화상을 연속적으로 표시하여 얻어진다. 장치(100)는, 동화상 데이터를 저장하는 메모리(101)와, 2개의 필드 화상의 동화상 데이터에 근거하여, 동화상의 변화 정도를 나타내는 파라미터를 산출하는 산출부(108)와, 산출된 파라미터에 근거하여, 화면내 및 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상 단위, 및 화상 단위를 규정하는 픽쳐 구조를 결정하는 결정부(109)와, 메모리에 저장된 동화상 데이터를, 결정된 픽쳐 구조에 따라서 압축 부호화하여, 압축 데이터를 생성하는 처리부(102-107, 110)를 구비하고 있다.

Description

데이터 처리 장치 및 데이터 처리 방법{DATA PROCESSING DEVICE AND DATA PROCESSING METHOD}
본 발명은, 동화상 데이터를 고 능률로 압축하는 동화상 부호화 기술에 관한 것이다.
동화상 데이터를 고 능률로 압축하는 부호화 기술로서, 화면내 부호화, 전 방향 예측 부호화 및 쌍 방향 예측 부호화 중 어느 하나를 선택하여 부호화하는 MPEGl, MPEG2 등이 알려져 있다.
이러한 동화상 부호화 기술을 이용하여 부호화하면, 동화상에는, 많은 경우, 화면내 부호화 방식에 의해서 압축 부호화된 화상(이하, 「I 픽쳐」라 칭함)과, 전 방향 예측 부호화 방식에 의해서 압축 부호화된 화상(이하, 「P 픽쳐」라 칭함) 과, 쌍 방향 예측 부호화 방식에 의해서 압축 부호화된 화상( 이하, 「B 픽쳐」라 칭함)이 혼재한다. I 픽쳐는, 시간 방향의 예측을 이용하지 않고 그 화상의 데이터만을 이용하여 부호화된다. P 픽쳐는, 앞에 위치하는 I 픽쳐 또는 P 픽쳐를 참조하여 예측 부호화된다. 한편, B 픽쳐는, 전후에 위치하는 I 픽쳐 및 P 픽쳐를 참조하여 예측 부호화된다. 참조되는 화상은 참조 화상이라고 불리고, 각 픽쳐 타입에 따라서 예측에 이용하는 참조 화상이 설정된다.
도 1은, 쌍 방향 예측에 의한 동화상 데이터의 예측 구조를 나타낸다. 도면중의 I, P 및 B는, 각각 I 픽쳐, P 픽쳐 및 B 픽쳐를 나타낸다. 도시되는 예측 구조에 있어서의 부호화 순서는, I1, P4, B2, B3, P7, B5 및 B6이다. 도 1에 있어서, 픽쳐(I1)는 화면내 부호화된다. 픽쳐 P4는, 픽쳐 I1을 참조 화상으로 하여 전 방향 예측 부호화된다. 픽쳐 B2 및 B3은, 픽쳐 I1과 픽쳐 P4를 참조 화상으로 하여 쌍 방향 예측 부호화된다. 또한, 픽쳐 P7은 픽쳐 P4를 참조 화상으로 하여 전 방향 예측 부호화되고, 픽쳐 B5 및 B6는, 각각 픽쳐 P4 및 P7의 2개의 픽쳐를 참조 화상으로 하여 쌍 방향 예측 부호화된다.
통상, I 픽쳐, P 픽쳐 및 B 픽쳐는 주기적으로 배치된다. 도 2는, I 픽쳐, P 픽쳐 및 B 픽쳐의 배치를 나타낸다. 일반적으로, I 픽쳐는 N 프레임 걸러서 배치되고, I 픽쳐끼리의 사이에는 M 프레임 걸러서 P 픽쳐가 배치된다. 이 때, I 픽쳐와 그 직후의 P 픽쳐와의 사이, 또는 P 픽쳐와 그 직후의 P 픽쳐와의 사이에는 (M-1)개의 B 픽쳐가 마련된다. 도 3의 (a), (b) 및 (c)는, 각각, M=1, M=2 및 M=3인 경우에 있어서의 동화상 데이터 입력 시와 부호화 시의 각 픽쳐 타입의 순서와의 대응 관계를 나타낸다.
도 3의 (a)에 도시하는 바와 같이, M=1인 경우에는, 동화상은 I 픽쳐와 P 픽쳐만으로 구성되어 있고, B 픽쳐가 존재하지 않는다. 따라서, 동화상 내의 화상의 부호화 순서는 변경되지 않고, 부호화 시의 처리 지연은 발생하지 않는다. 다음 에, 도 3의 (b)에 도시하는 바와 같이, M=2인 경우에는 I 픽쳐(또는 P 픽쳐)와 그 직후의 P 픽쳐와의 사이에는 1장의 B 픽쳐가 존재한다. 이 경우에는, B 픽쳐의 부호화 개시까지 1 프레임의 처리 지연이 발생한다. B 픽쳐는, 그 전후에 위치하는 참조 화상(I 픽쳐 및 P 픽쳐)이 부호화될 때까지는 부호화를 개시할 수 없기 때문에, 입력 시의 각 픽쳐 타입의 순서를 변경하여 B 픽쳐를 부호화하지 않으면 안 되기 때문이다.
도 3의 (c)에 도시하는 바와 같이, M=3인 경우에는, I 픽쳐(또는 P 픽쳐)와 그 직후의 P 픽쳐와의 사이에는 2장의 B 픽쳐가 존재한다. 이 경우에는, 도 3의 (b)와 마찬가지의 이유에 의해, B 픽쳐의 부호화 개시까지는 2 프레임의 지연이 발생한다.
B 픽쳐를 이용하는 이유는, 전 방향 예측과 후 방향 예측을 조합한 쌍 방향 예측을 이용하는 것에 의해 예측 효율을 향상시킬 수 있기 때문이다. 또한, B 픽쳐는, I 픽쳐나 P 픽쳐와 같이, 이후에 계속되는 예측 부호화에 있어서 참조 화상으로서 이용되는 것이 없기 때문에, 예측 부호화 시의 오차가 전파하는 것이 없다. 따라서, I 픽쳐나 P 픽쳐에 비해 적은 할당 부호량으로 부호화하더라도 시각적으로 화질의 열화가 눈에 띄기 어렵다고 하는 이점도 있다. 한편, B 픽쳐를 이용하면, P 픽쳐의 전 방향 예측에 있어서의 참조 화상의 간격 M은, B 픽쳐가 삽입되는 분만큼 떨어지는 것으로 되고, 특히 움직임이 빠른 동화상에 대해서는 예측이 들어맞기 어렵다고 하는 결점이 있다.
이러한 것들을 감안하면, 동화상 데이터의 특성에 따라 전 방향 예측에 있어 서의 참조 화상의 간격 M을 동적으로 전환하는 것에 의해 부호화 효율을 향상시킬 수 있다.
전 방향 예측에 있어서의 참조 화상의 간격 M을 동적으로 전환하여 부호화를 행하는 종래의 기술로서, 예컨대 일본 특허 공개 평성 제 9-294266 호 공보, 일본 특허 공개 평성 제 10-304374 호 공보 및 일본 특허 공개 2001-128179 호 공보에 기재된 기술을 들 수 있다.
일본 특허 공개 평성 제 9-294266 호 공보에는, 부호화된 프레임의 움직임 벡터를 스케일링하여, 그 크기가 다음에 부호화하는 프레임의 움직임 탐색 범위 내에 수용되도록 참조 화상의 간격 M을 제어하는 기술이 기재되어 있다.
일본 특허 공개 평성 제 10-304374 호 공보에는, 부호화 블럭에서 얻어지는 예측 오차 또는 액티비티(activity)를 이용하여 프레임간 예측의 예측 효율을 산출하고, 이 예측 효율에 따라 참조 화상의 간격 M을 제어하는 기술이 기재되어 있다.
일본 특허 공개 2001-128179 호 공보에는, 각 픽쳐 타입의 발생 부호량 또는 부호화 복잡도을 이용하여 프레임간 예측 성능을 산출하고, 이 예측 성능에 따라 참조 화상의 간격 M을 제어하는 기술이 기재되어 있다.
참조 화상의 간격 M을 전환하는 이외에도, 1 프레임의 화상이 2개의 필드 화상으로 구성되는 인터레이스 방식의 동화상에 대해서는, 픽쳐 구조를 전환하는 것에 의해 참조 화상을 전환하여, 부호화 효율을 향상시킬 수 있다. 픽쳐 구조는 부호화를 행하는 단위이며, 각 부호화 화상에 대하여 프레임 구조 또는 필드 구조를 선택할 수 있다. 픽쳐 구조로서 프레임 구조가 선택되면, 프레임 화상 단위로 부 호화가 행해진다. 한편, 필드 구조가 선택되면, 1 프레임을 구성하는 제 1 필드 화상과 제 2 필드 화상의 각각을 단위로 하여 부호화가 행해진다.
이하에서는, 화면내 부호화가 행해지는 필드 화상을 I 필드, 전 방향 예측 부호화가 행해지는 필드 화상을 P 필드, 쌍 방향 예측 부호화가 행해지는 필드 화상을 B 필드라 칭한다. 또한, 제 1 필드 화상의 타입에 주목하여, 제 1 필드 화상이 I 필드인 프레임을 I 프레임, P 필드인 프레임을 P 프레임, B 필드인 프레임을 B 프레임이라 칭한다.
도 4의 (a), (b) 및 (c)는, 필드 구조에 있어서의 픽쳐 타입과 참조 화상과의 관계를 나타낸다. 도 4의 (a)는 I 프레임, 도 4의 (b)는 P 프레임, 도 4의 (c)는 B 프레임을 나타낸다. 도 4의 (a)의 I 프레임에서는, 제 1 필드 화상 및 제 2 필드 화상을 모두 I 필드로 하는 타입과, 제 1 필드 화상을 I 필드, 제 2 필드 화상을 P 필드로 하는 타입 중 어느 하나가 선택된다. 제 2 필드 화상을 P 필드로 하는 경우에는, 동일한 프레임 내의 제 1 필드 화상을 참조 화상으로 한다. 도 4의 (b)의 P 프레임에서는, 제 1 필드 화상에 대해서는 직전에 부호화된 I 필드 또는 P 필드를 예측 부호화의 참조 화상으로 한다. 제 2 필드 화상에 대해서는, 동일한 프레임 내의 제 1 필드 화상(직전의 필드 화상)을 참조 화상으로서 이용할 수 있다. 이 결과, 제 2 필드 화상에 대한 참조 화상의 간격이 1 필드로 되기 때문에, 특히 움직임이 빠른 화상에 대하여 예측 효율을 향상시킬 수 있다. 도 4의 (c)의 B 프레임에서는, 제 1 필드 화상 및 제 2 필드 화상 모두, 전후의 프레임의 I 필드 또는 P 필드를 예측 부호화의 참조 화상으로 한다.
최근에는, 동화상의 움직임이 특히 빠른 경우이더라도, 충분한 품질을 유지한 압축 부호화를 실현함과 동시에, 보다 효율적으로 압축 부호화하는 기술이 요구되고 있다. 이들을 실현하기 위해서는, 동화상의 움직임이 빠른지 여부의 판정이나, 충분한 품질을 유지하여, 데이터 사이즈를 작게 하기 위한 부호화 제어 등을 개선할 필요가 있고, 종래의 기술에서는 충분하지 않다.
본 발명의 목적은, 동화상 데이터의 압축 부호화에 있어서, 동화상의 움직임의 속도를 보다 확실하게 판정하는 것, 및 특히 움직임이 빠른 화상이 포함되는 것과 같은 경우이더라도, 부호화 방식 및 부호화 단위를 동적으로 전환하는 제어를 행하는 것에 의해, 충분한 품질을 유지한 효율적인 압축 부호화를 실현하는 것이다.
발명의 개시
본 발명에 의한 데이터 처리 장치는, 동화상을 나타내는 동화상 데이터를, 화면내 부호화 방식, 전 방향 예측 부호화 방식 및 쌍 방향 예측 부호화 방식 중 어느 하나에 의해서 소정의 화상 단위로 압축 부호화한다. 상기 동화상은, 각각이 2개의 필드 화상으로 구성되는 복수의 프레임 화상을 연속적으로 표시하여 얻어진다. 데이터 처리 장치는, 상기 동화상 데이터를 저장하는 메모리와, 상기 2개의 필드 화상의 동화상 데이터에 근거하여, 상기 동화상의 변화 정도를 나타내는 파라미터를 산출하는 산출부와, 상기 산출부에 의해서 산출된 상기 파라미터에 근거하여, 화면내 부호화 방식 및 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상 단위, 및 상기 소정의 화상 단위를 규정하는 픽쳐 구조를 결정하는 결정부와, 상기 메모리에 저장된 상기 동화상 데이터를, 상기 결정부에 의해서 결정된 상기 픽쳐 구조에 따라서 압축 부호화하여, 압축 데이터를 생성하는 처리부를 구비하고 있다.
소정의 바람직한 실시예에 있어서, 상기 산출부는, 상기 2개의 필드 화상 간의 상기 동화상 데이터의 변화량에 근거하여 시간 방향 변화량을 구하고, 상기 2개의 필드 화상의 각각에 대하여 화상 내의 상기 동화상 데이터의 변화량에 근거하여 공간 방향 변화량을 구하며, 상기 시간 방향 변화량 및 상기 공간 방향 변화량에 근거하여 상기 파라미터를 산출한다.
소정의 바람직한 실시예에 있어서, 상기 2개의 필드 화상은, 상기 프레임 화상의 기수 라인에 대응하는 제 1 필드 화상 및 우수 라인에 대응하는 제 2 필드 화상이며, 상기 산출부는, 상기 프레임 화상 내에서 서로 인접하는 상기 제 1 필드 화상의 라인 및 상기 제 2 필드 화상의 라인을 특정하고, 각 라인의 화상 데이터의 차분에 근거하여 상기 시간 방향 변화량을 산출하며, 또한, 상기 산출부는, 상기 제 1 필드 화상 및 상기 제 2 필드 화상의 각 화상 내에서 인접하는 라인을 특정하고, 각 라인의 화상 데이터의 차분에 근거하여 상기 공간 방향 변화량을 산출한다.
소정의 바람직한 실시예에 있어서, 상기 산출부는, 각 프레임 화상을 복수의 블럭으로 분할하고, 상기 블럭마다의 화상 데이터에 근거하여 상기 시간 방향 변화량 및 상기 공간 방향 변화량을 산출하며, 각 블럭의 시간 방향 변화량 및 각 공간 방향 변화량에 근거하여, 모든 블록 수에 대한 상기 동화상의 변화량이 소정량 이 상의 블럭 비를 상기 파라미터로서 산출한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 상기 파라미터가 소정의 임계값보다도 큰 경우에는, 상기 픽쳐 구조를 필드 구조로 결정하고, 상기 처리부는, 상기 동화상 데이터를 상기 필드 화상 단위로 압축 부호화한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 상기 화면내 부호화 방식에 의해서 압축 부호화하는 필드 화상의 수 및 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화하는 필드 화상의 수 중 적어도 한쪽을 증가시킨다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 필드 화상을 상기 화면내 부호화 방식 또는 상기 전 방향 예측 부호화 방식에 따라서만 압축 부호화한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 상기 산출부에 의해서 산출된 상기 파라미터가 상기 소정의 임계값보다도 작아진 경우에는, 상기 픽쳐 구조를 프레임 구조로 결정하고, 상기 처리부는, 상기 동화상 데이터를 상기 프레임 화상 단위로 압축 부호화한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 제 1 화상과 상기 제 1 화상을 참조하여 예측 부호화되는 제 2 화상이 연속하고 있는 경우에는, 상기 제 2 화상의 픽쳐 구조를 필드 구조로 결정하고, 연속하지 않는 경우에는 상기 제 2 화상의 픽쳐 구조를 프레임 구조로 결정한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 제 1 화상과 상기 제 1 화상을 참조하여 예측 부호화 되는 제 2 화상이 연속하고 있는 경우에는, 상기 제 2 화상의 픽쳐 구조를 프레임 구조 또는 필드 구조로 결정하고, 연속하지 않는 경우에는 상기 제 2 화상의 픽쳐 구조를 프레임 구조로 결정한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 복수의 화상 또는 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 복수의 화상에 근거하여 결정되는 주기에 따라서, 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를 결정한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 상기 복수의 화상에 근거하여 결정되는 주기에 따라서, 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를 결정한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 상기 복수의 화상에 근거하여 결정되는 주기에 따라서, 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를 결정한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 제 1 화상과, 상기 제 1 화상을 참조하여 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 제 2 화상이 연속하고 있는 경우에는, 상기 제 1 화상의 픽쳐 구조를 필드 구조로 결정하고, 또한, 상기 제 1 화상을 구성하는 제 1 필드 화상 및 제 2 필드 화상 중, 상기 제 1 필드 화상을 화면내 부호화 방식에 의해서 압축 부호화하고, 상기 제 2 필드 화상을 전 방향 예측 부호화 방식에 의해서 압축 부호화하는 것을 결정한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를, 화면내 부호화 방식에 의해서 압축 부호화된 직전의 화상 또는 전 방향 예측 부호화 방식에 의해서 압축 부호화된 직전의 화상의 픽쳐 구조로 일치시키는 것을 결정한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를, 화면내 부호화 방식에 의해서 압축 부호화되는 직후의 화상 또는 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 직후의 화상의 픽쳐 구조로 일치시키는 것을 결정한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 쌍 방향 예측 부호화 방식에 의해서 압축 부호화되는 제 1 화상의 픽쳐 구조를, 상기 제 1 화상에 의해서 참조되는 참조 화상의 픽쳐 구조로 일치시키는 것을 결정한다.
본 발명에 의하면, 데이터 처리 시스템은, 상술한 데이터 처리 장치와, 상기 데이터 처리 장치의 처리부에 의해서 생성된 상기 압축 데이터를 전송 매체 상에 송신하는 송신부를 구비하고 있다.
본 발명에 의하면, 데이터 처리 시스템은, 상술한 데이터 처리 장치와, 상기 데이터 처리 장치의 처리부에 의해서 생성된 상기 압축 데이터를 기록 매체에 기록하는 기록부를 구비하고 있다.
본 발명에 의한 다른 데이터 처리 장치는, 동화상을 나타내는 동화상 데이터 를, 화면내 부호화 방식, 전 방향 예측 부호화 방식 및 쌍 방향 예측 부호화 방식 중 어느 하나에 의해서 소정의 화상 단위로 압축 부호화한다. 상기 동화상은, 복수의 프레임 화상을 연속적으로 표시하여 얻어진다. 데이터 처리 장치는, 상기 동화상 데이터를 저장하는 메모리와, 연속하는 2개의 프레임 화상 간의 상기 동화상 데이터의 변화량을 나타내는 시간 방향 변화량, 및 상기 2개의 프레임 화상의 각각에 대하여 화상 내의 상기 동화상 데이터의 변화량을 나타내는 공간 방향 변화량을 산출하고, 상기 시간 방향 변화량 및 상기 공간 방향 변화량에 근거하여, 상기 동화상의 변화 정도를 나타내는 파라미터를 산출하는 산출부와, 상기 산출부에 의해서 산출된 상기 파라미터에 근거하여, 상기 복수의 프레임 화상의 각각에 대하여 압축 부호화 방식을 결정하는 결정부와, 상기 메모리에 저장된 상기 동화상 데이터를, 상기 결정부에 의해서 결정된 방식에 따라서 압축 부호화하여, 압축 데이터를 생성하는 처리부를 구비하고 있다.
소정의 바람직한 실시예에 있어서, 상기 동화상은, 각각이 2개의 필드 화상으로 구성되는 복수의 프레임 화상을 연속적으로 표시하여 얻어지고, 상기 2개의 필드 화상은, 상기 프레임 화상의 기수 라인에 대응하는 제 1 필드 화상 및 우수 라인에 대응하는 제 2 필드 화상이며, 상기 산출부는, 상기 프레임 화상 내에서 서로 인접하는 상기 제 1 필드 화상의 라인 및 상기 제 2 필드 화상의 라인을 특정하고, 각 라인의 화상 데이터의 차분에 근거하여 상기 시간 방향 변화량을 산출하며, 또한, 상기 산출부는, 상기 제 1 필드 화상 및 상기 제 2 필드 화상의 각 화상 내에서 인접하는 라인을 특정하고, 각 라인의 화상 데이터의 차분에 근거하여 상기 공간 방향 변화량을 산출한다.
소정의 바람직한 실시예에 있어서, 상기 산출부는, 상기 2개의 프레임 화상에 있어서의 동일한 위치의 2개의 라인을 특정하고, 각 라인의 화상 데이터의 차분에 근거하여 상기 시간 방향 변화량을 산출하며, 또한, 상기 2개의 프레임 화상의 한쪽의 화상 내에서 인접하는 라인을 특정하고, 각 라인의 화상 데이터의 차분에 근거하여 상기 공간 방향 변화량을 산출한다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 상기 화면내 부호화 방식에 의해서 압축 부호화하는 프레임 화상의 수 및 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화하는 프레임 화상의 수 중 적어도 한쪽을 증가시킨다.
소정의 바람직한 실시예에 있어서, 상기 결정부는, 상기 프레임 화상을 상기 화면내 부호화 방식 또는 상기 전 방향 예측 부호화 방식 중 어느 하나에 따라서만 압축 부호화한다.
본 발명에 의하면, 데이터 처리 시스템은, 상술한 데이터 처리 장치와, 상기 데이터 처리 장치의 처리부에 의해서 생성된 상기 압축 데이터를 전송 매체 상에 송신하는 송신부를 구비하고 있다.
본 발명에 의하면, 데이터 처리 시스템은, 상술한 데이터 처리 장치와, 상기 데이터 처리 장치의 처리부에 의해서 생성된 상기 압축 데이터를 기록 매체에 기록하는 기록부를 구비하고 있다.
본 발명에 의하면, 데이터 처리 방법은, 동화상을 나타내는 동화상 데이터를, 화면내 부호화 방식, 전 방향 예측 부호화 방식 및 쌍 방향 예측 부호화 방식 중 어느 하나에 의해서 소정의 화상 단위로 압축 부호화한다. 상기 동화상은, 각각이 2개의 필드 화상으로 구성되는 복수의 프레임 화상을 연속적으로 표시하여 얻어진다. 데이터 처리 방법은, 상기 동화상 데이터를 저장하는 단계와, 상기 2개의 필드 화상의 동화상 데이터에 근거하여, 상기 동화상의 변화 정도를 나타내는 파라미터를 산출하는 단계와, 산출된 상기 파라미터에 근거하여, 화면내 부호화 방식 및 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상 단위, 및 상기 소정의 화상 단위를 규정하는 픽쳐 구조를 결정하는 단계와, 상기 동화상 데이터를, 결정된 상기 픽쳐 구조에 따라서 압축 부호화하여, 압축 데이터를 생성하는 단계를 포함한다.
또한, 본 발명에 의하면, 다른 데이터 처리 방법은, 동화상을 나타내는 동화상 데이터를, 화면내 부호화 방식, 전 방향 예측 부호화 방식 및 쌍 방향 예측 부호화 방식 중 어느 하나에 의해서 소정의 화상 단위로 압축 부호화한다. 상기 동화상은, 복수의 프레임 화상을 연속적으로 표시하여 얻어진다. 데이터 처리 방법은, 상기 동화상 데이터를 저장하는 단계와, 연속하는 2개의 프레임 화상 간의 상기 동화상 데이터의 변화량을 나타내는 시간 방향 변화량, 및 상기 2개의 프레임 화상의 각각에 대하여 화상 내의 상기 동화상 데이터의 변화량을 나타내는 공간 방향 변화량을 산출하는 단계와, 상기 시간 방향 변화량 및 상기 공간 방향 변화량에 근거하여, 상기 동화상의 변화 정도를 나타내는 파라미터를 산출하는 단계와, 산출된 상기 파라미터에 근거하여, 상기 복수의 프레임 화상의 각각에 대하여 압축 부호화 방식을 결정하는 단계와, 저장된 상기 동화상 데이터를, 결정된 방식에 따라 서 압축 부호화하여, 압축 데이터를 생성하는 단계를 포함한다.
도 1은, 쌍 방향 예측에 의한 동화상 데이터의 예측 구조를 도시하는 도면이다.
도 2는, I 픽쳐, P 픽쳐 및 B 픽쳐의 배치를 도시하는 도면이다.
도 3의 (a)∼(c)는, 각각 M=1∼3인 경우에 있어서의 동화상 데이터 입력 시 및 부호화 시의 각 픽쳐 타입의 순서의 대응 관계를 도시하는 도면이다.
도 4의 (a)는 I 프레임의 참조 관계를 도시하는 도면이고, (b)는 P 프레임의 참조 관계를 도시하는 도면이며, (c)는 B 프레임의 참조 관계를 도시하는 도면이다.
도 5는, 본 실시예에 있어서의 동화상 부호화 장치(100)의 기능 블럭의 구성을 도시하는 도면이다.
도 6은, 동화상 부호화 장치(100)의 처리의 흐름을 나타내는 플로우차트이다.
도 7은, 시간 방향 변화량(A) 및 공간 방향 변화량(B)의 개념을 도시하는 도면이다.
도 8은, 프레임 화상을 복수의 블럭으로 분할하였을 때의 예를 나타내는 도면이다.
도 9는, 예측 방법 결정부(109)가 프레임 화상 단위로 부호화 방식을 결정하 여, 압축 부호화를 행하는 픽쳐 구조를 결정하는 처리의 순서를 나타내는 플로우차트이다.
도 10은, 프레임 화상 단위로 부호화 방식을 결정하는 처리의 순서를 나타내는 플로우차트이다.
도 11은, 압축 부호화를 행하는 픽쳐 구조를 결정하는 처리의 순서를 나타내는 플로우차트이다.
도 12의 (a)는, 프레임 구조에 의해서 압축 부호화된 픽쳐 데이터의 데이터 구조를 도시하는 도면이고, (b)는, 필드 구조에 의해서 압축 부호화된 프레임 화상 데이터의 데이터 구조를 도시하는 도면이다.
도 13은, 변화도 파라미터와 압축 데이터의 픽쳐 구조와의 관계를 도시하는 도면이다.
도 14는, 소정의 주기로 프레임 화상의 부호화 방식을 결정하여, 압축 부호화를 행하는 픽쳐 구조를 결정하는 처리의 순서를 나타내는 플로우차트이다.
도 15의 (a)는, 부호화 시스템(10)의 기능 블럭의 구성을 도시하는 도면이고, (b)는, 복호화 시스템(11)의 기능 블럭의 구성을 도시하는 도면이다.
발명을 실시하기 위한 최선의 형태
이하, 첨부의 도면을 참조하면서, 본 발명의 실시예를 설명한다.
도 5는, 본 실시예에 있어서의 동화상 부호화 장치(100)의 기능 블럭의 구성을 나타낸다. 동화상 부호화 장치(100)는, 텔레비젼 신호 등의 동화상 신호에 근 거하여 얻어지는 동화상 데이터를, 예컨대 MPEG2 규격에 근거하여 압축 부호화해서, 압축 데이터를 출력한다. 동화상 데이터는, 동화상을 나타내는 데이터이며, 개개의 프레임 화상의 데이터를 포함한다. 또한 동화상 데이터는, 음성에 관한 음성 데이터를 포함하고 있더라도 좋다. 동화상은, 복수의 프레임 화상이나 음성이 연속적으로 표시되는 것에 의해 시청의 대상으로 된다.
이하, 동화상 부호화 장치(100)의 구성을 설명한다. 동화상 부호화 장치(100)는, 입력 화상용 메모리(101)와, 복호 화상용 메모리(102)와, 움직임 벡터 검출부(103)와, 움직임 보상 예측부(104)와, DCT/양자화부(105)와, 역양자화/역DCT부(106)와, 가변 길이 부호화부(107)와, 변화도 파라미터 산출부(108)와, 예측 방법 결정부(109)와, 부호화 순서 제어부(110)를 갖는다.
입력 화상용 메모리(101)는, 수취한 동화상 신호를 동화상 데이터로 하여 부호화 시까지 저장한다. 동화상 데이터는, 연속한 복수의 화상을 특정할 수 있는 형식으로 메모리(10l)에 저장되어 있다. 또한, 메모리(101)는, 부호화 순서에 기인하는 각 화상의 처리 지연에 대하여 충분한 개수 분의 화상 데이터를 저장할 수 있다. 이 결과, 동화상 부호화 장치(100)에 있어서 동화상 데이터를 압축 부호화할 때, 각 화상 데이터의 부호화 순서가 입력 순서에 대하여 변경된 경우에도, 처리를 계속할 수 있다. 예컨대, 도 3의 (c)에 나타내는 픽쳐 타입의 배열에 대해서는, 입력 화상용 메모리(1O1)는 적어도 4 프레임 화상분의 화상 데이터를 저장할 수 있다. 동화상 데이터는, 후술하는 부호화 순서 제어부(110)에서 지정되는 부호화 순서에 따라서 부호화된다.
복호 화상용 메모리(102)는, 역양자화/역DCT부(106)에서 복호된 화상 데이터와, 움직임 보상 예측부(104)에서 얻어진 움직임 보상 예측 화상 데이터를 가산한 복호 화상 데이터를 저장한다. 복호 화상 데이터는, 이후에, 움직임 벡터 검출부(103) 및 움직임 보상 예측부(104)에 있어서 참조 화상의 화상 데이터로서 이용된다.
움직임 벡터 검출부(103)는, 복호용 화상용 메모리(102)에 저장되어 있는 화상 데이터를 참조하여, 입력 화상용 메모리(101) 내의 화상 데이터의 화상이 움직인(변화한) 양을 움직임 벡터로서 검출한다.
움직임 보상 예측부(104)는, 움직임 벡터 검출부(103)에서 검출된 움직임 벡터 및 복호 화상용 메모리(102) 내의 복호 화상 데이터를 이용하여 움직임 보상 예측 화상 데이터를 생성한다.
DCT/양자화부(105)는, 예측 오차 데이터를 이산 코사인(Discrete Cosine Transform : DCT) 변환하여, 지정된 양자화값에 의해서 양자화한다. 예측 오차 데이터는, 입력 화상용 메모리(101) 내의 화상 데이터와 움직임 보상 예측부(1O4)에 의해서 생성된 움직임 보상 예측 화상 데이터와의 차분에 상당한다. 또, DCT/양자화부(105)는, 움직임 보상 예측 화상 데이터를 이용하는 일없이, 입력 화상 데이터 그 자체를 처리하는 것도 가능하다.
역양자화/역DCT부(106)는, 처리 대상의 화상을 I 픽쳐 및 P 픽쳐로서 처리하는 경우에, DCT/양자화부(105)에서 얻어진 부호화 데이터에 대하여 역양자화 및 역이산 코사인 변환을 행하여, 참조 화상으로서 이용하기 위한 복호 화상을 생성한 다.
가변 길이 부호화부(107)는, DCT/양자화부(105)에서 이산 코사인 변환되어, 양자화된 데이터, 및 움직임 벡터 검출부(103)에서 검출된 움직임 벡터에 관한 움직여 위치 정보를 가변 길이 부호화하여, 압축 데이터를 출력한다.
변화도 파라미터 산출부(108)는, 입력 화상용 메모리(101)에 저장되어 있는 각 화상의 화상 데이터에 대하여, 화상 특징량으로부터 얻어지는 시간 방향 변화량 및 공간 방향 변화량을 이용하여 변화도 파라미터를 산출한다. 여기서, 화상 특징량이란, 화상 내의 각 좌표의 화소 데이터(예컨대, 휘도 데이터)의 값을 말하며, 화상 데이터를 구성하는 요소이다. 또한, 변화도 파라미터란, 동화상을 구성하는 복수의 화상을 비교하였을 때에, 표시되는 각 화상의 내용에 관한 변화의 정도(심한 정도 또는 속도)를 나타내는 파라미터이다. 변화도 파라미터 산출부(108)의 보다 구체적인 처리는 이후에 상술한다.
예측 방법 결정부(109)는, 변화도 파라미터 산출부(108)에 의해서 산출된 변화도 파라미터에 근거하여, 부호화하는 화상의 참조 화상 및 픽쳐 구조를 결정한다.
부호화 순서 제어부(110)는, 예측 방법 결정부(109)에 있어서 결정된 예측 방법에 따라서, 입력 화상용 메모리(101)에 저장되어 있는 화상 데이터의 부호화 순서를 제어한다.
본 발명에 의한 동화상 부호화 장치(100)의 주요한 특징의 하나는, 변화도 파라미터 산출부(108) 및 예측 방법 결정부(109)에서 행해지는 처리에 있다. 그래 서, 이하에서는 동화상 부호화 장치(100)의 동작을 설명하면서, 이들의 구성 요소의 처리를 상세히 설명한다. 또, 참조 부호(102∼107, 110)에 의해서 표시되는 다른 구성 요소에 대해서는, 특히 설명하는 경우를 제외하고, 포괄적으로 「처리부」라고 칭하는 것으로 한다.
또한, 이하에서는, 동화상은 인터레이스 방식의 영상이라고 하여 설명한다. 따라서, 하나의 프레임 화상은 2개의 필드 화상으로 구성된다.
도 6은, 동화상 부호화 장치(100)의 처리의 흐름을 나타낸다. 우선, 단계(601)에 있어서, 동화상 부호화 장치(100)는 동화상 신호를 수취하여, 동화상 데이터로서 입력 화상용 메모리(101)에 저장한다. 다음에, 단계(602)에 있어서, 변화도 파라미터 산출부(108)는, 복수의 화상의 동화상 데이터에 근거하여, 변화도 파라미터를 산출한다. 구체적으로는, 우선, 변화도 파라미터 산출부(108)는, 프레임 화상을 구성하는 제 1 필드 화상 및 제 2 필드 화상 간의 화상 데이터의 변화량에 근거하여 시간 방향 변화량을 구한다. 또한, 변화도 파라미터 산출부(108)는, 제 1 필드 화상 및 제 2 필드 화상의 각각에 대하여, 화상 내의 화상 데이터의 변화량에 근거하여 공간 방향 변화량을 구한다. 그 후, 변화도 파라미터 산출부(108)는, 시간 방향 변화량 및 공간 방향 변화량에 근거하여 변화도 파라미터를 산출한다. 이하, 도면을 참조하면서, 보다 상세하게 설명한다.
또, 본 실시예에서는, 시간 방향 변화량 및 공간 방향 변화량을 계산하는 대상으로 되는 프레임 화상은, I 픽쳐 또는 P 픽쳐로서 압축 부호화되는 후보 화상으로 한다. 후보 화상은 동화상 부호화 장치(100)에 있어서 미리 정해진 규칙에 근 거하여 가상적으로 결정되어 있다. 예컨대, 입력된 동화상 데이터에 포함되는 프레임 화상 중, N 프레임 걸러서 I 픽쳐의 후보 화상이 결정되고, I 픽쳐끼리의 사이에서 M 프레임 걸러서 P 픽쳐의 후보 화상이 결정된다. 또, 각 프레임 화상이 최종적으로 I, P, B 픽쳐 중 어느 것으로 될 지는, 동화상 부호화 장치(100)의 일련의 처리에 의해서 이후에 결정된다.
도 7은, 시간 방향 변화량(A) 및 공간 방향 변화량(B)의 개념을 나타낸다. 우선, 프레임 화상은, 2개의 필드 화상에 의해서 구성된다. 편의적으로, 제 1 필드 화상을 프레임 화상의 기수 라인(도면의 흑색 라인)에 대응하는 화상으로 하고, 제 2 필드 화상을 프레임 화상의 우수 라인(도면의 백색 라인)에 대응하는 화상으로 한다.
시간 방향 변화량 Dt(A)는, 프레임 화상 내에서 수직 방향으로 서로 인접하는 2 화소의 화상 데이터의 차분(A)을 가산하여 평균한 값으로서 구할 수 있다. 「인접하는 2 화소」는, 제 1 필드 화상의 화소 및 제 2 필드 화상의 화소이다. 한편, 공간 방향 변화량 Ds(B)는, 제 1 필드 내 및 제 2 필드 내에서, 각각 수직 방향으로 인접하는 2 화소의 화상 데이터의 차분(B)을 가산하여 평균한 값으로서 구할 수 있다.
변화도 파라미터 산출부(108)는, (수학식 1) 및 (수학식 2)에 의해, 시간 방향 변화량 Dt 및 공간 방향 변화량 Ds를 산출한다.
Figure 112004010243019-pct00001
Figure 112004010243019-pct00002
여기서, F(x, y)는 화면 내의 좌표(x, y)에 있어서의 화소값(예컨대, 휘도)을 나타내고, Nt 및 Ns는 각각 (수학식 2)에 있어서 가산되는 차분 데이터의 개수를 나타낸다. 동화상의 움직임(변화)이 적은 경우에는, 시간 방향 변화량 Dt는 공간 방향 변화량 Ds에 비교해서 상대적으로 작아진다. 이것은, 필드 상관보다도 프레임 상관이 강하다는 것을 나타낸다. 한편, 동화상의 움직임이 빠르게 됨에 따라 시간 방향 변화량 Dt가 크게 되고, 프레임 상관에 대해 필드 상관이 강하게 된다. 여기서, 대상으로 하는 화상의 변롸도 파라미터 Cf의 값은, (수학식 1) 및 (수학식 2)에서 구한 시간 방향 변화량 Dt 및 공간 방향 변화량 Ds를 이용하여, (수학식 3)에 의해 산출할 수 있다.
Figure 112004010243019-pct00003
단, A는 변화도 파라미터 Cf가 취해지는 값을 조정하기 위한 정수이며, 1보다 큰 수로 한다.
(수학식 3)으로부터 이해되는 바와 같이, 시간 방향 변화량 Dt가 클수록 변 화도 파라미터 Cf의 값은 커진다. 반대로 말하면, 변화도 파라미터 Cf가 클수록 동화상의 움직임이 빠르다. 특히, 하나의 프레임 화상을 구성하는 2개의 필드 화상의 화상 데이터에 근거하여 변화도 파라미터 Cf를 산출함으로써, 지극히 움직임이 빠른 동화상에 대해서도 충분히 대응할 수 있다.
또한, 시간 방향 변화량에만 근거하여 동화상의 움직임의 속도를 판단하면, 동화상 내의 오브젝트가 1 화소 어긋난 만큼이라도 움직임이 빠른 것으로 판단해 버리는 경우가 있지만, 또한 공간 방향 변화량에 근거하여 판단함으로써, 약간의 화소 어긋남의 영향은 저감된다. 따라서 동화상의 움직임의 속도를 보다 정확하게 판단할 수 있다.
또, (수학식 1) 및 (수학식 2)에 있어서는, 시간 방향 변화량 Dt 및 공간 방향 변화량 Ds를 구할 때에 차분의 절대값 평균을 이용하였지만, (수학식 4) 및 (수학식 5)와 같이 차분의 2승 평균을 이용해도 좋다. (수학식 4) 및 (수학식 5)에 있어서의 각 항의 의미는 (수학식 1) 및 (수학식 2)와 동일하다. 또한, 차분량을 이용한 다른 산출식에 의해서 시간 방향 변화량 Dt 및 공간 방향 변화량 Ds를 구하더라도 좋다.
Figure 112004010243019-pct00004
Figure 112004010243019-pct00005
여기까지는, 도 7을 참조하면서, 프레임 화상 또는 필드 화상 전체의 화소 데이터를 이용하여 시간 방향 변화량 및 공간 방향 변화량을 구하고, 변화도 파라미터 Cf의 값을 구하는 순서를 설명하였다. 그러나, 변화도 파라미터 Cf는 다른 순서에 의해서도 구할 수 있다. 이하, 그 순서를 설명한다.
도 8은, 프레임 화상을 복수의 블럭으로 분할하였을 때의 예를 나타낸다. 변화도 파라미터 산출부(108)는, 프레임 화상을 복수의 블럭(예컨대, 16×16 화소)으로 분할하여, 블록마다 (수학식 6) 및 (수학식 7)에 의해 시간 방향 변화량 Dt_blk 및 공간 방향 변화량 Ds_blk를 산출한다. 시간 방향 변화량 Dt_blk는, 블록 내에서 수직 방향으로 서로 인접하는 2 화소의 화상 데이터의 차분을 가산하여 평균한 값으로서 구할 수 있다. 한편, 공간 방향 변화량 Ds_blk는, 각 블록 내의 기수 라인에 대응하는 필드 내 및 우수 라인에 대응하는 필드 내에서, 각각 수직 방향으로 인접하는 화소끼리의 차분(B)을 가산하여 평균한 값으로서 구할 수 있다.
Figure 112004010243019-pct00006
Figure 112004010243019-pct00007
단, F(x, y)는 블록 내의 좌표(x, y)에 있어서의 화소 데이터를 나타내고, Nt_blk 및 Ns_b1k는 각각 (수학식 6) 및 (수학식 7)에 있어서 가산되는 차분 데이터의 개수를 나타낸다.
변화도 파라미터 산출부(108)는, 구한 시간 방향 변화량 Dt_b1k 및 공간 방향 변화량 Ds_blk를 이용하여, 블럭마다 필드 상관이 높은지 여부를 (수학식 8)에 의해 판정한다. (수학식 8)를 만족하는 경우, 그 블럭은 필드 상관이 높은 블럭으로 생각되어, 동화상의 움직임(변화)이 빠른 것을 의미한다.
Figure 112004010243019-pct00008
단, (수학식 8)에 있어서의 K1 및 K2는 정수로 한다.
변화도 파라미터 산출부(108)는, 필드 상관이 높다고 판정한 블럭의 수를 카운트하여, "High_blks"로서 유지한다. 그리고, 변화도 파라미터 산출부(108)는, 카운트한 블록 수 High_b1ks와, 판정에 이용한 모든 블럭의 수 ("All_b1ks")와의 비를 (수학식 9)에 의해 산출하여, 이것을 그 프레임 화상의 변화도 파라미터 Cf로 한다.
Figure 112004010243019-pct00009
또, (수학식 6) 및 (수학식 7)에 있어서는, 블럭의 시간 방향 변화량 Dt_b1k 및 공간 방향 변화량 Ds_blk를 구할 때에 차분의 절대값 평균을 이용하였지만, (수 학식 10) 및 (수학식 11)과 같이 차분의 2승 평균을 이용해도 좋다. (수학식 10) 및 (수학식 11)에 있어서의 각 항의 의미는 (수학식 6) 및 (수학식 7)과 동일하다. 또한, 차분량을 이용한 다른 산출식에 의해서 블럭의 시간 방향 변화량 Dt_blk 및 공간 방향 변화량 Ds_blk를 구하더라도 좋다. 예를 들면, MPEG2 등의 부호화에 있어서, 매크로블럭(16×16 화소의 블럭)의 DCT 모드(프레임 DCT와 필드 DCT)를 결정할 때에 이용하는 평가값을 각각, 시간 방향 변화량 Dt_blk 및 공간 방향 변화량 Ds_b1k로서 사용하는 것도 가능하다.
Figure 112004010243019-pct00010
Figure 112004010243019-pct00011
또, (수학식 9)에 있어서는, 필드 상관이 높다고 판정된 블럭의 비율을 변화도 파라미터 Cf로 하고 있지만, 필드 상관이 높다고 판정된 블록 수("High_blks"의 값) 그 자체를 변화도 파라미터 Cf로 해도 좋다.
이상과 같이 하여, 변화도 파라미터 산출부(108)는, 하나의 프레임 화상을 구성하는 2개의 필드 화상의 화상 데이터에 근거하여 변화도 파라미터 Cf를 산출한다.
다음에 도 6의 단계(603)에 있어서, 예측 방법 결정부(109)는, 산출한 변화파라미터에 근거하여, 압축 부호화를 행하는 프레임 화상마다 부호화 방식을 결정 한다. 이 처리에 의해, 각 프레임 화상이 최종적으로 I 픽쳐, P 픽쳐 및 B 픽쳐 중 어디 하나로 압축 부호화될 지가 결정되고, 동시에 도 2에 나타내는 M의 값이 결정된다. 계속해서, 단계(604)에 있어서, 예측 방법 결정부(109)는, 동화상 데이터를 구성하는 화상에 대하여 압축 부호화를 행하는 픽쳐 구조를 결정한다.
이하, 예측 방법 결정부(109)가 실행하는 단계(603 및 604)의 처리를 상세하게 설명한다. 도 9는, 프레임 화상 단위로 부호화 방식을 결정하여, 압축 부호화를 행하는 픽쳐 구조를 결정하는 처리의 순서를 나타낸다. 도 9는, 단계(901∼914)의 처리로 구성되어 있다. 이 중, 단계(901 및 902)는 상술한 변화도 파라미터 산출부(108)에 의해서 실행되는 처리이며, 처리의 흐름을 명확히 하기 위해서 기재하고 있다. 예측 방법 결정부(109)는, 단계(903) 이후의 처리를 실행한다.
도 9의 단계(903∼914) 중, 단계(903∼910)가 프레임 화상마다 부호화 방식을 결정하는 처리이며, 단계(911∼914)가 압축 부호화를 행하는 픽쳐 구조를 결정하는 처리이다.
우선, 프레임 화상마다 부호화 방식을 결정하기 위한 단계(903∼910)의 처리를 설명한다. 단계(903)에 있어서, 예측 방법 결정부(109)는, 변화도 파라미터 산출부(108)에 의해서 산출된 변화도 파라미터 Cf가 제 1 임계값 TH1보다도 큰지 여부를 판단한다. 변화도 파라미터 Cf가 제 1 임계값 TH1보다도 큰 경우에는, 동화상의 움직임이 빠른 것으로 하여 단계(904)로 진행하고, 그렇지 않은 경우에는 단계(907)로 진행한다.
단계(904)에 있어서, 예측 방법 결정부(109)는, 도 2에 나타내는 참조 화상의 간격 M을 소정의 값(예컨대, 1)만큼 작게 하여, I 픽쳐와 P 픽쳐의 간격 또는 P 픽쳐와 P 픽쳐의 간격을 보다 좁게 한다. 이에 따라, 동화상 부호화 장치(100)는, I 픽쳐 또는 P 픽쳐로서 부호화하는 프레임 화상의 출현 빈도를 많게 할 수 있어, 움직임이 빠른 동화상에 대응할 수 있다.
단, 간격을 변경한 이후의 참조 화상의 간격 M이 너무 작아지면(예컨대, 0으로 되면) 문제가 발생하기 때문에, 그 값을 제한할 필요가 있다. 그래서, 단계(905)에서, 예측 방법 결정부(109)는 변경 후의 M의 값이 최소값 Mmin보다도 작은지 여부를 판단한다. M의 값이 최소값 Mmin보다도 작은 경우에는 단계(906)로 진행하고, 그렇지 않은 경우에는 단계(911)로 진행한다. 단계(906)에서는, 예측 방법 결정부(109)는, 변경 후의 M의 값을 최소값 Mmin으로 설정하여 단계(911)로 진행한다.
단계(907)에서는, 예측 방법 결정부(109)는, 변화도 파라미터 Cf의 값을 제 2 임계값 TH2와 비교한다. 변화도 파라미터 Cf의 값이 제 2 임계값 TH2보다도 작은 경우에는, 단계(908)로 진행하고, 작지 않은 경우에는 단계(911)로 진행한다. 단계(908)에서는, 예측 방법 결정부(109)는, 도 2에 나타내는 참조 화상의 간격 M을 소정의 값(예컨대, 1)만큼 크게 하고, I 픽쳐와 P 픽쳐의 간격 또는 P 픽쳐와 P 픽쳐의 간격을 보다 크게 한다. 이에 따라 움직임이 느린 동화상이더라도 효율적인 부호화가 가능하게 된다.
단, 변경 후의 참조 화상의 간격 M이 너무 커지면, 입력 화상용 메모리(101) 의 용량, 부호화 시의 처리 지연량 등에 관한 문제가 발생하기 때문에, 그 값을 제한할 필요가 있다. 그래서, 단계(909)에 있어서, 예측 방법 결정부(109)는 변경 후의 M의 값이 최대값 Mmax보다도 큰지 여부를 판단한다. M의 값이 최대값 Mmax 보다도 큰 경우에는 단계(910)로 진행하고, 그렇지 않은 경우에는 단계(911)로 진행한다. 단계(910)에서는, 예측 방법 결정부(109)는, 변경 후의 M의 값을 최대값 Mmax으로 설정하여 단계(911)로 진행한다.
이상 설명한 처리에 의해, 예측 방법 결정부(109)는, I 픽쳐와 P 픽쳐의 간격 또는 P 픽쳐와 P 픽쳐의 간격을 결정할 수 있다. 이 결과, 특히, 변화도 파라미터가 클 때, 즉 동화상 신호의 시간적 변화가 공간적 변화보다도 상대적으로 큰 때에, 예측 방법 결정부(109)는 참조 화면의 간격 M을 작게 하여 예측 효율의 저하를 방지할 수 있다.
또, 단계(901 및 902)에서는, I 픽쳐 또는 P 픽쳐로서 압축 부호화되는 화상에 대하여 변화도 파라미터 Cf를 산출하는 것으로 하고, B 픽쳐를 고려하지 않는다. 이것은, B 픽쳐는 참조 화면으로서 사용되지는 않고, 여기까지의 처리를 행할 필요가 없기 때문이다. 단, B 픽쳐의 변화도 파라미터를 산출하고, 그 파라미터를 이용하여 참조 화면의 간격을 결정하는 것은 가능하다.
다음에, 압축 부호화를 행하는 픽쳐 구조를 결정하기 위한 단계(911∼914)의 처리를 설명한다. 우선 「픽쳐 구조를 결정한다」 라는 것은, 압축 부호화하는 화상의 단위를 프레임 화상으로 할지, 또는 프레임 화상을 구성하는 각 필드 화상으로 할지를 결정하는 것을 말한다. 전자의 픽쳐 구조는 「프레임 구조」라고 불리 고, 후자의 픽쳐 구조는 「필드 구조」라고 불린다.
우선, 단계(911)에서는, 예측 방법 결정부(109)는, 단계(902)에 있어서 산출된 변화도 파라미터 Cf가, 제 3 임계값 TH3보다도 큰지 여부를 판단한다. 변화도 파라미터 Cf가, 제 3 임계값 TH3보다도 큰 경우에는 단계(912)로 진행하고, 그렇지 않은 경우에는 단계(913)로 진행한다. 단계(912)에서는, 예측 방법 결정부(109)는, 그 변화도 파라미터가 산출된 프레임 화상 이후에 부호화하는 화상의 픽쳐 구조를 필드 구조로 부호화하도록 설정한다. 그 이유는, 동화상의 변화가 심하다고 생각되기 때문에, 예측 효율의 저하를 방지할 필요가 있기 때문이다. 동화상의 움직임이 빠른 경우에 필드 화상 단위로 압축 부호화함으로써 예측을 적확하게 실행할 수 있어, 압축 부호화 후의 동화상의 품질을 높게 유지할 수 있다. 그 후, 처리는 종료한다.
한편, 단계(913)에서는, 변화도 파라미터 Cf를 제 4 임계값 TH4와 비교한다. 변화도 파라미터 Cf가 제 4 임계값 TH4보다도 작은 경우에는 단계(914)로 진행하고, 그렇지 않은 경우에는 처리를 종료한다. 단계(914)에서는, 예측 방법 결정부(109)는, 이후 부호화하는 화상의 픽쳐 구조를 프레임 구조로 부호화하도록 설정하여, 처리를 종료한다.
이상의 동작에 의해, 특히, 변화도 파라미터가 클 때, 즉 동화상 데이터의 시간적 변화가 공간적 변화보다 클 때, I 픽쳐 또는 P 픽쳐를 필드 구조로 하는 것에 의해 예측 효율의 저하를 방지할 수 있다. 또, B 픽쳐에 있어서는, 직전에 부호화되는 I 픽쳐 또는 P 픽쳐의 픽쳐 구조와 동일한 구조로 부호화하면 좋다. 또 는, 변화도 파라미터 Cf를 이용하여 직접 B 픽쳐의 픽쳐 구조를 결정하더라도 좋고, 픽쳐 구조를 고정하더라도 좋다.
또, 도 9의 처리에서는, I 픽쳐 또는 P 픽쳐의 후보 화상의 변화도 파라미터를 산출하고, 그 화상의 픽쳐 구조를 프레임 구조 또는 필드 구조로 전환하는 것으로 하여 설명하였지만, 어느 한쪽의 픽쳐 구조만을 전환하는 것으로 해도 좋다.
이상, 도 9를 참조하면서, 도 6의 단계(603 및 604)에 관련하는 처리를 상세하게 설명하였다. 도 9의 단계(901∼914)는, 예측 방법 결정부(109)가 단계(603 및 604)의 처리를 연속적으로 실현하는 처리 순서이지만, 예측 방법 결정부(109)는, 단계(603)에 대응하는 처리만, 또는 단계(604)에 대응하는 처리만을 독립적으로 실행할 수 있다. 도 10은, 단계(603)에 대응하는, 프레임 화상 단위로 부호화 방식을 결정하는 처리의 순서를 나타내고, 도 11은, 단계(604)에 대응하는, 압축 부호화를 행하는 픽쳐 구조를 결정하는 처리의 순서를 나타낸다. 도 10 및 도 11에 나타내는 각 단계 중, 도 9에 나타내는 단계와 동일한 단계에는 동일한 참조 부호를 부여하고 있다. 도면으로부터 명백한 바와 같이, 모든 단계는 도 9에 포함되어 있기 때문에, 각 도면의 설명은 생략한다.
다음에, 도 6의 단계(605)에서는, 예측 방법 결정부(109)에 있어서 결정된 부호화 방식에 따라서, 또한, 동일하게 결정된 픽쳐 구조로, 처리부가 메모리에 저장된 동화상 데이터를 압축 부호화하여 압축 데이터를 생성한다. 예컨대, 픽쳐 구조가 프레임 구조이며, 또한, 각 프레임 화상이 도 3의 (c)의 상단("입력순")에 도시하는 바와 같이 I, B, P 픽쳐로서 압축 부호화되는 경우에는, 부호화 순서 제어 부(110)는, 도 3의 (c)의 하단("부호화순")에 나타내는 순서로 부호화를 행하는 것을 결정한다. 그러면, 움직임 벡터 검출부(103) 및 DCT/양자화부(105)는 그 순서로 프레임 화상의 화상 데이터를 판독하여 처리하고, 그 후, 또한 다른 구성 요소에 있어서 처리되어, I, B, P 픽쳐를 포함하는 압축 데이터가 생성된다.
그리고 도 6의 단계(606)에 있어서, 모든 동화상 데이터에 대하여 압축 부호화가 종료할 때까지, 반복 단계(602∼605)의 처리를 반복한다. 이상과 같이 하여, 동화상 데이터로부터 압축 데이터가 생성된다.
도 12의 (a) 및 (b)는, 생성된 압축 데이터에 포함되는 픽쳐 데이터의 데이터 구조를 나타낸다. 도 12의 (a)는, 프레임 구조에 의해서 압축 부호화된 픽쳐 데이터의 데이터 구조를 나타낸다. 도면으로부터 이해되는 바와 같이, 픽쳐 헤더의 다음에 화상 데이터가 배치된다. 픽쳐 헤더는, 주로 픽쳐 타입 필드와 픽쳐 구조 필드를 포함한다. 픽쳐 타입 필드에는, 그 픽쳐 데이터의 픽쳐가 I 픽쳐, B 픽쳐 또는 P 픽쳐 중 어느 하나를 나타내는 픽쳐 타입이 기술된다. 또한, 픽쳐 구조 필드에는, 그 픽쳐 데이터의 픽쳐가 프레임 구조인지 필드 구조인지를 나타내는 정보가 기술된다. 도 12의 (a)에서는, 픽쳐 구조 필드에는 「프레임 구조」인 것을 나타내는 정보가 기술된다. 화상 데이터는, 제 1 필드 화상의 데이터와 제 2 필드 화상의 데이터를 혼재하여 포함하고 있고, 압축 부호화된 화상 데이터가 재생되었을 때에 필드가 분리된다.
한편, 도 12의 (b)는, 필드 구조에 의해서 압축 부호화된 픽쳐(프레임 화상) 데이터의 데이터 구조를 나타낸다. 이 데이터 구조는, 제 1 필드용 픽쳐 헤더로부 터 순서대로, 제 1 필드 화상 데이터, 제 2 필드용 픽쳐 헤더 및 제 2 필드 화상 데이터를 포함한다. 제 1 필드 화상은, 제 1 필드용 픽쳐 헤더와 제 1 필드 화상 데이터에 근거하여 취득할 수 있다. 마찬가지로, 제 2 필드 화상은, 제 2 필드용 픽쳐 헤더와 제 2 필드 화상 데이터에 근거하여 취득할 수 있다. 픽쳐 헤더의 데이터 구조는, 앞서 설명한 프레임 구조의 경우와 마찬가지로, 픽쳐 타입 필드와 픽쳐 구조 필드를 포함한다. 단, 픽쳐 타입은 필드마다 특정되기 때문에, I 프레임인 경우에는, 제 1 필드용 픽쳐 헤더에는 「I 필드」인 것을 나타내는 픽쳐 타입이 기술되고, 제 2 필드용 픽쳐 헤더에는 「I 필드」 또는「P 필드」인 것을 나타내는 픽쳐 타입이 기술된다. 픽쳐 구조 필드에는, 각각, 어느 쪽의 필드인지를 나타내는 정보가 기술된다.
도 13은, 변화도 파라미터와 압축 데이터의 픽쳐 구조와의 관계를 나타낸다. 도면에서 I, B 및 P는, 각각 I 픽쳐, B 픽쳐 및 P 픽쳐를 나타낸다. I, B 및 P의 이후의 숫자는, 선두의 I 픽쳐로부터의 프레임 번호를 나타낸다. 또한, 실선으로 둘러싸인 픽쳐(I1, B2, P3 등)의 픽쳐 구조는 프레임 구조이며, 파선으로 둘러싸인 픽쳐(P4∼P6)의 픽쳐 구조는 필드 구조로 한다.
도 13에 있어서, 우선, 선두 부분의 픽쳐 I1, B2, P3은, M=2이고 또한 프레임 구조로 부호화되어 있다. 이 때 부호화 순서는, 픽쳐 I1, P3, B2이다.
그런데, 후속하는 픽쳐 P4의 픽쳐 구조는, 필드 구조로 변경되어 있다. 이것은, 픽쳐 P3에 관련하여 산출된 변화도 파라미터 Cf가, Cf>TH1이고 또한 Cf>TH3을 만족하였기 때문이다. 이 결과, 참조 화상의 간격 M은 M=2로부터 M=1로 변경되 고(도 9의 단계(904)), 또한 픽쳐 구조는 필드 구조로 된다(단계(912)). 따라서, 최종적으로 참조 화상의 간격은 1 필드로 되어, 움직임이 빠른 화상에 대해서도 예측 효율을 유지하는 것이 가능해진다.
다음에, 픽쳐 P4 및 P5를 필드 단위로 부호화하는 과정에서, 픽쳐 P5에 관련하여 산출된 변화도 파라미터 Cf가 Cf<TH4를 만족하였기 때문에, 픽쳐 구조가 필드 구조로부터 프레임 구조로 변경된다(단계(914)). 또한, 픽쳐 P6에 관련하여 산출된 변화도 파라미터 Cf가 Cf<TH2를 만족하였기 때문에, 참조 화면의 간격 M이 M=1로부터 M=2로 변경되어 있다(단계(907)).
이상의 처리 결과, P 픽쳐에 관해서, M=1인 때에는 픽쳐 구조를 필드 구조로 설정하고, M≥2안 때에는 픽쳐 구조를 프레임 구조로 설정할 수 있다. 단, 이것은 예이며, 예컨대, M=1인 때, I 픽쳐의 제 1 필드를 I 필드로 하고, 제 2 필드를 P 필드로 해도 좋다. 다른 예로서 M=1이더라도 M≥2이더라도, 즉 M의 값에 관계없이, P 픽쳐의 픽쳐 구조를 프레임 구조로 해도 좋다. 또한, I 픽쳐/P 픽쳐의 픽쳐 구조를, 직전의 I 픽쳐 또는 P 픽쳐의 픽쳐 구조로 일치시키더라도 좋다. 또한, B 픽쳐의 픽쳐 구조를, 참조하는 I 픽쳐 또는 P 픽쳐의 픽쳐 구조로 일치시키더라도 좋다.
또한, 상술한 임계값 TH1∼TH4에 대하여, TH1=TH3 및 TH2=TH4로 설정함으로써, 보다 간단한 제어를 실현할 수 있다. 도 13에 나타내는 예에서는, M=2이고 또한 프레임 구조인 상태 1 및 M=1이고 또한 필드 구조 상태 2 사이의 전환만으로 충분하고, 처리를 단순화할 수 있다.
여기서는 M=2와 M=1의 전환에 대해 나타내었지만, 예컨대 M=3과 M=1과 같이 M의 값을 2 이상 떨어뜨려 전환하더라도 좋고, M=3, M=2 및 M=1 등과 같이 M의 값을 3 단계 이상 전환하더라도 좋다.
다음에, 도 14를 참조하면서, 예측 방법 결정부(109)가 각 픽쳐의 부호화 방식 및 픽쳐 구조를 결정할 때의 다른 처리를 설명한다. 도 14는, 소정의 주기로 프레임 화상의 부호화 방식을 결정하여, 압축 부호화를 행하는 픽쳐 구조를 결정하는 처리 순서를 나타낸다. 「소정의 주기」란, 예컨대, 소정의 I 픽쳐로부터 다음 I 픽쳐까지의 주기(도 2의 간격 N), P 픽쳐의 주기(도 2의 간격 M), 이들의 정수배의 주기를 나타내는 것이다.
또, 이전의 예와 마찬가지로, 「I 픽쳐」 및 「P 픽쳐」는 I 픽쳐 및 P 픽쳐로서 압축 부호화되는 후보 화상을 의미한다. 또, I 픽쳐로부터 다음 I 픽쳐까지 존재하는 픽쳐 중, 선두의 I 픽쳐, 후속하는 복수의 P, B 픽쳐로 이루어지는 픽쳐군은 GOP(Group of Picture)라고 불린다. GOP는 동화상의 재생 시간으로 하면 약 0.5초의 길이이다. 이하에서는,「주기」는 I 픽쳐로부터 다음 I 픽쳐까지의 주기(즉, GOP의 주기)인 것으로 하여 설명한다.
우선, 단계(1401)에 있어서, 변화도 파라미터 산출부(108)는 부호화를 행하는 화상이 GOP 선두의 후보 화상(선두 화상)인지 여부를 판단한다. 선두 화상인 경우에는 단계(1402)로 진행하고, 선두 화상이 아닌 경우에는 단계(1403)로 진행한다. 단계(1402)에서는, 변화도 파라미터 산출부(108)는 파라미터 SumCf의 값을 0으로 초기화하여, 단계(l403)로 진행한다. 파라미터 SumCf는, 변화도 파라미터 Cf 의 총합을 유지하기 위해서 이용된다.
단계(1403)에서는, 변화도 파라미터 산출부(108)는, 화상의 변화도 파라미터 Cf를 산출하고, 다음 단계(1404)에 있어서 파라미터 SumCf의 값과 가산하여, 그 결과에 따라서 파라미터 SumCf를 갱신한다. 단계(1405)에서는, 변화도 파라미터 산출부(108)는, 현재 처리의 대상으로 되어 있는 화상이 GOP 주기의 최후의 후보 화상인지 여부를 판단한다. 그 화상이 최후의 후보 화상인 경우에는 단계(1406)로 진행하고, 그렇지 않은 경우에는 도 14에 나타내는 처리를 종료하여, 지금까지의 부호화 조건을 변경하지 않고 그 화상을 압축 부호화한다. 그리고, 그 화상의 다음 화상에 대하여, 다시 단계(14O1)로부터의 처리가 행해진다.
단계(1406)에서는, 예측 방법 결정부(109)는, 이하의 순서에 의해서 부호화 조건을 결정한다. 우선, 단계(1406)에 있어서, 예측 방법 결정부(109)는 파라미터 SumCf의 값이 제 5 임계값 TH5보다도 큰지 여부를 판단한다. 파라미터 SumCf의 값이 임계값 TH5보다도 큰 경우에는 단계(1407)로 진행하고, 그렇지 않은 경우에는 단계(141O)로 진행한다.
단계(1407)에서는, 예측 방법 결정부(109)는, 다음 주기 이후에 포함되는 참조 화상(I 픽쳐 또는 P 픽쳐)의 간격 M을 소정의 값(예컨대, 1)만큼 작게 설정한다. 이것은, 현재의 주기에 포함되는 화상의 경향에 근거하여, 다음 주기의 화상에 대하여 부호화 조건을 설정하는 것을 의미한다.
그 후, 단계(1408)에 있어서, 예측 방법 결정부(109)는 변경 후의 M의 값이 최소값 Mmin보다도 작은지 여부를 판단한다. M의 값이 최소값 Mmin보다도 작은 경 우에는 단계(1409)로 진행하고, 작지 않은 경우에는 단계(1414)로 진행한다. 단계(1409)에서는, 예측 방법 결정부(109)는, 변경 후의 M의 값을 최소값 Mmin으로 설정하여 단계(1414)로 진행한다. 단계(1408 및 1409)는, 도 9의 단계(905 및 906)와 동일한 이유로 마련되어 있다.
단계(1410)에서는, 예측 방법 결정부(109)는, 파라미터 SumCf의 값을 제 6 임계값 TH6과 비교한다. 파라미터 SumCf의 값이 임계값 TH6보다도 작은 경우에는 단계(1411)로 진행하고, 그렇지 않은 경우에는 단계(1414)로 진행한다.
단계(1411)에서는, 예측 방법 결정부(109)는, 다음 주기 이후에 포함되는 참조 화상의 간격 M을 소정의 값(예컨대, 1)만큼 크게 설정한다. 즉, 단계(1407)에서 설명한 바와 같이, 현재의 주기에 포함되는 화상의 경향에 근거하여, 다음 주기의 화상에 대하여 부호화 조건을 설정한다.
단계(1412)에 있어서, 예측 방법 결정부(109)는 변경 후의 M의 값이 최대값 Mmax보다도 큰지 여부를 판단한다. M의 값이 최대값 Mmax보다도 큰 경우에는 단계(1413)로 진행하고, 그렇지 않은 경우에는 단계(1414)로 진행한다. 단계(1413)에서는, 예측 방법 결정부(109)는, 변경 후의 M의 값을 최대값 Mmax으로 설정하여 단계(14l4)로 진행한다.
단계(1414∼1417)는, 다음 주기의 화상의 부호화 조건인 픽쳐 구조를 결정하는 처리이다. 단계(1414)에서는, 예측 방법 결정부(109)는 파라미터 SumCf의 값과 제 7 임계값을 비교한다. 파라미터 SumCf의 값이 임계값 TH7보다도 큰 경우에는 단계(1415)로 진행하고, 그렇지 않은 경우에는 단계(1416)로 진행한다.
단계(1415)에서는, 다음 주기 이후에 포함되는 화상으로서, 지정한 픽쳐 타입의 화상을 필드 구조로 부호화하도록 설정한다. 파라미터 SumCf의 값이 임계값 TH7보다도 크게 각 화상의 변화가 심하다고 생각되기 때문에, 다음 주기에 관해서 예측 효율의 저하를 방지할 필요가 있기 때문이다.
한편, 단계(1416)에서는, 파라미터 SumCf의 값을 제 8 임계값 TH8과 비교한다. 변화도 파라미터 Cf가 제 8 임계값 TH8보다도 작은 경우에는 단계(1417)로 진행하고, 그렇지 않은 경우에는 처리를 종료한다. 단계(1417)에서는, 예측 방법 결정부(109)는, 다음 주기 이후에 포함되는 화상으로서, 지정한 픽쳐 타입의 화상을 프레임 구조로 부호화하도록 설정하여, 처리를 종료한다.
이상의 동작에 의해, 특히, 변화도 파라미터가 클 때, 즉 동화상 데이터의 시간적 변화가 공간적 변화에 대하여 상대적으로 클 때, 참조 화상의 간격 M을 작게 함과 동시에 I 픽쳐 또는 P 픽쳐를 필드 구조로 하는 것에 의해서, 예측 효율의 저하를 방지할 수 있다.
다음에, 압축 데이터가 생성된 후의 취급을 설명한다. 도 15의 (a)는, 부호화 시스템(1O)의 기능 블럭의 구성을 나타낸다. 부호화 시스템(10)은, 부호화 장치(100)와, 송신부(150)와, 기록부(151)를 구비하고 있다. 부호화 시스템(10)은, 예컨대 방송국에서 방송 설비로서 구축된다. 편집된 동화상은 동화상 부호화 장치(100)에 의해서 압축 데이터로 변환되고, 송신부(150)로부터 전파, 전송선 등의 전송 매체를 거쳐서 각 가정에 전송된다. 또는, 동화상 부호화 장치(100)로부터 출력된 압축 데이터는, 기록부(151)에 의해서 기록 매체(200)에 기록된다. 기 록 매체(200)는, 예컨대 광 디스크 등의 광 기록 매체, SD 메모리 카드 등의 반도체 기록 매체, 하드 디스크 등의 자기 기록 매체를 포함한다. 종래의 화질과 동일한 정도의 화질이면, 압축 데이터의 데이터량은 보다 적어지기 때문에, 전송에 필요한 대역, 전송 시간 등을 저감할 수 있거나, 또는 기록 매체(200)에 필요한 기록 용량을 저감할 수 있다.
또한, 부호화 시스템(10)은 범용 PC을 이용해도 실현된다. 동화상 부호화 장치(100)는, 예컨대 PC에 내장된 인코더 보드이다. 입력되는 동화상 신호가 텔레비젼 신호의 경우에는, PC(10)는, 텔레비전 프로그램에 관한 압축 데이터를, 하드 디스크 드라이브(151) 내의 하드 디스크(200)에 기록한다.
한편, 도 15의 (b)는, 복호화 시스템(11)의 기능 블럭의 구성을 나타낸다. 복호화 시스템(11)은, 수신부(160)와, 판독부(161)와, 복호화 장치(300)와, 표시부(170)를 포함한다. 복호화 시스템(11)은, 예컨대 텔레비전 시청자의 가정에 구축된 영상·음향 시스템으로서 구축된다. 이 때 수신부(160)는, 압축 데이터가 반송되어 있는 전파를 수신하기 위한 안테나이며, 또는 압축 데이터가 반송되고 있는 방송 신호를 수신하기 위한 셋 탑 박스의 수신 포트이다. 판독부(161)는, 기록 매체(200)에 기록된 압축 데이터를 판독하기 위한 드라이브 장치, 메모리 카드 슬롯(도시하지 않음) 등이다. 복호화 장치(300)는, 압축 데이터의 디코딩 기능을 구비하고 있고, 예컨대 압축 데이터가 MPEG 규격에 준거하여 생성되어 있을 때에는, 도 12에 나타내는 데이터 구조를 해석하고, 해석 결과에 근거하여 디코딩이 가능한 MPEG 디코더이다. 단, 본 발명에서는 디코딩 기능을 특히 문제로 하지 않기 때문 에, 복호화 장치(300)의 설명은 생략한다. 표시부(170)는 스피커를 갖는 텔레비젼이다. 시청자는, 복호화 시스템(11)에 있어서 압축 데이터를 수신하거나, 또는 기록 매체(200)로부터 판독하여 디코딩하여, 동화상을 시청할 수 있다.
이상, 동화상 부호화 장치(100)의 구성 및 동작을 설명하였다. 본 발명에 의한 화상 부호화 장치(100)는, 동화상의 변화 정도를 나타내는 변화도 파라미터에 근거하여, I 픽쳐와 P 픽쳐 및/또는 P 픽쳐끼리의 간격을 동적으로 제어한다. 또한, 픽쳐 구조를 프레임 구조와 필드 구조도 동적으로 전환하여, 부호화 효율을 향상시킬 수 있다. 따라서, 동화상 부호화 장치(100)에 의해서 생성된 압축 데이터를 종래의 부호화 장치에 의해서 생성된 압축 데이터와 비교하면, 동일한 데이터량 이면 재생 화상의 품질은 높고, 또한 동일한 화질이면 데이터량이 보다 적어진다. 따라서, 본 발명에 의하면, 충분한 품질을 유지한 압축 부호화를 실현함과 동시에, 보다 효율적으로 압축 부호화를 실현할 수 있다.
또, 지금까지의 설명에서 언급한 임계값 TH1∼TH8의 구체적인 값은, 동화상 부호화 장치(100)를 제조하는 메이커가 그 장치의 사양에 따라 자유롭게 결정할 수 있다. 또는, 필요로 하는 압축 데이터의 품질에 따라 자유롭게 결정할 수 있다.
또한, 동화상 부호화 장치(100)에 의한 처리 대상의 동화상은 인터레이스 방식의 영상인 것으로 하여 설명하였지만, 본 발명은 프로그래시브 방식의 영상에 대해서도 적용할 수 있다. 단, 프로그래시브 방식의 영상인 경우에는, 필드 화상이 존재하지 않고 프레임 화상만이 존재하기 때문에, 예컨대 1/60초마다 표시되는 연속하는 2장의 프레임 화상을 이용하여, 본 명세서에서 설명한 제 1 필드 및 제 2 필드로서 취급할 수 있다. 이와 같이 취급하는 경우에는, (수학식 1) 등에 있어서의 F(x, y)를 제 1 프레임 화상의 화소값 G1(x, y)로 치환하고, F(x, y+1)를 제 2 프레임 화상의 화소값 G2(x, y)로 치환하면 좋다. 또한 (수학식 2) 등에서는, F(x, y)를 제 1 프레임 화상의 화소값 G1(x, y)로 치환하고, F(x, y+2)를 제 1 프레임 화상의 화소값 Gl(x, y+1)로 치환하면 좋다. 이에 따라, 인터레이스 방식에 대하여 설명한 방법과 완전히 동일한 처리를 행하여 시간 방향 변화량 및 공간 방향 변화량을 구할 수 있다.
데이터 처리 장치(100)의 상술한 처리는, 컴퓨터 프로그램에 근거하여 행해진다. 예컨대, 압축 데이터를 생성하는 처리는, 도 6, 도 9, 도 14에 나타내는 플 로우차트에 근거하여 기술된 컴퓨터 프로그램을 실행함으로써 실현된다. 컴퓨터 프로그램은, 광 디스크로 대표되는 광 기록 매체, SD 메모리 카드, EEPROM으로 대표되는 반도체 기록 매체, 플렉시블 디스크로 대표되는 자기 기록 매체 등의 기록 매체에 기록할 수 있다. 또, 광디스크 장치(100)는, 기록 매체를 거쳐서 뿐만 아니라, 인터넷 등의 전기 통신 회선을 거쳐서도 컴퓨터 프로그램을 취득할 수 있다.
본 발명에 의하면, 충분한 품질을 유지하면서, 보다 효율적으로 동화상 데이터의 압축 부호화를 행할 수 있는 데이터 처리 장치 및 방법이 제공된다. 본 발명은, 압축 부호화된 데이터의 기록, 전송, 재생 등을 행하는 데이터 처리의 용도에 있어서 유용하다.

Claims (28)

  1. 동화상을 나타내는 동화상 데이터를, 화면내 부호화 방식, 전 방향 예측 부호화 방식 및 쌍 방향 예측 부호화 방식 중 어느 하나에 의해서 소정의 화상 단위로 압축 부호화하는 데이터 처리 장치로서,
    상기 동화상은, 각각이 2개의 필드 화상으로 구성되는 복수의 프레임 화상을 연속적으로 표시하여 얻어지고,
    상기 동화상 데이터를 저장하는 메모리와,
    상기 2개의 필드 화상의 동화상 데이터에 근거하여, 상기 동화상의 변화 정도를 나타내는 파라미터를 산출하는 산출부와,
    상기 산출부에 의해서 산출된 상기 파라미터에 근거하여, 화면내 부호화 방식 및 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상 단위 및 상기 소정의 화상 단위를 규정하는 픽쳐 구조를 결정하는 결정부와,
    상기 메모리에 저장된 상기 동화상 데이터를, 상기 결정부에 의해서 결정된 상기 픽쳐 구조에 따라서 압축 부호화하여, 압축 데이터를 생성하는 처리부
    를 구비한 데이터 처리 장치.
  2. 제 1 항에 있어서,
    상기 산출부는, 상기 2개의 필드 화상 간의 상기 동화상 데이터의 변화량에 근거하여 시간 방향 변화량을 구하고, 상기 2개의 필드 화상의 각각에 대하여 화상내의 상기 동화상 데이터의 변화량에 근거하여 공간 방향 변화량을 구하며, 상기 시간 방향 변화량 및 상기 공간 방향 변화량에 근거하여 상기 파라미터를 산출하는 데이터 처리 장치.
  3. 제 2 항에 있어서,
    상기 2개의 필드 화상은, 상기 프레임 화상의 기수 라인에 대응하는 제 1 필드 화상 및 우수 라인에 대응하는 제 2 필드 화상이며,
    상기 산출부는, 상기 프레임 화상 내에서 서로 인접하는 상기 제 1 필드 화상의 라인 및 상기 제 2 필드 화상의 라인을 특정하고, 각 라인의 동화상 데이터의 차분에 근거하여 상기 시간 방향 변화량을 산출하며, 또한, 상기 산출부는, 상기 제 1 필드 화상 및 상기 제 2 필드 화상의 각 화상 내에서 인접하는 라인을 특정하고, 각 라인의 동화상 데이터의 차분에 근거하여 상기 공간 방향 변화량을 산출하는 데이터 처리 장치.
  4. 제 2 항에 있어서,
    상기 산출부는, 각 프레임 화상을 복수의 블럭으로 분할하고, 상기 블럭마다의 동화상 데이터에 근거하여 상기 시간 방향 변화량 및 상기 공간 방향 변화량 을 산출하며, 각 블럭의 시간 방향 변화량 및 각 공간 방향 변화량에 근거하여, 모든 블록 수에 대한 상기 동화상의 변화량이 소정량 이상의 블럭의 비를 상기 파라미터로서 산출하는 데이터 처리 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 결정부는, 상기 파라미터가 소정의 임계값보다도 큰 경우에는, 상기 픽쳐 구조를 필드 구조로 결정하고,
    상기 처리부는, 상기 동화상 데이터를 상기 필드 화상 단위로 압축 부호화하는 데이터 처리 장치.
  6. 제 5 항에 있어서,
    상기 결정부는, 상기 화면내 부호화 방식에 의해서 압축 부호화하는 필드 화상의 수 및 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화하는 필드 화상의 수 중 적어도 한쪽을 증가시키는 데이터 처리 장치.
  7. 제 6 항에 있어서,
    상기 결정부는, 필드 화상을 상기 화면내 부호화 방식 또는 상기 전 방향 예 측 부호화 방식에 의해서만 압축 부호화하는 데이터 처리 장치.
  8. 제 7 항에 있어서,
    상기 결정부는, 상기 산출부에 의해서 산출된 상기 파라미터가 상기 소정의 임계값보다도 작아진 경우에는, 상기 픽쳐 구조를 프레임 구조로 결정하고,
    상기 처리부는, 상기 동화상 데이터를 상기 프레임 화상 단위로 압축 부호화하는 데이터 처리 장치.
  9. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 결정부는, 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 제 1 화상과 상기 제 1 화상을 참조하여 예측 부호화되는 제 2 화상이 연속하고 있는 경우에는, 상기 제 2 화상의 픽쳐 구조를 필드 구조로 결정하고, 연속하지 않는 경우에는 상기 제 2 화상의 픽쳐 구조를 프레임 구조로 결정하는 데이터 처리 장치.
  10. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 결정부는, 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 제 1 화상과 상기 제 1 화상을 참조하여 예측 부호화되는 제 2 화상이 연속하고 있는 경 우에는, 상기 제 2 화상의 픽쳐 구조를 프레임 구조 또는 필드 구조로 결정하고, 연속하지 않는 경우에는 상기 제 2 화상의 픽쳐 구조를 프레임 구조로 결정하는 데이터 처리 장치.
  11. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 복수의 화상 또는 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 복수의 화상에 근거하여 결정되는 주기에 따라서, 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를 결정하는 데이터 처리 장치.
  12. 제 11 항에 있어서,
    상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 상기 복수의 화상에 근거하여 결정되는 주기에 따라서, 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를 결정하는 데이터 처리 장치.
  13. 제 11 항에 있어서,
    상기 결정부는, 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 상기 복수의 화상에 근거하여 결정되는 주기에 따라서, 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를 결정하는 데이터 처리 장치.
  14. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 제 1 화상과, 상기 제 1 화상을 참조하여 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 제 2 화상이 연속하고 있는 경우에는, 상기 제 1 화상의 픽쳐 구조를 필드 구조로 결정하고, 또한, 상기 제 1 화상을 구성하는 제 1 필드 화상 및 제 2 필드 화상 중, 상기 제 1 필드 화상을 화면내 부호화 방식에 의해서 압축 부호화하고, 상기 제 2 필드 화상을 전 방향 예측 부호화 방식에 의해서 압축 부호화하는 것을 결정하는 데이터 처리 장치.
  15. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를, 화면내 부호화 방식에 의해서 압축 부호화된 직전의 화상 또는 전 방향 예측 부호화 방식에 의해서 압축 부호화된 직전의 화상의 픽쳐 구조로 일치시키는 것을 결정하는 데이터 처리 장치.
  16. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 결정부는, 화면내 부호화 방식에 의해서 압축 부호화되는 화상의 픽쳐 구조를, 화면내 부호화 방식에 의해서 압축 부호화되는 직후의 화상 또는 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 직후의 화상의 픽쳐 구조로 일치시키는 것을 결정하는 데이터 처리 장치.
  17. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 결정부는, 쌍 방향 예측 부호화 방식에 의해서 압축 부호화되는 제 1 화상의 픽쳐 구조를, 상기 제 1 화상에 의해서 참조되는 참조 화상의 픽쳐 구조로 일치시키는 것을 결정하는 데이터 처리 장치.
  18. 청구항 1 내지 청구항 4 중 어느 한 항에 기재된 데이터 처리 장치와,
    상기 데이터 처리 장치의 처리부에 의해서 생성된 상기 압축 데이터를 전송 매체상에 송신하는 송신부
    를 구비한 데이터 처리 시스템.
  19. 청구항 1 내지 청구항 4 중 어느 한 항에 기재된 데이터 처리 장치와,
    상기 데이터 처리 장치의 처리부에 의해서 생성된 상기 압축 데이터를 기록 매체에 기록하는 기록부
    를 구비한 데이터 처리 시스템.
  20. 동화상을 나타내는 동화상 데이터를, 화면내 부호화 방식, 전 방향 예측 부호화 방식 및 쌍 방향 예측 부호화 방식 중 어느 하나에 의해서 소정의 화상 단위로 압축 부호화하는 데이터 처리 장치로서,
    상기 동화상은, 복수의 프레임 화상을 연속적으로 표시하여 얻어지고,
    상기 동화상 데이터를 저장하는 메모리와,
    연속하는 2개의 프레임 화상 간의 상기 동화상 데이터의 변화량을 나타내는 시간 방향 변화량, 및 상기 2개의 프레임 화상의 각각에 대하여 화상 내의 상기 동화상 데이터의 변화량을 나타내는 공간 방향 변화량을 산출하고, 상기 시간 방향 변화량 및 상기 공간 방향 변화량에 근거하여, 상기 동화상의 변화 정도를 나타내는 파라미터를 산출하는 산출부와,
    상기 산출부에 의해서 산출된 상기 파라미터에 근거하여, 상기 복수의 프레임 화상의 각각에 대하여 압축 부호화 방식을 결정하는 결정부와,
    상기 메모리에 저장된 상기 동화상 데이터를, 상기 결정부에 의해서 결정된 방식에 따라서 압축 부호화하여, 압축 데이터를 생성하는 처리부
    를 구비한 데이터 처리 장치.
  21. 제 20 항에 있어서,
    상기 동화상은, 각각이 2개의 필드 화상으로 구성되는 복수의 프레임 화상을 연속적으로 표시하여 얻어지고,
    상기 2개의 필드 화상은, 상기 프레임 화상의 기수 라인에 대응하는 제 1 필드 화상 및 우수 라인에 대응하는 제 2 필드 화상이며,
    상기 산출부는, 상기 프레임 화상 내에서 서로 인접하는 상기 제 1 필드 화상의 라인 및 상기 제 2 필드 화상의 라인을 특정하고, 각 라인의 동화상 데이터의 차분에 근거하여 상기 시간 방향 변화량을 산출하며, 또한, 상기 산출부는, 상기 제 1 필드 화상 및 상기 제 2 필드 화상의 각 화상 내에서 인접하는 라인을 특정하고, 각 라인의 동화상 데이터의 차분에 근거하여 상기 공간 방향 변화량을 산출하는 데이터 처리 장치.
  22. 제 20 항에 있어서,
    상기 산출부는, 상기 2개의 프레임 화상에 있어서의 동일한 위치의 2개의 라인을 특정하고, 각 라인의 동화상 데이터의 차분에 근거하여 상기 시간 방향 변화 량을 산출하며, 또한, 상기 2개의 프레임 화상의 한쪽의 화상 내에서 인접하는 라인을 특정하고, 각 라인의 동화상 데이터의 차분에 근거하여 상기 공간 방향 변화량을 산출하는 데이터 처리 장치.
  23. 제 22 항에 있어서,
    상기 결정부는, 상기 화면내 부호화 방식에 의해서 압축 부호화하는 프레임 화상의 수 및 상기 전 방향 예측 부호화 방식에 의해서 압축 부호화하는 프레임 화상의 수 중 적어도 한쪽을 증가시키는 데이터 처리 장치.
  24. 제 22 항에 있어서,
    상기 결정부는, 상기 프레임 화상을 상기 화면내 부호화 방식 또는 상기 전 방향 예측 부호화 방식 중 어느 하나에 의해서만 압축 부호화하는 데이터 처리 장치.
  25. 청구항 21에 기재된 데이터 처리 장치와,
    전송 매체를 거쳐서, 상기 데이터 처리 장치의 처리부에 의해서 생성된 상기 압축 데이터를 송신하는 송신부
    를 구비한 데이터 처리 시스템.
  26. 청구항 21에 기재된 데이터 처리 장치와,
    상기 데이터 처리 장치의 처리부에 의해서 생성된 상기 압축 데이터를 기록 매체에 기록하는 기록부
    를 구비한 데이터 처리 시스템.
  27. 동화상을 나타내는 동화상 데이터를, 화면내 부호화 방식, 전 방향 예측 부호화 방식 및 쌍 방향 예측 부호화 방식 중 어느 하나에 의해서 소정의 화상 단위로 압축 부호화하는 방법으로서,
    상기 동화상은, 각각이 2개의 필드 화상으로 구성되는 복수의 프레임 화상을 연속적으로 표시하여 얻어지고,
    상기 동화상 데이터를 저장하는 단계와,
    상기 2개의 필드 화상의 동화상 데이터에 근거하여, 상기 동화상의 변화 정도를 나타내는 파라미터를 산출하는 단계와,
    산출된 상기 파라미터에 근거하여, 화면내 부호화 방식 및 전 방향 예측 부호화 방식에 의해서 압축 부호화되는 화상 단위, 및 상기 소정의 화상 단위를 규정하는 픽쳐 구조를 결정하는 단계와,
    상기 동화상 데이터를, 결정된 상기 픽쳐 구조에 따라서 압축 부호화하여, 압축 데이터를 생성하는 단계
    를 포함하는 데이터 처리 방법.
  28. 동화상을 나타내는 동화상 데이터를, 화면내 부호화 방식, 전 방향 예측 부호화 방식 및 쌍 방향 예측 부호화 방식 중 어느 하나에 의해서 소정의 화상 단위로 압축 부호화하는 데이터 처리 방법으로서,
    상기 동화상은, 복수의 프레임 화상을 연속적으로 표시하여 얻어지고,
    상기 동화상 데이터를 저장하는 단계와,
    연속하는 2개의 프레임 화상 간의 상기 동화상 데이터의 변화량을 나타내는 시간 방향 변화량, 및 상기 2개의 프레임 화상의 각각에 대하여 화상 내의 상기 동화상 데이터의 변화량을 나타내는 공간 방향 변화량을 산출하는 단계와,
    상기 시간 방향 변화량 및 상기 공간 방향 변화량에 근거하여, 상기 동화상의 변화 정도를 나타내는 파라미터를 산출하는 단계와,
    산출된 상기 파라미터에 근거하여, 상기 복수의 프레임 화상의 각각에 대하여 압축 부호화 방식을 결정하는 단계와,
    저장된 상기 동화상 데이터를, 결정된 방식에 따라서 압축 부호화하여, 압축 데이터를 생성하는 단계
    를 포함하는 데이터 처리 방법.
KR20047003659A 2002-08-05 2003-08-01 데이터 처리 장치 및 데이터 처리 방법 KR100636465B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2002-00227108 2002-08-05
JP2002227108 2002-08-05
PCT/JP2003/009843 WO2004014085A1 (ja) 2002-08-05 2003-08-01 データ処理装置およびデータ処理方法

Publications (2)

Publication Number Publication Date
KR20040035763A KR20040035763A (ko) 2004-04-29
KR100636465B1 true KR100636465B1 (ko) 2006-10-19

Family

ID=31492205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20047003659A KR100636465B1 (ko) 2002-08-05 2003-08-01 데이터 처리 장치 및 데이터 처리 방법

Country Status (6)

Country Link
US (1) US7929604B2 (ko)
EP (1) EP1507417A4 (ko)
JP (1) JP4192149B2 (ko)
KR (1) KR100636465B1 (ko)
CN (1) CN100518327C (ko)
WO (1) WO2004014085A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8254467B2 (en) * 2008-10-30 2012-08-28 Sensio Technologies Inc. Method and system for scaling compressed image frames
CN104253804B (zh) * 2013-06-28 2017-12-12 广州华多网络科技有限公司 一种传输图像数据的方法及装置
JP6761002B2 (ja) * 2018-07-23 2020-09-23 ファナック株式会社 データ管理装置、データ管理プログラム及びデータ管理方法
CN115396733A (zh) * 2022-09-02 2022-11-25 上海洛塔信息技术有限公司 视频帧传输方法、装置、设备、存储介质及产品

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3257052B2 (ja) * 1991-07-30 2002-02-18 ソニー株式会社 画像信号の高能率符号化装置及びその方法
US5666461A (en) 1992-06-29 1997-09-09 Sony Corporation High efficiency encoding and decoding of picture signals and recording medium containing same
JP3876392B2 (ja) * 1996-04-26 2007-01-31 富士通株式会社 動きベクトル探索方法
JP3604864B2 (ja) * 1997-04-25 2004-12-22 シャープ株式会社 動画像符号化装置
JP2000102017A (ja) 1998-09-24 2000-04-07 Mitsubishi Electric Corp 画像符号化装置および画像符号化方式
JP3804745B2 (ja) * 1999-08-20 2006-08-02 Ｋｄｄｉ株式会社 フレーム構造／フィールド構造切替式画像符号化装置
US6973126B1 (en) * 1999-03-05 2005-12-06 Kdd Corporation Video coding apparatus according to a feature of a video picture
US6115076A (en) * 1999-04-20 2000-09-05 C-Cube Semiconductor Ii, Inc. Compressed video recording device with non-destructive effects addition
JP3531532B2 (ja) * 1999-05-18 2004-05-31 日本電気株式会社 動画像符号化装置、及び方法
JP3757088B2 (ja) * 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法
JP2002010259A (ja) * 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
JP2002016924A (ja) 2000-06-27 2002-01-18 Nec Corp トランスコーダ装置およびトランスコード方法

Also Published As

Publication number Publication date
US7929604B2 (en) 2011-04-19
CN100518327C (zh) 2009-07-22
JPWO2004014085A1 (ja) 2006-09-21
EP1507417A4 (en) 2010-09-29
EP1507417A1 (en) 2005-02-16
CN1613261A (zh) 2005-05-04
JP4192149B2 (ja) 2008-12-03
US20050226326A1 (en) 2005-10-13
KR20040035763A (ko) 2004-04-29
WO2004014085A1 (ja) 2004-02-12

Similar Documents

Publication Publication Date Title
US11638016B2 (en) Selection of motion vector precision
US9277226B2 (en) Image decoding device and method thereof using inter-coded predictive encoding code
US8442334B2 (en) Image coding method and image decoding method based on edge direction
US9924190B2 (en) Optimized image decoding device and method for a predictive encoded bit stream
US7426308B2 (en) Intraframe and interframe interlace coding and decoding
US20100021071A1 (en) Image coding apparatus and image decoding apparatus
KR100636465B1 (ko) 데이터 처리 장치 및 데이터 처리 방법
JP2001169290A (ja) 動画像符号化方法、動画像符号化装置及び動画像符号化システム
US20050201458A1 (en) Image encoding system and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120924

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee