KR100804902B1 - 화상 부호화 방법 및 화상 복호화 방법 - Google Patents

화상 부호화 방법 및 화상 복호화 방법 Download PDF

Info

Publication number
KR100804902B1
KR100804902B1 KR1020067012681A KR20067012681A KR100804902B1 KR 100804902 B1 KR100804902 B1 KR 100804902B1 KR 1020067012681 A KR1020067012681 A KR 1020067012681A KR 20067012681 A KR20067012681 A KR 20067012681A KR 100804902 B1 KR100804902 B1 KR 100804902B1
Authority
KR
South Korea
Prior art keywords
picture
image
inter
filter
data
Prior art date
Application number
KR1020067012681A
Other languages
English (en)
Other versions
KR20060089754A (ko
Inventor
마코토 하가이
신야 가도노
Original Assignee
마쯔시다덴기산교 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마쯔시다덴기산교 가부시키가이샤 filed Critical 마쯔시다덴기산교 가부시키가이샤
Publication of KR20060089754A publication Critical patent/KR20060089754A/ko
Application granted granted Critical
Publication of KR100804902B1 publication Critical patent/KR100804902B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Making Paper Articles (AREA)

Abstract

화상 부호화 장치(300)는, 입력 화상을 나타내는 화상 데이터(Img)와, 상기 입력 화상에 대한 예측 화상을 나타내는 예측 화상 데이터(Pred)와의 차분을 부호화하여 부호화 화상 데이터를 생성하는 화상 부호화 장치에 있어서, 화상 데이터(Img)를 부호화한 뒤 복호화하는 화상 복호화부(104)와, 화상 복호화부(104)에서 얻어진 복호화 화상 데이터(Recon)에 대해서 화소간 필터 연산을 행하는 화소간 필터 A, B(303,304)와, 상기 화소간 필터 중 하나를 선택하는 스위치(301, 302)와, 선택된 화소간 필터에서 얻어진 필터링된 복호화 화상 데이터(FilteredImg1)를 참조 화상 데이터(Ref)로서 이용하여, 입력 화상 데이터(Img)에 대한 예측 화상 데이터(Pred)를 생성하는 픽처간 예측부(108)를 구비한다.

Description

화상 부호화 방법 및 화상 복호화 방법{IMAGE CODING METHOD AND IMAGE DECODING METHOD}
도 1은 종래의 화상 부호화 장치의 구성을 나타내는 블록도,
도 2는 종래의 화상 복호화 장치의 구성을 나타내는 블록도,
도 3은 본 발명의 제1 실시형태에 관한 화상 부호화 장치의 구성을 나타내는 블록도,
도 4는 입력 화상의 슬라이스마다 화소간 필터를 전환하는 화상 부호화 장치의 구성을 나타내는 블록도,
도 5(a)는 본 발명의 화상 부호화 장치가 출력하는 부호화 데이터(Bitstream)의 스트림 구성을 나타내는 도면, 도 5(b)는 본 발명의 화상 부호화 장치가 화소간 필터를 슬라이스를 단위로서 전환한 경우에 출력되는 부호화 데이터(Bitstream)의 스트림 구성을 나타내는 도면,
도 6은 본 실시형태 1에 관한 화상 부호화 장치에 의해서 생성된 부호화 데이터(Bitstream1)를 복호화하는 화상 복호화 장치의 구성을 나타내는 블록도,
도 7은 지정된 화소간 필터가 내부에 구비되어 있지 않은 경우에는, 구비되어 있는 화소간 필터를 대용하는 화상 복호화 장치의 구성을 나타내는 블록도,
도 8은 본 발명의 제2 실시형태에 관한 화상 부호화 장치의 구성을 나타내는 블록도,
도 9는 도 8에 도시한 화소간 필터의 일례인 디블록·필터의 연산 내용을 나타내는 도면으로, (a)는 필터링 전의 블록 경계 부근의 화소 값을 나타내는 도면, (b)는 필터링 후의 블록 경계 부근의 화소 값을 나타내는 도면,
도 10은 화소간 필터의 필터링 처리의 흐름을 나타내는 흐름도,
도 11은 화소간 필터 처리를 행할지 여부를 선택할 수 있는 화상 복호화 장치의 구성을 나타내는 블록도,
도 12는 또한 출력단에 선택 가능한 화소간 필터를 구비한 화상 복호화 장치의 구성을 나타내는 블록도,
도 13은 각 프레임의 픽처 타입에 따라서 화소간 필터를 선택할 수 있는 화상 복호화 장치의 구성을 나타내는 블록도,
도 14는 본 발명의 실시형태 3에 관한 화상 부호화 장치의 기능 구성을 나타내는 블록도,
도 15는 도 14에 나타낸 우선 순위 결정부의 상세한 기능 구성을 나타내는 블록도,
도 16은 도 14에 나타낸 필터 처리 제어부의 상세한 기능 구성을 나타내는 블록도,
도 17은 도 14에 나타낸 화상 메모리에 저장되어 있는 프레임 화상의 참조 관계를 나타내는 도면,
도 18은 도 16에 나타낸 스위치 전환 처리부가 실행하는 스위치 구동 처리를 나타내는 흐름도,
도 19는 본 발명의 실시형태 4에 관한 화상 복호화 장치의 기능 구성을 나타내는 블록도,
도 20은 상기 실시형태 1 내지 실시형태 3의 화상 부호화 방법 또는 화상 복호화 방법을 저장한 플렉시블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도로서, (a)는 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 나타내는 도면, (b)는 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 나타내는 도면, (c)는 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 나타내는 도면,
도 21은 콘텐츠 배포 서비스를 실현하는 콘텐츠 공급 시스템의 전체 구성을 나타내는 블록도,
도 22는 휴대 전화의 외관의 일례를 나타내는 도면,
도 23은 휴대 전화의 구성을 나타내는 블록도,
도 24는 상기 실시형태에서 나타낸 부호화 처리 또는 복호화 처리를 행하는 기기 및 이 기기를 이용한 시스템을 설명하는 도면이다.
본 발명은, 화상 부호화 방법, 화상 복호화 방법, 화상 부호화 장치, 화상 복호화 장치, 이를 소프트웨어로 실시하기 위한 프로그램 및 해당 프로그램이 기록된 기록 매체에 관한 것이다.
최근, 멀티미디어 어플리케이션의 발전에 따라서, 화상·음성·텍스트 등, 모든 미디어의 정보를 통일적으로 취급하는 것이 일반적이 되어 왔다. 이 때, 모든 미디어를 디지털화함으로써 통일적으로 미디어를 취급하는 것이 가능하게 된다. 그러나, 디지털화된 화상은 방대한 데이터 량을 갖기 때문에, 축적·전송을 위해서는 화상의 정보 압축 기술이 불가결하다. 한편, 압축한 화상 데이터를 상호 운용하기 위해서는 압축 기술의 표준화도 중요하다. 화상 압축 기술의 표준 규격으로서는, ITU-T 권고(국제 전기 통신 연합 전기 통신 표준화 부문)의 H.261, H.263, ISO(국제 표준화 기구)의 MPEG(Moving Picture Experts Group)-1, MPEG-2, MPEG-4 등이 있다.
도 1은 종래의 화상 부호화 장치(100)의 구성을 나타내는 블록도이다. 또, 본 발명에서는, 1장의 화상을 구성하는 단위를 픽처라고 부른다. 인터레이스 화상 신호에서는 픽처는 필드 또는 프레임을 의미하며, 프로그레시브 화상 신호에서는 픽처는 프레임의 것을 의미한다.
화상 부호화 장치(100)는 차분기(差分器)(101), 화상 부호화부(102), 가변 길이 부호화부(103), 화상 복호화부(104), 가산기(105), 화소간 필터(106), 화상 메모리(107), 픽처간 예측부(108) 및 픽처간 예측 추정부(109)를 구비한다. 차분기(101)는 정입력 단자에 입력되는 입력 화상으로부터, 부입력 단자에 입력되는 예 측 화상을 감산하여, 그 차분 화상을 출력한다. 화상 부호화부(102)는 입력되는 차분 화상을 부호화한다. 예를 들면, 입력되는 데이터를 DCT 변환 등을 이용하여 주파수 변환하여, 변환 결과의 주파수 데이터를 양자화함으로써 부호화한다. 가변 길이 부호화부(103)는 부호화된 차분 화상과 픽처간 예측 추정부(109)로부터의 예측 파라미터를 가변 길이 부호화하여, 그 결과 얻어진 부호화 데이터에 그 부호화 데이터에 관련되는 정보를 기술한 헤더 등의 관련 데이터를 부가한 다음, 출력 부호화 비트 스트림의 포맷으로 모아 화상 부호화 장치(100)의 외부에 출력한다. 화상 복호화부(104)는 화상 부호화부(102)에 의해서 부호화된 차분 화상에 대해서, 화상 부호화부(102)에 의한 부호화의 역처리를 행함으로써 부호화된 차분 화상을 복호화하여, 복호화한다. 예를 들면, 부호화된 차분 화상에 대해서, 역 양자화 처리를 행한 뒤, 예를 들면 역 DCT 변환 등의 역 주파수 변환을 실시하여, 입력 화상과 예측 화상의 차분을 복호화한다. 가산기(105)는 복호화된 차분 화상과 예측 화상을 가산하여, 입력 화상을 복호화한다. 화소간 필터(106)는, 예를 들면, 복호화된 입력 화상의 고주파 성분의 부호화 노이즈를 억압하는 등의 필터링을 행한다. 화상 메모리(107)는, 가산기(105)에서 복호화된 화상의 적어도 1픽처분의 화상 데이터를 참조 화상으로서 유지한다. 픽처간 예측부(108)는, 픽처간 예측 추정부(109)에 의한 예측 결과에 기초하여, 화상 메모리(107) 내의 참조 화상으로부터 예측 화상을 읽어 낸다. 픽처간 예측 추정부(109)는 참조 화상에 대한 입력 화상의 움직임의 변화량인 예측 파라미터(PredParam)를 도출한다.
보다 구체적으로는, 화상 부호화 장치(100)에는, 외부에서 화상 데이터(Img) 가 입력된다. 화상 데이터(Img)는 차분기(101)의 정입력 단자에 입력된다. 차분기(101)는 이 화상 데이터(Img)와, 부입력 단자에 입력된 예측 화상 데이터(Pred)와의 화소 값의 차분을 구하여, 차분 화상 데이터(Res)로서 출력한다. 이 예측 화상 데이터(Pred)는 이하와 같이 하여 얻어진다. 우선, 이미 부호화된 픽처의 화상에 있어서, 일단 부호화된 후 복호화되고, 1픽처분의 화상에 복호화된 참조 화상 데이터(Ref)가 화상 메모리(107)에 저장된다. 다음에, 이 참조 화상 데이터(Ref)로부터 예측 파라미터(PredParam)에 기초하여, 입력된 화상 데이터(Img)의 블록마다 대응하여 블록의 화상을 나타내는 데이터를 취한다. 이 블록의 화상을 나타내는 데이터가 예측 화상 데이터(Pred)이다. 화상 부호화 장치(100)는 부호화가 끝난 픽처 몇 장을 예측용의 참조 화상 데이터(Ref)로서 화상 메모리(107)에 저장하고 있고, 픽처간 예측부(108)는 화상 메모리(107)에 저장된 참조 화상 데이터(Ref)로부터 예측 화상 데이터(Pred)를 생성한다. 픽처간 예측 추정부(109)는 입력 화상 데이터(Img)와 참조 화상 데이터(Ref)에서 예측에 사용하는 예측 파라미터 데이터(PredParam)(예를 들면, MPEG의 화상 부호화 방식에서 사용되는 움직임 벡터 정보 등)를 구한다. 또, 화면 내 부호화의 경우에는 예측 화상의 화소 값은 "0"으로 한다.
화상 부호화부(102)는 차분 화상 데이터(Res)를 부호화하여, 차분 화상 부호화 데이터(CodedRes)로서 출력한다. 화상 복호화부(104)는 부호화된 차분 화상 부호화 데이터(CodedRes)로부터 원래의 화상을 복호화하여, 픽처간 예측의 참조 화상으로서 사용하기 위해서, 차분 화상 부호화 데이터(CodedRes)를 복호화하여, 복호 화 차분 화상 데이터(ReconRes)로서 출력한다. 이 복호화 차분 화상 데이터(ReconRes)가 나타내는 화소 값과, 예측 화상 데이터(Pred)가 나타내는 화소 값이 가산기(105)에서 가산되어, 복호화 화상 데이터(Recon)로서 출력된다. 화소간 필터(106)는 복호화 화상 데이터(Recon)를 필터 연산 처리하여, 필터링된 복호화 화상 데이터(FilteredImg)로서 화상 메모리(107)에 저장한다.
화소간 필터(106)에는, 복호화 화상 데이터(Recon)의 부호화 노이즈를 저감하고, 그 화상을 참조 화상으로서 사용한 경우에 예측 효율을 향상시키는 효과가 있다. 화소간 필터(106)의 예로서는, ITU-T 권고의 H.261의 루프·필터가 있다. 화소간 필터(106)에 의해 화소간 필터 연산이 행해진 필터링된 복호화 화상 데이터(FilteredImg)는 화상 메모리(107)에 저장되고, 이후의 픽처를 부호화할 때에 참조 화상으로서 사용된다. 가변 길이 부호화부(103)는 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)를 가변 길이 부호화하고, 하나의 부호화 데이터(Bitstream)로 모아 화상 부호화 장치(100)의 외부로 출력한다.
도 2는 종래의 화상 복호화 장치(200)의 구성을 나타내는 블록도이다.
화상 복호화 장치(200)는 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화소간 필터(204), 화상 메모리(205) 및 픽처간 예측부(206)를 구비한다. 화상 복호화 장치(200)에는 외부로부터 부호화 데이터(Bitstream)가 입력된다. 가변 길이 복호화부(201)는 입력된 부호화 데이터(Bitstream)를 가변 길이 복호화하여, 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)로 분리한다. 화상 복호화부(202)는 차분 화상 부호화 데이터(CodedRes)를 복호화하 여, 복호화 차분 화상 데이터(ReconRes)로서 출력한다. 또, 복호화 차분 화상 데이터(ReconRes)로서 출력되는 픽처에 참조된, 즉, 화상 부호화 장치(100)에서 참조 화상 데이터(Ref)에 상당하는 픽처는, 이미 복호화되어 화상 메모리(107)에 저장되어 있다. 그래서, 픽처간 예측부(206)는, 예측 파라미터 데이터(PredParam)에 기초하여 참조 화상 데이터(Ref)로부터 예측 화상 데이터(Pred)를 생성한다. 가산기(203)는 예측 화상 데이터(Pred)와 복호화 차분 화상 데이터(ReconRes)를 가산하여, 복호화 화상 데이터(Recon)로서 출력한다. 화소간 필터(204)는 복호화 화상 데이터(Recon)에 화소간 필터 연산을 실시하고, 필터링된 복호화 화상 데이터(FilteredImg)로서 화상 복호화 장치(200)의 외부에 출력한다. 화상 복호화 장치(200)의 외부란, 예를 들면, 텔레비전 등의 표시 장치이다. 또한, 필터링된 복호화 화상 데이터(FilteredImg)는 화상 메모리(205)에 저장되고, 이후의 픽처의 참조 화상 데이터(Ref)로서 참조된다.
그러나, 예를 들면, 휴대 전화기 등을 이용하여 동화상을 전송하는 경우 등을 고려하면, 휴대 기기에서는 1회의 충전으로 장시간 사용할 수 있도록 기기 전체에서의 소비 전력을 억제하는 것이 요망되기 때문에, 화상 처리를 위해서 큰 전력이 필요한 고성능의 처리 능력을 구비하는 것은 바람직하지 않다. 따라서, 화상 처리를 위해서 처리 능력이 낮은 연산기 밖에 사용할 수 없는 휴대 기기를 대상으로 하면, 요구되는 처리량이 적은 화소간 필터밖에 사용할 수 없는 경우가 있다. 한편, 고화질인 동화상의 전송 및 높은 부호화 효율에 대한 요구가 강한 어플리케이션에서는 연산기에 요구되는 처리량이 크지만, 성능이 높은 화소간 필터를 사용하 고자 하는 경우도 있다. 부호화 방식이 이들의 요구에 유연하게 대응할 수 있으면, 해당 부호화 방식, 해당 복호화 방식에 따른 화상 부호화 장치 및 화상 복호화 장치 등의 운용 범위가 넓어져서 유익하다.
본 발명은, 이러한 종래의 문제점을 감안하여 이루어진 것으로서, 다양한 상황에 따라서 화소간 필터를 선택적으로 사용하여 부호화 데이터를 생성하는 화상 부호화 장치 및 그 부호화 데이터를 복호화하는 화상 복호화 장치를 제공하는 것을 목적으로 한다.
본 발명에 따른 화상 부호화 장치는, 입력 화상을 나타내는 입력 화상 데이터와, 상기 입력 화상의 픽처에 대한 예측 화상을 나타내는 예측 화상 데이터의 차분인 차분 화상 데이터를 부호화하여 부호화 화상 데이터를 생성하는 화상 부호화 장치에 있어서, 상기 차분 화상 데이터를 부호화한 뒤, 상기 부호화한 차분 화상 데이터를 복호화하여 상기 예측 화상 데이터와 가산하는 복호화 수단과, 상기 복호화 수단에서 얻어진 복호화 화상 데이터에 대해서 화소간 연산을 행하는 다수의 화소간 필터와, 상기 화소간 필터 중에서 하나를 선택하는 선택 수단과, 선택된 상기 화소간 필터에서 얻어진 필터링된 복호화 화상 데이터를 참조 화상 데이터로서 이용하고, 입력 화상 데이터에 대한 예측 화상 데이터를 생성하는 예측 화상 생성 수 단을 구비하는 것을 특징으로 한다.
따라서, 본 발명에 관한 화상 부호화 장치는, 화상 부호화 장치 측에서의 처리 능력이나, 부호화 신호를 수신하는 화상 복호화 장치 측에서의 처리 능력, 또는 부호화 대상의 화상의 성질이나 압축률 등에 따라서 적절한 화소간 필터를 전환하여 부호화 신호를 작성할 수 있다고 하는 효과가 있다.
또한, 본 발명에 관한 화상 복호화 장치는, 동화상 중의 픽처를 나타내는 화상 데이터와 동화상 중의 다른 픽처를 나타내는 예측 화상 데이터의 차분을 부호화하여 얻어진 부호화 화상 데이터로부터, 원래의 동화상을 나타내는 다수의 화상 데이터를 복호화하는 화상 복호화 장치에 있어서, 상기 부호화 화상 데이터의 복호화 결과와, 해당 부호화 화상 데이터에 대응하는, 이미 복호화된 예측 화상 데이터를 가산하여, 원래의 픽처를 나타내는 화상 데이터를 복호화하는 복호 수단과, 복호화된 상기 화상 데이터에 대해서 화소간 필터 연산을 행하는 다수의 화소간 필터 중에서 하나를 선택하는 선택 수단과, 선택된 상기 화소간 필터에 의한 상기 연산이 행해진 화상 데이터로부터, 별도의 부호화 화상 데이터에 대응하는 예측 화상 데이터를 생성하는 예측 화상 생성 수단을 구비하는 것을 특징으로 한다.
따라서, 본 발명에 관한 화상 복호화 장치에서는, 화상 복호화 장치의 처리 능력이나 화상의 참조의 유무에 따라서 화소간 필터를 선택하여, 예측 화상을 생성할 수 있다고 하는 효과가 있다. 또, 화상 부호화 장치에서 화소간 필터를 전환한 경우는, 화상 복호화 장치에서도 대응하는 화소간 필터를 이용하여 바르게 복호화할 수 있다.
또한, 본 발명에 관한 화상 부호화 장치(및 화상 복호화 장치)는, 반복하여 입력되는 프레임 화상을 부호화하는 화상 부호화 장치 등에 있어서, 프레임 화상에 소정의 변환 처리를 행함으로써 부호화를 행하는 부호화 수단과, 상기 부호화 수단에 의해서 부호화된 프레임 화상에 상기 변환 처리의 반대의 변환 처리를 행하는 역변환 수단과, 프레임 화상에 필터 처리를 행하는 필터 수단과, 프레임 화상을 기억하기 위한 기억 수단과, 상기 역변환 수단에 의한 역변환 처리에서 얻어진 프레임 화상에 대해서, 상기 필터 수단에 의한 필터 처리를 행한 뒤에 해당 프레임 화상을 상기 기억 수단에 저장하거나, 또는, 상기 필터 수단에 의한 필터 처리를 행하지 않고 해당 프레임 화상을 상기 기억 수단에 저장하도록 제어하는 제어 수단을 구비하고, 상기 부호화 수단은 상기 기억 수단에 저장된 과거의 프레임 화상을 참조하여 상기 프레임 화상을 부호화하는 것을 특징으로 한다.
이것에 의해서, 화상 부호화(및 화상 복호화)에 있어서, 항상, 노이즈 제거 등의 화소간 필터를 설치하는 것이 아니라, 필요에 따라서, 선택적으로 화소간 필터를 설치할 수 있기 때문에, 예를 들면, 화질에 크게 영향을 주는 프레임 화상만에 대해서 화소간 필터를 설치함으로써, 처리 능력이 작은 화상 부호화 장치(화상 복호화 장치)에서도 화소간 필터를 채용하는 것이 가능해져서, 낮은 비트 레이트로 높은 화질 개선 효과를 얻을 수 있다.
여기에서, 상기 제어 수단은 상기 프레임 화상의 중요도가 높은 경우에, 해당 프레임 화상에 대해서 상기 필터 처리를 실시하여, 상기 프레임 화상의 중요도가 낮은 경우에, 해당 프레임 화상에 대해서 상기 필터 처리를 행하지 않도록 제어 해도 좋다. 예를 들면, 상기 제어 수단은 상기 프레임 화상이 상기 부호화 수단에 의해서 면 내 부호화가 행해진 경우에, 해당 프레임의 중요도가 높다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 실시하고, 상기 프레임 화상이 상기 부호화 수단에 의해서 면 사이 부호화가 행해진 경우에, 해당 프레임의 중요도가 낮다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 행하지 않도록 제어하거나, 상기 프레임 화상이 상기 부호화 수단에 의해서 전방향 예측 부호화가 행해진 경우에, 해당 프레임의 중요도가 높다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 실시하고, 상기 프레임 화상이 상기 부호화 수단에 의해서 쌍방향 예측 부호화가 행해진 경우에, 해당 프레임의 중요도가 낮다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 행하지 않도록 제어하거나, 상기 프레임 화상이 상기 부호화 수단에 의해서 베이스·레이어 부호화가 행해진 경우에, 해당 프레임의 중요도가 높다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 실시하고, 상기 프레임 화상이 상기 부호화 수단에 의해서 인핸스먼트·레이어 부호화가 행해진 경우에, 해당 프레임의 중요도가 낮다고 판단하여, 해당 프레임 화상에 대해서 상기 필터 처리를 행하지 않도록 제어해도 좋다.
이것에 의해서, 다른 프레임 화상에 대해서 큰 영향도를 갖는 프레임 화상, 요컨대, 면 내 부호화 프레임 화상, 전방향 예측 부호화 프레임 화상, 베이스·레이어 프레임 화상 등에 대해서 우선적으로 화소간 필터가 행해지기 때문에, 동일 처리 부하의 증대에 대해서, 보다 유효하게 화소간 필터에 의한 노이즈 제거 등의 화질 개선 효과를 얻을 수 있다.
또, 상기 제어 수단은 해당 화상 부호화 장치(화상 복호화 장치)의 처리 능력에 관한 여유를 감시하고, 여유가 있는 경우에는 보다 중요도가 낮은 프레임 화상까지 필터 처리를 실시하고, 여유가 없는 경우에는 보다 중요도가 높은 프레임 화상까지 필터 처리를 행하지 않도록 제어해도 좋다. 예를 들면, 상기 프레임 화상에는, 상기 중요도에 대응하는 우선 순위가 대응되고, 상기 제어 수단은, 해당 화상 부호화 장치가 구비하는 CPU의 가동률을 감시함으로써 상기 여유를 감시하고, 상기 가동률이 높은 경우에는, 우선도가 높은 프레임 화상만 필터 처리를 실시하여, 상기 가동률이 낮은 경우에는, 우선도가 낮은 프레임 화상까지 필터 처리를 행하지 않도록 제어해도 좋다.
이것에 의해서, 화상 부호화 장치(화상 복호화 장치)의 처리 능력이 충분히 발휘되도록, 필터 처리의 ON/OFF를 제어할 수 있기 때문에, 높은 효율로 CPU가 사용되게 되고, 동일 하드웨어 자원에서도, 고화질의 부호화(복호화)가 실현된다.
이상과 같이, 본 발명에 의해, 저 비트 레이트(고압축율)로 고화질의 화상 부호화 및 화상 복호화가 실현되고, 특히, 한정된 하드웨어 자원 하에서의 소프트웨어에 의한 화상 부호화 처리 및 화상 복호화 처리에 있어서의 높은 화질 개선 효과가 발휘되어, 정보 통신 기술과 컴퓨터가 널리 보급된 오늘날에 있어서의 실용적 가치는 지극히 높다고 말할 수 있다.
본 발명의 또 다른 측면에 따른 화상 부호화 방법은, 참조 화상을 참조하여 생성된 예측 화상을 이용하여 또는 이용하지 않고, 부호화 데이터를 획득하기 위해 입력 화상을 부호화하는 단계, 복호화된 화상을 획득하기 위해 상기 부호화 데이터 를 복호화하는 단계, 상기 복호화된 화상을 필터링하는 단계 및 다음번 입력 화상을 부호화하기 위한 참조 화상으로 사용하기 위해, 필터링된 상기 복호화된 화상을 저장하는 단계를 포함하고, 입력 화상이 상기 예측 화상을 이용하지 않은 부호화 과정에서 부호화된 경우, 상기 예측 화상을 이용한 부호화 과정에서 부호화된 복호화된 화상의 필터링에서보다 더 높은 평활도로 상기 복호화된 화상의 필터링을 수행하는 특징으로 한다.
(실시형태1)
이하, 본 발명의 구체적인 실시형태에 대해서, 도면을 참조하여 설명한다. 도 3은 본 발명의 실시형태 1에 관한 화상 부호화 장치(300)의 구성을 나타내는 블록도이다. 동일 도면에 있어서, 도 1에 도시한 종래의 화상 부호화 장치(100)와 동일한 구성 요소 및 데이터에 대해서는 이미 설명했기 때문에, 동일한 부호를 붙여, 설명을 생략한다. 이후의 도면에서도 마찬가지로, 이미 설명한 이미 나온 구성 요소 및 데이터에 대해서는, 동일한 부호를 붙이고 설명을 생략한다. 화상 부호화 장치(300)는, 차분기(101), 화상 부호화부(102), 가변 길이 부호화부(305), 화상 복호화부(104), 가산기(105), 화상 메모리(107), 픽처간 예측부(108), 픽처간 예측 추정부(109), 스위치(301), 스위치(302), 화소간 필터 A(303) 및 화소간 필터 B(304)를 구비한다. 스위치(301)와 스위치(302)는 각각, 필터 종별 데이터(FilterTypel)의 값에 따라서, 단자(1)와 단자(2) 중 어느 하나를 선택적으로 접속하는 스위치이다. 스위치(301)는, 가산기(105)의 출력 단자와, 화소간 필터 A(303) 및 화소간 필터 B(304)의 입력 단자 사이에 설치된다. 또, 스위치(302)는 화상 메모리(107)의 입력 단자와, 화소간 필터 A(303) 및 화소간 필터 B(304)의 출력 단자 사이에 설치되어 있다. 화소간 필터 A(303)와 화소간 필터 B(304)는 예를 들면, 블록간의 경계 부근에서의 고주파 노이즈를 평활화하여, 블록 왜곡을 제거하는 디블록·필터로, 각각 평활화의 정도가 다르다. 또, 평활화의 정도에 대응하여, 평활화를 위한 연산 처리량이 다르다. 또, 스위치(301)나 스위치(302) 등, 도시하는 구성은 하드웨어로서 설치해도 되고, 소프트웨어로서 설치해도 된다. 또, 다른 도면에서도 동일하다.
가변 길이 부호화부(305)는, 입력되는 필터 종별 데이터(FilterType1)와 차분화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)를 각각 가변 길이 부호화, 예를 들면, 허프만 부호화하고, 하나의 부호화 데이터(Bitstream1)로 모아 화상 부호화 장치(300)의 외부로 출력한다.
이상과 같이 구성되는 화상 부호화 장치(300)의 동작을, 종래의 화상 부호화 장치(100)와 비교하여 새롭게 구성된 부분에 대해서 보다 구체적으로 설명한다. 우선, 화상 부호화 장치(300)에는 외부에서 필터 종별 데이터(FilterType1)가 입력된다. 여기에서, 외부로부터의 입력이란, 예를 들면, 화상 부호화 장치의 외부로부터의 사용자에 의한 키보드 등의 사용자 인터페이스를 이용한 입력이거나, 혹은, 장치에 고정된 데이터인 것으로, 장치에 비트 레이트(압축률)나 화상 사이즈에 따라서 결정되는 값이다. 이 필터 종별 데이터(FilterTypel)는 스위치(301)와 스위치(302)에 입력된다. 해당 스위치(301)와 스위치(302)는 이 필터 종별 데이 터(FilterType1)의 값에 따라서 단자 "1"과 단자 "2" 중 어느 하나에 접속을 전환한다. 예를 들면, 필터 종별 데이터(FilterType1)의 값이 "1"인 경우에는, 스위치(301)와 스위치(302)는 모두 단자 "1"을 접속한다. 이 때 가산기(105)로부터 출력되는 복호화 화상 데이터(Recon)에 대해서는, 화소간 필터 A(303)에 의한 필터링이 적용된다. 필터 종별 데이터(FilterType1)의 값이 "2"인 경우에는, 스위치(301)와 스위치(302)는 단자 "2"측으로 전환되고, 가산기(105)로부터 출력되는 복호화 화상 데이터(Recon)에 대해서, 화소간 필터 B(304)에 의한 필터링이 적용된다. 이와 같이 화소간 필터 A(303) 또는 화소간 필터 B(304)의 필터링이 행해진 필터링된 복호화 화상 데이터(FilteredImg1)는 화상 메모리(107)에 저장되고, 이후의 픽처의 예측 부호화에 있어서의 참조 화상으로서 사용된다. 또, 화소간 필터를 특정하는 필터 종별 데이터(FilterType1)는 동일 픽처의 차분 화상 부호화 데이터(CodedRes) 및 예측 파라미터 데이터(PredParam)와 함께 가변 길이 부호화부(305)에 입력되고, 각각 가변 길이 부호화된다. 필터 종별 데이터(FilterType1)의 가변 길이 부호화 결과는, 해당 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)의 가변 길이 부호화 결과에 대응되고, 부호화 데이터(Bitstream1)에 저장되어, 기록 매체에 기록되거나, 화상 복호화 장치에 전송되거나 한다. 즉, 각 픽처의 복호화 화상 데이터(Recon)에 대해서 적용된 화소간 필터의 종별이 부호화 데이터(Bitstream1)에 저장된 필터 종별 데이터(FilterTypel)에 의해서 화상 복호화 장치에 통지된다. 이것에 의해, 부호화 데이터(Bitstream1)를 복호화하는 화상 복호화 장치에서는 화상 부호화 장치(300)에 있어서 각 픽처의 복호화 화상 데이 터(Recon)에 적용된 화소간 필터를 특정할 수 있기 때문에, 각 픽처의 복호화 화상에 대해서 그것과 동일한 필터를 사용할 수 있다. 또, 상기 설명에 있어서 필터 종별 데이터(FilterType1)의 값을 "1", "2"로 하였지만, 이것은 설명의 편의상 정의한 값으로서, 다수의 필터를 구별할 수 있는 값이면 어떠한 값이라도 좋다.
이상과 같이 화상 부호화 장치(300)에서는, 화소간 필터로서 다른 예측 성능·처리량의 화소간 필터를 여러 개 구비하고, 그것들을 외부에서 입력되는 필터 종별 데이터(FilterType1)에 따라서 전환하여 사용할 수 있다. 이와 같이 다른 예측 성능·처리량의 화소간 필터를 전환하여 사용하는 것에는 다음 이점이 있다. 우선, 설명을 위해서, 화소간 필터 A(303)는 화소간 필터 B(304)에 비교하여 처리량은 적고, 한편, 화소간 필터 B(304)는 화소간 필터 A(303)에 비교하여 노이즈 억압 효과가 높고 예측 부호화 효율이 향상되는 것으로 한다. 본 발명의 화상 부호화 장치(300)가 출력하는 부호화 데이터를 복호화하는 화상 복호화 장치로서, 화소간 필터 A(303)만을 구비한 화상 복호화 장치(A)와, 화소간 필터 A(303) 및 화소간 필터 B(304)의 쌍방을 구비한 화상 복호화 장치(B)의 2종류의 화상 복호화 장치를 고려한다. 전자의 화상 복호화 장치(A)는 요구되는 처리량이 작고, 처리 능력이 낮은 기기에 적합하다. 후자의 화상 복호화 장치(B)는 처리량이 큰 기기에 적합하다. 후자의 화상 복호화 장치(B)는, 화소간 필터 A(303)와 화소간 필터 B(304) 중 어느 화소간 필터를 사용한 부호화 데이터도 복호화 가능하고, 전자의 화상 복호화 장치(A)에 대해서 상위 호환성을 갖는다. 이러한 경우에, 화상 부호화 장치(300)는, 상기 2종류의 어느 화상 복호화 장치에도 대응하는 화상 부호화 장치로서 기능할 수 있다. 요컨대, 상기의 설명과 같이 화상 부호화 장치(300)에 있어서, 대상으로 하는 화상 복호화 장치의 처리 능력에 따라서 적절한 예측 성능·처리량의 화소간 필터를 선택할 수 있도록 해 둠으로써, 폭넓은 종류의 기기에 대해서 화상 부호화 장치(300)에서 적용된 것과 동일 화소간 필터를 사용한 부호화 방식을 적용할(부호화 데이터(Bitstream1)를 복호화시킨다) 수 있다.
또, 화상 복호화 장치의 처리 능력에 따라서 부호화 데이터의 생성이라는 용도 이외에도, 화상 부호화 장치(300)의 처리 능력에 따라서 화소간 필터를 전환할 수 있다. 예를 들면, 부호화하는 화상 사이즈나 픽처 레이트가 큰 경우에는, 부호화 처리 전체에 요하는 처리량이 커진다. 따라서, 부호화하는 화상 사이즈나 픽처 레이트가 일정치 이하인 경우에는 요구되는 처리 능력이 높은 화소간 필터 B(304)를 사용하고, 부호화하는 화상 사이즈나 픽처 레이트가 일정치 이상인 경우에는 요구되는 처리 능력이 낮은 화소간 필터 A(303)를 사용하여, 부호화 처리 전체에 요하는 처리량이 높아지지 않도록 할 수 있다. 또, 다수의 처리를 1대의 장치로 시분할 하여 실행하는 시분할 시스템 상에서 화상 부호화를 실현하는 경우에는, 다른 처리의 영향으로 화상 부호화에 소비되는 처리량이 동적으로 변화할 가능성이 있다. 그래서, 화상 부호화에 소비되는 처리량이 일정 이상인 경우에는 처리량이 높은 화소간 필터 B(304)를 사용하고, 화상 부호화에 소비되는 처리량이 일정 이하인 경우에는 처리량이 화소간 필터 B(304)보다 적은 화소간 필터 A(303)를 사용할 수 있다.
화소간 필터의 전환 타이밍은, 특정한 성질의 화상에 적합한 화소간 필터를 다수 구비하고, 각 화상의 성질에 따라서 픽처 단위로 화소간 필터를 전환하도록 해도 좋다. 예를 들면, 문자 등 에지 정보가 중요한 경우에는 에지의 보존성이 뛰어난 화소간 필터를 사용한다. 이 전환은, 에지 검출이나 문자 검출 등의 화상 처리 기술에 의해서 자동적으로 판단하여 행하거나, 사용자가 명시적으로 자연 화상에 적합한 화소간 필터, 문자에 적합한 화소간 필터, 에지에 적합한 화소간 필터 중에서 선택해도 좋다. 이와 같이 다수의 화소간 필터의 전환이 가능하게 되면, 화상의 성질에 적절한 필터를 선택할 수 있기 때문에, 예측 효율을 보다 향상시킬 수 있다. 즉, 처리량에 따라서 전환하는 것이 아니라, 화질을 향상하도록 필터를 전환하는 것도 유효하다. 따라서, 본 실시형태에서는 처리량에 따라서 전환하는 설명을 행하였지만, 화질이 좋아지도록 필터를 전환해도 좋다.
또한, 화소간 필터를 전환하는 단위는, 픽처 단위뿐만 아니라, 화상 내의 부분에 의해서도 화상의 성질이 다를 가능성이 있기 때문에, 예를 들면, MPEG의 슬라이스, 매크로 블록 및 블록 등의 픽처보다 작은 화상 영역을 단위로 해도 좋고, 적어도 1화소 이상이 집합한 영역을 단위로 하여 화소간 필터를 전환하도록 해도 좋다.
도 4는 입력 화상의 슬라이스마다 화소간 필터를 전환하는 화상 부호화 장치(400)의 구성을 나타내는 블록도이다. 화상 부호화 장치(400)는 MPEG의 슬라이스 단위로 화소간 필터를 전환하여 복호화 화상의 필터링을 행하는 화상 부호화 장치에 있어서, 차분기(101), 화상 부호화부(102), 화상 복호화부(104), 가산기(105), 화상 메모리(107), 픽처간 예측부(108), 픽처간 예측 추정부(109), 스위치(403), 스위치(404), 화소간 필터 A(303), 화소간 필터 B(304), 가변 길이 부호화부(305), 필터 전환 위치 판정부(401) 및 스위치(402)를 구비한다. 필터 전환 위치 판정부(401)는 외부에서 입력되는 화상 데이터(Img)로부터 입력 화상의 슬라이스를 검출하고, 검출된 슬라이스가 전환될 때마다, 예를 들면, 하나의 펄스를 출력하는 필터 전환 제어 데이터(SetFType)를 스위치(402)에 출력한다. 스위치(402)는 필터 전환 제어 데이터(SetFType)가 출력되고 있지 않은 사이에는 단자간의 접속이 차단되어 있는 스위치로서, 필터 전환 제어 데이터(SetFType)가 출력되어 있는 순간, 극히 약간의 시간만, 외부에서 입력되는 필터 종별 데이터(FilterType1)를 스위치(403)와 스위치(404)에 전달하여 통하게 한다. 스위치(403)와 스위치(404)는 모두 입력 화상 데이터(Img)의 슬라이스가 전환될 때마다 순간적으로 입력되는 필터 종별 데이터(FilterType1)의 값에 따라서, 단자 "1" 또는 단자 "2"의 어느 하나를 접속하여, 그 상태를 유지한다. 즉, 스위치(402)의 접속이 차단되어 있는 동안에는, 화소간 필터는 전환되지 않는다. 그 결과, 입력 화상 데이터(Img)의 슬라이스가 전환될 때마다, 필터 종별 데이터(FilterType1)에 의해서 새로운 화소간 필터가 선택되어, 슬라이스의 도중에 화소간 필터가 전환되는 것을 방지할 수 있다.
이상 설명한 바와 같이, 본 발명의 화상 부호화 장치에 의해, 본 발명의 화상 부호화 장치가 출력하는 부호화 데이터를 재생하는 화상 복호화 장치의 처리 능력에 따른 화소간 필터를 이용한 부호화 데이터를 작성하는 것이 가능하게 된다. 또한, 화상 부호화 장치의 처리 능력에 따라서 화소간 필터를 선택할 수 있다.
또, 본 실시형태의 화상 부호화 장치가 구비하는 화소간 필터는 2개이지만, 3개 이상의 화소간 필터를 구비해도 좋다. 본 실시형태와 동일하게, 3개 이상의 화소간 필터의 어느 하나를 선택하여 사용하고, 사용한 화소간 필터의 종별을 나타내는 필터 종별 데이터를 부호화 데이터에 포함시키면 좋다.
또한, 처리량에 따라서 전환하는 것이 아니라, 화질이 향상되도록 필터를 전환해도 좋다.
또, 화상 부호화 장치(400)에서는, 필터 전환 제어 데이터(SetFType)를, 검출되는 슬라이스를 전환할 때마다 값 "1"을 나타내고, 그 이외의 사이에는 값 "0"을 나타내는 펄스 파형으로 하였지만, 본 발명은 이것으로 한정되지 않고, 예를 들면, 슬라이스가 전환될 때마다 반전하는 구형파 등이어도 좋고, 그 밖의 파형이어도 좋다. 또, 스위치(402)를 필터 전환 제어 데이터(SetFType)가 동일 위상인 사이에는 단자간의 접속이 차단되어 있는 스위치로 하였지만, 본 발명은 이것으로 한정되지 않고, 필터 전환 위치가 아닌 경우에는, 필터 전환 위치 판정부(401)는 스위치(402)를 차단하기 위한 값을 나타내는 필터 전환 제어 데이터(SetFType)를 출력하는 것으로 해도 좋다. 또, 화상 부호화 장치(400)에서는 화상 데이터(Img)의 슬라이스 단위로 화소간 필터를 전환하도록 하였지만, 픽처 단위로 화소간 필터를 전환하는 것으로 해도 좋고, 또, 블록, 매크로 블록 또는 일정 다수 화소씩을 단위로 화소간 필터를 전환해도 좋다.
도 5(a)는 본 발명의 화상 부호화 장치가 출력하는 부호화 데이터(Bitstream)의 스트림 구성을 나타내는 도면이다. 도 5(b)는 본 발명의 화상 부호화 장치가 화소간 필터를 슬라이스를 단위로서 전환한 경우에 출력되는 부호화 데이터(Bitstream)의 스트림 구성을 나타내는 도면이다. 본 발명의 부호화 데이터의 특징은, 다수의 화소간 필터의 하나를 특정하는 필터 종별 데이터(FilterType)를 부호화 데이터(Bitstream)에 포함하는 것이다. 이 스트림 구성에 의해, 본 발명의 부호화 데이터(Bitstream)를 복호화하는 화상 복호화 장치에서는 부호화 데이터(Bitstream)에 포함되어 있는 필터 종별 데이터(FilterType)를 조사함으로써, 부호화 시에 사용된 화소간 필터와 동일한 화소간 필터를 사용할 수 있다.
도 5(a)에 도시한 부호화 데이터(Bitstream)에서는, 부호화 데이터(Bitstream) 전체에 부여되는 헤더(901) 중(예를 들면, 사선부)에 각 픽처의 필터링에 이용된 화소간 필터를 나타내는 필터 종별 데이터(FilterType)의 값이 기술되어 있다. 이 부호화 데이터(Bitstream1)는 도 3에 도시한 화상 부호화 장치(300)로부터 출력되는 부호화 데이터(Bitstream1)에 대응하고 있다. 또, 도 5(b)에 도시한 부호화 데이터(Bitstream)에서는, 슬라이스마다 설치되는 슬라이스 헤더(902) 중(예를 들면, 사선부)에 해당 슬라이스의 필터링에 이용된 화소간 필터를 나타내는 필터 종별 데이터(FilterType)의 값이 기술된다. 이 부호화 데이터(Bitstream1)는 도 4에 도시한 화상 부호화 장치(400)로부터 출력되는 부호화 데이터(Bitstream1)에 대응하고 있다. 이와 같이, 필터 종별 데이터(FilterType)를 부호화 데이터(Bitstream)의 선두 부분인 헤더(901)나, 데이터의 기록·전송의 기본 단위이고 오류 정정·수정의 단위이기도 한 슬라이스의 선두가 되는 슬라이스 헤더(902) 등에 저장함으로써, 화상 복호화 장치에서는 헤더(901) 또는 슬라이스로부터 부호화 데이터(Bitstream)를 입력함으로써, 해당 슬라이스의 복호화 전에 그 슬 라이스의 필터링 종별을 특정할 수 있다.
또, 여기에서는 슬라이스 단위로 화소간 필터를 전환한다고 설명하였지만, 슬라이스 단위뿐만 아니라, 슬라이스보다 작은 화상 영역 단위(1화소 이상이 집합한 영역이면 좋다. 예를 들면, MPEG의 매크로 블록·블록 등)로 화소간 필터를 전환해도 좋다. 또, 슬라이스보다 큰 화상 영역의 단위인 픽처로 전환해도 좋다. 이 경우, 도 5(a)에 도시한 헤더(901) 내(예를 들면, 사선부)에 기술하는 것 이외에, 예를 들면, 픽처 부호화 데이터마다 설치되는 픽처 헤더 중에, 각 픽처에 대응하는 필터 종별 데이터(FilterType1)의 값을 기술해도 좋다. 또, 매크로 블록 또는 블록을 필터링 방법의 전환 단위로 하는 경우에는, 각 매크로 블록 또는 각 블록의 필터 종별 데이터(FilterType1)의 값을 슬라이스마다 일괄하여, 슬라이스 헤더에 기술해 두면 좋다.
또한, 패킷 등으로 전송하는 경우는 헤더부와 데이터부를 분리하여 별도로 전송해도 좋다. 그 경우는, 도 5와 같이 헤더부와 데이터부가 하나의 비트 스트림이 되는 경우는 없다. 그러나, 패킷의 경우에는, 전송하는 순서가 다소 전후하는 경우가 있어도, 대응하는 데이터부에 대응하는 헤더부가 별도의 패킷으로 전송될 뿐이고, 하나의 비트 스트림으로 되어 있지 않아도, 개념은 도 5에서 설명한 비트 스트림의 경우와 동일하다.
이상 설명한 바와 같이, 본 발명의 화상 부호화 장치에 입력되는 필터 종별 데이터(FilterType1)의 값을 화상 복호화 장치의 처리 능력에 따른 화소간 필터를 선택하도록 설정해 둠으로써, 본 발명의 화상 부호화 장치가 출력하는 부호화 데이 터를 재생하는 화상 복호화 장치의 처리 능력에 따른 부호화 데이터를 작성하는 것이 가능하게 된다. 또, 화상 부호화 장치의 처리 능력에 따라서 화소간 필터를 선택할 수 있다.
또, 처리량에 따라서 전환하는 것이 아니라, 화질을 향상하도록 필터를 전환해도 좋다.
도 6은 본 실시형태 1에 관한 화상 부호화 장치에 의해서 생성된 부호화 데이터(Bitstream1)를 복호화하는 화상 복호화 장치(1000)의 구성을 나타내는 블록도이다. 화상 복호화 장치(1000)는 입력되는 부호화 데이터(Bitstream1)의 헤더에 기술되어 있는 필터 종별 데이터(FilterType1)에 따라서 픽처마다 또는 슬라이스마다 화소간 필터를 전환하고, 부호화 데이터(Bitstream1)의 부호화 데이터를 복호화하는 화상 복호화 장치에 있어서, 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 스위치(1001), 스위치(1002), 화소간 필터 A(1003) 및 화소간 필터 B(1004)를 구비한다.
화상 복호화 장치(1000)에는, 외부에서 부호화 데이터(Bitstream1)가 입력된다. 이 부호화 데이터(Bitstream1)는 예를 들면 실시형태 1에서의 화상 부호화 장치(300) 또는 화상 부호화 장치(400)에 의해서 부호화된 것이다. 가변 길이 복호화부(201)는 입력된 부호화 데이터(Bitstream1)를 가변 길이 복호화하여, 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)와 필터 종별 데이터(FilterType1)로 분리하여, 차분 화상 부호화 데이터(CodedRes)를 화상 복호화부(202)에, 예측 파라미터 데이터(PredParam)를 픽처간 예측부(206)에, 필터 종별 데이터(FilterType1)를 스위치(1001)와 스위치(1002)에 각각 출력한다. 스위치(1001) 및 스위치(1002)는 필터 종별 데이터(FilterType1)로서 값 "1"이 입력된 경우에는, 단자 "1"측으로 전환되고, 복호화 화상 데이터(Recon)에 화소간 필터 A(1003)에 의한 필터링을 적용한다. 필터 종별 데이터(FilterType1)로서 값 "2"가 입력된 경우에는, 스위치(1001) 및 스위치(1002)는 단자 "2"측으로 전환되고, 복호화 화상 데이터(Recon)에 화소간 필터 B(1004)에 의한 필터링을 적용한다. 어느 쪽의 화소간 필터에 의해 화소간 필터 연산이 행해진 경우에도, 필터링된 복호화 화상 데이터(FilteredImg1)는 화상 메모리(205)에 저장되는 동시에, 화상 복호화 장치(1000)의 외부, 예를 들면, 표시 장치 등에 출력된다.
이상 설명한 바와 같이, 본 발명의 화상 복호화 장치(1000)에 의하면, 헤더부에 화소간 필터의 종별을 특정하는 필터 종별 데이터(FilterType1)를 포함한 부호화 데이터(Bitstream1)를 복호화 하는 것이 가능하게 된다.
또, 본 실시형태의 화상 복호화 장치가 구비하는 화소간 필터는 2개이지만, 3개 이상의 화소간 필터를 구비해도 좋다. 이 경우, 본 실시형태와 동일하게, 부호화 데이터(Bitstream) 내의 필터 종별 데이터에 따라서 3개 이상의 화소간 필터의 어느 하나를 선택하여 사용하면 좋다.
또, 실시형태 1에서 나타낸 바와 같이, 필터 종별이 픽처 단위, 혹은 픽처보다 작은 화상 영역의 단위로 전환되는 경우에는, 필터 종별이 변경된 시점에서 화소간 필터를 전환한다.
도 7은 지정된 화소간 필터가 내부에 구비되어 있지 않은 경우에, 구비되어 있는 화소간 필터를 대용하는 화상 복호화 장치(1100)의 구성을 나타내는 블록도이다. 화상 복호화 장치(1100)는 부호화 데이터 중에 포함되는 필터 종별 데이터에서 선택된 화소간 필터가 화상 복호화 장치(1100) 내에 구비되어 있지 않은 경우에는, 화상 부호화 장치(1100)에 구비되어 있는 어느 하나의 화소간 필터를 대신 이용하는 것을 특징으로 한다. 이 화상 복호화 장치(1100)는 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 스위치(1001), 스위치(1002), 화소간 필터 A(1003), 화소간 필터 B(1004) 및 필터 종별 데이터 변환부(1101)를 구비한다.
예를 들면, 화상 복호화 장치(1100)에는 필터 종별 데이터(FilterType1)의 값 "1"과 값 "2"가 나타내는 2종류의 화소간 필터 A(1003)와, 화소간 필터 B(1004)밖에 구비되어 있지 않은 것으로 한다. 화상 복호화 장치(1100)에는 외부에서 부호화 데이터(Bitstream3)가 입력된다. 가변 길이 복호화부(201)는 입력되는 부호화 데이터(Bitstream3)를 가변 길이 복호화하고, 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)와 필터 종별 데이터(FilterType3)로 분리하여, 차분 화상 부호화 데이터(CodedRes)를 화상 복호화부(202)에, 예측 파라미터 데이터(PredParam)를 픽처간 예측부(206)에, 필터 종별 데이터(FilterType3)를 필터 종별 데이터 변환부(1101)에 각각 출력한다. 필터 종별 데이터 변환부(1101)는 필터 종별 데이터(FilterType3)의 값이 화상 복호화 장치(1100)에 구비되어 있지 않은 화소간 필터를 나타내는 값 "3"을 취하는 경우에는, 필터 종별 데이터(FilterType3)의 값 "3"을, 예를 들면 화상 복호화 장치(1100)에 구비되어 있는 화소간 필터 중, 지정된 화소간 필터와 평활도가 가장 근사한 화소간 필터를 나타내는 "2"의 값으로 변환하여, 필터 종별 데이터(FilterType4)로서 출력한다.
이 변환 처리를 행함으로써, 화상 복호화 장치(1100)에 있어서, 부호화 시와는 다른 화소간 필터를 이용하기 때문에 다소의 화질 열화는 생기지만, 본래의 복호화 화상에 가까운 복호화 처리가 가능하기 때문에, 간이적인 화상 복호 기능으로서는 충분히 유효성이 있다. 필터 종별 데이터(FilterType4)로서 값 "1"이 입력된 경우에는, 스위치(1001)와 스위치(1002)는 모두 단자 "1"측으로 전환되고, 복호화 화상 데이터(Recon)에 대해서 화소간 필터 A(1003)에 의한 필터링을 적용한다. 필터 종별 데이터(FilterType4)로서 값 "2"가 입력된 경우에는, 스위치(1001)와 스위치(1002)는 모두 단자 "2"측으로 전환되고, 복호화 화상 데이터(Recon)에 대해서 화소간 필터 B(1004)에 의한 필터링을 적용한다. 화소간 필터에 의한 처리 결과인 필터링된 복호화 화상 데이터(FilteredImg3)는 화상 복호화 장치(1100) 외의 표시 장치 등에 출력된다.
이상 설명한 바와 같이, 화상 복호화 장치(1100)에 의하면, 화상 복호화 장치(1100)에 구비되어 있지 않은 화소간 필터를 지정한 필터 종별 데이터(FilterType3)가 입력 부호화 데이터(Bitstream3)에 포함되어 있는 경우에도, 내부에 구비되어 있는 화소간 필터를 대용하여 복호화를 행할 수 있다. 따라서, 대폭적인 화질의 열화를 초래하지 않고, 부호화 데이터(Bitstream)를 복호화 할 수 있다.
또, 화상 복호화 장치(1100)가 구비하고 있는 화소간 필터(화소간 필터 연산 없음도 포함한다)가 하나인 경우에는 강제적으로 그 화소간 필터를 사용함으로써 복호화를 행할 수 있다.
또, 본 실시형태의 화상 복호화 장치에서는, 2개의 화소간 필터(화소간 필터 연산 없음도 하나의 필터로서 계산한다)를 구비하고 있지만 3개 이상의 화소간 필터가 있어도 동일 처리가 가능하다. 즉, 화소간 필터의 하나로서, 화소간 필터 연산을 행하지 않고 복호화 화상 데이터(Recon)를 그대로 화상 메모리(205)에 저장하는 처리를 포함해도 좋다.
또, 실시형태 1에서 나타낸 바와 같이, 필터 종별이 픽처 단위, 혹은 픽처보다 작은 화상 영역의 단위로 전환되는 경우에는, 필터 종별이 변경된 시점에서 화소간 필터를 전환한다.
화소간 필터(303, 304, 1003, 1004)의 동작에 대해서 도 9 및 도 10을 이용하여 보다 상세하게 설명한다. 도 9는 화소간 필터의 일례인 디블록·필터의 연산 내용을 나타내는 도면이다. 도 9(a)는 필터링 전의 블록 경계 부근의 화소 값을 나타내는 도면이다. 도 9(b)는 필터링 후의 블록 경계 부근의 화소 값을 나타내는 도면이다. 도 10은 화소간 필터의 필터링 처리의 흐름을 나타내는 흐름도이다. 도 9(a)는 동일 수평 주사선 상의 화소(601)∼화소(608)에 있어서의 각각의 화소 값을 나타내고 있다. 화소(601)∼화소(604)는 모두 블록(610) 내의 화소이지만, 화소(605)∼화소(608)는 블록(610)에 인접하는 블록(611) 내의 화소이다. 화소(601)∼화소(604)의 화소 값은 각각 p3, p2, p1 및 p0이고, 화소(605)∼화소(608)의 화소 값은 각각 q0, q1, q2 및 q3이다. 화상 부호화 장치에 있어서, 픽처간 예측, 화 상 부호화, 가변 길이 부호화 및 화상 복호화 등의 처리는 일반적으로, 블록(또는 매크로 블록) 등을 단위로 하여 행해진다. 이 때문에, 인접 블록(또는 매크로 블록) 사이의 경계, 예를 들면 블록(610)과 블록(611)의 경계를 걸치는 화소간, 예를 들면 화소(604)와 화소(605)에서 고주파수에 부호화 노이즈가 생기기 쉽다. 예를 들면, 도 9(a)에 나타내는 화소(604)의 화소 값(p0)과 화소(605)의 화소 값(q0)에서는 부호화 노이즈의 영향에 의해서 화소 값의 차가 커지기 쉽다고 하는 경향이 있다. 이 때문에, 화소간 필터는, 다수의 파라미터를 이용하여 필터를 결정할 수 있고, 예를 들면 필터를 결정하는 파라미터(α, β)에 대응한 필터이고, 이 화소간 필터에 의해 블록 경계를 걸치는 화소군의 화소 값을 필터링한다.
도 10에 나타내는 바와 같이, 화소간 필터는, 우선, 블록 경계를 걸치는 화소(604)와 화소(605)의 화소 값의 차(p0-q0)의 절대치를 구하고, 구해진 절대치가 파라미터(α)의 값 미만인지의 여부를 판정한다(S701). 판정의 결과, 화소 값의 차(p0-q0)의 절대치가 파라미터(α)의 값 이상이면, 화소간 필터는 복호화 화상 데이터(Recon)로 표시되는 화소 값에 대해서 디블록·필터 처리를 행하지 않는다(S704). 한편, 단계 S701에 있어서의 판정의 결과, 블록 경계를 걸치는 인접 화소간의 화소 값의 차(p0-q0)의 절대치가 파라미터(α)의 값 미만이면, 화소간 필터는 또한, 화소(604)와 화소(603)의 화소 값의 차(p1-p0)의 절대치를 구하고, 구해진 절대치가 파라미터(β)의 값 미만인지의 여부를 판정한다(S702). 여기에서, 화소(604)와 화소(603)는 동일 블록(610) 내의 인접 화소이다. 판정의 결과, 화소 값의 차(p1-p0)의 절대치가 파라미터(β)의 값 이상이면, 화소간 필터(503)는 복호화 화상 데이터(Recon)에서 나타내는 화소 값에 대해서 디블록·필터 처리를 행하지 않는다(S704). 또, 판정의 결과, 화소 값의 차(p1-p0)의 절대치가 파라미터(β)의 값 미만이면, 또한, 화소(605)와 화소(606)의 화소 값의 차(q1-q0)의 절대치를 구하고, 구해진 절대치가 파라미터(β)의 값 미만인지의 여부를 판정한다(S703). 여기에서, 화소(605)와 화소(606)는 동일 블록(611) 내의 인접 화소이다. 판정의 결과, 화소 값의 차(q1-q0)의 절대치가 파라미터(β)의 값 이상이면, 화소간 필터는 복호화 화상 데이터(Recon)로 나타내는 화소 값에 대해서 디블록·필터 처리를 행하지 않는다(S704). 한편, 화소 값의 차(q1-q0)의 절대치가 파라미터(β)의 값 미만이면, 화소간 필터(503)는 복호화 화상 데이터(Recon)에 대해서 필터링을 행하여 부호화 노이즈를 제거하여, 처리를 종료한다. 화소간 필터는 이상의 처리를 블록 경계를 걸치는 수평 주사선 방향 및 수직 주사선 방향의 각 화소 열에 대해서 반복한다. 이와 같이, 3조의 인접 화소의 화소 값의 차의 어느 하나가 일정치 미만인 경우에 디블록·필터 처리를 행함으로써 블록 왜곡을 제거한다.
또, 상기 단계 S704에서의 디블록·필터 처리에서는, 경계 근방의 화소에 평활화 필터(고역 주파수 성분 억압 필터)를 행한다. 예를 들면, 평활화에 의한 화소(604)의 새로운 화소 값(P0)은 화소(604)의 화소 값(p0), 화소(605)의 화소 값(q0), 화소(603)의 화소 값(p1) 및 화소(606)의 화소 값(q1)에 고역 주파수 성분을 억압하는 저역 통과 필터(Low Pass Filter)를 이용하여 생성할 수 있다.
(실시형태 2)
도 8은 제2 실시형태에 관한 화상 부호화 장치(500)의 구성을 나타내는 블록 도이다. 화상 부호화 장치(500)가 화상 부호화 장치(300)와 다른 것은, 화소간 필터 처리로서, 복호화 화상 데이터(Recon)를 그대로 참조 화상 데이터(Ref)로서 화상 메모리(107)에 저장하는 것을 선택할 수 있는 것이다. 화상 부호화 장치(500)는 차분기(101), 화상 부호화부(102), 화상 복호화부(104), 가산기(105), 화상 메모리(107), 픽처간 예측부(108), 픽처간 예측 추정부(109), 스위치(501), 스위치(502), 화소간 필터(503), 테이블 유지부(504) 및 가변 길이 부호화부(505)를 구비한다.
스위치(501)와 스위치(502)는 필터 종별 데이터(FilterType2)의 값이 "0"일 때, 모두 단자 "0"측으로 전환되고, 가산기(105)로부터 출력되는 복호화 화상 데이터(Recon)를 그대로 화상 메모리(107)에 저장한다. 스위치(501)와 스위치(502)는 필터 종별 데이터(FilterType2)의 값이 "1"일 때, 모두 단자 "1"측으로 전환되고, 가산기(105)로부터 출력된 복호화 화상 데이터(Recon)를 화소간 필터(503)에 전달하여 통하게 한다. 화소간 필터(503)는 화소 값의 필터링에 이용되는 필터로, 예를 들면, 블록 경계에서의 고주파 성분의 부호화 노이즈를 억압하는 디블록·필터이다. 화소간 필터(503)에 의해 화소간 필터 연산된 필터링된 복호화 화상 데이터(FilteredImg2)는 화상 메모리(107)에 저장된다. 가변 길이 부호화부(505)는 이 필터 종별 데이터(FilterType2)와 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)를 가변 길이 부호화하여 도 5(a)에 나타낸 바와 같은 하나의 부호화 데이터(Bitstream2)로 정리하여, 화상 부호화 장치(500)의 외부로 출력한다.
또, 화상 부호화 장치(500)가 구비하는 화소간 필터는 하나이지만, 2개 이상의 화소간 필터를 구비해도 좋다. 2개 이상의 화소간 필터의 어느 하나, 또는, 화소간 필터 연산 없음을 선택하여 사용하고, 사용한 화소간 필터의 종별(화소간 필터 연산 없음을 포함한다)을 나타내는 필터 종별 데이터를 부호화 데이터에 포함시키면 좋다. 또, 화상 부호화 장치(500)에서는 테이블 유지부(504)를 생략하고, 테이블 유지부(504)의 기능을 화소간 필터(503)의 내부에 구비하도록 해도 좋다.
이상 설명한 바와 같이, 본 발명의 화상 부호화 장치(500)에서는, 해당 화상 부호화 장치(500)로부터 출력된 부호화 데이터(Bitstream2)를 재생하는 화상 복호화 장치의 처리 능력에 따른 화소간 필터를 이용하여 부호화 데이터를 작성하는 것이 가능하게 된다. 또, 화상 부호화 장치(500)의 처리 능력에 따라서 화소간 필터를 선택할 수도 있다. 또, 필터 종별을 픽처 단위 또는 픽처보다 작은 화상 영역의 단위로 전환한다고 해도 좋다.
도 11은 화소간 필터 처리를 행할지 여부를 선택할 수 있는 실시형태 2에 관한 화상 복호화 장치(1200)의 구성을 나타내는 블록도이다. 화상 복호화 장치(1200)가 도 6의 화상 복호화 장치(1000)와 다른 점은, 화소간 필터 처리로서 화소간 필터 연산을 행하지 않고, 복호화 화상 데이터(Recon)를 그대로 참조 화상 데이터(Ref)로서 화상 메모리(205)에 저장하는 것을 선택할 수 있는 것이다. 화상 복호화 장치(1200)는 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 스위치(1201), 스위치(1202) 및 화소간 필터(1203)를 구비한다.
화상 복호화 장치(1200)에는, 예를 들면, 도 8의 화상 부호화 장치(500)에 의해서 부호화된 도 9(a)의 부호화 데이터와 같이, 헤더 내에 부호화 시에 적용된 화소간 필터를 나타내는 필터 종별 데이터(FilterType2)가 포함되어 있는 부호화 데이터(Bitstream2)가 입력된다. 필터 종별 데이터(FilterType2)에는 필터 종별로서 "화소간 필터 연산 없음"을 나타내는 값이 포함되어 있다. 가변 길이 복호화부(201)는 입력된 부호화 데이터(Bitstream2)를 가변 길이 복호화하여, 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)와 필터 종별 데이터(FilterType2)로 분리한다. 분리된 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)와 필터 종별 데이터(FilterType2)는 각각 화상 복호화부(202)와 픽처간 예측부(206)와 스위치(1201) 및 스위치(1202)에 출력된다.
스위치(1201) 및 스위치(1202)는 모두 필터 종별 데이터(FilterType2)로서 값 "0"이 입력된 경우에는 단자 "0"측으로 전환되고, 가산기(203)로부터 출력된 복호화 화상 데이터(Recon)는 그대로 화상 메모리(205)에 저장된다. 스위치(1201)와 스위치(1202)는 필터 종별 데이터(FilterType2)로서 값 "1"이 입력된 경우에는 모두 단자 "1"측으로 전환되고, 복호화 화상 데이터(Recon)에 대해서 화소간 필터(1203)에 의한 필터링을 적용한다.
또한, 필터 종별 데이터로부터, 참조 화상이 되는 복호화 화상에 화소간 필터를 사용하지 않는다고 판단되는 경우에는, 그 복호화 화상을 참조 화상으로서 화상 메모리에 저장할 때에는 화소간 필터에 의한 필터링을 행하지 않고, 화상 복호화 장치의 외부에 출력할 때에만 화소간 필터를 사용한다고 해도 좋다. 도 12는 또 한 화상 출력부에 선택 가능한 화소간 필터를 구비한 화상 복호화 장치(1300)의 구성을 나타내는 블록도이다. 이미 설명한 바와 같이, 화상 복호화 장치(1300)는 가산기(203)로부터 출력되는 복호화 화상에 대해서, 화소간 필터에 의한 필터링을 행하지 않은 것을 필터 종별 데이터(FilterType2)가 나타내고 있는 경우에는, 화상 메모리에 저장되는 복호화 화상에는 필터링하지 않고, 외부에 출력되는 복호화 화상에는 출력 측에 설치한 화소간 필터에 의해서 필터링을 행하는 화상 복호화 장치에 있어서, 가변 길이 복호화부(201), 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 스위치(1201), 스위치(1202), 화소간 필터(1203), 스위치(1301), 스위치(1302) 및 화소간 필터(1303)를 구비한다.
스위치(1201), 스위치(1202), 스위치(1301), 스위치(1302)는 필터 종별 데이터(FilterType2)의 값이 "1"인 경우에는 모두 단자 "1"측으로 전환된다. 이 경우에는, 스위치(1201)와 스위치(1202)는 가산기(203)의 출력과, 화소간 필터(1203)와, 화상 메모리(205)를 전달하여 통하게 하고, 스위치(1302)는 스위치(1202)의 출력과 화소간 필터(1303)의 전달 통과를 차단하여 스위치(1301)와 단락한다. 따라서, 화소간 필터(1203)가 복호화 화상 데이터(Recon)에 대해서 필터 연산을 행하고, 필터링된 복호화 화상 데이터(FilterdImg3)를 출력한다. 필터링된 복호화 화상 데이터(FilteredImg3)는 그대로, 즉, 거듭 화소간 필터(1303)로 필터링되지 않고, 출력 화상(OutImg)으로서 화상 복호화 장치 외의 표시 장치 등에 출력된다. 필터 종별 데이터(FilterType2)의 값이 "0"인 경우에는, 스위치(1201), 스위치(1202), 스위치(1301) 및 스위치(1302)는 모두 단자 "0"측으로 전환된다. 이 경우에는, 스위 치(1201)는 가산기(203)의 출력과, 화소간 필터(1203)의 전달 통과를 차단하여, 스위치(1202)와 단락한다. 한편, 스위치(1302)는, 스위치(1202)의 출력과 화소간 필터(1303)와 스위치(1301)의 외부 출력 단자를 전달하여 통하게 한다. 따라서, 가산기(203)로부터 출력된 복호화 화상 데이터(Recon)는 화소간 필터(1203)에서는 화소간 필터 연산되지 않고, 그대로 화상 메모리(205)에 참조 화상으로서 저장된다. 스위치(1202)의 출력 측에서 추출된 복호화 화상 데이터(Recon), 즉, 실제로는 필터링되어 있지 않은 필터링된 복호화 화상 데이터(FilteredImg3)는 화소간 필터(1303)에 의해서 화소간 필터 연산이 행해지고, 출력 화상(OutImg)으로서 화상 복호화 장치(1300) 외의 표시 장치 등에 출력된다.
또, 여기에서는 설명을 위해서, 화소간 필터(1203)와 화소간 필터(1303)는 다른 구성 요소로서 기재하였지만, 설치상 동일 화소간 필터를 사용해도 좋다(2개의 화소간 필터는 동시에 동작하는 일이 없기 때문에, 동일 화소간 필터를 이용해도 문제는 없다). 또, 화소간 필터(1203)와 화소간 필터(1303)는 종래의 화소간 필터(106)이어도 좋고, 도 8에 도시한 테이블 유지부(504)를 내장하는 화소간 필터(503)이어도 좋다. 또한, 다수의 파라미터표(620)를 유지하는 테이블 유지부(504)를 내장한 화소간 필터(503)이어도 좋다. 단, 이 경우에는, 화소간 필터(503)에도 필터 종별 데이터(FilterType2')가 입력될 필요가 있다.
이상 설명한 바와 같이, 화상 복호화 장치(1300)에 의하면, 참조 화상이 되는 복호화 화상에 대해서 필터링을 행하지 않은 경우에도, 그 복호화 화상에 대해서 화소간 필터에 의한 필터링을 행할 수 있기 때문에, 화상 복호화 장치(1300)로 부터 출력되는 출력 화상(OutImg)을 표시하는 표시 장치에서는, 보다 고화질의 동화상을 표시할 수 있다. 이것은, 참조 화상이 되는 복호화 화상에 대해서 필터링을 행하지 않은 경우에는 처리 능력에 여유가 있는 기기의 경우에 특히 유효하다.
또, 실시형태 1에서 도시한 바와 같이, 필터 종별 데이터(FilterType2)에서 나타낸 화소간 필터의 종별이 픽처 단위, 혹은 픽처보다 작은 화상 영역의 단위로 전환되는 경우에는, 필터 종별이 변경된 시점에서 화소간 필터를 전환한다.
도 13은 각 픽처의 픽처 타입에 따라서 화소간 필터(1203)를 선택할 수 있는 화상 복호화 장치(1400)의 구성을 나타내는 블록도이다. 화상 복호화 장치(1400)는 복호화가 끝난 픽처가 참조 화상으로서 사용되는지 여부의 정보, 예를 들면, 각 픽처의 픽처 타입 등을 포함하는 부호화 데이터를 복호화하는 화상 복호화 장치에 있어서, 화상 복호화부(202), 가산기(203), 화상 메모리(205), 픽처간 예측부(206), 화소간 필터(1203), 가변 길이 복호화부(1401), 스위치(1402), 스위치(1403) 및 픽처 종별 데이터 변환부(1404)를 구비한다.
가변 길이 복호화부(1401)는 외부에서 입력되는 부호화 데이터(Bitstream4)를 가변 길이 복호화하여, 픽처 종별 데이터(PType)와 차분 화상 부호화 데이터(CodedRes)와 예측 파라미터 데이터(PredParam)로 분리한다. 분리된 픽처 종별 데이터(PType)는 픽처 종별 데이터 변환부(1404)에, 차분 화상 부호화 데이터(CodedRes)는 화상 복호화부(202)에, 예측 파라미터 데이터(PredParam)는 픽처간 예측부(206)에, 각각 출력된다. 픽처 종별 데이터(PType)는 해당 픽처가 참조 화상으로서 사용되는지의 여부를 나타내는 정보이다. 예를 들면, 국제 표준 규격인 MPEG-1, 2에서는, 프레임마다 픽처 타입이라고 불리는 정보가 부호화 데이터에 포함되고 있고, B 픽처라고 불리는 프레임은 참조 화상으로서 사용되는 경우는 없다. 따라서, 부호화 데이터에 포함되어 있는 이 픽처 타입을 본 실시형태의 픽처 종별 데이터(PType)로서 이용해도 좋다. 참조 화상으로서 사용되지 않은 픽처에는, 화소간 필터에 의한 필터링을 행하지 않고도, 다른 픽처의 복호화에는 그다지 악영향을 주지 않는다.
여기에서, 화상 복호화 장치(1400)는 해당 픽처가 참조 화상으로서 사용되지 않은 경우에는 화소간 필터를 행하지 않는다. 예를 들면, 화상 복호화 장치(1400)의 처리 능력이 낮고, 재생 시각에 제시간에 맞춘 복호화를 실행할 수 없는 경우에는, 참조 화상으로서 사용되지 않은 픽처에 화소간 필터에 의한 필터링을 행하지 않음으로써 화상 복호화 장치(1400)의 처리량을 경감할 수 있다. 도 13의 블록도를 이용하여 설명하면, 우선, 픽처 종별 데이터 변환부(1404)는 입력되는 픽처 타입 데이터(PType)가 B 픽처 이외의 픽처를 도시하고 있으면, 즉, 해당 픽처가 참조 화상으로서 사용되는 것을 도시하고 있으면, 스위치(1402)와 스위치(1403)는 모두 단자 "1"로 전환된다. 이것에 의해 화상 복호화 장치(1400)는, 화소간 필터(1203)를 사용하여 복호화 화상 데이터(Recon)에 화소간 필터 연산을 행하고, 연산 결과를 필터링된 복호화 화상 데이터(FilteredImg5)로서 화상 메모리(205)에 저장하는 동시에, 화상 복호화 장치(1400) 외의 표시 장치 등에 출력한다. 한편, 픽처 타입 데이터(PType)가 해당 픽처가 B 픽처인 것을 도시하고 있으면, 즉, 해당 픽처가 참조 화상으로서 사용되지 않은 것을 도시하고 있으면, 스위치(1402)와 스위치(1403)는 단자 "0"으로 전환되고, 화소간 필터(1203)는 사용되지 않으며, 가산기(105)로부터 출력된 복호화 화상 데이터(Recon)는 그대로 외부에 출력된다.
이상과 같이, 화상 복호화 장치(1400)에 의하면, 그다지 다른 픽처에 참조되는 일이 없는 B 픽처에 대해서 화소간 필터(1203)에 의한 필터링을 생략하기 때문에, 다른 픽처의 복호화에 큰 영향을 주지 않고, 부호화 데이터(Bitstream)의 복호화에 요구되는 처리량을 경감할 수 있다. 또한, 이와 같이 화상 복호화 장치(1400)는 부호화 데이터의 픽처 타입에 따라서 화소간 필터를 선택하기 때문에, 픽처 헤더 등의 헤더 정보 중에 화소간 필터의 선택 정보가 들어있지 않은 종래의 화상 부호화 장치로부터 출력되는 부호화 데이터에 대해서도, 참조되지 않은 화상에 대해서 필터링 처리를 생략하여, 필터링 처리의 부하를 경감할 수 있다.
또, 참조되지 않은 픽처는 필터링 처리를 하지 않는 것에 상관없이, 예를 들면 도 13에서 도시하면 화상 메모리(205)에는 보존할 필요가 없다. 따라서, 참조되는 픽처만, 화상 메모리(205)에 필터링 처리를 한 데이터를 저장하면 좋다.
*또, 엄밀하게는 B 픽처는 참조되지 않은 화상을 의미하는 것이 아니라, B 픽처를 참조하는 화상 부호화 방법도 생각할 수 있다. 따라서, 픽처 타입에 의해서 단순히 화소간 필터를 선택하는 것이 아니라, 실제로 참조되는 픽처인지 여부를 판단하면, B 픽처를 참조하는 경우에도 보다 적절한 처리가 가능하다. 단, B 픽처를 참조하는 경우에도, 설치를 간단히 하기 위해서, 단순히 픽처 타입으로 전환해도 좋다.
또, 화소간 필터를 행하는지의 여부를 전환하는 것이 아니라, 도 6 또는 도 7에 나타내는 바와 같이, 화소간 필터(1003), 화소간 필터(1004)와 2개의 필터를 픽처 타입, 또는 참조되는 픽처인지 여부에 따라서 전환해도 좋다.
또한, 픽처 타입 및 픽처가 참조되는지 여부에 따라서 화소간 필터를 전환하는 화상 복호화 장치의 예를 설명하였지만, 이 전환을 화상 부호화 장치에서도 동일하게 행할 수 있다.
(실시형태 3)
도 14는 본 발명의 실시형태 3에 관한 화상 부호화 장치(1500)의 기능 구성을 나타내는 블록도이다. 화상 부호화 장치(1500)는 CPU, 메모리, 화상 부호화를 위한 프로그램을 설치한 하드디스크(HD) 등을 구비하는 컴퓨터 장치에 의해 실현되고, 그 기능으로서, 조작 접수부(1505), 전처리부(1510), 감산부(1512), 직교 변환부(1513), 양자화부(1514), 가변 길이 부호화부(1517), 후처리부(1520), 역 양자화부(1521), 역 직교 변환부(1522), 가산부(1524), 스위치부(1530), 화소간 필터(1540), 화상 메모리(1541), 움직임 검출부(1542), 움직임 보상부(1543), 우선 순위 결정부(1550) 및 필터 처리 제어부(1560)를 구비한다.
조작 접수부(1505)는 조작자의 입력 조작을 접수한다. 전처리부(1510)는 입력된 화상 신호를 조작 접수부(1505)의 조작으로 지정하여 공간 해상도로 포맷 변환하는 포맷 변환부 및 픽처 타입에 맞추어 픽처를 교체 나열하는 픽처 교체 나열부 등을 구비하고, 픽처 타입 및 프레임마다의 프레임 화상 등을 순차적으로 출력한다.
또, 픽처 타입에는, 화면 내 부호화 모드 시에 작성되는 참조 화상이 없는 I 픽처(Intra Picture : 면 내 부호화 화상)와, 화면간 부호화 모드 시에 작성되어 하나의 픽처만을 참조하는 P 픽처(Predictive Picture : 예측 부호화 화상) 및 후방 화상도 참조할 수 있는 B 픽처(Bi Predictive Picture : 다수 예측 화상)가 있고, 화면간 부호화 모드 시의 움직임 검출 시에, 화상 메모리(1541)에 저장된 움직임 검출부(1542)에 의해서 동시에 참조 가능한 복호화 화상의 매수가 제한된다.
또, 프레임 화상을 부호화하는 경우, 3개의 픽처 타입을 사용하여 부호화하는 경우의 모드(이 모드를 이하, 「IPB 부호화 모드」라고도 기재한다)와, I 픽처 및 P 픽처의 2개만을 사용하여 부호화하는 경우의 모드가 있다. 이 I 픽처 및 P 픽처의 2개만을 사용하여 부호화하는 경우의 모드에는, 참조 가능성이 있는 P 픽처 및 가능성이 없는 P 픽처에 대해서 부호화하는 모드(이 모드를 이하, 「제1 IP 부호화 모드」라고도 기재한다)와, 계층 부호화에 있어서의 기본 레이어의 P 픽처, 보강 레이어로 참조 가능성이 있는 P 픽처 및 가능성이 없는 P 픽처에 대해서 부호화하는 모드(이 모드를 이하, 「제2 IP 부호화 모드」라고도 기재한다)가 있다. 계층 부호화란, 픽처를 기본 레이어와 보강 레이어의 2개로 분류하고, 기본 레이어는 기본 레이어의 픽처군만으로 단독으로 재생할 수 있는 그룹이고, 보강 레이어는 부호화·복호화를 위해서 베이스 라인의 픽처군이 필요한 픽처군이다. 기본 레이어뿐이면 비트수가 적고, 기본 레이어와 보강 레이어를 합치면 비트수가 많지만, 픽처 수가 많아지는 것으로부터, 베이스 라인은 모든 경우에 기록·전송하고, 보강 레이어는 고화질이 필요한 경우에만 기록·전송함으로써, 2종류의 용도를 용이하게 실 현할 수 있는 것이 계층 부호화의 특징이다.
제1 IP 부호화 모드의 경우에는, 프레임 화상에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다. 또, 제2 부호화 모드의 경우에는, 프레임 화상에「기본」, 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「기본」, 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다.
감산부(1512)는 화면 내 부호화 모드 시에는 전처리부(1510)로부터 출력된 프레임 화상을 그대로 출력하고, 화면간 부호화 모드 시에는 프레임 화상과, 움직임 보상부(1543)로부터 출력된 움직임 보상 화상의 차분 값인 움직임 보상 오차(잔여 차분 화상)를 계산한다.
직교 변환부(1513)는 감산부(1512)로부터 출력된 화면 내 부호화 모드시의 프레임 화상 및 화면간 부호화 모드시의 움직임 보상 오차에 대해서 각각 이산 코사인 변환 등의 직교 변환을 행함으로써, 주파수 영역으로 변환한 주파수 성분을 출력한다. 양자화부(1514)는 직교 변환부(1513)로부터 출력된 주파수 성분을 양자화함으로써, 양자화 값을 출력한다. 가변 길이 부호화부(1517)는 양자화부(1514)로부터 출력된 양자화 값에 대해서 그 발생 빈도에 따른 부호 길이를 할당하는 가변 길이 부호(허프만 부호)를 이용함으로써, 한층 더 정보 압축을 행한 부호화 신호를 출력한다. 후처리부(1520)는 부호화 신호 등을 일시적으로 기억하는 버퍼나, 양자화부(1514)에서의 양자화 폭을 제어하기 위한 레이트 제어부 등을 구비하고, 상기 움직임 벡터, 픽처 타입 등이나, 가변 길이 부호화부(1517)로부터 출력된 부호화 신호를 비트 스트림의 부호화 신호로 변환하여 출력한다.
역 양자화부(1521)는, 양자화부(1514)에 의해서 생성된 양자화 값을 역 양자화함으로써 주파수 성분을 복호화한다. 역 직교 변환부(1522)는 역 양자화부(1521)에 의해서 복호화된 주파수 성분을 역 직교 변환함으로써, 화면 내 부호화 모드 시에는 프레임 화상을, 화면간 부호화 모드 시에는 화소의 차분 값인 움직임 보상 오차(잔여 차분 화상)를 복호화한다. 가산부(1524)는 화면 내 부호화 모드 시에는 역 직교 변환부(1522)에 의해서 복호화된 프레임 화상(복호화 화상)을 그대로 출력하고, 화면간 부호화 모드 시에는 역 직교 변환부(1522)에 의해서 복호화된 잔여 차분 화상과, 움직임 보상부(1543)에 의해서 생성된 움직임 보상 화상을 가산함으로써 프레임 화상을 복호화 한다.
스위치부(1530)는 필터 처리 제어부(1560)에 의한 픽처마다의 스위치 ON/OFF 제어에 의해 스위칭 양태를 동기하여 전환하는 한 쌍의 스위치(1531, 1532)로 이루어지고, 화소간 필터(1540)를 루프 내에 집어넣거나, 루프로부터 빼내거나, 즉, 화소간 필터(1540)에 의한 처리를 생략하거나 한다. 화소간 필터(1540)는 스위치(1531, 1532)의 ON시에, 가산부(1524)로부터 출력된 복호화 화상에 대해서 블록 단위로 공간적인 저역 통과 필터 처리를 행하여, 블록 왜곡 등이 없는 복호화 화상을 생성한다. 예를 들면, 어떤 화소와 그 주위의 화소와 평균치를 산출하여, 어떤 화소와 주위의 화소의 차가 소정의 범위 내이면, 그 어느 화소를 산출한 평균치로 치환하는 처리를 블록 경계 부근의 화소에 대해서 하나씩 실행한다.
화상 메모리(1541)는 스위치부(1530)로부터 출력된 복호화 화상을 다수 프레 임분 기억한다. 이것에 의해, 후처리부(1520)로부터 출력되는 부호화 신호를 복호화하는 화상 복호화 장치와 동일 상태에서 복호화 화상을 모니터하거나, 복호화 화상을 화면간 부호화 모드 시의 참조 화상으로서 이용하는 것이 가능하게 된다. 또, 제1 IP 부호화 모드 및 제2 IP 부호화 모드에서, 참조 가능성이 있는 정보가 부가된 P 픽처의 복호화 화상은 화상 메모리(1541)에 반드시 저장되고, 참조 가능성이 없는 정보가 부가된 P 픽처의 복호화 화상은 화상 메모리(1541)에 저장될 필요는 없다. 이 때문에, 가능성 있음/없음의 정보는, 복호화 화상을 화상 메모리(1541)에 저장한다/하지 않는다는 동일 의미를 나타내고 있다.
움직임 검출부(1542)는 화면간 부호화 모드 시에 화상 메모리(1541)에 저장되어 있는 복호화 화상 중에서 전처리부(1510)로부터 출력된 프레임 화상과 차분이 가장 작은 참조 화상을 조사하여, 차분 화소의 움직임 양인 움직임 벡터를 출력한다. 또, 움직임 벡터 출력시에, 참조하는 화상이 전방 화상인지, 후방 화상인지, 양 화상의 평균치인지를 블록 예측 타입을 출력한다. 움직임 보상부(1543)는 움직임 벡터 및 블록 예측 타입으로 나타내는 연산을 행하고, 움직임 보상 화상을 생성한다. 우선 순위 결정부(1550)는 픽처 타입이나 기본 레이어, 보강 레이어에 따라서 그 픽처의 우선도를 출력한다. 필터 처리 제어부(1560)는 우선 순위 결정부(1550)로부터 출력된 우선도 또는 CPU 가동률에 따라서 스위치(1531, 1532)를 ON/OFF 제어한다.
도 15는 도 14에 나타낸 우선 순위 결정부(1550)의 상세한 기능 구성을 나타내는 블록도이다. 동일 도면에 나타낸 바와 같이, 우선 순위 결정부(1550)는 픽처 타입 및 기본 레이어, 보강 레이어에 따라서 그 픽처의 우선도를 출력하는 것이고, 도 15에 나타낸 바와 같이, 3개의 테이블(1551∼1553)과, 셀렉터(1554)와, 결정 처리부(1555)로 이루어진다. 또, 제2 IP 부호화 모드에 있어서의 P 픽처의 경우에는, 그 픽처 타입에 「기본」, 「참조될 가능성이 있음」 또는 「없음」을 나타내는 정보도 부가되어 있다.
테이블(1551)은 조작 접수부(1505)의 조작에 의해서 IPB 부호화 모드가 지정된 경우에 선택되어, 프레임 화상의 픽처 타입과 우선도를 대응시킨 테이블로서, I 픽처에서는 우선도가 「0」, P 픽처에서는 우선도가 「1」, B 픽처에서는 우선도가 「2」로 설정되어 있다. 또, 수치가 커짐에 따라서 우선도가 낮게 되도록 정해져 있다.
테이블(1552)은 조작 접수부(1505)의 조작에 의해서 제1 IP 부호화 모드가 지정된 경우에 선택되어, 프레임 화상의 픽처 타입과 우선도를 대응시킨 테이블로서, I 픽처에서는 우선도가 「0」, P(참조될 가능성 있음) 픽처에서는 우선도가 「1」, P(참조될 가능성 없음) 픽처에서는 우선도가 「2」로 설정되어 있다.
테이블(1553)은 제2 IP 부호화 모드 I, P(기본, 참조 가능성 있음, 참조 가능성 없음) 부호화 모드가 지정된 경우에 선택되는 테이블로서, I 피크에서는 우선도가 「0」, P(기본) 피크에서는 우선도가 「1」, P(참조될 가능성 있음) 픽처에서는 우선도가 「2」, P(참조될 가능성 없음) 픽처에서는 우선도가「3」으로 설정되어 있다.
셀렉터(1554)는 조작 접수부(1505)에 의해 지정된 부호화 모드(IPB 부호화 모드, 제1 IP 부호화 모드)에 기초하여, 테이블(1551∼1553)의 어느 하나를 선택한다. 결정 처리부(1555)는 셀렉터(1554)에 의해서 선택된 테이블을 참조하여, 전처리부(1510)로부터 출력된 픽처 타입 및 기본 레이어, 보강 레이어에 따른 우선도를 결정하고, 결정한 우선도를 출력한다. 구체적으로는 IPB 부호화 모드가 지정되어 있는 경우, 셀렉터(1554)는 테이블(1551)을 선택하고 있고, 결정 처리부(1555)는 전처리부(1510)로부터 픽처 타입이 출력될 때마다, I 픽처, P 픽처, B 픽처에 대응된 우선도를 출력한다. 또, 제1 IP 부호화 모드가 지정되어 있는 경우, 셀렉터(1554)는 테이블(1552)을 선택하고 있고, 결정 처리부(1555)는 픽처 타입과, P 픽처에 부가되어 있는 데이터(「가능성 있음」,「가능성 없음」)에 기초하여, 우선도를 출력한다. 또한, 제2 IP 부호화 모드가 지정되어 있는 경우, 셀렉터(1554)는 테이블(1553)을 선택하고 있고, 결정 처리부(1555)는 픽처 타입과, P 픽처 타입에 부가되어 있는 데이터(참조의 「기본」, 「가능성 있음」, 「가능성 없음」)에 기초하여, 우선도를 출력한다.
도 16은 도 14에 나타낸 필터 처리 제어부(1560)의 상세한 기능 구성을 나타내는 블록도이다. 동일 도면에 나타낸 바와 같이, 필터 처리 제어부(1560)는 우선 순위 결정부(1550)로부터 출력된 우선도 및 CPU 가동률에 따라서 스위치(1531, 1532)를 ON/OFF 제어하는 것으로, 도 16에 나타낸 바와 같이, 3개의 테이블(1561∼1563)과, 셀렉터(1564)와, 스위치 전환 처리부(1565)로 이루어진다. 테이블(1561)은 IPB 부호화 모드가 지정되는 경우에 선택되고, 필터 처리를 행하는 경우의 우선도와 CPU의 가동률의 조합을 나타내는 테이블로서, CPU의 가동률이 70% 미만에서는 우선도가 0∼2인 경우에 스위치 ON 하고, CPU의 가동률이 70% 이상 80% 미만에서는 우선도가 0과 1인 경우에만 스위치 ON 하며, CPU의 가동률이 80% 이상에서는 우선도가 0인 경우에만 스위치 ON 하도록 설정되어 있다.
테이블(1562)은 제1 IP 부호화 모드가 지정되는 경우에 선택되고, 필터 처리를 행하는 경우의 우선도와 CPU의 가동률의 조합을 나타내는 테이블로서, CPU의 가동률이 70% 미만에서는 우선도가 0∼2인 경우에 스위치 ON 하고, CPU의 가동률이 70% 이상 80% 미만에서는 우선도가 0과 1인 경우에만 스위치 ON 하며, CPU의 가동률이 80% 이상에서는 우선도가 0인 경우에만 스위치 ON 하도록 설정되어 있다.
테이블(1563)은 제2 IP 부호화 모드가 지정되는 경우에 선택되고, 필터 처리를 행하는 경우의 우선도와 CPU의 가동률의 조합을 나타내는 테이블로서, CPU의 가동률이 70% 미만에서는 우선도가 0∼3인 경우에 스위치 ON 하고, CPU의 가동률이 70% 이상 80% 미만에서는 우선도가 0과 1과 2인 경우에만 스위치 ON 하며, CPU의 가동률이 80% 이상에서는 우선도가 0과 1인 경우에만 스위치 ON 하도록 설정되어 있다.
셀렉터(1564)는 조작 접수부(1505)에 의해 지정된 부호화 모드(IPB 부호화 모드, 신 제1 IP 부호화 모드)에 기초하여, 테이블(1561∼1563)의 어느 하나를 선택한다. 스위치 전환 처리부(1565)는 셀렉터(1564)에 의해서 선택된 테이블을 참조하여, 우선 순위 결정부(1550)로부터 출력된 우선도 및 픽처마다 취득한 CPU 가동률에 기초하여, 스위치 ON 혹은 OFF의 신호를 출력하고, 스위치부(1530)의 스위치(1531, 1532)를 ON/OFF 제어한다.
구체적으로는, IPB 부호화 모드가 지정되어 있는 경우, 셀렉터(1564)는 테이블(1561)을 선택하고 있고, 스위치 전환 처리부(1565)는 CPU 가동률이 70% 미만인 경우, I 픽처, P 픽처, B 픽처의 모두에 대해서 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 70% 이상이고 80% 미만인 경우, 스위치 전환 처리부(1565)는 I 픽처와, P 픽처의 경우에만, 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 80% 이상인 경우, 스위치 전환 처리부(1565)는 I 픽처의 경우에만 스위치 ON의 신호를 출력한다.
또, 제1 IP 부호화 모드가 지정되어 있는 경우, 셀렉터(1564)는 테이블(1562)을 선택하고, 스위치 전환 처리부(1565)는 CPU 가동률이 70% 미만인 경우, I 픽처, P 픽처(가능성 있음), P 픽처(가능성 없음)의 모두에 대해서 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 70% 이상이고 80% 미만인 경우, 스위치 전환 처리부(1565)는 I 픽처와, P 픽처(가능성 있음)의 경우에만, 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 80% 이상인 경우, 스위치 전환 처리부(1565)는 I 픽처의 경우에만, 스위치 ON의 신호를 출력한다.
또한, 제2 IP 부호화 모드가 지정되어 있는 경우, 셀렉터(1564)는 테이블(1563)을 선택하고 있고, 스위치 전환 처리부(1565)는, I 픽처, P 픽처(기본), P 픽처(가능성 있음), P 픽처(가능성 없음)의 모두에 대해서 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 70% 이상이고 80% 미만인 경우, 스위치 전환 처리부(1565)는 I 픽처와, P 픽처(기본)와, P 픽처(가능성 있음)의 경우에만, 스위치 ON의 신호를 출력한다. 또, CPU 가동률이 80% 이상인 경우, 스위치 전환 처리 부(1565)는 I 픽처와, P 픽처(기본)의 경우에만, 스위치 ON의 신호를 출력한다.
다음에, 이와 같이 구성된 화상 부호화 장치(1500)의 동작을 설명한다.
프레임 화상을 I 픽처로서 부호화하는 화면 내 부호화 모드 시에는, 전처리부(1510)로부터 출력된 프레임 화상은, 직교 변환부(1513)에 의한 직교 변환에 의해서 주파수 성분에 압축 부호화되어, 양자화부(1514)에 의한 양자화에 의하여 양자화 값에 압축 부호화된다. 이 양자화 값은 가변 길이 부호화부(1517)에 의한 가변 길이 부호화에 의해서 가변 길이에 압축 부호화되고, 후처리부(1520)에 의해서 I 픽처의 비트 스트림의 부호화 신호로 변환되어, 하드디스크 등의 기억 매체에 저장된다.
한편, 양자화부(1514)로부터 출력된 양자화 값은 역 양자화부(1521)에 의한 역 직교 변환에 의해서 주파수 성분으로 복호화되고, 역 직교 변환부(1522)에 의한 역 직교 변환에 의해서 프레임 화상으로 복호화된다. 이 복호화된 프레임 화상(복호화 화상)은 필터 처리 제어부(1560)의 제어에 의해 스위치(1531, 1532)가 ON 되어 있는 경우에는 화소간 필터(1540)에 의해서 블록 왜곡을 제거하는 필터 처리가 행해진 후, 화상 메모리(1541)에 저장되고, 스위치(1531, 1532)가 OFF 되어 있는 경우에는 필터 처리가 행해지지 않고 화상 메모리(1541)에 저장된다.
또, 프레임 화상을 P 픽처 및 B 픽처로서 부호화하는 화면간 부호화 모드 시에는, 움직임 검출부(1542)에 의해서 움직임 벡터가 생성되고, 움직임 보상부(1543)에 의해서 움직임 보상 화상(예측 화상)이 생성되며, 감산부(1512)에 의해서 움직임 보상 오차(차분 화상)가 생성된다. 또, 움직임 검출부(1542)는 화상 메 모리(1541)에 저장되어 있는 복호화 화상 중에서 전처리부(1510)로부터 출력된 프레임 화상과 차분이 가장 작은 예측 화상을, 전방 또는 후방의 하나 또는 다수의 참조 화상으로부터 탐색한다.
도 17은 화상 메모리(1541)에 저장되어 있는 프레임 화상의 참조 관계를 나타내는 도면이다. 특히, 도 17(a)은 IPB 방식의 경우의 예측에서의 참조 화상을 나타내는 도면이고, 도 17(b)은 제1 IP 방식의 경우의 예측에서의 참조 화상을 나타내는 도면이며, 도 17(c)은 제2 IP 방식의 경우의 예측에서의 참조 화상을 나타내는 도면이다. 또, 각 방식의 각 픽처의 아래 란에 그 픽처에 대응된 우선 순위(우선도)가 표시되어 있다.
도 17(a)의 IPB 방식의 경우에 있어서의 P 픽처의 예측에서는, 전방의 I 픽처 및 P 픽처를 참조할 수 있다. B 픽처의 예측에서는, 전방의 I 픽처 또는 P 픽처를 참조할 수 있는 동시에, 후방에서 시간적으로 가장 가까운 I 픽처 또는 P 픽처를 하나 참조할 수 있다.
또, H.26L의 B 픽처의 예측에서는, I 픽처, P 픽처에 더하여, B 픽처를 전방 화상으로서 참조할 수도 있도록 되어 있다. 이 B 픽처를 참조 화상으로서 이용하는 모드의 경우에는, B 픽처의 프레임 화상에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다. 그리고, 이 모드에서, 참조 가능성이 있는 정보가 부가된 B 픽처의 복호화 화상은 반드시 화상 메모리(1541)에 저장되고, 참조 가능성이 없는 정보가 부가된 B 픽처의 복호화 화상은 화상 메모리(1541)에 저장될 필요는 없다.
도 17(b)의 제1 IP 방식의 경우의 P(참조 가능성 있음) 픽처의 예측에서는, 전방의 I 픽처 및 P(참조 가능성 있음) 픽처를 참조할 수 있다. P(참조 가능성 없음) 픽처의 예측에서는, 전방의 I 픽처 또는 P(참조 가능성 있음) 픽처를 참조할 수 있다.
도 17(c)의 제2 IP 방식의 경우에 있어서의 P(기본) 픽처의 예측에서는, 전방의 I 픽처 및 P(기본) 픽처를 참조할 수 있다. P(참조 가능성 있음) 픽처의 예측에서는, 전방의 I 픽처 및 P(기본) 픽처를 참조할 수 있다. P(참조 가능성 없음)픽처의 예측에서는, 전방의 I 픽처, P(기본) 픽처 또는 P(참조 가능성 있음) 픽처를 다수 참조할 수 있다. 또, 설명의 편의상, IPB 부호화 모드가 지정되어 있는 경우에 대해서 설명한다.
이러한 제한 하에, 움직임 검출부(1542)는 조사한 참조 화상과 전처리부(1510)로부터 출력된 프레임 화상과의 차분 화소의 움직임 양을 움직임 벡터로서 출력하는 동시에, 참조하는 화상이 전방 화상인지, 후방 화상인지, 쌍방향 화상의 평균치인지를 나타내는 블록 예측 타입을 출력한다. 또, 움직임 보상부(1543)는 움직임 검출부(1542)로부터 출력된 움직임 벡터와, 블록 예측 타입으로 나타낸 연산을 차분 화소에 대해서 행하여, 움직임 보상 화상을 생성한다. 그리고, 감산부(1512)는 전처리부(1510)로부터 출력된 프레임 화상과 움직임 보상부(1543)에 의해서 생성된 움직임 보상 화상을 감산함으로써, 움직임 보상 오차(차분 화상)를 생성한다.
감산부(1512)로부터 출력된 움직임 보상 오차(차분 화상)는 직교 변환 부(1513)에 의한 직교 변환에 의해서 주파수 성분으로 압축 부호화되고, 양자화부(1514)에 의한 양자화에 의해서 양자화 값으로 압축 부호화된다. 이 양자화 값은 가변 길이 부호화부(1517)에 의한 가변 길이 부호화에 의해서 가변 길이로 압축 부호화되고, 후처리부(1520)에 의해서 움직임 벡터 등과 함께 P 픽처 또는 B 픽처의 비트 스트림의 부호화 신호로 변환되어, 하드디스크 등의 기억 매체에 저장된다.
한편, 양자화부(1514)로부터 출력된 참조 가능성을 갖는 P 픽처 또는 B 픽처의 양자화 값은 역 양자화부(1521)에 의한 역 직교 변환에 의해서 주파수 성분으로 복호화되고, 역 직교 변환부(1522)에 의한 역 직교 변환에 의해서 움직임 보상 오차(차분 화상)로 복호화된다. 그리고, 가산부(1524)에 의해서 움직임 보상 오차(차분 화상)와 움직임 보상 화상을 가산함으로써, 프레임 화상으로 복호화된다. 이 복호화된 프레임 화상(복호화 화상)은 필터 처리 제어부(1560)의 제어에 의해 스위치(1531, 1532)가 ON 되어 있는 경우에는 화소간 필터(1540)에 의해서 블록 왜곡을 제거하는 필터 처리가 행해진 뒤, 화상 메모리(1541)에 저장되고, 스위치(1531, 1532)가 OFF 되어 있는 경우에는 필터 처리가 행해지지 않고 화상 메모리(1541)에 저장된다.
여기서, 필터 처리 제어부(1560)에 의한 스위치(1531, 1532)의 ON/OFF 제어를 보다 상세히 설명한다.
도 18은 필터 처리 제어부(1560)의 스위치 전환 처리부(1565)가 실행하는 스위치 구동 처리를 나타내는 흐름도이다.
그런데, 우선 순위 결정부(1550)의 결정 처리부(1555)는 셀렉터(1554)에 의 해서 선택된 테이블(1551)을 참조하여, 전처리부(1510)로부터 출력된 픽처마다 픽처 타입에 따른 우선도를 결정하고, 결정한 우선도를 출력하고 있다. 구체적으로는, IPB 부호화 모드가 지정되어 있는 경우, 셀렉터(1554)는 테이블(1551)을 선택하고 있고, 결정 처리부(1555)는 전처리부(1510)로부터 픽처 타입이 출력될 때마다, I 픽처의 경우에는 우선도 「0」을, P 픽처의 경우에는 「1」을, B 픽처의 경우에는 우선도 「2」를 출력한다.
필터 처리 제어부(1560)의 스위치 전환 처리부(1565)는 픽처의 부호화마다 그 픽처의 우선도와, 이 화상 부호화 장치(1500)가 구비하는 CPU의 가동률을 취득하고(S21), 테이블(도 16의 예에서는, 테이블(1561))의 참조하는 엔트리를 결정한다(S22).
구체적으로는, CPU 가동률이 70% 미만이면, 참조하는 엔트리를 첫째 줄로 결정하고, CPU 가동률이 70% 이상이고 80% 미만이면, 참조하는 엔트리를 두 번째 줄로 결정하며, CPU 가동률이 80% 이상이면, 참조하는 엔트리를 세 번째 줄로 결정한다.
참조하는 엔트리의 결정이 끝나면, 스위치 전환 처리부(1565)는 그 엔트리의 오른쪽 난을 읽어 내고(S23), 복호화 화상의 픽처 타입에 설정된 우선도가 오른쪽 란에 있는지의 여부를 판단한다(S24). 오른쪽 란에 있으면(S24에서 Yes), 스위치 전환 처리부(1565)는 스위치 온의 신호를 스위치(1531, 1532)에 출력한다(S25). 이것에 의해 복호화 화상에 필터 처리가 행해지고, 필터 처리가 행해진 복호화 화상이 화상 메모리(1541)에 저장된다.
이것에 대해서, 오른쪽 란에 없으면(S24에서 No), 스위치 전환 처리부(1565)는 스위치 오프 신호를 스위치(1531, 1532)에 출력한다(S26). 이것에 의해 복호화 화상에 대한 필터 처리가 생략되고, 필터 처리를 행하지 않고 복호화 화상이 화상 메모리(1541)에 저장된다.
이러한 제어가 픽처마다 행해지고, 필터 처리가 행해진 복호화 화상이나 필터 처리가 행해지지 않은 복호화 화상이 순차적으로 화상 메모리(1541)에 저장된다. 따라서, 화상 부호화에서, 항상, 노이즈 제거 등의 화소간 필터를 설치하는 것이 아니라, 필요에 따라서, 선택적으로 화소간 필터를 설치할 수 있기 때문에, 예를 들면, 화질에 크게 영향을 주는 프레임 화상에만 대해서 화소간 필터를 설치함으로써, 처리 능력이 작은 화상 부호화 장치에서도 화상 메모리에 저장되는 중요한 프레임의 화질을 유지하여, 화상 메모리에 저장된 복호화 화상에 블록 왜곡이 축적되는 것이 적어지고, 움직임 보상부에 의한 예측 효율이 향상되어, MPEG의 기술보다 화질열화를 감소시킬 수 있으며, 저 비트 레이트로 높은 화질 개선 효과를 얻을 수 있다.
즉, 다른 프레임 화상에 대해서 큰 영향도를 갖는 프레임 화상, 요컨대, 화면 내 부호화 프레임 화상, 전방향 예측 부호화 프레임 화상, 기본 레이어의 프레임 화상 등에 대해서 우선적으로 화소간 필터가 행해지기 때문에, 동일 처리 부하의 증대에 대해서, 보다 유효하게 화소간 필터에 의한 노이즈 제거 등의 화질 개선 효과를 얻을 수 있다.
또한, 화상 부호화 장치의 처리 능력이 충분히 발휘되도록, 필터 처리의 ON/OFF를 제어할 수 있기 때문에, 높은 효율로 CPU가 사용됨으로써, 동일 하드웨어 자원에서도, 고화질의 부호화가 실현된다.
(실시형태 4)
다음에, 본 발명의 실시형태에 관한 화상 복호화 장치에 대해서 설명한다. 도 19는 본 발명의 실시형태 4에 관한 화상 복호화 장치(1600)의 기능 구성을 나타내는 블록도이다.
이 화상 복호화 장치(1600)는, 도 14에 나타낸 화상 부호화 장치(1500)에서 부호화된 부호화 신호를 복호화하는 것으로서, CPU, 메모리, 화상 복호화를 위한 프로그램을 설치한 하드디스크(HD) 등을 구비하는 컴퓨터 장치에 의해 실현되고, 그 기능으로서, 전처리부(1610)와, 가변 길이 복호화부(1617)와, 역 양자화부(1621)와, 역 직교 변환부(1622)와, 가산부(1624)와, 스위치부(1630)와, 화소간 필터(1640)와, 후처리부(1670)와, 화상 메모리(1641)와, 움직임 보상부(1643)와, 우선 순위 결정부(1650)와, 필터 처리 제어부(1660)로 이루어진다.
전처리부(1610)는 부호화 신호를 일시적으로 저장하는 버퍼 등을 구비하고, 부호화 신호에 포함되는 픽처 타입, 움직임 벡터, 화상 자체의 부호화 신호를 분리하여 출력한다. 또, 화상의 부호화 신호가 제1 IP 부호화 모드인 경우에는, 프레임 화상에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가된다. 또, 제2 IP 부호화 모드의 경우에는, 프레임 화상에 「기본」, 「가능성 있음」 혹은 「가능성 없음」의 정보가 부가되는 동시에, 픽처 타입에 「기본」, 「가능성 있음」 혹은 「 가능성 없음」의 정보가 부가된다.
가변 길이 복호화부(1617)는 전처리부(1610)로부터 출력된 부호화 신호에 대해서 복호화(허프만 복호화)함으로써, 고정 길이의 양자화 값을 출력한다. 역 양자화부(1621)는 가변 길이 복호화부(1617)로부터 출력된 양자화 값을 역 양자화함으로써 주파수 성분을 복호화한다. 역 직교 변환부(1622)는 역 양자화부(1621)에 의해서 복호화된 주파수 성분을 역 직교 교환함으로써, 화면 내 부호화 모드 시에는 프레임 화상을, 화면간 부호화 모드 시에는 화소의 차분 값인 움직임 보상 오차(잔여 차분 화상)를 복호화한다.
가산부(1624)는 화면 내 부호화 모드 시에는 역 직교 변환부(1622)에 의해서 복호화된 프레임 화상(복호화 화상)을 그대로 출력하고, 화면간 부호화 모드 시에는 역 직교 변환부(1622)에 의해서 복호화된 움직임 보상 오차(잔여 차분 화상)와 움직임 보상부(1643)에 의해서 생성된 움직임 보상 화상을 가산함으로써 프레임 화상을 복호화한다. 스위치부(1630)는 필터 처리 제어부(1660)에 의한 픽처마다의 스위치 ON/OFF 제어에 의해 스위칭 양태를 동기하여 전환하는 한 쌍의 스위치(1631, 1632)로 이루어지고, 화소간 필터(1640)를 루프 내에 집어넣거나, 루프로부터 빼내거나, 즉, 화소간 필터(1640)에 의한 처리를 생략하거나 한다.
화소간 필터(1640)는 스위치(1631, 1632)의 ON 시에, 가산부(1624)로부터 출력된 복호화 화상에 대해서 블록 단위로 공간적인 저역 통과 필터 처리를 행하여, 블록 왜곡 등이 없는 복호화 화상을 생성한다. 예를 들면, 어떤 화소와 그 주위의 화소와 평균치를 산출하여, 어떤 화소와 주위의 화소의 차가 소정의 범위 내이면, 그 어떤 화소를 산출한 평균치로 치환하는 처리를 블록 경계 부근의 화소에 대해서 하나씩 실행한다.
후처리부(1670)는 소정의 공간 해상도로 포맷 변환하는 포맷 변환부와, 픽처 타입에 맞추어 교체 나열된 화면을 원래의 순서로 되돌리는 화면 순서 복귀부 등을 구비하여, 복호화 화상을 모니터 등에 출력한다. 화상 메모리(1641)는 스위치부(1630)로부터 출력된 참조 가능성을 갖는 복호화 화상을 다수 프레임분 기억한다. 움직임 보상부(1643)는 전처리부(1610)로부터 출력된 움직임 벡터 및 블록 예측 타입으로 나타낸 연산을 화상 메모리(1641)에 저장되어 있는 복호화 화상에 대해서 행하여, 움직임 보상 화상을 생성한다. 우선 순위 결정부(1650)는 도 15에 나타낸 우선 순위 결정부(1550)와 동일 구성으로서, 전처리부(1610)로부터 출력된 픽처 타입이나, 기본 레이어, 보강 레이어에 따라서 그 픽처의 우선도를 출력한다. 필터 처리 제어부(1660)는 도 16에 나타낸 필터 처리 제어부(1560)와 동일 구성으로서, 우선 순위 결정부(1650)로부터 출력된 우선도 및 감시에 의해서 얻어진 CPU 가동률에 따라서 스위치부(1630)의 스위치(1631, 1632)를 ON/OFF 제어한다.
다음에, 이와 같이 구성된 화상 복호화 장치(1600)의 동작을 설명한다. 또, 화상 부호화 장치(1500)와 함께 설명하는 편의상, IPB 부호화 모드가 지정되어 있는 경우에 대해서 설명한다.
I 픽처의 부호화 신호를 프레임 화상으로 복호화하는 화면 내 부호화 모드 시에는, 전처리부(1610)로부터 출력된 부호화 신호는, 가변 길이 복호화부(1617)에 의해서 가변 길이 복호화되어 양자화 값으로 복호화되고, 역 양자화부(1621)에 의 한 역 직교 변환에 의해서 주파수 성분으로 신장 복호화되며, 역 직교 변환부(1622)에 의한 역 직교 변환에 의해서 프레임 화상(복호화 화상)으로 복호화된다. 이 복호화된 프레임 화상(복호화 화상)은 필터 처리 제어부(1660)의 제어에 의해 스위치(1631, 1632)가 ON 되어 있는 경우에는 화소간 필터(1640)에 의해서 블록 왜곡을 제거하는 필터 처리가 행해진 뒤, 화상 메모리(1641)에 저장되는 동시에, 후처리부(1670)에 있어서 화상의 순서가 원래대로 되돌아가거나, 포맷 변환되어, 모니터 등에 출력된다. 이것에 대해서, 스위치(1631, 1632)가 OFF 되어 있는 경우에는, 복호화 화상은 필터 처리가 행해지지 않고 화상 메모리(1641)에 저장되는 동시에, 후처리부(1670)에 있어서 화상의 순서가 원래대로 되돌아가거나, 포맷 변환되어, 모니터 등에 출력된다.
또한, P 픽처 및 B 픽처의 부호화 신호를 프레임 화상으로 복호화하는 화면간 부호화 모드 시에는, 전처리부(1610)로부터 출력된 부호화 신호는 가변 길이 복호화부(1617)에 의해서 가변 길이 복호화되어 양자화 값으로 복호화되고, 역 양자화부(1621)에 의한 역 직교 변환에 의해서 주파수 성분으로 신장 복호화되며, 역 직교 변환부(1622)에 의한 역 직교 변환에 의해서 움직임 보상 오차(차분 화상)로 복호화된다.
한편, 움직임 보상부(1643)에 의해서 움직임 보상 화상(예측 화상)이 생성된다. 또, 움직임 보상부(1643)는 전처리부(1610)로부터 출력된 움직임 벡터와, 블록예측 타입으로 나타낸 연산을 화상 메모리(1641)로부터 독출한 참조 화상의 차분 화소에 대해서 행하여 움직임 보상 화상을 생성한다.
그리고, 가산부(1624)에 의해서, 움직임 보상 오차(차분 화상)와 움직임 보상 화상을 가산함으로써, 프레임 화상으로 복호화 된다. 이 복호화된 프레임 화상(복호화 화상)은, 필터 처리 제어부(1660)의 제어에 의해 스위치(1631, 1632)가 ON되어 있는 경우에는 화소간 필터(1640)에 의해서 블록 왜곡을 제거하는 필터 처리가 행해진 뒤, 후처리부(1670)에서 화상의 순서가 원래대로 되돌아가거나, 포맷 변환되어, 모니터 등에 출력되는 동시에, 참조 가능성을 갖는 복호화 화상은 화상 메모리(1641)에 저장된다. 이에 반해 스위치(1631, 1632)가 OFF 되어 있는 경우에는 필터 처리가 행해지지 않고, 후처리부(1670)에서 화상의 순서가 원래대로 되돌아가거나, 포맷 변환되어, 모니터 등에 출력되는 동시에, 참조 가능성을 갖는 복호화 화상은, 화상 메모리(1641)에 저장된다. 여기서, 화상 부호화 장치(1500)의 스위치(1531, 1532)의 경우와 동일하게, 스위치(1631, 1632)는 필터 처리 제어부(1660)에 의해 ON/OFF 제어되어 있다.
즉, 필터 처리 제어부(1660)의 스위치 전환 처리부는, 픽처의 부호화마다 그 픽처의 우선도와, 이 화상 복호화 장치(1600)가 구비하는 CPU의 가동률을 취득하고, IPB 부호화 모드용의 테이블의 참조하는 엔트리를 결정하여, 그 엔트리의 오른쪽 난을 읽어, 복호화 화상의 픽처 타입으로 설정된 우선도가 오른쪽 란에 있는지의 여부를 판단한다. 오른쪽 란에 있으면, 필터 처리 제어부(1660)의 스위치 전환 처리부는 스위치 온의 신호를 스위치(1631, 1632)에 출력한다. 이것에 의해서, 복호화 화상에 필터 처리가 행해지고, 필터 처리가 행해진 복호화 화상이 화상 메모리(1641)에 저장된다. 이에 반해, 오른쪽 란에 없으면, 필터 처리 제어부(1660)의 스위치 전환 처리부는 스위치 오프 신호를 스위치(1631, 1632)에 출력한다. 이것에 의해서, 복호화 화상에 대한 필터 처리가 생략되어, 필터 처리를 행하지 않고 복호화 화상이 화상 메모리(1641)에 저장된다.
이러한 제어가 픽처마다 행해지고, 필터 처리가 행해진 복호화 화상이나 필터 처리가 행해지지 않은 복호화 화상이 순차적으로 화상 메모리(1641)에 저장된다.
따라서, 화상 복호화에 있어서, 항상, 노이즈 제거 등의 화소간 필터를 설치하는 것이 아니라, 필요에 따라서, 선택적으로 화소간 필터를 설치할 수 있기 때문에, 예를 들면, 화질에 크게 영향을 주는 프레임 화상만큼에 대해서 화소간 필터를 설치함으로써, 처리 능력이 작은 화상 복호화 장치에서도 화상 메모리에 저장되는 중요한 프레임의 화질을 유지하여, 화상 메모리에 저장된 복호화 화상에 블록 왜곡이 축적되는 경우가 적어져서, 움직임 보상부에 의한 예측 효율이 향상되고, MPEG의 기술보다 화질 열화를 감소시킬 수 있어서, 저 비트 레이트로 높은 화질 개선 효과를 얻을 수 있다.
즉, 다른 프레임 화상에 대해서 큰 영향도를 갖는 프레임 화상, 요컨대, 화면 내 부호화 프레임 화상, 전방향 예측 부호화 프레임 화상, 베이스·레이어 프레임 화상 등에 대해서 우선적으로 화소간 필터가 행해지기 때문에, 동일 처리 부하의 증대에 대해 보다 유효하게 화소간 필터에 의한 노이즈 제거 등의 화질 개선 효과를 얻을 수 있다.
또, 화상 복호화 장치의 처리 능력이 충분히 발휘되도록, 필터 처리의 ON/OFF를 제어할 수 있기 때문에, 높은 효율로 CPU가 사용되게 되어, 동일 하드웨어 자원에서도, 고화질의 복호화가 실현된다.
또, 본 발명은 이러한 화상 부호화 장치나 화상 복호화 장치로서 실현할 수 있을 뿐만 아니라, 이들의 장치가 구비하는 특징적인 수단을 단계로 하는 화상 부호화 방법이나 화상 복호화 방법으로서 실현하거나, 그것들의 단계를 컴퓨터에 실행시키는 프로그램으로서 실현할 수도 있다. 그리고, 그 프로그램은 CD-ROM 등의 기록 매체나 인터넷 등의 전송 매체를 통해서 유통시킬 수 있는 것은 말할 필요도 없다.
(실시형태 5)
또한, 상기 각 실시형태에서 도시한 화상 부호화 방법 또는 화상 복호화 방법의 구성을 실현하기 위한 프로그램을 플렉시블 디스크 등의 기억 매체에 기록함으로써, 상기 각 실시형태에서 나타낸 처리를 독립한 컴퓨터 시스템에서 간단히 실시하는 것이 가능해진다.
도 20은 상기 실시형태 1 내지 실시형태 2의 화상 부호화 방법 또는 화상 복호화 방법을 저장한 플렉시블 디스크를 이용하여, 컴퓨터 시스템에 의해 실시하는 경우의 설명도이다.
도 20(b)은 플렉시블 디스크의 정면에서 본 외관, 단면 구조 및 플렉시블 디스크를 도시하고, 도 20(a)은 기록 매체 본체인 플렉시블 디스크의 물리 포맷의 예를 도시하고 있다. 플렉시블 디스크(FD)는 케이스 내에 저장되고, 이 디스크의 표면에는 동심원 형상으로 외주로부터는 내주를 향해서 다수의 트랙(Tr)이 형성되고, 각 트랙은 각도 방향으로 16의 섹터(Se)로 분할되어 있다. 따라서, 상기 프로그램을 저장한 플렉시블 디스크에서는, 상기 플렉시블 디스크(FD) 상에 할당된 영역에, 상기 프로그램으로서의 화상 부호화 방법이 기록되어 있다.
또, 도 20(c)은 플렉시블 디스크(FD)에 상기 프로그램의 기록 재생을 행하기 위한 구성을 도시한다. 상기 프로그램을 플렉시블 디스크(FD)에 기록하는 경우에는, 컴퓨터 시스템(Cs)으로부터 상기 프로그램으로서의 화상 부호화 방법 또는 화상 복호화 방법을 플렉시블 디스크 드라이브를 통해서 기입한다. 또, 플렉시블 디스크 내의 프로그램에 의해 상기 화상 부호화 방법을 컴퓨터 시스템 중에 구축하는 경우에는, 플렉시블 디스크 드라이브에 의해 프로그램을 플렉시블 디스크로부터 읽어 컴퓨터 시스템에 전송한다.
또한, 상기 설명에서는, 기록 매체로서 플렉시블 디스크를 이용하여 설명을 행하였지만, 광 디스크를 이용해도 동일하게 행할 수 있다. 또, 기록 매체는 이것에 한정되지 않고, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 동일하게 실시할 수 있다.
도 21 내지 도 24는 상기 실시형태에서 나타낸 부호화 처리 또는 복호화 처리를 행하는 기기 및 이 기기를 이용한 시스템을 설명하는 도면이다.
도 21은 콘텐츠 배포 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 블록도이다. 통신 서비스의 제공 영역을 원하는 크기로 분할하고, 각 셀 내에 각각 고정 무선국인 기지국(ex107∼ex110)이 설치되어 있다. 이 콘텐츠 공급 시스템(ex200)은 예를 들면, 인터넷(ex101)에 인터넷 서비스 프로바이더(ex102) 및 전화망(ex104)을 통해서 컴퓨터(ex11), PDA(persona1 digital assistant)(ex112), 카메라(ex113), 휴대 전화(ex114)가 접속된다. 그러나, 콘텐츠 공급 시스템(ex100)은 도 21과 같은 조합으로 한정되지 않고, 어느 하나를 조합하여 접속하도록 해도 좋다. 또, 고정 무선국인 기지국(ex107∼ex110)을 통하지 않고, 전화망(ex104)에 직접 접속되어도 좋다.
카메라(ex113)는 디지털 비디오 카메라 등의 동화상 촬영이 가능한 기기이다. 또, 휴대 전화는, PDC(Personal Digital Communications) 방식, CDMA(Code Division Multiple Access) 방식, W-CDMA(Wideband-Code Division Multiple Access) 방식, 또는 GSM(Global System for Mobile Communications) 방식의 휴대 전화기, 또는 PHS(Personal Handyphone System) 등이고, 어느 것이라도 상관없다.
또한, 스트리밍 서버(ex103)는 카메라(ex113)로부터 기지국(ex109), 전화망(ex104)을 통해서 접속되어 있고, 카메라(ex113)를 이용하여 사용자가 송신하는 부호화 처리된 데이터에 기초한 라이브 배송 등이 가능하게 된다. 촬영한 데이터의 부호화 처리는 카메라(ex113)로 행해도, 데이터의 송신 처리를 하는 서버 등으로 행해도 좋다. 또, 카메라(ex116)로 촬영한 동화상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 송신되어도 좋다. 카메라(ex116)는 디지털 카메라 등의 정지화상, 동화상이 촬영 가능한 기기이다. 이 경우, 동화상 데이터의 부호화는 카메라(ex116)로 행해도 되고 컴퓨터(ex111)로 행해도 된다. 또, 부호화 처리는 컴퓨터(ex111)나 카메라(ex116)가 갖는 LSI(ex117)에서 처리하게 된다. 또, 화상 부호 화·복호화용 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 기록 매체인 어느 축적 미디어(CD-ROM, 플렉시블 디스크, 하드디스크 등)에 장착해도 좋다. 또한, 카메라가 장착된 휴대 전화(ex115)로 동화상 데이터를 송신해도 좋다. 이 때의 동화상 데이터는 휴대 전화(ex115)가 갖는 LSI에서 부호화 처리된 데이터이다.
도 22는 휴대 전화(ex115)의 일례를 나타내는 도면이다. 휴대 전화(ex115)는 기지국(ex110) 사이에서 전파를 송수신하기 위한 안테나(ex201), CCD 카메라 등의 영상, 정지화상을 찍는 것이 가능한 카메라부(ex203), 카메라부(ex203)에서 촬영한 영상, 안테나(ex201)로 수신한 영상 등이 복호화된 데이터를 표시하는 액정 디스플레이 등의 표시부(ex202), 조작 키군으로 구성되는 본체부(ex204), 음성 출력을 하기 위한 스피커 등의 음성 출력부(ex208), 음성 입력을 하기 위한 마이크 등의 음성 입력부(ex205), 촬영한 동화상 또는 정지화상의 데이터, 수신한 메일의 데이터, 동화상의 데이터 또는 정지화상의 데이터 등, 부호화된 데이터 또는 복호화된 데이터를 보존하기 위한 기억 미디어(ex207), 휴대 전화(ex115)에 기억 미디어(ex207)를 장착 가능하게 하기 위한 슬롯부(ex206)를 갖고 있다. 기억 미디어(ex207)는 SD 카드 등의 플라스틱 케이스 내에 전기적으로 고쳐쓰기나 삭제가 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플래시 메모리 소자를 저장한 것이다.
이 콘텐츠 공급 시스템(ex100)에서는, 사용자가 카메라(ex113), 카메라(ex116) 등으로 촬영하고 있는 콘텐츠(예를 들면, 음악 라이브를 촬영한 영상 등)를 상기 실시형태와 동일하게 부호화 처리하여 스트리밍 서버(ex103)에 송신하 는 한편, 스트리밍 서버(ex103)의 요구가 있었던 클라이언트에 대해서 상기 콘텐츠 데이터를 스트림 배송한다. 클라이언트로서는, 상기 부호화 처리된 데이터를 복호화하는 것이 가능한 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대 전화(ex114) 등이 있다. 이와 같이 함으로써, 콘텐츠 공급 시스템(ex100)은 부호화된 데이터를 클라이언트에서 수신하여 재생할 수 있고, 또한 클라이언트에서 실시간으로 수신하여 복호화하여 재생함으로써, 개인 방송도 실현 가능하게 되는 시스템이다.
또한, 휴대 전화(ex115)에 대해서 도 23을 이용하여 설명한다. 휴대 전화(ex115)는 표시부(ex202) 및 본체부(ex204)의 각 부를 통괄적으로 제어하도록 이루어진 주 제어부(ex311)에 대해서, 전원 회로부(ex310), 조작 입력 제어부(ex304), 화상 부호화부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 화상 복호화부(ex309), 다중 분리부(ex308), 기록 재생부(ex307), 변복조 회로부(ex306) 및 음성 처리부(ex305)가 동기 버스(ex313)를 통해서 서로 접속되어 있다. 전원 회로부(ex310)는 사용자의 조작에 의해 통화 종료 및 전원 키가 온 상태가 되면, 배터리팩으로부터 각 부에 대해서 전력을 공급함으로써 카메라가 부착된 디지털 휴대 전화(ex115)를 동작 가능한 상태로 기동한다. 휴대 전화(ex115)는 CPU, ROM 및 RAM 등으로 되는 주 제어부(ex311)의 제어에 기초하여, 음성 통화 모드 시에 음성 입력부(ex205)에서 음을 모은 음성 데이터를 음성 처리부(ex305)에 의해서 디지털 음성 데이터로 변환하고, 이것을 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 뒤에 안테나(ex201) 를 통해서 송신한다. 또 휴대 전화기(ex115)는 음성 통화 모드 시에 안테나(ex201)로 수신한 수신 데이터를 증폭하여 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시하고, 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 음성 처리부(ex305)에 의해서 아날로그 음성 데이터로 변환한 뒤, 이것을 음성 출력부(208)를 통해서 출력한다. 또한, 데이터 통신 모드 시에 전자 메일을 송신하는 경우, 본체부(ex204)의 조작키의 조작에 의해서 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해서 주 제어부(ex311)에 송출된다. 주 제어부(ex311)는 텍스트 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 뒤에 안테나(ex201)를 통해서 기지국(ex110)으로 송신한다.
데이터 통신 모드 시에 화상 데이터를 송신하는 경우, 카메라부(ex203)에서 촬상된 화상 데이터를 카메라 인터페이스부(ex303)를 통해서 화상 부호화부(ex312)에 공급한다. 또, 화상 데이터를 송신하지 않은 경우에는, 카메라부(ex203)에서 촬상한 화상 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시하는 것도 가능하다.
화상 부호화부(ex312)는 카메라부(ex203)로부터 공급된 화상 데이터를 상기실시형태에서 나타낸 부호화 방법에 의해서 압축 부호화함으로써 부호화 화상 데이터로 변환하고, 이것을 다중 분리부(ex308)에 송출한다. 또, 이 때 동시에 휴대 전화기(ex115)는 카메라부(ex203)에서 촬상 중에 음성 입력부(ex205)에서 음을 모은 음성을 음성 처리부(ex305)를 통해서 디지털의 음성 데이터로서 다중 분리 부(ex308)에 송출한다.
다중 분리부(ex308)는 화상 부호화부(ex312)로부터 공급된 부호화 화상 데이터와 음성 처리부(ex305)로부터 공급된 음성 데이터를 소정의 방식으로 다중화하고, 그 결과 얻어지는 다중화 데이터를 변복조 회로부(ex306)에서 스펙트럼 확산 처리하여, 송수신 회로부(ex301)에서 디지털 아날로그 변환 처리 및 주파수 변환 처리를 행한 후에 안테나(ex201)를 통해서 송신한다.
데이터 통신 모드 시에 홈페이지 등에 링크된 동화상 파일의 데이터를 수신하는 경우, 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한 수신 데이터를 변복조 회로부(ex306)에서 스펙트럼 역확산 처리하여, 그 결과 얻어지는 다중화 데이터를 다중 분리부(ex308)에 송출한다.
또, 안테나(ex201)를 통해서 수신된 다중화 데이터를 복호화하기 위해서는, 다중 분리부(ex308)는 다중화 데이터를 분리함으로써 부호화 화상 데이터와 음성 데이터로 나누어, 동기 버스(ex313)를 통해서 해당 부호화 화상 데이터를 화상 복호화부(ex309)에 공급하는 동시에 해당 음성 데이터를 음성 처리부(ex305)에 공급한다.
다음에, 화상 복호화부(ex309)는 부호화 화상 데이터를 상기 실시형태에서 나타낸 부호화 방법에 대응한 복호화 방법으로 복호함으로써 재생 동화상 데이터를 생성하여, 이것을 LCD 제어부(ex302)를 통해서 표시부(ex202)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 표시된다. 이 때 동시에 음성 처리부(ex305)는 음성 데이터를 아날로그 음성 데이터로 변환한 뒤, 이것을 음성 출력부(ex208)에 공급하고, 이것에 의해, 예를 들면 홈페이지에 링크된 동화상 파일에 포함되는 음성 데이터가 재생된다.
또, 상기 시스템의 예에 한정되지 않고, 최근에는 위성, 지상파에 의한 디지털 방송이 화제가 되고 있고, 도 24에 나타낸 바와 같이 디지털 방송용 시스템에도 상기 실시형태의 적어도 부호화 방법 또는 복호화 방법 중 어느 하나를 장착할 수 있다. 구체적으로는, 방송국(ex409)에서는 영상 정보의 부호화 비트 스트림이 전파를 통해서 통신 또는 방송 위성(ex410)에 전송된다. 이것을 받은 방송 위성(ex410)은 방송용의 전파를 발신하고, 이 전파를 위성 방송 수신 설비를 갖는 가정의 안테나(ex406)에서 수신하여, 텔레비전(수신기)(ex401) 또는 셋탑박스(STB)(ex407) 등의 장치에 의해 부호화 비트 스트림을 복호화하여 이것을 재생한다. 또, 기록 매체인 CD나 DVD 등의 축적 미디어(ex402)에 기록한 부호화 비트 스트림을 독출하여, 복호화하는 재생 장치(ex403)에도 상기 실시형태에서 도시한 화상 복호화 장치를 설치하는 것이 가능하다. 이 경우, 재생된 영상 신호는 모니터(ex404)에 표시된다. 또한, 케이블 텔레비전용의 케이블(ex405) 또는 위성/지상파 방송의 안테나(ex406)에 접속된 셋탑박스(ex407) 내에 화상 복호화 장치를 설치하고, 이것을 텔레비전의 모니터(ex408)에서 재생하는 구성도 생각할 수 있다. 이 때, 셋탑박스가 아닌 텔레비전 내에 화상 복호화 장치를 장착해도 좋다. 또, 안테나(ex411)를 갖는 자동차(ex412)에서 위성(ex410)으로부터 또는 기지국(ex107) 등으로부터 신호를 수신하여, 자동차(ex412)가 갖는 카 네비게이션(ex413) 등의 표시 장치에 동화상을 재생하는 것도 가능하다.
또한, 화상 신호를 상기 실시형태에서 나타낸 화상 부호화 장치로 부호화하여, 기록 매체에 기록하는 것도 가능하다. 구체예로서는, DVD 디스크(ex421)에 화상 신호를 기록하는 DVD 레코더나, 하드디스크에 기록하는 디스크 레코더 등의 레코더(ex420)가 있다. 또한, SD 카드(ex422)에 기록할 수도 있다. 레코더(ex420)가 상기 실시형태에서 나타낸 화상 복호화 장치를 구비하고 있으면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록한 화상 신호를 재생하여, 모니터(ex408)에서 표시할 수 있다.
또, 카 네비게이션(ex413)의 구성은 예를 들면 도 23에 나타낸 휴대 전화기(ex115)와 동일하지만, 도 23에 도시한 구성 중, 카메라부(ex203)와 카메라 인터페이스부(ex303), 화상 부호화부(ex312)를 제외한 구성을 생각할 수 있다. 동일한 것을 컴퓨터(ex111)나 텔레비전(수신기)(ex401) 등에서도 생각할 수 있다.
또, 상기 휴대 전화(ex114) 등의 단말은, 부호화기·복호화기를 모두 갖는 송수신형의 단말 외에, 부호화기만의 송신 단말, 복호화기만의 수신 단말의 3종류의 설치 형식을 생각할 수 있다.
이와 같이, 본 명세서에 나타낸 부호화 방법, 복호화 방법을 설치함으로써 본 실시형태에서 나타낸 어느 장치 시스템에 대해서도 실현 가능하게 된다.
본 발명에 관한 화상 부호화 장치는, 통신 기능을 구비하는 퍼스널 컴퓨터, PDA 및 휴대 전화기 등에 구비되는 화상 부호화 장치로서 유용하다.
또, 본 발명에 관한 화상 복호화 장치는, 통신 기능을 구비하는 퍼스널 컴퓨터, PDA 및 휴대 전화기 등에 구비되는 화상 복호화 장치로서 유용하다.

Claims (1)

  1. 화상 부호화 방법에 있어서,
    참조 화상을 참조하여 생성된 예측 화상을 이용하여 또는 이용하지 않고, 부호화 데이터를 획득하기 위해 입력 화상을 부호화하는 단계;
    복호 화상을 획득하기 위해 상기 부호화 데이터를 복호화하는 단계;
    상기 복호 화상을 필터링하는 단계; 및
    다음번 입력 화상을 부호화하기 위한 참조 화상으로 사용하기 위해, 필터링된 상기 복호 화상을 저장하는 단계를 포함하고,
    입력 화상이 부호화 과정에서 상기 예측 화상을 이용하지 않고 부호화된 화상의 복호 화상인 경우, 부호화 과정에서 상기 예측 화상을 이용하여 부호화된 화상의 복호 화상의 필터링보다 더 높은 평활도로 복호 화상의 필터링을 수행하는 것을 특징으로 하는 화상 부호화 방법.
KR1020067012681A 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법 KR100804902B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001276280 2001-09-12
JPJP-P-2001-00276280 2001-09-12

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20037006439A Division KR100656296B1 (ko) 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법

Publications (2)

Publication Number Publication Date
KR20060089754A KR20060089754A (ko) 2006-08-09
KR100804902B1 true KR100804902B1 (ko) 2008-02-20

Family

ID=19101005

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020067025365A KR100801385B1 (ko) 2001-09-12 2002-09-11 화상 부호화 장치 및 화상 복호화 장치
KR1020067012682A KR100845067B1 (ko) 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법
KR20037006439A KR100656296B1 (ko) 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법
KR1020067012681A KR100804902B1 (ko) 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법
KR1020067012680A KR100743818B1 (ko) 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법

Family Applications Before (3)

Application Number Title Priority Date Filing Date
KR1020067025365A KR100801385B1 (ko) 2001-09-12 2002-09-11 화상 부호화 장치 및 화상 복호화 장치
KR1020067012682A KR100845067B1 (ko) 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법
KR20037006439A KR100656296B1 (ko) 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020067012680A KR100743818B1 (ko) 2001-09-12 2002-09-11 화상 부호화 방법 및 화상 복호화 방법

Country Status (14)

Country Link
US (8) US7126989B2 (ko)
EP (8) EP2164267B1 (ko)
JP (13) JP3756475B2 (ko)
KR (5) KR100801385B1 (ko)
CN (6) CN1738429A (ko)
AT (6) ATE507677T1 (ko)
BR (1) BRPI0205988B1 (ko)
CA (3) CA2582665C (ko)
DE (4) DE60239904D1 (ko)
DK (2) DK2296382T3 (ko)
ES (6) ES2335677T3 (ko)
MX (1) MXPA03004077A (ko)
PT (1) PT2296382E (ko)
WO (1) WO2003026314A1 (ko)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2582665C (en) * 2001-09-12 2012-04-24 Matsushita Electric Industrial Co., Ltd. Picture coding method and picture decoding method
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
KR101056142B1 (ko) * 2004-01-29 2011-08-10 케이엘에이-텐코 코포레이션 레티클 설계 데이터의 결함을 검출하기 위한 컴퓨터로구현되는 방법
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
JP2006047993A (ja) * 2004-07-08 2006-02-16 Sharp Corp データ変換装置
CN1306820C (zh) * 2004-07-29 2007-03-21 联合信源数字音视频技术（北京）有限公司 视频解码芯片分数像素滤波系统及其滤波方法
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
JP4904034B2 (ja) * 2004-09-14 2012-03-28 ケーエルエー−テンカー コーポレイション レチクル・レイアウト・データを評価するための方法、システム及び搬送媒体
EP1641274B1 (en) * 2004-09-23 2013-06-05 Panasonic Corporation Video coding employing an image de-graining loop-filter
DE602005015067D1 (de) 2004-09-30 2009-08-06 Toshiba Kk Informationsbearbeitungsgerät und Programm
US7729529B2 (en) * 2004-12-07 2010-06-01 Kla-Tencor Technologies Corp. Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle
JP4191729B2 (ja) * 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
DE102005032601A1 (de) * 2005-01-07 2006-07-20 Heidelberger Druckmaschinen Ag Druckmaschine
US7403562B2 (en) * 2005-03-09 2008-07-22 Eg Technology, Inc. Model based rate control for predictive video encoder
JP5019054B2 (ja) * 2005-04-27 2012-09-05 日本電気株式会社 画像復号方法、その装置及びプログラム
JP4672431B2 (ja) * 2005-05-13 2011-04-20 パナソニック株式会社 フィルタ特性異常隠蔽処理装置
US7769225B2 (en) * 2005-08-02 2010-08-03 Kla-Tencor Technologies Corp. Methods and systems for detecting defects in a reticle design pattern
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8041103B2 (en) * 2005-11-18 2011-10-18 Kla-Tencor Technologies Corp. Methods and systems for determining a position of inspection data in design data space
JP4643437B2 (ja) * 2005-12-27 2011-03-02 株式会社東芝 情報処理装置
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4825524B2 (ja) * 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
JP4828950B2 (ja) * 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置
JP5516842B2 (ja) * 2006-02-15 2014-06-11 日本電気株式会社 動画像処理装置、動画像処理方法、および動画像処理プログラム
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
EP1994756A2 (en) * 2006-03-03 2008-11-26 Koninklijke Philips Electronics N.V. Differential coding with lossy embedded compression
JP4417919B2 (ja) * 2006-03-31 2010-02-17 株式会社東芝 画像符号化装置及び画像復号化装置
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
WO2008048489A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
EP4224853A1 (en) 2006-11-08 2023-08-09 InterDigital VC Holdings, Inc. Methods and apparatus for in-loop de-artifact filtering
KR100835661B1 (ko) * 2006-12-07 2008-06-09 부산대학교 산학협력단 다수 필터 결정법을 이용한 동영상 압축 부호화 장치 및방법
RU2461977C2 (ru) * 2006-12-18 2012-09-20 Конинклейке Филипс Электроникс Н.В. Сжатие и снятие сжатия изображения
WO2008077100A2 (en) 2006-12-19 2008-06-26 Kla-Tencor Corporation Systems and methods for creating inspection recipes
WO2008086282A2 (en) * 2007-01-05 2008-07-17 Kla-Tencor Corporation Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions
CN101227601B (zh) * 2007-01-15 2011-09-14 飞思卡尔半导体公司 在视频再现中进行几何变换的方法和设备
FI120855B (fi) * 2007-02-15 2010-03-31 Kone Corp Laitteisto ja menetelmä moottorin tehonsyötön ohjaamiseksi
WO2008130367A1 (en) * 2007-04-19 2008-10-30 Thomson Licensing Adaptive reference picture data generation for intra prediction
WO2008134482A1 (en) * 2007-04-26 2008-11-06 Polycom, Inc. De-blocking filter arrangements
US7962863B2 (en) 2007-05-07 2011-06-14 Kla-Tencor Corp. Computer-implemented methods, systems, and computer-readable media for determining a model for predicting printability of reticle features on a wafer
US7738093B2 (en) 2007-05-07 2010-06-15 Kla-Tencor Corp. Methods for detecting and classifying defects on a reticle
US8213704B2 (en) * 2007-05-09 2012-07-03 Kla-Tencor Corp. Methods and systems for detecting defects in a reticle design pattern
JPWO2009001793A1 (ja) * 2007-06-26 2010-08-26 株式会社東芝 画像符号化と画像復号化の方法及び装置
US7796804B2 (en) * 2007-07-20 2010-09-14 Kla-Tencor Corp. Methods for generating a standard reference die for use in a die to standard reference die inspection and methods for inspecting a wafer
US7711514B2 (en) * 2007-08-10 2010-05-04 Kla-Tencor Technologies Corp. Computer-implemented methods, carrier media, and systems for generating a metrology sampling plan
TWI469235B (zh) * 2007-08-20 2015-01-11 Kla Tencor Corp 決定實際缺陷是潛在系統性缺陷或潛在隨機缺陷之由電腦實施之方法
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
JPWO2009110160A1 (ja) * 2008-03-07 2011-07-14 株式会社東芝 動画像符号化／復号化方法及び装置
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR101591825B1 (ko) * 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
US9848209B2 (en) 2008-04-02 2017-12-19 Microsoft Technology Licensing, Llc Adaptive error detection for MPEG-2 error concealment
US8139844B2 (en) * 2008-04-14 2012-03-20 Kla-Tencor Corp. Methods and systems for determining a defect criticality index for defects on wafers
US9788018B2 (en) 2008-06-30 2017-10-10 Microsoft Technology Licensing, Llc Error concealment techniques in video decoding
WO2010010942A1 (ja) * 2008-07-25 2010-01-28 ソニー株式会社 画像処理装置および方法
KR101729669B1 (ko) 2008-07-28 2017-04-24 케이엘에이-텐코어 코오포레이션 웨이퍼 상의 메모리 디바이스 영역에서 검출된 결함들을 분류하기 위한 컴퓨터-구현 방법들, 컴퓨터-판독 가능 매체, 및 시스템들
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US9131241B2 (en) * 2008-11-25 2015-09-08 Microsoft Technology Licensing, Llc Adjusting hardware acceleration for video playback based on error detection
JP2012054618A (ja) * 2008-11-26 2012-03-15 Hitachi Ltd 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法
JP2010157949A (ja) * 2009-01-05 2010-07-15 Toshiba Corp 動画像符号化／復号化方法及び装置
US8775101B2 (en) 2009-02-13 2014-07-08 Kla-Tencor Corp. Detecting defects on a wafer
US8204297B1 (en) 2009-02-27 2012-06-19 Kla-Tencor Corp. Methods and systems for classifying defects detected on a reticle
US8112241B2 (en) * 2009-03-13 2012-02-07 Kla-Tencor Corp. Methods and systems for generating an inspection process for a wafer
US9270871B2 (en) 2009-04-20 2016-02-23 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
WO2010137322A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2010143858A2 (ko) * 2009-06-09 2010-12-16 삼성전자주식회사 대용량의 영상을 효율적으로 전송하는 영상 부호화 장치 및 영상 복호화 장치
EP2264954B1 (en) * 2009-06-18 2012-02-01 Alcatel Lucent Method and apparatus for congestion control
US20120087595A1 (en) * 2009-06-19 2012-04-12 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
KR20230093060A (ko) * 2009-07-07 2023-06-26 인터디지털 브이씨 홀딩스 인코포레이티드 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
US8340510B2 (en) 2009-07-17 2012-12-25 Microsoft Corporation Implementing channel start and file seek for decoder
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5604825B2 (ja) 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
DE102009050312B4 (de) * 2009-10-22 2015-01-22 Airbus Operations Gmbh Digitales Rundsendeverfahren
JP5340415B2 (ja) * 2009-12-07 2013-11-13 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2011096071A1 (ja) * 2010-02-05 2011-08-11 株式会社 東芝 動画像符号化装置及び動画像復号化装置
CN102792690B (zh) * 2010-03-09 2016-06-15 汤姆森特许公司 基于分类环路滤波器的方法和装置
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US20110249742A1 (en) * 2010-04-07 2011-10-13 Apple Inc. Coupled video pre-processor and codec including reference picture filter that minimizes coding expense during pre-processing mode transitions
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
BR112012027438B1 (pt) * 2010-04-26 2022-02-22 Sun Patent Trust Método para decodificar, meio legível por computador e aparelho para decodificar
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
JP5805991B2 (ja) * 2010-05-07 2015-11-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム
JP2012009934A (ja) * 2010-06-22 2012-01-12 Sony Corp 画像処理装置と画像処理方法
JP5066232B2 (ja) * 2010-07-28 2012-11-07 株式会社東芝 情報処理装置および画像処理方法
US8781781B2 (en) 2010-07-30 2014-07-15 Kla-Tencor Corp. Dynamic care areas
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
WO2012049876A1 (ja) * 2010-10-12 2012-04-19 株式会社 東芝 動画像符号化方法および復号方法
JP2012085211A (ja) * 2010-10-14 2012-04-26 Sony Corp 画像処理装置および方法、並びにプログラム
US9170211B2 (en) 2011-03-25 2015-10-27 Kla-Tencor Corp. Design-based inspection using repeating structures
JP5653307B2 (ja) * 2011-06-27 2015-01-14 日本電信電話株式会社 画像符号化方法，画像符号化装置およびそのプログラム
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
KR101956284B1 (ko) * 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
JP5159927B2 (ja) * 2011-07-28 2013-03-13 株式会社東芝 動画像復号装置及び動画像復号方法
CN107197254B (zh) 2011-09-09 2020-03-03 太阳专利托管公司 解码方法及解码装置
US9087367B2 (en) 2011-09-13 2015-07-21 Kla-Tencor Corp. Determining design coordinates for wafer defects
US8831334B2 (en) 2012-01-20 2014-09-09 Kla-Tencor Corp. Segmentation for wafer inspection
CN104160701B (zh) * 2012-01-27 2017-06-30 太阳专利托管公司 图像编码方法、图像解码方法、图像编码装置、及图像解码装置
WO2013147495A1 (ko) * 2012-03-26 2013-10-03 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
US8826200B2 (en) 2012-05-25 2014-09-02 Kla-Tencor Corp. Alteration for wafer inspection
WO2014053518A1 (en) * 2012-10-01 2014-04-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding using subblock-based coding of transform coefficient blocks in the enhancement layer
US9189844B2 (en) 2012-10-15 2015-11-17 Kla-Tencor Corp. Detecting defects on a wafer using defect-specific information
WO2014104104A1 (ja) * 2012-12-28 2014-07-03 日本電信電話株式会社 映像符号化装置および方法、映像復号装置および方法、及びそれらのプログラム
US9053527B2 (en) 2013-01-02 2015-06-09 Kla-Tencor Corp. Detecting defects on a wafer
US9134254B2 (en) 2013-01-07 2015-09-15 Kla-Tencor Corp. Determining a position of inspection system output in design data space
US9311698B2 (en) 2013-01-09 2016-04-12 Kla-Tencor Corp. Detecting defects on a wafer using template image matching
KR102019534B1 (ko) 2013-02-01 2019-09-09 케이엘에이 코포레이션 결함 특유의, 다중 채널 정보를 이용한 웨이퍼 상의 결함 검출
KR102273025B1 (ko) * 2013-03-06 2021-07-05 삼성전자주식회사 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 부호화 방법 및 그 장치, 선택적인 노이즈제거 필터링을 이용한 스케일러블 비디오 복호화 방법 및 그 장치
JP5573996B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5573997B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
US9865512B2 (en) 2013-04-08 2018-01-09 Kla-Tencor Corp. Dynamic design attributes for wafer inspection
US9310320B2 (en) 2013-04-15 2016-04-12 Kla-Tencor Corp. Based sampling and binning for yield critical defects
WO2014174591A1 (ja) * 2013-04-23 2014-10-30 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
KR101946039B1 (ko) * 2013-09-24 2019-02-08 브이아이디 스케일, 인크. 스케일가능한 비디오 코딩을 위한 계층간 예측
JP2015144423A (ja) 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
EP3171597A4 (en) * 2014-07-18 2017-12-13 Panasonic Intellectual Property Corporation of America Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, and content delivery method
FR3027480B1 (fr) * 2014-10-17 2020-10-23 Institut Nat Des Sciences Appliquees De Rennes Decodeur, procede et systeme de decodage de flux multimedia
JP6396782B2 (ja) * 2014-12-11 2018-09-26 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
US10645393B2 (en) 2015-05-12 2020-05-05 Samsung Electronics Co., Ltd. Image encoding method and device for sample value compensation and image decoding method and device for sample value compensation
US9736081B2 (en) 2015-06-04 2017-08-15 At&T Intellectual Property I, L.P. Apparatus and method to improve compression and storage data
CN107925773B (zh) * 2015-06-11 2022-06-07 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
KR102398232B1 (ko) * 2015-06-16 2022-05-16 광운대학교 산학협력단 참조 영상 필터링을 통한 비디오 신호 복호화 방법 및 장치
JP6229770B2 (ja) * 2016-07-25 2017-11-15 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2018069787A1 (en) 2016-10-14 2018-04-19 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, broadcasting system, and electronic device
JP7260472B2 (ja) * 2017-08-10 2023-04-18 シャープ株式会社 画像フィルタ装置
CN107820128B (zh) 2017-11-10 2019-12-27 深圳创维－Rgb电子有限公司 Usb录制功能定制方法、装置及计算机可读存储介质
GB2574380A (en) * 2018-05-30 2019-12-11 Realvnc Ltd Processing image data
WO2020142483A1 (en) * 2018-12-31 2020-07-09 Futurewei Technologies, Inc. Explicit address signaling in video coding
CN114175639A (zh) * 2019-08-07 2022-03-11 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
US10929958B1 (en) * 2019-11-15 2021-02-23 Novatek Microelectronics Corp. Method and image processing device for image blurring
US20230059035A1 (en) * 2021-08-23 2023-02-23 Netflix, Inc. Efficient encoding of film grain noise

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940006349A (ko) * 1992-07-02 1994-03-23 모리시타 요이찌 적응에너지부 강화필터를 지닌 영상신호 부호화 복호화장치

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8503007A (nl) 1985-11-04 1987-06-01 Philips Nv Weergeefinrichting met lage stuurspanningen.
US4706260A (en) * 1986-11-07 1987-11-10 Rca Corporation DPCM system with rate-of-fill control of buffer occupancy
JPH0710103B2 (ja) * 1987-06-11 1995-02-01 三菱電機株式会社 画像符号化伝送装置
US4941043A (en) * 1988-06-14 1990-07-10 Siemens Aktiengesellschaft Method for reducing blocking artifacts in video scene coding with discrete cosine transformation (DCT) at a low data rate
DE3839642A1 (de) * 1988-11-24 1990-05-31 Bosch Gmbh Robert Einrichtung zur codierung von videosignalen
JPH0714211B2 (ja) 1989-07-14 1995-02-15 国際電信電話株式会社 動画像符号化のブロック歪除去方法および装置
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JPH03136586A (ja) * 1989-10-23 1991-06-11 Nec Corp 圧縮符号化装置
EP0444918B1 (en) * 1990-02-28 1996-06-05 Victor Company Of Japan, Limited Data compression apparatus
JPH0431490A (ja) 1990-05-28 1992-02-03 I B Ii:Kk 土壤改質剤の製造方法
JPH04246763A (ja) 1991-01-31 1992-09-02 Nec Corp マルチプロセッサ回路
JP2643636B2 (ja) 1991-04-18 1997-08-20 松下電器産業株式会社 信号処理方法
US5337088A (en) 1991-04-18 1994-08-09 Matsushita Electric Industrial Co. Ltd. Method of correcting an image signal decoded in block units
JP3169263B2 (ja) * 1992-05-18 2001-05-21 日本電信電話株式会社 動画像データの符号化装置
JPH063878A (ja) * 1992-06-17 1994-01-14 Ricoh Co Ltd 電子写真装置
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US5329318A (en) * 1993-05-13 1994-07-12 Intel Corporation Method for optimizing image motion estimation
JP3495766B2 (ja) * 1993-10-01 2004-02-09 テキサス インスツルメンツ インコーポレイテツド 画像処理方法
JPH07231449A (ja) * 1994-02-21 1995-08-29 Sony Corp 画像信号符号化装置及び画像信号復号化装置
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
KR0165497B1 (ko) * 1995-01-20 1999-03-20 김광호 블럭화현상 제거를 위한 후처리장치 및 그 방법
JPH08214309A (ja) * 1995-02-07 1996-08-20 Canon Inc 画像信号復号装置
JPH0993132A (ja) * 1995-09-27 1997-04-04 Toshiba Corp 符号化・復号化装置及び方法
US6041145A (en) * 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
JPH09284748A (ja) * 1996-04-19 1997-10-31 Sony Corp 双方向情報伝送システムおよび双方向情報伝送方法
JPH09289642A (ja) * 1996-04-23 1997-11-04 Matsushita Electric Ind Co Ltd ビデオ信号符号化方法、ビデオ信号復号化方法及び装置
JPH1070717A (ja) 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
GB2317525B (en) * 1996-09-20 2000-11-08 Nokia Mobile Phones Ltd A video coding system
JP3392335B2 (ja) * 1996-11-26 2003-03-31 松下電器産業株式会社 動画像可変ビットレート符号化装置、動画像可変ビットレート符号化方法、および動画像可変ビットレート符号化プログラム記録媒体
JP3872849B2 (ja) * 1996-11-28 2007-01-24 松下電器産業株式会社 動画像符号化装置
JP3961600B2 (ja) 1996-12-27 2007-08-22 ソニー株式会社 ブロック歪低減方法及び装置
JPH10224790A (ja) * 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 圧縮伸張された画像中のブロック状ノイズを除去するフィルタおよびフィルタ方法
US6212236B1 (en) * 1997-03-26 2001-04-03 Matsushita Electric Industrial Co., Ltd. Image decoding apparatus
US6078695A (en) * 1997-06-13 2000-06-20 Matsushita Electric Industrial Co., Ltd. Shape coding method and shape decoding method
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP2000125260A (ja) * 1998-10-15 2000-04-28 Toshiba Corp 動画像伝送サーバおよび同サーバを用いた動画像伝送システム並びに動画像伝送制御方法
US6192161B1 (en) * 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
CN1286575A (zh) * 1999-08-25 2001-03-07 松下电器产业株式会社 噪声检测方法、噪声检测装置及图象编码装置
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
JP3664626B2 (ja) 2000-02-10 2005-06-29 シャープ株式会社 フィルタ装置
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
JP2003032685A (ja) 2001-07-16 2003-01-31 Sony Corp ノイズ低減方法および映像処理装置
CA2582665C (en) 2001-09-12 2012-04-24 Matsushita Electric Industrial Co., Ltd. Picture coding method and picture decoding method
US7319949B2 (en) * 2003-05-27 2008-01-15 Microsoft Corporation Unilingual translator

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940006349A (ko) * 1992-07-02 1994-03-23 모리시타 요이찌 적응에너지부 강화필터를 지닌 영상신호 부호화 복호화장치

Also Published As

Publication number Publication date
JP2011125070A (ja) 2011-06-23
KR100845067B1 (ko) 2008-07-09
EP2278817A1 (en) 2011-01-26
ES2271762T3 (es) 2007-04-16
JP3756475B2 (ja) 2006-03-15
CN100515090C (zh) 2009-07-15
KR100656296B1 (ko) 2006-12-11
ES2375553T3 (es) 2012-03-02
EP2278817B1 (en) 2012-05-23
EP1515567A2 (en) 2005-03-16
US7583731B2 (en) 2009-09-01
DE60203492D1 (de) 2005-05-04
CN1968413B (zh) 2012-05-30
ES2335677T3 (es) 2010-03-31
US7944977B2 (en) 2011-05-17
DE60203492T2 (de) 2006-01-26
EP2290987B1 (en) 2013-02-20
DK2296382T3 (da) 2012-01-30
EP1387585B1 (en) 2005-03-30
KR100801385B1 (ko) 2008-02-05
EP1387585A1 (en) 2004-02-04
DE60239904D1 (de) 2011-06-09
CN1738429A (zh) 2006-02-22
US20080069210A1 (en) 2008-03-20
US20120213276A1 (en) 2012-08-23
KR20060081886A (ko) 2006-07-13
EP2164267A1 (en) 2010-03-17
JP4031490B2 (ja) 2008-01-09
WO2003026314A1 (en) 2003-03-27
ES2238593T3 (es) 2005-09-01
US8184722B2 (en) 2012-05-22
DK1387585T3 (da) 2005-07-25
CN1968411A (zh) 2007-05-23
JP4246763B2 (ja) 2009-04-02
JP2003179933A (ja) 2003-06-27
ATE507677T1 (de) 2011-05-15
EP1694076A1 (en) 2006-08-23
CN1968412B (zh) 2012-05-30
JP2015006000A (ja) 2015-01-08
CA2582664A1 (en) 2003-03-27
JP4709318B2 (ja) 2011-06-22
KR20030062333A (ko) 2003-07-23
CA2582665C (en) 2012-04-24
US20060239350A1 (en) 2006-10-26
JP2012016048A (ja) 2012-01-19
CN1784018A (zh) 2006-06-07
CA2428081A1 (en) 2003-03-27
EP2290987A1 (en) 2011-03-02
EP2293579B1 (en) 2012-01-25
JP4847612B2 (ja) 2011-12-28
US20060188017A1 (en) 2006-08-24
PT2296382E (pt) 2012-01-19
EP2164267B1 (en) 2011-04-27
CN1493157A (zh) 2004-04-28
EP2296382A1 (en) 2011-03-16
KR20060089755A (ko) 2006-08-09
EP1694076B1 (en) 2009-12-30
CA2582664C (en) 2012-04-24
US8194759B2 (en) 2012-06-05
ATE540531T1 (de) 2012-01-15
DE60214248T2 (de) 2007-08-23
DE60234962D1 (de) 2010-02-11
US20090103614A1 (en) 2009-04-23
JP2010259101A (ja) 2010-11-11
CN1968412A (zh) 2007-05-23
US7929616B2 (en) 2011-04-19
US20060239351A1 (en) 2006-10-26
US20060239352A1 (en) 2006-10-26
MXPA03004077A (es) 2003-09-04
ES2375553T9 (es) 2012-06-07
ES2379337T3 (es) 2012-04-25
JP2009100481A (ja) 2009-05-07
CN1968413A (zh) 2007-05-23
EP1387585A4 (en) 2004-03-03
JP2006014301A (ja) 2006-01-12
KR100743818B1 (ko) 2007-07-30
JP4621811B2 (ja) 2011-01-26
KR20060133115A (ko) 2006-12-22
EP2296382B1 (en) 2012-01-04
JP2015006001A (ja) 2015-01-08
EP1515567A3 (en) 2005-03-23
BRPI0205988B1 (pt) 2017-01-17
ATE292357T1 (de) 2005-04-15
JP2007151150A (ja) 2007-06-14
JP5468048B2 (ja) 2014-04-09
CA2428081C (en) 2008-01-22
US7961793B2 (en) 2011-06-14
US20040032908A1 (en) 2004-02-19
JP4722234B2 (ja) 2011-07-13
ATE337683T1 (de) 2006-09-15
BR0205988A (pt) 2003-08-26
KR20060089754A (ko) 2006-08-09
JP5755364B2 (ja) 2015-07-29
DE60214248T8 (de) 2007-12-27
DE60214248D1 (de) 2006-10-05
EP1515567B1 (en) 2006-08-23
JP2011101423A (ja) 2011-05-19
US7126989B2 (en) 2006-10-24
ATE543339T1 (de) 2012-02-15
ATE454016T1 (de) 2010-01-15
ES2387357T3 (es) 2012-09-20
CA2582665A1 (en) 2003-03-27
JP2010193490A (ja) 2010-09-02
JP2010268507A (ja) 2010-11-25
JP2014017844A (ja) 2014-01-30
EP2293579A1 (en) 2011-03-09

Similar Documents

Publication Publication Date Title
KR100804902B1 (ko) 화상 부호화 방법 및 화상 복호화 방법
JP5469761B2 (ja) 符号化歪除去方法
JP4009650B2 (ja) 符号化歪除去方法、動画像符号化方法、動画像復号化方法、およびそれらを実現する装置、プログラム
JP4105218B2 (ja) 受信装置及び送信装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
FPAY Annual fee payment

Payment date: 20130117

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140120

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150120

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170103

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20180104

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200107

Year of fee payment: 13