KR20080046166A - 코딩 장치, 코딩 방법, 디코딩 장치, 디코딩 방법 및 이의프로그램 - Google Patents

코딩 장치, 코딩 방법, 디코딩 장치, 디코딩 방법 및 이의프로그램 Download PDF

Info

Publication number
KR20080046166A
KR20080046166A KR1020087004491A KR20087004491A KR20080046166A KR 20080046166 A KR20080046166 A KR 20080046166A KR 1020087004491 A KR1020087004491 A KR 1020087004491A KR 20087004491 A KR20087004491 A KR 20087004491A KR 20080046166 A KR20080046166 A KR 20080046166A
Authority
KR
South Korea
Prior art keywords
data
refresh
image data
image
coding
Prior art date
Application number
KR1020087004491A
Other languages
English (en)
Other versions
KR101283260B1 (ko
Inventor
훙-주 리
준 무라야마
다께후미 나구모
Original Assignee
소니 가부시끼 가이샤
소니 일렉트로닉스 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤, 소니 일렉트로닉스 인코포레이티드 filed Critical 소니 가부시끼 가이샤
Publication of KR20080046166A publication Critical patent/KR20080046166A/ko
Application granted granted Critical
Publication of KR101283260B1 publication Critical patent/KR101283260B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

화상 데이터에 기초하여 코딩되는 상기 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 지정부와, 상기 화상 데이터를 코딩할 때 상기 지정부가 지정한 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 리프레시 대응조치부를 포함하는 코딩 장치.
코딩 장치, 코딩 방법, 코딩 프로그램, 리프레시 대응조치

Description

코딩 장치, 코딩 방법, 디코딩 장치, 디코딩 방법 및 이의 프로그램{CODING DEVICE, CODING METHOD, DECODING DEVICE, DECODING METHOD, AND PROGRAMS OF SAME}
본 발명은 화상 데이터의 코딩 장치, 코딩 방법, 디코딩 장치, 및 디코딩 방법과 이의 프로그램에 관한 것이다.
근년에는, 디지털식으로 화상 데이터를 처리하고 동시에 정보를 고효율로 저장하기 위한 목적으로, MPEG(Moving Picture Expert Group), H.264/AVC(Advanced Video Coding)을 기반으로 한 코딩 장치와 디코딩 장치, 및 화상 정보에 특유한 리던던시를 이용하고 이산 코사인 변환 또는 다른 직교 변환과 움직임 보상에 의해 데이터를 압축하는 다른 코딩 시스템이 현재 방송국 등에 있어서의 정보의 분배 및 일반 가정에 있어서의 정보의 수신에 이용되도록 보급되고 있다.
상기 코딩 방법은 동영상 화상 데이터를 형성하는 복수의 영상 데이터에 GOP(Group of Pictures) 구조에 기초한 영상 종류 I, P 및 B를 할당하고, I-영상 데이터에 대한 인트라-코딩을 실행하고, P-영상 및 B-영상에 대한 인터-코딩을 실행한다.
그러나, 상기 코딩 장치에 있어서는, 예를 들어, 영상 데이터내의 플랫 화상 영역에서 "리프레싱"(그레인 노이즈)이라고 알려져 있는 노이즈 패턴이 디코딩된 화상에 나타난다. 이는 감지되므로 디코딩된 화상의 품질이 저하된다.
디코딩된 화상의 감지된 품질을 개선할 수 있는 코딩 장치, 코딩 방법, 디코딩 장치, 디코딩 방법 및 이의 프로그램을 제공하는 것이 요망된다.
본 발명의 제1 실시 형태에 따르면, 화상 데이터에 기초하여 코딩되는 상기 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 지정 수단, 및 상기 화상 데이터를 코딩할 때 상기 지정 수단이 지정한 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 리프레시 대응조치 수단을 포함하는 코딩 장치가 제공된다.
본 발명의 제2 실시 형태에 따르면, 화상 데이터에 기초해서 코딩되는 상기 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 제1 단계, 및 상기 화상 데이터를 코딩할 때 상기 제1 단계에서 지정된 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 제2 단계를 포함하는 코딩 방법이 제공된다.
본 발명의 제3 실시 형태에 따르면, 화상 데이터에 기초해서 코딩되는 상기 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 제1 루틴, 및 상기 화상 데이터를 코딩할 때 상기 제1 루틴에서 지정된 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 제2 루틴을 포함하는 컴퓨터로 실행되는 프로그램이 제공된다.
본 발명의 제4 실시 형태에 따르면, 인코딩된 화상 데이터를 디코딩하여 디코딩된 화상 데이터를 생성하는 디코딩 수단, 디코딩된 화상 데이터에 기초하여 상기 디코딩 수단이 생성한 디코딩된 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 지정 수단, 및 상기 디코딩 수단에 의해 생성된 디코딩된 화상 데이터내의 상기 지정 수단이 지정한 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 리프레시 대응조치 수단을 포함하는 디코딩 장치가 제공된다.
본 발명의 제5 실시 형태에 따르면, 인코딩된 화상 데이터를 디코딩하여 디코딩된 화상 데이터를 생성하는 제1 단계, 상기 디코딩된 화상 데이터에 기초하여 상기 제1 단계에서 생성된 디코딩된 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 제2 단계, 및 상기 제1 단계에서 생성된 디코딩된 화상 데이터내의 상기 제2 단계에서 지정된 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 제3 단계를 포함하는 디코딩 방법이 제공된다.
본 발명의 제6 실시 형태에 따르면, 인코딩된 화상 데이터를 디코딩하여 디코딩된 화상 데이터를 생성하는 제1 루틴, 상기 디코딩된 화상 데이터에 기초하여 상기 제1 루틴에서 생성된 디코딩된 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 제2 루틴, 및 상기 제1 루틴에서 생성된 디코딩된 화상 데이터내의 상기 제2 루틴에서 지정된 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 제3 루틴을 포함하는 컴퓨터로 실행되는 프로그램이 제공된다.
본 발명에 따르면, 디코딩된 화상의 감지된 품질을 개선할 수 있는 코딩 장치, 코딩 방법, 디코딩 장치, 디코딩 방법 및 이의 프로그램을 제공할 수 있다.
본 발명의 이들 목적 및 특징들은 첨부 도면을 참조로 이루어진 양호한 실시 형태의 다음 설명으로부터 명료하게 될 것이다.
도 1은 본 발명의 실시 형태의 통신 시스템의 구성을 보여주는 도면이다.
도 2는 도 1에 도시된 코딩 장치의 기능 블록도이다.
도 3은 리프레싱의 발생 원인을 설명하기 위한 도면이다.
도 4는 도 2에 도시된 코딩 장치로 리프레싱의 검출 및 이를 대응조치하는 처리를 설명하기 위한 흐름도이다.
도 5는 도 4에 도시된 단계 ST13의 처리를 설명하기 위한 도면이다.
도 6은 도 4에 도시된 단계 ST14의 처리를 설명하기 위한 도면이다.
도 7은 도 4에 도시된 단계 ST14의 처리를 설명하기 위한 도면이다.
도 8은 도 4에 도시된 단계 ST15의 처리를 설명하기 위한 도면이다.
도 9는 도 4에 도시된 단계 ST16의 처리를 설명하기 위한 도면이다.
도 10은 도 4에 도시된 단계 ST17의 처리를 설명하기 위한 도면이다.
도 11은 도 9에 도시된 단계 ST12의 처리를 상세히 설명하기 위한 흐름도이다.
도 12는 도 9에 도시된 단계 ST12의 처리를 상세히 설명하기 위한 도 11에서 연속되는 흐름도이다.
도 13A는 도 11에 도시된 단계 ST31를 설명하기 위한 도면이고, 도 13B는 단계 ST33을 설명하기 위한 도면이다.
도 14는 도 2에 도시된 리프레시 대응수단 회로(53)에 의한 리프레시 대응수단의 처리를 설명하기 위한 도면이다.
도 15는 도 2에 도시된 리프레시 대응수단 회로와 양자화 회로에 의한 처리를 설명하기 위한 흐름도이다.
도 16은 도 1에 도시된 디코딩 장치의 구성을 보여주는 도면이다.
도 17은 본 실시 형태의 코딩 장치 및 디코딩 장치의 수정을 설명하기 위한 도면이다.
이하, 본 발명의 양호한 실시 형태의 통신 시스템(1)에 대해서 설명하기로 한다. 도 1에 도시된 바와 같이, 통신 시스템(1)은 전송측에 배치된 코딩 장치(2)와 수신측에 배치된 디코딩 장치(3)를 구비하고 있다. 통신 시스템(1)에서, 전송측의 코딩 장치(2)는 이산 코사인 변환, Karhunen-Loewe 변환, 또는 다른 직교 변환 및 움직임 보상에 의해 압축된 프레임 화상 데이터(비트 스트림)를 생성하고, 이를 위성 방송파, 케이블 TV 네트워크, 전화 회선 네트워크, 셀폰 회선 네트워크 또는 다른 통신 매체를 통해서 전송한다. 수신측에서는, 디코딩 장치(3)는 수신된 화상 신호를 복조한 다음, 변조 및 움직임 보상시의 직교 변환에 대한 역변환으로 압축해제된 프레임 화상 데이터를 생성하여 이용한다. 전송 매체는 광학 디스크, 자기 디스크, 반도체 메모리 또는 다른 저장 매체일 수 있다.
코딩 장치(2)
이하, 도 1에 도시된 코딩 장치(2)에 대해 설명한다. 도 2는 도 1에 도시된 코딩 장치(2)의 전체 구성을 보여주고 있다. 도 2에 도시된 바와 같이, 코딩 장치(2)는 예를 들어 A/D 변환 회로(21), 영상 종류 할당 회로(22), 프레임 재배열 회로(23), MB 종류 판정 회로(26), 계산 회로(31), 직교 변환 회로(32), 양자화 회로(33), 레이트 제어 회로(34), 가역 코딩 회로(35), 버퍼 메모리(36), 역양자화 회로(37), 역직교 변환 회로(38), 가산기 회로(39), 디블록 필터(40), 프레임 메모리(41), 인트라-예측 회로(42), 움직임 예측 및 보상 회로(43), 움직임 예측 및 보상 회로(51), 리프레시 검출 회로(52), 리프레시 대응수단 회로(53) 및 리프레시 대응수단 회로(54)를 구비하고 있다.
이하 코딩 장치(2)의 구성요소에 대해 설명한다.
A/D 변환 회로(21)
A/D 변환 회로(21)는 아날로그 휘도 신호 Y 및 색차 신호 Pb 및 Pr로 구성된 입력 직교 화상 신호 S10를 디지털 영상 데이터로 변환하여 이를 영상 종류 할당 회로(22)에 출력한다.
영상 종류 할당 회로(22)
영상 종류 할당 회로(22)는 영상 종류 I, P 또는 B 중 하나를 A/D 변환 회로(21)로부터 입력된 영상 데이터 각각에 할당한다.
프레임 재배열 회로(23)
프레임 재배열 회로(23)는 A/D 변환 회로(22)에 의해 생성된 영상 데이터를 영상 종류 할당 회로(22)에서 할당된 영상 종류 I, P 및 B로 구성된 GOP(Group Of Pictures)에 따라서 코딩용 시퀀스로 재배열하고, 그 결과를 움직임 예측 및 보상 회로(51) 및 리프레시 대응수단 회로(53)에 출력한다.
MB 종류 판정 회로(26)
MB 종류 판정 회로(26)는 프레임 재배열 회로(23)에 의해 재배열된 영상 데이터 각각의 매크로 블록 종류(예를 들어, 4×4 또는 16×16 종류)를 판정한다.
계산 회로(31)
계산 회로(31)는 MB 종류 판정 회로(26)로부터 입력되어 코딩되는 영상 데이터와 인트라-예측 회로(42) 또는 움직임 예측 및 보상 회로(43)로부터 입력된 예측된 화상 데이터 PI 간의 차를 나타내는 화상 데이터를 생성하여 이를 직교 변환 회로(32)에 출력한다.
직교 변환 회로(32)
직교 변환 회로(32)는 이산 코사인 변환(DCT), Karhunen-Loewe 변환, 또는 다른 직교 변환을 계산 회로(31)로부터 입력된 화상 데이터에 적용하여 변환 계수(예를 들어 DCT 계수)를 나타내는 화상 데이터를 생성하고 이를 리프레시 대응수단 회로(54)에 출력한다. 직교 변환 회로(32)는 예를 들어 판정 회로(26)에서 판정된 블록 사이즈를 기초로 직교 변환을 적용한다.
양자화 회로(33)
양자화 회로(33)는 레이트 제어 회로(34)로부터 입력된 양자화 스케일 QS를 기초로 리프레시 대응수단 회로(54)로부터 입력된 화상 데이터 S54(양자화 전의 변 환 계수)를 양자화하고 양자화 후의 변환 계수를 나타내는 화상 데이터를 생성하여 이를 가역 코딩 회로(35) 및 역양자화 회로(37)에 출력한다.
레이트 제어 회로(34)
레이트 제어 회로(34)는 예를 들어 버퍼 메모리(36)로부터 판독된 화상 데이터에 기초하여 양자화 스케일 QS를 생성하고 이를 양자화 회로(33)에 출력한다.
가역 코딩 회로(35)
가역 코딩 회로(35)는 양자화 회로(33)로부터 입력된 화상 데이터의 가변 길이 코딩에 의해 얻어진 화상 데이터를 버퍼(28)에 저장한다. 이때, 가역 코딩 회로(35)는 움직임 예측 및 보상 회로(43)로부터 입력된 움직임 벡터 MV 또는 그의 차 움직임 벡터, 기준 화상 데이터의 식별 데이터 및 인트라-예측 회로(42)로부터 입력된 인트라-예측 모드를 헤더 데이터 등에 저장한다.
버퍼 메모리(36)
버퍼 메모리(36)에 저장된 화상 데이터는 예를 들어 변조된 다음 화상 데이터 S2로서 전송된다. 화상 데이터 S2는 후에 설명되는 바와 같이 디코딩 장치(3)에 의해 디코드된다.
역양자화 회로(37)
역양자화 회로(37)는 양자화 회로(33)의 양자화에 대응하는 역양자화 처리를 양자화 회로(33)로부터의 화상 데이터에 적용하여 데이터를 생성한 다음 이를 역직교 변환 회로(38)에 출력한다.
역직교 변환 회로(38)
역직교 변환 회로(38)는 직교 변환 회로(33)에 있어서의 직교 변환에 대한 역변환을 역양자화 회로(37)로부터 입력된 데이터에 적용하여 화상 데이터를 생성한 다음 이를 가산기 회로(39)에 출력한다.
가산기 회로(39)
가산기 회로(39)는 역직교 변환 회로(38)로부터 입력된(디코드된) 화상 데이터와 인트라-예측 회로(42) 또는 움직임 예측 및 보상 회로(43)로부터 입력된 예측된 화상 데이터 PI를 합산하여 기준(개작된) 영상 데이터를 생성한 다음 이를 디블록 필터(40)에 출력한다.
디블록 필터(40)
디블록 필터(40)는 가산기 회로(39)로부터 입력된 기준 영상 데이터의 블록 왜곡만 제거하고 그 결과를 프레임 메모리(41)에 기록한다.
인트라-예측 회로(42)
인트라-예측 회로(42)는 인트라-코딩될 매크로 블록내에 가장 작은 잉여(residue)를 제공하는 예측 블록의 인트라-예측 및 블록 사이즈의 모드를 판정한다. 인트라-예측 회로(42)는 블록 사이즈로서 4×4 및 16×16 화소를 이용한다. 인트라-예측 회로(42)는 인트라-예측이 선택되었을 때 인트라-예측으로 구한 예측된 화상 데이터 PI를 계산 회로(31)와 가산기 회로(39)에 출력한다.
움직임 예측 및 보상 회로(43)
움직임 예측 및 보상 회로(43)는 이미 인코드되어 국부적으로 디코드된 다음 프레임 메모리(31)에 기록된 화상으로부터 움직임 예측을 실행하고, 잉여를 최소화 하기 위한 움직임 벡터 및 움직임 보상의 블록 사이즈를 결정한다. 움직임 예측 및 보상 회로(43)는 블록 사이즈로서 16×16, 16×8, 8×16, 8×8, 8×4, 및 4×4 화소를 이용한다. 움직임 예측 및 보상 회로(43)는 인터-예측이 선택되었을 때 인터-예측으로 구한 예측된 화상 데이터 PI를 보상 회로(31) 및 가산기 회로(39)에 출력한다.
앞서 설명한 바와 같이, 인코드된 화상을 디코드할 때, 도 3에 도시된 바와 같이, "리프레싱"이라고 알려져 있는 노이즈가 종종 발생한다. 리프레싱은 또한 "인트라-리프레시" 또는 "인트라-플리커"라 알려져 있으며 인트라-영상 데이터마다 발생하는 노이즈이다.
이하, 리프레싱의 발생(감지) 패턴에 대해 설명한다. "리프레싱"은 같은 특성을 갖고 있는 오리지널 화상이 연속되는(큰 움직임이 없는) 위치에서 감지된다. 더구나, 리프레싱은 인트라- 및 인터-코딩의 어려움이 동일한 위치에서 감지된다. 또한, 리프레싱은 오리지널 화상의 구성이 간단한 위치에서 감지된다.
코딩 장치(2)는 앞서 설명한 특성을 고려하여, 코딩되는 화상 데이터를 형성하는 매크로 블록 MB마다 리프레싱을 감지하는 특성을 매크로 블록 MB가 어느 정도 가지고 있는가를 판정하기 위한 지시자로서 작용하는 리프레싱 발생 예측 레벨 Vote를 계산한다. 이후, 코딩 장치(2)는 리프레싱 발생 예측 레벨 Vote을 기초로 매크로 블록 MB마다 리프레싱 대응조치를 적용해야 하는지 여부를 판정한다.
코딩 장치(2)에서, 도 2 도시된 움직임 예측 및 보상 회로(51)와 리프레시 검출 회로(52)는 앞서 설명한 리프레싱 발생 예측 레벨 Vote를 계산하고 이를 기초 로 매크로 블록 MB마다 리프레싱 대응조치를 적용해야 하는지 여부를 판정한다. 이후, 영상 종류 할당 회로(22)는 리프레싱 대응조치가 취해지는 매크로 블록 MB마다 매크로 블록 MB가 속하는 영상 데이터에 I-영상 데이터를 할당할 때, 리프레시 보상 회로(53)는 P-영상 데이터로서 영상 데이터를 코딩하기 위해 시스템을 제어한다. 더욱이, 리프레시 대응조치 회로(54)는 리프레싱 대응조치가 취해지는 매크로 블록 MB마다 리프레싱을 감지하기가 어렵게되도록 직교 변환 회로(32)에 의해 생성된 화상 데이터(변환 계수)를 조정하고, 그 결과를 양자화 회로(53)에 출력한다.
리프레시 검출 회로(52) 및 리프레시 대응조치 회로(53 및 54)
이하, 코딩 장치(2)에 의한 리프레시의 검출 및 이를 조치하는 처리에 대해 설명한다. 도 4는 도 2에 도시된 코딩 장치(2)로 리프레싱의 검출 및 이를 대응조치하는 처리를 설명하기 위한 흐름도이다. 다음 예는 리프레시 검출 회로(52)가 움직임 예측 및 보상 회로(51)로부터의 InterAR 및 IntraAD에 기초하여 리프레싱 대응조치의 처리를 받을 매크로 블록 R-MB를 판정한다. 이 판정은 리프레시 검출 회로(51)에 있서서의 리프레시 대응조치를 위한 처리에 반영된다. 이와는 별도로, 리프레시 검출 회로(52)는 움직임 예측 보상 회로(43)와 인트라-예측 회로(42)의 처리 결과에 따라서 실제 InterAD 및 IntraAD에 기초하여 리프레시 대응조치의 처리를 받을 매크로 블록 R-MB를 판정한다. 이 판정은 예를 들어 리프레시 검출 회로(54)에 있어서의 리프레시 대응조치를 위한 처리에 반영된다. 이 경우에 리프레시 검출 회로(52)에 있어서의 판정을 위한 처리는 실제 InterAD 및 IntraAD가 이용된다는 점을 제외하고는 이하 설명되는 단계 ST12 내지 ST17의 처리와 동일하다.
단계 ST11
도 2에 도시된 움직임 예측 및 보상 회로(51)는 프레임 재배열 회로(23)로부터 입력된 코딩되는 영상 데이터를 형성하는 매크로 블록 MB 각각에 대한 InterAD 및 IntraAD를 계산한다. 움직임 예측 및 보상 회로(51)는 재구성된 영상 데이터를 이용하지 않고, 프레임 재배열 회로(23)로부터 입력된 코딩 전의 영상 데이터만을 이용하여, 인터-코딩 및 인트라-코딩 각각에 의해 처리되는 매트로 MB를 인코딩하는 경우에 처리되는 매크로 블록 MB와 예측된 매크로 블록 MB간의 차이(잉여)의 예측된 값을 InterAD 및 IntraAD로서 계산한다.
단계 ST12
리프레시 검출 회로(52)는 앞서 설명한 특성을 고려하여, 단계 ST11에서 움직임 예측 및 보상 회로(51)에 의해 계산된 InterAD 및 IntraAD에 기초한 코딩되는 화상 데이터 각각마다 리프레싱이 감지되게 해주는 특성을 매크로 블록 MB가 어느 정도 가지고 있는지의 판정을 위한 지시자로서 작용하는 리프레싱 발생 예측 레벨 Vote를 계산한다. 단계 ST12의 처리는 나중에 상세히 설명하기로 한다.
단계 ST13
리프레시 검출 회로(52)는 도 5에 도시된 바와 같이 단계 ST12에서 계산된 리프레싱 발생 예측 레벨 Vote에 기초하여 다음 수학식 1로 에너지 E를 계산한다.
Figure 112008013764968-PCT00001
단계 ST14
리프레시 검출 회로(52)는 단계 ST13에서 계산된 에너지 E를 기초로 도 6에 도시된 히스토그램 데이터 HIST를 생성한다. 이후, 리프레시 검출 회로(52)는 생성된 히스토그램 데이터 HIST에 기초하여 리프레싱 대응조치의 적용범위를 결정한다. 구체적으로, 리프레시 검출 회로(52)는 매크로 블록 MB의 소정 비율(예를 들어 20%)이 리프레싱 대응조치에 의해 커버되도록 표준 레벨을 결정한다. 여기서, 소정 비율이 낮으면 낮을수록 디코딩된 화상에서 리프레싱의 감지가 쉬워지며, 소정 비율이 높으면 높을수록 리프레싱 대응조치를 수반하는 양 또는 처리 때문에 오버헤드가 커진다. 리프레시 검출 회로(52)는 표준 레벨에 따라서 컷오프(cutoff) 레벨을 결정한다. 더욱이, 리프레시 검출 회로(52)는 도 8에 도시된 바와 같은 리프레싱 대응조치에 의해 커버되는 매크로 블록 MB(R-MB)으로서 컷오프 레벨 CL보다 큰 에너지 E를 갖고 있는 매트로 블록 MB를 지정한다.
단계 ST15
리프레시 검출 회로(52)는 도 9에 도시된 바와 같이 모든 주변 매크로 블록 MB(a, b, c, d) (top, bottom, left 및 right)가 매크로 블록 R-MB가 아닌 모든 매크로 블록 R-MB(e)를 리프레싱 대응조치의 적용범위로부터 제거한다. 즉, 이들은 리프레싱 대응조치에 의해 커버되지 않는 매크로 블록 NR-MB로서 정의된다.
단계 ST16
처리되고 있는 리프레싱 대응조치에 의해 커버되지 않는 매크로 블록 MB 주위의 8개의 매크로 블록 MB에서 리프레싱 대응조치에 의해 커버되지 않는 매크로 블록 NR-MB의 수보다 리프레싱 대응조치에 의해 커버되는 매크로 블록 R-MB의 수가 크면, 리프레싱 검출 회로(52)는 처리되고 있는 매크로 블록 MB를 리프레싱 대응조치에 의해 커버되는 것으로 정의한다. 즉, 이를 매크로 블록 R-MB로서 정의한다. 리프레시 검출 회로(52)는 이 처리를 정확히 소정 횟수(예를 들어, 3) 실행한다. 도 9에 도시된 예에서, 제1 처리는 매크로 블록 NR-MB(x)를 매크로 블록 R-MB로 변경하고, 제2 처리는 매크로 블록 NR-MB(d)를 매크로 블록 R-MB로 변경한다.
단계 ST17
리프레싱 검출 회로(52)는 매크로 블록 R-MB에 인접한(영상 데이터의 주변 반대측에 인접한) 매크로 블록 MB가 매크로 블록 R-MB일 때 영상 데이터의 주변 영역에 위치한 매크로 블록 MB를 도 10에 도시된 바와 같이 매크로 블록 R-MB로 변경한다.
단계 ST18
리프레시 검출 회로(53)와 리프레시 대응조치 회로(54)는 리프레시 검출 회로(52)에서 리프레싱 대응조치에 의해 커버되는 것으로서 판정된 매크로 블록 R-MB에 대한 리프레싱 대응조치를 위한 처리를 실행한다. 리프레싱 대응조치 회로(53)와 리프레시 대응조치 회로(54)에 의해 실행되는 리프레싱 대응조치를 위한 처리는 나중에 상세히 설명하기로 한다.
도 4에 도시된 단계 ST12
이하, 도 4에 도시된 단계 ST12에서 리프레싱 발생 예측 레벨 Vote의 계산을 위한 처리를 설명하기로 한다. 도 11 및 12는 도 4에 도시된 단계 ST12의 처리를 설명하기 위한 흐름도이다.
단계 ST31
리프레싱 검출 회로(52)는 다음 수학식 2에 의해서 도 13A에 도시된 바와 같이 검출되는 영상 데이터 PIC(n)의 매크로 블록 MB(n)와 하나 이전의 영상 데이터 PIC(n-1)의 대응 위치에 있는 매크로 블록 MB(n-1) 간의 MAD 값의 차이의 절대값에 따라서 MadDiff를 계산한다. MAD 값은 매크로 블록 MB를 구성하는 화소 데이터의 평균 절대값, 매크로 블록 MB내의 화소값, 및 매크로 블록 MB내의 화소값들의 평균값간의 차를 합산해서 구한 값을 나타낸다.
Figure 112008013764968-PCT00002
단계 ST32
리프레시 검출 회로(52)는 다음 수학식 3에 나타낸 조건 1이 충족되는지 여부를 판정한다. 조건 1이 충족되는 것으로 판정되면, 루틴은 단계 ST33으로 가고, 그렇지 않으면 루틴은 단계 ST34로 간다. 단계 ST31 및 ST32의 처리는 리프레싱이 배경 움직임이 거의 없는 매크로 블록 MB에서 쉽게 나타난다는 특성을 기초로 실행된다.
Figure 112008013764968-PCT00003
단계 ST33
리프레시 검출 회로(52)는 매크로 블록 MB를 형성하는 4×4 색차 블록 Cb를 형성하는 화소 데이터의 최대값(Max) 및 최소값(Min)을 지정하고 도 3에 도시된 바와 같이 이들을 계산한다. 또한, 리프레시 검출 회로(52)는 매크로 블록 MB를 형성하는 4×4 색차 블록 Cr을 형성하는 화소 데이터의 최대값(Max) 및 최소값(Min)을 지정하고 도 14B에 도시된 바와 같이 이들을 계산한다. 리프레시 검출 회로(52)는 색차 블록 Cb에 대해서 계산된 차와 색차 블록 Cr에 대해 계산된 차를 합산하여 값 ColorDiff를 산출한다.
단계 ST34
리프레시 검출 회로(52)는 검출되고 있는 매크로 블록 MB의 리프레시 발생 검출 레벨 Vote로서 "0"을 설정한다.
단계 ST35
리프레시 검출 회로(52)는 다음 수학식 4에 나타낸 조건 2가 충족되는지 여부를 판정한다. 조건 2가 중촉된 것으로 판정되면, 루틴은 단계 ST36으로 진행하고, 그렇지 않을 때는 루틴이 단계 ST34로 진행한다. 단계 ST34 및 단계 ST35는 색변화가 거의 없는 블록 MB에서 리프레싱이 쉽게 발생한다는 특성에 기초해서 샐행된다.
Figure 112008013764968-PCT00004
단계 ST36
리프레시 검출 회로(52)는 도 4에 도시된 단계 ST11에서 설명한 바와 같이 움직임 예측 및 보상 회로(51)에서 계산한 InterAD 및 IntraAD를 이용하여 다음 수학식 5로 값 AdDiff를 계산한다.
Figure 112008013764968-PCT00005
단계 ST37
리프레시 검출 회로(52)는 단계 ST31에서 계산한 MAD(n,i,j)와 단계 ST36에서 계산한 AdDiff를 기초로 다음 수학식 6에 나타낸 조건 3이 충족되는지 여부를 판정한다. 조건 3이 충족되는 것으로 판정되면, 루틴은 단계 ST38로 진행하고, 그렇지 않으면, 루틴은 단계 ST39로 진행한다. 단계 ST36 및 ST37의 처리는 색변화가 거의 없는 블록 MB와 IntraAD가 상대적으로 작은 매크로 블록 MB에서 리프레싱이 쉽게 발생한다는 특성을 기초로 실행된다.
Figure 112008013764968-PCT00006
단계 ST38
리프레시 검출 회로(52)는 검출되는 매크로 블록 MB의 리프레시 발생 예측 레벨 Vote로서 "4"를 설정한다.
단계 ST39
리프레시 검출 회로(52)는 도 4에 나타낸 단계 ST11에서 설명한 바와 같이 움직임 예측 및 보상 회로(51)에서 계산한 InterAD 및 IntraAD를 이용하여 다음 수학식 7에 따라서 값 AdDiff를 계산한다.
Figure 112008013764968-PCT00007
단계 ST40
리프레시 검출 회로(52)는 다음 수학식 8에 나타낸 조건 4가 단계 ST31에서 산출한 MAD(n,i,j)와 단계 ST39에서 산출한 AdDiff에 기초하여 충족되는지 여부를 판정한다. 조건 4가 충족되는 것으로 판정되면 루틴은 단계 ST42로 진행하고, 그렇지 않으면 루틴은 단계 ST41로 진행한다. 단계 ST39 및 ST40의 처리는 색변화가 큰 블록 MB와 IntraAD가 상대적으로 큰 매크로 블록 MB에서 리프레싱이 쉽게 발생한다는 특성에 기초해서 실행된다.
Figure 112008013764968-PCT00008
단계 ST41
리프레시 검출 회로(52)는 검출되는 매크로 블록 MB의 리프레시 발생 예측 레벨 Vote로서 "0"을 설정한다.
단계 ST42
리프레시 검출 회로(52)는 검출되는 매크로 블록 MB의 리프레시 발행 예측 레벨 Vote로서 "4"를 설정한다.
리프레시 대응조치 회로(53)
예를 들어, 도 14에 도시된 바와 같이, 리프레시 대응조치에 의해 커버되는 매크로 블록 MB_2가 영상 종류 할당 회로(22)내의 I 영상 데이터에 속하고 인코드된 I- (Inter-frame)인 것으로 판정되면, 리프레시 대응조치 회로(53)는 리프레시 검출 회로(52)로부터 입력된 리프레싱 결과(InterAD 및 IntraAD의 예측값에 기초한 리프레싱 결과)에 기초해서 P- (Inter-frame) 인코딩을 강제적으로 실행한다. 이 때문에, 매크로 블록 MB_2는 이 블록 전의 매크로 블록 MB_1의 패턴을 물려받아 리프레싱이 감지되기 어렵게 만들 수 있다. 이후, 리프레시 대응조치 회로(53)는 P-인코드된 매크로 블록 MB_2를 I-인코드된 매크로 블록 MB_3으로서 정의한다. 이는 디코딩 장치(3)가 I-영상 데이터가 일정한 간격으로 되어 있다고 상정하여 디코딩을 실행하기 때문이다.
리프레시 대응조치 회로(53)는 인터프레임 코딩 처리, 시간 방향으로의 필터링 처리, 및 이 처리가 프레임들 간에 연속성이 있는 화상 데이터를 생성하고 생성된 화상 데이터를 오리지널 화상 데이터로서 양자화하는 것과 동등할 때 이전에 인코드된 다른 화상 데이터를 오리지널 화상 테이터로서 이용하는 처리 중에서 적어도 하나를 실행할 수 있다.
리프레시 대응조치 회로(54)
리프레시 대응조치 회로(54)는 실제 InterAD 및 IntraAD를 이용하여 리프레시 검출 회로(52)가 실행한 리프레싱 결과에 의해서 리프레싱 대응조치의 처리에 의해 커버되는 것으로 정의된 매크로 블록 R-MB에 대해서 도 15에 도시된 리프레시 대응조치의 처리를 실행한다. 또한 리프레시 대응조치 회로(54)는 InterAD 및 IntraAD의 예측값을 이용하여 리프레시 검출 회로(52)가 실행한 리프레싱 결과에 의해서 리프레싱 대응조치의 처리에 의해 커버되는 것으로 정의된 매크로 블록 R-MB에 대해서 도 15에 도시된 리프레시 대응조치의 처리를 실행하는 것도 가능한다.
도 15는 리프레시 대응조치 회로(54)와 양자화 회로(33)의 처리를 설명하기 위한 흐름도이다.
단계 ST51
리프레시 대응조치 회로(54)는 입력으로서 직교 변환 회로(32)로부터 DCT(직교 변환) 계수를 나타내는 화상 데이터를 수신한다. 이후, 리프레시 대응조치 회로(54)는 리프레싱 대응조치에 의해서 커버되는 매크로 블록 R-MB의 DCT 계수마다 리프레싱 대응조치에 의해 커버되는 매크로 블록 MB 주위의 매크로 블록 MB의 양자화 파라메터 QP(양자화 스케일 QS)로 DCT 계수를 양자화할 때 0이되는 DCT 계수의 위치를 마스크 위치로서 지정한다.
단계 ST52
리프레시 대응조치 회로(74)는 이전에 결정된 양자화 파라미터 QP(리프레싱이 감지될 수 없을 정도로 양자화를 실행하기 위한 양자화 파라미터)로 직교 변환 회로(32)로부터 입력된 DCT 계수를 양자화하기 위하여 양자화 회로(33)를 제어한 다.
단계 ST53
양자화 회로(33)는 단계 ST52에서 생성된 양자화 값들 중에서 단계 ST51에서 지정된 마스크 위치의 양자화 값을 0으로 만들어 이를 리프레시 대응조치 회로(54)의 제어하에 가역 코딩 회로(35)와 역양자화 회로(37)에 출력한다.
일정값 이하의 DCT 계수의 위치를 예를 들어 도 15의 단계 ST51에서 마스크 위치로서 자동적으로 결정할 수 있다. 더욱이, 리프레시 대응조치 회로(54)는 소정의 위치를 DCT 계수의 값에 관계없이 마스크 위치로서 결정할 수 있다. 더욱이, 리프레시 대응조치 회로(54)는 단계 ST51에서 복수의 마스크 위치에서 패턴들을 미리 준비하여 화상 데이터의 특성에 따라서 이들 패턴을 선택적으로 이용할 수 있다. 또한, 리프레시 대응조치 회로(54)는 DCT 계수의 값에 기초하여 마스크 위치를 결정할 때 마스크 위치를 결정하기 위하여 저주파수 성분을 갖고 있는 DCT 계수보다 큰 임계값을 고주파수 성분을 갖고 있는 DCT 계수로 정의할 수 있다.
이하, 도 2에 도시된 코딩 장치(2)의 전반적인 동작에 대해서 설명한다. 입력될 화상 신호는 먼저 A/D 변환 회로(21)에서 디지털 신호로 변환된다. 다음에, 영상 종류 할당 회로(22)는 영상 종류를 할당하고, 계속해서 프레임 재배열 회로(23)는 화상 압축 정보의 GOP 구조에 따라서 영상 데이터를 재배열하고, 리프레시 대응조치 회로(53)와 MB 종류 판정 회로(26)는 그가 얻은 영상 데이터를 계산 회로(31)에 출력한다. 이와 병행하여, 움직임 예측 및 보상 회로(51)와 리프레시 검출 회로(52)는, 도 4 등에 도시된 바와 같이, InterAD 및 IntraAD의 예측된 값에 기초하여 리프레싱 대응조치의 처리에 의해 커버되는 매크로 블록 R-MB를 결정한다.
계산 회로(31)에 입력된 영상 데이터에 대해서, 인트라-예측 회로(42)에 의한 인트라-코딩 또는 움직임 예측 및 보상 회로(43)에 의한 인터-코딩이 매크로 블록 MB 단위로 선택된다. 최종적으로 계산 회로(31)에서 생성된 차 화상은 직교 변환 회로(32)에서의 직교 변환 처리 및 양자화 회로(33)에서의 양자화 처리된 다음 가역 양자화 회로(35)에서 역으로 코딩되어 버퍼 메모리(36)에 기록된다.
이때, 리프레시 검출 회로(52)는 n 움직임 예측 및 보상 회로(51)로부터의 InterAD 및 IntraAD에 기초하여 매크로 블록 R-MB를 결정하고, 리프레시 대응조치 회로(52)는 이 결과에 기초하여 도 15에 도시된 리프레싱 대응조치를 위한 처리를 실행한다. 더욱이, 리프레시 대응조치 회로(53)는 움직임 예측 및 보상 회로(43)와 인트라-예측 회로(42)의 처리 결과에 따라서 실제의 InterAD 및 IntraAD에 기초하여 리프레시 대응조치의 처리를 받을 매크로 블록 R-MB를 결정한다. 이후, 리프레시 대응조치 회로(54)는 결정된 매크로 블록 R-MB에 대해서 도 16에 도시된 리프레시 대응조치를 위한 처리를 실행한다.
앞서 설명한 바와 같이, 코딩 장치(2)에 따르면, 도 2에 도시된 리프레시 검출 회로(52)는 리프레싱의 발생 가능성이 높은 특성을 갖고 있는 매크로 블록 R-MB를 지정하고, 리프레시 대응조치 회로(53)와 리프레시 대응조치 회로(54)는 리프레싱이 매크로 블록 R-MB에 관해서 감지되지 않도록 하기 위해 리프레시 대응조치 절차를 미리 적용한다. 이 때문에, 디코딩 장치(3)는 디코딩된 화상에서 리프레싱의 감지를 억제할 수 있어, 고품질이 화상을 구현할 수 있다.
디코딩 장치(3)
이하, 도 1에 도시된 디코딩 장치(3)에 대해 설명한다. 도 16은 도 1에 도시된 디코딩 장치(3)의 구성을 보여주고 있다. 도 16에 도시된 바와 같이, 디코딩 장치(3)는 예를 들어 버퍼 메모리(81), 가역 디코딩 회로(82), 역양자화 회로(83), 역직교 변환 회로(84), 가산기 회로(85), 프레임 메모리(86), 화상 재배열 버퍼(87), D/A 변환 회로(88), 인트라-예측 회로(89), 움직임 예측 및 보상 회로(90), 움직임 예측 및 보상 회로(151), 리프레시 검출 회로(152) 및 리프레시 보상 회로(153)를 구비하고 있다.
버퍼 메모리(81)는 코딩 장치(2)로부터 수신(입력)된 비트 스크림으로서 화상 데이터(52)를 저장한다. 가역 디코딩 회로(82)는 화상 데이터 S82를 생성하기 위해서 도 2에 도시된 가역 코딩 회로(27)에 의해 버퍼 메모리(81)로부터 판독된 화상 데이터 S2를 디코드한다. 가역 디코딩 회로(82)는 화상 데이터 S2에서 멀티플렉스된 직교 변환 사이즈 신호 TRSIZE를 분리하여 디코드한 다음 이를 역 양자화 회로(83) 및 역직교 변환 회로(84)에 출력한다. 가역 디코딩 회로(82)는 나중에 설명하기로 한다.
가역 디코딩 회로(82)로부터 입력된 직교 변환 사이즈 신호 TRSIZE에 기초하여, 역 양자화 회로(83)는 화상 데이터 S83을 생성하기 위하여 도 2에 도시된 양자화 회로(26)에 대응하는 역 양자화 방법으로 가역 디코딩 회로(82)로부터 입력된 가역 디코딩 후의 화상 데이터 S82를 양자화한 다음에 이를 역 직교 변환 회로(84) 에 출력한다. 가역 디코딩 회로(82)로부터 입력된 직교 변환 사이즈 신호 TRSIZE에 기초하여, 가역 직교 변환 회로(84)는 역 양자화 회로(83)로부터 입력된 화상 데이터 S83에 도 2에 도시된 직교 변환 회로(25)의 직교 변환에 대응하는 직교 역변환을 적용하여 화상 데이터 S84를 생성한 다음에 이를 가산기 회로(85)에 출력한다. 가산기 회로(85)는 인트라-예측 회로(89) 또는 움직임 예측 및 보상 회로(90)로부터 입력된 예측된 화상과 역직교 변환 회로(84)로부터 입력된 화상 데이터 S84를 합하여 화상 데이터 S85를 생성한 다음 이를 프레임 메모리(86)와 화상 재배열 버퍼(87)에 출력한다. 화상 재배열 버퍼(87)는 가산기 회로(85)로부터 입력된 화상 데이터 S85를 영상 단위의 표시 시퀀스로 재배열하여 이를 움직임 예측 및 보상 회로(151)와 리프레시 대응조치 회로(153)에 출력한다.
화상 데이터 S85내의 디코딩되는 블록 데이터가 인트라-예측 코딩에 의해 구해진 데이터일 때, 인트라-예측 회로(89)는 인트라-방법으로 블록 데이터를 디코드하여 이를 가산기 회로(35)에 출력한다. 프레임 메모리(86)으로부터 판독된 화상 데이터 S85내의 디코딩되는 블록 데이터가 인터-예측 코딩에 의해 구해진 데이터일 때, 움직임 예측 및 보상 회로(90)는 인터-방법으로 블록 데이터를 디코드하여 예측된 화상 데이터를 생성한 다음 이를 가산기 회로(85)에 출력한다.
움직임 예측 및 보상 회로(151)는 예를 들어 도 2에 도시된 움직임 예측 및 보상 회로(51)의 처리와 동일한 처리를 실행하여 IntraAD 및 InterAD의 예측된 값을 생성하여 이들을 리프레시 검출 회로(152)에 출력한다.
리프레시 검출 회로(152)는 움직임 예측 및 보상 회로(151)로부터 입력된 IntraAD 및 InterAD의 예측된 값에 기초하여 리프레시 검출 회로(52)의 처리와 동일한 처리에 의해서 리프레시 대응조치가 커버하는 매크로 블록 R-MB를 지정한다.
리프레시 대응조치 회로(153)는 이전에 결정된 노이즈 패턴을, 화상 재배열 버퍼(87)로부터 입력된 영상 데이터를 형성하는 매크로 블록 MB 중에서 리프레시 검출 회로(152)에서의 리프레시 대응조치에 의해 커버되는 것으로 정의된 매크로 블록 R-MB에 가산하고 영상 데이터를 D/A 변환 회로(88)에 출력한다.
D/A 변환 회로(88)는 리프레시 대응조치 회로(153)로부터 입력된 영상 데이터를 D/A 변환하여 아날로그 화상 신호를 생성한다.
앞서 설명한 바와 같이, 디코딩 장치(3)는 리프레시 검출 회로(152)에서 디코드된 영상 데이터내의 매크로 블록 MB 중에서 리프레싱 감지 가능성이 높은 매크로 블록 MB를 지정하고 이 매크로 블록 MB에 노이즈 패턴을 확실히 가산한다. 이렇게함으로써, 작은 움직임 또는 작은 색변화를 갖는 화상 영역에서 쉽게 감지되는 리프레싱을 노이즈 패턴으로 감지되기가 어렵게 만들 수 있으므로, 디코딩된 화상의 감지된 품질이 향상될 수 있다.
이 기술 분야에서 숙련된 자이면 첨부된 청구항의 범위 또는 이들의 균등 범위를 벗어나지 않고도 설계 필요조건 및 다른 인자에 따른 다양한 수정, 결합, 부결합 및 변경이 이루어질 수 있다는 것을 이해하여야 한다. 예를 들어, 앞서 설명한 코딩 장치(2) 또는 디코딩 장치(3)의 모든 또는 일부 기능은 도 17에 도시한 바와 같이 메모리(252)에 저장된 프로그램 PRG의 프로그래밍에 따라서 중앙 처리 장치 또는 다른 처리 회로(253)에 의해서 실행될 수 있다. 이 경우에, 코딩되는 화 상 데이터 또는 디코딩 대상은 인터페이스(251)를 통해서 입력되어 그의 처리 결과가 출력된다.

Claims (18)

  1. 코딩 장치로서,
    화상 데이터에 기초하여 코딩되는 상기 화상 데이터내의 리프레시 대응조치(refreshing countermeasure)의 처리를 받을 화상 영역 데이터를 지정하는 지정 수단; 및
    상기 화상 데이터를 코딩할 때 상기 지정 수단이 지정한 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 리프레시 대응조치 수단을 포함하는 코딩 장치.
  2. 제1항에 있어서, 상기 화상 데이터가 동화상 데이터를 형성하는 경우, 상기 지정 수단은 상기 화상 데이터 내에서 이전에 1회 코딩된 다른 화상 데이터를 갖는 움직임 양에 기초하여 상기 화상 영역 데이터를 지정하는 코딩 장치.
  3. 제2항에 있어서, 상기 지정 수단은 상기 동화상 데이터를 형성하는 상기 화상 데이터를 인터-코딩하는 경우의 예측 차 화상과 상기 동화상 데이터를 형성하는 상기 화상 데이터를 인트라-코딩하는 경우의 예측 차 화상 간의 차에 기초하여 상기 화상 영역 데이터를 지정하는 코딩 장치.
  4. 제1항에 있어서, 상기 지정 수단은 상기 화상 데이터내의 색 변화에 기초하 여 상기 화상 영역 데이터를 지정하는 코딩 장치.
  5. 제1항에 있어서, 상기 화상 데이터가 블록 데이터 단위로 인코드될 때, 상기 지정 수단은 상기 화상 데이터를 형성하는 블록 데이터를 상기 화상 영역 데이터로서 지정하는 코딩 장치.
  6. 제5항에 있어서, 상기 리프레시 대응조치 수단은 프레임들 간에 연속성을 갖는 화상 데이터를 생성하고 생성된 화상 데이터를 오리지널 화상 데이터로서 양자화하는 코딩 장치.
  7. 제6항에 있어서, 상기 리프레시 대응조치 수단은 인터프레임 코딩 처리, 시간 방향의 필터링 처리 및 상기 오리지널 화상 데이터로서 이전에 인코딩된 다른 화상 데이터를 이용하는 처리 중에서 적어도 하나의 처리를 실행하는 코딩 장치.
  8. 제6항에 있어서, 상기 리프레시 대응조치 수단은 상기 인터프레임 코딩을 위해 변경된 상기 블록 데이터의 양자화 파라미터를 소정의 양자화 파라미터보다 작게되도록 변경하는 코딩 장치.
  9. 제5항에 있어서, 상기 리프레시 대응조치 수단은 상기 지정 수단에 의해서 지정된 블록 데이터의 직교 변환 계수들 중에서 상기 블록 데이터 주위의 블록 데 이터용으로 설정된 양자화 파라미터로 양자화할 때 0이되는 직교 변환 계수를 강제로 0으로 만드는 코딩 장치.
  10. 코딩 방법으로서,
    화상 데이터에 기초해서 코딩되는 상기 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 제1 단계; 및
    상기 화상 데이터를 코딩할 때 상기 제1 단계에서 지정된 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 제2 단계를 포함하는 코딩 방법.
  11. 컴퓨터로 실행되는 프로그램으로서,
    화상 데이터에 기초해서 코딩되는 상기 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 제1 루틴; 및
    상기 화상 데이터를 코딩할 때 상기 제1 루틴에서 지정된 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 제2 루틴을 포함하는 프로그램.
  12. 디코딩 장치로서,
    인코딩된 화상 데이터를 디코딩하여 디코딩된 화상 데이터를 생성하는 디코딩 수단,
    디코딩된 화상 데이터에 기초하여 상기 디코딩 수단이 생성한 디코딩된 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 지정 수단, 및
    상기 디코딩 수단에 의해 생성된 디코딩된 화상 데이터 내의 상기 지정 수단이 지정한 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 리프레시 대응조치 수단을 포함하는 디코딩 장치.
  13. 제12항에 있어서, 상기 화상 데이터가 동화상 데이터를 형성하는 경우, 상기 지정 수단은 상기 화상 데이터내의 이전에 1회 코딩된 다른 화상 데이터를 갖는 움직임의 양에 기초하여 상기 화상 영역 데이터를 지정하는 디코딩 장치.
  14. 제13항에 있어서, 상기 지정 수단은 상기 동화상 데이터를 형성하는 상기 화상 데이터를 인터-코딩하는 경우의 예측 차 화상과 상기 동화상 데이터를 형성하는 상기 화상 데이터를 인트라-코딩하는 경우의 예측 차 화상 간의 차에 기초하여 상기 화상 영역 데이터를 지정하는 디코딩 장치.
  15. 제12항에 있어서, 상기 지정 수단은 상기 화상 데이터내의 색변화에 기초하여 상기 화상 영역 데이터를 지정하는 디코딩 장치.
  16. 제12항에 있어서, 상기 리프레시 대응조치 수단은 노이즈 패턴을 상기 화상 영역 데이터에 가산하는 디코딩 장치.
  17. 디코딩 방법으로서,
    인코딩된 화상 데이터를 디코딩하여 디코딩된 화상 데이터를 생성하는 제1 단계,
    상기 디코딩된 화상 데이터에 기초하여 상기 제1 단계에서 생성된 디코딩된 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 제2 단계, 및
    상기 제1 단계에서 생성된 디코딩된 화상 데이터내의 상기 제2 단계에서 지정된 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 제3 단계를 포함하는 디코딩 방법.
  18. 컴퓨터로 실행되는 프로그램으로서,
    인코딩된 화상 데이터를 디코딩하여 디코딩된 화상 데이터를 생성하는 제1 루틴,
    상기 디코딩된 화상 데이터에 기초하여 상기 제1 루틴에서 생성된 디코딩된 화상 데이터내의 리프레시 대응조치의 처리를 받을 화상 영역 데이터를 지정하는 제2 루틴, 및
    상기 제1 루틴에서 생성된 디코딩된 화상 데이터내의 상기 제2 루틴에서 지정된 화상 영역 데이터에 리프레시 대응조치의 처리를 적용하는 제3 루틴을 포함하는 프로그램.
KR1020087004491A 2005-07-26 2006-04-04 코딩 장치 및 디코딩 장치 KR101283260B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/189,379 US7697783B2 (en) 2005-07-26 2005-07-26 Coding device, coding method, decoding device, decoding method, and programs of same
US11/189,379 2005-07-26
PCT/US2006/012434 WO2007018626A2 (en) 2005-07-26 2006-04-04 Coding device, coding method, decoding device, decoding method, and programs of same

Publications (2)

Publication Number Publication Date
KR20080046166A true KR20080046166A (ko) 2008-05-26
KR101283260B1 KR101283260B1 (ko) 2013-07-11

Family

ID=37694354

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087004491A KR101283260B1 (ko) 2005-07-26 2006-04-04 코딩 장치 및 디코딩 장치

Country Status (12)

Country Link
US (1) US7697783B2 (ko)
EP (1) EP1915825A4 (ko)
JP (1) JP5269593B2 (ko)
KR (1) KR101283260B1 (ko)
CN (1) CN101233697B (ko)
AU (1) AU2006277054B2 (ko)
CA (1) CA2616363A1 (ko)
HK (1) HK1115483A1 (ko)
MY (1) MY149490A (ko)
RU (1) RU2387093C2 (ko)
TW (1) TWI419566B (ko)
WO (1) WO2007018626A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528616B1 (ko) * 2011-06-16 2015-06-12 엑시스 에이비 디지털 비디오 데이터를 엔코딩하기 위한 방법 및 디지털 비디오 엔코더 시스템

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100282147B1 (ko) * 1998-11-13 2001-02-15 구자홍 압축 영상 복원 방법
TWI245539B (en) * 2004-09-22 2005-12-11 Sony Taiwan Ltd Spatial domain pre-processing to reduce the intra-coding computation complexity
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR101311402B1 (ko) * 2006-03-23 2013-09-25 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP4724061B2 (ja) * 2006-07-06 2011-07-13 株式会社東芝 動画像符号化装置
JP4901772B2 (ja) * 2007-02-09 2012-03-21 パナソニック株式会社 動画像符号化方法及び動画像符号化装置
US8824567B2 (en) * 2007-04-04 2014-09-02 Ittiam Systems (P) Ltd. Method and device for tracking error propagation and refreshing a video stream
EP2232883B1 (en) * 2008-01-17 2012-08-08 Thomson Licensing Method for measuring flicker
US20100027621A1 (en) * 2008-07-31 2010-02-04 Kabushiki Kaisha Toshiba Apparatus, method and computer program product for moving image generation
US8711933B2 (en) 2010-08-09 2014-04-29 Sony Computer Entertainment Inc. Random access point (RAP) formation using intra refreshing technique in video coding
CN103444181B (zh) 2011-04-12 2018-04-20 太阳专利托管公司 运动图像编码方法、运动图像编码装置、运动图像解码方法、运动图像解码装置及运动图像编码解码装置
KR102015674B1 (ko) 2011-05-24 2019-08-28 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
EP2717575B1 (en) 2011-05-27 2018-10-10 Sun Patent Trust Image decoding method and image decoding device
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
CA2834191C (en) 2011-05-31 2019-04-09 Panasonic Corporation Video encoding method, video encoding device, video decoding method, video decoding device, and video encoding/decoding device
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
US20130003850A1 (en) 2011-06-30 2013-01-03 Toshiyasu Sugio Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
EP2741499A4 (en) 2011-08-03 2014-12-10 Panasonic Ip Corp America VIDEO CODING METHOD, VIDEO CODING METHOD, VIDEO CODING DEVICE, VIDEO ENCODING DEVICE AND VIDEO ENCODING / DECODING DEVICE
KR101999869B1 (ko) 2011-10-19 2019-07-12 선 페이턴트 트러스트 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 및, 화상 복호 장치
US8855432B2 (en) * 2012-12-04 2014-10-07 Sony Corporation Color component predictive method for image coding
US9386317B2 (en) 2014-09-22 2016-07-05 Sony Interactive Entertainment Inc. Adaptive picture section encoding mode decision control
US10419760B2 (en) 2014-09-29 2019-09-17 Sony Interactive Entertainment Inc. Picture quality oriented rate control for low-latency streaming applications
JP2016212348A (ja) * 2015-05-13 2016-12-15 株式会社 オルタステクノロジー 液晶表示装置
US10200716B2 (en) 2015-06-25 2019-02-05 Sony Interactive Entertainment Inc. Parallel intra-prediction encoding/decoding process utilizing PIPCM and/or PIDC for selected sections
US10178390B2 (en) 2016-03-30 2019-01-08 Sony Interactive Entertainment Inc. Advanced picture quality oriented rate control for low-latency streaming applications
US11212536B2 (en) 2017-07-14 2021-12-28 Sony Interactive Entertainment Inc. Negative region-of-interest video coding

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1316591C (en) * 1987-10-20 1993-04-20 Kazuhiro Hishinuma Method and apparatus for radiation image processing and x-ray image processing
JPH0568171A (ja) * 1991-09-05 1993-03-19 Matsushita Electric Ind Co Ltd 帯域分割型画像符号化装置
US5387938A (en) * 1992-10-08 1995-02-07 Matsushita Electric Industrial Co., Ltd. Adaptive interframe/intraframe block coding method and apparatus
JPH07203456A (ja) * 1993-12-28 1995-08-04 Matsushita Electric Ind Co Ltd 符号化装置と復号化装置と映像記録装置
JPH07222167A (ja) * 1994-02-08 1995-08-18 Nippon Telegr & Teleph Corp <Ntt> 動き補償フレーム間符号化方法
JPH0846966A (ja) * 1994-07-29 1996-02-16 Matsushita Electric Ind Co Ltd 画質改善方法
JP4223571B2 (ja) * 1995-05-02 2009-02-12 ソニー株式会社 画像符号化方法及び装置
JP3282527B2 (ja) * 1996-12-27 2002-05-13 富士ゼロックス株式会社 画像符号化装置
US6055340A (en) * 1997-02-28 2000-04-25 Fuji Photo Film Co., Ltd. Method and apparatus for processing digital images to suppress their noise and enhancing their sharpness
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
JPH11250246A (ja) * 1998-02-27 1999-09-17 Fuji Photo Film Co Ltd 画像処理方法および装置
US6667815B1 (en) * 1998-09-30 2003-12-23 Fuji Photo Film Co., Ltd. Method and apparatus for processing images
CA2309002A1 (en) * 2000-05-23 2001-11-23 Jonathan Martin Shekter Digital film grain reduction
KR100382908B1 (ko) * 2001-01-31 2003-05-09 엘지전자 주식회사 동영상 전송 시스템의 블록 필터링 방법
US6842484B2 (en) * 2001-07-10 2005-01-11 Motorola, Inc. Method and apparatus for random forced intra-refresh in digital image and video coding
US20030112863A1 (en) * 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
JP2005506626A (ja) * 2001-10-25 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 動き推定ユニット及び方法並びにかような動き推定ユニットを備えた画像処理装置
JP4065978B2 (ja) * 2001-11-05 2008-03-26 株式会社ニコン 画像圧縮装置、画像圧縮プログラムおよび画像圧縮方法
US20030103567A1 (en) * 2001-12-03 2003-06-05 Riemens Abraham Karel Motion compensation and/or estimation
JP2003333370A (ja) * 2002-05-10 2003-11-21 Matsushita Electric Ind Co Ltd 信号処理装置
JP2004015501A (ja) 2002-06-07 2004-01-15 Nec Corp 動画像符号化装置および動画像符号化方法
KR100754419B1 (ko) * 2002-07-16 2007-08-31 노키아 코포레이션 비디오 코딩시 랜덤 액세스 및 점진적 화상 리프레시를위한 방법
US7636492B2 (en) * 2003-02-28 2009-12-22 Hewlett-Packard Development Company, L.P. Selective smoothing including bleed-through reduction
US7164807B2 (en) * 2003-04-24 2007-01-16 Eastman Kodak Company Method and system for automatically reducing aliasing artifacts
JP2005102159A (ja) * 2003-08-19 2005-04-14 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
FR2860940A1 (fr) * 2003-10-14 2005-04-15 Nextream France Dispositif et procede de reduction de bruit d'un signal video
JP2005151152A (ja) * 2003-11-14 2005-06-09 Sony Corp データ処理装置およびその方法と符号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101528616B1 (ko) * 2011-06-16 2015-06-12 엑시스 에이비 디지털 비디오 데이터를 엔코딩하기 위한 방법 및 디지털 비디오 엔코더 시스템

Also Published As

Publication number Publication date
TW200715867A (en) 2007-04-16
WO2007018626A3 (en) 2007-12-21
JP2009503999A (ja) 2009-01-29
EP1915825A4 (en) 2013-12-04
AU2006277054B2 (en) 2010-08-19
CN101233697A (zh) 2008-07-30
US7697783B2 (en) 2010-04-13
AU2006277054A1 (en) 2007-02-15
TWI419566B (zh) 2013-12-11
HK1115483A1 (en) 2008-11-28
RU2008106865A (ru) 2009-09-10
CN101233697B (zh) 2012-05-30
KR101283260B1 (ko) 2013-07-11
RU2387093C2 (ru) 2010-04-20
WO2007018626A2 (en) 2007-02-15
US20070025621A1 (en) 2007-02-01
EP1915825A2 (en) 2008-04-30
MY149490A (en) 2013-09-13
JP5269593B2 (ja) 2013-08-21
CA2616363A1 (en) 2007-02-15

Similar Documents

Publication Publication Date Title
KR101283260B1 (ko) 코딩 장치 및 디코딩 장치
JP4186242B2 (ja) 画像信号処理装置及び画像信号処理方法
KR101291196B1 (ko) 영상의 부호화, 복호화 방법 및 장치
KR100703200B1 (ko) 인트라 부호화 장치 및 방법
KR101241728B1 (ko) 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 컴퓨터 판독가능 기록 매체
KR101137051B1 (ko) 데이터 처리 장치 및 그 방법
KR19990036018A (ko) 화상예측 부호화장치와 방법, 화상예측 복호화장치와 방법, 및 기록매체
JP2006005438A (ja) 画像処理装置およびその方法
JPH08163594A (ja) 動画像復号化方法及び動画像復号化装置
JP2004304724A (ja) 画像処理装置とその方法、並びに符号化装置
JP4360093B2 (ja) 画像処理装置および符号化装置とそれらの方法
KR19980087025A (ko) 신호 부호화 장치, 신호 부호화 방법, 신호 기록매체 및 신호 전송 방법
JP2004527981A (ja) 予測タイプの選択によるビデオデータブロックのイントラ符号化
JP4561508B2 (ja) 画像処理装置、画像処理方法およびそのプログラム
US20060146183A1 (en) Image processing apparatus, encoding device, and methods of same
JP4655791B2 (ja) 符号化装置、符号化方法およびそのプログラム
JP2004320437A (ja) データ処理装置、符号化装置およびそれらの方法
KR100730383B1 (ko) 영상 압축 시스템에서 오류 전파 방지를 위한 공간 예측방법
JP2005244666A (ja) データ処理装置、符号化装置およびデータ処理方法
JP4517963B2 (ja) 符号化装置、符号化方法、プログラムおよび記録媒体
JP4000581B2 (ja) 画像符号化装置および方法
JPH10164594A (ja) 動画像の圧縮符号化方法およびその装置
JPH10234041A (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置
JP2002010268A (ja) 画像符号化装置および画像符号化方法
JPH0730895A (ja) 画像処理装置及びその処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee