KR101040872B1 - 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 - Google Patents

동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR101040872B1
KR101040872B1 KR1020097002633A KR20097002633A KR101040872B1 KR 101040872 B1 KR101040872 B1 KR 101040872B1 KR 1020097002633 A KR1020097002633 A KR 1020097002633A KR 20097002633 A KR20097002633 A KR 20097002633A KR 101040872 B1 KR101040872 B1 KR 101040872B1
Authority
KR
South Korea
Prior art keywords
picture
image
output
memory
decoded
Prior art date
Application number
KR1020097002633A
Other languages
English (en)
Other versions
KR20090032117A (ko
Inventor
지우후아이 루
요시이치로 가시와기
마사유키 고즈카
신야 가도노
Original Assignee
파나소닉 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 주식회사 filed Critical 파나소닉 주식회사
Publication of KR20090032117A publication Critical patent/KR20090032117A/ko
Application granted granted Critical
Publication of KR101040872B1 publication Critical patent/KR101040872B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

본 발명은 부호화 및 복호화된 화상으로부터 얻어진 화상을 참조로 화상을 예측 부호화하는 화상 부호화 방법을 제공한다: 복호화된 화상에 대해 필터링 처리(112)를 수행하는 단계; 필터링된 부호화된 화상인 필터링된 화상 및 복호화된 화상인 필터링되지 않은 화상의 2개 화상중에서 필터링된 화상을 참조 화상으로 메모리에 저장하는 단계; 및 상기 2개 화상중에서 필터링되지 않은 화상을 출력용 화상으로 메모리에 저장하는 단계.

Description

동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체{MOVING PICTURE CODING METHOD, MOVING PICTURE DECODING METHOD AND COMPUTER READABLE RECORDING MEDIUM HAVING RECORDED PROGRAM THEREOF}
본 발명은 복호화된 화상을 참조로 예측에 기초하여 화상을 부호화하는 부호화 및 복호화 방법에 관한 것이다. 특히, 본 발명은 움직임 보상의 압축 에러에 의해 일어나는 왜곡을 감소시키기 위해 루프 필터를 채용한 동화상 부호화 및 복호화 방법에 관한 것이다.
일반적으로, 동화상을 압축하는 부호화는 시간 및 공간적 중복성(Redundancy)을 제거하여 데이터량을 감소시킨다. 시간적 중복성을 감소시키는 것을 목적으로 하는 화상간 부호화에서는, 전후방 화상을 참조하여 블럭단위로 움직임 추정 및 움직임 보상을 수행함에 의해 얻어진 예측 화상과 부호화되는 현재 블럭의 차가 부호화된다. 부호화 방법에서 사용되는 것에 대해 대체로 역절차를 사용하여 화상이 복호화된다.
블럭단위로 수행되는 움직임 보상에 따른 압축 결과로서 복호화된 화상내에 "블럭 노이즈"라고 하는 사각형 노이즈가 나타날 수 있다. 블럭 노이즈에 대한 대 책으로서, 예를 들어, ITU-T Rec.H.264 │ISO/IEC 14496-10 AVC Joint Final Committee Draft of Joint Video Specification (2002-8-10)의 종래 기술에서는 루프 필터가 채용되었다.
도 17은 상기한 바와 같은 루프 필터를 구비한 종래의 화상 부호화 장치의 구성을 도시한 블럭도이다. 이 도면에 도시된 바와 같이, 화상 부호화 장치(500)는 메모리(501), 화상간예측유닛(502), 화상내예측유닛(503), 스위치(504), 감산기(505), 직교변환유닛(506), 양자화유닛(507), 멀티플렉싱유닛(508), 역양자화유닛(509), 역직교변환유닛(510), 가산기(511) 및 필터(512)로 구성된다.
상기 필터(512)는 감산기(505), 직교변환유닛(506), 양자화유닛(507), 멀티플렉싱유닛(508), 역양자화유닛(509), 역직교변환유닛(510), 및 가산기(511)를 통해 부호화된 후 복호화된 화상의 블럭 노이즈를 감소시키기 위한 루프필터이다.
상기 메모리(501)는 필터(512)에 의해 필터링된 화상을 일시적으로 저장한다. 필터링된 화상에 기초하여 복원된 화상은 참조용 화상 및 출력용 화상(표시용 화상이라고도 한다)을 포함한다. 참조용 화상은 화상간예측유닛(502) 및 화상내예측유닛(503)에 의해 참조된 후 표시순서에 따라 출력된다. 한편, 출력용 화상은 표시순서에 따라 출력되는 화상으로 참조되지 않는다. 여기서 "출력"은 외부 표시장치에 표시되는 화상의 출력을 의미하지만, 화상부호화장치(500)에 의해 필수적으로 표시되어야 하는 것도 아니고 외부로 출력되어야 하는 것도 아니다. 예를 들어, 부호화 시점에서 동시에 표시장치에 의해 모니터되는 경우에는 화상이 표시되지만, 다른 경우에는 화상이 표시되지 않는다.
예측을 위해 사용되는 화상들 사이의 참조 관계를 나타내는 화상 정렬과 메모리(501)에 화상을 저장하는 동작을 이하에 설명한다.
도 18은 예측을 위한 화상 정렬의 제1예를 도시한다. 이 도면에 도시된 화상 0 ~ 9는 표시 순서로 도시된 동화상에 포함되는 프레임 또는 필드이다. 이 도면의 I, B, 및 P는 각각 화상 타입을 나타낸다. I는 화상내 예측 부호화된 인트라픽처(Intra-picture)(I-화상)이다. B는 메모리(501)에 저장된 다수의 복원된 화상을 참조하는, 이중 예측 부호화된 화상(Bi-predictive coded picture)(B-화상)이다. P는 메모리(501)에 저장되는 하나의 복원 화상을 참조하는 예측 부호화된 화상이다. 해칭된 화상은 화상간 예측 부호화에서 참조 화상으로 참조될 수 있는 화상이고, 해칭되지 않은 화상은 참조용으로 사용되지 않는다. 제1예에서 사용되는 예측을 위한 화상 정렬은 도면의 상부에 도시된 바와 같이, IBBPBBPBBP의 반복이다.
화살표는 화상간 부호화에 사용되는 참조 관계를 나타낸다. 예를 들면, 화상 P3용 참조 화상은 화상 I0이고 화상 P6용 참조 화상은 화상 I0와 P3이다.
이러한 참조 관계에 따르면, 화상의 표시 순서는 부호화 순서와 다르다(예를 들어, 스트림의 화상 순서). 이 도면의 하부는 표시 순서로 배열된 화상들과 부호화 순서(스트림 순서)로 배열된 화상들 사이의 상관 관계를 도시한다. 이 도면에 도시된 바와 같이, 화상 부호화 장치는 표시 순서의 화상들을 예측을 위한 화상 정렬에 따른 부호화 순서의 화상들로 재배열한다.
도 19는 예측을 위한 화상 정렬의 제2예를 도시한다. 이 도면에 도시된 제2예에 채용된 예측을 위한 화상 정렬은 IBBBPBBBP의 반복이다. 제1 및 제2예의 차이 는 제2예에서 참조 화상으로서 B 화상이 사용될 수 있다는 것이다. 즉, 화상 I0, P4 및 P8 이외에 화상 B2와 B6가 참조 화상으로 사용될 수 있다. 화상 B2와 B6는 참조 화상으로서 메모리(501)에 저장되는 것이다.
도 20은 화상 부호화 장치(500)가 제1예에서 채용된 예측을 위한 화상 정렬을 사용하여 화상을 부호화할 때 화상이 메모리에 어떻게 저장되는지를 도시한다. 이 도면에서는 메모리(501)가 4개의 화상을 저장하기 위한 4개의 메모리 영역을 가진다. 4개의 메모리 영역에는 최대 3개의 참조 화상이 저장된다. 참조 화상을 현재 저장하고 있는 최대 3개의 메모리 영역을 참조 영역이라 하고 출력용 화상을 현재 저장하는 메모리 영역을 표시 영역이라 한다. 이 도면에서, 도 18의 화상에 대응하는 화상명인, fI0, fP3, fB1 등은 필터링된 화상이다. 해칭되지 않은 영역은 개방(release)된 상태의 메모리 영역을 나타내고, 화상명을 가진 해칭된 영역은 출력(표시)용 화상을 나타내며 화상명을 가진 해칭되지 않은 영역은 참조용 화상을 나타낸다. (1) ~ (8)은 도 18에 도시된 부호화 순서에 기초하여 부호화 및 복호화(복원)된 화상에 대응한다. 빈 영역이 없는 경우에, 이미 표시된 화상을 유지하고 있는 영역이 있다면 이 곳에 새로운 화상이 저장된다. 이러한 영역이 없으면, 아직 표시되지 않은 화상이 표시 순서로 표시되어 이러한 표시된 화상을 유지하고 있는 영역에 새로운 화상이 저장된다. 참조 화상이 참조 영역에 최대수로 저장될 때는, 참조 영역내에 최초로 저장된 참조용 화상이 표시용 화상으로 변환되어 새로운 화상을 저장하기 위하여 영역이 할당된다.
도 20에 도시된 바와 같이, (1) ~ (4)는 화상 fI0, fP3, fB1 및 fB2가 각각 복원되어 메모리(501)에 저장되는 것을 나타낸다. (5)에서는, 화상 fP6가 복원된다. 화상 fP6을 저장하는 영역을 할당하기 위해서, 화상 fI0 및 fB1가 메모리(501)로부터 순서대로 출력되어 이미 표시된 화상 fB1의 메모리 영역에 화상 fP6가 저장(오버라이트(overwrite))된다. (6)에서는, 화상 fB4이 복원된다. 그 다음 화상 fB2가 메모리(501)에서 출력되어 화상 fB4가 이미 표시된 화상 fB2의 메모리 영역에 저장된다. (7)에서는, 화상 fB5가 복원된다. 그 다음, 화상 fP3 및 fB4가 메모리(501)에서 순서대로 출력되어 이미 표시된 화상 fB4의 메모리 영역에 화상 fB5가 저장된다. (8)에서는, 화상 fP9이 복원된다. 화상 fP9은 이미 표시된 화상 fI0의 메모리 영역에 저장된다. 이는 화상 I0이 이미 표시되었고 따라서 참조용 화상에서 표시용 화상으로 변환되었기 때문이다.
이러한 방법에서는, 참조 화상 뿐만 아니라 출력 화상도 메모리(501)에 저장된다. 저장된 참조 화상이 출력되어 더 이상 참조되지 않을 때는, 참조 화상을 유지하는 메모리 영역이 새로운 화상을 저장하는데 사용된다. 출력 화상이 출력되면, 출력 화상을 유지하는 메모리 영역이 새로운 화상을 저장하는데 사용된다.
도 21은 화상 부호화 장치(500)가 제2예에서 채용된 예측을 위한 화상 정렬을 사용하여 화상을 부호화할 때 메모리(501)에 화상이 어떻게 저장되는지를 도시한다. 이 도면에 도시된 바와 같이, (1) ~ (4)는 화상 fI0, fP4, fB2 및 fB1이 각각 복원되는 것을 나타낸다. 이들 복원된 화상들은 메모리(501)에 순서대로 저장된다. (5)에서는, 화상 fB3가 복원된다. 화상 fI0 및 fB1은 메모리(501)로부터 순서대로 출력되어 이미 표시된 화상 fB1을 현재 저장하는 메모리 영역에 복원된 화상 fB3이 저장된다. (6)에서는, 화상 fP8이 복원된다. 화상 fP8은 표시용 화상으로 변환되어 이미 표시된 화상 fI0을 현재 저장하는 메모리 영역에 저장된다. (7)에서는, 화상 fB6이 복원된다. 참조 화상이 최대로 저장되었으므로 참조 화상 fP4는 표시용 화상으로 변환된다. 그 다음 화상 fB2와 fB3가 메모리(501)로부터 출력되어 표시용 화상이 된 화상 fP4이 화상 fB3의 위치에 저장된다. 화상 fB6은 참조 영역에 저장된다. (8)에서는, 화상 fB5이 복원된다. 그 다음 화상 fP4가 출력되어 화상 fP4을 현재 저장하는 메모리에 화상 fB5이 저장된다. (9)에서는, 화상 fB7이 복원된다. 그 다음 화상 fB5이 메모리(501)로부터 출력되어 화상 fB5을 현재 저장하는 메모리 영역에 화상 fB7이 저장되고, 화상 fB6이 출력된다.
도 22는 메모리(510)에 화상을 저장 및 출력하기 위해 화상 부호화 장치(500)에 의해 동작되는 메모리 관리를 나타낸 플로우차트이다.
이 도면에 도시된 바와 같이, 화상 부호화 장치(500)가 복원된 화상(이후 현재 화상이라 함)이 참조 화상인지 아닌지를 판정한다(S10).
현재 화상이 참조 화상이라고 판정되면, 화상 부호화 장치(500)는 참조 영역이 화상을 저장하기 위한 빈 영역을 가지는지 아닌지 판정하고(S11) 빈 공간이 없으면, 참조 영역에 최초로 저장된 화상이 표시 영역으로 이동된다(S12). 이 이동은 도 21의 (7)에 나타낸 화상 fP4의 경우로서 설명된다. 여기서, "이동"은 메모리 영역 사이의 화상 전송 없이, 메모리 영역의 속성이 "참조용"에서 "표시용"으로 변환하는 것을 의미한다. 화상 부호화 장치(500)는 메모리 영역을 할당하는 영역 할당 처리를 수행하고(S13) 현재 화상을 참조 화상으로서 할당된 메모리 영역에 저장한 다(S14). S11에서 빈 공간이 있다고 판정되면, 화상 부호화 장치(500)는 빈 영역에 참조 화상으로서 현재 화상을 저장한다.
한편, S10에서 현재 화상이 참조 화상이 아니라고 판정되면, 화상 부호화 장치(500)는 메모리가 빈 영역을 가지는지 아닌지를 판정한다(S15). 빈 영역이 없다고 판정되면, 화상 부호화 장치(500)는 현재 화상이 최초로 출력(표시)되는 화상인지를 판정한다(S16). 현재 화상이 최초로 출력되는 화상이라고 판정되면, 화상 부호화 장치(500)는 현재 화상을 저장하지 않고 출력(표시)하고(S17), 현재 화상이 최초로 출력되는 화상이 아니라고 판정되면, 화상 부호화 장치(500)는 영역 할당 처리를 수행한다(S18). S18에서 영역을 할당한 후 또는 S15에서 빈 공간이 있다고 판정한 후, 화상 부호화 장치(500)는 영역에 현재 화상을 저장한다(S19).
그래서, 화상 부호화 장치(500)는 메모리(501)에 필터링 후 복원된 화상을, 참조용 화상 또는 출력용 화상으로서 저장하여 표시용으로 출력한다.
도 23은 종래의 화상 복호화 장치의 구성을 도시한 블럭도이다. 이 도면의 화상 복호화 장치(600)는 메모리(601), 화상간예측유닛(602), 화상내예측유닛(603), 스위치(604), 역양자화유닛(609), 역직교변환유닛(610), 가산기(611), 필터(612) 및 디멀티플렉싱유닛(613)을 포함한다. 디멀티플렉싱유닛(613)은 스트림을 움직임 정보, 화상내 예측 모드 정보, 화상 비트 스트림 등으로 디멀티플렉싱한다. 화상간예측유닛(602)은 움직임 정보에 기초한 화상간 예측을 사용하여 예측 화상을 생성한다. 화상내예측유닛(603)은 화상내 예측 모드 정보에 기초한 화상내 예측을 사용하여 예측 화상을 생성한다. 스위치(604), 역양자화유닛(609), 역직교변환유 닛(610), 가산기(611) 및 필터(612)는 각각 도 17에 도시된 동일명의 각 구성과 같은 기능을 가진다. 화상 복호화 장치(600)에 의해 수행되는 복호화는 화상 부호화 장치(500)에 의해 수행되는 복호화(예를 들어, 화상의 복원)와 동일하다.
그래서 화상 부호화 장치(500)와 화상 복호화 장치(600)는 도 18 및 19에 도시된 예측을 위한 화상 정렬에 나타난 바와 같이 부호화 순서의 화상이 표시 순서로 재배열되는 경우를 위해 구성되었다. 이러한 재배열 없이 예측을 위한 화상 정렬을 사용하는 경우에 대한, 종래의 화상 부호화 장치의 구성은 도 24에 도시된 바와 같고, 종래의 화상 복호화 장치의 구성은 도 25에 도시된 바와 같다. 도 24의 화상 부호화 장치(500a)와 도 25의 화상 복호화 장치(600a)는, 도 17 및 23과 비교하여, 메모리(501, 601) 대신에 필터(512, 612)로부터 화상을 출력한다는 점에서 다르다. 이 경우에는 화상의 재배열이 불필요하므로 각 메모리(501, 601)는 표시용 화상을 저장하지 않고 참조 화상만 저장한다.
이러한 종래 기술의 화상 부호화 장치 및 화상 복호화 장치는 필터링에 의해 모든 화상에 대해 블럭 노이즈를 감소시킨다. 또한, 참조 화상에 대한 블럭 노이즈도 감소되므로, 화질 및 부호화 효율을 향상시킨다.
그러나, 화상의 소재가 필름인 경우에는, 필름 입자(Film Grain)로서 생성된 필름에 대한 고유의 질감을 떨어뜨리는 문제점을 포함한다. 이는 화상 사이에 시공간적 상관관계가 작은 특수한 신호 성분으로서 화상신호에 나타나는, 필름 입자가 루프 필터에 의해 제거되기 때문이다.
MPEG-2에서 처럼 루프 필터 없는 화상 부호화 장치는 이러한 필름 입자가 화 상 신호에 나타나면 부호화 효율(예를 들어, 압축율)을 떨어뜨린다.
본 발명의 목적은 필름의 경우에 화질을 악화시키지 않고 효율적으로 부호화하는 화상 부호화 방법 및 화상 복호화 방법을 제공하는 것이다.
상기 목적을 달성하기 위해서, 부호화 및 복호화된 화상으로부터 얻어진 화상을 참조로 화상을 예측 부호화하는 본 발명에 따른 화상 부호화 방법은: 복호화된 화상에 대해 필터링 처리를 수행하는 필터링단계, 필터링된 복호화된 화상인 필터링된 화상과 복호화된 화상인 필터링되지 않은 화상의 2개 화상중에서 필터링된 화상을 참조 화상으로 결정하는 제1결정단계; 및 2개의 화상중에서 필터링되지 않은 화상을 출력 화상으로 결정하는 제2결정단계를 포함한다.
상기 화상 부호화 방법은 상기 필터링된 화상을 메모리에 참조 화상으로 저장하는 제1저장단계; 및 상기 필터링되지 않은 화상을 메모리에 출력 화상으로 저장하는 제2저장단계를 더 포함한다.
상기한 구성에 의하면, 참조 화상은 필름 입자가 감소하여 부호화 효율이 증가하고, 출력 화상은 필름 입자가 남아 있어 필름의 질감이 저하되지 않는다.
상기 화상 부호화 방법은 상기 메모리에 저장된 참조 화상중에서 더 이상 참조용으로 사용되지 않는 참조 화상을 저장하는 메모리 영역을 개방(Release)하는 개방단계를 더 포함할 수 있다.
상기 개방단계에서, 참조 화상이 더 이상 참조용으로 사용되지 않는 화상이 되면, 참조 화상을 저장하는 영역이 개방되며, 상기 참조 화상은 메모리에 저장된 참조 화상중 하나이다.
상기 개방단계에서, 참조 화상이 더 이상 참조용으로 사용되지 않는 화상이 되면, 출력 화상이 이미 출력된 경우에 참조 화상을 저장하는 영역이 개방되고, 상기 참조 화상은 메모리에 저장된 참조 화상중 하나이며, 상기 참조 화상과 출력 화상은 하나의 복호화된 화상에서 비롯된다.
상기 화상 부호화 방법은 상기 필터링되지 않은 화상과 필터링된 화상중 어느 것이 출력 화상으로 결정되는지를 나타내는 식별정보를 부호화하는 부호화 단계를 더 포함할 수 있다.
상기한 바와 같은 구성에 의하면, 화상 복호화 장치는 예를 들어, 화상의 소재가 필름인지 아닌지에 따라 식별정보를 부호화함으로써, 필터링 전후의 화상을 출력용 화상으로 절환할 수 있다. 그 결과, 화상들은 소재에 따라 최적의 질감으로 표시될 수 있다.
본 발명에 사용되는 화상 부호화 방법과 화상 복호화 방법은, 필름과 같은 화상을 화질을 악화시키지 않고 효과적으로 부호화하는 효과를 가진다. 또한, 화상의 소재에 따라 최적을 질감으로 화상을 표시할 수 있다.
본 발명에 따른 화상 부호화 장치, 화상 복호화 장치, 프로그램 및 스트림은 각각 상기한 방법과 동일한 구성, 작용 및 효과를 가지므로 설명을 생략한다.
또한, 이 출원의 기술적 배경에 대한 정보로서, 2003년 2월 21일자로 출원된 분할 출원 번호 60/449209, 2003년 11월 26일자로 출원된 미국 출원 번호 10/724,317 및 2003년 11월 28일자로 출원된 일본국 특허 출원 번호 2003-398981호가 참조로 여기에 편입되었다.
본 발명은 부호화된 화상을 참조로 예측 부호화를 수행하는 부호화 방법 및 복호화 방법으로 실행 가능하다. 예를 들어, 비디오를 분배하는 웹서버, 이를 수신하는 네트워크 단말기, 비디오를 기록 및 재생할 수 있는 디지털 카메라, 카메라가 구비된 휴대전화, DVD 레코더/플레이어, PDA, 개인용 컴퓨터 등에 상기 방법이 채용될 수 있다.
(제1실시예)
<화상 부호화 장치(100)의 구성>
도 1은 본 발명의 제1실시예에 따른 화상 부호화 장치의 구성을 나타내는 블럭도이다. 이 도면에 도시된 바와 같이, 화상 부호화 장치(100)는 메모리(101), 화상간예측유닛(102), 화상내예측유닛(103), 스위치(104), 감산기(105), 직교변환유닛(106), 양자화유닛(107), 멀티플렉싱유닛(108), 역양자화유닛(109), 역직교변환유닛(110), 가산기(111), 필터(112) 및 제어유닛(113)으로 구성된다.
상기 메모리(10)는 필터(112)에 의해 필터링 및 필터링되지 않은 화상을 저장한다. 상기 필터(112)에 의해 필터링된 화상은 참조 화상으로 사용되고 필터링되지 않은 화상은 출력 화상으로 사용된다. 참조 화상은 필름 입자가 감소되어 부호화 효율이 증가된다. 출력 화상은 필름 입자가 남아 있어 필림의 질감이 저하되지 않는다.
화상간예측유닛(102)은 화상간 예측에 기초하여 예측 화상을 생성한다. 즉, 화상간예측유닛(102)은 메모리(101)에 저장된 참조 화상을 참조하여 움직임 백터를 부호화되는 현재 화상에 포함되는 블럭 단위로 추정하고, 움직임 백터에 따라 참조 화상에 기초하여 예측 화상을 생성한다. 이 경우에, 화상간예측유닛(102)은 현재 화상이 P 화상일 때는 한개의 참조 화상을 사용하고, 현재 화상이 B 화상일 때는 2개의 참조 화상을 사용한다.
화상내예측유닛(103)은 화상내 예측에 기초하여 예측 화상을 생성한다. 즉, 화상내예측유닛(103)은 현재 화상인 I 화상에 포함되는 블럭 단위로 예측 화상을 생성한다. 이 경우에는, 화상내예측유닛(103)은 메모리(101)에 이미 복호화되어 저장된 I 화상의 화소를 참조한다.
현재 화상이 P 화상 또는 B 화상이면, 스위치(104)는 화상간예측유닛(102) 또는 화상내예측유닛(103) 중에서 작은 예측 에러를 가지는 쪽에 연결한다. 현재 화상이 I 화상이면, 스위치(104)는 화상내예측유닛(103) 측에 연결한다.
감산기(105)는 스위치(104)를 통해 화상간예측유닛(102) 또는 화상내예측유닛(104)으로부터 입력된 예측 화상의 각 화소값에서 부호화되는 현재 블럭의 각 화소값을 감산한다. 감산으로부터 얻어진 결과를 예측 에러라 한다.
직교변환유닛(106)은 감산기(105)로부터 출력된 예측 에러에 대해 직교변환을 수행한다. 직교변환으로부터 얻어진 결과를 계수블럭이라 한다.
양자화유닛(107)은 직교변환유닛(106)으로부터 출력된 계수블럭을 양자화한 다. 양자화로부터 얻어진 결과를 양자화된 계수블럭이라 한다.
멀티플렉싱유닛(108)은 양자화유닛(107)으로부터 출력된 양자화된 계수블럭을 가변 길이 부호화하고, 또한 가변 길이 부호와, 화상간예측유닛(102)에 의해 추정된 움직임 벡터를 나타내는 움직임 백터 정보, 화상내예측유닛(103)으로부터 출력된 화상내 예측 모드 정보, 스위치(104)의 절환을 나타내는 선택 정보, 메모리(101)에 저장되는 화상에 관한 필터 적용 정보 등을, 스트림으로서 부호화한다.
역양자화유닛(109)은 양자화유닛(107)으로부터 출력된 양자화된 계수블럭을 역양자화하여 계수블럭을 얻는다.
역직교변환유닛(110)은 역양자화유닛(109)으로부터 출력된 계수블럭에 대해 역직교변환을 수행하여 예측 에러를 구한다.
가산기(111)는 역직교변환유닛(110)으로부터 출력된 예측 에러의 각 화소값을 스위치(104)를 통해 화상간예측유닛(102) 또는 화상내예측유닛(103)으로부터 입력된 예측 화상의 각 화소값에 가산한다. 가산 결과는 현재 블럭에 대해 생성된 복호화된 블럭이다. 이러한 복호화된 블럭을 메모리(101)에 순서대로 저장함으로써, 필터가 적용되지 않은 화상이 복원된다.
*필터(112)는 가산기(111)로부터 출력된 복호화된 플럭의 블럭 노이즈를 감소시키기 위해 필터링을 수행한다. 예를 들어, 필터(112)는 메모리(101)에 이미 저장된 복호화된 블럭의 화소값을 이용하여, 가산기(111)로부터 출력된 복호화된 블럭의 경계의 화소에 대해, 수평 및 수직 방향(예를 들어, 탭수는 대략 9에서 10 이 상의 수개이다)으로 필터링을 수행한다. 그래서, 필터가 적용된 화상이 복원된다.
제어유닛(113)은 화상 부호화 장치(110)를 전체적으로 제어한다. 특히 제어유닛(113)은 필터링 및 필터링되지 않은 화상을 메모리(101)에 저장하거나 메모리(101)로부터 출력하는 것을 제어한다.
<메모리(101)에 화상을 저장하는 제1예>
도 2는 도 18에 도시된 제1예에서 채용된 예측을 위한 화상 정렬을 사용하여 화상 부호화 장치(100)가 화상을 부호화할 때 화상이 메모리에 어떻게 저장되는지를 나타낸다. 이 도면에서는, 메모리(101)가 4개의 화상을 저장하기 위한 4개의 메모리 영역을 가진다. 최대 3개의 참조 화상을 저장하는데 4개의 메모리 영역이 사용된다. 참조 화상을 현재 저장하는 최대 3개의 메모리 영역을 참조 영역이라 하고, 출력용 화상을 현재 저장하는 메모리 영역을 표시영역이라 한다. 참조 영역과 표시 영역은 물리적으로 고정되지 않으며 각 메모리 영역의 속성에 따라 분류된다. 상기 속성은 저장된 화상이 참조용인지 또는 출력용인지를 나타낸다. 이 도면에서, fI0, fP3, fB1 등은 필터가 적용된 화상을 나타내고 I0, P3, B1 등은 필터가 적용되지 않은 화상을 나타낸다. 해칭되지 않은 메모리 영역은 참조 영역을 나타내고 해칭된 메모리 영역은 표시 영역을 나타낸다. (1) ~ (8)은 도 18에 도시된 부호화 순서에 기초하여 부호화/복호화(예를 들어, 복원)된 화상에 각각 대응한다.
도 2의 (1)에서는, 필터링된 화상 fI0과 필터링되지 않은 화상 I0이 가산기(111)와 필터(112)로부터의 출력에 기초하여 각각 복원된다. 필터링되지 않은 화상 I0은 표시 영역에 저장되고 필터링된 화상 fI0는 참조 영역에 저장된다.
(2)에서는, 필터링된 화상 fP3과 필터링되지 않은 화상 P3이 각각 복원된다. 필터링되지 않은 화상 P3은 표시 영역에 저장되고 필터링된 화상 fP3은 참조 영역에 저장된다.
(3)에서는, 필터링되지 않은 화상 B1이 복원된다. 이 화상은 참조 화상이 아니다. 따라서, 필터링된 화상 fB1은 복원되지 않는다. 먼저, 표시 영역에 저장되는 필터링되지 않은 화상 I0이 출력되어 영역이 개방된다. 그 다음 화상 I0이 개방된 표시 영역에 필터링되지 않은 화상 B1이 저장된다.
(4)에서는, 필터링되지 않은 화상 B2이 복원된다. 이 화상은 참조 화상이 아니고, 따라서, 필터링된 화상 fB2이 복원되지 않는다. 먼저, 필터링되지 않은 화상 B1이 표시 영역으로부터 출력되어 영역이 개방된다. 그 다음 화상 B1이 개방된 표시 영역에 필터링되지 않는 화상 B2이 저장된다.
(5)에서는, 필터링된 화상 fP6과 필터링되지 않은 화상 P6이 각각 복원된다. 먼저, 필터링되지 않은 화상 B2 및 P3가 표시 영역으로부터 순서대로 출력되어 영역이 개방된다. 그 다음 필터링되지 않은 화상 P6이 개방된 표시 영역에 저장되고 필터링된 화상 fP6이 개방된 참조 영역에 저장된다. 즉, 참조 영역의 화상의 최대 화상의 수는 3이고 표시 영역의 화상의 수는 1이다.
(6)에서는, 필터링되지 않은 화상 B4가 복원된다. 이 화상은 참조 화상이 아니다. 따라서, 필터링된 화상 fB4는 복원되지 않는다. 복원된 화상(B4)은 메모리(101)에 저장되지 않고 출력된다.
(7)에서는, 필터링되지 않은 화상 B5가 복원된다. 이 화상은 참조 화상이 아 니다. 따라서 필터링된 화상 fB5는 복원되지 않는다. 복원된 화상(B5)은 메모리(101)에 저장되지 않고 출력된다.
(8)에서는, 필터링된 화상 fP9와 필터링되지 않는 화상 P9가 각각 복원된다. 먼저, 필터링되지 않은 화상 P6이 표시 영역으로부터 출력되어 영역이 개방된다. 그 다음 필터링되지 않은 화상 P9이 개방된 표시 영역에 저장되고 필터링된 화상 fP9는 참조 영역에 저장된다.
그래서, 화상 부호화 장치(100)는 필터링된 화상을 참조 영역에 참조 화상으로 저장하고 필터링되지 않은 화상을 표시 영역에 출력용 화상으로 저장한다. 또한, 제1예에 채용된 예측을 위한 화상 정렬(도 18 참조)을 사용하는 경우에는, 참조 영역과 표시 영역을 포함하는 메모리 영역으로서, 4개의 화상을 저장할 수 있는 메모리 영역이 충분하다.
<메모리(101)에 화상을 저장하는 제2예>
도 3은 도 19에 도시된 제2예에서 채용된 예측을 위한 화상 정렬을 사용하여 화상 부호화 장치(100)가 화상을 부호화할 때 화상이 메모리에 어떻게 저장되는지를 나타낸다. 이 도면에서는, 메모리(101)가 5개의 화상을 위한 5개의 메모리 영역을 가진다. 다섯개의 메모리 영역은 최대 3개의 참조 화상을 저장하는데 사용된다.
도 3의 (1)에서는, 필터링된 화상 fI0과 필터링되지 않은 화상 I0이 가산기(111)와 필터(112)로부터의 출력에 기초하여 각각 복원된다. 필터링되지 않은 화상 I0은 표시 영역에 저장되고 필터링된 화상 fI0은 참조 영역에 저장된다.
(2)에서는, 필터링된 화상 fP4와 필터링되지 않은 화상 P4가 각각 복원된다. 필터링되지 않은 화상 P4는 표시 영역에 저장되고 필터링된 화상 fP4는 참조 영역에 저장된다.
(3)에서는, 필터링된 화상 fB2와 필터링되지 않은 화상 B2가 각각 복원된다. 먼저, 필터링되지 않은 화상 I0가 출력되어 영역이 개방된다. 그 다음 필터링되지 않은 화상 B2이 표시 영역에 저장되고 필터링된 화상 fB2이 참조 영역에 저장된다.
(4)에서는, 필터링되지 않은 화상 B1가 복원된다. 이 화상은 참조 화상이 아니다. 따라서, 필터링된 화상 fB1이 복원되지 않는다. 복원된 화상 B1은 메모리(101)에 저장되지 않고 출력된다.
(5)에서는, 필터링되지 않은 화상 B3가 복원된다. 이 화상은 참조 화상이 아니다. 따라서, 필터링된 화상 fB3가 복원되지 않는다. 먼저, 필터링되지 않은 화상 B2가 표시 영역으로부터 출력된다. 그 다음 필터링되지 않은 화상 B3가 표시 영역에 저장된다.
(6)에서는, 필터링된 화상 fB8과 필터링되지 않은 화상 P8이 각각 복원된다. 먼저, 참조 영역내의 화상 fI0가 개방(화상 I0가 이미 표시되었으므로)된 다음 필터링되지 않은 화상 B3가 표시 영역으로부터 출력되어 영역이 개방된다. 2개의 화상에 상당하는 영역들이 개방되어 필터링되지 않은 화상 P8이 표시 영역에 저장되고 필터링된 화상 fP3가 참조 영역에 저장된다.
(7)에서는, 필터링된 화상 fB6와 필터링되지 않은 화상 B6가 각각 복원된다. 먼저, 참조 영역의 화상 fP4가 개방(화상 P4가 표시 영역에 있으므로)된 다음 필터링되지 않은 화상 P4가 표시 영역으로부터 개방되어 영역이 개방된다. 그 다음 필 터링되지 않은 화상 B6가 개방된 표시 영역에 저장되고 필터링된 화상 fB6가 참조 영역에 저장된다.
(8)에서는, 필터링되지 않은 화상 B5이 복원된다. 이 화상은 참조 화상이 아니다. 따라서 필터링된 화상은 fB5이 복원되지 않는다. 복원된 화상 B5는 메모리(101)에 저장되지 않고 출력된다.
*(9)에서는, 필터링되지 않은 화상 B7이 복원된다. 이 화상은 참조 화상이 아니다. 따라서 필터링된 화상 fB7은 복원되지 않는다. 먼저, 필터링되지 않은 화상 B6이 표시 영역으로부터 출력되어 영역이 개방된다. 그 다음 필터링되지 않은 화상 B7이 표시 영역에 저장된다.
그래서, 화상 부호화 장치(100)는 필터링된 화상을 참조 영역에 참조 화상으로 저장하고 필터링되지 않은 화상을 표시 영역에 출력용 화상으로 저장한다. 또한, 도 19에 도시된 제2예에 채용된 예측을 위한 화상 정렬을 사용하는 경우에는, 참조 영역 및 표시 영역을 포함하는 메모리 영역으로서, 5개의 화상을 저장할 수 있는 메모리 영역이 충분하다.
<메모리(101)내에 화상을 저장하는 제3예>
도 4는 도 19에 도시된 제2예에서 채용된 예측을 위한 화상 정렬을 사용하여 화상 부호화 장치(100)가 화상을 부호화할 때 화상이 메모리(101)에 어떻게 저장되는지를 나타낸다. 이 도면에서는, 메모리(101)가 5개 대신에 4개의 메모리 영역을 사용한다는 점에서 상기한 바와 같은 제2예와 다르다. 참조 영역의 메모리 영역의 최대수가 3개라는 점은 유사하다. 이 경우에는, 메모리(101)가 적은 영역을 가지므로 표시 영역이 부족한 경우가 발생될 수 있다. 결과적으로, 일부 복호화된 화상들이 출력되지 않을 수 있다. 이러한 점은 화상 부호화 장치(100)의 단점이지만, 모든 화상들이 적은 메모리 영역을 사용하여 적절히 부호화될 수 있는 이점이 있다.
도 4의 (1)에서는, 필터링된 화상 fI0과 필터링되지 않은 화상 I0이 가산기(111)와 필터(112)로부터의 출력에 기초하여 각각 복원된다. 필터링되지 않은 화상 I0은 표시 영역에 저장되고 필터링된 화상 fI0는 참조 영역에 저장된다.
(2)에서는, 필터링된 화상 fP4와 필터링되지 않은 화상 P4가 각각 복원된다. 필터링되지 않은 화상 P4는 표시 영역에 저장되고 필터링된 화상 fP4는 참조 영역에 저장된다. 제3예에서는 이러한 점에서 빈 메모리 영역이 적어지고, 이 점이 제2예와 다르다.
(3)에서는, 필터링된 화상 fB2와 필터링되지 않은 화상 B2가 각각 복원된다. 참조 화상인 필터링된 화상 fB2는 확실히 저장될 필요가 있다. 이를 위해서, 필터링되지 않은 화상 I0가 표시 영역으로부터 출력되어 개방되어 화상 fB2가 개방된 영역에 저장된다. 그러나, 개방된 영역이 없고, 표시될 다음 화상 B1이 아직 복원되지 않았으므로, 이 시점에서 화상 B2가 저장될 수 없다. 그래서, 다음에 표시되는 화상 B1을 건너 뛰고 복원된 화상 B2가 출력된다.
(4)에서는, 필터링되지 않은 화상 B1가 복원된다. 이 화상은 참조 화상이 아니다. 따라서, 필터링된 화상 fB1이 복원되지 않는다. 이 시점에서 개방된 영역이 없고, 표시 순서의 위치가 B1 보다 늦은 화상 B2가 이미 출력되었으므로, 화상 B1 이 저장되지 않는다.
(5)에서는, 필터링되지 않은 B3가 복원된다. 이 화상은 참조 화상이 아니다. 따라서, 필터링된 화상 fB3가 복원되지 않는다. 다음에 표시될 화상 B2가 이미 표시되었다. 따라서, B3가 출력된다.
(6)에서는, 필터링된 화상 fB8와 필터링되지 않은 화상 P8가 각각 복원된다. 먼저, 필터링되지 않은 화상 P4가 출력되어 영역이 개방된다. 필터링되지 않은 화상 P8는 표시 영역에 저장되고 참조 영역의 화상 I0이 개방(화상 fI0이 이미 표시되었으므로)되어 필터링된 화상 fP8이 참조 영역의 개방된 영역에 저장된다.
(7)에서는, 필터링된 화상 fB6와 필터링되지 않은 화상 B6가 각각 복원된다. 참조 화상인 필터링된 화상 fB6은 확실히 저장될 필요가 있다. 표시 순서의 위치가 화상 B6 보다 늦은 화상 P8이 표시 영역에 저장되어 복원된 화상 B6가 표시 순서에서 다음에 표시될 화상 B5를 건너 뛰어 출력된다. 참조 영역의 화상 fP4가 개방(화상 P4가 이미 표시되었으므로)되어 화상 fB6가 개방된 영역에 저장된다.
(8)에서는, 필터링되지 않은 화상 B5이 복원된다. 이 화상은 참조 화상이 아니다. 따라서 필터링된 화상은 fB5이 복원되지 않는다. 화상 B5 보다 표시 순서의 위치가 늦은 화상 B6가 이미 출력되어 복원된 화상 B5는 메모리(101)에 저장되지도 출력되지도 않는다.
(9)에서는, 필터링되지 않은 화상 B7이 복원된다. 이 화상은 참조 화상이 아니다. 따라서 필터링된 화상 fB7은 복원되지 않는다. 필터링되지 않은 화상 B7은 메모리(101)에 저장되지 않고 출력된다.
그래서, 화상 부호화 장치(100)는 필터링된 화상을 참조 영역에 참조 화상으로 저장하고 필터링되지 않은 화상을 표시 영역에 출력용 화상으로 저장한다. 제2예와 비교하여, 메모리(101)가 적은 메모리 영역을 가지므로 표시 영역이 부족한 경우가 발생될 수 있다. 결과적으로, 일부 화상이 출력되지 않을 수 있다. 이러한 점은 화상 부호화 장치(100)의 단점이지만, 적은 메모리 영역을 사용하여 모든 화상들을 적절히 부호화할 수 있는 이점이 있다.
<제1 메모리 관리 처리>
도 5는 화상을 메모리(101)에 저장 및 출력하기 위해 제어유닛(113)에 의해 수행되는 제1 메모리 관리 처리를 나타내는 플로우차트이다. 복원된 직후의 필터링된 또는 필터링되지 않은 화상을 현재 화상이라 한다.
이 도면에 도시된 것처럼, 먼저 제어유닛(113)이 현재 화상이 참조 화상인지 아닌지를 판정한다(S50).
현재 화상이 참조 화상이라고 판정되면, 제어유닛(113)은 참조 화상이 화상을 저장하기 위한 빈 영역을 가지는지 판정한다(S51). 빈 영역이 없다고 판정되면, 제어유닛(113)은 참조 영역내에 최초로 저장된 화상을 개방한다(S52). S51에서 빈 영역이 있다고 판정된 후 또는 S52에서 화상이 개방되었다고 판정된 후, 제어유닛(113)은 필터링된 현재 화상을 참조 화상으로서 빈 영역 또는 개방된 영역에 저장한다(S53).
S50에서 현재 화상이 참조 화상이 아니라고 판정되면, 제어유닛(113)은 참조 영역과 표시 영역을 포함하는 메모리 영역이 빈 영역을 가지는지 아닌지를 판정한 다(S54). 메모리가 빈 영역을 가지고 있지 않다고 판정되면, 제어유닛(113)은 현재 화상이 최초로 출력(표시)되는 화상인지 아닌지를 판정한다(S55). 현재 화상이 최초로 출력되는 화상이라고 판정되면, 제어유닛(113)은 메모리(101)에 필터링되지 않은 현재 화상을 저장하지 않고 출력하며(S56) 현재 화상이 최초로 출력되는 화상이 아니면, 제어유닛(113)은 영역 할당을 위한 처리를 수행한다(S57). S57에서 영역 할당 후 또는 S54에서 빈 영역의 발견 후, 제어유닛(113)은 필터링되지 않은 현재 화상을 할당된 영역 또는 빈 영역에 적당히 저장한다(S58).
도 6은 S57와 S58에서 나타낸 바와 같은 영역 할당 처리를 상세히 나타내는 플로우차트이다. 이 도면에서는, 제어유닛(113)이 표시 영역에 저장된 화상이 이미 출력(표시)되었는지 아닌지를 판정한다(S100). 화상이 이미 출력되었다고 판정되면, 제어유닛(113)은 메모리 영역을 개방한다(S101). 화상이 아직 출력되지 않았다고 판정되면, 제어유닛(113)은 메모리(101)에 저장된 화상과 현재 화상중에서 최초로 표시되는 화상을 선택하여 출력(표시)한다(S102). 또한, 제어유닛(113)은 S102에서 현재 화상이 이미 출력되었는지 아닌지를 판정하여(S103) 현재 화상이 이미 출력되었으면 처리를 종료하고 현재 화상이 아직 출력되지 않았으면 S100으로 리턴한다.
그래서, 제어유닛(113)은 필터링 후 복원된 화상을 참조 화상으로 필터링 없이 복원된 화상을 출력용 화상으로 각각 메모리(101)에 저장한다.
도 5와 6에 도시된 제1 메모리 관리 처리에서는, 참조 화상(필터링된 복원된 화상)용으로 메모리 영역이 최대 1회 개방되고, 출력용 화상(필터링되지 않은 복원 된 화상)용으로 메모리 영역이 최대 1회 개방된다.
<제2 메모리 관리 처리>
도 7은 메모리(101)에 화상을 저장 및 출력하기 위해 제어유닛(113)에 의해 수행되는 제2 메모리 관리 처리를 나타내는 플로우챠트이다.
제2 메모리 관리 처리에서는, 제1 메모리 관리 처리의 경우에서 처럼 메모리 영역이 참조 화상(필터링된 복원된 화상)용으로 최대 1회 개방된다. 그러나, 메모리 영역이 출력용 화상(필터링되지 않은 복원 화상)용으로 최대 2회 개방된다는 차이가 있다. 즉, 제1 메모리 관리 처리의 개방 처리 총 회수는 최대 2회이다: 참조 화상을 저장하기 위한 한 번과 출력 화상을 저장하기 위한 다른 한 번. 그러나, 제2 메모리 관리 처리에서는, 개방 처리가 출력용 화상만을 저장하기 위해서 수행된다. 따라서, S67는 최대 2개의 메모리 영역을 할당하기 위해 최대 2회 기동된다: 참조 화상을 위한 한 번과 출력 화상을 위한 다른 한 번. 비록 제2 메모리 관리 처리가 이러한 측면에 관해 다른 흐름을 가지지만, 도 2~4에 나타난 바와 같이 동일한 결과가 얻어질 수 있다.
도 7에 도시된 바와 같이, 제어유닛(113)은 현재 화상이 참조 화상인지 아닌지를 먼저 판정한다(S60).
현재 화상이 참조 화상이라고 판정되면, 제어유닛(113)은 참조 영역이 빈 영역을 가지는지 아닌지를 판정한다(S61). 빈 영역이 없으면, 제어유닛(113)은 참조 영역에 최초로 저장된 화상을 이동시킨다(S62). 여기서 이동은 메모리 영역 사이에 화상을 전송하는 것을 의미하는 것이 아니라 "참조용"에서 "표시용"으로의 메모리 영역의 속성을 변경하는 것을 의미한다.
S61에서 빈 영역이 있다고 판정된 후 또는 S62에서 화상이 이동된 후, 제어유닛(113)은 필터링된 현재 화상을 기준 화상으로 이동에 의해 생성된 자유 공간 또는 빈 공간에 저장한다(S63).
S60에서 현재 화상이 참조 화상이 아니라고 판정되면, 제어유닛(113)은 참조 영역과 표시 영역을 포함하는 메모리 영역이 빈 영역을 가지는지 아닌지를 판정한다(S64). 빈 영역이 없다고 판정되면, 제어유닛(113)은 현재 화상이 최초로 출력(표시)되는 화상인지 아닌지를 판정한다(S65). 현재 화상이 최초로 출력되는 것이라고 판정되면, 제어유닛(113)은 필터링되지 않은 현재 화상을 메모리(101)에 저장하고 출력(표시)한다(S66). 현재 화상이 최초로 출력되는 것이 아니라고 판정되면, 제어유닛(113)은 영역을 할당하기 위한 처리를 수행하고(S67) S64로 리턴한다. S64에서 빈 영역이 있다고 판정되면, 제어유닛(113)은 필터링되지 않은 현재 화상을 표시 영역에 저장한다(S68).
S67과 S68에 나타낸 영역 할당 처리는 도 6의 플로우챠트에 도시된 바와 같다.
<화상 복호화 장치의 구성>
도 8은 본 발명의 제1실시예에 따른 화상 복호화 장치의 구성을 나타내는 블럭도이다. 이 도면에 도시된 화상 복호화 장치(200)는 메모리(201), 화상간예측유닛(202), 화상내예측유닛(203), 스위치(204), 역양자화유닛(209), 역직교변환유닛(210), 가산기(211), 필터(212) 및 디멀티플렉싱유닛(213)으로 구성된다. 디멀티 플렉싱유닛(213)은 스트림으로부터 움직임 정보, 화상내 예측 모드 정보, 화상 비트 스트림 등을 디멀티플렉싱한다. 화상간예측유닛(202)은 움직임 정보에 기초한 화상간 예측에 의해 예측 화상을 생성하고 화상내예측유닛(203)은 화상내 예측 모드 정보에 기초한 화상내 예측에 의해 예측 화상을 생성한다. 스위치(204), 역양자화 유닛(209), 역직교변환 유닛(210), 가산기(211) 및 필터(212)는 각각 도 1에 도시된 동일 명칭의 각 구성과 동일한 기능을 가진다. 화상 복호화 장치(200)에 의해 수행되는 복호화는 화상 부호화 장치(500)에 의해 수행되는 복호화(화상 복원)와 동일하다.
상기한 것처럼, 본 실시예에 따른 화상 부호화 장치 및 화상 복호화 장치에 의하면, 필터링된 화상이 참조 화상으로 사용되고 필터링되지 않은 화상이 출력 화상으로 사용된다. 참조 화상에 대해 블럭 노이즈와 필름 입자가 감소되어 부호화 효율이 향상될 수 있다. 또한, 출력 화상에 대해 필름 입자가 남아 있어 필름의 질감이 악화되지 않는다
(제2실시예)
제1실시예에 따른 화상 부호화 장치(100)와 화상 복호화 장치(200)의 구성은 도 18 및 19에 도시된 예측을 위한 화상 정렬에서 알 수 있는 것처럼, 표시용으로 화상이 재배열되는 경우에 대한 것이다. 본 실시예는 이러한 재배열 없이 예측을 위한 화상 정렬을 사용하는 경우에 대한 화상 부호화 장치와 화상 복호화 장치를 설명한다.
도 9는 본 실시예에 따른 화상 부호화 장치의 구성을 나타내는 블럭도이다. 이 도면에서 화상 부호화 장치(100a)는 필터링 및 필터링되지 않은 화상을 저장하는 대신에 오직 필터링된 화상만을 메모리(101)에 저장하고 추가 스위치(114)를 가진다는 것이 도 1에 도시된 화상 부호화 장치(100)와 다른 점이다. 이하 다른 점을 중심으로 설명하고 동일한 점에 대한 설명을 생략한다.
메모리(101)는 필터링된 화상을 참조 화상으로 저장하지만, 필터링되지 않은 화상은 저장하지 않는다.
스위치(114)는 가산기(1110로부터 복원된 화상(예를 들어, 필터링되지 않은 화상)과 필터(112)로부터 복원된 화상(예를 들어, 필터링된 화상)을 수신하여 필터 적용 정보에 따라 그들 중 하나를 선택적으로 출력한다.
도 10은 본 실시예에 따른 화상 복호화 장치의 구성을 나타내는 블럭도이다. 이 도면에서 화상 복호화 장치(200a)는 다음의 점에서 도 8에 도시된 화상 복호화 장치(200)와 다르다: 필터링 및 필터링되지 않은 화상 대신에 오직 필터링된 화상만을 메모리(201)에 저장한다; 그리고 스위치(214)가 추가되었다. 화상 복호화 장치(200a)에의 수행되는 복호화는 화상 부호화 장치(100a)에 의해 수행되는 복호화(복원)와 동일하여 여기서는 설명이 생략되었다.
상기한 바와 같이, 본 실시예에 따른 화상 부호화 장치(100a) 및 화상 복호화 장치(200a)에 의하면, 참조 화상이 필터링되므로 참조 화상에 대해 블럭 노이즈와 필름 입자가 감소되어 부호화 효율이 향상된다. 또한, 스위치(114, 214)가 필터링되지 않은 화상을 선택하므로 화상의 소재가 필름인 경우에 필림의 질감을 떨어뜨리지 않고 화상이 출력될 수 있다. 소재가 필림이 아닌 경우에는, 스위치(114, 214)가 필터링된 화상을 선택하여 적은 노이즈의 화상이 출력될 수 있어 소재에 따라 최적의 화질이 선택될 수 있다.
상기 각 실시예는 필터 적용 정보에 따라 출력되는 화상을 절환하는 구성을 가질 수 있다. 이 경우에 필터 적용 정보의 예가 도 11에 도시되었다. 이 도면에서는, 필터 적용 정보는 필터링 또는 필터링되지 않은 화상 중에서 어떤 화상이 출력되는 화상인지를 나타내는 번호로 표현되었다. 예를 들어, 번호 "0"는 스트림내의 모든 화상중에서 필터링되지 않은 화상이 출력되는 것을 의미한다. 번호 "1"는 스트림내의 모든 화상중에서 필터링된 화상을 출력하는 것을 의미한다. 번호 "2"는 필터 적용 정보에 의해 특정된 화상중에서 필터링되지 않은 화상을 출력하는 것을 의미한다. 번호 "3"은 필터 적용 정보에 의해 특정된 화상중에서 필터링된 화상을 출력하는 것을 의미한다. 번호 "4"는 필터 적용 정보에 의해 특정된 화상 다음의 화상중에서 필터링되지 않은 화상을 출력하는 것을 의미한다. 번호 "5"는 필터 적용 정보에 의해 특정된 화상 다음의 화상중에서 필터링된 화상을 출력하는 것을 의미한다. 필터 적용 정보는 스트림내의 임의 화상에 대해 설정된다. 예를 들어, 필터 적용 정보는 MPEG-4AVC 표준의 부가 정보로서 간주되는 SEI(Supplemental Enhancement Information)에서 설정될 수 있다.
상기 각 실시예에서 필터링된 복원 화상이 참조 화상으로 사용되고 필터링되지 않은 복원 화상이 출력 화상으로 사용되는 것이 설명되었다. 이러한 방법과, 필터링되지 않은 복원 화상이 참조 화상으로 사용되고 필터링된 복원 화상이 출력 화상으로 사용되는 기존의 방법이 화상에 따라 절환될 수 있다.
즉, 다음의 (1) ~ (3)의 어느 쪽이든 화상 단위로 절환될 수 있다.
(1) 2개의 화상을 저장: 참조 화상으로서 필터링된 복원된 화상; 출력 화상으로서 필터링되지 않은 복원된 화상.
(2) 한 개의 필터링되지 않은 복원된 화상을 참조 화상으로 저장
(3) 한 개의 필터링된 복원된 화상을 출력 화상으로 저장.
이 경우에 메모리 관리 처리의 어떠한 변경 없이 도 5 및 7에 나타낸 플로우를 사용할 수 있다.
또한, 각 화상에 대해 POC(Picture Order Count)와 같은 화상 표시 순서에 대응하는 부호를 할당하는 것도 가능하여 도 5 및 7에 나타낸 플로우가 POC를 사용하여 실행될 수 있다. 즉, 필터링된 복원 화상인 참조 화상과 필터링되지 않은 복원 화상인 출력화상에 대해 동일한 POC가 할당되는데, 양자는 하나의 복호화된 화상에서 비롯된다. 이러한 방법에서는, 화상이 참조 영역에서 표시 영역으로 이동되고 이동되는 화상의 POC가 직전에 출력된 화상의 POC 보다 작은 값을 나타내는 경우, 참조 영역의 화상은 "이미 표시됨"으로 판정될 수 있다. 참조 영역과 표시 영역이 동일한 POC의 화상을 가지는지 아닌지를 검출함으로써, 참조 영역에서 표시 영역으로 화상이 이동하는 시점에서 화상에 대해 개방되었는지(예를 들어, 참조 화상이 출력될 필요가 있는지 아닌지) 판정하는 것도 가능하다. 복호화된 화상에 대해 고유 번호를 할당함으로써 참조 및 표시 영역내에서 동일한 POC를 갖는 화상을 검출하는 것이 실현될 수 있다(그러나, 필터링된 복원된 화상이 참조 화상으로 사용되고 필터링되지 않은 복원된 화상이 출력 화상으로 사용되는 경우, 양 화상에 대해 동일한 번호가 할당된다). 따라서, 참조 영역에서 표시 영역으로 화상이 이동하는 시점에 동일한 번호가 있으면, 참조 화상이 출력될 필요가 없다고 판정하는 것이 가능하다.
(제3실시예)
또한, 상기 실시예에서 설명된 화상 부호화 방법을 실현하는 프로그램을 플렉시블 디스크 등과 같은 기록매체에 기록함으로써, 상기 실시예에 설명된 처리를 독립적인 컴퓨터 시스템에서 쉽게 수행할 수 있다.
도 12a, 12b 및 12c는 컴퓨터 시스템에서 제1 및 제2 실시예에서 설명된 화상 부호화 방법을 수행하는 프로그램이 기록된 기록매체의 설명도이다.
도 12b는 기록매체의 주본체로서 플렉시블 디스크(FD)의 전체 외관, 단면 구성 및 디스크 그 자체(FD)의 전체 외관을 도시하고, 도 12a는 플렉시블 디스크(FD)의 물리적 포맷의 예를 나타낸다.
디스크(FD)는 케이스(F)내에 디스크(FD)의 표면에 외연으로부터 내측으로 동심원적으로 형성된 다수의 트랙(Tr)을 가지고, 각 트랙은 각도 방향으로 16 섹터(Se)로 분할된다. 그래서, 상기한 프로그램으로서 화상 부호화 방법이 디스크(FD)의 할당된 영역에 기록된다.
도 12c는 플렉시블 디스크(FD)에 프로그램을 기록 및 독출하기 위한 구성을 나타낸다.
프로그램이 플렉시블 디스크(FD)에 기록될 때, 컴퓨터 시스템(Cs)은 플렉시블 디스크 드라이브(FDD)를 통해 상기한 프로그램으로서의 화상 부호화 방법을 기 록한다. 화상 부호화 방법이 플렉시블 디스크(FD)의 프로그램을 이용하여 컴퓨터 시스템(Cs)에 구축될 때, 상기 플렉시블 디스크(FD)로부터 프로그램이 독출된 후 플렉시블 디스크 드라이브(FDD)에 의해 컴퓨터 시스템(Cs)으로 전송된다.
상기 설명에서는, 플렉시블 디스크(FD)가 기록매체의 예로서 사용되었지만 동일한 처리를 광학 디스크를 사용하여 수행할 수도 있다. 또한, 기록매체는 상기한 것들에 한정되지 않고, IC 카드와 ROM 카세트와 같은 프로그램을 기록할 수 있는 어떤 다른 매체가 채용될 수 있다.
(제4실시예)
이하는 상기한 실시예에서 설명된 화상 부호화 방법 및 이들을 이용한 시스템의 적용에 대한 설명이다.
도 13은 컨텐츠 분배 서비스를 실현하기 위한 컨텐츠 공급 시스템(ex100)의 전체 구성을 나타내는 블럭도이다. 통신 서비스를 제공하는 영역은 원하는 크기의 셀로 분할되고, 각 셀에 고정무선국인 기지국(ex107~ex110)이 위치된다.
이 컨텐츠 공급 시스템(ex100)는 예를 들어, 인터넷(ex101), 인터넷 서비스 프로바이더(ex102), 전화망(ex104) 및 기지국(ex107~ex110)을 통해, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대전화(ex114) 및 카메라가 구비된 휴대전화(ex115)와 같은 장치에 연결될 수 있다.
그러나, 컨텐츠 공급 시스템(ex100)은 도 13에 도시된 구성에 제한되지 않고 이들의 모든 조합에 연결될 수 있다. 또한, 각 장치는 기지국(ex107~ex110)을 통하지 않고, 전화망(ex104)에 직접 연결될 수 있다.
카메라(ex113)는 디지털 비디오 카메라와 같은 영상 촬영 가능한 장치이다. 휴대전화(ex114)는 다음의 어떤 시스템의 휴대전화여도 좋다: PDC(Personal Digital Communicaton)시스템, CDMA(Code Division Multiple Access)시스템, W-CDMA(Wideband-Code Division Multiple Access)시스템 또는 GSM(Global System for Mobile Communication)시스템, PHS(Personal Handyphone System) 등.
스트리밍 서버(ex103)는 전화망(ex104)과 기지국(ex109)을 통해 카메라(ex113)에 연결되어, 사용자로부터 전송된 부호화된 데이터에 기초하여 카메라(ex113)를 사용하여 라이브 분배 등을 실현한다. 카메라(ex113), 데이터를 전송하는 서버 등이 데이터를 부호화할 수 있다. 카메라(ex116)에 의해 촬영된 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)로 전송될 수 있다. 이 경우에는, 카메라(ex116) 또는 컴퓨터(ex111)가 동화상 데이터를 부호화할 수도 있다. 컴퓨터(ex111) 및 카메라(ex116)에 포함된 LSI(ex117)가 부호화 처리를 수행한다. 화상을 부호화 및 복호화하기 위한 소프트웨어는 컴퓨터(ex111) 등에 의해 판독 가능한 (CD-ROM, 플렉시블 디스크 및 하드 디스크와 같은) 모든 형태의 기록매체에 통합될 수 있다. 또한, 카메라(ex115)를 구비한 휴대전화은 동화상 데이터를 전송할 수 있다. 이 동화상 데이터는 휴대전화(ex115)에 포함된 LSI에 의해 부호화된 데이터이다.
컨텐츠 공급 시스템(ex100)는 상기한 실시예에서 나타낸 바와 같은 방법으로 카메라(ex113), 카메라(ex116) 등을 사용하여 사용자에 의해 촬영된 (뮤직 라이브 영상과 같은) 컨텐츠를 부호화하여 스트리밍 서버(ex103)로 전송하고, 스트리밍 서 버(ex103)는 클라이언트의 요청에 따라 클라이언트로 컨텐츠 데이터의 스트림 송출을 한다. 클라이언트는 상기한 부호화된 데이터를 복호화할 수 있는 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대전화(ex114) 등을 포함한다. 컨텐츠 공급 시스템(ex100)에서, 클라이언트가 부호화된 데이터를 수신 및 재생할 수 있고 또한 데이터를 실시간으로 수신, 복호화 및 재생할 수 있어, 개인 방송을 실현한다.
이 시스템의 각 장치가 부호화 또는 복호화를 수행하는 경우에, 상기한 실시예에서 나타낸 화상 부호화 장치 또는 화상 복호화 장치가 사용될 수 있다.
이러한 장치의 예로서 휴대전화가 설명될 것이다.
도 14는 상기한 실시예에서 설명된 화상 부호화 방법을 사용하는 휴대전화(ex115)를 나타내는 도면이다. 휴대전화(ex115)는 전파를 통해 기지국(ex110)과 통신하기 위한 안테나(ex201), 동화상 및 정지화상을 촬영할 수 있는 CCD 카메라와 같은 카메라유닛(ex203), 카메라유닛(ex203)에 의해 촬영된 또는 안테나(ex201)에 의해 수신된 복호화된 화상 등과 같은 데이터를 표시하기 위한 액정 디스플레이와 같은 표시유닛(ex202), 한 세트의 조작키(ex204)를 포함하는 본체유닛, 오디오를 출력하기 위한 스피커와 같은 오디오출력유닛(ex208), 오디오를 입력하기 위한 마이크로폰과 같은 오디오입력유닛(ex205), 카메라에 의해 촬영된 동화상 또는 정지화상 데이터, 수신된 전자메일 데이터 및 동화상 또는 정지화상 데이터와 같은 부호화 또는 복호화된 데이터를 기록하기 위한 기록매체(ex207), 및 휴대전화(ex115)에 기록매체(ex207)를 장착하기 위한 슬롯유닛(ex206)을 가진다. 기록매체(ex207) 는 SD 카드와 같은 플라스틱 케이스에 전기적으로 소거 및 기록이 가능한 불휘발성 메모리인 EEPROM(Electrically Erasable and Programmable Read Only Memory)의 일종인 플레시 메모리 소자를 자체에 저장하고 있다.
다음에, 휴대전화(ex115)가 도 15를 참조로 설명될 것이다. 휴대전화(ex115)에서는, 표시 유닛(ex202) 및 조작키(ex204)를 포함하는 주본체의 각 유닛을 전체적으로 제어하기 위해 설계된 주제어유닛(ex311)이 동기 버스(ex313)를 통해, 전력공급회로유닛(ex310), 조작입력제어유닛(ex304), 화상부호화유닛(ex312), 카메라인터페이스유닛(ex303), 액정디스플레이(LCD)제어유닛(ex302), 화상복호화유닛(ex309), 멀티플렉싱/디멀티플렉싱유닛(ex308), 판독/기록유닛(ex307), 모뎀회로유닛(ex306) 및 오디오처리유닛(ex305)에 서로 연결된다.
사용자의 조작에 의해 호출-종료 키 또는 전력 키가 턴온되면, 전력공급회로 유닛(ex310)이 배터리팩으로부터의 전원을 각 유닛으로 공급하여 카메라가 구비된 디지털 휴대전화(ex115)를 동작 가능한 상태로 기동시킨다.
휴대전화(ex115)에서는, 오디오처리유닛(ex305)이 CPU, ROM 및 RAM을 포함하는 주제어유닛(ex311)의 제어에 따라 통화 모드에서 오디오입력유닛(ex205)에 의해 수신된 오디오 신호를 디지털 오디오 데이터로 변환하고, 모뎀회로유닛(ex306)은 디지털 오디오 데이터에 대해 확산 스펙트럼 처리를 수행하며, 통신회로유닛(ex301)은 데이터에 대해 디지털-아날로그 변환과 주파수 변환을 수행하여, 안테나(ex201)를 통해 전송한다. 또한, 휴대전화(ex115)에서는, 통신회로유닛(ex301)이 통화 모드에서 안테나(ex201)에 의해 수신된 데이터를 증폭하고 데이터에 대해 주 파수 변환과 아날로그-디지털 변환을 수행하고, 모뎀회로유닛(ex306)은 데이터의 역 확산 스트렉트럼 처리를 수행하며, 오디오처리유닛(ex305)은 이를 아날로그 오디오 데이터로 변환하여 오디오출력유닛(ex208)을 통해 출력한다.
또한, 데이터 통신 모드에서 전자메일을 전송하는 경우에, 주본체의 조작키(ex204)를 조작함에 의해 입력된 전자메일의 텍스트 데이터가 조작입력제어유닛(ex304)을 통해 주제어유닛(ex311)으로 보내진다. 주제어유닛(ex311)에서는, 모뎀회로유닛(ex306)이 텍스트 데이터의 확산 스펙트럼 처리를 수행하고 통신회로유닛(ex301)이 텍스트 데이터의 디지털-아날로그 변환 및 주파수 변환을 수행한 후, 안테나(ex201)를 통해 기지국(ex110)으로 데이터가 전송된다.
데이터 통신 모드에서 화상 데이터가 전송되는 경우에는, 카메라유닛(203)에 의해 촬영된 화상 데이터가 카메라인터페이스유닛(ex303)을 통해 화상부호화유닛(ex312)으로 공급된다. 전송되지 않는 경우에는, 카메라인터페이스유닛(ex303)과 LCD제어유닛(ex302)을 통해 표시유닛(ex202)에 카메라유닛(ex203)에 의해 촬영된 화상 데이터를 직접 표시하는 것도 가능하다.
본 발명에서 설명된 바와 같은 화상 부호화 장치를 포함하는 화상부호화유닛(ex312)은 상기한 실시예에서 나타낸 바와 같은 화상 부호화 장치에 의해 채용된 부호화 방법을 사용하여 카메라 유닛(ex203)으로부터 공급되는 화상 데이터를 압축 및 부호화하여 부호화된 화상 데이터로 변환하고, 멀티플렉싱/디멀티플렉싱유닛(ex308)으로 전송한다. 이때, 휴대전화(ex205)는 카메라유닛(ex203)으로 촬영하는 동안에 오디오입력유닛(ex205)에 의해 수신된 오디오를 오디오처리유닛(ex305) 을 통해 디지털 오디오 데이터로서 멀티플렉싱/디멀티플렉싱유닛(ex308)으로 전송한다.
멀티플렉싱/디멀티플렉싱유닛(ex308)은 화상부호화유닛(ex312)으로부터 공급된 부호화된 화상 데이터와 오디오처리유닛(ex305)으로부터 공급된 오디오 데이터를 미리 설정된 방법을 사용하여 멀티플렉싱한 후, 모뎀회로유닛(ex306)이 멀티플렉싱의 결과로 얻어진 멀티플렉싱된 데이터의 확산 스텍트럼 처리를 수행하고, 마지막으로 통신회로유닛(ex301)이 안테나(ex201)를 통해 전송할 데이터의 디지털-아날로그 변환과 주파수 변환을 수행한다.
데이터 통신 모드에서 웹페이지 등에 링크된 동화상 데이터를 수신하는 경우에는, 모뎀회로유닛(ex306)이 안테나(ex201)를 통해 기지국(ex110)으로부터 수신된 데이터에 대해 역 확산 스텍트럼 처리를 수행하여, 역 확산 스펙트럼 처리의 결과로서 얻어진 멀티플렉싱된 데이터를 전송한다.
안테나(ex201)를 통해 수신된 멀티플렉싱된 데이터를 복호화하기 위해서, 멀티플렉싱/디멀티플렉싱유닛(ex308)은 멀티플렉싱된 데이터를 화상 데이터 비트 스트림 및 오디오 데이터 비트 스트림으로 디멀티플렉싱하고, 동기 버스(ex313)를 통해 부호화된 화상 데이터를 화상 복호화 유닛(ex309)으로 오디오 데이터를 오디오 처리 유닛(ex305)으로 각각 공급한다.
다음에, 본 발명에서 설명된 바와 같은 화상 복호화 장치를 포함하는 화상복호화유닛(ex309)은 상기한 실시예에 나타낸 바와 같은 부호화 방법에 대응하는 복호화 방법을 사용하여 화상 데이터의 비트 스트림을 복호화하여 재생된 동화상 데 이터를 생성하고, 이 데이터를 LCD제어유닛(ex302)을 통해 표시유닛(ex202)으로 공급하여, 예를 들어, 웹페이지에 링크된 동화상 파일에 포함된 화상 데이터가 표시된다. 이때, 오디오처리유닛(ex305)은 오디오 데이터를 아날로그 오디오 데이터로 변환하고, 이 데이터를 오디오출력유닛(ex208)으로 공급하여, 예를 들어, 웹페이지에 링크된 동화상에 포함된 오디오 데이터가 재생된다.
최근에 지상 또는 위성 디지털 방송이 화제가 되고 있고, 상기한 실시예에서 설명된 화상 부호화 장치 또는 화상 복호화 장치의 적어도 어느 하나가 도 16에 도시된 디지털 방송 시스템에 포함될 수 있으므로, 본 발명은 상기한 시스템에 한정되지 않는다. 좀더 구체적으로는, 방송국(ex409)에서는 비디오 정보의 비트 스트림이 전파를 통해 방송위성(ex410)과 통신 또는 전송된다. 이를 수신함에 따라, 방송 위성(ex410)이 방송용 전파를 전송한다. 그 후, 위성 방송 수신 기능을 구비한 가정용 안테나(ex406)가 전파를 수신하고, 텔레비젼(수신기)(ex401) 또는 셋탑박스(STB)(ex407)가 부호화된 비트 스트림을 복호화하여 재생시킨다. 상기한 실시예에서 나타낸 바와 같은 화상 복호화 장치는 CD 및 DVD와 같이 기록매체(ex402)에 기록된 비트 스트림을 독출 및 복호화하기 위해 재생장치(ex403)에 구현될 수 있다. 이 경우에는, 재생된 동화상 신호가 모니터(ex404)에 표시된다. 케이블 텔레비젼용 케이블(ex405) 또는 위성 및/또는 지상파 방송용 안테나(ex406)에 연결된 STB(ex407)에 화상 복호화 장치를 제공하여 이들을 텔레비젼(ex401)의 모니터(ex408)에 재생하는 것도 고려할 수 있다. 화상 복호화 장치는 셋탑박스가 아니라 텔레비젼에 포함될 수도 있다. 또한, 안테나(ex411)를 가지는 자동차(ex412)는 위성(ex410) 또는 기지국(ex107)으로부터 신호를 수신하여 자동차(ex412)에 설치된 자동차 네비게이션 시스템(ex413)과 같은 표시 장치에 동화상을 재생할 수 있다.
또한, 상기한 실시예에서 나타낸 바와 같은 화상 부호화 장치는 화상 신호를 부호화하여 기록매체에 기록할 수 있다. 구체적인 예로서, DVD 디스크(ex421)에 화상 신호를 기록하기 위한 DVD 레코더와 같은 레코더(ex420), 하드 디스크에 이들을 기록하기 위한 디스크 레코더가 언급될 수 있다. 이들은 SD 카드(ex422)에 기록될 수 있다. 레코더(ex420)가 상기한 실시예에서 나타낸 바와 같은 화상 복호화 장치를 포함하는 경우에, DVD 디스크(ex421) 또는 SD 카드(ex422)에 기록된 화상 신호가 모니터(ex408)에 표시하기 위해 재생될 수 있다.
자동차 네비게이션 시스템(ex413)의 구성으로서, 도 14에 도시된 바와 같은 구성 중에서, 카메라유닛(ex203), 카메라인터페이스유닛(ex303) 및 화상부호화유닛(ex312)을 제외한 구성이 고려될 수 있다. 동일한 것이 컴퓨터(ex111), 텔레비젼(수신기)(ex401) 등에도 적용된다.
또한, 휴대전화(ex114)와 같은 단말기에 대해 3가지 실장 형태가 고려될 수 있다: 엔코더 및 디코더가 실장된 송수신단말기, 엔코더만 실장된 송신단말기, 및 디코더만 구비된 수신단말기.
상기한 바와 같이, 상기 실시예에서 설명된 화상 부호화 방법을 상기한 장치 및 시스템 모두에 사용하는 것이 가능하고, 이렇게 함으로써, 상기한 실시예에서 설명된 효과가 얻어질 수 있다.
이와 같이 설명된 본 발명으로부터, 본 발명의 실시예가 다양한 방법으로 변 경될 수 있음은 자명하다. 이러한 변경은 본 발명의 사상 및 범위에서 벗어나지 않으며, 당업자에게 자명한 이러한 모든 변형은 다음의 청구범에 포함된다.
본 발명의 이들 및 다른 목적, 이점 및 특징은 본 발명의 특정 실시예를 예시한 첨부 도면을 참조한 이하의 설명으로부터 명확해질 것이다.
도 1은 제1실시예에 따른 화상 부호화 장치의 구성을 나타내는 블럭도이다;
도 2는 제1예에서 채용된 예측을 위한 화상 정렬을 이용하여 화상이 부호화될 때 화상이 메모리에 어떻게 저장되는지를 나타낸다;
도 3은 제2예에서 채용된 예측을 위한 화상 정렬을 사용하여 화상이 부호화될 때 화상이 메모리에 어떻게 저장되는지를 나타낸다;
도 4는 제2예에서 채용된 예측을 위한 화상 정렬를 사용하여 화상이 부호화될 때 화상이 메모리에 어떻게 저장되는지를 나타낸다;
도 5는 메모리에 화상을 저장 및 출력하는 제1메모리 관리 처리를 나타내는 플로우차트이다;
도 6은 영역 할당 처리를 나타내는 플로우차트이다;
도 7은 메모리에 화상을 저장 및 출력하는 제2메모리 관리 처리를 나타내는 플로우챠트이다;
도 8은 제1실시예에 따른 화상 복호화 장치의 구성을 나타내는 블럭도이다;
도 9는 제2실시예에 따른 화상 부호화 장치의 구성을 나타내는 블럭도이다;
도 10은 제2실시예에 따른 화상 복호화 장치의 구성을 나타내는 블럭도이다;
도 11은 필터 적용 정보의 일예를 나타내는 테이블이다;
도 12a ~ 12c는 프로그램을 저장하는 저장매체을 나타내는 설명도이다;
도 13은 콘텐츠 공급 시스템의 전체 구성을 나타내는 블럭도이다;
도 14는 휴대전화의 구성을 나타내는 블럭도이다;
도 15는 휴대전화의 외관도이다;
도 16은 디지털 방송 시스템의 일예를 나타내는 도면이다;
도 17은 루프필터를 구비한 종래의 화상 부호화 장치의 구성을 나타내는 블럭도이다;
도 18은 예측을 위한 화상 정렬의 제1예를 나타낸다;
도 19는 예측을 위한 화상 정렬의 제2예를 나타낸다;
도 20은 제1예에서 채용된 예측을 위한 화상 정렬을 사용하여 종래의 화상 부호화 장치가 화상을 부호화할 때 화상이 메모리에 어떻게 저장되는지를 나타낸다;
도 21은 제2예에서 채용된 예측을 위한 화상 정렬을 사용하여 종래의 화상 부호화 장치가 화상을 부호화할 때 화상이 메모리에 어떻게 저장되는지를 나타낸다;
도 22는 화상을 메모리에 저장 및 출력하는 종래의 메모리 관리를 나타내는 플로우차트이다;
도 23은 종래의 화상 복호화 장치의 구성을 나타내는 블럭도이다;
도 24는 화상을 재배열하지 않는 종래의 화상 부호화 장치의 구성을 나타내는 블럭도이다;
도 25는 화상을 재배열하지 않는 종래의 화상 복호화 장치의 구성을 나타내 는 블럭도이다.

Claims (11)

  1. 입력 화상을 부호화하여 부호화 화상 신호를 생성하고,
    상기 부호화 화상 신호를 복호화하여 복호화 화상을 생성하고,
    상기 복호화 화상을 필터 처리하여 필터 처리후 화상을 생성하고,
    상기 복호화 화상과 상기 필터 처리후 화상중 어느 것을 표시화상으로서 출력하는가를 나타내는 식별 정보를 생성하고,
    상기 부호화 화상신호와 상기 식별정보를 포함하는 비트 스트림을 출력하는 화상 부호화 방법.
  2. 청구항 1에 있어서,
    상기 복호화 화상이 참조 화상이고 상기 식별 정보가 상기 복호화 화상을 표시 화상으로서 출력하는 것을 나타내고 있는 경우에, 상기 필터 처리후 화상을 참조 화상으로서 참조 메모리에 기억하는 것을 특징으로 하는 화상 부호화 방법.
  3. 청구항 1에 있어서,
    상기 복호화 화상이 참조 화상이고 상기 식별 정보가 상기 복호화 화상을 표시 화상으로서 출력하는 것을 나타내고 있는 경우에, 상기 필터 처리후 화상을 참조 화상으로서 참조 메모리에 기억하고, 상기 복호화 화상을 표시 화상으로서 출력하는 것을 특징으로 하는 화상 부호화 방법.
  4. 청구항 3에 있어서,
    또한, 상기 복호화 화상이 참조 화상이고 상기 식별 정보가 상기 필터 처리후 화상을 표시 화상으로서 출력하는 것을 나타내고 있는 경우에, 상기 필터 처리후 화상을 참조 화상으로서 참조 메모리에 기억하고, 상기 필터 처리후 화상을 표시 화상으로서 출력하는 것을 특징으로 하는 화상 부호화 방법.
  5. 입력 화상을 부호화하여 부호화 화상 신호를 생성하는 부호화부;
    상기 부호화 화상 신호를 복호화하여 복호화 화상을 생성하는 복호부;
    상기 복호화 화상을 필터 처리하여 필터 처리후 화상을 생성하는 필터부;
    상기 복호화 화상과 상기 필터 처리후 화상중 어느 것을 표시화상으로서 출력하는가를 나타내는 식별 정보를 생성 추출하는 식별정보 생성부;및
    상기 부호화 화상신호와 상기 식별정보를 포함하는 비트 스트림을 출력하는 출력부를 구비하는 것을 특징으로 하는 화상 부호화 장치.
  6. 청구항 5에 있어서,
    상기 필터 처리후 화상을 참조 화상으로서 참조 메모리에 기억하는 기억부;
    상기 복호화 화상이 참조 화상이고 상기 식별 정보가 상기 복호화 화상을 표시 화상으로서 출력하는 것을 나타내고 있는 경우에, 상기 복호화 화상을 표시화상으로서 출력하는 표시화상 출력부를 구비하는 것을 특징으로 하는 화상 부호화 장치.
  7. 청구항 6에 있어서, 상기 표시화상 출력부는, 또한,
    상기 복호화 화상이 참조 화상이고 상기 식별 정보가 상기 필터 처리후 화상을 표시 화상으로서 출력하는 것을 나타내는 경우에, 상기 필터 처리후 화상을 표시 화상으로서 출력하는 것을 특징으로 하는 화상 부호화 장치.
  8. 청구항 1 내지 4중 어느 한 항에 기재된 화상 부호화 방법을 컴퓨터에 실행시키는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 판독가능한 기록 매체.
  9. 부호화 후에 복호화된 픽쳐로부터 얻어지는 픽쳐를 참조하여 픽쳐를 예측 부호화하는 화상 부호화 방법으로서,
    상기 복호화된 픽쳐에 필터 처리를 행하는 필터 단계;
    1개의 상기 복호화된 픽쳐에 대한 필터 처리 전후의 2개의 픽쳐중, 필터 처리후의 픽쳐를 참조 픽쳐로 결정하는 제1 결정 단계;
    상기 2개의 픽쳐 중 필터 처리 전의 픽쳐를 출력용 픽쳐로 결정하는 제2 결정 단계;
    상기 필터 처리후의 픽쳐를 참조 픽쳐로서 메모리에 저장하는 제1 저장 단계;
    상기 필터 처리 전의 픽쳐를 출력용 픽쳐로서 상기 메모리에 저장하는 제2 저장 단계; 및
    상기 메모리에 저장된 참조 픽쳐 중, 참조되지 않는 참조 픽쳐의 기억 영역을 개방하는 개방 단계를 갖는 것을 특징으로 하는 화상 부호화 방법.
  10. 삭제
  11. 삭제
KR1020097002633A 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체 KR101040872B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US44920903P 2003-02-21 2003-02-21
US60/449,209 2003-02-21
US10/724,317 2003-11-26
US10/724,317 US20040179610A1 (en) 2003-02-21 2003-11-26 Apparatus and method employing a configurable reference and loop filter for efficient video coding
JPJP-P-2003-398981 2003-11-28
JP2003398981A JP4439890B2 (ja) 2003-02-21 2003-11-28 画像復号化方法、装置およびプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020057010319A Division KR101011868B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020117004219A Division KR101103184B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20090032117A KR20090032117A (ko) 2009-03-31
KR101040872B1 true KR101040872B1 (ko) 2011-06-14

Family

ID=36606072

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020057010319A KR101011868B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
KR1020097002633A KR101040872B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
KR1020117004219A KR101103184B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020057010319A KR101011868B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020117004219A KR101103184B1 (ko) 2003-02-21 2004-02-18 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체

Country Status (6)

Country Link
US (2) US20040179610A1 (ko)
EP (2) EP2268017A3 (ko)
JP (2) JP4439890B2 (ko)
KR (3) KR101011868B1 (ko)
CN (4) CN101242533B (ko)
WO (1) WO2004077348A2 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100308016B1 (ko) 1998-08-31 2001-10-19 구자홍 압축 부호화된 영상에 나타나는 블럭현상 및 링현상 제거방법및 영상 복호화기
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
NO318973B1 (no) * 2003-07-01 2005-05-30 Tandberg Telecom As Fremgangsmate for stoyreduksjon
KR100936034B1 (ko) * 2003-08-11 2010-01-11 삼성전자주식회사 블록 단위로 부호화된 디지털 영상의 블로킹 현상을제거하는 방법 및 그 영상재생장치
ATE381076T1 (de) * 2003-08-29 2007-12-15 Thomson Licensing Verfahren und vorrichtung zur modellierung von filmkorn-mustern im frequenzbereich
PL1673944T3 (pl) 2003-10-14 2020-03-31 Interdigital Vc Holdings, Inc. Technika do symulowania ziarna filmu o dokładności bitowej
JP2007520171A (ja) * 2004-01-29 2007-07-19 ヒルデブランド，ジョン，ジー． 信号提供方法及びシステム
US7512182B2 (en) * 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
KR101096916B1 (ko) * 2004-10-18 2011-12-22 톰슨 라이센싱 필름 그레인 시뮬레이션 방법
US7610196B2 (en) * 2004-10-26 2009-10-27 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7680652B2 (en) * 2004-10-26 2010-03-16 Qnx Software Systems (Wavemakers), Inc. Periodic signal enhancement system
US7716046B2 (en) * 2004-10-26 2010-05-11 Qnx Software Systems (Wavemakers), Inc. Advanced periodic signal enhancement
US7949520B2 (en) * 2004-10-26 2011-05-24 QNX Software Sytems Co. Adaptive filter pitch extraction
US8170879B2 (en) * 2004-10-26 2012-05-01 Qnx Software Systems Limited Periodic signal enhancement system
US8543390B2 (en) 2004-10-26 2013-09-24 Qnx Software Systems Limited Multi-channel periodic signal enhancement system
US8306821B2 (en) 2004-10-26 2012-11-06 Qnx Software Systems Limited Sub-band periodic signal enhancement system
JP4960877B2 (ja) * 2004-11-12 2012-06-27 トムソン ライセンシング 映像再生システムの通常再生及びトリックモード再生に関するフィルムグレインシミュレーション
ATE553455T1 (de) 2004-11-16 2012-04-15 Thomson Licensing Verfahren zum simulieren von filmkörnigkeit auf der basis vorausberechneter transformationskoeffizienten
KR101229942B1 (ko) 2004-11-16 2013-02-06 톰슨 라이센싱 비디오 시스템에서 비트까지 정확한 시뮬레이션을 위한필름 그레인 ｓｅｉ 메시지 삽입
TR201911138T4 (tr) 2004-11-17 2019-08-21 Interdigital Vc Holdings Inc Ön-hesaplanmış dönüştürülmüş katsayılara dayanan bit bakımından hatasız film greni simülasyon yöntemi.
EP1817915A2 (en) * 2004-11-22 2007-08-15 THOMSON Licensing Methods, apparatus and system for film grain cache splitting for film grain simulation
KR100667808B1 (ko) * 2005-08-20 2007-01-11 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
JP4582648B2 (ja) * 2005-10-24 2010-11-17 キヤノン株式会社 撮像装置
WO2007069579A1 (ja) * 2005-12-12 2007-06-21 Nec Corporation 動画像復号方法、動画像復号装置、および情報処理装置のプログラム
EP2034483A1 (en) * 2006-06-26 2009-03-11 Panasonic Corporation Format converter, format converting method, and moving image decoding system
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
JP2008035439A (ja) * 2006-07-31 2008-02-14 Fujitsu Ltd ノイズ除去装置、ノイズ除去制御方法およびノイズ除去制御プログラム
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
US10715834B2 (en) 2007-05-10 2020-07-14 Interdigital Vc Holdings, Inc. Film grain simulation based on pre-computed transform coefficients
JP5217250B2 (ja) * 2007-05-28 2013-06-19 ソニー株式会社 学習装置および学習方法、情報加工装置および情報加工方法、並びにプログラム
US8904400B2 (en) 2007-09-11 2014-12-02 2236008 Ontario Inc. Processing system having a partitioning component for resource partitioning
US8850154B2 (en) 2007-09-11 2014-09-30 2236008 Ontario Inc. Processing system having memory partitioning
US8694310B2 (en) 2007-09-17 2014-04-08 Qnx Software Systems Limited Remote control server protocol system
KR101372418B1 (ko) * 2007-10-19 2014-03-12 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US20090158820A1 (en) * 2007-12-20 2009-06-25 Schlumberger Technology Corporation Method and system for downhole analysis
US8209514B2 (en) 2008-02-04 2012-06-26 Qnx Software Systems Limited Media processing system having resource partitioning
JPWO2009133938A1 (ja) * 2008-04-30 2011-09-01 株式会社東芝 動画像符号化及び復号装置
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
US10123050B2 (en) * 2008-07-11 2018-11-06 Qualcomm Incorporated Filtering video data using a plurality of filters
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
BRPI0921986A2 (pt) * 2008-11-25 2018-06-05 Thomson Licensing métodos e aparelho para filtralçao por eliminação de artefatos à base de matrizes esparsas para codificação e decodificação de vídeo
TWI422228B (zh) * 2009-01-15 2014-01-01 Silicon Integrated Sys Corp 去方塊濾波方法及影像處理裝置
US8401370B2 (en) * 2010-03-09 2013-03-19 Dolby Laboratories Licensing Corporation Application tracks in audio/video containers
KR101387467B1 (ko) * 2010-06-07 2014-04-22 (주)휴맥스 고해상도 영상의 부호화/복호화 방법 및 이를 수행하는 장치
WO2012077719A1 (ja) * 2010-12-09 2012-06-14 シャープ株式会社 画像復号装置、および画像符号化装置
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
CN106941608B (zh) * 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
WO2013006310A1 (en) * 2011-07-01 2013-01-10 Vidyo, Inc. Loop filter techniques for cross-layer prediction
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US11240515B2 (en) * 2012-09-10 2022-02-01 Apple Inc. Video display preference filtering
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
WO2017063169A1 (zh) * 2015-10-15 2017-04-20 富士通株式会社 图像编码方法、装置以及图像处理设备
KR20180056313A (ko) * 2016-11-18 2018-05-28 삼성전자주식회사 텍스처를 처리하는 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010001458A (ko) * 1999-06-04 2001-01-05 윤종용 동화상 복호화 장치 및 그 방법
KR20010078197A (ko) * 2000-01-31 2001-08-20 미다라이 후지오 화상 처리 장치, 화상 처리 방법 및 저장 매체
KR20020004823A (ko) * 2000-05-31 2002-01-16 마츠시타 덴끼 산교 가부시키가이샤 화상 출력 장치 및 화상 출력 제어 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63199589A (ja) * 1987-02-14 1988-08-18 Fujitsu Ltd フレ−ム間符号化方式
FR2703535A1 (fr) * 1993-03-31 1994-10-07 Philips Electronique Lab Procédé et dispositif pour décoder des images comprimées.
EP0915470A3 (en) * 1995-08-21 2004-03-24 Matsushita Electric Industrial Co., Ltd. Multimedia optical disk, reproduction apparatus and method for achieving variable scene development based on interactive control
KR100203262B1 (ko) * 1996-06-11 1999-06-15 윤종용 픽춰단위 동기화를 위한 비디오디코더의 인터페이스장치
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
WO1999021367A1 (fr) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Codeur et decodeur d'image
JPH11136671A (ja) * 1997-10-31 1999-05-21 Fujitsu Ltd 動画像復号方法及び装置並びに動画像再生装置
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
JP3406255B2 (ja) * 1999-09-29 2003-05-12 松下電器産業株式会社 画像復号装置および方法
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
JP2003018600A (ja) * 2001-07-04 2003-01-17 Hitachi Ltd 画像復号装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010001458A (ko) * 1999-06-04 2001-01-05 윤종용 동화상 복호화 장치 및 그 방법
KR20010078197A (ko) * 2000-01-31 2001-08-20 미다라이 후지오 화상 처리 장치, 화상 처리 방법 및 저장 매체
KR20020004823A (ko) * 2000-05-31 2002-01-16 마츠시타 덴끼 산교 가부시키가이샤 화상 출력 장치 및 화상 출력 제어 방법

Also Published As

Publication number Publication date
JP4439890B2 (ja) 2010-03-24
CN1751512A (zh) 2006-03-22
WO2004077348A2 (en) 2004-09-10
KR20050099961A (ko) 2005-10-17
EP2268017A3 (en) 2011-03-02
KR101103184B1 (ko) 2012-01-05
KR20110038147A (ko) 2011-04-13
CN100375519C (zh) 2008-03-12
EP1597918A2 (en) 2005-11-23
US20040179610A1 (en) 2004-09-16
EP2268017A2 (en) 2010-12-29
KR20090032117A (ko) 2009-03-31
CN101222633A (zh) 2008-07-16
CN101222632A (zh) 2008-07-16
EP1597918A4 (en) 2006-06-14
CN101242533A (zh) 2008-08-13
JP2004336705A (ja) 2004-11-25
US20070002947A1 (en) 2007-01-04
CN101222633B (zh) 2012-10-31
CN101222632B (zh) 2012-09-05
KR101011868B1 (ko) 2011-01-31
JP2009044772A (ja) 2009-02-26
CN101242533B (zh) 2011-04-13
WO2004077348A3 (en) 2004-12-16

Similar Documents

Publication Publication Date Title
KR101040872B1 (ko) 동화상 부호화 방법, 동화상 복호화 방법 및 프로그램을 기록한 컴퓨터 판독 가능한 기록매체
JP5687787B2 (ja) 動画像復号化装置及びその方法
JP5755364B2 (ja) 画像復号化装置
JP2005341545A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム
KR100943563B1 (ko) 동화상 부호화 장치 및 동화상 복호화 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140522

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150430

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160517

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170522

Year of fee payment: 7