KR20080055745A - 부호화 장치, 부호화 방법 및 그 프로그램, 및, 복호 장치,복호 방법 및 그 프로그램 - Google Patents

부호화 장치, 부호화 방법 및 그 프로그램, 및, 복호 장치,복호 방법 및 그 프로그램 Download PDF

Info

Publication number
KR20080055745A
KR20080055745A KR1020077013418A KR20077013418A KR20080055745A KR 20080055745 A KR20080055745 A KR 20080055745A KR 1020077013418 A KR1020077013418 A KR 1020077013418A KR 20077013418 A KR20077013418 A KR 20077013418A KR 20080055745 A KR20080055745 A KR 20080055745A
Authority
KR
South Korea
Prior art keywords
image data
data
encoding
circuit
decoding
Prior art date
Application number
KR1020077013418A
Other languages
English (en)
Other versions
KR101265371B1 (ko
Inventor
리밍 왕
데루히꼬 스즈끼
요이찌 야가사끼
Original Assignee
소니 가부시끼 가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 가부시끼 가이샤 filed Critical 소니 가부시끼 가이샤
Publication of KR20080055745A publication Critical patent/KR20080055745A/ko
Application granted granted Critical
Publication of KR101265371B1 publication Critical patent/KR101265371B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Abstract

프로그레시브 화상 데이터와 이 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 부호화 장치로서, 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호화 데이터와, 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하도록 구성되어 있는 제1 부호화부와, 상기 생성한 상기 재구성 화상 데이터를 업 샘플하여 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하도록 구성되어 있는 업 샘플 처리부와, 상기 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하도록 구성되어 있는 제2 부호화부를 갖는다.
Figure P1020077013418
프로그레시브 화상 데이터, 인터레이스 화상 데이터, 픽쳐 데이터, 부호화 데이터, 업 샘플링, 인트라 예측, 예측 화상 데이터, 하위 레이어 부호화 회로, 상위 레이어 부호화 회로

Description

부호화 장치, 부호화 방법 및 그 프로그램, 및, 복호 장치, 복호 방법 및 그 프로그램{ENCODING APPARATUS, ENCODING METHOD AND PROGRAM THEREOF, AND DECODING APPARATUS, DECODING METHOD AND PROGRAM THEREOF}
본 발명은, 화상 데이터를 부호화하는 부호화 장치, 부호화 방법 및 그 프로그램과, 화상 데이터를 복호하는 복호 장치, 복호 방법 및 그 프로그램에 관한 것이다.
최근, 화상 데이터 디지털로서 취급하고, 그 때, 효율이 높은 정보의 전송, 축적을 목적으로 하며, 화상 정보 특유의 용장성을 이용하여, 이산 코사인 변환(DCT : Discrete Cosine Transform) 등의 직교 변환과 움직임 보상에 의해 압축하는 MPEG(Moving Picture Experts Group)에 이어서, 보다 압축률이 높은 H.264/AVC(Advanced Video Coding) 등의 부호화 방식에 준거한 부호화 장치 및 복호 장치가, 방송국 등의 정보 배신, 및 일반 가정에서의 정보 수신의 쌍방에서 보급되고 있다.
현재, 이 H.264/AVC를 베이스로 스케일러빌리티의 기능을 확장한 SVC(Scalable Video Coding)라고 하는 표준화가 행해지고 있다. SVC의 현재의 사양은, JSM(joint Scalable Video Model)으로 통합되어 있다.
SVC의 부호화 장치에서는, 입력 화상은, 화상 계층화 회로에 의해, 예를 들면, 상위 레이어 및 하위 레이어의 2개의 계층으로 분리된다. 그 후, 상위 레이어 부호화 회로에서 상위 레이어를 부호화하고, 하위 레이어 부호화 회로가 하위 레이어를 부호화한다. 그리고, 부호화한 상위 레이어와 하위 레이어를 다중화하여 전송한다.
하위 레이어는 베이스 레이어라고도 불리며, 화질이 낮은 계층이다. 하위 레이어의 비트 스트림만을 복호한 경우, 비교적 화질이 낮은 화상이 복호된다. 하위 레이어는 또한 화질로서 보다 중요한 정보를 포함하고 있다.
상위 레이어는, 인핸스먼트 레이어라고도 불리며, 화질을 개선하여, 고화질의 화상을 복호하기 위한 계층이다. 하위 레이어의 비트 스트림에 추가하여 상위 레이어의 비트 스트림을 복호한 경우, 보다 고화질의 화상을 복호하는 것이 가능하다.
전술한 부호화 장치에서는, 상위 레이어 부호화 회로에서, 인트라 부호화를 행하는 경우에, 하위 레이어 부호화 회로에서 부호화한 후에 복호한 복호 화상을 예측 화상으로서 이용할 수 있다.
<발명의 개시>
<발명이 해결하고자 하는 과제>
전술한 종래의 계층 부호화를 행하는 부호화 장치에서는, 상위 레이어 및 하위 레이어의 쌍방에서 프로그레시브 화상 데이터를 부호화하는 것을 전제로 하고 있다.
그러나, 상위 레이어에서 프로그레시브 화상 데이터를 부호화하고, 하위 레이어에서 인터레이스 화상 데이터를 부호화하고자 한다고 하는 요청이 있다.
이상으로부터, 계층 부호화를 행하는 경우에, 상위 레이어에서 프로그레시브 화상 데이터를 부호화하고, 하위 레이어에서 인터레이스 화상 데이터를 부호화할 수 있는 부호화 장치, 부호화 방법 및 프로그램을 제공하는 것이 요망되고 있다.
또한, 상위 레이어에서 부호화된 프로그레시브 화상 데이터와, 하위 레이어에서 부호화된 인터레이스 화상 데이터를 복호할 수 있는 복호 장치, 복호 방법 및 프로그램을 제공하는 것이 요망되고 있다.
<과제를 해결하기 위한 수단>
본 발명의 제1 실시 형태의 부호화 장치는, 프로그레시브 화상 데이터와 그 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 부호화 장치로서, 상기 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호화 데이터와, 상기 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하도록 구성되어 있는 제1 부호화부와, 상기 제1 부호화부가 생성한 상기 재구성 화상 데이터를 업 샘플하여 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하도록 구성되어 있는 업 샘플 처리부와, 상기 업 샘플 처리부가 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하도록 구성되어 있는 제2 부호화부를 갖는다.
또한 본 발명의 부호화 장치는, 프로그레시브 화상 데이터와 그 프로그레시 브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 부호화 장치로서, 상기 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호화 데이터와, 상기 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하는 제1 부호화 수단과, 상기 제1 부호화 수단이 생성한 상기 재구성 화상 데이터를 업 샘플하여 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하는 업 샘플 처리 수단과, 상기 업 샘플 처리 수단이 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하는 제2 부호화 수단을 갖는다.
본 발명의 제2 실시 형태의 부호화 방법은, 프로그레시브 화상 데이터와, 그 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 부호화 방법으로서, 상기 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호화 데이터와, 상기 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하는 제1 공정과, 상기 제1 공정에서 생성한 상기 재구성 화상 데이터를 업 샘플하여 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하는 제2 공정과, 상기 제2 공정에서 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하는 제3 공정을 갖는다.
본 발명의 제3 실시 형태의 프로그램은, 프로그레시브 화상 데이터와, 그 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 컴퓨터가 실행하는 프로그램으로서, 상기 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호화 데이터와, 상기 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하는 제1 수순과, 상기 제1 수순에서 생성한 상기 재구성 화상 데이터를 업 샘플하여 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하는 제2 수순과, 상기 제2 수순에서 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하는 제3 수순을 상기 컴퓨터에 실행시킨다.
본 발명의 제4 실시 형태의 복호 장치는, 프로그레시브 화상 데이터를 부호화하여 얻어진 제1 부호화 데이터와 상기 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하여 얻어진 제2 부호화 데이터를 복호하는 복호 장치로서, 상기 제2 부호화 데이터를 복호하도록 구성되어 있는 제1 복호부와, 상기 제1 복호부에서의 복호에 의해 생성한 제1 예측 화상 데이터를 보간 처리하여 제2 예측 화상 데이터를 생성하도록 구성되어 있는 업 샘플 처리부와, 상기 업 샘플 처리부에서 생성한 상기 제2 예측 화상 데이터에 기초하여 상기 제1 부호화 데이터를 복호하도록 구성되어 있는 제2 복호부를 갖는다.
또한 본 발명에 따르면, 프로그레시브 화상 데이터를 부호화하여 얻어진 제1 부호화 데이터와 상기 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하여 얻어진 제2 부호화 데이터를 복호하는 복호 장치로서, 상기 제2 부호화 데이터를 복호하는 제1 복호 수단과, 상기 제1 복호 수단에서의 복호에 의해 생성한 제1 예측 화상 데이터를 보간 처리하여 제2 예측 화상 데이터를 생성하는 업 샘플 처리 수단과, 상기 업 샘플 처리 수단에서 생성한 상기 제2 예측 화상 데 이터에 기초하여 상기 제1 부호화 데이터를 복호하는 제2 복호 수단을 갖는다.
본 발명의 제5 실시 형태의 복호 방법은, 프로그레시브 화상 데이터를 부호화하여 얻어진 제1 부호화 데이터와, 상기 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하여 얻어진 제2 부호화 데이터를 복호하는 복호 방법으로서, 상기 제2 부호화 데이터를 복호하는 제1 공정과, 상기 제1 공정에서의 복호에 의해 생성한 제1 예측 화상 데이터를 보간 처리하여 제2 예측 화상 데이터를 생성하는 제2 공정과, 상기 제2 공정에서 생성한 상기 제2 예측 화상 데이터에 기초하여 상기 제1 부호화 데이터를 복호하는 제3 공정을 포함한다.
본 발명의 제6 실시 형태의 프로그램은, 프로그레시브 화상 데이터를 부호화하여 얻어진 제1 부호화 데이터와, 상기 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하여 얻어진 제2 부호화 데이터를 복호하는 컴퓨터가 실행하는 프로그램으로서, 상기 제2 부호화 데이터를 복호하는 제1 수순과, 상기 제1 수순에서의 복호에 의해 생성한 제1 예측 화상 데이터를 보간 처리하여 제2 예측 화상 데이터를 생성하는 제2 수순과, 상기 제2 수순에서 생성한 상기 제2 예측 화상 데이터에 기초하여 상기 제1 부호화 데이터를 복호하는 제3 수순을 상기 컴퓨터에 실행시킨다.
<발명의 효과>
본 발명에 따르면, 계층 부호화를 행하는 경우에, 상위 레이어에서 프로그레시브 화상 데이터를 부호화하고, 하위 레이어에서 인터레이스 화상 데이터를 부호화할 수 있는 부호화 장치, 부호화 방법 및 프로그램을 제공할 수 있다.
또한 본 발명에 따르면, 상위 레이어에서 부호화된 프로그레시브 화상 데이터와, 하위 레이어에서 부호화된 인터레이스 화상 데이터를 복호할 수 있는 복호 장치, 복호 방법 및 프로그램을 제공할 수 있다.
도 1은 본 발명의 실시 형태의 부호화·복호 시스템의 구성예를 도시하는 도면.
도 2는 도 1에 도시하는 부호화·복호 시스템에서의 부호화 장치의 블록도.
도 3은 도 2에 도시하는 프로그레시브 화상 데이터와 인터레이스 화상 데이터를 설명하기 위한 도면.
도 4는 도 2에 도시하는 하위 레이어 부호화 회로의 구성예를 설명하기 위한 도면.
도 5는 도 2에 도시하는 변환 회로의 구성예를 설명하기 위한 도면.
도 6의 (A), 도 6의 (B)는 도 5에 도시하는 인트라 필드 예측 화상 생성 회로의 처리의 예를 설명하기 위한 도면.
도 7은 도 5에 도시하는 인트라 프레임 예측 화상 생성 회로의 처리의 예를 설명하기 위한 플로우차트.
도 8의 (A), 도 8의 (B)는 도 5에 도시하는 인트라 필드 예측 화상 생성 회로의 처리의 예를 설명하기 위한 도면.
도 9의 (A), 도 9의 (B)는 도 5에 도시하는 인트라 프레임 예측 화상 생성 회로의 처리의 예를 설명하기 위한 도면.
도 10은 도 5에 도시하는 인트라 프레임 예측 화상 생성 회로의 처리의 예를 설명하기 위한 플로우차트.
도 11은 도 5에 도시하는 인트라 프레임 예측 화상 생성 회로의 처리의 예를 설명하기 위한 도면.
도 12는 도 5에 도시하는 인트라 프레임 예측 화상 생성 회로의 처리의 예를 설명하는 도면.
도 13은 도 2에 도시하는 상위 레이어 부호화 회로의 구성예를 도시하는 도면.
도 14는 도 13에 도시하는 하위 레이어 예측 회로의 구성예를 도시하는 도면.
도 15는 도 1에 도시하는 부호화·복호 시스템에서의 복호 장치의 구성예를 도시하는 도면.
도 16은 도 15에 도시하는 하위 레이어 복호 회로의 구성예를 도시하는 도면.
도 17은 도 15에 도시하는 변환 회로의 구성예를 도시하는 도면.
도 18은 도 15에 도시하는 상위 레이어 복호 회로의 구성예를 도시하는 도면.
도 19는 본 발명의 실시 형태의 변형예를 설명하기 위한 도면.
<도면의 주요 부분에 대한 부호의 설명>
1 : 부호화·복호 시스템
2 : 부호화 장치
3 : 복호 장치
10 : 계층화 회로
11 : 지연 회로
12 : 하위 레이어 부호화 회로
13 : 변환 회로
14 : 상위 레이어 부호화 회로
15 : 다중화 회로
21 : 인트라 필드 예측 화상 생성 회로
22 : 인트라 프레임 예측 화상 생성 회로
23, 123 : 화면 재배열 회로
31, 131 : 연산 회로
32, 132 : 직교 변환 회로
33, 133 : 양자화 회로
34, 134 : 레이트 제어 회로
35, 135 : 가역 부호화 회로
36, 136 : 버퍼 메모리
37, 137 : 역양자화 회로
38, 138 : 역직교 변환 회로
39, 139 : 가산 회로
40, 140 : 디블록 필터
41, 141 : 프레임 메모리
42, 142 : 인트라 예측 회로
43, 143 : 움직임 예측·보상 회로
51 : 분리 회로
52 : 지연 회로
53 : 하위 레이어 복호 회로
54 : 변환 회로
55 : 상위 레이어 복호 회로
56 : 재구성 회로
60, 160 : 축적 버퍼
61, 161 : 가역 복호 회로
62, 162 : 역양자화 회로
63, 163 : 역직교 변환 회로
64, 164 : 가산 회로
65, 165 : 디블록 필터
66, 166 : 프레임 메모리
67, 167 : 화면 재배열 버퍼
69, 169 : 인트라 예측 회로
70, 170 : 움직임 예측·보상 회로
145 : 하위 레이어 예측 회로
<발명을 실시하기 위한 최량의 형태>
도 1은 본 실시 형태의 부호화·복호 시스템의 개념도이다.
부호화·복호 시스템(1)은, 송신측에 설치된 부호화 장치(2)와, 수신측에 설치된 복호 장치(3)를 갖는다.
부호화·복호 시스템(1)에서는, 송신측의 부호화 장치(2)에서, 이산 코사인 변환(DCT)이나 카르넨 레베 변환 등의 직교 변환과 움직임 보상에 의해 화상 데이터를 압축(부호화)한 프레임 부호화 화상 데이터(비트 스트림)를 생성하고, 그 프레임 부호화 화상 데이터를 변조한 후에, 위성 방송파, 케이블 TV망, 전화 회선망, 휴대 전화 회선망 등의 전송 매체(5)를 통해서 송신한다.
수신측에서는, 복호 장치(3)에서 수신한 부호화 화상 신호를 복조한 후에, 상기 변조 시의 직교 변환의 역변환과 움직임 보상에 의해 신장한 프레임 화상 데이터를 생성하여 이용한다.
전송 매체(5)는, 전술한 통신망에 한하지 않고, 광 디스크, 자기 디스크 및 반도체 메모리 등의 기록 매체이어도 된다.
본 실시 형태에서는, 예를 들면, 도 2에 도시한 바와 같이, 계층화 회로(10)는, 부호화 대상의 화상 데이터(S9)에 기초하여, 프로그레시브 화상 데이터(프로그레시브 화상 신호)(S10_1)와, 인터레이스 화상 데이터(S10_2)를 생성하도록 구성되어 있다.
하위 레이어 부호화 회로(12)는, 인터레이스 화상 데이터(S10_2)를 부호화하 여 하위 부호화 데이터(S12)를 생성하도록 구성되어 있다.
변환 회로(13)는, 하위 레이어 부호화 회로(12)가 생성한 하위 예측 화상 데이터(L_PRE)를 보간(업 샘플) 처리하여, 프로그레시브 화상 데이터(S10_1)와 동일한 해상도(주사선수)의 하위 예측 화상 데이터(L_PREb)를 생성하고, 이것을 상위 레이어 부호화 회로(14)에 출력하도록 구성되어 있다.
상위 레이어 부호화 회로(14)는, 하위 예측 화상 데이터(L_PREb)에 기초하여, 프로그레시브 화상 데이터(S10_1)를 부호화하여 상위 부호화 데이터(S14)를 생성하도록 구성되어 있다.
<부호화 장치>
도 1을 참조하여 부호화 장치(2)에 대해서 설명한다.
도 2는, 부호화 장치(2)의 전체 구성예를 도시하는 도면이다.
부호화 장치(2)는, 예를 들면, 계층화 회로(10), 지연 회로(11), 하위 레이어 부호화 회로(12), 변환 회로(13), 상위 레이어 부호화 회로(14) 및 다중화 회로(15)를 갖는다.
[계층화 회로]
계층화 회로(10)는, 예를 들면, 도 3에 도시한 바와 같이, 부호화 대상의 화상 데이터(S9)에 기초하여 프로그레시브 화상 데이터(프로그레시브 화상 신호)(S10_1)와, 인터레이스 화상 데이터(S10_2)를 생성하도록 구성되어 있다. 또한, 계층화 회로(10)는, 상기 생성한 프로그레시브 화상 데이터(S10_1)를 구성하는 픽쳐 데이터(FR1∼6 …)의 각각을 지연 회로(11)에 기입하도록 구성되어 있다.
프로그레시브 화상 데이터(S10_1)는, 예를 들면, 60프레임/sec(60p)이다.
또한, 계층화 회로(10)는, 상기 생성한 인터레이스 화상 데이터(S10_2)를 구성하는 픽쳐 데이터(FI1∼6 …)를 하위 레이어 부호화 회로(12)에 출력하도록 구성되어 있다.
인터레이스 화상 데이터(S10_2)는, 예를 들면, 60필드/sec(60i)이다.
[지연 회로]
지연 회로(11)는, 계층화 회로(10)로부터 입력받은 프로그레시브 화상 데이터(프로그레시브 신호)(S10_1)를 구성하는 각 픽쳐 데이터를, 예를 들면, 하위 레이어 부호화 회로(12) 및 변환 회로(13)에서의 처리 시간만큼 지연하여 상위 레이어 부호화 회로(14)에 출력하도록 구성되어 있다.
[하위 레이어 부호화 회로]
하위 레이어 부호화 회로(12)는, 계층화 회로(10)로부터 입력받은 인터레이스 화상 데이터(S10_2)를 부호화하여 하위 부호화 데이터(S12)를 생성하고, 이것을 다중화 회로(15)에 출력하도록 구성되어 있다. 또한, 하위 레이어 부호화 회로(12)는, 상기 부호화에서, 하위 예측 화상 데이터(L_PRE)를 생성하고, 이것을 변환 회로(13)에 출력하도록 구성되어 있다.
도 4는, 하위 레이어 부호화 회로(12)의 구성예를 도시하는 도면이다.
하위 레이어 부호화 회로(12)는, 예를 들면, 화면 재배열 회로(23), 연산 회로(31), 직교 변환 회로(32), 양자화 회로(33), 레이트 제어 회로(34), 가역 부호화 회로(35), 버퍼 메모리(36), 역양자화 회로(37), 역직교 변환 회로(38), 가산 회로(39), 디블록 필터(40), 프레임 메모리(41), 인트라 예측 회로(42), 및 움직임 예측·보상 회로(43)를 갖는다.
화면 재배열 회로(23)는, 예를 들면, 도 2에 도시하는 계층화 회로(10)로부터 입력받은 프로그레시브 화상 데이터(S10_2)를 픽쳐 타입 I, P, B로 이루어지는 GOP(Group Of Pictures) 구조에 따라서, 부호화하는 순번으로 재배열하여, 연산 회로(31), 인트라 예측 회로(42) 및 움직임 예측·보상 회로(43)에 출력하도록 구성되어 있다.
연산 회로(31)는, 화면 재배열 회로(23)로부터 입력받은 부호화 대상의 픽쳐 데이터와, 인트라 예측 회로(42) 혹은 움직임 예측·보상 회로(43)로부터 입력받은 예측 화상 데이터(PI)와의 차분을 나타내는 화상 데이터를 생성하고, 이것을 직교 변환 회로(32)에 출력하도록 구성되어 있다.
직교 변환 회로(32)는, 연산 회로(31)로부터 입력받은 화상 데이터에 이산 코사인 변환(DCT)이나 카르넨 레베 변환 등의 직교 변환을 실시하여 변환 계수를 나타내는 화상 데이터(예를 들면 DCT 계수)를 생성하고, 이것을 양자화 회로(33)에 출력하도록 구성되어 있다.
양자화 회로(33)는, 직교 변환 회로(32)로부터 입력받은 화상 데이터(양자화 전의 변환 계수)를, 레이트 제어 회로(34)로부터 입력받은 양자화 스케일(QS)에 기초하여 양자화하여 양자화 후의 변환 계수를 나타내는 화상 데이터를 생성하고, 이것을 가역 부호화 회로(35) 및 역양자화 회로(37)에 출력하도록 구성되어 있다.
레이트 제어 회로(34)는, 예를 들면, 버퍼 메모리(36)로부터 판독한 화상 데 이터에 기초하여 양자화 스케일(QS)을 생성하고, 이것을 양자화 회로(33)에 출력하도록 구성되어 있다.
가역 부호화 회로(35)는, 양자화 회로(33)로부터 입력받은 화상 데이터를 가변 길이 부호화한 화상 데이터를 버퍼 메모리(36)에 저장하도록 구성되어 있다. 또한, 가역 부호화 회로(35)는, 움직임 예측·보상 회로(43)로부터 입력받은 움직임 벡터(MV) 혹은 그 차분 움직임 벡터, 참조 화상 데이터의 식별 데이터, 및 인트라 예측 회로(42)로부터 입력받은 인트라 예측 모드를 헤더 데이터 등에 저장하도록 구성되어 있다.
버퍼 메모리(36)에 저장된 화상 데이터는, 하위 부호화 데이터(S12)로서 도 2에 도시하는 다중화 회로(15)에 판독된다.
역양자화 회로(37)는, 양자화 회로(33)의 양자화에 대응한 역양자화 처리를, 양자화 회로(33)로부터의 화상 데이터에 실시하고, 그에 의해 얻어진 데이터를 생성하고, 이것을 역직교 변환 회로(38)에 출력하도록 구성되어 있다.
역직교 변환 회로(38)는, 역양자화 회로(37)로부터 입력받은 데이터에, 직교 변환 회로(32)에서의 직교 변환의 역변환을 실시하여 생성한 화상 데이터를 가산 회로(39)에 출력하도록 구성되어 있다.
가산 회로(39)는, 역직교 변환 회로(38)로부터 입력받은(디코드된) 화상 데이터와, 인트라 예측 회로(42) 혹은 움직임 예측·보상 회로(43)로부터 입력받은 예측 화상 데이터(PI)를 가산하여 참조(재구성) 픽쳐 데이터를 생성하고, 이것을 디블록 필터(40)에 출력하도록 구성되어 있다.
디블록 필터(40)는, 가산 회로(39)로부터 입력받은 참조 픽쳐 데이터의 블록 왜곡을 제거하여 프레임 메모리(41)에 기입하도록 구성되어 있다.
프레임 메모리(41)에 기입된 참조 픽쳐 데이터는, 하위 예측 화상 데이터(L_PRE)로서 프레임 메모리(41)로부터 판독되어, 예를 들면, 도 2에 도시하는 변환 회로(13)에 출력된다.
인트라 예측 회로(42)는, 인트라 부호화하는 매크로 블록에서, 잔차가 최소로 되는 인트라 예측의 모드 및 예측 블록의 블록 사이즈를 결정하도록 구성되어 있다.
인트라 예측 회로(42)는, 블록 사이즈로서, 4×4 및 16×16 화소를 이용한다.
인트라 예측 회로(42)는, 인트라 예측이 선택된 경우에, 인트라 예측에 의한 예측 화상 데이터(PI)를 연산 회로(31) 및 가산 회로(39)에 출력하도록 구성되어 있다.
움직임 예측·보상 회로(43)는, 이미 부호화 후에 국소 복호되어 프레임 메모리(41)에 기억되어 있는 참조 픽쳐 데이터(REF)에 기초하여 움직임 예측을 행하여, 잔차를 최소로 하는 움직임 벡터 및 움직임 보상의 블록 사이즈를 결정하도록 구성되어 있다.
움직임 예측·보상 회로(43)는, 블록 사이즈로서, 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 화소를 이용한다.
움직임 예측·보상 회로(43)는, 인터 예측이 선택된 경우에, 인터 예측에 의 한 예측 화상 데이터(PI)를 연산 회로(31) 및 가산 회로(39)에 출력하도록 구성되어 있다.
[변환 회로]
도 2를 참조하여 변환 회로(13)에 대해서 설명한다.
변환 회로(13)가 하위 레이어 부호화 회로(12)로부터 입력받은 하위 예측 화상 데이터(L_PRE)를 보간 처리하여, 상위 레이어 부호화 회로(14)가 지연 회로(11)로부터 입력받은 프로그레시브 화상 데이터(S10_1)와 동일한 해상도(주사선수)의 하위 예측 화상 데이터(L_PREb)를 생성하고, 이것을 상위 레이어 부호화 회로(14)에 출력하도록 구성되어 있다.
도 5는, 변환 회로(13)의 구성예를 도시하는 도면이다.
변환 회로(13)는, 예를 들면, 인트라 필드 예측 화상 생성 회로(21)와, 인트라 프레임 예측 화상 생성 회로(22)를 갖는다.
변환 회로(13)의 처리 내용의 설명을 행하기 전에, 본 실시 형태에서 이용하는 용어를 이하와 같이 정의한다.
예를 들면, 프로그레시브 화상 데이터(S10_1)의 프레임 픽쳐 데이터(X)와 동일한 타임 스탬프를 갖는 인터레이스 화상 데이터(S10_2)의 필드 픽쳐 데이터(Y)를, 픽쳐 데이터(X)의 베이스 픽쳐 데이터라고 부른다. 도 3의 예에서는, 필드 픽쳐 데이터(FI1)는, 프레임 픽쳐 데이터(FR1)의 베이스 픽쳐 데이터이다.
프로그레시브 화상 데이터(S10_1)의 프레임 픽쳐 데이터(X)의 매크로 블록(MBX)에 대응하는 하나의 베이스 블록(MBY)이, 프레임 픽쳐 데이터(X)의 베이스 픽쳐 데이터인 필드 픽쳐 데이터(Y) 내에 존재한다.
베이스 블록(MBY)은, 매크로 블록(MBX)과 동일한 길이의 폭이고, 절반의 높이를 갖고 있다.
여기서, 프레임 픽쳐 데이터(X)의 좌측 상의 화소 위치에 대해서 베이스 블록(MBX)의 좌측 상의 화소 위치의 공간 위치 (xP, yP)에 위치하는 경우에, 베이스 블록(MBY)의 좌측 상의 화소 위치는 공간 위치 (xP, yP/2)에 위치한다.
톱 필드 데이터와, 그것에 계속되는 보텀 필드 데이터를, 보충 필드 페어라고 부른다.
하나의 보충 필드 페어 내에서, 톱 필드 데이터가 동일한 페어 내의 보텀 필드 데이터의 보충 필드 데이터이고, 보텀 필드 데이터가 동일한 페어 내의 톱 필드 데이터의 보충 필드 데이터이다. 예를 들면, 도 3에서, 필드 데이터(FI1과 FI2)에 의해 보충 필드 페어를 구성하고, 필드 데이터(FI2)가 필드 데이터(FI1)의 보충 필드 데이터이고, 필드 데이터(FI1)가 필드 데이터(FI2)의 보충 필드 데이터이다.
보충 필드 페어를 구성하는 필드 데이터(A, B)를 고려한다.
블록(MBA)의 좌측 상의 화소 위치가 필드 데이터(A)의 좌측 상의 화소 위치에 대해서 공간 위치 (xP_A,　yP_A)를 갖고, 블록(MBB)의 좌측 상의 화소 위치가 필드 데이터(B)의 좌측 상의 화소 위치에 대해서 공간 위치 (xP_B,　yP_B)를 갖는 경우에 있어서, 블록(MBA와 MBB)이 동일한 사이즈를 갖고, 공간 위치 (xP_A,　yP_A)와 공간 위치 (xP_B,　yP_B)가 동일한 경우에, 블록(MBA)은 블록(MBB)의 보충 블록이고, 블록(MBB)은 블록(MBA)의 보충 블록이다.
인트라 필드 예측 화상 생성 회로(21)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 예측 화상 데이터(L_PRE)가 톱 필드 데이터인 경우에, 부호화 대상(커런트)의 매크로 블록(MB)에 대응한 하위 예측 화상 데이터(L_PRE) 내의 베이스 블록 데이터를, 도 6의 (A)에 도시한 바와 같이, 그 톱 필드 데이터만을 이용하여 업 샘플 처리를 행하여, 프로그레시브 화상 데이터(S10_1)와 동일한 해상도의 하위 예측 화상 데이터(L_PREb(FI))를 생성한다.
인트라 필드 예측 화상 생성 회로(21)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 예측 화상 데이터(L_PRE)가 보텀 필드 데이터인 경우에, 부호화 대상의 매크로 블록(MB)에 대응한 하위 예측 화상 데이터(L_PRE) 내의 베이스 블록 데이터를, 도 6의 (B)에 도시한 바와 같이, 그 보텀 필드 데이터만을 이용하여 업 샘플 처리를 행하여, 프로그레시브 화상 데이터(S10_1)와 동일한 해상도의 하위 예측 화상 데이터(L_PREb(FI))를 생성한다.
도 7은, 도 5에 도시하는 인트라 필드 예측 화상 생성 회로(21)의 처리의 일례를 설명하기 위한 플로우차트이다. 인트라 필드 예측 화상 생성 회로(21)는 하기의 처리를 행하도록 구성되어 있다.
이하의 설명에서는, 하위 예측 화상 데이터(L_PRE) 내의 베이스 블록 데이터의 라인수가 N인 것으로 한다. 또한, 베이스 블록 데이터의 i번째의 라인 데이터를 Base[i]로 한다. 여기서, i는 「0」∼「N-1」의 정수이다.
도 7에 설명하는 스텝 ST12∼ST15는 도 6의 (A) 및 도 8의 (A)에 도시하는 톱 필드의 업 샘플 처리를 나타내고, 도 7에 설명하는 스텝 ST16∼ST19는 도 6의 (B) 및 도 8의 (B)에 도시하는 보텀 필드의 업 샘플 처리를 나타내고 있다.
스텝 ST11 :
인트라 필드 예측 화상 생성 회로(21)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 예측 화상 데이터(L_PRE)가 톱 필드 데이터인 경우에 스텝 ST12로 진행하고, 그렇지 않은 경우에 스텝 ST16으로 진행한다.
스텝 ST12 :
인트라 필드 예측 화상 생성 회로(21)는, 베이스 블록 데이터의 i번째의 라인 데이터(Base[i])를, 하위 예측 화상 데이터(L_PREb) 내의 대응하는 예측 블록 데이터의 2i번째의 라인 데이터(PRED[2i])에 카피한다.
즉, 인트라 필드 예측 화상 생성 회로(21)는, 상기 카피에 의해, 라인 데이터(PRED[0], [2], …, [2N-2])를 생성한다.
스텝 ST13 :
인트라 필드 예측 화상 생성 회로(21)는, 상기 베이스 블록 데이터의 최하의 라인의 하나 아래의 라인 데이터를 라인 데이터(Base[N])라고 한다.
스텝 ST14 :
인트라 필드 예측 화상 생성 회로(21)는, 라인 데이터(PRED[2N])에, 스텝 ST13에서 얻은 라인 데이터(Base[N])를 저장한다.
스텝 ST15 :
인트라 필드 예측 화상 생성 회로(21)는, 하기 수학식 1에 의해, 라인 데이터(PRED[2i])에 가중치 w1을 곱한 결과와, 라인 데이터(PRED[2i+2])에 가중치 w2를 곱한 결과를 가산하여, 하위 예측 화상 데이터(L_PREb) 내의 대응하는 예측 블록 데이터의 2i+1번째의 라인 데이터(PRED[2i+1])를 생성한다.
Figure 112007043183910-PCT00001
스텝 ST16 :
인트라 필드 예측 화상 생성 회로(21)는, 베이스 블록 데이터의 i번째의 라인 데이터(Base[i])를, 하위 예측 화상 데이터(L_PREb) 내의 대응하는 예측 블록 데이터의 2i+1번째의 라인 데이터(PRED[2i+1])에 카피한다.
즉, 인트라 필드 예측 화상 생성 회로(21)는, 상기 카피에 의해, 라인 데이터(PRED[1], [3], …, [2N-1])를 생성한다.
스텝 ST17 :
인트라 필드 예측 화상 생성 회로(21)는, 상기 베이스 블록 데이터의 최상의 라인의 하나 위의 라인 데이터를 라인 데이터(Base[-1])라고 한다.
스텝 ST18 :
인트라 필드 예측 화상 생성 회로(21)는, 라인 데이터(PRED[-1])에, 스텝　ST17에서 얻은 라인 데이터(Base[-1])를 저장한다.
스텝 ST19 :
인트라 필드 예측 화상 생성 회로(21)는, 하기 수학식 2에 의해, 라인 데이터(PRED[2i-1])에 가중치 w1을 곱한 결과와, 라인 데이터(PRED[2i+1])에 가중치 w2를 곱한 결과를 가산하여, 하위 예측 화상 데이터(L_PREb) 내의 대응하는 예측 블 록 데이터의 2i번째의 라인 데이터(PRED[2i])를 생성한다.
Figure 112007043183910-PCT00002
스텝 ST20 :
인트라 필드 예측 화상 생성 회로(21)는, 스텝 ST15 및 스텝 ST19에서 생성한 예측 블록 데이터의 라인 데이터(PRED[i])를 하위 예측 화상 데이터(L_PREb(FI))로서 상위 레이어 부호화 회로(14)에 출력한다.
도 5를 참조하여 인트라 프레임 예측 화상 생성 회로(22)를 설명한다.
인트라 프레임 예측 화상 생성 회로(22)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 예측 화상 데이터(L_PRE)가 톱 필드 데이터인 경우에, 도 9의 (A)에 도시한 바와 같이, 부호화 대상(커런트)의 매크로 블록(MB)에 대응한 하위 예측 화상 데이터(L_PRE)(톱 필드 데이터) 내의 베이스 블록 데이터(Base)와, 그 베이스 블록 데이터의 보충 블록 데이터(Comp)(보텀 필드 데이터)를 이용하여 업 샘플 처리를 행하여, 프로그레시브 화상 데이터(S10_1)와 동일한 해상도의 하위 예측 화상 데이터(L_PREb(FR))를 생성하도록 구성되어 있다.
또한, 인트라 프레임 예측 화상 생성 회로(22)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 예측 화상 데이터(L_PRE)가 보텀 필드 데이터인 경우에, 도 9의 (B)에 도시한 바와 같이, 부호화 대상(커런트)의 매크로 블록(MB)에 대응한 하위 예측 화상 데이터(L_PRE)(보텀 필드 데이터) 내의 베이스 블록 데이터(Base)와, 그 베이스 블록 데이터의 보충 블록 데이터(Comp)(톱 필드 데이터)를 이용하여 업 샘플 처리를 행하여, 프로그레시브 화상 데이터(S10_1)와 동일한 해상도의 하위 예측 화상 데이터(L_PREb(FR))를 생성하도록 구성되어 있다.
도 10은, 도 5에 도시하는 인트라 프레임 예측 화상 생성 회로(22)의 처리의 일례를 설명하기 위한 플로우차트이다.
이하의 설명에서는, 하위 예측 화상 데이터(L_PRE) 내의 베이스 블록 데이터의 라인수가 N인 것으로 한다. 또한, 베이스 블록 데이터의 i번째의 라인 데이터를 Base[i]라고 한다. 여기서, i는 「0」∼[N-1]의 정수이다.
도 10에 설명하는 스텝 ST32∼ST36은 도 9의 (A) 및 도 11에 도시하는 톱 필드의 업 샘플 처리를 나타내고, 도 10에 설명하는 스텝 ST37∼ST41은 도 9의 (B) 및 도 12에 도시하는 보텀 필드의 업 샘플 처리를 나타내고 있다.
스텝 ST31 :
인트라 프레임 예측 화상 생성 회로(22)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 예측 화상 데이터(L_PRE)가 톱 필드 데이터인 경우에 스텝 ST32로 진행하고, 그렇지 않은 경우에 스텝 ST37로 진행한다.
스텝 ST32 :
인트라 프레임 예측 화상 생성 회로(22)는, 베이스 블록 데이터의 i번째의 라인 데이터(Base[i])를, 하위 예측 화상 데이터(L_PREb) 내의 대응하는 예측 블록 데이터의 2i번째의 라인 데이터(PRED[2i])에 카피한다.
즉, 인트라 필드 예측 화상 생성 회로(21)는, 상기 카피에 의해, 라인 데이터(PRED[0], [2], …, [2N-2])를 생성한다.
스텝 ST33 :
인트라 프레임 예측 화상 생성 회로(22)는, 베이스 블록 데이터에 대응한 보충 블록 데이터의 i번째의 라인 데이터(Comp[i])를, 2i+1번째의 라인 데이터(PRED[2i+1])에 대입한다.
스텝 ST34 :
인트라 필드 예측 화상 생성 회로(21)는, 상기 베이스 블록 데이터의 최하의 라인의 하나 아래의 라인 데이터를 라인 데이터(Base[N])라고 한다.
스텝 ST35 :
인트라 필드 예측 화상 생성 회로(21)는, 라인 데이터(PRED[2N])에, 스텝　ST34에서 얻은 라인 데이터(Base[N])를 저장한다.
스텝 ST36 :
인트라 필드 예측 화상 생성 회로(21)는, 하기 수학식 3에 의해, 라인 데이터(PRED[2i])에 가중치 w1을 곱한 결과와, 라인 데이터(PRED[2i+2])에 가중치 w2를 곱한 결과, 라인 데이터(PRED[2i+1])에 가중치 w3을 곱한 결과를 가산하여, 하위 예측 화상 데이터(L_PREb) 내의 대응하는 예측 블록 데이터의 2i+1번째의 라인 데이터(PRED[2i+1])를 생성한다.
Figure 112007043183910-PCT00003
스텝 ST37 :
인트라 필드 예측 화상 생성 회로(21)는, 베이스 블록 데이터의 i번째의 라 인 데이터(Base[i])를, 하위 예측 화상 데이터(L_PREb) 내의 대응하는 예측 블록 데이터의 2i+1번째의 라인 데이터(PRED[2i+1])에 카피한다.
즉, 인트라 필드 예측 화상 생성 회로(21)는, 상기 카피에 의해, 라인 데이터(PRED[1], [3], …, [2N-1])를 생성한다.
스텝 ST38 :
인트라 프레임 예측 화상 생성 회로(22)는, 베이스 블록 데이터에 대응한 보충 블록 데이터의 i번째의 라인 데이터(Comp[i])를, 2i번째의 라인 데이터(PRED[2i])에 대입한다.
스텝 ST39 :
인트라 프레임 예측 화상 생성 회로(22)는, 상기 베이스 블록 데이터의 최상의 라인의 하나 위의 라인 데이터를 라인 데이터(Base[-1])라고 한다.
스텝 ST40 :
인트라 프레임 예측 화상 생성 회로(22)는, 라인 데이터(PRED[-1])에, 스텝 ST39에서 얻은 라인 데이터(Base[-1])를 저장한다.
스텝 ST41 :
인트라 프레임 예측 화상 생성 회로(22)는, 하기 수학식 4에 의해, 라인 데이터(PRED[2i-1])에 가중치 w1을 곱한 결과와, 라인 데이터(PRED[2i+1])에 가중치 w2를 곱한 결과와, 라인 데이터(PRED[2i])에 가중치 w3을 곱한 결과를 가산하여, 하위 예측 화상 데이터(L_PREb) 내의 대응하는 예측 블록 데이터의 2i번째의 라인 데이터(PRED[2i])를 생성한다.
Figure 112007043183910-PCT00004
스텝 ST42 :
인트라 프레임 예측 화상 생성 회로(22)는, 스텝 ST36 및 스텝 ST41에서 생성한 예측 블록 데이터의 라인 데이터(PRED[i])를 하위 예측 화상 데이터(L_PREb(FR))로서 상위 레이어 부호화 회로(14)에 출력한다.
[상위 레이어 부호화 회로]
상위 레이어 부호화 회로(14)는, 변환 회로(13)로부터 입력받은 하위 레이어 부호화 회로(12)에서 생성한 하위 예측 화상 데이터(L_PREb)를 이용하여, 프로그레시브 화상 데이터(S10_1)를 부호화하여 상위 부호화 데이터(S14)를 생성하도록 구성되어 있다.
도 13은, 상위 레이어 부호화 회로(14)의 구성예를 도시하는 도면이다.
상위 레이어 부호화 회로(14)는, 예를 들면, 화면 재배열 회로(123), 연산 회로(131), 직교 변환 회로(132), 양자화 회로(133), 레이트 제어 회로(134), 가역 부호화 회로(135), 버퍼 메모리(136), 역양자화 회로(137), 역직교 변환 회로(138), 가산 회로(139), 디블록 필터(140), 프레임 메모리(141), 인트라 예측 회로(142), 및 움직임 예측·보상 회로(143)를 갖는다.
화면 재배열 회로(123)는, 예를 들면, 도 2에 도시하는 지연 회로(11)로부터 판독된 프로그레시브 화상 데이터(S10_1)의 픽쳐 데이터를, 픽쳐 타입 I,　P,　B로 이루어지는 GOP 구조에 따라서, 부호화하는 순번으로 재배열하여, 부호화 대상의 픽쳐 데이터(ORG)로서, 연산 회로(131), 인트라 예측 회로(142) 및 움직임 예측·보상 회로(143)에 출력하도록 구성되어 있다.
연산 회로(131)는, 화면 재배열 회로(123)로부터 입력받은 부호화 대상의 픽쳐 데이터와, 인트라 예측 회로(142), 움직임 예측·보상 회로(143) 혹은 하위 레이어 예측 회로(145)로부터 입력받은 예측 화상 데이터(PI)와의 차분을 나타내는 화상 데이터를 생성하고, 이것을 직교 변환 회로(132)에 출력하도록 구성되어 있다.
직교 변환 회로(132)는, 연산 회로(131)로부터 입력받은 화상 데이터에 이산 코사인 변환이나 카르넨 레베 변환 등의 직교 변환을 실시하여 변환 계수를 나타내는 화상 데이터(예를 들면 DCT 계수)를 생성하고, 이것을 양자화 회로(133)에 출력하도록 구성되어 있다.
양자화 회로(133)는, 직교 변환 회로(132)로부터 입력받은 화상 데이터(양자화 전의 변환 계수)를, 레이트 제어 회로(134)로부터 입력받은 양자화 스케일(QS)에 기초하여 양자화하여 양자화 후의 변환 계수를 나타내는 화상 데이터를 생성하고, 이것을 가역 부호화 회로(135) 및 역양자화 회로(137)에 출력하도록 구성되어 있다.
레이트 제어 회로(134)는, 예를 들면, 버퍼 메모리(136)로부터 판독한 화상 데이터에 기초하여 양자화 스케일(QS)을 생성하고, 이것을 양자화 회로(133)에 출력하도록 구성되어 있다.
가역 부호화 회로(135)는, 양자화 회로(133)로부터 입력받은 화상 데이터를 가변 길이 부호화한 화상 데이터를 버퍼 메모리(136)에 저장하도록 구성되어 있다. 이 때, 가역 부호화 회로(135)는, 계층화 회로(10)로부터 입력받은 속성 데이터(EisTop,　ETime)를 헤더 데이터 등에 저장한다. 또한, 가역 부호화 회로(135)는, 움직임 예측·보상 회로(143)로부터 입력받은 움직임 벡터(MV) 혹은 그 차분 움직임 벡터, 참조 화상 데이터의 식별 데이터, 및 인트라 예측 회로(142)로부터 입력받은 인트라 예측 모드를 헤더 데이터 등에 저장한다.
버퍼 메모리(136)에 저장된 화상 데이터는, 상위 부호화 데이터(S14)로서 도 2에 도시하는 다중화 회로(15)에 판독된다.
역양자화 회로(137)는, 양자화 회로(133)의 양자화에 대응한 역양자화 처리를, 양자화 회로(133)로부터의 화상 데이터에 실시하고, 그에 의해 얻어진 데이터를 생성하고, 이것을 역직교 변환 회로(138)에 출력하도록 구성되어 있다.
역직교 변환 회로(138)는, 역양자화 회로(137)로부터 입력받은 데이터에, 직교 변환 회로(132)에서의 직교 변환의 역변환을 실시하여 생성한 화성 데이터를 가산 회로(139)에 출력하도록 구성되어 있다.
가산 회로(139)는, 역직교 변환 회로(138)로부터 입력받은(디코드된) 화상 데이터와, 인트라 예측 회로(142) 혹은 움직임 예측·보상 회로(143)로부터 입력받은 예측 화상 데이터(PI)를 가산하여 참조(재구성) 픽쳐 데이터를 생성하고, 이것을 디블록 필터(140)에 출력하도록 구성되어 있다.
디블록 필터(140)는, 가산 회로(139)로부터 입력받은 참조 픽쳐 데이터의 블록 왜곡을 제거하여 프레임 메모리(141)에 기입하도록 구성되어 있다.
인트라 예측 회로(142)는, 인트라 부호화하는 매크로 블록에서, 잔차가 최소로 되는 인트라 예측의 모드 및 예측 블록의 블록 사이즈를 결정하도록 구성되어 있다. 인트라 예측 회로(142)는, 블록 사이즈로서, 4×4 및 16×16 화소를 이용한다. 인트라 예측 회로(142)는, 인트라 예측이 선택된 경우에, 인트라 예측에 의한 예측 화상 데이터(PI)를 연산 회로(131) 및 가산 회로(139)에 출력하도록 구성되어 있다.
움직임 예측·보상 회로(143)는, 이미 부호화 후에 국소 복호되어 프레임 메모리(131)에 기억되어 있는 참조 픽쳐 데이터(REF)에 기초하여 움직임 예측을 행하여, 부호화 대상의 픽쳐 데이터(ORG)의 처리 대상의 블록 데이터와의 차분을 최소로 하는 움직임 벡터 및 움직임 보상의 블록 사이즈를 결정하도록 구성되어 있다. 움직임 예측·보상 회로(143)는, 블록 사이즈로서, 예를 들면, 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4 화소 중 어느 하나를 이용한다.
움직임 예측·보상 회로(143)는, 인터 예측이 선택된 경우에, 인터 예측에 의한 예측 화상 데이터(PI)를 연산 회로(131) 및 가산 회로(139)에 출력하도록 구성되어 있다.
하위 레이어 예측 회로(145)는, 도 2에 도시하는 변환 회로(13)로부터 입력받은 하위 예측 화상 데이터(L_PREb(FI)와 L_PREb(FR)) 중，픽쳐 데이터(ORG)의 처리 대상의 블록 데이터와의 차분이 작은 예측 화상 데이터를 특정하도록 구성되어 있다.
도 14는, 하위 레이어 예측 회로(145)의 구성예를 도시하는 도면이다.
하위 레이어 예측 회로(145)는, 감산 회로(81), 감산 회로(82) 및 판정 회로(83)를 갖는다.
감산 회로(81)는, 도 5에 도시하는 인트라 필드 예측 화상 생성 회로(21)로부터 입력받은 하위 예측 화상 데이터(L_PREb(FI))와, 도 13에 도시하는 부호화 대상의 픽쳐 데이터(ORG) 내의 처리 대상의 블록 데이터와의 사이의 대응하는 화소 데이터간의 차분을 나타내는 차분 데이터를 생성하고, 이것을 판정 회로(83)에 출력하도록 구성되어 있다.
감산 회로(82)는, 예를 들면, 도 5에 도시하는 인트라 프레임 예측 화상 생성 회로(22)로부터 입력받은 하위 예측 화상 데이터(L_PREb(FR))와, 도 13에 도시하는 부호화 대상의 픽쳐 데이터(ORG) 내의 처리 대상의 블록 데이터와의 사이의 대응하는 화소 데이터간의 차분을 나타내는 차분 데이터를 생성하고, 이것을 판정 회로(83)에 출력하도록 구성되어 있다.
판정 회로(83)는, 감산 회로(81)로부터 입력받은 차분 데이터를, 블록 데이터 단위로 누적하여 지표 데이터(SAD(FI))를 생성하도록 구성되어 있다. 또한, 판정 회로(83)는, 감산 회로(82)로부터 입력받은 차분 데이터를, 블록 데이터 단위로 누적하여 지표 데이터(SAD(FR))를 생성하도록 구성되어 있다. 그리고, 판정 회로(83)는, 지표 데이터(SAD(FI))와 지표 데이터(SAD(FR)) 중 작은 쪽을 특정하도록 구성되어 있다. 판정 회로(83)는, 하위 레이어 예측 회로(145)가 선택된 경우에, 상기 특정한 작은 쪽의 지표 데이터(SAD(FI), (FR))에 대응한 하위 예측 화상 데이터(L_PREb(FI), (FR))를 연산 회로(131)에 출력하도록 구성되어 있다.
인트라 예측 회로(142), 움직임 예측·보상 회로(143) 및 하위 레이어 예측 회로(145)가 생성한 예측 화상 데이터(PI) 중, 부호화 대상의 픽쳐 데이터(ORG)와의 차분이 최소로 되는 예측 화상 데이터(PI)가 선택되어 연산 회로(131)에 출력된다.
상위 레이어 부호화 회로(14)는, 최종적으로 선택된 예측 모드를 나타내는 예측 모드 데이터(PM)를 헤더 데이터에 저장하여 가역 부호화 회로(135)에서 부호화하도록 구성되어 있다. 상위 레이어 부호화 회로(14)는, 하위 예측 화상 데이터(L_PREb(FI))를 선택한 경우에 인터 레이어/인트라 필드 예측을 나타내는 예측 모드 데이터를 생성하도록 구성되어 있다. 상위 레이어 부호화 회로(14)는, 하위 예측 화상 데이터(L_PREb(FR))를 선택한 경우에 인터 레이어/인트라 프레임 예측을 나타내는 예측 모드 데이터를 생성하도록 구성되어 있다.
전술한 예에서는, 하위 레이어 부호화 회로(12)에서 생성한 재구성 화상 데이터를, 상위 레이어 부호화 회로(14)에서의 인트라 예측 부호화의 예측 화상 데이터로서 이용하는 경우를 예시했지만, 하위 레이어 부호화 회로(12)에서 생성한 재구성 화상 데이터나 움직임 벡터를, 상위 레이어 부호화 회로(14)에서의 인터 예측 부호화의 예측 화상 데이터나 움직임 벡터로서 이용하고, 이 모드를 선택 후보로서 이용해도 된다.
[다중화 회로]
다중화 회로(15)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 부호화 데이터(S12)와, 상위 레이어 부호화 회로(14)로부터 입력받은 상위 부호화 데이 터(S14)를 다중화하여 부호화 데이터(S2)를 생성하도록 구성되어 있다.
[부호화 장치의 동작예]
도 2에 도시하는 부호화 장치(2)의 동작예를 설명한다.
계층화 회로(10)가, 도 2에 도시한 바와 같이, 부호화 대상의 화상 데이터(S9)에 기초하여, 프로그레시브 화상 데이터(프로그레시브 신호)(S10_1)와, 인터레이스 화상 데이터(S10_2)를 생성한다. 계층화 회로(10)는, 상기 생성한 프로그레시브 화상 데이터(S10_1)를 구성하는 픽쳐 데이터(FR1∼6 …)의 각각을 지연 회로(11)에 출력한다. 또한, 계층화 회로(10)는, 상기 생성한 인터레이스 화상 데이터(S10_2)를 하위 레이어 부호화 회로(12)에 출력한다.
하위 레이어 부호화 회로(12)는, 계층화 회로(10)로부터 입력받은 인터레이스 화상 데이터(S10_2)를 부호화하여 하위 부호화 데이터(S12)를 생성하고, 이것을 다중화 회로(15)에 출력한다. 또한, 하위 레이어 부호화 회로(12)는, 상기 부호화에서, 하위 예측 화상 데이터(L_PRE)를 생성하고, 이것을 변환 회로(13)에 출력한다.
변환 회로(13)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 예측 화상 데이터(L_PRE)를 보간 처리하여, 상위 레이어 부호화 회로(14)가 지연 회로(11)로부터 입력받은 프로그레시브 화상 데이터(S10_1)와 동일한 해상도(주사선수)의 하위 예측 화상 데이터(L_PREb)를 생성하고, 이것을 상위 레이어 부호화 회로(14)에 출력한다.
지연 회로(11)는, 계층화 회로(10)로부터 입력받은 프로그레시브 화상 데이 터(프로그레시브 신호)(S10_1)를 구성하는 각 픽쳐 데이터를, 예를 들면, 하위 레이어 부호화 회로(12) 및 변환 회로(13)에서의 처리 시간만큼 지연하여 상위 레이어 부호화 회로(14)에 출력한다.
상위 레이어 부호화 회로(14)는, 변환 회로(13)로부터 입력받은 하위 레이어 부호화 회로(12)에서 생성한 하위 예측 화상 데이터(L_PREb)를 이용하여, 프로그레시브 화상 데이터(S10_1)를 부호화하여 상위 부호화 데이터(S14)를 생성한다.
다중화 회로(15)는, 하위 레이어 부호화 회로(12)로부터 입력받은 하위 부호화 데이터(S12)와, 상위 레이어 부호화 회로(14)로부터 입력받은 상위 부호화 데이터(S14)를 다중화하여 부호화 데이터(S2)를 생성한다.
<복호 장치>
도 15는, 도 1에 도시하는 복호 장치(3)의 구성예를 도시하는 도면이다.
복호 장치(3)는, 예를 들면, 분리 회로(51), 지연 회로(52), 하위 레이어 복호 회로(53), 변환 회로(54) 및 상위 레이어 복호 회로(55)를 갖는다.
[분리 회로]
분리 회로(51)는, 부호화 장치(2)가 생성한 전술한 부호화 데이터(S2)를 입력받아, 이것을 하위 부호화 데이터(S12)와 상위 부호화 데이터(S14)로 분리하고, 하위 부호화 데이터(S12)를 하위 레이어 복호 회로(53)에 출력하고, 상위 부호화 데이터(S14)를 지연 회로(52)에 기입하도록 구성되어 있다.
[지연 회로]
지연 회로(52)는, 분리 회로(51)로부터 입력받은 상위 부호화 데이터(S14) 를, 하위 레이어 복호 회로(53) 및 변환 회로(54)에서의 처리 시간만큼 지연하여 상위 레이어 복호 회로(55)에 출력하도록 구성되어 있다.
[하위 레이어 복호 회로]
도 16은, 하위 레이어 복호 회로(53)의 구성예를 도시하는 도면이다.
하위 레이어 복호 회로(53)는, 예를 들면, 축적 버퍼(60), 가역 복호 회로(61), 역양자화 회로(62), 역직교 변환 회로(63), 가산 회로(64), 디블록 필터(65), 프레임 메모리(66), 화면 재배열 버퍼(67), 인트라 예측 회로(69), 움직임 예측·보상 회로(70)를 갖는다.
축적 버퍼(60)에는, 분리 회로(51)로부터 입력받은 하위 부호화 데이터(S12)가 기입된다.
가역 복호 회로(61)는, 하위 부호화 데이터(S12) 내의 처리 대상의 매크로 블록(MB)이 인터 부호화되어 있다고 판단한 경우에는, 그 헤더부에 기입되어 있는 움직임 벡터를 복호하여 움직임 예측·보상 회로(70)에 출력하도록 구성되어 있다. 가역 복호 회로(61)는, 하위 부호화 데이터(S12) 내의 처리 대상의 매크로 블록(MB)이 인트라 부호화되어 있다고 판단한 경우에는, 그 헤더부에 기입되어 있는 인트라 예측 모드 정보를 복호하여 인트라 예측 회로(69)에 출력하도록 구성되어 있다. 가역 복호 회로(61)는, 하위 부호화 데이터(S12)를 복호하여 역양자화 회로(62)에 출력하도록 구성되어 있다. 가역 복호 회로(61)는, 헤더부에 포함되는 예측 모드 데이터(PM)를 복호하고, 복호 결과를 예를 들면, 도 15에 도시하는 변환 회로(54)에 출력하도록 구성되어 있다.
역양자화 회로(62)는, 가역 복호 회로(61)에서 복호된 화상 데이터(직교 변환 계수)를, 가역 복호 회로(61)로부터 입력받은 양자화 파라미터에 기초하여 역양자화하여 역직교 변환 회로(63)에 출력하도록 구성되어 있다.
역직교 변환 회로(63)는, 역양자화 회로(62)로부터 입력받은 화상 데이터(직교 변환 계수)에 4×4의 역직교 변환 처리를 실시해서 차분 화상 데이터를 생성하고, 그것을 가산 회로(64)에 출력하도록 구성되어 있다.
가산 회로(64)는, 움직임 예측·보상 회로(70) 혹은 인트라 예측 회로(69)로부터의 예측 화상 데이터(PI)와, 역직교 변환 회로(63)로부터의 차분 화상 데이터를 가산하여 화상 데이터를 생성하고, 이것을 디블록 필터(65)에 출력하도록 구성되어 있다.
디블록 필터(65)는, 가산 회로(64)로부터 입력받은 화상 데이터에 디블록 필터 처리를 실시하고, 처리 후의 복호 화상 데이터를 프레임 메모리(66) 및 화면 재배열 버퍼(67)에 기입하도록 구성되어 있다.
프레임 메모리(66)에 기억된 복호 화상 데이터는, 하위 예측 화상 데이터(L_PRE1)로서 도 15에 도시하는 변환 회로(54)에 판독된다.
인트라 예측 회로(69)는, 가역 복호 회로(61)로부터 입력받은 인트라 예측 모드와, 프레임 메모리(66)로부터 판독한 복호 화상 데이터에 기초하여 예측 화상 데이터(PI)를 생성하고, 이것을 가산 회로(64)에 출력하도록 구성되어 있다.
움직임 예측·보상 회로(70)는, 프레임 메모리(66)로부터 판독한 복호 화상 데이터와, 가역 복호 회로(61)로부터 입력받은 움직임 벡터에 기초하여, 예측 화상 데이터(PI)를 생성하고, 이것을 가산 회로(64)에 출력하도록 구성되어 있다.
화면 재배열 버퍼(67)는, 디블록 필터(65)로부터 기입된 복호 화상 데이터를 기억하도록 구성되어 있다. 화면 재배열 버퍼(67)에 기억된 복호 화상 데이터는, 표시순으로, 하위 복호 화상 데이터(S53)로서 출력된다.
[변환 회로]
도 15를 참조하여 변환 회로(54)에 대해서 설명한다.
변환 회로(54)는, 하위 레이어 복호 회로(53)로부터의 예측 모드 데이터(PM)에 기초하여 하위 레이어 복호 회로(53)로부터 입력받은 하위 예측 화상 데이터(L_PRE1)를 보간 처리하여, 상위 레이어 복호 회로(55)가 지연 회로(52)로부터 판독한 상위 부호화 데이터(S14)와 동일한 해상도(주사선수)의 하위 예측 화상 데이터(L_PRE1b)를 생성하고, 이것을 상위 레이어 복호 회로(55)에 출력하도록 구성되어 있다.
도 17은, 변환 회로(54)의 구성예를 도시하는 도면이다.
변환 회로(54)는, 예를 들면, 인트라 필드 예측 화상 생성 회로(221)와, 인트라 프레임 예측 화상 생성 회로(222)를 갖는다.
인트라 필드 예측 화상 생성 회로(221)는, 예측 모드 데이터(PM)가 인터 레이어/인트라 필드 예측을 나타내고 있는 경우에, 하위 예측 화상 데이터(L_PRE1)에 대해서 도 6 내지 도 8을 참조하여 설명한 보간 처리를 실시하여, 프로그레시브 화상 데이터인 상위 부호화 데이터(S14)와 동일한 해상도의 하위 예측 화상 데이터(L_PRE1b(FI))를 생성하도록 구성되어 있다.
인트라 프레임 예측 화상 생성 회로(222)는, 예측 모드 데이터(PM)가 인터 레이어/인트라 프레임 예측을 나타내고 있는 경우에, 하위 예측 화상 데이터(L_PRE1)에 대해서 도 9 내지 도 12를 참조하여 설명한 보간 처리를 실시하여, 프로그레시브 화상 데이터인 상위 부호화 데이터(S14)와 동일한 해상도의 하위 예측 화상 데이터(L_PRE1b(FR))를 생성하도록 구성되어 있다.
변환 회로(54)는, 상기 생성한 하위 예측 화상 데이터(L_PRE1b(FI), (FR))를 상위 레이어 복호 회로(55)에 출력하도록 구성되어 있다.
[상위 레이어 복호 회로]
도 18은, 상위 레이어 복호 회로(55)의 구성예를 도시하는 도면이다.
상위 레이어 복호 회로(55)는, 예를 들면, 축적 버퍼(160), 가역 복호 회로(161), 역양자화 회로(162), 역직교 변환 회로(163), 가산 회로(164), 디블록 필터(165), 프레임 메모리(166), 화면 재배열 버퍼(167), 인트라 예측 회로(169), 움직임 예측·보상 회로(170) 및 하위 레이어 예측 회로(171)를 갖는다.
축적 버퍼(160)에는, 지연 회로(52)로부터 판독된 상위 부호화 데이터(S14)가 기입된다.
가역 복호 회로(161)는, 헤더 데이터에 포함되는 예측 모드 데이터(PM)를 복호하도록 구성되어 있다.
가역 복호 회로(161)는, 예측 모드 데이터(PM)가 상위 부호화 데이터(S14) 내의 처리 대상의 매크로 블록(MB)이 인터 부호화되어 있는 것을 나타내는 경우에는, 그 헤더부에 기입되어 있는 움직임 벡터를 복호하여 움직임 예측·보상 회 로(170)에 출력하도록 구성되어 있다.
가역 복호 회로(161)는, 예측 모드 데이터(PM)가 상위 부호화 데이터(S14) 내의 처리 대상의 매크로 블록(MB)이 인트라 부호화되어 있는 것을 나타내는 경우에는, 그 헤더부에 기입되어 있는 인트라 예측 모드 정보를 복호하여 인트라 예측 회로(169)에 출력하도록 구성되어 있다.
가역 복호 회로(161)는, 예측 모드 데이터(PM)가 인터 레이어/인트라 필드 예측 혹은 인터 레이어/인트라 프레임 예측을 나타내는 경우에는, 그 취지를 하위 레이어 예측 회로(171)에 통지하도록 구성되어 있다.
가역 복호 회로(161)는, 상위 부호화 데이터(S14)를 복호하여 역양자화 회로(162)에 출력하도록 구성되어 있다.
가역 복호 회로(161)는, 예측 모드 데이터(PM)를 움직임 예측·보상 회로(170), 인트라 예측 회로(169) 및 하위 레이어 예측 회로(171)에 출력하도록 구성되어 있다.
역양자화 회로(162)는, 가역 복호 회로(161)에서 복호된 화상 데이터(직교 변환 계수)를, 가역 복호 회로(161)로부터 입력받은 양자화 파라미터에 기초하여 역양자화해서 역직교 변환 회로(163)에 출력하도록 구성되어 있다.
역직교 변환 회로(163)는, 역양자화 회로(162)로부터 입력받은 화상 데이터(직교 변환 계수)에 4×4의 역직교 변환 처리를 실시하여 차분 화상 데이터를 생성하고, 그것을 가산 회로(164)에 출력하도록 구성되어 있다.
가산 회로(164)는, 움직임 예측·보상 회로(170), 인트라 예측 회로(169) 혹 은 하위 레이어 예측 회로(171)로부터의 예측 화상 데이터(PI)와, 역직교 변환 회로(163)로부터의 차분 화상 데이터를 가산하여 화상 데이터를 생성하고, 이것을 디블록 필터(165)에 출력하도록 구성되어 있다.
디블록 필터(165)는, 가산 회로(164)로부터 입력받은 화상 데이터에 디블록 필터 처리를 실시하고, 처리 후의 복호 화상 데이터를 프레임 메모리(166) 및 화면 재배열 버퍼(167)에 기입하도록 구성되어 있다.
인트라 예측 회로(169)는, 통상의 인트라 예측이 지정되어 있는 경우에, 가역 복호 회로(161)로부터 입력받은 예측 모드 데이터(PM)가 나타내는 인트라 예측 모드와, 프레임 메모리(166)로부터 판독한 복호 화상 데이터에 기초하여 예측 화상 데이터(PI)를 생성하고, 이것을 가산 회로(164)에 출력하도록 구성되어 있다.
움직임 예측·보상 회로(170)는, 예측 모드 데이터(PM)가 인터 예측을 나타내는 경우에, 프레임 메모리(166)로부터 판독한 복호 화상 데이터와, 가역 복호 회로(161)로부터 입력받은 움직임 벡터에 기초하여 예측 화상 데이터(PI)를 생성하고, 이것을 가산 회로(164)에 출력하도록 구성되어 있다.
하위 레이어 예측 회로(171)는, 예측 모드 데이터(PM)가 인터 레이어/인트라 필드 예측 혹은 인터 레이어/인트라 프레임 예측을 나타내는 경우에, 변환 회로(54)로부터 입력받은 하위 예측 화상 데이터(L_PRE1b(FI), (FR)), 혹은 그것에 대해서 소정의 처리를 실시한 데이터를 예측 화상 데이터(PI)로서 가산 회로(164)에 출력하도록 구성되어 있다.
화면 재배열 버퍼(167)는, 디블록 필터(165)로부터 기입된 복호 화상 데이터 를 기억하도록 구성되어 있다. 화면 재배열 버퍼(167)에 기억된 복호 화상 데이터는, 표시순으로, 상위 복호 화상 데이터(S55)로서 출력되도록 구성되어 있다.
[복호 장치의 동작예]
분리 회로(51)는, 부호화 장치(2)가 생성한 전술한 부호화 데이터(S2)를 입력받아, 이것을 하위 부호화 데이터(S12)와 상위 부호화 데이터(S14)로 분리하고, 하위 부호화 데이터(S12)를 하위 레이어 복호 회로(53)에 출력하고, 상위 부호화 데이터(S14)를 지연 회로(52)에 기입하도록 구성되어 있다.
지연 회로(52)는, 분리 회로(51)로부터 입력받은 상위 부호화 데이터(S14)를, 하위 레이어 복호 회로(53) 및 변환 회로(54)에서의 처리 시간만큼 지연하여 상위 레이어 복호 회로(55)에 출력하도록 구성되어 있다.
하위 레이어 복호 회로(53)는, 하위 부호화 데이터(S12)를 복호하여 하위 복호 화상 데이터(S53)를 생성하고, 이것을 출력하도록 구성되어 있다. 또한, 하위 레이어 복호 회로(53)는, 하위 예측 화상 데이터(L_PRE1(FI), (FR))를 생성하고, 이것을 변환 회로(54)에 출력하도록 구성되어 있다.
변환 회로(54)에 있어서, 하위 예측 화상 데이터(L_PRE1(FI), (FR))가, 프로그레시브 해상도의 하위 예측 화상 데이터(L_PRE1b(FI), (FR))로 변환되어 상위 레이어 복호 회로(55)에 출력된다.
상위 레이어 복호 회로(55)가, 하위 예측 화상 데이터(L_PRE1b(FI), (FR))에 기초하여 상위 부호화 데이터(S14)를 복호하여 상위 복호 화상 데이터(S55)를 생성하고, 이것을 출력하도록 구성되어 있다.
이상 설명한 바와 같이, 본 실시 형태의 부호화·복호 시스템(1)에 따르면, 부호화 장치(2)에서, 계층 부호화를 행하는 경우에, 상위 레이어에서 프로그레시브 화상 데이터(S10_1)를 부호화하고, 하위 레이어에서 인터레이스 화상 데이터(S10_2)를 부호화할 수 있다.
또한, 부호화·복호 시스템(1)에 따르면, 복호 장치(3)에서, 부호화 장치(2)에서 계층 부호화된 프로그레시브 화상 데이터(S10_1)와 인터레이스 화상 데이터(S10_2)를 복호할 수 있다.
본 발명은 전술한 실시 형태에는 한정되지 않는다.
즉, 당업자는, 본 발명의 기술적 범위 또는 그 균등한 범위 내에서, 전술한 실시 형태의 구성 요소에 관하여, 다양한 변경, 콤비네이션, 서브 콤비네이션, 및 대체를 행해도 된다.
예를 들면, 전술한 부호화 장치(2) 혹은 복호 장치(3)의 기능의 전부 혹은 일부를, 도 19에 도시한 바와 같이, 메모리(352)에 기억된 프로그램(PRG)의 기술에 따라서 CPU(Central Processing Unit) 등의 처리 회로(353)가 실행해도 된다.
이 경우에, 인터페이스(351)를 통하여, 부호화 대상 혹은 복호 대상의 화상 데이터가 입력되고, 그 처리 결과가 출력된다.
전술한 실시 형태에서, 매크로 블록층에 새롭게 정의하는 코드의 일례를 하기 표 1과 표 2에 나타낸다.
Figure 112007043183910-PCT00005
Figure 112007043183910-PCT00006
상기 표 1 및 표 2에 도시하는 "lower#layer#intra#prediction#mode"는, 예측 모드와 함께 부호화 데이터에 저장되는 플래그 데이터이다.
그 플래그 데이터는, 예를 들면, 도 6 내지 도 8에 도시하는 업 샘플 방법이 이용된 경우에 「0」을 나타내고, 도 9 내지 도 12에 도시하는 업 샘플 방법이 이용된 경우에 「1」을 나타낸다.
그 플래그 데이터가 존재하지 않는 경우에는, 「0」을 나타낸다고 판단된다.
"ae(v)"는, 지정된 신택스가, 컨택스트-어댑티브 엔트로피 부호인 것을 나타낸다.
"base#id#plus1"은, 커런트 픽쳐의 움직임 벡터, 화소 데이터 및 차분 데이터를 예측하기 위해서 이용되는 베이스 픽쳐 데이터를 특정하는 파라미터이다.
"adaptive#prediction#flag"는, 스케일러블 확장에서의 매크로 블록층 내의 신택스 요소의 유무를 나타내고, 없는 경우는 「0」을 나타내고 있다.
"base#mode#flag"가 「1」을 나타내는 경우에는, 커런트 매크로 블록의 mb#type이 표시되고, 참조 번호가 표시되어 있는 경우에는, 대응하는 베이스 매크로 블록에 따라서 움직임 벡터가 표시되어 있다.
"base#mode#flag"가 「0」을 나타내는 경우에는, "base#mode#refinement#flag"가 「1」이 아닌 경우에는 "mb#type"은 추정되지 않는다.
"base#mode#flag"가 존재하지 않는 경우에는, "base#mode#flag"는 이하와 같이 추정된다.
"base#id#plus1"이 「0」을 나타내는 경우에는, "base#mode#flag"의 값은 「0」인 것으로 추정된다. 그렇지 않으면, "base#mode#flag"의 값은, 「1」인 것으로 추정된다.
"base#id#plus1"이 「0」보다 크고, 베이스 레이어가 커런트 레이어의 1/2 폭, 1/2 높이인 경우에, HalfSpatResBaseFlag는 「1」로 설정되고, 그 이외의 경우에는 「0」으로 설정된다.
"intra#base#mb(CurrMbAddr)"는, CrarmbAddr의 베이스 매크로 블록이 I매크로 블록인 경우에, 「1」을 되돌리고, 그 이외의 경우에 「1」을 되돌리는 함수이다.
"base#mode#refinement#flag"가 「1」을 나타내는 경우에, 커런트 매크로 블록의 mb#type과 참조 번호가, 대응하는 베이스 매크로 블록에 기초하여 추정되는 것을 나타내고 있다. "base#mode#refinement#flag"가 「1」을 나타내는 경우에, 베이스 매크로 블록의 움직임 벡터를 이용하여 얻어진 움직임 벡터의 예측값에 1/4 화소 해상도에 의해 가해진 움직임 벡터를 특정한다.
"base#mode#refinement#flag"가 「0」을 나타내는 경우에, mb#type은, 추정되지 않는다.
"mb#type"은, 매크로 블록 타입을 나타낸다. "mb#type"의 시맨틱스는, 슬라이스 타입에 의존한다.
"intra#base#flag"가 「1」을 나타내는 경우에, 매크로 블록 타입 I#BL을 나타낸다.
"intra#base#flag"가 존재하지 않는 경우, "intra#base#flag"는 이하에 나타내는 바와 같이 추정된다.
"base#mode#flag"가 「1」이며, "mb#type"이 I_N×N인 경우에는, "intra#base#flag"는, 「1」인 것으로 추정되고, 그 이외의 경우에 「0」인 것으로 추정된다.
"I#N×N"은, 매크로 블록 타입이, 인트라 8×8, 인트라 4×4 혹은 I_BL 중 어느 하나인 것을 나타낸다.
"I#BL"은, 그 예측값이 주위 화소 데이터가 아니라, 베이스 픽쳐 데이터로부터 얻어지는 인트라 매크로 블록인 것을 나타낸다.
"interlace#base#layer"는, 베이스 레이어의 소스가, 인터레이스 형식인 것을 나타내고 있다.
"progressive#curr#layer"는, 커런트 레이어의 소스가 프로그레시브 형식인 것을 나타내고 있다.
"frame#structure#base#block"은, 베이스 블록이 프레임 구조로 부호화된 것을 나타내고 있다.
참고로, 본 발명의 부호화 장치와 복호 장치를 포함하는 부호화·복호 시스템의 실시 형태에 대해서 설명한다.
본 실시 형태의 부호화·복호 시스템의 구성과 본 발명의 구성과의 대응 관계를 설명한다.
부호화 장치(2)가 본 발명의 부호화 장치의 일례이며, 부호화 장치(2)의 처리 내용(기능)을 도 19에 예시한 프로그램(PRG)에서 기술한 경우에 이 프로그램(PRG)이 본 발명의 프로그램의 일례이다. 이러한 프로그램은 통상, 기록 매체에 수용되거나, 혹은, 통신 경로를 통해서 거래되어, 컴퓨터에 장하되어 동작한다. 따라서, 본 발명의 프로그램은 그와 같은 거래 형태, 및, 동작 형태도 포함한다.
도 2를 참조하여 설명하는 하위 레이어 부호화 회로(12)가 본 발명의 제1 부호화 수단 및 제1 부호화부의 일례이며, 변환 회로(13)가 업 샘플 처리 수단 및 업 샘플 처리부의 일례이며, 상위 레이어 부호화 회로(14)가 제2 부호화 수단 및 제2 부호화부의 일례이다.
복호 장치(3)가 본 발명의 복호 장치의 일례이며, 복호 장치(3)의 처리 내용(기능)을 도 19에 예시한 프로그램(PRG)으로 기술한 경우에 이 프로그램(PRG)이 본 발명의 프로그램의 일례이다. 이러한 프로그램은 통상, 기록 매체에 수용되거나, 혹은, 통신 경로를 통해서 거래되어, 컴퓨터에 장하되어 동작한다. 따라서, 본 발명의 프로그램은 그와 같은 거래 형태, 및, 동작 형태도 포함한다.
도 15를 참조하여 설명하는 하위 레이어 복호 회로(53)가 본 발명의 제1 복호 수단 및 제1 복호부의 일례이며, 변환 회로(54)가 업 샘플 처리 수단 및 업 샘플 처리부의 일례이며, 상위 레이어 복호 회로(55)가 제2 복호 수단 및 제2 복호부의 일례이다.

Claims (15)

  1. 프로그레시브 화상 데이터와 그 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 부호화 장치로서,
    상기 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호화 데이터와, 상기 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하도록 구성되어 있는 제1 부호화부와,
    상기 제1 부호화부가 생성한 상기 재구성 화상 데이터를 업 샘플하여, 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하도록 구성되어 있는 업 샘플 처리부와,
    상기 업 샘플 처리부가 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하도록 구성되어 있는 제2 부호화부
    를 갖는 부호화 장치.
  2. 제1항에 있어서,
    상기 제2 부호화부는, 상기 부호화 대상의 프로그레시브 화상 데이터의 픽쳐 데이터와 동일한 타임 스탬프가 할당된 상기 인터레이스 화상 데이터의 픽쳐 데이터에 대응하여 상기 업 샘플링 처리부가 생성한 상기 화상 데이터를 상기 예측 화상 데이터로서 이용하여 상기 제2 부호화 데이터를 생성하는 부호화 장치.
  3. 제1항에 있어서,
    상기 업 샘플 처리부는, 상기 제2 부호화부에 의한 부호화 대상의 픽쳐 데이터와 동일한 타임 스탬프가 할당된 상기 인터레이스 화상 데이터의 픽쳐 데이터만을 이용하여 보간 처리를 행하여 상기 예측 화상 데이터를 생성하는 부호화 장치.
  4. 제1항에 있어서,
    상기 업 샘플 처리부는, 상기 제2 부호화부에 의한 부호화 대상의 픽쳐 데이터와 동일한 타임 스탬프가 할당된 상기 인터레이스 화상 데이터의 픽쳐 데이터와, 그 인터레이스 화상 데이터의 픽쳐 데이터와 페어로 되는 픽쳐 데이터를 이용하여 보간 처리를 행하여 상기 예측 화상 데이터를 생성하는 부호화 장치.
  5. 제1항에 있어서,
    상기 업 샘플 처리부는, 상기 제2 부호화부에 의한 부호화 대상의 픽쳐 데이터와 동일한 타임 스탬프가 할당된 상기 인터레이스 화상 데이터의 픽쳐 데이터만을 이용하여 보간 처리를 행하여 제1 상기 예측 화상 데이터를 생성하고, 상기 제2 부호화부에 의한 부호화 대상의 픽쳐 데이터와 동일한 타임 스탬프가 할당된 상기 인터레이스 화상 데이터의 픽쳐 데이터와, 그 인터레이스 화상 데이터의 픽쳐 데이터와 페어로 되는 픽쳐 데이터를 이용하여 보간 처리를 행하여 제2 상기 예측 화상 데이터를 생성하고,
    상기 제2 부호화부는, 상기 제1 예측 화상 데이터와 상기 제2 예측 화상 데이터 중, 상기 부호화 대상의 픽쳐 데이터와의 사이의 차이가 작은 쪽을 예측 화상 데이터로서 선택하여 부호화를 행하는 부호화 장치.
  6. 제1항에 있어서,
    상기 제1 부호화부 및 상기 제2 부호화부는, 각각 상기 부호화로서 인트라 부호화를 행하는 부호화 장치.
  7. 제1항에 있어서,
    상기 제2 부호화부는,
    상기 부호화 대상의 픽쳐 데이터를 이용한 인트라 예측에 의해 생성한 예측 화상 데이터와, 움직임 예측·보상에 의해 생성한 예측 화상 데이터와, 상기 업 샘플 처리부가 생성한 상기 화상 데이터를 예측 화상 데이터 중 부호화 대상의 픽쳐 데이터와의 사이의 차분을 최소로 하는 예측 화상 데이터를 선택하고,
    부호화 대상의 픽쳐 데이터와 상기 선택한 예측 화상 데이터의 차분을 부호화하는 부호화 장치.
  8. 제1항에 있어서,
    상기 제1 부호화부가 생성한 상기 제1 부호화 데이터와 상기 제2 부호화부가 생성한 상기 제2 부호화 데이터를 다중화하도록 구성되어 있는 다중화부를 더 갖는 부호화 장치.
  9. 프로그레시브 화상 데이터와, 그 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 부호화 장치로서,
    상기 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호화 데이터와, 상기 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하는 제1 부호화 수단과,
    상기 제1 부호화 수단이 생성한 상기 재구성 화상 데이터를 업 샘플하여, 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하는 업 샘플 처리 수단과,
    상기 업 샘플 처리 수단이 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하는 제2 부호화 수단
    을 갖는 부호화 장치.
  10. 프로그레시브 화상 데이터와, 그 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 부호화 방법으로서,
    상기 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호화 데이터와, 상기 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하는 제1 공정과,
    상기 제1 공정에서 생성한 상기 재구성 화상 데이터를 업 샘플하여, 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하는 제2 공정과,
    상기 제2 공정에서 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하는 제3 공정
    을 갖는 부호화 방법.
  11. 프로그레시브 화상 데이터를 부호화하여 얻어진 제1 부호화 데이터와, 상기 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하여 얻어진 제2 부호화 데이터를 복호하는 복호 장치로서,
    상기 제2 부호화 데이터를 복호하도록 구성되어 있는 제1 복호부와,
    상기 제1 복호부에서의 복호에 의해 생성한 제1 예측 화상 데이터를 보간 처리하여 제2 예측 화상 데이터를 생성하는 업 샘플 처리부와,
    상기 업 샘플 처리부가 상기 생성한 상기 제2 예측 화상 데이터에 기초하여 상기 제1 부호화 데이터를 복호하도록 구성되어 있는 제2 복호부
    를 갖는 복호 장치.
  12. 프로그레시브 화상 데이터를 부호화하여 얻어진 제1 부호화 데이터와, 상기 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하여 얻어진 제2 부호화 데이터를 복호하는 복호 장치로서,
    상기 제2 부호화 데이터를 복호하는 제1 복호 수단과,
    상기 제1 복호 수단에서의 복호에 의해 생성한 제1 예측 화상 데이터를 보간 처리하여 제2 예측 화상 데이터를 생성하는 업 샘플 처리 수단과,
    상기 업 샘플 처리 수단이 상기 생성한 상기 제2 예측 화상 데이터에 기초하여 상기 제1 부호화 데이터를 복호하는 제2 복호 수단
    을 갖는 복호 장치.
  13. 프로그레시브 화상 데이터를 부호화하여 얻어진 제1 부호화 데이터와, 상기 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하여 얻어진 제2 부호화 데이터를 복호하는 복호 방법으로서,
    상기 제2 부호화 데이터를 복호하는 제1 공정과,
    상기 제1 공정에서 복호에 의해 생성한 제1 예측 화상 데이터를 보간 처리하여 제2 예측 화상 데이터를 생성하는 제2 공정과,
    상기 제2 공정에서 생성한 상기 제2 예측 화상 데이터에 기초하여 상기 제1 부호화 데이터를 복호하는 제3 공정
    을 갖는 복호 방법.
  14. 프로그레시브 화상 데이터와, 그 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하는 컴퓨터가 실행하는 프로그램으로서,
    상기 인터레이스 화상 데이터를 구성하는 픽쳐 데이터를 부호화한 제1 부호 화 데이터와, 상기 제1 부호화 데이터를 복호하여 재구성한 재구성 화상 데이터를 생성하는 제1 수순과,
    상기 제1 수순에서 생성한 상기 재구성 화상 데이터를 업 샘플하여, 상기 프로그레시브 화상 데이터와 동일한 해상도의 화상 데이터를 생성하는 제2 수순과,
    상기 제2 수순에서 생성한 상기 화상 데이터를 예측 화상 데이터로 하여 상기 프로그레시브 화상 데이터를 구성하는 픽쳐 데이터를 부호화하여 제2 부호화 데이터를 생성하는 제3 수순
    을 상기 컴퓨터에 실행시키는 프로그램.
  15. 프로그레시브 화상 데이터를 부호화하여 얻어진 제1 부호화 데이터와, 상기 프로그레시브 화상 데이터에 대응한 인터레이스 화상 데이터를 부호화하여 얻어진 제2 부호화 데이터를 복호하는 컴퓨터가 실행하는 프로그램으로서,
    상기 제2 부호화 데이터를 복호하는 제1 수순과,
    상기 제1 수순에서 복호에 의해 생성한 제1 예측 화상 데이터를 보간 처리하여 제2 예측 화상 데이터를 생성하는 제2 수순과,
    상기 제2 수순에서 생성한 상기 제2 예측 화상 데이터에 기초하여 상기 제1 부호화 데이터를 복호하는 제3 수순
    을 상기 컴퓨터에 실행시키는 프로그램.
KR1020077013418A 2005-09-15 2006-09-06 복호 장치, 복호 방법 및 기록 매체 KR101265371B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2005-00268898 2005-09-15
JP2005268898A JP5017825B2 (ja) 2005-09-15 2005-09-15 復号装置および復号方法

Publications (2)

Publication Number Publication Date
KR20080055745A true KR20080055745A (ko) 2008-06-19
KR101265371B1 KR101265371B1 (ko) 2013-05-20

Family

ID=37864838

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020077013418A KR101265371B1 (ko) 2005-09-15 2006-09-06 복호 장치, 복호 방법 및 기록 매체

Country Status (10)

Country Link
US (4) US8238425B2 (ko)
EP (1) EP1811786A4 (ko)
JP (1) JP5017825B2 (ko)
KR (1) KR101265371B1 (ko)
CN (3) CN101924940B (ko)
BR (1) BRPI0606273A2 (ko)
HK (1) HK1108789A1 (ko)
RU (3) RU2368096C2 (ko)
TW (3) TW201204052A (ko)
WO (1) WO2007032239A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491919B2 (en) 2009-02-19 2019-11-26 Sony Corporation Image processing apparatus and method

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1849303A2 (en) 2005-02-18 2007-10-31 THOMSON Licensing Method for deriving coding information for high resolution pictures from low resolution pictures
FR2894424A1 (fr) * 2005-12-05 2007-06-08 Thomson Licensing Sas Procede de prediction de donnees mouvement et de texture
WO2007077116A1 (en) * 2006-01-05 2007-07-12 Thomson Licensing Inter-layer motion prediction method
EP1879399A1 (en) 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
FR2917262A1 (fr) * 2007-06-05 2008-12-12 Thomson Licensing Sas Dispositif et procede de codage d'un contenu video sous la forme d'un flux scalable.
US8494082B2 (en) * 2008-05-06 2013-07-23 Electronics And Telecommunications Research Institute Apparatus for transmitting layered data
JP5333449B2 (ja) * 2008-07-25 2013-11-06 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
BRPI1009952A2 (pt) * 2009-01-19 2020-02-18 Panasonic Intellectual Property Corporation Of America Método de codificação, método de decodificação, aparelho de codificação, aparelho de decodificação, programa e circuito integrado
CN105472369B (zh) * 2009-01-29 2017-09-12 杜比实验室特许公司 视频装置
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
JP5381571B2 (ja) * 2009-09-29 2014-01-08 株式会社Ｊｖｃケンウッド 画像符号化装置、画像復号化装置、画像符号化方法、及び画像復号化方法
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
EP2532162B1 (en) * 2010-02-01 2017-08-30 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
RU2467499C2 (ru) * 2010-09-06 2012-11-20 Государственное образовательное учреждение высшего профессионального образования "Поволжский государственный университет телекоммуникаций и информатики" (ГОУВПО ПГУТИ) Способ сжатия цифрового потока видеосигнала в телевизионном канале связи
EP3021587A3 (en) * 2011-04-15 2016-12-28 SK Planet Co., Ltd. High speed scalable video coding device and method using multi-track video
KR101594411B1 (ko) * 2011-05-20 2016-02-16 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
JP5830993B2 (ja) 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
US8948248B2 (en) 2011-07-21 2015-02-03 Luca Rossato Tiered signal decoding and signal reconstruction
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
KR20130050407A (ko) * 2011-11-07 2013-05-16 오수미 인터 모드에서의 움직임 정보 생성 방법
JP2013126157A (ja) * 2011-12-15 2013-06-24 Sony Corp 画像処理装置及び画像処理方法
US9049445B2 (en) 2012-01-04 2015-06-02 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
EP2813079B1 (en) * 2012-06-20 2019-08-07 HFI Innovation Inc. Method and apparatus of inter-layer prediction for scalable video coding
US9560358B2 (en) * 2013-07-22 2017-01-31 Qualcomm Incorporated Device and method for scalable coding of video information
CN111083493B (zh) * 2014-01-02 2023-08-18 Vid拓展公司 视频解码器设备及视频编码器设备
KR20160105203A (ko) * 2015-02-27 2016-09-06 삼성전자주식회사 멀티미디어 코덱, 상기 멀티미디어 코덱을 포함하는 애플리케이션 프로세서, 및 상기 애플리케이션 프로세서의 동작 방법
KR101626757B1 (ko) * 2015-10-01 2016-06-02 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101625441B1 (ko) * 2015-10-01 2016-05-30 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
KR101749613B1 (ko) * 2016-03-09 2017-06-21 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치
JP6635197B2 (ja) * 2016-06-06 2020-01-22 日本電気株式会社 映像符号化装置、映像符号化方法およびプログラム
KR101875853B1 (ko) * 2017-06-02 2018-07-06 에스케이플래닛 주식회사 고속 움직임 예측을 이용하여 멀티트랙 비디오를 스케일러블 비디오로 인코딩하는 방법 및 장치

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS54114920A (en) * 1978-02-28 1979-09-07 Kokusai Denshin Denwa Co Ltd Television signal adaptive forecasting encoding system
JP2910213B2 (ja) * 1990-10-09 1999-06-23 ソニー株式会社 高能率符号化装置及び方法
JP3032088B2 (ja) * 1992-03-03 2000-04-10 株式会社東芝 動画像符号化装置
JP3545000B2 (ja) * 1992-11-02 2004-07-21 ソニー株式会社 画像信号符号化装置、画像信号復号化装置
US5387940A (en) * 1993-07-07 1995-02-07 Rca Thomson Licensing Corporation Method and apparatus for providing scaleable compressed video signal
CA2126467A1 (en) * 1993-07-13 1995-01-14 Barin Geoffry Haskell Scalable encoding and decoding of high-resolution progressive video
CA2127151A1 (en) * 1993-09-21 1995-03-22 Atul Puri Spatially scalable video encoding and decoding
JP3432886B2 (ja) 1994-03-30 2003-08-04 株式会社東芝 階層符号化／復号化装置及び方法及び送受信方式
SG74566A1 (en) * 1995-08-23 2000-08-22 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
JPH09149415A (ja) * 1995-11-17 1997-06-06 Matsushita Electric Ind Co Ltd 画像符号化装置および画像復号化装置
JPH10112857A (ja) * 1996-10-07 1998-04-28 Hitachi Ltd 画像信号の符号化・復号化方法および装置
JP4186239B2 (ja) 1997-08-12 2008-11-26 ソニー株式会社 画像データのシーケンス検出装置および符号化装置
JP3724203B2 (ja) * 1998-03-10 2005-12-07 ソニー株式会社 符号化装置および方法、並びに記録媒体
JP2000036963A (ja) * 1998-07-17 2000-02-02 Sony Corp 画像符号化装置、画像符号化方法および画像復号化装置
JP2000236547A (ja) 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
KR100486700B1 (ko) * 1999-09-04 2005-05-03 삼성전자주식회사 선형 다운/업 샘플링 장치 및 그를 이용한 일반화된 격주사선 처리 부호화/복호화 방법 및 장치
US7098957B2 (en) * 2000-12-20 2006-08-29 Samsung Electronics Co., Ltd. Method and apparatus for detecting repetitive motion in an interlaced video sequence apparatus for processing interlaced video signals
US7447264B2 (en) * 2002-11-07 2008-11-04 Victor Company Of Japan, Ltd. Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor
JP2005064845A (ja) * 2003-08-12 2005-03-10 Matsushita Electric Ind Co Ltd データ処理回路
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
JP2007532046A (ja) 2003-12-22 2007-11-08 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 互換的インターレースｓｄｔｖとプログレッシブｈｄｔｖ

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10491919B2 (en) 2009-02-19 2019-11-26 Sony Corporation Image processing apparatus and method

Also Published As

Publication number Publication date
CN101924940A (zh) 2010-12-22
CN101924939A (zh) 2010-12-22
TWI371976B (ko) 2012-09-01
US8842732B2 (en) 2014-09-23
CN101091394B (zh) 2010-10-13
EP1811786A4 (en) 2012-09-05
RU2007122456A (ru) 2008-12-20
CN101924940B (zh) 2012-08-29
TW200714081A (en) 2007-04-01
EP1811786A1 (en) 2007-07-25
JP2007081983A (ja) 2007-03-29
US20120300842A1 (en) 2012-11-29
WO2007032239A1 (ja) 2007-03-22
HK1108789A1 (en) 2008-05-16
RU2008151990A (ru) 2010-07-10
RU2517691C2 (ru) 2014-05-27
US20140376629A1 (en) 2014-12-25
RU2368096C2 (ru) 2009-09-20
TWI371977B (ko) 2012-09-01
TW201204051A (en) 2012-01-16
US20090262803A1 (en) 2009-10-22
CN101091394A (zh) 2007-12-19
US8238425B2 (en) 2012-08-07
JP5017825B2 (ja) 2012-09-05
TW201204052A (en) 2012-01-16
BRPI0606273A2 (pt) 2009-11-10
RU2510151C2 (ru) 2014-03-20
CN101924939B (zh) 2013-01-02
RU2008152004A (ru) 2010-07-10
TWI351881B (ko) 2011-11-01
US20120177117A1 (en) 2012-07-12
KR101265371B1 (ko) 2013-05-20
US8831096B2 (en) 2014-09-09

Similar Documents

Publication Publication Date Title
KR101265371B1 (ko) 복호 장치, 복호 방법 및 기록 매체
KR100657268B1 (ko) 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP4876122B2 (ja) 精度スケーラビリティを可能にする符号化スキーム
US8619854B2 (en) Scalable video encoding and decoding method using switching pictures and apparatus thereof
US20080075170A1 (en) Methods and devices for coding and decoding images, computer program implementing them and information carrier enabling their implementation
KR100703745B1 (ko) 비동기 프레임을 효율적으로 예측하는 비디오 코딩 방법 및장치
KR20200023500A (ko) 화상 처리 장치 및 방법
CN108718411B (zh) 图像解码方法和使用其的装置
KR101372082B1 (ko) 복호 장치 및 복호 방법
JP2007266749A (ja) 符号化方法
JP4626608B2 (ja) 動画像階層符号化装置、動画像階層符号化プログラム、動画像階層復号化装置及び動画像階層復号化プログラム
JP5382032B2 (ja) 復号装置および復号方法
JP5382031B2 (ja) 符号化装置および符号化方法
KR100708209B1 (ko) 컬러 영상의 신축적 부호화, 복호화 방법 및 장치
JP2013059106A (ja) 符号化装置および符号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee