KR102330409B1 - 부호화 방법 및 장치 - Google Patents

부호화 방법 및 장치 Download PDF

Info

Publication number
KR102330409B1
KR102330409B1 KR1020217010710A KR20217010710A KR102330409B1 KR 102330409 B1 KR102330409 B1 KR 102330409B1 KR 1020217010710 A KR1020217010710 A KR 1020217010710A KR 20217010710 A KR20217010710 A KR 20217010710A KR 102330409 B1 KR102330409 B1 KR 102330409B1
Authority
KR
South Korea
Prior art keywords
picture
encoding
format
unit
display
Prior art date
Application number
KR1020217010710A
Other languages
English (en)
Other versions
KR20210043727A (ko
Inventor
기요후미 아베
가즈히토 기무라
히데유키 오고세
히로시 아라카와
고지 아리무라
Original Assignee
파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 filed Critical 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority to KR1020217037527A priority Critical patent/KR102413597B1/ko
Publication of KR20210043727A publication Critical patent/KR20210043727A/ko
Application granted granted Critical
Publication of KR102330409B1 publication Critical patent/KR102330409B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

동화상 부호화 장치는, 프로그레시브 형식의 동화상을 입력으로 한 경우는 1매의 프레임을 1매의 픽처로서 처리하고, 인터레이스 형식의 동화상을 입력으로 한 경우는 1매의 필드를 1매의 픽처로서 처리한다. 동화상 부호화 장치는, 픽처 데이터의 부호화에 관하여 동화상의 형식에 의존하는 일 없이 공통의 부호화 처리를 행한다. 동화상 부호화 장치는, 표시 제어 정보 생성부에 있어서 동화상의 형식에 따른 표시 제어 정보를 생성하고 부호열에 기술함으로써, 양쪽의 동화상의 형식에 대응한 부호열을 생성한다. 표시 제어 정보는, 부호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 부호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성된다. 제 2 부호열 생성부는, 각 표시 제어 정보를, 픽처 단위로 생성하는 확장 정보 영역에 저장한다.

Description

부호화 방법 및 장치{ENCODING METHOD AND DEVICE}
본 발명은, 프로그레시브 형식의 동화상 신호 및 인터레이스 형식의 동화상 신호를 부호화하는 동화상 부호화 장치 및 동화상 부호화 방법에 관한 것이다.
최근, 멀티미디어 어플리케이션의 발전에 따라, 화상, 음성 및 텍스트 등, 모든 미디어의 정보를 통일적으로 취급하는 것이 일반적으로 되어 있다. 또한, 디지털화된 화상은 방대한 데이터량을 갖는다. 그 때문에, 축적 및 전송하기에는, 화상의 정보 압축 기술이 불가결하게 된다.
한편, 압축한 화상 데이터를 상호 운용하기 위해서는, 압축 기술의 표준화도 중요하다. 예컨대, 화상 압축 기술의 표준 규격으로서는, ITU-T(국제 전기 통신 연합 전기 통신 표준화 부문)의 H.261, H.263, H.264, ISO/IEC(국제 표준화 기구)의 MPEG-1, MPEG-2, MPEG-4, MPEG-4 AVC 등이 있다. 또한, 현재, ITU-T와 ISO/IEC의 공동 개발에 의한 HEVC(High-Efficiency Video Coding)라고 불리는 차세대 화상 부호화 방식의 표준화 활동이 진행되고 있다.
이와 같은 동화상의 부호화에서는, 부호화 대상 픽처를 부호화 단위 블록으로 분할하고, 블록마다 시간 방향 및 공간 방향의 용장성을 삭감한다. 이것에 의해 정보량의 압축을 행한다. 시간적인 용장성의 삭감을 목적으로 하는 화면간 예측 부호화에서는, 전방 또는 후방의 픽처를 참조하여 블록 단위로 움직임의 검출 및 예측 화상의 작성을 행하고, 얻어진 예측 화상과 부호화 대상 블록의 차분 화상을 취득한다. 또한 공간적인 용장성의 삭감을 목적으로 하는 화면 내 예측 부호화에서는, 주변의 부호화 완료 블록의 화소 정보로부터 예측 화상의 생성을 행하고, 얻어진 예측 화상과 부호화 대상 블록의 차분 화상을 취득한다. 또한 얻어진 차분 화상에 대하여 이산 코사인 변환 등의 직교 변환 및 양자화를 행하고, 가변 길이 부호화를 이용하여 부호열을 생성함으로써 정보량이 압축된다.
또한 복호화에서는, 상기 부호화 처리에 의해 생성된 부호열을 해석하여 예측 정보 및 잔차 계수 정보를 취득한다. 또한, 예측 정보를 이용하여 화면간 예측 복호화 및 화면 내 예측 복호화를 행하여 예측 화상을 생성한다. 그리고, 잔차 계수 정보에 대하여 역 양자화 및 역 직교 변환을 행하여 차분 화상을 생성하고, 얻어진 예측 화상과 차분 화상을 가산함으로써 최종적인 출력 화상을 복원한다.
이때 부호화 및 복호화의 대상이 되는 동화상의 형식으로서, 프로그레시브 형식과 인터레이스 형식의 2종류의 형식이 있다.
프로그레시브 형식은, 1화면 모든 화소를 동시에 촬상하고 1매의 프레임으로 하는 형식이다. 한편, 인터레이스 형식은, 1화면의 화소 중 짝수열째의 화소만을 촬상한 탑 필드(top field)와 홀수열째의 화소만을 촬상한 바텀 필드(bottom field)의 2매의 필드로 1매의 프레임을 구성하는 형식이다.
도 20 및 도 21은, H.264에 있어서, 프로그레시브 형식 및 인터레이스 형식의 동화상을 부호화하는 방법을 나타내고 있다. 프로그레시브 형식의 동화상에 대해서는, 도 20에 있는 바와 같이 1매의 프레임을 1매의 픽처로서 부호화한다. 예컨대 Frm3은 P_Frm1로서 부호화되어 있다. 또한, 이때 각 픽처에는 POC(Picture Order Count)라고 불리는 표시 순서를 지정하는 정보가 할당된다. 예컨대 P_Frm1은 표시 순서로는 Frm3의 위치에서 표시되기 때문에 POC로서 3이 할당되어 있다.
한편, 인터레이스 형식의 동화상에 대해서는, 도 21에 있는 바와 같이, 1매의 필드를 1매의 픽처로서 부호화하는 방법과, 2매의 필드를 1매의 픽처로서 부호화하는 방법이 있다. 예컨대 FldT6과 FldB7은 각각 P_FldT1과 P_FldB2와 같이 개별 필드 구조의 픽처로서 부호화되어 있지만, FldT12와 FldB13은 P_Frm7과 같이 1매의 프레임 구조의 픽처로서 부호화되어 있다. 또한, POC에 대해서는, 필드 구조로서 부호화할 때는 1개의 값이 1매의 픽처에 할당되지만, 프레임 구조로서 부호화할 때는 2개의 값이 1매의 픽처에 할당된다. 예컨대 P_Frm7은 표시 순서로는 FldT12와 FldB13의 위치에 분할하여 표시되기 때문에 POC로서 12와 13이 할당되어 있다(비특허 문헌 1).
한편, HEVC는, 프로그레시브 형식의 동화상에 대해서만 부호화 가능한 부호화 방식이고, 도 20에 있는 바와 같이 1매의 프레임을 1매의 픽처로서 부호화하는 방법만이 정의되어 있다(비특허 문헌 2).
(선행 기술 문헌)
(비특허 문헌)
(비특허 문헌 1) ITU-T H.264 : Advanced video coding for generic audiovisual services (03/2010)
(비특허 문헌 2) JCT-VC WD2 : Working Draft 2 of High-Efficiency Video Coding (03/2011)
앞으로, 동화상의 형식의 주류는 인터레이스 형식으로부터 프로그레시브 형식으로 변하여 갈 것이 예상되고 있다. 그러나 현존하는 영상 콘텐츠 중에는 인터레이스 형식으로 작성된 것이 많이 존재하고, 앞으로도 그들의 콘텐츠를 유효하게 활용하여 가는 것이 필요하다고 생각된다.
그러나, 전술한 바와 같이, 현재 표준화가 행해져 있는 HEVC에서는 프로그레시브 형식에 대해서만 부호화 방법이 정의되어 있고, 인터레이스 형식의 콘텐츠를 부호화할 수 없다.
본 발명은 상기 과제를 해결하는 것이고, HEVC를 이용한 동화상의 부호화 및 복호화에 있어서, 인터레이스 형식으로의 대응을 용이하게 실현하는 것을 목적으로 한다.
본 발명에 있어서의 동화상 부호화 장치는, 입력되는 동화상 신호를 픽처 단위로 부호화한다. 이 동화상 부호화 장치는, 동화상 신호의 동화상 형식이 인터레이스 형식 및 프로그레시브 형식 중 어느 형식인지를 나타내는 동화상 형식 정보를 취득하는 동화상 형식 정보 취득부와, 부호화 후의 동화상 신호가 나타내는 동화상을 동화상 형식 정보가 나타내는 동화상 형식의 동화상으로서 표시할 때에 이용하는 표시 제어 정보를, 동화상 형식 정보에 근거하여 생성하는 표시 제어 정보 생성부와, 동화상 형식 정보가 프로그레시브 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 프레임을 픽처로서 설정하고 또한 부호화순으로 재배열하고, 동화상 형식 정보가 인터레이스 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 필드를 픽처로서 설정하고 또한 부호화순으로 재배열하는 픽처 설정부와, 설정한 픽처에 포함되는 화소 데이터를, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화함으로써, 제 1 부호열을 출력하는 픽처 데이터 부호화부와, 표시 제어 정보를 부호화하여 확장 정보 영역 부호열을 생성하는 확장 정보 영역 부호화부와, 제 1 부호열 및 확장 정보 영역 부호열을 대응시킨 제 2 부호열을 출력하는 제 2 부호열 생성부를 구비하고, 표시 제어 정보는, 부호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 부호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성되고, 확장 정보 영역 부호화부는, 확장 정보 영역 부호열을, 픽처 단위로 생성하는 확장 정보 영역에 저장한다.
본 발명에 있어서의 동화상 부호화 방법은, 입력되는 동화상 신호를 픽처 단위로 부호화한다. 이 동화상 부호화 방법은, 동화상 신호의 동화상 형식이 인터레이스 형식 및 프로그레시브 형식 중 어느 형식인지를 나타내는 동화상 형식 정보를 취득하고, 부호화 후의 동화상 신호가 나타내는 동화상을 동화상 형식 정보가 나타내는 동화상 형식의 동화상으로서 표시할 때에 이용하는 표시 제어 정보를, 동화상 형식 정보에 근거하여 생성하고, 동화상 형식 정보가 프로그레시브 형식을 나타내는 경우, 동화상 신호에 포함되는 복수의 프레임을 부호화순으로 재배열하고, 또한 복수의 프레임의 각각을 픽처로서 설정하고, 동화상 형식 정보가 인터레이스 형식을 나타내는 경우, 동화상 신호에 포함되는 복수의 필드를 부호화순으로 재배열하고, 또한 복수의 필드의 각각을 픽처로서 부호화순으로 재배열하여 설정하고, 설정한 픽처에 포함되는 화소 데이터를, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화함으로써, 제 1 부호열을 출력하고, 표시 제어 정보를 부호화하여 확장 정보 영역 부호열을 생성하고, 제 1 부호열 및 확장 정보 영역 부호열을 대응시킨 제 2 부호열을 출력하고, 표시 제어 정보는, 부호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 부호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성되고, 각 표시 제어 정보를, 픽처 단위로 생성하는 확장 정보 영역에 저장한다.
또, 본 발명은, 이와 같은 동화상 부호화 장치로서 실현할 수 있을 뿐만 아니고, 이와 같은 동화상 부호화 장치에 포함되는 각 수단과 동등한 처리를 프로그램이나 집적 회로로서도 실현할 수도 있다.
본 발명에 있어서의 동화상 부호화 장치는, 프로그레시브 형식의 동화상을 입력으로 한 경우도, 인터레이스 형식의 동화상을 입력으로 한 경우도, 처리량을 증가시키는 일 없이 공통의 제어로 픽처 데이터의 부호화 처리를 행하는 것이 가능하게 된다. 그 때문에, 부호화 장치의 실장을 용이하게 행할 수 있다.
일반적으로 동화상 복호화 장치에 있어서는, 부호화된 부호열을 복호화하여 복호화 화상을 생성하는 복호화 처리와, 생성된 복호화 화상을 대응하는 표시 장치에 맞춰 표시시키는 표시 처리를 별도의 계층으로서 제어한다. 예컨대 전자를 하드웨어로 구성하고, 후자를 소프트웨어로 구성한다고 하는 방법을 취할 수 있다. 이것에 의해, 예컨대 텔레비전과 퍼스널컴퓨터와 같이 표시 방법이 다른 장치의 개발에 있어서, 복호화 처리를 행하는 하드웨어는 공통의 것을 사용하고, 표시 처리를 행하는 소프트웨어만을 장치마다 작성함으로써 개발 공정수를 삭감하는 것이 가능하게 된다.
본 발명에서는, 부호화 처리에는 불필요한 정보(표시 제어 정보 등)만을 기술한 확장 정보 영역과, 복호화 처리에 필요한 정보를 기술한 그 이외의 영역이 완전히 분리되어 있다. 이것에 의해, 상기와 같은 용도에 있어서, 복호화 처리를 행하는 계층과 표시 처리를 행하는 계층에, 각각의 계층에서 필요한 부호열만을 보내는 것이 용이하게 되고, 계층마다의 독립성이 높아진다. 다시 말해, 프로그레시브에 대응한 복호화 장치도 인터레이스에 대응한 복호화 장치도, 복호화 처리를 행하는 계층(하드웨어)을 완전히 공통의 것을 사용하여 장치를 구성하는 것이 가능하게 된다.
도 1은 실시형태 1에 따른 동화상 부호화 장치의 구성을 나타내는 블록도이다.
도 2는 실시형태 1에 따른 부호화 처리의 플로차트이다.
도 3은 실시형태 1에 의한 프로그레시브 형식의 입력 화상을 부호화순으로 재배열하는 방법의 일례를 설명하기 위한 개념도이다.
도 4는 실시형태 1에 의한 인터레이스 형식의 입력 화상을 부호화순으로 재배열하는 방법의 일례를 설명하기 위한 개념도이다.
도 5는 실시형태 1에 의한 인터레이스 형식의 입력 화상을 부호화순으로 재배열하는 방법의 다른 일례를 설명하기 위한 개념도이다.
도 6은 실시형태에 의해 생성되는 부호열의 구성을 설명하기 위한 개념도이다.
도 7은 실시형태에 의해 생성되는 시퀀스 헤더의 신택스의 일례를 설명하기 위한 개념도이다.
도 8은 실시형태에 의해 생성되는 확장 정보의 신택스의 일례를 설명하기 위한 개념도이다.
도 9는 실시형태 2에 따른 동화상 복호화 장치의 구성을 나타내는 블록도이다.
도 10은 실시형태 2에 따른 복호화 처리의 플로차트이다.
도 11은 실시형태 2에 의한 프로그레시브 형식의 복호화 화상을 표시순으로 재배열하는 방법의 일례를 설명하기 위한 개념도이다.
도 12는 실시형태 2에 의한 인터레이스 형식의 복호화 화상을 표시순으로 재배열하는 방법의 일례를 설명하기 위한 개념도이다.
도 13은 실시형태 2에 의한 인터레이스 형식의 복호화 화상을 표시순으로 재배열하는 방법의 다른 일례를 설명하기 위한 개념도이다.
도 14는 실시형태 3에 따른 동화상 부호화 장치의 구성을 나타내는 블록도이다.
도 15는 실시형태 3에 따른 부호화 처리의 플로차트이다.
도 16은 실시형태 3에 의해 생성되는 부호열의 구성을 설명하기 위한 개념도이다.
도 17은 실시형태 3에 의해 생성되는 확장 정보의 신택스의 일례를 설명하기 위한 개념도이다.
도 18은 실시형태 4에 따른 동화상 복호화 장치의 구성을 나타내는 블록도이다.
도 19는 실시형태 4에 따른 복호화 처리의 플로차트이다.
도 20은 종래의 프로그레시브 형식의 동화상의 부호화 방법을 설명하기 위한 개념도이다.
도 21은 종래의 인터레이스 형식의 동화상의 부호화 방법을 설명하기 위한 개념도이다.
(본 실시형태에 이른 경위)
본 발명이 해결하려는 과제의 난에 있어서 설명한 바와 같이, 현재 표준화가 행해져 있는 HEVC에서는 프로그레시브 형식에 대해서만 부호화 방법이 정의되어 있고, 인터레이스 형식의 콘텐츠를 부호화할 수 없다.
인터레이스 형식에 대응하기 위해서는, 도 21을 이용하여 설명한 바와 같은 H.264와 같은 부호화 제어를 도입하는 방법을 생각할 수 있다.
그러나, 이 방법을 도입하면, 부호화 대상 픽처가 P_Frm7과 같이 프레임 구조의 것인지, P_FldT1과 같이 탑 필드 구조의 것인지, P_FldB2와 같이 바텀 필드 구조의 것인지를 구별하여 부호화 및 복호화 처리를 행하지 않으면 안 된다.
또한, HEVC에서는 과거에 부호화한 픽처의 부호화 정보를 참조하여 부호화 대상의 픽처의 부호화 처리를 행한다. 그 때문에, 예컨대 부호화 대상이 P_Frm7이고 부호화 정보를 참조하는 픽처가 P_FldT1과 P_FldB2인 경우, 필드 구조의 2매의 픽처의 부호화 정보를 프레임 구조의 1매의 픽처의 부호화 정보로 가공하여 참조하지 않으면 안 된다. 따라서, 처리가 매우 복잡하게 되어 버린다.
그래서, 본 실시형태의 동화상 부호화 장치에서는, 동화상 형식 정보가 프로그레시브 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 프레임을 픽처로서 설정하고, 동화상 형식 정보가 인터레이스 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 필드를 픽처로서 설정한다. 그리고, 설정한 픽처에 포함되는 화소 데이터를, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화한다.
또한, 본 실시형태의 동화상 복호화 장치에서는, 동화상 형식에 의존하지 않는 공통의 신택스 해석 및 공통의 신호 처리 방식을 이용하여 제 1 부호열을 복호화하고, 픽처를 취득한다. 그리고, 표시 제어 정보가 프로그레시브 형식을 나타내는 경우, 취득한 픽처를 1매의 프레임으로 설정하여 프레임을 표시순으로 1매씩 출력하고, 표시 제어 정보가 인터레이스 형식을 나타내는 경우, 취득한 픽처를 1매의 필드로 설정하여 짝이 되는 탑 필드와 바텀 필드를 취득한 시점에 표시순으로 출력한다.
이하, 본 실시형태의 동화상 부호화 장치 및 동화상 복호화 장치에 대하여 상세히 설명한다.
(실시의 형태 1)(부호화 처리)
실시형태 1에 대하여, 도면을 참조하면서 설명한다.
1. 동화상 부호화 장치의 구성
도 1은 본 실시형태에 따른 동화상 부호화 장치의 블록도이다.
이 동화상 부호화 장치(100)는, 픽처 설정부(101)와, 동화상 형식 지정부(102)와, 표시 제어 정보 생성부(103)와, 제 2 부호열 생성부(104)와, 픽처 데이터 부호화부(110)를 구비하고 있다. 또한, 픽처 데이터 부호화부(110)는, 픽처 메모리(111)와, 예측 잔차 부호화부(112)와, 예측 잔차 복호화부(113)와, 로컬 버퍼(114)와, 예측 부호화부(115)와, 양자화치 결정부(116)와, 제 1 부호열 생성부(117)를 포함한다.
픽처 설정부(101)는, 표시를 행하는 순서로 픽처 단위로 입력되는 입력 화상 신호(151)를, 동화상 형식 지정부(102)로부터 입력되는 동화상 형식 신호(152)에 따라, 부호화를 행하는 순서로 픽처의 재배열을 행하여 픽처 데이터 부호화부(110)에 출력한다. 이때, 픽처의 동화상 형식이 프로그레시브 형식이면 입력 화상 신호(151)의 1매의 프레임을 1매의 픽처로서 설정하고, 동화상 형식이 인터레이스 형식이면 입력 화상 신호(151)의 1매의 필드를 1매의 픽처로서 설정한다.
픽처 데이터 부호화부(110)는, 픽처 설정부(101)로부터 입력된 각 픽처를 블록으로 분할하고, 블록 단위로 부호화 처리를 행하여 픽처 데이터의 부호열을 생성한다. 이때, 동화상 형식이 프로그레시브 형식인지 인터레이스 형식인지에 의존하는 일 없이, 픽처 단위로 공통의 부호화 처리가 적용되고, 그 결과 생성되는 픽처 데이터의 부호열도 공통의 신택스를 갖는다.
동화상 형식 지정부(102)는 외부로부터의 지정 또는 입력된 화상 신호의 정보를 기초로, 부호화 대상의 동화상이 프로그레시브 형식인지 인터레이스 형식인지를 결정한다. 그리고, 동화상 형식 지정부(102)는, 동화상 형식 신호(152)를 표시 제어 정보 생성부(103) 및 픽처 설정부(101)에 출력한다.
표시 제어 정보 생성부(103)는, 동화상 형식 지정부(102)로부터 입력된 동화상 형식 신호(152)에 따라, 표시 제어 정보 신호(153)를 생성하고, 제 2 부호열 생성부(104)에 출력한다.
여기서, 표시 제어 정보 신호(153)는, 해당 동화상 부호화 장치(100)에 대응하는 동화상 복호화 장치에 있어서 복호화 화상을 표시할 때에 사용하는 제어 정보 신호이다.
제 2 부호열 생성부(104)는, 표시 제어 정보 생성부(103)가 출력하는 표시 제어 정보 신호(153)와, 시퀀스 단위 및 픽처 단위의 부호화 제어에 관한 정보를 헤더 정보로서 부호화하고, 픽처 상위층 부호열을 생성한다. 또한, 제 2 부호열 생성부(104)는, 생성한 픽처 상위층 부호열과, 픽처 데이터 부호화부(110)가 생성하는 픽처 데이터의 부호열을 대응시켜, 최종적인 출력인 부호열 신호(154)를 생성한다.
다음으로, 픽처 데이터 부호화부(110)의 처리에 대하여 설명한다.
픽처 메모리(111)는, 픽처 설정부(101)로부터 출력된 픽처 단위의 입력 화상에 대하여, 복수의 화소로 구성되는 블록으로의 분할을 행한다. 블록은, 부호화 처리 단위이다. 분할된 블록 단위로, 차분 연산부(118), 예측 부호화부(115), 양자화치 결정부(116)로부터의 판독 명령에 따라 대응하는 화상 신호를 각각 출력한다. 이 블록은, 예컨대 수평 64×수직 64 화소, 수평 32×수직 32 화소, 수평 16×수직 16 화소로 이루어진다. 다시 말해, 이 블록의 사이즈는, 이후의 처리가 가능한 사이즈이면 어떤 사이즈라도 상관없다.
예측 잔차 부호화부(112)는, 차분 연산부(118)로부터 출력되는 차분 화상 신호(161)에 대하여 직교 변환을 행한다. 또한, 예측 잔차 부호화부(112)는, 얻어진 각 주파수 성분의 직교 변환 계수를 양자화하고, 잔차 부호화 신호(162)를 생성한다. 그리고, 예측 잔차 부호화부(112)는, 생성한 잔차 부호화 신호(162)를, 예측 잔차 복호화부(113) 및 제 1 부호열 생성부(117)에 출력한다. 이때 예측 잔차 부호화부(112)는, 양자화치 결정부(116)에 있어서 결정된 양자화치를 이용하여 직교 변환 계수를 양자화한다.
예측 잔차 복호화부(113)는, 예측 잔차 부호화부(112)로부터 출력되는 잔차 부호화 신호(162)에 대하여, 역 양자화 및 역 직교 변환을 행함으로써 차분 화상 정보의 복원을 행한다. 그리고, 예측 잔차 복호화부(113)는, 생성한 잔차 복호화 신호(163)를 가산 연산부(119)에 출력한다.
로컬 버퍼(114)는, 가산 연산부(119)로부터 출력되는 재구성 화상 신호(164)를 저장한다. 이 재구성 화상 신호(164)는, 현재 부호화 대상이 되어 있는 픽처 이후의 픽처의 부호화에 있어서의 예측 부호화 처리에 있어서 참조용 화소 데이터로서 사용된다. 로컬 버퍼(114)는, 예측 부호화부(115)로부터의 판독 명령에 따라, 저장하고 있는 재구성 화상 신호(164)를 화소 데이터로서 예측 부호화부(115)에 출력한다.
예측 부호화부(115)는, 픽처 메모리(111)로부터 출력되는 화상 신호를 기초로, 화면 내 예측, 또는 화면간 예측을 이용하여 예측 화상 신호(165)를 생성한다. 그리고, 예측 부호화부(115)는, 생성한 예측 화상 신호(165)를 차분 연산부(118) 및 가산 연산부(119)에 출력한다. 또, 예측 부호화부(115)는, 화면간 예측을 이용할 때는, 로컬 버퍼(114)에 축적되는 이미 부호화 완료된 과거의 픽처의 재구성 화상 신호(164)를 이용한다. 또한, 화면 내 예측을 이용할 때는, 부호화 대상 블록에 인접하는 이미 부호화 완료된 블록의 현재의 픽처의 재구성 화상 신호(164)를 이용한다. 화면 내 예측을 이용할지 화면간 예측을 이용할지의 모드 판정은, 어느 예측 방법이 보다 잔차 신호의 정보량(잔차 부호화 신호(162), 부호열 신호(154) 등의 정보량)을 적게 할 수 있는지를 추정하여 행해진다.
양자화치 결정부(116)는, 픽처 메모리(111)에 저장되는 픽처에 근거하여, 예측 잔차 부호화부(112)에서 차분 화상 신호(161)를 양자화할 때의 양자화치를 결정한다. 또, 양자화치 결정부(116)에 있어서의 양자화치의 결정 방법으로서, 부호열 신호(154)의 비트 레이트가, 목표로 하는 비트 레이트에 접근하도록 양자화치를 설정하는, 소위 레이트 제어에 근거하는 양자화치의 결정 방법을 이용하더라도 좋다.
제 1 부호열 생성부(117)는, 예측 잔차 부호화부(112)가 출력하는 잔차 부호화 신호(162)와, 예측 부호화부(115)가 출력하는 예측 정보 신호(166)와, 양자화치 결정부(116)가 출력하는 양자화치와, 그 밖의 부호화 제어에 관한 정보를 가변 길이 부호화함으로써 픽처 데이터의 부호열을 생성한다.
차분 연산부(118)는, 픽처 메모리(111)로부터 판독된 화상 신호와 예측 부호화부(115)로부터 출력되는 예측 화상 신호(165)의 차분치인 차분 화상 신호(161)를 생성한다. 그리고, 차분 연산부(118)는, 생성한 차분 화상 신호(161)를 예측 잔차 부호화부(112)에 출력한다.
가산 연산부(119)는, 예측 잔차 복호화부(113)로부터 출력되는 잔차 복호화 신호(163)와 예측 부호화부(115)로부터 출력되는 예측 화상 신호(165)를 가산하는 것에 의해 재구성 화상 신호(164)를 생성한다. 그리고, 가산 연산부(119)는, 생성한 재구성 화상 신호(164)를 로컬 버퍼(114)에 출력한다.
2. 표시 제어 정보의 생성 방법
동화상 형식 지정부(102)로부터 동화상 형식 신호(152)를 받아, 표시 제어 정보 생성부(103)에서 표시 제어 정보 신호(153)를 생성하여 제 2 부호열 생성부(104)에 있어서 부호열에 기술하는 방법, 및, 픽처 설정부(101)에 있어서 입력 화상을 부호화순으로 재배열하는 방법에 대하여, 도 2의 부호화 처리 전체의 플로차트를 이용하여 구체적으로 설명한다.
우선, 제 2 부호열 생성부(104)는 시퀀스 단위로의 헤더 영역의 부호열 생성을 행한다(S501). 구체적으로는, 제 2 부호열 생성부(104)는, 표시 제어 정보 생성부(103)에 의해 생성된 시퀀스 단위의 표시 제어 정보를, 부호열에 있어서의 시퀀스 단위로의 헤더 영역에 기술한다. 또, 표시 제어 정보 생성부(103)는, 동화상 형식 지정부(102)에 의해 지정된 동화상 형식에 따라, 시퀀스 단위의 표시 제어 정보를 생성한다.
다음으로, 제 2 부호열 생성부(104)는 픽처 단위로의 헤더 영역의 부호열 생성을 행한다(S502). 구체적으로는, 제 2 부호열 생성부(104)는, 표시 제어 정보 생성부(103)에 의해 생성된 픽처 단위의 표시 제어 정보를, 부호열에 있어서의 픽처 단위로의 확장 정보 영역에 기술한다. 또, 표시 제어 정보 생성부(103)는, 동화상 형식 지정부(102)에 의해 지정된 동화상 형식에 따라 픽처 단위의 표시 제어 정보를 생성한다.
다음으로, 픽처 설정부(101)는, 표시순으로 입력되는 입력 화상을 부호화순으로 재배열하고, 부호화 대상으로 하는 픽처를 선택한다(S503). 구체적으로는, 픽처 설정부(101)는, 동화상 형식 지정부(102)에 의해 지정된 동화상 형식에 따라 입력 화상의 재배열을 행한다.
다음으로, 픽처 데이터 부호화부(110)는, 도 1을 이용하여 설명한 일련의 부호화 처리를 행하고, 픽처 데이터의 부호열을 생성한다(S504). 또, 단계 S504에서는, 동화상 형식이 프로그레시브 형식이더라도 인터레이스 형식이더라도 전혀 구별하는 일 없이 공통의 부호화 처리가 적용된다.
다음으로, 현재 처리 중의 부호화 대상 픽처의 처리가 완료되면, 단계 S502로 되돌아가서 다음의 픽처의 부호화 처리로 이동하고, 시퀀스 내의 모든 픽처의 부호화 처리가 완료되기까지 단계 S502로부터 단계 S504의 처리를 반복한다(S505).
3. 픽처의 재배열
단계 S503에 있어서의 픽처의 재배열 처리에 대하여, 도 3, 도 4, 도 5를 이용하여 상세히 설명한다.
동화상 형식이 프로그레시브 형식인 경우의 픽처의 재배열 방법의 일례로서 도 3에 나타내는 바와 같은 방법이 있다. 이 재배열 방법은 도 20을 이용하여 설명한 종래의 프로그레시브 형식의 처리와 완전히 같다. 입력된 1매의 프레임은 1매의 픽처로서 재배열하여 부호화된다. 화면간 예측에서는 부호화순으로 먼저 부호화가 완료되어 있는 픽처만을 참조할 수 있다. 다시 말해, 도 3과 같은 재배열을 행한 경우, P_1은 I_0만이 참조 가능하게 되고, B_2는 I_0과 P_1이 참조 가능하게 된다. 이것을 표시순으로 치환하여 생각하면, P_1은 Frm3에 상당하므로 앞 방향에 있는 Frm0만을 참조 가능하게 되고, B_2는 Frm1에 상당하므로 앞 방향에 있는 Frm0과 뒤 방향에 있는 Frm3이 참조 가능하게 된다. 이와 같이 픽처의 부호화 순서의 재배열을 행하는 것에 의해, 화면간 예측에 있어서의 참조 픽처의 참조 방법을 제어하는 것이 가능하게 되고, 보다 효과적인 예측을 행할 수 있다. 또, I_0은 다른 픽처를 참조하는 일 없이 화면 내 예측만을 행하는 픽처이다.
한편, 동화상 형식이 인터레이스 형식인 경우의 픽처의 재배열 방법의 일례로서 도 4 및 도 5에 나타내는 바와 같은 방법이 있다. 이것은 도 21을 이용하여 설명한 종래의 인터레이스 형식의 처리과는 달리, 입력된 1매의 필드를 항상 1매의 픽처로서 재배열하여 부호화한다. 또한, 표시 순서를 지정하는 정보인 POC도 항상 1매의 픽처에 대하여 1개씩 할당된다. 재배열한 각 픽처는 탑 필드인지 바텀 필드인지를 구별하는 일 없이, 프로그레시브 형식을 입력으로 한 경우와 완전히 같은 방법으로 픽처마다 부호화 처리가 행해진다.
또, 도 4의 예에서는, 1개의 프레임에 속하는 탑 필드와 바텀 필드가 항상 페어가 되어 재배열이 행해진다. 예컨대 FldT6과 FldB7은 P_2와 P_3으로서 재배열되고, 부호화 순서가 항상 연속하게 되어 있다. 다른 픽처에 관해서도 모두 같다. 이와 같은 재배열을 행하는 것에 의해, 입력된 탑 필드와 바텀 필드를 연속하여 부호화 처리로 보내는 것이 가능하게 되고, 픽처 설정부(101)에 있어서의 메모리 관리 처리를 단순화할 수 있다.
그것에 비하여, 도 5에서는, 탑 필드와 바텀 필드가 어느 프레임에 속하는지 관계없이 재배열이 행해진다. 부호화 구조만을 보면 도 3에서 설명한 프로그레시브 형식의 경우와 완전히 같은 구조로 되어 있지만, 예컨대 FldT6과 FldB7은 P_4와 B_8로서 재배열되고, 부호화 순서가 4픽처 떨어져 있다. 다른 픽처에 관해서도 마찬가지로 1픽처로부터 4픽처 떨어진 부호화 순서가 된다. 이와 같은 재배열을 행하는 것에 의해, 프로그레시브 형식과 인터레이스 형식에서 완전히 같은 부호화순으로 처리를 행하는 것이 가능하게 된다. 그러나, 입력된 탑 필드와 바텀 필드를 최대 4픽처 떨어지게 하여 부호화 처리로 보내는 것이 필요하고, 픽처 설정부(101)에 있어서의 메모리 관리 처리가 복잡하게 된다.
4. 부호열 구성 및 신택스
다음으로, 본 실시의 형태에 의해 생성되는 부호열의 구성을 도 6을 이용하여 설명한다.
제 2 부호열 생성부(104)가 출력하는 부호열 신호(154)가 나타내는 부호열은, 시퀀스 단위의 부호화 제어 정보를 기술한 시퀀스 헤더 영역, 픽처 단위의 부호화 제어 정보를 기술한 픽처 헤더 영역, 픽처 단위의 보조 정보를 기술한 확장 정보 영역, 및 픽처 데이터로 구성된다. 이때, 도 2의 단계 S501에서 설명한 시퀀스 단위의 표시 제어 정보는, 시퀀스 헤더 영역에 기술된다. 또한, 도 2의 단계 S502에서 설명한 픽처 단위의 표시 제어 정보는, 확장 정보 영역에 기술된다. 또, 표시 제어 정보 이외의 각 정보는, 동화상 형식이 프로그레시브 형식이더라도 인터레이스 형식이더라도 전혀 구별하는 일 없이 공통의 신택스로 부호열에 기술된다.
여기서, 시퀀스 단위의 표시 제어 정보가 기술되는 시퀀스 헤더 영역의 신택스에 대하여 도 7을 이용하여 상세히 설명한다. 또, 도 7에서는 본 실시형태에 관련하는 신택스 이외는 생략하여 기재하고 있다.
시퀀스 헤더는, seq_parameter_set_data()에 있는 신택스 구성으로 부호화된다. 시퀀스 단위의 표시 제어 정보로서는, interlace_flag, continual_flag, max_distance_num의 3개의 파라미터가 있다. 이들의 파라미터는, 시퀀스 헤더 내에 있는 영상 정보를 모은 vui_parameters()의 영역에 기술된다.
interlace_flag는, 대상 시퀀스의 동화상 형식이 프로그레시브 형식인지 인터레이스 형식인지를 지정한다. 구체적으로 interlace_flag는, 대상 시퀀스의 동화상 형식이 프로그레시브 형식이면 0의 값을, 인터레이스 형식이면 1의 값을 갖는다. 또, 상기의 구성으로 한정되는 것은 아니고, interlace_flag는, 프로그레시브 형식이면 1의 값을, 인터레이스 형식이면 0의 값을 갖더라도 좋다.
continual_flag는, 대상 시퀀스의 동화상 형식이 인터레이스 형식인 경우, 같은 프레임에 속하는 탑 필드와 바텀 필드가 부호화순으로 항상 연속한 위치 관계에 있는지 여부를 지정한다. 구체적으로, continual_flag는, 같은 프레임에 속하는 탑 필드와 바텀 필드가 부호화순으로 항상 연속한 위치 관계에 있지 않으면 0의 값을, 항상 연속한 위치 관계에 있으면 1의 값을 갖는다. 다시 말해, continual_flag는, 도 4에서 설명한 바와 같은 재배열을 행하는 경우는 1의 값, 도 5에서 설명한 바와 같은 재배열을 행하는 경우는 0의 값이 된다. 이 파라미터를 이용하는 것에 의해, 대응하는 복호화 장치에 있어서, 항상 연속하는 2매의 픽처를 페어로 하여 복호화 및 표시 제어를 행하는 것이 가능한지 여부를 알 수 있다. 이것에 의해, 복호화 가부 판단을 용이하게 행하는 것이 가능하게 된다. 또, 상기의 구성으로 한정되는 것은 아니고, continual_flag는, 같은 프레임에 속하는 탑 필드와 바텀 필드가 부호화순으로 항상 연속한 위치 관계에 있지 않으면 1의 값을, 항상 연속한 위치 관계에 있으면 0의 값을 갖더라도 좋다.
max_distance_num은, continual_flag가 0의 값인 경우, 같은 프레임에 속하는 탑 필드와 바텀 필드가 부호화순으로 떨어져 있는 최대의 픽처 매수를 지정한다. 예컨대, 도 5에서 설명한 바와 같은 재배열을 행하는 경우는, P_4와 B_8이 가장 떨어져 있는 조합이고 상기 최대 매수는 4가 된다. 이 파라미터를 이용하는 것에 의해, 본 동화상 부호화 장치(100)와 대응하는 복호화 장치에 있어서, 같은 프레임에 속하는 탑 필드와 바텀 필드가 갖춰지기까지 기다릴 필요가 있는 픽처 매수를 특정하는 것이 가능하게 된다. 이것에 의해, 복호화 가부 판단 및 필요한 픽처 메모리 용량의 특정을 용이하게 행하는 것이 가능하게 된다.
또, 여기서 설명한 파라미터 이름 및 파라미터 값은 일례이고, 이것 이외의 파라미터 이름 및 파라미터 값을 이용하여 같은 기능을 실현하더라도 좋다. 또한, 여기서 설명한 모든 파라미터를 사용하지 않고서 일부의 파라미터만을 사용하더라도 좋다. 또한, 여기서는 vui_parameters()의 영역에 상기 각 파라미터를 기술하는 예를 설명했지만, 시퀀스 단위의 제어 정보를 기술할 수 있는 영역이면 이것 이외의 영역에 기술하더라도 좋다.
다음으로, 픽처 단위의 표시 제어 정보가 기술되는 확장 정보 영역의 신택스에 대하여 도 8을 이용하여 상세히 설명한다. 또, 도 8에서는 본 실시형태에 관련하는 신택스 이외는 생략하여 기재하고 있다.
확장 정보 영역은, 복수의 SEI(Supplemental Enhancement Information)라고 불리는 파라미터군으로 구성되어 있다. 도 8의 pic_timing_SEI()는, 상기 SEI의 하나이고, 부호화 대상 픽처의 복호화 타이밍 및 표시 타이밍을 지정하는 역할을 갖고 있다. 픽처 단위의 표시 제어 정보로서는, pic_struct, field_pair_POC의 2개의 파라미터가 있다. 이들의 파라미터는, pic_timing_SEI()의 영역에 기술된다.
pic_struct는, 부호화 대상 픽처의 표시 방식을 지정하는 파라미터이다. 프로그레시브 형식에 있어서의 프레임으로서 표시하는 경우는 0의 값을, 인터레이스 형식의 탑 필드로서 표시하는 경우는 1의 값을, 인터레이스 형식의 바텀 필드로서 표시하는 경우는 2의 값을, 그 이외의 방식으로 표시하는 경우는 그것에 따른 값을 갖는다. 또, 상기의 구성으로 한정되는 것은 아니고, 예컨대, pic_struct는, 프로그레시브 형식에 있어서의 프레임으로서 표시하는 경우는 1의 값을, 인터레이스 형식의 탑 필드로서 표시하는 경우는 0의 값을, 인터레이스 형식의 바텀 필드로서 표시하는 경우는 2의 값을, 그 이외의 방식으로 표시하는 경우는 그것에 따른 값을 갖더라도 좋다. 다시 말해, pic_struct는, 적어도, 프로그레시브 형식에 있어서의 프레임으로서 표시하는 경우, 인터레이스 형식의 탑 필드로서 표시하는 경우, 인터레이스 형식의 바텀 필드로서 표시하는 경우를 식별할 수 있는 정보이면 어떤 값이더라도 상관없다.
field_pair_POC는, pic_struct에 의해 부호화 대상 픽처가 인터레이스 형식의 탑 필드 또는 바텀 필드로서 표시하는 것이 지정된 경우, 같은 프레임에 속하는 쌍이 되는 필드의 POC를 나타내는 정보이다. 예컨대, 도 4에 있어서, 부호화 대상 픽처가 P_2인 경우, 쌍이 되는 픽처는 P_3이므로, field_pair_POC는 7이 된다. 또한 마찬가지로, 도 5에 있어서, 부호화 대상 픽처가 B_8인 경우, 쌍이 되는 픽처는 P_4이므로, field_pair_POC는 6이 된다. 이 파라미터를 이용하는 것에 의해, 대응하는 복호화 장치에 있어서, 같은 프레임에 속하는 탑 필드와 바텀 필드가 어느 픽처인지를 판정하는 것이 가능하게 되고, 인터레이스 형식에 대응한 표시 제어를 행하는 것이 가능하게 된다.
또, field_pair_POC는, POC 값을 그대로 지정하는 대신에, POC의 차분치로 지정하더라도 좋다. 예컨대, 도 4에 있어서, 부호화 대상 픽처가 P_2인 경우, 쌍이 되는 픽처는 P_3이므로, field_pair_POC는 7-6=1이 된다. 또한 마찬가지로, 도 5에 있어서, 부호화 대상 픽처가 B_8인 경우, 쌍이 되는 픽처는 P_4이므로, field_pair_POC는 6-7=-1이 된다. 이와 같이 차분치를 이용하는 것에 의해, 보다 적은 부호량으로 쌍이 되는 픽처를 지정하는 것이 가능하게 된다.
또, 도 7에서 설명한 continual_flag가 1의 값인 경우는, 같은 프레임에 속하는 탑 필드와 바텀 필드가 부호화순으로 항상 연속한 위치 관계에 있는 것이 보증된다. 따라서, 쌍이 되는 픽처를 용이하게 특정할 수 있기 때문에, field_pair_POC를 기술하지 않더라도 좋다.
또, 픽처 단위의 표시 제어 정보인, pic_struct, field_pair_POC는, 대상 시퀀스의 동화상 형식이 인터레이스 형식인 경우만 기술하더라도 좋다. 그 경우, pic_struct는, 부호화 대상 픽처를 탑 필드로서 표시하는 경우와 바텀 필드로서 표시하는 경우를 식별할 수 있는 정보이면 된다.
또, 여기서 설명한 파라미터 이름 및 파라미터 값은 일례이고, 이것 이외의 파라미터 이름 및 파라미터 값을 이용하여 같은 기능을 실현하더라도 좋다. 또한, 여기서 설명한 모든 파라미터를 사용하지 않고서 일부의 파라미터만을 사용하더라도 좋다. 또한, 여기서는 pic_timing_SEI()의 영역에 상기 각 파라미터를 기술하는 예를 설명했지만, 픽처 단위의 제어 정보를 기술할 수 있는 영역이면 이것 이외의 영역에 기술하더라도 좋다.
5. 정리
5-1. 구성
본 실시형태의 동화상 부호화 장치(100)는, 입력되는 동화상 신호를 픽처 단위로 부호화한다. 동화상 부호화 장치(100)는, 동화상 신호의 동화상 형식이 인터레이스 형식 및 프로그레시브 형식 중 어느 형식인지를 나타내는 동화상 형식 정보를 취득하는 동화상 형식 지정부(102)(동화상 형식 정보 취득부)와, 부호화 후의 동화상 신호가 나타내는 동화상을 동화상 형식 정보가 나타내는 동화상 형식의 동화상으로서 표시할 때에 이용하는 표시 제어 정보를, 동화상 형식 정보에 근거하여 생성하는 표시 제어 정보 생성부(103)와, 동화상 형식 정보가 프로그레시브 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 프레임을 픽처로서 설정하고 또한 부호화순으로 재배열하고, 동화상 형식 정보가 인터레이스 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 필드를 픽처로서 설정하고 또한 부호화순으로 재배열하는 픽처 설정부(101)와, 설정한 픽처에 포함되는 화소 데이터를 부호화 처리 단위인 블록마다, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화함으로써 블록층 부호열을 생성하고, 또한 화소 데이터를 부호화할 때에 슬라이스 단위로 적용한 부호화 제어 정보를, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화함으로써 슬라이스층 부호열을 생성하고, 블록층 부호열과 슬라이스층 부호열을 대응시킨 제 1 부호열을 출력하는 픽처 데이터 부호화부(110)와, 화소 데이터를 부호화할 때에 픽처 단위로 적용한 부호화 제어 정보, 시퀀스 단위로 적용한 부호화 제어 정보 및 표시 제어 정보를 부호화하여 픽처 상위층 부호열을 생성하는 제 2 부호열 생성부(104)(픽처 상위층 부호화부)와, 제 1 부호열 및 픽처 상위층 부호열을 대응시킨 제 2 부호열을 출력하는 제 2 부호열 생성부(104)를 구비한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 부호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성되는 표시 제어 정보를 생성한다.
또한 바람직하게는, 제 2 부호열 생성부(104)(픽처 상위층 부호화부)는, 픽처 상위층 부호열 중 시퀀스 단위로 생성하는 시퀀스 헤더에 포함되는 영상 정보 영역에 대하여, 시퀀스 단위 표시 제어 정보를 저장한다.
또한 바람직하게는, 제 2 부호열 생성부(104)(픽처 상위층 부호화부)는, 픽처 상위층 부호열 중 같은 시퀀스에 속하는 각 픽처의 각 확장 정보 영역에 대하여, 모두 같은 값의 시퀀스 단위 표시 제어 정보를 저장한다.
또한 바람직하게는, 제 2 부호열 생성부(104)(픽처 상위층 부호화부)는, 픽처 상위층 부호열 중 픽처 단위로 생성하는 확장 정보 영역에 대하여, 픽처 단위 표시 제어 정보를 저장한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상의 동화상 신호가 프로그레시브 형식인지 인터레이스 형식인지를 식별하는 제 1 식별자를 포함하는 시퀀스 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상의 동화상 신호가 인터레이스 형식인 경우, 같은 프레임에 속하는 2개의 필드가 해당 시퀀스에 있어서 항상 부호화순으로 서로 연속하고 있는지 여부를 식별하는 제 2 식별자를 포함하는 시퀀스 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상의 동화상 신호가 인터레이스 형식인 경우, 같은 프레임에 속하는 1번째의 필드와 2번째의 필드의 부호화 순서에 있어서의 간격의 해당 시퀀스에 있어서의 최대치를 나타내는 정보를 포함하는 시퀀스 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상으로 하는 픽처의 표시 처리에 있어서, (1) 프로그레시브 형식의 동화상 신호에 속하는 1개의 프레임으로서 표시하는지, (2) 인터레이스 형식의 동화상 신호에 속하는 탑 필드로서 표시하는지, (3) 인터레이스 형식의 동화상 신호에 속하는 바텀 필드로서 표시하는지, (4) 그 밖의 방식으로 표시하는지를 지정하는 제 3 식별자를 포함하는 픽처 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상의 동화상 신호가 인터레이스 형식인 경우에만, 부호화 대상으로 하는 픽처의 표시 처리에 있어서, (1) 인터레이스 형식의 동화상 신호에 속하는 탑 필드로서 표시하는지, (2) 인터레이스 형식의 동화상 신호에 속하는 바텀 필드로서 표시하는지를 지정하는 제 3 식별자를 포함하는 픽처 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상 픽처를 복호화하여 표시할 때에, 인터레이스 형식의 동화상 신호에 속하는 탑 필드 또는 바텀 필드로서 표시하는 경우, 부호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처를 지정하는 지정 정보를 포함하는 픽처 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 지정 정보로서, 부호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처에 할당되어 있는 표시 순서 정보를 기술한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 지정 정보로서, 부호화 대상 픽처에 할당되어 있는 표시 순서 정보와, 부호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처에 할당되어 있는 표시 순서 정보의 차분치를 기술한다.
본 실시형태의 동화상 부호화 방법은, 입력되는 동화상 신호를 픽처 단위로 부호화한다. 이 동화상 부호화 방법은, 동화상 신호의 동화상 형식이 인터레이스 형식 및 프로그레시브 형식 중 어느 형식인지를 나타내는 동화상 형식 정보를 취득하고, 부호화 후의 동화상 신호를 동화상 형식 정보가 나타내는 동화상 형식의 동화상 신호로서 표시할 때에 이용하는 표시 제어 정보를, 동화상 형식 정보에 근거하여 생성하고, 동화상 형식 정보가 프로그레시브 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 프레임을 픽처로서 부호화순으로 재배열하여 설정하고, 한편 동화상 형식 정보가 인터레이스 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 필드를 픽처로서 부호화순으로 재배열하여 설정하고, 설정한 픽처에 포함되는 화소 데이터를 부호화 처리 단위인 블록마다, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화함으로써 블록층 부호열을 생성하고, 또한 화소 데이터를 부호화할 때에 슬라이스 단위로 적용한 부호화 제어 정보를, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화함으로써 슬라이스층 부호열을 생성하고, 블록층 부호열과 슬라이스층 부호열을 대응시킨 제 1 부호열을 출력하고, 화소 데이터를 부호화할 때에 픽처 단위로 적용한 부호화 제어 정보, 시퀀스 단위로 적용한 부호화 제어 정보 및 표시 제어 정보를 부호화하여 픽처 상위층 부호열을 생성하고, 제 1 부호열 및 픽처 상위층 부호열을 대응시킨 제 2 부호열을 출력한다.
5-2. 효과 등
본 실시의 형태에 의한 동화상 부호화 장치(100)를 이용하는 것에 의해, 프로그레시브 형식의 동화상을 입력으로 한 경우도, 인터레이스 형식의 동화상을 입력으로 한 경우도, 처리량을 증가시키는 일 없이 공통의 제어로 픽처 데이터의 부호화 처리를 행하는 것이 가능하게 되고, 부호화 장치의 실장을 용이하게 행할 수 있다.
(실시의 형태 2)(복호화 처리)
실시형태 2에 대하여, 도면을 참조하면서 설명한다.
1. 동화상 복호화 장치의 구성
도 9는 본 실시형태에 따른 동화상 복호화 장치의 블록도이다.
이 동화상 복호화 장치(200)는, 제 2 부호열 해석부(201)와, 표시 제어 정보 해석부(202)와, 픽처 데이터 복호화부(210)와, 출력 픽처 설정부(203)를 구비하고 있다. 또한, 픽처 데이터 복호화부(210)는, 제 1 부호열 해석부(211)와, 예측 잔차 복호화부(212)와, 픽처 메모리(213)와, 예측 복호화부(214)와, 양자화치 결정부(215)를 포함한다.
제 2 부호열 해석부(201)는, 입력된 부호열 신호(251)에 포함되는 헤더 정보의 부호열로부터, 표시 제어 정보 및, 시퀀스 단위 및 픽처 단위의 복호화 제어에 관한 정보를 추출한다. 그리고, 제 2 부호열 해석부(201)는, 추출한 정보를 표시 제어 정보 신호(252)로서 표시 제어 정보 해석부(202)에 출력한다.
픽처 데이터 복호화부(210)는, 입력된 부호열 신호(251)에 포함되는 픽처 데이터의 부호열에 대하여, 블록 단위로 복호화 처리를 행하여 대상 픽처의 복호화 화상을 생성한다. 이때, 동화상 형식이 프로그레시브 형식인지 인터레이스 형식인지에 의존하는 일 없이, 픽처로서 공통의 복호화 처리가 적용되고, 또한 복호화의 대상이 되는 픽처 데이터의 부호열도 공통의 신택스를 갖는다.
표시 제어 정보 해석부(202)는, 제 2 부호열 해석부(201)로부터 출력되는 표시 제어 정보 신호(252)를 해석하여, 복호화 대상의 동화상이 프로그레시브 형식인지 인터레이스 형식인지를 결정한다. 그리고, 표시 제어 정보 해석부(202)는, 결정 결과에 근거하는 표시 제어 신호(253)를 출력 픽처 설정부(203)에 출력한다.
출력 픽처 설정부(203)는, 표시 제어 정보 해석부(202)로부터 출력된 표시 제어 신호(253)에 따라, 픽처 데이터 복호화부(210)가 생성한 복호화 완료된 픽처를, 출력을 행하는 순서로 재배열한다 그리고, 출력 픽처 설정부(203)는, 재배열한 후의 픽처를 출력 화상 신호(254)로서 외부에 출력한다. 출력 화상 신호(254)는 프로그레시브 형식과 인터레이스 형식의 양쪽이 있고, 프로그레시브 형식의 경우는 1매의 픽처를 1매의 프레임으로 하여, 인터레이스 형식의 경우는 1매의 픽처를 1매의 필드로 하여 표시 제어가 행해진다.
다음으로, 픽처 데이터 복호화부(210)의 처리에 대하여 설명한다.
제 1 부호열 해석부(211)는, 입력된 부호열 신호(251)의 픽처 데이터의 부호열에 대하여 가변 길이 복호화를 실시하는 것에 의해 복호화 제어 정보의 해석 및 블록 단위의 픽처 데이터의 해석을 행한다. 제 1 부호열 해석부(211)는, 해석하여 얻어지는 잔차 부호화 신호(261)를 예측 잔차 복호화부(212)에 출력한다. 또한, 제 1 부호열 해석부(211)는, 해석하여 얻어지는 예측 정보 신호(265)를 예측 복호화부(214)에 출력한다. 또한, 제 1 부호열 해석부(211)는, 해석하여 얻어지는 양자화치 정보를 양자화치 결정부(215)에 출력한다.
예측 잔차 복호화부(212)는, 제 1 부호열 해석부(211)로부터 출력되는 잔차 부호화 신호(261)에 대하여, 역 양자화 및 역 직교 변환을 행함으로써 잔차 복호화 신호(262)를 생성하고, 가산 연산부(216)에 출력한다. 이때 예측 잔차 복호화부(212)는, 양자화치 결정부(215)에 있어서 결정된 양자화치를 이용하여 잔차 부호화 신호(261)를 역 양자화한다.
픽처 메모리(213)는, 가산 연산부(216)로부터 출력되는 재구성 화상 신호(263)를 저장한다. 이 재구성 화상 신호(263)는, 현재 복호화 대상이 되어 있는 픽처 이후의 픽처의 복호화에 있어서의 예측 복호화 처리에 있어서 참조용의 화소 데이터로서 사용된다. 픽처 메모리(213)는, 예측 복호화부(214)로부터의 판독 명령에 따라, 저장하고 있는 재구성 화상 신호(263)를 화소 데이터로서 예측 복호화부(214)에 출력한다. 또한 동시에, 이 재구성 화상 신호(263)는 최종적인 출력 화상으로서 출력 픽처 설정부(203)에도 출력된다.
예측 복호화부(214)는, 제 1 부호열 해석부(211)로부터 출력되는 예측 정보 신호(265)를 기초로, 화면 내 예측, 또는 화면간 예측을 이용하여 예측 화상 신호(264)를 생성하고, 가산 연산부(216)에 출력한다. 또, 예측 복호화부(214)는, 화면간 예측을 이용할 때는, 픽처 메모리(213)에 축적되는 이미 복호화 완료된 과거의 픽처의 재구성 화상 신호(263)를 이용한다. 또한, 화면 내 예측을 이용할 때는, 복호화 대상 블록에 인접하는 이미 복호화 완료된 블록의 현재의 픽처의 재구성 화상 신호(263)를 이용한다. 화면 내 예측을 이용할지 화면간 예측을 이용할지의 판정은, 입력되는 예측 정보 신호(265)에 따라 행해진다.
가산 연산부(216)는, 예측 잔차 복호화부(212)로부터 출력되는 잔차 복호화 신호(262)와 예측 복호화부(214)로부터 출력되는 예측 화상 신호(264)를 가산하는 것에 의해 재구성 화상 신호(263)를 생성하고, 픽처 메모리(213)에 출력한다.
2. 표시 제어 방법
표시 제어 정보 해석부(202)에서 표시 제어 정보를 해석하고, 출력 픽처 설정부(203)에 있어서 복호화 완료된 픽처를 출력순으로 재배열하여 출력 화상으로 하는 방법에 대하여, 도 10의 복호화 처리 전체의 플로차트를 이용하여 구체적으로 설명한다.
우선, 제 2 부호열 해석부(201)는 시퀀스 단위의 헤더 영역의 부호열 해석을 행한다(S1401). 이때, 표시 제어 정보 해석부(202)는 시퀀스 단위의 표시 제어 정보를 취득한다.
다음으로, 제 2 부호열 해석부(201)는 픽처 단위의 헤더 영역의 부호열 해석을 행한다(S1402). 이때, 표시 제어 정보 해석부(202)는 픽처 단위의 표시 제어 정보를 취득한다.
다음으로, 픽처 데이터 복호화부(210)는, 도 9를 이용하여 설명한 일련의 복호화 처리를 행하여 대상 픽처의 복호화 화상을 생성한다(S1403). 또, 단계 S1403에서는, 동화상 형식이 프로그레시브 형식이더라도 인터레이스 형식이더라도 전혀 구별하는 일 없이 공통의 복호화 처리가 행해진다.
다음으로, 출력 픽처 설정부(203)는, 복호화순으로 축적되어 있는 복호화 화상을 표시순으로 재배열하고, 표시 대상으로 하는 픽처를 선택하는 처리를 행한다(S1404). 이때, 출력 픽처 설정부(203)는, 표시 제어 정보 해석부(202)에 의해 해석된 표시 제어 방법에 따라 픽처의 재배열을 행한다.
다음으로, 현재 처리 중의 복호화 대상 픽처의 처리가 완료되면, 단계 S1402로 되돌아가서 다음의 픽처의 복호화 처리로 이동하고, 시퀀스 내의 모든 픽처의 복호화 처리가 완료되기까지 단계 S1402로부터 단계 S1404의 처리를 반복한다(S1405).
3. 픽처의 재배열
단계 S1404에 있어서의 픽처의 재배열 처리에 대하여, 도 11, 도 12, 도 13을 이용하여 상세히 설명한다.
동화상 형식이 프로그레시브 형식인 경우의 픽처의 재배열 방법의 일례로서 도 11에 나타내는 바와 같은 방법이 있다. 이 재배열은, 도 3을 이용하여 설명한 부호화 장치에 있어서의 프로그레시브 형식의 재배열 처리를 역으로 한 것이고, 복호화된 1매의 픽처를 1매의 프레임으로서 재배열하여 표시한다.
한편, 동화상 형식이 인터레이스 형식인 경우의 픽처의 재배열 방법의 일례로서 도 12 및 도 13에 나타내는 바와 같은 방법이 있다. 이 재배열은 도 4 및 도 5를 이용하여 설명한 부호화 장치에 있어서의 인터레이스 형식의 재배열 처리를 역으로 한 것이고, 복호화된 1매의 픽처는 항상 1매의 필드로서 재배열하여 표시된다.
또, 도 12에서는, 1개의 프레임에 속하는 탑 필드와 바텀 필드가 항상 페어로 재배열이 행해지고 있다. 예컨대 P_2와 P_3은 FldT6과 FldB7로서 재배열되고, 표시 순서가 항상 연속하도록 되어 있다. 다른 픽처에 관해서도 완전히 같다. 이와 같은 재배열을 행하는 것에 의해, 복호화된 탑 필드와 바텀 필드를 연속하여 표시 처리로 보내는 것이 가능하게 되고, 출력 픽처 설정부(203)에 있어서의 메모리 관리 처리를 단순화할 수 있다.
그것에 비하여, 도 13에서는, 탑 필드와 바텀 필드가 어느 프레임에 속하는지 관계없이 재배열이 행해지고 있다. 부호화 구조만을 보면 도 11에서 설명한 프로그레시브 형식의 경우와 완전히 같은 구조로 되어 있지만, 예컨대 P_4와 B_8은 FldT6과 FldB7로서 재배열되고, 복호화 순서가 4픽처 떨어져 있는 2매의 필드를 페어가 되도록 재배열하지 않으면 안 된다. 다른 픽처에 관해서도 마찬가지로 복호화순으로 1픽처로부터 4픽처 떨어진 2매의 필드가 페어가 되도록 재배열되고 있다. 이와 같은 재배열을 행하는 것에 의해, 프로그레시브 형식과 인터레이스 형식에서 완전히 같은 복호화순으로 처리가 가능하게 된다. 그러나, 복호화된 탑 필드와 바텀 필드를 최대 4픽처 떨어지게 하여 양쪽이 갖춰지고 나서 표시 처리로 보내는 것이 필요하고, 출력 픽처 설정부(203)에 있어서의 메모리 관리 처리가 복잡하게 된다.
또, 픽처 메모리(213)는, 메모리 용량을 제한하기 위해, 축적되어 있는 픽처 중에서 불필요하게 된 픽처를 메모리로부터 삭제함으로써, 다음에 축적되는 픽처를 위한 영역을 확보하는 처리가 행해진다. 이때, (1) 예측 부호화 처리에 있어서 참조용의 화소 데이터로서 사용되는 일이 없어진 픽처, (2) 이미 표시 처리로 보내어진 픽처, 이상의 2개의 조건을 만족시킨 픽처가 삭제 가능하게 된다. 다시 말해, 동화상 형식이 인터레이스 형식인 경우는, 1개의 프레임에 속하는 탑 필드와 바텀 필드의 양쪽의 픽처의 복호화 처리가 완료되어, 양쪽의 픽처의 표시 처리가 완료된 후에, 픽처 메모리(213)로부터 삭제 가능하게 된다.
4. 부호열 구성 및 신택스
본 실시의 형태에서 복호화 대상으로 하는 부호열의 구성 및 신택스는, 실시의 형태 1에서 도 6으로부터 도 8을 이용하여 설명한 것과 완전히 같으므로, 여기서는 설명을 생략한다.
5. 정리
5-1. 구성
본 실시형태의 동화상 복호화 장치(200)는, 인터레이스 형식 또는 프로그레시브 형식의 동화상 형식을 갖는 동화상 신호를 픽처 단위로 부호화하여 얻어지는 부호열을, 픽처 단위로 복호화한다. 이 동화상 복호화 장치(200)는, 부호열을 해석하고, 픽처 상위층 부호열 및 제 1 부호열을 취득하는 제 2 부호열 해석부(201)와, 픽처 상위층 부호열로부터, 동화상 신호를 부호화할 때에 이용한 부호화 제어 정보 및 복호화한 픽처를 표시할 때에 이용하는 표시 제어 정보를 취득하는 제 2 부호열 해석부(201)(픽처 상위층 복호화부)와, 동화상 형식에 의존하지 않는 공통의 신택스 해석 및 공통의 신호 처리 방식 및, 부호화 제어 정보 중 동화상 형식에 관계없이 부호화시에 공통하여 이용된 정보를 이용하여, 제 1 부호열을 복호화 처리 단위인 블록마다 복호화하고, 픽처를 취득하는 픽처 데이터 복호화부(210)와, 표시 제어 정보가 프로그레시브 형식을 나타내는 경우, 취득한 픽처를 1매의 프레임으로 설정하고 프레임을 표시순으로 1매씩 출력하고, 한편 표시 제어 정보가 인터레이스 형식을 나타내는 경우, 취득한 픽처를 1매의 필드로 설정하고, 짝이 되는 탑 필드와 바텀 필드를 취득한 시점에 표시순으로 출력하는 출력 픽처 설정부(203)를 구비한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 복호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 복호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성된다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 픽처 상위층 부호열 중 시퀀스 단위로 해석되는 시퀀스 헤더에 포함되는 영상 정보 영역으로부터 시퀀스 단위 표시 제어 정보를 취득한다.
또한 바람직하게는, 같은 시퀀스에 속하는 각 픽처 단위의 각 확장 정보 영역에는, 모두 같은 값의 시퀀스 단위 표시 제어 정보가 저장되어 있다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 픽처 상위층 부호열 중 픽처 단위로 해석되는 확장 정보 영역으로부터, 픽처 단위 표시 제어 정보를 취득한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 복호화 대상의 동화상 신호가 프로그레시브 형식인지 인터레이스 형식인지를 식별하는 제 1 식별자를 포함하는 시퀀스 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 제 1 식별자에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 복호화 대상의 동화상 신호가 인터레이스 형식인 경우, 같은 프레임에 속하는 2개의 필드가 해당 시퀀스에 있어서 항상 복호화순으로 서로 연속하고 있는지 여부를 식별하는 제 2 식별자를 포함하는 시퀀스 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 제 2 식별자에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 복호화 대상의 동화상 신호가 인터레이스 형식인 경우, 같은 프레임에 속하는 1번째의 필드와 2번째의 필드의 복호화 순서에 있어서의 간격의 해당 시퀀스에 있어서의 최대치를 나타내는 정보를 포함하는 시퀀스 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 최대치를 나타내는 정보에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 복호화 대상으로 하는 픽처의 표시 처리에 있어서, (1) 프로그레시브 형식의 동화상 신호에 속하는 1개의 프레임으로서 표시하는지, (2) 인터레이스 형식의 동화상 신호에 속하는 탑 필드로서 표시하는지, (3) 인터레이스 형식의 동화상 신호에 속하는 바텀 필드로서 표시하는지, (4) 그 밖의 방식으로 표시하는지를 지정하는 제 3 식별자를 포함하는 픽처 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 제 3 식별자에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 복호화 대상의 동화상 신호가 인터레이스 형식인 경우에만, 복호화 대상으로 하는 픽처의 표시 처리에 있어서, (1) 인터레이스 형식의 동화상 신호에 속하는 탑 필드로서 표시하는지, (2) 인터레이스 형식의 동화상 신호에 속하는 바텀 필드로서 표시하는지를 지정하는 제 3 식별자를 포함하는 픽처 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 제 3 식별자에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 복호화 대상 픽처를 표시할 때에, 인터레이스 형식의 동화상 신호에 속하는 탑 필드 또는 바텀 필드로서 표시하는 경우, 복호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처를 지정하는 지정 정보를 포함하는 픽처 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 복호화 대상 픽처를 출력할 때에, 지정 정보가 지정하는 픽처와 쌍이 되도록 출력한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 지정 정보로서, 복호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처에 할당되어 있는 표시 순서 정보를 취득한다.
또한 바람직하게는, 제 2 부호열 해석부(201)(픽처 상위층 복호화부)는, 지정 정보로서, 복호화 대상 픽처에 할당되어 있는 표시 순서 정보와, 복호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처에 할당되어 있는 표시 순서 정보의 차분치를 취득한다.
본 실시형태의 동화상 복호화 방법은, 인터레이스 형식 또는 프로그레시브 형식의 동화상 형식을 갖는 동화상 신호를 픽처 단위로 부호화하여 얻어지는 부호열을, 픽처 단위로 복호화한다. 이 동화상 복호화 방법은, 부호열을 해석하고, 픽처 상위층 부호열 및 제 1 부호열을 취득하고, 픽처 상위층 부호열로부터, 동화상 신호를 부호화할 때에 이용한 부호화 제어 정보 및 복호화한 픽처를 표시할 때에 이용하는 표시 제어 정보를 취득하고, 동화상 형식에 의존하지 않는 공통의 신택스 해석 및 공통의 신호 처리 방식 및, 부호화 제어 정보 중 동화상 형식에 관계없이 부호화시에 공통하여 이용된 정보를 이용하여, 제 1 부호열을 복호화 처리 단위인 블록마다 복호화하고, 픽처를 취득하고, 표시 제어 정보가 프로그레시브 형식을 나타내는 경우, 취득한 픽처를 1매의 프레임으로 설정하고 프레임을 표시순으로 1매씩 출력하고, 한편 표시 제어 정보가 인터레이스 형식을 나타내는 경우, 취득한 픽처를 1매의 필드로 설정하고, 짝이 되는 탑 필드와 바텀 필드를 취득한 시점에 표시순으로 출력한다.
5-2. 효과 등
본 실시의 형태에 의한 동화상 복호화 장치(200)를 이용하는 것에 의해, 프로그레시브 형식의 동화상을 부호화한 부호열에 대해서도, 인터레이스 형식의 동화상을 부호화한 부호열에 대해서도, 처리량을 증가시키는 일 없이 공통의 제어로 픽처 데이터의 복호화 처리 및 표시 제어를 행하는 것이 가능하게 된다. 이것에 의해, 복호화 장치의 실장을 용이하게 행할 수 있다.
(실시의 형태 3)(부호화 처리의 다른 예)
실시형태 3에 대하여, 도면을 참조하면서 설명한다.
1. 동화상 부호화 장치의 구성
도 14는 본 실시형태에 따른 동화상 부호화 장치의 블록도이다.
이 동화상 부호화 장치(100-1)는, 실시형태 1의 동화상 부호화 장치(100)의 픽처 데이터 부호화부(110), 제 2 부호열 생성부(104) 대신에, 픽처 데이터 부호화부(110-1), 제 2 부호열 생성부(104-1)를 구비하고 있다. 픽처 데이터 부호화부(110-1)는, 제 1 부호열 생성부(117) 대신에, 제 1 부호열 생성부(117-1)를 포함한다.
이하, 설명의 편의상, 실시형태 1과 같은 구성에 대해서는 상세한 설명을 생략한다. 또한, 도 14에서는, 도 1과 같은 기능을 갖는 블록에 대해서는 같은 번호를 붙인다.
픽처 데이터 부호화부(110-1)는, 픽처 설정부(101)로부터 입력된 각 픽처를 블록으로 분할하고, 블록 단위로 부호화 처리를 행하여 픽처 데이터의 부호열을 생성한다. 이때, 동화상 형식이 프로그레시브 형식인지 인터레이스 형식인지에 의존하는 일 없이, 픽처 단위로 공통의 부호화 처리가 적용되고, 그 결과 생성되는 픽처 데이터의 부호열도 공통의 신택스를 갖는다. 또한, 본 실시형태에서는, 픽처 데이터 부호화부(110-1)는, 시퀀스 헤더의 부호열 및 픽처 헤더의 부호열을 생성한다.
제 1 부호열 생성부(117-1)는, 예측 잔차 부호화부(112)가 출력하는 잔차 부호화 신호(162)와, 예측 부호화부(115)가 출력하는 예측 정보 신호(166)와, 양자화치 결정부(116)가 출력하는 양자화치와, 그 밖의 부호화 제어에 관한 정보를 가변 길이 부호화함으로써 픽처 데이터의 부호열을 생성한다. 또한, 본 실시형태에서는, 제 1 부호열 생성부(117-1)는, 시퀀스 단위 및 픽처 단위의 부호화 제어에 관한 정보를 헤더 정보로서 부호화하고, 시퀀스 헤더의 부호열 및 픽처 헤더의 부호열을 생성한다.
제 2 부호열 생성부(104-1)는, 표시 제어 정보 생성부(103)가 출력하는 표시 제어 정보 신호(153)를 부호화하고, 확장 정보 영역 부호열을 생성한다. 표시 제어 정보 신호(153)는, 시퀀스 단위 및 픽처 단위의 표시 제어 정보를 포함한다. 또한, 제 2 부호열 생성부(104-1)는, 생성한 확장 정보 영역 부호열과, 픽처 데이터 부호화부(110)가 생성하는 시퀀스 헤더, 픽처 헤더 및 픽처 데이터의 부호열을 대응시켜, 최종적인 출력인 부호열 신호(154)를 생성한다.
2. 표시 제어 정보의 생성 방법
동화상 형식 지정부(102)로부터 동화상 형식 신호(152)를 받아, 표시 제어 정보 생성부(103)에서 표시 제어 정보 신호(153)를 생성하여 제 2 부호열 생성부(104-1)에 있어서 부호열에 기술하는 방법, 및, 픽처 설정부(101)에 있어서 입력 화상을 부호화순으로 재배열하는 방법에 대하여, 도 15의 부호화 처리 전체의 플로차트를 이용하여 구체적으로 설명한다.
우선, 제 1 부호열 생성부(117-1)는 시퀀스 단위로 헤더 영역의 부호열 생성을 행한다(S1801).
다음으로, 제 1 부호열 생성부(117-1)는 픽처 단위로 헤더 영역의 부호열 생성을 행한다(S1802).
다음으로, 표시 제어 정보 생성부(103)는, 동화상 형식 지정부(102)에 의해 지정된 동화상 형식에 따라 시퀀스 단위의 표시 제어 정보 및 픽처 단위의 표시 제어 정보를 생성한다(S1803). 제 2 부호열 생성부(104-1)는, 이들의 표시 제어 정보를 부호화하고, 부호열에 있어서의 확장 정보 영역에 기술한다.
다음으로, 픽처 설정부(101)는, 표시순으로 입력되는 입력 화상을 부호화순으로 재배열하고, 부호화 대상으로 하는 픽처를 선택한다(S1804). 이때, 픽처 설정부(101)는, 동화상 형식 지정부(102)에 의해 지정된 동화상 형식에 따라 픽처의 재배열을 행한다.
다음으로, 픽처 데이터 부호화부(110-1)는, 전술한 일련의 부호화 처리를 행하여 픽처 데이터의 부호열을 생성한다(S1805). 또, 단계 S1805에서는, 동화상 형식이 프로그레시브 형식이더라도 인터레이스 형식이더라도 전혀 구별하는 일 없이 공통의 부호화 처리가 행해진다.
다음으로, 현재 처리 중의 부호화 대상 픽처의 처리가 완료되면, 단계 S1802로 되돌아가서 다음의 픽처의 부호화 처리로 이동하고, 시퀀스 내의 모든 픽처의 부호화 처리가 완료되기까지 단계 S1802로부터 단계 S1805의 처리를 반복한다(S1806).
3. 픽처의 재배열
단계 S1804에 있어서의 픽처의 재배열 처리에 대해서는, 실시형태 1에서 도 3, 도 4, 도 5를 이용하여 설명한 처리와 같은 처리가 행해진다. 그 때문에, 설명을 생략한다.
4. 부호열 구성 및 신택스
다음으로, 본 실시의 형태에 의해 생성되는 부호열의 구성을 도 16을 이용하여 설명한다.
생성되는 부호열은, 시퀀스 단위의 부호화 제어 정보를 기술한 시퀀스 헤더 영역, 픽처 단위의 부호화 제어 정보를 기술한 픽처 헤더 영역, 픽처 단위의 보조 정보를 기술한 확장 정보 영역, 및 픽처 데이터로 구성되어 있다. 이때, 시퀀스 단위의 표시 제어 정보, 및 픽처 단위의 표시 제어 정보는, 양쪽 모두 확장 정보 영역에 기술된다. 또, 표시 제어 정보 이외의 각 정보는 입력 화상 형식이 프로그레시브 형식이더라도 인터레이스 형식이더라도 전혀 구별하는 일 없이 공통의 신택스로 부호열에 기술된다.
여기서, 시퀀스 단위의 표시 제어 정보 및 픽처 단위의 표시 제어 정보가 기술되는 확장 정보 영역의 신택스에 대하여 도 17을 이용하여 상세히 설명한다. 또, 도 17에서는 본 실시형태에 관련하는 신택스 이외는 생략하여 기재하고 있다.
도 17에서는, interlace_flag, continual_flag, max_distance_flag, pic_struct, field_pair_POC가 모두 pic_timing_SEI()에 기술되어 있다. 각 파라미터의 상세한 설명에 대해서는 도 7 및 도 8에서 설명한 내용과 완전히 같으므로 여기서는 생략한다.
확장 정보 영역은 각각의 픽처마다 부호화되기 때문에, 시퀀스 단위의 표시 제어 정보의 interlace_flag, continual_flag, max_distance_flag는, 용장성이 있기는 하지만 시퀀스 내에서 항상 같은 값이 픽처마다 반복하여 기술되게 된다. 그러나, 도 17과 같이 모든 표시 제어 정보를 확장 정보 영역에 합쳐 기술함으로써, 확장 정보 영역 이외의 모든 신택스 영역은, 동화상 형식이 프로그레시브 형식이더라도 인터레이스 형식이더라도 전혀 구별하는 일 없이 공통의 신택스로 할 수 있다. 따라서, 부호화 처리를 더욱 간략화하는 것을 도모할 수 있다.
또, 여기서 설명헌 파라미터 이름 및 파라미터 값에 대해서는 일례이고, 이것 이외의 파라미터 이름 및 파라미터 값을 이용하여 같은 기능을 실현하더라도 좋다. 또한, 여기서 설명한 모든 파라미터를 사용하지 않고 일부의 파라미터만을 사용하더라도 좋다. 또한, 여기서는 pic_timing_SEI()의 영역에 기술하는 예를 설명했지만, 픽처 단위의 제어 정보를 기술할 수 있는 영역이면 이것 이외의 영역에 기술하더라도 좋다.
5. 정리
5-1. 구성
본 실시형태의 동화상 부호화 장치(100-1)는, 입력되는 동화상 신호를 픽처 단위로 부호화한다. 이 동화상 부호화 장치(100-1)는, 동화상 신호의 동화상 형식이 인터레이스 형식 및 프로그레시브 형식 중 어느 형식인지를 나타내는 동화상 형식 정보를 취득하는 동화상 형식 지정부(102)(동화상 형식 정보 취득부)와,
부호화 후의 동화상 신호가 나타내는 동화상을 동화상 형식 정보가 나타내는 동화상 형식의 동화상으로서 표시할 때에 이용하는 표시 제어 정보를, 동화상 형식 정보에 근거하여 생성하는 표시 제어 정보 생성부(103)와, 동화상 형식 정보가 프로그레시브 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 프레임을 픽처로서 설정하고 또한 부호화순으로 재배열하고, 동화상 형식 정보가 인터레이스 형식을 나타내는 경우, 동화상 신호에 있어서의 1매의 필드를 픽처로서 설정하고 또한 부호화순으로 재배열하는 픽처 설정부(101)와, 설정한 픽처에 포함되는 화소 데이터를, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화함으로써, 제 1 부호열을 출력하는 픽처 데이터 부호화부(110-1)와, 표시 제어 정보를 부호화하여 확장 정보 영역 부호열을 생성하는 제 2 부호열 생성부(104-1)(확장 정보 영역 부호화부)와, 제 1 부호열 및 확장 정보 영역 부호열을 대응시킨 제 2 부호열을 출력하는 제 2 부호열 생성부(104-1)를 구비하고, 표시 제어 정보는, 부호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 부호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성되고, 제 2 부호열 생성부(104-1)(확장 정보 영역 부호화부)는, 확장 정보 영역 부호열을, 픽처 단위로 생성하는 확장 정보 영역에 저장한다.
또한 바람직하게는, 제 2 부호열 생성부(104-1)(확장 정보 영역 부호화부)는, 같은 시퀀스에 속하는 각 픽처의 각 확장 정보 영역에, 모두 같은 값의 시퀀스 단위 표시 제어 정보를 저장한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상의 동화상 신호가 프로그레시브 형식인지 인터레이스 형식인지를 식별하는 제 1 식별자를 포함하는 시퀀스 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상의 동화상 신호가 인터레이스 형식인 경우, 같은 프레임에 속하는 2개의 필드가 해당 시퀀스에 있어서 항상 부호화순으로 서로 연속하고 있는지 여부를 식별하는 제 2 식별자를 포함하는 시퀀스 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상의 동화상 신호가 인터레이스 형식인 경우, 같은 프레임에 속하는 1번째의 필드와 2번째의 필드의 부호화 순서에 있어서의 간격의 해당 시퀀스에 있어서의 최대치를 나타내는 정보를 포함하는 시퀀스 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상으로 하는 픽처의 표시 처리에 있어서, (1) 프로그레시브 형식의 동화상 신호에 속하는 1개의 프레임으로서 표시하는지, (2) 인터레이스 형식의 동화상 신호에 속하는 탑 필드로서 표시하는지, (3) 인터레이스 형식의 동화상 신호에 속하는 바텀 필드로서 표시하는지, (4) 그 밖의 방식으로 표시하는지를 지정하는 제 3 식별자를 포함하는 픽처 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상의 동화상 신호가 인터레이스 형식인 경우에만, 부호화 대상으로 하는 픽처의 표시 처리에 있어서, (1) 인터레이스 형식의 동화상 신호에 속하는 탑 필드로서 표시하는지, (2) 인터레이스 형식의 동화상 신호에 속하는 바텀 필드로서 표시하는지를 지정하는 제 3 식별자를 포함하는 픽처 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 부호화 대상 픽처를 복호화하여 표시할 때에, 인터레이스 형식의 동화상 신호에 속하는 탑 필드 또는 바텀 필드로서 표시하는 경우, 부호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처를 지정하는 지정 정보를 포함하는 픽처 단위 표시 제어 정보를 생성한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 지정 정보로서, 부호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처에 할당되어 있는 표시 순서 정보를 기술한다.
또한 바람직하게는, 표시 제어 정보 생성부(103)는, 지정 정보로서, 부호화 대상 픽처에 할당되어 있는 표시 순서 정보와, 부호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처에 할당되어 있는 표시 순서 정보의 차분치를 기술한다.
본 실시형태의 동화상 부호화 방법은, 입력되는 동화상 신호를 픽처 단위로 부호화한다. 이 동화상 부호화 방법은, 동화상 신호의 동화상 형식이 인터레이스 형식 및 프로그레시브 형식 중 어느 형식인지를 나타내는 동화상 형식 정보를 취득하고, 부호화 후의 동화상 신호가 나타내는 동화상을 동화상 형식 정보가 나타내는 동화상 형식의 동화상으로서 표시할 때에 이용하는 표시 제어 정보를, 동화상 형식 정보에 근거하여 생성하고, 동화상 형식 정보가 프로그레시브 형식을 나타내는 경우, 동화상 신호에 포함되는 복수의 프레임을 부호화순으로 재배열하고, 또한 복수의 프레임의 각각을 픽처로서 설정하고, 동화상 형식 정보가 인터레이스 형식을 나타내는 경우, 동화상 신호에 포함되는 복수의 필드를 부호화순으로 재배열하고, 또한 복수의 필드의 각각을 픽처로서 부호화순으로 재배열하여 설정하고, 설정한 픽처에 포함되는 화소 데이터를, 동화상 형식에 의존하지 않는 공통의 신호 처리 방식 및 공통의 신택스 구조를 이용하여 부호화함으로써, 제 1 부호열을 출력하고, 표시 제어 정보를 부호화하여 확장 정보 영역 부호열을 생성하고, 제 1 부호열 및 확장 정보 영역 부호열을 대응시킨 제 2 부호열을 출력하고, 표시 제어 정보는, 부호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 부호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성되고, 각 표시 제어 정보를, 픽처 단위로 생성하는 확장 정보 영역에 저장한다.
5-2. 효과 등
본 실시의 형태에 의한 동화상 부호화 장치(100-1)를 이용하는 것에 의해, 프로그레시브 형식의 동화상을 입력으로 한 경우도, 인터레이스 형식의 동화상을 입력으로 한 경우도, 처리량을 증가시키는 일 없이 공통의 제어로 픽처 데이터의 부호화 처리를 행하는 것이 가능하게 되고, 부호화 장치의 실장을 용이하게 행할 수 있다.
일반적으로 동화상 복호화 장치에 있어서는, 부호화된 부호열을 복호화하여 복호화 화상을 생성하는 복호화 처리와, 생성된 복호화 화상을 대응하는 표시 장치에 맞춰 표시시키는 표시 처리를 다른 계층으로서 제어한다. 예컨대 전자를 하드웨어로 구성하고, 후자를 소프트웨어로 구성한다고 하는 방법을 취할 수 있다. 이것에 의해, 예컨대 텔레비전과 퍼스널컴퓨터와 같이 표시 방법이 다른 장치의 개발에 있어서, 복호화 처리를 행하는 하드웨어는 공통의 것을 사용하고, 표시 처리를 행하는 소프트웨어만을 장치마다 작성함으로써 개발 공정수를 삭감하는 것이 가능하게 된다.
본 실시형태에서는, 도 16에서 설명한 부호열과 같이, 부호화 처리에는 불필요한 정보(표시 제어 정보 등)만을 기술한 확장 정보 영역과, 복호화 처리에 필요한 정보를 기술한 그 이외의 영역이 완전히 분리되어 있다. 이것에 의해, 상기와 같은 용도에 있어서, 복호화 처리를 행하는 계층과 표시 처리를 행하는 계층에, 각각의 계층에서 필요하게 되는 부호열만을 보내는 것이 용이하게 되고, 계층마다의 독립성이 높아진다. 다시 말해, 프로그레시브에 대응한 복호화 장치도 인터레이스에 대응한 복호화 장치도, 복호화 처리를 행하는 계층(하드웨어)을 완전히 공통의 것을 사용하여 장치를 구성하는 것이 가능하게 된다.
(실시의 형태 4)(복호화 처리의 다른 예)
실시형태 4에 대하여, 도면을 참조하면서 설명한다.
1. 동화상 복호화 장치의 구성
도 18은 본 실시형태에 따른 동화상 복호화 장치의 블록도이다.
이 동화상 복호화 장치(200-1)는, 실시형태 2의 동화상 복호화 장치(200)의 픽처 데이터 복호화부(210), 제 2 부호열 해석부(201) 대신에, 픽처 데이터 복호화부(210-1), 제 2 부호열 해석부(201-1)를 구비하고 있다. 픽처 데이터 복호화부(210-1)는, 제 1 부호열 해석부(211) 대신에, 제 1 부호열 해석부(211-1)를 포함한다.
이하, 설명의 편의상, 실시형태 2와 같은 구성에 대해서는 상세한 설명을 생략한다. 또한, 도 18에서는, 도 1과 같은 기능을 갖는 블록에 대해서는 같은 번호를 붙인다.
제 2 부호열 해석부(201)는, 입력된 부호열 신호(251)에 포함되는 헤더 정보의 부호열의 확장 정보 영역으로부터, 적어도 표시 제어 정보를 추출한다. 그리고, 제 2 부호열 해석부(201)는, 추출한 정보를 표시 제어 정보 신호(252)로서 표시 제어 정보 해석부(202)에 출력한다.
픽처 데이터 복호화부(210)는, 입력된 부호열 신호(251)에 포함되는 픽처 데이터의 부호열에 대하여, 블록 단위로 복호화 처리를 행하여 대상 픽처의 복호화 화상을 생성한다. 이때, 동화상 형식이 프로그레시브 형식인지 인터레이스 형식인지에 의존하는 일 없이, 픽처로서 공통의 복호화 처리가 적용되고, 또한 복호화의 대상이 되는 픽처 데이터의 부호열도 공통의 신택스를 갖는다.
제 1 부호열 해석부(211)는, 입력된 부호열 신호(251)의 픽처 데이터의 부호열에 대하여 가변 길이 복호화를 실시하는 것에 의해 복호화 제어 정보의 해석 및 블록 단위의 픽처 데이터의 해석을 행한다. 이 복호화 제어 정보에는, 시퀀스 단위 및 픽처 단위의 복호화 제어에 관한 정보가 포함된다. 제 1 부호열 해석부(211)는, 해석하여 얻어지는 잔차 부호화 신호(261)를 예측 잔차 복호화부(212)에 출력한다. 또한, 제 1 부호열 해석부(211)는, 해석하여 얻어지는 예측 정보 신호(265)를 예측 복호화부(214)에 출력한다. 또한, 제 1 부호열 해석부(211)는, 해석하여 얻어지는 양자화치 정보를 양자화치 결정부(215)에 출력한다.
2. 표시 제어 방법
표시 제어 정보 해석부(202)에서 표시 제어 정보를 해석하고, 출력 픽처 설정부(203)에 있어서 복호화 완료된 픽처를 출력순으로 재배열하여 출력 화상으로 하는 방법에 대하여, 도 19의 복호화 처리 전체의 플로차트를 이용하여 구체적으로 설명한다.
우선, 제 1 부호열 해석부(211-1)는, 시퀀스 단위의 헤더 영역의 부호열 해석을 행한다(S1901).
다음으로, 제 1 부호열 해석부(211-1)는, 픽처 단위의 헤더 영역의 부호열 해석을 행한다(S1902).
다음으로, 제 2 부호열 해석부(201-1)는, 확장 정보 영역의 부호열 해석을 행한다(S1903). 이때, 표시 제어 정보 해석부(202)는, 시퀀스 단위의 표시 제어 정보 및 픽처 단위의 표시 제어 정보를 취득한다.
다음으로, 픽처 데이터 복호화부(210-1)는, 일련의 복호화 처리를 행하여 대상 픽처의 복호화 화상을 생성한다(S1904). 또, 단계 S1904에서는, 동화상 형식이 프로그레시브 형식이더라도 인터레이스 형식이더라도 전혀 구별하는 일 없이 공통의 복호화 처리가 행해진다.
다음으로, 출력 픽처 설정부(203)는, 복호화순으로 축적되어 있는 복호화 화상을 표시순으로 재배열하고, 표시 대상으로 하는 픽처를 선택한다(S1905). 이때, 출력 픽처 설정부(203)는, 표시 제어 정보 해석부(202)에 의해 해석된 표시 제어 방법에 따라 픽처의 재배열을 행한다.
다음으로, 현재 처리 중의 복호화 대상 픽처의 처리가 완료되면, 단계 S1902로 되돌아가서 다음의 픽처의 복호화 처리로 이동하고, 시퀀스 내의 모든 픽처의 복호화 처리가 완료되기까지 단계 S1902로부터 단계 S1904의 처리를 반복한다(S1905).
3. 픽처의 재배열
단계 S1905에 있어서의 픽처의 재배열 처리에 대해서는, 실시형태 2에서 도 11, 도 12, 도 13을 이용하여 설명한 처리와 같은 처리가 행해진다. 따라서, 설명은 생략한다.
4. 부호열 구성 및 신택스
본 실시의 형태에서 복호화 대상으로 하는 부호열의 구성 및 신택스는, 실시의 형태 1에서 도 6으로부터 도 8을 이용하여 설명한 것과 완전히 같으므로, 여기서는 설명을 생략한다.
5. 정리
5-1. 구성
본 실시형태의 동화상 복호화 장치(200-1)는, 인터레이스 형식 또는 프로그레시브 형식의 동화상 형식을 갖는 동화상 신호를 픽처 단위로 부호화하여 얻어지는 부호열을, 픽처 단위로 복호화한다. 이 동화상 복호화 장치(200-1)는, 부호열을 해석하고, 확장 정보 영역 부호열 및 제 1 부호열을 취득하는 제 2 부호열 해석부(201-1)와, 확장 정보 영역 부호열로부터, 복호화한 픽처를 표시할 때에 이용하는 표시 제어 정보를 취득하는 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)와, 동화상 형식에 의존하지 않는 공통의 신택스 해석 및 공통의 신호 처리 방식을 이용하여 제 1 부호열을 복호화하고, 픽처를 취득하는 픽처 데이터 복호화부(210-1)와, 표시 제어 정보가 프로그레시브 형식을 나타내는 경우, 취득한 픽처를 1매의 프레임으로 설정하고 프레임을 표시순으로 1매씩 출력하고, 표시 제어 정보가 인터레이스 형식을 나타내는 경우, 취득한 픽처를 1매의 필드로 설정하고, 짝이 되는 탑 필드와 바텀 필드를 취득한 시점에 표시순으로 출력하는 출력 픽처 설정부(203)를 구비하고, 표시 제어 정보는, 복호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 복호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성되고, 확장 정보 영역 복호화부(201-1)는, 픽처 단위의 확장 정보 영역으로부터, 각 표시 제어 정보를 취득한다.
또한 바람직하게는, 같은 시퀀스에 속하는 각 픽처 단위의 각 확장 정보 영역에는, 모두 같은 값의 시퀀스 단위 표시 제어 정보가 저장되어 있다.
또한 바람직하게는, 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)는, 복호화 대상의 동화상 신호가 프로그레시브 형식인지 인터레이스 형식인지를 식별하는 제 1 식별자를 포함하는 시퀀스 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 제 1 식별자에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)는, 복호화 대상의 동화상 신호가 인터레이스 형식인 경우, 같은 프레임에 속하는 2개의 필드가 해당 시퀀스에 있어서 항상 복호화순으로 서로 연속하고 있는지 여부를 식별하는 제 2 식별자를 포함하는 시퀀스 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 제 2 식별자에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)는, 복호화 대상의 동화상 신호가 인터레이스 형식인 경우, 같은 프레임에 속하는 1번째의 필드와 2번째의 필드의 복호화 순서에 있어서의 간격의 해당 시퀀스에 있어서의 최대치를 나타내는 정보를 포함하는 시퀀스 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 최대치를 나타내는 정보에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)는, 복호화 대상으로 하는 픽처의 표시 처리에 있어서, (1) 프로그레시브 형식의 동화상 신호에 속하는 1개의 프레임으로서 표시하는지, (2) 인터레이스 형식의 동화상 신호에 속하는 탑 필드로서 표시하는지, (3) 인터레이스 형식의 동화상 신호에 속하는 바텀 필드로서 표시하는지, (4) 그 밖의 방식으로 표시하는지를 지정하는 제 3 식별자를 포함하는 픽처 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 제 3 식별자에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)는, 복호화 대상의 동화상 신호가 인터레이스 형식인 경우에만, 복호화 대상으로 하는 픽처의 표시 처리에 있어서, (1) 인터레이스 형식의 동화상 신호에 속하는 탑 필드로서 표시하는지, (2) 인터레이스 형식의 동화상 신호에 속하는 바텀 필드로서 표시하는지를 지정하는 제 3 식별자를 포함하는 픽처 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 취득한 제 3 식별자에 근거하여, 픽처의 출력 방법을 변경한다.
또한 바람직하게는, 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)는, 복호화 대상 픽처를 표시할 때에, 인터레이스 형식의 동화상 신호에 속하는 탑 필드 또는 바텀 필드로서 표시하는 경우, 복호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처를 지정하는 지정 정보를 포함하는 픽처 단위 표시 제어 정보를 취득하고, 출력 픽처 설정부(203)는, 복호화 대상 픽처를 출력할 때에, 지정 정보가 지정하는 픽처와 쌍이 되도록 출력한다.
또한 바람직하게는, 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)는, 지정 정보로서, 복호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처에 할당되어 있는 표시 순서 정보를 취득한다.
또한 바람직하게는, 제 2 부호열 해석부(201-1)(확장 정보 영역 복호화부)는, 지정 정보로서, 복호화 대상 픽처에 할당되어 있는 표시 순서 정보와, 복호화 대상 픽처와 같은 프레임에 속하는 쌍이 되는 픽처에 할당되어 있는 표시 순서 정보의 차분치를 취득한다.
본 실시형태의 동화상 복호화 방법은, 인터레이스 형식 또는 프로그레시브 형식의 동화상 형식을 갖는 동화상 신호를 픽처 단위로 부호화하여 얻어지는 부호열을, 픽처 단위로 복호화한다. 이 동화상 복호화 방법은, 부호열을 해석하고, 확장 정보 영역 부호열 및 제 1 부호열을 취득하고, 확장 정보 영역 부호열로부터, 복호화한 픽처를 표시할 때에 이용하는 표시 제어 정보를 취득하고, 동화상 형식에 의존하지 않는 공통의 신택스 해석 및 공통의 신호 처리 방식을 이용하여 제 1 부호열을 복호화하고, 픽처를 취득하고, 표시 제어 정보가 프로그레시브 형식을 나타내는 경우, 취득한 픽처를 1매의 프레임으로 설정하고 프레임을 표시순으로 1매씩 출력하고, 표시 제어 정보가 인터레이스 형식을 나타내는 경우, 취득한 픽처를 1매의 필드로 설정하고, 짝이 되는 탑 필드와 바텀 필드를 취득한 시점에 표시순으로 출력하고, 표시 제어 정보는, 복호화 대상으로 하는 시퀀스에 속하는 모든 픽처의 표시 처리에 있어서 공통하여 사용되는 시퀀스 단위 표시 제어 정보와, 복호화 대상으로 하는 픽처의 표시 처리에 있어서 개별로 사용되는 픽처 단위 표시 제어 정보로 구성되고, 픽처 단위의 확장 정보 영역으로부터, 각 표시 제어 정보를 취득한다.
5-2. 효과 등
본 실시의 형태에 의한 동화상 복호화 장치(200-1)를 이용하는 것에 의해, 프로그레시브 형식의 동화상을 부호화한 부호열에 대해서도, 인터레이스 형식의 동화상을 부호화한 부호열에 대해서도, 처리량을 증가시키는 일 없이 공통의 제어로 픽처 데이터의 복호화 처리 및 표시 제어를 행하는 것이 가능하게 된다. 이것에 의해, 복호화 장치의 실장을 용이하게 행할 수 있다.
또한, 실시형태 3에 있어서 설명한 바와 같이, 본 실시형태에서는, 부호화 처리에는 불필요한 정보(표시 제어 정보 등)만을 기술한 확장 정보 영역과, 복호화 처리에 필요한 정보를 기술한 그 이외의 영역이 완전히 분리되어 있다. 이것에 의해, 상기와 같은 용도에 있어서, 복호화 처리를 행하는 계층과 표시 처리를 행하는 계층에, 각각의 계층에서 필요하게 되는 부호열만을 보내는 것이 용이하게 되고, 계층마다의 독립성이 높아진다. 다시 말해, 프로그레시브에 대응한 복호화 장치도 인터레이스에 대응한 복호화 장치도, 복호화 처리를 행하는 계층(하드웨어)을 완전히 공통의 것을 사용하여 장치를 구성하는 것이 가능하게 된다.
(그 밖의 실시형태)
상기 실시의 형태에서 나타낸 동화상 부호화 장치 및 동화상 복호화 장치에 포함되는 각 수단과 동등한 기능을 구비하는 프로그램을, 플렉시블 디스크 등의 기록 매체에 기록하더라도 좋다. 이것에 의해, 상기 실시의 형태에서 나타낸 처리를, 독립된 컴퓨터 시스템에 있어서 간단히 실시하는 것이 가능하게 된다. 또, 기록 매체는 플렉시블 디스크에 한하지 않고, 광디스크, IC 카드, ROM 카세트 등, 프로그램을 기록할 수 있는 것이면 어느 것이라도 좋다.
또한, 상기 실시의 형태에서 나타낸 동화상 부호화 장치 및 동화상 복호화 장치에 포함되는 각 수단과 동등한 기능을 집적 회로인 LSI로서 실현하더라도 좋다. 이들은 일부 또는 전부를 포함하도록 1칩화되더라도 좋다. LSI는 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI라고 불리는 일도 있다.
또한, 집적 회로화의 수법은 LSI에 한하는 것은 아니고, 전용 회로 또는 범용 프로세서로 실현하더라도 좋다. LSI 제조 후에, 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI 내부의 회로셀의 접속이나 설정을 재구성 가능한 리컨피규러블 프로세서를 이용하더라도 좋다.
또한, 반도체 기술의 진보 또는 파생하는 다른 기술에 의해 LSI 등에 대체되는 집적 회로의 기술이 등장하면, 당연히, 그 기술을 이용하여 기능 블록의 집적화를 행하더라도 좋다.
또한, 본 발명은, 상술한 동화상 부호화 장치 및 동화상 복호화 장치를 포함하는, 방송국으로부터 방송되는 방송파를 압축하고, 기록을 행하는 DVD 레코더, BD 레코더 등의 방송파 기록 장치에 적용하더라도 상관없다.
또한, 상기 실시의 형태에 따른, 동화상 부호화 장치 및 동화상 복호화 장치, 또는 그 변형예의 기능 중 적어도 일부를 조합하더라도 좋다.
(산업상이용가능성)
본 발명은, 예컨대, 비디오 카메라, 디지털 카메라, 비디오 레코더, 휴대 전화, 및 퍼스널컴퓨터 등에 있어서의, 입력 화상을 구성하는 각 픽처를 부호화하여 동화상 부호화 데이터로서 출력하는 동화상 부호화 장치나, 동화상 부호화 데이터를 복호화하여 복호화 화상을 생성하는 동화상 복호화 장치로서 유용하다.
100, 100-1 : 동화상 부호화 장치
101 : 픽처 설정부
102 : 동화상 형식 지정부
103 : 표시 제어 정보 생성부
104, 104-1 : 제 2 부호열 생성부
110, 110-1 : 픽처 데이터 부호화부
111 : 픽처 메모리
112 : 예측 잔차 부호화부
113 : 예측 잔차 복호화부
114 : 로컬 버퍼
115 : 예측 부호화부
116 : 양자화치 결정부
117, 117-1 : 제 1 부호열 생성부
118 : 차분 연산부
119 : 가산 연산부
151 : 입력 화상 신호
152 : 동화상 형식 신호
153 : 표시 제어 정보 신호
154 : 부호열 신호
161 : 차분 화상 신호
162 : 잔차 부호화 신호
163 : 잔차 복호화 신호
164 : 재구성 화상 신호
165 : 예측 화상 신호
166 : 예측 정보 신호
200, 200-1 : 동화상 복호화 장치
201, 201-1 : 제 2 부호열 해석부
202 : 표시 제어 정보 해석부
203 : 출력 픽처 설정부
210, 210-1 : 픽처 데이터 복호화부
211, 211-1 : 제 1 부호열 해석부
212 : 예측 잔차 복호화부
213 : 픽처 메모리
214 : 예측 복호화부
215 : 양자화치 결정부
216 : 가산 연산부
251 : 부호열 신호
252 : 표시 제어 정보 신호
253 : 표시 제어 신호
254 : 출력 화상 신호
261 : 잔차 부호화 신호
262 : 잔차 복호화 신호
263 : 재구성 화상 신호
264 : 예측 화상 신호
265 : 예측 정보 신호

Claims (7)

  1. 사전 설정된 부호화 표준에 근거하여, 동화상을 픽처 단위로 부호화하여, 부호화 비트스트림을 생성하는 부호화 방법으로서,
    상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식 중 어떤 동화상 형식을 사용하여 상기 동화상이 부호화되는지를 나타내는 동화상 형식 정보를 결정하는 단계와,
    (ⅰ) 상기 동화상 형식이 상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식의 어느 경우이더라도, 상기 동화상에 포함되는 모든 프레임 또는 모든 필드를 각각 상기 동화상에 포함되는 픽처로서 설정하고, (ⅱ) 상기 동화상에 포함되는 상기 픽처의 각각에 대해, 표시순을 나타내는 서로 상이한 POC(Picture Order Count)를 한 개씩 설정하는 단계와,
    상기 동화상에 포함되는 상기 픽처 중 부호화 대상 픽처를, 상기 부호화 대상 픽처를 부호화하기 이전에 부호화된 픽처를 참조하여 부호화하는 단계 -상기 부호화 대상 픽처는 프레임 또는 필드임-
    를 포함하며,
    상기 부호화하는 단계에서는, (ⅰ) 상기 동화상 형식이 상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식의 어느 경우이더라도, 항상 상기 사전 설정된 부호화 표준의 프로그레시브 형식을 부호화하기 위한 신텍스 구조로 상기 부호화 대상 픽처의 픽처 데이터를 부호화하고, (ⅱ) 상기 동화상 형식을 나타내는 상기 동화상 형식 정보를 상기 동화상의 단위인 시퀀스의 헤더에 부호화하고, (ⅲ) 상기 부호화 비트스트림을 생성하고,
    상기 부호화 비트 스트림을 항상 상기 사전 설정된 부호화 표준의 프로그레시브 형식을 복호화하기 위한 신텍스 구조를 이용하여 복호화한 후에, 상기 동화상 형식에 따라 복호화된 픽처가 출력되는
    부호화 방법.
  2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 부호화 비트스트림을 복호화한 후에 표시 대상 픽처의 표시 형식을 나타내는 표시 파라미터를 생성하는 단계 -상기 표시 형식은 상기 동화상 형식 정보에 대응하여 설정됨- 를 더 포함하고,
    상기 표시 파라미터는 상기 표시 대상 픽처를 프레임으로서 표시할지, 또는 필드로서 표시할지를 나타내고, 상기 표시 파라미터는 상기 픽처 단위의 확장 정보 영역에 기입되는
    부호화 방법.
  3. 사전 설정된 부호화 표준에 근거하여, 동화상을 픽처 단위로 부호화하여, 부호화 비트스트림을 생성하는 부호화 장치로서,
    상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식 중 어떤 동화상 형식을 사용하여 상기 동화상이 부호화되는지를 나타내는 동화상 형식 정보를 결정하는 결정부와,
    (ⅰ) 상기 동화상 형식이 상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식의 어느 경우이더라도, 상기 동화상에 포함되는 모든 프레임 또는 모든 필드를 각각 상기 동화상에 포함되는 픽처로서 설정하고, (ⅱ) 상기 동화상에 포함되는 상기 픽처의 각각에 대해, 표시순을 나타내는 서로 상이한 POC(Picture Order Count)를 한 개씩 설정하는 픽처 설정부와,
    상기 동화상에 포함되는 상기 픽처 중 부호화 대상 픽처를, 상기 부호화 대상 픽처를 부호화하기 이전에 부호화된 픽처를 참조하여 부호화하는 부호화부 -상기 부호화 대상 픽처는 프레임 또는 필드임- 와,
    상기 부호화 비트스트림을 출력하는 출력부
    를 구비하며,
    상기 부호화부에서는, (ⅰ) 상기 동화상 형식이 상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식의 어느 경우이더라도, 항상 상기 사전 설정된 부호화 표준의 프로그레시브 형식을 부호화하기 위한 신텍스 구조로 상기 부호화 대상 픽처의 픽처 데이터를 부호화하고, (ⅱ) 상기 동화상 형식 정보를 상기 동화상의 단위인 시퀀스의 헤더에 부호화하고, (ⅲ) 상기 부호화 비트스트림을 생성하고,
    상기 부호화 비트 스트림을 항상 상기 사전 설정된 부호화 표준의 프로그레시브 형식을 복호화하기 위한 신텍스 구조를 이용하여 복호화한 후에, 상기 동화상 형식에 따라 복호화된 픽처가 출력되는
    부호화 장치.
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제 3 항에 있어서,
    상기 부호화부는 상기 동화상 형식이 상기 사전 설정된 부호화 표준의 인터레이스 형식인 경우, 동일 픽처에 속하는 탑 필드(top field)와 바텀 필드(bottom field)를 상기 부호화 비트 스트림으로 연속하여 부호화하는
    부호화 장치.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제 3 항에 있어서,
    상기 부호화 비트스트림을 복호화한 후에 표시 대상 픽처의 표시 형식을 나타내는 표시 파라미터를 생성하는 표시 파라미터 생성부 -상기 표시 파라미터는 상기 표시 대상 픽처를 프레임으로서 표시할지, 또는 필드로서 표시할지를 나타내고, 상기 표시 형식은 상기 동화상 형식 정보에 대응하여 설정됨- 를 더 구비하며,
    상기 부호화부에서는, 상기 표시 파라미터를, 상기 픽처 단위의 확장 정보 영역에 기입하는
    부호화 장치.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제 4 항에 있어서,
    상기 부호화 비트스트림을 복호화한 후에 표시 대상 픽처의 표시 형식을 나타내는 표시 파라미터를 생성하는 표시 파라미터 생성부 -상기 표시 파라미터는 상기 표시 대상 픽처를 프레임으로서 표시할지, 또는 필드로서 표시할지를 나타내고, 상기 표시 형식은 상기 동화상 형식 정보에 대응하여 설정됨- 를 더 구비하며,
    상기 부호화부에서는, 상기 표시 파라미터를, 상기 픽처 단위의 확장 정보 영역에 기입하는
    부호화 장치.
  7. 사전 설정된 부호화 표준에 근거하여, 동화상을 픽처 단위로 부호화하여, 부호화 비트스트림을 생성하는 부호화 장치로서,
    메모리와,
    상기 메모리에 연결된 프로세서를 구비하며,
    상기 프로세서는,
    상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식 중 어떤 동화상 형식을 사용하여 상기 동화상이 부호화되는지를 나타내는 동화상 형식 정보를 결정하는 단계와,
    (ⅰ) 상기 동화상 형식이 상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식의 어느 경우이더라도, 상기 동화상에 포함되는 모든 프레임 또는 모든 필드를 각각 상기 동화상에 포함되는 픽처로서 설정하고, (ⅱ) 상기 동화상에 포함되는 상기 픽처의 각각에 대해, 표시순을 나타내는 서로 상이한 POC (Picture Order Count)를 한 개씩 설정하는 단계와,
    상기 동화상에 포함되는 상기 픽처 중 부호화 대상 픽처를, 상기 부호화 대상 픽처를 부호화하기 이전에 부호화된 픽처를 참조하여 부호화하는 단계 -상기 부호화 대상 픽처는 프레임 또는 필드임-
    를 수행하며,
    상기 부호화하는 단계에서는, (ⅰ) 상기 동화상 형식이 상기 사전 설정된 부호화 표준의 프로그레시브 형식 또는 상기 사전 설정된 부호화 표준의 인터레이스 형식의 어느 경우이더라도, 항상 상기 사전 설정된 부호화 표준의 프로그레시브 형식을 부호화하기 위한 신텍스 구조로 상기 부호화 대상 픽처의 픽처 데이터를 부호화하고, (ⅱ) 상기 동화상 형식 정보를 상기 동화상의 단위인 시퀀스의 헤더에 부호화하고, (ⅲ) 상기 부호화 비트스트림을 생성하고,
    상기 부호화 비트 스트림을 항상 상기 사전 설정된 부호화 표준의 프로그레시브 형식을 복호화하기 위한 신텍스 구조를 이용하여 복호화한 후에, 상기 동화상 형식에 따라 복호화된 픽처가 출력되는
    부호화 장치.
KR1020217010710A 2011-06-15 2012-06-14 부호화 방법 및 장치 KR102330409B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217037527A KR102413597B1 (ko) 2011-06-15 2012-06-14 복호 방법 및 장치

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2011132978 2011-06-15
JPJP-P-2011-132978 2011-06-15
JP2011175814 2011-08-11
JPJP-P-2011-175814 2011-08-11
PCT/JP2012/003909 WO2012172810A1 (ja) 2011-06-15 2012-06-14 動画像符号化装置および動画像符号化方法
KR1020207012024A KR102241132B1 (ko) 2011-06-15 2012-06-14 부호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020207012024A Division KR102241132B1 (ko) 2011-06-15 2012-06-14 부호화 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217037527A Division KR102413597B1 (ko) 2011-06-15 2012-06-14 복호 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20210043727A KR20210043727A (ko) 2021-04-21
KR102330409B1 true KR102330409B1 (ko) 2021-12-01

Family

ID=47356814

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020247008572A KR20240042116A (ko) 2011-06-15 2012-06-14 복호 방법 및 장치와, 부호화 방법 및 장치
KR1020207012024A KR102241132B1 (ko) 2011-06-15 2012-06-14 부호화 방법 및 장치
KR1020227021282A KR102491736B1 (ko) 2011-06-15 2012-06-14 복호 방법 및 장치와, 부호화 방법 및 장치
KR1020137033185A KR102279310B1 (ko) 2011-06-15 2012-06-14 부호화 방법 및 장치와, 복호 방법 및 장치
KR1020217010710A KR102330409B1 (ko) 2011-06-15 2012-06-14 부호화 방법 및 장치
KR1020217037527A KR102413597B1 (ko) 2011-06-15 2012-06-14 복호 방법 및 장치
KR1020237002211A KR102649023B1 (ko) 2011-06-15 2012-06-14 복호 방법 및 장치와, 부호화 방법 및 장치

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020247008572A KR20240042116A (ko) 2011-06-15 2012-06-14 복호 방법 및 장치와, 부호화 방법 및 장치
KR1020207012024A KR102241132B1 (ko) 2011-06-15 2012-06-14 부호화 방법 및 장치
KR1020227021282A KR102491736B1 (ko) 2011-06-15 2012-06-14 복호 방법 및 장치와, 부호화 방법 및 장치
KR1020137033185A KR102279310B1 (ko) 2011-06-15 2012-06-14 부호화 방법 및 장치와, 복호 방법 및 장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020217037527A KR102413597B1 (ko) 2011-06-15 2012-06-14 복호 방법 및 장치
KR1020237002211A KR102649023B1 (ko) 2011-06-15 2012-06-14 복호 방법 및 장치와, 부호화 방법 및 장치

Country Status (6)

Country Link
US (5) US20140098891A1 (ko)
EP (3) EP2723074B1 (ko)
JP (7) JP5336003B2 (ko)
KR (7) KR20240042116A (ko)
CN (2) CN107094250B (ko)
WO (1) WO2012172810A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240042116A (ko) * 2011-06-15 2024-04-01 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 복호 방법 및 장치와, 부호화 방법 및 장치
CN103609116A (zh) 2011-06-17 2014-02-26 松下电器产业株式会社 动态图像编码装置以及动态图像编码方法
US20160048371A1 (en) * 2014-08-18 2016-02-18 Spatial Digital Systems, Inc. Enveloping via Digital Audio
US10264052B2 (en) * 2014-08-18 2019-04-16 Spatial Digital Systems, Inc. Enveloping for device independence
CN114175639A (zh) * 2019-08-07 2022-03-11 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法和解码方法
CN114827993A (zh) * 2022-03-23 2022-07-29 国网浙江省电力有限公司湖州供电公司 一种基于5g无线通讯的输电线路可视化监拍系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421385B1 (en) 1997-10-01 2002-07-16 Matsushita Electric Industrial Co., Ltd. Apparatus and method for efficient conversion of DV (digital video) format encoded video data into MPEG format encoded video data by utilizing motion flag information contained in the DV data

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5461420A (en) * 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
US6064803A (en) 1995-03-01 2000-05-16 Matsushita Electric Industrial Co., Ltd. Image information decoder with a reduced capacity frame memory
MY115648A (en) * 1995-08-23 2003-08-30 Sony Corp Encoding/decoding fields of predetermined field polarity apparatus and method
JPH1174868A (ja) 1996-09-02 1999-03-16 Toshiba Corp 情報伝送方法およびその方法が適用される情報伝送システムにおける符号化装置／復号化装置、並びに符号化・多重化装置／復号化・逆多重化装置
TW366648B (en) 1996-10-24 1999-08-11 Matsushita Electric Ind Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
JP3360586B2 (ja) * 1997-11-21 2002-12-24 日本電気株式会社 スキャン変換装置及び方法
US7551672B1 (en) 1999-02-05 2009-06-23 Sony Corporation Encoding system and method, decoding system and method, multiplexing apparatus and method, and display system and method
US7236207B2 (en) 2002-01-22 2007-06-26 Broadcom Corporation System and method of transmission and reception of progressive content with isolated fields for conversion to interlaced display
US7302105B2 (en) * 2002-07-22 2007-11-27 Canon Kabushiki Kaisha Moving image coding apparatus, moving image decoding apparatus, and methods therefor
CA2763080C (en) * 2002-10-01 2014-12-02 Panasonic Corporation Picture coding apparatus, picture decoding apparatus and the methods
US7447264B2 (en) * 2002-11-07 2008-11-04 Victor Company Of Japan, Ltd. Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7822123B2 (en) 2004-10-06 2010-10-26 Microsoft Corporation Efficient repeat padding for hybrid video sequence with arbitrary video resolution
US7580457B2 (en) * 2003-10-23 2009-08-25 Broadcom Corporation Unified system for progressive and interlaced video transmission
EP1707003B1 (en) 2004-01-09 2009-10-07 Nxp B.V. Arrangement for generating a 3:2 pull-down switch-off signal for a video compression encoder
KR101154743B1 (ko) * 2004-06-10 2012-07-06 소니 주식회사 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법, 기록 매체, 및 재생 장치
JP4931034B2 (ja) 2004-06-10 2012-05-16 株式会社ソニー・コンピュータエンタテインメント 復号装置および復号方法、並びに、プログラムおよびプログラム記録媒体
US8270480B2 (en) * 2004-09-16 2012-09-18 Thomson Licensing Method and apparatus for rapid video and field coding
JP4763422B2 (ja) * 2004-12-03 2011-08-31 パナソニック株式会社 イントラ予測装置
US7924914B2 (en) * 2005-09-20 2011-04-12 Intel Corporation Dynamically configuring a video decoder cache for motion compensation
US7889789B2 (en) 2006-04-07 2011-02-15 Microsoft Corporation Making interlace frame level coding mode decisions
JP2008167061A (ja) * 2006-12-27 2008-07-17 Toshiba Corp 符号化装置及び符号化方法
JP2011250400A (ja) 2010-04-27 2011-12-08 Panasonic Corp 動画像符号化装置及び動画像符号化方法
WO2012045192A1 (en) 2010-10-05 2012-04-12 Intel Corporation Method and apparatus for dynamically adjusting video quality
KR20240042116A (ko) * 2011-06-15 2024-04-01 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 복호 방법 및 장치와, 부호화 방법 및 장치
CN103609116A (zh) * 2011-06-17 2014-02-26 松下电器产业株式会社 动态图像编码装置以及动态图像编码方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6421385B1 (en) 1997-10-01 2002-07-16 Matsushita Electric Industrial Co., Ltd. Apparatus and method for efficient conversion of DV (digital video) format encoded video data into MPEG format encoded video data by utilizing motion flag information contained in the DV data

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ITU-T H.264 : Advanced video coding for generic audiovisual services (03/2010)
JCT-VC WD2 : Working Draft 2 of High-Efficiency Video Coding (03/2011)

Also Published As

Publication number Publication date
JPWO2012172810A1 (ja) 2015-02-23
JP2013093903A (ja) 2013-05-16
EP2723074B1 (en) 2017-12-13
EP2723074A4 (en) 2014-09-24
JP5336011B2 (ja) 2013-11-06
EP3301922B1 (en) 2023-08-02
US20230115665A1 (en) 2023-04-13
JP2013093901A (ja) 2013-05-16
KR102649023B1 (ko) 2024-03-18
KR102491736B1 (ko) 2023-01-26
US11025956B2 (en) 2021-06-01
US11570472B2 (en) 2023-01-31
KR20210043727A (ko) 2021-04-21
EP4250740A3 (en) 2023-10-18
JP2013093902A (ja) 2013-05-16
KR20240042116A (ko) 2024-04-01
KR20210144913A (ko) 2021-11-30
JP2013093900A (ja) 2013-05-16
CN103609109A (zh) 2014-02-26
US20170289553A1 (en) 2017-10-05
EP3301922A1 (en) 2018-04-04
EP4250740A2 (en) 2023-09-27
JP5848288B2 (ja) 2016-01-27
JP5336003B2 (ja) 2013-11-06
CN107094250B (zh) 2019-11-05
US20210250615A1 (en) 2021-08-12
CN103609109B (zh) 2017-07-28
US11831919B2 (en) 2023-11-28
KR20140043754A (ko) 2014-04-10
JP2016054534A (ja) 2016-04-14
KR20220092647A (ko) 2022-07-01
KR20230016710A (ko) 2023-02-02
KR102279310B1 (ko) 2021-07-20
JP5909305B2 (ja) 2016-04-26
US20140098891A1 (en) 2014-04-10
KR102241132B1 (ko) 2021-04-15
JP2013243760A (ja) 2013-12-05
KR20200047750A (ko) 2020-05-07
JP5336010B2 (ja) 2013-11-06
EP2723074A1 (en) 2014-04-23
US20240040152A1 (en) 2024-02-01
KR102413597B1 (ko) 2022-06-24
CN107094250A (zh) 2017-08-25
WO2012172810A1 (ja) 2012-12-20

Similar Documents

Publication Publication Date Title
JP5909305B2 (ja) 符号化方法および符号化装置
US11902505B2 (en) Video decoding device and video decoding method
JP2012249221A (ja) 動画像符号化装置および動画像符号化方法
JP2012249222A (ja) 動画像符号化装置および動画像符号化方法
JP2012235294A (ja) 動画像復号化装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant