JP6157114B2 - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム Download PDF

Info

Publication number
JP6157114B2
JP6157114B2 JP2012287785A JP2012287785A JP6157114B2 JP 6157114 B2 JP6157114 B2 JP 6157114B2 JP 2012287785 A JP2012287785 A JP 2012287785A JP 2012287785 A JP2012287785 A JP 2012287785A JP 6157114 B2 JP6157114 B2 JP 6157114B2
Authority
JP
Japan
Prior art keywords
image
information
transform
quantization
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012287785A
Other languages
English (en)
Other versions
JP2014131172A5 (ja
JP2014131172A (ja
Inventor
真悟 志摩
真悟 志摩
前田　充
充 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2012287785A priority Critical patent/JP6157114B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP13824669.9A priority patent/EP2939430A1/en
Priority to KR1020157019631A priority patent/KR101703228B1/ko
Priority to KR1020187005153A priority patent/KR101933361B1/ko
Priority to BR112015015600A priority patent/BR112015015600A2/pt
Priority to US14/758,202 priority patent/US10743017B2/en
Priority to PCT/JP2013/007565 priority patent/WO2014103294A1/en
Priority to KR1020177002711A priority patent/KR101833010B1/ko
Priority to RU2017120115A priority patent/RU2679285C2/ru
Priority to RU2015131145A priority patent/RU2623200C2/ru
Priority to CN201380068858.5A priority patent/CN104885468B/zh
Publication of JP2014131172A publication Critical patent/JP2014131172A/ja
Publication of JP2014131172A5 publication Critical patent/JP2014131172A5/ja
Application granted granted Critical
Publication of JP6157114B2 publication Critical patent/JP6157114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラムに関する。
動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４と略す）が知られている。（非特許文献１）Ｈ．２６４においては、符号化技術の制限を定義した複数のプロファイルが定義されており、例えばＨｉｇｈ１０プロファイルは８ビット〜１０ビットまでのビット深度の画像に対応している。
近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。このＪＣＴ−ＶＣにおいて、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣと略す）として標準化が進められている。
ＨＥＶＣにおいても８ビット〜１０ビットまでのビット深度の画像に対応したＭａｉｎ１０プロファイルが定義されている。（非特許文献２）
ＩＴＵ−Ｔ Ｈ．２６４ （０６／２０１１） Ａｄｖａｎｃｅｄｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｋ１００３＿ｖ１０．ｄｏｃ インターネット＜ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ‐ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１１＿Ｓｈａｎｇｈａｉ／ｗｇ１１／＞
ＨＥＶＣでは、直交変換や動き補償といった処理において、画像のビット深度に応じて演算精度を低下させることにより、実装の容易性を重視した構成となっている。例えば、下記の式（１）は色差信号の動き補償において、小数画素の動き補償処理に用いる計算式のうちの一つである。
ａｂ０，０＝（−２×Ｂ−１，０＋５８×Ｂ０，０＋１０×Ｂ１，０−２×Ｂ２，０）＞＞ｓｈｉｆｔ１…（１）
（ただし、ｓｈｉｆｔ１＝色差ビット深度−８であり、「＞＞」は右へのビットシフトを表す。）
上記の式（１）において、Ｂｉ，ｊは整数画素位置の色差画素を、ａｂ０，０は小数画素位置の色差画素を算出するための中間値を表している。式（１）では必ずビット深度に依存したｓｈｉｆｔ１による右へのビットシフト処理が含まれるため、中間値ａｂ０，０の取りうる値の範囲は画像のビット深度によらず一定となっている。こうした演算処理が導入されているため、ＨＥＶＣにおいてはより高ビット深度の画像をサポートする場合においてもハードウェアの実装コストはさほど上昇しないと考えられている。その反面、上述のビットシフト処理に代表される演算により、高ビット深度の画像に対しては演算精度の低下が発生し、画質が向上しないといった問題が生じている。
したがって、本発明は上述した課題を解決するためになされたものである。すなわち画像のビット深度によらず高ビット深度でも一定の精度を保った符号化処理と、ビット深度依存で高ビット深度では演算精度を低下させて実装の容易性を重視した符号化処理の両方をサポートする符号化・復号の実現を可能することを目的としている。
上述の問題点を解決するため、本発明の画像符号化装置以下の構成を有する、すなわち、入力された画像に予測処理を行って、符号化済みの画素に基づく予測画像と前記入力された画像との差分である予測誤差を生成する予測手段と、前記予測誤差に直交変換処理を行って変換係数を生成する変換手段と、前記変換係数に量子化処理を行って量子化係数を生成する量子化手段と、前記量子化係数を符号化する符号化手段とを有し、前記符号化手段は、前記量子化係数が取り得る値の範囲、及び、前記変換係数が取り得る値の範囲のうちの少なくともいずれかを、ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報を符号化する。
また、本発明の画像復号装置は以下の構成を有する。すなわち、入力されたビットストリームから画像を復号する画像復号装置であって、前記ビットストリームから量子化係数を復号する復号手段と、前記量子化係数に逆量子化処理を行って変換係数を導出する逆量子化手段と、前記変換係数に逆直交変換処理を行って予測誤差を導出する逆変換手段とを有し、前記復号手段は、前記量子化係数が取り得る値の範囲、及び、前記変換係数が取り得る値の範囲のうちの少なくともいずれかを、ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報を前記ビットストリームから復号する。
本発明により、画像のビット深度によらず高ビット深度でも一定の精度を保った符号化処理と、ビット深度依存で高ビット深度では演算精度を低下させて実装の容易性を重視した符号化処理の両方をサポートする符号化・復号が実現できる。結果としてアプリケーションごとの要求仕様によりこれらの符号化処理を切り替えることが可能になる。
実施形態１における画像符号化装置の構成を示すブロック図 実施形態２における画像復号装置の構成を示すブロック図 実施形態３における画像符号化装置の構成を示すブロック図 実施形態４における画像復号装置の構成を示すブロック図 実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態２に係る画像復号装置における画像復号処理を示すフローチャート 実施形態３に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態４に係る画像復号装置における画像復号処理を示すフローチャート 実施形態５における画像符号化装置の構成を示すブロック図 実施形態６における画像復号装置の構成を示すブロック図 実施形態５における画像符号化装置の別な構成を示すブロック図 実施形態６における画像復号装置の別な構成を示すブロック図 実施形態５に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態６に係る画像復号装置における画像復号処理を示すフローチャート 実施形態５に係る画像符号化装置における画像符号化処理を示す別なフローチャート 実施形態６に係る画像復号装置における画像復号処理を示す別なフローチャート 実施形態１によって生成され、実施形態２によって復号されるビットストリーム構造の一例を示す図 実施形態３によって生成され、実施形態４によって復号されるビットストリーム構造の一例を示す図 実施形態５によって生成され、実施形態６によって復号されるビットストリーム構造の一例を示す図 本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図 実施形態１および実施形態２におけるレンジ情報、画像のビット深度と量子化係数の取りうる範囲の関係性を示す図
以下、添付の図面を参照して、本願発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０１は画像データを入力する端子である。
１０２は入力部であり、入力された画像データのビット深度を解析するとともに正方形のブロック単位に分割する。１０３は変換量子化演算精度情報生成部であり、後述する変換量子化演算精度選択情報を生成する。と同時に、変換量子化部１０６で用いられる変換量子化処理や逆量子化逆変換部１０７で用いられる逆量子化逆変換処理の演算精度を示す変換量子化演算精度情報を生成する。１０４はヘッダ符号化部であり、画像のビット深度情報を初めとするビットストリームの復号に必要な情報を符号化し、ヘッダ符号データを生成する。
１０５は予測部であり、正方形に分割されたブロック単位でフレームメモリ１０９を参照してフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測の方法を示す予測情報および予測誤差を生成する。１０６は変換量子化部であり、予測部１０５で生成された予測誤差をブロック単位で直交変換して変換係数を算出し、さらに変換係数を量子化して量子化係数を算出する。１０７は変換量子化部１０６で生成された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。
１０８は画像再生部であり、予測部１０５で生成された予測情報に基づいてフレームメモリ１０９を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部１０７で生成された予測誤差から再生画像を生成する。１０９は画像再生部１０８で再生された画像を保持しておくフレームメモリである。１１０はブロック符号化部であり、予測部１０５で生成された予測情報や変換量子化部１０６で生成された量子化係数を符号化してブロック符号データを生成する。１１１は前段で生成されたヘッダ符号データおよびブロック符号データからビットストリームを形成して出力する統合符号化部である。１１２は端子であり、統合符号化部１１１で生成されたビットストリームを外部に出力する。
上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。
端子１０１から入力された１フレーム分の画像データは入力部１０２に入力される。本実施形態では１０ビット深度の画像データが入力されるものとするが、入力される画像データのビット深度はこれに限定されない。入力部１０２では入力画像データのビット深度の解析を行い、ビット深度情報として後段のレンジ情報生成部１０３およびヘッダ符号化部１０４に出力する。ただし、ビット深度情報は外部から別途与えられ、変換量子化演算精度情報生成部１０３およびヘッダ符号化部１０４にそれぞれ入力する構成とすることも可能である。また、入力された画像データは正方形のブロック単位に分割され、予測部１０５に出力される。
変換量子化演算精度情報生成部１０３では、ビット深度によって演算精度を調節して実装容易性を優先した変換量子化処理を用いるか、ビット深度によらず演算精度を固定した変換量子化処理を用いるかを決定し、その情報を変換量子化演算精度選択情報とする。以下、前者のビット深度によって演算精度を調節した変換量子化処理を実装重視変換量子化処理、後者の演算精度を固定した変換量子化処理を精度重視変換量子化処理と呼称する。本実施形態では、前者の実装重視変換量子化処理が選択された場合には変換量子化演算精度選択情報は０となり、後者の精度重視変換量子化処理が選択された場合には変換量子化演算精度選択情報は１となるものとする。ただし、選択された変換量子化処理と変換量子化演算精度選択情報との組合せはこれらに限定されない。また、変換量子化演算精度選択情報の決定方法も特に限定されず、本符号化装置および対応する復号装置が使用されるアプリケーションを想定して符号化処理に先立って決定しておいても良いし、不図示のユーザによって選択されても良い。例えば、本実施形態の符号化装置が演算精度重視のアプリケーションで使用されることが想定される場合には、変換量子化演算精度選択情報を１とし、そうでなければ０とするといった具合である。
次に、変換量子化演算精度情報生成部１０３は、前述の変換量子化演算精度選択情報および入力部１０２から入力されたビット深度情報に基づいて変換量子化演算精度情報を生成する。変換量子化演算精度選択情報が１の場合には、画像のビット深度と基準となるビット深度である８ビットとの差分値を変換量子化演算精度情報とする。本実施形態では、画像のビット深度は１０ビットであるので、変換量子化演算精度情報は２となる。また、変換量子化演算精度選択情報が０の場合には、０を変換量子化演算精度情報とする。ただし、変換量子化演算精度情報の値と意味の組合せは上記に限定されず、画像のビット深度が基準となるビット深度よりも大きい場合に、変換量子化処理の演算精度を高めることを示すことが出来る情報であれば良い。
生成された変換量子化演算精度選択情報はヘッダ符号化部１０４に出力され、変換量子化演算精度情報は変換量子化部１０６および逆量子化逆変換部１０７に出力される。
ヘッダ符号化部１０４では、入力部１０２から入力されたビット深度情報および変換量子化演算精度情報生成部１０３から入力された変換量子化演算精度選択情報を初めとする復号に必要な情報を符号化し、ヘッダ符号データを生成する。このヘッダ符号データはビットストリームのヘッダ部に相当する。生成されたヘッダ符号データは統合符号化部１１１に出力される
一方、予測部１０５では入力部１０２で分割されたブロック単位の画像データが入力され、フレームメモリ１０９に格納されている符号化済みの画素を適宜参照してブロック単位の予測が行われ、予測画像が生成される。ブロック単位の入力画像と予測画像の差分として、予測誤差が生成され、変換量子化部１０６に入力される。また、予測部１０５では動きベクトルや予測モードなどの予測に必要な情報を予測情報として生成し、画像再生部１０８およびブロック符号化部１１０に出力する。
変換量子化部１０６では、まず、変換量子化演算精度情報生成部１０３から変換量子化演算精度情報を入力し、変換量子化処理における演算精度を決定する。本実施形態では、図２１に示されたテーブルに基づいて、演算精度として水平・垂直各方向の一次元の直交変換や量子化処理といった各演算結果の取りうる範囲を決定するものとする。ただし、変換量子化演算精度情報と各演算結果の取りうる範囲の組合せはこれらに限定されない。本実施形態では、０または２の値を持つ変換量子化演算精度情報が入力されることから、各演算結果はそれぞれ−３２７６８〜３２７６７または−１３１０７２〜１３１０７１の範囲をもつことになる。各演算結果が上記の範囲外になった場合の処理については特に限定しないが、クリップ処理やビットシフト処理により結果を上記の範囲内におさめることができる。
次に、上述の決定された演算精度に基づいて、予測部１０５から入力された予測誤差に対して直交変換を行い、変換係数を生成し、さらに変換係数を量子化し、量子化係数を生成する。生成された量子化係数は逆量子化逆変換部１０７およびブロック符号化部１１０に出力する。
逆量子化逆変換部１０７においても変換量子化部１０６と同様に、まず、変換量子化演算精度情報生成部１０３から変換量子化演算精度情報を入力し、逆量子化逆変換処理における演算精度を決定する。本実施形態では、変換量子化部１０６と同様に、図２１に示されたテーブルに基づいて、演算精度として逆量子化処理や垂直・水平各方向の一次元の直交変換処理といった各演算結果の取りうる範囲を決定するものとする。
次に、上述の決定された演算精度に基づいて、変換量子化部１０６から入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。再生された予測誤差は画像再生部１０８に出力される。
画像再生部１０８では、予測部１０５から入力された予測情報に基づいて、フレームメモリ１０９を適宜参照して予測画像を生成し、生成された予測画像と逆量子化逆変換部１０７から入力された予測誤差から再生画像を生成する。生成された再生画像はフレームメモリ１０９に出力され、格納される。
ブロック符号化部１１０では、ブロック単位で、変換量子化部１０６から入力された量子化係数および予測部１０５から入力された予測情報をエントロピー符号化し、ブロック符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成されたブロック符号データは統合符号化部１１１に出力される。
統合符号化部１１１では、ブロック単位の符号化処理に先駆けてヘッダ符号化部１０４で生成されて入力されたヘッダ符号データおよびブロック符号化部１１０から入力されたブロック符号データを多重化してビットストリームが形成される。最終的に、統合符号化部１１１で形成されたビットストリームは端子１１２から外部に出力される。
図１７（ａ）に本実施形態で生成されたビットストリームの一例を示す。変換量子化演算精度選択情報は変換量子化演算精度選択情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。また、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。
ただし、ビットストリームの構成はこれに限定されず、図１７（ｂ）に示されるように、変換量子化演算精度選択情報符号を符号化する代わりに、対応するプロファイルを決定し、決定したプロファイルをプロファイル情報符号として符号化してもよい。例えば、メイン１０ビットプロファイルとメイン１０ビット高精度プロファイルが存在し、それぞれが変換量子化演算精度選択情報＝０と変換量子化演算精度選択情報＝１に対応するものとする。すなわち、メイン１０ビットプロファイルでは変換量子化処理の各演算結果の取りうる範囲は画像のビット深度に関わらず一定であり、メイン１０ビット高精度プロファイルでは上記の範囲は画像のビット深度に応じて変わることになる。この場合、変換量子化演算精度選択情報が０の場合にはメイン１０ビットプロファイルを示す符号を、１の場合にはメイン１０ビット高精度プロファイルを示す符号をプロファイル情報符号として符号化する構成をとっても構わない。
図５は、実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。
まず、ステップＳ５０１にて、入力部１０２は入力された画像データのビット深度の解析を行い、ビット深度情報を生成する。ステップＳ５０２にて、変換量子化演算精度情報生成部１０３は、変換量子化処理における演算精度を示す変換量子化演算精度情報を選択するための変換量子化演算精度選択情報を生成する。ステップＳ５０３にて、変換量子化演算精度情報生成部１０３は、ステップＳ５０２で生成された変換量子化演算精度選択情報およびステップＳ５０１で生成されたビット深度情報に基づいて変換量子化演算精度情報を生成する。ステップＳ５０４にて、ヘッダ符号化部１０４は、ステップＳ５０１で生成されたビット深度情報およびステップＳ５０２で生成された変換量子化演算精度選択情報を初めとする復号に必要な情報を符号化してヘッダ符号データを生成する。
ステップＳ５０５にて、統合符号化部１１１はステップＳ５０４で生成されたヘッダ符号データからビットストリームのヘッダ部を形成し、出力する。ステップＳ５０６にて、入力部１０２は入力された画像データから正方形のブロックを切り出し、予測部１０５は切り出されたブロック単位の画像データに対し、ブロック単位の予測を行い、予測画像を生成する。ブロック単位の入力画像データと予測画像との差分として予測誤差が生成される。さらに動きベクトルや予測モードなどの予測に必要な情報を予測情報として生成する。
ステップＳ５０７にて、変換量子化部１０６は、まず、ステップＳ５０３で生成された変換量子化演算精度情報に基づいて、変換量子化処理における演算精度を決定する。そして、決定された演算精度に基づいて、ステップＳ５０６で生成された予測誤差に直交変換を行って変換係数を生成し、さらに生成された変換係数を量子化し、量子化係数を生成する。ステップＳ５０８にて、逆量子化逆変換部１０７はまず、ステップＳ５０７と同様に、ステップＳ５０３で生成された変換量子化演算精度情報に基づいて逆量子化・逆変換処理における演算精度を決定する。そして、決定された演算精度に基づいて、ステップＳ５０７で生成された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。
ステップＳ５０９にて、画像再生部１０８はステップＳ５０６で生成された予測情報に基づいて、フレームメモリ１０９を適宜参照して予測画像を生成する。そして生成された予測画像とステップＳ５０８で再生された予測誤差から再生画像を生成し、フレームメモリ１０９に格納する。ステップＳ５１０にて、ブロック符号化部１１０はステップＳ５０６で生成された予測情報およびステップＳ５０７で生成された量子化係数を符号化してブロック符号データを生成する。また、統合符号化部１１１は他の符号データも含め、ビットストリームを生成する。ステップＳ５１１にて、画像符号化装置はフレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していれば符号化処理を終了し、そうでなければ次のブロックを対象としてステップＳ５０６に戻る。
以上の構成と動作により、特にステップＳ５０４で変換量子化演算精度選択情報を符号化することにより、アプリケーションの要求仕様に応じて演算精度や実装コストの異なる符号化処理の切り替え可能なビットストリームを生成することができる。
なお、本実施形態では、ステップＳ５０８、Ｓ５０９、Ｓ５１０の順序で符号化処理のフローを説明したが、順序はこれに限らず、ステップＳ５１０はステップＳ５０７の後に実行されれば良い。
また、本実施形態では、変換量子化演算精度選択情報に基づいてステップＳ５０７およびＳ５０８の変換量子化処理のみが変更される構成としたが、量子化係数の範囲の変更に伴い、ステップＳ５１０の符号化処理も変更する構成としても構わない。その場合、変換量子化演算精度選択情報もしくは変換量子化演算精度情報がブロック符号化部１１０にも入力される構成となる。この場合、量子化係数の範囲に応じて最適なエントロピー符号化方法を選択することができるため、より高効率な符号化が実現できる。
また、符号化する画像データのビット深度が８ビットであった場合、変換量子化演算精度選択情報符号を省略することも可能である。すなわち、ビット深度が８ビットであった場合、変換量子化演算精度情報は０に一意に決まるからであり、冗長な符号を削減することができる。
また、本実施形態において、図２１に示されたテーブルに基づいて、演算精度として水平・垂直各方向の一次元の直交変換や量子化処理といった各演算結果の取りうる範囲を決定したが、これに限定されない。例えば、変換量子化部１０６は変換量子化演算精度情報をａｑとした時、演算精度を−２（１５＋ａｑ）〜２（１５＋ａｑ）−１として求めても構わない。
また、前述のメイン１０ビットプロファイルとメイン１０ビット高精度プロファイルにおいて、前者では必ず変換量子化演算精度選択情報は０とするが、後者では変換量子化演算精度選択情報符号を設けて０／１を選択する構成をもちいても構わない。これにより、高精度のプロファイルでも演算精度の選択も行えるようになる。
なお、本実施形態では図５のステップＳ５０８において、ステップＳ５０３で生成された変換量子化演算精度情報に基づいて逆量子化・逆変換処理における演算精度を決定したが、ステップＳ５０７で求めた演算精度を用いてももちろん構わない。
また、本実施形態で生成されるビットストリームは図１７（ａ）に示される通り、変換量子化演算精度選択情報符号、ビット深度情報符号の順に符号化されるものとしたが、順序はこれに限定されない。
＜実施形態２＞
図２は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成されたビットストリームの復号を例にとって説明する。
２０１はビットストリームを入力する端子である。２０２は分離復号部であり、ビットストリームから復号処理に関する情報であるヘッダ符号データおよび量子化係数や予測情報などブロック単位の情報であるブロック符号データに分離し、後段に出力する。２０３はヘッダ復号部であり、前述のヘッダ符号データを復号し、復号処理に関する情報を再生する。２０４は変換量子化演算精度情報設定部であり、逆量子化逆変換部２０６で用いられる逆量子化逆変換処理の演算精度を示す変換量子化演算精度情報を生成する。２０５はブロック復号部であり、ブロック符号データを復号して量子化係数や予測情報を再生する。
２０６はブロック復号部２０５で再生された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。２０７は画像再生部であり、ブロック復号部２０５で再生された予測情報に基づいてフレームメモリ２０８を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部２０６で生成された予測誤差から再生画像データを生成する。２０８は画像再生部２０７で再生された画像データを保持しておくフレームメモリである。２０９は端子であり、再生された画像データを外部に出力する。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態１で生成されたビットストリームを復号する。
図２において、端子２０１から入力されたビットストリームは分離復号部２０２に入力される。本実施形態では図１７（ａ）に示されたビットストリームが入力されるものとする。分離復号部２０２では、入力されたビットストリームから復号処理に関する情報であるヘッダ符号データおよびブロック単位の情報であるブロック符号データに分離し後段に出力する。ヘッダ符号データはヘッダ復号部２０３に出力され、ブロック符号データはブロック復号部２０５に出力される。ヘッダ復号部２０３では、分離復号部２０２から入力されたヘッダ符号データから復号に必要な情報を復号し、変換量子化演算精度選択情報やビット深度情報を再生する。再生された変換量子化演算精度選択情報およびビット深度情報は変換量子化演算精度情報設定部２０４に出力される。
変換量子化演算精度情報設定部２０４では、ヘッダ復号部２０３から入力された変換量子化演算精度選択情報およびビット深度情報に基づいて変換量子化演算精度情報を生成する。実施形態１の変換量子化演算精度情報生成部１０３と同様に、本実施形態では、変換量子化演算精度選択情報が１の場合には、ビット深度情報と基準となるビット深度である８ビットとの差分値を変換量子化演算精度情報とする。実施形態１で生成されたビットストリームは１０ビットの画像が符号化されたものであるので、本実施形態におけるビット深度情報も１０ビットとなるため、変換量子化演算精度情報は２となる。一方、変換量子化演算精度選択情報が０の場合には、０を変換量子化演算精度情報とする。ただし、実施形態１と同様に、変換量子化演算精度選択情報と変換量子化演算精度情報の組合せはこれらに限定されない。生成された変換量子化演算精度情報は逆量子化逆変換部２０６に出力される。
一方、ブロック復号部２０５では、分離復号部２０２から入力されたブロック符号データを復号し、量子化係数および予測情報を再生する。再生された量子化係数は逆量子化逆変換部２０６に、予測情報は画像再生部２０７に出力される。逆量子化逆変換部２０６ではまず、実施形態１の逆量子化逆変換部１０７と同様に、変換量子化演算精度情報設定部２０４から入力された変換量子化演算精度情報に基づいて、逆量子化逆変換処理における演算精度を決定する。本実施形態でも、実施形態１の逆量子化逆変換部１０７と同様に、図２１に示されたテーブルに基づいて、演算精度として逆量子化処理や垂直・水平各方向の一次元の直交変換処理といった各演算処理の取りうる範囲を決定するものとする。
さらに、逆量子化逆変換部２０６では、上述の決定された演算精度に基づいて、ブロック復号部２０５から入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。再生された予測誤差は画像再生部２０７に出力される。
画像再生部２０７では、ブロック復号部２０５から入力された予測情報に基づいて、フレームメモリ２０８を適宜参照して予測画像を生成し、生成された予測画像と逆量子化逆変換部２０６から入力された予測誤差から再生画像を生成する。再生された画像データはフレームメモリ２０８に出力され格納される。同時に、再生された画像データは端子２０９から外部に出力される。
図６は、実施形態２に係る画像復号装置における画像の復号処理を示すフローチャートである。
まず、ステップＳ６０１にて、分離復号部２０２は入力されたビットストリームから復号処理に関する情報であるヘッダ符号データを分離する。ステップＳ６０２にて、ヘッダ復号部２０３はステップＳ６０１で分離されたヘッダ符号データから復号に必要な情報を復号し、変換量子化演算精度選択情報やビット深度情報を再生する。ステップＳ６０３にて、変換量子化演算精度情報設定部２０４は、ステップＳ６０２で再生された変換量子化演算精度選択情報およびビット深度情報に基づいて変換量子化演算精度情報を生成する。ステップＳ６０４にて、逆量子化逆変換部２０６はステップＳ６０３で生成された変換量子化演算精度情報に基づいて逆量子化・逆変換処理における演算精度を決定する。ステップＳ６０５にて、ブロック復号部２０５は分離復号部２０２でビットストリームからブロック単位の符号化データとして分離されたブロック符号データを復号し、量子化係数および予測情報を再生する。
ステップＳ６０６にて、逆量子化逆変換部２０６はステップＳ６０４で決定された演算精度に基づいて、ステップＳ６０５で生成された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。ステップＳ６０７にて、画像再生部２０７はステップＳ６０５で再生された予測情報に基づいて、フレームメモリ２０８を適宜参照して予測画像を生成する。そして生成された予測画像とステップＳ６０６で再生された予測誤差から再生画像を生成し、フレームメモリ２０８に格納する。同時に、再生された画像データは端子２０９から外部に出力される。ステップＳ６０８にて、画像復号装置はフレーム内の全てのブロックの復号が終了したか否かの判定を行い、終了していれば復号処理を終了し、そうでなければ次のブロックを対象としてステップＳ６０５に戻る。
以上の構成と動作により、特にステップＳ６０２で変換量子化演算精度選択情報を復号することにより、実施形態１で生成されたアプリケーションの要求仕様に応じて演算精度や実装コストの異なる復号処理の可能なビットストリームを復号することができる。
なお本実施形態では、入力されるビットストリームは図１７（ａ）に示された変換量子化演算精度選択情報が独立して符号化されたものであるとしたが、これに限定さない。例えば、図１７（ｂ）に示されるように、変換量子化演算精度選択情報符号を符号化する代わりに、対応するプロファイルを示すプロファイル情報符号が符号化されたものであっても良い。この場合、変換量子化演算精度情報設定部２０４では、プロファイル情報符号およびビット深度情報から変換量子化演算精度情報を生成することになる。
また、本実施形態では、変換量子化演算精度選択情報に基づいてステップＳ６０６の逆量子化逆変換処理のみが変更される構成としたが、量子化係数の範囲の変更に伴い、ステップＳ６０５の復号処理も変更する構成としてもよい。その場合、変換量子化演算精度選択情報もしくは変換量子化演算精度情報がブロック復号部２０５にも入力される構成となり、また、ブロック復号部２０５の復号処理は実施形態１のブロック符号化部１１０の符号化処理に対応している必要がある。この場合、量子化係数の範囲に応じて最適なエントロピー復号方法を選択することができるため、より高効率に符号化されたビットストリームの復号が実現できる。
＜実施形態３＞
図３は本実施形態の画像符号化装置を示すブロック図である。図３において、実施形態１の図１と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
３２３は動き補償演算精度情報生成部であり、後述する動き補償演算精度選択情報を生成する。と同時に、予測部３０５で用いられる動き補償処理の演算精度を示す動き補償演算精度情報を生成する。３０４はヘッダ符号化部であり、画像のビット深度情報を初めとするビットストリームの復号に必要な情報を符号化し、ヘッダ符号データを生成する。実施形態１のヘッダ符号化部１０４とは、変換量子化演算精度選択情報ではなく、後述の動き補償演算精度選択情報を符号化するところが異なる。
３０５は予測部であり、正方形に分割されたブロック単位でフレームメモリ１０９を参照してフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測の方法を示す予測情報および予測誤差を生成する。実施形態１の予測部１０５とは、動き補償演算精度情報を入力し、入力された動き補償演算精度情報に基づいてインター予測を行うところが異なる。
３０６は変換量子化部であり、予測部３０５で生成された予測誤差をブロック単位で直交変換して変換係数を算出し、さらに変換係数を量子化して量子化係数を算出する。実施形態１の変換量子化部１０６とは変換量子化演算精度情報を入力せず、常に同一の演算精度で変換量子化処理を行うところが異なる。
３０７は変換量子化部３０６で生成された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。実施形態１の逆量子化逆変換部１０７とは変換量子化演算精度情報を入力せず、常に同一の演算精度で逆量子化逆変換処理を行うところが異なる。
３０８は画像再生部であり、予測部３０６で生成された予測情報に基づいてフレームメモリ１０９を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部３０７で生成された予測誤差から再生画像を生成する。実施形態１の画像再生部１０８とは、動き補償演算精度情報を入力し、入力された動き補償演算精度情報に基づいてインター予測を行うところが異なる。
上記画像符号化装置における画像の符号化動作を以下に説明する。
入力部１０２では入力画像データのビット深度の解析を行い、ビット深度情報として後段の動き補償演算精度情報生成部３２３とヘッダ符号化部３０４に出力する。ただし、ビット深度情報は外部から別途与えられ、動き補償演算精度情報生成部３２３およびヘッダ符号化部３０４にそれぞれ入力する構成とすることも可能である。また、入力された画像データは正方形のブロック単位に分割され、予測部３０５に出力される。
動き補償演算精度情報生成部３２３では、ビット深度によって演算精度を調節して実装容易性を優先した動き補償処理を用いるか、ビット深度によらず演算精度を固定した動き補償処理を用いるかを決定し、その情報を動き補償演算精度選択情報とする。以下、前者のビット深度によって演算精度を調節した動き補償処理を実装重視動き補償処理、後者の演算精度を固定した動き補償処理を精度重視動き補償処理と呼称する。本実施形態では、前者の実装重視動き補償処理が選択された場合には動き補償演算精度選択情報は０となり、後者の精度重視動き補償処理が選択された場合には動き補償演算精度選択情報は１となるものとする。ただし、選択された動き補償処理と動き補償演算精度選択情報との組合せはこれらに限定されない。また、動き補償演算精度選択情報の決定方法も特に限定されず、本符号化装置および対応する復号装置が使用されるアプリケーションを想定して符号化処理に先立って決定しておいても良いし、不図示のユーザによって選択されても良い。例えば、本実施形態の符号化装置が演算精度重視のアプリケーションで使用されることが想定される場合には、動き補償演算精度選択情報を１とし、そうでなければ０とするといった具合である。
次に、動き補償演算精度情報生成部３２３は、前述の動き補償演算精度選択情報および入力部１０２から入力されたビット深度情報に基づいて動き補償演算精度情報を生成する。動き補償演算精度選択情報が０の場合には、画像のビット深度と基準となるビット深度である８ビットとの差分値を動き補償演算精度情報とする。本実施形態では画像のビット深度は１０ビットであるので、動き補償演算精度情報は２となる。また、動き補償演算精度選択情報が１の場合には、動き補償演算精度情報は０とする。ただし、動き補償演算精度情報の値と意味の組合せは上記に限定されず、画像のビット深度が基準となるビット深度よりも大きい場合に、動き補償処理の演算精度を高めることを示すことが出来る情報であれば良い。
生成された動き補償演算精度選択情報はヘッダ符号化部３０４に出力され、動き補償演算精度情報は予測部３０５および画像再生部３０８に出力される。
ヘッダ符号化部３０４では、入力部１０２から入力されたビット深度情報および動き補償演算精度情報生成部３２３から入力された動き補償演算精度選択情報を初めとする復号に必要な情報を符号化し、ヘッダ符号データを生成する。このヘッダ符号化データはビットストリームのヘッダ部に相当する。生成されたヘッダ符号データは統合符号化部１１１に出力される。
一方、予測部３０５では、入力部１０２で分割されたブロック単位の画像データおよび動き補償演算精度情報生成部３２３で生成された動き補償演算精度情報が入力される。次にブロック単位の予測を行い、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などの予測の方法を示す予測情報を生成する。予測情報の生成方法は特に限定されず、フレームメモリ１０９に格納されている符号化済みの画素と符号化対象ブロックの画素との類似度から決定しても良いし、画像の統計的な情報を用いて決定しても良い。生成された予測方法は画像再生部３０８およびブロック符号化部１１０に出力される。そして生成された予測情報に基づいてフレームメモリ１０９に格納されている符号化済みの画素を適宜参照し予測画像が生成される。予測画像の生成にあたり、符号化対象ブロックがインター予測符号化されている場合、動き補償演算精度情報に基づいた動き補償処理を行う。具体的には、前述の式（１）で示された色差信号の動き補償における小数画素の動き補償処理に用いる計算式のうちの一つは、本実施形態では下記の式（２）のようになる。
ａｂ０，０＝（−２×Ｂ−１，０＋５８×Ｂ０，０＋１０×Ｂ１，０−２×Ｂ２，０）＞＞ｓｈｉｆｔ…（２）
（ただし、ｓｈｉｆｔ＝動き補償演算精度情報であり、「＞＞」は右へのビットシフトを表す。）
上記の式（２）においても、前述の式（１）と同様に、Ｂｉ，ｊは整数画素位置の色差画素を、ａｂ０，０は小数画素位置の色差画素を算出するための中間値を表している。式（２）ではｓｈｉｆｔによる右へのビットシフト処理は動き補償演算精度情報に基づいている。そのため、動き補償演算精度情報生成部３２３にて実装重視動き補償処理が選択された場合、式（２）ではビット深度に依存した右へのビットシフト処理が含まれるため、中間値ａｂ０，０の取りうる値の範囲は画像のビット深度によらず一定となる。一方、動き補償演算精度情報生成部３２３にて精度重視動き補償が選択された場合、式（２）ではｓｈｉｆｔの値は常に０となり、右へのビットシフト処理は実行されず、演算精度を保った処理が可能となる。
最後に、予測部３０５では、ブロック単位の入力画像と生成された予測画像の差分として、予測誤差が生成され、変換量子化部３０６に出力される。
変換量子化部３０６では、予測部３０５から入力された予測誤差に対して直交変換を行い、変換係数を生成し、さらに変換係数を量子化し、量子化係数を生成する。生成された量子化係数は逆量子化逆変換部３０７およびブロック符号化部１１０に出力する。
逆量子化逆変換部３０７では、変換量子化部３０６から入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。再生された予測誤差は画像再生部３０８に出力される。
画像再生部３０８では、予測部３０５から入力された予測情報および動き補償演算精度情報生成部３２３から入力された動き補償演算精度情報に基づいて、フレームメモリ１０９を適宜参照して予測画像を再生する。予測画像の生成にあたり、符号化対象ブロックがインター予測符号化されている場合、動き補償演算精度情報に基づいた動き補償処理を行う。具体的には、予測部３０５と同様に、式（２）に代表される動き補償処理を行う。
そして、画像再生部３０８では、生成された予測画像と逆量子化逆変換部３０７から入力された予測誤差から再生画像を生成する。生成された再生画像はフレームメモリ１０９に出力され、格納される。
図１８（ａ）に本実施形態で生成されたビットストリームの一例を示す。動き補償演算精度選択情報は動き補償演算精度選択情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。また、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。
ただし、ビットストリームの構成はこれに限定されず、図１８（ｂ）に示されるように動き補償演算精度選択情報符号を符号化する代わりに、対応するプロファイルを決定し、決定したプロファイルをプロファイル情報符号として符号化してもよい。例えば、メイン１０ビットプロファイルとメイン１０ビット高精度プロファイルが存在し、それぞれが動き補償演算精度選択情報＝０と動き補償演算精度選択情報＝１に対応するものとする。すなわち、メイン１０ビットプロファイルでは実装重視動き補償処理が選択され、メイン１０ビット高精度プロファイルでは精度重視動き補償処理が選択されることになる。この場合、動き補償演算精度選択情報が０の場合にはメイン１０ビットプロファイルを示す符号を、１の場合にはメイン１０ビット高精度プロファイルを示す符号をプロファイル情報符号として符号化する構成をとっても構わない。
図７は、実施形態３に係る画像符号化装置における符号化処理を示すフローチャートである。実施形態１の図５と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
ステップＳ７２２にて、動き補償演算精度情報生成部３２３は、動き補償処理における演算精度を示す動き補償演算精度情報を選択するための動き補償演算精度選択情報を生成する。本実施形態では、実装重視動き補償処理が選択された場合には動き補償演算精度選択情報は０となり、後者の精度重視動き補償処理が選択された場合には動き補償演算精度選択情報は１となるものとする。
ステップＳ７２３にて、動き補償演算精度情報生成部３２３は、ステップＳ７２２で生成された動き補償演算精度選択情報およびステップＳ５０１で生成されたビット深度情報に基づいて動き補償演算精度情報を生成する。ステップＳ７０４にて、ヘッダ符号化部３０４では、ステップＳ５０１で生成されたビット深度情報およびステップＳ５０２で生成された動き補償演算精度選択情報を初めとする復号に必要な情報を符号化してヘッダ符号データを生成する。
ステップＳ７０６にて、入力部１０２は入力された画像データから正方形のブロックを切り出し、予測部３０５は切り出されたブロック単位の画像データに対し、ブロック単位の予測を行う。さらに、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などの予測の方法を示す予測情報を生成する。そして生成された予測情報に基づいてフレームメモリ１０９に格納されている符号化済みの画素を適宜参照し、予測画像を生成する。予測画像の生成にあたり、符号化対象ブロックがインター予測符号化されている場合、ステップＳ７２３で生成された動き補償演算精度情報に基づいた動き補償処理を行う。具体的には前述の式（２）に代表される動き補償処理が実行される。さらにブロック単位の入力画像データと予測画像との差分として予測誤差を生成する。
ステップＳ７０７にて、変換量子化部３０６は、ステップＳ７０６で生成された予測誤差に直交変換を行って変換係数を生成し、さらに生成された変換係数を量子化し、量子化係数を生成する。ステップＳ７０８にて、逆量子化逆変換部３０７はステップＳ７０７で生成された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。
ステップＳ７０９にて、画像再生部３０８はステップＳ７０６で生成された予測情報に基づいて、フレームメモリ１０９を適宜参照して予測画像を生成する。予測画像の生成に当たり、符号化対象ブロックがインター予測符号化されている場合、ステップＳ７２３で生成された動き補償演算精度情報に基づいた動き補償処理を行う。具体的には、ステップＳ７０６と同様に、式（２）に代表される動き補償処理を行う。そして生成された予測画像とステップＳ７０８で再生された予測誤差から再生画像を生成し、フレームメモリ１０９に格納する。ステップＳ７１１にて、画像符号化装置はフレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していれば符号化処理を終了し、そうでなければ次のブロックを対象としてステップＳ７０６に戻る。
以上の構成と動作により、特にステップＳ７０４で動き補償演算精度選択情報を符号化することにより、アプリケーションの要求仕様に応じて演算精度や実装コストの異なる符号化処理の切り替え可能なビットストリームを生成することができる。
なお、本実施形態では、ステップＳ７０８、Ｓ７０９、Ｓ５１０の順序で符号化処理のフローを説明したが、順序はこれに限らず、ステップＳ５１０はステップＳ７０７の後に実行されれば良い。
また、符号化する画像データのビット深度が８ビットであった場合、動き補償演算精度選択情報符号を省略することも可能である。すなわち、ビット深度が８ビットで合った場合、動き補償演算精度情報は０に一意に決まるからであり、冗長な符号を削減することが出来る。
また、前述のメイン１０ビットプロファイルとメイン１０ビット高精度プロファイルにおいて、前者では必ず動き補償演算精度選択情報は０とするが、後者では動き補償演算精度選択情報符号を設けて０／１を選択する構成を用いても構わない。これにより、高精度のプロファイルでも演算精度の選択も行えるようになる。
また、本実施形態で生成されるビットストリームは図１８（ａ）に示される通り、動き補償演算精度選択情報符号、ビット深度情報符号の順に符号化されるものとしたが、順序はこれに限定されない。
＜実施形態４＞
図４は本実施形態の画像復号装置を示すブロック図である。図４において、実施形態２の図２と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。本実施形態では、実施形態３で生成されたビットストリームの復号を例にとって説明する。
４０３はヘッダ復号部であり、ビットストリームから分離されたヘッダ符号データを復号し、復号処理に関する情報を再生する。４２４は動き補償演算精度情報設定部であり、画像再生部４０７で用いられる動き補償処理の演算精度を示す動き補償演算精度情報を生成する。４０６はブロック復号部２０５で再生された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化逆変換部である。実施形態２の逆量子化逆変換部２０６とは変換量子化演算精度情報を入力せず、常に同一の演算精度で逆量子化逆変換処理を行うところが異なる。
４０７は画像再生部であり、ブロック復号部２０５で再生された予測情報に基づいてフレームメモリ２０８を参照してイントラ予測やインター予測などを行い、逆量子化逆変換部２０６で生成された予測誤差から再生画像を生成する。実施形態２の画像再生部２０７とは、動き補償演算精度情報を入力し、入力された動き補償演算精度情報に基づいてインター予測を行うところが異なる。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態３で生成されたビットストリームを復号する。
ヘッダ復号部４０３では、分離復号部２０２から入力されたヘッダ符号データから復号に必要な情報を復号し、動き補償演算精度選択情報やビット深度情報を再生する。再生された動き補償演算精度選択情報およびビット深度情報は動き補償演算精度情報設定部４２４に出力される。
動き補償演算精度情報設定部４２４では、ヘッダ復号部４０３から入力された動き補償演算精度選択情報およびビット深度情報に基づいて動き補償演算精度情報を生成する。実施形態３の動き補償演算精度情報生成部３２３と同様に、本実施形態では、動き補償演算精度選択情報が０の場合には、ビット深度情報と基準となるビット深度である８ビットの差分値を動き補償演算精度情報とする。実施形態３で生成されたビットストリームは１０ビットの画像が符号化されたものであるので、本実施形態におけるビット深度情報も１０ビットとなるため、動き補償演算精度情報は２となる。一方、動き補償演算精度選択情報が１の場合には、０を動き補償演算精度情報とする。ただし、実施形態３と同様に、動き補償演算精度選択情報と動き補償演算精度情報の組合せはこれらに限定されない。生成された動き補償演算精度情報は画像再生部４０７に出力される。
逆量子化逆変換部４０６では、ブロック復号部２０５から入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。再生された予測誤差は画像再生部４０７に出力される。
画像再生部４０７では、ブロック復号部２０５から入力された予測情報および動き補償演算精度情報設定部４２４から入力された動き補償演算精度情報に基づいてフレームメモリ２０８を適宜参照して予測画像を生成する。予測画像の生成にあたり、復号対象ブロックがインター予測符号化されている場合、動き補償演算精度情報に基づいた動き補償処理を行う。具体的には、前述の式（２）に代表される動き頬賞処理を行う。生成された予測画像と逆量子化逆変換部４０６から入力された予測誤差から再生画像を生成する。生成された再生画像はフレームメモリ２０８に出力され、格納される。
図８は、実施形態４に係る画像復号装置における復号処理を示すフローチャートである。実施形態２の図６と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
ステップＳ８０２にて、ヘッダ復号部４０３はステップＳ６０１で分離されたヘッダ符号データから復号に必要な情報を復号し、動き補償演算精度選択情報やビット深度情報を再生する。ステップＳ８２３にて、動き補償演算精度情報設定部４２４はステップＳ８０２で再生された動き補償演算精度選択情報およびビット深度情報に基づいて動き補償演算精度情報を生成する。ステップＳ８２４にて、画像再生部４０７はステップＳ８２３で生成された動き補償変換量子化演算精度情報に基づいて後段の動き補償処理における演算精度を決定する。ステップＳ８０６にて、逆量子化逆変換部４０６はステップＳ６０５で生成された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数に逆直交変換して予測誤差を再生する。
ステップＳ８０７にて、画像再生部４０７はステップＳ６０５で再生された予測情報に基づいて、フレームメモリ２０８を適宜参照して予測画像を生成する。予測画像の生成に当たり、復号対象ブロックがインター予測符号化されている場合、ステップＳ８２４で決定された動き補償情報に基づいた動き補償処理を行う。具体的には、前述の式（２）に代表される動き補償処理を行う。そして生成された予測画像とステップＳ８０６で再生された予測画像から再生画像データを生成し、フレームメモリ２０８に格納する。同時に端子２０９から再生画像データを出力する。
以上の構成と動作により、特にステップＳ８０２で動き補償演算精度選択情報を復号することにより、実施形態３で生成されたアプリケーションの要求仕様に応じて演算精度や実装コストの異なる復号処理の可能なビットストリームを復号することができる。
なお、本実施形態では、入力されるビットストリームは図１８（ａ）に示された動き補償演算精度選択情報が独立して符号化されたものであるとしたが、これに限定されない。例えば、図１８（ｂ）に示されるように、動き補償演算精度選択情報符号を符号化する代わりに、対応するプロファイルを示すプロファイル情報符号が符号化されたものであっても良い。この場合、動き補償演算精度情報設定部４２４では、プロファイル情報符号およびビット深度情報から動き補償演算精度情報を生成することになる。
＜実施形態５＞
図９は本実施形態の画像符号化装置を示すブロック図である。図９において実施形態１の図１および実施形態３の図３と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
９０２は入力部であり、入力された画像データのビット深度を解析するとともに正方形のブロック単位に分割する。実施形態１の入力部１０２とはビット深度情報を動き補償演算精度情報生成部３２３にも出力するところが異なる。９０４はヘッダ符号化部であり、画像のビット深度情報を初めとするビットストリームの復号に必要な情報を符号化し、ヘッダ符号データを生成する。
上記の画像符号化装置における画像の符号化動作を以下に説明する。
入力部９０２では入力画像データのビット深度の解析を行い、ビット深度情報として後段の動き補償演算精度情報生成部３２３、変換量子化演算精度情報生成部１０３およびヘッダ符号化部９０４に出力する。ただし、ビット深度情報は外部から別途与えられ、動き補償演算精度情報生成部３２３、変換量子化演算精度情報生成部１０３およびヘッダ符号化部９０４にそれぞれ入力する構成とすることも可能である。また、入力された画像データは正方形のブロック単位に分割され、予測部３０５に出力される。
ヘッダ符号化部９０４では、まず、入力部９０２からビット深度情報を、動き補償演算精度情報生成部３２３から動き補償演算精度選択情報を、変換量子化演算精度情報生成部から変換量子化演算精度選択情報を入力する。そして入力されたこれらの情報を初めとする復号に必要な情報を符号化し、ヘッダ符号データを生成する。このヘッダ符号化データはビットストリームのヘッダ部に相当し、統合符号化部１１１に出力される。
図１９（ａ）に本実施形態で生成されたビットストリームの一例を示す。変換量子化演算精度選択情報は変換量子化演算精度選択情報符号として、動き補償演算精度選択情報は動き補償演算精度選択情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれる。また、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。
ただし、ビットストリームの構成はこれに限定されず、図１９（ｂ）に示されるように動き補償演算精度選択情報符号および変換量子化演算精度選択情報符号を符号化する代わりに対応するプロファイルを決定し、プロファイル情報符号として符号化しても良い。例えば、メイン１０ビットプロファイルとメイン１０ビット高精度プロファイルが存在し、メイン１０ビットプロファイルは変換量子化演算精度選択情報＝０および動き補償演算精度選択情報＝０に対応するものとする。また、メイン１０ビット高精度プロファイルは変換量子化演算精度選択情報＝１および動き補償演算精度選択情報＝１に対応するものとする。すなわち、メイン１０ビットプロファイルでは実装重視変換量子化処理および実装重視動き補償処理が選択され、メイン１０ビット高精度プロファイルでは精度重視変換量子化処理および精度重視動き補償処理が選択されることになる。この場合、変換量子化演算精度選択情報および動き補償演算精度選択情報が０の場合にはメイン１０ビットプロファイルを示す符号をプロファイル情報符号として符号化する。また、変換量子化演算精度選択情報および動き補償演算精度選択情報が１の場合にはメイン１０ビット高精度プロファイルを示す符号をプロファイル情報符号として符号化する構成をとっても構わない。
図１３は、実施形態３に係る画像符号化装置における符号化処理を示すフローチャートである。実施形態１の図５および実施形態３の図７と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
ステップＳ１３０１にて、入力部９０２は入力された画像データのビット深度の解析を行い、ビット深度情報を生成する。ステップＳ１３０４にて、ヘッダ符号化部９０４は、復号に必要な情報を符号化してヘッダ符号データを生成する。復号に必要な情報には、ステップＳ１３０１で生成されたビット深度情報、ステップＳ５０２で生成された変換量子化演算精度選択情報およびステップＳ７２２で生成された動き補償演算精度選択情報が含まれる。
以上の構成と動作により、特にステップＳ５０２およびＳ７２２で生成した符号化処理の演算精度の情報をステップＳ１３０４で符号化する。これによってアプリケーションの要求仕様に応じて演算精度や実装コストの異なる符号化処理の切り替え可能なビットストリームを生成することが出来る。
なお、本実施形態では、ステップＳ５０８、Ｓ７０９、Ｓ５１０の順序で符号化処理のフローを説明したが、順序はこれに限らず、ステップＳ５１０はステップＳ５０７の後に実行されれば良い。
また、符号化する画像データのビット深度が８ビットであった場合、変換量子化演算精度選択情報符号および動き補償演算精度選択情報符号を省略することも可能である。すなわち、ビット深度が８ビットであった場合、変換量子化演算精度情報および動き補償演算精度情報は０に一意に決まるからであり、冗長な符号を削減することができる。
また、前述のメイン１０ビット高精度プロファイルにおいて、変換量子化演算精度選択情報符号および動き補償選択情報符号を設けて０／１を選択する構成を用いても構わない。これにより高精度のプロファイルでも演算精度の選択も行えるようになる。
なお、本実施形態では図１３のステップＳ５０８において、ステップＳ５０３で生成された変換量子化演算精度情報に基づいて逆量子化・逆変換処理における演算精度を決定したが、ステップＳ５０７で求めた演算精度を用いてももちろん構わない。
また、本実施形態で生成されるビットストリームは図１９（ａ）に示される通り、変換量子化演算精度選択情報符号、動き補償演算精度選択情報符号、ビット深度情報符号の順に符号化されるものとしたが、順序はこれに限定されない。
さらに本実施形態では、動き補償演算精度情報生成部３２３および変換量子化演算精度情報生成部１０３を独立に設けたが、図１１に示されるように演算精度情報生成部１１４３を一つだけ設ける構成をとることも可能である。その場合、演算精度情報生成部１１４３で生成された演算精度情報は、予測部１１０５、変換量子化部１１０６、逆量子化逆変換部１１０７、および画像再生部１１０８に入力され、入力された演算精度情報に基づいた処理が行われる。また、ヘッダ符号化部１１０４では、演算精度選択情報とビット深度情報の符号化が行われる。
また、その場合、対応する符号化処理を示すフローチャートは図１５のようになる。図１５において、ステップＳ１５０１はステップＳ５０１と同様に入力部１１０１でビット深度の解析を行う、ステップＳ１５４２は変換量子化処理および動き補償処理の演算精度選択情報を生成する。ステップＳ１５４３は変換量子化処理および動き補償処理の演算精度情報を生成する。ステップＳ１５０４は演算精度選択情報を符号化する。ステップＳ１５０６およびステップＳ１５０９ではステップＳ１５４３で生成した演算精度情報に基づき、動き補償処理を行う。ステップＳ１５０７ではステップＳ１５４３で生成した演算精度情報に基づき、変換量子化処理を行う。ステップＳ１５０８ではステップＳ１５４３で生成した演算精度情報に基づき、逆量子化逆変換処理を行う。
これにより、変換量子化および動き補償でそれぞれ独立した変換量子化演算精度情報および動き補償演算精度情報を用いていたが、共通した演算精度情報を用いることができる。
またその場合、生成されるビットストリームの一例は図１９（ｃ）によって示される。演算精度選択情報は演算精度選択情報符号として、シーケンス、ピクチャ等のヘッダのいずれかに含まれ、ビット深度情報も同様にビット深度情報符号としてヘッダのいずれかに含まれる。さらに上述の実施形態と同様に、演算精度選択情報を演算精度選択情報符号として符号化する代わりに、対応するプロファイルを決定し、決定したプロファイルをプロファイル情報として符号化してもよい。その場合、生成されるビットストリームの一例は図１９（ｂ）によって示される。
＜実施形態６＞
図１０は本実施形態の画像符号化装置を示すブロック図である。図１０において実施形態の図２および実施形態４の図４と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
１００３はヘッダ復号部であり、ビットストリームから分離されたヘッダ符号データを復号し、復号処理に関する情報を再生する。
上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態５で生成されたビットストリームを復号する。
ヘッダ復号部１００３では、分離復号部２０２から入力されたヘッダ符号データから復号に必要な情報を復号し、動き補償演算精度選択情報、変換量子化演算精度選択情報およびビット深度情報を再生する。再生された動き補償演算精度選択情報は動き補償演算精度情報設定部４２４に出力され、再生された変換量子化演算精度選択情報は変換量子化演算精度情報設定部２０４に出力される。また、再生されたビット深度情報は変換量子化演算精度情報設定部２０４および動き補償演算精度情報設定部４２４に出力される。
図１４は、実施形態６に係る画像復号装置における復号処理を示すフローチャートである。実施形態２の図６および実施形態４の図８と同様の機能を果たす部分に関しては同じ番号を付与し、説明を省略する。
ステップＳ１４０２にて、ヘッダ復号部１００３はステップＳ６０１で分離されたヘッダ符号データから復号に必要な情報を復号し、動き補償演算精度選択情報、変換量子化演算精度選択情報およびビット深度情報を再生する。
以上の構成と動作により、特にステップＳ１４０２で復号処理に関する動き補償演算精度選択情報、変換量子化演算精度選択情報の復号が可能になる。これにより、実施形態５で生成されたアプリケーションの要求仕様に応じて演算精度や実装コストの異なる復号処理の可能なビットストリームを復号できる。
なお、本実施形態では、入力されるビットストリームは図１９（ａ）に示された変換量子化演算精度選択情報および動き補償演算精度選択情報が独立して符号化されたものであるとしたが、これに限定されない。例えば、図１９（ｂ）に示されるように、変換量子化演算精度選択情報符号および動き補償演算精度選択情報符号を符号化する代わりに、対応するプロファイルを示すプロファイル情報符号が符号化されたものであっても良い。この場合、動き補償演算精度情報設定部４２４および変換量子化演算精度情報設定部２０４では、プロファイル情報符号およびビット深度情報から動き補償演算精度情報および変換量子化演算精度情報を生成することになる。
さらに本実施形態では、変換量子化演算精度情報設定部２０４と動き補償演算精度情報設定部４２４を独立に設けたが、図１２に示されるように演算精度情報設定部１２４４を一つだけ設ける構成をとることも可能である。その場合、演算精度情報設定部１２４４で設定された演算精度情報は、逆量子化逆変換部１２０６および画像再生部１２０７に入力され、入力された演算精度情報に基づいた処理が行われる。
また、その場合、対応する復号処理を示すフローチャートは図１６のようになる。図１６において、Ｓ１６０２は演算精度選択情報を復号する。ステップＳ１６４３は逆量子化逆変換処理および動き補償処理の演算精度情報を再生する。ステップＳ１６４４は再生された演算精度情報に基づき、逆量子化逆変換処理および動き補償処理の演算精度情報を再生し、決定する。ステップＳ１６０６およびステップＳ１６０７ではステップＳ１６４４で決定したそれぞれの演算精度情報に基づき、逆量子化逆変換処理と動き補償処理を行う。これにより、変換量子化および動き補償でそれぞれ独立した変換量子化演算精度情報および動き補償演算精度情報を用いていたが、共通した演算精度情報を用いることができる。
またその場合、入力されるビットストリームの一例は図１９（ｃ）によって示され、変換量子化演算精度選択情報および動き補償演算精度選択情報が独立して符号化されているものであるとしたが、これに限定されない。上述の実施形態と同様に、演算精度選択情報を演算精度選択情報符号として符号化されているものの代わりに、対応するプロファイルがプロファイル情報として符号化されているものであっても良い。その場合、入力されるビットストリームの一例は図１９（ｂ）によって示される。
＜実施形態７＞
図１、図２、図３、図４、図９、図１０、図１１、図１２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
図２０は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
ＣＰＵ２００１は、ＲＡＭ２００２やＲＯＭ２００３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ２００１は、図１、図２、図３、図４、図９、図１０、図１１、図１２に示した各処理部として機能することになる。
ＲＡＭ２００２は、外部記憶装置２００６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）２００７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ２００２は、ＣＰＵ２００１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ２００２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
ＲＯＭ２００３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部２００４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ２００１に対して入力することができる。出力部２００５は、ＣＰＵ２００１による処理結果を表示する。また出力部２００５は例えば液晶ディスプレイで構成される。
外部記憶装置２００６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置２００６には、ＯＳ（オペレーティングシステム）や、図１、図２、図３、図４、図９、図１０、図１１、図１２に示した各部の機能をＣＰＵ２００１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置２００６には、処理対象としての各画像データが保存されていても良い。
外部記憶装置２００６に保存されているコンピュータプログラムやデータは、ＣＰＵ２００１による制御に従って適宜、ＲＡＭ２００２にロードされ、ＣＰＵ２００１による処理対象となる。Ｉ／Ｆ２００７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ２００７を介して様々な情報を取得したり、送出したりすることができる。２００８は上述の各部を繋ぐバスである。
上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ２００１が中心となってその制御を行う。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (26)

  1. 入力された画像に予測処理を行って、符号化済みの画素に基づく予測画像と前記入力された画像との差分である予測誤差を生成する予測手段と、
    前記予測誤差に直交変換処理を行って変換係数を生成する変換手段と、
    前記変換係数に量子化処理を行って量子化係数を生成する量子化手段と、
    前記量子化係数を符号化する符号化手段と
    を有し、
    前記符号化手段は、前記量子化係数が取り得る値の範囲、及び、前記変換係数が取り得る値の範囲のうちの少なくともいずれかを、ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報を符号化する
    ことを特徴とする画像符号化装置。
  2. 前記情報は、前記変換係数が取り得る値の範囲を、ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報である
    ことを特徴とする請求項１記載の画像符号化装置。
  3. 前記情報は、前記量子化係数が取り得る値の範囲を、ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報である
    ことを特徴とする請求項１又は２に記載の画像符号化装置。
  4. 前記変換手段は、前記情報に基づいて前記予測誤差を直交変換する
    ことを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
  5. 前記量子化手段は、前記情報に基づいて前記変換係数を量子化する
    ことを特徴とする請求項１〜４のいずれか１項に記載の画像符号化装置。
  6. 前記情報は、前記入力された画像のビット深度と、基準となるビット深度との差分値を示す情報である
    ことを特徴とする請求項１〜５のいずれか１項に記載の画像符号化装置。
  7. 前記変換係数が取り得る値の範囲は、前記予測誤差の係数を水平方向に一次元直交変換した値の取り得る範囲である
    ことを特徴とする請求項１〜６のいずれか１項に記載の画像符号化装置。
  8. 前記変換係数が取り得る値の範囲は、前記予測誤差の係数を垂直方向に一次元直交変換した値の取り得る範囲である
    ことを特徴とする請求項１〜７のいずれか１項に記載の画像符号化装置。
  9. 前記符号化手段は、画像復号装置において復号が可能な処理の組合せを示すプロファイルとして前記情報を符号化する
    ことを特徴とする請求項１〜８のいずれか１項に記載の画像符号化装置。
  10. 前記ビット深度は、前記入力された画像のビット深度である
    ことを特徴とする請求項１〜９のいずれか１項に記載の画像符号化装置。
  11. 入力されたビットストリームから画像を復号する画像復号装置であって、
    前記ビットストリームから量子化係数を復号する復号手段と、
    前記量子化係数に逆量子化処理を行って変換係数を導出する逆量子化手段と、
    前記変換係数に逆直交変換処理を行って予測誤差を導出する逆変換手段と
    を有し、
    前記復号手段は、前記量子化係数が取り得る値の範囲、及び、前記変換係数が取り得る値の範囲のうちの少なくともいずれかを、ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報を前記ビットストリームから復号する
    ことを特徴とする画像復号装置。
  12. 前記情報は、前記量子化係数が取り得る値の範囲を、前記ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報である
    ことを特徴とする請求項１１記載の画像復号装置。
  13. 前記情報は、前記変換係数が取り得る値の範囲を、前記ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報である
    ことを特徴とする請求項１１又は１２に記載の画像復号装置。
  14. 前記逆変換手段は、前記情報に基づいて前記変換係数を逆直交変換する
    ことを特徴とする請求項１１〜１３のいずれか１項に記載の画像復号装置。
  15. 前記逆量子化手段は、前記情報に基づいて前記量子化係数を逆量子化する
    ことを特徴とする請求項１１〜１４のいずれか１項に記載の画像復号装置。
  16. 前記情報は、復号すると第１の画像が再生される第１ビットストリームと、復号すると前記第１の画像とは異なるビット深度を有する第２画像が再生される第２ビットストリームとが入力された場合に、前記第１ビットストリームに対応する変換係数が取り得る範囲と、前記第２ビットストリームに対応する変換係数が取り得る範囲とが異なるか、又は、等しいことを示す情報である
    ことを特徴とする請求項１１〜１５のいずれか１項に記載の画像復号装置。
  17. 前記第１ビットストリームには、前記第１の画像のビット深度を示す情報が含まれ、前記第２ビットストリームには、前記第２の画像のビット深度を示す情報が含まれる
    ことを特徴とする請求項１６記載の画像復号装置。
  18. 前記情報は、復号すると第１の画像が再生される第１ビットストリームと、復号すると前記第１の画像とは異なるビット深度を有する第２画像が再生される第２ビットストリームとが入力された場合に、前記第１ビットストリームに対応する量子化係数が取り得る範囲と、前記第２ビットストリームに対応する量子化係数が取り得る範囲とが異なるか、又は、等しいことを示す情報である
    ことを特徴とする請求項１１〜１７のいずれか１項に記載の画像復号装置。
  19. 復号済みの画素に予測処理を施して予測画像を生成し、当該予測画像と前記予測誤差とを用いて復号された再生画像を生成する再生手段を有し、
    前記情報は、前記再生画像のビット深度と基準となるビット深度との差分値を示す情報である
    ことを特徴とする請求項１１〜１８のいずれか１項に記載の画像復号装置。
  20. 前記復号手段は、画像復号装置における復号が可能な処理の組合せを示すプロファイルを入力されたビットストリームから復号し、前記プロファイルから前記情報を算出する
    ことを特徴とする請求項１１〜１９のいずれか１項に記載の画像復号装置。
  21. 前記ビット深度は、復号される前記画像のビット深度である
    ことを特徴とする請求項１１〜２０のいずれか１項に記載の画像復号装置。
  22. 前記ビット深度を示す情報は、前記ビットストリームから復号される
    ことを特徴とする請求項１１〜２１のいずれか１項に記載の画像復号装置。
  23. 入力された画像に予測処理を行って、符号化済みの画素に基づく予測画像と前記入力された画像との差分である予測誤差を生成する予測工程と、
    前記予測誤差に直交変換処理を行って変換係数を生成する変換工程と、
    前記変換係数に量子化処理を行って量子化係数を生成する量子化工程と、
    前記量子化係数を符号化する工程と
    前記量子化係数が取り得る値の範囲、及び、前記変換係数が取り得る値の範囲のうちの少なくともいずれかを、ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報を符号化する工程と
    を有することを特徴とする画像符号化方法。
  24. 入力されたビットストリームから画像を復号する画像復号方法であって、
    前記ビットストリームから量子化係数を復号する工程と、
    前記量子化係数に逆量子化処理を行って変換係数を導出する逆量子化工程と、
    前記変換係数に逆直交変換処理を行って予測誤差を導出する逆変換工程と、
    前記量子化係数が取り得る値の範囲、及び、前記変換係数が取り得る値の範囲のうちの少なくともいずれかを、ビット深度によって決定される範囲とするか、固定の範囲とするかを示す情報を前記ビットストリームから復号する工程と
    を有することを特徴とする画像復号方法。
  25. 請求項１〜１０のいずれか１項に記載の画像符号化装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
  26. 請求項１１〜２２のいずれか１項に記載の画像復号装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
JP2012287785A 2012-12-28 2012-12-28 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム Active JP6157114B2 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
JP2012287785A JP6157114B2 (ja) 2012-12-28 2012-12-28 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
RU2017120115A RU2679285C2 (ru) 2012-12-28 2013-12-25 Обеспечение информации точности в устройстве кодирования изображения, способ и программа кодирования изображения, устройство декодирования изображения и способ и программа декодирования изображения
KR1020187005153A KR101933361B1 (ko) 2012-12-28 2013-12-25 화상 부호화 장치, 화상 부호화 방법 및 프로그램, 화상 복호화 장치, 및 화상 복호화 방법 및 프로그램에서의 정밀도 정보의 제공
BR112015015600A BR112015015600A2 (pt) 2012-12-28 2013-12-25 provisão de informação de precisão em um dispositivo de codificação de imagem, método e programa de codificação de imagem, dispositivo de decodificação de imagem e método e programa de decodificação de imagem
US14/758,202 US10743017B2 (en) 2012-12-28 2013-12-25 Encoding including transform and quantization, or decoding including inverse-transform and inverse-quantization
PCT/JP2013/007565 WO2014103294A1 (en) 2012-12-28 2013-12-25 Provision of precision information in an image encoding device, image encoding method and program, image decoding device, and image decoding method and program
EP13824669.9A EP2939430A1 (en) 2012-12-28 2013-12-25 Provision of precision information in an image encoding device, image encoding method and program, image decoding device, and image decoding method and program
KR1020157019631A KR101703228B1 (ko) 2012-12-28 2013-12-25 화상 부호화 장치, 화상 부호화 방법 및 프로그램, 화상 복호화 장치, 및 화상 복호화 방법 및 프로그램에서의 정밀도 정보의 제공
RU2015131145A RU2623200C2 (ru) 2012-12-28 2013-12-25 Обеспечение информации точности в устройстве кодирования изображения, способ и программа кодирования изображения, устройство декодирования изображения и способ и программа декодирования изображения
CN201380068858.5A CN104885468B (zh) 2012-12-28 2013-12-25 图像编码装置及方法和图像解码装置及方法
KR1020177002711A KR101833010B1 (ko) 2012-12-28 2013-12-25 화상 부호화 장치, 화상 부호화 방법 및 프로그램, 화상 복호화 장치, 및 화상 복호화 방법 및 프로그램에서의 정밀도 정보의 제공

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012287785A JP6157114B2 (ja) 2012-12-28 2012-12-28 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017103759A Division JP6324590B2 (ja) 2017-05-25 2017-05-25 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2014131172A JP2014131172A (ja) 2014-07-10
JP2014131172A5 JP2014131172A5 (ja) 2016-02-12
JP6157114B2 true JP6157114B2 (ja) 2017-07-05

Family

ID=50029177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012287785A Active JP6157114B2 (ja) 2012-12-28 2012-12-28 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Country Status (8)

Country Link
US (1) US10743017B2 (ja)
EP (1) EP2939430A1 (ja)
JP (1) JP6157114B2 (ja)
KR (3) KR101833010B1 (ja)
CN (1) CN104885468B (ja)
BR (1) BR112015015600A2 (ja)
RU (2) RU2623200C2 (ja)
WO (1) WO2014103294A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101770300B1 (ko) 2015-06-09 2017-08-22 삼성전자주식회사 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
EP3166313A1 (en) 2015-11-09 2017-05-10 Thomson Licensing Encoding and decoding method and corresponding devices
JP6543578B2 (ja) 2016-01-27 2019-07-10 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017195666A1 (ja) * 2016-05-13 2017-11-16 ソニー株式会社 画像処理装置および方法
EP3754987A4 (en) * 2018-02-14 2021-04-14 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
CN111713104B (zh) 2018-02-14 2022-04-26 索尼公司 图像处理装置和方法
CN116866563A (zh) * 2018-03-21 2023-10-10 Lx 半导体科技有限公司 图像编码/解码方法、存储介质以及图像数据的传输方法
JP6808889B2 (ja) * 2018-03-29 2021-01-06 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
JP2021150788A (ja) 2020-03-18 2021-09-27 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2023132532A1 (ko) * 2022-01-07 2023-07-13 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JPH08256341A (ja) * 1995-03-17 1996-10-01 Sony Corp 画像信号符号化方法、画像信号符号化装置、画像信号記録媒体、及び画像信号復号化装置
JP2000511366A (ja) * 1995-10-25 2000-08-29 サーノフ コーポレイション ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
US5778192A (en) * 1995-10-26 1998-07-07 Motorola, Inc. Method and device for optimal bit allocation between different sources of information in digital video compression
JP4028900B2 (ja) 1996-01-11 2007-12-26 富士通株式会社 動画像符号化装置及び動画像復号化装置
US6738423B1 (en) * 2000-01-21 2004-05-18 Nokia Mobile Phones Ltd. Method for encoding and decoding video information, a motion compensated video encoder and a corresponding decoder
EP1139336A3 (en) 2000-03-30 2004-01-02 Matsushita Electric Industrial Co., Ltd. Determination of quantizaion coefficients for a subband audio encoder
KR100668344B1 (ko) * 2005-09-20 2007-01-12 삼성전자주식회사 영상 부호화장치 및 방법, 영상 복호화장치 및 방법과 이를채용한 디스플레이 구동회로 및 방법
WO2007114368A1 (ja) * 2006-03-30 2007-10-11 Kabushiki Kaisha Toshiba 画像符号化装置及び方法並びに画像復号化装置及び方法
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US8059721B2 (en) 2006-04-07 2011-11-15 Microsoft Corporation Estimating sample-domain distortion in the transform domain with rounding compensation
US8625663B2 (en) 2007-02-20 2014-01-07 Pixar Home-video digital-master package
US8942289B2 (en) * 2007-02-21 2015-01-27 Microsoft Corporation Computational complexity and precision control in transform-based digital media codec
JP5697301B2 (ja) * 2008-10-01 2015-04-08 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム
EP2464016A4 (en) 2009-08-06 2012-07-18 Panasonic Corp ENCODING METHOD, DECODING METHOD, ENCODING DEVICE, AND DECODING DEVICE
US9185422B2 (en) * 2010-07-15 2015-11-10 Qualcomm Incorporated Variable localized bit-depth increase for fixed-point transforms in video coding
RU2467499C2 (ru) 2010-09-06 2012-11-20 Государственное образовательное учреждение высшего профессионального образования "Поволжский государственный университет телекоммуникаций и информатики" (ГОУВПО ПГУТИ) Способ сжатия цифрового потока видеосигнала в телевизионном канале связи
MX2013012209A (es) * 2011-05-31 2013-11-01 Panasonic Corp Metodo de codificacion de video, aparato de codificacion de video, metodo de decodificacion de video, aparato de decodificacion de video y aparato de codificacion/decodificacion de video.
US9407917B2 (en) 2011-06-30 2016-08-02 Samsung Electronics Co., Ltd. Video encoding method with bit depth adjustment for fixed-point conversion and apparatus therefor, and video decoding method and apparatus therefor
WO2013086724A1 (en) * 2011-12-15 2013-06-20 Mediatek Singapore Pte. Ltd. Method of clippling transformed coefficients before de-quantization
EP2805492B1 (en) * 2012-01-19 2018-11-14 VID SCALE, Inc. System and method of video coding quantization and dynamic range control
JP6324590B2 (ja) 2017-05-25 2018-05-16 キヤノン株式会社 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date
RU2017120115A (ru) 2018-11-12
RU2015131145A (ru) 2017-02-02
US10743017B2 (en) 2020-08-11
RU2017120115A3 (ja) 2018-11-12
RU2679285C2 (ru) 2019-02-06
EP2939430A1 (en) 2015-11-04
KR101933361B1 (ko) 2018-12-27
KR20170015562A (ko) 2017-02-08
JP2014131172A (ja) 2014-07-10
KR20150100802A (ko) 2015-09-02
US20160198175A1 (en) 2016-07-07
KR101833010B1 (ko) 2018-02-27
RU2623200C2 (ru) 2017-06-27
BR112015015600A2 (pt) 2017-07-11
CN104885468A (zh) 2015-09-02
KR20180023039A (ko) 2018-03-06
CN104885468B (zh) 2019-11-01
KR101703228B1 (ko) 2017-02-06
WO2014103294A1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
JP6324590B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6157114B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10652554B2 (en) Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
JP2014116733A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2013038758A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2009290463A (ja) 符号化装置／復号化装置、符号化方法／復号化方法及びプログラム
JP6041554B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP6541763B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP2018142969A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
WO2020129463A1 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
JP7279109B2 (ja) 画像復号方法及びプログラム
JP6272441B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP6743225B2 (ja) 画像復号装置、画像復号方法及びプログラム
JP6891325B2 (ja) 画像符号化方法
JP2018198439A (ja) 画像符号化装置、および画像復号装置
JP2012119969A (ja) 画像符号化方式変換装置および画像符号化方式変換プログラム
JP2015019305A (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2020098986A (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170606

R151 Written notification of patent or utility model registration

Ref document number: 6157114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151