JP4739338B2 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム Download PDF

Info

Publication number
JP4739338B2
JP4739338B2 JP2007521180A JP2007521180A JP4739338B2 JP 4739338 B2 JP4739338 B2 JP 4739338B2 JP 2007521180 A JP2007521180 A JP 2007521180A JP 2007521180 A JP2007521180 A JP 2007521180A JP 4739338 B2 JP4739338 B2 JP 4739338B2
Authority
JP
Japan
Prior art keywords
prediction signal
image
related information
signal
spatial frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007521180A
Other languages
English (en)
Other versions
JPWO2006112272A1 (ja
Inventor
チュンセン ブン
暁 藤林
禎篤 加藤
力 堀越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2007521180A priority Critical patent/JP4739338B2/ja
Publication of JPWO2006112272A1 publication Critical patent/JPWO2006112272A1/ja
Application granted granted Critical
Publication of JP4739338B2 publication Critical patent/JP4739338B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Description

本発明は、動画像データの符号化及び復号に関する。
従来、画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられている。特に、動画像データの場合には、ＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。動画像の符号化では、データ量の削減を実現するために、時間軸で隣接する他の画像を用いて符号化の対象となる対象画像の予測信号を生成し、対象画像と予測信号との差分を符号化する手法が採られることがある（例えば、下記特許文献１参照。）。この手法をフレーム間符号化という。
例えばＨ．２６４では、符号化装置は、１フレームの画像を、１６×１６画素からなるブロックの領域に分割し、このブロック単位で画像の符号化処理を行う。フレーム間符号化では、符号化対象となる画像の対象ブロックに対して、符号化済で復元された他のフレームを参照画像とした動き予測を行うことによって、予測信号を生成する。次に、この対象ブロックと予測信号との差分値を求めて、離散コサイン変換と量子化処理を行い、符号化データを生成する。
一方、量子化された変換係数は、逆量子化された後に逆変換を施され、その結果、再生変換係数が生成される。その後、当該再生変換係数に予測信号が加算され、再生画像が復元される。復元された再生画像は、次の画像の符号化と復号のために参照画像として一時的に格納される。
また、別の背景技術として、以下の技術があげられる。動画像は、単一の静止画像である「フレーム」を連続させることにより構成されている。フレームに含まれる空間周波数成分の振幅（以降、空間周波数振幅と称する）の大きさは、画像のコントラストを意味するため、動画像の品質に対する評価に関わる。
また、動画像を通して短時間内での画像のコントラストの大きな変化は点滅を引き起こすこともあり、また人間の眼にはコントラストに対する眼の感度というものがあるため、動画像の品質に関する評価に関してコントラストは重要とされる。
コントラストが時間経過と共に変化していく動画像は一般的にも存在する。長い時間をかけたシーンチェンジの際などで動画像のコントラストが徐々にはっきりしていったり、ぼやけていったりする動画像などが最たる例である。
また、個々のフレームのコントラストが低い画像であっても、各フレームが連続した動画像として表示されたとき、この動画像を見る人は、静止画と比較して画像のコントラストが上がり鮮明な動画像として見える錯視現象が生ずることが下記非特許文献１に記載されている。この錯視現象は、motion sharpening現象と呼ばれる。
このmotion sharpening現象により原画像の中で、定期的にフィルタを用いることで空間周波数の帯域やコントラストが変化したフレームが挿入されていても、動画像として見たときに原画像と評価しても、動画像の品質が高く知覚されるという実験結果が、記載されている。
一方、動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１〜４やＩＴＵ（International Telecommunication Union） Ｈ．２６１〜Ｈ．２６４の方式が広く用いられている。動画像の符号化では、時間軸で隣接する他の画像を用いて符号化の対象となる対象画像の予測信号を生成し、対象画像と予測信号との差分を符号化することにより、データ量の削減を実現する。この手法をフレーム間予測符号化という。
ＩＴＵ Ｈ．２６４で定められた処理を実現する符号化装置は、１フレームの画像を１６×１６画素からなるブロックの領域に分割し、このブロック単位で画像に対する符号化処理を行う。この符号化装置は、フレーム間予測符号化の際、符号化対象となる画像の対象ブロックに対し、符号化済で復元された他のフレームを参照画像とした動き予測を行うことによって予測信号を生成する。そして、符号化装置は対象ブロックと予測信号との差分値を求め、この差分値に対して離散コサイン変換と量子化処理とを行ない、この差分値に基づいて量子化された変換係数とした符号化データを生成する。
その後、符号化装置は、量子化された変換係数に対して、逆量子化した上で逆変換を施し、再生変換係数（差分値）を生成する。その後、再生変換係数（差分値）に予測信号を加算し再生画像を復元する。復元された再生画像は、次の画像の符号化・復号のために参照画像として一時格納される。
このような動画像圧縮符号化が行われる中で、一般に画像の空間周波数振幅が低く、コントラストのはっきりしない動画像は、変換係数（差分値）が小さいため、符号化データ量を少なくすることができる。そのため、前記コントラストがはっきりしない画像や前記motion sharpening効果を期待した低コントラストの画像が含まれる動画像を符号化する際には、高い符号化効率が期待できる。
特開平１０−１３６３７１号公報 Takeuchi,T.& De Valois, K.K. (2005) Sharpening image motion based on spatio-temporalcharacteristics of human vision. (San Jose, USA)、［平成１７年６月２日検索］、インターネット1144306446155_0.pdf
しかしながら、上述した従来の画像符号化復号技術では、信号帯域の異なる画像が混在する場合に、動画像を効率よく圧縮することができない。例えば、信号帯域の異なる画像が混在する動画像は、民生用のビデオカメラの撮影画像に発生することがある。これは、カメラのオートフォーカス機能によって、撮影の最中にフォーカスが自動的に調整されるため、隣り合う画像の帯域が変動してしまい、帯域幅の広い信号を有する画像と帯域幅の狭い信号を有する画像とが隣接して記録されることに起因する。
この場合、符号化装置が、帯域幅の広い信号を有する第２画像を参照して、帯域幅の狭い信号を有する第１画像を予測すると、第２画像に含まれる高周波数成分が第１画像の差分信号に含まれるようになる。このため、予測信号が、第１画像よりも帯域の広い信号になり、情報量が増えて圧縮率が低下してしまうという問題がある。
また、別の問題としては、従来の動画像符号化・復号方法では、画像に含まれるコントラストつまり空間周波数振幅が大きく異なる画像が混在する場合、動画像を効率よく圧縮することができない。空間周波数振幅の高い第２画像を参照して、空間周波数振幅の低い第１画像を予測すると、予測対象の探索がうまくいかないことや第２画像に含まれる空間周波数振幅の差が第１画像の差分信号に含まれるようになり、情報量が増え圧縮率が低下してしまう。また、空間周波数振幅の低い第１画像を参照して、空間周波数振幅の高い第３画像を予測すると、同じく予測対象の探索がうまくいかないことや、第３画像に含まれる空間周波数振幅との差が差分信号として必要となるため、この場合も情報量が増え圧縮率が低下してしまうという課題がある。
そこで、上述の課題を解決するため、本発明は、動画像の符号化・復号に際して動画像を効率よく圧縮することを目的とする。
本発明の動画像符号化装置は、動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力手段と、前記対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、前記対象画像の周波数特性と前記参照画像の周波数特性とを測定し、前記対象画像の周波数特性と前記参照画像の周波数特性とを表す周波数特性関連情報を生成する周波数特性分析手段と、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成手段と、前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分手段と、前記差分信号を符号化して符号化差分信号を生成する符号化手段と、前記符号化差分信号を復号して復号差分信号を生成する復号手段と、前記復号差分信号に前記予測信号を加算して再生画像を生成し、当該再生画像を格納する前記格納手段が後段に接続する加算手段と、少なくとも前記符号化差分信号と前記周波数特性関連情報とを出力する出力手段とを備えている。
また、本発明の動画像符号化装置は、前記予測信号生成手段は、前記周波数特性関連情報に応じた予測信号の生成方法を導出して前記参照画像から前記予測信号を生成し、前記周波数特性関連情報は、前記予測信号の生成方法に関する情報を含むことが好ましい。
また、本発明の動画像符号化装置は、前記予測信号生成手段は、少なくとも２種類の予測信号生成方法の中から、前記周波数特性関連情報に応じた予測信号の生成方法を選定して、前記参照画像から前記予測信号を生成し、前記周波数特性関連情報は、前記予測信号の生成方法に関する情報を含むことが好ましい。
また、本発明の動画像符号化装置は、参照画像を復号化する際に測定された周波数特性情報を記憶する記憶手段をさらに備え、前記予測信号生成手段は、前記記憶手段に記憶されている周波数特性情報に基づいて予測信号を生成することが好ましい。
また、本発明の動画像復号装置は、動画像を予測符号化して得られる符号化差分信号と周波数特性関連情報とを含む圧縮データを入力する入力手段と、前記符号化差分信号を復号して復号差分信号を生成する復号手段と、前記復号差分信号に対する予測信号を生成する予測信号生成手段と、前記復号差分信号に前記予測信号を加算して再生画像を生成する加算手段と、前記予測信号を生成するために用いられる参照画像を格納する格納手段とを備え、前記周波数特性関連情報は、前記再生画像の周波数特性と前記参照画像の周波数特性とを表し、前記予測信号生成手段は、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成することが好ましい。
また、本発明の動画像復号装置は、前記周波数特性関連情報は、前記予測信号の生成方法に関する予測信号生成関連情報を含み、前記予測信号生成手段は、前記予測信号生成関連情報に基づいて、前記参照画像から、前記予測信号を生成することが好ましい。
また、本発明の動画像復号装置は、前記周波数特性関連情報は、前記予測信号の生成方法に関する予測信号生成関連情報を含み、前記予測信号生成手段は、前記予測信号生成関連情報に基づいて、少なくとも２種類の予測信号生成方法の中から前記予測信号の生成方法を選定して、前記参照画像から前記予測信号を生成することが好ましい。
また、本発明の動画像復号装置は、前記周波数特性関連情報は、前記予測信号の生成方法に関する予測信号生成関連情報を含み、前記予測信号生成手段は、前記予測信号生成関連情報に基づいて、予め用意されている、少なくとも２種類の予測信号生成方法の中から前記予測信号の生成方法を選定して、前記参照画像から前記予測信号を生成することが好ましい。
また、本発明の動画像復号装置は、前記参照画像を復号化する際に測定された周波数特性情報を記憶する記憶手段をさらに備え、前記予測信号生成手段は、前記記憶手段に記憶されている周波数特性情報に基づいて予測信号を生成することが好ましい。
また、本発明の動画像符号化方法は、動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力ステップと、前記対象画像に対する予測信号を生成するために用いられる参照画像を格納手段に格納させる格納ステップと、前記対象画像の周波数特性と前記参照画像の周波数特性とを測定し、前記対象画像の周波数特性と前記参照画像の周波数特性とを表す周波数特性関連情報を生成する周波数特性分析ステップと、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成ステップと、前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分ステップと、前記差分信号を符号化して符号化差分信号を生成する符号化ステップと、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、前記復号差分信号に前記予測信号を加算して再生画像を生成し、当該再生画像を格納する前記格納手段が後段に接続する加算ステップと、少なくとも前記符号化差分信号と前記周波数特性関連情報とを出力する出力ステップとを備えている。
また、本発明の動画像復号方法は、動画像を予測符号化して得られる符号化差分信号と周波数特性関連情報とを含む圧縮データを入力する入力ステップと、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、前記復号差分信号に対する予測信号を生成する予測信号生成ステップと、前記復号差分信号に前記予測信号を加算して再生画像を生成する加算ステップと、前記予測信号を生成するために用いられる参照画像を格納手段に格納させる格納ステップとを備え、前記周波数特性関連情報は、前記再生画像の周波数特性と前記参照画像の周波数特性とを表し、前記予測信号生成ステップは、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成するものである。
また、本発明の動画像符号化プログラムは、動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力処理と、前記対象画像に対する予測信号を生成するために用いられる参照画像を格納手段に格納させる格納処理と、前記対象画像の周波数特性と前記参照画像の周波数特性とを測定し、前記対象画像の周波数特性と前記参照画像の周波数特性とを表す周波数特性関連情報を生成する周波数特性分析処理と、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成処理と、前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分処理と、前記差分信号を符号化して符号化差分信号を生成する符号化処理と、前記符号化差分信号を復号して復号差分信号を生成する復号処理と、前記復号差分信号に前記予測信号を加算して再生画像を生成し、当該再生画像を格納する前記格納手段が後段に接続する加算処理と、少なくとも前記符号化差分信号と前記周波数特性関連情報とを出力する出力処理とをコンピュータに実行させるものである。
また、本発明の動画像復号プログラムは、動画像を予測符号化して得られる符号化差分信号と周波数特性関連情報とを含む圧縮データを入力する入力処理と、前記符号化差分信号を復号して復号差分信号を生成する復号処理と、前記復号差分信号に対する予測信号を生成する予測信号生成処理と、前記復号差分信号に前記予測信号を加算して再生画像を生成する加算処理と、前記予測信号を生成するために用いられる参照画像を格納手段に格納させる格納処理とをコンピュータに実行させ、前記周波数特性関連情報は、前記再生画像の周波数特性と前記参照画像の周波数特性とを表し、前記予測信号生成処理は、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成するものである。
また、本発明に係る動画像符号化装置は、動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力手段と、前記対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、前記対象画像の帯域と前記参照画像の帯域とを測定し、前記対象画像の帯域と前記参照画像の帯域とを表す帯域関連情報を生成する帯域分析手段と、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成手段と、前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分手段と、前記差分信号を符号化して符号化差分信号を生成する符号化手段と、前記符号化差分信号を復号して復号差分信号を生成する復号手段と、前記復号差分信号に前記予測信号を加算して再生画像を生成し、当該再生画像を格納する前記格納手段が後段に接続する加算手段と、少なくとも前記符号化差分信号と前記帯域関連情報とを出力する出力手段とを備える。
本発明に係る動画像復号装置は、動画像を予測符号化して得られる符号化差分信号と帯域関連情報とを含む圧縮データを入力する入力手段と、前記符号化差分信号を復号して復号差分信号を生成する復号手段と、前記復号差分信号に対する予測信号を生成する予測信号生成手段と、前記復号差分信号に前記予測信号を加算して再生画像を生成する加算手段と、前記予測信号を生成するために用いられる参照画像を格納する格納手段とを備え、前記帯域関連情報は、前記再生画像の帯域と前記参照画像の帯域とを表し、前記予測信号生成手段は、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する。
本発明に係る動画像符号化装置において、前記予測信号生成手段は、前記帯域関連情報に応じた予測信号の生成方法を導出して前記参照画像から前記予測信号を生成し、前記帯域関連情報は、前記予測信号の生成方法に関する情報（例えば、予測信号を生成するために用いられるフィルタ係数）を含むものとしてもよい。
また、本発明に係る動画像符号化装置においては、前記予測信号生成手段は、少なくとも２種類の予測信号生成方法の中から、前記帯域関連情報に応じた予測信号の生成方法を選定して、前記参照画像から前記予測信号を生成し、前記帯域関連情報は、前記予測信号の生成方法に関する情報（例えば、選定された最適な生成方法の識別子）を含むこともできる。
本発明に係る動画像復号装置は、動画像を予測符号化して得られる符号化差分信号と帯域関連情報とを含む圧縮データを入力する入力手段と、前記符号化差分信号を復号して復号差分信号を生成する復号手段と、前記復号差分信号に対する予測信号を生成する予測信号生成手段と、前記復号差分信号に前記予測信号を加算して再生画像を生成する加算手段と、前記予測信号を生成するために用いられる参照画像を格納する格納手段とを備え、前記帯域関連情報は、前記再生画像の帯域と前記参照画像の帯域とを表し、前記予測信号生成手段は、前記帯域関連情報に基づいて、復号の対象となる対象画像の帯域に合うように、前記参照画像から、前記予測信号を生成する。
本発明に係る動画像復号装置において、前記帯域関連情報は、前記予測信号の生成方法に関する予測信号生成関連情報を含み、前記予測信号生成手段は、前記予測信号生成関連情報に基づいて、前記参照画像から、前記予測信号を生成するものとしてもよい。
本発明に係る動画像復号装置においては、前記帯域関連情報は、前記予測信号の生成方法に関する予測信号生成関連情報を含み、前記予測信号生成手段は、前記予測信号生成関連情報に基づいて、少なくとも２種類の予測信号生成方法の中から前記予測信号の生成方法を選定して、前記参照画像から前記予測信号を生成することもできる。
本発明に係る動画像符号化方法は、動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力ステップと、前記対象画像に対する予測信号を生成するために用いられる参照画像を格納手段に格納させる格納ステップと、前記対象画像の帯域と前記参照画像の帯域とを測定し、前記対象画像の帯域と前記参照画像の帯域とを表す帯域関連情報を生成する帯域分析ステップと、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成ステップと、前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分ステップと、前記差分信号を符号化して符号化差分信号を生成する符号化ステップと、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、前記復号差分信号に前記予測信号を加算して再生画像を生成する加算ステップと、当該再生画像を前記格納手段に格納させる格納ステップと、少なくとも前記符号化差分信号と前記帯域関連情報とを出力する出力ステップとを含む。
本発明に係る動画像復号方法は、動画像を予測符号化して得られる符号化差分信号と帯域関連情報とを含む圧縮データを入力する入力ステップと、前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、前記復号差分信号に対する予測信号を生成する予測信号生成ステップと、前記復号差分信号に前記予測信号を加算し再生画像を生成する加算ステップと、前記予測信号を生成するために用いられる参照画像を格納手段に格納させる格納ステップとを含み、前記帯域関連情報は、前記再生画像の帯域と前記参照画像の帯域とを表し、前記予測信号生成ステップは、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する。
本発明に係る動画像符号化プログラムは、動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力処理と、前記対象画像に対する予測信号を生成するために用いられる参照画像を格納手段に格納させる格納処理と、前記対象画像の帯域と前記参照画像の帯域とを測定し、前記対象画像の帯域と前記参照画像の帯域とを表す帯域関連情報を生成する帯域分析処理と、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成処理と、前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分処理と、前記差分信号を符号化して符号化差分信号を生成する符号化処理と、前記符号化差分信号を復号して復号差分信号を生成する復号処理と、前記復号差分信号に前記予測信号を加算して再生画像を生成する加算処理と、当該再生画像を前記格納手段に格納させる格納処理と、少なくとも前記符号化差分信号と前記帯域関連情報とを出力する出力処理とをコンピュータに実行させる。
本発明に係る動画像復号プログラムは、動画像を予測符号化して得られる符号化差分信号と帯域関連情報とを含む圧縮データを入力する入力処理と、前記符号化差分信号を復号して復号差分信号を生成する復号処理と、前記復号差分信号に対する予測信号を生成する予測信号生成処理と、前記復号差分信号に前記予測信号を加算し再生画像を生成する加算処理と、前記予測信号を生成するために用いられる参照画像を格納手段に格納させる格納処理とをコンピュータに実行させ、前記帯域関連情報は、前記再生画像の帯域と前記参照画像の帯域とを表し、前記予測信号生成処理は、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する。
これらの発明によれば、対象画像に対する予測信号は、帯域関連情報に基づいて、参照画像から生成されるため、対象画像とその予測信号の帯域は同程度となる。これにより、参照画像の高周波成分が予測信号に移ることは防止されるので、信号帯域の異なる画像が混在する動画像に関しても、高効率な圧縮が実現される。本発明は、上記動画像が、参照画像が帯域幅の広い信号を有し、対象画像が帯域幅の狭い信号を有する画像である場合に、特に効果的である。
上述の課題を解決するために、本発明の動画像符号化装置は、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力手段と、前記入力手段により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、前記入力手段により入力された対象画像の空間周波数成分の振幅および前記格納手段に格納されている参照画像の空間周波数成分の振幅に基づいて、前記対象画像の空間周波数成分の振幅と前記参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報を生成する空間周波数振幅分析手段と、空間周波数振幅分析手段に生成された空間周波数振幅関連情報に基づいて前記参照画像の空間周波数成分の振幅を調整して、前記調整された参照画像に基づいて前記対象画像に対する予測信号を生成する予測信号生成手段と、前記入力手段により入力された対象画像と前記予測信号生成手段により生成された予測信号との差分に基づいて差分信号を生成する差分手段と、前記差分手段により生成された差分信号を符号化して符号化差分信号を生成する符号化手段と、前記符号化手段により符号化された符号化差分信号および前記空間周波数振幅分析手段により生成された空間周波数振幅関連情報を出力する出力手段と、前記符号化手段により生成された符号化差分信号を復号して復号差分信号を生成する復号手段と、前記復号手段により生成された復号差分信号に前記予測信号生成手段により生成された予測信号を加算して再生画像を生成し、生成した再生画像を参照画像として前記格納手段に格納させる再生画像生成手段と、を備えている。
また、本発明の動画像符号化方法は、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力ステップと、前記入力ステップにより入力された対象画像の空間周波数成分の振幅および前記入力ステップにより入力された対象画像に対する予測信号を生成するために用いられる参照画像の空間周波数成分の振幅に基づいて、前記対象画像の空間周波数成分の振幅と前記参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報を生成する空間周波数振幅分析ステップと、前記空間周波数振幅分析ステップに生成された空間周波数振幅関連情報に基づいて前記参照画像の空間周波数成分の振幅を調整して、前記調整された参照画像に基づいて前記対象画像に対する予測信号を生成する予測信号生成ステップと、前記入力ステップにより入力された対象画像と前記予測信号生成ステップにより生成された予測信号との差分に基づいて差分信号を生成する差分ステップと、前記差分ステップにより生成された差分信号を符号化して符号化差分信号を生成する符号化ステップと、前記符号化ステップにより符号化された符号化差分信号および前記空間周波数振幅分析ステップにより生成された空間周波数振幅関連情報を出力する出力ステップと、前記符号化ステップにより生成された符号化差分信号を復号して復号差分信号を生成する復号ステップと、前記復号ステップにより生成された復号差分信号に前記予測信号生成ステップにより生成された予測信号を加算して再生画像を生成し、生成した再生画像を参照画像として格納させる再生画像生成ステップとを備えている。
また、本発明の動画像符号化プログラムは、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力モジュールと、前記入力モジュールにより入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納モジュールと、前記入力モジュールにより入力された対象画像の空間周波数成分の振幅および前記格納モジュールに格納されている参照画像の空間周波数成分の振幅に基づいて、前記対象画像の空間周波数成分の振幅と前記参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報を生成する空間周波数振幅分析モジュールと、空間周波数振幅分析モジュールに生成された空間周波数振幅関連情報に基づいて前記参照画像の空間周波数成分の振幅を調整して、前記調整された前記参照画像に基づいて前記対象画像に対する予測信号を生成する予測信号生成モジュールと、前記入力モジュールにより入力された対象画像と前記予測信号生成モジュールにより生成された予測信号との差分に基づいて差分信号を生成する差分モジュールと、前記差分モジュールにより生成された差分信号を符号化して符号化差分信号を生成する符号化モジュールと、前記符号化モジュールにより生成された符号化差分信号を復号して復号差分信号を生成する復号モジュールと、前記復号モジュールにより生成された復号差分信号に前記予測信号生成モジュールにより生成された予測信号を加算して再生画像を生成し、生成した再生画像を参照画像として前記格納モジュールに格納させる再生画像生成モジュールと、前記符号化モジュールにより符号化された符号化差分信号および前記空間周波数振幅分析モジュールにより生成された空間周波数振幅関連情報を出力する出力モジュールと、を備えている。
本発明によれば、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力し、入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する。そして、入力された対象画像の空間周波数成分の振幅および格納されている参照画像の空間周波数成分の振幅に基づいて、対象画像の空間周波数成分の振幅と参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報を生成する。
生成された空間周波数振幅関連情報に基づいて前記参照画像の空間周波数成分の振幅を調整して、前記調整された前記参照画像に基づいて前記対象画像に対する予測信号を生成し、入力された対象画像と生成された予測信号との差分に基づいて差分信号を生成する。生成された差分信号を符号化して符号化差分信号を生成し、生成された符号化差分信号を復号して復号差分信号を生成する。
復号差分信号に予測信号を加算して再生画像を生成し、再生画像を参照画像として格納させる。一方、符号化された符号化差分信号および空間周波数振幅関連情報を出力する。
これにより、対象画像とその予測信号の空間周波数振幅が同程度になり、参照画像の空間周波数成分の過不足が予測信号に影響しないため、効率よく圧縮できる。
また、本発明の動画像復号装置は、復号のための参照画像である再生画像を格納する格納手段と、動画像を予測符号化して得られる符号化差分信号および画像の空間周波数振幅関連情報を含む符号化データを入力する入力手段と、前記入力手段により入力された符号化データから空間周波数振幅関連情報および符号化差分信号を抽出する抽出手段と、前記抽出手段により抽出された空間周波数振幅関連情報に基づいて、前記格納手段に格納されている再生画像の振幅を調整して、予測信号を生成する予測信号生成手段と、前記抽出手段により抽出された符号化差分信号を復号して復号差分信号を取得する復号手段と、前記予測信号生成手段により生成された予測信号を、前記復号手段により取得された復号差分信号に加算して再生画像を生成する加算手段と、前記加算手段により生成された再生画像を出力端子および前記格納手段に出力する出力手段と、備えている。
また、本発明の動画像復号方法は、動画像を予測符号化して得られる符号化差分信号および画像の空間周波数振幅関連情報を含む符号化データを入力する入力ステップと、前記入力ステップにより入力された符号化データから空間周波数振幅関連情報および符号化差分信号を抽出する抽出ステップと、前記抽出ステップにより抽出された空間周波数振幅関連情報に基づいて、格納手段に参照画像として格納されている再生画像の振幅を調整して、予測信号を生成する予測信号生成ステップと、前記抽出ステップにより抽出された符号化差分信号を復号して復号差分信号を取得する復号ステップと、前記予測信号生成ステップにより生成された予測信号を、前記復号ステップにより取得された復号差分信号に加算して再生画像を生成する加算ステップと、前記加算ステップにより生成された再生画像を出力端子および復号のための再生画像を格納する格納に出力する出力ステップと、備えている
また、本発明の動画像復号プログラムは、復号のための参照画像として再生画像を格納する格納モジュールと、動画像を予測符号化して得られる符号化差分信号および画像の空間周波数振幅関連情報を含む符号化データを入力する入力モジュールと、前記入力モジュールにより入力された符号化データから空間周波数振幅関連情報および符号化差分信号を抽出する抽出モジュールと、前記抽出モジュールにより抽出された空間周波数振幅関連情報に基づいて、前記格納モジュールに格納されている再生画像の振幅を調整して、予測信号を生成する予測信号生成モジュールと、前記抽出モジュールにより抽出された符号化差分信号を復号して復号差分信号を取得する復号モジュールと、前記予測信号生成モジュールにより生成された予測信号を、前記復号モジュールにより取得された復号差分信号に加算して再生画像を生成する加算モジュールと、前記加算モジュールにより生成された再生画像を出力端子および前記格納モジュールに出力する出力モジュールと、備えている。
この発明によれば、復号のための再生画像を格納し、動画像を予測符号化して得られる符号化差分信号および画像の空間周波数振幅関連情報を含む符号化データを入力する。そして、入力された符号化データから空間周波数振幅関連情報および符号化差分信号を抽出し、抽出された空間周波数振幅関連情報に基づいて、前記格納手段に格納されている再生画像の振幅を調整して、予測信号を生成する。また、抽出された符号化差分信号を復号して復号差分信号を生成し、予測信号を復号差分信号に加算して再生画像を生成する。生成された再生画像を出力端子に出力し、また格納させる。
これにより、対象画像とその予測信号の空間周波数振幅が同程度になって効率よく圧縮された符号化データを復号することができる。
また、本発明の動画像符号化装置は、前記空間周波数振幅分析手段は、前記空間周波数振幅関連情報の生成に必要な情報を外部から入力する外部入力手段をさらに備え、前記空間周波数振幅分析手段は、前記対象画像の空間周波数成分の振幅および前記参照画像の空間周波数成分の振幅に前記外部入力手段から入力された情報を加えて空間周波数振幅関連情報を生成することが好ましい。
この発明によれば、外部から空間周波数振幅関連情報の生成に必要な情報を入力することができ、入力した情報に基づいて空間周波数振幅関連情報を生成することができるため、映像全体の評価の尺度に基づいて定められた調整パラメータを外部から入力することができ、映像全体を考慮した振幅調整率を生成するとともに、より効率の良い符号化を行うことができる。
また、本発明の動画像符号化装置の前記空間周波数振幅分析手段は、対象画像の空間周波数成分に応じて定められた調整パラメータに基づいて前記空間周波数振幅関連情報を調整して、調整した空間周波数振幅関連情報および調整パラメータを空間周波数振幅関連情報として生成することが好ましい。
この発明によれば、空間周波数成分に応じて定められた調整パラメータに基づいて空間周波数振幅関連情報を調整することができ、より効率の良い符号化を行うことができる。
また、本発明の動画像復号装置の前記入力手段は、空間周波数振幅関連情報として調整された空間周波数関連情報および調整パラメータを入力し、前記予測信号生成手段は、前記入力手段により入力された空間周波数振幅関連情報および調整パラメータに基づいて予測信号を生成することが好ましい。
この発明によれば、調整された空間周波数関連情報および調整パラメータに基づいて予測信号を生成することができ、効率よく符号化されたデータを復号することができる。
本発明によれば、動画像の符号化・復号に際して、動画像を効率よく圧縮することが可能となる。
第１の実施形態における動画像符号化装置の構成を示す図である。 動画像符号化装置の動作を説明するための図である。 予測信号生成器の動作の前半部分を説明するための図である。 動きベクトルの画素精度と、予測信号を生成するための係数列との対応関係を示す図である。 予測信号生成器の動作の後半部分を説明するための図である。 第１の実施形態における動画像復号装置の構成を示す図である。 動画像復号装置の動作を説明するための図である。 予測信号生成器の動作を説明するための図である。 動画像符号化プログラムの構成を示す概念図である。 動画像復号プログラムの構成を示す概念図である。 動画像符号化・復号プログラムを実行するコンピュータの概略構成を示す図である。 動画像符号化・復号プログラムを実行するコンピュータの外観斜視図である。 動画像符号化装置１３０のブロック図である。 空間周波数分析器１０１のブロック図である。 振幅調整率格納器２０３に格納されている変換テーブルを示す図である。 予測信号生成器１０２の処理を示す動作フローチャートである。 動画像符号化装置１３０の動作を示すフローチャートである。 第２の実施形態の動画像復号装置６１０のブロック図である。 予測信号生成器６０７の動作を示すフローチャートである。 動画像復号装置６１０の動作を示すフローチャートである。 第２の発明の実施形態による動画像符号化プログラム５１Ｐの構成を、記録媒体５０Ｐと共に示す図である。 第２の実施形態による動画像復号プログラム９１Ｐの構成を、記録媒体９０Ｐと共に示す図である。
符号の説明
１…入力端子、２…差分器、３…変換器、４…量子化器、５…逆量子化器、６…逆変換器、７…加算器、８…フレームメモリ、９…予測信号生成器、１０…帯域分析器、１１…エントロピー符号化器、１２…出力端子、２１…入力端子、２２…データ解析器、２３…逆量子化器、２４…逆変換器、２５…予測信号生成器、２６…加算器、２７…出力端子、２８…フレームメモリ、１００…入力端子、１０１…空間周波数分析器、１０２…予測信号生成器、１０３…差分器、１０４…変換器、１０５…量子化器、１０６…逆量子化器、１０７…逆変換器、１０８…加算器、１０９…フレームメモリ、１２０…エントロピー符号化器、１２１…出力端子、２０１…空間周波数振幅分析器、２０２…空間周波数振幅関連情報生成器、２０３…振幅調整率格納器、６００…入力端子、６０１…データ解析器、６０２…逆量子化器、６０３…逆変換器、６０４…加算器、６０５…出力端子、６０６…フレームメモリ、６０７…予測信号生成器。
以下、添付図面を参照しながら、本発明の一実施形態における動画像符号化装置について説明する。
図１は、第１の実施形態に係る動画像符号化装置の構成を示す図である。
第１の実施の形態における動画像符号化装置１３は、入力端子１（入力手段に対応）と、差分器２（差分手段に対応）と、変換器３と量子化器４と（符号化手段に対応）、逆量子化器５と逆変換器６と（復号手段に対応）、加算器７（加算手段に対応）と、フレームメモリ８（格納手段に対応）と、予測信号生成器９（予測信号生成手段に対応）と、帯域分析器１０（帯域分析手段に対応）と、エントロピー符号化器１１と、出力端子１２（出力手段に対応）とを備える。これら各構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。
以下、各構成要素について詳細に説明する。
入力端子１は、動画像を入力する。入力された動画像は、所定のサイズ（例えば、１６×１６画素）の領域に分割される。
差分器２は、予測信号生成器９にて求められた予測信号をバスＢ１０経由で入力すると、対象ブロックから当該予測信号を引き算して差分信号を生成する。
変換器３は、差分器２から入力された差分信号を、周波数領域の信号に変換する。
量子化器４は、変換器３から入力された信号を量子化する。
逆量子化器５は、量子化器４から入力された量子化係数を逆量子化する。
逆変換器６は、逆量子化器５から入力された逆量子化係数を、逆離散コサイン変換により、空間領域の再生差分信号に変換する。
加算器７は、逆変換器６から入力された再生差分信号に対して、バスＢ１０ａ経由で入力される予測信号を加算し、再生画像を生成する。
フレームメモリ８は、加算器７からバスＢ７経由で入力される再生画像を格納し、次の画像を符号化する時の参照画像として、これを用いる。
予測信号生成器９は、バスＢ１ｂ経由で入力される符号化対象のブロックに対し、予測信号を生成する。また、当該ブロックに対する予測信号の帯域が、ブロックの信号の帯域を上回らないように制御する。詳細な動作は後述する。
帯域分析器１０は、上記符号化対象ブロックの信号の帯域を分析する。
エントロピー符号化器１１は、量子化器４から入力された量子化係数を可変長符号に変換した後、出力端子１２に出力する。可変長符号の代わりに算術符号を用いてもよい。
次に、動作を説明する。
動作説明の前提として、入力端子１に入力される動画像が、民生用のビデオカメラ（例えば、携帯電話に搭載されたカメラ）で撮影された複数の画像である場合を想定する。この場合、上述した理由により、帯域幅の広い信号を有する画像と帯域幅の狭い信号を有する画像とが混在して入力されることになる。
帯域分析器１０には、符号化の対象となる対象画像と、該対象画像の予測信号を生成するために参照される参照画像とが入力される。対象画像は、入力端子１からバスＢ１ａ経由で入力され、参照画像は、フレームメモリ８からバスＢ１１経由で入力される。第１の実施の形態では、入力される参照画像を１枚とするが、複数であってもよい。
対象画像の帯域はフーリエ変換で測定される。具体的には、帯域分析器１０は、対象画像におけるある画素列を１次元のデータ配列としてフーリエ変換を施し、周波数係数列を生成する。そして、その周波数係数列にある係数のうち、大きさが直流成分のｘ％以下となる最大周波数成分を、その画素列の帯域とする。例えばｘ＝５であるが、それ以外の数値を用いてもよい。
このように、帯域分析器１０は、対象画像の各画素列に対する帯域を求め、その中で最も大きいものを対象画像の垂直方向の帯域とする。同様に、対象画像の各行にある画素列に対する帯域を求めて、その中で最も大きいものを対象画像の水平方向の帯域とする。第１の実施の形態では、垂直方向の帯域と水平方向の帯域とにおける最大値を対象画像の帯域データとする。
参照画像の帯域についても同様の方法で測定できるが、第１の実施の形態では、当該参照画像を符号化する際に測定された帯域情報を格納しておくことによって、参照画像の帯域に関する情報を改めて計算しなくてもよくなる。そのために、フレームメモリ８は、対象画像の帯域に関する情報を、次の画像を符号化するために格納しておく。なお、参照画像としては、フレームメモリ８に格納されている再生された画像を用いることができるが、該参照画像に対応する原画像を用いてその帯域を計算してもよい。
帯域分析器１０は、得られた対象画像の帯域データを分母とし、参照画像の帯域データを分子として帯域比を求め、バスＢ１２経由でこれを予測信号生成器９に出力する。この帯域比は、帯域関連情報（周波数特性関連情報）として、バスＢ９を経由してエントロピー符号化器１１に出力された後、可変長符号化された上で、他の情報とともに出力端子１２から出力される。なお、帯域関連情報（周波数特性関連情報）には、帯域比にかぎらず、前記再生画像の周波数特性と前記参照画像の周波数特性との相対関係を示す情報を表すことができる情報であれば良い。例えば、前記再生画像の周波数特性、前記参照画像の周波数特性それ自体であったり、その差分であったりしてもよい。
以下、図２を参照して、動画像符号化装置１３の動作、併せて、動画像符号化方法を構成する各ステップを説明する。
動画像符号化装置１３の入力端子１に、符号化の対象となる対象画像が入力されると（Ｓ１）、帯域分析器１０は、対象画像の帯域を測定し、対象画像及び参照画像の帯域データより帯域比を求める（Ｓ２）。帯域の測定方法と帯域比の求め方については後述する。
なお、第１の実施の形態では、動画像符号化装置１３は、画像全体の帯域に関するデータを求めるものとしたが、各ブロック単位で当該データを求めてもよい。
Ｓ３では、予測信号生成器９は、帯域比に基づく動き検出を行い、動きベクトルを生成する。そして、動きベクトルの精度、及び帯域比に応じた予測信号を生成する（Ｓ４）。
差分器２は、Ｓ４で生成された予測信号を対象信号から引き算し、差分信号を求める（Ｓ５）。この差分信号は、変換器３にて離散コサイン変換された後、量子化器４で量子化され、量子化変換係数が生成される（Ｓ６）。
さらに、量子化変換係数は、逆量子化器５による逆量子化処理、逆変換器６による逆変換処理を経て、再生差分信号が生成される（Ｓ７）。
再生差分信号には、加算器７により予測信号が加算され、その結果、再生画像が生成される（Ｓ８）。
生成された再生画像、及び帯域に関する情報は、フレームメモリ８に一時的に格納される。同時に、量子化変換係数、帯域関連情報、及び、動くベクトルを含むデータは、エントロピー符号化された上で出力される（Ｓ９）。
次に、図３を参照し、予測信号生成器９の動作を詳述する。
まずＳ１１では、対象画像がバスＢ１ｂ経由で、参照画像がバスＢ１１ａ経由で、帯域比がバスＢ１２経由で、それぞれ予測信号生成器９に入力される。
Ｓ１２では、上記帯域比の値に応じて、動き検出の処理が実行される。
動き検出処理は、周知慣用の画像解析技術であるので詳細な説明は省略するが、例えばブロックマッチングの方法を用いて実行される。
帯域比が１以下の場合（Ｓ１２：≦１）、すなわち対象画像が参照画像の帯域以上である場合には、予測信号生成器９は、Ｓ１３，Ｓ１４，Ｓ１５の処理を実行して、対象ブロックに対する動きベクトルを検出する。
予測信号生成器９は、帯域比に応じて実行される生成部１０１，１０２，１０３を有する。これら生成部が予測信号の生成に使用する係数列と、動きベクトルの画素精度との対応関係を図４に示す。
図３のＳ１３では、生成部１０１により、整数精度の動きベクトルが検出される（図４の４１に対応）。生成部１０１は、参照画像に、ある画素値をそのまま用いてマッチングをとり、誤差の最も少ないブロックを与える位置にあるブロックの変位を、整数精度の動きベクトルとする。
Ｓ１４では、生成部１０１により、整数精度の動きベクトルが示す位置を中心に、半画素精度の動きベクトルが検出される（図４の４４に対応）。
生成部１０１は、参照画像に、ある画素値を［ｕｈ ｕｈ］の係数で線形補間して半画素精度の画素を生成し、これを用いて対象ブロックとのマッチングをとる。そして、誤差の最も少ない参照ブロックを与える位置にあるブロックの変位を、半画素精度の動きベクトルとする。
例えば、ｕｈ＝１／２であるが、それ以外の線形補間係数を用いてもよい。
Ｓ１５では、生成部１０１により、半画素精度の動きベクトルが示す位置を中心に、１／４画素精度の動きベクトルが検出される（図４の４７に対応）。
生成部１０１は、参照画像に、ある画素値を[ｕｑ ｕｑ ｕｑ ｕｑ]の係数で線形補間して１／４画素精度の画素を生成し、これを用いて対象ブロックとのマッチングをとる。そして、誤差の最も少ない参照ブロックを与える位置にあるブロックの変位を、１／４画素精度の動きベクトルとする。
例えば、ｕｑ＝１／４であるが、それ以外の線形補間係数を用いてもよい。
このように、対象画像が参照画像と同じ帯域である場合、または、大きい帯域である場合には、予測信号生成器９は、従来と同じ手法で、整数、１／２画素精度、及び１／４画素精度の動きベクトルより、最適な動きベクトルを求める。
また、帯域比が１から２の場合（Ｓ１２：１〜２）、すなわち、参照画像の帯域が対象画像の帯域よりも大きいが２倍未満である場合には、予測信号生成器９は、Ｓ１６，Ｓ１７，Ｓ１８の処理を実行して、対象ブロックに対する動きベクトルを検出する。
Ｓ１６では、生成部１０２により、整数精度の動きベクトルが検出される（図４の４２に対応）。生成部１０２は、参照画像に、ある画素値を３つの係数で重み加算した上でマッチングをとり、誤差の最も少ないブロックを与える位置にあるブロックの変位を、整数精度の動きベクトルとする。
係数としては、例えば、[ｗ１ ｗ２ ｗ３]＝［1/3 1/3 1/3］を用いることができるが、それ以外の係数を用いてもよい。
Ｓ１７では、生成部１０２により、整数精度の動きベクトルが示す位置を中心に、半画素精度の動きベクトルが検出される（図４の４５に対応）。
生成部１０２は、参照画像に、ある画素値を［ｗｈ１ ｗｈ２ ｗｈ３ ｗｈ４］の係数で線形補間して半画素精度の画素を生成し、これを用いて対象ブロックとのマッチングをとる。そして、誤差の最も少ない参照ブロックを与える位置にあるブロックの変位を、半画素精度の動きベクトルとする。
例えば、［ｗｈ１ ｗｈ２ ｗｈ３ ｗｈ４］の各係数は、［ｕｈ ｕｈ］と[ｗ１ ｗ２ ｗ３]との関数により与えることができるが、それ以外の線形補間関数を用いても
よい。
Ｓ１８では、生成部１０２により、半画素精度の動きベクトルが示す位置を中心に、１／４画素精度の動きベクトルが検出される（図４の４８に対応）。
生成部１０２は、参照画像に、ある画素値を［ｗｑ１ ｗｑ２ ｗｑ３ ｗｑ４ ｗｑ５ ｗｑ６］の係数で線形補間して１／４画素精度の画素を生成し、これを用いて対象ブロックとのマッチングをとる。そして、誤差の最も少ない参照ブロックを与える位置にあるブロックの変位を、１／４画素精度の動きベクトルとする。 例えば、［ｗｑ１ ｗｑ２ ｗｑ３ ｗｑ４ ｗｑ５ ｗｑ６］の各係数は、［ｕｑ ｕｑ ｕｑ ｕｑ］と［ｗｈ１ ｗｈ２ ｗｈ３ ｗｈ４］との関数により与えることができるが、それ以外の線形補間関数を用いてもよい。
このように、対象画像が参照画像よりも狭い帯域である場合には、予測信号生成器９は、参照画像の帯域を対象画像の帯域に合わせた形で動き検出を行い、整数精度、１／２画素精度、１／４画素精度の動きベクトルの中から、最適な動きベクトルを求める。
さらに、帯域比が２以上の場合（Ｓ１２：２≦）、すなわち、参照画像の帯域が対象画像の帯域よりも２倍以上大きい場合には、予測信号生成器９は、Ｓ１９，Ｓ２０，Ｓ２１の処理を実行して、対象ブロックに対する動きベクトルを検出する。
Ｓ１９では、生成部１０３により、整数精度の動きベクトルが検出される（図４の４３に対応）。生成部１０３は、参照画像に、ある画素値を３つの係数で重み加算した上でマッチングをとり、誤差の最も少ないブロックを与える位置にあるブロックの変位を、整数精度の動きベクトルとする。
係数としては、例えば、[ｖ１ ｖ２ ｖ３]＝［1/4 2/4 1/4］を用いることができるが、それ以外の係数を用いてもよい。
Ｓ２０では、生成部１０３により、整数精度の動きベクトルが示す位置を中心に、半画素精度の動きベクトルが検出される（図４の４６に対応）。
生成部１０３は、参照画像に、ある画素値を［ｖｈ１ ｖｈ２ ｖｈ３ ｖｈ４］の係数で線形補間して半画素精度の画素を生成し、これを用いて対象ブロックとのマッチングをとる。そして、誤差の最も少ない参照ブロックを与える位置にあるブロックの変位を、半画素精度の動きベクトルとする。
例えば、［ｖｈ１ ｖｈ２ ｖｈ３ ｖｈ４］の各係数は、［ｕｈ ｕｈ］と[ｖ１ ｖ２ ｖ３]との関数により与えることができるが、それ以外の線形補間関数を用いてもよい。
Ｓ２１では、生成部１０３により、半画素精度の動きベクトルが示す位置を中心に、１／４画素精度の動きベクトルが検出される（図４の４９に対応）。
生成部１０３は、参照画像に、ある画素値を［ｖｑ１ ｖｑ２ ｖｑ３ ｖｑ４ ｖｑ５ ｖｑ６］の係数で線形補間して１／４画素精度の画素を生成し、これを用いて対象ブロックとのマッチングをとる。そして、誤差の最も少ない参照ブロックを与える位置にあるブロックの変位を、１／４画素精度の動きベクトルとする。
例えば、［ｖｑ１ ｖｑ２ ｖｑ３ ｖｑ４ ｖｑ５ ｖｑ６］の各係数は、［ｕｑ ｕｑ ｕｑ ｕｑ］と［ｖｈ１ ｖｈ２ ｖｈ３ ｖｈ４］との関数により与えることができるが、それ以外の線形補間関数を用いてもよい。
このように、対象画像が参照画像よりも帯域がかなり狭い場合には、予測信号生成器９は、参照画像の帯域を対象画像の帯域に合わせた形で動き検出を行い、整数精度、１／２画素精度、１／４画素精度の動きベクトルの中から、最適な動きベクトルを求める。
参照画像の帯域が対象画像の帯域に合うように求められた動きベクトルは、Ｓ２２において、エントロピー符号化器１１に出力される。
図５に移り、予測信号生成器９の動作を引き続き説明する。
続いて、予測信号生成器９は、上述のように求められた最適な動きベクトルに対して、その精度に応じた予測信号の生成を行う（Ｓ３１）。
例えば、動きベクトルが整数画素精度の場合はＳ３２に進み、１／２画素精度の場合にはＳ３６に、１／４画素精度の場合にはＳ４０にそれぞれ進む。
Ｓ３２では、帯域比に応じた生成部が予測信号を生成する。すなわち、帯域比が１以下である場合には、生成部１０１が予測信号の生成を行い（Ｓ３３、図４の４１に対応）、帯域比が１〜２の間にある場合には、生成部１０２が予測信号を生成する（Ｓ３４、図４の４２に対応）。さらに、帯域比が２以上である場合には、生成部１０３が予測信号の生成を行う（Ｓ３５、図４の４３に対応）。
Ｓ３６，Ｓ４０においても、Ｓ３２と同様に、帯域比に応じた生成部が予測信号を生成する。すなわち、帯域比が１以下である場合には、生成部１０１が予測信号の生成を行い（Ｓ３７，Ｓ４１、図４の４４，４７にそれぞれ対応）、帯域比が１〜２の間にある場合には、生成部１０２が予測信号を生成する（Ｓ３８，Ｓ４２、図４の４５，４８にそれぞれ対応）。さらに、帯域比が２以上である場合には、生成部１０３が予測信号の生成を行う（Ｓ３９，Ｓ４３、図４の４６，４９にそれぞれ対応）。
生成された予測信号は、差分器２と加算器７とに出力される（Ｓ４４）。
なお、第１の実施の形態では、予測信号の各生成部において、生成のための係数を予め用意しておき、動きベクトル精度と帯域比とに応じて生成部が選択される構成を採った。このため、帯域関連情報は、帯域比に関する情報のみとした。しかし、動画像符号化装置１３は、予測信号の生成部を事前に用意することなく、帯域比によって最適な係数を求め、その係数を併せて符号化するものとしてもよい。
かかる態様では、帯域関連情報として、帯域比に加えて、あるいは帯域比の代わりに、予測信号を生成する手段またはそのための係数を出力してもよい。動画像符号化装置１３は、帯域比に応じて生成部を求めることにより、より精度の高い予測信号を求めることができるので、画像圧縮率を一層高めることができる。
また、第１の実施の形態では、一枚若しくは複数枚の画像につき、１つの帯域比に関するデータを出力するものとしたが、これに限らない。すなわち、動画像符号化装置１３は、画像単位でなく、画像を分割したブロック単位で、帯域関連情報を出力してもよい。
さらに、画像の水平方向と垂直方向とに対して、それぞれの帯域データを用いて処理を行ってもよい。この場合、予測信号生成器９は、水平方向と垂直方向とに関して、それぞれの帯域比を求めた後、その帯域比に応じて、方向によって異なる生成部で予測信号を生成する。
また、第１の実施の形態では、１／４画素精度までの動きベクトルで予測信号を生成したが、１／８画素以上の精度で予測信号を生成してもよい。
第１の実施の形態では、帯域関連情報として帯域比を用いたが、その帯域比は、上述の関数とは別の関数で求めてもよい。かかる態様は、予測信号生成時の判定条件を、その別の関数の定義に合わせて設定しなおすことで、実現することができる。
次に、本発明の一実施形態における動画像復号装置について説明する。
図６は、本発明に係る動画像復号装置の構成を示す図である。
第１の実施の形態における動画像復号装置２０は、入力端子２１（入力手段に対応）と、データ解析器２２と、逆量子化器２３と逆変換器２４と（復号手段に対応）、予測信号生成器２５（予測信号生成手段に対応）と、加算器２６（加算手段に対応）と、出力端子２７と、フレームメモリ２８（格納手段に対応）とを備える。これら各構成要素は、バスを介して、相互に信号の入出力が可能なように接続されている。
以下、各構成要素について詳細に説明する。
入力端子２１は、動画像を予測符号化して得られる符号化差分信号のデータ、動きベクトルに関するデータ、及び、帯域関連情報（帯域比を含む）を含む圧縮データを入力する。
データ解析器２２は、入力された圧縮データを解析し、エントロピー復号処理を行うとともに、量子化された変換係数、量子化に関する情報、予測信号の生成に関する動きベクトル、及び、復号対象画像に関する帯域関連情報を抽出する。
逆量子化器２３は、データ解析器２２からバスＢ２２経由で入力された上記変換係数、及び量子化に関する情報から、逆量子化された変換係数を生成する。
逆変換器２４は、逆量子化器２３からバスＢ２３経由で入力された上記変換係数を逆離散コサイン変換し、再生差分信号を生成する。
詳細は後述するが、予測信号生成器２５は、データ解析器２２からバスＢ２２ａ経由で入力された動きベクトルと、バスＢ２２ｂ経由で入力された帯域関連情報とに基づいて、予測信号を生成する。予測信号生成器２５は、上述した予測信号生成器９と同様に、帯域関連情報に含まれている帯域比に応じて実行される生成部１０１，１０２，１０３を有する。これら生成部が予測信号の生成に使用する係数列と、動きベクトルの画素精度との対応関係は、図４に示した通りである。
加算器２６は、逆変換器２４からバスＢ２４を介して入力された再生差分信号と、予測信号生成器２５からバスＢ２５経由で入力された予測信号とを加算する。
出力端子２７は、加算器２６から入力された加算結果を再生画像として出力する。
フレームメモリ２８は、加算器２６からバスＢ２７経由で入力された加算結果を、次画像を復号するための再生画像として格納する。なお、上述のフレームメモリ８と同様に、フレームメモリ２８には、対象画像の帯域に関する情報を、次の画像を復号するために格納しておくようにしてもよい。この場合、帯域関連情報には帯域比ではなく、対象画像が所有する帯域幅に関する情報のみが含まれる。
続いて、図７を参照し、動画像復号装置２０の動作、併せて、動画像復号方法を構成する各ステップを説明する。
Ｔ１では、動画像復号装置２０の入力端子２１に、符号化差分信号のデータと動きベクトルに関するデータ、及び、帯域関連情報を含む圧縮データが入力される。データ解析器２２は、当該圧縮データから、エントロピー復号処理を行うと同時に、量子化された変換係数、量子化に関する情報、予測信号の生成に関する動きベクトル、及び、復号対象画像に関する帯域関連情報を抽出する（Ｔ２）。
予測信号生成器２５では、データ解析器２２から入力された動きベクトルと帯域関連情報とに基づいて、予測信号の生成を行う（Ｔ３）。予測信号の生成方法の詳細に関しては後述する。
一方、量子化された変換係数は、逆量子化器２３により逆量子化された後（Ｔ４）、逆変換器２４により逆離散コサイン変換される。その結果、再生差分信号が生成される（Ｔ５）。
Ｔ３で生成された予測信号と、Ｔ５で生成された再生差分信号とは、加算器２６において加算され、これにより再生画像が生成される（Ｔ６）。この再生画像は、次なる画像の復号のために、フレームメモリ２８に一時的に格納される（Ｔ７）。
Ｔ２〜Ｔ８の一連の処理は、入力された全ての圧縮データに関して復号処理が完了するまで繰り返し実行される（Ｔ８）。
次に、図８を参照して予測信号生成器２５の動作を詳述する。
Ｔ１１では、データ解析器２２から、復号の対象となるブロックの動きベクトルと帯域関連情報とが入力される。帯域関連情報には、対象画像に対する参照画像の帯域比に関する情報が含まれる。
予測信号生成器２５は、入力された動きベクトルに対して、その精度に応じた予測信号の生成を行う（Ｔ１２）。
例えば、動きベクトルが整数画素精度の場合はＴ１３に進み、１／２画素精度の場合にはＴ１７に、１／４画素精度の場合にはＴ２１にそれぞれ進む。
Ｔ１３では、帯域比に応じた生成部が予測信号を生成する。すなわち、帯域比が１以下である場合には、生成部１０１が予測信号の生成を行い（Ｔ１４、図４の４１に対応）、帯域比が１〜２の間にある場合には、生成部１０２が予測信号を生成する（Ｔ１５、図４の４２に対応）。さらに、帯域比が２以上である場合には、生成部１０３が予測信号の生成を行う（Ｔ１６、図４の４３に対応）。
Ｔ１７，Ｔ２１においても、Ｔ１３と同様に、帯域比に応じた生成部が予測信号を生成する。すなわち、帯域比が１以下である場合には、生成部１０１が予測信号の生成を行い（Ｔ１８，Ｔ２２、図４の４４，４７にそれぞれ対応）、帯域比が１〜２の間にある場合には、生成部１０２が予測信号を生成する（Ｔ１９，Ｔ２３、図４の４５，４８にそれぞれ対応）。さらに、帯域比が２以上である場合には、生成部１０３が予測信号の生成を行う（Ｔ２０，Ｔ２４、図４の４６，４９にそれぞれ対応）。
そして、生成された予測信号は、加算器２６に出力される（Ｔ２５）。
なお、第１の実施の形態では、予測信号の各生成部において、生成のための係数を予め用意しておき、動きベクトル精度と帯域比とに応じて生成部が選択される構成を採った。このため、帯域関連情報は、帯域比に関する情報のみとした。しかし、予測信号の生成部を識別する情報が帯域関連情報に含まれる場合には、予測信号生成器２５は、その情報を用いて予測信号を生成してもよい。
また、第１の実施の形態では、一枚若しくは複数枚の画像につき、１つの帯域比に関するデータを入力するものとしたが、これに限らない。すなわち、動画像復号装置２０は、画像単位ではなく、画像を分割したブロック単位で、帯域関連情報を入力してもよい。かかる態様では、予測信号生成器２５は、各ブロックの各帯域関連情報に基づいて予測信号を生成する。
さらに、画像の水平方向と垂直方向とに対して、それぞれの帯域データを入力してもよい。この場合、予測信号生成器２５は、水平方向と垂直方向とに関して、それぞれの帯域比を求めた後、その帯域比に応じて予測信号を生成する。
また、第１の実施の形態では、１／４画素精度までの動きベクトルで予測信号を生成したが、１／８画素以上の精度で予測信号を生成してもよい。
ここで、本発明に係る動画像符号化技術は、コンピュータを動画像符号化装置１３として動作させるための動画像符号化プログラムとして実現することもできる。
図９は、本発明に係る動画像符号化プログラム１１０Ｐの構成を示す図である。動画像符号化プログラム１１０Ｐは、記録媒体１００Ｐに記録されている。記録媒体１００Ｐは、例えば、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいは半導体メモリである。
動画像符号化プログラム１１０Ｐは、図９に示すように、画像入力モジュール１１１Ｐと、画像分析・帯域比計算モジュール１１２Ｐと、予測信号生成モジュール１１３Ｐと、差分信号生成モジュール１１４Ｐと、変換モジュール１１５Ｐと、量子化モジュール１１６Ｐと、逆量子化モジュール１１７Ｐと、逆変換モジュール１１８Ｐと、加算モジュール１１９Ｐと、エントロピー符号化モジュール１２１Ｐとを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した動画像符号化装置１３の入力端子１、帯域分析器１０、予測信号生成器９、差分器２、変換器３、量子化器４、逆量子化器５、逆変換器６、加算器７、エントロピー符号化器１１の各機能とそれぞれ同様である。記憶モジュール１２０Ｐを実行させることによって格納されるデータは、フレームメモリ８に格納されるデータと同様である。
また、本発明に係る動画像復号技術は、コンピュータを動画像復号装置２０として動作させるための動画像復号プログラムとしても実現可能である。
本発明に係る動画像復号プログラム２１０Ｐは、例えば、図１０に示すような構成を採ることができる。動画像復号プログラム２１０Ｐは、記録媒体２００Ｐに記録されている。記録媒体２００Ｐは、例えば、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいは半導体メモリである。
動画像復号プログラム２１０Ｐは、図１０に示すように、圧縮データ入力モジュール２１１Ｐと、エントロピー復号モジュール２１２Ｐと、予測信号生成モジュール２１３Ｐと、逆量子化モジュール２１４Ｐと、逆変換モジュール２１５Ｐと、加算モジュール２１６Ｐとを、構成単位として有する。これら各モジュールを実行させることによって実現する機能は、上述した動画像復号装置２０の入力端子２１、データ解析器２２、予測信号生成器２５、逆量子化器２３、逆変換器２４、加算器２６の有する各機能とそれぞれ同様である。記憶モジュール２１７Ｐを実行させることによって格納されるデータは、フレームメモリ２８に格納されるデータと同様である。
図１１は、記録媒体１００Ｐ，２００Ｐに記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
図１１に示すように、コンピュータ３０は、ＦＤＤ（Floppy Disk Drive）、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置を始めとするデータ読取装置３１と、ＯＳを常駐させるための作業用メモリ（ＲＡＭ：RandomAccess Memory）３２と、記録媒体１００Ｐ，２００Ｐから読み出されたプログラムを記憶するメモリ３３と、表示装置としてのディスプレイ３４と、入力装置としてのマウス３５及びキーボード３６と、データの送受信を行うための通信装置３７と、プログラムの実行を統括的に制御するＣＰＵ３８とを備える。
コンピュータ３０は、記録媒体１００Ｐ，２００Ｐが読取装置３１に挿入されると、読取装置３１を介して、記録媒体１００Ｐ，２００Ｐにそれぞれ記録された動画像符号化プログラム１１０Ｐ、動画像復号プログラム２１０Ｐにアクセス可能となる。コンピュータ３０は、動画像符号化プログラム１１０ＰをＣＰＵ３８により実行することで、上述した動画像符号化装置１３として動作する。同様に、コンピュータ３０は、動画像復号プログラム２１０ＰをＣＰＵ３８により実行することで、上述した動画像復号装置２０として動作することが可能になる。
図１２は、記録媒体１００Ｐ，２００Ｐに記録されているプログラムを実行するためのコンピュータ３０の外観斜視図である。コンピュータ３０には、ＰＣ（Personal Computer）に限らず、ＣＰＵを具備し、ソフトウエアによる情報処理や制御を行うＤＶＤプレーヤ、セットトップボックス、携帯電話などを含む。
図１２に示すように、動画像符号化プログラム１１０Ｐまたは動画像復号プログラム２１０Ｐは、搬送波に重畳されたデータ信号４０として、ネットワーク経由で提供（ダウンロード）されるものであってもよい。この場合、コンピュータ３０は、通信装置３７によって、動画像符号化プログラム１１０Ｐ若しくは動画像復号プログラム２１０Ｐを受信し、メモリ３３に格納した後に、これらのプログラムを実行する。
以上説明したように、本発明に係る動画像符号化復号技術（装置、方法、プログラム）によれば、対象画像の帯域と参照画像の帯域とを測定した上で、これらの帯域を表す帯域関連情報を生成する。そして、該帯域関連情報に基づいて、対象画像の帯域に合う形で、参照画像から、対象画像に対する予測信号を生成する。これにより、対象画像とその予測信号の帯域が同程度になり、参照画像の高周波成分が予測信号に移らなくなる。その結果、圧縮符号化効率が向上する。
つぎに、本発明の第２の実施の形態について、図１３から図２２を用いて説明する。まず、第２の実施形態の動画像符号化装置について説明する。図１３は、動画像符号化装置１３０のブロック図である。この動画像符号化装置１３０は、入力端子１００（入力手段）、空間周波数分析器１０１（空間周波数振幅分析手段）、予測信号生成器１０２（予測信号生成手段）、差分器１０３（差分手段）、変換器１０４（符号化手段）、量子化器１０５（符号化手段）、逆量子化器１０６（復号手段）、逆変換器１０７（復号手段）、加算器１０８（再生画像生成手段）、フレームメモリ１０９（格納手段）、エントロピー符号化器１２０、出力端子１２１（出力手段）を含んで構成される。以下、各構成要素について説明する。
入力端子１００は、動画像データを構成する複数の画像データを入力する端子であって、カメラ、動画像を記憶するメモリなどから出力された動画像データを構成する複数の静止画画像データを一つずつ入力する部分である。なお、入力された画像は、図示しない画像分割部により、所定のサイズの領域に分割される。第２の実施形態では１６×１６画素からなるブロックに分割され、各ブロック単位で圧縮・符号化処理を行なうものとする。
空間周波数分析器１０１は、対象画像と参照画像との振幅の比率または相対的若しくは絶対的な差分を示す空間周波数振幅関連情報（周波数特性関連情報）、すなわち対象画像の空間周波数成分の振幅と参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報を生成する部分である。具体的には、空間周波数分析器１０１は、ラインＬ１０１ａを経由して入力した対象画像と、フレームメモリ１０９からラインＬ１１０を経由して取り出された参照画像信号とのそれぞれの空間周波数振幅を算出する。そして、空間周波数分析器１０１は、算出した対象画像および参照画像に対する空間周波数振幅に関する情報に基づき、対象画像と参照画像との振幅の比率または相対的若しくは絶対的な差分を示す空間周波数振幅関連情報を生成する。空間周波数分析器１０１は、生成した空間周波数振幅関連情報をエントロピー符号化器１２０および予測信号生成器１０２に出力する。
ここで、この空間周波数分析器１０１の詳細な構成について説明する。図１４は、空間周波数分析器１０１のブロック図である。この空間周波数分析器１０１は、空間周波数振幅分析器２０１、空間周波数振幅関連情報生成器２０２、および振幅調整率格納器２０３を含んで構成されている。以下、各構成要素について説明する。
空間周波数振幅分析器２０１は、対象画像の空間周波数振幅および参照画像の空間周波数振幅を算出し、算出した振幅を対象画像の空間周波数および参照画像の空間周波数とともに、空間周波数振幅関連情報生成器２０２にラインＬ２０１を経由して出力する部分である。
すなわち、空間周波数振幅分析器２０１は、ラインＬ１０１ａを経由して符号化の対象となる対象画像と、ラインＬ１１０を経由して該対象画像の予測信号を生成するために参照する参照画像を取得する。参照画像はフレームメモリ１０９に格納され、ラインＬ１１０経由で入力される。第２の実施形態では、１枚の参照画像を対象とするが複数の参照画像を用いてもよい。
空間周波数振幅分析器２０１は、対象画像の空間周波数成分の振幅および参照画像の空間周波数成分の振幅を、対象画像および参照画像に対してフーリエ変換をすることで算出する。具体的には、空間周波数振幅分析器２０１は、対象画像に対して２次元フーリエ変換を施し周波数係数行列を生成し、その周波数係数行列内の係数のパワースペクトルを算出する。つまり、各フーリエ係数の実数項と虚数項の2乗の和の平方根を各空間周波数の空間周波数振幅の大きさとして算出する。なお、空間周波数振幅の算出方法（表現法）は、これに限るものではなく、その他の算出方法を用いても良い。
また、第２の実施形態での空間周波数振幅分析器２０１は、２次元の空間周波数振幅を算出したが、１次元フーリエ変換を用いて空間周波数振幅を算出しても良い。その場合たとえば、水平方向の各１列にフーリエ変換を行って算出してもよい。また、少なくとも１つ以上の垂直、水平、水平垂直以外のある方向に対する空間周波数振幅を対象としてもよい。
また、第２の実施形態では、２次元データを行列として空間周波数振幅を算出したが、１次元のデータ列として算出してもよい。また２次元データの任意の一部を抽出して用いても良い。また、２次元データをたとえばジグザグスキャンなどのソート方法により整列を行い１次元データとして処理を行ってもよい。
また、第２の実施形態では、周波数変換にはフーリエ変換を用いたが、それ以外の離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。さらに、当該参照画像を符号化する際に測定された空間周波数成分振幅情報を空間周波数振幅分析器２０１が格納しておくことによって、参照画像の空間周波数振幅に関する情報を改めて計算しなくてもよい。すなわち、空間周波数振幅分析器２０１が対象画像の空間周波数振幅に関する情報を次の画像を符号化するための参照画像の空間周波数振幅に関する情報として格納しておく。なお、参照画像としてフレームメモリ１０９に格納されている再生された画像を用いているが、該参照画像に対応する原画像（符号・復号がされていない、入力された画像データそのもの）を用いてその空間周波数振幅を計算してもよい。
空間周波数振幅関連情報生成器２０２は、上述したとおり、対象画像の空間周波数および対象画像の空間周波数振幅、ならびに参照画像の空間周波数および参照画像の空間周波数振幅を、空間周波数振幅分析器２０１から取得する。この空間周波数振幅関連情報生成器２０２は、入力された対象画像および参照画像の空間周波数振幅を用いて、以下の式（１）にしたがって振幅比率PR(f_cur)を算出し、ラインＬ１１４経由で予測信号生成器１０２に出力する。振幅比率PR(f_cur)は、対象画像の各空間周波数f_curの空間周波数振幅の大きさP_curおよび参照画像の対応する空間周波数f_refの空間周波数振幅の大きさP_refから算出され、各空間周波数のP_refを100[％]としたときに対する比率を示す関数である。また、空間周波数が０に当たるＤＣ成分に対しては常に１００［％］となるように設定されている。
PR(f_cur)＝100×(P_cur／P_ref） ただし PR(0)=100・・・（１）
なお、第２の実施形態では、空間周波数振幅の相対的な大きさを利用したが、対象画像の空間周波数振幅の大きさP_curと参照画像の空間周波数振幅の大きさP_refの差を利用してもよい。また、P_curとP_refの差やP_curとP_refから求められる他の関数であってもよい。また、第２の実施形態では、空間周波数が０である場合は振幅比率PR(f_cur)=１００と設定したが、空間周波数が０の場合もPR(f_cur)を算出してもよい。
振幅調整率格納器２０３は、対象画像の空間周波数f_curにおけるx［Hz］ごとに、振幅比率PR(f_cur)を調整するための変換テーブルを格納する部分である。例えば、振幅調整率格納器２０３は、対象画像の空間周波数f_curにおけるx［Hz］ごとに、振幅比率PR(f_cur)が比率範囲０％〜１００％の間でy％ごとに、振幅比率PR(f_cur)を変化させるための調整パラメータを、それぞれ対応付けて変換テーブルとして格納する。図１５は、振幅調整率格納器２０３に格納されている変換テーブルを示す図である。図１５に示すように、縦方向に振幅比率、横方向に対象画像の空間周波数の帯域範囲をとり、それぞれ調整パラメータα１からα２５が対応付けられている。
空間周波数振幅関連情報生成器２０２は、この振幅調整率格納器２０３に格納されている調整パラメータをラインＬ２０３を経由して取り出し、振幅比率PR(f_cur)に乗算することで振幅比率を調整し、振幅調整率R(f_cur)として算出する。第２の実施形態ではｘ＝１０、ｙ＝５と設定する。なお、ｘおよびyはこの値に限るものではなく、それ以上でも以下でもよい。また、比率範囲の上限は、第２の実施形態では100％と設定したが、これに限るものではない。また、第２の実施形態における変換テーブルは、１つのテーブルとしたが、例えば階層的なテーブルであってもよい。また、これらの帯域の区分けは人間の感度に基づく空間周波数の範囲であることが望ましい。これらの変換テーブルで規定された周波数帯域範囲と振幅比率とに対応して定められた各調整パラメータの組み合わせ、すなわち変換テーブルに記述されている情報は、空間周波数振幅調整に関する情報としてブロック単位で動画像復号装置に送信される。また、空間周波数振幅調整に関する情報をフレーム単位で動画像復号装置に送信してもよい。また、フレーム全体で１つの調整パラメータとして動画像復号装置に送信してもよい。
また、振幅調整率R(f_cur)の算出の仕方として、上述の方法に限らず、例えば、空間周波数の周波数帯域および振幅比率の所定の範囲ごとに振幅調整率を記憶するマトリクステーブルを備え、予め定めた範囲の振幅比率およびその周波数帯域については、マトリクステーブルで定められた振幅調整率に変換するようにしても良い。具体的には、ある一定の範囲の振幅率、例えば１０％〜１５％の間にある振幅率（例えば１３％とする）であって、その周波数帯域がｆ１であるものが、マトリクステーブルでβ１（例えば１２％とする）を振幅調整率として対応付けて格納されている場合には、周波数帯域がｆ１である振幅率１３％を振幅調整率１２％に変換する。
第２の実施形態では、対象画像の空間周波数に応じた振幅調整率R(f_cur)を設定しているが、空間周波数以外の異なる基準を元にした振幅調整率が設定されていてもよい。たとえば、人間の映像に対する視覚特性を考慮した数値であってもよい。また、動画像に含まれる輝度情報や色差情報などの情報や量子化ステップとの関係を用いても算出されても良い。
また、第２の実施形態では、各動画像の空間周波数と空間周波数振幅の大きさにより振幅調整率R(f_cur)を算出したが、あらかじめ定められた振幅調整率R(f_cur)を設定しておいてもよい。その場合例えば、定められた空間周波数の帯域範囲ごとに決定される空間周波数振幅の増減率やスケーリングファクタのような要素であってもよい。また、第２の実施形態では振幅調整率格納器２０３に格納されている変換テーブルに基づいて振幅調整比率を算出したが、各空間周波数の振幅比率PR（f_cur）を直接利用してもよい。
また、空間周波数振幅関連情報生成器２０２は、外部からの入力情報を受け付ける外部入力部２０４を備え、この外部入力手段から受け付けられた入力情報を用いて振幅調整率R（f_cur）を生成してもよい。その場合、空間周波数振幅関連情報生成器２０２は、映像全体の評価の尺度に基づいて定められた調整パラメータが外部から入力され、振幅調整率を算出することが望ましい。この外部入力部２０４は、必須の構成ではないが、第２の実施形態の動画像符号化装置１３０に備え付けることにより、映像全体を考慮した振幅調整率を生成することができ、より効率の良い符号化を行うことができる。また、この外部入力部２０４は、人が調整パラメータを入力しても良いし、予め設定された評価装置にて評価された情報に基づいて生成された調整パラメータを入力しても良い。
また、第２の実施形態では２フレームの空間周波数に関する情報を用いたが、それに限るものではない。たとえば、動画像全フレームの空間周波数やその平均、最大値、最小値などを用いて算出してもよい。
第２の実施形態ではブロック単位での処理を示したが、フレーム単位での処理を行っても良い。また、第２の実施形態では、空間周波数の変換を行い空間周波数振幅の調整することでコントラストの調整を行ったが、輝度値を用いたコントラスト調整比を算出しておいてもよい。その場合、たとえば、ブロック単位の輝度値の変化量を計算して利用すればよい。また、第２の実施形態では、空間周波数振幅を用いたが空間周波数の他の要素を用いて表現してもよい。
空間周波数振幅関連情報生成器２０２は、振幅調整率R(f_cur)に関する情報を、空間周波数振幅関連情報としてエントロピー符号化器１２０に出力する。エントロピー符号化器１２０は、上述したとおり、入力した空間周波数振幅情報を可変長符号化して、動きベクトル等の情報と共に出力端子１２１を経由して出力する。また、同時に、空間周波数振幅関連情報生成器２０２は、空間周波数振幅関連情報をラインＬ１１４経由で予測信号生成器１０２に送信し、予測信号生成器１０２に保存させる。
図１３に戻り、引き続き、動画像符号化装置１３０について説明する。予測信号生成器１０２は、ラインＬ１０１ｂ経由で入力される符号化の対象となる対象ブロックに基づいて、予測信号（同じく１６×１６画素のブロック）を生成する部分である。この予測信号生成器１０２は、空間周波数分析器１０１にて分析された該対象画像に対する空間周波数振幅に関する情報に基づき、フレームメモリ１０９から取り出した参照画像の空間周波数振幅の調整処理を行い、ブロックごとに予測信号を生成するように動作する。そして、予測信号生成器１０２は、生成した予測信号をラインＬ１１２経由で差分器１０３に出力する。この予測信号生成器１０２は、以下の式（２）に示す演算式により参照画像の空間周波数の振幅調整が行われる。
調整後の参照画像の空間周波数振幅＝参照画像の空間周波数振幅×振幅調整率R（f_ref）／１００・・・（２）
また、予測信号生成器１０２は、参照画像の空間周波数振幅の調整処理を行った後、調整した参照画像に基づいてブロックマッチングの方法を用いて、動画像の動きを検出する。そして、予測信号生成器１０２は、対象ブロックに対する誤差の最も少ない参照ブロックを与える位置を最適な動きベクトルとして算出し、算出した動きベクトルをエントロピー符号化器１２０に出力する。
差分器１０３は、ラインＬ１０１を経由して出力された対象ブロックから予測信号を減算して差分信号を生成する。差分器１０３は、生成した差分信号を変換器１０４に出力する。
変換器１０４は、差分信号に対して離散コサイン変換処理を行うことによって、周波数領域の信号に変換してラインＬ１０４を経由して量子化器１０５に出力し、量子化器１０５は、変換された周波数領域の信号を量子化して、周波数領域の信号の量子化変換係数を得てラインＬ１０５を経由してエントロピー符号化器１２０および逆量子化器１０６に出力する。量子化器１０５は、量子化変換係数における量子化の値を示す量子化情報をあわせてエントロピー符号化器１２０および逆量子化器１０６に出力する。
エントロピー符号化器１２０は、量子化器１０５で量子化された周波数領域の信号である量子化変換係数を、ラインＬ１０５を経由して入力し、ラインＬ１１４を経由して空間周波数分析器１０１で生成された空間周波数振幅関連情報を入力し、ラインＬ１１１を経由して予測信号生成器１０２で生成した動きベクトルを入力する。
そして、エントロピー符号化器１２０は、量子化情報、量子化変換係数、動きベクトル、および空間周波数振幅関連情報を可変長符号に変換し出力端子１２１を介して外部に出力する。なお、エントロピー符号化器１２０は、可変長符号の代わりに算術符号化を適用して処理をしてもよい。
逆量子化器１０６は、量子化変換係数に対して逆量子化処理を行い、ラインＬ１０６を経由して、逆変換器１０７に出力する。逆変換器１０７は、逆量子化されて得られた周波数領域の信号を逆離散コサイン変換することで空間領域の再生差分信号に変換し、ラインＬ１０７を経由して加算器１０８に出力する。
加算器１０８は、再生差分信号に対して、予測信号生成器１０２からラインＬ１０２ａ経由で送られる予測信号を加算し、再生画像を生成する。
フレームメモリ１０９は、加算器１０８で生成された再生画像をラインＬ１０８経由で取得して、次の画像を符号化する際の参照画像として格納する。空間周波数分析器１０１および予測信号生成器１０２は、ラインＬ１０９およびＬ１１０を経由して、フレームメモリ１０９に記憶されている参照画像を取り出すことができる。
以上のとおり、動画像符号化装置１３０は構成されることにより、対象画像と参照画像との間の空間周波数の振幅差の調整を行って動画像データを効率よく符号化することができる。
なお、この動画像符号化装置１３０のエントロピー符号化器１２０は、空間周波数振幅関連情報の符号化処理として、振幅調整率R（f_cur）を符号化しているが、それ以外でも、たとえば調整比率PR（f_cur）の組み合わせを用いた符号化テーブルを用いた符号化などを行っても良い。また、フレーム間の空間周波数関連情報の差分を符号化してもよい。
また、第２の実施形態ではブロック単位での処理を示したが、フレーム単位での処理を行う場合、フレーム単位で画像の調整等を行い、送信すればよい。その場合、フレーム間の振幅調整率を利用して符号化してもよい。また、フレーム間での差分などを利用してもよい。
つぎに、予測信号生成器１０２における予測信号の生成処理について説明する。図１６は、予測信号生成器１０２の処理を示す動作フローチャートである。対象画像の対象ブロック及び参照画像が、それぞれラインＬ１０１ｂとラインＬ１０８経由で予測信号生成器１０２に入力される（Ｓ３０１）。そして、予測信号生成器１０２は、対象画像の空間周波数振幅関連情報に基づいて参照画像の空間周波数振幅の補正処理を行う。具体的には、予測信号生成器１０２は、対象画像の空間周波数振幅関連情報から、調整される空間周波数を用いて振幅調整率を算出する（Ｓ３０３）。算出された振幅調整率は予測信号生成器１０２内に保存される。
つぎに、予測信号生成器１０２は、算出した空間周波数の振幅調整率を用いて参照画像の空間周波数振幅を調整する。具体的には、上述式（２）にしたがって、参照画像の空間周波数振幅に振幅調整率を積算して、調整後の参照画像の空間周波数振幅を算出する（Ｓ３０４）。
第２の実施形態では、振幅調整率Ｒ(f_ref)を積算したが、たとえば時間的に離れた複数参照画像の予測振幅調整率も含めた関数を用いた算出法による調整を行っても良い。また、積算以外にも振幅調整率を用いて参照画像の空間周波数振幅の振幅を調整する手段であれば、どのような方法をとってもよい。
また、予測信号生成器１０２は、その内部に振幅調整率を保存することで、参照画像を複数用いる場合、各参照画像の振幅調整率同士の相対的な振幅比率を算出することができる。また、予測信号生成器１０２は、算出された相対的な振幅比率で時間的に離れた参照画像の空間周波数を調整することで、適切に空間周波数振幅を調整して予測を行うことができる。また、複数参照画像を用いる場合、振幅調整を行う前の画像と行った後の画像の両方を予測候補として予測を行っても良い。その際は、調整の有無を判定する情報も用いて空間周波数振幅情報として符号化を行えばよい。
以上のステップにより、予測信号生成器１０２は、参照画像の空間周波数振幅を調整後、この調整した参照画像に基づいて動き検出の処理を行う。第２の実施形態では、従来と同じようにブロックマッチングの方法を用いて動き検出を行い、対象ブロックに対する誤差の最も少ない参照ブロックを与える位置を最適な動きベクトルとして予測信号を生成する（Ｓ３０５）。予測信号生成器１０２は、このように生成した予測信号を差分器１０３、加算器１０８に出力する（Ｓ３０６）。
なお、第２の実施形態ではブロック単位での空間周波数振幅の処理を示したが、フレーム単位での処理を行っても良い。ブロック単位の場合、動き検出の基準を算出する際に、各ブロックの空間周波数をフーリエ変換で求め、空間周波数振幅の調整を行いながら、予測信号を決定すればよい。また、フレーム単位の場合、参照画像のフレーム全体にフーリエ変換を行い、空間周波数を求め空間周波数振幅の調整を行ってから、予測信号を決定してもよい。また、フーリエ変換後に空間周波数振幅の調整を行い、動き検出の際はフーリエ変換領域で動きベクトルを算出するなどして行っても良い。また、周波数変換は、フーリエ変換に限られるものではなく、離散コサイン変換や離散ウェーブレット変換などの他の周波数変換を用いてもよい。なお、周波数変換は空間周波数振幅の調整に用いた変換であることが望ましい。
つぎに、第２の実施形態の動画像符号化装置１３０の動作について説明する。図１７は動画像符号化装置１３０の動作を示すフローチャートである。まず、入力端子１００を介して符号化対象となる対象画像が入力される（Ｓ４０１）。空間周波数分析器１０１において、対象画像の空間周波数振幅および参照画像の空間周波数振幅が算出され、対象画像の空間周波数振幅関連情報（調整されたもの）が生成される（Ｓ４０２）。空間周波数振幅の算出方法及び調整方法は上述したとおりである。なお、第２の実施形態では、ブロック単位で空間周波数振幅に関するデータを求めるが、フレーム単位で空間周波数振幅に関するデータを求めてもよい。
つぎに、予測信号生成器１０２において、対象画像の空間周波数振幅情報に基づいて参照画像の空間周波数振幅の調整が行われる（Ｓ４０３）。空間周波数振幅が調整された参照画像を用いて動き補償が行われ、最適な動きベクトルとしての予測信号が生成される（Ｓ４０４）。このように求められた予測信号が対象画像から減算されることで差分信号が算出される（Ｓ４０５）。差分信号は離散コサイン変換で変換され、量子化されて量子化変換係数が生成される（Ｓ４０６）。
また、量子化変換係数は逆量子化され逆変換されることで、再生差分信号が生成される（Ｓ４０７）。生成された再生差分信号は予測信号が加算されることで再生画像が生成される（Ｓ４０８）。そして、再生画像及び空間周波数振幅関連情報がフレームメモリ１０９に一時格納されると同時に量子化変換係数、量子化情報、空間周波数振幅関連情報、動きベクトルを含むデータは、エントロピー符号化器１２０において、エントロピー符号化された上で、出力端子１２１を介して出力される（Ｓ４０９）。
なお、第２の実施形態では、ある画像に対しひとつの空間周波数振幅データで表わし、一枚の画像、もしくは複数枚の画像にひとつの空間周波数振幅に関するデータを出力するとしたがそれに限ることではない。画像を分割したブロック単位で空間周波数振幅関連情報を符号化してもよい。
つぎに、第２の実施形態の動画像符号化装置１３０で符号化された動画像を受信して、復号する動画像復号装置６１０について説明する。図１８は第２の実施形態の動画像復号装置６１０のブロック図である。この動画像復号装置６１０は、入力端子６００（入力手段）、データ解析器６０１（抽出手段）、逆量子化器６０２（復号手段）、逆変換器６０３（復号手段）、加算器６０４（加算手段）、フレームメモリ６０６、予測信号生成器６０７（予測信号生成手段）、出力端子６０５（出力手段）を含んで構成されている。以下、各構成要素について説明する。
入力端子６００は、動画像を予測符号化して得られる符号化差分信号である量子化変換係数、量子化の値を示す量子化情報、動きベクトルに関するデータ、および空間周波数振幅関連情報を含む圧縮データを入力する端子である。第２の実施形態では、図１３の動画像符号化装置１３０で処理して得られたデータを動画像復号装置６１０に入力する。
データ解析器６０１は、圧縮データを解析し、エントロピー復号処理を行い、量子化された量子化変換係数、量子化の値を示す量子化情報、予測信号の生成に関する動きベクトル、及び復号の対象となる画像に関する空間周波数振幅関連情報を抽出する部分である。このデータ解析器６０１は、量子化された変換係数及び量子化の値を示す量子化情報を、ラインＬ６０２経由で逆量子化器６０２に出力する。また、データ解析器６０１は、動きベクトル、および空間周波数振幅関連情報を、それぞれラインＬ６０９およびＬ６１０経由して予測信号生成器６０７に出力する。
逆量子化器６０２は、量子化の値を示す量子化情報に基づいて、量子化された量子化変換係数を逆量子化することで変換係数を生成する部分である。逆量子化器６０２は、ラインＬ６０３を経由して、逆変換器６０３に出力する。逆変換器６０３は、逆量子化器６０２により逆量子化された変換係数を逆離散コサイン変換で変換し再生差分信号を生成する部分である。逆変換器６０３は、生成した再生差分信号をラインＬ６０４経由で加算器６０４に出力する。
加算器６０４は、再生差分信号と予測信号とを加算し再生画像としてラインＬ６０５を経由して出力端子６０５に出力すると同時に、ラインＬ６０６を経由してフレームメモリ６０６に出力する部分である。
予測信号生成器６０７は、動きベクトルおよび空間周波数振幅関連情報に基づいて、フレームメモリ６０６に格納されている再生画像から予測信号を生成する部分である。予測信号生成器６０７は、生成した予測信号を加算器６０４に出力する。なお、予測信号生成器６０７は、動画像符号化装置１３０から空間周波数振幅関連情報として、調整された空間周波数振幅関連情報および調整パラメータを受信し、調整パラメータに基づいて空間周波数関連情報（振幅調整率R（f_ref））を用いて予測信号を生成する。
フレームメモリ６０６は、加算器６０４から出力された再生画像を格納する部分である。予測信号生成器６０７は、このフレームメモリ６０６に格納された再生画像は取り出すことができる。
つぎに、予測信号生成器６０７の予測信号の生成処理を説明する。図１９は、予測信号生成器６０７の動作を示すフローチャートである。予測信号生成器６０７は、データ解析器６０１より出力された空間周波数振幅関連情報および各復号の対象となる対象ブロックの動きベクトルを入力する（Ｓ７０１）。第２の実施形態では、空間周波数振幅関連情報には復号の対象となる対象画像の空間周波数振幅に関する情報が含まれる。
つぎに、予測信号生成器６０７は、対象画像の空間周波数振幅関連情報に基づいて空間周波数の振幅調整率を算出する（Ｓ７０２）。そして、予測信号生成器６０７は、算出した振幅調整率を、フレームメモリ６０６に格納されている再生画像の空間周波数に積算し、再生画像の空間周波数振幅を調整する（Ｓ７０３）。予測信号生成器６０７は、空間周波数振幅を調整した再生画像と動きベクトルとに基づいて予測信号を生成する（Ｓ７０４）。予測信号生成器６０７は、このように生成した予測信号を加算器６０４に出力する（Ｓ７０５）。
なお、第２の実施形態では再生画像の空間周波数振幅の調整を行ってから予測信号を生成したが、調整を行いながら予測信号を生成しても良い。
つぎに、第２の実施形態の動画像復号装置６１０の動作について説明する。図２０は動画像復号装置６１０の動作を示すフローチャートである。符号化差分信号である量子化変換係数のデータ、量子化情報、動きベクトルに関するデータ、および空間周波数振幅関連情報を含む圧縮データがデータ解析器６０１に入力される（Ｓ８０１）。データ解析器６０１では、エントロピー復号処理が行われ、量子化された量子化変換係数、量子化の値を示す量子化情報、予測信号の生成に関する動きベクトル、及び復号の対象となる画像に関する空間周波数振幅関連情報が抽出される（Ｓ８０２）。データ解析器６０１により抽出された動きベクトルおよび空間周波数振幅関連情報に基づいて予測信号が、予測信号生成器６０７により生成される（Ｓ８０３）。詳細については図１９を用いて説明したとおりである。
つぎに、逆量子化器６０２により、動画像符号化装置１３０において量子化された変換係数が逆量子化され、逆量子化された変換係数が生成される（Ｓ８０４）。逆量子化された変換係数は、逆変換器６０３により逆離散コサイン変換処理され、再生差分信号が生成される（Ｓ８０５）。ここで生成された再生差分信号に対して、Ｓ８０３で生成された予測信号が、加算器６０４において加算されることで再生画像が生成される（Ｓ８０６）。生成された再生画像は、次の画像の復号のため、参照画像としてフレームメモリ６０６に一時格納される（Ｓ８０７）。この処理は全てのデータが復号されるまで繰り返される（Ｓ８０８）。
なお、第２の実施形態では、ある画像に対しひとつの空間周波数振幅データで表わし、一枚の画像、もしくは複数枚の画像にひとつの空間周波数振幅に関するデータを受信するとしたがそれに限ることではない。画像を分割したブロック単位で空間周波数振幅関連情報を受信してもよい。その場合各ブロックについてそれぞれの空間周波数振幅関連情報に基づいて予測信号を生成する。
次に、コンピュータを第２の実施形態における動画像符号化装置１３０として動作させるための動画像符号化プログラムについて説明する。図２１は第２の発明の実施形態による動画像符号化プログラム５１の構成を、記録媒体５０Ｐと共に示す図である。記録媒体５０Ｐとしては、フロッピーディスク（登録商標）、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が挙げられる。当該動画像符号化プログラム５１Ｐによって、コンピュータが第２の実施形態の動画像符号化装置１３０として動作することが可能になる。
図２１に示すように、動画像符号化プログラム５１Ｐは、画像入力モジュール５００Ｐと、画像分析・空間周波数振幅比計算モジュール５０１Ｐと、予測信号生成モジュール５０２Ｐと、差分信号生成モジュール５０３Ｐと、変換モジュール５０４Ｐと、量子化モジュール５０５Ｐと、逆量子化モジュール５０６Ｐと、逆変換モジュール５０７Ｐと、加算モジュール５０８Ｐと、記憶モジュール５０９Ｐと、エントロピー符号化モジュール５１０Ｐと、を備えている。
それぞれ図１３に示した動画像符号化装置１３０との対応について、入力端子１００が画像入力モジュール５００Ｐに対応し、空間周波数分析器１０１が画像分析・空間周波数振幅比計算モジュール５０１Ｐに対応し、予測信号生成器１０２が予測信号生成モジュール５０２Ｐに対応し、差分器１０３が差分信号生成モジュール５０３Ｐに対応し、変換器１０４が変換モジュール５０４Ｐに対応し、量子化器１０５が量子化モジュール５０５Ｐに対応し、逆量子化器１０６が逆量子化モジュール５０６Ｐに対応し、逆変換器１０７が逆変換モジュール５０７Ｐに対応し、加算器１０８が加算モジュール５０８Ｐに対応し、フレームメモリ１０９が記憶モジュール５０９Ｐに対応し、エントロピー符号化器１２０がエントロピー符号化モジュール５１０Ｐに対応し、後述するコンピュータシステムと協働することにより、上述した符号処理と同様の処理が実行される。
次に、コンピュータを第２の実施形態による動画像復号装置６１０として動作させるための動画像復号プログラム９１Ｐについて説明する。図２２は第２の実施形態による動画像復号プログラム９１Ｐの構成を、記録媒体９０Ｐと共に示す図である。当該動画像復号プログラム９１Ｐによって、コンピュータが第２の実施形態による動画像復号装置６１０として動作することが可能になる。
図２２に示すように、動画像復号プログラム９１Ｐは、圧縮データ入力モジュール９００Ｐと、エントロピー復号モジュール９０１Ｐと、予測信号生成モジュール９０２Ｐと、逆量子化モジュール９０３Ｐと、逆変換モジュール９０４Ｐと、加算モジュール９０５Ｐと、記憶モジュール９０６Ｐと、を備えている。
それぞれ図１８に示した動画像復号装置６１０との対応において、入力端子６００は圧縮データ入力モジュール９００Ｐに対応し、データ解析器６０１はエントロピー復号モジュール９０１Ｐに対応し、予測信号生成器６０７は予測信号生成モジュール９０２Ｐに対応し、逆量子化器６０２は逆量子かモジュール９０３Ｐに対応し、逆変換器６０３は逆量子化変換モジュール９０４Ｐに対応し、加算器６０４は加算モジュール９０５Ｐに対応し、フレームメモリ６０６は記憶モジュール９０６Ｐに対応して後述するコンピュータシステムと協働することにより、上述した復号処理と同様の処理が実行される。
図１１に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置３１と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）３２と、記録媒体に記憶されたプログラムを記憶するメモリ３３と、ディスプレイ３４と、入力装置であるマウス３５及びキーボード３６と、データ等の送受を行うための通信装置３７と、プログラムの実行を制御するＣＰＵ３８とを備えている。コンピュータ３０は、記録媒体が読取装置３１に挿入されると、読取装置３１から記録媒体に格納された動画像符号化プログラム５１Ｐもしくは動画像復号プログラム９１Ｐにアクセス可能になり、当該動画像符号化プログラム５１Ｐもしくは動画像復号プログラム９１Ｐによって、第２の実施形態の動画像符号化装置１３０もしくは動画像復号装置６１０として動作することが可能になる。
図１１に示すように、動画像符号化プログラム５１Ｐもしくは動画像復号プログラム９１Ｐは、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置３７によって受信した動画像符号化プログラム５１Ｐもしくは動画像復号プログラム９１Ｐをメモリ３３に格納し、当該動画像符号化プログラム５１Ｐもしくは動画像復号プログラム９１Ｐを実行することができる。
つぎに、上述した動画像符号化装置１３０および動画像復号装置６１０の作用効果について説明する。
動画像符号化装置１３０は、動画像を構成する複数の画像から、符号化の対象となる対象画像を入力端子１００を介して入力する。一方、フレームメモリ１０９は、入力端子１００を介して入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する。そして、空間周波数分析器１０１は、入力された対象画像の空間周波数成分の振幅およびフレームメモリ１０９に格納されている参照画像の空間周波数成分の振幅に基づいて、対象画像の空間周波数成分の振幅と参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報、例えば振幅比率を含んだ情報を生成する。
空間周波数分析器１０１で生成された空間周波数振幅関連情報に基づいて参照画像の空間周波数成分の振幅を調整して、予測信号生成器１０２は、調整された参照画像に基づいて前記対象画像に対する予測信号を生成する。差分器１０３は、入力された対象画像と生成された予測信号との差分に基づいて差分信号を生成する。変換器１０４、量子化器１０５は、生成された差分信号を符号化して符号化差分信号を生成する。一方、逆量子化器１０６および逆変換器１０７は、生成された符号化差分信号を復号して復号差分信号を生成する。
加算器１０８は、復号差分信号に予測信号を加算して再生画像を生成し、再生画像を参照画像としてフレームメモリ１０９に格納させる。一方、エントロピー符号化器１２０は、符号化された符号化差分信号および空間周波数振幅関連情報をエントロピー符号化して出力する。
これにより、対象画像とその予測信号の空間周波数振幅が同程度になり、参照画像の空間周波数成分の過不足が予測信号に影響しないため、効率よく圧縮できる。
また、動画像符号化装置１３０は、その空間周波数分析器１０１内に、外部から空間周波数振幅関連情報の生成に必要な情報を入力することができる外部入力部２０４を備え、入力した情報に基づいて空間周波数振幅関連情報を生成することができる。このため、映像全体の評価の尺度に基づいて定められた調整パラメータを外部から入力することができ、映像全体を考慮した振幅調整率を生成するとともに、より効率の良い符号化を行うことができる。
また、動画像符号化装置１３０は、空間周波数成分に応じて定められた調整パラメータを振幅調整率・BR>I納器２０３に格納させ、この格納されている調整パラメータに基づいて空間周波数振幅関連情報を調整することができ、より効率の良い符号化を行うことができる。
また、動画像復号装置６１０は、あらかじめフレームメモリ６０６に復号のための再生画像を格納しておく。そして、入力端子６００を介して動画像を予測符号化して得られる符号化差分信号および画像の空間周波数振幅関連情報を含む符号化データを入力する。そして、データ解析器６０１は、入力された符号化データから空間周波数振幅関連情報および符号化差分信号を抽出し、予測信号生成器６０７は、データ解析器６０１において抽出された空間周波数振幅関連情報に基づいて、前記格納手段に格納されている再生画像の振幅を調整して、予測信号を生成する。
また、逆量子化器６０２および逆変換器６０３は抽出された符号化差分信号を復号して復号差分信号を生成し、加算器６０４は予測信号を復号差分信号に加算して再生画像を生成する。生成された再生画像を出力端子６０５に出力し、またフレームメモリ６０６に格納させる。
これにより、対象画像とその予測信号の空間周波数振幅が同程度になって効率よく圧縮された符号化データを復号することができる。
また、動画像復号装置６１０は、上述の動画像符号化装置１３０において調整された空間周波数関連情報および調整パラメータに基づいて予測信号を生成することができ、効率よく符号化されたデータを復号することができる。
上述の第１の実施形態および第２の実施形態においては、周波数特性として、帯域または空間周波数成分の振幅を用いたが、これに限るものではない。すなわち、周波数特性として、電力、コントラストなど周波数特性を表すパラメータであればよく、周波数特性関連情報として、帯域比、空間周波数成分の振幅を調整するための情報のほか、対象画像と参照画像との周波数特性を調整するための情報であれば良く、例えば電力、コントラストなどを用いた周波数特性を調整するための情報であれば良い。

Claims (28)

  1. 動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力手段と、
    前記対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、
    前記対象画像の周波数特性と前記参照画像の周波数特性とを測定し、前記対象画像の周波数特性と前記参照画像の周波数特性との相対関係を示す情報を表す周波数特性関連情報を生成する周波数特性分析手段と、
    前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成手段と、
    前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分手段と、
    前記差分信号を符号化して符号化差分信号を生成する符号化手段と、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に前記予測信号を加算して再生画像を生成し、当該再生画像を格納する前記格納手段が後段に接続する加算手段と、
    少なくとも前記符号化差分信号と前記周波数特性関連情報とを出力する出力手段と
    を備えることを特徴とする動画像符号化装置。
  2. 前記予測信号生成手段は、前記周波数特性関連情報に応じた予測信号の生成方法を導出して前記参照画像から前記予測信号を生成し、
    前記周波数特性関連情報は、前記予測信号の生成方法に関する情報を含む
    ことを特徴とする請求項１に記載の動画像符号化装置。
  3. 前記予測信号生成手段は、少なくとも２種類の予測信号生成方法の中から、前記周波数特性関連情報に応じた予測信号の生成方法を選定して、前記参照画像から前記予測信号を生成し、
    前記周波数特性関連情報は、前記予測信号の生成方法に関する情報を含む
    ことを特徴とする請求項１に記載の動画像符号化装置。
  4. 前記参照画像の周波数特性を測定する代わりに、参照画像が対象画像として処理される際に測定された周波数特性情報を記憶する記憶手段をさらに備え、前記対象画像の周波数特性および前記記憶手段に記憶されている周波数特性情報に基づいて予測信号を生成することを特徴とする請求項１から３のいずれか１項に記載の動画像符号化装置。
  5. 動画像を予測符号化して得られる符号化差分信号と周波数特性関連情報とを含む圧縮データを入力する入力手段と、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に対する予測信号を生成する予測信号生成手段と、
    前記復号差分信号に前記予測信号を加算して再生画像を生成する加算手段と、
    前記予測信号を生成するために用いられる参照画像を格納する格納手段と
    を備え、
    前記周波数特性関連情報は、前記再生画像の周波数特性と前記参照画像の周波数特性との相対関係を示す情報を表し、
    前記予測信号生成手段は、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成することを特徴とする動画像復号装置。
  6. 前記周波数特性関連情報は、前記予測信号の生成方法に関する予測信号生成関連情報を含み、
    前記予測信号生成手段は、前記予測信号生成関連情報に基づいて、前記参照画像から、前記予測信号を生成することを特徴とする請求項５に記載の動画像復号装置。
  7. 前記周波数特性関連情報は、前記予測信号の生成方法に関する予測信号生成関連情報を含み、
    前記予測信号生成手段は、前記予測信号生成関連情報に基づいて、少なくとも２種類の予測信号生成方法の中から前記予測信号の生成方法を選定して、前記参照画像から前記予測信号を生成することを特徴とする請求項５に記載の動画像復号装置。
  8. 前記周波数特性関連情報は、前記予測信号の生成方法に関する予測信号生成関連情報を含み、
    前記予測信号生成手段は、前記予測信号生成関連情報に基づいて、予め用意されている、少なくとも２種類の予測信号生成方法の中から前記予測信号の生成方法を選定して、前記参照画像から前記予測信号を生成することを特徴とする請求項５に記載の動画像復号装置。
  9. 前記参照画像を復号化する際に測定された周波数特性情報を記憶する記憶手段をさらに備え、
    前記予測信号生成手段は、前記記憶手段に記憶されている周波数特性情報および再生画像の周波数特性に基づいて予測信号を生成することを特徴とする請求項５から８のいずれか１項に記載の動画像復号装置。
  10. 動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力ステップと、
    前記対象画像に対する予測信号を生成するために用いられる参照画像を格納手段に格納させる格納ステップと、
    前記対象画像の周波数特性と前記参照画像の周波数特性とを測定し、前記対象画像の周波数特性と前記参照画像の周波数特性との相対関係を示す情報を表す周波数特性関連情報を生成する周波数特性分析ステップと、
    前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成ステップと、
    前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分ステップと、
    前記差分信号を符号化して符号化差分信号を生成する符号化ステップと、
    前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    前記復号差分信号に前記予測信号を加算して再生画像を生成し、当該再生画像を格納する前記格納手段が後段に接続する加算ステップと、
    少なくとも前記符号化差分信号と前記周波数特性関連情報とを出力する出力ステップと
    を備えることを特徴とする動画像符号化方法。
  11. 動画像を予測符号化して得られる符号化差分信号と周波数特性関連情報とを含む圧縮データを入力する入力ステップと、
    前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    前記復号差分信号に対する予測信号を生成する予測信号生成ステップと、
    前記復号差分信号に前記予測信号を加算して再生画像を生成する加算ステップと、
    前記予測信号を生成するために用いられる参照画像を格納手段に格納させる格納ステップと
    を備え、
    前記周波数特性関連情報は、前記再生画像の周波数特性と前記参照画像の周波数特性との相対関係を示す情報を表し、
    前記予測信号生成ステップは、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成することを特徴とする動画像復号方法。
  12. 動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力処理と、
    前記対象画像に対する予測信号を生成するために用いられる参照画像を格納手段に格納させる格納処理と、
    前記対象画像の周波数特性と前記参照画像の周波数特性とを測定し、前記対象画像の周波数特性と前記参照画像の周波数特性との相対関係を示す情報を表す周波数特性関連情報を生成する周波数特性分析処理と、
    前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成処理と、
    前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分処理と、
    前記差分信号を符号化して符号化差分信号を生成する符号化処理と、
    前記符号化差分信号を復号して復号差分信号を生成する復号処理と、
    前記復号差分信号に前記予測信号を加算して再生画像を生成し、当該再生画像を格納する前記格納手段が後段に接続する加算処理と、
    少なくとも前記符号化差分信号と前記周波数特性関連情報とを出力する出力処理と
    をコンピュータに実行させることを特徴とする動画像符号化プログラム。
  13. 動画像を予測符号化して得られる符号化差分信号と周波数特性関連情報とを含む圧縮データを入力する入力処理と、
    前記符号化差分信号を復号して復号差分信号を生成する復号処理と、
    前記復号差分信号に対する予測信号を生成する予測信号生成処理と、
    前記復号差分信号に前記予測信号を加算して再生画像を生成する加算処理と、
    前記予測信号を生成するために用いられる参照画像を格納手段に格納させる格納処理と
    をコンピュータに実行させ、
    前記周波数特性関連情報は、前記再生画像の周波数特性と前記参照画像の周波数特性との相対関係を示す情報を表し、
    前記予測信号生成処理は、前記周波数特性関連情報に基づいて、前記参照画像から、前記予測信号を生成することを特徴とする動画像復号プログラム。
  14. 動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力手段と、
    前記対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、
    前記対象画像の帯域と前記参照画像の帯域とを測定し、前記対象画像の帯域と前記参照画像の帯域との相対関係を示す情報を表す帯域関連情報を生成する帯域分析手段と、
    前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成手段と、
    前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分手段と、
    前記差分信号を符号化して符号化差分信号を生成する符号化手段と、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に前記予測信号を加算して再生画像を生成し、当該再生画像を格納する前記格納手段が後段に接続する加算手段と、
    少なくとも前記符号化差分信号と前記帯域関連情報とを出力する出力手段と
    を備えることを特徴とする動画像符号化装置。
  15. 動画像を予測符号化して得られる符号化差分信号と帯域関連情報とを含む圧縮データを入力する入力手段と、
    前記符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号差分信号に対する予測信号を生成する予測信号生成手段と、
    前記復号差分信号に前記予測信号を加算して再生画像を生成する加算手段と、
    前記予測信号を生成するために用いられる参照画像を格納する格納手段と
    を備え、
    前記帯域関連情報は、前記再生画像の帯域と前記参照画像の帯域との相対関係を示す情報を表し、
    前記予測信号生成手段は、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成することを特徴とする動画像復号装置。
  16. 動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力ステップと、
    前記対象画像に対する予測信号を生成するために用いられる参照画像を格納手段に格納させる格納ステップと、
    前記対象画像の帯域と前記参照画像の帯域とを測定し、前記対象画像の帯域と前記参照画像の帯域との相対関係を示す情報を表す帯域関連情報を生成する帯域分析ステップと、
    前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成ステップと、
    前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分ステップと、
    前記差分信号を符号化して符号化差分信号を生成する符号化ステップと、
    前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    前記復号差分信号に前記予測信号を加算して再生画像を生成する加算ステップと、
    当該再生画像を前記格納手段に格納させる格納ステップと、
    少なくとも前記符号化差分信号と前記帯域関連情報とを出力する出力ステップと
    を含むことを特徴とする動画像符号化方法。
  17. 動画像を予測符号化して得られる符号化差分信号と帯域関連情報とを含む圧縮データを入力する入力ステップと、
    前記符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    前記復号差分信号に対する予測信号を生成する予測信号生成ステップと、
    前記復号差分信号に前記予測信号を加算し再生画像を生成する加算ステップと、
    前記予測信号を生成するために用いられる参照画像を格納手段に格納させる格納ステップと
    を含み、
    前記帯域関連情報は、前記再生画像の帯域と前記参照画像の帯域との相対関係を示す情報を表し、
    前記予測信号生成ステップは、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成することを特徴とする動画像復号方法。
  18. 動画像を構成する複数の画像のうち、符号化の対象となる対象画像を入力する入力処理と、
    前記対象画像に対する予測信号を生成するために用いられる参照画像を格納手段に格納させる格納処理と、
    前記対象画像の帯域と前記参照画像の帯域とを測定し、前記対象画像の帯域と前記参照画像の帯域との相対関係を表す帯域関連情報を生成する帯域分析処理と、
    前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成する予測信号生成処理と、
    前記対象画像と前記予測信号との差分を求めて差分信号を生成する差分処理と、
    前記差分信号を符号化して符号化差分信号を生成する符号化処理と、
    前記符号化差分信号を復号して復号差分信号を生成する復号処理と、
    前記復号差分信号に前記予測信号を加算して再生画像を生成する加算処理と、
    当該再生画像を前記格納手段に格納させる格納処理と、
    少なくとも前記符号化差分信号と前記帯域関連情報とを出力する出力処理と
    をコンピュータに実行させることを特徴とする動画像符号化プログラム。
  19. 動画像を予測符号化して得られる符号化差分信号と帯域関連情報とを含む圧縮データを入力する入力処理と、
    前記符号化差分信号を復号して復号差分信号を生成する復号処理と、
    前記復号差分信号に対する予測信号を生成する予測信号生成処理と、
    前記復号差分信号に前記予測信号を加算し再生画像を生成する加算処理と、
    前記予測信号を生成するために用いられる参照画像を格納手段に格納させる格納処理とをコンピュータに実行させ、
    前記帯域関連情報は、前記再生画像の帯域と前記参照画像の帯域との相対関係を示す情報を表し、
    前記予測信号生成処理は、前記帯域関連情報に基づいて、前記参照画像から、前記予測信号を生成することを特徴とする動画像復号プログラム。
  20. 動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力手段と、
    前記入力手段により入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納手段と、
    前記入力手段により入力された対象画像の空間周波数成分の振幅および前記格納手段に格納されている参照画像の空間周波数成分の振幅に基づいて、前記対象画像の空間周波数成分の振幅と前記参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報を生成する空間周波数振幅分析手段と、
    空間周波数振幅分析手段に生成された空間周波数振幅関連情報に基づいて前記参照画像の空間周波数成分の振幅を調整して、前記調整された参照画像に基づいて前記対象画像に対する予測信号を生成する予測信号生成手段と、
    前記入力手段により入力された対象画像と前記予測信号生成手段により生成された予測信号との差分に基づいて差分信号を生成する差分手段と、
    前記差分手段により生成された差分信号を符号化して符号化差分信号を生成する符号化手段と、
    前記符号化手段により符号化された符号化差分信号および前記空間周波数振幅分析手段により生成された空間周波数振幅関連情報を出力する出力手段と、
    前記符号化手段により生成された符号化差分信号を復号して復号差分信号を生成する復号手段と、
    前記復号手段により生成された復号差分信号に前記予測信号生成手段により生成された予測信号を加算して再生画像を生成し、生成した再生画像を参照画像として前記格納手段に格納させる再生画像生成手段と、
    を備えることを特徴とする動画像符号化装置。
  21. 前記空間周波数振幅分析手段は、前記空間周波数振幅関連情報の生成に必要な情報を外部から入力する外部入力手段をさらに備え、
    前記空間周波数振幅分析手段は、前記対象画像の空間周波数成分の振幅および前記参照画像の空間周波数成分の振幅に前記外部入力手段から入力された情報を加えて空間周波数振幅関連情報を生成することを特徴とする請求項２０に記載の動画像符号化装置。
  22. 前記空間周波数振幅分析手段は、対象画像の空間周波数成分に応じて定められた調整パラメータに基づいて前記空間周波数振幅関連情報を調整して、調整した空間周波数振幅関連情報および調整パラメータを空間周波数振幅関連情報として生成することを特徴とする請求項２０または２１に記載の動画像符号化装置。
  23. 復号のための参照画像である再生画像を格納する格納手段と、
    動画像を予測符号化して得られる符号化差分信号および画像の空間周波数振幅関連情報を含む符号化データを入力する入力手段と、
    前記入力手段により入力された符号化データから空間周波数振幅関連情報および符号化差分信号を抽出する抽出手段と、
    前記抽出手段により抽出された空間周波数振幅関連情報に基づいて、前記格納手段に格納されている再生画像の振幅を調整して、予測信号を生成する予測信号生成手段と、
    前記抽出手段により抽出された符号化差分信号を復号して復号差分信号を取得する復号手段と、
    前記予測信号生成手段により生成された予測信号を、前記復号手段により取得された復号差分信号に加算して再生画像を生成する加算手段と、
    前記加算手段により取得された再生画像を出力端子および前記格納手段に出力する出力手段と、
    備える動画像復号装置。
  24. 前記入力手段は、空間周波数振幅関連情報として調整された空間周波数関連情報および調整パラメータを入力し、前記予測信号生成手段は、前記入力手段により入力された空間周波数振幅関連情報および調整パラメータに基づいて予測信号を生成することを特徴とする請求項２２記載の動画像復号装置。
  25. 動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力ステップと、
    前記入力ステップにより入力された対象画像の空間周波数成分の振幅および前記入力ステップにより入力された対象画像に対する予測信号を生成するために用いられる参照画像の空間周波数成分の振幅に基づいて、前記対象画像の空間周波数成分の振幅と前記参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報を生成する空間周波数振幅分析ステップと、
    前記空間周波数振幅分析ステップに生成された空間周波数振幅関連情報に基づいて前記参照画像の空間周波数成分の振幅を調整して、前記調整された参照画像に基づいて前記対象画像に対する予測信号を生成する予測信号生成ステップと、
    前記入力ステップにより入力された対象画像と前記予測信号生成ステップにより生成された予測信号との差分に基づいて差分信号を生成する差分ステップと、
    前記差分ステップにより生成された差分信号を符号化して符号化差分信号を生成する符号化ステップと、
    前記符号化ステップにより符号化された符号化差分信号および前記空間周波数振幅分析ステップにより生成された空間周波数振幅関連情報を出力する出力ステップと、
    前記符号化ステップにより生成された符号化差分信号を復号して復号差分信号を生成する復号ステップと、
    前記復号ステップにより生成された復号差分信号に前記予測信号生成ステップにより生成された予測信号を加算して再生画像を生成し、生成した再生画像を参照画像として格納させる再生画像生成ステップとを備えることを特徴とする動画像符号化方法。
  26. 動画像を予測符号化して得られる符号化差分信号および画像の空間周波数振幅関連情報を含む符号化データを入力する入力ステップと、
    前記入力ステップにより入力された符号化データから空間周波数振幅関連情報および符号化差分信号を抽出する抽出ステップと、
    前記抽出ステップにより抽出された空間周波数振幅関連情報に基づいて、格納手段に参照画像として格納されている再生画像の振幅を調整して、予測信号を生成する予測信号生成ステップと、
    前記抽出ステップにより抽出された符号化差分信号を復号して復号差分信号を取得する復号ステップと、
    前記予測信号生成ステップにより生成された予測信号を、前記復号ステップにより取得された復号差分信号に加算して再生画像を生成する加算ステップと、
    前記加算ステップにより取得された再生画像を出力端子および復号のための再生画像を格納する格納に出力する出力ステップと、
    備える動画像復号方法。
  27. 動画像を構成する複数の画像から、符号化の対象となる対象画像を入力する入力モジュールと、
    前記入力モジュールにより入力された対象画像に対する予測信号を生成するために用いられる参照画像を格納する格納モジュールと、
    前記入力モジュールにより入力された対象画像の空間周波数成分の振幅および前記格納モジュールに格納されている参照画像の空間周波数成分の振幅に基づいて、前記対象画像の空間周波数成分の振幅と前記参照画像の空間周波数成分の振幅との差を調整するための空間周波数振幅関連情報を生成する空間周波数振幅分析モジュールと、
    空間周波数振幅分析モジュールに生成された空間周波数振幅関連情報に基づいて前記参照画像の空間周波数成分の振幅を調整して、前記調整された前記参照画像に基づいて前記対象画像に対する予測信号を生成する予測信号生成モジュールと、
    前記入力モジュールにより入力された対象画像と前記予測信号生成モジュールにより生成された予測信号との差分に基づいて差分信号を生成する差分モジュールと、
    前記差分モジュールにより生成された差分信号を符号化して符号化差分信号を生成する符号化モジュールと、
    前記符号化モジュールにより生成された符号化差分信号を復号して復号差分信号を生成する復号モジュールと、
    前記復号モジュールにより生成された復号差分信号に前記予測信号生成モジュールにより生成された予測信号を加算して再生画像を生成し、生成した再生画像を参照画像として前記格納モジュールに格納させる再生画像生成モジュールと、
    前記符号化モジュールにより符号化された符号化差分信号および前記空間周波数振幅分析モジュールにより生成された空間周波数振幅関連情報を出力する出力モジュールと、
    を備えることを特徴とする動画像符号化プログラム。
  28. 復号のための参照画像として再生画像を格納する格納モジュールと、
    動画像を予測符号化して得られる符号化差分信号および画像の空間周波数振幅関連情報を含む符号化データを入力する入力モジュールと、
    前記入力モジュールにより入力された符号化データから空間周波数振幅関連情報および符号化差分信号を抽出する抽出モジュールと、
    前記抽出モジュールにより抽出された空間周波数振幅関連情報に基づいて、前記格納モジュールに格納されている再生画像の振幅を調整して、予測信号を生成する予測信号生成モジュールと、
    前記抽出モジュールにより抽出された符号化差分信号を復号して復号差分信号を取得する復号モジュールと、
    前記予測信号生成モジュールにより生成された予測信号を、前記復号モジュールにより取得された復号差分信号に加算して再生画像を生成する加算モジュールと、
    前記加算モジュールにより取得された再生画像を出力端子および前記格納モジュールに出力する出力モジュールと、
    備える動画像復号プログラム。
JP2007521180A 2005-04-13 2006-04-06 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム Expired - Fee Related JP4739338B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007521180A JP4739338B2 (ja) 2005-04-13 2006-04-06 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2005115951 2005-04-13
JP2005115951 2005-04-13
JP2005349870 2005-12-02
JP2005349870 2005-12-02
JP2007521180A JP4739338B2 (ja) 2005-04-13 2006-04-06 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム
PCT/JP2006/307362 WO2006112272A1 (ja) 2005-04-13 2006-04-06 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010254015A Division JP2011055538A (ja) 2005-04-13 2010-11-12 動画像符号化装置および動画像復号装置

Publications (2)

Publication Number Publication Date
JPWO2006112272A1 JPWO2006112272A1 (ja) 2008-12-11
JP4739338B2 true JP4739338B2 (ja) 2011-08-03

Family

ID=37114999

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2007521180A Expired - Fee Related JP4739338B2 (ja) 2005-04-13 2006-04-06 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム
JP2010254015A Pending JP2011055538A (ja) 2005-04-13 2010-11-12 動画像符号化装置および動画像復号装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010254015A Pending JP2011055538A (ja) 2005-04-13 2010-11-12 動画像符号化装置および動画像復号装置

Country Status (8)

Country Link
US (1) US8340175B2 (ja)
EP (4) EP2234405A3 (ja)
JP (2) JP4739338B2 (ja)
KR (3) KR20090127175A (ja)
CN (1) CN101160976B (ja)
RU (2) RU2369037C2 (ja)
TW (1) TW200706013A (ja)
WO (1) WO2006112272A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4993676B2 (ja) * 2006-09-01 2012-08-08 キヤノン株式会社 画像符号化装置及び画像符号化方法
WO2008078782A1 (ja) * 2006-12-27 2008-07-03 Ntt Docomo, Inc. 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
CN102100071B (zh) * 2008-07-25 2013-01-02 索尼公司 图像处理设备和方法
JP5446198B2 (ja) * 2008-10-03 2014-03-19 富士通株式会社 画像予測装置及び方法、画像符号化装置、画像復号化装置
JP5169978B2 (ja) * 2009-04-24 2013-03-27 ソニー株式会社 画像処理装置および方法
ES2739475T3 (es) 2009-05-11 2020-01-31 Ntt Docomo Inc Dispositivo, método y programa de codificación de imágenes en movimiento, y dispositivo, método y programa de decodificación de imágenes en movimiento
US9036692B2 (en) 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
EP2541939A4 (en) * 2010-02-23 2014-05-21 Nippon Telegraph & Telephone MOTION VECTOR ANALYSIS METHOD, METHOD FOR ENCRYPTION OF MORE VIEW IMAGES, METHOD OF DECODING OF MORE VIEW IMAGES, MOTION VECTOR MEASURING DEVICE, DEVICE FOR ENCRYPTION OF MORE VIEW IMAGES, DEVICE FOR DECODING OF MORE VIEW IMAGES, MOTION VECTOR ANALYSIS PROGRAM PROGRAM FOR ENCRYPTION OF MORE VIEW IMAGES AND PROGRAM FOR DECODING OF MORE VIEW IMAGES
US20120051432A1 (en) * 2010-08-26 2012-03-01 Samsung Electronics Co., Ltd Method and apparatus for a video codec with low complexity encoding
JP5741076B2 (ja) * 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
FR2968878A1 (fr) * 2010-12-14 2012-06-15 Thomson Licensing Procede et dispositif pour generer des images comportant du flou cinetique
EP2466872B1 (en) * 2010-12-14 2018-06-06 Axis AB Method and digital video camera for improving the image quality of images in a video image stream
US8494290B2 (en) * 2011-05-05 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Method for coding pictures using hierarchical transform units
CN104378632B (zh) * 2011-11-08 2018-02-09 株式会社Kt 对具有待被解码的当前块的视频信号进行解码的方法
KR101360419B1 (ko) 2011-11-23 2014-02-11 현대자동차주식회사 Ｃｎｔ가 분산된 주조용 알루미늄 합금 및 그 제조방법
EP2806639A4 (en) * 2012-01-19 2016-06-01 Mitsubishi Electric Corp VIDEO IMAGE DECODING DEVICE, VIDEO IMAGE CODING DEVICE, VIDEO IMAGE DECODING METHOD AND VIDEO IMAGE CODING METHOD
JP5727398B2 (ja) 2012-01-26 2015-06-03 日本電信電話株式会社 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
CN104813663B (zh) * 2012-09-28 2018-05-22 索尼公司 编码设备、编码方法、解码设备和解码方法
CN103077688B (zh) * 2013-01-11 2015-02-18 北京京东方光电科技有限公司 一种液晶显示屏的源极驱动装置和源极驱动方法
US9774881B2 (en) * 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328326A (ja) * 1992-05-18 1993-12-10 Nippon Telegr & Teleph Corp <Ntt> 動画像データの符号化装置
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH06327002A (ja) * 1993-05-11 1994-11-25 Olympus Optical Co Ltd 動画像符号化装置
JPH10136385A (ja) * 1996-09-03 1998-05-22 Nippon Telegr & Teleph Corp <Ntt> 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体
JP2001231045A (ja) * 2000-02-15 2001-08-24 Nec Corp 動画像符号化および復号化装置
WO2004054225A2 (en) * 2002-12-04 2004-06-24 Thomson Licensing S.A. Encoding of video cross-fades using weighted prediction

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW297202B (ja) 1993-10-13 1997-02-01 Rca Thomson Licensing Corp
JP3360191B2 (ja) * 1994-02-28 2002-12-24 富士通株式会社 画像符号化装置及び画像符号化方法
RU2093968C1 (ru) 1995-08-02 1997-10-20 Закрытое акционерное общество "Техно-ТМ" Способ кодирования-декодирования изображений и устройство для его осуществления
US6266370B1 (en) 1996-09-03 2001-07-24 Nippon Telegraph And Telephone Corporation Brightness-variation compensation method and coding/decoding apparatus for moving pictures
JPH10136371A (ja) 1996-10-30 1998-05-22 Victor Co Of Japan Ltd 動画像復号化装置及びその方法
TW398131B (en) 1997-06-20 2000-07-11 Matsushita Electric Ind Co Ltd The image process method, the image process device and the data memory medium
JP3804237B2 (ja) * 1997-11-27 2006-08-02 日本ビクター株式会社 動き補償動画像符号化装置及びその方法
JP4391088B2 (ja) * 2001-04-18 2009-12-24 アイピージー エレクトロニクス ５０３ リミテッド 部分暗号化を用いるオーディオ符号化
US6895050B2 (en) * 2001-04-19 2005-05-17 Jungwoo Lee Apparatus and method for allocating bits temporaly between frames in a coding system
JP3997171B2 (ja) 2003-03-27 2007-10-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05328326A (ja) * 1992-05-18 1993-12-10 Nippon Telegr & Teleph Corp <Ntt> 動画像データの符号化装置
JPH06311506A (ja) * 1992-12-25 1994-11-04 Mitsubishi Electric Corp フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
JPH06327002A (ja) * 1993-05-11 1994-11-25 Olympus Optical Co Ltd 動画像符号化装置
JPH10136385A (ja) * 1996-09-03 1998-05-22 Nippon Telegr & Teleph Corp <Ntt> 動画像の輝度変化補償方法、動画像符号化装置、動画像復号装置、動画像符号化もしくは復号プログラムを記録した記録媒体および動画像の符号化データを記録した記録媒体
JP2001231045A (ja) * 2000-02-15 2001-08-24 Nec Corp 動画像符号化および復号化装置
WO2004054225A2 (en) * 2002-12-04 2004-06-24 Thomson Licensing S.A. Encoding of video cross-fades using weighted prediction

Also Published As

Publication number Publication date
CN101160976A (zh) 2008-04-09
TW200706013A (en) 2007-02-01
JPWO2006112272A1 (ja) 2008-12-11
RU2009119265A (ru) 2010-11-27
CN101160976B (zh) 2010-05-19
EP2461590A2 (en) 2012-06-06
WO2006112272A1 (ja) 2006-10-26
EP1881707A1 (en) 2008-01-23
KR20110122884A (ko) 2011-11-11
US20090067501A1 (en) 2009-03-12
KR20090127175A (ko) 2009-12-09
EP2469859A3 (en) 2012-08-29
EP2234405A2 (en) 2010-09-29
US8340175B2 (en) 2012-12-25
JP2011055538A (ja) 2011-03-17
EP2461590A3 (en) 2012-08-29
RU2369037C2 (ru) 2009-09-27
EP1881707A4 (en) 2009-11-04
EP2469859A2 (en) 2012-06-27
KR101160818B1 (ko) 2012-07-03
KR20080007258A (ko) 2008-01-17
TWI318076B (ja) 2009-12-01
RU2007141925A (ru) 2009-05-20
KR100944651B1 (ko) 2010-03-04
EP2234405A3 (en) 2011-03-16

Similar Documents

Publication Publication Date Title
JP4739338B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、および動画像復号プログラム
KR101901355B1 (ko) 최적화 함수를 이용하여 그래프 기반 예측을 수행하는 방법 및 장치
JP5283628B2 (ja) 映像復号方法及び映像符号化方法
CN108924553B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
JP5542680B2 (ja) 画像加工装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、動画像復号装置、方法及びプログラム、並びに、符号化・復号システム及び方法
JP6409516B2 (ja) ピクチャ符号化プログラム、ピクチャ符号化方法及びピクチャ符号化装置
WO2014050741A1 (ja) 映像符号化方法および装置、映像復号方法および装置、及びそれらのプログラム
US20240098255A1 (en) Video picture component prediction method and apparatus, and computer storage medium
JP6457248B2 (ja) 画像復号装置、画像符号化装置および画像復号方法
JP5020260B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
JP7252016B2 (ja) 動画像符号化装置、動画像復号装置及びプログラム
JP6557483B2 (ja) 符号化装置、符号化システム、及びプログラム
JP6641149B2 (ja) 映像符号化装置、映像復号装置及びプログラム
JP4505729B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP6066583B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2013131928A (ja) 画像符号化装置および画像符号化方法
WO2014157087A1 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法、およびプログラム
JP2014160972A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110427

R150 Certificate of patent or registration of utility model

Ref document number: 4739338

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees