JP6159139B2

JP6159139B2 - 画像処理装置、符号化装置、及びプログラム

Info

Publication number: JP6159139B2
Application number: JP2013097917A
Authority: JP
Inventors: 市ヶ谷　敦郎; 敦郎市ヶ谷; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2013-05-07
Filing date: 2013-05-07
Publication date: 2017-07-05
Anticipated expiration: 2033-05-07
Also published as: JP2014220624A

Description

本発明は、画像の符号化における直交変換を適応的に選択する画像処理装置、符号化装置、及びプログラムに関する。

動画などのフレーム画像の画素値を直交変換し、直交変換係数で表すことが行われている。この直交変換係数に対して、必要に応じて量子化及びエントロピー符号化を施すことによって、画像品質をなるべく落とさずに、情報量が圧縮される。特に、この画像符号化技術は、映像符号化の分野で利用されている。

直交変換を利用する主たる目的は、画像の空間的な相関を排除し、少ない直交変換係数に映像信号の情報（エネルギ−）を集中させることにある。フレーム画像を小領域に分割し、例えば８×８画素のブロックごとに直交変換が施される。この符号化では、ＤＣ成分に近い領域に情報を集約できるＤＣＴ（離散コサイン変換：Discrete Cosine Transform）が最も広く用いられている。

入力された画像に対する最適な直交変換は、主成分分析によって無相関化された直交基底を設計して実現できる。しかしながら、現実的には入力信号に応じて実時間で直交基底を設計することは困難を伴う。主成分分析を利用した変換として、ＫＬ変換（ＫＬＴ：Karhuen Loeve transform）が知られている。ＫＬ変換は、入力信号に対し最適な変換効率を与える。しかしながら、ハードウェア化が非常に困難であり、現在のところ符号化方式には採用されていない。

したがって、従来、画像を符号化する際には、事前に知られた入力信号の統計的な性質によって最適とされた直交変換を用いている。このため、画像符号化方式ごとに直交変換が予め定められている。

画像符号化技術で用いられる代表的な直交変換としては、上述のＤＣＴ以外に、ＤＳＴ（離散サイン変換）、ＤＷＴ（離散ウェーブレット変換）、ＤＦＴ（離散フーリエ変換）、ＤＨＴ（アダマール変換）などが知られている。

なお、ＤＣＴ及びＤＳＴには、それぞれ、標準的なタイプが８通りずつある。ＤＣＴにおいて、最も一般的なタイプは、ＤＣＴ−ＩＩ（タイプ２）である。ＤＣＴ−ＩＩの逆変換は、ＤＣＴ−ＩＩＩである。ＤＣＴ−ＩとＤＣＴ−ＩＶは、それ自身が逆変換になる。ＤＣＴ及びＤＳＴは、それぞれのタイプによって、異なる性質を持つ。

なお、これらの変換は、一般に直交変換と呼ばれている。しかしながら、インプリメントされる際に、整数精度の計算を採用したり、丸め誤差が発生したりするため、厳密な意味での直交性が担保されるわけではない。本明細書では、直交変換の語を用いて説明するが、このように厳密な意味での直交性が担保された変換のみを指す語ではない点に留意すべきである。

広く用いられている映像符号化として、ＭＰＥＧが知られている。ＭＰＥＧ−２やＨ．２６４／ＡＶＣ（Advance Video Coding）（例えば、非特許文献１参照）、ＨＥＶＣなど、ほぼ全ての画像符号化技術では、入力信号を周波数領域に変換し、様々な処理を用いて、変換領域における信号容量の圧縮を実現している。

なお、映像符号化方式のＨＥＶＣにおいては、４×４画素のブロックにおけるイントラ符号化（intra-frame coding）（画面内符号化）では、ＤＳＴ―ＶＩＩ（タイプ７）の直交変換が用いられている。

したがって、ＨＥＶＣイントラ符号化では、直交変換として、ＤＣＴ−ＩＩとＤＳＴ―ＶＩＩの２つを利用している。一方、インター符号化では、残差信号が、イントラ符号化のような特徴的な傾向がないためＤＣＴ−ＩＩのみを用いた符号化が用いられている。

なお、画面内符号化（イントラ符号化）は、画面内の空間的な信号予測を行って画像を符号化する。この技術は、画面内予測（イントラ予測）とも称す。また、画面間予測（インター符号化）は、異なるフレーム間で類似した領域を探索し、予測に用いて画像を符号化する。この技術は、動き補償予測（インター予測）とも称す。

上述のＨＥＶＣで採用されたＤＣＴ−ＩＩとＤＳＴ−ＶＩＩを選択的に切り換える方式では、事前の解析により外挿を用いたイントラ予測方式による信号の偏りを統計的に解析している。そして、イントラ予測モード毎に何れの直交変換を選択するかが、事前にテーブル上で決定されている（非特許文献３参照）。

また、そのほかの様々な直交変換（ＤＳＴ−ＩＩ、ＤＣＴ−ＩＩＩ、ＤＣＴ−ＩＶ、ＤＣＴ−ＶＩＩなど）を適応的に用いることによって、更なる符号化効率の改善が望めることが報告されている（非特許文献２参照）。

しかしながら、実際に符号化する入力信号が、統計的に知られている傾向と異なる場合もあるため、予め定められた直交変換が、適切な直交変換ではない場合がある。

このような問題を解決するためには、ＲＤ（Rate-Distortion）最適化法などの手法により、例えば、以下に示すように、より適切な直交変換を選択することが可能である。しかしながら、用意されたそれぞれの直交変換を、完全にあるいは簡略化した手法で事前に圧縮信号になるまでの処理を行う必要がある。

図１は、２種類の直交変換を選択する場合の例を示している。入力信号１０２に対して、第１の直交変換部１１２により、第１の直交変換を行う。その後エントロピー符号化部１１４によって、エントロピー符号化を行う。この処理によって圧縮信号１１６が得られる。そして、入力信号１０２に対して、第２の直交変換部１２２は、第２の直交変換を行う。その後エントロピー符号化部１２４が、エントロピー符号化を行う。この処理によって圧縮信号１２６が得られる。

そして、圧縮信号１１６と圧縮信号１２６は、ＲＤ判定部１３０に入力される。ＲＤ判定部１３０は、情報量（Rate）及び歪み（Distortion）の両方を勘案して最適化する際に用いられるＲＤ最適化法を用いて、何れの直交変換が適切かを判定する。なお、この場合、１種類の直交変換を用いる場合と比してほぼ２倍のリソースを必要とする（非特許文献４参照）。

大久保榮監修，「改訂三版Ｈ．２６４／ＡＶＣ教科書」，インプレスＲ＆Ｄ，ｐ１２４，２００９年１月１日ＪＣＴＶＣ−Ｅ０２７ＣＥ−７：Summary report of core experiment on alternative transforms）(March 2011) A. Saxena and F. C. Fernandes, "Mode dependent DCT/DST for intra prediction in block-based image/video coding"18th IEEE International Conference on Image Processing, PP/ 1721-1724, 2011 市ヶ谷敦郎，杉藤泰子，境田慎一，"ＤＣＴとＤＳＴを適応的に用いたインター符号化"，映情学技報，vol.36, no.9 ME2012-59,PP.213-218,2012

上述のように、複数の直交変換のうち適切なものを選択する場合に、各々の直交変換を実行することは、処理能力の増大、消費電力の増大を招き、現実的ではない。このため、リアルタイム信号処理における実装を考慮した場合、最適な直交変換を高速に選択する技術が必要とされている。

そこで、本発明では、複数の直交変換から適切な直交変換を選択する際の処理効率を向上させる画像処理装置、符号化装置、及びプログラムを提供することを目的とする。

本発明の一態様における画像処理装置は、離散コサイン変換、及び離散サイン変換の２つの直交変換のうち、一方又は他方を選択して処理を行う画像処理装置であって、画像データを前記一方の直交変換によって変換して得られた直交変換係数の水平方向の奇数次と偶数次とのエネルギー比、及び／又は前記直交変換係数の垂直方向の奇数次と偶数次とのエネルギー比を用いた規則に従って分析する分析部と、前記分析部の分析結果に基づいて、前記一方又は前記他方を選択する選択部と、を有する。

本発明の一態様における画像処理装置は、第１の直交変換、及び１以上の他の直交変換のうち、何れか１つを選択して処理を行う画像処理装置であって、画像データを前記第１の直交変換によって変換して得られた第１の直交変換係数を、所定の規則に従って分析する分析部と、前記分析部の分析結果に基づいて、前記第１の直交変換、及び前記１以上の他の直交変換のうち、何れか１つを選択する選択部と、を有する画像処理装置であって、前記分析部は、前記１以上の他の直交変換の各々が有する所定の数の複数の基底画像の各々を前記第１の直交変換によって変換して得られた直交変換係数を蓄積した記憶部と、前記第１の直交変換係数と前記記憶部に記憶された前記複数の直交変換係数との類似度を算出する類似度算出部と、を含み、前記選択部は、前記類似度算出部によって得られた類似度のうち、最も高い類似度が、所定の閾値を越える場合、前記最も高い類似度に対応する、前記他の直交変換に、前記画像データを選択的に与えることによって、前記画像データが変換された直交変換係数を、前記画像データの符号化のために用い、前記最も高い類似度が、前記所定の閾値以下の場合、前記第１の直交変換係数を、前記画像データの符号化のために用いる。

また、上記何れかの画像処理装置を備える符号化装置が提供される。

また、本発明の他の実施態様におけるプログラムは、コンピュータを上記符号化装置として機能させる。

本発明によれば、複数の直交変換から適切な直交変換を選択して、画像処理を行う際の効率を向上させることができる。

従来技術における２種類の直交変換を選択する場合の例を示す図である。ＤＣＴ及びＤＳＴの直交変換係数の例を示すグラフである。実施例１の画像処理装置の構成の例を示すブロック図である。ＤＣＴ及びＤＳＴの直交変換係数の水平成分の例を示す図である。実施例１における画像処理の一例を示すフローチャートである。実施例１の基本原理の例を説明する図である。実施例２の画像処理装置の構成の例を示すブロック図である。記憶部に記憶される直交変換係数比較用パターンを説明する図である。実施例２における画像処理の一例を示すフローチャートである。実施例３における画像処理装置の概略構成の一例を示すブロック図である。実施例４における画像処理装置の概略構成の一例を示すブロック図である

まず、ＤＣＴとＤＳＴを例にとって、異なる直交変換の関係の例を示す。ＤＣＴ領域におけるエネルギー分布は、式（１）として求められる。例えば、ＤＣＴ基底に直交する正弦波信号を入力とする場合を想定する、簡単のために入力信号を連続信号とし、正規化係数も省略する。また、一次元の信号を取り上げる。

入力信号を式（２）とすると、

式（１）は、式（３）のように表せる。

この式（３）を用いて、以下の２つの場合についてＤＣＴを計算する。
ｉ）u_i+1＝uの場合

ｉｉ）u_i+1≠uの場合
ア）u_i+u＝2n−1の場合

イ）u_i+u＝2nの場合

したがって、式（４）、式（５）、式（６）より、正弦波信号の次数u_iとＤＣＴ基底の次数uの和が偶数となる次数に、ＤＣＴ係数のエネルギーが広く分布することが分かる。

図２は、正弦波信号（u_i＝1）を入力とした場合の、ＤＣＴ係数とＤＳＴ係数とを示している。図２（Ａ）は、ＤＣＴ係数を示しており、u_i＝1との和が偶数になるuの係数（u=1,3,5,7）に、絶対値の大きいスペクトルが分布している。なお、ここで、スペクトルとは、直交変換係数のことを意味する。

図２（Ｂ）は、ＤＳＴのスペクトルを示している。この場合には、自明ながらu_i＝1だけにスペクトルが現れる。したがって、ＤＳＴ係数の３次以降の係数を除去したとしても、入力信号を再構成できる。

図２（Ａ）に戻ると、この場合には、図２（Ｂ）とは異なり、ＤＣＴ係数のスペクトル集中は低く、スペクトルは広く分布する。ＤＣＴは、ＤＳＴと相補的な性質を持つことが分かる。

以上の例からも分かるように、正弦波信号（u_i＝1）に対しては、ＤＳＴのほうが、ＤＣＴよりも、より少ないスペクトル成分に情報を集約でき、符号化効率の観点からは、より適切である。

［実施例１］
実施例１では、上述のＤＣＴとＤＳＴの２つの直交変換の性質を利用する。そして、何れの直交変換が適切な直交変換であるかを、簡便な方式で特定することができる。

＜構成＞
図３は、実施例１における画像処理装置３００の一例を示すブロック図である。図３に示す例では、画像処理装置３００は、第１の直交変換部３２０、分析部３２２、選択部３３０、第２の直交変換部３４０、第１のスイッチ３２８、及び第２のスイッチ３２９を有する。各部についての概略を以下に説明する。

第１の直交変換部３２０は、入力画像３４１を、第１の直交変換により変換する。なお、入力画像３４１は、原画像から予測された画像を差し引いた予測誤差信号であってもよい。変換する単位は、入力画像の一部分である３２×３２、１６×１６、８×８画素などのブロックに分割された単位である。第１の直交変換部３２０は、たとえば、ＤＣＴを実行する機能を有してもよい。

分析部３２２は、第１の直交変換部３２０で変換された第１の直交変換係数３２１を受け取る。分析部３２２の具体的処理については、図４を用いて後述する。

選択部３３０は、分析部３２２の分析結果３２１を受け取る。選択部３３０は、分析結果３２１に基づいて、第１のスイッチ３２８及び第２のスイッチ３２９に、選択指示信号３２７を与える。

選択指示信号３２７が、第１のスイッチ３２８に対して、入力画像３４１を第２の直交変換部３４０に与える信号である場合、第２の直交変換部３４０が、入力画像３４１に対して直交変換処理を実行する。そして、第２の直交変換部３４０は、第２の直交変換係数３３１を第２のスイッチ３２９に出力する。

以上のように、選択指示信号３２７によって、出力３５１には、第１の直交変換係数３２１又は第２の直交変換係数３３１が選択的に出力される。この場合、第１の直交変換係数が出力３５１に出力される場合には、第２の直交変換部３４０の処理が省略され得る。この場合には、リソースの節約がなされる。

＜分析部３２２の説明＞
次に、分析部３２２について説明する。例示として、第１の直交変換部３２０にＤＣＴ−ＩＩ（以下、単にＤＣＴと称する場合がある）を用い、第２の直交変換部３４０にＤＳＴ−ＩＩ（以下、単にＤＳＴと称する場合がある）を用いた場合を想定する。なお、ＤＳＴは実装上の容易さからタイプ２としたが、他のタイプであってもよい。

ＤＣＴとＤＳＴには、上述の式（４）、式（５）、式（６）の関係が存在する。すなわち、ＤＳＴの基底画像の１つをＤＣＴで変換した直交変換係数は、偶数次、又は奇数次の一方だけにパワースペクトル生じ、他方のパワースペクトルが０になる。同様にＤＣＴの基底画像の１つをＤＳＴで変換した直交変換係数も、偶数次、又は奇数次の一方だけにスペクトルが生じ、他方のスペクトルが０になる。

図４は、ＤＳＴとＤＣＴとの関係の例を示している。図４は、二次元の直交変換係数の水平方向の一列を取り出した図である。図４（Ａ）と図４（Ｂ）は、それぞれ同じ画像をＤＣＴとＤＳＴで変換した場合のスペクトルの水平成分の１つを示した図である。色の濃さは、スペクトルの絶対値の大きさを表している。

図４（Ｃ）と図４（Ｄ）は、他の条件で、それぞれ同じ画像をＤＣＴとＤＳＴで変換した場合のスペクトルの水平成分の１つを示した図である。

信号の圧縮符号化方式では、直交変換において一般に低域にスペクトルが集中することを想定している。したがって、図４（Ａ）又は図４（Ｃ）のような、スペクトルの拡散が発生する場合は、対象画像に対して、その直交変換（すなわちＤＣＴ）が適切に機能しないことを意味する。表現を変えて説明すれば、この場合には、ＤＣＴを利用しても、スペクトルが拡散しているために、その後の情報圧縮が十分に望めないことを意味する。

これに対して、図４（Ｂ）又は図４（Ｄ）のようなＤＳＴによってスペクトル集中が得られる画像の場合には、ＤＳＴを用いることが適切であることを示している。

このような特徴から、ＤＣＴを用いた第１の直交変換部３２０において、図４（Ａ）又は図４（Ｃ）に類似したスペクトルパターンが観察された場合には、ＤＳＴによる第２の直交変換部３４０を利用した方が、ＤＣＴよりもスペクトルの集中が望めることが容易に予想できる。このことは、ＤＣＴのスペクトルの特徴を調べることによって、ＤＳＴを試すことなく、ＤＣＴ又はＤＳＴの何れの直交変換が適切かを判定することができることを意味する。

＜動作＞
次に、実施例１における画像処理装置３００の動作について説明する。図５は、実施例１における画像処理の一例を示すフローチャートである。

ステップＳ５０２で、第１の直交変換部３２０は、入力画像を第１の直交変換であるＤＣＴ−ＩＩによって変換し、第１の直交変換係数３２１を得る。

ステップＳ５０４で、分析部３２２は、水平方向のパワースペクトル（又はスペクトルの絶対値）を、偶数次、及び奇数次毎に積算してもよい。

ステップＳ５０６で、分析部３２２は、ステップＳ５０４で得られた、水平方向の偶数次の積算と、水平方向の奇数次の積算との比を計算する。この場合の比の計算では、大きい値を分母に、小さい値を分子として計算し、比が、常に１以下の値として得られるようにする。

図６を用いて、ステップ４の計算の例を説明する。図６は、８×８画素のブロックをＤＣＴ−ＩＩで直交変換した直交変換係数から得たパワースペクトル６００を示している。説明を分かりやすくするために、パワースペクトル６００は、列１〜列８、及び行Ａ〜行Ｈの符号を用いて、各パワースペクトルの値を表現する。例えば、列１行Ａの要素Ａ１は、ＤＣＴ−ＩＩのＤＣ成分のパワースペクトル値である。他の要素についても、それぞれの周波数領域のパワースペクトル値を表している。

上述のステップＳ５０４で、水平方向の偶数次のパワースペクトルの合計値をH_evenとすれば、H_evenは、具体的に以下のように計算される。

H_even=A2+A4+A6+A8+B2+……..+H6+H8
また、ステップＳ５０４で、水平方向の奇数次のパワースペクトルの合計値をH_oddとすれば、H_oddは、具体的に以下のように計算される。

H_odd=A1+A3+A5+A7+B1+……..+H5+H7
そして、H_evenとH_oddのうち、大きい値を分母として、比H_rateを以下のように計算する。

H_rate＝H_even／H_odd (H_even<H_oddの場合)
図５に戻る。

ステップＳ５０８で、分析部３２２は、垂直方向のパワースペクトル（又はスペクトルの絶対値）を、偶数次、及び奇数次毎に積算する。

ステップＳ５１０で、分析部３２２は、ステップＳ５０８で得られた、垂直方向の偶数次の積算と、垂直方向の奇数次の積算との比を計算する。この場合の比の計算では、大きい値を分母に、小さい値を分子として計算し、比が、常に１以下の値として得られるようにする。

ステップＳ５０８及びステップＳ５１０を、図６を用いて同様に計算すると、以下のようになる。

垂直方向の偶数次のパワースペクトルの合計値をV_evenとすれば、V_evenは、具体的に以下のように計算される。

V_even=B1+D1+F1+H1+B2+……..+F8+H8
また、ステップＳ５０８で、垂直方向の奇数次のパワースペクトルの合計値をV_oddとすれば、V_oddは、具体的に以下のように計算される。

V_odd=A1+C1+E1+G1+A2+……..+E8+G8
そして、V_evenとV_oddのうち、大きい値を分母として、比V_rateを以下のように計算する。

V_rate＝V_even／V_odd (H_even<H_oddの場合)
図５に戻る。

ステップＳ５１２において、水平方向の比H_rateと垂直方向の比V_rateの平均値AVE_rateを計算してもよい。比の平均値AVE_rateは、以下のように計算できる。

AVE_rate=（H_rate＋V_rate）／2
ステップＳ５１４で、選択部３３０は、比の平均値AVE_rateを所定の閾値と比較する。例えば、閾値として、０．５を採用した場合は、以下の判断を行ってもよい。

AVE_rate＞0.5
AVE_rateは、大きい値であるほど、第１の直交変換のパワースペクトルの偶数次と奇数次の差が小さいことを意味する。この場合、ＤＣＴの方がＤＳＴよりもより適切な直交変換である可能性が高くなることを意味する。

したがって、AVE_rate＞0.5が成り立てば、ＤＣＴを採用することが適切であると判断してもよい。そして、AVE_rate＞0.5が成り立たなければ、ＤＳＴを採用することが適切であると判断してもよい。

なお、ここで採用した閾値0.5は、例示に過ぎない。他の値であってもよい。また、上記の例では水平方向の比H_rateと素直垂直方向の比V_rateの両方を用いたが、これはいずれか一方を用いることでも構わない。
また、本実施例では簡単のために二次元直交変換を例に示すが、水平、垂直で異なる一次元直交変換を適用する符号化の場合はH_rateとV_rateそれぞれが閾値以上であるかによってそれぞれの直交変換を決定してもよい。

ステップＳ５１４で、判断結果が「はい」であれば、ステップＳ５１６に移る。判断結果が「いいえ」であれば、ステップＳ５１８に移る。

ステップＳ５１６で、選択部３３０は、第１の直交変換部３２０のＤＣＴによって得られた直交変換係数を出力３５１に出力する。

ステップＳ５１８で、選択部３３０は、第２の直交変換部３４０に、入力画像３４１を与える。そして、第２の直交変換部３４０がＤＳＴを用いて入力画像３４１を変換する。

ステップＳ５２０で、選択部３３０は、第２の直交変換部３４０で得られた直交変換係数を出力３５１に出力する。

以上、実施例１によれば、計算量を抑えつつ、ＤＣＴとＤＳＴの何れの直交変換を行うことが好ましいかを判断できる。そして、計算量を抑えつつ、ＤＣＴとＤＳＴのうち、適切な直交変換を利用して、直交変換係数を取得することができる。ＤＣＴが適切であると判断された場合には、ＤＳＴの計算を省略することができる。

［実施例２］
実施例２は、実施例１を、より一般化した例である。

＜構成＞
図７は、実施例２の画像処理装置７００の構成のブロック図を示している。図３と同様の機能を有する構成要素については、同じ符号が付されている。重複を避けるため、同じ符号に係る構成要素の説明は省略する。

図７において、分析部３２２は、類似度算出部７２４と、記憶部７２６とを含んでもよい。また、図７の例では、第１の直交変換部３２０及び第２の直交変換部３４０に加えて、第３の直交変換部７４３を有している。このため、第３の直交変換部７４３が選択できるよう、第１のスイッチ３２８が変形されている。

第１の直交変換部３２０、第２の直交変換部３４０、及び第３の直交変換部７４３は、それぞれ、例えばＤＣＴ−ＩＩ、ＤＳＴ−ＩＩ、及びＤＳＴ−ＶＩＩを採用していると仮定して以下の説明を行う。なお、実施例２は、これに限られるものではない。したがって、４個以上の直交変換部が存在していてもよい。

図８は、記憶部に記憶される直交変換係数比較用パターンを説明する図である。図８を用いて、実施例２の基本原理を説明する。

図８の第２の直交変換の基底画像８２０を取り上げて、記憶部に記憶される複数の直交変換係数比較用パターンを説明する。基底画像８２０は、合計６４個の基底画像を持ち、それぞれの基底画像は、８×８画素とする。

この例では、第２の直交変換（ＤＳＴ−ＩＩ）の４つの低域成分の基底画像を用いる。まず、基底画像８２１に対して第１の直交変換部３２０により、第１の直交変換（ＤＣＴ−ＩＩ）を施し、直交変換係数８７２を取得する。この直交変換係数８７２は、記憶部７２６に記憶されてもよい。同様に、他の３つの基底画像８２２、８２３、８２４についても、第１の直交変換を施して、それぞれ、直交変換係数８７１、８７４、８７３を取得し、記憶部７２６に記憶される。

この操作によって得られた、直交変換係数８７１〜８７４は、直交変換係数比較用パターンとして用いることができる。

同様に、第３の直交変換の基底の低域成分の基底画像８３１〜８３４にも、第１の直交変換が施される。その結果、直交変換係数８８１〜８８４が得られ、記憶部７２６に記憶される。直交変換係数８８１〜８８４は、直交変換係数比較用パターンとして用いることができる。

以上の処理は、実際の画像処理を行う前に、事前に実行されているものとする。したがって、記憶部７２６には、複数の直交変換係数比較用パターンが記憶されているものとする。

次に、直交変換係数比較用パターンの性質について説明する。例えば、第１の直交変換によって、入力画像が変換され、直交変換係数８９０が得られたとする。この直交変換係数８９０が、記憶部７２６に記憶された直交変換係数比較用パターン８７１と極めて類似したパターンである場合を想定する。類似度の計算には、相関値の計算を利用してもよい。

この場合には、入力画像３４１を第２の直交変換部３４０（ＤＳＴ−ＩＩ）で変換した場合には、基底画像８２２に対応する直交変換係数の絶対値が高いスペクトルパターンが得られることとなる。この場合、第２の直交変換は、第１の直交変換よりも、スペクトルを集約できる可能性が高いことを示している。したがって、この場合には、第１の直交変換よりも第２の直交変換を用いることが望ましい。これによって、圧縮効率の向上が期待できる。

なお、この類似度の比較は、たとえば、直交変換係数比較用パターンと、実際の画像を第１の直交変換部３２０で得られた直交変換係数との相関値を計算してもよい。そして計算された相関値のうち一番相関が高い直交変換係数比較用パターンを探索してもよい。探索された直交変換係数比較用パターンに対応する相関値と所定の閾値を比較した結果を基に、第１の直交変換を用いるか、探索された直交変換比較用パターンに対応する直交変換を用いるか否かを決定してもよい。すなわち、一番高い相関値が所定の閾値を超える場合には、探索された直交変換比較用パターンに対応する直交変換を用いる。その相関値が所定の閾値以下の場合には、第１の直交変換を用いる。

また類似度の計算は、既存のＳＡＤ（Sum of absolute difference）、ＳＳＤ（Sum of Squared difference）などの手法の何れを用いても良い。

なお、記憶部７２６にどの程度の数の直交変換係数比較用パターンを記憶させておくかは、用意する直交変換の数、類似度計算に要するリソースの量等を勘案して決定すればよい。

また、図７では、第２の直交変換の基底として、低域成分の基底を選択した。これは、低域に、パワースペクトルが集中するように直交変換が設計されている場合が多いからである。したがって、直交変換の性質に応じて、どの基底を基にして、直交変換係数比較用パターンを作成するかは、採用する直交変換の性質又は設計理念を勘案することが望ましい。

また、実施例２では、第１の直交変換部３２０を使用して、１つの基底画像から１つの直交変換係数比較用パターンを作成した。しかしながら、実施例２は、これに限られるものではなく、複数の基底画像を合成した画像を作り、第１の直交変換部３２０を使用して、１つの直交変換係数比較用パターンを作成してもよい。

＜動作＞
図９は、実施例２における画像処理の一例を示すフローチャートを示している。以下に、実施例２における画像処理装置の動作について説明する。

ステップＳ９０２で、第１の直交変換部３２０は、入力画像３４１に対して、第１の直交変換（ＤＣＴ−ＩＩ）を実行し、第１の直交変換係数３２１を取得する。

ステップＳ９０４で、類似度算出部７２４は、記憶部７２６から、直交変換比較用パターンのうちから１つを取り出す。

ステップＳ９０６で、類似度算出部７２４は、第１の直交変換係数３２１と読み出された直交変換比較用パターンとの類似度（例えば相関値）を計算する。

ステップＳ９０８で、記憶部７２６に記憶されたパターンの数だけ、ステップＳ９０４及びステップＳ９０６を繰り返す。

ステップＳ９１０で、選択部３３０は、最大の類似度（例えば相関値）を持つ直交変換比較用パターンを特定する。

ステップＳ９１２で、選択部３３０は、最大の類似度が、所定の閾値を越えるか否かを判断する。その判断が「いいえ」であれば、ステップＳ９１４に移る。その判断が「はい」であれば、ステップＳ９１６に移る。

ステップＳ９１４で、選択部は、第１の直交変換部で得られた直交変換係数を出力３５１に出力する。

ステップＳ９１６で、選択部は、選択された直交変換比較用パターンに対応する直交変換部（第２の直交変換部３４０、又は第３の直交変換部７４３のいずれか）を特定する。

選択部３３０は、第１のスイッチ３２８及び第２のスイッチ３２９を操作して、入力画像３４１を、特定された直交変換部に与える。特定された直交変換部は、入力画像３４１に特定された直交変換部の直交変換を施し、直交変換係数３３１を取得する。選択部３３０は、第２のスイッチ３２９に指示し、取得された直交変換係数３３１を出力３５１に出力させる。

以上、実施例２によって、計算量を抑えつつ、複数の直交変換をのうちから適切な直交変換により、直交変換係数を得ることができる。利用候補とされる直交変換が３つ以上であっても、最大で２つの直交変換を実行するだけでよい。第１の直交変換が適切と判断された場合には、直交変換は、１回だけ実行すればよい。

［実施例３］
実施例３では、実施例１における画像処理装置３００，又は実施例２における画像処理装置７００を直交変換部２０２に含む画像処理装置（画像符号化装置）について説明する。

＜構成＞
図１０は、実施例３における画像処理装置２０の概略構成の一例を示すブロック図である。図１０に示す例では、画像処理装置２０は、前処理部２００と、予測誤差信号生成部２０１と、直交変換部２０２と、量子化部２０３と、エントロピー符号化部２０４と、逆量子化部２０５と、逆直交変換部２０６と、復号画像生成部２０７と、ループフィルタ部２０９と、復号画像記憶部２１０と、イントラ予測部２１１と、インター予測部２１２と、動きベクトル計算部２１３と、予測画像選択部２１５とを有する。各部についての概略を以下に説明する。

前処理部２００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレーム毎のフレーム画像等を順次出力する。また、前処理部２００は、ブロック分割なども行い、ブロック分割の境界情報をループフィルタ部２０９に出力してもよい。

予測誤差信号生成部２０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。

予測誤差信号生成部２０１は、そのブロックデータと、予測画像選択部２１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部２０１は、生成された予測誤差信号を直交変換部２０２に出力する。

直交変換部２０２は、実施例１における画像処理装置３００、又は実施例２における画像処理装置７００が含まれ得る。直交変換部２０２は、入力された予測誤差信号を直交変換処理する。直交変換部２０２は、変換された係数値を示す信号を量子化部２０３に出力する。加えて、選択された直交変換を示す選択信号をエントロピー符号化部及び逆直交変換部に送出する。

量子化部２０３は、直交変換部２０２からの出力信号を量子化する。量子化部２０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部２０４及び逆量子化部２０５に出力する。量子化部２０３は、量子化パラメータのＱＰ値をループフィルタ部２０９に出力してもよい。

エントロピー符号化部２０４は、量子化部２０３からの出力信号や、動きベクトル計算部２１３から出力された動きベクトル情報やループフィルタ部２０９からのフィルタ係数などをエントロピー符号化して出力する。

また、エントロピー符号化部２０４は、イントラ予測部２１１から取得したイントラ予測方向の差分値や、インター予測部２１２から取得した動きベクトルと予測ベクトルの差分値などをエントロピー符号化してもよい。

また、エントロピー符号化部２０４は、直交変換部２０２において使用された直交変換の情報２５０（直交変換の選択信号）を符号化して、選択した直交変換のインデックスとして復号装置側へ伝送する。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部２０５は、量子化部２０３からの出力信号を逆量子化してから逆直交変換部２０６に出力する。逆直交変換部２０６は、逆量子化部２０５からの出力信号を逆直交変換処理してから復号画像生成部２０７に出力する。逆直交変換部２０６は、入力された直交変換の選択信号を用いて逆直交変換の方法を選択する。これら逆量子化部２０５及び逆直交変換部２０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部２０７は、イントラ予測部２１１で画面内予測された画像或いはインター予測部２１２で動き補償された画像のブロックデータと、逆量子化部２０５及び逆直交変換部２０６により復号処理された予測誤差信号とを加算する。復号画像生成部２０７は、加算して生成した復号画像のブロックデータを、ループフィルタ部２０９に出力する。

ループフィルタ部２０９は、例えばＡＬＦ（Adaptive Loop Filter）やデブロッキングフィルタである。ループフィルタ部２０９は、フィルタ処理結果を復号画像記憶部２１０に出力し、蓄積された１画像分のフィルタ処理結果を参照画像として記憶させる。

復号画像記憶部２１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部２１１、インター予測部２１２及び動きベクトル計算部２１３に出力する。

イントラ予測部２１１は、符号化対象画像の処理対象ブロックに対して、既に符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部２１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。予測方向については、符号化済みブロックの予測方向との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。

インター予測部２１２は、復号画像記憶部２１０から取得した参照画像のデータを動きベクトル計算部２１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。動きベクトルについては、符号化済みブロックの動きベクトル（予測ベクトル）との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。

動きベクトル計算部２１３は、符号化対象画像におけるブロックデータと、復号画像記憶部２１０から取得する参照画像とを用いて、動きベクトルを求める。

動きベクトル計算部２１３は、求めた動きベクトルをインター予測部２１２に出力し、参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部２０４に出力する。

イントラ予測部２１１とインター予測部２１２から出力されたブロックデータは、予測画像選択部２１５に入力される。

予測画像選択部２１５は、イントラ予測部２１１とインター予測部２１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部２０１に出力される。

なお、イントラ予測部２１１とインター予測部２１２のいずれが使用されたかに依存して、直交変換部２０２において利用される複数の直交変換の候補を異ならせてもよい。

なお、図１０に示す画像処理装置２０の構成は一例であり、必要に応じて各構成を組み合わせたり、各構成を適宜変更したりしてもよい。

以上、実施例３によれば、画像符号化時に、直交変換の計算量を抑えつつ、複数の直交変換のうちから適切な直交変換により、直交変換係数を得ることができる。

［実施例４］
図１１は、実施例４における画像処理装置４０の概略構成の一例を示すブロック図である。図１１に示す画像処理装置４０は、上述した実施例１〜３で説明した画像処理をソフトウェアで実装した装置の一例である。

図１１に示すように、画像処理装置４０は、制御部４０１と、主記憶部４０２と、補助記憶部４０３と、ドライブ装置４０４と、ネットワークＩ／Ｆ部４０６と、入力部４０７と、表示部４０８とを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部４０１は、主記憶部４０２又は補助記憶部４０３に記憶された画像処理のプログラムを実行する演算装置である。制御部４０１は、入力部４０７や記憶装置からデータを受け取り、演算、加工した上で、表示部４０８や記憶装置などに出力する。

また、制御部４０１は、画像処理のプログラムを実行することで、実施例１〜３で説明した処理を実現することができる。

主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部４０２は、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。

また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４０にインストールされる。インストールされた所定のプログラムは、画像処理装置４０により実行可能となる。

ネットワークＩ／Ｆ部４０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置４０とのインターフェースである。

入力部４０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０８の表示画面上でキーの選択等を行うためのマウスやスライドパット等を有する。表示部４０８は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部４０１から入力される表示データに応じた表示が行われる。

なお、図３の画像処理装置３００及び図７の画像処理装置７００の各部は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

また、図１０に示す復号画像記憶部２１０は、例えば主記憶部４０２又は補助記憶部４０３により実現され、図１０に示す復号画像記憶部２１０以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

画像処理装置４０で実行されるプログラムは、実施例１〜３で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部４０２上にロードされ、１又は複数の各部が主記憶部４０２上に生成されるようになっている。

このように、上述した実施例１〜３で説明した画像処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、実施例１〜３で説明した処理を実現することができる。

また、このプログラムを記録媒体４０５に記録し、このプログラムが記録された記録媒体４０５をコンピュータや携帯端末などの処理装置に読み取らせて、前述した画像処理を実現させることも可能である。

なお、記録媒体４０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、上述した各実施例で説明した画像処理は、１つ又は複数の集積回路に実装されてもよい。なお、実施例４における画像処理装置４０は、上記の通り、画像処理装置３００、７００、２０の少なくとも１つの装置としての機能を有してもよい。

また、上述した各実施例における画像処理装置は、直交変換を選択して使用する符号化技術に対して適用可能であり、Ｈ．２６４／ＡＶＣやＨＥＶＣだけに限られるものではない。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

３２０第１の直交変換部
３２１分析結果
３２２分析部
３２７選択指示信号
３２８第１のスイッチ
３２９第２のスイッチ
３３０選択部
３４０第２の直交変換部
３４１入力画像
３５１出力
７２４類似度算出部
７２６記憶部
７４３第３の直交変換部

Claims

離散コサイン変換、及び離散サイン変換の２つの直交変換のうち、一方又は他方を選択して処理を行う画像処理装置であって、
画像データを前記一方の直交変換によって変換して得られた直交変換係数の水平方向の奇数次と偶数次とのエネルギー比、及び／又は前記直交変換係数の垂直方向の奇数次と偶数次とのエネルギー比を用いた規則に従って分析する分析部と、
前記分析部の分析結果に基づいて、前記一方又は前記他方を選択する選択部と、
を有する画像処理装置。
第１の直交変換、及び１以上の他の直交変換のうち、何れか１つを選択して処理を行う画像処理装置であって、
画像データを前記第１の直交変換によって変換して得られた第１の直交変換係数を、所定の規則に従って分析する分析部と、
前記分析部の分析結果に基づいて、前記第１の直交変換、及び前記１以上の他の直交変換のうち、何れか１つを選択する選択部と、
を有する画像処理装置であって、
前記分析部は、
前記１以上の他の直交変換の各々が有する所定の数の複数の基底画像の各々を前記第１の直交変換によって変換して得られた直交変換係数を蓄積した記憶部と、
前記第１の直交変換係数と前記記憶部に記憶された前記複数の直交変換係数との類似度を算出する類似度算出部と、
を含み、
前記選択部は、前記類似度算出部によって得られた類似度のうち、最も高い類似度が、所定の閾値を越える場合、前記最も高い類似度に対応する、前記他の直交変換に、前記画像データを選択的に与えることによって、前記画像データが変換された直交変換係数を、前記画像データの符号化のために用い、
前記最も高い類似度が、前記所定の閾値以下の場合、前記第１の直交変換係数を、前記画像データの符号化のために用いる、
画像処理装置。
請求項１または２に記載の画像処理装置を備える符号化装置。
コンピュータを、請求項３に記載の符号化装置として機能させるためのプログラム。