JP6071618B2

JP6071618B2 - 画像処理装置及びプログラム

Info

Publication number: JP6071618B2
Application number: JP2013031185A
Authority: JP
Inventors: 俊枝三須; 市ヶ谷　敦郎; 敦郎市ヶ谷; 境田　慎一; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2013-02-20
Filing date: 2013-02-20
Publication date: 2017-02-01
Anticipated expiration: 2033-02-20
Also published as: JP2014160972A

Description

本発明は、画像処理装置及びプログラムに関する。特に、映像を符号化する符号化装置の前に用いられる画像処理装置及びプログラムに関する。

画像符号化システムにおいて、符号化手段の前および復号手段の後に処理を付加することにより符号化効率や主観画質を改善する手法がある(例えば、特許文献１及び特許文献２参照)。また、非特許文献１において、インタレース映像符号化する際に、画像をデインタレースしてプログレッシブ化してから符号化を行い受信側でインタレース化する方が、フィールド画像のまま符号化する場合よりも符号化効率が良いことが報告されている。ここで、符号化効率とは符号化方式の性能を評価する尺度である。同一の画質で符号化後のデータ量がより少なくなる場合、あるいは符号化後のデータ量が同一で画質がより優れる場合に、符号化効率が良い（高い）という。

特開２０１２−１４２７６９号公報特開２０１１−２２８９７４号公報

Zineb Agyo, Jerome Vieron, Pierre Larbier, Jean-Marc Thiesse (ATEME), "HEVC encoding of interlaced sequences: a preliminary study,"Joint Collaborative Team on Video Coding (JCT VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG11、11th Meeting:Shanghai,ＣＮ, 10-19 Oct. 2012, Document:JCTVC-K0353.

特許文献１および特許文献２の手法は、符号化手段の前および復号手段の後でそれぞれ画像処理を行うことにより符号化効率を向上させる手法であるが、いずれも映像ストリームとは別に送信側の装置から受信側の装置へ補助情報を伝送する必要がある。そのため、受信側の装置で、その補助情報を用いた特別な処理部を設ける必要があり、受信側の装置の構成が複雑になる。

非特許文献１の手法は、画像をアップサンプリングしてから映像符号化を行い、その復号映像をダウンサンプリングするのと等価である。しかし、非特許文献１において、そのデインタレース方法は画像パターンに適応化しておらず、つねに同一の補間手法によってデインタレース（アップサンプリング）される。一方、画像のエッジ部分など画素値やパターンが空間的に変化する部位では、補間手法によって得られるデインタレース画像は特に差異を生じるため、とくに非可逆の映像符号化方式による圧縮および画質劣化が加わると、デインタレース後のビットレートおよび画質は補間手法によっては悪くなる場合があった。このように、従来の技術では、画像を復元する側の装置の構成が複雑になるか、符号化効率が悪くなる場合があるかのいずれかの問題がある。

そこで本発明は、上記問題に鑑みてなされたものであり、画像を復元する側の装置の構成を簡素化しつつ、符号化効率を向上させることを可能とする画像処理装置及びプログラムを提供することを課題とする。

（１）本発明の一態様は、複数の画像拡大手段にて画像を拡大する画像拡大処理部と、前記画像拡大処理部が拡大して得た複数の拡大画像に対して符号化、復号、及び画像縮小を施した後の画質に関する情報と前記符号化の際に発生する符号量とで規定される複数のレート歪み特性に基づいて、前記画像拡大処理部の複数の画像拡大手段の中で符号化に用いる拡大画像を生成する一つの画像拡大手段を決定する制御部と、を備える画像処理装置である。

（２）また、本発明の一態様は、上述の画像処理装置であって、前記画質に関する情報は、前記画像拡大前の入力映像と前記画像縮小後の映像を比較して算出される歪み量である。

（３）また、本発明の一態様は、上述の画像処理装置であって、前記制御部は、前記画像拡大処理部で決定された一つの画像拡大手段が生成した拡大画像を符号化処理する符号化部をさらに備える。

（４）また、本発明の一態様は、コンピュータを、複数の画像拡大手段にて画像を拡大する画像拡大処理部と、前記画像拡大処理部で拡大されて得られた複数の拡大画像に対して符号化、復号、及び画像縮小を施した後の画質に関する情報と前記符号化の際に発生する符号量とで規定される複数のレート歪み特性に基づいて、前記画像拡大処理部の複数の画像拡大手段の中で符号化に用いる拡大画像を生成する一つの画像拡大手段を決定する制御部と、として機能させるためのプログラムである。

本発明によれば、画像を復元する側の装置の構成を簡素化しつつ、符号化効率を向上させることができる。

第１の実施形態における伝送システムの構成を示す概略ブロック図である。第１の実施形態におけるレート歪み評価手段の構成を示す概略ブロック図である。第１の実施形態における伝送システムの処理の流れの一例を示すフローチャートである。第２の実施形態における伝送システムの構成を示す概略ブロック図である。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して詳細に説明する。図１は、第１の実施形態における伝送システム６の構成を示す概略ブロック図である。伝送システム６は、画像処理装置１と、映像符号化装置２と、伝送手段３と、画像復元装置４とを備える。
画像処理装置１は、外部から入力された入力映像を拡大し、拡大して得た出力映像を映像符号化装置２へ出力する。
映像符号化装置２は、画像処理装置１から入力された出力映像を符号化することで、ビットストリームヘ変換し、変換後のビットストリームを伝送手段３へ出力する。ここで、ビットストリームはシリアルに出力されるデジタルデータである。

伝送手段３は、映像符号化装置２から入力されたビットストリームを画像復元装置４へ伝送する。伝送手段３は、例えば、ビットストリームをパケット化するパケット変換装置と、パケット化されたパケットデータを伝送する伝送路と、伝送路で伝送されたパケットデータから元のビットストリームに変換する変換装置によって構成される。
画像復元装置４は、伝送手段３から入力されたビットストリームを復号し、復号により得られた映像を縮小することで復号映像を生成し、生成した復号映像を外部へ出力する。画像復元装置４の構成の詳細は後述する。

なお、伝送手段３の代わりに、ビットストリームを蓄積する不図示の蓄積手段を設けてもよい。ここで蓄積手段は、例えば磁気ディスク装置、または半導体メモリである。その場合、映像符号化装置２はビットストリームを蓄根手段に蓄積し、画像復元装置４が蓄積されたビットストリームを読み出すことで取得してもよい。
また、伝送手段３とともに、ビットストリームを蓄積する不図示の蓄積手段を設けてもよい。ここで蓄積手段は、例えば磁気ディスク装置、半導体メモリ、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭといった記録媒体である。その場合例えば、伝送手段３の前後一方または両方に蓄積手段を備え、ビットストリームを蓄根するよう構成してもよい。

画像処理装置１は、画像拡大処理手段（画像拡大処理部）１１と、制御手段１９とを備える。画像拡大処理手段１１は、複数の画像拡大手段にて外部から入力された入力画像を拡大する。ここで画像拡大処理手段１１は、画像拡大手段１１−１〜１１−ＮまでのＮ個（Ｎは２以上の自然数）の画像拡大手段１１−ｎ（ｎは１からＮまでの整数）を備える。

画像拡大手段１１−１〜１１−Ｎは、それぞれ異なる解像度変換法により画像拡大を行う。画像拡大手段１１−１〜１１−Ｎは、例えば、最近傍法(ニアレストネイバー補間法)、双一次補間法(バイリニア補間法)、双三次補間法(バイキュービック補間法)、Ｌａｎｃｚｏｓ補間法などに従って画像拡大を行う。すべての画像拡大手段１１−１〜１１−Ｎは、同一の拡大率とする。なお、水平方向の拡大率と垂直方向の拡大率と異なっても構わない。水平方向の拡大率Ｍ_Ｘと垂直方向の拡大率Ｍ_Ｙは、Ｍ_Ｘ≧１、Ｍ_Ｙ≧１とする。ただし、Ｍ_Ｘ＝Ｍ_Ｙ＝１であってはならない。例えば、拡大率はＭ_Ｘ＝Ｍ_Ｙ＝２とする。

入力映像のあるフレームの画像座標(ｘ，ｙ)における画素値をＩ’(ｘ，ｙ)とおく。ここで、水平座標ｘおよび垂直座標ｙは０≦ｘ＜Ｘ、０≦ｙ＜Ｙなる整数とする。画像の水平画素数Ｘおよび垂直画素数Ｙは自然数とする。画像拡大手段１１−ｎの出力する拡大画像をＪ_ｎ(ｘ，ｙ)とおき、拡大率を一例としてＭ_Ｘ＝Ｍ_Ｙ＝２とする。
例えば、画像拡大手段１１−１がバイリニア補間法によって拡大処理する場合、画像拡大手段１１−１は次の式（１）に従って、拡大画像Ｊ_１(ｘ，ｙ)を生成する。

ここで、ｉ及びｊはそれぞれ−１から１までのいずれかの整数である。ｈ_１（０）＝１でｈ_１（±１）＝０．５である。但し、ｘ及びｙがともに整数のとき、式（１）中のＩ’(ｘ，ｙ)は次の式（２）で表される。

一方、ｘまたはｙのいずれかが非整数のとき、Ｉ’(ｘ，ｙ)＝０である。

また、例えば、画像拡大手段１１−２がＬａｎｃｚｏｓ−２補間法によって拡大処理する場合、画像拡大手段１１−２は次の式（３）に従って、拡大画像Ｊ_２(ｘ，ｙ)を生成する。

ここで、ｈ_２（０）＝１で、ｈ_２（±１）＝（４√２）／π^２で、ｈ_２（±２）＝０で、ｈ_２（±３）＝−（４√２）／（９π^２）である。
さらに、例えば、画像拡大手段１１−３〜１１−６が、それぞれ丸め方向の異なる最近傍補間法によって拡大処理する場合、画像拡大手段１１−３〜１１−６は、それぞれ次の式（４）〜式（７）に従って拡大画像Ｊ_３(ｘ，ｙ)〜Ｊ_６(ｘ，ｙ)を生成する。

式（４）によると、入力画像のｘ座標、ｙ座標がともに小数点以下の値が０．５をとる画素の値は、拡大画像Ｊ_３(ｘ，ｙ)において、ｘ座標、ｙ座標ともに上方向に丸めこまれる。式（５）によると、入力画像のｘ座標、ｙ座標がともに小数点以下の値が０．５をとる画素の値は、拡大画像Ｊ_４(ｘ，ｙ)において、ｘ座標では下方向に、ｙ座標では上方向に丸めこまれる。式（６）によると、入力画像のｘ座標、ｙ座標がともに小数点以下の値が０．５をとる画素の値は、拡大画像Ｊ_５(ｘ，ｙ)において、ｘ座標では上方向に、ｙ座標では下方向に丸めこまれる。式（７）によると、入力画像のｘ座標、ｙ座標がともに小数点以下の値が０．５をとる画素の値は、拡大画像Ｊ_６(ｘ，ｙ)において、ｘ座標、ｙ座標ともに下方向に丸めこまれる。

画像拡大手段１１−ｎは、インデックスｎが同じ後述するレート歪み評価手段１３−ｎへ拡大画像を出力する。
制御手段１９は、画像拡大処理手段１１が拡大して得た複数の拡大画像に対して符号化、復号、及び画像縮小を施した後の画質に関する情報とその符号化の際に発生する符号量とで規定される複数のレート歪み特性に基づいて、画像拡大処理手段１１の画像拡大処理を制御する。ここで制御手段１９は、符号化内部状態推定手段１２と、レート歪み特性算出部１３と、モード決定手段（決定部）１４と、選択手段１５とを備える。

符号化内部状態推定手段１２は、映像符号化装置２の内部状態を推定する。具体的には例えば、符号化内部状態推定手段１２は、フレーム間の動き補償予測に用いる参照フレームやコンテキスト適応のエントロピー符号化(ＣＡＢＡＣなど)を用いる場合のコンテキストモデルの状態を映像符号化装置２の内部状態として推定する。ここで、符号化内部状態推定手段１２は、レート歪み評価手段１３がレートの歪みを判断できる最小の構成であればよく、映像符号化装置２の内部状態を再現することができればよい。そのため符号化内部状態推定手段１２は、必ずしもビットストリームを出力する必要はなく、また出力フォーマットの設定機能を必ずしも含む必要はない。符号化内部状態推定手段１２は、再現して得た符号化内部状態をレート歪み評価手段１３−１〜１３−ｎへ出力する。

レート歪み特性算出部１３は、映像符号化装置２の内部状態と画像拡大処理手段１１が生成した複数の拡大画像に基づいて、複数のレート歪み特性を算出する。ここで、レート歪み特性算出部１３は、レート歪み評価手段１３−１〜１３−ＮまでのＮ個のレート歪み評価手段１３−ｎを備える。

レート歪み評価手段１３−ｎは、画像拡大手段１１−１〜１１−Ｎの出力する拡大画像１フレームを映像符号化装置２と同じ方式により符号化した際の当該フレームのレートと歪みの評価結果であるレート歪み特性を表す情報を算出する。ここで、レート歪み特性を表す情報とは例えば、拡大画像に対して符号化、復号、及び画像縮小を施した後の歪み量とその符号化の際に発生する符号量である。とくに映像符号化装置２がフレーム間の相関を利用した圧縮を行う場合や、以前の符号化の履歴に依存した圧縮結果を生ずる手法による場合には、レート歪み評価手段１３−ｎはこれまでの符号化の履歴に応じて当該フレームのレートと歪みの評価を行う必要がある。このためには、例えば、現処理対象フレームより過去の映像符号化を再現するための符号化内部状態推定手段１２を備えることで、現処理対象フレームの１フレーム前における映像符号化装置２の内部状態を画像処理装置１内で再現し、レート歪み評価手段１３はその再現された状態を参照して当該フレームの評価を行う。レート歪み評価手段１３−ｎの評価処理の詳細は後述する図２で説明する。本実施形態では一例としてレート歪み評価手段１３−ｎは、レート歪み特性の一例として歪み量Ｄ_ｎと符号量Ｒ_ｎを生成し、生成した歪み量Ｄ_ｎと符号量Ｒ_ｎをモード決定手段１４へ出力する。

モード決定手段（決定部）１４は、レート歪み特性定算出部１３が算出した複数のレート歪み特性に基づいて、画像拡大処理手段１１における画像拡大処理を決定する。本実施形態では一例として、モード決定手段１４は、レート歪み評価手段１３−１〜１３−Ｎが出力した歪み量Ｄ_１〜Ｄ_Ｎと符号量Ｒ_１〜Ｒ_Ｎとに基づいて、画像拡大手段１１−１〜１１−Ｎの中から最もレート歪み特性の良い画像拡大手段１１−ｎ＾を決定する。ここで、変数ｎ＾は、ｎの上に符号＾が付された記号を表し、ｎ＾は１からＮまでの整数のうちいずれかの整数である。具体的には例えば、モード決定手段１４は、次の式（８）に従って、変数ｎ＾を決定する。

ここで、λは正の定数である。例えば、ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）｜Ｈ．２６４の例にならうと、定数λは次の式（９）で表される。

なお、定数Ｑは、映像符号化装置２において用いられるＭＰＥＧ−４の量子化パラメータである。モード決定手段（決定部）１４は、決定した画像拡大手段１１−ｎ＾を示す情報を選択手段１５へ出力する
選択手段１５は、モード決定手段１４が決定した画像拡大手段１１−ｎ＾の出力した拡大画像Ｊ_ｎ＾を出力映像の１フレームとして映像符号化装置２へ出力する。

なお、映像符号化装置２および符号化内部状態推定手段１２が、例えば動き補償予測等の都合により、内部で映像フレームの順序を並べ替えて処理を行う方式である場合には、画像処理装置１は以下の処理を行ってもよい。その場合、画像処理装置１は、画像処理装置１へ入力映像が入力された直後にフレームバッファ（図示せず）を設けて時間順序に並んで入力された入力映像フレームを符号化順序に並べ替える。また、画像処理装置１は、出力映像を映像符号化装置２へ出力する直前にもフレームバッファ（図示せず）を設けて符号化順序で得られる結果を時間順序に並べ替えて映像符号化装置２へ出力する。

続いて、画像復元装置４の構成について説明する。画像復元装置４は、映像復号手段４１と画像縮小手段４２を備える。
映像復号手段４１は、映像符号化装置２が行う符号化に対応する復号をビットストリームに対して施し、復号により得られた映像信号の各フレームを画像縮小手段４２へ出力する。ここで、映像符号化装置２および映像復号手段４１に用いる符号化方式及び復号方式は任意である。例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−４Ｐａｒｔ１０ＡＶＣ｜Ｈ．２６４などが用いられる。

画像縮小手段４２は、映像復号手段４１から入力された映像信号の各フレームが示す画像を縮小し、縮小により得られた復号映像を外部へ出力する。画像縮小手段４２は、レート歪み評価手段１３−１〜１３−Ｎの内部に実装される画像縮小手段１７と同じ動作を行う。画像縮小手段４２は、入力された映像フレームＪ”の解像度を下げ、入力映像の解像度と等しい解像度の復号映像フレームＩ”を得る。画像縮小手段４２は、画像縮小手段４２の解像度変換手法として、例えば画素を最近傍補間法、双一次補間法、双三次補間法、Ｌａｎｃｚｏｓ補間法などを用いることができる。

画像座標（ｘ、ｙ）における映像フレームＪ”およびＩ”の画素値をＪ”（ｘ、ｙ）およびＩ”（ｘ、ｙ）とおく。
例えば、画像縮小手段４２が画像の解像度を最近傍補間法によって水平方向に１／２、垂直方向に１／２に変換する場合、画像縮小手段４２は、次の式（１０）に従って映像フレームＪ”から映像フレームＩ”を生成する。

また、例えば、画像縮小手段４２が画像の解像度をＬａｎｃｚｏｓ−２補間法によって水平方向に１／２、垂直方向に１／２に変換する場合、画像縮小手段４２は、次の式（１１）に従って映像フレームＪ”から映像フレームＩ”を生成する。

ここで、ｋ（０）＝１で、ｋ（±１）＝（４√２）／π^２で、ｋ（±２）＝０で、ｋ（±３）＝（４√２）／（９π^２）である。

続いて、図２を用いてレート歪み評価手段１３−ｎの構成について説明する。図２は、第１の実施形態におけるレート歪み評価手段１３−ｎの構成を示す概略ブロック図である。レート歪み評価手段１３−ｎは、符号化試行手段１６と、画像縮小手段１７と、画像比較手段１８とを備える。

符号化試行手段１６はこれまでの符号化内部状態において、これから符号化しようとする画像フレーム（ここでは拡大画像）１フレームを符号化した場合の発生する符号量と局部復号画像（ローカルデコード画像）を算出する。ここで、符号化内部状態は、符号化のフレーム順序において直前のフレームまで符号化したときの映像符号化装置２の内部状態である。また符号量は、例えば、ＭＰＥＧで１フレームの画像を符号化した際の符号量で、局部復号画像は例えばＭＰＥＧで符号化する際に内部の処理で生成する局部復号画像である。符号化試行手段１６は算出した局部復号画像を画像縮小手段１７へ出力し、算出した符号量Ｒ_ｎをモード決定手段１４へ出力する。

画像縮小手段１７は、画像復元装置４が備える画像縮小手段４２と同じ処理で、符号化試行手段１６が算出した局部復号画像を縮小し、縮小して得た模擬出力フレームを画像比較手段１８へ出力する。模擬出力フレームは、符号化試行手段１６へ入力された画像フレームを符号化したとしたら画像復元装置４がいかなる復号映像のフレームを出力するかを模擬したものである。

画像比較手段１８は、画像縮小手段１７が生成した模擬出力フレームと外部から入力された入力映像のフレームとを比較することで画像劣化量として歪み量Ｄを算出する。例えば、画像比較手段１８は模擬出力フレームと入力映像のフレームとの間で、平均二乗誤差（ＭＳＥ：ＭｅａｎＳｑｕａｒｅＥｒｒｏｒ）を歪み量Ｄとして算出する。ここで平均二乗誤差は、模擬出力フレームの画素と対応する入力映像の画素の間の画素値の差の２乗の平均であり、その平均は例えば１フレーム内の全ての画素で算出された当該画素値の差の２乗の平均である。
以上の処理により、レート歪み評価手段１３−ｎは、入力された符号化内部状態と拡大画像に基づき、歪み量Ｄと符号量Ｒを算出し、算出した歪み量Ｄと符号量Ｒをモード決定手段１４へ出力する。

図３は、第１の実施形態における伝送システム６の処理の流れの一例を示すフローチャートである。
（ステップＳ１０１）まず、画像拡大手段１１−１〜１１−Ｎはそれぞれ、入力画像を互いに異なる拡大処理で拡大する。これにより、複数の異なる拡大画像が生成される。
（ステップＳ１０２）次に、符号化内部状態推定手段１２は、映像符号化装置２の符号化内部状態を推定する。
（ステップＳ１０３）次に、レート歪み評価手段１３−１〜１３−Ｎはそれぞれ、対応する拡大画像について、歪みと符号量を算出する。
（ステップＳ１０４）次に、モード決定手段１４は、最もレート歪み特性の良い画像拡大手段１１−ｎ＾を決定する。
（ステップＳ１０５）次に、選択手段１５は、モード決定手段１４が決定した画像拡大手段１１−ｎ＾が出力した拡大画像を出力映像の１フレームとして映像符号化装置２へ出力する。
（ステップＳ１０６）次に、映像符号化装置２は、選択手段１５から入力された出力映像を符号化することでビットストリームヘ変換する。
（ステップＳ１０７）次に、伝送手段３は、映像符号化装置２が符号化して得たビットストリームを画像復元装置４へ伝送する。
（ステップＳ１０８）次に、画像復元装置４の映像復号手段４１は、ビットストリームを復号する。
（ステップＳ１０９）次に、画像復元装置４の画像縮小手段４２は、映像復号手段４１が復号して得た映像を縮小することで復号映像を生成し、生成した復号映像を外部へ出力する。以上で、本フローチャートの処理を終了する。

以上、本実施形態における伝送システム６によれば、送信側の画像処理装置１の制御手段１９が、複数の画像拡大手段の中からレート歪み特性が最も良い画像拡大手段を選択するので、とくにフレーム間相関（動き補償予測）や変換（離散コサイン変換などの直交変換や整数変換など）を利用する映像符号化において、符号化効率を改善できる。更に、適応的処理を行うのは送信側の画像処理装置１のみであり、受信側の画像復元装置４における画像縮小処理は固定である。このため、受信側の画像復元装置４の構成を簡素化することができる。

＜第２の実施形態＞
続いて、第２の実施形態について説明する。図４は、第２の実施形態における伝送システム７の構成を示す概略ブロック図である。なお、図１と共通する要素には同一の符号を付し、その具体的な説明を省略する。第２の実施形態における伝送システム７の構成は、第１の実施形態における伝送システム６の構成に対して、映像符号化装置２が削除され、画像処理装置１が画像処理装置５に変更されたものになっている。画像処理装置５は、画像符号化装置２と映像処置装置１における符号化内部状態推定手段１２とを、共通の映像符号化手段（符号化部）５１としてまとめることにより構成したものである。

画像処理装置５は、画像処理装置１と同様の機能を有するが、以下の点で異なる。画像処理装置５は、出力映像を符号化し、符号化して得たビットストリームを伝送手段３へ出力する。ここで、第２の実施形態における画像処理装置５は、第１の実施形態における画像処理装置１の構成に対して、映像符号化手段５１が追加され、制御手段１９が制御手段５２に変更になっている。ここで第２の実施形態における制御手段５２の構成は、制御手段１９の構成に対して、符号化内部状態推定手段１２が削除された構成になっている。

映像符号化手段５１は、第１の実施形態における符号化内部状態推定手段１２と同様の処理で、各フレームを符号化処理した後の内部状態である符号化内部状態を生成する。具体的には例えば、映像符号化手段５１は、フレーム間の動き補償予測に用いる参照フレームやコンテキスト適応のエントロピー符号化（ＣＡＢＡＣなど）を用いる場合のコンテキストモデルの状態といった符号化内部状態を生成する。映像符号化手段５１は、生成して得た符号化内部状態をレート歪み評価手段１３−１〜１３−Ｎへ出力する。これにより、第２の実施形態では符号化内部状態推定手段１２が削除されているが、レート歪み評価手段１３−１〜１３−Ｎは、符号化内部状態を符号化内部状態推定手段１２の代わりに映像符号化手段５１から取得することができる。
また、映像符号化手段５１は、選択手段１５から入力された出力映像を非可逆符号化し、符号化して得たビットストリームを伝送手段３へ出力する。

なお、第１の実施形態と同様に第２の実施形態でも、伝送手段３の前後一方または両方に蓄積手段を更に備え、ビットストリームを一時蓄積するよう構成してもよい。その場合蓄積手段は、例えば磁気ディスク装置、半導体メモリ、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭといった記録媒体である。一方、伝送手段３を設けず、映像符号化装置２はビットストリームを蓄積手段に蓄積し、画像復元装置４が蓄積されたビットストリームを読み出して取得してもよい。その場合蓄積手段は、例えば磁気ディスク装置、または半導体メモリである。
また、第１の実施形態と同様に第２の実施形態でも、映像符号化手段５１が、例えば動き補償予測等の都合により、内部で映像フレームの順序を並べ替えて処理を行う方式である場合、画像処理装置５は、映像符号化装置２へ入力映像が入力された直後にフレームバッファ（図示せず）を設けて時間順序に並んで入力された入力映像フレームを符号化順序に並べ替えてもよい。その場合、映像符号化手段５１の入力端でのフレーム順序入れ替え機能を内在させず、時間順序ではなく符号化順序のままフレーム画像が映像符号化手段５１に入力されるよう構成すればよい。

以上、第２の実施形態における伝送システム７は、第１の実施形態の効果に加えて、画像符号化装置２と映像処置装置１における符号化内部状態推定手段１２とを、共通の映像符号化手段５１としてまとめることにより構成したので、伝送システム７の構成要素を少なくすることができる。

なお、複数の装置を備えるシステムが、本実施形態の画像処理装置（１または５）の各処理を、それらの複数の装置で分散して処理してもよい。
また、本実施形態の画像処理装置（１または５）の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、画像処理装置（１または５）に係る上述した種々の処理を行ってもよい。

なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではない。各実施形態における各構成及びそれらの組み合わせ等は一例であり、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は実施形態によって限定されることはなく、特許請求の範囲によってのみ限定される。

１、５画像処理装置
２映像符号化装置
３伝送手段
４画像復元装置
６、７伝送システム
１１画像拡大処理手段（画像拡大処理部）
１１−１、…、１１−Ｎ画像拡大手段
１２符号化内部状態推定手段
１３レート歪み特性算出部
１３−１、…、１３−Ｎレート歪み評価手段
１４モード決定手段（決定部）
１５選択手段
１６符号化試行手段
１７画像縮小手段
１８画像比較手段
１９、５２制御手段（制御部）
５１映像符号化手段（符号化部）

Claims

複数の画像拡大手段にて画像を拡大する画像拡大処理部と、
前記画像拡大処理部が拡大して得た複数の拡大画像に対して符号化、復号、及び画像縮小を施した後の画質に関する情報と前記符号化の際に発生する符号量とで規定される複数のレート歪み特性に基づいて、前記画像拡大処理部の複数の画像拡大手段の中で符号化に用いる拡大画像を生成する一つの画像拡大手段を決定する制御部と、
を備える画像処理装置。
前記画質に関する情報は、前記画像拡大前の入力映像と前記画像縮小後の映像を比較して算出される歪み量である請求項１に記載の画像処理装置。
前記制御部は、前記画像拡大処理部で決定された一つの画像拡大手段が生成した拡大画像を符号化処理する符号化部をさらに備える請求項１または２に記載の画像処理装置。
コンピュータを、
複数の画像拡大手段にて画像を拡大する画像拡大処理部と、
前記画像拡大処理部で拡大されて得られた複数の拡大画像に対して符号化、復号、及び画像縮小を施した後の画質に関する情報と前記符号化の際に発生する符号量とで規定される複数のレート歪み特性に基づいて、前記画像拡大処理部の複数の画像拡大手段の中で符号化に用いる拡大画像を生成する一つの画像拡大手段を決定する制御部と、
として機能させるためのプログラム。