JP4770711B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

画像処理装置、画像処理方法、およびプログラム Download PDF

Info

Publication number
JP4770711B2
JP4770711B2 JP2006308681A JP2006308681A JP4770711B2 JP 4770711 B2 JP4770711 B2 JP 4770711B2 JP 2006308681 A JP2006308681 A JP 2006308681A JP 2006308681 A JP2006308681 A JP 2006308681A JP 4770711 B2 JP4770711 B2 JP 4770711B2
Authority
JP
Japan
Prior art keywords
pixel
image data
block
pixels
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006308681A
Other languages
English (en)
Other versions
JP2008124955A (ja
JP2008124955A5 (ja
Inventor
朋範 河瀬
秀樹 大塚
悠太 長木
恵司 堀田
正康 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006308681A priority Critical patent/JP4770711B2/ja
Publication of JP2008124955A publication Critical patent/JP2008124955A/ja
Publication of JP2008124955A5 publication Critical patent/JP2008124955A5/ja
Application granted granted Critical
Publication of JP4770711B2 publication Critical patent/JP4770711B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、例えば、ユーザが、高画質の画像データを享受することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
例えば、MPEG-2（Moving Picture Experts Group phase 2）などの符号化および復号方式により、所定の画像を、所定のブロックごとに符号化し、復号することで得られる復号画像は、ブロック歪やモスキートノイズなどのノイズを含むノイズ画像となる。かかるノイズ画像から、ノイズを除去するノイズ除去方法として、符号化および復号の処理単位である８×８画素（横×縦）のブロックをノイズ除去の処理単位として、ノイズ除去処理を行う技術が、特許文献１や２に開示されている。
特開２００３−３２４７３８号公報 特開２００４−７６０７号公報
ところで、地上デジタル放送においては、図１に示されるように、放送局３１側で、放送すべき１９２０×１０８０画素（横×縦）の原画像が横方向に３/４倍されることで縮小され、その結果得られる１４４０×１０８０画素の縮小画像が、８×８画素のブロックごとに、MPEG-2などの符号化方式により符号化されて、MPEG符号化画像として各家庭などに送信される。
一方、各家庭側では、放送局３１から送信されてくるMPEG符号化画像を受信し、各家庭に設置されたデコーダ３２により、例えば、８×８画素のブロックごとに、MPEG-2などの符号化方式に対応した復号を行うことで、MPEG符号化画像が１４４０×１０８０画素のMPEG復号画像に復号される。
また、デコーダ３２は、１４４０×１０８０画素のMPEG復号画像を、横方向に４/３倍することで、画素数が原画像と同一の、１９２０×１０８０画素の拡大MPEG復号画像に拡大し、その拡大MPEG復号画像を図示せぬテレビジョン受像機などに表示させる。
拡大MPEG復号画像では、MPEG-2などによる符号化および復号の処理単位である、横×縦が８×８画素のブロックは横方向に４/３倍されて、１０．６６６（正確には、１０．６６６・・・）×８画素（横×縦）のブロックとなっている。
従って、拡大MPEG復号画像には、１０．６６６×８画素のブロックの境界（付近）に、モスキートノイズやブロック歪が生じているが、拡大MPEG復号画像に生じているノイズを除去するノイズ除去方法として、例えば、上述の、特許文献１や２に開示された技術を用いたノイズ除去処理を採用した場合には、ノイズを効果的に除去することができないことがある。
即ち、特許文献１や２に開示された技術は、例えば、MPEG-2の符号化および復号の処理単位と一致する８×８画素のブロックごとに、ノイズ除去処理が行われるようになっており、１０．６６６×８画素のブロックごとに、ノイズ除去処理を行うようになっていない。
そして、特許文献１や２に開示された技術を用いたノイズ除去処理の処理単位としての８×８画素のブロックと、拡大MPEG復号画像上にノイズが生じる単位としての１０．６６６×８画素のブロックとが一致していない、いわば位相ずれが生じている場合には、ノイズ除去処理の処理単位とノイズが生じる単位とが一致している、いわば位相ずれのない場合と比較して、効果的にノイズを除去することができないことがある。
本発明は、このような状況に鑑みてなされたものであり、効果的にノイズを除去して、高画質の画像データを得ることができるようにするものである。
本発明の一側面の画像処理装置は、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換するデコーダが出力する前記出力画像データを処理する画像処理装置において、前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出手段と、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出手段と、前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、前記係数出力手段により出力された前記係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算手段とを有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換手段と、前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換手段を制御する制御手段と、前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段と、前記境界上画素判定手段により、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記注目画素の前記クラス分類に用いる閾値を、前記注目画素を含む前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する閾値算出手段とを備え、前記クラス分類手段は、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類する。
前記予測タップ抽出手段には、前記予測タップを、前記注目画素を含む前記処理ブロックから抽出させることができる。
前記クラスタップ抽出手段には、前記クラスタップを、前記注目画素を含む前記処理ブロックから抽出させることができる。
前記画像処理装置には、前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに設けることができ、前記係数出力手段には、前記注目画素のクラスと画素位置モードに対応する係数を出力させることができる。
前記処理ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
前記画像処理装置には、前記注目画素が、前記処理ブロックを複数の領域に区分したときに、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに設けることができ、前記予測演算手段には、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求めさせることができる。
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれる場合、前記処理ブロックから、前記境界上画素を除外した画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値を割り当てることができる。
前記境界上画素には、画素位置モードとして、前記境界上画素以外の画素と異なる値を割り当てることができる。
本発明の一側面の画像処理方法、またはプログラムは、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換するデコーダが出力する前記出力画像データを処理する画像処理装置の画像処理方法、または原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換するデコーダが出力する前記出力画像データを処理する画像処理をコンピュータに実行させるプログラムにおいて、前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出ステップと、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出ステップと、前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、前記係数出力ステップにより出力された前記係数と、前記予測タップ抽出ステップにより抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算ステップとを有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換ステップと、前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換ステップを制御する制御ステップと、前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定ステップと、前記境界上画素判定ステップにより、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記注目画素の前記クラス分類に用いる閾値を、前記注目画素を含む前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する閾値算出ステップとを含み、前記クラス分類ステップは、前記クラスタップ抽出ステップにより抽出された前記クラスタップと、前記閾値算出ステップにより算出された前記閾値とに基づいて、前記注目画素をクラス分類する。
本発明の一側面によれば、原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換するデコーダが出力する前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素が、前記出力画像データから予測タップとして抽出される。また、前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素が、前記出力画像データからクラスタップとして抽出されるとともに、抽出された前記クラスタップに基づいて、前記注目画素がクラス分類され、前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数が出力される。さらに、出力された前記係数と、抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素が求められる。また、前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記出力画像データを前記高画質画像データに変換する画像変換処理が行われるように、各種、制御され、前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かが判定され、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記注目画素の前記クラス分類に用いる閾値が、前記注目画素を含む前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出され、抽出された前記クラスタップと、算出された前記閾値とに基づいて、前記注目画素がクラス分類される。
以上のように、本発明の一側面によれば、例えば、効果的にノイズを除去して、高画質の画像データを得ることができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像処理装置は、
原画像データ（例えば、図１の原画像）の画素数を所定数倍に変換した変換後画像データ（例えば、図１の縮小画像）を所定のブロックごとに符号化して得られる符号化データ（例えば、図１のMPEG符号化画像）を、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データ（例えば、図１のMPEG復号画像）を、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データ（例えば、図１の拡大MPEG復号画像）に変換する
デコーダ（例えば、図１のデコーダ３２）が出力する前記出力画像データを処理する画像処理装置（例えば、図２の画像変換部６１）において、
前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出手段（例えば、図２の予測タップ抽出部１２３）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出手段（例えば、図２のクラスタップ抽出部１２４）と、
前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段（例えば、図２のクラス分類部１２５）と、
前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段（例えば、図２の係数記憶部１２６）と、
前記係数出力手段により出力された前記係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算手段（例えば、図２の予測演算部１２７）と
を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換手段（例えば、図２の画像変換部６１）と、
前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換手段を制御する制御手段（例えば、図２の制御部１２８）と、
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段（例えば、図７のステップＳ３３の処理を実行する図２の閾値算出部１２２）と、
前記境界上画素判定手段により、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記注目画素の前記クラス分類に用いる閾値を、前記注目画素を含む前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する閾値算出手段（例えば、図７のステップＳ３４の処理を実行する図２の閾値算出部１２２）と
を備え、
前記クラス分類手段は、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類する。
前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段（例えば、図１０の画素位置モード判定部２７５）をさらに備え、
前記係数出力手段は、前記注目画素のクラスと画素位置モードに対応する係数を出力する。
前記注目画素が、前記処理ブロックを複数の領域に区分したときに、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段（例えば、図１０の領域判定部２７７）をさらに備え、
前記予測演算手段は、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める。
本発明の一側面の画像処理方法、またはプログラムは、
原画像データ（例えば、図１の原画像）の画素数を所定数倍に変換した変換後画像データ（例えば、図１の縮小画像）を所定のブロックごとに符号化して得られる符号化データ（例えば、図１のMPEG符号化画像）を、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データ（例えば、図１のMPEG復号画像）を、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データ（例えば、図１の拡大MPEG復号画像）に変換する
デコーダ（例えば、図２のデコーダ３２）が出力する前記出力画像データを処理する画像処理装置（例えば、図２の画像変換部６１）の画像処理方法、
または
原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換する
デコーダが出力する前記出力画像データを処理する画像処理をコンピュータに実行させるプログラムにおいて、
前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出ステップ（例えば、図７のステップＳ３７）と、
前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出ステップ（例えば、図７のステップＳ３８）と、
前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップ（例えば、図７のステップＳ３９）と、
前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップ（例えば、図７のステップＳ４０）と、
前記係数出力ステップにより出力された前記係数と、前記予測タップ抽出ステップにより抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算ステップ（例えば、図７のステップＳ４１）と
を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換ステップ（例えば、図７のステップＳ３１乃至ステップＳ４３）と、
前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換ステップを制御する制御ステップ（例えば、図７のステップＳ３１）と、
前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定ステップ（例えば、図７のステップＳ３３）と、
前記境界上画素判定ステップにより、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記注目画素の前記クラス分類に用いる閾値を、前記注目画素を含む前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する閾値算出ステップ（例えば、図７のステップＳ３４）と
を含み、
前記クラス分類ステップは、前記クラスタップ抽出ステップにより抽出された前記クラスタップと、前記閾値算出ステップにより算出された前記閾値とに基づいて、前記注目画素をクラス分類する。
以下、図面を参照して、本発明の実施の形態について説明する。
図２は、本発明を適用した画像変換部の一実施の形態の構成例を示すブロック図である。
図２の画像変換部６１は、例えば、図１のデコーダ３２が出力する出力画像データを、その出力画像データよりも高画質の高画質画像データに変換する画像変換処理を行う。即ち、画像変換部６１は、例えば、図１のデコーダ３２が出力する出力画像データとしての、例えば、図１で説明したような拡大MPEG復号画像などから、MPEG-2による８×８画素のブロック単位での符号化および復号に起因して生じたブロック歪やモスキートノイズを除去するノイズ除去処理を行う。
なお、出力画像データは、ここでは、MPEG-2の復号によって直接得られる１４４０×１０８０画素のMPEG復号画像を横方向に４/３倍した１９２０×１０８０画素の拡大MPEG復号画像であるため、出力画像データにおいて、MPEG復号画像の１６×１６画素（横×縦）のマクロブロックは、そのマクロブロックを横方向に４/３倍にした２１．３３３（正確には、２１．３３３・・・）×１６画素（横×縦）の拡大マクロブロックになる。また、出力画像データにおいて、MPEG復号画像のマクロブロックを構成する８×８画素のブロックは、そのブロックを横方向に４/３倍にした１０．６６６×８画素（横×縦）の拡大ブロックとなる。
ここで、以下では、説明を簡単にするために、輝度信号のみを考える。従って、MPEG復号画像のマクロブロックは、２×２個（横×縦）の輝度信号のブロックで構成され、拡大MPEG復号画像の拡大マクロブロックは、２×２個（横×縦）の輝度信号の拡大ブロックで構成されることとする。
画像変換部６１は、ブロック抽出部１２１、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、係数記憶部１２６、予測演算部１２７、および制御部１２８により構成される。
ブロック抽出部１２１は、図１のデコーダ３２から供給されてくる出力画像データから、後述する６４×１６画素の抽出対象ブロックを、例えば、いわゆるラスタスキャン順に、順次抽出する。また、ブロック抽出部１２１は、抽出対象ブロックを、後述する複数の処理対象ブロックに区分し、閾値算出部１２２に、順次供給する。
閾値算出部１２２は、ブロック抽出部１２１から供給された処理対象ブロックを、後述する複数の処理ブロックに区分し、その処理ブロックを、例えば、ラスタスキャン順に、順次注目ブロックとする。
閾値算出部１２２は、後述する予測タップ抽出部１２３が注目する画素である注目画素を、複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる閾値を、注目ブロックから算出し、クラス分類部１２５に供給する。
予測タップ抽出部１２３は、注目ブロックに含まれる画素を、例えば、ラスタスキャン順に、順次、注目画素として選択し、さらに、注目画素に対応する、出力画像データを変換して得ようとする高画質画像データの画素の画素値を予測するために用いる複数の画素を、予測タップとして、出力画像データから抽出する。
即ち、予測タップ抽出部１２３は、例えば、注目画素を中心として水平方向に並ぶ複数の画素である水平方向のタップ７１を、予測タップとして、出力画像データから抽出する。ここで、図２では、図２右上に白丸で示す注目画素の右に隣接する、黒丸で示す４個の画素、注目画素の左に隣接する、黒丸で示す４個の画素、および注目画素の、水平方向に並ぶ９個の画素が、水平方向のタップ７１として示されている。
予測タップ抽出部１２３は、出力画像データから抽出した予測タップを、予測演算部１２７に供給する。
クラスタップ抽出部１２４は、注目画素を、クラス分類するのに用いる複数の画素を、クラスタップとして、出力画像データから抽出する。
即ち、クラスタップ抽出部１２４は、例えば、注目画素を中心として水平方向に並ぶ複数の画素である水平方向のタップ７１を、クラスタップとして、出力画像データから抽出する。
なお、ここでは、説明を簡単にするために、予測タップとクラスタップとは、同一のタップ構造（注目画素に対する位置関係）を有する複数の画素とする。但し、予測タップとクラスタップとは、異なるタップ構造を有する複数の画素とすることができる。
クラスタップ抽出部１２４は、出力画像データから抽出したクラスタップを、クラス分類部１２５に供給する。
クラス分類部１２５は、閾値算出部１２２から供給された閾値と、クラタップ抽出部１２４から供給されたクラスタップとに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを係数記憶部１２６に供給する。
係数記憶部１２６は、後述する学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類部１２５から供給されたクラスコードに対応付けられたタップ係数（注目画素のクラスのタップ係数）を予測演算部１２７に供給する。
予測演算部１２７は、予測タップ抽出部１２３から供給された予測タップと、係数記憶部１２６から供給されたタップ係数とを用いて、注目画素に対応する、高画質画像データの画素の画素値（予測値）を求める所定の予測演算を行う。これにより、予測演算部１２７は、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
制御部１２８は、ブロック抽出部１２１、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、係数記憶部１２６、および予測演算部１２７を制御する。
即ち、制御部１２８は、画像変換部６１における画像変換処理が、処理ブロックごとに行われるように、各ブロックを制御する。
次に、図３および図４を参照して、図２のブロック抽出部１２１における処理を説明する。
図３は、ブロック抽出部１２１が、抽出対象ブロックを抽出する順番を示す図である。
ブロック抽出部１２１は、出力画像データから、複数の拡大マクロブロックにより構成されるＮ×Ｍ画素（横×縦）（Ｎ，Ｍは自然数）の抽出対象ブロックを、例えば、ラスタスキャン順に順次抽出し、複数の処理対象ブロックに区分する。
即ち、ブロック抽出部１２１は、１９２０×１０８０画素（横×縦）の出力画像データから、６４×１６画素（横×縦）の抽出対象ブロックを、例えば、ラスタスキャン順に、順次抽出し、処理対象ブロックに区分する。
次に、図４は、ブロック抽出部１２１が、抽出対象ブロックを、複数の処理対象ブロックに区分する方法を示す図である。
図４上側には、ブロック抽出部１２１が抽出する６４×１６画素の抽出対象ブロックが示されており、抽出対象ブロックは、水平方向に並ぶ３個の、２１．３３３×１６画素の拡大マクロブロックにより構成される。
また、拡大マクロブロックは、２×２個の、１０．６６６×８画素の拡大ブロックにより構成される。
図４下側には、抽出対象ブロックを区分することで得られる３個の処理対象ブロック１３１乃至１３３が示されている。
６４×１６画素の抽出対象ブロックは、垂直方向に区切られることによって、左から順に、水平方向に並ぶ、２１×１６画素の処理対象ブロック１３１、２２×１６画素の処理対象ブロック１３２、および２１×１６画素の処理対象ブロック１３３に区分される。
そして、２１×１６画素の処理対象ブロック１３１は、１１×８画素（横×縦）の左上および左下の処理ブロックと、１０×８画素（横×縦）の右上および右下の処理ブロックとの合計４個の処理ブロックにより区分される。
また、２２×１６画素の処理対象ブロック１３２は、１１×８画素の左上、左下、右上および右下の処理ブロックにより区分される。
さらに、２１×１６画素の処理対象ブロック１３３は、１０×８画素の左上および左下の処理ブロックと、１１×８画素の右上および右下の処理ブロックとの合計４個の処理ブロックにより区分される。
ここで、図４下側の１１×８画素の処理ブロックにおいて、斜線が付された部分は、図４上側の白色の矩形で示される拡大ブロックの境界を含む境界上画素を示している。なお、境界上画素は、１１×８画素の処理ブロックにのみ含まれ、１０×８画素の処理ブロックには含まれない。
なお、処理ブロックのブロックサイズは、図１において、放送局３１側で行われる、原画像を縮小画像に変換するときの倍率（３/４倍）に基づいて決定される。
即ち、処理ブロックのブロックサイズは、MPEG復号画像の８×８画素のブロックを、横方向に、原画像を縮小画像に変換するときの倍率（３/４倍）の逆数倍である４/３倍し、その結果得られた１０．６６６×８画素のブロックの横方向の画素の個数を、切捨てまたは切り上げをすることで得られたブロックサイズである。つまり、１０．６６６×８画素のブロックの横方向の画素の個数の小数点第１位以下の部分を切り捨てることにより、処理ブロックのブロックサイズが、１０×８画素のサイズに決定し、さらに、１０．６６６×８画素のブロックの横方向の画素の個数の小数点第１位以下の部分を切り上げることにより、処理ブロックのブロックサイズが、１１×８画素のサイズに決定する。
また、図４下側の処理対象ブロック１３１、処理対象ブロック１３２、処理対象ブロック１３３は、それぞれ、図４上側の左から１番目、２番目、３番目の拡大マクロブロックに対応する。
ブロック抽出部１２１は、図４上側に示された抽出対象ブロックを、図４下側に示された処理対象ブロック１３１乃至１３３に区分し、まず、処理対象ブロック１３１を、閾値算出部１２２に供給する。
そして、処理対象ブロック１３１のすべての画素が注目画素とされると、ブロック抽出部１２１は、処理対象ブロック１３２を、閾値算出部１２２に供給する。
さらに、処理対象ブロック１３２のすべての画素が注目画素とされると、ブロック抽出部１２１は、処理対象ブロック１３３を、閾値算出部１２２に供給する。
閾値算出部１２２は、ブロック抽出部１２１から、処理対象ブロックが供給されると、その処理対象ブロックを、図４下側に示した、１０×８画素の処理ブロックや１１×８画素の処理ブロックに区分し、例えば、ラスタスキャン順に、順次、注目ブロックとして、閾値を算出する。
次に、図５は、閾値算出部１２２が、ブロック抽出部１２１から供給される処理ブロックから閾値を算出する処理を説明する図である。
図５上側には、閾値算出部１２１に供給された処理対象ブロック１３１（図４）が示されており、図５中央右側には、処理対象ブロック１３１に対応する拡大マクロブロック（の拡大前のマクロブロック）のブロック構造がフレーム構造である場合、つまりDCTタイプがフレームDCTである場合の処理対象ブロック１３１が示されている。また、図５中央左側には、処理対象ブロック１３１に対応する拡大マクロブロック（の拡大前のマクロブロック）のブロック構造がフィールド構造である場合、つまりDCTタイプがフィールドDCTである場合の処理対象ブロック１３１が示されている。
なお、図５中央右側のブロック、および図５中央左側のブロックに示される斜線部分は、処理対象ブロック１３１における偶数ライン（ボトムフィールド）を表しており、白色の部分は、処理対象ブロック１３１における奇数ライン（トップフィールド）を表している。
さらに、図５下側には、処理対象ブロック１３１の左上または左下の１１×８画素の処理ブロックが示されている。なお、図５下側に示される１１×８画素の処理ブロックのうちの斜線部分は、境界上画素を示している。
閾値算出部１２２は、例えば、ブロック抽出部１２１から供給された処理対象ブロック１３１に対応する拡大マクロブロックのブロック構造が、フレーム構造であるかフィールド構造であるかを判定する。なお、例えば、閾値算出部１２２は、処理対象ブロック１３１に対応する拡大マクロブロックのフィールド内自己相関とフィールド間相関とを比較することで、処理対象ブロック１３１に対応する拡大マクロブロックのブロック構造を判定することができる。
処理対象ブロック１３１に対応する拡大マクロブロックのブロック構造がフレーム構造であると判定された場合、閾値算出部１２２は、図５中央右側に示された処理対象ブロック１３１のうちの、左上の１１×８画素の処理ブロックを注目ブロックとして、閾値を算出する。
閾値算出部１２１は、注目ブロックとしている左上の処理ブロックの画素のすべてが注目画素とされた後は、処理対象ブロック１３１の右上の１０×８画素の処理ブロック、左下の１１×８画素の処理ブロック、右下の１０×８画素の処理ブロックの順番で、順次、注目ブロックとして、閾値を算出する。
一方、処理対象ブロック１３１に対応する拡大マクロブロックのブロック構造がフィールド構造であると判定された場合、閾値算出部１２２は、図５中央右側に示された処理対象ブロック１３１のうちの、左上の、左上の１１×８画素の処理ブロックを注目ブロックとして、閾値を算出する。
閾値算出部１２１は、いま、注目ブロックとしている左上の処理ブロックの画素のすべてが注目画素とされた後は、処理対象ブロック１３１の右上の１０×８画素の処理ブロック、左下の１１×８画素の処理ブロック、右下の１０×８画素の処理ブロックの順番で、順次、注目ブロックとして、閾値を算出する。
閾値算出部１２１は、例えば、次のようにして、注目ブロックから、閾値を算出する。
即ち、閾値算出部１２１は、図５下側に示されるように、注目ブロックの、横方向（水平方向）に並ぶ画素のうちの、隣接する画素同士の画素値の差分絶対値である画素間差分を求める。
但し、画素間差分は、境界上画素を除外した画素のみを対象として求められる。
従って、注目ブロックが、境界上画素が含まれない１０×８画素の処理ブロックである場合には、その処理ブロックを構成する画素すべてを対象として、９×８＝７２個の画素間差分が求められる。
閾値算出部１２１は、注目ブロックについて７２個の画素間差分を求めると、その７２個の画素間差分のうちの、最大値MAXと最小値MINとを求め、DR=MAX-MINを、画素間差分のダイナミックレンジDRとして求める。さらに、閾値算出部１２１は、そのダイナミックレンジDRを４で除算した値に最小値MINを加算した値を、閾値Th=(DR/4)+MINとして算出する。
一方、注目ブロックが、図５下側に示される、境界上画素を含む１１×８画素の処理ブロックである場合には、その処理ブロックを構成する１１×８画素のうちの、図５下側に示される斜線部分が示す１×８画素の境界上画素を除外した画素を対象として、やはり、７２個の画素間差分が求められる。
閾値算出部１２２は、注目ブロックから閾値を算出すると、その閾値をクラス分類部１２５に供給する。クラス分類部１２５は、クラスタップ抽出部１２４から供給されたクラスタップと、閾値算出部１２２から供給された閾値とに基づき、注目画素をクラス分類する。
図６は、図２のクラス分類部１２５により行われるクラス分類を説明する図である。
図６上側の横方向に並んだ９個の白丸は、クラスタップ抽出部１２４から供給されたクラスタップとしての水平方向のタップ７１を示しており、横方向に並んだ９個の白丸の下側に示される数値は、白丸で表される、クラスタップを構成する画素それぞれの画素値を示している。
また、図６中央の数値は、水平方向に並ぶ９画素である水平方向のタップ７１のうちの、図中、横方向（水平方向）に隣接する画素同士の差分の絶対値である画素間差分を示している。さらに、図６下側の数値は、クラス分類部１２５が出力するクラスコードを示している。
クラス分類部１２５は、図６上側に示される水平方向に並ぶ９画素である水平方向のタップ７１のうちの、隣接する画素同士の８個の画素間差分を求める。
次に、クラス分類部１２５は、図６中央に示される８個の画素間差分が、閾値算出部１２２から供給された閾値Th以上であるか否かを判定する。
画素間差分が、閾値Th以上である場合、クラス分類部１２５は、画素間差分に対して、Th以上であることを表す１をセットした１ビットの大小フラグを割り当てる。また、画素間差分が、閾値Th以上でない場合、クラス分類部１２５は、画素間差分に対して、Th以上でないことを表す０をセットした大小フラグを割り当てる。そして、クラス分類部１２５は、図６下側に示される、１または０がセットされた８個の大小フラグの並びを、クラスコードとして、係数記憶部１２６に出力する。
次に、図７のフローチャートを参照して、図２の画像変換部６１における画像変換処理を説明する。
この画像変換処理は、例えば、図１のデコーダ３２により、出力画像データが、画像変換部６１に供給されたときに開始される。このとき、ブロック抽出部１２１、予測タップ抽出部１２３、およびクラスタップ抽出部１２４それぞれに、出力画像データが供給される。
ステップＳ３１において、制御部１２８は、画像変換部６１における画像変換処理が、処理ブロックごとに行われるように、各ブロックの制御を開始する。
具体的には、制御部１２８は、ブロック抽出部１２１を制御し、図１のデコーダ３２から出力される出力画像データから、６４×１６画素の抽出対象ブロック（図４）を、図３に示されるように、例えば、ラスタスキャン順に、順次抽出させ、抽出した抽出対象ブロックを、図４に示されるように、処理対象ブロック１３１、１３２、または１３３に区分させる。
また、制御部１２８は、ブロック抽出部１２１を制御し、区分された処理対象ブロックを、適宜、閾値算出部１２２に供給させる。さらに、制御部１２８は、閾値算出部１２２を制御し、処理対象ブロックを、１１×８画素、または１０×８画素の処理ブロックに区分させる。そして、制御部１２８は、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、係数記憶部１２６、または予測演算部１２７を制御することで、処理ブロックごとに画像変換処理を行わせる。
閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、係数記憶部１２６、または予測演算部１２７は、制御部１２８の制御に従い、処理ブロックごとに画像変換処理を行う。
即ち、ステップＳ３１の処理後、処理はステップＳ３２に進み、閾値算出部１２２は、ブロック抽出部１２１から供給された処理対象ブロックに含まれる２×２個の処理ブロックを、例えば、ラスタスキャン順に、順次注目ブロックとし、処理は、ステップＳ３３に進む。
ステップＳ３３において、閾値算出部１２２は、注目ブロックが、境界上画素を含むかを判定する。
ステップＳ３３において、注目ブロックに、境界上画素が含まれると判定された場合、処理は、ステップＳ３４に進み、閾値算出部１２２は、図５下側に示されるように、注目ブロックの画素から境界上画素を除外した画素を用いて閾値を算出し、クラス分類部１２５に供給して、処理は、ステップＳ３６に進む。
一方、ステップＳ３３において、注目ブロックに、境界上画素が含まれないと判定された場合、処理は、ステップＳ３５に進み、閾値算出部１２２は、注目ブロックn画素のすべてから閾値を算出し、クラス分類部１２５に供給して、処理は、ステップＳ３６に進む。
ステップＳ３６において、予測タップ抽出部１２３は、注目ブロックに含まれる画素を、ラスタスキャン順に、順次、図１のデコーダ３２から供給されてくる出力画像データから抽出し、注目画素として選択して、処理は、ステップＳ３７に進む。
ステップＳ３７において、予測タップ抽出部１２３は、注目画素に対応する、出力画像データを変換して得ようとする高画質画像データの画素の画素値を予測するために用いる複数の画素を、予測タップとして、出力画像データから抽出して、予測演算部１２７に供給する。
その後、ステップＳ３７からステップＳ３８に進み、クラスタップ抽出部１２４は、注目画素をクラス分類するのに用いる複数の画素を、クラスタップとして、図１のデコーダ３２から供給されてくる出力画像データから抽出し、クラス分類部１２５に供給して、処理は、ステップＳ３９に進む。
ステップＳ３９において、クラス分類部１２５は、閾値算出部１２２から供給された閾値と、クラタップ抽出部１２４から供給されたクラスタップに基づき、図６を参照して説明した処理を行うことで、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを係数記憶部１２６に供給して、処理は、ステップＳ４０に進む。
係数記憶部１２６は、後述する学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、ステップＳ４０において、クラス分類部１２５から供給されたクラスコードに対応付けられたタップ係数を予測演算部１２７に供給して、処理は、ステップＳ４１に進む。
ステップＳ４１において、予測演算部１２７は、予測タップ抽出部１２３から供給された予測タップと、係数記憶部１２６から供給されたタップ係数を用いて、注目画素に対応する、高画質画像データの画素の画素値（予測値）を求める所定の予測演算を行い、処理は、ステップＳ４２に進む。
ステップＳ４２において、予測タップ抽出部１２３は、注目ブロックのすべての画素を、注目画素としたかを判定する。
ステップＳ４２において、注目ブロックのすべての画素を、まだ注目画素としていないと判定された場合、処理は、ステップＳ３６に戻り、予測タップ抽出部１２３は、注目ブロックのうちの、まだ注目画素としていない画素を注目画素として、処理は、ステップＳ３７に進み、以下、同様の処理を繰り返す。
一方、ステップＳ４２において、注目ブロックのすべての画素を、注目画素としたと判定された場合、処理は、ステップＳ４３に進み、制御部１２８は、出力画像データすべての処理ブロックを、注目ブロックとしたか否かを判定する。
ステップＳ４３において、出力画像データすべての処理ブロックを、注目ブロックとしていないと判定された場合、処理は、ステップＳ３２に戻り、以下、同様の処理を繰り返す。
一方、ステップＳ４３において、出力画像データすべての処理ブロックを、注目ブロックとしたと判定された場合、図７の画像変換処理は終了される。
以上のような図７の画像変換処理では、処理ブロックに境界上画素が含まれるときには、処理ブロックの画素から境界上画素を除外した画素を用いて閾値を算出し、処理ブロックに境界上画素が含まれないときには、処理ブロックのすべての画素から閾値を算出することとしたので、処理ブロックに境界上画素が含まれるときと含まれないときとのいずれにも、処理ブロックの画素から閾値を算出する同一の処理を行う場合と比較して、より適切な閾値を算出することができる。
したがって、図７の画像変換処理では、注目画素を適切なクラスにクラス分類することができ、ひいては、誤差の少ない（高画質の）高画質画像データの画素値を求めることができる。即ち、出力画像データの１０．６６６×８画素の拡大ブロックの境界（付近）に生じているモスキートノイズやブロック歪を、効果的に除去することができる。
次に、図２の予測演算部１２７における予測演算と、係数記憶部１２６に記憶されたタップ係数の学習について説明する。
いま、画像変換処理として、出力画像データから予測タップを抽出し、その予測タップとタップ係数を用いて、モスキートノイズやブロック歪のない高画質画像データの画素（以下、適宜、高画質画素という）の画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、高画質画素の画素値ｙは、次の線形１次式によって求められることになる。
Figure 0004770711
 ・・・（１）
但し、式（１）において、ｘnは、高画質画素ｙについての予測タップを構成する、ｎ番目の出力画像データの画素（以下、適宜、出力画素という）の画素値を表す。ここで、例えば、予測タップとして、図２右上側に示される水平方向に並ぶ９画素である水平方向のタップ７１を例にとれば、ｎ番目の出力画素の画素値とは、水平方向のタップ７１に付された番号ｎに対応する出力画素の画素値である。
また、ｗnは、ｎ番目の出力画素（の画素値）と乗算されるｎ番目のタップ係数を表す。なお、式（１）では、予測タップが、Ｎ個の出力画素ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。
ここで、高画質画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。
いま、第ｋサンプルの高画質画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
Figure 0004770711
 ・・・（２）
いま、式（２）の予測値ｙk'は、式（１）にしたがって求められるため、式（２）のｙk'を、式（１）にしたがって置き換えると、次式が得られる。
Figure 0004770711
 ・・・（３）
但し、式（３）において、ｘn,kは、第ｋサンプルの高画質画素についての予測タップを構成するｎ番目の出力画素を表す。
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、高画質画素を予測するのに最適なものとなるが、すべての高画質画素について、そのようなタップ係数ｗnを求めることは、一般には困難である。
そこで、タップ係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適なタップ係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0004770711
 ・・・（４）
但し、式（４）において、Ｋは、高画質画素ｙkと、その高画質画素ｙkについての予測タップを構成する出力画素ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅをタップ係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0004770711
 ・・・（５）
一方、上述の式（３）をタップ係数ｗnで偏微分すると、次式が得られる。
Figure 0004770711
 ・・・（６）
式（５）と式（６）から、次式が得られる。
Figure 0004770711
・・・（７）
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0004770711
 ・・・（８）
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、タップ係数ｗnについて解くことができる。
式（８）の正規方程式を、クラスごとにたてて解くことにより、最適なタップ係数（ここでは、自乗誤差の総和Ｅを最小にするタップ係数）ｗnを、クラスごとに求めることができる。
図２の画像変換部６１では、以上のようなクラスごとのタップ係数を用いて、式（１）の演算を行うことにより、出力画像データが、高画質画像データに変換される。
次に、図８は、式（８）の正規方程式をクラスごとにたてて解くことによりタップ係数ｗnを求める学習処理を行う学習装置２０１の構成例を示している。
図８の学習装置２０１は、学習用画像記憶部２３１、ノイズ付加部２３２、ブロック抽出部２３３、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、足し込み部２３８、係数算出部２３９、および制御部２４０により構成される。
また、学習装置２０１には、放送局３１で得られる原画像（図１）に相当する多数の１９２０×１０８０画素の画像データが、タップ係数ｗnの学習に用いられる学習用画像データとして入力されるようになっている。
学習装置２０１において、学習用画像データは、学習用画像記憶部２３１に供給され、記憶される。
ノイズ付加部２３２は、学習用画像記憶部２３１から、学習用画像データを読み出し、学習用画像データに、図１で行われる処理と同様の処理を行うことで、出力画像データに相当する画像である生徒画像データを生成する。
即ち、ノイズ付加部２３２は、学習用画像記憶部２３１に記憶された１９２０×１０８０画素の学習用画像データを、横方向に３/４倍して、１４４０×１０８０画素の画像データを得て、MPEG符号化する。さらに、ノイズ付加部２３２は、MPEG符号化によって得られた符号化データを、１４４０×１０８０画素の画像データに復号し、その画像データを、横方向に４/３倍して、出力画像データに相当する画像である生徒画像データを生成する。
ノイズ付加部２３２は、生成した生徒画像データを、ブロック抽出部２３３、予測タップ抽出部２３５、およびクラスタップ抽出部２３６に供給する。
ブロック抽出部２３３は、図２のブロック抽出部１２１と同様にして、ノイズ付加部２３２から供給されてくる生徒画像データから、抽出対象ブロックを、例えば、ラスタスキャン順に、順次抽出する。
さらに、ブロック抽出部２３３は、図２のブロック抽出部１２１と同様にして、抽出対象ブロックを、複数の処理対象ブロック１３１乃至１３３に区分し、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給する。
閾値算出部２３４は、図２の閾値算出部１２２と同様にして、ブロック抽出部２３３から供給された処理対象ブロックを、２×２個の処理ブロックに区分し、例えば、ラスタスキャン順に、順次注目ブロックとする。
さらに、閾値算出部２３４は、図２の閾値算出部１２２と同一の処理を行うことで、クラス分類に用いる閾値を、注目ブロックから算出し、クラス分類部２３７に供給する。
予測タップ抽出部２３５は、注目ブロックに含まれる画素を例えば、ラスタスキャン順に、順次、ノイズ付加部２３２から供給されてくる生徒画像データから抽出し、注目画素とする。さらに、予測タップ抽出部２３５は、ノイズ付加部２３２から供給された生徒画像データを構成する画素のうちの所定のものを抽出することにより、図２の予測タップ抽出部１２３が注目画素について得る予測タップと同一のタップ構造の予測タップ（図２の予測タップ抽出部１２３が注目画素について得る予測タップを構成する画素と同一の位置関係にある生徒画像データの画素からなる予測タップ）を得て、足し込み部２３８に供給する。
クラスタップ抽出部２３６は、ノイズ付加部２３２から供給された生徒画像データを構成する画素のうちの所定のものを抽出することにより、図２のクラスタップ抽出部１２４が注目画素について得るクラスタップと同一のタップ構造のクラスタップ（図２のクラスタップ抽出部１２４が注目画素について得るクラスタップを構成する画素と同一の位置関係にある生徒画像データの画素からなるクラスタップ）を得て、クラス分類部２３７に供給する。
クラス分類部２３７は、閾値算出部２３４から供給された閾値と、クラスタップ抽出部２３６から供給されたクラスタップとに基づき、図２のクラス分類部１２５と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部２３８に供給する。
足し込み部２３８は、学習用画像記憶部２３１から、注目画素に対応する、教師画像データ（学習用画像データ）の画素（の画素値）を読み出し、その画素と、予測タップ抽出部２３５から供給された注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部２３７から供給されたクラスコードごとに行う。
即ち、足し込み部２３８には、学習用画像記憶部２３１に記憶された教師画像データ（の画素のうちの、注目画素に対応する画素の画素値）ｙk、予測タップ抽出部２３５が出力する予測タップ（を構成する生徒画像データの画素の画素値）ｘn,k、クラス分類部２３７が出力する、注目画素のクラスを表すクラスコードが供給される。
そして、足し込み部２３８は、クラス分類部２３７から供給されたクラスコードに対応するクラスごとに、予測タップ（生徒画像データ）ｘn,kを用い、式（８）の左辺の行列における生徒画像データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部２３８は、やはり、クラス分類部２３７から供給されたクラスコードに対応するクラスごとに、予測タップ（生徒画像データ）ｘn,kと教師画像データｙkを用い、式（８）の右辺のベクトルにおける生徒画像データｘn,kおよび教師画像データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、足し込み部２３８は、前回、注目画素とされた生徒画像データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像データについて、その生徒画像データｘn,k+1および教師画像データｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、足し込み部２３８は、ノイズ付加部２３２により生成される生徒画像データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式をたてると、その正規方程式を、係数算出部２３９に供給する。
係数算出部２３９は、足し込み部２３８から供給された各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
制御部２４０は、学習用画像記憶部２３１、ノイズ付加部２３２、ブロック抽出部２３３、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、足し込み部２３８、または係数算出部２３９を制御する。
即ち、制御部２４０は、学習装置２０１における学習処理が、ノイズ付加部２３２が生成する生徒画像データの処理ブロックごとに行われるように、各ブロックを制御する。
次に、図９のフローチャートを参照して、図８の学習装置２０１における学習処理を説明する。
なお、学習用画像記憶部２３１には、多数の１９２０×１０８０画素の学習用画像データが、すでに記憶されていることとする。
ステップＳ７１において、制御部２４０は、学習装置２０１における学習処理が、生徒画像データの処理ブロックごとに行われるように、各ブロックの制御を開始する。
具体的には、制御部２４０は、ノイズ付加部２３２を制御し、学習用画像記憶部２３１から、学習用画像データを読み出させ、学習用画像データに、図１で行われる処理と同様の処理を行わせることで、出力画像データに相当する画像である生徒画像データを生成させ、ブロック抽出部２３３に供給させる。
また、制御部２４０は、ブロック抽出部２３３を制御し、処理対象ブロックを、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給させる。具体的には、ブロック抽出部２３３は、制御部２４０の制御に従い、図２のブロック抽出部１２１と同様にして、ノイズ付加部２３２から供給されてくる生徒画像データから、抽出対象ブロックを、例えば、ラスタスキャン順に、順次抽出する。さらに、ブロック抽出部２３３は、制御部２４０の制御に従い、図２のブロック抽出部１２１と同様にして、抽出対象ブロックを、処理対象ブロック１３１乃至１３３に区分し、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給する。
さらに、制御部２４０は、閾値算出部２３４を制御し、図２の閾値算出部１２２と同様にして、処理対象ブロックを、１１×８画素、または１０×８画素の処理ブロックに区分させる。そして、制御部２４０は、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、足し込み部２３８、または係数算出部２３９を制御することで、ノイズ付加部２３２により生成される生徒画像データの処理ブロックごとに学習処理を行わせる。
閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、足し込み部２３８、または係数算出部２３９は、制御部２４０の制御に従い、処理ブロックごとに学習処理を行う。
即ち、ステップＳ７１の処理後、処理はステップＳ７２に進み、閾値算出部２３４は、図２の閾値算出部１２２と同様にして、ブロック抽出部２３３から供給された処理対象ブロックを、２×２個の処理ブロックに区分し、例えば、ラスタスキャン順に、順次注目ブロックとし、処理は、ステップＳ７２に進む。
ステップＳ７３において、閾値算出部２３４は、図２の閾値算出部１２２と同様にして、注目ブロックが、境界上画素を含むかを判定する。
ステップＳ７３において、注目ブロックに、境界上画素が含まれると判定された場合、処理は、ステップＳ７４に進み、閾値算出部２３４は、図２の閾値算出部１２２と同一の処理を行うことで、注目ブロックの画素から境界上画素を除外した画素を用いて閾値を算出し、クラス分類部２３７に供給して、処理は、ステップＳ７６に進む。
一方、ステップＳ７３において、注目ブロックに、境界上画素が含まれないと判定された場合、処理は、ステップＳ７５に進み、閾値算出部２３４は、図２の閾値算出部１２２と同一の処理を行うことで、注目ブロックの画素すべてから閾値を算出し、クラス分類部２３７に供給して、処理は、ステップＳ７６に進む。
ステップＳ７６において、予測タップ抽出部２３５は、注目ブロックに含まれる画素を、ラスタスキャン順に、順次、ノイズ付加部２３２から供給されてくる生徒画像データから抽出し、注目画素として、選択して、処理は、ステップＳ７６に進む。
ステップＳ７７において、予測タップ抽出部２３５は、ノイズ付加部２３２から供給された生徒画像データを構成する画素のうちの所定のものを抽出することにより、注目画素について、図２の予測タップ抽出部１２３が注目画素について得る予測タップと同一のタップ構造の予測タップを得て、足し込み部２３８に供給する。
その後、処理は、ステップＳ７７からステップＳ７８に進み、クラスタップ抽出部２３６は、ノイズ付加部２３２から供給された生徒画像データを構成する画素のうちの所定のものを抽出することにより、注目画素について、図２のクラスタップ抽出部１２４が注目画素について得るクラスタップと同一のタップ構造のクラスタップを得て、クラス分類部２３７に供給する。
さらに、処理は、ステップＳ７８からステップＳ７９に進み、クラス分類部２３７は、閾値算出部２３４から供給された閾値と、クラスタップ抽出部２３６から供給されたクラスタップに基づき、図２のクラス分類部１２５と同一のクラス分類を行い、その結果得られるクラスに対応するクラスコードを、足し込み部２３８に供給して、処理は、ステップＳ８０に進む。
ステップＳ８０において、足し込み部２３８は、学習用画像記憶部２３１から、注目画素に対応する、教師画像データの画素（の画素値）を読み出し、その画素と、予測タップ抽出部２３５から供給された注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部２３７から供給されたクラスコードごとに行い、処理は、ステップＳ８１に進む。
ステップＳ８１において、予測タップ抽出部２３５は、注目ブロックのすべての画素を、注目画素としたか否かを判定する。
ステップＳ８１において、注目ブロックのすべての画素を、まだ注目画素としていないと判定された場合、処理は、ステップＳ７６に戻り、予測タップ抽出部２３５は、注目ブロックのうちの、まだ注目画素としていない画素を注目画素として、処理は、ステップＳ７７に進み、以下、同様の処理を繰り返す。
一方、ステップＳ８１において、注目ブロックのすべての画素を、注目画素としたと判定された場合、ステップＳ８２に進み、制御部２４０は、ノイズ付加部２３２から供給された生徒画像データすべての処理ブロックを、注目ブロックとしたか否かを判定する。
ステップＳ８２において、ノイズ付加部２３２から供給された生徒画像データすべての処理ブロックを、注目ブロックとしていないと判定された場合、処理は、ステップＳ７２に戻り、以下、同様の処理を繰り返す。
一方、ステップＳ８２において、ノイズ付加部２３２から供給された生徒画像データすべての処理ブロックを、注目ブロックとしたと判定された場合、即ち、足し込み部２３８において、ノイズ付加部２３２により生成される生徒画像データすべてを注目画素として、上述の足し込みを行うことにより、各クラスについて、式（８）に示した正規方程式が得られた場合、足し込み部２３８は、その正規方程式を係数算出部２３９に供給し、処理は、ステップＳ８３に進む。係数算出部２３９は、足し込み部２３８から供給された各クラスについての正規方程式を解くことにより、各クラスについて、最適なタップ係数ｗnを求めて出力する。
その後、図９の学習処理は終了される。
次に、図１０は、本発明を適用した画像変換部の他の一実施の形態の構成例を示すブロック図である。
なお、図中、図２の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図１０の画像変換部６１は、図２の、係数記憶部１２６、予測演算部１２７、または制御部１２８に代えて、それぞれ、係数記憶部２７６、予測演算部２７８、または制御部２７９が設けられており、さらに、画素位置モード判定部２７５および領域判定部２７７が新たに設けられているほかは、図２の場合と同様に構成されている。
なお、図１０では、予測タップ抽出部１２３は、予測タップを予測演算部２７８に供給する他、いま注目画素となっている画素の位置情報（例えば、注目ブロックにおける注目画素の座標など）を、画素位置モード判定部２７５と、領域判定部２７７に供給するようになっている。
画素位置モード判定部２７５は、予測タップ抽出部１２３から供給された注目画素の位置情報に基づいて、注目画素の画素位置モードを判定し、係数記憶部２７６に供給する。
ここで、画素位置モードとは、処理ブロックにおける各画素の位置を表す情報であり、クラス分類部１２５からのクラスコードと同様、係数記憶部２７６が出力するタップ係数を決定するのに用いられる値である。なお、画素位置モードの詳細については、後述する。
係数記憶部２７６は、後述するような学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類部１２５から供給されたクラスコードと、画素位置モード判定部２７５から供給された画素位置モードとに対応付けられたタップ係数を予測演算部２７８に供給する。
領域判定部２７７は、予測タップ抽出部１２３から供給された位置情報に基づいて、注目画素の領域情報を判定し、予測演算部２７８に供給する。
ここで、領域情報とは、処理ブロックを複数の領域に区分したときに、注目画素が、その複数の領域のうちの、いずれかの領域に位置するかを示す情報である。
予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップと、係数記憶部２７６から供給されたタップ係数とを用いて、領域判定部２７７から供給された領域情報に対応した所定の予測演算を行うことにより、注目画素に対応する、高画質画像データの画素の画素値（予測値）を求めて出力する。即ち、予測演算部２７８は、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。なお、領域情報に対応した所定の予測演算については、後述する。
制御部２７９は、ブロック抽出部１２１、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、画素位置モード判定部２７５、係数記憶部２７６、領域判定部２７７、または予測演算部２７８を制御する。
即ち、制御部２７９は、画像変換部６１における画像変換処理が、出力画像データの処理ブロックごとに行われるように、各ブロックを制御する。
次に、図１１は、８×８画素のブロックを処理ブロックとして、画素位置モード、および領域情報に対応した所定の予測演算を説明する図である。
図１１上側には、MPEG-2による符号化および復号で用いられる処理単位である８×８画素のブロックが、処理ブロックとして示されている。また、図１１上側には、処理単位である８×８画素のブロックの中心を通る形で、左右方向（水平方向）に伸びた太線で表される水平線と、上下方向（垂直方向）に伸びた太線で表される垂直線とが示されている。
なお、図１１上側に示された８×８画素のブロックは、MPEG-2による符号化および復号の過程で、ＤＣＴ変換/逆ＤＣＴ変換の対象となるブロックである。
図１１中央上側には、白丸で示す注目画素を中心として水平方向に並ぶ９画素であるタップ３１１が示されている。さらに、図１１中央下側には、タップ３１１の注目画素を起点（中心）として、左右反転したタップ３１２が示されている。
図１１左下側には、白丸で示す注目画素を中心として垂直方向に並ぶ９画素であるタップ３１３が示されている。さらに、図１１右下側には、タップ３１３の注目画素を起点（中心）として、上下反転したタップ３１４が示されている。
例えば、８×８画素のブロックを、垂直線と水平線とにより、４×４画素の左上のブロックである左上領域、４×４画素の右上のブロックである右上領域、４×４画素の左下のブロックである左下領域、および４×４画素の右下のブロックである右下領域に区分し、左上領域の各画素に、例えば、ラスタスキャン順に、画素位置モード０乃至１５を割り当てる。
そして、左上領域の各画素において、垂直線または水平線を基準として、線対称の位置関係にある画素、および８×８画素のブロックの中心を基準として、点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる。
画素位置モード判定部２７５は、予測タップ抽出部１２３から供給された注目画素の位置情報に基づいて、注目画素の画素位置モードを判定し、係数記憶部２７６に供給する。
係数記憶部２７６は、画素位置モード判定部２７５から供給された画素位置モード、およびクラス分類部１２５から供給されたクラスコードに対応したタップ係数を、予測演算部２７８に出力する。
領域判定部２７７は、予測タップ抽出部１２３から供給された注目画素の位置情報に基づいて、注目画素が、左上領域、右上領域、左下領域、および右下領域のうちの、いずれかの領域に位置するか示す領域情報を判定し、予測演算部２７８に供給する。
予測演算部２７８は、領域判定部２７７からの領域情報に対応した所定の予測演算を行う。
即ち、領域判定部２７７からの領域情報が、注目画素が左上領域に位置することを表す情報である場合、予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップｘ1，ｘ2，・・・，ｘ9と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ9ｘ9を得て出力する。
領域判定部２７７からの領域情報が、注目画素が右上領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップを、図１１中央に示されるように、注目画素を起点として左右反転する。そして、予測演算部２７８は、注目画素を起点として左右反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
具体的には、予測タップ抽出部１２３から供給された予測タップが、タップ３１１であり、タップ３１１に付された番号に対応する画素の画素値がｘ1，ｘ2，・・・，ｘ9である場合、予測演算部２７８は、タップ３１１を、注目画素を起点として左右反転することでタップ３１２とし、タップ３１２に付された番号に対応する画素の画素値ｘ9，ｘ8，・・・，ｘ1と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ9＋ｗ2ｘ8＋・・・＋ｗ9ｘ1を得て出力する。
また、領域判定部２７７からの領域情報が、注目画素が左下領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップを、図１１下側に示されるように、注目画素を起点として上下反転する。そして、予測演算部２７８は、注目画素を起点として上下反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
具体的には、予測タップ抽出部１２３から供給された予測タップが、図１１左下側のタップ３１３であり、タップ３１３に付された番号に対応する画素の画素値がｘ1，ｘ2，・・・，ｘ9である場合、予測演算部２７８は、タップ３１３を、注目画素を起点として上下反転することでタップ３１４とし、タップ３１４に付された番号に対応する画素の画素値ｘ9，ｘ8，・・・，ｘ1と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ9＋ｗ2ｘ8＋・・・＋ｗ9ｘ1を得て出力する。
次に、図１２は、１０×８画素の処理ブロックの画素に、画素位置モードを割り当てた一例を示す図である。
図１２には、１０×８画素（横×縦）の処理ブロックが示されている。
また、図１２には、１０×８画素の処理ブロックの中心を通る形で、左右方向（水平方向）に伸びた太線で表される水平線と、上下方向（垂直方向）に伸びた太線で表される垂直線とが示されている。
画素位置モードにおいては、１０×８画素のブロックを、垂直線と水平線とにより、５×４画素の左上のブロックである左上領域、５×４画素の右上のブロックである右上領域、５×４画素の左下のブロックである左下領域、および５×４画素の右下のブロックである右下領域に区分し、左上領域の各画素に、例えば、ラスタスキャン順に、画素位置モード０乃至１９を割り当てる。
そして、左上領域の各画素において、垂直線または水平線を基準として、線対称の位置関係にある画素、および１０×８画素のブロックの中心を基準として、点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる。
即ち、領域判定部２７７からの領域情報が、注目画素が左上領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップｘ1，ｘ2，・・・，ｘ9と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ9ｘ9を得て出力する。
領域判定部２７７からの領域情報が、注目画素が右上領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップを、注目画素を起点として左右反転する。そして、予測演算部２７８は、注目画素を起点として左右反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
また、領域判定部２７７からの領域情報が、注目画素が左下領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップを、注目画素を起点として上下反転する。そして、予測演算部２７８は、注目画素を起点として上下反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
図１３は、１１×８画素（横×縦）の処理ブロックの画素に、画素位置モードを割り当てた一例を示す図である。
図１３には、１１×８画素の処理ブロックが示されており、図１３右側の太線の矩形で囲まれた部分は、境界上画素を示している。
また、図１３には、１１×８画素の処理ブロックのうちの、境界上画素を除外した１０×８画素のブロックの中心を通る形で、左右方向（水平方向）に伸びた太線で表される水平線と、上下方向（垂直方向）に伸びた太線で表される垂直線とが示されている。
例えば、１１×８画素の処理ブロックのうちの、境界上画素を除外した１０×８画素のブロックを、垂直線と水平線とにより、５×４画素の左上のブロックである左上領域、５×４画素の右上のブロックである右上領域、５×４画素の左下のブロックである左下領域、および５×４画素の右下のブロックである右下領域に区分し、左上領域の各画素に、例えば、ラスタスキャン順に、画素位置モード０乃至１９を割り当てる。
そして、左上領域の各画素において、垂直線または水平線を基準として、線対称の位置関係にある画素、および１０×８画素のブロックの中心を基準として、点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる。
なお、１１×８画素の処理ブロックのうちの、境界上画素である１×８画素のブロックには、１１×８画素の処理ブロックのうちの、境界上画素を除外した１０×８画素のブロックの各画素に割り当てた画素位置モードがとる値と異なる画素位置モードの値を割り当てる。
ここで、領域判定部２７７からの領域情報が、注目画素が左上領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップｘ1，ｘ2，・・・，ｘ9と、係数記憶部２７６から供給されたタップ係数ｗ1，ｗ2・・・，ｗ9とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値（予測値）ｗ1ｘ1＋ｗ2ｘ2＋・・・＋ｗ9ｘ9を得て出力する。を求めて出力する。
領域判定部２７７からの領域情報が、注目画素が右上領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップを、注目画素を起点として左右反転する。そして、予測演算部２７８は、注目画素を起点として左右反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
また、領域判定部２７７からの領域情報が、注目画素が左下領域または右下領域に位置することを表す情報である場合、予測演算部２７８は、図１１の場合と同様に、予測タップ抽出部１２３から供給された予測タップを、注目画素を起点として上下反転する。そして、予測演算部２７８は、注目画素を起点として上下反転させた予測タップと、係数記憶部２７６から供給されたタップ係数とを、順番に乗算することで、注目画素に対応する、高画質画像データの画素の画素値を求めて出力する。
なお、１１×８画素の処理ブロックとしては、図１３に示される、境界上画素が右側に存在する処理ブロックのほかに、境界上画素が左側に存在する処理ブロックもあるが、この場合も同様に、画素位置モードを割り当てることができる。
また、図１２および図１３においては、垂直線に隣接する画素の画素位置モードの値を４としているが、例えば、いま、画素位置モードが４の画素の画素位置モードを、画素位置モードが４の画素に隣接する画素の画素位置モードと同一の３にするようにしてもよい。この場合、画素位置モードのモード数を１個節約することができるため、係数記憶部２７６に記憶させるタップ係数を、値４が割り当てられた画素位置モードに対応するタップ係数分減らすことができ、係数記憶部２７６のメモリ容量を節約することができる。
次に、図１４のフローチャートを参照して、図１０の画像変換部６１における画像変換処理を説明する。
この画像変換処理は、例えば、図１のデコーダ３２により、１９２０×１０８０画素の出力画像データが、画像変換部６１に供給されたときに開始される。このとき、ブロック抽出部１２１、予測タップ抽出部１２３、およびクラスタップ抽出部１２４それぞれに、出力画像データが供給される。
ステップＳ１３１において、制御部２７９は、画像変換部６１における画像変換処理が、出力画像データの処理ブロックごとに行われるように、各ブロックの制御を開始する。
具体的には、制御部２７９は、ブロック抽出部１２１を制御し、図１のデコーダ３２から出力される出力画像データから、６４×１６画素の抽出対象ブロック（図４）を、図３に示されるように順次抽出させ、抽出した抽出対象ブロックを、図４に示されるように、処理対象ブロック１３１、１３２、または１３３に区分させる。
また、制御部２７９は、ブロック抽出部１２１を制御し、区分された処理対象ブロックを、適宜、閾値算出部１２２に供給させる。さらに、制御部２７９は、閾値算出部１２２を制御し、処理対象ブロックを、１１×８画素または１０×８画素の処理ブロックに区分させる。制御部２７９は、閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、画素位置モード判定部２７５、係数記憶部２７６、領域判定部２７７、または予測演算部２７８を制御することで、出力画像データの処理ブロックごとに画像変換処理を行わせる。
閾値算出部１２２、予測タップ抽出部１２３、クラスタップ抽出部１２４、クラス分類部１２５、画素位置モード判定部２７５、係数記憶部２７６、領域判定部２７７または予測演算部２７８は、制御部２７９の制御に従い、出力画像データの処理ブロックごとに画像変換処理を行う。
即ち、ステップＳ１３１の処理後、処理は、ステップＳ１３２に進み、ステップＳ１３２乃至ステップＳ１３９それぞれにおいて、図７のステップＳ３２乃至ステップＳ３９それぞれと同様の処理を行い、処理は、ステップＳ１４０に進む。
ステップＳ１４０において、画素位置モード判定部２７５は、予測タップ抽出部１２３から供給された位置情報に基づいて、注目画素の画素位置モードを判定し、係数記憶部２７６に供給して、ステップＳ１４１に進む。なお、ステップＳ１３７において、予測タップ抽出部１２３は、予測タップを抽出するとともに、いま注目画素となっている画素の位置情報（例えば、注目ブロックにおける注目画素の座標など）を、画素位置モード判定部２７５に供給するようになっている。
ステップＳ１４１において、係数記憶部２７６は、後述するような学習処理が行われることにより得られるタップ係数が登録された係数テーブルを記憶しており、クラス分類部１２５から供給されたクラスコードと、画素位置モード判定部２７５から供給された画素位置モードとに対応付けられたタップ係数を予測演算部２７８に供給する。なお、ステップＳ１３９において、クラス分類部１２５は、クラス分類により得られるクラスに対応するクラスコードを係数記憶部２７６に、供給するようになっている。
ステップＳ１４１の処理後、処理は、ステップＳ１４２に進み、領域判定部２７７は、予測タップ抽出部１２３から供給された位置情報に基づいて、注目画素の領域情報を判定し、予測演算部２７８に供給して、処理は、ステップＳ１４３に進む。なお、ステップＳ１３７において、予測タップ抽出部１２３は、予測タップを抽出するとともに、いま注目画素となっている画素の位置情報を、領域判定部２７７に供給するようになっている。
ステップＳ１４３において、予測演算部２７８は、予測タップ抽出部１２３から供給された予測タップと、係数記憶部２７６から供給されたタップ係数とを用いて、領域判定部２７７から供給された領域情報に対応した所定の予測演算を行うことにより、注目画素に対応する、高画質画像データの画素の画素値（予測値）を求めて出力し、処理は、ステップＳ１４４に進み、図７のステップＳ４２と同様の処理を行う。
その後、処理は、ステップＳ１４５に進み、制御部２７９は、出力画像データすべての処理ブロックを、注目ブロックとしたか否かを判定する。
ステップＳ１４４において、出力画像データすべての処理ブロックを、注目ブロックとしていないと判定された場合、処理は、ステップＳ１３２に戻り、以下、同様の処理を繰り返す。
一方、ステップＳ１４５において、出力画像データすべての処理ブロックを、注目ブロックとしたと判定された場合、図１４の画像変換処理は終了される。
以上のような図１４の画像変換処理では、注目画素がクラス分類され、さらに、注目画素の画素位置モードが判定されることにより、注目画素のクラスと画素位置モードとに基づいて、タップ係数が選択されるため、注目画素のクラスに基づいてタップ係数が選択される場合と比較して、より適切なタップ係数が選択され、そのため、誤差の少ない高画質画像データの画素値を求めることができる。即ち、出力画像データに付加されたモスキートノイズやブロック歪を、より効果的に除去することができる。
図１５は、式（８）の正規方程式をクラスと画素位置モード（とのセット）ごとにたてて解くことによりタップ係数ｗnを求める学習処理を行う学習装置２０１の構成例を示している。
なお、図中、図８の場合に対応する部分については同一の符号を付してあり、以下、その説明は、適宜省略する。
即ち、図１５の学習装置２０１は、図８の、足し込み部２３８、係数算出部２３９、または制御部２４０に代えて、足し込み部３４０、係数算出部３４１、または制御部３４２がそれぞれ設けられており、さらに画素位置モード判定部３３９が新たに設けられているほかは、図８の場合と同様に構成される。
なお、予測タップ抽出部２３５は、いま注目画素となっている画素の位置情報（例えば、注目ブロックにおける注目画素の座標など）を、画素位置モード判定部３３９に供給するようになっている。
画素位置モード判定部３３９は、予測タップ抽出部２３５から供給された位置情報に基づいて、図１０の画素位置モード判定部２７５と同一の判定を行うことで、注目画素の画素位置モードを判定し、足し込み部３４０に供給する。
足し込み部３４０は、学習用画像記憶部２３１から、注目画素に対応する、教師画像データ（学習用画像データ）の画素（の画素値）を読み出し、その画素と、予測タップ抽出部２３５から供給された注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部２３７から供給されたクラスコードと、画素位置モード判定部３３９から供給された画素位置モードごとに行う。
即ち、足し込み部３４０には、学習用画像記憶部２３１に記憶された教師画像データ（の画素のうちの、注目画素に対応する画素の画素値）ｙk、予測タップ抽出部２３５が出力する予測タップ（を構成する生徒画像データの画素の画素値）ｘn,k、クラス分類部２３７が出力する、注目画素のクラスを表すクラスコード、および画素位置モード判定部３３９が出力する、注目画素の画素位置モードが供給される。
そして、足し込み部３４０は、クラス分類部２３７から供給されたクラスコードに対応するクラスと、画素位置モード判定部３３９から供給された画素位置モードごとに、予測タップ（生徒画像データ）ｘn,kを用い、式（８）の左辺の行列における生徒画像データどうしの乗算（ｘn,kｘn',k）と、サメーション（Σ）に相当する演算を行う。
さらに、足し込み部３４０は、やはり、クラス分類部２３７から供給されたクラスコードに対応するクラスと、画素位置モード判定部３３９から供給された画素位置モードごとに、予測タップ（生徒画像データ）ｘn,kと教師画像データｙkを用い、式（８）の右辺のベクトルにおける生徒画像データｘn,kおよび教師画像データｙkの乗算（ｘn,kｙk）と、サメーション（Σ）に相当する演算を行う。
即ち、足し込み部３４０は、前回、注目画素とされた生徒画像データについて求められた式（８）における左辺の行列のコンポーネント（Σｘn,kｘn',k）と、右辺のベクトルのコンポーネント（Σｘn,kｙk）を、その内蔵するメモリ（図示せず）に記憶しており、その行列のコンポーネント（Σｘn,kｘn',k）またはベクトルのコンポーネント（Σｘn,kｙk）に対して、新たに注目画素とされた生徒画像データについて、その生徒画像データｘn,k+1および教師画像データｙk+1を用いて計算される、対応するコンポーネントｘn,k+1ｘn',k+1またはｘn,k+1ｙk+1を足し込む（式（８）のサメーションで表される加算を行う）。
そして、足し込み部３４０は、ノイズ付加部２３２により生成される生徒画像データすべてを注目画素として、上述の足し込みを行うことにより、それぞれの、クラスと画素位置モードについて、式（８）に示した正規方程式をたてると、その正規方程式を、係数算出部３４１に供給する。
係数算出部３４１は、足し込み部３４０から供給されたそれぞれの、クラスと画素位置モードについての正規方程式を解くことにより、それぞれの、クラスと画素位置モードについて、最適なタップ係数ｗnを求めて出力する。
制御部３４２は、学習用画像記憶部２３１、ノイズ付加部２３２、ブロック抽出部２３３、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、画素位置モード判定部３３９、足し込み部３４０、または係数算出部３４１を制御する。
即ち、制御部３４２は、学習装置２０１における学習処理が、生徒画像データの処理ブロックごとに行われるように、各ブロックを制御する。
次に、図１６のフローチャートを参照して、図１５の学習装置２０１における学習処理を説明する。
この学習処理は、例えば、ユーザにより、放送局３１で得られる原画像（図１）に相当する画像データが、タップ係数ｗnの学習に用いられる学習用画像データとして、学習装置２０１に供給されたときに開始される。このとき、学習装置２０１において、学習用画像データは、学習用画像記憶部２３１に供給され、記憶される。
ステップＳ１７１において、制御部３４２は、学習装置２０１における学習処理が、生徒画像データの処理ブロックごとに行われるように、各ブロックを制御する。
具体的には、制御部３４２は、ノイズ付加部２３２を制御し、学習用画像記憶部２３１から、学習用画像データを読み出させ、学習用画像データに、図１で行われる処理と同様の処理を行わせることで、出力画像データに相当する画像である生徒画像データを生成させる。
即ち、ノイズ付加部２３２は、図１で示される放送局３１で得られる原画像に相当する画像データである学習用画像データを、図１における原画像を、拡大MPEG復号画像に変換する処理と同様の処理を行うことで、出力画像データに相当する画像である生徒画像データを生成する。
また、制御部３４２は、ブロック抽出部２３３を制御し、処理対象ブロックを、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給させる。即ち、ブロック抽出部２３３は、制御部３４２の制御に従い、ノイズ付加部２３２から供給されてくる生徒画像データから、所定のブロックを、例えば、ラスタスキャン順に、順次抽出することにより、図１０のブロック抽出部１２１が抽出する抽出対象ブロックと同一の抽出対象ブロックを得る。また、ブロック抽出部２３３は、制御部３４２の制御に従い、抽出した抽出対象ブロックを複数のブロックに区分することにより、図１０のブロック抽出部１２１により区分される複数の処理対象ブロックと同一の複数の処理対象ブロックを得て、例えば、ラスタスキャン順に、順次、閾値算出部２３４に供給する。
その後、制御部３４２は、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、画素位置モード判定部３３９、足し込み部３４０、または係数算出部３４１を制御することで、ノイズ付加部２３２により生成される生徒画像データの処理ブロックごとに学習処理を行わせる。
このとき、閾値算出部２３４、予測タップ抽出部２３５、クラスタップ抽出部２３６、クラス分類部２３７、画素位置モード判定部３３９、足し込み部３４０、または係数算出部３４１は、制御部３４２の制御に従い、ノイズ付加部２３２により生成される生徒画像データの処理ブロックごとに学習処理を行う。
即ち、処理は、ステップＳ１７１からステップＳ１７２に進み、ステップＳ１７２乃至ステップＳ１７９それぞれにおいて、図９のステップＳ７２乃至ステップＳ７９と同様の処理を行い、ステップＳ１８０に進み、画素位置モード判定部３３９は、予測タップ抽出部２３５から供給された位置情報に基づいて、図１０の画素位置モード判定部２７５と同一の判定を行うことで、注目画素の画素位置モードを判定し、足し込み部３４０に供給する。なお、ステップＳ１７７において、予測タップ抽出部２３５は、予測タップを抽出するとともに、いま注目画素となっている画素の位置情報を、画素位置モード判定部３３９に供給するようになっている。
処理は、ステップＳ１８０からステップＳ１８１に進み、足し込み部３４０は、学習用画像記憶部２３１から、注目画素に対応する、学習用画像である教師画像データの画素（の画素値）を読み出し、その画素と、予測タップ抽出部２３５から供給された注目画素についての予測タップを構成する生徒画像データの画素とを対象とした足し込みを、クラス分類部２３７から供給されたクラスコードと、画素位置モード判定部３３９から供給された画素位置モードごとに行い、処理は、ステップＳ１８２に進む。
ステップＳ１８２において、予測タップ抽出部２３５は、注目ブロックのすべての画素を、注目画素としたかを判定する。
ステップＳ１８２において、注目ブロックのすべての画素を、まだ注目画素としていないと判定された場合、処理は、ステップＳ１７６に戻り、予測タップ抽出部２３５は、注目ブロックのうちの、まだ注目画素としていない画素を注目画素として、処理は、ステップＳ１７７に進み、以下、同様の処理を繰り返す。
一方、ステップＳ１８２において、注目ブロックのすべての画素を、注目画素としたと判定された場合、処理は、ステップＳ１８３に進み、制御部３４２は、ノイズ付加部２３２により生成される生徒画像データすべての処理ブロックを、注目ブロックとしたか否かを判定する。
ステップＳ１８３において、ノイズ付加部２３２により生成される生徒画像データすべての処理ブロックを、注目ブロックとしていないと判定された場合、処理は、ステップＳ１７２に戻り、以下、同様の処理を繰り返す。
一方、ステップＳ１８３において、ノイズ付加部２３２により生成される生徒画像データすべての処理ブロックを、注目ブロックとしたと判定された場合、即ち、足し込み部３４０においては、ノイズ付加部２３２により生成される生徒画像データすべてを注目画素として、上述の足し込みを行うことにより、それぞれの、クラスと画素位置モードについて、式（８）に示した正規方程式をたてて、その正規方程式を、係数算出部３４１に供給する場合、処理は、ステップＳ１８４に進み、係数算出部３４１は、足し込み部３４０から供給された、それぞれの、クラスと画素位置モードについての正規方程式を解くことにより、それぞれの、クラスと画素位置モードについて、最適なタップ係数ｗnを求めて出力する。
その後、図１６の学習処理は終了される。
以上のような図１６の学習処理では、生徒画像データの注目画素がクラス分類され、生徒画像データの注目画素の画素位置モードが判定されるとともに、注目画素のクラスと画素位置モードと（のセット）に対応付けられたタップ係数が学習されるため、注目画素の画素位置モードが判定されずにタップ係数が学習される場合と比較して、より多くのバリエーションのタップ係数を学習することができる。
図１７は、図２の画像変換部６１における画像変換処理と、上述した特許文献１や２などにおける画像変換処理とを選択的に用いることができる画像処理装置３７１を示すブロック図である。
画像処理装置３７１は、ブロックサイズ検出部４０１、ブロックサイズ判定部４０２、図２の画像変換部６１、および画像変換部４０３により構成される。
なお、画像処理装置３７１には、例えば、図１のデコーダ３２から出力される拡大MPEG復号画像などの出力画像データや、他のデコーダなどから出力される、例えば、８×８画素のブロックごとにMPEG-2などで符号化され、復号されることで得られた画像データが、入力画像データとして供給されるようになっている。このとき、画像処理装置３７１のブロックサイズ検出部４０１には、入力画像データが供給される。
ブロックサイズ検出部４０１は、そこに供給された入力画像データのブロックサイズを検出し、入力画像データとともに、ブロックサイズ判定部４０２に供給する。
ここで、入力画像データのブロックサイズとは、例えば、入力画像データが出力画像データである場合、１０．６６６×８画素のブロックのサイズをいい、入力画像データが画像データである場合、８×８画素のブロックのサイズをいう。
ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１から供給されたブロックサイズが、例えば、８×８画素などの所定のブロックサイズであるか否かを判定する。即ち、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像であるか否かを判定する。
ブロックサイズ検出部４０１から供給されたブロックサイズが、８×８画素などの所定のブロックサイズであると判定された場合、即ち、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像ではないと判定された場合、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１からの入力画像データを、画像変換部４０３に供給する。
一方、ブロックサイズ検出部４０１から供給されたブロックサイズが、８×８画素などの所定のブロックサイズでない（１０．６６６×８画素などのブロックサイズである）と判定された場合、即ち、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像であると判定された場合、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１からの入力画像データを、画像変換部６１に供給する。
画像変換部４０３は、ブロックサイズ判定部４０２からの入力画像データに対して、特許文献１や２に開示された技術を用いた画像変換処理を行う。
画像変換部６１は、ブロックサイズ判定部４０２からの入力画像データに対して、図２で説明した画像変換処理を行う。
次に、図１８のフローチャートを参照して、図１８の画像処理装置３７１における画像変換処理を説明する。
この画像変換処理は、例えば、図１のデコーダ３２から出力される拡大MPEG復号画像などの出力画像データや、他のデコーダなどから出力される、例えば、８×８画素のブロックごとにMPEG-2などで符号化され、復号されることで得られた画像データが、入力画像データとして、画像処理装置３７１に供給されたときに、開始される。このとき、画像処理装置３７１のブロックサイズ検出部４０１には、入力画像データが供給される。
ステップＳ１９１において、ブロックサイズ検出部４０１は、そこに供給された入力画像データのブロックサイズを検出し、入力画像データとともに、ブロックサイズ判定部４０２に供給して、ステップＳ１９２に進み、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１から供給されたブロックサイズが、例えば、８×８画素などの所定のブロックサイズであるか否かを判定する。即ち、ステップＳ１９２において、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像であるか否かを判定する。
ステップＳ１９２において、ブロックサイズ検出部４０１から供給されたブロックサイズが、８×８画素などの所定のブロックサイズであると判定された場合、即ち、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像ではないと判定された場合、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１からの入力画像データを、画像変換部４０３に供給して、ステップＳ１９３に進み、画像変換部４０３は、ブロックサイズ判定部４０２からの入力画像データに対して、特許文献１や２に開示された技術を用いた画像変換処理を行い、画像処理装置３７１における画像変換処理は終了される。
一方、ブロックサイズ検出部４０１から供給されたブロックサイズが、８×８画素などの所定のブロックサイズでない（１０．６６６×８画素などのブロックサイズである）と判定された場合、即ち、ブロックサイズ検出部４０１から供給された入力画像データが境界上画素を含む画像であると判定された場合、ブロックサイズ判定部４０２は、ブロックサイズ検出部４０１からの入力画像データを、画像変換部６１に供給して、ステップＳ１９４に進み、画像変換部６１は、ブロックサイズ判定部４０２からの入力画像データに対して、図２で説明した画像変換処理を行い、図１８の画像変換処理は終了される。
以上のような図１８の画像変換処理では、入力画像データのブロックサイズが判定され、そのブロックサイズに応じて最適な画像変換処理が行われるため、異なるブロックサイズの入力画像データに対して、同一の画像変換処理が行われる場合と比較して、例えば、入力画像データに付加されたモスキートノイズやブロック歪などが効果的に除去される。
次に、図１９乃至図２５を参照して、ブロックサイズが１０．６６６×８画素の出力画像データに対して、特許文献１のノイズ除去処理を行った場合の処理結果と、本発明を適用した特許文献１のノイズ除去処理を行った場合の処理結果とを示すことにより、本発明によるノイズ除去効果を説明する。
図１９は、ブロックサイズが１０．６６６×８画素の出力画像データに対して、特許文献１のノイズ除去処理を行った場合に得られた画像を示す図である。
図２０は、特許文献１のノイズ除去処理を行った場合に得られた画像の所定の位置における画素の画素値の波形を示す図である。
即ち、図２０上側には、特許文献１のノイズ除去処理を行った場合に得られた画像が示されており、その画像には、１０．６６６×８画素のブロックの境界と直交する左右方向に伸びた矢印が示されている。
また、図２０下側には、図２０上側に示された矢印の位置を示す横軸と、その矢印の位置に対応する画素の画素値を示す縦軸とで表されたグラフが示されている。
さらに、図２０下側に示されたグラフに示される記号Ｙの近傍は、１０．６６６×８画素のブロックの境界の近傍を示している。
図２１は、ブロックサイズが１０．６６６×８画素の出力画像データに対して、本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像を示す図である。
図２２は、本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像の所定の位置における画素の画素値の波形を示す図である。
即ち、図２２上側には、本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像が示されており、その画像には、１０．６６６×８画素のブロックの境界と直交する左右方向に伸びた矢印が示されている。
また、図２２下側には、図２２上側に示された矢印の位置を示す横軸と、その矢印の位置に対応する画素の画素値を示す縦軸とで表されたグラフが示されている。
さらに、図２２下側に示されたグラフに示される記号Ｙの近傍は、１０．６６６×８画素のブロックの境界の近傍を示している。
図２３は、図２０下側に示されたグラフと、図２２下側に示されたグラフとを重ね合わせた図である。
図２３には、グラフoldとして、図２０下側に示されたグラフ（特許文献１のノイズ除去処理を行った場合に得られる画像から得られたグラフ）が、グラフnewとして、図２２下側に示されたグラフ（本発明を適用した特許文献１のノイズ除去処理を行った場合に得られる画像から得られたグラフ）が示されている。
図２３に示される記号Ｙの近傍では、グラフoldが上下に振れた曲線を描いているのに対して、グラフnewは滑らかな曲線を描いている。このことから、本発明を適用した特許文献１のノイズ除去を行った場合のほうが、１０．６６６×８画素のブロックによるブロック歪を低減することができることがわかる。
図２４は、出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲ（signal to noise ratio）と、本発明を適用した特許文献１のノイズ除去処理をおこなった場合のＳＮＲとを比較した図である。
図２４に示される表の左側から１番目の欄（列）は、ノイズ除去処理の対象である、ビットレートが１２Mbps(megabit per second)の出力画像データが示された欄である。
また、図２４に示される表の左側から２番目の欄は、１番目の欄に示された出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲが示された欄である。さらに、図２４に示される表の左側から３番目の欄は、１番目の欄に示された出力画像データに対して、本発明を適用した特許文献１のノイズ除去処理を行った場合のＳＮＲが示された欄である。
図２４に示される表を参照すると、いずれの場合も、本発明を適用した特許文献１のノイズ除去処理のＳＮＲが良いことがわかる。
図２５は、出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲと、本発明を適用した特許文献１のノイズ除去処理をおこなった場合のＳＮＲとを比較した他の図である。
図２５に示される表の左側から１番目の欄（列）は、ノイズ除去処理の対象である、ビットレートが１５Mbpsの出力画像データが示された欄である。
また、図２５に示される表の左側から２番目の欄は、１番目の欄に示された出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲが示された欄である。さらに、図２５に示される表の左側から３番目の欄は、１番目の欄に示された出力画像データに対して、本発明を適用した特許文献１のノイズ除去処理を行った場合のＳＮＲが示された欄である。
図２５に示される表を参照すると、図２４の場合と同様に、いずれの場合も、本発明を適用した特許文献１のノイズ除去処理のＳＮＲが良いことがわかる。
次に、上述した図２および図１０の画像変換部６１、図８および図１５の学習装置２０１、および図１７の画像処理装置３７１が行う一連の処理は、専用のハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、いわゆる組み込み型のコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム格納媒体からインストールされる。
図２６は、上述した一連の処理をプログラムにより実行するコンピュータの構成例を示すブロック図である。
CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２、または記憶部７０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７０３には、CPU７０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７０１、ROM７０２、およびRAM７０３は、バス７０４により相互に接続されている。
CPU７０１にはまた、バス７０４を介して入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。CPU７０１は、入力部７０６から入力される指令に対応して各種の処理を実行する。そして、CPU７０１は、処理の結果を出力部７０７に出力する。
入出力インタフェース７０５に接続されている記憶部７０８は、例えばハードディスクからなり、CPU７０１が実行するプログラムや各種のデータを記憶する。通信部７０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部７０９を介してプログラムを取得し、記憶部７０８に記憶してもよい。
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部７０８に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図２６に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク（ＭＤ（Mini-Disc）を含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア７１１、または、プログラムが一時的もしくは永続的に格納されるROM７０２や、記憶部７０８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部７０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本実施の形態において、画像変換処理を行うものとして、図２の画像変換部６１や、図１０の画像変換部６１、図１７の画像処理装置３７１を説明したが、かかる画像変換処理を行う装置の具体例として、例えば、テレビジョン受像機や、ハードディスクレコーダ、DVDレコーダなどを採用することができる。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
地上デジタル放送において行われる処理を説明するブロック図である。 本発明を適用した画像変換部の一実施の形態の構成例を示すブロック図である。 図２のブロック抽出部１２１が、抽出対象ブロックを抽出する順番を示す図である。 図２のブロック抽出部１２１が、図３に示される抽出対象ブロックを、処理対象ブロックに区分する方法を示す図である。 図２の閾値算出部１２２が、処理ブロックから閾値を算出する処理を説明する図である 図２のクラス分類部１２５により行われるクラス分類を説明する図である。 図２の画像変換部６１における画像変換処理を説明するフローチャートである。 図２の画像変換部６１で用いられるタップ係数を求める学習処理を行う学習装置２０１の構成例を示すブロック図である。 図８の学習装置２０１における学習処理を説明するフローチャートである。 本発明を適用した画像変換部の一実施の形態の他の構成例を示すブロック図である。 ８×８画素のブロックを処理ブロックとして、画素位置モード、および領域情報に対応した所定の予測演算を説明する図である １０×８画素の処理ブロックの画素に、画素位置モードを割り当てた一例を示す図である。 １１×８画素の処理ブロックの画素に、画素位置モードを割り当てた一例を示す図である。 図１０の画像変換部６１における画像変換処理を説明するフローチャートである。 図１０の画像変換部６１で用いられるタップ係数を求める学習処理を行う学習装置２０１の構成例を示すブロック図である。 図１５の学習装置２０１における学習処理を説明するフローチャートである。 図２の画像変換部６１における画像変換処理と、上述した特許文献１や２などにおける画像変換処理とを選択的に用いることができる画像処理装置３７１を示すブロック図である。 図１８の画像処理装置３７１における画像変換処理を説明するフローチャートである。 ブロックサイズが１０．６６６×８画素の出力画像データに対して、特許文献１のノイズ除去処理を行った場合に得られた画像を示す図である。 特許文献１のノイズ除去処理を行った場合に得られた画像の所定の位置における画素の画素値の波形を示す図である。 ブロックサイズが１０．６６６×８画素の出力画像データに対して、本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像を示す図である。 本発明を適用した特許文献１のノイズ除去処理を行った場合に得られた画像の所定の位置における画素の画素値の波形を示す図である。 図２３は、図２０下側に示されたグラフと、図２２下側に示されたグラフとを重ね合わせた図である。 出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲと、本発明を適用した特許文献１のノイズ除去処理をおこなった場合のＳＮＲとを比較した図である。 図２５は、出力画像データに対して、特許文献１のノイズ除去処理を行った場合のＳＮＲと、本発明を適用した特許文献１のノイズ除去処理をおこなった場合のＳＮＲとを比較した他の図である。 コンピュータの構成例を示すブロック図である。
符号の説明
６１ 画像変換部， １２１ ブロック抽出部， １２２ 閾値算出部， １２３ 予測タップ抽出部， １２４ クラスタップ抽出部， １２５ クラス分類部， １２６ 係数記憶部， １２７ 予測演算部， ２０１ 学習装置， ２３１ 学習用画像記憶部， ２３２ ノイズ付加部， ２３３ ブロック抽出部， ２３４ 閾値算出部， ２３５ 予測タップ抽出部， ２３６ クラスタップ抽出部， ２３７ クラス分類部， ２３８ 足し込み部， ２３９ 係数算出部， ２４０ 制御部， ２７５ 画素位置モード判定部， ２７６ 係数記憶部， ２７７ 領域判定部， ２７８ 予測演算部， ２７９ 制御部， ３３９ 画素位置モード判定部， ３４０ 足し込み部， ３４１ 係数算出部， ３４２ 制御部， ３７１ 画像処理装置， ４０１ ブロックサイズ検出部， ４０２ ブロックサイズ判定部， ４０３ 画像変換部

Claims (10)

  1. 原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
    前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換する
    デコーダが出力する前記出力画像データを処理する画像処理装置において、
    前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出手段と、
    前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出手段と、
    前記クラスタップ抽出手段により抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類手段と、
    前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力手段と、
    前記係数出力手段により出力された前記係数と、前記予測タップ抽出手段により抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算手段と
    を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換手段と、
    前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換手段を制御する制御手段と、
    前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定手段と、
    前記境界上画素判定手段により、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記注目画素の前記クラス分類に用いる閾値を、前記注目画素を含む前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する閾値算出手段と
    を備え、
    前記クラス分類手段は、前記クラスタップ抽出手段により抽出された前記クラスタップと、前記閾値算出手段により算出された前記閾値とに基づいて、前記注目画素をクラス分類する
    画像処理装置。
  2. 前記予測タップ抽出手段は、前記予測タップを、前記注目画素を含む前記処理ブロックから抽出する
    請求項１に記載の画像処理装置。
  3. 前記クラスタップ抽出手段は、前記クラスタップを、前記注目画素を含む前記処理ブロックから抽出する
    請求項１に記載の画像処理装置。
  4. 前記処理ブロックにおける各画素の位置を表す情報を画素位置モードとして、前記注目画素の画素位置モードを判定する画素位置モード判定手段をさらに備え、
    前記係数出力手段は、前記注目画素のクラスと画素位置モードに対応する係数を出力する
    請求項１に記載の画像処理装置。
  5. 前記処理ブロックの画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
    請求項４に記載の画像処理装置。
  6. 前記注目画素が、前記処理ブロックを複数の領域に区分したときに、前記複数の領域のうちの、いずれかの領域に位置するかを判定する領域判定手段をさらに備え、
    前記予測演算手段は、前記注目画素が位置する領域に対応した前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める
    請求項５に記載の画像処理装置。
  7. 前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれる場合、前記処理ブロックから、前記境界上画素を除外した画素において、線対称または点対称の位置関係にある画素に、画素位置モードとして同一の値が割り当てられる
    請求項５に記載の画像処理装置。
  8. 前記境界上画素には、画素位置モードとして、前記境界上画素以外の画素と異なる値が割り当てられる
    請求項７に記載の画像処理装置。
  9. 原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
    前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換する
    デコーダが出力する前記出力画像データを処理する画像処理装置の画像処理方法において、
    前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出ステップと、
    前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
    前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、
    前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、
    前記係数出力ステップにより出力された前記係数と、前記予測タップ抽出ステップにより抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算ステップと
    を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換ステップと、
    前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換ステップを制御する制御ステップと、
    前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定ステップと、
    前記境界上画素判定ステップにより、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記注目画素の前記クラス分類に用いる閾値を、前記注目画素を含む前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する閾値算出ステップと
    を含み、
    前記クラス分類ステップは、前記クラスタップ抽出ステップにより抽出された前記クラスタップと、前記閾値算出ステップにより算出された前記閾値とに基づいて、前記注目画素をクラス分類する
    画像処理方法。
  10. 原画像データの画素数を所定数倍に変換した変換後画像データを所定のブロックごとに符号化して得られる符号化データを、前記所定のブロックごとに復号し、
    前記符号化データを復号することによって得られる画像データを、その画素数を前記所定数の逆数倍にすることにより、前記原画像データの画素数と同一の画素数の出力画像データに変換する
    デコーダが出力する前記出力画像データを処理する画像処理をコンピュータに実行させるプログラムにおいて、
    前記出力画像データの注目している画素である注目画素に対応する、前記出力画像データよりも高画質の高画質画像データの画素を予測するために用いる複数の画素を、前記出力画像データから予測タップとして抽出する予測タップ抽出ステップと、
    前記注目画素を複数のクラスのうちのいずれかのクラスにクラス分けするクラス分類に用いる複数の画素を、前記出力画像データからクラスタップとして抽出するクラスタップ抽出ステップと、
    前記クラスタップ抽出ステップにより抽出された前記クラスタップに基づいて、前記注目画素をクラス分類するクラス分類ステップと、
    前記出力画像データに相当する生徒画像データと所定の係数とを用いた予測演算により求められる、前記高画質画像データに相当する教師画像データを予測した予測値と、前記教師画像データとの誤差を最小にする学習により求められた、前記複数のクラスそれぞれに対応する前記係数の中から、前記注目画素のクラスに対応する係数を出力する係数出力ステップと、
    前記係数出力ステップにより出力された前記係数と、前記予測タップ抽出ステップにより抽出された前記予測タップとを用いた前記予測演算により、前記注目画素に対応する、前記高画質画像データの画素を求める予測演算ステップと
    を有し、前記出力画像データを前記高画質画像データに変換する画像変換処理を行う画像変換ステップと、
    前記所定数倍に基づいて決定されるブロックサイズの、前記出力画像データの処理ブロックごとに、前記画像変換処理が行われるように、前記画像変換ステップを制御する制御ステップと、
    前記所定のブロックのブロックサイズを、前記所定数の逆数倍にした逆数倍ブロックの境界上の、前記出力画像データの画素である境界上画素が、前記処理ブロックに含まれるか否かを判定する境界上画素判定ステップと、
    前記境界上画素判定ステップにより、前記処理ブロックに、前記境界上画素が含まれると判定された場合、前記注目画素の前記クラス分類に用いる閾値を、前記注目画素を含む前記処理ブロックの画素から前記境界上画素を除外した画素を用いて算出する閾値算出ステップと
    を含み、
    前記クラス分類ステップは、前記クラスタップ抽出ステップにより抽出された前記クラスタップと、前記閾値算出ステップにより算出された前記閾値とに基づいて、前記注目画素をクラス分類する
    画像処理をコンピュータに実行させるプログラム。
JP2006308681A 2006-11-15 2006-11-15 画像処理装置、画像処理方法、およびプログラム Expired - Fee Related JP4770711B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006308681A JP4770711B2 (ja) 2006-11-15 2006-11-15 画像処理装置、画像処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006308681A JP4770711B2 (ja) 2006-11-15 2006-11-15 画像処理装置、画像処理方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2008124955A JP2008124955A (ja) 2008-05-29
JP2008124955A5 JP2008124955A5 (ja) 2009-12-17
JP4770711B2 true JP4770711B2 (ja) 2011-09-14

Family

ID=39509227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006308681A Expired - Fee Related JP4770711B2 (ja) 2006-11-15 2006-11-15 画像処理装置、画像処理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP4770711B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017191749A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 画像処理装置及び画像処理方法
WO2017191750A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346201A (ja) * 2000-03-27 2001-12-14 Sony Corp 画像符号化装置とその方法、画像復号化装置とその方法、画像記録装置、画像伝送装置
JP2001285876A (ja) * 2000-03-30 2001-10-12 Sony Corp 画像符号化装置とその方法、ビデオカメラ、画像記録装置、画像伝送装置
JP2003078876A (ja) * 2001-08-31 2003-03-14 Sony Corp 映像信号の記録方法及び装置
JP2003224847A (ja) * 2002-01-29 2003-08-08 Sony Corp 画像符号化装置とその方法、および、画像復号化装置とその方法
JP4082079B2 (ja) * 2002-04-30 2008-04-30 ソニー株式会社 画像信号処理装置及びその方法
JP4078906B2 (ja) * 2002-07-19 2008-04-23 ソニー株式会社 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
US8213508B2 (en) * 2004-04-02 2012-07-03 Thomson Licensing Complexity scalable video encoding
JP4749377B2 (ja) * 2006-04-18 2011-08-17 パイオニア株式会社 ブロックノイズ除去装置
JP4781306B2 (ja) * 2006-04-18 2011-09-28 パイオニア株式会社 ブロックノイズ除去装置
JP2008118519A (ja) * 2006-11-07 2008-05-22 Sony Corp 画像変換装置及び画像変換方法、学習装置及び学習方法、並びにプログラム
JP4770704B2 (ja) * 2006-11-09 2011-09-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017191749A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 画像処理装置及び画像処理方法
WO2017191750A1 (ja) 2016-05-02 2017-11-09 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法
EP3684056A1 (en) 2016-05-02 2020-07-22 Sony Corporation Image processing using filtering based on pixel classification

Also Published As

Publication number Publication date
JP2008124955A (ja) 2008-05-29

Similar Documents

Publication Publication Date Title
JP4224748B2 (ja) 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、記録媒体、並びに画像処理装置
JP4114885B2 (ja) 画像符号化装置、方法、及びプログラム
US8218637B2 (en) Image processing apparatus and associated method
JP3284932B2 (ja) 画像処理装置
US20220078453A1 (en) Encoding method and device thereof, and decoding method and device thereof
JP4193871B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2004173011A (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
CN112235569A (zh) 基于h264压缩域的快速视频分类方法、系统及装置
JP2011522496A (ja) テクスチャ合成による画像符号化方法
JP2009152968A (ja) 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
JP2007006304A (ja) 画像処理装置、画像処理方法、およびプログラム
JP4770711B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20070092005A1 (en) Method and apparatus for encoding, method and apparatus for decoding, program, and storage medium
JP2009003598A (ja) 画像生成装置および方法、学習装置および方法、並びにプログラム
JP2001285881A (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
US6975770B2 (en) Image compression and decompression with predictor selection based on embedding data
JP4770704B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2008172392A (ja) 表示制御装置及び表示制御方法
US20110243462A1 (en) Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium
JP4240674B2 (ja) 動き検出装置および動き検出方法、並びに記録媒体
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP2008301270A (ja) 動画像符号化装置及び動画像符号化方法
JP4552262B2 (ja) ノイズ低減装置および方法
US7424057B2 (en) Data format transcoding apparatus and associated method
JP4154902B2 (ja) 画像処理装置および画像処理方法、並びにプログラムおよび記録媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees