JP4505729B2 - 画像処理装置、画像処理方法、プログラム、および記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラム、および記録媒体 Download PDF

Info

Publication number
JP4505729B2
JP4505729B2 JP2004131663A JP2004131663A JP4505729B2 JP 4505729 B2 JP4505729 B2 JP 4505729B2 JP 2004131663 A JP2004131663 A JP 2004131663A JP 2004131663 A JP2004131663 A JP 2004131663A JP 4505729 B2 JP4505729 B2 JP 4505729B2
Authority
JP
Japan
Prior art keywords
image signal
data
pixel data
class
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004131663A
Other languages
English (en)
Other versions
JP2005318096A (ja
Inventor
威 國弘
哲二郎 近藤
秀雄 中屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004131663A priority Critical patent/JP4505729B2/ja
Publication of JP2005318096A publication Critical patent/JP2005318096A/ja
Application granted granted Critical
Publication of JP4505729B2 publication Critical patent/JP4505729B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Description

この発明は、例えばブロック符号化が行われたデジタル情報信号を復号化して得られた画像信号に対して、ブロックノイズを除去すると共に解像度を上げる処理を行う画像処理装置等に適用して好適な、画像処理装置、画像処理方法、プログラム、および記録媒体に関する。
詳しくは、この発明は、第１の情報信号から所定のノイズを除去する処理を行って第２の情報信号を得ると共に、この第２の情報信号に残る所定のノイズに対応した制御信号を発生し、この第２の情報信号に対して、制御信号に応じて解像度を上げるための処理を行って第３の情報信号を得ることによって、第３の情報信号として、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号を得ることができるようにした情報信号処理装置に係るものである。
近年において、画像信号の圧縮符号化方式として、ＤＣＴ(discrete cosine transform)を用いたＭＰＥＧ２(Moving Picture Experts Group 2)による符号化方式がある。この符号化方式では、ブロック毎に動き補償予測符号化が行われる。
ＤＣＴは、ブロック内の画素に対して離散コサイン変換を施し、その離散コサイン変換により得られた係数データを再量子化し、さらにこの再量子化された係数データを可変長符号化するものである。この可変長符号化には、ハフマン符号等のエントロピー符号化が用いられることが多い。画像信号は直交変換されることにより、低周波から高周波までの多数の周波数データに分割される。
この分割された周波数データに再量子化を施す場合、人間の視覚特性を考慮し、重要度の高い低周波データに関しては、細かく量子化を施し、重要度の低い高周波のデータに関しては、粗く量子化を施すことで、高画質を保持し、しかも効率が良い圧縮が実現できるという特長を有している。
従来のＤＣＴを用いた復号は、各周波数成分毎の量子化データをそのコードの代表値に変換し、それらの成分に対して逆ＤＣＴ（ＩＤＣＴ：Inverse DCT）を施すことにより、再生データを得る。この代表値へ変換する時には、符号化時の量子化ステップ幅が使用される。
上述のように、ＤＣＴを用いたＭＰＥＧによる符号化方式では、人間の視覚特性を考慮した符号化を行うことにより、高画質を保持し、高効率の圧縮が実現できるという特長がある。
しかし、ＤＣＴを行う符号化はブロックを単位とした処理であることから、圧縮率が高くなるに従い、ブロック状のノイズ、いわゆるブロックノイズ（ブロック歪）が発生することがある。また、エッジ等の急激な輝度変化がある部分には、高周波成分を粗く量子化したことによるざわざわとしたノイズ、いわゆるモスキートノイズが発生する。
これらブロックノイズ、モスキートノイズ等の符号化ノイズを、クラス分類適応処理によって除去することが考えられる。すなわち、このノイズ除去処理では、符号化ノイズを含む画像信号を第１の画像信号とし、符号化ノイズが除去された画像信号を第２の画像信号とし、第２の画像信号における注目画素位置の画素データが属するクラスを検出し、このクラスに対応して第２の画像信号における注目画素位置の画素データを生成する。
また、近年において、画像信号や音声信号の解像度あるいはサンプリング周波数などを向上させる技術が種々提案されている。例えば、標準あるいは低解像度に相当する標準テレビジョン信号から、高解像度のいわゆるＨＤＴＶ信号にアップコンバージョンを行う場合や、サブサンプル補間を行う場合には、従来の補間処理による手法よりも、クラス分類適応処理による手法の方が、性能的に良好な結果が得られることが知られている。
この解像度創造処理では、例えば特許文献１に記載されるように、標準あるいは低解像度に相当する標準テレビジョン信号（ＳＤ信号）を高解像度の信号（ＨＤ信号）に変換する場合に、ＨＤ信号の注目画素位置の画素データが属するクラスを検出し、このクラスに対応した推定式の係数データを用い、当該推定式に基づいて、ＳＤ信号の複数の画素データから、ＨＤ信号の注目画素位置の画素データを生成する。
特開２００２−２１８４１４号公報
上述したノイズ除去処理および解像度創造処理は互いに独立しており、例えばノイズ除去処理を行った後に解像度創造処理を行うことが考えられる。この場合、ノイズ除去処理で除去しきれずに残ったノイズが、解像度創造処理で強調され、画質の劣化につながる場合がある。
この発明の目的は、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号が得られるようにすることにある。
この発明に係る画像処理装置は、ブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた、複数の画素データからなる第１の画像信号に対して、ブロックノイズを除去する処理を行って、複数の画素データからなる第２の画像信号を得ると共に、該第２の画像信号に残るブロックノイズに対応した制御信号を発生する第１の処理手段と、第１の処理手段で得られた第２の画像信号に対して、第１の処理手段で発生された制御信号に応じて解像度を上げるための処理を行って、複数の画素データからなる第３の画像信号を得る第２の処理手段とを備え、第２の処理手段は、第２の画像信号に基づいて、第３の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第１のクラス用データ選択手段と、第１のクラス用データ選択手段で選択された複数の画素データを用いて、第３の画像信号における注目位置の画素データが属するクラスを検出する第１のクラス検出手段と、第１のクラス検出手段で検出されたクラスおよび制御信号に対応して、第３の画像信号における注目位置の画素データを生成する第１の画素データ生成手段とを有するものである。
この発明に係る画像処理方法は、ブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた、複数の画素データからなる第１の画像信号に対して、ブロックノイズを除去する処理を行って、複数の画素データからなる第２の画像信号を得ると共に、該第２の画像信号に残るブロックノイズに対応した制御信号を発生する第１の処理工程と、第１の処理工程で得られた第２の画像信号に対して、第１の処理工程で発生された制御信号に応じて解像度を上げるための処理を行って、複数の画素データからなる第３の画像信号を得る第２の処理工程とを備え、前記第２の処理工程は、第２の画像信号に基づいて、第３の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第１のクラス用データ選択工程と、第１のクラス用データ選択工程で選択された複数の画素データを用いて、第３の画像信号における注目位置の画素データが属するクラスを検出する第１のクラス検出工程と、第１のクラス検出工程で検出されたクラスおよび制御信号に対応して、第３の画像信号における注目位置の画素データを生成する第１の画素データ生成工程とを有するものである。
また、この発明に係るプログラムは上述した画像処理方法をコンピュータに実行させるためのものである。また、この発明に係るコンピュータ読み取り可能な記録媒体は、上述したプログラムを記録したものである。
この発明においては、第１の画像信号に対して、ブロックノイズを除去する処理が行われて、第２の画像信号が得られる。また、この第２の画像信号に残る所定のノイズに対応した制御信号が発生される。そして、第２の画像信号に対して、制御信号に応じて解像度を上げるための処理が行われて、複数の画素データからなる第３の画像信号が得られる。第３の画像信号は、第３の画像信号の注目位置の画素データの周辺に位置する複数の画素データを選択し、選択された複数の画素データを用いて、注目位置の画素データが属するクラスが検出され、検出されたクラスおよび制御信号に対応して、第３の画像信号における注目位置の画素データを生成することにより、生成される。
この発明によれば、第１の画像信号からブロックノイズを除去する処理を行って第２の画像信号を得ると共に、この第２の画像信号に残るブロックノイズに対応した制御信号を発生し、この第２の画像信号に対して、制御信号に応じて解像度を上げるための処理を行って第３の画像信号を得るものであり、第３の画像信号として、ブロックノイズが低減されると共に画質劣化なく解像度が上げられた良好な画像信号を得ることができる。
この発明の実施の形態について説明する。図１は、実施の形態としての画像信号処理装置１００の構成を示している。この画像信号処理装置１００は、入力端子１０１と、入力基板１０２と、ノイズ除去処理基板１０３と、解像度創造処理基板１０４と、出力基板１０５と、出力端子１０６とからなっている。入力端子１０１は、処理すべき画像信号Ｓinを入力するための端子である。出力端子１０６は、処理された画像信号Ｓoutを出力するための端子である。
ここで、画像信号Ｓinは、例えばＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた画像信号であり、ブロックノイズ（ブロック歪）、モスキートノイズ等の符号化ノイズを持っている。
入力基板１０２は、入力端子１０１に入力された画像信号Ｓinに対して、Ａ／Ｄ変換等の処理を行って、後段の基板で用いるために適切な形式の、第１の情報信号としての画像信号Ｓａを生成する。この画像信号Ｓａは、複数の画素データからなるものであり、ＳＤ(Standard Definition)信号である。
ノイズ除去処理基板１０３は、入力基板１０２で生成された画像信号Ｓａに対して、上述したブロックノイズ、モスキートノイズ等の符号化ノイズを除去する処理を行って、第２の情報信号としての画像信号Ｓｂを取得する。この画像信号Ｓｂは、画像信号Ｓａと同じ数の複数の画素データからなるものであり、ＳＤ信号である。
また、このノイズ除去処理基板１０３は、画像信号Ｓｂに残る所定のノイズ、例えばブロックノイズに対応した制御信号Ｖr，Ｖzを発生する。制御信号Ｖr，Ｖzは、後述する解像度創造処理基板１０４で、それぞれ、解像度、ノイズ除去度を決めるパラメータｒ，ｚの値を制御するために用いられる。
解像度創造処理基板１０４は、ノイズ除去処理基板１０３で得られた画像信号Ｓｂに対して、当該ノイズ除去処理基板１０３で発生された制御信号Ｖr，Ｖzに応じて解像度を上げるための処理を行って、第３の情報信号としての画像信号Ｓｃを取得する。この場合、処理基板１０４は、制御信号Ｖr，Ｖzに応じて、解像度、ノイズ除去度を制御し、画像信号Ｓｂに残る所定のノイズ、例えばブロックノイズが強調されることを抑制する。
この画像信号Ｓｃは、複数の画素データからなるものであり、ＨＤ(High Definition)信号である。図２は、ＳＤ信号とＨＤ信号の画素位置関係を示しており、大きなドットがＳＤ信号の画素を示し、小さいドットがＨＤ信号の画素を示している。この図２から分かるように、ＨＤ信号のライン数はＳＤ信号の２倍であり、またＨＤ信号の各ラインの画素数はＳＤ信号の２倍である。
出力基板１０５は、解像度創造処理基板１０４で得られた画像信号Ｓｃに対して、Ｄ／Ａ変換等の処理を行って適切なフォーマットの画像信号Ｓoutを取得し、当該画像信号Ｓoutを出力端子１０６に出力する。
図１に示す画像信号処理装置１００の動作を説明する。
例えばＭＰＥＧデータ等のブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた画像信号が、入力端子１０１に、処理すべき画像信号Ｓinとして入力される。この画像信号Ｓinは入力基板１０２に供給される。この入力基板１０２では、画像信号Ｓinに対してＡ／Ｄ変換等の処理が行われ、後段の基板で用いるために適切な形式の画像信号Ｓａが生成される。
入力基板１０２で生成された画像信号Ｓａは、ノイズ除去処理基板１０３に供給される。この処理基板１０３では、画像信号Ｓａに対して、ブロックノイズ、モスキートノイズ等の符号化ノイズを除去する処理が行われ、符号化ノイズの低減された画像信号Ｓｂが得られる。また、この処理基板１０３では、画像信号Ｓｂに残る、所定のノイズ、例えばブロックノイズに対応した制御信号Ｖr，Ｖzが発生される。
ノイズ除去処理基板１０３で得られた画像信号Ｓｂおよび当該ノイズ処理基板１０３で発生された制御信号Ｖr，Ｖzは、それぞれ、解像度創造処理基板１０４に供給される。この処理基板１０４では、ＳＤ信号としての画像信号Ｓｂに対して、解像度を上げるための処理が行われ、ＨＤ信号としての画像信号Ｓｃが得られる。この場合、制御信号Ｖr，Ｖzに応じて、解像度、ノイズ除去度が制御され、画像信号Ｓｂに残る所定のノイズ、例えばブロックノイズが強調されることが抑制される。
解像度創造処理基板１０４で得られた画像信号Ｓｃは、出力基板１０５に供給される。この出力基板１０５では、画像信号Ｓｃに対してＤ／Ａ変換等の処理が行われ、適切なフォーマットの画像信号Ｓoutが得られる。そして、この処理後の画像信号Ｓoutは、出力端子１０６に出力される。
次に、上述したノイズ除去処理基板１０３の詳細を説明する。図３は、ノイズ除去処理基板１０３の回路構成を示している。この処理基板１０３は、クラス分類適応処理により、ノイズ除去処理を行う。
この処理基板１０３は、入力端子１２１と、バッファメモリ１２２とを有している。入力端子１２１は、画像信号Ｓａを入力するための端子である。バッファメモリ１２２は、入力端子１２１に入力された画像信号Ｓａを一時的に記憶する。
また、処理基板１０３は、予測タップ選択部１２３と、クラスタップ選択部１２４とを有している。予測タップ選択部１２３は、バッファメモリ１２２に記憶されている画像信号Ｓａから、画像信号Ｓｂにおける注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。図４は、予測タップのパターン例を示しており、ＡＰは注目画素位置である。
クラスタップ選択部１２４は、バッファメモリ１２２に記憶されている画像信号Ｓａから、画像信号Ｓｂにおける注目画素位置の画素データを含むＤＣＴ(Discrete Cosine Transform)処理ブロックを構成する複数の画素データを、クラスタップのデータとして選択的に抽出する。ＭＰＥＧデータの復号化時には、ＤＣＴ処理ブロック毎にデコード処理が行われている。図５は、ＤＣＴ処理ブロックを構成する８×８の画素データを示している。
また、処理基板１０３は、クラス検出部１２５を有している。このクラス検出部１２５は、クラスタップ選択部１２４で選択的に抽出されたクラスタップのデータとしての複数の画素データに対してデータ圧縮処理を施して、画像信号Ｓｂにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを取得する。例えば、データ圧縮処理としては、ＡＤＲＣ(Adaptive Dynamic Range Coding)、ＤＰＣＭ（予測符号化）、ＶＱ（ベクトル量子化）等を利用できる。本実施の形態では、ＡＤＲＣ、例えば１ビットＡＤＲＣが利用される。
まず、ＫビットＡＤＲＣを利用する場合について説明する。この場合、クラスタップに含まれる画素データの最大値ＭＡＸと最小値ＭＩＮの差分であるダイナミックレンジＤＲ＝ＭＡＸ−ＭＩＮを検出し、またクラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算（量子化）し、クラスタップを構成するそれぞれの画素データをＫビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとする。
１ビットＡＤＲＣを利用する場合には、クラスタップに含まれるそれぞれの画素データについて、その画素データから最小値ＭＩＮを減算し、その減算値をＤＲ／２で除算し、クラスタップに含まれるそれぞれの画素データを１ビットに再量子化し、それを所定の順番で並べたビット列をクラスコードＣＬとして出力する。
また、処理基板１０３は、係数メモリ１２６を有している。この係数メモリ１２６は、後述する推定予測演算部１２７で使用される、推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ、ｎは予測タップの個数）を、クラス毎に、記憶している。この場合、各クラスの係数データＷｉは、ＤＣＴ処理ブロック内の８×８の各画素位置（図５の（１，１）〜（８，８）の６４位置）にそれぞれ対応した係数データからなっている。結局、係数メモリ１２６には、クラスおよび画素位置の各組み合わせに対応した係数データＷｉが記憶されている。
この係数データＷｉは、画像信号Ｓｂに対応した教師信号ＳＴと画像信号Ｓａに対応した生徒信号ＳＳとから学習によって生成されたものであり、画像信号Ｓａを画像信号Ｓｂに変換するための情報である。このような係数データＷｉを用いて画像信号Ｓａを画像信号Ｓｂに変換することで、画像信号Ｓａは、ブロックノイズ、モスキートノイズ等の符号化ノイズが低減された画像信号Ｓｂに変換される。この係数データＷｉの生成方法については後述する。
係数メモリ１２６には上述したクラス検出部１２５で得られたクラスコードＣＬが読み出しアドレス情報として供給される。この係数メモリ１２６からは、クラスコードＣＬが表すクラス、および画像信号Ｓｂにおける注目画素位置の、ＤＣＴ処理ブロック内における画素位置に対応した係数データＷｉが読み出されて、推定予測演算部１２７に供給される。
また、処理基板１０３は、推定予測演算部１２７を有している。この推定予測演算部１２７は、予測タップ選択部１２３で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ１２６から読み出された係数データＷｉとを用い、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目画素位置の画素データｙを求める。
Figure 0004505729
また、処理基板１０３は、バッファメモリ１２８と、出力端子１２９とを有している。バッファメモリ１２８は、推定予測演算部１２７より順次出力される、画像信号Ｓｂを構成する画素データｙを一時的に記憶する。出力端子１２９は、バッファメモリ１２８に記憶されている画像信号Ｓｂを出力するための端子である。
また、処理基板１０３は、制御信号発生部１３０と、出力端子１３１とを有している。この制御信号発生部１３０は、バッファメモリ１２８に記憶されている画像信号Ｓｂに基づいて、当該画像信号Ｓｂに残る所定のノイズ、本実施の形態ではブロックノイズ（ブロック歪）に対応した制御信号Ｖr，Ｖzを発生する。この制御信号発生部１３０では、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素のそれぞれに対応して、以下のようにして、制御信号Ｖr，Ｖzを生成する。
図６Ａに示すように、境界画素の画素データａ1と、この境界画素に対してブロック境界線と直交する方向に隣接する画素の画素データａ0，ａ2とを用いる。そして、図６Ｂに示すように、境界画素における二次微分値ｄを、（２）式に基づいて、求める。この二次微分値ｄの大きさは、ブロックノイズが大きい程大きくなる。
ｄ＝（ａ0−ａ1）−（ａ1−ａ2） ・・・（２）
そして、図６Ｃに示すように、二次微分値ｄの絶対値|ｄ|に、それぞれ、定数−ｋr，ｋzを乗算して、（３）式、（４）式で、境界画素における制御信号Ｖr，Ｖzを生成する。ここで、ｋr＞０、ｋz＞０である。
Ｖr＝−ｋr＊|ｄ| ・・・（３）
Ｖz＝ ｋz＊|ｄ| ・・・（４）
なお、制御信号発生部１３０は、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応しては、上述したように、（３）式、（４）式で制御信号Ｖr，Ｖzを生成する。しかし、この制御信号発生部１３０は、境界画素以外の画素に対応しては、その値が０である制御信号Ｖr，Ｖzを発生する。
出力端子１３１は、制御信号発生部１３０で発生された制御信号Ｖr，Ｖzを出力するための端子である。制御信号Ｖrは、解像度創造処理基板１０４において、解像度を決めるパラメータｒの値を制御するために使用される。制御信号Ｖzは、解像度創造処理基板１０４において、ノイズ除去度を決めるパラメータｚの値を制御するために使用される。
図３に示すノイズ除去処理基板１０３の動作を説明する。
入力基板１０２（図１参照）から供給される、入力画像信号としての画像信号Ｓａは、入力端子１２１を介してバッファメモリ１２２に供給され、当該バッファメモリ１２２に一時的に記憶される。クラスタップ選択部１２４では、バッファメモリ１２２に記憶されている画像信号Ｓａから、画像信号Ｓｂにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部１２５に供給される。
クラス検出部１２５では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｓｂにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは係数メモリ１２６に読み出しアドレス情報として供給される。これにより、推定予測演算部１２７には、係数メモリ１２６から、クラスコードＣＬが表すクラス、および画像信号Ｓｂにおける注目画素位置の、ＤＣＴ処理ブロック内における画素位置に対応した係数データＷｉが供給される。
予測タップ選択部１２３では、バッファメモリ１２２に一時的に記憶されている画像信号Ｓａから、画像信号Ｓｂにおける注目画素位置の周辺に位置する、複数の画素データｘｉが予測タップのデータとして選択的に取り出される。この複数の画素データｘｉは推定予測演算部１２７に供給される。
推定予測演算部１２７では、予測タップのデータとしての複数の画素データｘｉおよび係数データＷｉが用いられ、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目画素位置の画素データｙが求められる。画像信号Ｓｂにおける注目画素位置が順次変化するようにされ、推定予測演算部１２７からは、画像信号Ｓｂにおける各注目画素位置の画素データｙが順次出力される。
このように推定予測演算部１２７から順次出力される、各注目画素位置の画素データｙはバッファメモリ１２８に供給されて一時的に記憶される。このバッファメモリ１２８に記憶された画像信号Ｓｂを構成する各画素データは、その後に適宜なタイミングで読み出され、出力端子１２９を介して、解像度創造処理基板１０４（図１参照）に供給される。
また、バッファメモリ１２８に一時的に記憶されている画像信号Ｓｂは、制御信号発生部１３０に供給される。この制御信号発生部１３０では、画像信号Ｓｂに基づいて、当該画像信号Ｓｂに残る所定のノイズ、本実施の形態ではブロックノイズに対応した制御信号Ｖr，Ｖzが発生される。
この制御信号Ｖr，Ｖzは、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応しては、当該境界画素を中心とした複数の画素データを用いて得られた二次微分値ｄの絶対値|ｄ|に定数−ｋr，ｋzを乗算して得られる（（２）式〜（４）式参照）。また、この制御信号Ｖr，Ｖzは、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界画素以外の画素に対応しては、Ｖr＝０、Ｖz＝０とされる。
このように制御信号発生部１３０で発生される制御信号Ｖr，Ｖzは、出力端子１３１を介して、解像度創造処理基板１０４に供給される。この場合、画像信号Ｓｂとその各画素データに対応した制御信号Ｖr，Ｖzとは、その対応関係を保持した状態で、処理基板１０４に供給される。
次に、係数メモリ１２６に記憶される係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。この係数データＷｉは、予め学習によって生成されたものである。
まず、この学習方法について説明する。上述の（１）式において、学習前は係数データＷ1，Ｗ2，‥‥，Ｗnは未定係数である。学習は、クラス毎に、複数の学習データを用いることで行われる。学習データ数がｍの場合、（１）式に従って、以下に示す（５）式が設定される。ｎは予測タップの数を示している。
ｙk＝Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn ・・・（５）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合、係数データＷ1，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の（６）式で定義し、（７）式のｅ2を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝ ・・・（６）
（ｋ＝１，２，‥‥ｍ）
Figure 0004505729
（７）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（８）式に示すように、ｅ2を係数データＷｉで偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
Figure 0004505729
（９）式、（１０）式のようにＸji，Ｙiを定義すると、（８）式は、（１１）式の行列式の形に書くことができる。この（１１）式が、係数データＷｉを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉを求めることができる。
Figure 0004505729
Figure 0004505729
次に、上述した係数データＷｉ（ｉ＝１〜ｎ）を生成するための係数データ生成装置１５０について説明する。図７は、この係数データ生成装置１５０の構成を示している。
この係数データ生成装置１５０は、入力端子１５１と、ＭＰＥＧ符号化部１５２と、ＭＰＥＧ復号化部１５３とを有している。入力端子１５１は、上述した画像信号Ｓｂに対応した教師信号ＳＴを入力する。ＭＰＥＧ符号化部１５２は、この教師信号ＳＴに対してＭＰＥＧの符号化を行ってＭＰＥＧストリームを生成する。ＭＰＥＧ復号化部１５３は、このＭＰＥＧストリームに対して復号化を行って、上述した画像信号Ｓａに対応した生徒信号ＳＳを生成する。この生徒信号ＳＳには、ＭＰＥＧの符号化、復号化を経たことによって、ブロック歪、モスキートノイズが発生している。
また、係数データ生成装置１５０は、予測タップ選択部１５４を有している。この予測タップ選択部１５４は、ＭＰＥＧ復号化部１５３で生成された生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。この予測タップ選択部１５４は、上述した処理基板１０３の予測タップ選択部１２３に対応するものである。
また、係数データ生成装置１５０は、クラスタップ選択部１５５を有している。このクラスタップ選択部１５５は、ＭＰＥＧ復号化部１５３で生成された生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データを、クラスタップのデータとして選択的に抽出する。このクラスタップ選択部１５５は、上述した処理基板１０３のクラスタップ選択部１２４に対応するものである。
また、係数データ生成装置１５０は、クラス検出部１５６を有している。このクラス検出部１５６は、クラスタップ選択部１５５で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、教師信号ＳＴにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬを生成する。このクラス検出部１５６は、上述した処理基板１０３のクラス検出部１２５に対応するものである。
また、係数データ生成装置１５０は、教師タップ選択部１５７を有している。この教師タップ選択部１５７は、入力端子１５１に入力される教師信号ＳＴから、注目画素位置の画素データを選択的に抽出する。
また、係数データ生成装置１５０は、正規方程式生成部１５８を有している。この正規方程式生成部１５８は、教師タップ選択部１５７で選択的に抽出された、教師信号ＳＴにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部１５４で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部１５６で得られたクラスコードＣＬとから、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉを得るための正規方程式（（１１）式参照）を生成する。
この場合、１個の画素データｙとそれに対応する複数の画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部１５８では、クラス毎に、係数データＷｉを得るための正規方程式が生成される。またこの場合、正規方程式生成部１５８では、ＤＣＴ処理ブロック内の画素位置毎に、正規方程式が生成される。すなわち、ＤＣＴ処理ブロック内の８×８の各画素位置に対応した正規方程式は、それぞれ、その画素位置に存在する画素データｙから構成される学習データを用いて生成される。
結局、正規方程式生成部１５８では、上述したように、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、正規方程式が生成される。
また、係数データ生成装置１５０は、係数データ決定部１５９と、係数メモリ１６０とを有している。係数データ決定部１５９は、正規方程式生成部１５８から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉを求める。係数メモリ１６０は、係数データ決定部１５９で求められた係数データＷｉを格納する。
次に、図７に示す係数データ生成装置１５０の動作を説明する。
入力端子１５１には、画像信号Ｓｂに対応した教師信号ＳＴが入力され、この教師信号ＳＴは、ＭＰＥＧ符号化部１５２に供給される。ＭＰＥＧ符号化部１５２では、この教師信号ＳＴに対してＭＰＥＧの符号化が施されて、ＭＰＥＧストリームが生成される。このＭＰＥＧストリームは、ＭＰＥＧ復号化部１５３に供給される。ＭＰＥＧ復号化部１５３では、このＭＰＥＧストリームに対して復号化が施されて、画像信号Ｓａに対応した生徒信号ＳＳが生成される。
クラスタップ選択部１５５では、ＭＰＥＧ復号化部１５３で生成された生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データが、クラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部１５６に供給される。このクラス検出部１５６では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、教師信号ＳＴにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは、正規方程式生成部１５８に供給される。
予測タップ選択部１５４では、ＭＰＥＧ復号化部１５３で生成された生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは正規方程式生成部１５８に供給される。また、教師タップ選択部１５７では、入力端子１５１に入力される教師信号ＳＴから、注目画素位置の画素データｙが選択的に抽出される。この画素データｙは正規方程式生成部１５８に供給される。
正規方程式生成部１５８では、教師タップ選択部１５７で選択的に抽出された、教師信号ＳＴにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部１５４で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部１５６で得られたクラスコードＣＬとから、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉを得るための正規方程式（（１１）式参照）が生成される。
そして、係数データ決定部１５９では、正規方程式生成部１５８から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉが求められる。この係数データＷｉは、係数メモリ１６０に格納される。
このように、図７に示す係数データ生成装置１５０においては、上述の図３に示すノイズ除去処理基板１０３の係数メモリ１２６格納される係数データＷｉを、良好に生成できる。
次に、上述した解像度創造処理基板１０４の詳細を説明する。図８は、解像度創造処理基板１０４の回路構成を示している。
この処理基板１０４は、入力端子２２１と、バッファメモリ２２２とを有している。入力端子２２１は、画像信号Ｓｂを入力するための端子である。バッファメモリ２２２は、入力端子２２１に入力された画像信号Ｓｂを一時的に記憶する。
また、処理基板１０４は、予測タップ選択部２２３と、クラスタップ選択部２２４とを有している。予測タップ選択部２２３、クラスタップ選択部２２４は、それぞれ、バッファメモリ２２２に記憶されている画像信号Ｓｂから、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。図９Ａ，Ｂは、それぞれ、クラスタップ、予測タップのパターン例を示している。ＳＤ0は中心予測タップを示している。
また、処理基板１０４は、クラス検出部２２５を有している。このクラス検出部２２５は、クラスタップ選択部２２４で選択的に抽出されたクラスタップのデータとしての複数の画素データに対して上述した１ビットＡＤＲＣ等のデータ圧縮処理を施して、画像信号Ｓｃにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬを生成する。
また、処理基板１０４は、係数データ生成部２２９と、記憶手段としてのＲＯＭ２３０とを有している。ＲＯＭ２３０は、各クラスの係数種データｗijを記憶している。この係数種データｗijは、上述した（１）式の推定式の係数データＷｉ（ｉ＝１〜ｎ）を生成するための、パラメータｒ，ｚを含む生成式の係数データである。（１２）式は、その生成式の一例を示しており、ｗi0〜ｗi9が係数種データである。ここで、ｒは解像度を決めるパラメータであり、ｚはノイズ除去度を決めるパラメータである。
Figure 0004505729
ＳＤ信号をＨＤ信号に変換する場合、ＳＤ信号の１画素に対応してＨＤ信号の４画素を得る必要がある（図２参照）。この場合、ＨＤ信号を構成する２×２の単位画素ブロック内の４画素は、それぞれＳＤ信号の中心予測タップＳＤ0に対して異なる位相ずれを持っている。図１０は、ＨＤ信号を構成する２×２の単位画素ブロック内の４画素ＨＤ1〜ＨＤ4における、ＳＤ信号の中心予測タップＳＤ0からの位相ずれを示している。ここで、ＨＤ1〜ＨＤ4の位置は、それぞれ、ＳＤ0の位置から水平方向にｋ1〜ｋ4、垂直方向にｍ1〜ｍ4だけずれている。そのため、上述した各クラスの係数種データｗijは、それぞれ、出力画素（ＨＤ1〜ＨＤ4）に対応した４種類の係数種データからなっている。
この係数種データｗijは、画像信号Ｓｃに対応した教師信号ＳＴと画像信号Ｓｂに対応した生徒信号ＳＳとから学習によって生成されたものであり、画像信号Ｓｂを画像信号Ｓｃに変換するための情報である。このような係数種データｗijを用いて画像信号Ｓｂを画像信号Ｓｃに変換することで、ＳＤ信号としての画像信号Ｓｂは、ＨＤ信号としての画像信号Ｓｃに変換される。この係数種データｗijの生成方法については後述する。
係数データ生成部２２９は、ＲＯＭ２３０から、クラス検出部２２５で得られたクラスコードＣＬが表すクラスの、出力画素（ＨＤ1〜ＨＤ4）にそれぞれ対応した４画素分の係数種データｗijを取得し、さらに後述するパラメータ制御部２２８から出力されるパラメータｒ，ｚの値を用い、（１２）式の生成式に基づいて、４画素分の係数データＷｉを生成する。
また、処理基板１０４は、入力端子２２６と、バッファメモリ２２７とを有している。入力端子２２６は、制御信号Ｖr，Ｖzを入力するための端子である。バッファメモリ２２７は、入力端子２２６に入力された制御信号Ｖr，Ｖzを一時的に記憶する。
また、処理基板１０４は、パラメータ制御部２２８を有している。このパラメータ制御部２２８には、ユーザによってその値が調整されたパラメータｒ′，ｚ′が供給される。ｒ′は解像度を決めるパラメータであり、ｚ′はノイズ除去度を決めるパラメータである。このパラメータ制御部２２８は、バッファメモリ２２７から画像信号Ｓｃにおける注目画素位置、従って中心予測タップＳＤ0に対応した制御信号Ｖr，Ｖzを取得すると共に、この制御信号Ｖr，Ｖzを用いて、パラメータｒ′，ｚ′の値を制御し、係数データ生成部２２９に供給するパラメータｒ，ｚの値を得る。この場合、パラメータ制御部２２８は、例えば、（１４）式、（１５）式に基づいて、パラメータｒ，ｚの値を求める。
ｒ＝ｒ′＋Ｖr ・・・（１３）
ｚ＝ｚ′＋Ｖz ・・・（１４）
中心予測タップＳＤ0（画像信号Ｓｃにおける注目画素位置に対応している）がＤＲＣ処理ブロックの境界に位置する境界画素であるとき、上述したように、制御信号Ｖrはブロックノイズの大きさに対応した大きさを持つ負の値であり、また制御信号Ｖzはブロックノイズの大きさに対応した大きさを持つ正の値である。したがってこのとき、パラメータｒの値は、ユーザによって調整されたパラメータｒ′の値より、ブロックノイズが大きい程小さくなり、解像度が低くなるようにされる。また、パラメータｚの値は、ユーザによって調整されたパラメータｚ′の値より、ブロックノイズが大きい程大きくなり、ノイズ除去度が高くなるようにされる。
なお、中心予測タップＳＤ0が境界画素以外の画素である場合、上述したように、制御信号Ｖr，Ｖzはそれぞれ０であり、パラメータｒ，ｚの値は、ユーザによって調整されたパラメータｒ′，ｚ′の値そのものとなる。
また、処理基板１０４は、推定予測演算部２３１を有している。この推定予測演算部２３１は、画像信号Ｓｃを構成する２×２の単位画素ブロック毎に、画素データを求める。すなわち、この推定予測演算部２３１には、予測タップ選択部２２３から単位画素ブロック内の４画素（注目画素）に対応した、予測タップのデータとしての複数の画素データｘｉが供給され、また係数データ生成部２２９で生成された、その単位画素ブロックを構成する４画素分の係数データＷｉが供給される。この推定予測演算部２３１は、単位画素ブロックを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（１）式の推定式で個別に演算する。
また、処理基板１０４は、バッファメモリ２３２と、出力端子２３３とを有している。バッファメモリ２３２は、推定予測演算部２３１より順次出力される、画像信号Ｓｃを構成する各単位画素ブロック内の４画素の画素データｙ1〜ｙ4を一時的に記憶する。出力端子２３３は、バッファメモリ２３２に記憶されている画像信号Ｓｃを出力するための端子である。
図８に示す解像度創造処理基板１０４の動作を説明する。
ノイズ除去処理基板１０３（図１参照）から供給される、入力画像信号としての画像信号Ｓｂは、入力端子２２１を介してバッファメモリ２２２に供給され、当該バッファメモリ２２２に一時的に記憶される。同様に、ノイズ除去処理基板１０３から供給される制御信号Ｖr，Ｖzは、入力端子２２６を介してバッファメモリ２２７に供給され、当該バッファメモリ２２７に一時的に記憶される。
クラスタップ選択部２２４では、バッファメモリ２２２に記憶されている画像信号Ｓｂから、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部２２５に供給される。
クラス検出部２２５では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣ等のデータ圧縮処理が施されて、画像信号Ｓｃにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは係数データ生成部２２９に供給される。
パラメータ制御部２２８には、ユーザによってその値が調整されたパラメータｒ′，ｚ′が供給される。このパラメータ制御部２２８では、バッファメモリ２２７から画像信号Ｓｃにおける注目画素位置、従って中心予測タップＳＤ0に対応した制御信号Ｖr，Ｖzが取得されると共に、この制御信号Ｖr，Ｖzが用いられて、例えば（１４）式、（１５）式に基づいて、パラメータｒ，ｚの値が求められる。このパラメータｒ，ｚの値は、係数データ生成部２２９に供給される。
係数データ生成部２２９では、クラスコードＣＬが表すクラスの、出力画素（ＨＤ1〜ＨＤ4）にそれぞれ対応した係数種データｗijが、ＲＯＭ２３０から取得される。そして、この係数データ生成部２２９では、４画素分の係数種データｗi0〜ｗi9およびパラメータｒ，ｚの値が用いられ、（１２）式の生成式に基づいて、画像信号Ｓｃの２×２の単位画素ブロックを構成する４画素分の係数データＷｉが生成される。
予測タップ選択部２２３では、バッファメモリ２２２に記憶されている画像信号Ｓｂから、画像信号Ｓｃにおける注目画素位置の周辺、つまりその注目画素位置の単位画素ブロック内の４画素の周辺に位置する、複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは推定予測演算部２３１に供給される。
また、この推定予測演算部２３１には、係数データ生成部２２９で生成された、画像信号Ｓｃの単位画素ブロックを構成する４画素分の係数データＷｉが供給される。そして、この推定予測演算部２３１では、予測タップのデータとしての複数の画素データｘｉおよび４画素分の係数データＷｉが用いられ、注目画素位置の単位画素ブロックを構成する４画素の画素データｙ1〜ｙ4が、それぞれ（１）式の推定式に基づいて、個別に求められる。
画像信号Ｓｃにおける注目画素位置が順次変化するようにされ、推定予測演算部２３１からは、画像信号Ｓｃにおける各注目画素位置の単位画素ブロックを構成する画素データｙ1〜ｙ4が順次出力される。このように推定予測演算部２３１から順次出力される、各注目画素位置の単位画素ブロックを構成する画素データｙ1〜ｙ4はバッファメモリ２３２に供給されて一時的に記憶される。このバッファメモリ２３２に記憶された画像信号Ｓｃを構成する各画素データは、その後に適宜なタイミングで読み出され、出力端子２３３を介して、出力基板１０５（図１参照）に供給される。
上述したように、ノイズ除去処理基板１０３で発生される制御信号Ｖrは、中心予測タップＳＤ0（画像信号Ｓｃにおける注目画素位置に対応している）がＤＲＣ処理ブロックの境界に位置する境界画素である場合、ブロックノイズの大きさに対応した大きさを持つ負の値である。そして、パラメータ制御部２２８では、（１３）式に基づいてパラメータｒの値が求められることから、解像度を決めるパラメータｒの値は、ユーザによって調整されたパラメータｒ′の値より、ブロックノイズが大きい程小さくされる。
また、ノイズ除去処理基板１０３で発生される制御信号Ｖzは、中心予測タップＳＤ0がＤＲＣ処理ブロックの境界に位置する境界画素である場合、ブロックノイズの大きさに対応した大きさを持つ正の値である。そして、パラメータ制御部２２８では、（１４）式に基づいてパラメータｚの値が求められることから、ノイズ除去度を決めるパラメータｚの値は、ユーザによって調整されたパラメータｚ′の値より、ブロックノイズが大きい程大きくされる。
そのため、中心予測タップＳＤ0がＤＲＣ処理ブロックの境界に位置する境界画素である場合、ブロックノイズが大きい程、解像度が小さくなると共に、ノイズ除去度は大きくなる。そのため、図８に示す解像度創造処理基板１０４においては、画像信号Ｓｂに残るブロックノイズが強調されることを抑制でき、従って画像信号Ｓｃとして、ブロックノイズ等の符号化ノイズが低減されると共に、画質劣化なく解像度が上げられた良好な画像信号を得ることができる。
次に、ＲＯＭ２３０に記憶される係数種データｗijの生成方法について説明する。この係数種データｗijは、学習によって生成される。ここでは、（１２）式の生成式における係数データである係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を求める例を示すものとする。
ここで、以下の説明のため、（１５）式のように、ｔj（ｊ＝０〜９）を定義する。
ｔ0＝１，ｔ1＝ｒ，ｔ2＝ｚ，ｔ3＝ｒ2，ｔ4＝ｒｚ，ｔ5＝ｚ2，ｔ6＝ｒ3，
ｔ7＝ｒ2ｚ，ｔ8＝ｒｚ2，ｔ9＝ｚ3
・・・（１５）
この（１５）式を用いると、（１２）式は、（１６）式のように書き換えられる。
Figure 0004505729
最終的に、学習によって未定係数ｗijを求める。すなわち、クラスおよび出力画素の組み合わせ毎に、複数の学習データを用いて、二乗誤差を最小にする係数値を決定する。いわゆる最小二乗法による解法である。学習数をｍ、ｋ（１≦ｋ≦ｍ）番目の学習データにおける残差をｅk、二乗誤差の総和をＥとすると、（１）式および（１２）式を用いて、Ｅは（１７）式で表される。ここで、ｘikはＳＤ信号のｉ番目の予測タップ位置におけるｋ番目の画素データ、ｙkはそれに対応するｋ番目のＨＤ信号の画素データを表している。
Figure 0004505729
最小二乗法による解法では、（１７）式のｗijによる偏微分が０になるようなｗijを求める。これは、（１８）式で示される。
Figure 0004505729
ここで、（１９）式、（２０）式のように、Ｘipjq、Ｙipを定義すると、（１８）式は、行列を用いて、（２１）式のように書き換えられる。
Figure 0004505729
Figure 0004505729
この（２１）式が、係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数種データｗi0〜ｗi9を求めることができる。
図１１は、上述した係数種データの生成方法の概念を示している。教師信号ＳＴとしてのＨＤ信号から、生徒信号ＳＳとしての複数のＳＤ信号を生成する。ここで、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性を変えることにより、解像度の異なるＳＤ信号を生成する。
解像度の異なるＳＤ信号によって、解像度を上げる効果の異なる係数種データを生成できる。例えばボケ具合の大きな画像が得られるＳＤ信号とボケ具合の小さな画像が得られるＳＤ信号があった場合、ボケ具合の大きな画像が得られるＳＤ信号による学習で、解像度を上げる効果の強い係数種データが生成され、ボケ具合の小さな画像が得られるＳＤ信号による学習で、解像度を上げる効果の弱い係数種データが生成される。
また、解像度の異なるＳＤ信号の各々に対してノイズを加えることで、ノイズの加わったＳＤ信号を生成する。ノイズを加える量を可変することでノイズ量が異なるＳＤ信号が生成され、それによってノイズ除去効果の異なる係数種データが生成される。例えばノイズをたくさん加えたＳＤ信号とノイズを少し加えたＳＤ信号とがあった場合、ノイズをたくさん加えたＳＤ信号による学習でノイズ除去効果の強い係数種データが生成され、ノイズを少し加えたＳＤ信号による学習でノイズ除去効果の弱い係数種データが生成される。
ノイズを加える量としては、例えば（２２）式のように、ＳＤ信号の画素値ｘに対して、ノイズｎを加えてノイズの加わったＳＤ信号の画素値ｘ′を生成する場合、Ｇを可変することでノイズ量を調整する。
ｘ′＝ｘ＋Ｇ・ｎ ・・・（２２）
例えば、周波数特性を可変するパラメータｒの値を０〜１．０まで０．１のステップで１１段階に可変し、ノイズを加える量を可変するパラメータｚの値を０〜１．０まで０．１のステップで１１段階に可変し、合計１２１種類のＳＤ信号を生成する。このようにして生成した複数のＳＤ信号とＨＤ信号との間で学習を行って係数種データを生成する。このパラメータｒ，ｚは、図８の係数データ生成部２２９に供給されるパラメータｒ，ｚに対応したものである。
次に、上述した係数種データｗi0〜ｗi9（ｉ＝１〜ｎ）を生成するための係数種データ生成装置２５０について説明する。図１２は、この係数種データ生成装置２５０の構成を示している。
この係数種データ生成装置２５０は、入力端子２５１と、生徒信号生成回路２５２とを有している。入力端子２５１は、教師信号ＳＴとしてのＨＤ信号を入力する。生徒信号生成回路２５２は、このＨＤ信号に対して、水平および垂直の間引き処理を行って、生徒信号ＳＳとしてのＳＤ信号を生成する。この生徒信号生成回路２５２には、パラメータｒ，ｚが供給される。パラメータｒの値に対応して、ＨＤ信号からＳＤ信号を生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、ＳＤ信号に加えるノイズの量が可変される。
また、係数種データ生成装置２５０は、予測タップ選択部２５３と、クラスタップ選択部２５４とを有している。これら予測タップ選択部２５３、クラスタップ選択部２５４は、それぞれ、生徒信号生成回路２５２より出力される生徒信号ＳＳから、ＨＤ信号における注目画素位置の周辺に位置する複数のＳＤ画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。この予測タップ選択部２５３、クラスタップ選択部２５４は、それぞれ、上述した処理基板１０４の予測タップ選択部２２３、クラスタップ選択部２２４に対応するものである。
また、係数種データ生成装置２５０は、クラス検出部２５５を有している。このクラス検出部２５５は、クラスタップ選択部２５４で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、教師信号ＳＴにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部２５５は、上述した処理基板１０４のクラス検出部２２５に対応するものである。
また、係数種データ生成装置２５０は、教師タップ選択部２５６を有している。この教師タップ選択部２５６は、入力端子２５１に入力される教師信号ＳＴから、注目画素位置の画素データを選択的に抽出する。
また、係数種データ生成装置２５０は、正規方程式生成部２５７を有している。この正規方程式生成部２５７は、教師タップ選択部２５６で選択的に抽出された、教師信号ＳＴにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部２５５で得られたクラスコードＣＬと、パラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（２１）式参照）を生成する。
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成されるが、教師信号ＳＴと生徒信号ＳＳとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部２５７では、クラス毎に、係数種データｗi0〜ｗi9を得るための正規方程式が生成される。
またこの場合、正規方程式生成部２５７では、出力画素（図１０のＨＤ1〜ＨＤ4参照）毎に、正規方程式が生成される。例えば、ＨＤ1に対応した正規方程式は、中心予測タップに対するずれ値がＨＤ１と同じ関係にある画素データｙから構成される学習データから生成される。結果的に正規方程式生成部２５７では、上述したように、クラスおよび出力画素の組み合わせ毎に、正規方程式が生成される。
また、係数種データ生成装置２５０は、係数種データ決定部２５８と、係数種メモリ２５９とを有している。係数種データ決定部２５８は、正規方程式生成部２５７から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を求める。係数種メモリ２５９は、係数種データ決定部２５８で求められた係数種データｗi0〜ｗi9を格納する。
図１２に示す係数種データ生成装置２５０の動作を説明する。
入力端子２５１に入力される教師信号ＳＴとしてのＨＤ信号に対して、生徒信号生成回路２５２で水平および垂直の間引き処理が行われて、生徒信号ＳＳとしてのＳＤ信号が生成される。この場合、ＳＤ信号生成回路２５２にはパラメータｒ，ｚが制御信号として供給され、周波数特性およびノイズ加算量が段階的に変化した複数のＳＤ信号が順次生成されていく。
クラスタップ選択部２５４では、生徒信号生成回路２５２で生成される生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データがクラスタップのデータとして選択的に抽出される。この複数の画素データはクラス検出部２５５に供給される。このクラス検出部２５５では、クラスタップのデータとしての複数の画素データに、例えば１ビットＡＤＲＣのデータ圧縮処理が施されて、教師信号ＳＴにおける注目画素位置の画素データが属するクラスを表すクラスコードＣＬが得られる。このクラスコードＣＬは、正規方程式生成部２５７に供給される。
予測タップ選択部２５３では、生徒信号生成回路２５２で生成される生徒信号ＳＳから、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データｘｉが予測タップのデータとして選択的に抽出される。この複数の画素データｘｉは正規方程式生成部２５７に供給される。また、教師タップ選択部２５６では、入力端子２５１に入力される教師信号ＳＴから、注目画素位置の画素データｙが選択的に抽出される。この画素データｙは正規方程式生成部２５７に供給される。
正規方程式生成部２５７では、教師タップ選択部２５６で選択的に抽出された、教師信号ＳＴにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部２５３で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部２５５で得られたクラスコードＣＬと、パラメータｒ，ｚの値とから、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9を得るための正規方程式（（２１）式参照）が生成される。
そして、係数種データ決定部２５８では、正規方程式生成部２５７から正規方程式のデータが供給され、当該正規方程式が掃き出し法等によって解かれ、クラスおよび出力画素の組み合わせ毎に、係数種データｗi0〜ｗi9が求められる。この係数種データｗi0〜ｗi9は、係数種メモリ２５９に格納される。
このように、図１２に示す係数種データ生成装置２５０においては、上述の図８に示す処理基板１０４のＲＯＭ２３０に記憶される係数種データｗi0〜ｗi9を、良好に生成できる。
なお、図１のノイズ除去処理基板１０３および解像度創造処理基板１０４における処理を、例えば図１３に示すような画像信号処理装置５００により、ソフトウェアで実現することも可能である。
まず、図１３に示す画像信号処理装置５００について説明する。この画像信号処理装置５００は、装置全体の動作を制御するＣＰＵ５０１と、このＣＰＵ５０１の制御プログラム、さらには係数データＷｉ、係数種データｗi0〜ｗi9等が格納されたＲＯＭ（Read Only Memory）５０２と、ＣＰＵ５０１の作業領域を構成するＲＡＭ（Random Access Memory）５０３とを有している。これらＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）５０５と、光ディスク、磁気ディスク、メモリカード等のリムーバブルな記憶媒体を取り扱うドライブ５０６とを有している。これらドライブ５０５，５０６は、それぞれバス５０４に接続されている。
また、画像信号処理装置５００は、インターネット等の通信網５０７に有線または無線で接続する通信部５０８を有している。この通信部５０８は、インタフェース５０９を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ユーザインタフェース部を備えている。このユーザインタフェース部は、リモコン送信機５１０からのリモコン信号ＲＭを受信するリモコン信号受信回路５１１と、ＬＣＤ（liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)等からなるディスプレイ５１３とを有している。受信回路５１１はインタフェース５１２を介してバス５０４に接続され、同様にディスプレイ５１３はインタフェース５１４を介してバス５０４に接続されている。
また、画像信号処理装置５００は、ＳＤ信号である画像信号Ｓａを入力するための入力端子５１５と、ＨＤ信号である画像信号Ｓｃを出力するための出力端子５１７とを有している。入力端子５１５はインタフェース５１６を介してバス５０４に接続され、同様に出力端子５１７はインタフェース５１８を介してバス５０４に接続される。
ここで、上述したようにＲＯＭ５０２に制御プログラム等を予め格納しておく代わりに、これら制御プログラム等を例えばインターネットなどの通信網５０７より通信部５０８を介してダウンロードし、ＨＤＤ５０５やＲＡＭ５０３に格納して使用することもできる。また、これら制御プログラム等をドライブ５０６を介してリムーバブルな記憶媒体で提供するようにしてもよい。
また、処理すべき画像信号Ｓａを入力端子５１５より入力する代わりに、予めＨＤＤ５０５に記録しておき、あるいはインターネットなどの通信網５０７より通信部５０８を介してダウンロードしてもよい。また、処理後の画像信号Ｓｃを出力端子５１７に出力する代わり、あるいはそれと並行してディスプレイ５１３に供給して画像表示をしたり、さらにはＨＤＤ５０５に格納したり、ドライブ５０６で記憶媒体に記憶したり、また通信部５０８を介してインターネットなどの通信網５０７に送出するようにしてもよい。
図１４のフローチャートを参照して、図１３に示す画像信号処理装置５００における、画像信号Ｓａから画像信号Ｓｃを得るための処理手順を説明する。
まず、ステップＳ１０で、処理を開始し、ステップＳ１１で、例えば入力端子５１５より装置内に１フレーム分または１フィールド分の画像信号Ｓａを入力する。このように入力される画像信号ＳａはＲＡＭ５０３に一時的に記憶される。なお、この画像信号Ｓａが装置内のＨＤＤ５０５に予め記録されている場合には、このＨＤＤ５０５から画像信号Ｓａを読み出し、読み出された画像信号ＳａをＲＡＭ５０３に一時的に記憶する。
そして、ステップＳ１２で、画像信号Ｓａの全フレームまたは全フィールドの処理が終わっているか否かを判定する。処理が終わっているときは、ステップＳ１３で、処理を終了する。一方、処理が終わっていないときは、ステップＳ１４のノイズ除去処理に進む。
ノイズ除去処理では、ステップＳ１４１で、画像信号Ｓａに基づいて、画像信号Ｓｂにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データを、クラスタップのデータとして取得する。ここで、画像信号Ｓｂは、このノイズ除去処理により生成される画像信号である。そして、ステップＳ１４２で、このクラスタップのデータに基づいて、画像信号Ｓｂにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳ１４３で、画像信号Ｓａに基づいて、画像信号Ｓｂにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。そして、ステップＳ１４４で、ステップＳ１４２で生成されたクラスコードＣＬが表すクラス、および画像信号Ｓｂにおける注目画素位置の、ＤＣＴ処理ブロック内における画素位置に対応した係数データＷｉと、ステップＳ１４３で取得された複数の画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｓｂにおける注目画素位置の画素データｙを生成する。
次に、ステップＳ１４５で、ステップＳ１１で入力された１フレーム分または１フィールド分の画像信号Ｓａの画素データの全領域において画像信号Ｓｂの画素データを得る処理が終了したか否かを判定する。処理を終了していないときは、ステップＳ１４１に戻り、次の注目画素位置についての処理に移る。一方、処理が終了しているときは、ノイズ除去処理を終了し、ステップＳ１５に進む。
このステップＳ１５では、上述したステップＳ１４のノイズ除去処理で生成された画像信号Ｓｂに基づいて、各画素に対応した制御信号Ｖr，Ｖzを生成する。この制御信号Ｖr，Ｖzは、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応しては、当該境界画素を中心とした複数の画素データを用いて得られた二次微分値ｄの絶対値|ｄ|に定数−ｋr，ｋzを乗算して得られる（（２）式〜（４）式参照）。また、この制御信号Ｖr，Ｖzは、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界画素以外の画素に対応しては、Ｖr＝０、Ｖz＝０とされる。制御信号Ｖrは、後述する解像度創造処理において、解像度を決めるパラメータｒの値を制御するために使用される。制御信号Ｖzは、後述する解像度創造処理において、ノイズ除去度を決めるパラメータｚの値を制御するために使用される。
次に、ステップＳ１６の解像度創造処理に進む。この解像度創造処理では、ステップＳ１６１で、ユーザが調整し、ＲＡＭ５０３に記憶されている、パラメータｒ′，ｚ′の値を取得する。ｒ′は解像度を決めるパラメータであり、ｚ′はノイズ除去度を決めるパラメータである。
そして、ステップＳ１６２で、ステップＳ１５で生成された制御信号Ｖr，Ｖzのうち、画像信号Ｓｃにおける注目画素位置、従って中心予測タップＳＤ0に対応した制御信号Ｖr，Ｖzを取得し、この制御信号Ｖr，Ｖzを用いてパラメータｒ′，ｚ′の値を制御してパラメータｒ，ｚの値を取得する（（１３）式、（１４）式参照）。
この場合、中心予測タップＳＤ0がＤＲＣ処理ブロックの境界に位置する境界画素であるとき、制御信号Ｖrはブロックノイズの大きさに対応した大きさを持つ負の値であり、また制御信号Ｖzはブロックノイズの大きさに対応した大きさを持つ正の値である。したがってこのとき、パラメータｒの値は、ユーザによって調整されたパラメータｒ′の値より、ブロックノイズが大きい程小さくなり、解像度が低くなるようにされる。また、パラメータｚの値は、ユーザによって調整されたパラメータｚ′の値より、ブロックノイズが大きい程大きくなり、ノイズ除去度が高くなるようにされる。
なお、中心予測タップＳＤ0が境界画素以外の画素である場合、制御信号Ｖr，Ｖzはそれぞれ０であり、パラメータｒ，ｚの値は、ユーザによって調整されたパラメータｒ′，ｚ′の値そのものとなる。
次に、ステップＳ１６３で、画像信号Ｓｂに基づいて、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳ１６４で、このクラスタップのデータに基づいて、画像信号Ｓｃにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳ１６５で、ステップＳ１６３で生成されたクラスコードＣＬが表すクラスの、出力画素（図１０のＨＤ1〜ＨＤ4参照）にそれぞれ対応した４画素分の係数種データｗij、およびステップＳ１６２で取得されたパラメータｒ，ｚの値を用い、（１２）式の生成式に基づいて、単位画素ブロックを構成する４画素分の係数データＷｉを生成する。
次に、ステップＳ１６６で、画像信号Ｓｂに基づいて、画像信号Ｓｃにおける注目画素位置の周辺に位置する複数の画素データｘｉを、予測タップのデータとして取得する。そして、ステップＳ１６７で、ステップＳ１６５で生成された４画素分の係数データＷｉおよびステップＳ１６６で取得された複数の画素データｘｉを使用して、（１）式の推定式に基づいて、画像信号Ｓｃにおける注目画素位置の単位画素ブロックを構成する４画素の画素データｙ1〜ｙ4を、それぞれ上述した（１）式の推定式で個別に演算する。
次に、ステップＳ１６８で、ステップＳ１１で生成された画像信号Ｓｂの画素データの全領域において画像信号Ｓｃの画素データを得る処理が終了したか否かを判定する。処理を終了していないときは、ステップＳ１６２に戻り、次の注目画素位置についての処理に移る。一方、処理が終了しているときは、解像度創造処理を終了し、ステップＳ１１に戻り、次の１フレーム分または１フィールド分の画像信号Ｓａの入力処理に移る。
このように、図１４に示すフローチャートに沿って処理をすることで、ＳＤ信号としての画像信号Ｓａの画素データに対して、ノイズ除去処理、解像度創造処理を施し、ＨＤ信号としての画像信号Ｓｃの画素データを得ることができる。このように処理して得られた画像信号Ｓｃは出力端子５１７に出力されたり、ディスプレイ５１３に供給されてそれによる画像が表示されたり、さらにはＨＤＤ５０５に供給されて記録されたりする。
また、処理装置の図示は省略するが、図７の係数データ生成装置１５０における処理も、ソフトウェアで実現可能である。図１５のフローチャートを参照して、係数データを生成するための処理手順を説明する。
まず、ステップＳ２０で、処理を開始し、ステップＳ２１で、画像信号Ｓｂに対応した教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。そして、ステップＳ２２で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。終了していないときは、ステップＳ２３で、ステップＳ２１で入力された教師信号ＳＴに対して水平および垂直の間引き処理を行って、画像信号Ｓａに対応した生徒信号ＳＳを生成する。
次に、ステップＳ２４で、生徒信号ＳＳに基づいて、教師信号ＳＴにおける注目画素位置の画素データを含むＤＣＴ処理ブロックを構成する複数の画素データを、クラスタップのデータとして取得する。そして、ステップＳ２５で、このクラスタップのデータに基づいて、教師信号ＳＴにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳ２６で、生徒信号ＳＳに基づいて、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。また、ステップＳ２７で、教師信号ＳＴに基づいて、当該教師信号ＳＴにおける注目画素位置の画素データｙを教師タップのデータとして取得する。
そして、ステップＳ２８で、ステップＳ２５で生成されたクラスコードＣＬ、ステップＳ２６で取得された複数の画素データｘｉ、およびステップＳ２７で取得された画素データｙを用いて、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、（１１）式の正規方程式を得るための足し込みをする（（９）式、（１０）式参照）。
次に、ステップＳ２９で、ステップＳ２１で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳ２１に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳ２４に戻って、次の注目画素位置についての処理に移る。
上述したステップＳ２２で、処理が終了したときは、ステップＳ３０で、上述のステップＳ２８の足し込み処理によって生成された、正規方程式を解いて、クラスおよびＤＣＴ処理ブロック内の画素位置の組み合わせ毎に、係数データＷｉを求める。そして、ステップＳ３１で、その係数データＷｉを係数メモリにストアし、ステップＳ３２で処理を終了する。
このように、図１５に示すフローチャートに沿って処理をすることで、図７に示す係数データ生成装置１５０と同様の手法によって、係数データＷｉを生成できる。
また、処理装置の図示は省略するが、図１２の係数種データ生成装置２５０における処理も、ソフトウェアで実現可能である。図１６のフローチャートを参照して、係数種データを生成するための処理手順を説明する。
まず、ステップＳ４０で、処理を開始し、ステップＳ４１で、画質パターンを特定するパラメータｒ，ｚの値を選択する。そして、ステップＳ４２で、パラメータｒ，ｚの値の全組み合わせに対して学習が終わったか否かを判定する。全組み合わせに対して学習が終わっていないときは、ステップＳ４３で、画像信号Ｓｃに対応した教師信号ＳＴを１フレーム分または１フィールド分だけ入力する。
そして、ステップＳ４４で、教師信号ＳＴの全フレームまたは全フィールドの処理が終了したか否かを判定する。処理が終了したときは、ステップＳ４１に戻って、次のパラメータｒ，ｚの値を選択し、上述したと同様の処理を繰り返す。一方、処理が終了していないときは、ステップＳ４５で、ステップＳ４３で入力された教師信号ＳＴに対して水平および垂直の間引き処理を行って、画像信号Ｓｂに対応した生徒信号ＳＳを生成する。この場合、パラメータｒの値に対応して、教師信号ＳＴから生徒信号ＳＳを生成する際に使用する間引きフィルタの周波数特性が可変される。また、パラメータｚの値に対応して、生徒信号ＳＳに加えるノイズの量が可変される。
次に、ステップＳ４６で、生徒信号ＳＳに基づいて、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データをクラスタップのデータとして取得し、ステップＳ４７で、このクラスタップのデータに基づいて、教師信号ＳＴにおける注目画素位置の画素データが属するクラスコードＣＬを生成する。
次に、ステップＳ４８で、生徒信号ＳＳに基づいて、教師信号ＳＴにおける注目画素位置の周辺に位置する複数の画素データｘｉを予測タップのデータとして取得する。また、ステップＳ４９で、教師信号ＳＴに基づいて、当該教師信号ＳＴにおける注目画素位置の画素データｙを教師タップのデータとして取得する。
そして、ステップＳ５０で、ステップＳ４７で生成されたクラスコードＣＬ、ステップＳ４８で取得された複数の画素データｘｉ、ステップＳ４９で取得された画素データｙ、およびステップＳ４１で選択されたパラメータｒ，ｚの値を用いて、クラスおよび出力画素（図１０のＨＤ1〜ＨＤ4参照）の組み合わせ毎に、（２１）式に示す正規方程式を得るための足し込みをする（（１９）式、（２０）式参照）。
次に、ステップＳ５１で、ステップＳ４３で入力された１フレーム分または１フィールド分の教師信号ＳＴの画素データの全領域において学習処理が終了したか否かを判定する。学習処理を終了しているときは、ステップＳ４３に戻って、次の１フレーム分または１フィールド分の教師信号ＳＴの入力を行って、上述したと同様の処理を繰り返す。一方、学習処理を終了していないときは、ステップＳ４６に戻って、次の注目画素位置についての処理に移る。
また、上述したステップＳ４２で、パラメータｒ，ｚの値の全組み合わせに対して学習が終わっているときは、ステップＳ５２で、上述のステップＳ５０の足し込み処理によって生成された、正規方程式を解いて、クラスおよび出力画素の各組み合わせの係数種データｗi0〜ｗi9を求める。そして、ステップＳ５３で、その係数種データｗi0〜ｗi9を係数種メモリにストアし、ステップＳ５４で処理を終了する。
このように、図１６に示すフローチャートに沿って処理をすることで、図１２に示す係数データ生成装置２５０と同様の手法によって、係数種データｗi0〜ｗi9を生成できる。
なお、上述実施の形態において、解像度創造処理基板１０４においては、ユーザがパラメータｒ′，ｚ′の値を調整できるものを示したが、このパラメータｒ′，ｚ′の値は固定であってもよい。
また、上述実施の形態において、ノイズ除去処理基板１０３の制御信号発生部１３０では、各ＤＣＴ処理ブロックの境界に位置する境界画素に対応した制御信号Ｖr，Ｖzを、当該境界画素を中心とした複数の画素データを用いて得られた二次微分値ｄの絶対値|ｄ|に定数−ｋr，ｋzを乗算して求め、そして、この制御信号Ｖr，Ｖzを後段の解像度創造処理基板１０４に供給するものである。つまり、解像度創造処理基板１０４に供給される制御信号Ｖr，Ｖzは、二次微分値ｄが加工されて得られた値である。
しかし、ノイズ除去処理基板１０３から解像度創造処理基板１０４に制御信号として二次微分値ｄそのもものを供給し、解像度創造処理基板１０４でその二次微分値ｄに定数−ｋr，ｋzを乗算してＶr，Ｖzを求めて使用するようにしてもよい。
また、上述実施の形態においては、二次微分値ｄに乗算される定数−ｋr，ｋzが固定であるように説明しているが、この定数の大きさを、例えば解像度創造処理基板１０４で得られる画像信号Ｓｃに残るブロックノイズに対応して変化させ、結果的に画像信号Ｓｃに残るブロックノイズが低減されるようにフィードバック制御をかけることもできる。
この場合、例えば、図１に破線で示すように、解像度創造処理基板１０４で得られる画像信号Ｓｃがノイズ除去処理基板１０３に供給される。すなわちこの場合、図８に示すように、解像度創造処理基板１０４のバッファメモリ２３２に記憶されている画像信号Ｓｃが読み出され、出力端子２３４に出力される。そして、この画像信号Ｓｃが、図３に示すように、ノイズ除去処理基板１０３の入力端子１３２を介して、制御信号発生部１３０に供給される。
この場合、制御信号発生部１３０は、画像信号Ｓｂの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応して二次微分値ｄを求めたと同様にして、画像信号Ｓｃの各ＤＣＴ処理ブロックの境界に位置する境界画素に対応して二次微分値ｄ′を求め、上述した（３）式、（４）式におけるｋr，ｋzの値を、この二次微分値ｄ′の大きさ|ｄ′|が大きくなる程大きくする。
これにより、画像信号Ｓｃに残るブロックノイズが大きくなると、中心予測タップＳＤ0がＤＲＣ処理ブロックの境界に位置する境界画素に対応して、制御信号Ｖr，Ｖzの大きさがより大きくなり、解像度創造処理において解像度がより低くされると共にノイズ除去度がより高くされ、結果的に画像信号Ｓｃに残るブロックノイズが小さくなるように制御される。
また、上述実施の形態においては、ノイズ除去処理基板１０３の制御信号発生部１３０で画像信号Ｓｂに基づいて制御信号Ｖr，Ｖzを生成し、この制御信号Ｖr，Ｖzを解像度創造処理基板１０４に供給するものを示した。しかし、図１７に示すように、解像度創造処理基板１０４側に制御信号発生部１３０を設け、この解像度創造処理基板１０４側で制御信号Ｖr，Ｖzを生成して用いるようにしてもよい。このように解像度創造処理基板１０４側に制御信号発生部１３０を設けることで、ノイズ除去処理基板１０３から解像度創造処理基板１０４への制御信号Ｖr，Ｖzの信号線を省略でき、また上述したようにフィードバック制御を行う場合に、解像度創造処理基板１０４からノイズ除去処理基板１０３への画像信号Ｓｃの信号線を省略できる等の効果がある。
また、上述実施の形態においては、ノイズ除去処理基板１０３はブロックノイズ、モスキートノイズ等の符号化ノイズを低減し得るものを示したが、このノイズ除去処理基板１０３の代わりに符号化ノイズ以外の所定のノイズを配置する構成も考えられる。その場合、出力画像信号に残るその所定のノイズに対応した制御信号を発生し、これを解像度創造処理基板１０４に供給することで、解像度創造処理基板１０４でその所定のノイズが強調されることを抑制でき、結果的に解像度創造処理基板１０４からは、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な画像信号を得ることが可能となる。
また、上述実施の形態においては、情報信号が画像信号である場合を示したが、この発明はこれに限定されない。例えば、情報信号が音声信号である場合にも、この発明を同様に適用することができる。
この発明は、情報信号に対して所定のノイズを除去する処理を行い、さらに解像度を上げる処理を行った場合、所定のノイズが低減されると共に画質劣化なく解像度が上げられた良好な情報信号を得ることができるものであり、例えばＳＤ信号から所定のノイズを除去する処理を行うと共に、その後にこのＳＤ信号の解像度を上げてＨＤ信号を得る画像信号の処理系に適用できる。
実施の形態としての画像信号処理装置の構成を示すブロック図である。 ＳＤ信号とＨＤ信号の画素位置関係を示す図である。 ノイズ除去処理基板の回路構成を示すブロック図である。 予測タップのパターン例を示す図である。 ＤＣＴ処理ブロックを説明するための図である。 ブロックノイズに対応した制御信号Ｖr，Ｖzの生成手順を説明するための図である。 係数データ生成装置の構成を示すブロック図である。 解像度創造処理基板の回路構成を示すブロック図である。 クラスタップ、予測タップのパターン例を示す図である。 ＨＤ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれを示す図である。 係数種データ生成方法を説明するための図である。 係数種データ生成装置の構成を示すブロック図である。 ソフトウェアで実現するための画像信号処理装置の構成を示すブロック図である。 画像信号処理の処理手順を示すフローチャートである。 係数データ生成処理の処理手順を示すフローチャートである。 係数種データ生成処理の処理手順を示すフローチャートである。 解像度創造処理基板の他の回路構成を示すブロック図である。
符号の説明
１００・・・画像信号処理装置、１０１・・・入力端子、１０２・・・入力基板、１０３・・・ノイズ除去処理基板、１０４・・・解像度創造処理基板、１０５・・・出力基板、１０６・・・出力端子、１２１，１３２・・・入力端子、１２２，１２８・・・バッファメモリ、１２３・・・予測タップ選択部、１２４・・・クラスタップ選択部、１２５・・・クラス検出部、１２６・・・係数メモリ、１２７・・・推定予測演算部、１２９，１３１・・・出力端子、１３０・・・制御信号発生部、１５０・・・係数データ生成装置、２２１，２２６・・・入力端子、２２２，２２７，２３２・・・バッファメモリ、２２３・・・予測タップ選択部、２２４・・・クラスタップ選択部、２２５・・・クラス検出部、２２８・・・パラメータ制御部、２２９・・・係数データ生成部、２３０・・・ＲＯＭ、２３１・・・推定予測演算部、２３３，２３４・・・出力端子、２５０・・・係数種データ生成装置

Claims (10)

  1. ブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた、複数の画素データからなる第１の画像信号に対して、ブロックノイズを除去する処理を行って、複数の画素データからなる第２の画像信号を得ると共に、該第２の画像信号に残る上記ブロックノイズに対応した制御信号を発生する第１の処理手段と、
    上記第１の処理手段で得られた上記第２の画像信号に対して、上記第１の処理手段で発生された制御信号に応じて解像度を上げるための処理を行って、複数の画素データからなる第３の画像信号を得る第２の処理手段と
    を備え、
    上記第２の処理手段は、
    上記第２の画像信号に基づいて、上記第３の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第１のクラス用データ選択手段と、
    上記第１のクラス用データ選択手段で選択された複数の画素データを用いて、上記第３の画像信号における上記注目位置の画素データが属するクラスを検出する第１のクラス検出手段と、
    上記第１のクラス検出手段で検出されたクラスおよび上記制御信号に対応して、上記第３の画像信号における注目位置の画素データを生成する第１の画素データ生成手段と
    を有する
    ことを特徴とする画像処理装置。
  2. 上記制御信号は、上記ブロックの境界に位置する境界画素にそれぞれ対応して求められた、該境界画素を中心とした複数の画素データを用いて得られた二次微分値または該二次微分値を加工して得られた値である
    ことを特徴とする請求項１に記載の画像処理装置。
  3. 上記第１の画素データ生成手段は、
    上記第１のクラス検出手段で検出されたクラスおよび上記制御信号に対応した、推定式で用いられる係数データを発生する第１の係数データ発生手段と、
    上記第２の画像信号に基づいて、上記第３の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第１の予測用データ選択手段と、
    上記第１の係数データ発生手段で発生された係数データおよび上記第１の予測用データ選択手段で選択された複数の画素データを用いて、上記推定式に基づいて上記第３の画像信号における注目位置の画素データを算出して得る第１の演算手段と
    を有する
    ことを特徴とする請求項１に記載の画像処理装置。
  4. 上記第１の係数データ発生手段は、
    上記推定式で用いられる係数データを生成する、上記第３の画像信号による出力の質を定めるパラメータを含む生成式における係数データである係数種データを、クラス毎に格納する記憶手段と、
    入力される上記パラメータの値を上記制御信号に基づいて制御するパラメータ制御手段と、
    上記記憶手段より読み出される、上記第１のクラス検出手段で検出されたクラスの係数種データと上記パラメータ制御手段で制御されたパラメータの値とを用いて、上記生成式に基づいて上記推定式で用いられる係数データを生成する係数データ生成手段と
    を有する
    ことを特徴とする請求項３に記載の画像処理装置。
  5. 上記第１の処理手段は、
    上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第２のクラス用データ選択手段と、
    上記第２のクラス用データ選択手段で選択された複数の画素データを用いて、上記第２の画像信号における注目位置の画素データが属するクラスを検出する第２のクラス検出手段と、
    上記第２のクラス検出手段で検出されたクラスに対応して、上記第２の画像信号における注目位置の画素データを生成する第２の画素データ生成手段と、
    上記第２の画像信号に残る上記ブロックノイズに対応した制御信号を発生する制御信号発生手段と
    を有する
    ことを特徴とする請求項１に記載の画像処理装置。
  6. 上記第２の画素データ生成手段は、
    上記第２のクラス検出手段で検出されたクラスに対応した、推定式で用いられる係数データを発生する第２の係数データ発生手段と、
    上記第１の画像信号に基づいて、上記第２の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第２の予測用データ選択手段と、
    上記第２の係数データ発生手段で発生された係数データおよび上記第２の予測用データ選択手段で選択された複数の画素データを用いて、上記推定式に基づいて上記第２の画像信号における注目位置の画素データを算出して得る第２の演算手段と
    を有する
    ことを特徴とする請求項５に記載の画像処理装置。
  7. 上記第１の処理手段は、さらに、
    上記第２の画像信号に残る上記ブロックノイズに基づいて、上記発生する制御信号を調整する
    ことを特徴とする請求項１に記載の画像処理装置。
  8. ブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた、複数の画素データからなる第１の画像信号に対して、ブロックノイズを除去する処理を行って、複数の画素データからなる第２の画像信号を得ると共に、該第２の画像信号に残る上記ブロックノイズに対応した制御信号を発生する第１の処理工程と、
    上記第１の処理工程で得られた上記第２の画像信号に対して、上記第１の処理工程で発生された制御信号に応じて解像度を上げるための処理を行って、複数の画素データからなる第３の画像信号を得る第２の処理工程と
    を備え、
    前記第２の処理工程は、
    上記第２の画像信号に基づいて、上記第３の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第１のクラス用データ選択工程と、
    上記第１のクラス用データ選択工程で選択された複数の画素データを用いて、上記第３の画像信号における上記注目位置の画素データが属するクラスを検出する第１のクラス検出工程と、
    上記第１のクラス検出工程で検出されたクラスおよび上記制御信号に対応して、上記第３の画像信号における注目位置の画素データを生成する第１の画素データ生成工程と
    を有する
    ことを特徴とする画像処理方法。
  9. ブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた、複数の画素データからなる第１の画像信号に対して、ブロックノイズを除去する処理を行って、複数の画素データからなる第２の画像信号を得ると共に、該第２の画像信号に残る上記ブロックノイズに対応した制御信号を発生する第１の処理工程と、
    上記第１の処理工程で得られた上記第２の画像信号に対して、上記第１の処理工程で発生された制御信号に応じて解像度を上げるための処理を行って、複数の画素データからなる第３の画像信号を得る第２の処理工程と
    を備え、
    前記第２の処理工程は、
    上記第２の画像信号に基づいて、上記第３の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第１のクラス用データ選択工程と、
    上記第１のクラス用データ選択工程で選択された複数の画素データを用いて、上記第３の画像信号における上記注目位置の画素データが属するクラスを検出する第１のクラス検出工程と、
    上記第１のクラス検出工程で検出されたクラスおよび上記制御信号に対応して、上記第３の画像信号における注目位置の画素データを生成する第１の画素データ生成工程と
    を有する
    処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
  10. ブロック毎に符号化が行われたデジタル画像信号を復号化することで得られた、複数の画素データからなる第１の画像信号に対して、ブロックノイズを除去する処理を行って、複数の画素データからなる第２の画像信号を得ると共に、該第２の画像信号に残る上記ブロックノイズに対応した制御信号を発生する第１の処理工程と、
    上記第１の処理工程で得られた上記第２の画像信号に対して、上記第１の処理工程で発生された制御信号に応じて解像度を上げるための処理を行って、複数の画素データからなる第３の画像信号を得る第２の処理工程と
    を備え、
    前記第２の処理工程は、
    上記第２の画像信号に基づいて、上記第３の画像信号における注目位置の画素データの周辺に位置する複数の画素データを選択する第１のクラス用データ選択工程と、
    上記第１のクラス用データ選択工程で選択された複数の画素データを用いて、上記第３の画像信号における上記注目位置の画素データが属するクラスを検出する第１のクラス検出工程と、
    上記第１のクラス検出工程で検出されたクラスおよび上記制御信号に対応して、上記第３の画像信号における注目位置の画素データを生成する第１の画素データ生成工程と
    を有する
    処理をコンピュータに実行させるためのプログラム。
JP2004131663A 2004-04-27 2004-04-27 画像処理装置、画像処理方法、プログラム、および記録媒体 Expired - Fee Related JP4505729B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004131663A JP4505729B2 (ja) 2004-04-27 2004-04-27 画像処理装置、画像処理方法、プログラム、および記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004131663A JP4505729B2 (ja) 2004-04-27 2004-04-27 画像処理装置、画像処理方法、プログラム、および記録媒体

Publications (2)

Publication Number Publication Date
JP2005318096A JP2005318096A (ja) 2005-11-10
JP4505729B2 true JP4505729B2 (ja) 2010-07-21

Family

ID=35445107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004131663A Expired - Fee Related JP4505729B2 (ja) 2004-04-27 2004-04-27 画像処理装置、画像処理方法、プログラム、および記録媒体

Country Status (1)

Country Link
JP (1) JP4505729B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4835949B2 (ja) * 2007-12-21 2011-12-14 ソニー株式会社 画像処理装置および方法、学習装置および方法、プログラム、並びに記録媒体
WO2012073865A1 (ja) * 2010-11-30 2012-06-07 シャープ株式会社 画像処理装置、画像処理方法、画像処理プログラム、および表示装置
WO2018173873A1 (ja) * 2017-03-24 2018-09-27 ソニー株式会社 符号化装置及び符号化方法、並びに、復号装置及び復号方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331526A (ja) * 1996-04-11 1997-12-22 Sony Corp 画像信号処理装置および方法
JP2000125268A (ja) * 1998-10-15 2000-04-28 Sony Corp 画像データ変換装置及び画像データ変換方法
JP2002218413A (ja) * 2000-11-15 2002-08-02 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体
JP2002300539A (ja) * 2001-04-02 2002-10-11 Sony Corp 情報信号処理装置および情報信号処理方法、並びに情報提供媒体
JP2005117175A (ja) * 2003-10-03 2005-04-28 Sony Corp 電子機器、それにおける情報信号処理方法、その処理方法を実行させるためのプログラム、およびそれが接続される情報信号処理装置
JP2005142743A (ja) * 2003-11-05 2005-06-02 Sony Corp 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09331526A (ja) * 1996-04-11 1997-12-22 Sony Corp 画像信号処理装置および方法
JP2000125268A (ja) * 1998-10-15 2000-04-28 Sony Corp 画像データ変換装置及び画像データ変換方法
JP2002218413A (ja) * 2000-11-15 2002-08-02 Sony Corp 情報信号処理装置、情報信号処理方法、画像信号処理装置およびそれを使用した画像表示装置、それに使用される係数種データ生成装置および生成方法、係数データ生成装置および生成方法、並びに情報提供媒体
JP2002300539A (ja) * 2001-04-02 2002-10-11 Sony Corp 情報信号処理装置および情報信号処理方法、並びに情報提供媒体
JP2005117175A (ja) * 2003-10-03 2005-04-28 Sony Corp 電子機器、それにおける情報信号処理方法、その処理方法を実行させるためのプログラム、およびそれが接続される情報信号処理装置
JP2005142743A (ja) * 2003-11-05 2005-06-02 Sony Corp 情報信号の処理装置および処理方法、並びにその処理方法を実行するためのプログラム、そのプログラムを記録した媒体

Also Published As

Publication number Publication date
JP2005318096A (ja) 2005-11-10

Similar Documents

Publication Publication Date Title
US20070036449A1 (en) Data processing apparatus and method and recording medium
JP4462823B2 (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP2005039837A (ja) 映像雑音除去方法及び装置
JP4505729B2 (ja) 画像処理装置、画像処理方法、プログラム、および記録媒体
JP2001285881A (ja) ディジタル情報変換装置および方法、並びに画像情報変換装置および方法
JP4559811B2 (ja) 情報処理装置及び情報処理方法
JP2008125002A (ja) 画像符号化装置、画像復号装置及び画像処理プログラム
JP4078906B2 (ja) 画像信号の処理装置および処理方法、画像表示装置、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な媒体
KR20160065860A (ko) 미디어 신호의 인코딩, 디코딩 방법 및 그 장치
JP4517448B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP2007251690A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
JP4752088B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP6557483B2 (ja) 符号化装置、符号化システム、及びプログラム
JP5351094B2 (ja) 画像符号化方法，画像符号化装置および画像符号化プログラム
JP4158479B2 (ja) 画像信号の処理装置および処理方法、それに使用される係数データの生成装置および生成方法、並びに各方法を実行するためのプログラム
JP4678454B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP2003264837A (ja) 復号装置および復号方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4154647B2 (ja) データ処理装置およびデータ処理方法、並びにプログラムおよび記録媒体
JP2001285882A (ja) ノイズ低減装置および方法
JP4649770B2 (ja) 画像データ処理装置および方法、記録媒体、並びにプログラム
JP4538698B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体
JP4310691B2 (ja) 画像処理装置および方法、学習装置および方法、記録媒体、並びにプログラム
JP5254565B2 (ja) 動画像予測符号化装置、方法及びプログラム、並びに、動画像予測復号装置、方法及びプログラム
JP5700666B2 (ja) 画像復号装置、画像復号方法及び画像復号プログラム
JP4538699B2 (ja) データ処理装置およびデータ処理方法、並びに記録媒体

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070328

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090918

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20091104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100401

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100414

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees