JP4045539B2

JP4045539B2 - Image processing apparatus, image processing method, coefficient calculation apparatus, coefficient calculation method, recording medium, and program

Info

Publication number: JP4045539B2
Application number: JP2002199403A
Authority: JP
Inventors: 哲二郎近藤; 靖立平; 健治高橋; 丈晴西片; 左近山元; 志津男近岡
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-09
Filing date: 2002-07-09
Publication date: 2008-02-13
Anticipated expiration: 2022-07-09
Also published as: JP2004048128A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法、係数算出装置および係数算出方法、記録媒体、並びにプログラムに関し、特に、コンポジット信号からコンポーネント信号に変換する際に生じる画質の劣化を抑制することができるようにした画像処理装置および画像処理方法、係数算出装置および係数算出方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
一般に、テレビジョン受像機は、映像信号のコンポジット信号をコンポーネント信号に変換して、映像として表示している。映像信号としては、NTSC（National Television Standards Committee）方式のコンポジット映像信号が広く使用されている。
【０００３】
図１は、従来のテレビジョン受像機１の構成を示すブロック図である。
【０００４】
アンテナ１１は、放送信号を受信する。チューナ１２は、アンテナ１１で受信した信号を検波、復調し、映像中間周波信号を生成する。映像中間周波信号処理部（ＶＩＦ（Video Intermediate Frequency)処理部）１３は、入力された映像中間周波信号を復調し、コンポジット映像信号を生成する。Ｙ／Ｃ（Ｙ：輝度信号、Ｃ：クロマ信号）分離部１４は、入力されたコンポジット映像信号から、輝度信号Ｙとクロマ信号Ｃを分離する。クロマ復調部１５は、クロマ信号Ｃの入力を受けて復調し、色差信号Ｒ−Ｙと色差信号Ｂ−Ｙを生成する。マトリクス処理部１６は、輝度信号Ｙ、並びに、色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙの入力を受けて、原色ＲＧＢ信号を生成する。表示部１７は、例えば、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（liquid crystal display：液晶ディスプレイ）で構成され、供給されたＲＧＢ信号を表示する。
【０００５】
次に、テレビジョン受像機１の動作について説明する。チューナ１２は、図示しない操作部を用いてユーザが指定したチャンネルの放送局の電波を、アンテナ１１を介して受信し、受信した電波を検波、復調して、映像中間周波信号を生成し、ＶＩＦ処理部１３に出力する。ＶＩＦ処理部１３は、チューナ１２より出力された映像中間周波信号を復調し、NTSC方式のコンポジット映像信号を生成して、Ｙ／Ｃ分離部１４に出力する。Ｙ／Ｃ分離部１４は、入力されたコンポジット映像信号から、輝度信号Ｙとクロマ信号Ｃを分離して、輝度信号Ｙをマトリクス処理部１６に、クロマ信号Ｃをクロマ復調部１５に、それぞれ出力する。
【０００６】
クロマ復調部１５は、Ｙ／Ｃ分離部１４より入力されたクロマ信号Ｃを復調し、色差信号Ｒ−Ｙと色差信号Ｂ−Ｙを生成し、マトリクス処理部１６に出力する。マトリクス処理部１６は、Ｙ／Ｃ分離部１４より供給された輝度信号Ｙと、クロマ復調部１５より入力された色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙを合成し、原色ＲＧＢ信号を生成して、表示部１７に出力して表示させる。
【０００７】
図２は、図１を用いて説明したテレビジョン受像機１と異なる構成を有する、従来のテレビジョン受像機２１の構成を示すブロック図である。
【０００８】
基本的な構成は、図１のテレビジョン受像機１と同様であるが、図２のテレビジョン受像機２１においては、新たに、画素数変換部３１が設けられている。画素数変換部３１は、Ｙ／Ｃ分離部１４より供給された輝度信号Ｙと、クロマ復調部１５より入力された色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙに基づいて、画素密度の変更や、IP変換（Interlace／Progressive変換）等を実行し、マトリクス処理部１６に出力する。
【０００９】
なお、図２のテレビジョン受像機２１の動作は、画素数変換部３１によって、Ｙ／Ｃ分離部１４より供給された輝度信号Ｙ、クロマ復調部１５より入力された色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙに対して、画素密度の変換処理や、IP変換の処理が実行され、マトリクス変換部１６に供給されること以外は、図１のテレビジョン受像機１の動作と基本的に同様である。
【００１０】
【発明が解決しようとする課題】
このように、従来のテレビジョン受像機１、もしくはテレビジョン受像機２１においては、コンポジット映像信号を、まず、Ｙ／Ｃ分離部１４で輝度信号Ｙとクロマ信号Ｃとに分離し、その後、クロマ信号Ｃを復調して、ベースバンドの輝度信号Ｙ、色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙよりなるコンポーネント信号に変換し、マトリクス処理部１６が、このコンポーネント信号から、原色ＲＧＢ信号を生成するようになされていた。このため、回路構成が複雑になるばかりでなく、その規模も大きくなり、コスト高となる課題があった。
【００１１】
また、従来のＹ／Ｃ分離法として、２次元Ｙ／Ｃ分離回路や３次元Ｙ／Ｃ分離回路などからなるフィルタが提案されているが、その処理の過程において、ドット妨害やクロスカラーなどのＹ／Ｃ分離のエラーに起因する画質劣化が発生し易いという課題があった。
【００１２】
これらの課題を解決すべく、クラス分類適応処理を用いた方法が提案されている。このクラス分類適応処理を用いた方法においては、着目画素における輝度信号Ｙ、色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙのコンポーネント信号を得るために、まず、着目画素を含めた、その付近に配置される画素（この画素は、クラスタップと称される）の特徴量をコンポジット信号から求めて、その特徴量毎に予め分類されたクラスを特定する。そして、着目画素を含めた、その付近の画素のコンポジット信号からなる画素（この画素は、予測タップと称され、クラスタップと同じこともある）に、クラス毎に予め設定された係数を用いて演算処理が施されて、着目画素のコンポーネント信号が求められる。
【００１３】
しかしながら、クラスタップおよび予測タップの選択方法により、同じコンポジット信号が入力されても、変換後のコンポーネント信号は異なるものとなる。このため、クラスタップと予測タップの選択方法が適正でない場合、Ｙ／Ｃ分離のエラーの発生時と同様にして、ドット妨害やクロスカラーなどといった画質劣化が生じてしまうという課題があった。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、回路構成を簡単、かつ、小さい規模のものとし、更に、コンポジット信号からコンポーネント信号への変換の際に生じる画質の劣化、特に、水平方向に急峻な輝度変化がある箇所を検出することにより、クロスカラーの発生を抑制することができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、第１の画像信号から、着目画素に対応した複数の第１の画素信号を抽出する第１の抽出手段と、第１の抽出手段により抽出された、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報を検出する検出手段と、検出手段により検出された着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素の周辺で水平方向に輝度が弧状に変化しているか否かを検出し、着目画素が属するクラスを示すクラス情報を生成する生成手段と、クラス毎に予め定められた係数を記憶し、生成手段により生成されたクラス情報に対応した係数を出力する係数記憶手段と、第１の画像信号から、複数の第２の画素信号を抽出する第２の抽出手段と、第２の抽出手段により抽出された第２の画素信号と、係数記憶手段により出力された係数との演算により、第１の画像信号である着目画素を、第２の画像信号に変換する第１の信号変換手段とを備えることを特徴とする。
【００１６】
検出手段には、着目画素近傍の複数の画素の画素値と、所定の複数の基本波形との相関を求めることにより、着目画素近傍の画素の輝度の変化に関する情報を検出させるようにすることができる。
【００１７】
第１の画像信号は、コンポジット信号であり、第２の画像信号は、コンポーネント信号であるものとすることができる。
【００１８】
第１の信号変換手段により変換された第２の画像信号を表示する表示手段を更に備えさせるようにすることができる。
【００１９】
画像信号を含むデータを取得する取得手段と、取得手段により取得されたデータのうちの少なくとも一部を、第１の抽出手段が処理可能な第１の画像信号に変換する第２の信号変換手段とを更に備えさせるようにすることができる。
【００２０】
本発明の画像処理方法は、第１の画像信号から、着目画素に対応した複数の第１の画素信号を抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報を検出する検出ステップと、検出ステップの処理により検出された着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かを検出し、着目画素が属するクラスを示すクラス情報を生成する生成ステップと、クラス毎に予め定められて記憶されている係数のうち、生成ステップの処理により生成されたクラス情報に対応した係数の出力を制御する係数出力制御ステップと、第１の画像信号から、複数の第２の画素信号を抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第２の画素信号と、係数出力制御ステップの処理により出力が制御された係数との演算により、第１の画像信号である着目画素を、第２の画像信号に変換する信号変換ステップとを含むことを特徴とする。
【００２１】
本発明の第１の記録媒体に記録されているプログラムは、第１の画像信号から、着目画素に対応した複数の第１の画素信号を抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報を検出する検出ステップと、検出ステップの処理により検出された着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かを検出し、着目画素が属するクラスを示すクラス情報を生成する生成ステップと、クラス毎に予め定められて記憶されている係数のうち、生成ステップの処理により生成されたクラス情報に対応した係数の出力を制御する係数出力制御ステップと、第１の画像信号から、複数の第２の画素信号を抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第２の画素信号と、係数出力制御ステップの処理により出力が制御された係数との演算により、第１の画像信号である着目画素を、第２の画像信号に変換する信号変換ステップとを含むことを特徴とする。
【００２２】
本発明の第１のプログラムは、第１の画像信号から、着目画素に対応した複数の第１の画素信号を抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報を検出する検出ステップと、検出ステップの処理により検出された着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かを検出し、着目画素が属するクラスを示すクラス情報を生成する生成ステップと、クラス毎に予め定められて記憶されている係数のうち、生成ステップの処理により生成されたクラス情報に対応した係数の出力を制御する係数出力制御ステップと、第１の画像信号から、複数の第２の画素信号を抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第２の画素信号と、係数出力制御ステップの処理により出力が制御された係数との演算により、第１の画像信号である着目画素を、第２の画像信号に変換する信号変換ステップとを含むことを特徴とする。
【００２３】
本発明の係数算出装置は、入力された第１の画像信号から第２の画像信号を生成する画像信号生成手段と、第２の画像信号から着目画素に対応した複数の画素位置の複数の第１の画素信号を抽出する第１の抽出手段と、第１の抽出手段により抽出された、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報を検出する検出手段と、検出手段により検出された着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かを検出し、着目画素が属するクラスを示すクラス情報を生成する生成手段と、第２の画像信号から、複数の第２の画素信号を抽出する第２の抽出手段と、第２の抽出手段により抽出された第２の画素信号、および、入力された第１の画像信号に基づいて、クラスに対応した係数を算出する算出手段とを備えることを特徴とする。
【００２４】
検出手段には、着目画素近傍の複数の画素の画素値と、所定の複数の基本波形との相関を求めることにより、着目画素近傍の画素の輝度の変化に関する情報を検出させるようにすることができる。
【００２５】
第１の画像信号はコンポーネント信号であり、第２の画像信号は、コンポジット信号であるものとすることができる。
【００２６】
算出手段により算出された係数を記憶する記憶手段を更に備えさせるようにすることができる。
【００２７】
本発明の係数算出方法は、入力された第１の画像信号から第２の画像信号を生成する画像信号生成ステップと、第２の画像信号から、着目画素に対応した複数の第１の画素信号を抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報を検出する検出ステップと、検出ステップの処理により検出された着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かを検出し、着目画素が属するクラスを示すクラス情報を生成する生成ステップと、第２の画像信号から、複数の第２の画素信号を抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第２の画素信号、および、入力された第１の画像信号に基づいて、クラスに対応した係数を算出する算出ステップとを含むことを特徴とする。
【００２８】
本発明の第２の記録媒体に記録されているプログラムは、入力された第１の画像信号から第２の画像信号を生成する画像信号生成ステップと、第２の画像信号から、着目画素に対応した複数の第１の画素信号を抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報を検出する検出ステップと、検出ステップの処理により検出された着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かを検出し、着目画素が属するクラスを示すクラス情報を生成する生成ステップと、第２の画像信号から、複数の第２の画素信号を抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第２の画素信号、および、入力された第１の画像信号に基づいて、クラスに対応した係数を算出する算出ステップとを含むことを特徴とする。
【００２９】
本発明の第２のプログラムは、入力された第１の画像信号から第２の画像信号を生成する画像信号生成ステップと、第２の画像信号から、着目画素に対応した複数の第１の画素信号を抽出する第１の抽出ステップと、第１の抽出ステップの処理により抽出された、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報を検出する検出ステップと、検出ステップの処理により検出された着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かを検出し、着目画素が属するクラスを示すクラス情報を生成する生成ステップと、第２の画像信号から、複数の第２の画素信号を抽出する第２の抽出ステップと、第２の抽出ステップの処理により抽出された第２の画素信号、および、入力された第１の画像信号に基づいて、クラスに対応した係数を算出する算出ステップとを含むことを特徴とする。
【００３０】
本発明の画像処理装置および画像処理方法、並びに、第１のプログラムにおいては、第１の画像信号から、着目画素に対応した複数の第１の画素信号が抽出され、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報が検出され、着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かが検出されて、着目画素が属するクラスを示すクラス情報が生成され、クラス毎に予め定められて記憶されている係数のうち、クラス情報に対応した係数が出力され、第１の画像信号から、複数の第２の画素信号が抽出され、第２の画素信号と係数との演算により、第１の画像信号である着目画素が、第２の画像信号に変換される。
【００３１】
本発明の係数算出装置および係数算出方法、並びに第２のプログラムにおいては、入力された第１の画像信号から第２の画像信号が生成され、第２の画像信号から、着目画素に対応した複数の第１の画素信号が抽出され、複数の第１の画素信号を基に、着目画素近傍の画素の輝度の変化に関する情報が検出され、着目画素近傍の画素の輝度の変化に関する情報のパターンが、所定のパターンであるか否かを検出することにより、着目画素周辺で水平方向に輝度が弧状に変化しているか否かが検出されて、着目画素が属するクラスを示すクラス情報が生成され、第２の画像信号から、複数の第２の画素信号が抽出され、第２の画素信号、および、第１の画像信号に基づいて、クラスに対応した係数が算出される。
【００３２】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００３３】
図３は、本発明を適用したテレビジョン受像機４１の構成を示すブロック図である。図３においては、図１、および、図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００３４】
すなわち、図３の構成においては、図１のＹ／Ｃ分離部１４、およびクロマ復調部１５に代わって、ＶＩＦ処理部１３とマトリクス処理部１６の間に、Ａ／Ｄ（Analog／Digital）変換部５１、および、クラス分類適応処理部５２が備えられている。
【００３５】
Ａ／Ｄ変換部５１は、ＶＩＦ処理部１３より入力されるアナログ信号からなるNTSC方式のコンポジット映像信号を、デジタル信号に変換して、クラス分類適応処理部５２に出力する。クラス分類適応処理部５２は、Ａ／Ｄ変換部５１より入力された、デジタル信号に変換されているNTSC方式のコンポジット映像信号から、輝度信号Ｙ、並びに、色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙ信号からなるコンポーネント信号を、クラス分類適応処理により生成する。コンポジット映像信号からコンポーネント信号を予測生成するための予測係数は、図１３を用いて後述する係数算出装置８１によって、コンポーネント信号を教師画像とし、そのコンポーネント信号をNTSC変調して作成したNTSCコンポジット映像信号を生徒画像とした学習により生成される。そして、クラス分類適応処理部５２において、その予測係数が用いられて、マッピング（予測演算処理）されることによりコンポーネント信号が生成される。
【００３６】
図４は、クラス分類適応処理部５２の更に詳細な構成を示すブロック図である。Ａ／Ｄ変換部５１より入力されたNTSC方式のコンポジット映像信号は、領域抽出部６１、および領域抽出部６５に供給される。領域抽出部６１は、入力されたデジタル信号に変換されているコンポジット映像信号から、クラス分類を行うために必要な着目画素に対応した画素位置の画素（クラスタップ）を抽出し、パターン検出部６２に出力する。
【００３７】
パターン検出部６２は、入力されたクラスタップに基づいて、コンポジット映像信号のパターンを検出する。具体的には、パターン検出部６２は、着目画素が水平方向に急峻な輝度変化を有するか否かを検出するために必要な、コンポジット映像信号の輝度の変化を示す複数の演算値のパターンを決定し、クラスコード決定部６３に出力する。
【００３８】
クラスコード決定部６３は、パターン検出部６２で検出されたパターン（複数の演算値）に基づいて、着目画素近辺において、水平方向に急峻な輝度変化が生じているか否かを示すクラスコードを決定し、係数メモリ６４、および、領域抽出部６５に出力する。係数メモリ６４は、予め学習により求められたクラス毎の予測係数を記憶しており、クラスコード決定部６３より入力されたクラスコードに対応する予測係数を読み出し、予測演算部６６に出力する。なお、係数メモリ６４に記憶されている予測係数を求めるための学習処理については、図１３、および図１４を参照して後述する。
【００３９】
領域抽出部６５は、クラスコード決定部６３より入力されたクラスコードに基づいて、Ａ／Ｄ変換部５１より入力されたコンポジット映像信号から、コンポーネント信号を予測生成するのに必要な着目画素に対応した画素位置の画素（予測タップ）を抽出し、予測演算部６６に出力する。予測演算部６６は、領域抽出部６５より入力された予測タップに対して、係数メモリ６４より入力された予測係数を乗算し、コンポーネント信号の１つである輝度信号Ｙを生成する。
【００４０】
より詳細には、係数メモリ６４は、クラスコード決定部６３より供給されるクラスコードに対応する予測係数を、予測演算部６６に出力する。予測演算部６６は、領域抽出部６５より供給されるNTSC方式のコンポジット映像信号から抽出された予測タップと、係数メモリ６４より供給された予測係数とを用いて、以下の式（１）に示す積和演算を実行することにより、コンポーネント信号を求める（予測推定する）。
【００４１】
ｙ＝ｗ1×ｘ1＋ｗ2×ｘ2＋・・・・＋ｗn×ｘn・・・（１）
【００４２】
ここで、ｙは、着目画素である。また、ｘ1，・・・・，ｘnが、各予測タップであり、ｗ1，・・・・，ｗnが、各予測係数である。
【００４３】
なお、図示は省略するが、コンポーネント信号のうち、色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙを生成するための回路も、それぞれ同様に構成されている。色差信号Ｒ−Ｙ、または、色差信号Ｂ−Ｙを生成するための回路の構成は、図４に示した場合と同様であり、図４に示した場合においては、輝度信号Ｙを生成するための予測係数が、係数メモリ６４に記憶されているのに対して、色差信号Ｒ−Ｙまたは色差信号Ｂ−Ｙを生成する場合、色差信号Ｒ−Ｙまたは色差信号Ｂ−Ｙを生成するための予測係数が、係数メモリ６４に記憶され、それぞれのクラスコードの決定に用いられる。
【００４４】
次に、図５のフローチャートを参照して、図３で示したテレビジョン受像機４１がコンポジット映像信号をコンポーネント信号に変換し、表示部１７に表示させる表示処理について説明する。
【００４５】
ステップＳ１において、チューナ１２は、アンテナ１１を介して所定の周波数の信号を受信し、復調して、映像中間周波信号を生成し、ＶＩＦ処理部１３に出力する。
【００４６】
ステップＳ２において、ＶＩＦ処理部１３は、入力された映像中間周波信号を復調し、NTSC方式のコンポジット信号を生成して、Ａ／Ｄ変換部５１に出力する。
【００４７】
ステップＳ３において、Ａ／Ｄ変換部５１は、入力されたコンポジット信号を、アナログ信号からデジタル信号に変換して、クラス分類適応処理部５２に出力する。
【００４８】
ステップＳ４において、クラス分類適応処理部５２の領域抽出部６１は、クラスタップを抽出する。
【００４９】
クラスタップ抽出について、より詳細に説明する。図６は、NTSC信号を色副搬送波周波数fscの4倍のサンプリング周波数(4fsc)でサンプリングした場合のクロマ信号の位相を示す図である。NTSC方式のテレビジョン信号は、輝度信号Ｙにクロマ信号Ｃが平衡変調されて多重化されているため、コンポジット信号のサンプリング点によって、そのクロマ信号の位相が異なる。
【００５０】
NTSC方式のコンポジット信号は、輝度信号ＹにＩ信号、またはＱ信号が加算、もしくは、減算された信号で構成されており、これらによりＹ＋Ｉ、Ｙ＋Ｑ、Ｙ−Ｉ、および、Ｙ−Ｑの４位相の信号が形成され、これらの信号の位相角は、それぞれ９０度ずつ異なる。着目画素が、輝度信号Ｙに対して、Ｉ信号が加算された信号（Ｙ＋Ｉ）である場合、Ｙ＋Ｉ、Ｙ＋Ｑ、Ｙ−Ｉ、および、Ｙ−Ｑの４位相の信号は、着目画素に対して、それぞれ、位相角０度、９０度、１８０度、および、２７０度の関係を有する。
【００５１】
図６において、図中、各フィールドのバツ印（フィールドの中央に位置する画素）は、着目画素の位置を示している。また、図中、白丸を基準として、位相角が０度の信号であるとした場合、黒四角は、対応する位置の画素が、基準となる白丸の画素に対して位相角が９０度の信号であることを、黒丸は、対応する位置の画素が、基準となる白丸の画素に対して位相角が１８０度の信号であることを、そして、白四角は、対応する位置の画素が、基準となる白丸の画素に対して位相角が２７０度の信号であることを、それぞれ示している。領域抽出部６１には、図６に示されるようなコンポジット映像信号が入力される。
【００５２】
なお、各画素の位相角の表示方法は、以下においても同様とする。
【００５３】
図７を用いて、クラスタップとして抽出される画素について説明する。図７においては、図中、水平方向のラインを水平走査方向としており、図中最上段に、着目画素より２ライン前（上）のラインであるラインａ（−２＿Ｌｉｎｅ）が示され、以下、着目画素より１ライン前（上）のラインであるラインｂ（−１＿Ｌｉｎｅ）、着目画素を含むラインであるラインｃ（０＿Ｌｉｎｅ）、着目画素より１ライン後（下）のラインであるラインｄ（＋１＿Ｌｉｎｅ）、および、着目画素より２ライン後（下）のラインであるラインｅ（＋２＿Ｌｉｎｅ）が、それぞれ示されている。以下、それぞれの画素を、ラインとライン上の位置を示す数字などによって、ａＸ，ｂＸ，ｃＸ，ｄＸ、または、ｅＸ（Ｘ＝０，１，・・・，９，Ａ）と示すものとする。
【００５４】
領域抽出部６１は、図７に示されるように、クラスタップとして、着目画素ｃ５（図中、ｃ（０＿ｌｉｎｅ）の水平ライン中の左から５番目に位置する、バツ印により示される画素）の周辺の画素を抽出する。領域抽出部６１は、図中、範囲Ｅ−１に示される、画素ａ２乃至ａ７、図中、範囲Ｅ−２に示される、画素ｃ１乃至ｃ９、および、図中、範囲Ｅ−３で示される画素ｅ２乃至ｅ７を、クラスタップとして抽出し、パターン検出部６２に出力する。
【００５５】
ステップＳ５において、パターン検出部６２およびクラスコード決定部６３は、図１１を用いて後述するクラスコード決定処理を実行して、クラスコードを決定する。これらの処理において、着目画素付近に、水平方向に急峻な輝度の変化があると判定された場合、クラスコード決定部６３からクラスコード０が出力され、水平方向に急峻な輝度の変化がないと判定された場合、クラスコード決定部６３からクラスコード１が出力される。
【００５６】
ステップＳ６において、係数メモリ６４は、ステップＳ５において実行されたクラスコード決定処理によって決定されたクラスコードの値に基づいて、予測係数（図１３を用いて後述する係数算出装置８１において、図１４を用いて後述する処理により予め決定される）のうち、供給されたクラスコードに対応する予測係数を読み出し、予測演算部６６に出力する。
【００５７】
ステップＳ７において、領域抽出部６５は、入力されたコンポジット信号より予測タップを抽出し、予測演算部６６に出力する。
【００５８】
すなわち、領域抽出部６５は、図８に示されるように、図中、範囲Ａで示される、着目画素を中央とする同一ラインの７タップと、その前後１ラインのそれぞれ７タップからなる、合計２１タップと、必要に応じて、オフセットタップとを、予測タップとして抽出する。オフセットタップは、予め定められた定数（例えば、−７８）であり、コンポジット信号からコンポーネント信号に変換する場合に、両信号間に生じるＤＣ的なずれを修正するために用いられるものである。
【００５９】
ステップＳ８において、予測演算部６６は、ステップＳ６において、係数メモリ６４から出力された予測係数と、ステップＳ７において、領域抽出部６５より入力された予測タップとを用いて、例えば、上述した式（１）の演算によりコンポーネント信号を生成して、マトリクス処理部１６に出力する。
【００６０】
ステップＳ９において、マトリクス処理部１６は、入力されたコンポーネント信号をＲＧＢ信号に変換して、表示部１７に出力する。
【００６１】
ステップＳ１０において、全ての画素について処理が施されたか否かが判定される。ステップＳ１０において、全ての画素について処理が施されていないと判定された場合、処理は、ステップＳ４に戻り、それ以降の処理が繰り返される。すなわち、全ての画素の信号に処理が施されるまで、ステップＳ４乃至Ｓ１０の処理が繰り返される。ステップＳ１０において、全ての画素について処理が施されたと判定された場合、処理は終了される。
【００６２】
図５を用いて説明した処理により、水平方向の急峻な輝度の変化に対応して予測タップを抽出し、予測演算を行うことができるので、クロスカラーの発生を抑制することができる。
【００６３】
なお、クラスタップ、および、予測タップの選択は、図７、および図８で示した例に限るものではなく、水平方向の急峻な輝度の変化が検出できるクラスタップと、そのクラスタップから生成されるクラスコードにより示される輝度の変化に対応した予測タップであれば、その他のものであっても良い。
【００６４】
図５のステップＳ５において実行されるクラスコード決定処理においては、水平方向に急峻な輝度の変化がある箇所を検出し、その検出結果をクラスに反映させるための処理が実行される。具体的には、着目画素近傍の所定の位置の画素（以下、仮着目画素と称する）を含む、水平に並んだ所定の数の画素と、図９Ａ乃至図９Ｄに示される４つの基本波形との相関に基づいて、水平方向に急峻な輝度の変化がある箇所が検出される。
【００６５】
図９Ａに示されるように、仮着目画素より水平方向に２つ左の画素および１つ左の画素が、仮着目画素および仮着目画素より水平方向に１つ右の画素よりその輝度値が低い場合、後述する処理により、この仮着目画素とその近傍の画素は基本波形Ａと相関があることを示す値０が得られるものとする。また、図９Ｂに示されるように、仮着目画素より水平方向に２つ左の画素および１つ左の画素が、仮着目画素および仮着目画素より水平方向に１つ右の画素よりその輝度値が高い場合、後述する処理により、この仮着目画素とその近傍の画素は基本波形Ｂと相関があることを示す値１が得られるものとする。
【００６６】
そして、図９Ｃに示されるように、仮着目画素より水平方向に２つ左の画素および水平方向に１つ右の画素が、仮着目画素より１つ左の画素および仮着目画素よりも、その輝度値が高い場合、後述する処理により、この仮着目画素とその近傍の画素は基本波形Ｃと相関があることを示す値２が得られるものとする。また、図９Ｄに示されるように、仮着目画素より水平方向に２つ左の画素および水平方向に１つ右の画素が、仮着目画素より１つ左の画素および仮着目画素よりも、その輝度値が低い場合、後述する処理により、この仮着目画素とその近傍の画素は基本波形Ｄと相関があることを示す値３が得られるものとする。
【００６７】
クロマ信号は、色副搬送波周波数fscで変調されているため、色を有して輝度の変化が少ない箇所において、基本波形Ａ乃至Ｄとの相関によって決定される値０乃至３のパターンは、図１０Ａに示されるように、周期的に繰り返されるパターンとなる。
【００６８】
一方、水平方向に急峻な輝度変化がある箇所において、基本波形Ａ乃至Ｄとの相関によって決定される値０乃至３のパターンは、図１０Ｂに示されるように、少なくとも１つの値０、１つの値３、そして、少なくとも１つの値１が連続するパターン（すなわち、上弦の弧を描く波形）が、垂直方向に同位置で連続しているか、あるいは、図示はしていないが、少なくとも１つの値１、１つの値２、そして、少なくとも１つの値０が連続するパターン（すなわち、下弦の弧を描く波形）が、垂直方向に同位置で連続しているような、特徴的なパターンとなる。
【００６９】
従って、着目画素近傍の仮着目画素において、図９を用いて説明した基本波形Ａ乃至Ｄとの相関を求め、図１０Ｂに示したような、水平方向に急峻な輝度変化がある場合に特徴的に発生するパターンを検出し、その検出結果をクラスに反映させることで、水平方向に急峻な輝度変化がある場合でも、信号変換によってクロスカラーを発生しないようにすることができる。
【００７０】
図１１のフローチャートを参照して、上述した図１０Ｂに示されるパターンを検出することにより、水平方向の急峻な輝度変化を検出する、図５のステップＳ５において実行されるクラスコード決定処理について説明する。
【００７１】
ステップＳ３１において、パターン検出部６２は、クラスタップから仮着目画素およびその周辺の画素を抽出する。
【００７２】
仮着目画素は、図１２に示される、範囲Ｅ−１に含まれる、画素ａ４，ａ５，ａ６からなる範囲Ｆ−１と、範囲Ｅ−２に含まれる、画素ｃ２，ｃ３，・・・，ｃ７，ｃ８からなる範囲Ｆ−２と、範囲Ｅ−３に含まれる、画素ｅ４，ｅ５，ｅ６からなる範囲Ｆ−３の画素である。パターン検出部６２は、仮着目画素１つに対して、仮着目画素以外に、仮着目画素の２つ左の画素、１つ左の画素、および１つ右の画素の、合計４つを抽出し、この４つの画素を基に以下の演算を行う。
【００７３】
ステップＳ３２において、パターン検出部６２は、仮着目画素において基本波形との相関を求めるための演算値を算出する。
【００７４】
例えば、仮着目画素ａ４において、次の式（２）および式（３）により、基本波形との相関を求めるための演算値Ｇａ４０および演算値Ｇａ４１が算出される。
【００７５】
Ｇａ４０＝ａ４＋ａ５−ａ２−ａ３・・・（２）
Ｇａ４１＝ａ２＋ａ５−ａ３−ａ４・・・（３）
【００７６】
同様にして、他の仮着目画素においても、式（４）乃至式（２７）により、基本波形との相関を求めるための演算値が求められる。
【００７７】
Ｇａ５０＝ａ５＋ａ６−ａ３−ａ４・・・（４）
Ｇａ５１＝ａ３＋ａ６−ａ４−ａ５・・・（５）
Ｇａ６０＝ａ６＋ａ７−ａ４−ａ５・・・（６）
Ｇａ６１＝ａ４＋ａ７−ａ５−ａ６・・・（７）
Ｇｅ４０＝ｅ４＋ｅ５−ｅ２−ｅ３・・・（８）
Ｇｅ４１＝ｅ２＋ｅ５−ｅ３−ｅ４・・・（９）
Ｇｅ５０＝ｅ５＋ｅ６−ｅ３−ｅ４・・・（１０）
Ｇｅ５１＝ｅ３＋ｅ６−ｅ４−ｅ５・・・（１１）
Ｇｅ６０＝ｅ６＋ｅ７−ｅ４−ｅ５・・・（１２）
Ｇｅ６１＝ｅ４＋ｅ７−ｅ５−ｅ６・・・（１３）
Ｇｃ２０＝ｃ２＋ｃ３−ｃ０−ｃ１・・・（１４）
Ｇｃ２１＝ｃ０＋ｃ３−ｃ１−ｃ２・・・（１５）
Ｇｃ３０＝ｃ３＋ｃ４−ｃ１−ｃ２・・・（１６）
Ｇｃ３１＝ｃ１＋ｃ４−ｃ２−ｃ３・・・（１７）
Ｇｃ４０＝ｃ４＋ｃ５−ｃ２−ｃ３・・・（１８）
Ｇｃ４１＝ｃ２＋ｃ５−ｃ３−ｃ４・・・（１９）
Ｇｃ５０＝ｃ５＋ｃ６−ｃ３−ｃ４・・・（２０）
Ｇｃ５１＝ｃ３＋ｃ６−ｃ４−ｃ５・・・（２１）
Ｇｃ６０＝ｃ６＋ｃ７−ｃ４−ｃ５・・・（２２）
Ｇｃ６１＝ｃ４＋ｃ７−ｃ５−ｃ６・・・（２３）
Ｇｃ７０＝ｃ７＋ｃ８−ｃ５−ｃ６・・・（２４）
Ｇｃ７１＝ｃ５＋ｃ８−ｃ６−ｃ７・・・（２５）
Ｇｃ８０＝ｃ８＋ｃ９−ｃ６−ｃ７・・・（２６）
Ｇｃ８１＝ｃ６＋ｃ９−ｃ７−ｃ８・・・（２７）
【００７８】
ステップＳ３３において、パターン検出部６２は、仮着目画素ごとに算出された２つの演算値と、それらに（−１）を乗じた値のうち、最も大きい値を求める。
【００７９】
例えば、仮着目画素ａ４において、式（２）および式（３）により算出された、基本波形との相関を求めるための演算値Ｇａ４０および演算値Ｇａ４１において、（Ｇａ４０，−Ｇａ４０，Ｇａ４１，−Ｇａ４１）の４つの値のうち、最も大きな値が求められる。そして、他の仮着目画素についても、同様の演算が行われる。
【００８０】
ステップＳ３４において、パターン検出部６２は、ステップＳ３３において求められた、４つの演算値のうちの最も大きな値を基に、仮着目画素付近の画素において対応する基本波形（いずれの基本波形と相関があるかを示す値）を検出する。
【００８１】
例えば、仮着目画素ａ４において、（Ｇａ４０，−Ｇａ４０，Ｇａ４１，−Ｇａ４１）の４つの値のうち、最も大きな値がＧａ４０である場合、仮着目画素より水平方向に２つ左の画素および１つ左の画素が、仮着目画素および仮着目画素より水平方向に１つ右の画素よりその輝度値が低いことがわかるので、仮着目画素ａ４において、最も相関がある基本波形は、図９Ａを用いて説明した基本波形Ａとなる。従って、仮着目画素ａ４が、いずれの基本波形と相関があるかを示す値Ｇａ４は、Ｇａ４＝０とされる。
【００８２】
また、仮着目画素ａ４において、（Ｇａ４０，−Ｇａ４０，Ｇａ４１，−Ｇａ４１）の４つの値のうち、最も大きな値が−Ｇａ４０である場合、仮着目画素より水平方向に２つ左の画素および１つ左の画素が、仮着目画素および仮着目画素より水平方向に１つ右の画素よりその輝度値が高いことがわかるので、仮着目画素ａ４において、最も相関がある基本波形は、図９Ｂを用いて説明した基本波形Ｂとなる。従って、仮着目画素ａ４が、いずれの基本波形と相関があるかを示す値Ｇａ４は、Ｇａ４＝１とされる。
【００８３】
そして、仮着目画素ａ４において、（Ｇａ４０，−Ｇａ４０，Ｇａ４１，−Ｇａ４１）の４つの値のうち、最も大きな値がＧａ４１である場合、仮着目画素より水平方向に２つ左の画素および仮着目画素より水平方向に１つ右の画素が、仮着目画素より１つ左の画素および仮着目画素よりその輝度値が高いことがわかるので、この仮着目画素の近傍は、図９Ｃを用いて説明した基本波形Ｃと相関があるとして、Ｇａ４＝２が得られる。
【００８４】
また、仮着目画素ａ４において、（Ｇａ４０，−Ｇａ４０，Ｇａ４１，−Ｇａ４１）の４つの値のうち、最も大きな値が−Ｇａ４１である場合、仮着目画素より水平方向に２つ左の画素および仮着目画素より水平方向に１つ右の画素が、仮着目画素より１つ左の画素および仮着目画素よりその輝度値が低いことがわかるので、この仮着目画素の近傍は、図９Ｄを用いて説明した基本波形Ｄと相関があるとして、Ｇａ４＝３が得られる。
【００８５】
そして、他の仮着目画素についても同様にして、基本波形との相関を求めるための演算値と、それぞれの演算値に（−１）を乗じた値のうち、最も大きい値を求めることにより、その仮着目画素が、いずれの基本波形と相関があるかを示す値Ｇａ５，Ｇａ６，・・・，Ｇｅ５，Ｇｅ６が、値０、値１、値２、または値３のうちのいずれとなるかが検出される。
【００８６】
ステップＳ３５において、パターン検出部６２は、全ての仮着目画素について処理が終了されたか否かを判断する。ステップＳ３５において、全ての仮着目画素についての処理が終了されていないと判断された場合、処理は、ステップＳ３１に戻り、それ以降の処理が繰り返される。
【００８７】
ステップＳ３５において、全ての仮着目画素についての処理が終了されたと判断された場合、ステップＳ３６において、パターン検出部６２は、着目画素に対応する周辺画素と基本波形との相関を示すパターン（値０，１，２，３）を、クラスコード決定部６３に出力する。
【００８８】
すなわち、パターン検出部６２は、ステップＳ３４において得られた、それぞれの仮着目画素がいずれの基本波形と相関があるかを示す値を、クラスコード決定部６３に出力する。
【００８９】
ステップＳ３７において、クラスコード決定部６３は、ステップＳ３６において入力された基本波形との相関を示すパターンから、クラスコードを算出し、処理は、図５のステップＳ６に戻る。
【００９０】
すなわち、次に示す式（２８）および式（２９）がそれぞれ満たされ、かつ、式（３０−１）乃至式（３０−１６）のいずれかが満たされている場合、着目画素は、水平方向に輝度が急峻に変化している箇所であるので、クラスコードは、クラスコード０とされる。一方、式（２８）または式（２９）が満たされていないか、もしくは、式（３０−１）乃至式（３０−１６）の全てが満たされていない場合、着目画素は、水平方向に輝度が急峻に変化している箇所ではないので、クラスコードは、クラスコード１とされる。得られたクラスコードの値は、係数メモリ６４および領域抽出部６５に出力され、処理は、図５のステップＳ６に戻る。
【００９１】
Ｇａ４≠Ｇｃ４もしくはＧａ５≠Ｇｃ５もしくはＧａ６≠Ｇｃ６・・・（２８）
Ｇｅ４≠Ｇｃ４もしくはＧｅ５≠Ｇｃ５もしくはＧｅ６≠Ｇｃ６・・・（２９）
【００９２】
Ｇｃ２＝０かつＧｃ３＝０かつＧｃ４＝３かつＧｃ５＝１・・・（３０−１）
Ｇｃ３＝０かつＧｃ４＝０かつＧｃ５＝３かつＧｃ６＝１・・・（３０−２）
Ｇｃ４＝０かつＧｃ５＝０かつＧｃ６＝３かつＧｃ７＝１・・・（３０−３）
Ｇｃ５＝０かつＧｃ６＝０かつＧｃ７＝３かつＧｃ８＝１・・・（３０−４）
Ｇｃ２＝０かつＧｃ３＝３かつＧｃ４＝１かつＧｃ５＝１・・・（３０−５）
Ｇｃ３＝０かつＧｃ４＝３かつＧｃ５＝１かつＧｃ６＝１・・・（３０−６）
Ｇｃ４＝０かつＧｃ５＝３かつＧｃ６＝１かつＧｃ７＝１・・・（３０−７）
Ｇｃ５＝０かつＧｃ６＝３かつＧｃ７＝１かつＧｃ８＝１・・・（３０−８）
Ｇｃ２＝１かつＧｃ３＝１かつＧｃ４＝２かつＧｃ５＝０・・・（３０−９）
Ｇｃ３＝１かつＧｃ４＝１かつＧｃ５＝２かつＧｃ６＝０・・・（３０−１０）
Ｇｃ４＝１かつＧｃ５＝１かつＧｃ６＝２かつＧｃ７＝０・・・（３０−１１）
Ｇｃ５＝１かつＧｃ６＝１かつＧｃ７＝２かつＧｃ８＝０・・・（３０−１２）
Ｇｃ２＝１かつＧｃ３＝２かつＧｃ４＝０かつＧｃ５＝０・・・（３０−１３）
Ｇｃ３＝１かつＧｃ４＝２かつＧｃ５＝０かつＧｃ６＝０・・・（３０−１４）
Ｇｃ４＝１かつＧｃ５＝２かつＧｃ６＝０かつＧｃ７＝０・・・（３０−１５）
Ｇｃ５＝１かつＧｃ６＝２かつＧｃ７＝０かつＧｃ８＝０・・・（３０−１６）
【００９３】
なお、上述した式（３０−１）乃至式（３０−４）のうちのいずれかが満たされているとき、着目画素付近で得られる基本波形のうちのいずれの波形と相関があるかを示す値のパターンは、（００３１）（上弦の弧を描くパターン）であり、式（３０−５）乃至式（３０−８）のうちのいずれかが満たされているとき、着目画素付近で得られる基本波形のうちのいずれの波形と相関があるかを示す値のパターンは、（０３１１）（上弦の弧を描くパターン）であり、式（３０−９）乃至式（３０−１２）のうちのいずれかが満たされているとき、着目画素付近で得られる基本波形のうちのいずれの波形と相関があるかを示す値のパターンは、（１１２０）（下弦の弧を描くパターン）であり、式（３０−１３）乃至式（３０−１６）のうちのいずれかが満たされているとき、着目画素付近で得られる基本波形のうちのいずれの波形と相関があるかを示す値のパターンは、（１２００）（下弦の弧を描くパターン）である。
【００９４】
図１１を用いて説明した処理により、パターン検出部６２において、着目画素近傍の仮着目画素において、図９を用いて説明した基本波形Ａ乃至Ｄとの相関が求められ、図１０Ｂに示したような、水平方向に急峻な輝度変化がある場合に特徴的に発生するパターンが検出され、クラスコード決定部６３において、その検出結果を基に、水平方向に急峻な輝度変化があるか否かを示すクラスコードが決定される。
【００９５】
また、ここでは、図１２を用いて説明した仮着目画素１３点における基本波形との相関により、水平方向の急峻な輝度の変化を検出するものとして説明したが、仮着目画素の選択は、この限りではなく、より多くの画素を仮着目画素としても、また、より広い範囲において仮着目画素を選択するようにしても良い。
【００９６】
更に、以上説明した処理によって検出されたクラス分類結果を、既存のクラス分類方法によるクラス分類結果とともに複合的に用いて、クラス分類を行うようにしてもよい。これにより、更に画質劣化のない画像の変換を行うことができる。
【００９７】
次に、図１３を参照して、係数メモリ６４に記憶されている予測係数を決定するための係数算出装置８１について説明する。
【００９８】
NTSCエンコーダ９１は、教師画像としての輝度信号Ｙ、色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙからなるコンポーネント信号の入力を受け、入力されたコンポーネント信号から生徒画像としてのNTSC方式のコンポジット映像信号を生成し、領域抽出部９２、および、領域抽出部９５に出力する。
【００９９】
領域抽出部９２は、入力されたコンポジット映像信号から、クラス分類を行うために必要な画素（クラスタップ）を抽出し、パターン検出部９３に出力する。パターン検出部９３は、入力されたクラスタップのパターンを検出し、検出結果をクラスコード決定部９４に出力する。クラスコード決定部９４は、入力されたパターンに対応するクラスコードを決定し、そのクラスコードを領域抽出部９５、および、正規方程式生成部９６に出力する。
【０１００】
領域抽出部９５は、クラスコード決定部９４より入力されたクラスコードに基づいて、NTSCエンコーダ９１より入力されたコンポジット映像信号から予測タップを抽出し、正規方程式生成部９６に出力する。
【０１０１】
以上説明した領域抽出部９２、パターン検出部９３、クラスコード決定部９４、および領域抽出部９５は、図４のクラス分類適応処理部５２の領域抽出部６１、パターン検出部６２、クラスコード決定部６３、および、領域抽出部６５と、基本的に同様の構成と機能を有するものである。
【０１０２】
正規方程式生成部９６は、クラスコード決定部９４より入力された全てのクラスに対して、クラス毎に、領域抽出部９５より入力される生徒画像の予測タップと、教師画像としてのコンポーネント信号の輝度信号Ｙとから正規方程式を生成し、係数決定部９７に出力する。係数決定部９７は、必要な数の正規方程式が正規方程式生成部９６より供給されてきたとき、例えば最小自乗法を用いて正規方程式を解き、上述した予測係数（ｗ1，・・・・，ｗn）を演算すると共に、演算により求めた予測係数をメモリ９８に供給し、記憶させる。
【０１０３】
ここで、正規方程式について説明する。上述した式（１）において、学習前は予測係数ｗ1，・・・・，ｗnが未定係数である。学習は、クラス毎に複数の教師画像を入力することによって行う。教師画像の種類数をｍと表記する場合、式（１）から、以下の式（３１）が設定される。
【０１０４】
ｙk＝ｗ1×ｘk1＋ｗ2×ｘk2＋・・・・＋ｗn×ｘkn・・・（３１）
【０１０５】
ここで、ｋは、ｋ＝１，２，・・・・，ｍである。ｍ＞ｎの場合、予測係数ｗ1，・・・・，ｗnは一意に決まらない。そこで、誤差ベクトルｅの要素ｅkを以下の式（３２）で定義して、式（３３）によって定義される誤差ベクトルｅが最小となるように予測係数が定められるようにする。すなわち、いわゆる最小自乗法によって予測係数が一意に決定される。
【０１０６】
ｅk＝ｙk−｛ｗ1×ｘk1＋ｗ2×ｘk2＋・・・・＋ｗn×ｘkn｝・・・（３２）
【０１０７】
【数１】

【０１０８】
式（３３）のｅ＾2（ｅの2乗）を最小とする各予測係数ｗｉは、式（３３）のｅ＾2を予測係数ｗi（i=1,2・・・・）で偏微分して式（３４）に変形し、ｉの各値について偏微分値が０となるものとして計算される。
【０１０９】
【数２】

【０１１０】
式（３４）から各予測係数ｗｉを定める具体的な手順について説明する。式（３５）、および、式（３６）のように、Ｘji、および、Ｙｉを定義するとき、式（３４）は、式（３７）の行列式の形に変形される。
【０１１１】
【数３】

【０１１２】
【数４】

【０１１３】
【数５】

【０１１４】
この式（３７）が、一般に正規方程式と呼ばれるものである。ここで、Ｘji（ｊ，ｉ＝１，２・・・・ｎ），およびＹｉ（ｉ＝１，２・・・・ｎ）は、教師画像、および、生徒画像に基づいて計算される。すなわち、正規方程式生成部９６は、ＸjiおよびＹｉの値を算出して正規方程式である式（３７）を決定する。更に、係数決定部９７は、式（３７）を解いて、各予測係数ｗｉを決定する。
【０１１５】
次に、図１４のフローチャートを参照して、図１３の係数算出装置８１が実行する係数算出処理について説明する。
【０１１６】
ステップＳ１１１において、教師画像としてのコンポーネント信号がNTSCエンコーダ９１、および、正規方程式生成部９６に入力される。
【０１１７】
ステップＳ１１２において、NTSCエンコーダ９１は、入力されたコンポーネント信号よりNTSC方式のコンポジット信号からなる生徒画像を生成して、領域抽出部９２、および、領域抽出部９５に出力する。
【０１１８】
ステップＳ１１３において、領域抽出部９２は、図５のフローチャートのステップＳ４の処理と同様にして、クラスタップを抽出して、パターン検出部９３に出力する。
【０１１９】
ステップＳ１１４において、パターン検出部９３、および、クラスコード決定部９４において、図１１を用いて説明したクラスコード決定処理と同様の処理が実行され、決定されたクラスコードが、領域抽出部９５、および、正規方程式生成部９６に出力される。
【０１２０】
ステップＳ１１５において、領域抽出部９５は、クラスコード決定部９４より入力されたクラスコードに基づいて、生徒画像の予測タップ（図８）を抽出して正規方程式生成部９６に出力する。
【０１２１】
ステップＳ１１６において、正規方程式生成部９６は、クラスコード決定部９４より入力されたクラスコード、領域抽出部９５より入力された予測タップ、および、教師画像として入力されたコンポーネント信号から、上述した式（３７）の正規方程式を生成し、クラスコード決定部９４より入力されたクラスコードとともに係数決定部９７に出力する。
【０１２２】
ステップＳ１１７において、全ての画素について処理が施されたか否かが判定される。ステップＳ１１７において、全ての画素について処理が施されていないと判定された場合、処理は、ステップＳ１１３に戻り、それ以降の処理が繰り返される。すなわち、全ての画素の処理が終了されるまで、ステップＳ１１３乃至Ｓ１１７の処理が繰り返される。
【０１２３】
ステップＳ１１７において、全ての画素について処理が施されたと判定された場合、ステップＳ１１８において、係数決定部９７は、上述の式（３７）の正規方程式を解いて、予測係数を決定し、クラスコードに対応付けて、メモリ９８に記憶させ、処理は、終了される。
【０１２４】
以上の処理により、着目画素周辺において、水平方向に急峻な輝度の変化があるか否かの検出より適正な予測係数が演算されるので、コンポジット信号からコンポーネント信号への変換処理により生じるクロスカラーの発生を抑制することができる予測係数を求めることができる。また、図１３および図１４においては、輝度信号Ｙを求める予測係数を設定する例について説明したが、色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙについての予測係数についても、同様にして求めることができる。
【０１２５】
以上の例においては、コンポジット映像信号から輝度信号Ｙ、色差信号Ｒ−Ｙ、および、色差信号Ｂ−Ｙといったコンポーネント映像信号を生成するようにしたが、例えば、図１５に示されるテレビジョン受像機１０１のように、図３のクラス分類適応処理部５２とマトリクス処理部１６に代わって、クラス分類適応処理部１１１を備えるようにしても良い。クラス分類適応処理部１１１は、図３のクラス分類適応処理部５２とマトリクス処理部１６が実行する処理を実行可能なように構成され、ＶＩＦ処理部１３が出力するコンポジット映像信号から、原色ＲＧＢ信号を生成する。
【０１２６】
クラス分類適応処理部１１１の構成は、図４を用いて説明したクラス分類適応処理部５２と基本的に同様である。しかしながら、係数メモリ６４に記憶される予測係数は、原色ＲＧＢ信号に対応したものとなる。すなわち、予測係数を決定するために係数算出装置８１で実行される学習処理における生徒画像は、図４のクラス分類適応処理部５２の係数メモリ６４に記憶される予測係数を生成する場合と同様にコンポジット信号であるが、それに対して、教師画像は、図４のクラス分類適応処理部５２の係数メモリ６４に記憶される予測係数を生成する場合と異なり、原色ＲＧＢ信号となるので、決定される予測係数も、原色ＲＧＢ信号に対応したものとなる。
【０１２７】
以上説明した処理において、クラス分類、および予測係数の算出は、いずれも、４つのクロマ信号の位相ごとに行われる。
【０１２８】
以上説明した処理においては、NTSC方式のコンポジット信号をコンポーネント信号に変換する場合について説明したが、本発明は、例えば、PAL方式など、NTSC方式以外のコンポジット信号に対しても同様に適用することが可能である。
【０１２９】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１３０】
図１６は、テレビジョン受像機４１、テレビジョン受像機１０１、または、係数算出装置８１が実行する処理を、それぞれソフトウェアにより実現することができるパーソナルコンピュータ１９１の構成を示すブロック図である。
【０１３１】
パーソナルコンピュータのＣＰＵ２０１は、パーソナルコンピュータの動作の全体を制御する。ＣＰＵ２０１は、バス２０４および入出力インタフェース２０５を介して、キーボードやマウスなどからなる入力部２０６から、ユーザの操作により指令が入力されると、それに対応して、ＲＯＭ（Read Only Memory)２０２に格納されているプログラムを、ＲＡＭ（Random Access Memory)２０３にロードして実行する。あるいはまた、ＣＰＵ２０１は、ドライブ２１０に接続された磁気ディスク２１１、光ディスク２１２、光磁気ディスク２１３、または半導体メモリ２１４から読み出され、記憶部２０８にインストールされたプログラムを、ＲＡＭ２０３にロードして実行する。更に、ＣＰＵ２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。
【０１３２】
プログラムが記録されている記録媒体は、図１６に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２１１（フレキシブルディスクを含む）、光ディスク２１２（CD-ROM（Compact Disc-Read Only Memory)，DVD（Digital Versatile Disc）を含む）、光磁気ディスク２１３（MD（Mini-Disc）（商標）を含む）、もしくは半導体メモリ２１４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２０２や、記憶部２０８に含まれるハードディスクなどで構成される。
【０１３３】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１３４】
【発明の効果】
このように、本発明によれば、コンポジット映像信号を、コンポーネント信号に変換することができる。特に、水平方向の輝度の弧状の変化を検出して、クラス分類を行うことにより、クロスカラーを抑制することができる。
【０１３５】
また、他の本発明によれば、コンポジット映像信号を、コンポーネント信号に変換する場合に用いられる予測係数を算出することができる。特に、水平方向の輝度の弧状の変化を検出して、クラス分類を行うことにより、クロスカラーを抑制することができる予測係数を算出することができる。
【図面の簡単な説明】
【図１】従来のテレビジョン受像機の構成を示すブロック図である。
【図２】従来のテレビジョン受像機の構成を示すブロック図である。
【図３】本発明を適用したテレビジョン受像機の構成を示すブロック図である。
【図４】図３のクラス分類適応処理部の更に詳細な構成を示すブロック図である。
【図５】図３のテレビジョン受像機の表示処理を説明するフローチャートである。
【図６】 NTSC信号の位相を説明する図である。
【図７】クラスタップについて説明する図である。
【図８】予測タップについて説明する図である。
【図９】基本波形について説明する図である。
【図１０】水平方向に輝度が急峻に変化している場合のパターンを説明する図である。
【図１１】クラスコード決定処理について説明するフローチャートである。
【図１２】仮着目画素について説明する図である。
【図１３】係数算出装置の構成を示すブロック図である。
【図１４】係数算出処理について説明するためのフローチャートである。
【図１５】本発明を適応したテレビジョン受像機の他の構成例を示すブロック図である。
【図１６】パーソナルコンピュータの構成について説明する図である。
【符号の説明】
４１テレビジョン受像機，５２クラス分類適応処理部，６１領域抽出部，６２パターン検出部，６３クラスコード決定部，６４係数メモリ，６５領域抽出部，６６予測演算部，８１係数算出装置，９１ NTSCエンコーダ，９２領域抽出部，９３パターン検出部，９４クラスコード決定部，９５領域抽出部，９６正規方程式生成部，９７係数決定部，９８メモリ，１０１テレビジョン受像機，１１１クラス分類適応処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing device and an image processing method, a coefficient calculation device and a coefficient calculation method, a recording medium, and a program, and in particular, can suppress deterioration in image quality that occurs when converting a composite signal to a component signal. The present invention relates to an image processing apparatus, an image processing method, a coefficient calculation apparatus, a coefficient calculation method, a recording medium, and a program.
[0002]
[Prior art]
In general, a television receiver converts a composite signal of a video signal into a component signal and displays it as a video. As video signals, NTSC (National Television Standards Committee) type composite video signals are widely used.
[0003]
FIG. 1 is a block diagram showing a configuration of a conventional television receiver 1.
[0004]
The antenna 11 receives a broadcast signal. The tuner 12 detects and demodulates the signal received by the antenna 11 and generates a video intermediate frequency signal. A video intermediate frequency signal processing unit (VIF (Video Intermediate Frequency) processing unit) 13 demodulates the input video intermediate frequency signal to generate a composite video signal. A Y / C (Y: luminance signal, C: chroma signal) separation unit 14 separates the luminance signal Y and the chroma signal C from the input composite video signal. The chroma demodulator 15 receives and demodulates the chroma signal C and generates a color difference signal RY and a color difference signal BY. The matrix processing unit 16 receives the luminance signal Y, the color difference signal RY, and the color difference signal BY, and generates a primary color RGB signal. The display unit 17 is composed of, for example, a CRT (Cathode Ray Tube) or an LCD (liquid crystal display) and displays the supplied RGB signals.
[0005]
Next, the operation of the television receiver 1 will be described. The tuner 12 receives the radio wave of the broadcasting station of the channel designated by the user using an operation unit (not shown) via the antenna 11, detects and demodulates the received radio wave, generates a video intermediate frequency signal, and VIF Output to the processing unit 13. The VIF processing unit 13 demodulates the video intermediate frequency signal output from the tuner 12, generates an NTSC composite video signal, and outputs it to the Y / C separation unit 14. The Y / C separation unit 14 separates the luminance signal Y and the chroma signal C from the input composite video signal, and outputs the luminance signal Y to the matrix processing unit 16 and the chroma signal C to the chroma demodulation unit 15. To do.
[0006]
The chroma demodulation unit 15 demodulates the chroma signal C input from the Y / C separation unit 14, generates a color difference signal RY and a color difference signal BY, and outputs them to the matrix processing unit 16. The matrix processing unit 16 combines the luminance signal Y supplied from the Y / C separation unit 14 with the color difference signal RY and the color difference signal BY input from the chroma demodulation unit 15 to generate a primary color RGB signal. Generated and output and displayed on the display unit 17.
[0007]
FIG. 2 is a block diagram showing a configuration of a conventional television receiver 21 having a configuration different from that of the television receiver 1 described with reference to FIG.
[0008]
The basic configuration is the same as that of the television receiver 1 of FIG. 1, but the television receiver 21 of FIG. 2 is newly provided with a pixel number conversion unit 31. The pixel number conversion unit 31 determines the pixel density based on the luminance signal Y supplied from the Y / C separation unit 14, the color difference signal RY input from the chroma demodulation unit 15, and the color difference signal BY. Change, IP conversion (Interlace / Progressive conversion), etc. are executed and output to the matrix processing unit 16.
[0009]
The operation of the television receiver 21 in FIG. 2 is performed by the pixel number conversion unit 31 by the luminance signal Y supplied from the Y / C separation unit 14, the color difference signal RY input from the chroma demodulation unit 15, and The operations and basic operations of the television receiver 1 of FIG. 1 are the same except that a pixel density conversion process and an IP conversion process are performed on the color difference signal BY and supplied to the matrix conversion unit 16. The same as above.
[0010]
[Problems to be solved by the invention]
As described above, in the conventional television receiver 1 or the television receiver 21, the composite video signal is first separated into the luminance signal Y and the chroma signal C by the Y / C separation unit 14, and then the chroma signal is obtained. The signal C is demodulated and converted into a component signal composed of a baseband luminance signal Y, a color difference signal RY, and a color difference signal BY, and the matrix processing unit 16 converts the primary color RGB signal from the component signal. Was supposed to generate. For this reason, there is a problem that not only the circuit configuration becomes complicated, but also the scale becomes large and the cost increases.
[0011]
Further, as a conventional Y / C separation method, a filter composed of a two-dimensional Y / C separation circuit, a three-dimensional Y / C separation circuit, etc. has been proposed. There has been a problem that image quality deterioration is likely to occur due to an Y / C separation error.
[0012]
In order to solve these problems, a method using a classification adaptation process has been proposed. In the method using the class classification adaptive processing, in order to obtain the component signal of the luminance signal Y, the color difference signal RY, and the color difference signal BY in the target pixel, first, the vicinity including the target pixel is included. A feature amount of a pixel (this pixel is called a class tap) is obtained from the composite signal, and a class classified in advance for each feature amount is specified. Then, using a coefficient set in advance for each class in a pixel composed of a composite signal of the neighboring pixels including the target pixel (this pixel is called a prediction tap and may be the same as a class tap). An arithmetic process is performed to obtain a component signal of the pixel of interest.
[0013]
However, depending on the selection method of the class tap and the prediction tap, even if the same composite signal is input, the component signals after conversion are different. For this reason, when the selection method of the class tap and the prediction tap is not appropriate, there is a problem in that image quality deterioration such as dot interference and cross color occurs as in the case of the occurrence of the Y / C separation error.
[0014]
The present invention has been made in view of such a situation. The circuit configuration is simple and has a small scale. Further, the image quality deteriorates when the composite signal is converted into the component signal. By detecting a portion having a sharp luminance change in the direction, the occurrence of cross color can be suppressed.
[0015]
[Means for Solving the Problems]
The image processing apparatus according to the present invention includes a first extraction unit that extracts a plurality of first pixel signals corresponding to a pixel of interest from a first image signal, and a plurality of second pixels extracted by the first extraction unit. Detecting means for detecting information on a change in luminance of a pixel in the vicinity of the target pixel based on one pixel signal, and information on a change in luminance of a pixel in the vicinity of the target pixel detected by the detecting means By detecting whether the pattern is a predetermined pattern , The brightness in the horizontal direction around the pixel of interest Arc And generating means for generating class information indicating the class to which the pixel of interest belongs, and a coefficient predetermined for each class are stored, corresponding to the class information generated by the generating means Coefficient storage means for outputting coefficients, second extraction means for extracting a plurality of second pixel signals from the first image signal, second pixel signals extracted by the second extraction means, and coefficients And a first signal conversion unit that converts the pixel of interest, which is the first image signal, into a second image signal by calculation with the coefficient output from the storage unit.
[0016]
The detecting means may detect information relating to a change in luminance of the pixels in the vicinity of the target pixel by obtaining correlations between pixel values of the plurality of pixels in the vicinity of the target pixel and a plurality of predetermined basic waveforms. it can.
[0017]
The first image signal may be a composite signal, and the second image signal may be a component signal.
[0018]
Display means for displaying the second image signal converted by the first signal conversion means can be further provided.
[0019]
Acquisition means for acquiring data including an image signal, and second signal conversion means for converting at least a part of the data acquired by the acquisition means into a first image signal that can be processed by the first extraction means. Can be further provided.
[0020]
The image processing method of the present invention includes a first extraction step for extracting a plurality of first pixel signals corresponding to a pixel of interest from a first image signal, and a plurality of extractions performed by the processing of the first extraction step. A detection step for detecting information on a change in luminance of a pixel in the vicinity of the target pixel based on the first pixel signal, and information on a change in luminance of a pixel in the vicinity of the target pixel detected by the processing of the detection step By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc Generated from the generation step of generating the class information indicating the class to which the pixel of interest belongs and the coefficient stored in advance for each class. Extracted by the coefficient output control step for controlling the output of the coefficient corresponding to the class information, the second extraction step for extracting a plurality of second pixel signals from the first image signal, and the processing of the second extraction step A signal conversion step of converting the pixel of interest, which is the first image signal, into a second image signal by calculating the second pixel signal thus generated and the coefficient whose output is controlled by the processing of the coefficient output control step; It is characterized by including.
[0021]
The program recorded on the first recording medium of the present invention includes a first extraction step for extracting a plurality of first pixel signals corresponding to the target pixel from the first image signal, and a first extraction step. Based on the plurality of first pixel signals extracted by the above process, a detection step for detecting information on changes in luminance of pixels in the vicinity of the target pixel, and a pixel in the vicinity of the target pixel detected by the processing in the detection step Information about changes in brightness By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc Generated from the generation step of generating the class information indicating the class to which the pixel of interest belongs and the coefficient stored in advance for each class. Extracted by the coefficient output control step for controlling the output of the coefficient corresponding to the class information, the second extraction step for extracting a plurality of second pixel signals from the first image signal, and the processing of the second extraction step A signal conversion step of converting the pixel of interest, which is the first image signal, into a second image signal by calculating the second pixel signal thus generated and the coefficient whose output is controlled by the processing of the coefficient output control step; It is characterized by including.
[0022]
The first program of the present invention is extracted from the first image signal by the first extraction step of extracting a plurality of first pixel signals corresponding to the target pixel and the processing of the first extraction step. Based on a plurality of first pixel signals, a detection step for detecting information on changes in luminance of pixels near the pixel of interest, and information on changes in luminance of pixels near the pixel of interest detected by the processing of the detection step By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc Generated from the generation step of generating the class information indicating the class to which the pixel of interest belongs and the coefficient stored in advance for each class. Extracted by the coefficient output control step for controlling the output of the coefficient corresponding to the class information, the second extraction step for extracting a plurality of second pixel signals from the first image signal, and the processing of the second extraction step A signal conversion step of converting the pixel of interest, which is the first image signal, into a second image signal by calculating the second pixel signal thus generated and the coefficient whose output is controlled by the processing of the coefficient output control step; It is characterized by including.
[0023]
The coefficient calculation apparatus according to the present invention includes an image signal generation unit configured to generate a second image signal from the input first image signal, and a plurality of first positions at a plurality of pixel positions corresponding to the target pixel from the second image signal. 1st extraction means for extracting one pixel signal, and detection for detecting information on a change in luminance of a pixel in the vicinity of the pixel of interest based on a plurality of first pixel signals extracted by the first extraction means And information on changes in luminance of pixels in the vicinity of the target pixel detected by the detecting means By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc And generating means for generating class information indicating a class to which the pixel of interest belongs, and second extracting means for extracting a plurality of second pixel signals from the second image signal; And calculating means for calculating a coefficient corresponding to the class based on the second pixel signal extracted by the second extracting means and the input first image signal.
[0024]
The detecting means may detect information relating to a change in luminance of the pixels in the vicinity of the target pixel by obtaining correlations between pixel values of the plurality of pixels in the vicinity of the target pixel and a plurality of predetermined basic waveforms. it can.
[0025]
The first image signal may be a component signal, and the second image signal may be a composite signal.
[0026]
A storage means for storing the coefficient calculated by the calculation means can be further provided.
[0027]
The coefficient calculation method of the present invention includes an image signal generation step for generating a second image signal from the input first image signal, and a plurality of first pixel signals corresponding to the pixel of interest from the second image signal. A first extraction step for extracting the information, and a detection step for detecting information on a change in luminance of a pixel in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step; , Information on changes in luminance of pixels in the vicinity of the target pixel detected by the detection step process By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc A generation step for detecting whether or not the target pixel belongs to, and a second extraction step for extracting a plurality of second pixel signals from the second image signal; A calculation step of calculating a coefficient corresponding to the class based on the second pixel signal extracted by the processing of the second extraction step and the input first image signal. .
[0028]
The program recorded on the second recording medium of the present invention corresponds to the target pixel from the image signal generation step for generating the second image signal from the input first image signal and the second image signal. A first extraction step for extracting the plurality of first pixel signals, and a change in luminance of pixels in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step. A detection step for detecting information related to information and information relating to changes in luminance of pixels in the vicinity of the target pixel detected by the processing of the detection step By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc A generation step for detecting whether or not the target pixel belongs to, and a second extraction step for extracting a plurality of second pixel signals from the second image signal; A calculation step of calculating a coefficient corresponding to the class based on the second pixel signal extracted by the processing of the second extraction step and the input first image signal. .
[0029]
The second program of the present invention includes an image signal generation step for generating a second image signal from the input first image signal, and a plurality of first pixels corresponding to the pixel of interest from the second image signal. A first extraction step for extracting a signal, and a detection step for detecting information on a change in luminance of a pixel in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step. And information on changes in luminance of pixels in the vicinity of the target pixel detected by the processing of the detection step By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc A generation step for detecting whether or not the target pixel belongs to, and a second extraction step for extracting a plurality of second pixel signals from the second image signal; A calculation step of calculating a coefficient corresponding to the class based on the second pixel signal extracted by the processing of the second extraction step and the input first image signal. .
[0030]
In the image processing apparatus, the image processing method, and the first program of the present invention, a plurality of first pixel signals corresponding to the pixel of interest are extracted from the first image signal, and a plurality of first pixel signals are extracted. Based on the above, information on the luminance change of the pixels near the target pixel is detected, and information on the luminance change of the pixels near the target pixel is detected. By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc Is detected, class information indicating the class to which the pixel of interest belongs is generated, and among coefficients stored in advance for each class, a coefficient corresponding to the class information is output, A plurality of second pixel signals are extracted from the first image signal, and the pixel of interest, which is the first image signal, is converted into the second image signal by calculating the second pixel signal and the coefficient. .
[0031]
In the coefficient calculation apparatus, the coefficient calculation method, and the second program of the present invention, a second image signal is generated from the input first image signal, and a plurality of pixels corresponding to the pixel of interest are generated from the second image signal. The first pixel signal is extracted, information on the luminance change of the pixel in the vicinity of the target pixel is detected based on the plurality of first pixel signals, and the information on the luminance change of the pixel in the vicinity of the target pixel is detected. By detecting whether the pattern is a predetermined pattern , In the horizontal direction around the pixel of interest Arc Is detected, class information indicating a class to which the target pixel belongs is generated, a plurality of second pixel signals are extracted from the second image signal, the second pixel signal, and Based on the first image signal, a coefficient corresponding to the class is calculated.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0033]
FIG. 3 is a block diagram showing a configuration of a television receiver 41 to which the present invention is applied. 3, parts corresponding to those in FIGS. 1 and 2 are denoted by the same reference numerals, and description thereof will be omitted as appropriate.
[0034]
That is, in the configuration of FIG. 3, A / D (Analog / Digital) conversion is performed between the VIF processing unit 13 and the matrix processing unit 16 instead of the Y / C separation unit 14 and the chroma demodulation unit 15 of FIG. A unit 51 and a class classification adaptive processing unit 52 are provided.
[0035]
The A / D conversion unit 51 converts the NTSC composite video signal composed of the analog signal input from the VIF processing unit 13 into a digital signal and outputs the digital signal to the class classification adaptation processing unit 52. The class classification adaptive processing unit 52 receives the luminance signal Y, the color difference signal RY, and the color difference signal from the NTSC composite video signal input from the A / D conversion unit 51 and converted into a digital signal. A component signal composed of a BY signal is generated by class classification adaptive processing. A prediction coefficient for predicting and generating a component signal from a composite video signal is an NTSC composite video signal created by using a component signal as a teacher image and NTSC modulation of the component signal by a coefficient calculation device 81 described later with reference to FIG. Is generated by learning with the student image. Then, the class classification adaptation processing unit 52 uses the prediction coefficient and performs mapping (prediction calculation processing) to generate a component signal.
[0036]
FIG. 4 is a block diagram showing a more detailed configuration of the class classification adaptation processing unit 52. The NTSC composite video signal input from the A / D conversion unit 51 is supplied to the region extraction unit 61 and the region extraction unit 65. The area extraction unit 61 extracts a pixel (class tap) at a pixel position corresponding to a pixel of interest necessary for class classification from the composite video signal converted into the input digital signal, and the pattern detection unit 62 Output to.
[0037]
The pattern detection unit 62 detects the composite video signal pattern based on the input class tap. Specifically, the pattern detection unit 62 displays a plurality of calculation value patterns indicating the change in the luminance of the composite video signal necessary for detecting whether or not the target pixel has a sharp luminance change in the horizontal direction. It is determined and output to the class code determination unit 63.
[0038]
The class code determination unit 63 determines a class code indicating whether or not there is a sharp luminance change in the horizontal direction in the vicinity of the target pixel, based on the pattern (a plurality of calculation values) detected by the pattern detection unit 62. And output to the coefficient memory 64 and the region extraction unit 65. The coefficient memory 64 stores the prediction coefficient for each class obtained by learning in advance, reads the prediction coefficient corresponding to the class code input from the class code determination unit 63, and outputs the prediction coefficient to the prediction calculation unit 66. Note that the learning process for obtaining the prediction coefficient stored in the coefficient memory 64 will be described later with reference to FIGS. 13 and 14.
[0039]
The region extraction unit 65 corresponds to the target pixel necessary for predictively generating a component signal from the composite video signal input from the A / D conversion unit 51 based on the class code input from the class code determination unit 63. The pixel (prediction tap) at the selected pixel position is extracted and output to the prediction calculation unit 66. The prediction calculation unit 66 multiplies the prediction tap input from the region extraction unit 65 by the prediction coefficient input from the coefficient memory 64 to generate a luminance signal Y that is one of the component signals.
[0040]
More specifically, the coefficient memory 64 outputs a prediction coefficient corresponding to the class code supplied from the class code determination unit 63 to the prediction calculation unit 66. The prediction calculation unit 66 uses the prediction tap extracted from the NTSC composite video signal supplied from the region extraction unit 65 and the prediction coefficient supplied from the coefficient memory 64 as shown in the following equation (1). A component signal is obtained (predicted and estimated) by executing a product-sum operation.
[0041]
y = w1 * x1 + w2 * x2 ++ ... + wn * xn (1)
[0042]
Here, y is a pixel of interest. In addition, x1,..., Xn are each prediction tap, and w1,.
[0043]
In addition, although illustration is abbreviate | omitted, the circuit for producing | generating the color difference signal RY and the color difference signal BY among component signals is each comprised similarly. The configuration of the circuit for generating the color difference signal RY or the color difference signal BY is the same as that shown in FIG. 4, and in the case shown in FIG. 4, the luminance signal Y is generated. When the color difference signal RY or the color difference signal BY is generated while the prediction coefficient is stored in the coefficient memory 64, the color difference signal RY or the color difference signal BY is generated. The prediction coefficient is stored in the coefficient memory 64 and is used for determining each class code.
[0044]
Next, a display process in which the television receiver 41 shown in FIG. 3 converts the composite video signal into a component signal and displays it on the display unit 17 will be described with reference to the flowchart of FIG.
[0045]
In step S 1, the tuner 12 receives a signal of a predetermined frequency via the antenna 11, demodulates it, generates a video intermediate frequency signal, and outputs it to the VIF processing unit 13.
[0046]
In step S 2, the VIF processing unit 13 demodulates the input video intermediate frequency signal, generates an NTSC composite signal, and outputs the composite signal to the A / D conversion unit 51.
[0047]
In step S 3, the A / D conversion unit 51 converts the input composite signal from an analog signal to a digital signal, and outputs the converted signal to the class classification adaptation processing unit 52.
[0048]
In step S4, the region extraction unit 61 of the class classification adaptation processing unit 52 extracts class taps.
[0049]
The class tap extraction will be described in more detail. FIG. 6 is a diagram showing the phase of the chroma signal when the NTSC signal is sampled at a sampling frequency (4 fsc) that is four times the color subcarrier frequency fsc. Since the NTSC television signal is multiplexed by balanced modulation of the chroma signal C and the luminance signal Y, the phase of the chroma signal differs depending on the sampling point of the composite signal.
[0050]
An NTSC composite signal is composed of a signal obtained by adding or subtracting an I signal or a Q signal to a luminance signal Y, and thereby four phases of Y + I, Y + Q, Y-I, and Y-Q. The phase angles of these signals differ by 90 degrees. When the pixel of interest is a signal (Y + I) obtained by adding the I signal to the luminance signal Y, four-phase signals of Y + I, Y + Q, Y-I, and Y-Q are transmitted to the pixel of interest. , Respectively, have a phase angle of 0 degree, 90 degrees, 180 degrees, and 270 degrees.
[0051]
In FIG. 6, the cross mark (pixel located in the center of the field) of each field indicates the position of the pixel of interest. Further, in the figure, when a signal with a phase angle of 0 degree is used with reference to a white circle, a black square is a signal with a pixel at a corresponding position having a phase angle of 90 degrees with respect to a reference white circle pixel. The black circle indicates that the pixel at the corresponding position is a signal having a phase angle of 180 degrees with respect to the reference white circle pixel, and the white square indicates that the pixel at the corresponding position is the reference This indicates that the signal has a phase angle of 270 degrees with respect to the white circle pixels. A composite video signal as shown in FIG. 6 is input to the region extraction unit 61.
[0052]
The display method of the phase angle of each pixel is the same in the following.
[0053]
A pixel extracted as a class tap will be described with reference to FIG. In FIG. 7, the horizontal line in the figure is the horizontal scanning direction, and a line a (−2_Line) that is a line two lines before (above) the pixel of interest is shown at the top in the figure. Line b (−1_Line) that is one line before (above) the target pixel, line c (0_Line) that includes the target pixel, and line d (+ 1_Line) that is one line after the target pixel (lower) ) And a line e (+ 2_Line) that is two lines after (below) the pixel of interest. Hereinafter, each pixel is indicated as aX, bX, cX, dX, or eX (X = 0, 1,..., 9, A) by a line and a number indicating a position on the line. .
[0054]
As illustrated in FIG. 7, the region extraction unit 61 uses the class tap as a class tap of the target pixel c5 (the pixel indicated by the cross mark, which is located fifth from the left in the horizontal line of c (0_line) in the drawing). Extract surrounding pixels. The region extraction unit 61 is represented by pixels a2 to a7 shown in a range E-1 in the drawing, pixels c1 to c9 shown in a range E-2 in the drawing, and a range E-3 in the drawing. The pixels e2 to e7 are extracted as class taps and output to the pattern detection unit 62.
[0055]
In step S5, the pattern detection unit 62 and the class code determination unit 63 execute a class code determination process, which will be described later with reference to FIG. 11, to determine a class code. In these processes, when it is determined that there is a steep luminance change in the horizontal direction near the pixel of interest, the class code 0 is output from the class code determination unit 63, and there is no steep luminance change in the horizontal direction. If determined, class code 1 is output from the class code determination unit 63.
[0056]
In step S6, the coefficient memory 64 generates a prediction coefficient (in the coefficient calculation device 81 described later with reference to FIG. 13 in FIG. 14) based on the class code value determined by the class code determination process executed in step S5. The prediction coefficient corresponding to the supplied class code is read out and output to the prediction calculation unit 66.
[0057]
In step S 7, the region extraction unit 65 extracts a prediction tap from the input composite signal and outputs the prediction tap to the prediction calculation unit 66.
[0058]
That is, as shown in FIG. 8, the region extraction unit 65 includes a total of 7 taps of the same line centered on the pixel of interest, indicated by a range A in the drawing, and 7 taps of each of the preceding and succeeding lines. 21 taps and, if necessary, offset taps are extracted as prediction taps. The offset tap is a predetermined constant (for example, −78), and is used to correct a DC shift occurring between both signals when converting from a composite signal to a component signal.
[0059]
In step S8, the prediction calculation unit 66 uses the prediction coefficient output from the coefficient memory 64 in step S6 and the prediction tap input from the region extraction unit 65 in step S7. A component signal is generated by the calculation of 1) and output to the matrix processing unit 16.
[0060]
In step S 9, the matrix processing unit 16 converts the input component signal into an RGB signal and outputs the RGB signal to the display unit 17.
[0061]
In step S10, it is determined whether or not all pixels have been processed. If it is determined in step S10 that all the pixels have not been processed, the process returns to step S4, and the subsequent processing is repeated. In other words, the processes in steps S4 to S10 are repeated until the signals of all the pixels are processed. If it is determined in step S10 that the process has been performed for all pixels, the process ends.
[0062]
With the process described with reference to FIG. 5, prediction taps can be extracted and prediction calculations can be performed in response to steep changes in luminance in the horizontal direction, so that occurrence of cross colors can be suppressed.
[0063]
The selection of the class tap and the prediction tap is not limited to the examples shown in FIGS. 7 and 8, and is generated from the class tap that can detect a sharp change in luminance in the horizontal direction and the class tap. Other prediction taps may be used as long as they are prediction taps corresponding to the change in luminance indicated by the class code.
[0064]
In the class code determination process executed in step S5 in FIG. 5, a part having a sharp luminance change in the horizontal direction is detected, and a process for reflecting the detection result in the class is executed. Specifically, a predetermined number of pixels arranged horizontally including a pixel at a predetermined position in the vicinity of the target pixel (hereinafter referred to as a temporary target pixel), and the four basic waveforms shown in FIGS. 9A to 9D Based on the correlation, a portion having a sharp luminance change in the horizontal direction is detected.
[0065]
As shown in FIG. 9A, the two left pixels and one left pixel in the horizontal direction of the temporary target pixel have lower luminance values than the temporary right pixel and the right pixel in the horizontal direction of the temporary target pixel. In this case, it is assumed that a value 0 indicating that the temporary target pixel and the neighboring pixels have a correlation with the basic waveform A is obtained by the processing described later. In addition, as shown in FIG. 9B, the pixel two pixels left and one pixel left in the horizontal direction from the temporary target pixel has a luminance value higher than the pixel right one pixel in the horizontal direction from the temporary target pixel and the temporary target pixel. When the value is high, it is assumed that a value 1 indicating that the temporary target pixel and its neighboring pixels have a correlation with the basic waveform B is obtained by the processing described later.
[0066]
Then, as shown in FIG. 9C, the pixel two pixels left in the horizontal direction and the pixel one pixel right in the horizontal direction from the tentative pixel of interest are When the luminance value is high, it is assumed that a value 2 indicating that the temporary target pixel and its neighboring pixels have a correlation with the basic waveform C is obtained by the processing described later. Further, as shown in FIG. 9D, the pixel two pixels left in the horizontal direction and the pixel one pixel right in the horizontal direction from the tentative pixel of interest are When the luminance value is low, it is assumed that a value 3 indicating that the temporary target pixel and its neighboring pixels have a correlation with the basic waveform D is obtained by processing described later.
[0067]
Since the chroma signal is modulated at the color subcarrier frequency fsc, the pattern of the values 0 to 3 determined by the correlation with the basic waveforms A to D is shown in FIG. As shown in 10A, the pattern repeats periodically.
[0068]
On the other hand, in a place where there is a steep luminance change in the horizontal direction, the pattern of values 0 to 3 determined by the correlation with the basic waveforms A to D has at least one value 0, A pattern with a value 3 and at least one value 1 continuous (ie, a waveform that draws an arc of the upper chord) is continuous in the same position in the vertical direction, or at least one value not shown A pattern in which one, one value 2, and at least one value 0 are continuous (that is, a waveform that draws the arc of the lower chord) is a characteristic pattern that is continuous at the same position in the vertical direction.
[0069]
Therefore, in the temporary target pixel near the target pixel, the correlation with the basic waveforms A to D described with reference to FIG. 9 is obtained, and this is characteristic when there is a steep luminance change in the horizontal direction as shown in FIG. 10B. By detecting the pattern that occurs in the image and reflecting the detection result in the class, it is possible to prevent the occurrence of cross color by signal conversion even when there is a steep luminance change in the horizontal direction.
[0070]
With reference to the flowchart of FIG. 11, the class code determination process executed in step S5 of FIG. 5 for detecting a steep luminance change in the horizontal direction by detecting the pattern shown in FIG. 10B described above will be described. .
[0071]
In step S31, the pattern detection unit 62 extracts the temporary target pixel and its surrounding pixels from the class tap.
[0072]
The tentative pixel of interest includes a range F-1 including pixels a4, a5, and a6 included in a range E-1 and pixels c2, c3,... Included in a range E-2 shown in FIG. The pixels in the range F-3 including the pixels e4, e5, and e6 included in the range F-2 including the c7 and c8 and the range E-3. The pattern detection unit 62 extracts a total of four pixels, one pixel on the left, one pixel on the left, and one pixel on the right, in addition to the temporary target pixel, for each temporary target pixel. Then, the following calculation is performed based on these four pixels.
[0073]
In step S 32, the pattern detection unit 62 calculates a calculation value for obtaining a correlation with the basic waveform in the temporary target pixel.
[0074]
For example, in the temporary target pixel a4, the calculation value Ga40 and the calculation value Ga41 for obtaining the correlation with the basic waveform are calculated by the following formulas (2) and (3).
[0075]
Ga40 = a4 + a5-a2-a3 (2)
Ga41 = a2 + a5-a3-a4 (3)
[0076]
Similarly, in other provisional pixels of interest, an arithmetic value for obtaining a correlation with the basic waveform is obtained by Expressions (4) to (27).
[0077]
Ga50 = a5 + a6-a3-a4 (4)
Ga51 = a3 + a6-a4-a5 (5)
Ga60 = a6 + a7-a4-a5 (6)
Ga61 = a4 + a7-a5-a6 (7)
Ge40 = e4 + e5-e2-e3 (8)
Ge41 = e2 + e5-e3-e4 (9)
Ge50 = e5 + e6-e3-e4 (10)
Ge51 = e3 + e6-e4-e5 (11)
Ge60 = e6 + e7-e4-e5 (12)
Ge61 = e4 + e7-e5-e6 (13)
Gc20 = c2 + c3-c0-c1 (14)
Gc21 = c0 + c3-c1-c2 (15)
Gc30 = c3 + c4-c1-c2 (16)
Gc31 = c1 + c4-c2-c3 (17)
Gc40 = c4 + c5-c2-c3 (18)
Gc41 = c2 + c5-c3-c4 (19)
Gc50 = c5 + c6-c3-c4 (20)
Gc51 = c3 + c6-c4-c5 (21)
Gc60 = c6 + c7-c4-c5 (22)
Gc61 = c4 + c7-c5-c6 (23)
Gc70 = c7 + c8-c5-c6 (24)
Gc71 = c5 + c8-c6-c7 (25)
Gc80 = c8 + c9-c6-c7 (26)
Gc81 = c6 + c9-c7-c8 (27)
[0078]
In step S 33, the pattern detection unit 62 obtains the largest value among the two calculated values calculated for each temporary target pixel and the value obtained by multiplying them by (−1).
[0079]
For example, in the calculated value Ga40 and the calculated value Ga41 for obtaining the correlation with the basic waveform calculated by the equations (2) and (3) in the temporary target pixel a4, (Ga40, -Ga40, Ga41, -Ga41) ) Among the four values is determined. The same calculation is performed for the other temporary target pixels.
[0080]
In step S34, the pattern detection unit 62, based on the largest value among the four calculated values obtained in step S33, corresponds to the basic waveform corresponding to the pixel near the tentative target pixel (which has any correlation with any basic waveform). A value indicating whether or not there is).
[0081]
For example, in the temporary target pixel a4, when the largest value among the four values of (Ga40, -Ga40, Ga41, -Ga41) is Ga40, two pixels leftward and one in the horizontal direction from the temporary target pixel Since it can be seen that the luminance value of the left pixel is lower than that of the temporary target pixel and the pixel right by one in the horizontal direction from the temporary target pixel, the basic waveform most correlated in the temporary target pixel a4 is shown in FIG. 9A. Basic waveform A described above. Therefore, a value Ga4 indicating which basic waveform the tentative pixel of interest a4 is correlated with is Ga4 = 0.
[0082]
Further, in the temporary target pixel a4, when the largest value among the four values (Ga40, -Ga40, Ga41, -Ga41) is -Ga40, two pixels leftward in the horizontal direction from the temporary target pixel and 1 Since the left pixel has a higher luminance value than the temporary pixel of interest and the pixel right by one in the horizontal direction from the temporary pixel of interest, the basic waveform most correlated in the temporary pixel of interest a4 is shown in FIG. 9B. The basic waveform B described with reference to FIG. Accordingly, a value Ga4 indicating which basic waveform the provisional pixel of interest a4 is correlated with is Ga4 = 1.
[0083]
In the temporary target pixel a4, when the largest value among the four values (Ga40, -Ga40, Ga41, -Ga41) is Ga41, the pixel two pixels left in the horizontal direction from the temporary target pixel and the temporary target pixel Since it can be seen that the pixel one pixel to the right of the pixel in the horizontal direction has a higher luminance value than the pixel one pixel to the left of the temporary target pixel and the temporary target pixel, the vicinity of the temporary target pixel will be described with reference to FIG. 9C. Assuming that there is a correlation with the basic waveform C, Ga4 = 2 is obtained.
[0084]
Further, in the temporary target pixel a4, when the largest value among the four values (Ga40, -Ga40, Ga41, -Ga41) is -Ga41, the pixel left two pixels in the horizontal direction from the temporary target pixel and the temporary target pixel a4. Since it can be seen that the pixel right one in the horizontal direction from the pixel of interest has a lower luminance value than the pixel one pixel to the left of the temporary pixel of interest and the temporary pixel of interest, the neighborhood of this temporary pixel of interest is shown in FIG. 9D. Assuming that there is a correlation with the basic waveform D described, Ga4 = 3 is obtained.
[0085]
Similarly, by calculating the largest value among the calculated values for obtaining the correlation with the basic waveform and the value obtained by multiplying each calculated value by (−1) for the other tentative pixels of interest, Which of the values Ga5, Ga6,..., Ge5, Ge6 indicating which basic waveform the tentative pixel of interest is correlated with is a value 0, a value 1, a value 2, or a value 3. Is detected.
[0086]
In step S 35, the pattern detection unit 62 determines whether or not the processing has been completed for all temporary target pixels. If it is determined in step S35 that the processing has not been completed for all temporary target pixels, the processing returns to step S31, and the subsequent processing is repeated.
[0087]
If it is determined in step S35 that the processing for all the temporary target pixels has been completed, in step S36, the pattern detection unit 62 displays a pattern (value 0) indicating the correlation between the peripheral pixels corresponding to the target pixel and the basic waveform. , 1, 2, 3) are output to the class code determination unit 63.
[0088]
That is, the pattern detection unit 62 outputs to the class code determination unit 63 the value obtained in step S34 and indicating which basic waveform each tentative pixel of interest has a correlation with.
[0089]
In step S37, the class code determination unit 63 calculates a class code from the pattern indicating the correlation with the basic waveform input in step S36, and the process returns to step S6 in FIG.
[0090]
That is, when the following Expression (28) and Expression (29) are satisfied and any one of Expression (30-1) to Expression (30-16) is satisfied, the target pixel is in the horizontal direction. In this case, the class code is set to class code 0. On the other hand, when Expression (28) or Expression (29) is not satisfied, or when all of Expressions (30-1) to (30-16) are not satisfied, the target pixel has a luminance in the horizontal direction. The class code is class code 1 because is not a location where the value of A is sharply changed. The obtained class code value is output to the coefficient memory 64 and the region extraction unit 65, and the process returns to step S6 in FIG.
[0091]
Ga4 ≠ Gc4 or Ga5 ≠ Gc5 or Ga6 ≠ Gc6 (28)
Ge4 ≠ Gc4 or Ge5 ≠ Gc5 or Ge6 ≠ Gc6 (29)
[0092]
Gc2 = 0 and Gc3 = 0 and Gc4 = 3 and Gc5 = 1 (30-1)
Gc3 = 0 and Gc4 = 0 and Gc5 = 3 and Gc6 = 1 (30-2)
Gc4 = 0 and Gc5 = 0 and Gc6 = 3 and Gc7 = 1 (30-3)
Gc5 = 0 and Gc6 = 0 and Gc7 = 3 and Gc8 = 1 (30-4)
Gc2 = 0, Gc3 = 3, Gc4 = 1 and Gc5 = 1 (30-5)
Gc3 = 0, Gc4 = 3, Gc5 = 1 and Gc6 = 1 (30-6)
Gc4 = 0, Gc5 = 3, Gc6 = 1 and Gc7 = 1 (30-7)
Gc5 = 0, Gc6 = 3, Gc7 = 1 and Gc8 = 1 (30-8)
Gc2 = 1 and Gc3 = 1 and Gc4 = 2 and Gc5 = 0 (30-9)
Gc3 = 1 and Gc4 = 1 and Gc5 = 2 and Gc6 = 0 (30-10)
Gc4 = 1 and Gc5 = 1 and Gc6 = 2 and Gc7 = 0 (30-11)
Gc5 = 1 and Gc6 = 1 and Gc7 = 2 and Gc8 = 0 (30-12)
Gc2 = 1 and Gc3 = 2 and Gc4 = 0 and Gc5 = 0 (30-13)
Gc3 = 1 and Gc4 = 2 and Gc5 = 0 and Gc6 = 0 (30-14)
Gc4 = 1 and Gc5 = 2 and Gc6 = 0 and Gc7 = 0 (30-15)
Gc5 = 1 and Gc6 = 2 and Gc7 = 0 and Gc8 = 0 (30-16)
[0093]
In addition, when any of the above-described formulas (30-1) to (30-4) is satisfied, it indicates which of the basic waveforms obtained near the pixel of interest is correlated. The value pattern is (0031) (pattern that draws the arc of the upper chord), and is obtained in the vicinity of the pixel of interest when any one of the expressions (30-5) to (30-8) is satisfied. A pattern of values indicating which one of the basic waveforms is correlated is (0311) (pattern for drawing an arc of the upper chord), and one of the expressions (30-9) to (30-12) When any one of them is satisfied, a pattern of a value indicating which one of the basic waveforms obtained in the vicinity of the pixel of interest has a correlation is (1120) (pattern that draws the arc of the lower chord), and the expression (30-13) to (30-16) When the deviation or is satisfied, the pattern value indicates whether there is a correlation with any of the waveform of the basic waveform obtained in the vicinity of the target pixel is a (1200) (pattern draw lower chord of the arc).
[0094]
Through the processing described with reference to FIG. 11, the pattern detection unit 62 obtains the correlation with the basic waveforms A to D described with reference to FIG. 9 at the temporary target pixel near the target pixel, as shown in FIG. 10B. A pattern that occurs characteristically when there is a steep luminance change in the horizontal direction is detected, and the class code determination unit 63 determines whether or not there is a steep luminance change in the horizontal direction based on the detection result. The class code to be shown is determined.
[0095]
In addition, here, it has been described that a steep change in luminance in the horizontal direction is detected based on the correlation with the basic waveform at the 13 points of temporary target pixels described with reference to FIG. 12. The present invention is not limited to this, and more pixels may be selected as the temporary target pixels, or the temporary target pixels may be selected in a wider range.
[0096]
Further, the class classification may be performed by using the class classification result detected by the above-described processing in combination with the class classification result by the existing class classification method. As a result, it is possible to convert an image without further deterioration in image quality.
[0097]
Next, the coefficient calculation device 81 for determining the prediction coefficient stored in the coefficient memory 64 will be described with reference to FIG.
[0098]
The NTSC encoder 91 receives input of component signals including a luminance signal Y, a color difference signal RY, and a color difference signal BY as a teacher image, and an NTSC composite video as a student image from the input component signal. A signal is generated and output to the region extraction unit 92 and the region extraction unit 95.
[0099]
The area extraction unit 92 extracts pixels (class taps) necessary for class classification from the input composite video signal, and outputs them to the pattern detection unit 93. The pattern detection unit 93 detects the input class tap pattern and outputs the detection result to the class code determination unit 94. The class code determination unit 94 determines a class code corresponding to the input pattern, and outputs the class code to the region extraction unit 95 and the normal equation generation unit 96.
[0100]
The area extraction unit 95 extracts a prediction tap from the composite video signal input from the NTSC encoder 91 based on the class code input from the class code determination unit 94, and outputs the prediction tap to the normal equation generation unit 96.
[0101]
The region extraction unit 92, the pattern detection unit 93, the class code determination unit 94, and the region extraction unit 95 described above are the region extraction unit 61, the pattern detection unit 62, and the class code determination unit of the class classification adaptive processing unit 52 of FIG. 63 and the area extraction unit 65 have basically the same configuration and function.
[0102]
The normal equation generation unit 96, for all classes input from the class code determination unit 94, for each class, the prediction tap of the student image input from the region extraction unit 95 and the luminance of the component signal as the teacher image A normal equation is generated from the signal Y and output to the coefficient determination unit 97. When the necessary number of normal equations are supplied from the normal equation generation unit 96, the coefficient determination unit 97 solves the normal equations using, for example, the least square method, and the prediction coefficients (w1,..., Wn) described above. ) And the prediction coefficient obtained by the calculation is supplied to the memory 98 and stored therein.
[0103]
Here, the normal equation will be described. In the above equation (1), the prediction coefficients w1,..., Wn are undetermined coefficients before learning. Learning is performed by inputting a plurality of teacher images for each class. When the number of types of teacher images is expressed as m, the following equation (31) is set from equation (1).
[0104]
yk = w1 * xk1 + w2 * xk2 ++ ... + wn * xkn (31)
[0105]
Here, k is k = 1, 2,..., M. When m> n, the prediction coefficients w1,..., wn are not uniquely determined. Therefore, the element ek of the error vector e is defined by the following equation (32), and the prediction coefficient is determined so that the error vector e defined by the equation (33) is minimized. That is, the prediction coefficient is uniquely determined by a so-called least square method.
[0106]
ek = yk− {w1 × xk1 + w2 × xk2 ++... + wn × xkn} (32)
[0107]
[Expression 1]

[0108]
Each prediction coefficient wi that minimizes e ^ 2 (the square of e) in equation (33) is a partial differential of e ^ 2 in equation (33) with the prediction coefficient w i (i = 1, 2,...). Then, it is transformed into the equation (34), and the partial differential value is calculated to be 0 for each value of i.
[0109]
[Expression 2]

[0110]
A specific procedure for determining each prediction coefficient wi from Expression (34) will be described. When defining Xji and Yi as in Expression (35) and Expression (36), Expression (34) is transformed into the determinant of Expression (37).
[0111]
[Equation 3]

[0112]
[Expression 4]

[0113]
[Equation 5]

[0114]
This equation (37) is generally called a normal equation. Here, Xji (j, i = 1, 2,... N) and Yi (i = 1, 2,... N) are calculated based on the teacher image and the student image. That is, the normal equation generation unit 96 calculates the values of Xji and Yi and determines the equation (37) that is a normal equation. Further, the coefficient determining unit 97 determines each prediction coefficient wi by solving the equation (37).
[0115]
Next, the coefficient calculation process executed by the coefficient calculation device 81 in FIG. 13 will be described with reference to the flowchart in FIG.
[0116]
In step S 111, a component signal as a teacher image is input to the NTSC encoder 91 and the normal equation generation unit 96.
[0117]
In step S112, the NTSC encoder 91 generates a student image composed of an NTSC composite signal from the input component signal and outputs the student image to the region extraction unit 92 and the region extraction unit 95.
[0118]
In step S 113, the region extraction unit 92 extracts class taps and outputs them to the pattern detection unit 93 in the same manner as in step S 4 in the flowchart of FIG. 5.
[0119]
In step S114, the pattern detection unit 93 and the class code determination unit 94 execute the same process as the class code determination process described with reference to FIG. And output to the normal equation generation unit 96.
[0120]
In step S 115, the region extracting unit 95 extracts the prediction tap (FIG. 8) of the student image based on the class code input from the class code determining unit 94 and outputs the extracted tap to the normal equation generating unit 96.
[0121]
In step S116, the normal equation generator 96 uses the class code input from the class code determiner 94, the prediction tap input from the region extractor 95, and the component signal input as the teacher image from the above equation ( 37) is generated and output to the coefficient determination unit 97 together with the class code input from the class code determination unit 94.
[0122]
In step S117, it is determined whether or not all pixels have been processed. If it is determined in step S117 that processing has not been performed for all pixels, the processing returns to step S113, and the subsequent processing is repeated. That is, the processes in steps S113 to S117 are repeated until the processing of all pixels is completed.
[0123]
When it is determined in step S117 that all pixels have been processed, in step S118, the coefficient determination unit 97 solves the normal equation of the above equation (37), determines the prediction coefficient, and sets the class code. The data are stored in the memory 98 in association with each other, and the process is terminated.
[0124]
With the above processing, an appropriate prediction coefficient is calculated by detecting whether or not there is a steep luminance change in the horizontal direction around the pixel of interest, so the cross color generated by the conversion processing from the composite signal to the component signal is calculated. A prediction coefficient capable of suppressing the occurrence can be obtained. 13 and 14, the example of setting the prediction coefficient for obtaining the luminance signal Y has been described. However, the prediction coefficients for the color difference signal RY and the color difference signal BY are also obtained in the same manner. be able to.
[0125]
In the above example, component video signals such as the luminance signal Y, the color difference signal RY, and the color difference signal BY are generated from the composite video signal. For example, the television receiver shown in FIG. As shown in FIG. 101, a class classification adaptation processing unit 111 may be provided instead of the class classification adaptation processing unit 52 and the matrix processing unit 16 in FIG. The class classification adaptive processing unit 111 is configured to be able to execute the processing performed by the class classification adaptive processing unit 52 and the matrix processing unit 16 of FIG. 3, and from the composite video signal output from the VIF processing unit 13, the primary color RGB signal Is generated.
[0126]
The configuration of the class classification adaptation processing unit 111 is basically the same as that of the class classification adaptation processing unit 52 described with reference to FIG. However, the prediction coefficient stored in the coefficient memory 64 corresponds to the primary color RGB signal. That is, the student image in the learning process executed by the coefficient calculation device 81 in order to determine the prediction coefficient is the same as in the case of generating the prediction coefficient stored in the coefficient memory 64 of the class classification adaptive processing unit 52 in FIG. Unlike the case of generating a prediction coefficient stored in the coefficient memory 64 of the class classification adaptive processing unit 52 in FIG. 4, the teacher image is determined to be a primary color RGB signal. The prediction coefficient also corresponds to the primary color RGB signal.
[0127]
In the processing described above, the class classification and the calculation of the prediction coefficient are both performed for each phase of the four chroma signals.
[0128]
In the processing described above, the case where the NTSC composite signal is converted into the component signal has been described. However, the present invention can be similarly applied to composite signals other than the NTSC system, such as the PAL system. Is possible.
[0129]
The series of processes described above can be executed by hardware, but can also be executed by software. When a series of processes is executed by software, a program constituting the software may execute various functions by installing a computer incorporated in dedicated hardware or various programs. For example, it is installed from a recording medium in a general-purpose personal computer or the like.
[0130]
FIG. 16 is a block diagram illustrating a configuration of a personal computer 191 that can implement the processing executed by the television receiver 41, the television receiver 101, or the coefficient calculation device 81 by software.
[0131]
The CPU 201 of the personal computer controls the entire operation of the personal computer. When a command is input by a user operation from an input unit 206 such as a keyboard or a mouse via the bus 204 and the input / output interface 205, the CPU 201 stores it in a ROM (Read Only Memory) 202 correspondingly. The loaded program is loaded into a RAM (Random Access Memory) 203 and executed. Alternatively, the CPU 201 loads a program read from the magnetic disk 211, the optical disk 212, the magneto-optical disk 213, or the semiconductor memory 214 connected to the drive 210 and installed in the storage unit 208 to the RAM 203 and executes it. . Further, the CPU 201 controls the communication unit 209 to communicate with the outside and exchange data.
[0132]
As shown in FIG. 16, the recording medium on which the program is recorded is distributed to provide the program to the user separately from the computer, and a magnetic disk 211 (including a flexible disk) on which the program is recorded, An optical disk 212 (including compact disc-read only memory (CD-ROM), DVD (digital versatile disc)), a magneto-optical disk 213 (including MD (mini-disc) (trademark)), or a semiconductor memory 214 In addition to the package medium, it is configured by a ROM 202 in which a program is recorded and a hard disk included in the storage unit 208 provided to the user in a state of being pre-installed in a computer.
[0133]
Further, in the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but may be performed in parallel or It also includes processes that are executed individually.
[0134]
【The invention's effect】
Thus, according to the present invention, a composite video signal can be converted into a component signal. In particular, the horizontal brightness Arcuate By detecting the change and performing classification, cross color can be suppressed.
[0135]
Further, according to another aspect of the present invention, it is possible to calculate a prediction coefficient used when a composite video signal is converted into a component signal. In particular, the horizontal brightness Arcuate By detecting a change and performing classification, a prediction coefficient capable of suppressing cross color can be calculated.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a conventional television receiver.
FIG. 2 is a block diagram showing a configuration of a conventional television receiver.
FIG. 3 is a block diagram illustrating a configuration of a television receiver to which the present invention is applied.
4 is a block diagram showing a more detailed configuration of a class classification adaptation processing unit in FIG. 3; FIG.
FIG. 5 is a flowchart illustrating display processing of the television receiver in FIG. 3;
FIG. 6 is a diagram illustrating the phase of an NTSC signal.
FIG. 7 is a diagram illustrating class taps.
FIG. 8 is a diagram illustrating a prediction tap.
FIG. 9 is a diagram illustrating a basic waveform.
FIG. 10 is a diagram for explaining a pattern in a case where the luminance changes steeply in the horizontal direction.
FIG. 11 is a flowchart for describing class code determination processing;
FIG. 12 is a diagram illustrating a tentative pixel of interest.
FIG. 13 is a block diagram illustrating a configuration of a coefficient calculation device.
FIG. 14 is a flowchart for explaining coefficient calculation processing;
FIG. 15 is a block diagram illustrating another configuration example of a television receiver to which the present invention has been applied.
FIG. 16 is a diagram illustrating a configuration of a personal computer.
[Explanation of symbols]
41 television receiver, 52 class classification adaptive processing unit, 61 region extraction unit, 62 pattern detection unit, 63 class code determination unit, 64 coefficient memory, 65 region extraction unit, 66 prediction calculation unit, 81 coefficient calculation device, 91 NTSC Encoder, 92 region extraction unit, 93 pattern detection unit, 94 class code determination unit, 95 region extraction unit, 96 normal equation generation unit, 97 coefficient determination unit, 98 memory, 101 television receiver, 111 class classification adaptive processing unit

Claims

In an image processing apparatus for converting an input first image signal into a second image signal,
First extraction means for extracting a plurality of first pixel signals corresponding to the pixel of interest from the first image signal;
Detecting means for detecting information on a change in luminance of a pixel in the vicinity of the target pixel based on the plurality of first pixel signals extracted by the first extracting means;
By detecting whether or not the pattern of information relating to the luminance change of the pixels in the vicinity of the target pixel detected by the detection means is a predetermined pattern, the luminance is arcuate in the horizontal direction around the target pixel. Generating means for detecting whether it has changed and generating class information indicating a class to which the pixel of interest belongs;
Coefficient storage means for storing a coefficient predetermined for each class and outputting the coefficient corresponding to the class information generated by the generation means;
Second extraction means for extracting a plurality of second pixel signals from the first image signal;
By calculating the second pixel signal extracted by the second extraction unit and the coefficient output by the coefficient storage unit, the pixel of interest that is the first image signal is converted into the second pixel signal. An image signal processing apparatus comprising: first signal conversion means for converting to an image signal.

The detection means detects information related to a change in luminance of pixels in the vicinity of the target pixel by obtaining correlations between pixel values of the plurality of pixels in the vicinity of the target pixel and a plurality of predetermined basic waveforms. The image signal processing apparatus according to claim 1.

The image signal processing apparatus according to claim 1, wherein the first image signal is a composite signal, and the second image signal is a component signal.

The image signal processing apparatus according to claim 1, further comprising display means for displaying the second image signal converted by the first signal conversion means.

An acquisition means for acquiring data including an image signal;
A second signal converting unit that converts at least a part of the data acquired by the acquiring unit into the first image signal that can be processed by the first extracting unit; The image signal processing apparatus according to claim 1.

In an image processing method of an image processing apparatus for converting an input first image signal into a second image signal,
A first extraction step of extracting a plurality of first pixel signals corresponding to the pixel of interest from the first image signal;
A detection step of detecting information related to a change in luminance of a pixel in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step;
By detecting whether or not the pattern of information relating to the luminance change of the pixels in the vicinity of the target pixel detected by the detection step processing is a predetermined pattern, the luminance in the horizontal direction around the target pixel is an arc shape. A generation step for detecting whether or not the target pixel belongs to, and generating class information indicating a class to which the target pixel belongs;
A coefficient output control step for controlling the output of the coefficient corresponding to the class information generated by the processing of the generation step among the coefficients determined and stored in advance for each class;
A second extraction step of extracting a plurality of second pixel signals from the first image signal;
The target image that is the first image signal is obtained by calculating the second pixel signal extracted by the processing of the second extraction step and the coefficient whose output is controlled by the processing of the coefficient output control step. And a signal conversion step of converting a pixel into the second image signal.

A program for an image processing apparatus that converts an input first image signal into a second image signal,
A first extraction step of extracting a plurality of first pixel signals corresponding to the pixel of interest from the first image signal;
A detection step of detecting information related to a change in luminance of a pixel in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step;
By detecting whether or not the pattern of information relating to the luminance change of the pixels in the vicinity of the target pixel detected by the detection step processing is a predetermined pattern, the luminance in the horizontal direction around the target pixel is an arc shape. A generation step for detecting whether or not the target pixel belongs to, and generating class information indicating a class to which the target pixel belongs;
A coefficient output control step for controlling the output of the coefficient corresponding to the class information generated by the processing of the generation step among the coefficients determined and stored in advance for each class;
A second extraction step of extracting a plurality of second pixel signals from the first image signal;
The target image that is the first image signal is obtained by calculating the second pixel signal extracted by the processing of the second extraction step and the coefficient whose output is controlled by the processing of the coefficient output control step. And a signal conversion step of converting pixels into the second image signal. A recording medium on which a computer-readable program is recorded.

A computer-executable program for controlling an image processing apparatus that converts an input first image signal into a second image signal,
A first extraction step of extracting a plurality of first pixel signals corresponding to the pixel of interest from the first image signal;
A detection step of detecting information related to a change in luminance of a pixel in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step;
By detecting whether or not the pattern of information relating to the luminance change of the pixels in the vicinity of the target pixel detected by the detection step processing is a predetermined pattern, the luminance in the horizontal direction around the target pixel is an arc shape. A generation step for detecting whether or not the target pixel belongs to, and generating class information indicating a class to which the target pixel belongs;
A coefficient output control step for controlling the output of the coefficient corresponding to the class information generated by the processing of the generation step among the coefficients determined and stored in advance for each class;
A second extraction step of extracting a plurality of second pixel signals from the first image signal;
The target image that is the first image signal is obtained by calculating the second pixel signal extracted by the processing of the second extraction step and the coefficient whose output is controlled by the processing of the coefficient output control step. And a signal conversion step of converting a pixel into the second image signal.

In a coefficient calculation device that generates a coefficient used for conversion of an image signal,
Image signal generating means for generating a second image signal from the input first image signal;
First extraction means for extracting a plurality of first pixel signals at a plurality of pixel positions corresponding to the target pixel from the second image signal;
Detecting means for detecting information on a change in luminance of a pixel in the vicinity of the target pixel based on the plurality of first pixel signals extracted by the first extracting means;
By detecting whether or not the information pattern related to the change in luminance of the pixels in the vicinity of the target pixel detected by the detection means is a predetermined pattern, the luminance changes in an arc shape in the horizontal direction around the target pixel. Generating means for detecting whether or not and generating class information indicating a class to which the target pixel belongs;
Second extraction means for extracting a plurality of second pixel signals from the second image signal;
Calculation means for calculating the coefficient corresponding to the class based on the second pixel signal extracted by the second extraction means and the input first image signal. A coefficient calculation device.

The detection means detects information related to a change in luminance of pixels in the vicinity of the target pixel by obtaining correlations between pixel values of the plurality of pixels in the vicinity of the target pixel and a plurality of predetermined basic waveforms. The coefficient calculation apparatus according to claim 9.

The coefficient calculation apparatus according to claim 9, wherein the first image signal is a component signal, and the second image signal is a composite signal.

The coefficient calculation apparatus according to claim 9, further comprising a storage unit that stores the coefficient calculated by the calculation unit.

In the coefficient calculation method of the coefficient calculation device that generates the coefficient used for conversion of the image signal,
An image signal generation step of generating a second image signal from the input first image signal;
A first extraction step of extracting a plurality of first pixel signals corresponding to the pixel of interest from the second image signal;
A detection step of detecting information related to a change in luminance of a pixel in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step;
By detecting whether or not the pattern of information relating to the luminance change of the pixels in the vicinity of the target pixel detected by the detection step processing is a predetermined pattern, the luminance in the horizontal direction around the target pixel is an arc shape. A generation step for detecting whether or not the target pixel belongs to, and generating class information indicating a class to which the target pixel belongs;
A second extraction step of extracting a plurality of second pixel signals from the second image signal;
And calculating a coefficient corresponding to the class based on the second pixel signal extracted by the processing of the second extraction step and the input first image signal. The coefficient calculation method characterized by this.

A program for a coefficient calculation device that generates a coefficient used for conversion of an image signal,
An image signal generation step of generating a second image signal from the input first image signal;
A first extraction step of extracting a plurality of first pixel signals corresponding to the pixel of interest from the second image signal;
A detection step of detecting information related to a change in luminance of a pixel in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step;
By detecting whether or not the pattern of information relating to the luminance change of the pixels in the vicinity of the target pixel detected by the detection step processing is a predetermined pattern, the luminance in the horizontal direction around the target pixel is an arc shape. A generation step for detecting whether or not the target pixel belongs to, and generating class information indicating a class to which the target pixel belongs;
A second extraction step of extracting a plurality of second pixel signals from the second image signal;
And calculating a coefficient corresponding to the class based on the second pixel signal extracted by the processing of the second extraction step and the input first image signal. A recording medium on which a computer-readable program is recorded.

A computer-executable program for controlling a coefficient calculation device that generates a coefficient used for conversion of an image signal,
An image signal generation step of generating a second image signal from the input first image signal;
A first extraction step of extracting a plurality of first pixel signals corresponding to the pixel of interest from the second image signal;
A detection step of detecting information related to a change in luminance of a pixel in the vicinity of the pixel of interest based on the plurality of first pixel signals extracted by the processing of the first extraction step;
By detecting whether or not the pattern of information relating to the luminance change of the pixels in the vicinity of the target pixel detected by the detection step processing is a predetermined pattern, the luminance in the horizontal direction around the target pixel is an arc shape. A generation step for detecting whether or not the target pixel belongs to, and generating class information indicating a class to which the target pixel belongs;
A second extraction step of extracting a plurality of second pixel signals from the second image signal;
And calculating a coefficient corresponding to the class based on the second pixel signal extracted by the processing of the second extraction step and the input first image signal. A program characterized by