JP4623345B2 - 画像処理装置および方法、並びに記録媒体 - Google Patents
画像処理装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4623345B2 JP4623345B2 JP2001026941A JP2001026941A JP4623345B2 JP 4623345 B2 JP4623345 B2 JP 4623345B2 JP 2001026941 A JP2001026941 A JP 2001026941A JP 2001026941 A JP2001026941 A JP 2001026941A JP 4623345 B2 JP4623345 B2 JP 4623345B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- circuit
- class
- tap
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、画像を処理または変換する画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
画像信号を高解像度化等高質化するための技術として、例えば、特開平９−７４５４３号公報および対応する米国特許５９４６０４４号明細書等に開示されたクラス分類適応処理がある。
【０００３】
クラス分類適応処理では、入力画像信号の各注目画素に対して、入力画像信号からクラスタップおよび予測タップを取得し、クラスタップに基づいて注目画素を予め設定したクラスのいずれかに分類し、分類されたクラスに対応して選択される予め各クラス毎に学習により生成された予測係数セットと予測タップとを用いた演算を行うことで、入力画像信号より高質な出力画像信号が生成される。
【０００４】
クラス分類適応処理では、クラスタップや予測タップが画像の有効範囲の外に位置する画素となることがある。ここで、有効範囲の外の画素の画素値は正常な値を有していない可能性が高い。従って、従来のクラス分類適応処理では、クラスタップや予測タップが画像の有効範囲の外に位置する場合には、図１に示すようにマスクをして使用しないようにしていた。
【０００５】
このクラス分類適応処理の一例として、誤り訂正符号などによって訂正することができなかったり、パケットロス等により欠落した画素を周辺の欠落していない画素をクラスタップおよび予測タップとして用いてクラス分類適応処理を行うことで欠落した画素を生成するものがある。
【０００６】
この場合にも図１に示すように、対象となる画素の周辺に位置する画素の画素値を利用したクラス分類適応処理により、その画素値を設定することができる。
【０００７】
従来は、画面全体において、欠落した画素との位置関係が相対的に同様の位置にある画素が利用される、いわゆるタップ構造が同じ処理が実行される。
【０００８】
欠落した画素の周辺に位置する画素が画像の有効範囲の外に位置する場合、設定された画素値は、正常な値を有しない。このため、生成された画像において、このような画像の端部に位置する画素は、図１に示すように、マスクされ、利用されない。
【０００９】
また、従来は、画面上の画素の物理的位置にかかわらず同様の処理が実行されるだけであった。
【００１０】
【発明が解決しようとする課題】
しかしながら、画像がマスクされると、画像のサイズが小さくなり、実質的に、生成される画像の解像度が低下することとなる。また、画素の画面上の位置に対応して処理内容が変化することはなく、画素の画面上の物理的位置にかかわらず同様の処理が実行されるので、高質化があまり図られないことがある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出手段と、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定手段と、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択手段と、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段とを備え、演算手段は、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【００１９】
演算手段は、出力画像信号として、入力画像信号よりノイズの低減された画像信号を出力するようにすることができる。
【００２０】
演算手段は、出力画像信号として、入力画像信号より高解像度の画像信号を出力するようにすることができる。
【００２１】
演算手段は、出力画像信号として、入力画像信号よりレンズの収差による歪みが低減された画像信号を出力するようにすることができる。
【００２２】
本発明の画像処理方法は、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定ステップと、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含み、演算ステップの処理では、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【００２３】
本発明の第１の記録媒体のプログラムは、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定ステップと、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含む画像処理をコンピュータに実行させ、演算ステップの処理では、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【００７２】
本発明の画像処理装置および方法、並びに記録媒体においては、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報が検出され、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスが決定され、位置情報に応じて、前記入力画像信号から複数の画素が予測タップとして選択され、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号が出力され、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値が欠落画素の画素値として設定される。
【００７７】
【発明の実施の形態】
図２は、本発明に係る画像処理装置の一実施の形態の構成を示す図である。有効画素領域算出回路１１は、欠落画素創造回路１２に入力される画像に同期した垂直同期信号、および水平同期信号を基に、欠落画素創造回路１２に入力される画像の画素が有効画素領域に位置するか否かを示す、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを生成して、欠落画素創造回路１２に出力する。以下において、画素は、タップとも称し、画素値は、タップデータとも称する。
【００７８】
欠落画素創造回路１２は、入力された画像および画像の各画素に対応する欠落フラグLF、並びに有効画素領域算出回路１１から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、入力された画像に含まれる欠落画素に対応する画素を創造して、欠落画素を創造した画素に置き換えて出力する。
【００７９】
図３は、有効画素領域算出回路１１の構成の例を示す図である。垂直同期信号検出回路４１は、入力された垂直同期信号を基に、画像の各画素が、画面の垂直方向に有効画素領域内であるか否かを示すデータ（以下、垂直有効画素領域データと称する）を生成して、有効領域算出回路４３に供給する。水平同期信号検出回路４２は、入力された水平同期信号を基に、画像の各画素が、画面の水平方向に有効画素領域内であるか否かを示すデータ（以下、水平有効画素領域データと称する）を生成して、有効領域算出回路４３に供給する。
【００８０】
有効領域算出回路４３は、垂直同期信号検出回路４１から供給された垂直有効画素領域データを補正して、有効画素領域垂直フラグVFとして欠落画素創造回路１２に出力する。
【００８１】
有効画素領域垂直フラグVFは、例えば、図４に示すように、ディスプレイの有効範囲内において、０の値が設定され、ディスプレイの有効範囲外において、１の値が設定される。
【００８２】
有効領域算出回路４３は、水平同期信号検出回路４２から供給された水平有効画素領域データを補正して、有効画素領域水平フラグHFとして欠落画素創造回路１２に出力する。
【００８３】
有効画素領域水平フラグHFは、例えば、図４に示すように、ディスプレイの有効範囲内において、０の値が設定され、ディスプレイの有効範囲外において、１の値が設定される。
【００８４】
欠落画素創造回路１２は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、入力された画像の各画素が有効画素領域内に位置するか否かを知ることができる。
【００８５】
次に、欠落画素創造回路１２について説明する。欠落画素創造回路１２に入力される画像がインターレースであるとき、注目しているフィールドの画素の位置は、注目しているフィールドの１つ前または１つ後のフィールドの画素の位置に対して、垂直方向に1/2ずれた位置にある。
【００８６】
欠落画素創造回路１２は、クラス分類適応処理により、図５に示すように、創造の対象となる画素と同一のフィールド（図中のフィールドｋ）にある周辺の画素の画素値、１つ前のフィールド（図中のフィールドｋ−１）に存在する画素の画素値、並びに２つ前のフィールド（図中のフィールドｋ−２）に存在する画素の画素値を基に、欠落画素の画素値を創造する。
【００８７】
創造の対象となる欠落画素が、画像の端部に位置する場合、図６に示すように、欠落画素創造回路１２は、有効画素領域算出回路１１から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、画像の有効範囲に位置する画素のみ（画像の有効範囲外に位置する画素は切り捨てられる）を選択して、選択した画素を基に欠落画素の画素値を創造する。
【００８８】
創造の対象となる欠落画素が、画像の端部に位置する場合、図７に示すように、欠落画素創造回路１２は、有効画素領域算出回路１１から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、画像の有効範囲に位置する画素を対象としたタップ構造に適応的に切り替えることで、有効な画素をタップとして選択して、欠落画素の画素値を創造するようにしてもよい。
【００８９】
図８は、欠落画素創造回路１２の構成の例を示すブロック図である。欠落画素創造回路１２に入力された画素値および画素の欠落を示す欠落フラグLFは、前処理回路１０１およびタップ構築回路１０２−１に供給される。
【００９０】
有効画素領域算出回路１１から入力された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFは、前処理回路１０１、タップ構築回路１０２−１乃至１０２−５、クラス合成回路１０７、および係数保持クラスコード選択回路１０９に供給される。
【００９１】
前処理回路１０１は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFを設定する。例えば、”１”である欠落フラグLFは、その画素値が欠落していることを示し、”０”である欠落フラグLFは、その画素値が欠落していないことを示す。前処理回路１０１は、画素値および画素に対応する欠落フラグLFを基に、有効画素領域内の欠落している画素の値を線形補間フィルタで生成し、欠落画素にその値を設定し、タップ構築回路１０２−２乃至１０２−５に供給する。すなわち、前処理回路１０１は、画素が欠落しているとき、欠落している画素の数だけ予測タップの数を増やす。
【００９２】
但し、後述するように、クラスタップは、欠落している画素を含まず、クラス分類の処理は、前処理回路１０１により生成された画素値を使用しない。
【００９３】
前処理回路１０１の処理を図９のフローチャートを参照して説明する。ステップＳ１１において、前処理回路１０１は、欠落フラグLFを基に、対象画素が欠落しているか否かを判定し、対象画素が欠落していないと判定された場合、ステップＳ１２に進み、対象画素の画素値を、対象画素に設定し、処理は終了する。
【００９４】
ステップＳ１１において、対象画素が欠落していると判定された場合、ステップＳ１３に進み、前処理回路１０１は、欠落フラグLFを基に、対象画素の水平方向において隣接している２つの画素のいずれかが欠落しているか否かを判定する。ステップＳ１３において、対象画素の水平方向において隣接している２つの画素のいずれも欠落していないと判定された場合、ステップＳ１４に進み、前処理回路１０１は、対象画素の水平方向において隣接している２つの画素の画素値の平均値を対象画素の画素値に設定し、処理は終了する。
【００９５】
ステップＳ１３において、対象画素の水平方向において隣接している２つの画素のいずれかが欠落していると判定された場合、ステップＳ１５に進み、前処理回路１０１は、対象画素の水平方向において隣接している２つの画素のいずれも欠落しているか否かを判定する。ステップＳ１５において、対象画素の水平方向において隣接している２つの画素のいずれかが欠落していないと判定された場合、ステップＳ１６に進み、前処理回路１０１は、対象画素の水平に隣接している、欠落していない画素の画素値を対象画素の画素値に設定し、処理は終了する。
【００９６】
ステップＳ１５において、対象画素の水平に隣接している画素のいずれも欠落していると判定された場合、ステップＳ１７に進み、前処理回路１０１は、欠落フラグLFを基に、対象画素の垂直方向において隣接している２つの画素のいずれかが欠落しているか否かを判定する。ステップＳ１７において、対象画素の垂直方向において隣接している２つの画素のいずれも欠落していないと判定された場合、ステップＳ１８に進み、前処理回路１０１は、対象画素の垂直に隣接している２つの画素の画素値の平均値を対象画素の画素値に設定し、処理は終了する。
【００９７】
ステップＳ１７において、対象画素の垂直方向において隣接している２つの画素のいずれかが欠落していると判定された場合、ステップＳ１９に進み、前処理回路１０１は、欠落フラグLFを基に、対象画素に隣接している全ての画素が欠落しているか否かを判定する。ステップＳ１９において、対象画素に隣接しているいずれかの画素が欠落していないと判定された場合、ステップＳ２０に進み、前処理回路１０１は、対象画素に隣接している、欠落していない画素の画素値を対象画素の画素値に設定し、処理は終了する。
【００９８】
ステップＳ１９において、対象画素に隣接している全ての画素が欠落していると判定された場合、ステップＳ２１に進み、前処理回路１０１は、対象画素と同じ位置の過去のフレームの画素の画素値を、対象画素の画素値に設定し、処理は終了する。
【００９９】
以上のように、前処理回路１０１は、有効画素領域内の処理の対象画素の画素値を周辺の画素の画素値から線形に補間する。前処理回路１０１による補間処理により、これに続く処理で使用できるタップの範囲を広げることができる。
【０１００】
タップ構築回路１０２−１は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT1として動きクラス生成回路１０３に供給する。タップ構築回路１０２−１は、有効画素領域内の欠落していない画素からなる、動きクラスタップTD1を選択して、選択した動きクラスタップTD1を動きクラス生成回路１０３に供給する。
【０１０１】
動きクラス生成回路１０３は、イニシャライズ回路１１１から供給されたパラメータ、並びにタップ構築回路１０２−１から供給された欠落フラグタップSLFT1および選択された動きクラスタップTD1を基に、動きクラスコードMCCおよび静動フラグSMFを生成し、タップ構築回路１０２−２乃至１０２−５およびクラス合成回路１０７に出力する。動きクラスコードMCCは、動きの量を示す２ビットの情報を有し、静動フラグSMFは、動きの有り無しを１ビットで示す。
【０１０２】
図１０は、動きクラス生成回路１０３の構成を示す図である。タップ構築回路１０２−１から供給された、欠落フラグタップSLFT1および動きクラスタップTD1は、動き検出回路１５１に供給される。動き検出回路１５１は、欠落フラグタップSLFT1および動きクラスタップTD1を基に、動きクラスコードMCCを生成して、出力するとともに、生成した動きクラスコードMCCを静動判定回路１５２に供給する。
【０１０３】
次に、動き検出回路１５１の構成について、図１１のブロック図を参照して説明する。時間アクティビティ算出回路１８１は、タップ構築回路１０２−１から供給された欠落フラグタップSLFT1および動きクラスタップTD1を基に、例えば、欠落していない有効領域内の画素であって、創造の対象画素を中心とした３×３の画素（動きクラスタップTD1に含まれる）と、１つ前のフレームの、欠落していない有効領域内の画素であって、対応する位置の３×３の画素（動きクラスタップTD1に含まれる）との、それぞれの画素値の差の絶対値を加算した時間アクティビティを算出し、動き判定回路１８４に供給する。時間アクティビティ算出回路１８１は、欠落している画素を使用せず、欠落していない画素のみを使用して、時間アクティビティを算出する。
【０１０４】
図１２（Ａ）は、時間アクティビティの算出に使用される、創造の対象画素を中心とした３×３の画素の例を示す図である。図１２（Ａ）において、”エラー”は、欠落画素を示す。図１２（Ｂ）は、図１２（Ａ）に示された画素に対応する、１つ前のフレームの３×３の画素の例を示す図である。図１２（Ａ）および図１２（Ｂ）に示されるＬ１乃至Ｌ３は、それぞれラインを示し、ラインの同一の番号は、垂直方向に同一の位置であることを示す。図１２（Ａ）および図１２（Ｂ）に示されるＨ１乃至Ｈ３は、それぞれ画素の水平方向の位置を示し、その同一の番号は、水平方向に同一の位置であることを示す。
【０１０５】
欠落している画素は使用されないので、図１２（Ａ）および図１２（Ｂ）に示される場合において、時間アクティビティは、式（１）で算出される。
【０１０６】
式（１）において、（）は、画素の画素値を表し、｜｜は、絶対値を求める関数を表し、ｖは、創造の対象画素が存在するフレームの画素の数から、欠落している画素の数を減じた数を表す。
【０１０７】
空間アクティビティ算出回路１８２は、タップ構築回路１０２−１から供給された欠落フラグタップSLFT1および動きクラスタップTD1を基に、例えば、創造の対象画素を中心とした３×３の画素の最大値と最小値との差に１を加算した空間アクティビティを算出し、閾値設定回路１８３に供給する。
【０１０８】
図１３は、空間アクティビティの算出に使用される、創造の対象となる欠落画素を中心とした３×３の画素の例を示す図である。空間アクティビティは、式（２）で算出される。
【０１０９】
空間アクティビティ＝Ｍａｘ（ｑｉ）−Ｍｉｎ（ｑｉ）＋１ （２）
式（２）において、Ｍａｘ（ｑｉ）は、ｑ１乃至ｑ９の画素値の最大値を示す。
Ｍｉｎ（ｑｉ）は、ｑ１乃至ｑ９の画素値の最小値を示す。
【０１１０】
閾値設定回路１８３は、空間アクティビティ算出回路１８２から供給された空間アクティビティを基に、閾値設定回路１８３に予め記憶されている動き判定の閾値を選択し、選択した閾値を動き判定回路１８４に供給する。動き判定回路１８４に供給される動き判定の閾値は、空間アクティビティの値によって、それぞれ異なる値を有する閾値が選択される。
【０１１１】
動き判定回路１８４は、閾値設定回路１８３から供給された動き判定の閾値、および時間アクティビティ算出回路１８１から供給された時間アクティビティから、動きクラスコードMCCを設定し、多数決判定回路１８５、遅延回路１８６、およびセレクタ１８７に供給する。
【０１１２】
図１４は、動き判定の閾値を説明する図である。動き判定の閾値は、空間アクティビティの値によって、異なる値が使用される。空間アクティビティが大きくなれば、大きな値の閾値が使用される。これは、空間アクティビティが大きな画素が、少ない動きを伴う場合、時間アクティビティは、大きな値となることを考慮したものである。
【０１１３】
次に、動き判定回路１８４の動きクラスコードMCCを設定する処理を、図１５のフローチャートを参照して説明する。ステップＳ３１において、動き判定回路１８４は、時間アクティビティが、閾値１以下であるか否かを判定し、時間アクティビティが閾値１以下であると判定された場合、ステップＳ３２に進み、動きクラスコードMCCに０を設定し、処理は終了する。
【０１１４】
ステップＳ３１において、時間アクティビティが閾値１を越えると判定された場合、ステップＳ３３に進み、動き判定回路１８４は、時間アクティビティが、閾値２以下であるか否かを判定し、時間アクティビティが閾値２以下であると判定された場合、ステップＳ３４に進み、動きクラスコードMCCに１を設定し、処理は終了する。
【０１１５】
ステップＳ３３において、時間アクティビティが閾値２を越えると判定された場合、ステップＳ３５に進み、動き判定回路１８４は、時間アクティビティが閾値３以下であるか否かを判定し、時間アクティビティが閾値３以下であると判定された場合、ステップＳ３６に進み、動きクラスコードMCCに２を設定し、処理は終了する。
【０１１６】
ステップＳ３５において、時間アクティビティが閾値３を越えると判定された場合、ステップＳ３７に進み、動き判定回路１８４は、動きクラスコードMCCに３を設定し、処理は終了する。
【０１１７】
以上のように、動き判定回路１８４は、閾値および時間アクティビティを基に、動きクラスコードMCCを設定する。
【０１１８】
多数決判定回路１８５は、複数の画素の動きクラスコードMCCを基に、最終的な、動きクラスコードMCCを設定する。例えば、図１６に示すように、創造の対象画素の周辺の１４個の画素の動きクラスコードMCCを基に、多数決判定回路１８５は、対象画素の動きクラスコードMCCを設定する。
【０１１９】
動き検出回路１５１の動きクラスコードMCCを設定する処理を図１７のフローチャートを参照して説明する。ステップＳ５１において、動き検出回路１５１は、イニシャライズ回路１１１からのパラメータの設定に対応して、多数決判定を実行するか否かを判定し、多数決判定を実行しないと判定された場合、ステップＳ５２に進み、セレクタ１８７は、動き判定回路１８４が出力する注目画素の動きクラスコードMCCを選択して、注目画素の動きクラスコードMCCを最終的な動きクラスコードMCCとして設定し、処理は終了する。
【０１２０】
ステップＳ５１において、多数決判定を実行すると判定された場合、ステップＳ５３に進み、多数決判定回路１８５は、１４個の画素のうち、３の動きクラスコードMCCが設定されている画素の数が、閾値３より大きいか否かを判定し、３の動きクラスコードMCCが設定されている画素の数が、閾値３より大きいと判定された場合、ステップＳ５４に進み、動きクラスコードMCCに３を設定する。セレクタ１８７は、多数決判定回路１８５の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【０１２１】
ステップＳ５３において、３の動きクラスコードMCCが設定されている画素の数が、閾値３以下であると判定された場合、ステップＳ５５に進み、多数決判定回路１８５は、１４個の画素のうち、３の動きクラスコードMCCが設定されている画素の数と２の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値２より大きいか否かを判定し、３の動きクラスコードMCCが設定されている画素の数と２の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値２より大きいと判定された場合、ステップＳ５６に進み、動きクラスコードMCCに２を設定する。セレクタ１８７は、多数決判定回路１８５の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【０１２２】
ステップＳ５５において、３の動きクラスコードMCCが設定されている画素の数と２の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値２以下であると判定された場合、ステップＳ５７に進み、多数決判定回路１８５は、１４個の画素のうち、３の動きクラスコードMCCが設定されている画素の数、２の動きクラスコードMCCが設定されている画素の数、および１の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値１より大きいか否かを判定し、３の動きクラスコードMCCが設定されている画素の数、２の動きクラスコードMCCが設定されている画素の数、および１の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値１より大きいと判定された場合、ステップＳ５８に進み、動きクラスコードMCCに１を設定し、セレクタ１８７は、多数決判定回路１８５の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【０１２３】
ステップＳ５７において、３の動きクラスコードMCCが設定されている画素の数、２の動きクラスコードMCCが設定されている画素の数、および１の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値１以下であると判定された場合、ステップＳ５９に進み、多数決判定回路１８５は、動きクラスコードMCCに０を設定し、セレクタ１８７は、多数決判定回路１８５の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【０１２４】
このように、動き検出回路１５１は、複数の画素の動きクラスコードMCC、並びに予め記憶している閾値を基に、最終的な、動きクラスコードMCCを設定する。
【０１２５】
以上のように、動きクラス生成回路１０３は、複数の画素の画素値から動きクラスコードMCCを設定し、動きクラスコードMCCを静動判定回路１５２および欠落画素創造回路１２に出力する。
【０１２６】
図１０に戻り、静動判定回路１５２は、動きクラスコードMCCを基に、静動フラグSMFを設定し、出力する。例えば、動きクラスコードMCCが０または１のとき、静動フラグSMFは、０に設定され、動きクラスコードMCCが２または３のとき、静動フラグSMFは、１に設定される。
【０１２７】
タップ構築回路１０２−２は、動きクラス生成回路１０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、全てのクラス構造を網羅した全クラス予測タップVET（有効画素領域外の画素を含まない）を選択して、可変タップ選択回路１０８に供給する。
【０１２８】
タップ構築回路１０２−３は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT2としてＤＲクラス生成回路１０４に供給する。タップ構築回路１０２−３は、動きクラス生成回路１０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していないDRクラスタップTD2を選択して、選択したDRクラスタップTD2をＤＲクラス生成回路１０４に供給する。ＤＲクラス生成回路１０４は、タップ構築回路１０２−３から供給された欠落フラグタップSLFT2、およびDRクラスタップTD2を基に、DRクラスタップTD2に含まれる画素であって、欠落していない画素の最大の画素値と最小の画素値との差であるダイナミックレンジに応じて決定されるＤＲクラスコードDRCCを生成して、クラス合成回路１０７に出力する。
【０１２９】
タップ構築回路１０２−４は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT3として空間クラス生成回路１０５に供給する。タップ構築回路１０２−４は、動きクラス生成回路１０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していない空間クラスタップTD3を選択して、選択した空間クラスタップTD3を空間クラス生成回路１０５に供給する。空間クラス生成回路１０５は、タップ構築回路１０２−４から供給された欠落フラグタップSLFT3、および空間クラスタップTD3を基に、画素値パターンに対応する空間クラスコードSCCを生成して、クラス合成回路１０７に出力する。
【０１３０】
タップ構築回路１０２−５は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、欠落フラグLFを選択して、選択された欠落フラグLFを欠落フラグタップSLFT4として欠落クラス生成回路１０６に供給する。欠落クラス生成回路１０６は、タップ構築回路１０２−５から供給された欠落フラグタップSLFT4を基に、欠落クラスコードLCCを生成して、クラス合成回路１０７に出力する。
【０１３１】
クラス合成回路１０７は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、動きクラスコードMCC、静動フラグSMF、ＤＲクラスコードDRCC、空間クラスコードSCC、および欠落クラスコードLCCを、最終的な１つのクラスコードCCに統合して、クラスコードCCを係数保持クラスコード選択回路１０９に出力する。
【０１３２】
係数保持クラスコード選択回路１０９は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHF、イニシャライズ回路１１１から供給された係数セットおよび予測構造、並びにクラス合成回路１０７から供給されたクラスコードCCを基に、予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路１０８に供給するとともに、クラスコードCCを基に係数セットから選択された予測係数Wを推定予測演算回路１１０に出力する。イニシャライズ回路１１１から供給される係数セットは、クラスコードCCにより分類されるクラスに対応して、予め生成され、イニシャライズ回路１１１に記憶されている。
【０１３３】
可変タップ選択回路１０８は、タップ構築回路１０２−２から供給された全クラス予測タップVET、および係数保持クラスコード選択回路１０９から供給された予測タップ選択信号VTを基に、予測タップETを選択して、選択した予測タップETを推定予測演算回路１１０に供給する。例えば、可変タップ選択回路１０８は、全クラス予測タップVETに含まれるタップから、予測タップ選択信号VTにより指定されるタップを選択して、選択されたタップを予測タップETとする。
【０１３４】
推定予測演算回路１１０の積和器１２１は、可変タップ選択回路１０８から供給された予測タップET、および係数保持クラスコード選択回路１０９から供給された予測係数Wを基に、線形推定式を用いて、欠落画素の画素値を算出する。
【０１３５】
なお、推定予測演算回路１１０の積和器１２１は、予測係数Wを基に、非線形推定式を用いて、欠落画素の画素値を算出するようにしてもよい。
【０１３６】
推定予測演算回路１１０のフィルタ１２２は、可変タップ選択回路１０８から供給された予測タップETから、欠落画素の画素値を算出する。
【０１３７】
推定予測演算回路１１０は、イニシャライズ回路１１１から設定された出力モードを基に、フィルタ１２２の出力または積和器１２１の出力を選択して出力し、出力モードに応じた結果を求める。
【０１３８】
このように、欠落画素創造回路１２は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域内の画素から、ダイナミックレンジ、動き、欠落、および画素値パターンなどによるクラス分類をし、欠落画素の周辺の画素値（有効画素領域外の画素の画素値を含まない）を基に、欠落画素値を算出する。
【０１３９】
また、欠落画素創造回路１２は、例えば、推定予測演算回路１１０の出力モードを切り換えて、全ての画素に上記の処理を実行して、入力された画像の画質をアップさせる（例えば、階調の増加（Ｙデータ、Ｕデータ、およびＶデータのビット数の増加）、ノイズの除去、量子化歪みの除去（時間方向の歪みの除去を含む）、４倍密度の解像度の創造など）ことができる。
【０１４０】
更に、創造の対象となる欠落画素が、画像の端部に位置し、予め決められた数以上のタップが欠落していると判定された場合、図２０に示すように、欠落画素創造回路１２は、クラス分類適応処理に代えて、隣接する画素の画素値を基に、線形補間処理を行って、欠落画素の画素値を補間するようにしてもよい。
【０１４１】
また、図２１に示すように、欠落画素創造回路１２は、創造の対象となる欠落画素が画像の端部に位置し、隣接する画素の全てが欠落しているときなどに、予め定めた目立ちにくい色に相当する値（例えば、灰色などに相当する）を欠落画素の画素値として設定するようにしてもよいし、過去のフレームの同じ位置の画素値を設定してもよい。
【０１４２】
図２２は、図２０または図２１に示す処理を実行する、欠落画素創造回路１２の他の構成を示すブロック図である。欠落画素創造回路１２に入力されたデータである画素値および画素の欠落を示す欠落フラグLFは、前処理回路２０１およびタップ構築回路２０２−１に供給される。
【０１４３】
前処理回路２０１は、前処理回路１０１と同様の処理を実行し、入力された画素値および画素の欠落を示す欠落フラグLFを基に、欠落している画素の値を線形補間フィルタで生成し、欠落している画素にその値を設定し、タップ構築回路２０２−２乃至２０２−５に供給する。
【０１４４】
タップ構築回路２０２−１は、選択した画素の欠落フラグLFを欠落フラグタップSLFT1として、動きクラス生成回路２０３に供給する。タップ構築回路２０２−１は、有効画素領域内の欠落していない画素からなる、動きクラスタップTD1を選択して、選択した動きクラスタップTD1を動きクラス生成回路２０３に供給する。
【０１４５】
動きクラス生成回路２０３は、イニシャライズ回路２１１から供給されたパラメータ、並びにタップ構築回路２０２−１から供給された欠落フラグLFおよび選択された動きクラスタップTD1を基に、動きクラスコードMCCおよび静動フラグSMFを生成し、タップ構築回路２０２−２乃至２０２−５およびクラス合成回路２０７に出力する。動きクラスコードMCCは、動きの量を示す２ビットの情報を有し、静動フラグSMFは、動きの有り無しを１ビットで示す。例えば、動きクラスコードMCCが０または１のとき、静動フラグSMFは、０に設定され、動きクラスコードMCCが２または３のとき、静動フラグSMFは、１に設定される。
【０１４６】
タップ構築回路２０２−２は、動きクラス生成回路１０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、全てのクラス構造を網羅した全クラス予測タップVET（有効画素領域外の画素を含まない）を選択して、可変タップ選択回路２０８に供給する。
【０１４７】
タップ構築回路２０２−３は、選択した欠落フラグLFを欠落フラグタップSLFT2としてＤＲクラス生成回路２０４に供給する。タップ構築回路２０２−３は、動きクラス生成回路２０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していないDRクラスタップTD2を選択して、選択したDRクラスタップTD2をＤＲクラス生成回路２０４に供給する。ＤＲクラス生成回路２０４は、タップ構築回路２０２−３から供給された欠落フラグタップSLFT2、およびDRクラスタップTD2を基に、欠落していない画素の最大の画素値と最小の画素値との差であるダイナミックレンジに応じて決定されるＤＲクラスコードDRCCを生成して、クラス合成回路２０７に出力する。
【０１４８】
タップ構築回路２０２−４は、選択した欠落フラグLFを欠落フラグタップSLFT3として空間クラス生成回路２０５に供給する。タップ構築回路２０２−４は、動きクラス生成回路２０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していない空間クラスタップTD3を選択して、選択した空間クラスタップTD3を空間クラス生成回路２０５に供給する。空間クラス生成回路２０５は、タップ構築回路２０２−４から供給された欠落フラグタップSLFT3、および空間クラスタップTD3を基に、画素値パターンに対応する空間クラスコードSCCを生成して、クラス合成回路２０７に出力する。
【０１４９】
タップ構築回路２０２−５は、欠落フラグLFを選択して、選択された欠落フラグLFを欠落フラグタップSLFT4として欠落クラス生成回路２０６に供給する。欠落クラス生成回路２０６は、タップ構築回路２０２−５から供給された欠落フラグタップSLFT4を基に、欠落クラスコードLCCを生成して、クラス合成回路２０７に出力する。
【０１５０】
クラス合成回路２０７は、動きクラスコードMCC、静動フラグSMF、ＤＲクラスコードDRCC、空間クラスコードSCC、および欠落クラスコードLCCを、最終的な１つのクラスコードCCに統合して、クラスコードCCを係数保持クラスコード選択回路２０９に出力する。
【０１５１】
係数保持クラスコード選択回路２０９は、イニシャライズ回路２１１から供給された、予め学習した係数セットおよび予測構造、並びにクラス合成回路２０７から供給されたクラスコードCCを基に、予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路２０８に供給するとともに、係数セットからクラスコードCCを基に選択された予測係数Wを推定予測演算回路２１０に出力する。
【０１５２】
可変タップ選択回路２０８は、タップ構築回路２０２−２から供給された全クラス予測タップVET、および係数保持クラスコード選択回路２０９から供給された予測タップ選択信号VTを基に、予測タップETを選択して、選択した予測タップETを推定予測演算回路２１０に供給する。
【０１５３】
推定予測演算回路２１０は、イニシャライズ回路２１１から設定された出力モードを基に、可変タップ選択回路２０８から供給された予測タップET、および係数保持クラスコード選択回路２０９から供給された予測係数Wを基に、線形推定式を用いて、欠落画素の画素値を算出して、選択回路２１４に出力する。
【０１５４】
推定予測演算回路２１０は、図８の積和器１２１に相当する。
【０１５５】
置換回路２１２は、画素の欠落を示す欠落フラグLFを基に、予め定めた目立ちにくい色に相当する値（例えば、灰色などに相当する）を欠落画素の画素値として設定し、選択回路２１４に供給する。
【０１５６】
線形補間回路２１３は、前処理回路２０１と同様の処理を実行し、入力された画素値および画素の欠落を示す欠落フラグLFを基に、欠落している画素の値を線形補間フィルタで生成し、欠落している画素にその値を設定し、選択回路２１４に供給する。
【０１５７】
置換回路２１２および線形補間回路２１３は、図８のフィルタ１２２に相当する。
【０１５８】
選択回路２１４は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、推定予測演算回路２１０、置換回路２１２、または線形補間回路２１３のいずれかの出力を選択して、欠落画素創造回路１２の出力として出力する。
【０１５９】
このように、欠落画素創造回路１２は、ダイナミックレンジ、動き、欠落、および画素値の変化などによるクラス分類適応処理により、欠落画素の周辺の画素の画素値を基に、欠落画素値を算出するとともに、有効画素領域の端部に位置する欠落画素を補間または置換して出力することができる。
【０１６０】
なお、創造の対象となる欠落画素の画像の端部に対する位置により、欠落画素創造回路１２は、図６および図７並びに図１８乃至図２１を参照して説明した処理を適宜切り換えるようにしてもよい。
【０１６１】
また、クラスタップは、欠落している画素を含まないとして説明したが、クラスタップに、前処理回路１０１により生成された画素値を含めて、クラス分類の処理は、前処理回路１０１により生成された画素値を使用するようにしてもよい。
【０１６２】
以上のように、本発明に係る画像処理装置は、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようになり、例えば、欠落画素の画面上の位置にかかわらず、欠落画素をより誤差が少なく創造できるようになる。
【０１６３】
次に、図２の例で示される例の欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う画像処理装置に利用される係数セットを予め生成するための画像処理装置について説明する。
【０１６４】
図２３は、係数セットを予め生成するための画像処理装置の一実施の形態の構成を示す図である。
【０１６５】
画像処理装置に入力された画像は、ダウンフィルタ３０３および正規方程式演算回路３１０に供給される。
【０１６６】
表示位置算出回路３０１は、画像の各画素の画面中央からの距離を算出して、画像の各画素の画面中央からの距離を示す位置情報をタップ構築回路３０４−１乃至３０４−Ｎに供給する。
【０１６７】
なお、表示位置算出回路３０１は、画像の各画素の画面中央からの距離を示す位置情報を構造切換制御回路３０２に供給するようにしてもよい。
【０１６８】
イニシャライズ回路３１２は、構造切換制御回路３０２に、画像端情報、収差情報、処理モードおよびテロップ位置情報を供給する。
【０１６９】
構造切換制御回路３０２は、処理モードが欠落画素創造を示す時に、画像端情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路３０４−１乃至３０４−Ｎのそれぞれに供給し、処理モードが収差モードを示す時に、収差情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路３０４−１乃至３０４−Ｎのそれぞれに供給し、処理モードがテロップモードを示す時に、テロップ位置情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路３０４−１乃至３０４−Ｎのそれぞれに供給する。
【０１７０】
また、構造切換制御回路３０２は、上記３つの処理モードのうちの複数の処理モードを選択するようにしてもよい。
【０１７１】
以下、収差モードを例に説明する。
【０１７２】
例えば、タップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれは、赤色に対応する信号、緑色に対応する信号、および青色に対応する信号、すなわち、ＲＧＢに対応する信号から構成されている。
【０１７３】
また、構造切換制御回路３０２は、表示位置算出回路３０１から供給された各画素の画面上の物理アドレスから、各画素の画面中央からの距離を算出し、算出された画面中央からの距離、およびイニシャライズ回路３１２から入力された収差情報を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成する。構造切換制御回路３０２は、生成した収差クラスコードCCAをクラス合成回路３０７に供給する。
【０１７４】
構造切換制御回路３０２は、各画素の画面上の物理アドレスと画面中央からの距離との関係を予め記憶し、予め記憶している関係、および表示位置算出回路３０１から供給された各画素の画面上の物理アドレスを基に、各画素の画面中央からの距離を求めるようにしてもよい。
【０１７５】
または、構造切換制御回路３０２は、イニシャライズ回路３１２から入力された収差情報、および表示位置算出回路３０１から供給された画面中央からの距離を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成して、生成した収差クラスコードCCAをクラス合成回路３０７に供給するようにしてもよい。
【０１７６】
例えば、構造切換制御回路３０２は、収差量を量子化して収差クラスコードCCAを生成する。
【０１７７】
ここで、色収差について説明する。
【０１７８】
例えば、図２４に示すように、レンズの光軸に対して、斜めに白色光が入力されたとき、白色光に含まれる青色光の像は、黄色光の像に対して光軸に近い位置に結像し、白色光に含まれる黄色光の像は、青色光の像より光軸から遠い位置であって、赤色光の像より光軸から近い位置に結像し、白色光に含まれる赤色光の像は、黄色光の像より光軸に遠い位置に結像する。このような、青色光の像、黄色光の像、および赤色光の像の結像位置のずれを色収差と称する。色収差が大きいとは、青色光の像、黄色光の像、および赤色光の像の結像位置の距離が長いことをいう。
【０１７９】
色収差の大きさは、画像の位置と画面の中央との距離に対応して増加するので、図２５（Ａ）に示すように、画面の中央を中心とする円の円周上の画素に含まれる色収差の大きさは同一となる。
【０１８０】
これを、画面の中央からの距離と色収差の大きさとの関係をグラフで表すと、図２５（Ｂ）のようになる。すなわち、色収差は、画面の中央からの距離に対して、非線形に増加する。
【０１８１】
ダウンフィルタ３０３は、入力された画像に収差に対応する処理、またはジッタ付加若しくはノイズ付加などの処理を適用して、収差に対応する画素値を有するか、またはジッタが付加されたか、若しくはノイズが付加された画像を、タップ構築回路３０４−１乃至３０４−Ｎに供給する。
【０１８２】
タップ構築回路３０４−１は、表示位置算出回路３０１から供給された位置情報、および構造切換制御回路３０２から供給されたタップ選択信号TS１に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、ダウンフィルタ３０３から供給された画像に含まれる画素を、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1として選択し、選択した動きクラスタップTD1を動きクラス生成回路３０５に供給する。タップ構築回路３０４−１が出力する動きクラスタップTD1は、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから構成される。
【０１８３】
図２６は、タップ構築回路３０４−１における、赤色、緑色、または青色毎のタップ構造を説明する図である。例えば、緑色に対応するタップは、図２６（Ａ）に示すように、注目画素を中心とするタップにより構成される。
【０１８４】
構造切換制御回路３０２は、イニシャライズ回路３１２から入力された収差情報を基に、例えば、図２６（Ｂ）に示すように、緑色を基準とした、赤色および青色についての補正ベクトルを生成し、生成した補正ベクトルを含むタップ選択信号TS１をタップ構築回路３０４−１に供給する。
【０１８５】
例えば、タップ構築回路３０４−１は、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる赤色についての補正ベクトルを基に、注目画素を基準として、赤色についての補正注目画素を選択し、図２６（Ｃ）に示すように、補正注目画素を中心とした赤色に対応するタップを構成する。同様に、タップ構築回路３０４−１は、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる青色についての補正ベクトルを基に、注目画素を基準として、青色についての補正注目画素を選択し、補正注目画素を中心とした青色に対応するタップを構成する。
【０１８６】
なお、注目画素を基準とした、赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを含むようにタップ選択信号TS１を構成し、タップ構築回路３０４−１は、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる赤色についての補正ベクトルを基に、赤色に対応する補正注目画素を中心とした赤色に対応するタップを構成し、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる緑色についての補正ベクトルを基に、緑色に対応する補正注目画素を中心とした緑色に対応するタップを構成し、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる青色についての補正ベクトルを基に、青色に対応する補正注目画素を中心とした青色に対応するタップを構成するようにしてもよい。
【０１８７】
動きクラス生成回路３０５は、パラメータ設定回路３１２から供給されたパラメータ、並びにタップ構築回路３０４−１から供給された動きクラスタップTD1を基に、赤色に対応する動きクラスコード、緑色に対応する動きクラスコード、および青色に対応する動きクラスコードから成る動きクラスコードMCC、および赤色に対応する静動フラグ、緑色に対応する静動フラグ、および青色に対応する静動フラグから成る静動フラグSMFを生成し、タップ構築回路３０４−２乃至３０４−Ｎおよびクラス合成回路３０７に出力する。
【０１８８】
タップ構築回路３０４−２は、動きクラス生成回路３０５から供給された赤色、緑色、および青色ごとの動きクラスコードMCC並びに静動フラグSMF、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路３０２から供給されたタップ選択信号TS2に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る全クラス予測タップVETを選択して、可変タップ選択回路３０８に供給する。
【０１８９】
タップ構築回路３０４−３は、動きクラス生成回路３０５から供給された赤色、緑色、および青色ごとの動きクラスコードMCC並びに赤色、緑色、および青色ごとの静動フラグSMF、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路３０２から供給された赤色、緑色、および青色ごとのタップ選択信号TS3-1に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-1を選択して、選択したクラスタップTD2-1をクラス生成回路３０６−１に供給する。
【０１９０】
クラス生成回路３０６−１は、タップ構築回路３０４−３から供給されたクラスタップTD2-1を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC1を生成して、生成したクラスコードCC1をクラス合成回路３０７に出力する。クラスコードCC1は、例えば、クラスタップTD2-1に含まれる画素の最大の画素値と最小の画素値との差に対応するクラスコードとすることができる。
【０１９１】
タップ構築回路３０４−４乃至３０４−Ｎは、動きクラス生成回路３０５から供給された動きクラスコードMCCおよび静動フラグSMF、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路３０２から供給されたタップ選択信号TS3-2乃至TS3-(N-2)に基づいて、それぞれ、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-2乃至TD2-(N-2)を選択して、選択したクラスタップTD2-2乃至TD2-(N-2)をクラス生成回路３０６−２乃至３０６−（Ｎ−２）のぞれぞれに供給する。
【０１９２】
クラス生成回路３０６−２乃至３０６−（Ｎ−２）は、タップ構築回路３０４−４乃至３０４−Ｎから供給されたクラスタップTD2-2乃至TD2-(N-2)のいずれかを基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC2乃至CC(N-2)のいずれか一つを生成して、生成したクラスコードCC2乃至CC(N-2)をクラス合成回路３０７に出力する。クラスコードCC2乃至CC(N-2)のいずれかは、例えば、画素値パターンに対応するクラスコードとすることができる。
【０１９３】
クラス合成回路３０７は、動きクラスコードMCCに含まれる赤色に対応するクラスコードおよび静動フラグSMFに含まれる赤色に対応する静動フラグを基に、収差クラスコードCCAに含まれる赤色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる赤色に対応するクラスコードを、最終的な１つのクラスコードTCCの赤色に対応するクラスコードに統合する。
【０１９４】
クラス合成回路３０７は、動きクラスコードMCCに含まれる緑色に対応するクラスコードおよび静動フラグSMFに含まれる緑色に対応する静動フラグを基に、収差クラスコードCCAに含まれる緑色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる緑色に対応するクラスコードを、最終的な１つのクラスコードTCCの緑色に対応するクラスコードに統合する。
【０１９５】
クラス合成回路３０７は、動きクラスコードMCCに含まれる青色に対応するクラスコードおよび静動フラグSMFに含まれる青色に対応する静動フラグを基に、収差クラスコードCCAに含まれる青色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる青色に対応するクラスコードを、最終的な１つのクラスコードTCCの青色に対応するクラスコードに統合する。
【０１９６】
クラス合成回路３０７は、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードTCCをクラスコード選択回路３０９に出力する。
【０１９７】
クラスコード選択回路３０９は、クラス合成回路３０７から供給されたクラスコードTCCを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路３０８に供給するとともに、クラスコードTCCを正規方程式演算回路３１０に出力する。
【０１９８】
可変タップ選択回路３０８は、タップ構築回路３０４−２から供給された全クラス予測タップVET、およびクラスコード選択回路３０９から供給された予測タップ選択信号VTを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップETを選択して、選択した予測タップETを正規方程式演算回路３１０に供給する。
【０１９９】
正規方程式演算回路３１０は、可変タップ選択回路３０８から供給された学習データである予測タップET、およびダウンフィルタ３０３から供給された教師データである入力画像を受信すると、それらを用いて、最小自乗法により、誤差を最小する予測係数Wを算出する。予測係数Wは、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る。
【０２００】
ここで、正規方程式演算回路３１０が算出する予測係数Wについて簡単に説明する。
【０２０１】
例えば、いま、元の画像（入力された画像に相当する（以下、適宜、教師データと称する））の画素値ｙの予測値Ｅ［ｙ］を、ダウンフィルタ３０３を通過することによって、ノイズが付加されるか、収差に対応する画素値を有する画像の画素値（以下、適宜、学習データと称する）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０２０２】
【０２０３】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０２０４】
【数１】
で定義すると、次のような観測方程式が成立する。
【０２０５】
ＸＷ＝Ｙ’・・・（４）
【０２０６】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【０２０７】
【数２】
で定義すると、式（４）から、次のような残差方程式が成立する。
【０２０８】
ＸＷ＝Ｙ＋Ｅ・・・（５）
【０２０９】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【０２１０】
【数３】
を最小にすることで求めることができる。
【０２１１】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０２１２】
【数４】
【０２１３】
そこで、まず、式（５）を、予測係数ｗiで微分することにより、次式が成立する。
【０２１４】
【数５】
【０２１５】
式（６）および（７）より、式（８）が得られる。
【０２１６】
【数６】
【０２１７】
さらに、式（５）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（８）から、次のような正規方程式を得ることができる。
【０２１８】
【数７】
【０２１９】
式（９）の正規方程式を解くことで、最適な予測係数ｗを求めることができる。なお、式（９）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０２２０】
即ち、例えば、いま、学習データに含まれる予測タップETの画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数Wをｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師データの、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０２２１】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
そこで、正規方程式演算回路３１０では、同一クラスの予測タップと、対応する教師データの画素とから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（９）に示す正規方程式をたてて解くことにより求められる。
【０２２２】
より具体的には、正規方程式演算回路３１０は、赤色に対応する同一クラスの予測タップと、対応する教師データの赤色の成分とから、赤色に対応する真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする、赤色に対応する予測係数ｗ1，ｗ2，ｗ3，・・・を、正規方程式をたてて解くことにより算出する。
【０２２３】
正規方程式演算回路３１０は、緑色に対応する同一クラスの予測タップと、対応する教師データの緑色の成分とから、緑色に対応する真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする、緑色に対応する予測係数ｗ1，ｗ2，ｗ3，・・・を、正規方程式をたてて解くことにより算出する。
【０２２４】
正規方程式演算回路３１０は、青色に対応する同一クラスの予測タップと、対応する教師データの青色の成分とから、青色に対応する真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする、青色に対応する予測係数ｗ1，ｗ2，ｗ3，・・・を、正規方程式をたてて解くことにより算出する。
【０２２５】
従って、この処理をクラスごとに行うことにより、各クラスごとに、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る予測係数Wが生成される。
【０２２６】
正規方程式演算回路３１０において求められた、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る、クラスごとの予測係数Wは、クラスコードTCCと共に、係数メモリ３１１に供給される。これにより、係数メモリ３１１においては、正規方程式演算回路３１０からの予測係数Wが、クラスコードTCCが示すクラスに対応するアドレスに記憶される。
【０２２７】
このように、図２３に構成を示す画像処理装置は、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う画像処理装置に利用される係数セットを生成することができる。
【０２２８】
なお、図２３に構成を示す画像処理装置は、収差のあるレンズを介して、撮像された画像、および収差のほとんどないレンズを介して、撮像された同じ画像を取得し、収差のあるレンズを介して、撮像された画像を学習データとし、収差のほとんどないレンズを介して、撮像された同じ画像を教師データとして、色収差を考慮した画像処理モードで画像処理を実行する画像処理装置に利用される係数セットを生成するようにしてもよい。
【０２２９】
図２７は、図２３に構成を示す画像処理装置が生成した係数セットを利用する、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う、本発明に係る画像処理装置の一実施の形態の構成を示す図である。
【０２３０】
表示位置算出回路４０１は、入力された画像の各画素の画面中央からの距離を算出して、各画素の画面中央からの距離を示す位置情報をタップ構築回路４０３−１乃至４０３−Ｎに供給する。
【０２３１】
なお、表示位置算出回路４０１は、画像の各画素の画面中央からの距離を示す位置情報を構造切換制御回路４０２に供給するようにしてもよい。
【０２３２】
イニシャライズ回路４１０は、構造切換制御回路４０２に、画像端情報、収差情報、処理モードおよびテロップ位置情報を供給する。
【０２３３】
構造切換制御回路４０２は、処理モードが欠落画素創造を示す時に、画像端情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路４０３−１乃至４０３−Ｎのそれぞれに供給し、処理モードが収差モードを示す時に、収差情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路４０３−１乃至４０３−Ｎのそれぞれに供給し、処理モードがテロップモードを示す時に、テロップ位置情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路４０３−１乃至４０３−Ｎのそれぞれに供給する。
【０２３４】
また、構造切換制御回路４０２は、上記３つの処理モードのうちの複数の処理モードを選択するようにしてもよい。
【０２３５】
以下、収差モードを例に説明する。
【０２３６】
例えば、収差モードのとき、タップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれは、赤色に対応する信号、緑色に対応する信号、および青色に対応する信号、すなわち、ＲＧＢに対応する信号から構成されている。
【０２３７】
また、構造切換制御回路４０２は、イニシャライズ回路４１０から入力された収差情報を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成して、生成した収差クラスコードCCAをクラス合成回路４０７に供給する。
【０２３８】
タップ構築回路４０３−１は、表示位置算出回路４０１から供給された位置情報、および構造切換制御回路４０２から供給されたタップ選択信号TS１に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、前処理回路４０３から供給された画像に含まれる画素を、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1として選択し、選択した動きクラスタップTD1を動きクラス生成回路４０４に供給する。タップ構築回路４０３−１が出力する動きクラスタップTD1は、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから構成される。
【０２３９】
動きクラス生成回路４０４は、イニシャライズ回路４１１から供給されたパラメータ、並びにタップ構築回路４０３−１から供給された動きクラスタップTD1を基に、赤色に対応する動きクラスコード、緑色に対応する動きクラスコード、および青色に対応する動きクラスコードから成る動きクラスコードMCC、並びに赤色に対応する静動フラグ、緑色に対応する静動フラグ、および青色に対応する静動フラグから成る静動フラグSMFを生成し、動きクラスコードMCCおよび静動フラグSMFをタップ構築回路４０３−２乃至４０３−Ｎおよびクラス合成回路４０７に出力する。
【０２４０】
タップ構築回路４０３−２は、動きクラス生成回路４０４から供給された赤色、緑色、および青色ごとの動きクラスコードMCCおよび静動フラグSMF、構造切換制御回路４０２から供給されたタップ選択信号TS2に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る全クラス予測タップVETを選択して、全クラス予測タップVETを可変タップ選択回路４０７に供給する。
【０２４１】
タップ構築回路４０３−３は、動きクラス生成回路４０４から供給された赤色、緑色、および青色ごとの動きクラスコードMCC、赤色、緑色、および青色ごとの静動フラグSMF、並びに構造切換制御回路４０２から供給された赤色、緑色、および青色ごとのタップ選択信号TS3-1に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-1を選択して、選択したクラスタップTD2-1をクラス生成回路４０５−１に供給する。
【０２４２】
クラス生成回路４０５−１は、タップ構築回路４０３−３から供給されたクラスタップTD2-1を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC1を生成して、生成したクラスコードCC1をクラス合成回路４０６に出力する。クラスコードCC1は、クラスタップTD2-1に含まれる画素の最大の画素値と最小の画素値との差に対応するコードとすることができる。
【０２４３】
タップ構築回路４０３−４乃至４０３−Ｎのそれぞれは、動きクラス生成回路４０４から供給された動きクラスコードMCCおよび静動フラグSMF、構造切換制御回路４０２から供給されたタップ選択信号TS3-2乃至TS3-(N-2)のいずれかに基づいて、それぞれ、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-2乃至TD2-(N-2)のいずれか１つを選択して、選択したクラスタップTD2-2乃至TD2-(N-2)のいずれかをクラス生成回路４０５−２乃至４０５−（Ｎ−２）のぞれぞれに供給する。
【０２４４】
クラス生成回路４０５−２乃至４０５−（Ｎ−２）のそれぞれは、タップ構築回路４０３−４乃至４０３−Ｎのいずれかから供給されたクラスタップTD2-2乃至TD2-(N-2)のいずれかを基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC2乃至CC(N-2)のいずれか一つを生成して、生成したクラスコードCC2乃至CC(N-2)をクラス合成回路４０６に出力する。クラスコードCC2は、例えば、画素値パターンに対応するクラスコードとすることができる。
【０２４５】
クラス合成回路４０６は、動きクラスコードMCCに含まれる赤色に対応するクラスコードおよび静動フラグSMFに含まれる赤色に対応する静動フラグを基に、収差クラスコードCCAに含まれる赤色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる赤色に対応するクラスコードを、最終的な１つのクラスコードTCCの赤色に対応するクラスコードに統合する。
【０２４６】
クラス合成回路４０６は、動きクラスコードMCCに含まれる緑色に対応するクラスコードおよび静動フラグSMFに含まれる緑色に対応する静動フラグを基に、収差クラスコードCCAに含まれる緑色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる緑色に対応するクラスコードを、最終的な１つのクラスコードTCCの緑色に対応するクラスコードに統合する。
【０２４７】
クラス合成回路４０６は、動きクラスコードMCCに含まれる青色に対応するクラスコードおよび静動フラグSMFに含まれる青色に対応する静動フラグを基に、収差クラスコードCCAに含まれる青色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる青色に対応するクラスコードを、最終的な１つのクラスコードTCCの青色に対応するクラスコードに統合する。
【０２４８】
クラス合成回路４０６は、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードTCCを係数保持クラスコード選択回路４０８に出力する。
【０２４９】
係数保持クラスコード選択回路４０８は、イニシャライズ回路４１０から供給されたクラスコードTCCに対応する予測タップ選択信号VTおよび係数セットを予め記憶している。
【０２５０】
係数保持クラスコード選択回路４０８は、クラス合成回路４０６から供給されたクラスコードTCCを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路４０７に供給するとともに、クラスコードTCCに含まれる赤色のクラスコードに対応する予測係数、クラスコードTCCに含まれる緑色のクラスコードに対応する予測係数、およびクラスコードTCCに含まれる青色のクラスコードに対応する予測係数から成る予測係数Wを推定予測演算回路４０９に出力する。
【０２５１】
可変タップ選択回路４０７は、タップ構築回路４０３−２から供給された全クラス予測タップVET、および係数保持クラスコード選択回路４０８から供給された予測タップ選択信号VTを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップETを選択して、選択した予測タップETを推定予測演算回路４０９に供給する。
【０２５２】
推定予測演算回路４０９の積和器４２１は、可変タップ選択回路４０７から供給された予測タップETに含まれる赤色に対応するタップ、および係数保持クラスコード選択回路４０８から供給された予測係数Wに含まれる赤色に対応する予測係数を基に、線形推定式を用いて、画素値の赤色の成分を算出する。
【０２５３】
推定予測演算回路４０９の積和器４２１は、可変タップ選択回路４０７から供給された予測タップETに含まれる緑色に対応するタップ、および係数保持クラスコード選択回路４０８から供給された予測係数Wに含まれる緑色に対応する予測係数を基に、線形推定式を用いて、画素値の緑色の成分を算出する。
【０２５４】
推定予測演算回路４０９の積和器４２１は、可変タップ選択回路４０７から供給された予測タップETに含まれる青色に対応するタップ、および係数保持クラスコード選択回路４０８から供給された予測係数Wに含まれる青色に対応する予測係数を基に、線形推定式を用いて、画素値の青色の成分を算出する。
【０２５５】
なお、推定予測演算回路４０９の積和器４２１は、予測係数Wを基に、非線形推定式を用いて、欠落画素の画素値を算出するようにしてもよい。
【０２５６】
このように、図２７に構成を示す画像処理装置は、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に実行することができ、従来に比較して、より鮮明な画像を得ることができるようになる。
【０２５７】
図２８に示すフローチャートを参照して、図２３に構成を示す画像処理装置における、収差モードにおける、色収差に対応したタップの切換の処理を説明する。ステップＳ１０１において、構造切換制御回路３０２は、イニシャライズ回路３１２から供給された収差情報を取得する。
【０２５８】
ステップＳ１０２において、構造切換制御回路３０２は、注目画素を選択する。ステップＳ１０３において、表示位置算出回路３０１は、注目画素と画面中央との相対距離を求める。ステップＳ１０４において、構造切換制御回路３０２は、赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを生成して、補正ベクトルを含むタップ選択信号TS１をタップ構築回路３０４−１に供給し、補正ベクトルを含むタップ選択信号TS2をタップ構築回路３０４−２に供給し、補正ベクトルを含むタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれをタップ構築回路３０４−３乃至３０４−Ｎのそれぞれに供給する。
【０２５９】
ステップＳ１０５において、タップ構築回路３０４−１は、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1を選択する。タップ構築回路３０４−２は、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応する全クラス予測タップVETを選択する。タップ構築回路３０４−３乃至３０４−Ｎのそれぞれは、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応するDRクラスタップTD2-1乃至TD2-(N-2)を選択する。
【０２６０】
ステップＳ１０６において、画像処理装置は、全ての画素について処理を終了したか否かを判定し、全ての画素について処理を終了していないと判定された場合、ステップＳ１０２に戻り、タップの切換の処理を繰り返す。
【０２６１】
ステップＳ１０６において、全ての画素について処理を終了したと判定された場合、処理は終了する。
【０２６２】
このように、図２３に構成を示す画像処理装置は、収差モードにおいて、収差を考慮し、画面位置に対応してタップを切り換えることができる。
【０２６３】
図２７に構成を示す画像処理装置は、収差モードにおいて、図２８に示すフローチャートを参照して説明した処理と同様の処理で画面位置に対応してタップを切り換えるので、その説明は省略する。
【０２６４】
次に、図２３に構成を示す画像処理装置、および図２７に構成を示す画像処理装置が実行する他の処理について説明する。
【０２６５】
図２３の画像処理装置の構造切換制御回路３０２は、イニシャライズ回路３１２からテロップモードが指定されたとき、テロップを表示するテロップ表示領域を示すテロップ位置情報を取得する。テロップ位置情報は、例えば、上の３０ライン、下の５０ライン、または右側１００画素などテロップ表示領域の位置と広さとを示す。
【０２６６】
構造切換制御回路３０２は、入力された画像からテロップ表示領域を示すデータを取得するようにしてもよい。
【０２６７】
図２９は、テロップ等が表示されている画面の例を示す図である。図２９（Ａ）に示す例において、画像表示領域の上および下のテロップ表示領域には、例えば、画像と共に、対応する文字が表示される。テロップ表示領域の画像の信号特性は、平坦部とエッジ部とを大量に含んでいるため、自然画等の画像の信号特性と異なる。
【０２６８】
図２９（Ｂ）に示す例において、画像表示領域の下のテロップ表示領域に表示される文字は、画像上を、画面の右側から左側に向かって流れるように表示される。
【０２６９】
図２９（Ｃ）に示す例において、画面の右半分のテロップ表示領域に表示される文字は、画像上を、画面の上側から下側に向かって流れるように表示される。
【０２７０】
図２９（Ｄ）に示す例において、画像表示領域の４方を囲む、枠画像表示領域には、例えば、コンピュータグラフィクスにより生成された画像が表示される。
【０２７１】
以下、テロップモードにおける、図２３の画像処理装置の動作の例を説明する。
【０２７２】
表示位置算出回路３０１は、入力れた画像の各画素の画面上の物理アドレスを算出して、タップ構築回路３０４−１乃至３０４−Ｎに供給する。
【０２７３】
構造切換制御回路３０２は、テロップ位置情報を基に、タップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)を生成し、タップ選択信号TS１をタップ構築回路３０４−１に供給し、タップ選択信号TS2をタップ構築回路３０４−２に供給し、タップ選択信号TS3-1乃至TS3-(N-2)のそれぞれをタップ構築回路３０４−３乃至３０４−Ｎのそれぞれに供給する。
【０２７４】
タップ構築回路３０４−１は、各画素の画面上の物理アドレスおよびタップ選択信号TS１を基に、注目画素が画像表示領域に属するとき、例えば、より広い範囲の画素を利用するタップを選択し、注目画素がテロップ表示領域に属するとき、例えば、より狭い範囲の画素を利用するタップを選択し、動きクラスタップTD1を選択する。例えば、画像表示領域に自然画像が表示されるとき、より広い範囲のタップを選択することで、画像処理装置は、多数の画素に渡って緩やかに変化する画像の成分を利用した画像処理を実行することができる。
【０２７５】
これに対して、文字が表示されるテロップ表示領域において、文字に対応する画素の画素値は、ほぼ同一の値であり、背景に対応する画素の画素値は、ほぼ同一の値である。例えば、白色で表示される文字に対応する画素の画素値と、黒色で表示される背景に対応する画素の画素値とは、大きく異なる。
【０２７６】
すなわち、テロップ表示領域において、文字と背景とに跨るタップの値は、急激に変化する。文字のみ、または背景のみから成るタップの値は、ほとんど変化しない。従って、テロップ表示領域について、より狭い範囲のタップを選択することで、画像処理装置は、急激に画素値が変化する画像に適切に対応するクラス分類または適応処理を実行することができる。
【０２７７】
また、例えば、図２９（Ｂ）に示すようにテロップ表示領域において画面に対して横方向に流れるように文字が表示されるとき、画像処理装置は、テロップ表示領域について、横長のタップを選択することにより、少ないクラスに分類してもノイズ除去効果の高い、より効果的な画像処理を実行することができる。図２９（Ｃ）に示すようにテロップ表示領域において画面に対して縦方向に流れるように文字が表示されるとき、画像処理装置は、テロップ表示領域について、縦長のタップを選択することにより、より効果的な画像処理を実行することができる。
【０２７８】
このように、画像処理装置は、テロップ表示領域と画像表示領域とで、異なるタップ構造および予測係数Wを使用することで、最適な信号処理を実行する。
【０２７９】
次に、図２３に構成を示す画像処理装置による、テロップモードにおける、テロップの位置に対応したタップの切換の処理を図３０のフローチャートを参照して説明する。
【０２８０】
ステップＳ２０１において、構造切換制御回路３０２は、イニシャライズ回路３１２から供給されたテロップ位置情報を取得する。構造切換制御回路３０２は、テロップの位置に対応するタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)を生成し、タップ選択信号TS１をタップ構築回路３０４−１に供給し、タップ選択信号TS2をタップ構築回路３０４−２に供給し、タップ選択信号TS3-1乃至TS3-(N-2) のそれぞれをタップ構築回路３０４−３乃至３０４−Ｎのそれぞれに供給する。
【０２８１】
ステップＳ２０２において、タップ構築回路３０４−１は、注目画素を選択する。タップ構築回路３０４−２は、注目画素を選択する。タップ構築回路３０４−３乃至３０４−Ｎのそれぞれは、注目画素を選択する。
【０２８２】
ステップＳ２０３において、タップ構築回路３０４−１は、各画素の画面上の物理アドレスおよびタップ選択信号TS１を基に、注目画素がテロップ内の画素であるか否かを判定し、注目画素がテロップ内の画素であると判定された場合、ステップＳ２０４に進み、タップを切り換えて、テロップに対応する、動きクラスタップTD1を選択し、手続きは、ステップＳ２０６に進む。
【０２８３】
ステップＳ２０３において、注目画素がテロップ内の画素でないと判定された場合、ステップＳ２０５に進み、タップ構築回路３０４−１は、タップを切り換えて、自然画像に対応する、動きクラスタップTD1を選択し、手続きは、ステップＳ２０６に進む。
【０２８４】
ステップＳ２０３乃至ステップＳ２０５において、タップ構築回路３０４−２乃至３０４−Ｎは、タップ構築回路３０４−１と同様の処理を実行するので、その説明は省略する。
【０２８５】
ステップＳ２０６において、タップ構築回路３０４−１乃至３０４−Ｎは、全ての画素について処理を終了したか否かを判定し、全ての画素について処理を終了していないと判定された場合、ステップＳ２０２に戻り、タップの切換の処理を繰り返す。
【０２８６】
ステップＳ２０６において、全ての画素について処理を終了したと判定された場合、処理は終了する。
【０２８７】
このように、図２３に構成を示す画像処理装置は、テロップモードにおいて、注目画素がテロップ表示領域に属するか否かに対応してタップを切り換えることができる。
【０２８８】
図２７に構成を示す画像処理装置は、テロップモードにおいて、図３０に示すフローチャートを参照して説明した処理と同様の処理で、注目画素がテロップ表示領域に属するか否かに対応してタップを切り換えるので、その説明は省略する。
【０２８９】
図２３または図２７に構成を示す画像処理装置は、図２９（Ｄ）に示す画像についても、枠画像表示領域のタップおよび画像表示領域のタップを切り換えて処理を実行する。
【０２９０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２９１】
図３１は、記録媒体およびコンピュータの例を説明する図である。CPU（Central Processing Unit）５０１は、各種アプリケーションプログラムや、OS（Operating System)を実際に実行する。ROM（Read-only Memory）５０２は、一般的には、CPU５０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。RAM（Random-Access Memory）５０３は、CPU５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはCPUバスなどから構成されるホストバス５０４により相互に接続されている。
【０２９２】
ホストバス５０４は、ブリッジ５０５を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【０２９３】
キーボード５０８は、CPU５０１に各種の指令を入力するとき、使用者により操作される。マウス５０９は、ディスプレイ５１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ５１０は、液晶表示装置またはCRT（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。HDD（Hard Disk Drive）５１１は、ハードディスクを駆動し、それらにCPU５０１によって実行するプログラムや情報を記録または再生させる。
【０２９４】
ドライブ５１２は、装着されている磁気ディスク５５１、光ディスク５５２、光磁気ディスク５５３、または半導体メモリ５５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているRAM５０３に供給する。
【０２９５】
これらのキーボード５０８乃至ドライブ５１２は、インターフェース５０７に接続されており、インターフェース５０７は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してCPU５０１に接続されている。
【０２９６】
記録媒体は、図２３に示すように、コンピュータとは別に、ユーザにブロック図に対応する処理を実行するプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５５１（フロッピディスクを含む）、光ディスク５５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク５５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ５５４などよりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、HDD５１１などで構成される。
【０２９７】
なお、ユーザにブロック図に対応する処理を実行するプログラムは、有線または無線の通信媒体を介して、コンピュータに供給されるようにしてもよい。
【０２９８】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９９】
【発明の効果】
本発明の画像処理装置および方法、並びに記録媒体によれば、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報が検出され、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスが決定され、位置情報に応じて、前記入力画像信号から複数の画素が予測タップとして選択され、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号が出力され、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値が欠落画素の画素値として設定されるようにしたので、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようになる。
【図面の簡単な説明】
【図１】画素のマスクを説明する図である。
【図２】本発明に係る画像処理装置の一実施の形態の構成を示す図である。
【図３】有効画素領域算出回路１１の構成の例を示す図である。
【図４】有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを説明する図である。
【図５】創造の対象となる周辺の画素を説明する図である。
【図６】画像の端部における、タップの構築の例を示す図である。
【図７】画像の端部における、タップの構築の例を示す図である。
【図８】欠落画素創造回路１２の構成を示すブロック図である。
【図９】前処理回路１０１の処理を説明するフローチャートである。
【図１０】動きクラス生成回路１０３の構成を示す図である。
【図１１】動き検出回路１５１の構成を示す図である。
【図１２】時間アクティビティの算出に使用されるタップを示す図である。
【図１３】空間アクティビティの算出に使用されるタップを示す図である。
【図１４】動き判定の閾値を説明する図である。
【図１５】動き判定回路１８４の動きクラスコードMCCを設定する処理を説明するフローチャートである。
【図１６】動きクラスコードMCCの多数決判定に利用される画素を説明する図である。
【図１７】動き検出回路１５１の動きクラスコードMCCを設定する処理を説明するフローチャートである。
【図１８】画像の端部における、タップの構築の例を示す図である。
【図１９】画像の端部における、タップの構築の例を示す図である。
【図２０】補間の処理に利用される画素を説明する図である。
【図２１】画素値が置換される画素を説明する図である。
【図２２】欠落画素創造回路１２の他の構成を示すブロック図である。
【図２３】欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う画像処理装置に利用される係数セットを生成する、画像処理装置の一実施の形態の構成を示す図である。
【図２４】色収差を説明する図である。
【図２５】色収差を説明する図である。
【図２６】タップの切換を説明する図である。
【図２７】欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う画像処理装置の一実施の形態の構成を示す図である。
【図２８】色収差に対応したタップの切換の処理を説明するフローチャートである。
【図２９】テロップ等が表示されている画面の例を示す図である。
【図３０】テロップの位置に対応したタップの切換の処理を説明するフローチャートである。
【図３１】記録媒体を説明する図である。
【符号の説明】
１１ 有効画素領域算出回路， １２ 欠落画素創造回路， １０１ 前処理回路， １０２−１乃至１０２−５ タップ構築回路， １０３ 動きクラス生成回路， １０４ ＤＲクラス生成回路， １０５ 空間クラス生成回路， １０６ 欠落クラス生成回路， １０７ クラス合成回路， １０８ 可変タップ選択回路， １０９ 係数保持クラスコード選択回路， １１０ 推定予測演算回路， １１１ イニシャライズ回路， ２０１ 前処理回路， ２０２−１乃至２０２−５ タップ構築回路， ２０３ 動きクラス生成回路， ２０４ ＤＲクラス生成回路， ２０５ 空間クラス生成回路， ２０６ 欠落クラス生成回路， ２０７ クラス合成回路， ２０８ 可変タップ選択回路， ２０９ 係数保持クラスコード選択回路， ２１０ 推定予測演算回路， ２１１ イニシャライズ回路， ２１２ 置換回路， ２１３ 線形補間回路， ２１４ 選択回路， ３０１ 表示位置算出回路， ３０２ 構造切換制御回路， ３０３ダウンフィルタ， ３０４−１乃至３０４−Ｎ タップ構築回路， ３０５ 動きクラス生成回路， ３０６−１乃至３０６−（Ｎ−２） クラス生成回路，３０７ クラス合成回路， ３０８ 可変タップ選択回路， ３０９ クラスコード選択回路， ３１０ 正規方程式演算回路， ３１１ 係数メモリ， ３１２ イニシャライズ回路， ４０１ 表示位置算出回路， ４０２ 構造切換制御回路， ４０３−１乃至４０３−Ｎ タップ構築回路， ４０４ 動きクラス生成回路， ４０５−１乃至４０５−（Ｎ−２） クラス生成回路， ４０６クラス合成回路， ４０７ 可変タップ選択回路， ４０８ 係数保持クラスコード選択回路， ４０９ 推定予測演算回路， ４１０ イニシャライズ回路， ４２１ 積和器， ５０１ ＣＰＵ， ５０２ ＲＯＭ， ５１１ ＨＤＤ， ５５１ 磁気ディスク， ５５２ 光ディスク， ５５３ 光磁気ディスク， ５５４ 半導体メモリ
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、画像を処理または変換する画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
画像信号を高解像度化等高質化するための技術として、例えば、特開平９−７４５４３号公報および対応する米国特許５９４６０４４号明細書等に開示されたクラス分類適応処理がある。
【０００３】
クラス分類適応処理では、入力画像信号の各注目画素に対して、入力画像信号からクラスタップおよび予測タップを取得し、クラスタップに基づいて注目画素を予め設定したクラスのいずれかに分類し、分類されたクラスに対応して選択される予め各クラス毎に学習により生成された予測係数セットと予測タップとを用いた演算を行うことで、入力画像信号より高質な出力画像信号が生成される。
【０００４】
クラス分類適応処理では、クラスタップや予測タップが画像の有効範囲の外に位置する画素となることがある。ここで、有効範囲の外の画素の画素値は正常な値を有していない可能性が高い。従って、従来のクラス分類適応処理では、クラスタップや予測タップが画像の有効範囲の外に位置する場合には、図１に示すようにマスクをして使用しないようにしていた。
【０００５】
このクラス分類適応処理の一例として、誤り訂正符号などによって訂正することができなかったり、パケットロス等により欠落した画素を周辺の欠落していない画素をクラスタップおよび予測タップとして用いてクラス分類適応処理を行うことで欠落した画素を生成するものがある。
【０００６】
この場合にも図１に示すように、対象となる画素の周辺に位置する画素の画素値を利用したクラス分類適応処理により、その画素値を設定することができる。
【０００７】
従来は、画面全体において、欠落した画素との位置関係が相対的に同様の位置にある画素が利用される、いわゆるタップ構造が同じ処理が実行される。
【０００８】
欠落した画素の周辺に位置する画素が画像の有効範囲の外に位置する場合、設定された画素値は、正常な値を有しない。このため、生成された画像において、このような画像の端部に位置する画素は、図１に示すように、マスクされ、利用されない。
【０００９】
また、従来は、画面上の画素の物理的位置にかかわらず同様の処理が実行されるだけであった。
【００１０】
【発明が解決しようとする課題】
しかしながら、画像がマスクされると、画像のサイズが小さくなり、実質的に、生成される画像の解像度が低下することとなる。また、画素の画面上の位置に対応して処理内容が変化することはなく、画素の画面上の物理的位置にかかわらず同様の処理が実行されるので、高質化があまり図られないことがある。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようにすることを目的とする。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出手段と、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定手段と、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択手段と、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段とを備え、演算手段は、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【００１９】
演算手段は、出力画像信号として、入力画像信号よりノイズの低減された画像信号を出力するようにすることができる。
【００２０】
演算手段は、出力画像信号として、入力画像信号より高解像度の画像信号を出力するようにすることができる。
【００２１】
演算手段は、出力画像信号として、入力画像信号よりレンズの収差による歪みが低減された画像信号を出力するようにすることができる。
【００２２】
本発明の画像処理方法は、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定ステップと、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含み、演算ステップの処理では、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【００２３】
本発明の第１の記録媒体のプログラムは、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスを決定するクラス決定ステップと、位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含む画像処理をコンピュータに実行させ、演算ステップの処理では、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値を欠落画素の画素値として設定することを特徴とする。
【００７２】
本発明の画像処理装置および方法、並びに記録媒体においては、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報が検出され、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスが決定され、位置情報に応じて、前記入力画像信号から複数の画素が予測タップとして選択され、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号が出力され、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値が欠落画素の画素値として設定される。
【００７７】
【発明の実施の形態】
図２は、本発明に係る画像処理装置の一実施の形態の構成を示す図である。有効画素領域算出回路１１は、欠落画素創造回路１２に入力される画像に同期した垂直同期信号、および水平同期信号を基に、欠落画素創造回路１２に入力される画像の画素が有効画素領域に位置するか否かを示す、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを生成して、欠落画素創造回路１２に出力する。以下において、画素は、タップとも称し、画素値は、タップデータとも称する。
【００７８】
欠落画素創造回路１２は、入力された画像および画像の各画素に対応する欠落フラグLF、並びに有効画素領域算出回路１１から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、入力された画像に含まれる欠落画素に対応する画素を創造して、欠落画素を創造した画素に置き換えて出力する。
【００７９】
図３は、有効画素領域算出回路１１の構成の例を示す図である。垂直同期信号検出回路４１は、入力された垂直同期信号を基に、画像の各画素が、画面の垂直方向に有効画素領域内であるか否かを示すデータ（以下、垂直有効画素領域データと称する）を生成して、有効領域算出回路４３に供給する。水平同期信号検出回路４２は、入力された水平同期信号を基に、画像の各画素が、画面の水平方向に有効画素領域内であるか否かを示すデータ（以下、水平有効画素領域データと称する）を生成して、有効領域算出回路４３に供給する。
【００８０】
有効領域算出回路４３は、垂直同期信号検出回路４１から供給された垂直有効画素領域データを補正して、有効画素領域垂直フラグVFとして欠落画素創造回路１２に出力する。
【００８１】
有効画素領域垂直フラグVFは、例えば、図４に示すように、ディスプレイの有効範囲内において、０の値が設定され、ディスプレイの有効範囲外において、１の値が設定される。
【００８２】
有効領域算出回路４３は、水平同期信号検出回路４２から供給された水平有効画素領域データを補正して、有効画素領域水平フラグHFとして欠落画素創造回路１２に出力する。
【００８３】
有効画素領域水平フラグHFは、例えば、図４に示すように、ディスプレイの有効範囲内において、０の値が設定され、ディスプレイの有効範囲外において、１の値が設定される。
【００８４】
欠落画素創造回路１２は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、入力された画像の各画素が有効画素領域内に位置するか否かを知ることができる。
【００８５】
次に、欠落画素創造回路１２について説明する。欠落画素創造回路１２に入力される画像がインターレースであるとき、注目しているフィールドの画素の位置は、注目しているフィールドの１つ前または１つ後のフィールドの画素の位置に対して、垂直方向に1/2ずれた位置にある。
【００８６】
欠落画素創造回路１２は、クラス分類適応処理により、図５に示すように、創造の対象となる画素と同一のフィールド（図中のフィールドｋ）にある周辺の画素の画素値、１つ前のフィールド（図中のフィールドｋ−１）に存在する画素の画素値、並びに２つ前のフィールド（図中のフィールドｋ−２）に存在する画素の画素値を基に、欠落画素の画素値を創造する。
【００８７】
創造の対象となる欠落画素が、画像の端部に位置する場合、図６に示すように、欠落画素創造回路１２は、有効画素領域算出回路１１から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、画像の有効範囲に位置する画素のみ（画像の有効範囲外に位置する画素は切り捨てられる）を選択して、選択した画素を基に欠落画素の画素値を創造する。
【００８８】
創造の対象となる欠落画素が、画像の端部に位置する場合、図７に示すように、欠落画素創造回路１２は、有効画素領域算出回路１１から供給された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、画像の有効範囲に位置する画素を対象としたタップ構造に適応的に切り替えることで、有効な画素をタップとして選択して、欠落画素の画素値を創造するようにしてもよい。
【００８９】
図８は、欠落画素創造回路１２の構成の例を示すブロック図である。欠落画素創造回路１２に入力された画素値および画素の欠落を示す欠落フラグLFは、前処理回路１０１およびタップ構築回路１０２−１に供給される。
【００９０】
有効画素領域算出回路１１から入力された有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFは、前処理回路１０１、タップ構築回路１０２−１乃至１０２−５、クラス合成回路１０７、および係数保持クラスコード選択回路１０９に供給される。
【００９１】
前処理回路１０１は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFを設定する。例えば、”１”である欠落フラグLFは、その画素値が欠落していることを示し、”０”である欠落フラグLFは、その画素値が欠落していないことを示す。前処理回路１０１は、画素値および画素に対応する欠落フラグLFを基に、有効画素領域内の欠落している画素の値を線形補間フィルタで生成し、欠落画素にその値を設定し、タップ構築回路１０２−２乃至１０２−５に供給する。すなわち、前処理回路１０１は、画素が欠落しているとき、欠落している画素の数だけ予測タップの数を増やす。
【００９２】
但し、後述するように、クラスタップは、欠落している画素を含まず、クラス分類の処理は、前処理回路１０１により生成された画素値を使用しない。
【００９３】
前処理回路１０１の処理を図９のフローチャートを参照して説明する。ステップＳ１１において、前処理回路１０１は、欠落フラグLFを基に、対象画素が欠落しているか否かを判定し、対象画素が欠落していないと判定された場合、ステップＳ１２に進み、対象画素の画素値を、対象画素に設定し、処理は終了する。
【００９４】
ステップＳ１１において、対象画素が欠落していると判定された場合、ステップＳ１３に進み、前処理回路１０１は、欠落フラグLFを基に、対象画素の水平方向において隣接している２つの画素のいずれかが欠落しているか否かを判定する。ステップＳ１３において、対象画素の水平方向において隣接している２つの画素のいずれも欠落していないと判定された場合、ステップＳ１４に進み、前処理回路１０１は、対象画素の水平方向において隣接している２つの画素の画素値の平均値を対象画素の画素値に設定し、処理は終了する。
【００９５】
ステップＳ１３において、対象画素の水平方向において隣接している２つの画素のいずれかが欠落していると判定された場合、ステップＳ１５に進み、前処理回路１０１は、対象画素の水平方向において隣接している２つの画素のいずれも欠落しているか否かを判定する。ステップＳ１５において、対象画素の水平方向において隣接している２つの画素のいずれかが欠落していないと判定された場合、ステップＳ１６に進み、前処理回路１０１は、対象画素の水平に隣接している、欠落していない画素の画素値を対象画素の画素値に設定し、処理は終了する。
【００９６】
ステップＳ１５において、対象画素の水平に隣接している画素のいずれも欠落していると判定された場合、ステップＳ１７に進み、前処理回路１０１は、欠落フラグLFを基に、対象画素の垂直方向において隣接している２つの画素のいずれかが欠落しているか否かを判定する。ステップＳ１７において、対象画素の垂直方向において隣接している２つの画素のいずれも欠落していないと判定された場合、ステップＳ１８に進み、前処理回路１０１は、対象画素の垂直に隣接している２つの画素の画素値の平均値を対象画素の画素値に設定し、処理は終了する。
【００９７】
ステップＳ１７において、対象画素の垂直方向において隣接している２つの画素のいずれかが欠落していると判定された場合、ステップＳ１９に進み、前処理回路１０１は、欠落フラグLFを基に、対象画素に隣接している全ての画素が欠落しているか否かを判定する。ステップＳ１９において、対象画素に隣接しているいずれかの画素が欠落していないと判定された場合、ステップＳ２０に進み、前処理回路１０１は、対象画素に隣接している、欠落していない画素の画素値を対象画素の画素値に設定し、処理は終了する。
【００９８】
ステップＳ１９において、対象画素に隣接している全ての画素が欠落していると判定された場合、ステップＳ２１に進み、前処理回路１０１は、対象画素と同じ位置の過去のフレームの画素の画素値を、対象画素の画素値に設定し、処理は終了する。
【００９９】
以上のように、前処理回路１０１は、有効画素領域内の処理の対象画素の画素値を周辺の画素の画素値から線形に補間する。前処理回路１０１による補間処理により、これに続く処理で使用できるタップの範囲を広げることができる。
【０１００】
タップ構築回路１０２−１は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT1として動きクラス生成回路１０３に供給する。タップ構築回路１０２−１は、有効画素領域内の欠落していない画素からなる、動きクラスタップTD1を選択して、選択した動きクラスタップTD1を動きクラス生成回路１０３に供給する。
【０１０１】
動きクラス生成回路１０３は、イニシャライズ回路１１１から供給されたパラメータ、並びにタップ構築回路１０２−１から供給された欠落フラグタップSLFT1および選択された動きクラスタップTD1を基に、動きクラスコードMCCおよび静動フラグSMFを生成し、タップ構築回路１０２−２乃至１０２−５およびクラス合成回路１０７に出力する。動きクラスコードMCCは、動きの量を示す２ビットの情報を有し、静動フラグSMFは、動きの有り無しを１ビットで示す。
【０１０２】
図１０は、動きクラス生成回路１０３の構成を示す図である。タップ構築回路１０２−１から供給された、欠落フラグタップSLFT1および動きクラスタップTD1は、動き検出回路１５１に供給される。動き検出回路１５１は、欠落フラグタップSLFT1および動きクラスタップTD1を基に、動きクラスコードMCCを生成して、出力するとともに、生成した動きクラスコードMCCを静動判定回路１５２に供給する。
【０１０３】
次に、動き検出回路１５１の構成について、図１１のブロック図を参照して説明する。時間アクティビティ算出回路１８１は、タップ構築回路１０２−１から供給された欠落フラグタップSLFT1および動きクラスタップTD1を基に、例えば、欠落していない有効領域内の画素であって、創造の対象画素を中心とした３×３の画素（動きクラスタップTD1に含まれる）と、１つ前のフレームの、欠落していない有効領域内の画素であって、対応する位置の３×３の画素（動きクラスタップTD1に含まれる）との、それぞれの画素値の差の絶対値を加算した時間アクティビティを算出し、動き判定回路１８４に供給する。時間アクティビティ算出回路１８１は、欠落している画素を使用せず、欠落していない画素のみを使用して、時間アクティビティを算出する。
【０１０４】
図１２（Ａ）は、時間アクティビティの算出に使用される、創造の対象画素を中心とした３×３の画素の例を示す図である。図１２（Ａ）において、”エラー”は、欠落画素を示す。図１２（Ｂ）は、図１２（Ａ）に示された画素に対応する、１つ前のフレームの３×３の画素の例を示す図である。図１２（Ａ）および図１２（Ｂ）に示されるＬ１乃至Ｌ３は、それぞれラインを示し、ラインの同一の番号は、垂直方向に同一の位置であることを示す。図１２（Ａ）および図１２（Ｂ）に示されるＨ１乃至Ｈ３は、それぞれ画素の水平方向の位置を示し、その同一の番号は、水平方向に同一の位置であることを示す。
【０１０５】
欠落している画素は使用されないので、図１２（Ａ）および図１２（Ｂ）に示される場合において、時間アクティビティは、式（１）で算出される。
【０１０６】
【０１０７】
空間アクティビティ算出回路１８２は、タップ構築回路１０２−１から供給された欠落フラグタップSLFT1および動きクラスタップTD1を基に、例えば、創造の対象画素を中心とした３×３の画素の最大値と最小値との差に１を加算した空間アクティビティを算出し、閾値設定回路１８３に供給する。
【０１０８】
図１３は、空間アクティビティの算出に使用される、創造の対象となる欠落画素を中心とした３×３の画素の例を示す図である。空間アクティビティは、式（２）で算出される。
【０１０９】
空間アクティビティ＝Ｍａｘ（ｑｉ）−Ｍｉｎ（ｑｉ）＋１ （２）
式（２）において、Ｍａｘ（ｑｉ）は、ｑ１乃至ｑ９の画素値の最大値を示す。
Ｍｉｎ（ｑｉ）は、ｑ１乃至ｑ９の画素値の最小値を示す。
【０１１０】
閾値設定回路１８３は、空間アクティビティ算出回路１８２から供給された空間アクティビティを基に、閾値設定回路１８３に予め記憶されている動き判定の閾値を選択し、選択した閾値を動き判定回路１８４に供給する。動き判定回路１８４に供給される動き判定の閾値は、空間アクティビティの値によって、それぞれ異なる値を有する閾値が選択される。
【０１１１】
動き判定回路１８４は、閾値設定回路１８３から供給された動き判定の閾値、および時間アクティビティ算出回路１８１から供給された時間アクティビティから、動きクラスコードMCCを設定し、多数決判定回路１８５、遅延回路１８６、およびセレクタ１８７に供給する。
【０１１２】
図１４は、動き判定の閾値を説明する図である。動き判定の閾値は、空間アクティビティの値によって、異なる値が使用される。空間アクティビティが大きくなれば、大きな値の閾値が使用される。これは、空間アクティビティが大きな画素が、少ない動きを伴う場合、時間アクティビティは、大きな値となることを考慮したものである。
【０１１３】
次に、動き判定回路１８４の動きクラスコードMCCを設定する処理を、図１５のフローチャートを参照して説明する。ステップＳ３１において、動き判定回路１８４は、時間アクティビティが、閾値１以下であるか否かを判定し、時間アクティビティが閾値１以下であると判定された場合、ステップＳ３２に進み、動きクラスコードMCCに０を設定し、処理は終了する。
【０１１４】
ステップＳ３１において、時間アクティビティが閾値１を越えると判定された場合、ステップＳ３３に進み、動き判定回路１８４は、時間アクティビティが、閾値２以下であるか否かを判定し、時間アクティビティが閾値２以下であると判定された場合、ステップＳ３４に進み、動きクラスコードMCCに１を設定し、処理は終了する。
【０１１５】
ステップＳ３３において、時間アクティビティが閾値２を越えると判定された場合、ステップＳ３５に進み、動き判定回路１８４は、時間アクティビティが閾値３以下であるか否かを判定し、時間アクティビティが閾値３以下であると判定された場合、ステップＳ３６に進み、動きクラスコードMCCに２を設定し、処理は終了する。
【０１１６】
ステップＳ３５において、時間アクティビティが閾値３を越えると判定された場合、ステップＳ３７に進み、動き判定回路１８４は、動きクラスコードMCCに３を設定し、処理は終了する。
【０１１７】
以上のように、動き判定回路１８４は、閾値および時間アクティビティを基に、動きクラスコードMCCを設定する。
【０１１８】
多数決判定回路１８５は、複数の画素の動きクラスコードMCCを基に、最終的な、動きクラスコードMCCを設定する。例えば、図１６に示すように、創造の対象画素の周辺の１４個の画素の動きクラスコードMCCを基に、多数決判定回路１８５は、対象画素の動きクラスコードMCCを設定する。
【０１１９】
動き検出回路１５１の動きクラスコードMCCを設定する処理を図１７のフローチャートを参照して説明する。ステップＳ５１において、動き検出回路１５１は、イニシャライズ回路１１１からのパラメータの設定に対応して、多数決判定を実行するか否かを判定し、多数決判定を実行しないと判定された場合、ステップＳ５２に進み、セレクタ１８７は、動き判定回路１８４が出力する注目画素の動きクラスコードMCCを選択して、注目画素の動きクラスコードMCCを最終的な動きクラスコードMCCとして設定し、処理は終了する。
【０１２０】
ステップＳ５１において、多数決判定を実行すると判定された場合、ステップＳ５３に進み、多数決判定回路１８５は、１４個の画素のうち、３の動きクラスコードMCCが設定されている画素の数が、閾値３より大きいか否かを判定し、３の動きクラスコードMCCが設定されている画素の数が、閾値３より大きいと判定された場合、ステップＳ５４に進み、動きクラスコードMCCに３を設定する。セレクタ１８７は、多数決判定回路１８５の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【０１２１】
ステップＳ５３において、３の動きクラスコードMCCが設定されている画素の数が、閾値３以下であると判定された場合、ステップＳ５５に進み、多数決判定回路１８５は、１４個の画素のうち、３の動きクラスコードMCCが設定されている画素の数と２の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値２より大きいか否かを判定し、３の動きクラスコードMCCが設定されている画素の数と２の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値２より大きいと判定された場合、ステップＳ５６に進み、動きクラスコードMCCに２を設定する。セレクタ１８７は、多数決判定回路１８５の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【０１２２】
ステップＳ５５において、３の動きクラスコードMCCが設定されている画素の数と２の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値２以下であると判定された場合、ステップＳ５７に進み、多数決判定回路１８５は、１４個の画素のうち、３の動きクラスコードMCCが設定されている画素の数、２の動きクラスコードMCCが設定されている画素の数、および１の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値１より大きいか否かを判定し、３の動きクラスコードMCCが設定されている画素の数、２の動きクラスコードMCCが設定されている画素の数、および１の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値１より大きいと判定された場合、ステップＳ５８に進み、動きクラスコードMCCに１を設定し、セレクタ１８７は、多数決判定回路１８５の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【０１２３】
ステップＳ５７において、３の動きクラスコードMCCが設定されている画素の数、２の動きクラスコードMCCが設定されている画素の数、および１の動きクラスコードMCCが設定されている画素の数を加えた値が、閾値１以下であると判定された場合、ステップＳ５９に進み、多数決判定回路１８５は、動きクラスコードMCCに０を設定し、セレクタ１８７は、多数決判定回路１８５の出力を最終的な動きクラスコードMCCとして出力し、処理は終了する。
【０１２４】
このように、動き検出回路１５１は、複数の画素の動きクラスコードMCC、並びに予め記憶している閾値を基に、最終的な、動きクラスコードMCCを設定する。
【０１２５】
以上のように、動きクラス生成回路１０３は、複数の画素の画素値から動きクラスコードMCCを設定し、動きクラスコードMCCを静動判定回路１５２および欠落画素創造回路１２に出力する。
【０１２６】
図１０に戻り、静動判定回路１５２は、動きクラスコードMCCを基に、静動フラグSMFを設定し、出力する。例えば、動きクラスコードMCCが０または１のとき、静動フラグSMFは、０に設定され、動きクラスコードMCCが２または３のとき、静動フラグSMFは、１に設定される。
【０１２７】
タップ構築回路１０２−２は、動きクラス生成回路１０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、全てのクラス構造を網羅した全クラス予測タップVET（有効画素領域外の画素を含まない）を選択して、可変タップ選択回路１０８に供給する。
【０１２８】
タップ構築回路１０２−３は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT2としてＤＲクラス生成回路１０４に供給する。タップ構築回路１０２−３は、動きクラス生成回路１０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していないDRクラスタップTD2を選択して、選択したDRクラスタップTD2をＤＲクラス生成回路１０４に供給する。ＤＲクラス生成回路１０４は、タップ構築回路１０２−３から供給された欠落フラグタップSLFT2、およびDRクラスタップTD2を基に、DRクラスタップTD2に含まれる画素であって、欠落していない画素の最大の画素値と最小の画素値との差であるダイナミックレンジに応じて決定されるＤＲクラスコードDRCCを生成して、クラス合成回路１０７に出力する。
【０１２９】
タップ構築回路１０２−４は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域外に位置する画素の欠落フラグLFをセットし、有効画素領域外に位置する画素の欠落フラグLFをリセットして、欠落フラグLFを欠落フラグタップSLFT3として空間クラス生成回路１０５に供給する。タップ構築回路１０２−４は、動きクラス生成回路１０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していない空間クラスタップTD3を選択して、選択した空間クラスタップTD3を空間クラス生成回路１０５に供給する。空間クラス生成回路１０５は、タップ構築回路１０２−４から供給された欠落フラグタップSLFT3、および空間クラスタップTD3を基に、画素値パターンに対応する空間クラスコードSCCを生成して、クラス合成回路１０７に出力する。
【０１３０】
タップ構築回路１０２−５は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、欠落フラグLFを選択して、選択された欠落フラグLFを欠落フラグタップSLFT4として欠落クラス生成回路１０６に供給する。欠落クラス生成回路１０６は、タップ構築回路１０２−５から供給された欠落フラグタップSLFT4を基に、欠落クラスコードLCCを生成して、クラス合成回路１０７に出力する。
【０１３１】
クラス合成回路１０７は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、動きクラスコードMCC、静動フラグSMF、ＤＲクラスコードDRCC、空間クラスコードSCC、および欠落クラスコードLCCを、最終的な１つのクラスコードCCに統合して、クラスコードCCを係数保持クラスコード選択回路１０９に出力する。
【０１３２】
係数保持クラスコード選択回路１０９は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHF、イニシャライズ回路１１１から供給された係数セットおよび予測構造、並びにクラス合成回路１０７から供給されたクラスコードCCを基に、予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路１０８に供給するとともに、クラスコードCCを基に係数セットから選択された予測係数Wを推定予測演算回路１１０に出力する。イニシャライズ回路１１１から供給される係数セットは、クラスコードCCにより分類されるクラスに対応して、予め生成され、イニシャライズ回路１１１に記憶されている。
【０１３３】
可変タップ選択回路１０８は、タップ構築回路１０２−２から供給された全クラス予測タップVET、および係数保持クラスコード選択回路１０９から供給された予測タップ選択信号VTを基に、予測タップETを選択して、選択した予測タップETを推定予測演算回路１１０に供給する。例えば、可変タップ選択回路１０８は、全クラス予測タップVETに含まれるタップから、予測タップ選択信号VTにより指定されるタップを選択して、選択されたタップを予測タップETとする。
【０１３４】
推定予測演算回路１１０の積和器１２１は、可変タップ選択回路１０８から供給された予測タップET、および係数保持クラスコード選択回路１０９から供給された予測係数Wを基に、線形推定式を用いて、欠落画素の画素値を算出する。
【０１３５】
なお、推定予測演算回路１１０の積和器１２１は、予測係数Wを基に、非線形推定式を用いて、欠落画素の画素値を算出するようにしてもよい。
【０１３６】
推定予測演算回路１１０のフィルタ１２２は、可変タップ選択回路１０８から供給された予測タップETから、欠落画素の画素値を算出する。
【０１３７】
推定予測演算回路１１０は、イニシャライズ回路１１１から設定された出力モードを基に、フィルタ１２２の出力または積和器１２１の出力を選択して出力し、出力モードに応じた結果を求める。
【０１３８】
このように、欠落画素創造回路１２は、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、有効画素領域内の画素から、ダイナミックレンジ、動き、欠落、および画素値パターンなどによるクラス分類をし、欠落画素の周辺の画素値（有効画素領域外の画素の画素値を含まない）を基に、欠落画素値を算出する。
【０１３９】
また、欠落画素創造回路１２は、例えば、推定予測演算回路１１０の出力モードを切り換えて、全ての画素に上記の処理を実行して、入力された画像の画質をアップさせる（例えば、階調の増加（Ｙデータ、Ｕデータ、およびＶデータのビット数の増加）、ノイズの除去、量子化歪みの除去（時間方向の歪みの除去を含む）、４倍密度の解像度の創造など）ことができる。
【０１４０】
更に、創造の対象となる欠落画素が、画像の端部に位置し、予め決められた数以上のタップが欠落していると判定された場合、図２０に示すように、欠落画素創造回路１２は、クラス分類適応処理に代えて、隣接する画素の画素値を基に、線形補間処理を行って、欠落画素の画素値を補間するようにしてもよい。
【０１４１】
また、図２１に示すように、欠落画素創造回路１２は、創造の対象となる欠落画素が画像の端部に位置し、隣接する画素の全てが欠落しているときなどに、予め定めた目立ちにくい色に相当する値（例えば、灰色などに相当する）を欠落画素の画素値として設定するようにしてもよいし、過去のフレームの同じ位置の画素値を設定してもよい。
【０１４２】
図２２は、図２０または図２１に示す処理を実行する、欠落画素創造回路１２の他の構成を示すブロック図である。欠落画素創造回路１２に入力されたデータである画素値および画素の欠落を示す欠落フラグLFは、前処理回路２０１およびタップ構築回路２０２−１に供給される。
【０１４３】
前処理回路２０１は、前処理回路１０１と同様の処理を実行し、入力された画素値および画素の欠落を示す欠落フラグLFを基に、欠落している画素の値を線形補間フィルタで生成し、欠落している画素にその値を設定し、タップ構築回路２０２−２乃至２０２−５に供給する。
【０１４４】
タップ構築回路２０２−１は、選択した画素の欠落フラグLFを欠落フラグタップSLFT1として、動きクラス生成回路２０３に供給する。タップ構築回路２０２−１は、有効画素領域内の欠落していない画素からなる、動きクラスタップTD1を選択して、選択した動きクラスタップTD1を動きクラス生成回路２０３に供給する。
【０１４５】
動きクラス生成回路２０３は、イニシャライズ回路２１１から供給されたパラメータ、並びにタップ構築回路２０２−１から供給された欠落フラグLFおよび選択された動きクラスタップTD1を基に、動きクラスコードMCCおよび静動フラグSMFを生成し、タップ構築回路２０２−２乃至２０２−５およびクラス合成回路２０７に出力する。動きクラスコードMCCは、動きの量を示す２ビットの情報を有し、静動フラグSMFは、動きの有り無しを１ビットで示す。例えば、動きクラスコードMCCが０または１のとき、静動フラグSMFは、０に設定され、動きクラスコードMCCが２または３のとき、静動フラグSMFは、１に設定される。
【０１４６】
タップ構築回路２０２−２は、動きクラス生成回路１０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、全てのクラス構造を網羅した全クラス予測タップVET（有効画素領域外の画素を含まない）を選択して、可変タップ選択回路２０８に供給する。
【０１４７】
タップ構築回路２０２−３は、選択した欠落フラグLFを欠落フラグタップSLFT2としてＤＲクラス生成回路２０４に供給する。タップ構築回路２０２−３は、動きクラス生成回路２０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していないDRクラスタップTD2を選択して、選択したDRクラスタップTD2をＤＲクラス生成回路２０４に供給する。ＤＲクラス生成回路２０４は、タップ構築回路２０２−３から供給された欠落フラグタップSLFT2、およびDRクラスタップTD2を基に、欠落していない画素の最大の画素値と最小の画素値との差であるダイナミックレンジに応じて決定されるＤＲクラスコードDRCCを生成して、クラス合成回路２０７に出力する。
【０１４８】
タップ構築回路２０２−４は、選択した欠落フラグLFを欠落フラグタップSLFT3として空間クラス生成回路２０５に供給する。タップ構築回路２０２−４は、動きクラス生成回路２０３から供給された動きクラスコードMCCおよび静動フラグSMF、並びに欠落フラグLFを基に、有効画素領域内の欠落していない空間クラスタップTD3を選択して、選択した空間クラスタップTD3を空間クラス生成回路２０５に供給する。空間クラス生成回路２０５は、タップ構築回路２０２−４から供給された欠落フラグタップSLFT3、および空間クラスタップTD3を基に、画素値パターンに対応する空間クラスコードSCCを生成して、クラス合成回路２０７に出力する。
【０１４９】
タップ構築回路２０２−５は、欠落フラグLFを選択して、選択された欠落フラグLFを欠落フラグタップSLFT4として欠落クラス生成回路２０６に供給する。欠落クラス生成回路２０６は、タップ構築回路２０２−５から供給された欠落フラグタップSLFT4を基に、欠落クラスコードLCCを生成して、クラス合成回路２０７に出力する。
【０１５０】
クラス合成回路２０７は、動きクラスコードMCC、静動フラグSMF、ＤＲクラスコードDRCC、空間クラスコードSCC、および欠落クラスコードLCCを、最終的な１つのクラスコードCCに統合して、クラスコードCCを係数保持クラスコード選択回路２０９に出力する。
【０１５１】
係数保持クラスコード選択回路２０９は、イニシャライズ回路２１１から供給された、予め学習した係数セットおよび予測構造、並びにクラス合成回路２０７から供給されたクラスコードCCを基に、予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路２０８に供給するとともに、係数セットからクラスコードCCを基に選択された予測係数Wを推定予測演算回路２１０に出力する。
【０１５２】
可変タップ選択回路２０８は、タップ構築回路２０２−２から供給された全クラス予測タップVET、および係数保持クラスコード選択回路２０９から供給された予測タップ選択信号VTを基に、予測タップETを選択して、選択した予測タップETを推定予測演算回路２１０に供給する。
【０１５３】
推定予測演算回路２１０は、イニシャライズ回路２１１から設定された出力モードを基に、可変タップ選択回路２０８から供給された予測タップET、および係数保持クラスコード選択回路２０９から供給された予測係数Wを基に、線形推定式を用いて、欠落画素の画素値を算出して、選択回路２１４に出力する。
【０１５４】
推定予測演算回路２１０は、図８の積和器１２１に相当する。
【０１５５】
置換回路２１２は、画素の欠落を示す欠落フラグLFを基に、予め定めた目立ちにくい色に相当する値（例えば、灰色などに相当する）を欠落画素の画素値として設定し、選択回路２１４に供給する。
【０１５６】
線形補間回路２１３は、前処理回路２０１と同様の処理を実行し、入力された画素値および画素の欠落を示す欠落フラグLFを基に、欠落している画素の値を線形補間フィルタで生成し、欠落している画素にその値を設定し、選択回路２１４に供給する。
【０１５７】
置換回路２１２および線形補間回路２１３は、図８のフィルタ１２２に相当する。
【０１５８】
選択回路２１４は、有効画素領域算出回路１１から供給された、有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを基に、推定予測演算回路２１０、置換回路２１２、または線形補間回路２１３のいずれかの出力を選択して、欠落画素創造回路１２の出力として出力する。
【０１５９】
このように、欠落画素創造回路１２は、ダイナミックレンジ、動き、欠落、および画素値の変化などによるクラス分類適応処理により、欠落画素の周辺の画素の画素値を基に、欠落画素値を算出するとともに、有効画素領域の端部に位置する欠落画素を補間または置換して出力することができる。
【０１６０】
なお、創造の対象となる欠落画素の画像の端部に対する位置により、欠落画素創造回路１２は、図６および図７並びに図１８乃至図２１を参照して説明した処理を適宜切り換えるようにしてもよい。
【０１６１】
また、クラスタップは、欠落している画素を含まないとして説明したが、クラスタップに、前処理回路１０１により生成された画素値を含めて、クラス分類の処理は、前処理回路１０１により生成された画素値を使用するようにしてもよい。
【０１６２】
以上のように、本発明に係る画像処理装置は、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようになり、例えば、欠落画素の画面上の位置にかかわらず、欠落画素をより誤差が少なく創造できるようになる。
【０１６３】
次に、図２の例で示される例の欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う画像処理装置に利用される係数セットを予め生成するための画像処理装置について説明する。
【０１６４】
図２３は、係数セットを予め生成するための画像処理装置の一実施の形態の構成を示す図である。
【０１６５】
画像処理装置に入力された画像は、ダウンフィルタ３０３および正規方程式演算回路３１０に供給される。
【０１６６】
表示位置算出回路３０１は、画像の各画素の画面中央からの距離を算出して、画像の各画素の画面中央からの距離を示す位置情報をタップ構築回路３０４−１乃至３０４−Ｎに供給する。
【０１６７】
なお、表示位置算出回路３０１は、画像の各画素の画面中央からの距離を示す位置情報を構造切換制御回路３０２に供給するようにしてもよい。
【０１６８】
イニシャライズ回路３１２は、構造切換制御回路３０２に、画像端情報、収差情報、処理モードおよびテロップ位置情報を供給する。
【０１６９】
構造切換制御回路３０２は、処理モードが欠落画素創造を示す時に、画像端情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路３０４−１乃至３０４−Ｎのそれぞれに供給し、処理モードが収差モードを示す時に、収差情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路３０４−１乃至３０４−Ｎのそれぞれに供給し、処理モードがテロップモードを示す時に、テロップ位置情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路３０４−１乃至３０４−Ｎのそれぞれに供給する。
【０１７０】
また、構造切換制御回路３０２は、上記３つの処理モードのうちの複数の処理モードを選択するようにしてもよい。
【０１７１】
以下、収差モードを例に説明する。
【０１７２】
例えば、タップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれは、赤色に対応する信号、緑色に対応する信号、および青色に対応する信号、すなわち、ＲＧＢに対応する信号から構成されている。
【０１７３】
また、構造切換制御回路３０２は、表示位置算出回路３０１から供給された各画素の画面上の物理アドレスから、各画素の画面中央からの距離を算出し、算出された画面中央からの距離、およびイニシャライズ回路３１２から入力された収差情報を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成する。構造切換制御回路３０２は、生成した収差クラスコードCCAをクラス合成回路３０７に供給する。
【０１７４】
構造切換制御回路３０２は、各画素の画面上の物理アドレスと画面中央からの距離との関係を予め記憶し、予め記憶している関係、および表示位置算出回路３０１から供給された各画素の画面上の物理アドレスを基に、各画素の画面中央からの距離を求めるようにしてもよい。
【０１７５】
または、構造切換制御回路３０２は、イニシャライズ回路３１２から入力された収差情報、および表示位置算出回路３０１から供給された画面中央からの距離を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成して、生成した収差クラスコードCCAをクラス合成回路３０７に供給するようにしてもよい。
【０１７６】
例えば、構造切換制御回路３０２は、収差量を量子化して収差クラスコードCCAを生成する。
【０１７７】
ここで、色収差について説明する。
【０１７８】
例えば、図２４に示すように、レンズの光軸に対して、斜めに白色光が入力されたとき、白色光に含まれる青色光の像は、黄色光の像に対して光軸に近い位置に結像し、白色光に含まれる黄色光の像は、青色光の像より光軸から遠い位置であって、赤色光の像より光軸から近い位置に結像し、白色光に含まれる赤色光の像は、黄色光の像より光軸に遠い位置に結像する。このような、青色光の像、黄色光の像、および赤色光の像の結像位置のずれを色収差と称する。色収差が大きいとは、青色光の像、黄色光の像、および赤色光の像の結像位置の距離が長いことをいう。
【０１７９】
色収差の大きさは、画像の位置と画面の中央との距離に対応して増加するので、図２５（Ａ）に示すように、画面の中央を中心とする円の円周上の画素に含まれる色収差の大きさは同一となる。
【０１８０】
これを、画面の中央からの距離と色収差の大きさとの関係をグラフで表すと、図２５（Ｂ）のようになる。すなわち、色収差は、画面の中央からの距離に対して、非線形に増加する。
【０１８１】
ダウンフィルタ３０３は、入力された画像に収差に対応する処理、またはジッタ付加若しくはノイズ付加などの処理を適用して、収差に対応する画素値を有するか、またはジッタが付加されたか、若しくはノイズが付加された画像を、タップ構築回路３０４−１乃至３０４−Ｎに供給する。
【０１８２】
タップ構築回路３０４−１は、表示位置算出回路３０１から供給された位置情報、および構造切換制御回路３０２から供給されたタップ選択信号TS１に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、ダウンフィルタ３０３から供給された画像に含まれる画素を、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1として選択し、選択した動きクラスタップTD1を動きクラス生成回路３０５に供給する。タップ構築回路３０４−１が出力する動きクラスタップTD1は、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから構成される。
【０１８３】
図２６は、タップ構築回路３０４−１における、赤色、緑色、または青色毎のタップ構造を説明する図である。例えば、緑色に対応するタップは、図２６（Ａ）に示すように、注目画素を中心とするタップにより構成される。
【０１８４】
構造切換制御回路３０２は、イニシャライズ回路３１２から入力された収差情報を基に、例えば、図２６（Ｂ）に示すように、緑色を基準とした、赤色および青色についての補正ベクトルを生成し、生成した補正ベクトルを含むタップ選択信号TS１をタップ構築回路３０４−１に供給する。
【０１８５】
例えば、タップ構築回路３０４−１は、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる赤色についての補正ベクトルを基に、注目画素を基準として、赤色についての補正注目画素を選択し、図２６（Ｃ）に示すように、補正注目画素を中心とした赤色に対応するタップを構成する。同様に、タップ構築回路３０４−１は、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる青色についての補正ベクトルを基に、注目画素を基準として、青色についての補正注目画素を選択し、補正注目画素を中心とした青色に対応するタップを構成する。
【０１８６】
なお、注目画素を基準とした、赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを含むようにタップ選択信号TS１を構成し、タップ構築回路３０４−１は、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる赤色についての補正ベクトルを基に、赤色に対応する補正注目画素を中心とした赤色に対応するタップを構成し、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる緑色についての補正ベクトルを基に、緑色に対応する補正注目画素を中心とした緑色に対応するタップを構成し、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、およびタップ選択信号TS１に含まれる青色についての補正ベクトルを基に、青色に対応する補正注目画素を中心とした青色に対応するタップを構成するようにしてもよい。
【０１８７】
動きクラス生成回路３０５は、パラメータ設定回路３１２から供給されたパラメータ、並びにタップ構築回路３０４−１から供給された動きクラスタップTD1を基に、赤色に対応する動きクラスコード、緑色に対応する動きクラスコード、および青色に対応する動きクラスコードから成る動きクラスコードMCC、および赤色に対応する静動フラグ、緑色に対応する静動フラグ、および青色に対応する静動フラグから成る静動フラグSMFを生成し、タップ構築回路３０４−２乃至３０４−Ｎおよびクラス合成回路３０７に出力する。
【０１８８】
タップ構築回路３０４−２は、動きクラス生成回路３０５から供給された赤色、緑色、および青色ごとの動きクラスコードMCC並びに静動フラグSMF、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路３０２から供給されたタップ選択信号TS2に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る全クラス予測タップVETを選択して、可変タップ選択回路３０８に供給する。
【０１８９】
タップ構築回路３０４−３は、動きクラス生成回路３０５から供給された赤色、緑色、および青色ごとの動きクラスコードMCC並びに赤色、緑色、および青色ごとの静動フラグSMF、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路３０２から供給された赤色、緑色、および青色ごとのタップ選択信号TS3-1に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-1を選択して、選択したクラスタップTD2-1をクラス生成回路３０６−１に供給する。
【０１９０】
クラス生成回路３０６−１は、タップ構築回路３０４−３から供給されたクラスタップTD2-1を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC1を生成して、生成したクラスコードCC1をクラス合成回路３０７に出力する。クラスコードCC1は、例えば、クラスタップTD2-1に含まれる画素の最大の画素値と最小の画素値との差に対応するクラスコードとすることができる。
【０１９１】
タップ構築回路３０４−４乃至３０４−Ｎは、動きクラス生成回路３０５から供給された動きクラスコードMCCおよび静動フラグSMF、表示位置算出回路３０１から供給された各画素の画面中央からの距離を示す位置情報、並びに構造切換制御回路３０２から供給されたタップ選択信号TS3-2乃至TS3-(N-2)に基づいて、それぞれ、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-2乃至TD2-(N-2)を選択して、選択したクラスタップTD2-2乃至TD2-(N-2)をクラス生成回路３０６−２乃至３０６−（Ｎ−２）のぞれぞれに供給する。
【０１９２】
クラス生成回路３０６−２乃至３０６−（Ｎ−２）は、タップ構築回路３０４−４乃至３０４−Ｎから供給されたクラスタップTD2-2乃至TD2-(N-2)のいずれかを基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC2乃至CC(N-2)のいずれか一つを生成して、生成したクラスコードCC2乃至CC(N-2)をクラス合成回路３０７に出力する。クラスコードCC2乃至CC(N-2)のいずれかは、例えば、画素値パターンに対応するクラスコードとすることができる。
【０１９３】
クラス合成回路３０７は、動きクラスコードMCCに含まれる赤色に対応するクラスコードおよび静動フラグSMFに含まれる赤色に対応する静動フラグを基に、収差クラスコードCCAに含まれる赤色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる赤色に対応するクラスコードを、最終的な１つのクラスコードTCCの赤色に対応するクラスコードに統合する。
【０１９４】
クラス合成回路３０７は、動きクラスコードMCCに含まれる緑色に対応するクラスコードおよび静動フラグSMFに含まれる緑色に対応する静動フラグを基に、収差クラスコードCCAに含まれる緑色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる緑色に対応するクラスコードを、最終的な１つのクラスコードTCCの緑色に対応するクラスコードに統合する。
【０１９５】
クラス合成回路３０７は、動きクラスコードMCCに含まれる青色に対応するクラスコードおよび静動フラグSMFに含まれる青色に対応する静動フラグを基に、収差クラスコードCCAに含まれる青色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる青色に対応するクラスコードを、最終的な１つのクラスコードTCCの青色に対応するクラスコードに統合する。
【０１９６】
クラス合成回路３０７は、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードTCCをクラスコード選択回路３０９に出力する。
【０１９７】
クラスコード選択回路３０９は、クラス合成回路３０７から供給されたクラスコードTCCを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路３０８に供給するとともに、クラスコードTCCを正規方程式演算回路３１０に出力する。
【０１９８】
可変タップ選択回路３０８は、タップ構築回路３０４−２から供給された全クラス予測タップVET、およびクラスコード選択回路３０９から供給された予測タップ選択信号VTを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップETを選択して、選択した予測タップETを正規方程式演算回路３１０に供給する。
【０１９９】
正規方程式演算回路３１０は、可変タップ選択回路３０８から供給された学習データである予測タップET、およびダウンフィルタ３０３から供給された教師データである入力画像を受信すると、それらを用いて、最小自乗法により、誤差を最小する予測係数Wを算出する。予測係数Wは、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る。
【０２００】
ここで、正規方程式演算回路３１０が算出する予測係数Wについて簡単に説明する。
【０２０１】
例えば、いま、元の画像（入力された画像に相当する（以下、適宜、教師データと称する））の画素値ｙの予測値Ｅ［ｙ］を、ダウンフィルタ３０３を通過することによって、ノイズが付加されるか、収差に対応する画素値を有する画像の画素値（以下、適宜、学習データと称する）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０２０２】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【０２０４】
【数１】
【０２０５】
ＸＷ＝Ｙ’・・・（４）
【０２０６】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【０２０７】
【数２】
【０２０８】
ＸＷ＝Ｙ＋Ｅ・・・（５）
【０２０９】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【０２１０】
【数３】
【０２１１】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０２１２】
【数４】
そこで、まず、式（５）を、予測係数ｗiで微分することにより、次式が成立する。
【０２１４】
【数５】
式（６）および（７）より、式（８）が得られる。
【０２１６】
【数６】
さらに、式（５）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（８）から、次のような正規方程式を得ることができる。
【０２１８】
【数７】
式（９）の正規方程式を解くことで、最適な予測係数ｗを求めることができる。なお、式（９）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０２２０】
即ち、例えば、いま、学習データに含まれる予測タップETの画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数Wをｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師データの、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０２２１】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
そこで、正規方程式演算回路３１０では、同一クラスの予測タップと、対応する教師データの画素とから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が、上述した式（９）に示す正規方程式をたてて解くことにより求められる。
【０２２２】
より具体的には、正規方程式演算回路３１０は、赤色に対応する同一クラスの予測タップと、対応する教師データの赤色の成分とから、赤色に対応する真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする、赤色に対応する予測係数ｗ1，ｗ2，ｗ3，・・・を、正規方程式をたてて解くことにより算出する。
【０２２３】
正規方程式演算回路３１０は、緑色に対応する同一クラスの予測タップと、対応する教師データの緑色の成分とから、緑色に対応する真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする、緑色に対応する予測係数ｗ1，ｗ2，ｗ3，・・・を、正規方程式をたてて解くことにより算出する。
【０２２４】
正規方程式演算回路３１０は、青色に対応する同一クラスの予測タップと、対応する教師データの青色の成分とから、青色に対応する真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする、青色に対応する予測係数ｗ1，ｗ2，ｗ3，・・・を、正規方程式をたてて解くことにより算出する。
【０２２５】
従って、この処理をクラスごとに行うことにより、各クラスごとに、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る予測係数Wが生成される。
【０２２６】
正規方程式演算回路３１０において求められた、赤色に対応する予測係数、緑色に対応する予測係数、および青色に対応する予測係数から成る、クラスごとの予測係数Wは、クラスコードTCCと共に、係数メモリ３１１に供給される。これにより、係数メモリ３１１においては、正規方程式演算回路３１０からの予測係数Wが、クラスコードTCCが示すクラスに対応するアドレスに記憶される。
【０２２７】
このように、図２３に構成を示す画像処理装置は、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う画像処理装置に利用される係数セットを生成することができる。
【０２２８】
なお、図２３に構成を示す画像処理装置は、収差のあるレンズを介して、撮像された画像、および収差のほとんどないレンズを介して、撮像された同じ画像を取得し、収差のあるレンズを介して、撮像された画像を学習データとし、収差のほとんどないレンズを介して、撮像された同じ画像を教師データとして、色収差を考慮した画像処理モードで画像処理を実行する画像処理装置に利用される係数セットを生成するようにしてもよい。
【０２２９】
図２７は、図２３に構成を示す画像処理装置が生成した係数セットを利用する、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う、本発明に係る画像処理装置の一実施の形態の構成を示す図である。
【０２３０】
表示位置算出回路４０１は、入力された画像の各画素の画面中央からの距離を算出して、各画素の画面中央からの距離を示す位置情報をタップ構築回路４０３−１乃至４０３−Ｎに供給する。
【０２３１】
なお、表示位置算出回路４０１は、画像の各画素の画面中央からの距離を示す位置情報を構造切換制御回路４０２に供給するようにしてもよい。
【０２３２】
イニシャライズ回路４１０は、構造切換制御回路４０２に、画像端情報、収差情報、処理モードおよびテロップ位置情報を供給する。
【０２３３】
構造切換制御回路４０２は、処理モードが欠落画素創造を示す時に、画像端情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路４０３−１乃至４０３−Ｎのそれぞれに供給し、処理モードが収差モードを示す時に、収差情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路４０３−１乃至４０３−Ｎのそれぞれに供給し、処理モードがテロップモードを示す時に、テロップ位置情報に応じたタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれを、タップ構築回路４０３−１乃至４０３−Ｎのそれぞれに供給する。
【０２３４】
また、構造切換制御回路４０２は、上記３つの処理モードのうちの複数の処理モードを選択するようにしてもよい。
【０２３５】
以下、収差モードを例に説明する。
【０２３６】
例えば、収差モードのとき、タップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれは、赤色に対応する信号、緑色に対応する信号、および青色に対応する信号、すなわち、ＲＧＢに対応する信号から構成されている。
【０２３７】
また、構造切換制御回路４０２は、イニシャライズ回路４１０から入力された収差情報を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成る収差クラスコードCCAを生成して、生成した収差クラスコードCCAをクラス合成回路４０７に供給する。
【０２３８】
タップ構築回路４０３−１は、表示位置算出回路４０１から供給された位置情報、および構造切換制御回路４０２から供給されたタップ選択信号TS１に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、前処理回路４０３から供給された画像に含まれる画素を、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1として選択し、選択した動きクラスタップTD1を動きクラス生成回路４０４に供給する。タップ構築回路４０３−１が出力する動きクラスタップTD1は、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから構成される。
【０２３９】
動きクラス生成回路４０４は、イニシャライズ回路４１１から供給されたパラメータ、並びにタップ構築回路４０３−１から供給された動きクラスタップTD1を基に、赤色に対応する動きクラスコード、緑色に対応する動きクラスコード、および青色に対応する動きクラスコードから成る動きクラスコードMCC、並びに赤色に対応する静動フラグ、緑色に対応する静動フラグ、および青色に対応する静動フラグから成る静動フラグSMFを生成し、動きクラスコードMCCおよび静動フラグSMFをタップ構築回路４０３−２乃至４０３−Ｎおよびクラス合成回路４０７に出力する。
【０２４０】
タップ構築回路４０３−２は、動きクラス生成回路４０４から供給された赤色、緑色、および青色ごとの動きクラスコードMCCおよび静動フラグSMF、構造切換制御回路４０２から供給されたタップ選択信号TS2に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る全クラス予測タップVETを選択して、全クラス予測タップVETを可変タップ選択回路４０７に供給する。
【０２４１】
タップ構築回路４０３−３は、動きクラス生成回路４０４から供給された赤色、緑色、および青色ごとの動きクラスコードMCC、赤色、緑色、および青色ごとの静動フラグSMF、並びに構造切換制御回路４０２から供給された赤色、緑色、および青色ごとのタップ選択信号TS3-1に基づいて、赤色、緑色、および青色毎にタップ構造を切り換えて、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-1を選択して、選択したクラスタップTD2-1をクラス生成回路４０５−１に供給する。
【０２４２】
クラス生成回路４０５−１は、タップ構築回路４０３−３から供給されたクラスタップTD2-1を基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC1を生成して、生成したクラスコードCC1をクラス合成回路４０６に出力する。クラスコードCC1は、クラスタップTD2-1に含まれる画素の最大の画素値と最小の画素値との差に対応するコードとすることができる。
【０２４３】
タップ構築回路４０３−４乃至４０３−Ｎのそれぞれは、動きクラス生成回路４０４から供給された動きクラスコードMCCおよび静動フラグSMF、構造切換制御回路４０２から供給されたタップ選択信号TS3-2乃至TS3-(N-2)のいずれかに基づいて、それぞれ、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成るクラスタップTD2-2乃至TD2-(N-2)のいずれか１つを選択して、選択したクラスタップTD2-2乃至TD2-(N-2)のいずれかをクラス生成回路４０５−２乃至４０５−（Ｎ−２）のぞれぞれに供給する。
【０２４４】
クラス生成回路４０５−２乃至４０５−（Ｎ−２）のそれぞれは、タップ構築回路４０３−４乃至４０３−Ｎのいずれかから供給されたクラスタップTD2-2乃至TD2-(N-2)のいずれかを基に、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードCC2乃至CC(N-2)のいずれか一つを生成して、生成したクラスコードCC2乃至CC(N-2)をクラス合成回路４０６に出力する。クラスコードCC2は、例えば、画素値パターンに対応するクラスコードとすることができる。
【０２４５】
クラス合成回路４０６は、動きクラスコードMCCに含まれる赤色に対応するクラスコードおよび静動フラグSMFに含まれる赤色に対応する静動フラグを基に、収差クラスコードCCAに含まれる赤色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる赤色に対応するクラスコードを、最終的な１つのクラスコードTCCの赤色に対応するクラスコードに統合する。
【０２４６】
クラス合成回路４０６は、動きクラスコードMCCに含まれる緑色に対応するクラスコードおよび静動フラグSMFに含まれる緑色に対応する静動フラグを基に、収差クラスコードCCAに含まれる緑色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる緑色に対応するクラスコードを、最終的な１つのクラスコードTCCの緑色に対応するクラスコードに統合する。
【０２４７】
クラス合成回路４０６は、動きクラスコードMCCに含まれる青色に対応するクラスコードおよび静動フラグSMFに含まれる青色に対応する静動フラグを基に、収差クラスコードCCAに含まれる青色に対応するクラスコードおよびクラスコードCC1乃至CC(N-2)に含まれる青色に対応するクラスコードを、最終的な１つのクラスコードTCCの青色に対応するクラスコードに統合する。
【０２４８】
クラス合成回路４０６は、赤色に対応するクラスコード、緑色に対応するクラスコード、および青色に対応するクラスコードから成るクラスコードTCCを係数保持クラスコード選択回路４０８に出力する。
【０２４９】
係数保持クラスコード選択回路４０８は、イニシャライズ回路４１０から供給されたクラスコードTCCに対応する予測タップ選択信号VTおよび係数セットを予め記憶している。
【０２５０】
係数保持クラスコード選択回路４０８は、クラス合成回路４０６から供給されたクラスコードTCCを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップ選択信号VTを生成して、生成した予測タップ選択信号VTを可変タップ選択回路４０７に供給するとともに、クラスコードTCCに含まれる赤色のクラスコードに対応する予測係数、クラスコードTCCに含まれる緑色のクラスコードに対応する予測係数、およびクラスコードTCCに含まれる青色のクラスコードに対応する予測係数から成る予測係数Wを推定予測演算回路４０９に出力する。
【０２５１】
可変タップ選択回路４０７は、タップ構築回路４０３−２から供給された全クラス予測タップVET、および係数保持クラスコード選択回路４０８から供給された予測タップ選択信号VTを基に、赤色に対応するタップ、緑色に対応するタップ、および青色に対応するタップから成る予測タップETを選択して、選択した予測タップETを推定予測演算回路４０９に供給する。
【０２５２】
推定予測演算回路４０９の積和器４２１は、可変タップ選択回路４０７から供給された予測タップETに含まれる赤色に対応するタップ、および係数保持クラスコード選択回路４０８から供給された予測係数Wに含まれる赤色に対応する予測係数を基に、線形推定式を用いて、画素値の赤色の成分を算出する。
【０２５３】
推定予測演算回路４０９の積和器４２１は、可変タップ選択回路４０７から供給された予測タップETに含まれる緑色に対応するタップ、および係数保持クラスコード選択回路４０８から供給された予測係数Wに含まれる緑色に対応する予測係数を基に、線形推定式を用いて、画素値の緑色の成分を算出する。
【０２５４】
推定予測演算回路４０９の積和器４２１は、可変タップ選択回路４０７から供給された予測タップETに含まれる青色に対応するタップ、および係数保持クラスコード選択回路４０８から供給された予測係数Wに含まれる青色に対応する予測係数を基に、線形推定式を用いて、画素値の青色の成分を算出する。
【０２５５】
なお、推定予測演算回路４０９の積和器４２１は、予測係数Wを基に、非線形推定式を用いて、欠落画素の画素値を算出するようにしてもよい。
【０２５６】
このように、図２７に構成を示す画像処理装置は、欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に実行することができ、従来に比較して、より鮮明な画像を得ることができるようになる。
【０２５７】
図２８に示すフローチャートを参照して、図２３に構成を示す画像処理装置における、収差モードにおける、色収差に対応したタップの切換の処理を説明する。ステップＳ１０１において、構造切換制御回路３０２は、イニシャライズ回路３１２から供給された収差情報を取得する。
【０２５８】
ステップＳ１０２において、構造切換制御回路３０２は、注目画素を選択する。ステップＳ１０３において、表示位置算出回路３０１は、注目画素と画面中央との相対距離を求める。ステップＳ１０４において、構造切換制御回路３０２は、赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを生成して、補正ベクトルを含むタップ選択信号TS１をタップ構築回路３０４−１に供給し、補正ベクトルを含むタップ選択信号TS2をタップ構築回路３０４−２に供給し、補正ベクトルを含むタップ選択信号TS3-1乃至TS3-(N-2)のそれぞれをタップ構築回路３０４−３乃至３０４−Ｎのそれぞれに供給する。
【０２５９】
ステップＳ１０５において、タップ構築回路３０４−１は、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応する動きクラスタップTD1を選択する。タップ構築回路３０４−２は、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応する全クラス予測タップVETを選択する。タップ構築回路３０４−３乃至３０４−Ｎのそれぞれは、注目画素と画面中央との相対距離を示す位置情報、並びに赤色についての補正ベクトル、緑色についての補正ベクトル、および青色についての補正ベクトルを基に、タップを切り換えて、赤色、緑色、および青色のそれぞれに対応するDRクラスタップTD2-1乃至TD2-(N-2)を選択する。
【０２６０】
ステップＳ１０６において、画像処理装置は、全ての画素について処理を終了したか否かを判定し、全ての画素について処理を終了していないと判定された場合、ステップＳ１０２に戻り、タップの切換の処理を繰り返す。
【０２６１】
ステップＳ１０６において、全ての画素について処理を終了したと判定された場合、処理は終了する。
【０２６２】
このように、図２３に構成を示す画像処理装置は、収差モードにおいて、収差を考慮し、画面位置に対応してタップを切り換えることができる。
【０２６３】
図２７に構成を示す画像処理装置は、収差モードにおいて、図２８に示すフローチャートを参照して説明した処理と同様の処理で画面位置に対応してタップを切り換えるので、その説明は省略する。
【０２６４】
次に、図２３に構成を示す画像処理装置、および図２７に構成を示す画像処理装置が実行する他の処理について説明する。
【０２６５】
図２３の画像処理装置の構造切換制御回路３０２は、イニシャライズ回路３１２からテロップモードが指定されたとき、テロップを表示するテロップ表示領域を示すテロップ位置情報を取得する。テロップ位置情報は、例えば、上の３０ライン、下の５０ライン、または右側１００画素などテロップ表示領域の位置と広さとを示す。
【０２６６】
構造切換制御回路３０２は、入力された画像からテロップ表示領域を示すデータを取得するようにしてもよい。
【０２６７】
図２９は、テロップ等が表示されている画面の例を示す図である。図２９（Ａ）に示す例において、画像表示領域の上および下のテロップ表示領域には、例えば、画像と共に、対応する文字が表示される。テロップ表示領域の画像の信号特性は、平坦部とエッジ部とを大量に含んでいるため、自然画等の画像の信号特性と異なる。
【０２６８】
図２９（Ｂ）に示す例において、画像表示領域の下のテロップ表示領域に表示される文字は、画像上を、画面の右側から左側に向かって流れるように表示される。
【０２６９】
図２９（Ｃ）に示す例において、画面の右半分のテロップ表示領域に表示される文字は、画像上を、画面の上側から下側に向かって流れるように表示される。
【０２７０】
図２９（Ｄ）に示す例において、画像表示領域の４方を囲む、枠画像表示領域には、例えば、コンピュータグラフィクスにより生成された画像が表示される。
【０２７１】
以下、テロップモードにおける、図２３の画像処理装置の動作の例を説明する。
【０２７２】
表示位置算出回路３０１は、入力れた画像の各画素の画面上の物理アドレスを算出して、タップ構築回路３０４−１乃至３０４−Ｎに供給する。
【０２７３】
構造切換制御回路３０２は、テロップ位置情報を基に、タップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)を生成し、タップ選択信号TS１をタップ構築回路３０４−１に供給し、タップ選択信号TS2をタップ構築回路３０４−２に供給し、タップ選択信号TS3-1乃至TS3-(N-2)のそれぞれをタップ構築回路３０４−３乃至３０４−Ｎのそれぞれに供給する。
【０２７４】
タップ構築回路３０４−１は、各画素の画面上の物理アドレスおよびタップ選択信号TS１を基に、注目画素が画像表示領域に属するとき、例えば、より広い範囲の画素を利用するタップを選択し、注目画素がテロップ表示領域に属するとき、例えば、より狭い範囲の画素を利用するタップを選択し、動きクラスタップTD1を選択する。例えば、画像表示領域に自然画像が表示されるとき、より広い範囲のタップを選択することで、画像処理装置は、多数の画素に渡って緩やかに変化する画像の成分を利用した画像処理を実行することができる。
【０２７５】
これに対して、文字が表示されるテロップ表示領域において、文字に対応する画素の画素値は、ほぼ同一の値であり、背景に対応する画素の画素値は、ほぼ同一の値である。例えば、白色で表示される文字に対応する画素の画素値と、黒色で表示される背景に対応する画素の画素値とは、大きく異なる。
【０２７６】
すなわち、テロップ表示領域において、文字と背景とに跨るタップの値は、急激に変化する。文字のみ、または背景のみから成るタップの値は、ほとんど変化しない。従って、テロップ表示領域について、より狭い範囲のタップを選択することで、画像処理装置は、急激に画素値が変化する画像に適切に対応するクラス分類または適応処理を実行することができる。
【０２７７】
また、例えば、図２９（Ｂ）に示すようにテロップ表示領域において画面に対して横方向に流れるように文字が表示されるとき、画像処理装置は、テロップ表示領域について、横長のタップを選択することにより、少ないクラスに分類してもノイズ除去効果の高い、より効果的な画像処理を実行することができる。図２９（Ｃ）に示すようにテロップ表示領域において画面に対して縦方向に流れるように文字が表示されるとき、画像処理装置は、テロップ表示領域について、縦長のタップを選択することにより、より効果的な画像処理を実行することができる。
【０２７８】
このように、画像処理装置は、テロップ表示領域と画像表示領域とで、異なるタップ構造および予測係数Wを使用することで、最適な信号処理を実行する。
【０２７９】
次に、図２３に構成を示す画像処理装置による、テロップモードにおける、テロップの位置に対応したタップの切換の処理を図３０のフローチャートを参照して説明する。
【０２８０】
ステップＳ２０１において、構造切換制御回路３０２は、イニシャライズ回路３１２から供給されたテロップ位置情報を取得する。構造切換制御回路３０２は、テロップの位置に対応するタップ選択信号TS１、タップ選択信号TS2、およびタップ選択信号TS3-1乃至TS3-(N-2)を生成し、タップ選択信号TS１をタップ構築回路３０４−１に供給し、タップ選択信号TS2をタップ構築回路３０４−２に供給し、タップ選択信号TS3-1乃至TS3-(N-2) のそれぞれをタップ構築回路３０４−３乃至３０４−Ｎのそれぞれに供給する。
【０２８１】
ステップＳ２０２において、タップ構築回路３０４−１は、注目画素を選択する。タップ構築回路３０４−２は、注目画素を選択する。タップ構築回路３０４−３乃至３０４−Ｎのそれぞれは、注目画素を選択する。
【０２８２】
ステップＳ２０３において、タップ構築回路３０４−１は、各画素の画面上の物理アドレスおよびタップ選択信号TS１を基に、注目画素がテロップ内の画素であるか否かを判定し、注目画素がテロップ内の画素であると判定された場合、ステップＳ２０４に進み、タップを切り換えて、テロップに対応する、動きクラスタップTD1を選択し、手続きは、ステップＳ２０６に進む。
【０２８３】
ステップＳ２０３において、注目画素がテロップ内の画素でないと判定された場合、ステップＳ２０５に進み、タップ構築回路３０４−１は、タップを切り換えて、自然画像に対応する、動きクラスタップTD1を選択し、手続きは、ステップＳ２０６に進む。
【０２８４】
ステップＳ２０３乃至ステップＳ２０５において、タップ構築回路３０４−２乃至３０４−Ｎは、タップ構築回路３０４−１と同様の処理を実行するので、その説明は省略する。
【０２８５】
ステップＳ２０６において、タップ構築回路３０４−１乃至３０４−Ｎは、全ての画素について処理を終了したか否かを判定し、全ての画素について処理を終了していないと判定された場合、ステップＳ２０２に戻り、タップの切換の処理を繰り返す。
【０２８６】
ステップＳ２０６において、全ての画素について処理を終了したと判定された場合、処理は終了する。
【０２８７】
このように、図２３に構成を示す画像処理装置は、テロップモードにおいて、注目画素がテロップ表示領域に属するか否かに対応してタップを切り換えることができる。
【０２８８】
図２７に構成を示す画像処理装置は、テロップモードにおいて、図３０に示すフローチャートを参照して説明した処理と同様の処理で、注目画素がテロップ表示領域に属するか否かに対応してタップを切り換えるので、その説明は省略する。
【０２８９】
図２３または図２７に構成を示す画像処理装置は、図２９（Ｄ）に示す画像についても、枠画像表示領域のタップおよび画像表示領域のタップを切り換えて処理を実行する。
【０２９０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０２９１】
図３１は、記録媒体およびコンピュータの例を説明する図である。CPU（Central Processing Unit）５０１は、各種アプリケーションプログラムや、OS（Operating System)を実際に実行する。ROM（Read-only Memory）５０２は、一般的には、CPU５０１が使用するプログラムや演算用のパラメータのうちの基本的に固定のデータを格納する。RAM（Random-Access Memory）５０３は、CPU５０１の実行において使用するプログラムや、その実行において適宜変化するパラメータを格納する。これらはCPUバスなどから構成されるホストバス５０４により相互に接続されている。
【０２９２】
ホストバス５０４は、ブリッジ５０５を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス５０６に接続されている。
【０２９３】
キーボード５０８は、CPU５０１に各種の指令を入力するとき、使用者により操作される。マウス５０９は、ディスプレイ５１０の画面上のポイントの指示や選択を行うとき、使用者により操作される。ディスプレイ５１０は、液晶表示装置またはCRT（Cathode Ray Tube）などから成り、各種情報をテキストやイメージで表示する。HDD（Hard Disk Drive）５１１は、ハードディスクを駆動し、それらにCPU５０１によって実行するプログラムや情報を記録または再生させる。
【０２９４】
ドライブ５１２は、装着されている磁気ディスク５５１、光ディスク５５２、光磁気ディスク５５３、または半導体メモリ５５４に記録されているデータまたはプログラムを読み出して、そのデータまたはプログラムを、インターフェース５０７、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介して接続されているRAM５０３に供給する。
【０２９５】
これらのキーボード５０８乃至ドライブ５１２は、インターフェース５０７に接続されており、インターフェース５０７は、外部バス５０６、ブリッジ５０５、およびホストバス５０４を介してCPU５０１に接続されている。
【０２９６】
記録媒体は、図２３に示すように、コンピュータとは別に、ユーザにブロック図に対応する処理を実行するプログラムを提供するために配布される、プログラムが記録されている磁気ディスク５５１（フロッピディスクを含む）、光ディスク５５２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク５５３（ＭＤ(Mini-Disc)を含む）、若しくは半導体メモリ５５４などよりなるリムーバブルメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や、HDD５１１などで構成される。
【０２９７】
なお、ユーザにブロック図に対応する処理を実行するプログラムは、有線または無線の通信媒体を介して、コンピュータに供給されるようにしてもよい。
【０２９８】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２９９】
【発明の効果】
本発明の画像処理装置および方法、並びに記録媒体によれば、複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報が検出され、位置情報で示されるフレームの中心からの距離に基づいて、複数のクラスから注目画素のクラスが決定され、位置情報に応じて、前記入力画像信号から複数の画素が予測タップとして選択され、クラス毎に予め学習により得られた変換データ、および、予測タップに基づく演算処理を行うことにより、出力画像信号として、入力画像信号に含まれる欠落画素の情報も含む画像信号が出力され、フレームの端部の欠落画素の情報を含む画像信号を出力する場合、予め設定された画素値が欠落画素の画素値として設定されるようにしたので、画素の画面上の位置にかかわらず、常に、より高質な画像を生成することができるようになる。
【図面の簡単な説明】
【図１】画素のマスクを説明する図である。
【図２】本発明に係る画像処理装置の一実施の形態の構成を示す図である。
【図３】有効画素領域算出回路１１の構成の例を示す図である。
【図４】有効画素領域垂直フラグVFおよび有効画素領域水平フラグHFを説明する図である。
【図５】創造の対象となる周辺の画素を説明する図である。
【図６】画像の端部における、タップの構築の例を示す図である。
【図７】画像の端部における、タップの構築の例を示す図である。
【図８】欠落画素創造回路１２の構成を示すブロック図である。
【図９】前処理回路１０１の処理を説明するフローチャートである。
【図１０】動きクラス生成回路１０３の構成を示す図である。
【図１１】動き検出回路１５１の構成を示す図である。
【図１２】時間アクティビティの算出に使用されるタップを示す図である。
【図１３】空間アクティビティの算出に使用されるタップを示す図である。
【図１４】動き判定の閾値を説明する図である。
【図１５】動き判定回路１８４の動きクラスコードMCCを設定する処理を説明するフローチャートである。
【図１６】動きクラスコードMCCの多数決判定に利用される画素を説明する図である。
【図１７】動き検出回路１５１の動きクラスコードMCCを設定する処理を説明するフローチャートである。
【図１８】画像の端部における、タップの構築の例を示す図である。
【図１９】画像の端部における、タップの構築の例を示す図である。
【図２０】補間の処理に利用される画素を説明する図である。
【図２１】画素値が置換される画素を説明する図である。
【図２２】欠落画素創造回路１２の他の構成を示すブロック図である。
【図２３】欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う画像処理装置に利用される係数セットを生成する、画像処理装置の一実施の形態の構成を示す図である。
【図２４】色収差を説明する図である。
【図２５】色収差を説明する図である。
【図２６】タップの切換を説明する図である。
【図２７】欠落画素創造を行う画像処理モード、色収差を考慮した画像処理モード、テロップ位置を考慮した画像処理モードの何れか１つまたは複数を選択的に行う画像処理装置の一実施の形態の構成を示す図である。
【図２８】色収差に対応したタップの切換の処理を説明するフローチャートである。
【図２９】テロップ等が表示されている画面の例を示す図である。
【図３０】テロップの位置に対応したタップの切換の処理を説明するフローチャートである。
【図３１】記録媒体を説明する図である。
【符号の説明】
１１ 有効画素領域算出回路， １２ 欠落画素創造回路， １０１ 前処理回路， １０２−１乃至１０２−５ タップ構築回路， １０３ 動きクラス生成回路， １０４ ＤＲクラス生成回路， １０５ 空間クラス生成回路， １０６ 欠落クラス生成回路， １０７ クラス合成回路， １０８ 可変タップ選択回路， １０９ 係数保持クラスコード選択回路， １１０ 推定予測演算回路， １１１ イニシャライズ回路， ２０１ 前処理回路， ２０２−１乃至２０２−５ タップ構築回路， ２０３ 動きクラス生成回路， ２０４ ＤＲクラス生成回路， ２０５ 空間クラス生成回路， ２０６ 欠落クラス生成回路， ２０７ クラス合成回路， ２０８ 可変タップ選択回路， ２０９ 係数保持クラスコード選択回路， ２１０ 推定予測演算回路， ２１１ イニシャライズ回路， ２１２ 置換回路， ２１３ 線形補間回路， ２１４ 選択回路， ３０１ 表示位置算出回路， ３０２ 構造切換制御回路， ３０３ダウンフィルタ， ３０４−１乃至３０４−Ｎ タップ構築回路， ３０５ 動きクラス生成回路， ３０６−１乃至３０６−（Ｎ−２） クラス生成回路，３０７ クラス合成回路， ３０８ 可変タップ選択回路， ３０９ クラスコード選択回路， ３１０ 正規方程式演算回路， ３１１ 係数メモリ， ３１２ イニシャライズ回路， ４０１ 表示位置算出回路， ４０２ 構造切換制御回路， ４０３−１乃至４０３−Ｎ タップ構築回路， ４０４ 動きクラス生成回路， ４０５−１乃至４０５−（Ｎ−２） クラス生成回路， ４０６クラス合成回路， ４０７ 可変タップ選択回路， ４０８ 係数保持クラスコード選択回路， ４０９ 推定予測演算回路， ４１０ イニシャライズ回路， ４２１ 積和器， ５０１ ＣＰＵ， ５０２ ＲＯＭ， ５１１ ＨＤＤ， ５５１ 磁気ディスク， ５５２ 光ディスク， ５５３ 光磁気ディスク， ５５４ 半導体メモリ
Claims (6)
- 複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出手段と、
前記位置情報で示される前記フレームの中心からの距離に基づいて、複数のクラスから前記注目画素のクラスを決定するクラス決定手段と、
前記位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択手段と、
前記クラス毎に予め学習により得られた変換データ、および、前記予測タップに基づく演算処理を行うことにより、前記出力画像信号として、前記入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段とを備え、
前記演算手段は、前記フレームの端部の前記欠落画素の情報を含む前記画像信号を出力する場合、予め設定された画素値を前記欠落画素の画素値として設定する
ことを特徴とする画像処理装置。 - 前記演算手段は、前記出力画像信号として、前記入力画像信号よりノイズの低減された画像信号を出力する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記演算手段は、前記出力画像信号として、前記入力画像信号より高解像度の画像信号を出力する
ことを特徴とする請求項１に記載の画像処理装置。 - 前記演算手段は、前記出力画像信号として、前記入力画像信号よりレンズの収差による歪みが低減された画像信号を出力する
ことを特徴とする請求項１に記載の画像処理装置。 - 複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、
前記位置情報で示される前記フレームの中心からの距離に基づいて、複数のクラスから前記注目画素のクラスを決定するクラス決定ステップと、
前記位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、
前記クラス毎に予め学習により得られた変換データ、および、前記予測タップに基づく演算処理を行うことにより、前記出力画像信号として、前記入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含み、
前記演算ステップの処理では、前記フレームの端部の前記欠落画素の情報を含む前記画像信号を出力する場合、予め設定された画素値を前記欠落画素の画素値として設定する
ことを特徴とする画像処理方法。 - 複数の画素からなる入力画像信号の注目画素のフレーム内における位置を示す位置情報を検出する位置検出ステップと、
前記位置情報で示される前記フレームの中心からの距離に基づいて、複数のクラスから前記注目画素のクラスを決定するクラス決定ステップと、
前記位置情報に応じて、前記入力画像信号から複数の画素を予測タップとして選択する予測タップ選択ステップと、
前記クラス毎に予め学習により得られた変換データ、および、前記予測タップに基づく演算処理を行うことにより、前記出力画像信号として、前記入力画像信号に含まれる欠落画素の情報も含む画像信号を出力する演算手段ステップとを含む画像処理をコンピュータに実行させ、
前記演算ステップの処理では、前記フレームの端部の前記欠落画素の情報を含む前記画像信号を出力する場合、予め設定された画素値を前記欠落画素の画素値として設定する
ことを特徴とするプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001026941A JP4623345B2 (ja) | 2000-02-10 | 2001-02-02 | 画像処理装置および方法、並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000033786 | 2000-02-10 | ||
| JP2000-33786 | 2000-02-10 | ||
| JP2001026941A JP4623345B2 (ja) | 2000-02-10 | 2001-02-02 | 画像処理装置および方法、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001298637A JP2001298637A (ja) | 2001-10-26 |
| JP2001298637A5 JP2001298637A5 (ja) | 2008-03-06 |
| JP4623345B2 true JP4623345B2 (ja) | 2011-02-02 |
Family
ID=26585220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001026941A Expired - Fee Related JP4623345B2 (ja) | 2000-02-10 | 2001-02-02 | 画像処理装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4623345B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6904200B2 (ja) * | 2017-09-27 | 2021-07-14 | 株式会社Ｊｖｃケンウッド | 動きベクトル検出装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000134511A (ja) * | 1998-10-26 | 2000-05-12 | Sony Corp | 画像情報変換装置および変換方法 |
-
2001
- 2001-02-02 JP JP2001026941A patent/JP4623345B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000134511A (ja) * | 1998-10-26 | 2000-05-12 | Sony Corp | 画像情報変換装置および変換方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001298637A (ja) | 2001-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100742850B1 (ko) | 화상 처리 장치와 방법, 및 기록 매체 | |
| JP4816970B2 (ja) | 画像処理装置、表示装置、画像処理方法及びプログラム | |
| US7420487B2 (en) | Denoising video | |
| JP2005210697A (ja) | 動き補償フレームレート変換 | |
| JP5333440B2 (ja) | 処理システム、画像処理方法および画像処理用プログラム | |
| JP2014194706A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| JP4548520B2 (ja) | 係数生成装置および方法、画像生成装置および方法、並びにプログラム | |
| US20120321214A1 (en) | Image processing apparatus and method, program, and recording medium | |
| JP2010093672A (ja) | 映像変換装置および方法、並びにプログラム | |
| JP2006067541A (ja) | 映像変換装置及び映像変換方法並びに記録媒体 | |
| JP4623345B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4650683B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
| JP2002223374A (ja) | ノイズ除去装置およびノイズ除去方法 | |
| JP4875564B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
| JP4525064B2 (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| KR20070094521A (ko) | 화상 처리 장치 및 화상처리 방법과 프로그램 | |
| US8411200B2 (en) | Video signal processing device, method, and non-transitory computer readable medium storing image processing program capable of producing an appropriate interpolation frame | |
| JP4650684B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
| JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP2009049752A (ja) | 映像信号処理装置、映像信号処理方法、及び表示装置 | |
| JP5050944B2 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
| JP4595162B2 (ja) | 画像信号処理装置及び画像信号処理方法 | |
| JP4200403B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、画像伝送システムおよび方法、並びに記録媒体 | |
| JP4415229B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2005004770A (ja) | グループ化による映画映像検出方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080118 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080118 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100325 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100817 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100915 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101007 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101020 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131112 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |