JP4470282B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4470282B2 JP4470282B2 JP2000179342A JP2000179342A JP4470282B2 JP 4470282 B2 JP4470282 B2 JP 4470282B2 JP 2000179342 A JP2000179342 A JP 2000179342A JP 2000179342 A JP2000179342 A JP 2000179342A JP 4470282 B2 JP4470282 B2 JP 4470282B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- image
- pixels
- unit
- resolution conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、低解像度の画像信号から高解像度の画像信号に変換する画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
現行のテレビジョン方式としては、１フレーム当たりの走査線数が５２５本や６２５本などの、いわゆる標準方式と、１フレーム当たりの走査線数がそれよりも多い高精細度方式、例えば１１２５本のハイビジョン方式など、種々のものがある。
【０００３】
この場合に、例えば高精細度方式に対応した機器で、標準方式の画像信号を取り扱えるようにするためには、標準方式の解像度の画像信号を高精細度方式に合致する解像度の画像信号に解像度変換する必要がある。そこで、従来から、線形補間などの方法を用いた画像信号の解像度変換装置が種々提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の解像度変換装置のあるものは、静止画像部分については劣化の少ない変換出力画像を出力することができるが、動きの大きい画像部分の場合には、画像の劣化が生じてしまうという問題があり、また、従来の解像度変換装置の他のあるものは、動きのある画像部分の場合には、劣化の少ない変換出力画像が得られるが、静止部分については、動き部分ほどの良好な画像が得られないという問題があった。
【０００５】
すなわち、従来は、画像の静止、動き部分の両方に的確に対応して劣化のない画像を形成することができる解像度変換装置を実現することが困難であった。
【０００６】
この発明は、以上の点にかんがみ、画像の静動に関係なく劣化の少ない高画質の変換画像出力が得られるようにする画像処理装置および方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、この発明による画像処理装置は、
入力画像信号から、この入力画像信号による画像よりも高解像度の画像を形成する出力画像信号を得る画像処理装置において、
前記出力画像信号の画像の解像度と同じ解像度の画像の画像信号を記憶するフレームメモリを備え、前記フレームメモリに記憶されている画像信号による画像と、前記入力画像信号による画像との間での動きを参照して画素位置を補正をしながら、前記入力画像信号を前記フレームメモリに蓄積するようにすることで、前記フレームメモリに、前記高解像度の画像信号を生成する第１の解像度変換部と、
入力画像信号による画像中の注目画素についての特徴を、その注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素についての特徴によってクラス分類し、分類されたクラスに対応して予め設定されている画像変換演算処理により、前記注目画素に対応する前記高解像度の画像中の複数画素を生成することにより、前記高解像度の出力画像信号を生成する第２の解像度変換部と、
前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号のいずれか一方の画像信号を、前記出力画像信号として選択して出力する出力選択部と、
を備えることを特徴とする。
【０００８】
上述の構成のこの発明においては、第１の解像度変換部は、フレームメモリに、画像情報を時間方向に長い期間に渡って蓄積することにより、高解像度の画像信号を形成するものであるので、静止画や、全画面について単純にパンやチルトをする画像に対しては、劣化の少ない変換出力画像信号が得られる。
【０００９】
一方、第２の解像度変換部は、入力画像信号による画像中の注目画素についての特徴を、その注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素についての特徴によってクラス分類し、分類されたクラスに対応して予め設定されている画像変換演算処理により、前記注目画素に対応する前記高解像度の画像中の複数画素を生成することにより、前記高解像度の出力画像信号を生成するので、動き部分においても劣化の少ない変換出力画像信号が得られる。しかし、静止部分に関しては、画像情報を時間方向に長く扱う第１の解像度変換部よりも劣る。
【００１０】
この発明の画像処理装置においては、前記の各解像度変換部の特徴を考慮して、画素単位あるいは所定数の画素毎に、出力選択部により、前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号のいずれか一方の画像信号を選択して出力することができるので、劣化の少ない高画質の変換出力画像を得ることができる。
【００１１】
【発明の実施の形態】
以下、この発明による画像処理装置の実施の形態を、図を参照しながら説明する。以下に説明する実施の形態は、前述した標準テレビジョン方式（以下、ＳＤという）の画像の解像度の画像信号を入力画像信号として、これを、ハイビジョン方式（以下、ＨＤという）の画像の解像度の出力画像信号に変換する場合である。そして、以下に説明する実施の形態では、図２に示すように、ＳＤ画像の１個の注目画素毎について、ＨＤ画像の４個の画素を創造して、解像度変換するものである。
【００１２】
図１は、この実施の形態の画像処理装置の構成を示すブロック図である。図１に示すように、この例では、入力画像信号は画素ごとに、第１の解像度変換部の一例を構成する高密度蓄積解像度変換回路１１に供給されるとともに、第２の解像度変換部の一例を構成するクラス分類適応処理解像度変換回路１２に供給される。
【００１３】
高密度蓄積解像度変換回路１１は、ＨＤ相当の画像の画像信号を記憶するフレームメモリを備え、そのフレームメモリに記憶されている画像信号による画像と、ＳＤ入力画像信号による画像との間での動きを参照して画素位置を補正をしながら、ＳＤ入力画像信号を、そのフレームメモリに蓄積するようにすることで、当該フレームメモリに、ＨＤ相当の出力画像信号を生成するもので、その詳細な構成については後述する。この高密度蓄積解像度変換回路１１からのＨＤ相当の変換画像信号は、出力選択回路１３に供給される。
【００１４】
また、クラス分類適応処理解像度変換回路１２は、ＳＤ入力画像信号による画像中の注目画素についての特徴を、その注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素についての特徴によってクラス分類し、分類されたクラスに対応して予め設定されている画像変換演算処理により、前記注目画素に対応するＨＤ画像中の複数画素を生成することにより、高解像度の出力画像信号を生成するもので、その詳細な構成については後述する。このクラス分類適応処理解像度変換回路１２からのＨＤ相当の変換画像信号も、出力選択回路１３に供給される。
【００１５】
出力選択回路１３は、後で詳述する判定回路１４と、選択回路１５とからなり、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号とは、それぞれ、選択回路１６に供給される。
【００１６】
また、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号とは、判定回路１４に供給される。判定回路１４では、それら２つの変換画像信号から、それらの画像信号による画像の動きとアクティビティとを、それぞれ所定数の画素単位で判定し、その判定結果に応じて、選択回路１５を、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号のいずれか一方を、前記所定数の画素単位で選択するように選択制御する選択制御信号を生成する。この例では、各画素ごとに、どちらの変換画像信号を選択するかを判定し、その判定出力を選択制御信号として、選択回路１５に供給する。
【００１７】
［高密度蓄積解像度変換回路の構成例］
図３は、この実施の形態に用いられる高密度蓄積解像度変換回路１１の構成例を示すものである。この高密度蓄積解像度変換回路１１は、シーンチェンジやズームを除いた、静止や、全画面で単純なパン、チルトの動きを持つ画像の解像度変換に有効である。
【００１８】
高密度蓄積解像度変換回路１１は、図３に示すように、フレームメモリ１１０を備える。このフレームメモリ１１０は、ＨＤ画像相当の解像度（図２参照）の１フレームの画像信号の各画素値を格納する。
【００１９】
ＳＤ入力画像信号は、まず、線形補間部１１１に供給される。この線形補間部１１１は、ＳＤ入力画像信号から、線形補間により、ＨＤ画像相当の画像信号を生成し、動きベクトル検出部１１２に出力する。この線形補間部１１１での処理は、ＳＤ入力画像と、フレームメモリ１１０内のＨＤ相当画像との間で動きべクトル検出を行う際に、同じ画像サイズでマッチングを行うためである。
【００２０】
動きベクトル検出部１１２では、線形補間部１１１の出力画像と、フレームメモリ１１０に蓄えられているＨＤ画像相当の画像との間で動きベクトル検出を行う。動きベクトル検出の手法としては、例えば全画面での代表点マッチングを行う。この場合、検出される動きべクトルの精度は、ＨＤ相当の画像において１画素単位分とする。つまり、ＳＤ画像の入力画像信号では、１画素分以下の精度を持つ。
【００２１】
動きベクトル検出部１１２で検出された動きベクトルは、位相シフト部１１３に供給される。位相シフト部１１３は、これに供給される動きベクトルに応じて、ＳＤ入力画像信号の位相シフトを行い、画像蓄積処理部１１４に供給する。画像蓄積処理部１１４では、フレームメモリ１１０に記憶されている画像信号と、位相シフト部１１３で位相シフトしたＳＤ入力画像信号との蓄積処理を行い、蓄積処理した画像信号により、フレームメモリ１１０の記憶内容を書き換える。
【００２２】
画像蓄積処理部１４での処理の概念図を図５に示す。図５は、説明の簡単のために、垂直方向のみについての蓄積処理を示すが、水平方向についても同様に蓄積処理が行われる。
【００２３】
図５において、黒丸は、実際に存在する画素であり、白丸は存在しない画素を示している。この図５では、動きベクトル検出部１１２において、ＨＤ相当の画像で垂直方向に３画素分の動きが検出されたので、位相シフト部で、ＳＤ入力画像信号を、その３画素分、垂直方向に位相シフトした例を示している。この場合、検出される動きベクトルの精度は、上述したように、ＨＤ相当の１画素であるので、位相シフト後のＳＤ入力画像信号における画素位置は、図５に示されるように、フレームメモリ１１０に記憶されているＨＤ画像相当の画像信号におけるいずれかの画素位置に対応するものとなっている。
【００２４】
そして、画像蓄積処理においては、位相シフト後の各画素と、それに対応するフレームメモリ１１０のＨＤ画像相当の画像信号における各画素とを、図４に示すように、互いに加算した後、その加算出力画素により、フレームメモリ１１の前記対応する画素を書き換えるようにする。つまり、ＳＤ画像の動きに対して動き補償を行い、同じ位置にあるＨＤ蓄積画像の画素とＳＤ入力画像の画素の足し合わせを行うものである。なお、この足し合わせに関しては、ＨＤ蓄積画像と、ＳＤ入力画像間で重み付けを行つてもよい。
【００２５】
この画像蓄積処理により、元のＳＤ画像が、ＨＤ画像の１画素単位の精度で動きベクトルに応じてシフトされて、フレームメモリ１１０に蓄積される結果、図４Ａに示すＳＤ画像に対して、フレームメモリ１１０に記憶される画像は、図４（Ｂ）に示すようなＨＤ相当の画像となる。図４も、垂直方向のみについての説明図であるが、水平方向についても同様にＳＤ画像からＨＤ相当画像に変換されるものである。
【００２６】
上述のような蓄積処理によりフレームメモリ１１０に蓄積された画像信号が、ＨＤ出力画像信号として、高密度蓄積解像度変換回路１１の出力として、出力選択回路１３に供給される。この高密度蓄積解像度変換回路１１からのＨＤ出力画像信号は、上述したような画像の時間方向の高密度蓄積処理により生成されるものであるため、前述もしたように、シーンチェンジやズームなどを除いた、画像の静止部分や、単純なパン、チルトの動きを持つＳＤ入力画像の場合には、劣化がなく、かつ、折り返し歪みのないＨＤ出力画像を得ることができる。
【００２７】
しかし、それ以外のシーンチェンジ部分やズーム部分など、動き多い部分の場合には、以下に説明する、１個以上の所定数の画素単位でのＳＤ−ＨＤ変換を行うクラス分類適応処理解像度変換回路の方が、高品質のＨＤ出力画像を得ることができる。
【００２８】
［クラス分類適応処理解像度変換回路の構成例］
次に、この実施の形態に用いられるクラス分類適応処理解像度変換回路について詳細に説明する。以下に説明する例では、クラス分類適応処理として、ＳＤ入力画像信号の注目画素についての特徴に応じてクラス分類を行い、クラス毎に予め学習によって獲得された予測係数をメモリに格納しておき、かかる予測係数を使用した重み付け加算式に従う演算処理によって、前記注目画素に対応する複数個のＨＤ画素の最適な推定画素値を出力する処理を採用している。
【００２９】
図６は、この実施の形態に用いられるクラス分類適応処理解像度変換回路１２の全体的構成例を示すものである。
【００３０】
処理されるべきＳＤ入力画像信号はフィールドメモリ１２１に供給される。このフィールドメモリ１２１には常時１フィールド前のＳＤ画像信号が記憶されている。そして、ＳＤ入力画像信号と、フィールドメモリ１２１に記憶されている１フィールド前のＳＤ画像信号とは、第１領域切り出し部１２２および第２の領域切り出し部１２３に供給される。
【００３１】
第１領域切り出し部１２２は、ＳＤ入力画像信号における注目画素の特徴を抽出するために予め設定された複数個の画素の領域（第１領域）に基づいて、当該第１領域に含まれる複数画素（以下に説明するようにクラスタップと称する）を切り出す処理を行う。
【００３２】
第１領域切り出し部１２２は、第１領域から切り出した複数画像の画素値をクラスコード発生部１２４に供給する。クラスコード発生部１２４は、前記第１領域の注目画素およびその時間的、空間的周囲画素から、注目画素についての特徴を表現するクラスコードを発生し、発生したクラスコードを係数ＲＯＭ１２５に供給する。このように、第１領域切り出し部１２２が切り出す複数個の画素は、クラスコードの発生のために使用されるので、前述したように、クラスタップと称される。
【００３３】
係数ＲＯＭ１２５は、後述するような学習によって決定される予測係数をクラス毎に、より具体的にはクラスコードに関連するアドレスに沿って、予め記憶している。そして、係数ＲＯＭ１２５は、クラスコード発生部１２４から供給されるクラスコードをアドレスとして受け、それに対応する予測係数を出力する。
【００３４】
一方、第２領域切り出し部１２３は、ＳＤ入力画像信号と、フィールドメモリ１２１が記憶している１フィールド前のＳＤ画像信号とから、予測用の画素領域（第２領域）に含まれる注目画素を含む複数個の予測用画素を抽出し、抽出した画素の値を推定演算部１２６に供給する。
【００３５】
推定演算部１２６は、第２領域切り出し部２７からの複数個の画素値と、係数ＲＯＭ２９から読み出される予測係数とに基づいて、以下の式（１）に示すような重み付け演算を行って、ＳＤ画像の注目画素に対応するＨＤ画像の複数個の画素値を求めて、予測ＨＤ画像信号を生成する。このように、第２領域切り出し部１２３が抽出する画素値は、予測ＨＤ画像信号を生成するための重み付け加算において使用されるのて、予測タップと称される。
【００３６】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋・・・・＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００３７】
次に、図７を参照して、第１領域切り出し部１２２で切り出されるクラスタップの例を説明する。この例では、クラスタップとして第１領域に含まれる複数画素は、図７に示すものとされており、注目画素が含まれるフィールドと、その前のフィールドとを含むものとしている。
【００３８】
図７において、黒丸で示す画素は、第ｎフィールド（例えば奇数フィールド）の画素を示し、また、白丸で示す画素は、第ｎ＋１フィールド（例えば偶数フィールド）の画素を示しており、クラスタップは、注目画素と、その時間的および空間的に近傍の複数個の画素とからなるものとされる。
【００３９】
そして、注目画素が第ｎフィールドの画素のときにおいては、図７（Ａ）に示すようなクラスタップの構造とされており、そのｎフィールドからは注目画素と、その上下の１個ずつの画素と、その左右の２個ずつ画素との７個の画素がクラスタップとして抽出され、その前のフィールドからは、注目画素に空間的に隣接する６個の画素がクラスタップとして抽出される。したがって、合計１３個の画素がクラスタップとして切り出される。
【００４０】
また、注目画素が第ｎ＋１フィールドの画素のときにおいては、図７（Ｂ）に示すようなクラスタップの構造とされており、そのｎ＋１フィールドからは注目画素と、その左右の１個ずつの画素との３個の画素がクラスタップとして抽出され、その前のフィールドからは、注目画素に空間的に隣接する６個の画素がクラスタップとして抽出される。したがって、合計９個の画素がクラスタップとして切り出される。
【００４１】
第２領域切り出し部２７で切り出される予測タップについても、この例では、上述のクラスタップと同様のタップ構造が用いられる。
【００４２】
次に、クラスコード発生部１２４の構成例について説明する。この実施の形態では、第１領域切り出し部１２２でクラスタップとして切り出される複数個の画素値パターンを、注目画素の特徴としている。この特徴パターンは、クラスタップに応じた複数個が存在することになるが、その特徴パターンのそれぞれを１つのクラスとする。
【００４３】
クラスコード発生部１２４は、第１領域切り出し部１２２でクラスタップとして切り出された複数個の画素値を用いて、注目画素についての特徴をクラス分類して、予めクラスタップに応じて想定される複数個のクラスのうちのいずれであるかを示すクラスコードを出力する。
【００４４】
この実施の形態においては、クラスコード発生部１２４は、第１領域切り出し部１２２の出力について、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）を行い、そのＡＤＲＣ出力を注目画素の特徴を表すクラスコードとして発生する。
【００４５】
図８は、クラスコード発生部１２４の一例を示す。図８は、１ビットＡＤＲＣによって、クラスコードを発生するものである。
【００４６】
ダイナミックレンジ検出回路２１には、前述したように、第１領域切り出し部１２２から、クラスタップとして、１３個あるいは９個の画素が供給される。各画素の値は、例えば８ビットで表現されている。ダイナミックレンジ検出回路２１は、クラスタップとしての複数個の画素の中の最大値ＭＡＸと、最小値ＭＩＮとを検出し、ＭＡＸ−ＭＩＮ＝ＤＲなる演算によって、ダイナミックレンジＤＲを算出する。
【００４７】
そして、ダイナミックレンジ検出回路２１は、その出力として、算出したダイナミックレンジＤＲと、最小値ＭＩＮと、入力された複数個の画素のそれぞれの画素値Ｐｘを、それぞれ出力する。
【００４８】
ダイナミックレンジ検出回路２１からの複数個の画素の画素値Ｐｘは、減算回路２２に順に供給され、各画素値Ｐｘから最小値ＭＩＮが減算される。各画素値Ｐｘから最小値ＭＩＮが除去されることで、正規化された画素値が比較回路２３に供給される。
【００４９】
比較回路２３には、ダイナミックレンジＤＲを１／２にするビットシフト回路２４の出力（ＤＲ／２）が供給され、画素値ＰｘとＤＲ／２との大小関係が検出される。そして、図９に示すように、画素値ＰｘがＤＲ／２より大きい時には、比較回路２３の１ビットの比較出力が“１”とされ、そうでないときは、比較回路２３の１ビットの比較出力が“０”とされる。そして、比較回路２３は、順次得られるクラスタップとしての複数個の画素の比較出力を並列化して１３ビットあるいは９ビットのＡＤＲＣ出力を発生する。
【００５０】
また、ダイナミックレンジＤＲがビット数変換回路２５に供給され、量子化によってビット数が８ビットから例えば５ビットに変換される。そして、このビット数変換されたダイナミックレンジと、ＡＤＲＣ出力とが、クラスコードとして、係数ＲＯＭ１２５に供給される。
【００５１】
なお、１ビットではなく、多ビットＡＤＲＣを行うようにすれば、注目画素の特徴を、より詳細にクラス分類することができることは勿論である。
【００５２】
次に、学習、すなわち、係数ＲＯＭ１２５に格納する予測係数を得る処理について、図１０を参照して説明する。ここで、図６のクラス分類適応処理解像度変換回路１２中の構成要素と同様な構成要素には、同一の参照符号を付した。
【００５３】
学習を行うために用いられるＨＤ画像信号（教師信号と称する）が、間引き処理部３１、および正規方程式加算部３２に供給される。間引き処理部３１は、ＨＤ画像信号について間引き処理を行って、ＳＤ画像信号（生徒信号と称する）を生成し、生成した生徒信号をフィールドメモリ１２１に供給する。図６を参照して説明したように、フィールドメモリ１２１には、時間的に１フィールド前の生徒信号の１フィールドが記憶される。
【００５４】
フィールドメモリ１２１の後段においては、図６を参照して上述した処理とほぼ同様な処理がなされる。但し、クラスコード発生部１２４が発生するクラスコードおよび第２領域切り出し部１２３が抽出する予測タップは、正規方程式加算部３２に供給される。正規方程式加算部３２には、さらに、教師信号が供給される。正規方程式加算部３２は、これら３種類の入力に基づいて正規方程式を解くための計算処理を行い、予測係数決定部３３は、その計算処理結果からクラスコード毎の予測係数を決定する。そして、予測係数決定部３３は、決定した予測係数をメモリ３４に供給する。メモリ３４は、供給される予測係数を記憶する。メモリ３４に記憶される予測係数と、係数ＲＯＭ１２５（図６）に記憶される予測係数とは、同一のものである。
【００５５】
次に、正規方程式について説明する。上述の式（１）において、学習前は予測係数ｗ1 ，・・・・，ｗn が未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号のクラス毎の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００５６】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・・＋ｗn ×ｘkn （２）
（ｋ＝１、２、…、ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を、以下の式（３）で定義する。
【００５７】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・・＋ｗn ×ｘkn｝ （３）
（ｋ＝１、２、…、ｍ）
そして、以下の式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００５８】
【数１】
【００５９】
式（４）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi （ｉ＝１，２‥‥）で偏微分し（以下の式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００６０】
【数２】
【００６１】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、以下の式（８）の行列式の形に書くことができる。
【００６２】
【数３】
【００６３】
式（８）が一般に正規方程式と呼ばれるものである。予測係数決定部３３は、上述した３種類の入力に基づいて、正規方程式（８）中の各パラメータを算出し、さらに、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くための計算処理を行って予測係数ｗi を算出する。
【００６４】
以上のようにして、クラス分類適応処理解像度変換回路１２は、ＳＤ画像の注目画素の特徴をクラス分類し、分類されたクラスに基づいて、予め用意された予測係数を用いた推定演算を行うことによって、注目画素に対応するＨＤ画像の複数画素を創造する。
【００６５】
したがって、ＳＤ画像の注目画素の特徴に的確に対応する予測係数を選択することができるので、そのような予測係数を使用して推定演算を行うことにより、注目画素に対応するＨＤ画像の複数画素を良好に創造することができる。そして、動きがある場合にも劣化の少ない変換画像信号を得ることができる。
【００６６】
このように、クラス分類適応処理解像度変換回路１２では、画像の静止、動きに依存せずに、劣化の少ない変換画像信号を得ることができるが、前述したような完全な静止部分や、パン、チルトなどの画像全体の単純な動きに関しては、長いフレームの情報を蓄積することができる高密度蓄積解像度変換回路１１からの変換画像信号には劣る。
【００６７】
この実施の形態においては、以上のような、２つの解像度変換回路１１、１２の特徴を生かして、出力選択回路１３から、より劣化の少ない解像度変換出力画像信号を、適切に得るようにしている。すなわち、出力選択回路１３では、その判定回路１４で、いずれの解像度変換出力を選択するかを判定し、その判定出力により、選択回路１５から、適切な解像度変換出力画像信号が得られるように制御する。
【００６８】
次に、判定回路１４の詳細について説明すると共に、それによる選択動作について説明する。
【００６９】
判定回路１４においては、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号とが、差分値算出回路１４１に供給されて、両者の差分値が算出される。そして、その差分値が絶対値化回路１４２にて絶対値化され、比較判定回路１４３に供給される。
【００７０】
比較判定回路１４３では、絶対値化回路１４２からの差分値の絶対値が、予め定めた値よりも大きいか否か判定し、その判定結果を選択信号生成回路１４９に供給する。
【００７１】
選択信号生成回路１４９は、比較判定回路１４３から、絶対値化回路１４２からの差分値の絶対値が予め定めた値よりも大きいという判定結果を受けたときには、クラス分類適応処理解像度変換回路１２からの解像度変換画像信号を選択回路１５で選択するようにするための選択制御信号を生成し、選択回路１５に供給する。
【００７２】
このように選択するのは、以下のような理由による。すなわち、前述もしたように、高密度蓄積解像度変換回路１１の場合、静止や単純なパン、チルトの画像では信号劣化が少ないが、回転や変形といった動きや、画像中のオブジェクトの動きに対しては、画像信号に劣化が見られる。そのため、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号との両者の出力画素のレベルが極端に異なる場合は、それが前記劣化によるものと考えられる。
【００７３】
したがって、差分値算出回路１４１で算出された差分値の絶対値が、予め定めたしきい値よりも大きい場合には、前記のような動きにも対応できるクラス分類適応処理解像度変換回路１２からの変換画像信号を用いたほうが良い。以上のことから分かるように、差分値算出回路１４１、絶対値化回路１４２、比較判定回路１４３は、画像の静動判定回路を構成するものである。
【００７４】
次に、比較判定回路１４３で、絶対値化回路１４２からの差分値の絶対値が、予め定めた値よりも小さいと判定されたときには、選択信号生成回路１４９は、以下に説明するように、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号のうちのアクティビティの大きい方の画素を、選択回路１５から出力するようにする選択制御信号を生成し、選択回路１５に供給する。アクティビティの大きい方の画素を出力することで、よりアクティビティの高いぼけのない画像を出力することができる。
【００７５】
なお、アクティビティの規範としては、この例では、ＨＤ相当の解像度変換出力信号についての、前記ＳＤ画像の注目画素の前後の複数画素からなる特定領域のダイナミックレンジを用いている。
【００７６】
このため、判定回路１４においては、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号とは、それぞれアクティビティ演算領域切り出し部１４４と、１４５とにそれぞれ供給される。
【００７７】
アクティビティ演算領域切り出し部１４４および１４５は、高密度蓄積解像度変換回路１１およびクラス分類適応処理解像度変換回路１２からのＨＤ相当の解像度変換出力信号について、例えば図１１（Ｂ）および（Ｃ）に示すような、前記ＳＤ画像の注目画素の前後の複数画素を、アクティビティ演算領域の画素として切り出す。
【００７８】
アクティビティ演算領域として切り出された複数画素は、それぞれダイナミックレンジ検出回路１４６および１４７に供給され、それぞれ、前記アクティビティ演算領域内のダイナミックレンジが検出される。そして、それらの検出出力が比較回路１４８に供給され、両者のダイナミックレンジの大きさが比較され、その比較出力が選択信号生成回路１４９に供給される。
【００７９】
選択信号生成回路１４９は、比較判定回路１４３の判定出力が、差分値の絶対値が所定のしきい値よりも小さいことを示している場合において、比較回路１４８の出力に基づき、アクティビティ演算領域として切り出された複数画素のダイナミックレンジが大きい方の解像度変換出力を選択して出力するようにする選択制御信号を生成して、それを選択回路１５に供給する。
【００８０】
以上の判定回路１４および選択回路１５の動作を、図１２のフローチャートを参照しながら、さらに説明する。この図１２のフローチャートの動作は、出力判定回路１３を、ソフトウエア処理により実現する場合にも相当している。以下の説明は、高密度蓄積解像度変換回路１１の出力とクラス分類適応処理解像度変換回路１２の出力のうち、適当な方を画素単位に選択する例について述べる。
【００８１】
まず、両者の画素の差分値を算出し（ステップＳ１０１）、差分値の絶対値がしきい値より大きいか否か判定し（ステップＳ１０２）、大きい場合には、クラス分類適応処理解像度変換回路１２からの変換出力画像信号を選択して出力する（ステップＳ１０７）。
【００８２】
次に、前記差分値の絶対値が小さい場合、前述したアクティビティ演算領域単位で、両者のアクティビティを算出し（ステップＳ１０３、Ｓ１０４）、算出した両アクティビティを比較し（ステップＳ１０５）、アクティビティの大きい方の画素を出力する（ステップＳ１０６、Ｓ１０８）。これにより、よりアクティビティの高いぼけのない画像が選択されて出力される。
【００８３】
なお、アクティビティの規範としては、上述の例では、図１１に示したような点線で囲まれた特定の領域内でのダイナミックレンジを用いるようにしたが、これに限られるものではなく、それ以外にも、例えば、特定領域内の分散や、注目画素とその両隣の画素の差分絶対値和等を用いることもできる。
【００８４】
また、以上の選択処理の説明においては、画素単位で選択する場合について説明したが、画素単位で選択するものに限定されるものではなく、ブロック単位、オブジェクト単位、フレーム単位等であってもよい。
【００８５】
また、以上の例では、一つの高密度蓄積解像度変換回路の出力と、一つのクラス分類適応処理解像度変換回路の出力との２者択一の選択としたが、高密度解像度変換回路および／またはクラス分類適応処理解像度変換回路をそれぞれ複数個設け、それらから、出力画像信号を選択するようにすることもできる。
【００８６】
さらに、クラス分類適応処理の説明における第１領域切り出し部１２２および第２領域切り出し部１２３でのクラスタップおよび予測タップは、一例であって、これに限るものでないことは言うまでもない。また、上述の説明では、クラスタップと予測タップの構造は同じものとしたが、両者は、同じ構造としなくてもよい。
【００８７】
また、上述の実施の形態は、ＳＤ画像からＨＤ画像への変換について例示したが、これに限らず、あらゆる解像度の変換に応用できる。また、クラス分類適応処理と、高密度蓄積も、上述のような形態のものに限定されるものではない。
【００８８】
【発明の効果】
以上説明したように、この発明によれば、時間方向の情報を長く扱える高密度蓄積構造とクラス分類適応処理の結果を画素ごとに選択できるため、劣化のない高画質な画像を出力できる。
【図面の簡単な説明】
【図１】この発明による画像処理装置の実施の形態のブロック図である。
【図２】この発明による画像処理装置の実施の形態で行う解像度変換処理を説明するための図である。
【図３】実施の形態で用いられる第１の解像度変換部の一例の構成を示すブロック図である。
【図４】図３の第１の解像度変換部の変換処理を説明するための図である。
【図５】図３の第１の解像度変換部の変換処理を説明するための図である。
【図６】実施の形態で用いられる第２の解像度変換部の一例の構成を示すブロック図である。
【図７】第２の解像度変換部での処理動作の説明に用いる図である。
【図８】第２の解像度変換部の一部の回路の構成例を示す図である。
【図９】図８の回路の動作を説明するための図である。
【図１０】第２の解像度変換部の一部である係数ＲＯＭに記憶される係数の生成方法を説明するための図である。
【図１１】この発明による画像処理装置の実施の形態における出力画像信号の選択処理の説明のために用いる図である。
【図１２】この発明による画像処理装置の実施の形態における出力画像信号の選択処理の説明のためのフローチャートである。
【符号の説明】
１１…高密度蓄積解像度変換回路、１２…クラス分類適応処理解像度変換回路、１３…出力選択回路、１４…判定回路、１５…選択回路、１１０…フレームメモリ、１１２…動きベクトル検出部、１１３…位相シフト部、１１４…画像蓄積処理部、１２２…第１領域切り出し部（クラスタップ切り出し部）、１２３…第２領域切り出し部（予測タップ切り出し部）、１２４…クラスコード発生部、１２５…係数ＲＯＭ、１２６…推定演算部、１４１…差分値算出回路、１４２…絶対値化回路、１４３…比較判定回路、１４４、１４５…アクティビティ演算領域切り出し部、１４６、１４７…ダイナミックレンジ演算部、１４８…比較回路、１４９…選択信号生成回路
【発明の属する技術分野】
この発明は、低解像度の画像信号から高解像度の画像信号に変換する画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
現行のテレビジョン方式としては、１フレーム当たりの走査線数が５２５本や６２５本などの、いわゆる標準方式と、１フレーム当たりの走査線数がそれよりも多い高精細度方式、例えば１１２５本のハイビジョン方式など、種々のものがある。
【０００３】
この場合に、例えば高精細度方式に対応した機器で、標準方式の画像信号を取り扱えるようにするためには、標準方式の解像度の画像信号を高精細度方式に合致する解像度の画像信号に解像度変換する必要がある。そこで、従来から、線形補間などの方法を用いた画像信号の解像度変換装置が種々提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の解像度変換装置のあるものは、静止画像部分については劣化の少ない変換出力画像を出力することができるが、動きの大きい画像部分の場合には、画像の劣化が生じてしまうという問題があり、また、従来の解像度変換装置の他のあるものは、動きのある画像部分の場合には、劣化の少ない変換出力画像が得られるが、静止部分については、動き部分ほどの良好な画像が得られないという問題があった。
【０００５】
すなわち、従来は、画像の静止、動き部分の両方に的確に対応して劣化のない画像を形成することができる解像度変換装置を実現することが困難であった。
【０００６】
この発明は、以上の点にかんがみ、画像の静動に関係なく劣化の少ない高画質の変換画像出力が得られるようにする画像処理装置および方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するため、この発明による画像処理装置は、
入力画像信号から、この入力画像信号による画像よりも高解像度の画像を形成する出力画像信号を得る画像処理装置において、
前記出力画像信号の画像の解像度と同じ解像度の画像の画像信号を記憶するフレームメモリを備え、前記フレームメモリに記憶されている画像信号による画像と、前記入力画像信号による画像との間での動きを参照して画素位置を補正をしながら、前記入力画像信号を前記フレームメモリに蓄積するようにすることで、前記フレームメモリに、前記高解像度の画像信号を生成する第１の解像度変換部と、
入力画像信号による画像中の注目画素についての特徴を、その注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素についての特徴によってクラス分類し、分類されたクラスに対応して予め設定されている画像変換演算処理により、前記注目画素に対応する前記高解像度の画像中の複数画素を生成することにより、前記高解像度の出力画像信号を生成する第２の解像度変換部と、
前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号のいずれか一方の画像信号を、前記出力画像信号として選択して出力する出力選択部と、
を備えることを特徴とする。
【０００８】
上述の構成のこの発明においては、第１の解像度変換部は、フレームメモリに、画像情報を時間方向に長い期間に渡って蓄積することにより、高解像度の画像信号を形成するものであるので、静止画や、全画面について単純にパンやチルトをする画像に対しては、劣化の少ない変換出力画像信号が得られる。
【０００９】
一方、第２の解像度変換部は、入力画像信号による画像中の注目画素についての特徴を、その注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素についての特徴によってクラス分類し、分類されたクラスに対応して予め設定されている画像変換演算処理により、前記注目画素に対応する前記高解像度の画像中の複数画素を生成することにより、前記高解像度の出力画像信号を生成するので、動き部分においても劣化の少ない変換出力画像信号が得られる。しかし、静止部分に関しては、画像情報を時間方向に長く扱う第１の解像度変換部よりも劣る。
【００１０】
この発明の画像処理装置においては、前記の各解像度変換部の特徴を考慮して、画素単位あるいは所定数の画素毎に、出力選択部により、前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号のいずれか一方の画像信号を選択して出力することができるので、劣化の少ない高画質の変換出力画像を得ることができる。
【００１１】
【発明の実施の形態】
以下、この発明による画像処理装置の実施の形態を、図を参照しながら説明する。以下に説明する実施の形態は、前述した標準テレビジョン方式（以下、ＳＤという）の画像の解像度の画像信号を入力画像信号として、これを、ハイビジョン方式（以下、ＨＤという）の画像の解像度の出力画像信号に変換する場合である。そして、以下に説明する実施の形態では、図２に示すように、ＳＤ画像の１個の注目画素毎について、ＨＤ画像の４個の画素を創造して、解像度変換するものである。
【００１２】
図１は、この実施の形態の画像処理装置の構成を示すブロック図である。図１に示すように、この例では、入力画像信号は画素ごとに、第１の解像度変換部の一例を構成する高密度蓄積解像度変換回路１１に供給されるとともに、第２の解像度変換部の一例を構成するクラス分類適応処理解像度変換回路１２に供給される。
【００１３】
高密度蓄積解像度変換回路１１は、ＨＤ相当の画像の画像信号を記憶するフレームメモリを備え、そのフレームメモリに記憶されている画像信号による画像と、ＳＤ入力画像信号による画像との間での動きを参照して画素位置を補正をしながら、ＳＤ入力画像信号を、そのフレームメモリに蓄積するようにすることで、当該フレームメモリに、ＨＤ相当の出力画像信号を生成するもので、その詳細な構成については後述する。この高密度蓄積解像度変換回路１１からのＨＤ相当の変換画像信号は、出力選択回路１３に供給される。
【００１４】
また、クラス分類適応処理解像度変換回路１２は、ＳＤ入力画像信号による画像中の注目画素についての特徴を、その注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素についての特徴によってクラス分類し、分類されたクラスに対応して予め設定されている画像変換演算処理により、前記注目画素に対応するＨＤ画像中の複数画素を生成することにより、高解像度の出力画像信号を生成するもので、その詳細な構成については後述する。このクラス分類適応処理解像度変換回路１２からのＨＤ相当の変換画像信号も、出力選択回路１３に供給される。
【００１５】
出力選択回路１３は、後で詳述する判定回路１４と、選択回路１５とからなり、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号とは、それぞれ、選択回路１６に供給される。
【００１６】
また、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号とは、判定回路１４に供給される。判定回路１４では、それら２つの変換画像信号から、それらの画像信号による画像の動きとアクティビティとを、それぞれ所定数の画素単位で判定し、その判定結果に応じて、選択回路１５を、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号のいずれか一方を、前記所定数の画素単位で選択するように選択制御する選択制御信号を生成する。この例では、各画素ごとに、どちらの変換画像信号を選択するかを判定し、その判定出力を選択制御信号として、選択回路１５に供給する。
【００１７】
［高密度蓄積解像度変換回路の構成例］
図３は、この実施の形態に用いられる高密度蓄積解像度変換回路１１の構成例を示すものである。この高密度蓄積解像度変換回路１１は、シーンチェンジやズームを除いた、静止や、全画面で単純なパン、チルトの動きを持つ画像の解像度変換に有効である。
【００１８】
高密度蓄積解像度変換回路１１は、図３に示すように、フレームメモリ１１０を備える。このフレームメモリ１１０は、ＨＤ画像相当の解像度（図２参照）の１フレームの画像信号の各画素値を格納する。
【００１９】
ＳＤ入力画像信号は、まず、線形補間部１１１に供給される。この線形補間部１１１は、ＳＤ入力画像信号から、線形補間により、ＨＤ画像相当の画像信号を生成し、動きベクトル検出部１１２に出力する。この線形補間部１１１での処理は、ＳＤ入力画像と、フレームメモリ１１０内のＨＤ相当画像との間で動きべクトル検出を行う際に、同じ画像サイズでマッチングを行うためである。
【００２０】
動きベクトル検出部１１２では、線形補間部１１１の出力画像と、フレームメモリ１１０に蓄えられているＨＤ画像相当の画像との間で動きベクトル検出を行う。動きベクトル検出の手法としては、例えば全画面での代表点マッチングを行う。この場合、検出される動きべクトルの精度は、ＨＤ相当の画像において１画素単位分とする。つまり、ＳＤ画像の入力画像信号では、１画素分以下の精度を持つ。
【００２１】
動きベクトル検出部１１２で検出された動きベクトルは、位相シフト部１１３に供給される。位相シフト部１１３は、これに供給される動きベクトルに応じて、ＳＤ入力画像信号の位相シフトを行い、画像蓄積処理部１１４に供給する。画像蓄積処理部１１４では、フレームメモリ１１０に記憶されている画像信号と、位相シフト部１１３で位相シフトしたＳＤ入力画像信号との蓄積処理を行い、蓄積処理した画像信号により、フレームメモリ１１０の記憶内容を書き換える。
【００２２】
画像蓄積処理部１４での処理の概念図を図５に示す。図５は、説明の簡単のために、垂直方向のみについての蓄積処理を示すが、水平方向についても同様に蓄積処理が行われる。
【００２３】
図５において、黒丸は、実際に存在する画素であり、白丸は存在しない画素を示している。この図５では、動きベクトル検出部１１２において、ＨＤ相当の画像で垂直方向に３画素分の動きが検出されたので、位相シフト部で、ＳＤ入力画像信号を、その３画素分、垂直方向に位相シフトした例を示している。この場合、検出される動きベクトルの精度は、上述したように、ＨＤ相当の１画素であるので、位相シフト後のＳＤ入力画像信号における画素位置は、図５に示されるように、フレームメモリ１１０に記憶されているＨＤ画像相当の画像信号におけるいずれかの画素位置に対応するものとなっている。
【００２４】
そして、画像蓄積処理においては、位相シフト後の各画素と、それに対応するフレームメモリ１１０のＨＤ画像相当の画像信号における各画素とを、図４に示すように、互いに加算した後、その加算出力画素により、フレームメモリ１１の前記対応する画素を書き換えるようにする。つまり、ＳＤ画像の動きに対して動き補償を行い、同じ位置にあるＨＤ蓄積画像の画素とＳＤ入力画像の画素の足し合わせを行うものである。なお、この足し合わせに関しては、ＨＤ蓄積画像と、ＳＤ入力画像間で重み付けを行つてもよい。
【００２５】
この画像蓄積処理により、元のＳＤ画像が、ＨＤ画像の１画素単位の精度で動きベクトルに応じてシフトされて、フレームメモリ１１０に蓄積される結果、図４Ａに示すＳＤ画像に対して、フレームメモリ１１０に記憶される画像は、図４（Ｂ）に示すようなＨＤ相当の画像となる。図４も、垂直方向のみについての説明図であるが、水平方向についても同様にＳＤ画像からＨＤ相当画像に変換されるものである。
【００２６】
上述のような蓄積処理によりフレームメモリ１１０に蓄積された画像信号が、ＨＤ出力画像信号として、高密度蓄積解像度変換回路１１の出力として、出力選択回路１３に供給される。この高密度蓄積解像度変換回路１１からのＨＤ出力画像信号は、上述したような画像の時間方向の高密度蓄積処理により生成されるものであるため、前述もしたように、シーンチェンジやズームなどを除いた、画像の静止部分や、単純なパン、チルトの動きを持つＳＤ入力画像の場合には、劣化がなく、かつ、折り返し歪みのないＨＤ出力画像を得ることができる。
【００２７】
しかし、それ以外のシーンチェンジ部分やズーム部分など、動き多い部分の場合には、以下に説明する、１個以上の所定数の画素単位でのＳＤ−ＨＤ変換を行うクラス分類適応処理解像度変換回路の方が、高品質のＨＤ出力画像を得ることができる。
【００２８】
［クラス分類適応処理解像度変換回路の構成例］
次に、この実施の形態に用いられるクラス分類適応処理解像度変換回路について詳細に説明する。以下に説明する例では、クラス分類適応処理として、ＳＤ入力画像信号の注目画素についての特徴に応じてクラス分類を行い、クラス毎に予め学習によって獲得された予測係数をメモリに格納しておき、かかる予測係数を使用した重み付け加算式に従う演算処理によって、前記注目画素に対応する複数個のＨＤ画素の最適な推定画素値を出力する処理を採用している。
【００２９】
図６は、この実施の形態に用いられるクラス分類適応処理解像度変換回路１２の全体的構成例を示すものである。
【００３０】
処理されるべきＳＤ入力画像信号はフィールドメモリ１２１に供給される。このフィールドメモリ１２１には常時１フィールド前のＳＤ画像信号が記憶されている。そして、ＳＤ入力画像信号と、フィールドメモリ１２１に記憶されている１フィールド前のＳＤ画像信号とは、第１領域切り出し部１２２および第２の領域切り出し部１２３に供給される。
【００３１】
第１領域切り出し部１２２は、ＳＤ入力画像信号における注目画素の特徴を抽出するために予め設定された複数個の画素の領域（第１領域）に基づいて、当該第１領域に含まれる複数画素（以下に説明するようにクラスタップと称する）を切り出す処理を行う。
【００３２】
第１領域切り出し部１２２は、第１領域から切り出した複数画像の画素値をクラスコード発生部１２４に供給する。クラスコード発生部１２４は、前記第１領域の注目画素およびその時間的、空間的周囲画素から、注目画素についての特徴を表現するクラスコードを発生し、発生したクラスコードを係数ＲＯＭ１２５に供給する。このように、第１領域切り出し部１２２が切り出す複数個の画素は、クラスコードの発生のために使用されるので、前述したように、クラスタップと称される。
【００３３】
係数ＲＯＭ１２５は、後述するような学習によって決定される予測係数をクラス毎に、より具体的にはクラスコードに関連するアドレスに沿って、予め記憶している。そして、係数ＲＯＭ１２５は、クラスコード発生部１２４から供給されるクラスコードをアドレスとして受け、それに対応する予測係数を出力する。
【００３４】
一方、第２領域切り出し部１２３は、ＳＤ入力画像信号と、フィールドメモリ１２１が記憶している１フィールド前のＳＤ画像信号とから、予測用の画素領域（第２領域）に含まれる注目画素を含む複数個の予測用画素を抽出し、抽出した画素の値を推定演算部１２６に供給する。
【００３５】
推定演算部１２６は、第２領域切り出し部２７からの複数個の画素値と、係数ＲＯＭ２９から読み出される予測係数とに基づいて、以下の式（１）に示すような重み付け演算を行って、ＳＤ画像の注目画素に対応するＨＤ画像の複数個の画素値を求めて、予測ＨＤ画像信号を生成する。このように、第２領域切り出し部１２３が抽出する画素値は、予測ＨＤ画像信号を生成するための重み付け加算において使用されるのて、予測タップと称される。
【００３６】
ｙ＝ｗ1 ×ｘ1 ＋ｗ2 ×ｘ2 ＋・・・・＋ｗn ×ｘn （１）
ここで、ｘ1 ，‥‥，ｘn が各予測タップであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００３７】
次に、図７を参照して、第１領域切り出し部１２２で切り出されるクラスタップの例を説明する。この例では、クラスタップとして第１領域に含まれる複数画素は、図７に示すものとされており、注目画素が含まれるフィールドと、その前のフィールドとを含むものとしている。
【００３８】
図７において、黒丸で示す画素は、第ｎフィールド（例えば奇数フィールド）の画素を示し、また、白丸で示す画素は、第ｎ＋１フィールド（例えば偶数フィールド）の画素を示しており、クラスタップは、注目画素と、その時間的および空間的に近傍の複数個の画素とからなるものとされる。
【００３９】
そして、注目画素が第ｎフィールドの画素のときにおいては、図７（Ａ）に示すようなクラスタップの構造とされており、そのｎフィールドからは注目画素と、その上下の１個ずつの画素と、その左右の２個ずつ画素との７個の画素がクラスタップとして抽出され、その前のフィールドからは、注目画素に空間的に隣接する６個の画素がクラスタップとして抽出される。したがって、合計１３個の画素がクラスタップとして切り出される。
【００４０】
また、注目画素が第ｎ＋１フィールドの画素のときにおいては、図７（Ｂ）に示すようなクラスタップの構造とされており、そのｎ＋１フィールドからは注目画素と、その左右の１個ずつの画素との３個の画素がクラスタップとして抽出され、その前のフィールドからは、注目画素に空間的に隣接する６個の画素がクラスタップとして抽出される。したがって、合計９個の画素がクラスタップとして切り出される。
【００４１】
第２領域切り出し部２７で切り出される予測タップについても、この例では、上述のクラスタップと同様のタップ構造が用いられる。
【００４２】
次に、クラスコード発生部１２４の構成例について説明する。この実施の形態では、第１領域切り出し部１２２でクラスタップとして切り出される複数個の画素値パターンを、注目画素の特徴としている。この特徴パターンは、クラスタップに応じた複数個が存在することになるが、その特徴パターンのそれぞれを１つのクラスとする。
【００４３】
クラスコード発生部１２４は、第１領域切り出し部１２２でクラスタップとして切り出された複数個の画素値を用いて、注目画素についての特徴をクラス分類して、予めクラスタップに応じて想定される複数個のクラスのうちのいずれであるかを示すクラスコードを出力する。
【００４４】
この実施の形態においては、クラスコード発生部１２４は、第１領域切り出し部１２２の出力について、ＡＤＲＣ（Ａｄａｐｔｉｖｅ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｄｉｎｇ）を行い、そのＡＤＲＣ出力を注目画素の特徴を表すクラスコードとして発生する。
【００４５】
図８は、クラスコード発生部１２４の一例を示す。図８は、１ビットＡＤＲＣによって、クラスコードを発生するものである。
【００４６】
ダイナミックレンジ検出回路２１には、前述したように、第１領域切り出し部１２２から、クラスタップとして、１３個あるいは９個の画素が供給される。各画素の値は、例えば８ビットで表現されている。ダイナミックレンジ検出回路２１は、クラスタップとしての複数個の画素の中の最大値ＭＡＸと、最小値ＭＩＮとを検出し、ＭＡＸ−ＭＩＮ＝ＤＲなる演算によって、ダイナミックレンジＤＲを算出する。
【００４７】
そして、ダイナミックレンジ検出回路２１は、その出力として、算出したダイナミックレンジＤＲと、最小値ＭＩＮと、入力された複数個の画素のそれぞれの画素値Ｐｘを、それぞれ出力する。
【００４８】
ダイナミックレンジ検出回路２１からの複数個の画素の画素値Ｐｘは、減算回路２２に順に供給され、各画素値Ｐｘから最小値ＭＩＮが減算される。各画素値Ｐｘから最小値ＭＩＮが除去されることで、正規化された画素値が比較回路２３に供給される。
【００４９】
比較回路２３には、ダイナミックレンジＤＲを１／２にするビットシフト回路２４の出力（ＤＲ／２）が供給され、画素値ＰｘとＤＲ／２との大小関係が検出される。そして、図９に示すように、画素値ＰｘがＤＲ／２より大きい時には、比較回路２３の１ビットの比較出力が“１”とされ、そうでないときは、比較回路２３の１ビットの比較出力が“０”とされる。そして、比較回路２３は、順次得られるクラスタップとしての複数個の画素の比較出力を並列化して１３ビットあるいは９ビットのＡＤＲＣ出力を発生する。
【００５０】
また、ダイナミックレンジＤＲがビット数変換回路２５に供給され、量子化によってビット数が８ビットから例えば５ビットに変換される。そして、このビット数変換されたダイナミックレンジと、ＡＤＲＣ出力とが、クラスコードとして、係数ＲＯＭ１２５に供給される。
【００５１】
なお、１ビットではなく、多ビットＡＤＲＣを行うようにすれば、注目画素の特徴を、より詳細にクラス分類することができることは勿論である。
【００５２】
次に、学習、すなわち、係数ＲＯＭ１２５に格納する予測係数を得る処理について、図１０を参照して説明する。ここで、図６のクラス分類適応処理解像度変換回路１２中の構成要素と同様な構成要素には、同一の参照符号を付した。
【００５３】
学習を行うために用いられるＨＤ画像信号（教師信号と称する）が、間引き処理部３１、および正規方程式加算部３２に供給される。間引き処理部３１は、ＨＤ画像信号について間引き処理を行って、ＳＤ画像信号（生徒信号と称する）を生成し、生成した生徒信号をフィールドメモリ１２１に供給する。図６を参照して説明したように、フィールドメモリ１２１には、時間的に１フィールド前の生徒信号の１フィールドが記憶される。
【００５４】
フィールドメモリ１２１の後段においては、図６を参照して上述した処理とほぼ同様な処理がなされる。但し、クラスコード発生部１２４が発生するクラスコードおよび第２領域切り出し部１２３が抽出する予測タップは、正規方程式加算部３２に供給される。正規方程式加算部３２には、さらに、教師信号が供給される。正規方程式加算部３２は、これら３種類の入力に基づいて正規方程式を解くための計算処理を行い、予測係数決定部３３は、その計算処理結果からクラスコード毎の予測係数を決定する。そして、予測係数決定部３３は、決定した予測係数をメモリ３４に供給する。メモリ３４は、供給される予測係数を記憶する。メモリ３４に記憶される予測係数と、係数ＲＯＭ１２５（図６）に記憶される予測係数とは、同一のものである。
【００５５】
次に、正規方程式について説明する。上述の式（１）において、学習前は予測係数ｗ1 ，・・・・，ｗn が未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号のクラス毎の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００５６】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・・＋ｗn ×ｘkn （２）
（ｋ＝１、２、…、ｍ）
ｍ＞ｎの場合、予測係数ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を、以下の式（３）で定義する。
【００５７】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋・・・・＋ｗn ×ｘkn｝ （３）
（ｋ＝１、２、…、ｍ）
そして、以下の式（４）によって定義される誤差ベクトルｅを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００５８】
【数１】
式（４）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi （ｉ＝１，２‥‥）で偏微分し（以下の式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗi を定めれば良い。
【００６０】
【数２】
式（５）から各予測係数ｗi を定める具体的な手順について説明する。式（６）、（７）のようにＸji，Ｙi を定義すると、式（５）は、以下の式（８）の行列式の形に書くことができる。
【００６２】
【数３】
式（８）が一般に正規方程式と呼ばれるものである。予測係数決定部３３は、上述した３種類の入力に基づいて、正規方程式（８）中の各パラメータを算出し、さらに、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くための計算処理を行って予測係数ｗi を算出する。
【００６４】
以上のようにして、クラス分類適応処理解像度変換回路１２は、ＳＤ画像の注目画素の特徴をクラス分類し、分類されたクラスに基づいて、予め用意された予測係数を用いた推定演算を行うことによって、注目画素に対応するＨＤ画像の複数画素を創造する。
【００６５】
したがって、ＳＤ画像の注目画素の特徴に的確に対応する予測係数を選択することができるので、そのような予測係数を使用して推定演算を行うことにより、注目画素に対応するＨＤ画像の複数画素を良好に創造することができる。そして、動きがある場合にも劣化の少ない変換画像信号を得ることができる。
【００６６】
このように、クラス分類適応処理解像度変換回路１２では、画像の静止、動きに依存せずに、劣化の少ない変換画像信号を得ることができるが、前述したような完全な静止部分や、パン、チルトなどの画像全体の単純な動きに関しては、長いフレームの情報を蓄積することができる高密度蓄積解像度変換回路１１からの変換画像信号には劣る。
【００６７】
この実施の形態においては、以上のような、２つの解像度変換回路１１、１２の特徴を生かして、出力選択回路１３から、より劣化の少ない解像度変換出力画像信号を、適切に得るようにしている。すなわち、出力選択回路１３では、その判定回路１４で、いずれの解像度変換出力を選択するかを判定し、その判定出力により、選択回路１５から、適切な解像度変換出力画像信号が得られるように制御する。
【００６８】
次に、判定回路１４の詳細について説明すると共に、それによる選択動作について説明する。
【００６９】
判定回路１４においては、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号とが、差分値算出回路１４１に供給されて、両者の差分値が算出される。そして、その差分値が絶対値化回路１４２にて絶対値化され、比較判定回路１４３に供給される。
【００７０】
比較判定回路１４３では、絶対値化回路１４２からの差分値の絶対値が、予め定めた値よりも大きいか否か判定し、その判定結果を選択信号生成回路１４９に供給する。
【００７１】
選択信号生成回路１４９は、比較判定回路１４３から、絶対値化回路１４２からの差分値の絶対値が予め定めた値よりも大きいという判定結果を受けたときには、クラス分類適応処理解像度変換回路１２からの解像度変換画像信号を選択回路１５で選択するようにするための選択制御信号を生成し、選択回路１５に供給する。
【００７２】
このように選択するのは、以下のような理由による。すなわち、前述もしたように、高密度蓄積解像度変換回路１１の場合、静止や単純なパン、チルトの画像では信号劣化が少ないが、回転や変形といった動きや、画像中のオブジェクトの動きに対しては、画像信号に劣化が見られる。そのため、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号との両者の出力画素のレベルが極端に異なる場合は、それが前記劣化によるものと考えられる。
【００７３】
したがって、差分値算出回路１４１で算出された差分値の絶対値が、予め定めたしきい値よりも大きい場合には、前記のような動きにも対応できるクラス分類適応処理解像度変換回路１２からの変換画像信号を用いたほうが良い。以上のことから分かるように、差分値算出回路１４１、絶対値化回路１４２、比較判定回路１４３は、画像の静動判定回路を構成するものである。
【００７４】
次に、比較判定回路１４３で、絶対値化回路１４２からの差分値の絶対値が、予め定めた値よりも小さいと判定されたときには、選択信号生成回路１４９は、以下に説明するように、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号のうちのアクティビティの大きい方の画素を、選択回路１５から出力するようにする選択制御信号を生成し、選択回路１５に供給する。アクティビティの大きい方の画素を出力することで、よりアクティビティの高いぼけのない画像を出力することができる。
【００７５】
なお、アクティビティの規範としては、この例では、ＨＤ相当の解像度変換出力信号についての、前記ＳＤ画像の注目画素の前後の複数画素からなる特定領域のダイナミックレンジを用いている。
【００７６】
このため、判定回路１４においては、高密度蓄積解像度変換回路１１からの変換画像信号と、クラス分類適応処理解像度変換回路１２からの変換画像信号とは、それぞれアクティビティ演算領域切り出し部１４４と、１４５とにそれぞれ供給される。
【００７７】
アクティビティ演算領域切り出し部１４４および１４５は、高密度蓄積解像度変換回路１１およびクラス分類適応処理解像度変換回路１２からのＨＤ相当の解像度変換出力信号について、例えば図１１（Ｂ）および（Ｃ）に示すような、前記ＳＤ画像の注目画素の前後の複数画素を、アクティビティ演算領域の画素として切り出す。
【００７８】
アクティビティ演算領域として切り出された複数画素は、それぞれダイナミックレンジ検出回路１４６および１４７に供給され、それぞれ、前記アクティビティ演算領域内のダイナミックレンジが検出される。そして、それらの検出出力が比較回路１４８に供給され、両者のダイナミックレンジの大きさが比較され、その比較出力が選択信号生成回路１４９に供給される。
【００７９】
選択信号生成回路１４９は、比較判定回路１４３の判定出力が、差分値の絶対値が所定のしきい値よりも小さいことを示している場合において、比較回路１４８の出力に基づき、アクティビティ演算領域として切り出された複数画素のダイナミックレンジが大きい方の解像度変換出力を選択して出力するようにする選択制御信号を生成して、それを選択回路１５に供給する。
【００８０】
以上の判定回路１４および選択回路１５の動作を、図１２のフローチャートを参照しながら、さらに説明する。この図１２のフローチャートの動作は、出力判定回路１３を、ソフトウエア処理により実現する場合にも相当している。以下の説明は、高密度蓄積解像度変換回路１１の出力とクラス分類適応処理解像度変換回路１２の出力のうち、適当な方を画素単位に選択する例について述べる。
【００８１】
まず、両者の画素の差分値を算出し（ステップＳ１０１）、差分値の絶対値がしきい値より大きいか否か判定し（ステップＳ１０２）、大きい場合には、クラス分類適応処理解像度変換回路１２からの変換出力画像信号を選択して出力する（ステップＳ１０７）。
【００８２】
次に、前記差分値の絶対値が小さい場合、前述したアクティビティ演算領域単位で、両者のアクティビティを算出し（ステップＳ１０３、Ｓ１０４）、算出した両アクティビティを比較し（ステップＳ１０５）、アクティビティの大きい方の画素を出力する（ステップＳ１０６、Ｓ１０８）。これにより、よりアクティビティの高いぼけのない画像が選択されて出力される。
【００８３】
なお、アクティビティの規範としては、上述の例では、図１１に示したような点線で囲まれた特定の領域内でのダイナミックレンジを用いるようにしたが、これに限られるものではなく、それ以外にも、例えば、特定領域内の分散や、注目画素とその両隣の画素の差分絶対値和等を用いることもできる。
【００８４】
また、以上の選択処理の説明においては、画素単位で選択する場合について説明したが、画素単位で選択するものに限定されるものではなく、ブロック単位、オブジェクト単位、フレーム単位等であってもよい。
【００８５】
また、以上の例では、一つの高密度蓄積解像度変換回路の出力と、一つのクラス分類適応処理解像度変換回路の出力との２者択一の選択としたが、高密度解像度変換回路および／またはクラス分類適応処理解像度変換回路をそれぞれ複数個設け、それらから、出力画像信号を選択するようにすることもできる。
【００８６】
さらに、クラス分類適応処理の説明における第１領域切り出し部１２２および第２領域切り出し部１２３でのクラスタップおよび予測タップは、一例であって、これに限るものでないことは言うまでもない。また、上述の説明では、クラスタップと予測タップの構造は同じものとしたが、両者は、同じ構造としなくてもよい。
【００８７】
また、上述の実施の形態は、ＳＤ画像からＨＤ画像への変換について例示したが、これに限らず、あらゆる解像度の変換に応用できる。また、クラス分類適応処理と、高密度蓄積も、上述のような形態のものに限定されるものではない。
【００８８】
【発明の効果】
以上説明したように、この発明によれば、時間方向の情報を長く扱える高密度蓄積構造とクラス分類適応処理の結果を画素ごとに選択できるため、劣化のない高画質な画像を出力できる。
【図面の簡単な説明】
【図１】この発明による画像処理装置の実施の形態のブロック図である。
【図２】この発明による画像処理装置の実施の形態で行う解像度変換処理を説明するための図である。
【図３】実施の形態で用いられる第１の解像度変換部の一例の構成を示すブロック図である。
【図４】図３の第１の解像度変換部の変換処理を説明するための図である。
【図５】図３の第１の解像度変換部の変換処理を説明するための図である。
【図６】実施の形態で用いられる第２の解像度変換部の一例の構成を示すブロック図である。
【図７】第２の解像度変換部での処理動作の説明に用いる図である。
【図８】第２の解像度変換部の一部の回路の構成例を示す図である。
【図９】図８の回路の動作を説明するための図である。
【図１０】第２の解像度変換部の一部である係数ＲＯＭに記憶される係数の生成方法を説明するための図である。
【図１１】この発明による画像処理装置の実施の形態における出力画像信号の選択処理の説明のために用いる図である。
【図１２】この発明による画像処理装置の実施の形態における出力画像信号の選択処理の説明のためのフローチャートである。
【符号の説明】
１１…高密度蓄積解像度変換回路、１２…クラス分類適応処理解像度変換回路、１３…出力選択回路、１４…判定回路、１５…選択回路、１１０…フレームメモリ、１１２…動きベクトル検出部、１１３…位相シフト部、１１４…画像蓄積処理部、１２２…第１領域切り出し部（クラスタップ切り出し部）、１２３…第２領域切り出し部（予測タップ切り出し部）、１２４…クラスコード発生部、１２５…係数ＲＯＭ、１２６…推定演算部、１４１…差分値算出回路、１４２…絶対値化回路、１４３…比較判定回路、１４４、１４５…アクティビティ演算領域切り出し部、１４６、１４７…ダイナミックレンジ演算部、１４８…比較回路、１４９…選択信号生成回路
Claims (22)
- 入力画像信号から、この入力画像信号による画像よりも高解像度の画像を形成する出力画像信号を得る画像処理装置において、
前記出力画像信号の画像の解像度と同じ解像度の画像の画像信号を記憶するフレームメモリを備え、前記フレームメモリに記憶されている画像信号による画像と、前記入力画像信号による画像との間での動きを参照して画素位置を補正をしながら、前記入力画像信号を前記フレームメモリに蓄積するようにすることで、前記フレームメモリに、前記高解像度の画像信号を生成する第１の解像度変換部と、
入力画像信号による画像中の注目画素についての特徴を、その注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素についての特徴によってクラス分類し、分類されたクラスに対応して予め設定されている画像変換演算処理により、前記注目画素に対応する前記高解像度の画像中の複数画素を生成することにより、前記高解像度の出力画像信号を生成する第２の解像度変換部と、
前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号のいずれか一方の画像信号を、前記出力画像信号として選択する出力選択部と、
を備えることを特徴とする画像処理装置。 - 前記出力選択部は、
前記第１および第２の解像度変換部からの画像信号による画像の動きとアクティビティとを、それぞれ所定数の画素単位で判定する判定部と、
前記判定部の判定結果に応じて、前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号のいずれか一方を、所定数の画素単位で選択する選択部と、
を備えることを特徴とする請求項１に記載の画像処理装置。 - 前記判定部は、
前記所定数の画素毎に、前記第１の解像度変換部からの画像信号と前記第２の解像度変換部からの画像信号との差分値を算出する差分値算出部と、
前記差分値の絶対値と予め設定されたしきい値との比較結果に基づいて、前記差分値の絶対値が前記しきい値以上の場合には、前記所定数の画素部分が動き部分であることを示す判定値を出力し、前記差分値の絶対値が前記しきい値より小さい場合には、前記所定数の画素部分が静止部分であることを示す判定値を出力する比較部と、
を有することを特徴とする請求項２に記載の画像処理装置。 - 前記判定部は、
前記所定数の画素毎の静動を判定する静動判定部と、
前記静動判定部で前記所定数の画素部分が動き部分であると判定されるときに、前記選択部に対し、前記第２の解像度変換部からの画像信号を選択して出力するようにするための信号を供給する選択信号生成部と、
を有することを特徴とする請求項２に記載の画像処理装置。 - 前記判定部は、
前記所定数の画素毎の静動を判定する静動判定部と、
前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号の、いずれの画像のアクティビティがより高いかを判定するアクティビティ判定部と、
前記静動判定部で前記所定数の画素部分が静止部分であると判定されるときに、前記アクティビティ判定部での判定結果に基づいて、前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号のうちの、前記画像のアクティビティがより高い方を選択して出力するようにするための信号を前記選択部に供給する選択信号生成部と、
を有することを特徴とする請求項２に記載の画像処理装置。 - 前記アクティビティ判定部は、
前記第１の解像度変換部からの画像信号と、前記第２の解像度変換部からの画像信号について、それぞれ所定領域内における複数の画素の画素値のダイナミックレンジを算出して、両ダイナミックレンジを比較することにより、アクティビティの高低を判定する
ことを特徴とする請求項５に記載の画像処理装置。 - 前記第１の解像度変換部は、
前記フレームメモリに記憶されている画像信号による画像と、前記入力画像信号による画像との間の動きを検出する動き検出部と、
前記動き検出部で検出された動きにより画素位置を補正して、前記入力画像信号を、前記フレームメモリに記憶されている画像信号に加算して蓄積する画像蓄積処理部と、
を備えることを特徴とする請求項１に記載の画像処理装置。 - 前記第２の解像度変換部は、
前記入力画像信号による画像中の注目画素と、その注目画素の時間的および空間的な周囲画素とを含む複数個の画素をクラスタップとして抽出するクラスタップ抽出部と、
前記クラスタップ抽出部で抽出された前記クラスタップの特徴によってクラス分類するクラス分類部と、
前記クラス分類部によって分類されたクラスに基づいて、当該クラスに対応する画像変換演算処理を定め、その定めた演算処理により、前記注目画素に対応する前記高解像度の画像中の複数画素を生成することにより、前記高解像度の画像信号を生成する演算処理部と、
を有することを特徴とする請求項１に記載の画像処理装置。 - 前記クラス分類部は、
前記クラスタップの特徴を、前記クラスタップとしての前記複数の画素の画素値のパターンによってクラス分類することを特徴とする請求項８に記載の画像処理装置。 - 前記演算処理部では、
前記クラスタップに対応して前記入力画像信号について予め定められた領域の複数個の画素と、前記クラス分類部において分類されたクラスに応じて予め設定されている前記複数個の画素についての演算係数との演算を行うことにより、前記注目画素に対応する、前記高解像度の画像中の複数画素を生成する
ことを特徴とする請求項８に記載の画像処理装置。 - 前記演算処理部で用いる前記演算係数は、
前記出力画像信号と同質である教師信号から、前記注目画素に対応する複数個の画素を抽出する工程と、
前記入力画像信号と同質である生徒信号から、前記注目画素およびその時間的および空間的な周囲画素を含む複数の画素をクラスタップとして抽出する工程と、
前記クラスタップの特徴に基づいて、前記注目画素についての特徴をクラス分類する工程と、
前記クラス分類されたクラスに対応して、前記生徒信号から予測タップとして抽出された前記注目画素に対応した位置の複数の画素との演算により、前記教師信号から抽出された前記注目画素に対応する複数の画素と同質の出力信号を、前記生徒信号から生成するための予測係数を導出する工程と
によって、前記予測係数として算出することを特徴とする請求項８に記載の画像処理装置。 - 入力画像信号から、この入力画像信号による画像よりも高解像度の画像を形成する出力画像信号を得る画像処理方法において、
フレームメモリに記憶されている画像信号による、前記出力画像信号の画像の解像度と同じ解像度の画像と、前記入力画像信号による画像との間での動きを参照して画素位置を補正をしながら、前記入力画像信号を前記フレームメモリに蓄積するようにすることで、前記フレームメモリに、前記高解像度の画像信号を生成する第１の解像度変換工程と、
前記第１の解像度変換工程と並列に、入力画像信号による画像中の注目画素についての特徴を、その注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素についての特徴によってクラス分類し、分類されたクラスに対応して予め設定されている画像変換演算処理により、前記高解像度の画像信号を生成する第２の解像度変換工程と、
前記第１の解像度変換工程で生成された画像信号と、前記第２の解像度変換工程で生成された画像信号のいずれか一方の画像信号を、前記出力画像信号として選択して出力する出力選択工程と、
を備えることを特徴とする画像処理方法。 - 前記出力選択工程は、
前記第１および第２の解像度変換部からの画像信号による画像の動きとアクティビティとを、それぞれ所定数の画素単位で判定する判定工程と、
前記判定工程での判定結果に応じて、前記第１の解像度変換工程で生成された画像信号と、前記第２の解像度変換工程で生成された画像信号のいずれか一方を、所定数の画素単位で選択する選択工程と、
を備えることを特徴とする請求項１２に記載の画像処理方法。 - 前記判定工程は、
前記所定数の画素毎に、前記第１の解像度変換工程で生成された画像信号と前記第２の解像度変換工程で生成された画像信号との差分値を算出する差分値算出工程と、
前記差分値の絶対値と予め設定されたしきい値との比較結果に基づいて、前記差分値の絶対値が前記しきい値以上の場合には、前記所定数の画素部分が動き部分であることを示す判定値を出力し、前記差分値の絶対値が前記しきい値より小さい場合には、前記所定数の画素部分が静止部分であることを示す判定値を出力する比較工程と、
を有することを特徴とする請求項１３に記載の画像処理方法。 - 前記判定工程は、
前記所定数の画素毎の静動を判定する静動判定工程と、
前記静動判定部で前記所定数の画素部分が動き部分であると判定されるときに、前記選択部に対し、前記第２の解像度変換部からの画像信号を選択して出力するようにするための信号を供給する選択信号生成工程と、
を有することを特徴とする請求項１３に記載の画像処理方法。 - 前記判定工程は、
前記所定数の画素毎の静動を判定する静動判定工程と、
前記第１の解像度変換工程で生成された画像信号と、前記第２の解像度変換工程で生成された画像信号の、いずれの画像のアクティビティがより高いを判定するアクティビティ判定工程と、
前記静動判定工程で前記所定数の画素部分が静止部分であると判定されるときに、前記アクティビティ判定工程での判定結果に基づいて、前記第１の解像度変換工程で生成された画像信号と、前記第２の解像度変換工程で生成された画像信号のうちの、前記画像のアクティビティがより高い方を選択して出力するようにするための信号を前記選択部に供給する選択信号生成工程と、
を有することを特徴とする請求項１３に記載の画像処理方法。 - 前記アクティビティ判定工程は、
前記第１の解像度変換工程で生成された画像信号と、前記第２の解像度変換工程で生成された画像信号について、それぞれ所定領域内における複数の画素の画素値のダイナミックレンジを算出して、両ダイナミックレンジを比較することにより、アクティビティの高低を判定する
ことを特徴とする請求項１６に記載の画像処理方法。 - 前記第１の解像度変換工程は、
前記フレームメモリに記憶されている画像信号による画像と、前記入力画像信号による画像との間の動きを検出する動き検出工程と、
前記動き検出工程で検出された動きにより画素位置を補正して、前記入力画像信号を、前記フレームメモリに記憶されている画像信号に加算して蓄積する画像蓄積処理工程と、
を備えることを特徴とする請求項１２に記載の画像処理方法。 - 前記第２の解像度変換工程は、
前記入力画像信号による画像中の注目画素と、その時間的および空間的な周囲画素とを含む複数個の画素をクラスタップとして抽出するクラスタップ抽出工程と、
前記クラスタップ抽出工程で抽出された前記クラスタップの特徴によってクラス分類するクラス分類工程と、
前記クラス分類工程によって分類されたクラスに基づいて、当該クラスに対応する画像変換演算処理を定め、その定めた演算処理により、前記高解像度の画像信号を生成する演算処理工程と、
を有することを特徴とする請求項１２に記載の画像処理方法。 - 前記クラス分類工程は、
前記クラスタップの特徴を、前記クラスタップとしての前記複数の画素の画素値のパターンによってクラス分類することを特徴とする請求項１９に記載の画像処理方法。 - 前記演算処理工程では、
前記クラスタップに対応して、前記入力画像信号について予め定められた領域の複数個の画素と、前記クラス分類部において分類されたクラスに応じて予め設定されている前記複数個の画素についての演算係数との演算を行うことにより、前記入力画像信号中の前記注目画素についての、前記出力画像信号を生成する
ことを特徴とする請求項１９に記載の画像処理方法。 - 前記演算処理工程で用いる前記演算係数は、
前記出力画像信号と同質である教師信号から、前記注目画素に対応する複数個の画素を抽出する工程と、
前記入力画像信号と同質である生徒信号から、前記注目画素に対応した位置の複数の画素をクラスタップとして抽出する工程と、
前記クラスタップの特徴に基づいて、前記注目画素についての特徴をクラス分類する工程と、
前記クラス分類されたクラスに対応して、前記生徒信号から予測タップとして抽出された前記注目画素に対応した位置の複数の画素との演算により、前記教師信号から抽出された前記注目画素に対応する複数の画素と同質の出力信号を、前記生徒信号から生成するための予測係数を導出する工程と
によって、前記予測係数として算出することを特徴とする請求項１９に記載の画像処理方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000179342A JP4470282B2 (ja) | 2000-06-15 | 2000-06-15 | 画像処理装置および画像処理方法 |
| KR1020027001976A KR100816593B1 (ko) | 2000-06-15 | 2001-06-15 | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 |
| PCT/JP2001/005117 WO2001097510A1 (en) | 2000-06-15 | 2001-06-15 | Image processing system, image processing method, program, and recording medium |
| US10/049,553 US7085318B2 (en) | 2000-06-15 | 2001-06-15 | Image processing system, image processing method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000179342A JP4470282B2 (ja) | 2000-06-15 | 2000-06-15 | 画像処理装置および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002223420A JP2002223420A (ja) | 2002-08-09 |
| JP4470282B2 true JP4470282B2 (ja) | 2010-06-02 |
Family
ID=18680631
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000179342A Expired - Fee Related JP4470282B2 (ja) | 2000-06-15 | 2000-06-15 | 画像処理装置および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4470282B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4026491B2 (ja) | 2002-12-13 | 2007-12-26 | ソニー株式会社 | 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体 |
| JP5007728B2 (ja) * | 2009-03-16 | 2012-08-22 | ソニー株式会社 | 信号処理装置および信号処理方法、プログラム、並びに記録媒体 |
-
2000
- 2000-06-15 JP JP2000179342A patent/JP4470282B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002223420A (ja) | 2002-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4093621B2 (ja) | 画像変換装置および画像変換方法、並びに学習装置および学習方法 | |
| JP4470899B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| JP4026491B2 (ja) | 画像信号処理装置、画像信号処理方法、並びにプログラムおよび媒体 | |
| KR20070094796A (ko) | 디인터레이싱 방법, 장치 및 시스템 | |
| JP5133038B2 (ja) | 画像復元方法および画像復元装置 | |
| US6930728B2 (en) | Scan conversion apparatus | |
| JP4872672B2 (ja) | 学習装置と学習方法および学習プログラム | |
| JP4168490B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP4470898B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
| KR100816593B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| JPH0795591A (ja) | ディジタル画像信号処理装置 | |
| JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
| JP4193233B2 (ja) | 動き判定装置、その方法および画像情報変換装置 | |
| JP2010118940A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP3723995B2 (ja) | 画像情報変換装置および方法 | |
| JP4470324B2 (ja) | 画像信号変換装置および方法 | |
| JP2007251690A (ja) | 画像処理装置および方法、学習装置および方法、並びにプログラム | |
| JP3490142B2 (ja) | 動画像符号化方法及び装置 | |
| JP4250806B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JP4078719B2 (ja) | 画像情報変換装置、変換方法および画像表示装置 | |
| JP3587188B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
| JP3800638B2 (ja) | 画像情報変換装置および方法 | |
| JP4062326B2 (ja) | 係数生成装置および方法 | |
| JP4250807B2 (ja) | フィールド周波数変換装置および変換方法 | |
| JPH08317347A (ja) | 画像情報変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070223 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090821 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20091001 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100209 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100222 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130312 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140312 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |