JP3899994B2

JP3899994B2 - 画像信号処理装置、及び、画像信号処理方法

Info

Publication number: JP3899994B2
Application number: JP2002118278A
Authority: JP
Inventors: 伸夫上木; 郁男染谷
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-04-19
Filing date: 2002-04-19
Publication date: 2007-03-28
Anticipated expiration: 2022-04-19
Also published as: JP2003319171A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号処理装置及び画像信号処理方法における画像信号の拡大または縮小を行うことにより画像の解像度を変換する画像変換装置及び画像信号処理方法に関するものである。
【０００２】
【従来の技術】
従来、画像信号処理装置に用いられる画素数変換回路は、ＬＣＤ（Liquid Crystal Display）やＰＤＰ（Plasma Display Panel）のような固定画素表示装置で様々な表示フォーマットを持つ入力信号を表示するために用いられていた。
【０００３】
近年、ＢＳ（Broadcast satelite: 放送衛星）ディジタル放送の開始に伴い、テレビ放送の自然画とデータ放送のテキスト（文字）やＣＧ（Computer Graphic）が混在する画像信号に対して、これらの画像を前述の固定画素表示装置に高画質で表示することが要求されている。
【０００４】
この要求に応えるべく、これまでに画素数変換のため種々の画像信号処理方法が提案されている。例えば、特許文献である特開平１１−０５５５０３号公報に開示されているように自然画と文字に対する補間処理回路を別々に持ち、これを適宜切り替えることが提案されている。
同公報によれば、解像度変換の比を整数比Ｍ：Ｎ（ここで、ＭとＮは整数である）として元の画像をＭ×Ｍ画素の細分化領域に分割し、この中に含まれている画素の色成分の種類があるしきい値以上であれば、自然画と判断して線形補間回路で画像を処理し、上記しきい値以下であれば、文字かＣＧと判断して上記細分化されたＭ×Ｍの画素領域ごとの相関係数に応じた適応間引き処理回路で画像処理を行って、Ｎ×Ｎ画素に縮小することが記載されている。
【０００５】
また、特許文献である特開２００１−１８９８５０号公報に開示されているように、自然画とＣＧとで補間特性を適宜切り替えることが提案されている。
同公報によれば、画像の解像度を変換する画像処理装置における解像度変換装置において、文字及び自然画が混在する画像信号から文字か自然画かを判別する画像性質検出回路と、上記文字か自然画化の判別に基づいてキュービック（Cubic ）コンボリューション（畳み込み）方式により補間関数を発生する補間関数発生回路と、上記補間関数発生回路から出力された補間関数に基づき上記画像信号を縮小または拡大する解像度変換を行う解像度変換回路とを具備することが記載されている。
【０００６】
【発明が解決しようとする課題】
ところで、上述した従来の画像処理方式では、画像種類の認識及び補間処理の最適化に問題がある。例えば、特開平１１−０５５５０３号公報に開示された手法では、色成分が多く含まれているテキストなどはＣＧ画像と認識できないことや、最近傍補間と線形補間の２系統の回路を持つ必要があることや線形補間では自然画部分の変換に関して高画質化要求には応えられない。
【０００７】
また、特開２００１−１８９８５０号公報に開示された手法では、キュービックコンボリューション方式の特性が適宜切り換えられているが、キュービックコンボリューション方式はＣＧ画像の補間処理には最適ではないため、高画質化の要求には応えられないという不利益がある。
【０００８】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像信号の種類について高精度で判別し、当該判別の結果に従って１つの補間処理回路によってそれぞれの画像種類に対応する複数の補間方式を切り換えて画素数変換処理を行うことができ、回路構成の簡素化を実現しながら、高画質化の要求に対応できる画像信号処理装置を提供することにある。また、高画質化の要求に対応できる画像信号処理方法を提供することである。
【０００９】
上記目的を達成するため、本発明の画像信号処理装置は、入力される画像信号に応じて、当該画像信号が自然画の画像信号か、コンピュータによって生成されたコンピュータ画像信号かを判別する画像判別手段と、上記画像判別手段の判別結果に応じて、所定の補間処理を選択し、選択された補間処理で上記入力画像信号に対して処理を行い、画素数変換を行う補間処理手段とを有する画像信号処理装置であって、上記画像判別手段は、上記入力される画像信号の隣接する第１、第２、第３及び第４の４つの画素のデータを用いて、上記第１と第２の画素データの差の絶対値と上記第３と第４の画素データの差の絶対値との和と、上記第２と第３の画素データの差の絶対値との比を算出し、当該算出した比と所定のしきい値との比較結果に基づき、上記入力される画像信号が自然画の画像信号か、コンピュータ画像信号かについて判別する。
【００１０】
また、本発明では、好適には、上記画像判別手段は、上記入力される画像信号の隣接する画素データを用いて所定の演算を行い、当該演算の結果に基づき上記入力される画像信号が自然画の画像信号か、コンピュータ画像信号かについて判別する。
【００１１】
また、本発明では、好適には、上記補間処理手段は、上記画像判別手段の判別結果に基づき、線形補間とキュービック補間とを切り換えて、上記入力される画像信号に対して補間処理を行い、また、上記画像判別手段の判別結果に基づき、最近傍補間とキュービック補間とを切り換えて、上記入力される画像信号に対して補間処理を行う。
【００１２】
また、本発明では、好適には、上記補間処理手段は、上記画像判別手段の判別結果に基づき、線形補間、最近傍補間とキュービック補間とを切り換えて、上記入力される画像信号に対して補間処理を行う。
【００１３】
また、本発明では、好適には、上記画像判別手段は、上記入力される画像信号における隣接する画素の輝度を表す輝度データに基づき、上記演算を行い、当該演算結果に基づき上記入力される画像信号を判別する。
【００１４】
また、本発明では、好適には、上記補間処理手段は、上記輝度データに基づいた判別結果に基づき、補間処理を切り換えて、上記入力される画像信号の色差信号に対して補間処理を行う。
【００１５】
また、本発明では、好適には、上記画像判別手段は、上記入力される画像信号に対して、水平方向と垂直方向においてそれぞれ上記判別を行う。さらに、上記補間処理手段は、上記水平方向と垂直方向それぞれの判別結果に応じて、水平方向と垂直方向にそれぞれにおいて上記補間処理を行う。
【００１６】
本発明の画像信号処理方法は、入力される画像信号に応じて、当該画像信号が自然画の画像信号か、コンピュータによって生成されたコンピュータ画像信号かを判別する画像判別ステップと、上記画像判別ステップの判別結果に応じて、所定の補間処理を選択し、選択された補間処理で上記入力画像信号に対して処理を行い、画素数変換を行う補間処理ステップとを有する画像信号処理方法であって、上記画像判別ステップは、上記入力される画像信号の隣接する第１、第２、第３及び第４の４つの画素のデータを用いて、上記第１と第２の画素データの差の絶対値と上記第３と第４の画素データの差の絶対値との和と、上記第２と第３の画素データの差の絶対値との比を算出し、当該算出した比と所定のしきい値との比較結果に基づき、上記入力される画像信号が自然画の画像信号か、コンピュータ画像信号かについて判別する。
【００１７】
本発明によれば、画像判別手段によって、入力画像信号における隣接する画素データに基づき、所定の演算を行いその結果に基づき、入力画像信号の種類を判別する。当該判別結果に応じて、補間処理手段は、入力画像信号の種類に適した補間処理方式を適宜切り換えて、補間処理を行い、画素数の変換を行う。これによって、画像信号の種類に適した補間処理方式で補間処理が行われ、画素数変換が行われる。また、補間処理手段は、１つの回路で複数の異なる補間処理を実現できるため、回路構成が簡略化される。
【００１８】
【発明の実施の形態】
図１は本発明に係る画像信号処理装置の一実施形態を示す構成図である。
図示のように、本実施形態の画像処理装置は、垂直用補間回路１０、垂直用画像判別回路２０、ラインバッファ３０−１，３０−２，３０−３、水平用補間回路５０、水平用画像判別回路６０、及び画素バッファ７０−１，７０−２，７０−３によって構成されている。
以下、本実施形態の画像信号処理装置の各部分回路の構成について説明する。
【００１９】
垂直用補間回路１０は、垂直用画像判別回路２０の判別結果を示すフラグ信号ＦＬＧ_y に従って、垂直方向における最適な補間処理方式を選択し、選択された補間方式に基づいて、入力された垂直方向に隣り合う４つの画素の画素データＤ_y ，Ｂ_y ，Ａ_y ，Ｃ_y に対して垂直方向に補間処理を行い、画素数変換を行う。
【００２０】
垂直用画像判別回路２０は、入力された垂直方向に隣り合う４つの画素の画素データＤ_y ，Ｂ_y ，Ａ_y ，Ｃ_y に基づき、入力される画像信号Ｓ_inの種類を判別し、当該判別の結果、画像信号の種類を示すフラグ信号ＦＬＧ_y を出力する。
【００２１】
ラインバッファ３０−１，３０−２及び３０−３は、直列に接続されている。これらのラインバッファは、例えば、直列接続されている複数段のシフトレジスタなどによって構成され、それぞれ１ライン分の画素データを記憶し、記憶されている画素データを入力段から出力段に向けて順次転送する。このため、各ラインバッファの出力段から出力される画素データが、入力段に入力される画素データに対して１ライン分前の画素データとなる。即ち、図１において、ラインバッファ３０−３から出力される画素データＣ_y は、ラインバッファ３０−２から出力される画素データＡ_y より１ライン分前の画素データであり、同様に、ラインバッファ３０−１から出力される画素データＢ_y は、現在入力される画素データＤ_y より１ライン分前の画素データである。
【００２２】
上述した垂直用補間回路１０によって垂直方向に補間処理された画素データＤ_X が水平用補間回路５０、水平用画像判別回路６０及び画素バッファ７０−１にそれぞれ入力される。
【００２３】
水平用補間回路５０は、水平用画像判別回路６０の判別結果を示すフラグ信号ＦＬＧ_x に従って、水平方向における最適な補間処理方式を選択し、選択された補間方式に基づいて、入力された水平方向に隣り合う４つの画素の画素データＤ_x ，Ｂ_x ，Ａ_x ，Ｃ_x に対して水平方向補間処理を行い、画素数変換を行う。
【００２４】
水平用画像判別回路６０は、入力された水平方向に隣り合う４つの画素の画素データＤ_x ，Ｂ_x ，Ａ_x ，Ｃ_x に基づき、画像信号の種類を判別し、判別の結果、画像信号の種類を示すフラグ信号ＦＬＧ_x を出力する。
【００２５】
画素バッファ７０−１，７０−２，７０−３は、それぞれ１画素分の画素データを保持するシフトレジスタによって構成されている。これらの画素バッファは直列に接続されて、それぞれ１画素分の画素データを記憶し、記憶されている画素データを次の画素バッファに転送する。このため、各画素バッファから出力される画素データが入力される画素データに対して、時間軸上１つ前の画素の画素データとなる。例えば、画素バッファ７０−３から出力される画素データＣ_x は、画素バッファ７０−２から出力される画素データＡ_x より１つ前の画素の画素データであり、同様に、画素バッファ７０−１から出力される画素データＢ_x は、入力画素データＤ_x に比べて、１つ前の画素の画素データとなる。
【００２６】
次に、本実施形態の画像信号処理装置における画像判別処理及び画像補間処理について説明する。
【００２７】
画像判別処理
まず、画像信号の判別処理について説明する。判別処理は、入力される画像信号がコンピュータ画像信号であるか、自然画の画像信号であるかについて判別する。判別処理はそれぞれ垂直と水平方向において行われる。垂直方向の判別は、図１に示す垂直用画像判別回路２０によって行われ、水平方向の判別は、水平用画像判別回路６０によって行われる。なお、垂直と水平方向の判別処理は、ほぼ同じであるので、以下、特に垂直または水平の処理を区別せず、入力される４つの隣接画素の画素データをＡ，Ｂ，Ｃ，Ｄとして、画像判別処理について説明する。
【００２８】
なお、ここで、４つの隣接画素の画素データが時間軸上Ｃ，Ａ，Ｂ，Ｄの順で入力されるとする。画像種類の判別は、隣接する画素の画素データの値（即ち、画素の輝度レベル）に基づいた数値演算で行われる。具体的に、垂直または水平用画像判別回路は、“画素Ａ，Ｂ間の輝度レベル差の絶対値”と、“画素Ｂ，Ｄ間の輝度レベル差の絶対値”と“画素Ａ，Ｃ間の輝度レベル差の絶対値”の平均値との比に基づいて行われる。この比が所定のしきい値ＴＨを超えるとき、コンピュータ画像信号と判断し、逆にこの比が上記をしきい値ＴＨを超えていないとき、自然画であると判断される。
以下の数式は、画像種類の判断に用いられている式である。
【００２９】
【数１】

【００３０】
ここで、式（１）は、次に示す式（２）のように書き換えられるので、割り算処理をせずに画像判別処理を実現可能である。
【００３１】
【数２】

【００３２】
図２及び図３は、隣接する４画素分の画素データに基づく画像判別処理の概念を示している。図示のように、隣接する４つの画素Ｄ，Ｂ，Ｃ，Ａがそれぞれの画素データに応じた輝度レベルを持っている。判別処理のとき、画素Ａ，Ｂ間の輝度レベル差の絶対値｜Ａ−Ｂ｜、そして、画素Ｄ，Ｂ間及びＡ，Ｃ間の輝度レベル差の絶対値｜Ｂ−Ｄ｜及び｜Ａ−Ｃ｜がそれぞれ計算され、さらに、画素Ｄ，Ｂ間及びＡ，Ｃ間の輝度レベル差の絶対値の平均値Ｋ＝（｜Ｂ−Ｄ｜＋｜Ａ−Ｃ｜）／２が算出され、画素Ａ，Ｂ間の輝度レベル差の絶対値｜Ａ−Ｂ｜とこの平均値Ｋとの比｜Ａ−Ｂ｜／Ｋに基づき、画像信号の種類が判別される。
【００３３】
なお、上述したように、ここで、“画素Ｂ，Ｄ間の輝度レベル差の絶対値”と“画素Ａ，Ｃ間の輝度レベル差の絶対値”の平均値Ｋは、（｜Ｂ−Ｄ｜＋｜Ａ−Ｃ｜）／２で算出されるので、しきい値ＴＨの取り方により、この平均値演算が不要となる。即ち、画像判別は、隣接する４つの画素Ｄ，Ｂ，Ｃ，Ａの輝度データに応じて、単に画素Ａ，Ｂ間の輝度レベルの差の絶対値｜Ａ−Ｂ｜と画素Ｄ，Ｂ間とＡ，Ｃ間の輝度レベルの差の絶対値｜Ｂ−Ｄ｜と｜Ａ−Ｃ｜との和（｜Ｂ−Ｄ｜＋｜Ａ−Ｃ｜）を用いて行うことができる。
【００３４】
図２に示す画素データの例では、算出された｜Ａ−Ｂ｜／Ｋの値が大きく、例えば、予め与えられたしきい値ＴＨより大きくなる。このため、当該画像信号がＣＧ画像信号と判別され、ＣＧ画像を表すフラグ信号ＦＬＧ_y またはＦＬＧ_x が出力される。
一方、図３に示す画素データの例では、算出された｜Ａ−Ｂ｜／Ｋの値が小さく、例えば、上記しきい値ＴＨ以下になる。このため、当該画像信号が自然画の画像信号と判別され、自然画を表すフラグ信号ＦＬＧ_y またはＦＬＧ_x が出力される。
【００３５】
上述したように、図１に示す本実施形態の垂直用画像判別回路２０と水平用画像判別回路６０によって、入力される４つの隣接画素の画素データに基づき、式（１）に示す判断方法で画像の種類について判断が行われ、当該判断の結果に応じて、画像の種類を示すフラグ信号ＦＬＧ_y 及びＦＬＧ_x が生成され、それぞれ垂直用補間回路１０及び水平用補間回路５０に出力される。
なお、垂直用画像判別回路２０と水平用画像判別回路６０において、画素の輝度レベルを示す輝度データに基づき、画像信号の判別を行っているが、補間処理では、これらの判別の結果に応じて画像信号の輝度信号と色差信号の両方に対して補間処理を行う。
【００３６】
垂直用補間回路１０及び水平用補間回路５０は、それぞれ入力されるフラグ信号ＦＬＧ_y 及びＦＬＧ_x に基づき、画像の種類に応じてその種の画像信号にもっとも適している補間処理方式を選択し、選択された補間方式で補間処理を行い、画素数変換を行う。
以下、本実施形態の画像信号処理装置における補間処理について説明する。
【００３７】
画像補間処理
本実施形態の画像信号処理装置における画像補間処理は、それぞれ垂直と水平方向に行われる。垂直方向の補間処理は、垂直用補間回路１０によって行われ、水平方向の補間処理は、水平用補間回路５０によって行われる。これらの補間処理回路は、画像信号の種類に応じて、それぞれ最適化した処理方式を選択して、選択された補間処理方式で補間処理を行う。
【００３８】
なお、垂直方向及び水平方向の画像補間処理は、ほぼ同じであるので、以下、特に垂直または水平方向を区別せず、入力される４つの隣接画素の画素データをＡ，Ｂ，Ｃ，Ｄとして、補間処理について説明する。
ここで、４つの隣接画素の画素データが時間軸上Ｃ，Ａ，Ｂ，Ｄの順で入力されるとする。
【００３９】
本実施形態の画像信号処理装置では、補間処理は、最近傍補間、線形補間またはキュービック（Ｃｕｂｉｃ）補間の３つの処理方式のうち何れか１つを選択して行う。
【００４０】
最近傍補間処理
最近傍補間処理は、求めようとする画素の位置（以下、これを注目点と称する）にもっとも近い画素の輝度レベルを注目点の画素の輝度レベルとする補間方法である。
【００４１】
図４は、最近傍補間処理を示す概念図である。図示のように、注目点Ｐは隣接する画素ＡとＢの間に位置する。注目点Ｐにもっとも近い画素は画素Ａである。このため、最近傍補間処理において、注目点Ｐの輝度レベルを画素Ａの輝度レベルに設定される。
【００４２】
線形補間処理
線形補間処理は、注目点に隣接する２つまたは２つ以上の画素の輝度レベルを用いた線形演算によって注目点の輝度レベルを計算する方式である。
図５は、線形補間処理を示す概念図である。ここで、例えば、注目点Ｐの両側にある画素ＡとＢに基づき、注目点Ｐの輝度レベルを演算する。図示のように、注目点Ｐの輝度レベルは、画素ＡとＢのそれぞれの輝度レベル及び注目点Ｐの位置に基づいた線形演算で計算される。
【００４３】
例えば、図５において、画素ＡとＢの距離を１として、また注目点Ｐと画素Ａの距離をｘ（０≦ｘ≦１）とする。このため、注目点Ｐと画素Ｂとの距離が（１−ｘ）となる。線形補間処理によって求められた注目点Ｐの輝度レベルは、（１−ｘ）Ａ＋ｘＢとなる。
【００４４】
キュービック補間処理
キュービック補間処理は、キュービック関数と呼ばれる補間関数に基づき補間係数ｆ（ｘ）を算出し、当該補間係数を用いて、注目点Ｐの輝度レベルを演算する方式である。なお、キュービック補間処理は、例えば、隣接する４つの画素の画素データに基づき、注目点の輝度レベルを計算する。
【００４５】
図６は、キュービック補間処理に用いられている隣接する画素Ｄ，Ｂ，Ａ，Ｃ及び注目点Ｐの位置関係を示している。図６に示すように、隣接する４つの画素Ｄ，Ｂ，Ａ，Ｃは順次配置されている。注目点Ｐは、画素ＢとＡの間にあり、画素Ｂとの距離がｘ（０≦ｘ≦１）となる。これによって、注目点Ｐと画素Ａとの距離が（１−ｘ）、注目点Ｐと画素Ｄとの距離が（１＋ｘ）、さらに、注目点と画素Ｃとの距離が（２−ｘ）となる。
【００４６】
キュービック補間処理において、変数ｘに対して補間係数ｆ（ｘ）を次に示す式（３）によって算出される。なお、式（３）において、αは所定の値を取る定数である。
【００４７】
【数３】

【００４８】
式（３）は、キュービック式とも呼ばれている。式（３）において、α＝−１を例にすると、次式が得られる。
【００４９】
【数４】

【００５０】
図７は、式（４）に示す補間係数ｆ（ｘ）の波形を示している。
【００５１】
キュービック補間処理において、注目点Ｐの輝度レベルＰ（ｘ）は、補間係数ｆ（ｘ）と４つの隣接画素Ｄ，Ｂ，Ａ，Ｃのコンボリューションによって求められる。次式は、Ｐ（ｘ）を計算する演算式を示している。
【００５２】
【数５】

【００５３】
式（５）において、第１項の（１−ｘ）Ａ＋ｘＢは、画素ＡとＢの輝度レベルに対する線形補間の結果であり、さらに、第２項の中括弧には、画素ＡとＢの線形補間のほか、画素ＣとＤの線形補間（１−ｘ）Ｃ＋ｘＤも含まれている。
【００５４】
また、式（５）において、その第２項を“０”として、第１項において変数ｘの値に応じて画素ＡとＢの何れかの輝度レベルを注目点Ｐの輝度レベルＰ（ｘ）とすれば、最近傍補間と等価である。これは、次の式によって表される。
【００５５】
【数６】

【００５６】
このため、式（５）のみで最近傍補間、線形補間及びキュービック補間（α＝−１）の３つの補間処理を実現できる。例えば、この補間処理の切り換えは、図１に示す垂直用画像判別回路２０または水平用画像判別回路６０から出力されるフラグ信号ＦＬＧ_y またはＦＬＧ_x に応じて行うことで、処理対象の画像信号にもっとも適している処理方式で補間処理を実現できる。
なお、キュービック関数を用いた補間処理において、上述したα＝−１のほか、α＝−０．５を用いることもできる。
【００５７】
図８〜図１０は、上述した補間処理を実現するための補間処理回路の構成例を示す回路図である。なお、図８〜図１０に示す回路例は、図１に示す垂直用補間回路１０または水平用補間回路５０の両方に適用可能である。
【００５８】
図８は、補間回路１００の構成を示す回路図である。図示のように、補間回路１００は、演算回路１０１，１０２、選択回路１０３及び加算回路１０６、減算回路１０４、１０７、１０９及び乗算回路１０５、１０８によって構成されている。
【００５９】
演算回路１０１は、画素データＡ，Ｂ、変数ｘと（１−ｘ）及びフラグ信号ＦＬＧ１に基づき、出力信号ｏｕｔ１，ｏｕｔ２を生成する。出力信号ｏｕｔ１は、フラグ信号ＦＬＧ１によって制御され、画素データＡとＢに対して、最近傍補間処理または線形処理によって得られた出力である。最近傍補間処理の場合、ｏｕｔ１＝ＡまたはＢ、線形処理の場合に、ｏｕｔ１＝（１−ｘ）Ａ＋ｘＢ。出力信号ｏｕｔ２は、画素データＡとＢに対する線形処理によって得られた出力である。即ち、ｏｕｔ２＝（１−ｘ）Ａ＋ｘＢ。
【００６０】
演算回路１０２は、画素データＣ，Ｄ、及び変数ｘと（１−ｘ）に基づき、出力信号ｏｕｔ３を生成する。なお、出力信号ｏｕｔ３は、画素データＣとＤに対する線形処理の結果である。即ち、ｏｕｔ３＝（１−ｘ）Ｃ＋ｘＤ。
【００６１】
減算回路１０７は、変数ｘに対して、１−ｘを算出する。
乗算回路１０８は、変数ｘの二乗ｘ² を算出する。
減算回路１０９は、変数ｘ及び乗算回路１０８から出力されるｘ² に基づき、ｘ−ｘ² を算出する。
【００６２】
減算回路１０４は、演算回路１０１から出力される画素ＡとＢの線形処理結果と演算回路１０２から出力される画素ＣとＤの線形処理結果との差を算出する。
乗算回路１０５は、減算回路１０４の出力信号と減算回路１０４の出力信号との積を算出する。
加算回路１０６は、乗算回路１０５の出力信号と演算回路１０１の出力信号ｏｕｔ２とを加算し、加算結果ｏｕｔ４を出力する。
即ち、加算回路１０６の出力信号ｏｕｔ４は、式（５）によって与えられるキュービック補間処理の結果である。
【００６３】
選択回路１０３は、フラグ信号ＦＬＧ２に応じて、演算回路１０１の出力ｏｕｔ１または加算回路１０６の出力ｏｕｔ４の何れかを選択して出力する。上述したように、演算回路１０１の出力ｏｕｔ１は、フラグ信号ＦＬＧ１によって制御され、画素ＡとＢに対する最近傍補間処理または線形補間処理の結果である。このため、図８に示す補間回路１００は、フラグ信号ＦＬＧ１とＦＬＧ２に応じて、入力される隣り合う４つの画素信号Ａ，Ｂ，Ｃ，Ｄに対して、最近傍補間、線形補間及びキュービック補間の何れかの処理を行うことができる。
【００６４】
図９は、演算回路１０１の構成例を示し、図１０は、演算回路１０２の構成例を示している。
以下、図９と図１０を参照しつつ、演算回路１０１及び１０２の構成について説明する。
【００６５】
図９に示すように、演算回路１０１は、乗算回路１１１、１１２、加算回路１１３、選択回路１１４、１１５及び比較回路１１６によって構成されている。
【００６６】
乗算回路１１１は、画素データＡと変数１−ｘとの積を算出し、加算回路１１３に出力する。
乗算回路１１２は、画素データＢと変数ｘとの積を算出し、加算回路１１３に出力する。
加算回路１１３は、乗算回路１１１と１１２の演算結果を加算し、選択回路１１５に出力する。
即ち、加算回路１１３の出力は、画素ＡとＢの線形補間の結果である。
【００６７】
比較回路１１６は、変数ｘと定数０．５とを比較し、比較結果に応じて、選択制御信号Ｓｃを生成し、選択回路１１４に出力する。
選択回路１１４は、比較回路１１６からの選択制御信号Ｓｃに応じて、画素データＡまたはＢの何れかを選択し、選択回路１１５に出力する。
【００６８】
比較回路１１６と選択回路１１４によって、最近傍補間処理が行われる。ここで、例えば、変数ｘは、図５に示すように、画素Ａと注目点Ｐとの距離を示しているとする。画素ＡとＢの距離は１であるとすると、変数ｘが０．５より大きい場合、画素Ａが注目点Ｐにもっとも近く、最近傍補間の結果として画素Ａが選択される。逆に、変数ｘが０．５を超えていない場合、画素Ｂが注目点Ｐにもっとも近く、最近傍補間の結果として画素Ｂが選択される。
【００６９】
選択回路１１５は、フラグ信号ＦＬＧに応じて、選択回路１１４の出力または加算回路１１３の出力信号の何れかを選択して出力する。フラグ信号ＦＬＧに応じて、選択回路１１４の出力信号が選択されると、出力ｏｕｔ１は画素ＡとＢに対する最近傍補間の結果となる。逆に、加算回路１１３の出力信号が選択されると、出力ｏｕｔ１は画素ＡとＢに対する線形補間の結果となる。
一方、出力ｏｕｔ２は、加算回路１１３の出力、即ち、画素ＡとＢに対する線形補間の結果である。
【００７０】
次に、演算回路１０２について説明する。
図１０に示すように、演算回路１０２は、乗算回路１２１、１２２及び加算回路１２３によって構成されている。
【００７１】
乗算回路１２１は、画素データＣと変数１−ｘとの積を算出し、加算回路１２３に出力する。
乗算回路１２２は、画素データＤと変数ｘとの積を算出し、加算回路１２３に出力する。
加算回路１２３は、乗算回路１２１と１２２の演算結果を加算して、その結果を信号ｏｕｔ３として出力する。
即ち、加算回路１２３の出力ｏｕｔ３は、画素ＣとＤの線形補間の結果である。
【００７２】
以上説明したように、本実施形態の補間回路１００は、演算回路１０１と１０２の出力信号に基づき、さらに、フラグ信号ＦＬＧ１とＦＬＧ２に応じて、隣接する４つの画素Ａ，Ｂ，Ｃ，Ｄに対して、最近傍補間、線形補間またはキュービック補間処理のうち、何れか１つを選択して補間処理を行い、その結果を出力する。
演算回路１０１によって、入力画像信号に対して最近傍補間または線形補間が施され、補間処理の結果として信号ｏｕｔ１が出力される。ここで、最近傍補間または線形補間は、フラグ信号ＦＬＧ１によって指定される。一方、演算回路１０１から出力される画素Ａ，Ｂに対する線形補間の結果及び演算回路１０２から出力される画素Ｃ，Ｄに対する線形補間の結果に基づき、キュービック補間処理が行われ、その結果として信号ｏｕｔ４が出力される。
【００７３】
選択回路１０３によって、フラグ信号ＦＬＧ２に応じて、演算回路１０１の出力信号ｏｕｔ１とキュービック補間処理の結果ｏｕｔ４の何れかが選択される。このため、図８に示す補間回路１つで、最近傍補間、線形補間またはキュービックの何れかを選択して実施することができる。
【００７４】
本実施形態の補間処理回路１００は、図１に示す画像信号処理装置にある垂直用補間処理回路１０及び水平用補間回路５０の両方に適用可能である。このため、本実施形態の画像信号処理装置は、入力画像信号の種類を自動的に判別し、判別の結果に基づき、最適な補間処理で画像信号を補間し、画素数の変換を行うことが可能である。
【００７５】
【発明の効果】
以上説明したように、本発明の画像信号処理装置、及び、画像信号処理方法によれば、画像信号の種類を自動的に判別することができ、判別の結果に従って画像信号に対して補間処理方式を適宜切り換えて補間処理を行い、画素数変換を行うことができる。
また、本発明によれば、簡単な処理回路によって複数の補間処理を実現することができ、画像信号処理装置の回路構成を簡素化しながら、高画質化の要求に対応することができる利点がある。
【図面の簡単な説明】
【図１】本発明に係る画像信号処理装置の一実施形態を示す構成図である。
【図２】隣接する４画素分の画素データに基づく画像判別処理を示す概念図である。
【図３】隣接する４画素分の画素データに基づく画像判別処理を示す概念図である。
【図４】最近傍補間処理を示す概念図である。
【図５】線形補間処理を示す概念図である。
【図６】キュービック補間処理に用いられる隣接４画素及び注目点の位置関係を示す図である。
【図７】キュービック補間処理に用いられる補間関数の波形を示す波形図である。
【図８】補間処理回路の一構成例を示す回路図である。
【図９】補間処理回路を構成する演算回路の一構成例を示す回路図である。
【図１０】補間処理回路を構成する他の演算回路の一構成例を示す回路図である。
【符号の説明】
１０…垂直用補間回路、２０…垂直用画像判別回路、３０−１，３０−２，３０−３…ラインバッファ、５０…水平用補間回路、６０…水平用画像判別回路、７０−１，７０−２，７０−３…画素バッファ、１００…補間回路、１０１，１０２…演算回路。

Claims

入力される画像信号に応じて、当該画像信号が自然画の画像信号か、コンピュータによって生成されたコンピュータ画像信号かを判別する画像判別手段と、
上記画像判別手段の判別結果に応じて、所定の補間処理を選択し、選択された補間処理で上記入力画像信号に対して処理を行い、画素数変換を行う補間処理手段と
を有する画像信号処理装置であって、
上記画像判別手段は、上記入力される画像信号の隣接する第１、第２、第３及び第４の４つの画素のデータを用いて、上記第１と第２の画素データの差の絶対値と上記第３と第４の画素データの差の絶対値との和と、上記第２と第３の画素データの差の絶対値との比を算出し、当該算出した比と所定のしきい値との比較結果に基づき、上記入力される画像信号が自然画の画像信号か、コンピュータ画像信号かについて判別する
画像信号処理装置。
上記画像判別手段は、上記入力される画像信号の隣接する画素データを用いて所定の演算を行い、当該演算の結果に基づき上記入力される画像信号が自然画の画像信号か、コンピュータ画像信号かについて判別する
請求項１記載の画像信号処理装置。
上記補間処理手段は、上記画像判別手段の判別結果に基づき、線形補間とキュービック補間とを切り換えて、上記入力される画像信号に対して補間処理を行う
請求項１記載の画像信号処理装置。
上記補間処理手段は、上記画像判別手段の判別結果に基づき、最近傍補間とキュービック補間とを切り換えて、上記入力される画像信号に対して補間処理を行う
請求項１記載の画像信号処理装置。
上記補間処理手段は、上記画像判別手段の判別結果に基づき、線形補間、最近傍補間とキュービック補間とを切り換えて、上記入力される画像信号に対して補間処理を行う
請求項１記載の画像信号処理装置。
上記画像判別手段は、上記入力される画像信号における隣接する画素の輝度を表す輝度データに基づき、上記演算を行い、当該演算結果に基づき上記入力される画像信号を判別する
請求項２記載の画像信号処理装置。
上記補間処理手段は、上記輝度データに基づいた判別結果に基づき、補間処理を切り換えて、上記入力される画像信号の色差信号に対して補間処理を行う
請求項６記載の画像信号処理装置。
上記画像判別手段は、上記入力される画像信号に対して、水平方向と垂直方向においてそれぞれ上記判別を行う
請求項１記載の画像信号処理装置。
上記補間処理手段は、上記水平方向と垂直方向それぞれの判別結果に応じて、水平方向と垂直方向のそれぞれにおいて上記補間処理を行う
請求項８記載の画像信号処理装置。
入力される画像信号に応じて、当該画像信号が自然画の画像信号か、コンピュータによって生成されたコンピュータ画像信号かを判別する画像判別ステップと、
上記画像判別ステップの判別結果に応じて、所定の補間処理を選択し、選択された補間処理で上記入力画像信号に対して処理を行い、画素数変換を行う補間処理ステップと
を有する画像信号処理方法であって、
上記画像判別ステップは、上記入力される画像信号の隣接する第１、第２、第３及び第４の４つの画素のデータを用いて、上記第１と第２の画素データの差の絶対値と上記第３と第４の画素データの差の絶対値との和と、上記第２と第３の画素データの差の絶対値との比を算出し、当該算出した比と所定のしきい値との比較結果に基づき、上記入力される画像信号が自然画の画像信号か、コンピュータ画像信号かについて判別する
画像信号処理方法。