JP3753731B1 - 画像処理装置、画像処理方法、及び画像表示装置 - Google Patents

画像処理装置、画像処理方法、及び画像表示装置 Download PDF

Info

Publication number
JP3753731B1
JP3753731B1 JP2005254276A JP2005254276A JP3753731B1 JP 3753731 B1 JP3753731 B1 JP 3753731B1 JP 2005254276 A JP2005254276 A JP 2005254276A JP 2005254276 A JP2005254276 A JP 2005254276A JP 3753731 B1 JP3753731 B1 JP 3753731B1
Authority
JP
Japan
Prior art keywords
contour
image
luminance data
data
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005254276A
Other languages
English (en)
Other versions
JP2006260520A (ja
Inventor
好章 奥野
章裕 長瀬
潤 染谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2005254276A priority Critical patent/JP3753731B1/ja
Priority to PCT/JP2005/020798 priority patent/WO2006087849A1/ja
Application granted granted Critical
Publication of JP3753731B1 publication Critical patent/JP3753731B1/ja
Publication of JP2006260520A publication Critical patent/JP2006260520A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals

Abstract

【課題】 静止画領域、および動画領域のそれぞれに適した輪郭補正処理を行うことにより、表示画像を高画質化することが可能な画像処理装置を提供する。
【解決手段】 入力画像における輪郭部の輪郭幅を検出し(31)、当該輪郭幅に基づいて、上記入力画像の輪郭部を補正する補間画素の補間倍率を画素毎に指定するための倍率制御量を生成し(33)、上記入力画像の1フレーム間での変化量を画素毎に求め(10)、当該変化量に応じて上記倍率制御量を調整して得られる変換倍率を用いた補間演算により上記補間画素の画素データを算出する(34)。
【選択図】 図1

Description

本発明は、デジタル画像の輪郭を所望の鮮鋭度に補正する画像処理装置及び方法、並びにこの画像処理装置を用いた画像表示装置に関する。
画像の輪郭部を補正して鮮鋭度を高める画像処理方法として、下記の引用文献に開示されたものがある。引用文献1に開示された画像処理方法は、入力画像信号の微分値の絶対値、およびこの絶対値の平均値を算出し、算出された絶対値から平均値を差引いた差分値を求め、この差分値に応じて画像の拡大・縮小率を制御するものである。このように、画像信号の変化に応じて画像の拡大・縮小率を制御することにより、画像の拡大縮小回路を利用して輪郭の立ち上がり、立下りを急峻にし、画像の鮮鋭度を高めることができる。
引用文献2に開示された画像処理方法は、入力画像の画素数を変換する際、画像信号の高域成分に基づく制御量を生成し、この制御量を用いて画素数変換用の補間フィルタにおける補間位相を制御するものである。このように、画像の高域成分に基づいて補間位相を制御することにより、画像の輪郭部における変化を急峻にし、画像の鮮鋭度を高めることができる。
特開2002−16820号公報 特開2000−101870号公報
上記引用文献に開示された従来の画像処理方法においては、画像の高域成分の量に基づいて輪郭部の鮮鋭度を改善しているため、レベルの差分が大きい輪郭部に比べて、レベルの差分が小さい輪郭部では鮮鋭度が改善されにくいという問題があった。また、動画領域と静止画領域で同一の処理を行うため、静止画領域にあわせて鮮鋭度改善を行うと、動画領域では鮮明さに欠け、動画領域に合わせて輪郭改善を行うと、静止画部においては鮮鋭度が強くなりすぎ画像が不自然になるという問題があった。
さらに、フリッカを含んだ画像では輪郭部の鮮鋭度を高めることでフリッカがより強調されるという問題があった。
本発明は、上記課題を解決するためになされたものであり、静止画領域、および動画領域のそれぞれに適した輪郭補正処理を行うことにより、表示画像を高画質化することが可能な画像処理装置を提供することを目的とする。
また、フリッカを強調することなく輪郭部の鮮鋭度を向上させることが可能な画像処理装置を提供することを目的とする。
本発明に係る画像処理装置は、入力画像の輪郭部を補正する画像処理装置であって、
上記入力画像における輪郭部の輪郭幅を検出し、当該輪郭幅に基づいて、上記入力画像の輪郭部を補正する補間画素の補間倍率を画素毎に指定するための倍率制御量を生成する倍率制御量生成手段と、
上記入力画像と当該入力画像の1フレーム前の画像との変化量を画素毎に求め、当該変化量に応じて上記倍率制御量を調整して変換倍率を生成する倍率生成手段と、
上記変換倍率を用いた補間演算により上記補間画素の画素データを算出し、輪郭部が補正された画像データを出力する補間演算手段と
を備えたものである。
本発明に係る画像処理方法は、入力画像の輪郭部を補正する画像処理方法であって、
上記入力画像における輪郭部の輪郭幅を検出し、当該輪郭幅に基づいて、上記入力画像の輪郭部を補正する補間画素の補間倍率を画素毎に指定する倍率制御量を生成する工程と、
上記入力画像と当該入力画像の1フレーム前の画像との変化量を画素毎に求め、当該変化量に応じて上記倍率制御量を調整して変換倍率を生成する工程と、
上記変換倍率を用いた補間演算により上記補間画素の画素データを算出し、輪郭部が補正された画像データを出力する工程と
を備えたものである。
本発明に係る画像処理装置は、輪郭幅に基づいて、輪郭部を補正する補間画素の補間倍率を画素毎に指定する倍率制御量を生成し、入力画像の1フレーム間の変化量に応じて上記倍率制御量を調整して得られる変換倍率を用いて上記補間画素の画素データを算出するので、動画領域と静止画領域が混在する画像において動画領域における輪郭部をより急峻にすることにより、動画領域における画像のぼやけを改善し、より鮮明な画像を得ることができる。
実施の形態1.
図1は、本発明に係る画像処理装置を備えた画像表示装置の一実施形態を示すブロック図である。図1に示す画像表示装置は、受信部1、画像処理部2、出力同期信号生成部7、送信部8、および表示部9を備えている。画像処理部2は、変換部3、記憶部4、輪郭補正部5、変換部6、比較判定部10により構成される。
受信部1は、外部から入力される画像信号Diおよび同期信号Siを受信し、デジタル形式の画像データDaに変換し、同期信号Saとともに出力する。受信部1は、画像信号Diがアナログ信号の場合、A/D変換器によって構成される。また、画像信号Diがシリアルのデジタル信号やパラレルのデジタル信号の場合は、入力画像信号の形式に対応したレシーバにより構成され、チューナなどの受信機を適宜含んで構成される。
画像データDaは、R,G,B3原色の色データで構成される場合と、輝度成分および色成分のデータにより構成される場合が考えられるが、ここではR,G,B3原色の色データで構成されるものとして説明を行う。
受信部1から出力された画像データDaおよび同期信号Saは、画像処理部2の変換部3に入力される。また、同期信号Saは出力同期信号生成部7にも入力される。
変換部3は、R,G,B3原色の色データからなる画像データDaを輝度データDYおよび色差データDCr,DCbに変換するとともに、同期信号Saを当該画像データDaの変換に必要な時間だけ遅延し、遅延された同期信号DSを出力する。変換部3により出力された輝度データDY、色差データDCr,DCb、および同期信号DSは記憶部4に送られる。
記憶部4は、変換部3により出力される輝度データDYおよび色差データDCr,DCbを一時的に記憶する。記憶部4は、PC(パーソナルコンピュータ)や、テレビといったフレーム周波数の異なる機器から出力される画像信号を一定のフレーム周波数(例えば60Hz)に変換するフレーム周波数変換用のメモリ、あるいは一画面分の画像データを保持するためのフレームバッファとして用いられるフレームメモリを備えるものであり、当該フレームメモリに輝度データDYおよび色差データDCr,DCbを記憶する。
出力同期信号生成部7は、記憶部4に記憶された輝度データDYおよび色差データDCr,DCbを読み出すタイミングを示す同期信号QSを生成して記憶部4に出力する。ここで出力同期信号生成部7は、記憶部4のフレームメモリにおいてフレーム周波数の変換を行う場合、すなわち記憶部4から画像データDaと異なるフレーム周波数の画像データを出力する場合、同期信号Saと異なる周期の同期信号QSを生成する。記憶部4において、フレーム周波数の変換が行われない場合は、同期信号QSと同期信号Saは等しくなる。
記憶部4は、輝度データDY,色差データDCr,DCbを出力同期信号生成部7からの同期信号QSに基づいて読み出し、タイミング調整された輝度データQY、色差データQCr,QCbを輪郭補正部5に出力する。記憶部4はまた、輝度データQYの1フレーム前の輝度データRYを比較判定部10に出力する。
比較判定部10は記憶部4から読み出された輝度データQYと、1フレーム前の輝度データRYの差分を画素毎に算出することにより、各画素におけるフレーム間での輝度レベル変化を検出する。比較判定部10は、フレーム間での輝度レベル変化に基づいて、後段の輪郭補正部5における輪郭補正量を調整するための画像処理調整係数QFを生成し、輪郭補正部5に出力する。
輪郭補正部5は、比較判定部10から出力された画像処理調整係数QFに基づき、記憶部4から出力された輝度データQYに対し輪郭補正処理を行い、輪郭補正された輝度データZYaを色差データQCr,QCbとともに変換部6に出力する。
変換部6は、輝度データZYa、色差データQCr,QCbを表示部9が表示可能な形式の画像データQbに変換して送信部8に出力する。具体的には、輝度データと色差データからなる画像データをR,G,Bの3原色の色データからなる画像データに変換する。表示部9が受信可能なデータ形式が上記3原色の色データからなる画像データ以外の場合はこの限りではなく、変換部6は適切な形式のデータに変換を行う。
表示部9は液晶パネル、プラズマパネル、CRT、有機ELといった表示デバイスにより構成され、送信部8が出力する画像データQcを同期信号Scが示すタイミングで表示する。
図2は、図1に示す画像処理部2の詳細な内部構成を示すブロック図である。図2に示すように、記憶部4は、フレームメモリ13、フレームメモリ制御部11により構成される。フレームメモリ13は先述したように、フレーム周波数変換用のメモリ、または少なくとも一画面分の画像データを保持するためのフレームバッファとして用いられるものであり、一般的な画像表示装置について設けられるフレームメモリを用いることができる。
図3は、図2に示すフレームメモリ制御部11の内部構成を示すブロック図である。図3に示すように、フレームメモリ制御部11は、書き込み制御部14、および読み出し制御部19を備えている。書き込み制御部14は、ラインバッファ15,16,17、書き込みアドレス制御部18により構成され、読み出し制御部19は、ラインバッファ20,21,22,23、読み出しアドレス制御部24により構成される。
以下、画像処理部2の動作を詳細に説明する。
図2に示すように、変換部3は画像データDaを輝度データDYと色差データDCr,DCbに変換し、記憶部4のフレームメモリ制御部11に出力する。同時に変換部3は、同期信号Saを、画像データDaの変換処理に必要な時間だけ遅延し、遅延された同期信号DSをフレームメモリ制御部11に出力する。
図3に示すように、フレームメモリ制御部11に入力された輝度データDYおよび色差データDCr,DCbは、書き込み制御部14のラインバッファ15,16,17にそれぞれ入力される。書き込みアドレス制御部18は、同期信号DSに基づいて、ラインバッファ15,16,17に入力された輝度データDYおよび色差データDCr,DCbをフレームメモリ13に書き込むための書き込みアドレスWAを発生する。ラインバッファ15,16,17から読み出される輝度データDY、および色差データDCr,DCbは、書き込みアドレスWAに対応する画像データWDとしてフレームメモリ13に書き込まれる。
一方、読み出しアドレス制御部24は、出力同期信号生成部7により出力される同期信号QSに基づいて、フレームメモリ13に書き込まれた輝度データDYおよび色差信号DCr,DCbを読み出すための読み出しアドレスRAを生成して出力する。フレームメモリ13は、読み出しアドレスRAに基づいて読み出されるデータRDをラインバッファ20,21,22,23に出力する。ラインバッファ20,21,22は、タイミング調整された輝度データQYおよび色差データQCr,QCbを輪郭補正部5に出力する。
図2に示すように、輪郭補正部5に入力された輝度データQYは、垂直輪郭補正部12に入力される。垂直輪郭補正部12は、輝度データQYに対し垂直方向の輪郭補正処理を行い、輪郭補正後の輝度成分のデータZYaを変換部6に出力する(輪郭補正処理の詳細については後述する)。ここで、垂直方向の輪郭補正処理を行う場合、補正後の輝度データZYaと、補正前の輝度データQYとの間には所定のライン数分の遅延が発生する。この遅延ライン数をkラインとすると、輝度データQYと、色差データQCr,QCbとの間にもkライン分の遅延が発生することとなる。このため、フレームメモリ制御部11は、補正後の輝度データZYaと色差データQCr,QCbとが同期して変換部6に入力されるよう色差データQCr,QCbをkライン分遅延して出力する。具体的には、フレームメモリ制御部11の読出しアドレス制御部24において、色差データQCr,QCbが輝度データQYに対し、kライン分遅れて読み出されるよう読み出しアドレスRAを生成する。
図4は、フレームメモリ制御部11から1ライン周期で出力される輝度データRY,QYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYaを示す図である。図4において、QShは1ライン期間を示している。図4に示すように、色差データQCr,Qcbは、輝度データQYに対し、輪郭補正部5において輪郭補正処理を行うのに必要なライン期間kだけ遅延して読み出される。
このように、画像データを輝度データDYおよび色差データDCr,DCbに変換してフレームメモリ13に書き込み、必要なライン数の輝度データを読み出して輪郭補正処理を行い、色差データQCr,QCbについては輪郭補正処理に必要なライン数分だけ遅延して読み出すことで、色差データのタイミング調整に必要なラインメモリを削減することができる。また、R,G,Bの色データに対して輪郭補正処理を行う場合に比して、フレームメモリ13の容量を削減するとともに、フレームメモリ13とフレームメモリ制御部11間のバス帯域を節約することができる。
図5は、フレームメモリ制御部11から1フレーム周期で出力される輝度データRY,QYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYaを示す図である。図5において、QSvは1フレーム期間を示している。図5に示すように、輝度データRYは、輝度データQYに対し1フレーム期間遅延して読み出される。
フレームメモリ制御部11から出力される輝度データQY,RYは、図2に示すように比較判定部10に入力される。比較判定部10は輝度データQYと、1フレーム前の輝度データRYとの差分を画素毎に算出することにより、画像の輝度変化を示すフレーム間輝度差|QY-RY|を求める。フレーム間輝度差|QY-RY|の値は、画像の動きが小さい静止画領域において小さく、画像の動きが大きい動画領域において大きくなる。比較判定部10は、フレーム間輝度差|QY-RY|に基づいて輪郭補正部5における輪郭補正量を調整するための画像処理調整係数QFを輝度データQYの各画素データについて生成する。
図6は、フレーム間輝度差|QY-RY|と画像処理調整係数QFとの関係の一例を示す図である。図6の横軸は入力画像のフレーム間輝度差|QY-RY|を示し、縦軸は画像処理調整係数QFを示す。比較判定部10は、フレーム間輝度差|QY-RY|を所定の閾値Fmと比較し、|QY-RY|≦Fsとなる領域Aを静止画領域、|QY-RY|>Fsとなる領域Bを動画領域と判定し、領域Aにおける画像処理調整係数をQF=QFs、領域Bにおける画像処理調整係数をQF=QFmとする(ただし、QFs<QFm)。
図7は、フレーム間輝度差|QY-RY|と画像処理調整係数QFとの関係の他の例を示す図である。図7に示す特性によれば、比較判定部10は、フレーム間輝度差|QY-RY|を所定の閾値Fl,Fhと比較し、|QY-RY|≦Flとなる領域Aを静止画領域、Fl<|QY-RY|≦Fhとなる領域Cを中間領域、Fh<|QY-RY|となる領域Bを動画領域と判定し、領域Aにおける画像処理調整係数をQF=QFs、領域Bにおける画像処理調整係数をFs<QF<QFm、領域Bにおける画像処理調整係数をQF=QFmとする。
図7に示すように、画像処理調整係数QFの値は、静止画領域において小さく、動画領域において大きくなる。図7に示す特性によれば、フレーム間輝度差|QY-RY|に応じて画像処理調整係数QFを連続的に変化させることができるので、ノイズ等の影響によりフレーム間輝度差|QY-RY|が変動した場合であっても、画像処理調整係数QFの値を安定して出力させることができる。
比較判定部10により生成された画像処理調整係数QFは輪郭補正部5に入力される。ここで、輪郭補正処理における画像処理調整係数QFの作用について説明する。
図8は、動画像の一例を示す図である。図8中、Sにより示す領域はフレーム間における画像変化が生じない静止画領域であり、Mにより示す領域はフレーム間で画像が変化する動画領域である。図8に示すような動画領域と静止画領域が混在する画像においては、動画領域は静止画領域に比してぼやけて見えるため、輪郭部の鮮鋭度をより大きくすることが望ましい。図6および7に示すように、画像処理調整係数QFの値は静止画領域において小さく、動画領域において大きくなるので、画像処理調整係数QFの値に応じて輪郭部の鮮鋭度を高める輪郭補正処理を行うことにより、ぼやけが発生する動画領域において輪郭部の鮮鋭度がより大きく強調されるので、より鮮明な動画像を得ることができる。
以下、輪郭補正部5の構成および動作について詳細に説明する。図2に示すように、輪郭補正部5に入力された輝度データQYは垂直輪郭補正部12に入力される。
図9は、垂直輪郭補正部12の内部構成を示すブロック図である。垂直輪郭補正部12は、ライン遅延25,28、および輪郭幅補正部26を備えている。輪郭幅補正部26は、輪郭幅検出部31、倍率制御量生成部32、乗算器320、倍率生成部33、補間演算部34により構成される。
ライン遅延25は、輪郭幅補正部31における垂直方向の輪郭幅補正処理に必要な画素数の輝度データQYaを出力する。輪郭幅補正処理が、垂直方向に配列する11個の画素を用いて行われる場合、輝度データQYaは11個の画素データで構成される。
図10は、ライン遅延25により遅延される輝度データQYのタイミングチャートであり、輝度データQYaの画素数を2ka+1とする場合について示している。ライン遅延25は、図10に示すように、2ka+1ライン分の輝度データQYを遅延し、各ラインから1画素を同時に読み出すことにより、垂直方向に配列する2ka+1画素分の輝度データQYaを出力する。輝度データQYaは、輪郭幅検出部31および補間演算部34に入力される。
ライン遅延28は、画像処理調整係数QFを遅延することにより、ライン遅延25により出力される輝度データQYaの各画素データに対応する画像処理調整係数QF1を出力する。
図11は、輪郭幅補正部26における輪郭幅補正処理について説明するための図である。図11(a)は輪郭幅検出部31により検出される輪郭幅Waおよび基準位置PMを示している。検出された輪郭幅Waおよび基準位置PMは倍率制御量生成部32に入力される。
倍率制御量生成部32は、検出された輪郭幅Waと基準位置PMに基づいて、輪郭幅補正に用いる倍率制御量ZCを出力する。図11(b)は、倍率制御量を示す図である。倍率制御量ZCは、輪郭部を補正する画素を後述する補間演算により求める際、各画素の補間倍率(補間密度)を画素毎に指定するための制御量であり、図11(b)に示すように、輪郭前部bおよび輪郭後部cで正、輪郭中央部cで負、他の部分ではゼロとなり、輪郭部における総和が0となるよう生成される。倍率制御量ZCは、ライン遅延28により出力される画像処理調整係数QF1とともに乗算器320に入力される
乗算器320は、倍率制御量ZCに画像処理調整係数QF1を積算することにより、調整された倍率制御量ZFCを出力する。図11(c)は、画像処理調整係数QF1により調整された倍率制御量ZCFを示す図である。図11(c)に示す倍率制御量ZFCは、画像処理係数QF1の値に応じて変化する。つまり、倍率制御量ZFCは、画像の変化が大きい動画領域において振幅が大きくなる。
倍率生成部33は、予め設定される画像全体の基準変換倍率Z0に倍率制御量ZCFを重畳して変換倍率Zを発生する。図11(d)は、変換倍率Zを示す図である。変換倍率Zは、輪郭前部bおよび輪郭後部dでは基準変換倍率Z0よりも大きく、輪郭中央部cでは基準変換倍率Z0よりも小さくなり、変換倍率Zの平均は基準変換倍率Z0と等しくなる。この基準倍率をZ0>1とした場合、輪郭幅補正処理において画素数を増やす拡大処理が行われ、Z0<1とした場合は画素数を減らす縮小処理が行われる。また、基準変換倍率をZ0=1とした場合、輪郭補正処理のみが行われる。
補間演算部34は、変換倍率Zに基づいて輝度データQYaに対し補間演算処理を行うことにより輪郭部を補正する補間画素の画素データを算出する。補間演算処理の際、変換倍率Zが基準変換倍率Z0よりも大きい輪郭前部bおよび輪郭後部dでは補間密度が高くなり、変換倍率Zが基準倍率Z0よりも小さい輪郭中央部cでは補間密度が低くなる。つまり、輪郭前部bおよび輪郭後部dでは画素数を相対的に増やす拡大処理が行われ、輪郭中央部cでは画素数を相対的に減らす縮小処理が行われる。
図11(e)は、図11(d)に示す変換倍率Zに基づいて画素数変換、および輪郭幅補正を行った輝度データZYaを示す図である。輪郭中央部cでは画像を縮小し、輪郭前部bおよび輪郭後部dでは画像を拡大することにより、図11(e)に示すように輪郭幅を縮小し、輪郭部における輝度を急峻に変化させ、画像の鮮鋭度を向上することができる。
ここで、輪郭幅Waに基づいて生成される倍率制御量ZCは、期間b,c,dにおける総和がゼロとなるように生成される。つまり、図11(b)において斜線で示した部分の面積をそれぞれSb,Sc,Sdとすると、Sb+Sd=Scとなるように生成される。このため、変換倍率Zは局部的に変動するが、画像全体での変換倍率Z0は、基準変換倍率Z0と等しくなる。このように、変換倍率Zの総和が基準変換0と等しくなるよう倍率制御量ZCを生成することにより、輪郭部における画像のずれを生じることなく輪郭幅を補正することができる。
図12は、静止画領域と動画領域における輪郭補正量の差を示す図である。図12(a)は輝度データQYa、図12(b)は変換倍率Z、図12(c)は輪郭補正後の輝度データZYaをそれぞれ示している。図12(b)において、実線は動画領域における変換倍率Zを示し、破線は静止画領域における変換倍率Zを示している。また、図12(c)において、実線は動画領域における輪郭補正後の輝度データZYaを示し、破線は静止画領域における輪郭補正後の輝度データZYaを示している。
動画領域においては、倍率制御量ZCに積算される画像処理調整係数QF1の値が静止画領域に比して大きいため、図12(b)に示すように変換倍率Zの振幅は静止画領域(破線)よりも動画領域(実線)の方が大きくなる。つまり、輪郭中央部cでの縮小率が大きくなり、輪郭前部b、および輪郭後部dでの画像拡大率が大きくなる。このため、図12(c)に示すように、動画領域における輪郭補正後の輝度データZYaの輪郭幅Wcは、静止画領域における輪郭幅Wbよりも狭くなり、鮮鋭度が高くなる。これにより、動画領域に発生する画像のぼやけを改善することができる。
以上に説明したように、本発明に係る画像処理装置は、フレーム間の輝度変化に応じて輪郭部の鮮鋭度を調整するので、動画領域と静止画領域が混在する画像において動画領域における輪郭部をより急峻にすることにより、動画領域における画像のぼやけを改善し、より鮮明な画像を得ることができる。
図13は、垂直輪郭補正部12の他の構成を示すブロック図である。図13に示す垂直輪郭補正部12は、輪郭幅補正部12の後段に、ライン遅延27,29、および輪郭強調部30を備えている。輪郭強調部30は、輪郭幅補正部30により出力された輪郭幅補正後の輝度データZYaに対し、後述する輪郭強調処理を行う。輪郭強調部30は輪郭検出部35、強調量生成部36、乗算器360、および強調量加算部37により構成される。
輪郭幅補正部26より出力される輝度データZYaは、ライン遅延27に入力される。ライン遅延27は、輪郭強調部30における輪郭強調処理に必要な画素数の輝度データQYbを出力する。輪郭強調処理が垂直方向に配列する5個の画素を用いて行われる場合、輝度データQYbは5画素分の輝度データで構成される。
図14はライン遅延B27により遅延される輝度データZYaのタイミングチャートであり、輝度データQYbの画素数を2kb+1とする場合について示している。ライン遅延27は、図14に示すように、2kb+1ライン分の輝度データZYaを遅延し、各ラインから1画素を同時に読み出すことにより、垂直方向に配列する2kb+1画素分の輝度データQYbを出力する。輝度データQYbは、輪郭検出部35、および強調量加算部37に入力される。
ライン遅延29は、ライン遅延28により出力される画像処理調整係数QF1を遅延することにより、輝度データQYbの各画素データに対応する画像処理調整係数QF2を出力する。
輪郭検出部35は、輝度データQYbに対し2次微分等の微分演算を行うことにより、補正後の輪郭幅における輝度の変化量を検出し、検出結果を輪郭検出データRとして強調量生成部36に出力する。強調量生成部36は、輪郭検出データRに基づいて輝度データQYbの輪郭を強調するための強調量SHを生成し、乗算器360に出力する。乗算器360は、強調量SHに画像処理調整係数QF2を乗じた強調量SHFを強調量加算部37に出力する。強調量加算部37は、輝度データQYbに強調量SHFを加算することにより画像データQYbの輪郭を強調する。
図15は、輪郭強調部30における輪郭強調処理について説明するための図である。
図15(a)は輪郭強調処理を行う前の輝度データQYbを示す。図15(a)において、実線は動画領域における輝度データQYbを示し、破線は静止画領域における輝度データQYbを示している。ここで、図15(a)に示す輝度データQYbはそれぞれ、図12(c)に示す輝度データZYaに対応している。
図15(b)は、図15(a)に示す輝度データQYbに基づいて生成される強調量SHを示している。図15(b)において、実線は動画領域における輝度データQYbについて生成される強調量SHを示し、破線は静止画領域における輝度データQYbについて生成される強調量SHを示している。
図15(c)は、(b)に示す強調量SHに画像処理調整係数QF2を乗じた強調量SHFを示している。図15(c)において、実線は動画領域における強調量SHFを示し、破線は静止画領域における強調量SHFを示している。
図15(d)は、図15(c)に示す強調量SHFを図15(a)に示す輝度データQYbに加算して得られる輪郭強調後の輝度データZYbを示している。図15(d)において、実線は動画領域における輝度データZYbを示し、破線は静止画領域における輝度データZYbを示している。
図15(b)に示すように、動画領域における輝度データQYbについて生成される強調量SHは、静止画領域における強調量SHよりも幅が狭くなる。また、図15(c)に示すように、強調量SHに画像処理調整係数QF2を乗じることにより、動画領域における強調量SHFの振幅をより大きくすることができる。これにより、図15(d)に示すように、動画領域において輪郭部の前後により鮮鋭なオーバーシュート、アンダーシュートが付加されるので、動画領域の鮮鋭度を高めることができる。
なお、輪郭幅補正部26、および輪郭強調部30における処理には、それぞれk+kbライン期間を要するので、フレームメモリ制御部11(図2)は、輪郭強調後の輝度データZYbと色差データQCr,QCbとが同期して変換部6に入力されるよう、色差データQCr,QCbを輝度データQYに対し、k+kbライン分遅れて出力する。
以上のように、輪郭部の幅を縮小した輝度データに対し2次微分等の演算を行うことによりアンダーシュートおよびオーバーシュート(強調量SH)を生成し、この強調量SHに画像処理調整係数QFを乗じた強調量SHFを輪郭部の前後に付加することで、動画領域と静止画領域が混在する画像をより鮮明にすることができる。
図16は、図13に示す垂直輪郭補正部12の変形例を示すブロック図である。図16に示す垂直輪郭補正部12は、ライン遅延29の後段に係数補正部38を備え、ライン遅延28には画像処理調整係数QFaが入力される。
図17は、フレーム間輝度差|QY-RY|と画像処理調整係数QFaとの関係を示す図である。図17に示すように、画像処理調整係数QFaは、領域AにおいてQFa=QFmとなり、領域BにおいてQFs<QFa<QFmとなり、領域CにおいてQY=QFsとなる。すなわち、画像処理調整係数QFaは、静止画領域において大きく、動画領域において小さくなる。
図16に示す輪郭幅補正部26においては、図17に示す特性を有する画像処理調整係数QFaを用いた輪郭幅補正処理が行われる。
ライン遅延28は、画像処理調整係数QFaを所定期間遅延することにより、ライン遅延25により出力される輝度データQYaの各画素データに対応する画像処理調整係数QFa1を出力する。ライン遅延29は、ライン遅延28により出力される画像処理調整係数QFa1を遅延することにより、輝度データQYbの各画素データに対応する画像処理調整係数QFa2を出力する。係数補正部38は、画像処理調整係数QFa2に対し、所定のフィルタリング処理を行うことにより、画像処理調整係数QFa2の特性を変換し、新たな画像処理調整係数QFbを出力する。
図18は、フレーム間輝度差|QY-RY|と画像処理調整係数QFbとの関係を示す図である。図18に示すように、画像処理調整係数QFbは、領域AにおいてQFa=QFsとなり、領域BにおいてQFs<QFa<QFmとなり、領域CにおいてQY=QFsとなる。すなわち、画像処理調整係数QFbは、動画領域において大きく、静止画領域において小さくなる。
図16に示す輪郭強調部30においては、図18に示す特性を有する画像処理調整係数QFbを用いた輪郭強調処理が行われる。
図19は、図16に示す垂直輪郭補正部12における輪郭補正処理について説明するための図である。
図19(a)は、輪郭補正処理を行う前の輝度データQYaを示す図である。
図19(b)は輪郭幅補正を行った輝度データQYbを示す図である。図19(b)において、実線は動画領域における輝度データQYbを示し、破線は静止画領域における輝度データQYbを示している。
図19(c)は、図19(b)に示す輝度データQYbに基づいて生成される強調量SHを示している。図19(c)において、実線は動画領域における輝度データQYbについて生成される強調量SHを示し、破線は静止画領域における輝度データQYbについて生成される強調量SHを示している。
図19(d)は、図19(c)に示す強調量SHに画像処理調整係数QFbを乗じた強調量SHFを示している。図19(d)において、実線は動画領域における強調量SHFを示し、破線は静止画領域における強調量SHFを示している。
図19(e)は、図19(d)に示す強調量SHFを図19(b)に示す輝度データQYbに加算して得られる輪郭強調後の輝度データZYbを示している。図19(e)において、実線は動画領域における輝度データQYbを示し、破線は静止画領域における輝度データZYbを示している。
図16に示す輪郭幅補正部26においては、図17に示す画像処理調整係数QFaを用いて輪郭幅の補正量が調整されるので、動画領域における輪郭幅の補正量は静止画領域に比して小さい。このため、図19(b)に示すように動画領域における輪郭幅補正後の輝度データZYaの輪郭幅Wcは、静止画領域における輪郭幅Wbよりも広くなる。このため、図19(c)に示すように、動画領域における輪郭部の輝度データQYbについて生成される強調量SHの幅は太くなる。図19(c)に示す強調量に、図18に示す画像処理調整係数QFbを乗じることにより、動画領域における強調量SHFの振幅をより大きくすることができる。これにより、図19(e)に示すように、動画領域における輪郭部の前後により幅が太く、振幅の大きいオーバーシュート、アンダーシュートが付加される。
非常に動きの早い動画においては、輪郭幅の補正量を大きくするよりも、よりくっきりとした縁を輪郭部に付加する方が効果的に画像の鮮鋭度を向上させることができる場合がある。図16に示す輪郭補正部26においては、動画領域における輪郭幅の補正量を小さくするとともに輪郭の強調量を大きくするので、動画領域における輪郭部に幅が太く振幅の大きいオーバーシュート、アンダーシュートが付加され、幅の太いくっきりとした縁が得られるので、非常に動きが早い動画においても輪郭の鮮鋭度を効果的に向上することができる。
実施の形態2.
図20は、画像処理部2の他の構成を示すブロック図である。図20に示す画像処理部2は、垂直輪郭補正部12の後段に水平輪郭補正部38を備えている。水平輪郭補正部38は、垂直輪郭補正部12により出力される輝度データZYbに水平方向の輪郭補正処理を行い、輝度データZYeを出力する。
図20に示す垂直輪郭補正部12としては、図9,13,16のいずれの構成を用いてもよい。垂直輪郭補正部12において用いられる画像処理調整係数QFは輝度データZYbとともに水平輪郭補正部38に送られる。
図21は、水平輪郭補正部34の内部構成を示すブロック図である。図21に示す水平輪郭補正部34は、画素遅延39,40、係数補正部41,42、輪郭幅補正部26、および輪郭強調部30を備えている。輪郭幅補正部26、および輪郭強調部30の構成および動作は、図13に示す垂直輪郭補正部12における輪郭幅補正部26、および輪郭強調部30と同様である。
画素遅延39は、垂直輪郭補正部12から順次出力される輝度データZYbを入力し、輪郭幅補正部26における水平方向の輪郭幅補正処理に必要な画素数の輝度データQYcを出力する。図22は、画素遅延39から出力される輝度データQYcを示す模式図であり、輝度データQYcの画素数を2ma+1とした場合について示している。図22に示すように、画素遅延39は水平方向に配列する複数の画素データからなる輝度データQYcを出力する。輪郭幅補正が、水平方向に配列する11個の画素を用いて行われる場合、輝度データQYcは11個の画素データで構成される。
係数補正部41は、垂直輪郭補正部12から入力される画像処理調整係数QFに所定のフィルタリング処理を行うことにより、水平方向における輪郭幅の補正量を調整するための画像処理調整係数QFcを出力する。
画素遅延39から出力された2ma+1画素分の輝度データQYcは、輪郭幅補正部26に送られる。輪郭幅補正部26は、水平方向の輝度データQYcに対し、画像処理調整係数QFcを用いて、先述した垂直方向における輪郭幅補正処理と同様の処理を行うことにより、水平方向の輪郭幅が補正された輝度データZYcを出力する。
輪郭幅補正部26により出力される輪郭幅補正後の輝度データZYcは、画素遅延40に入力される。画素遅延40は、輪郭強調部30における輪郭強調処理に必要な画素数の輝度データQYdを出力する。図23は、画素遅延B40から出力されるQYdのデータを示す模式図であり、輝度データZYcの画素数を2mb+1とした場合について示している。図23に示すように、画素遅延40は水平方向に配列する複数の画素データからなる輝度データQYdを出力する。輪郭強調処理が、水平方向に配列する5個の画素を用いて行われる場合、輝度データQYdは5個の画素データで構成される。
係数補正部42は、係数補正部41により出力された画像処理調整係数QFcに所定のフィルタリング処理を行うことにより、水平方向における輪郭の強調量を調整するための画像処理調整係数QFdを出力する。
画素遅延40から出力された2mb+1画素分の輝度データQYdは、輪郭強調部30に送られる。輪郭強調部30は、係数補正部42により出力される画像処理調整係数QFdを用いて、水平方向の輝度データQYdに対し、先述した垂直方向における輪郭強調処理と同様の処理を行うことにより、水平方向に輪郭強調された輝度データZYdを出力する。
なお、水平方向の輪郭補正を行った後に垂直方向の輪郭補正を行ってもよく、また、垂直方向と水平方向の輪郭補正を同時に実施してもよい。また、水平輪郭補正部38を、輪郭幅補正部26、または輪郭強調部30のいずれかのみにより構成することで回路規模を削減してもよい。
以上のように、本実施の形態に係る画像処理装置は、上記実施の形態1において説明した輪郭補正処理を水平および垂直方向について行うので、動画領域における画像のぼやけを水平および垂直方向に過不足なく改善し、より鮮明な画像を得ることができる。
なお、水平方向輪郭補正部38の輪郭幅補正部26、および輪郭強調部30において用いられる画像処理調整係数QFcおよびQFdを適宜調整することにより、垂直および水平方向における輪郭幅、および輪郭部の前後に付加するオーバーシュート、アンダーシュートの大きさを適応的に調整することができる。
実施の形態3.
図24は、画像処理部2の他の構成を示すブロック図である。図24に示す画像処理部2におけるフレームメモリ制御部11は、輝度データRYの2フレーム後(輝度データQYの1フレーム後)の輝度データSYをさらに出力する。輝度データSYは、輝度データRYとともに比較判定部10に送られる。他の構成は、図2に示す画像処理部2と同様である。
図25は、図24に示す画像処理部2におけるフレームメモリ制御部11の内部構成を示すブロック図である。図25に示すように、フレームメモリ制御部11は、フレームメモリ13から読み出される輝度データSYを出力するラインバッファ42をさらに備えている。他の構成は図3に示すフレームメモリ制御部11と同様である。
図26は、フレームメモリ制御部11から1フレーム周期で出力される輝度データSY,QY,RYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYbを示す図である。図26において、QSvは1フレーム期間を示している。図26に示すように、輝度データRY,SYは、輝度データQYに対しそれぞれ前後1フレームの位相差を有する。
図27は、フレームメモリ制御部11から1ライン周期で出力される輝度データQYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYbを示す図である。図27において、QShは1ライン期間を示している。図27に示すように、色差データQCr,Qcbは、輝度データQYに対し、輪郭補正部5において輪郭補正処理を行うのに必要なライン期間kだけ遅延して読み出される。
図28は比較判定部10の内部構成を示すブロック図である。図28に示す比較判定部10は、動画静止画判定部43、フリッカ判定部44、係数補正部45から構成される。 動画静止画判定部43は、輝度データQY、および1フレーム前の輝度データRYから得られるフレーム間輝度差|QY-RY|に基づいて、画像処理調整係数QFを生成し、係数補正部45に出力する。また、動画静止画判定部43は、フレーム間輝度差|QY-RY|が所定値を越えた場合、動画検出フラグH=1を出力する。反対に、フレーム間輝度差|QY-RY|が所定値以下の場合、輝度データQYが静止画領域を表すことを示す動画検出フラグH=0を出力する。動画検出フラグHはフリッカ判定部44に送られる。
なお、静止画判定部43により出力される画像処理調整係数QFとフレーム間輝度差|QY-RY|との関係は、図7に示すものと同様である。
フリッカ判定部44は、輝度データRYと、2フレーム後の輝度データSYとの差分を画素毎に算出することにより、3フレーム間の輝度変化を示すフレーム間輝度差|QY-SY|を求める。フリッカ判定部33は、フレーム間輝度差|QY-SY|、および動画検出フラグHに基づいて輝度データQYに含まれるフリッカ成分を検出し、フリッカ調整係数QGを生成する。
図29は、フリッカ判定部44におけるフリッカの検出方法について説明するための図である。図29(a)は、輝度データQYが動画領域を表す場合の輝度データRY,QY,SYの変化を示している。輝度データQYが動画像領域を表す場合、図29(a)に示すように、2つのフレーム間輝度差|QY-RY|,|QY-SY|はともに大きな値となる。図29(b)は、輝度データQYにフリッカ成分を含む場合の輝度データRY,QY,SYの変化を示している。輝度データQYがフリッカ成分を含む場合、フレーム間輝度差|QY-RY|は大きな値となるのに対し、フレーム間輝度差|QY-SY|は0または非常に小さい値となる。ここで、フレーム間輝度差|QY-RY|が所定値を越える場合、動画検出フラグはH=1となるので、動画検出フラグH=1であり、かつフレーム間輝度差|QY-RY|が0または非常に小さい値となった場合、輝度データQYはフリッカ成分を含むと判別される。
フリッカ判定部44は、動画静止画判定部43から出力される動画検出フラグHの値、およびフレーム間輝度差|RY-SY|の大きさに基づいて輝度データQYがフリッカを含むか判別するとともに、判別結果に基づいてフリッカ調整係数QGを出力する。動画検出フラグH=0の場合、すなわち輝度データQYが静止画領域を表す場合、フリッカ判定部44はフリッカ調整係数QGを1として出力する。反対に、動画検出フラグH=1の場合、すなわち輝度データQYが動画領域を表す場合、フリッカ検出部44は、フレーム間輝度差|RY-SY|の大きさに基づいてフリッカ調整係数QGを出力する。
図30は、フリッカ調整係数QGとフレーム間輝度差|RY−SY|との関係を示す図である。図30において、横軸はフレーム間輝度差|RY−SY|の逆数であり、縦軸はフリッカ調整係数QGの大きさを示す。また、図30において、フレーム間輝度差|RY−SY|の逆数が小さい領域A(|RY−SY|が大きい領域)を動画領域、フレーム間輝度差|RY−SY|の逆数が大きい領域C(|RY−SY|が小さい領域)をフリッカ発生領域とし、動画領域とフリッカ発生領域との間の中間領域を領域Bとする。
図30に示すように、フリッカ調整係数QGは、動画領域(領域A)において大きな値となり(QG=QGm)、フリッカ発生領域(領域C)において小さな値となる(QG=QGf)。また、中間領域(領域B)においては、動画領域およびフリッカ発生領域におけるフリッカ調整係数Qf,Qmの中間の値となる(QGf<QF<QGf)。
係数補正部45は、動画静止画判定部43により出力される画像処理調整係数QFと、フリッカ判定部44により出力されるフリッカ調整係数QGとを積算し、新たな画像処理調整係数QFGを生成する。
輝度データQYが静止画領域を表す場合(動画検出フラグがH=0となる場合)、フリッカ調整係数はQG=1となるので、画像処理調整係数QFGは、図7に示す領域A(静止画領域)における画像処理調整係数QF=QFsの値と等しくなる。
フレーム間輝度差|QY-RY|が所定値を越える場合(動画検出フラグがH=1となる場合)、図7に示すように、画像処理調整係数QFは領域B(動画領域)におけるQFmとなる(QFm>QFs)。一方、フリッカ調整係数QGは図30に示すように、フリッカ発生領域(領域C)において小さく、動画領域(領域A)において大きくなる。このため、フリッカ発生領域における画像処理調整係数QFCは、図7に示す領域C(動画領域)における画像処理調整係数QF=QFmを小さくした値となり、領域A(動画領域)における画像処理調整係数QFCは上記画像処理調整係数QF=QFmと等しいか、またはこれよりも大きな値となる。
図31は、フリッカの有無による輪郭補正量の差を示す図である。図31(a)(b)(c)は、輝度データQYa、変換倍率Z、輪郭補正後の輝度データZYaをそれぞれ示している。図31(b)において、実線は動画像領域における変換倍率Zを示し、破線はフリッカ発生領域における変換倍率Zを示している。また、図31(c)において、実線は動画領域における輪郭補正後の輝度データZYaを示し、破線はフリッカ発生領域における輪郭補正後の輝度データZYaを示している。
フリッカ発生領域においては、倍率制御量ZCに積算される画像処理調整係数QFGの値がフリッカを含まない動画領域に比して小さいため、図31(b)に示すように変換倍率Zの振幅はフリッカ発生領域において小さくなる。このため、図31(c)に示すように、フリッカ発生領域における輪郭補正後の輝度データZYaの輪郭幅Wbは、フリッカを含まない動画領域における輪郭幅Wcよりも広くなり、鮮鋭度が低くなる。つまり、フリッカ発生領域において、輪郭部の鮮鋭度を高めることによりフリッカが強調されるのを防ぐことができる。
以上のように、本実施の形態に係る画像処理装置によれば、フレーム間輝度差|QY-RY|,|RY−SY|に基づいてフリッカを検出し、フリッカ発生領域における輪郭補正量を抑制するので、フリッカ成分を強調することなく動画像領域の鮮鋭度を高めることができる。
実施の形態4.
図32は、実施の形態4におけるフレームメモリ制御部11の構成を示すブロック図であり、図2に示される画像処理装置2におけるフレームメモリ制御部11の別の構成を示している。
フレームメモリ制御部11は、書き込み制御部14、および読み出し制御部19を備えている。書き込み制御部14は、符号化部46,47および48、バッファ49、50および51、書き込みアドレス制御部52により構成され、読み出し制御部19は、バッファ53、54、55および56、復号化部57、58、59および60、読み出しアドレス制御部61により構成される。
フレームメモリ制御部11に入力された輝度データDYおよび色差データDCr、DCbは、書き込み制御部14の符号化部46、47および48にそれぞれ入力される。
符号化部46は、入力された輝度データDYを符号化することにより、輝度データDYに対応する符号化された輝度データEYをバッファ49に出力する。輝度データDYの符号化は、FBTC(Fixed Block Truncation Coding)やGBTC(Generalized Block Truncation Coding)などのブロック符号化を用いることができる。また、JPEG(Joint Photographic Experts Group)といった2次元離散コサイン変換符号化、JPEG−LS(Joint Photographic Experts Group-Lossless)といった予測符号化、JPEG2000といったウェーブレット変換による符号化など、静止画用の符号化方式であれば任意のものを用いることができる。なお、こうした静止画用の符号化方法は、符号化前の輝度データDYと符号化された後述する復号化後の復号化輝度データとが完全に一致しない非可逆符号化であっても適用することが可能である。
同様に、符号化部47および48は、入力された色差データDCrおよびDCbを符号化することにより、色差データDCrおよびDCbのそれぞれに対応する符号化された色差データECrおよびECbをバッファ50および51にそれぞれ出力する。
書き込みアドレス制御部52は、同期信号DSに基づいて、バッファ49、50および51に入力された符号化輝度データEYおよび符号化色差データECr、ECbをフレームメモリ13に書き込むための書き込みアドレスWAを発生する。バッファ49、50および51から読み出される符号化輝度データEY、および符号化色差データECr、ECbは、書き込みアドレスWAに対応する書き込みデータWDとしてフレームメモリに書き込まれる。
ここで、出力同期信号生成部7は、記憶部4のフレームメモリにおいてフレーム周波数の変換を行う場合、即ち記憶部4から画像データDaと異なるフレーム周波数の画像データを出力する場合、同期信号Daと異なる周期の同期信号QSを生成する。記憶部4において、フレーム周波数の変換が行われない場合は、同期信号QSと同期信号Saは等しくなる。(図2を参照)
読み出しアドレス制御部61は、出力同期信号生成部7により出力される同期信号QSに基づいて、フレームメモリ13に書き込まれた符号化輝度データEYおよび符号化色差データECr、ECbを読み出すための読み出しアドレスRAを発生する。
フレームメモリ13は、読み出しアドレスRAに基づいて読み出されるデータRDをバッファ53、54、55、56に出力する。バッファ53、54、55は符号化輝度データEY1、および符号化色差データECr1、ECb1を出力し、それぞれ復号化部57、58、59に入力される。また、バッファ56は、バッファ53から出力される符号化輝度データEY1よりも1フレーム期間遅延した符号化輝度データEY2を出力し、符号化輝度データEY2は復号化部60に入力される。
復号化部57は、バッファ53から出力される符号化輝度データEY1を復号化することにより、入力された輝度データDYに対応する輝度データQYを出力する。同様に、復号化部58と59は、バッファ54と55から出力される符号化色差データECrとECbを復号化することにより、入力された色差データDCrとDCbのそれぞれに対応する色差データQCrとQCbを出力する。出力された輝度データQYと色差データQCr、QCbは、輪郭補正部5に入力される。
また、復号化部60は、バッファ56からの符号化輝度データEY2を復号化することにより、輝度データQYよりも1フレーム遅延した輝度データRYを出力する。
輝度データQYとRYは、比較判定部10に入力される。
図2に示すように、輪郭補正部5に入力された輝度データQYは、垂直輪郭補正部12に入力される。実施の形態1でも説明したように、垂直輪郭補正部12が輝度データQYに対し垂直方向の輪郭補正処理を行って、輪郭補正後の輝度データZYaを出力する際に、補正後の輝度データZYaと、補正前の輝度データQYとの間には所定のライン数分の遅延が発生する。この遅延ライン数をkラインとすると、輝度データQYと、色差データQCr,QCbとの間にもkライン分の遅延が発生することとなる。このため、フレームメモリ制御部11は、補正後の輝度データZYaと色差データQCr,QCbとが同期して変換部6に入力されるよう色差データQCr,QCbをkライン分遅延して出力する。具体的には、フレームメモリ制御部11の読出しアドレス制御部24において、色差データQCr,QCbが輝度データQYに対し、kライン分遅れて読み出されるよう読み出しアドレスRAを生成する。
図4は、フレームメモリ制御部11から1ライン周期で出力される輝度データRY,QYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYaを示す図である。図4において、QShは1ライン期間を示している。図4に示すように、色差データQCr,Qcbは、輝度データQYに対し、輪郭補正部5において輪郭補正処理を行うのに必要なライン期間kだけ遅延して読み出される。
図5は、フレームメモリ制御部11から1フレーム周期で出力される輝度データRY,QYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYaを示す図である。図5において、QSvは1フレーム期間を示している。図5に示すように、輝度データRYは、輝度データQYに対し1フレーム期間遅延して読み出される。
フレームメモリ制御部11から出力された輝度データQY、RYは、図2に示すように比較判定部10に入力される。比較判定部10は、輝度データQYと1フレーム前の輝度データRYに基づいて動画/静止画の判定を行い、判定結果から画像処理調整係数QFを発生する。画像処理調整係数QFは輪郭補正部5に入力される。輪郭補正部5は、画像処理調整係数QFに基づいて輪郭補正処理を行って、輪郭補正された輝度データZYaを出力する。
輪郭補正部5、比較判定部10、変換部3および6については、実施の形態1ですでに説明した内容と同様であるため、詳しい説明を省略する。
このように、画像データを輝度データDYおよび色差データDCr、DCbに変換してフレームメモリ13に書き込み、必要なライン数の輝度データを読み出して輪郭補正処理を行い、色差データQCr、QCbについては輪郭補正処理に必要なライン数分だけ遅延して読み出すことで、色差データのタイミング調整に必要なラインメモリを削減することができる。
さらに、フレームメモリ13に対して画像データの書き込み、読み出しを行う際に、画像データを符号化してから、符号化された画像データをフレームメモリ13に書き込み、フレームメモリ13から符号化された画像データを読み出した後で復号化するので、符号化された画像データの符号化率(データ圧縮率)を高くするほど、符号化された画像データを格納するフレームメモリ13の容量を削減できるとともに、フレームメモリ13とフレームメモリ制御部11の間のバス帯域を節約することができる。
図33は、実施の形態4におけるフレームメモリ制御部11の別の構成を示すブロック図である。図33に示すフレームメモリ制御部11は、符号化部47、48、バッファ49、50、51、書き込みアドレス制御部52、バッファ53、54、55,56、復号化部58、59、読み出しアドレス制御部61から構成される。
図33に示したフレームメモリ制御部11は、フレームメモリ13への書き込み前の符号化処理と、読み出し後の復号化処理を、色差データDCr、DCbに対して行い、輝度データDYに対しては行わない。
フレームメモリ制御部11に入力された輝度データDYはバッファ49に入力され、色差データDCr、DCbはそれぞれ符号化部47、48に入力される。符号化部47および48は、色差データDCr、DCbを符号化して、符号化色差データECr、ECbをそれぞれ出力する。符号化色差データECr、ECbは、バッファ50、51にそれぞれ入力される。
書き込みアドレス制御部52は、同期信号DSに基づいて、バッファ49に入力された輝度データDY、およびバッファ50、51に入力された符号化色差データECr、ECbをフレームメモリ13に書き込むための書き込みアドレスWAを発生する。バッファ49、50および51から読み出される輝度データDY、および符号化色差データECr、ECbは、書き込みアドレスWAに対応する書き込みデータWDとしてフレームメモリに書き込まれる。
一方、読み出しアドレス制御部61は、出力同期信号生成部7により出力される同期信号QSに基づいて、フレームメモリ13に書き込まれた輝度データDYおよび符号化色差データECr、ECbを読み出すための読み出しアドレスRAを発生する。フレームメモリ13は、読み出しアドレスRAに基づいて読み出されるデータRDをバッファ53、54、55、56に出力する。バッファ53は輝度データQYを出力する。また、バッファ54、55は符号化色差データECr1、ECb1を出力し、それぞれ復号化部58、59に入力される。また、バッファ56は、バッファ53から出力される輝度データQYよりも1フレーム期間遅延した輝度データRYを出力する。
復号化部58と59は、バッファ54と55から出力される符号化色差データECrとECbを復号化することにより、入力された色差データDCrとDCbのそれぞれに対応する色差データQCrとQCbを出力する。出力された輝度データQYと色差データQCr、QCbは、輪郭補正部5に入力される。
輝度データQY、RYおよび色差データQCr、QCbのタイミング関係は、実施の形態4のなかで図4および図5を用いてすでに説明された内容と同様であるので、ここでの説明は省略する。
色差データに関して、符号化された色差データをフレームメモリ13に格納するので、フレームメモリ13のメモリ容量を削減することができる。
また、符号化方法として非可逆符号化を用いた場合には、符号化前の画像データと、符号化処理と復号化処理を経た画像データとの間には誤差を生じる。図33に示した構成例では、符号化処理と復号化処理を経た色差データ出力QCr、QCbは、元々の色差データDCr、DCbとの間に誤差を生じうる。一方、輝度データDYは符号化処理および復号化処理を経ないので、入力の輝度データDYと出力の輝度データQY、RYとの誤差を生じない。
一般に、輝度データに比べ、色差データに対する人間の視覚的な感度は低いので、符号化処理と復号化処理によって色差データに誤差が生じても、輝度データには誤差が生じないため、画質への悪影響を抑制することができる。
実施の形態5.
図34は実施の形態5におけるフレームメモリ11の構成を示すブロック図である。これは、図24に示される画像処理装置2におけるフレームメモリ制御部11の別の構成を示している。
図34に示されるフレームメモリ制御部11は、書き込み制御部14および読み出し制御部19から構成される。書き込み制御部14は図32に示した構成と同様の構成である。読み出し制御部19は、図32に示した構成に加えて、バッファ62と復号化部63をさらに備えている。
書き込み制御部14については、実施の形態4において図32で示した構成と同様であるので、詳しい動作の説明は省略する。また、出力同期信号生成部7で生成される同期信号QSについても、実施の形態4において説明した内容と同じであるので、説明を省略する。
読み出し制御部19については、読み出しアドレス制御部61は、出力同期信号生成部7により出力される同期信号QSに基づいて、フレームメモリ13に書き込まれた符号化輝度データEYおよび符号化色差データECr、ECbを読み出すための読み出しアドレスRAを発生する。
フレームメモリ13は、読み出しアドレスRAに基づいて読み出されるデータRDをバッファ53、54、55、56および62に出力する。バッファ53、54、55は符号化輝度データEY1、および符号化色差データECr1、ECb1を出力し、それぞれ復号化部57、58、59に入力される。また、バッファ56は、バッファ53から出力される符号化輝度データEY1よりも1フレーム期間遅延した符号化輝度データEY2を出力し、符号化輝度データEY2は符号化部60に入力される。
さらに、バッファ62は、符号化輝度データEY1よりも1フレーム期間早い符号化輝度データEY0を出力し、復号化部63に入力される。
復号化部57、58、59は、符号化輝度データEY1および符号化色差データECr1,ECb1を復号化することにより、入力画像データに対応する輝度データQYおよび色差データQCr、QCbを出力する。同様に、復号化部60、63は、符号化輝度データEY2、EY0をそれぞれ復号化することにより、輝度データQYに対して1フレーム遅延した輝度データRYと1フレーム早い輝度データSYを出力する。
輝度データQYは、輪郭補正部5および比較判定部10に入力され、色差データQCrとQCbは輪郭補正部5に入力される。また、輝度データRYとSYは比較判定部10に入力される。
図26に示すように、輝度データRY、SYは、輝度データQYに対してそれぞれ前後1フレームの位相差を有する。また、図27に示すように、色差データQCr、QCbは、輝度データQYに対し、輪郭補正部5において輪郭補正処理を行うのに必要なライン期間kだけ遅延して読み出される。
これら輝度データQY、RY、SY、色差データQCr、QCbの関係の詳細については、すでに実施の形態3で説明した内容と同様であるので、ここでは説明を省略する。
比較判定部10は、入力された輝度データQY、RY、SYに基づいて、フリッカの有無を検出して、フリッカ発生領域において輪郭補正量を抑制するように働く画像処理調整係数QFGを発生し、画像処理調整係数QFGは輪郭補正部5に入力される。
輪郭補正部5は、画像処理調整係数QFGに基づいて、輝度データQYに対して輪郭補正処理を行って、輪郭補正された輝度データZYaを出力する。
比較判定部10と輪郭補正部5の動作は、実施の形態3、実施の形態1ですでに説明済みであるので、ここでは詳しい説明を省略する。
フレーム間輝度差|QY−RY|、|RY−SY|に基づいてフリッカを検出し、フリッカ発生領域における輪郭補正量を抑制できるので、フリッカ成分を強調することなく動画像領域の鮮鋭度を高めることができる。
さらに、フレームメモリ13に対して画像データの書き込み、読み出しを行う際に、画像データを符号化してから、符号化された画像データをフレームメモリ13に書き込み、フレームメモリ13から符号化された画像データを読み出した後で復号化するので、符号化された画像データの符号化率(データ圧縮率)を高くするほど、符号化された画像データを格納するフレームメモリ13の容量を削減できるとともに、フレームメモリ13とフレームメモリ制御部11の間のバス帯域を節約することができる。
また、図35に示すように、フレームメモリ13に画像データの書き込み、読み出しをする際の符号化処理、復号化処理を、色差データDCr、DCbについては行って、輝度データDYについては行わないよう、フレームメモリ制御部11を構成してもよい。図35は、実施の形態5におけるフレームメモリ制御部11の別の構成例を示すブロック図である。
図35において、輝度データDYは符号化部を介さずにバッファ49に直接入力される。色差データDCrとDCbは、それぞれ符号化部47、48で符号化され、符号化色差データECr、ECbがバッファ50、51に入力される。バッファ49、50、51から読み出される符号化されていない輝度データDY、および符号化色差データECrが書き込みデータWDとしてフレームメモリ13に書き込まれる。
次に、フレームメモリ13に書き込まれた輝度データDYおよび符号化色差データECr、ECbが、読み出しデータRDとして読み出され、バッファ52、53、54、55,62に入力される。バッファ52は輝度データQYを出力し、バッファ55および62は、輝度データQYに対して1フレーム遅延した輝度データRYと、1フレーム早い輝度データSYを出力する。
バッファ54,55は、輝度データQYと同じフレームの符号化色差データECr1、ECb1をそれぞれ復号化部58、59に向けて出力する。復号化部58、59では、符号化色差データECr1、ECb1がそれぞれ復号化され、復号化された色差データQCr、QCbを出力する。
フレームメモリ13に対して符号化した色差データと符号化しない輝度データを書き込み、フレームメモリ13から符号化色差データと輝度データを読み出して、符号化色差データを復号化することにより、符号化された色差データの符号化率(データ圧縮率)を高くするほど、フレームメモリ13の容量を削減できるとともに、フレームメモリ13とフレームメモリ制御部11の間のバス帯域を節約することができる。
また、人間の視覚的な感度の低い色差データに対して符号化および復号化を行うため、符号化方法が不可逆符号化の場合であっても、符号化前と復号化後の色差データ間に生じる誤差による、画像の劣化を抑制することができる。
実施の形態6.
図36は、実施の形態6におけるフレームメモリ制御部11の構成を示すブロック図であり、図2に示される画像処理装置2におけるフレームメモリ制御部11の別の構成を示している。
フレームメモリ制御部11は、書き込み制御部14、および読み出し制御部19を備えている。書き込み制御部14は、符号化部46、バッファ49、50および51、書き込みアドレス制御部52により構成され、読み出し制御部19は、バッファ54、55および56、復号化部60、読み出しアドレス制御部61により構成される。
動作について説明する。
フレームメモリ制御部11に入力された輝度データDYは、符号化部46に入力されるとともに、読み出し制御部19を介して輝度データQYとして出力される。符号化部46は、輝度データDYを符号化することにより、輝度データDYに対応する符号化された輝度データEYをバッファ49に出力する。
フレームメモリ制御部11に入力された色差データDCr、DCbは、バッファ50、51に入力される。
書き込みアドレス制御部52は、同期信号DSに基づいて、バッファ49に入力された符号化輝度データEY、およびバッファ50、51に入力された色差データDCr、DCbをフレームメモリに書き込むための書き込みアドレスWAを発生する。バッファ49、50および51から読み出される符号化輝度データEY、および色差データDCr、DCbは、書き込みアドレスWAに対応する書き込みデータWDとしてフレームメモリ13に書き込まれる。
ここで、出力同期信号生成部7は、記憶部4のフレームメモリ13においてフレーム周波数の変換を行わないものとし、同期信号Sa(即ちDS)に同期した同期信号QSを発生する。
読み出しアドレス制御部61は、出力同期信号生成部7により出力される同期信号QSに基づいて、フレームメモリ13に書き込まれた符号化輝度データEYおよび色差データDCr、DCbを読み出すための読み出しアドレスRAを発生する。
フレームメモリ13は、読み出しアドレスRAに基づいて読み出されるデータRDをバッファ54、55、56に出力する。バッファ54、55は色差データQCr、QCbを出力する。また、バッファ56は、輝度データQY、すなわち入力の輝度データDYよりも1フレーム遅延した符号化輝度データEY1を出力する。バッファ56から出力された符号化輝度データEY1は復号化部60に入力され、復号化部60は符号化輝度データEY1を復号することにより、輝度データRYを出力する。輝度データRYは輝度データQYよりも1フレーム遅延している。
輝度データQY、色差データQCr、QCbは輪郭補正部5に入力され、輝度データQYとRYは比較判定部10に入力される。
図2に示すように、輪郭補正部5に入力された輝度データQYは、垂直輪郭補正部12に入力される。すでに実施の形態1でも説明したように、垂直輪郭補正部12が輝度データQYに対し垂直方向の輪郭補正処理を行って、輪郭補正後の輝度データZYaを出力する際に、補正後の輝度データZYaと、補正前の輝度データQYとの間には所定のライン数分の遅延が発生する。この遅延ライン数をkラインとすると、輝度データQYと、色差データQCr,QCbとの間にもkライン分の遅延が発生することとなる。このため、フレームメモリ制御部11は、補正後の輝度データZYaと色差データQCr,QCbとが同期して変換部6に入力されるよう、色差データQCr,QCbをkライン分遅延して出力する。具体的には、フレームメモリ制御部11の読出しアドレス制御部24において、色差データQCr,QCbが輝度データQY(すなわち、入力輝度データDY)に対し、kライン分遅れて読み出されるよう読み出しアドレスRAを生成する。
図37は、フレームメモリ制御部11に入力される輝度データDY、色差データDCrおよびDCb、フレームメモリ制御部から1ライン周期で出力される輝度データRY,QYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYaを示す図である。図37において、DShとQShは1ライン期間を示しており、出力の水平同期信号QShは入力水平同期信号QShに同期している。図37に示すように、色差データQCr,Qcbは、輝度データQYに対し、輪郭補正部5において輪郭補正処理を行うのに必要なライン期間kだけ遅延して読み出される。入力の輝度データDYと、出力の輝度データQYおよびRYは同じライン位置nを示すのに対して、出力の色差データQCrとQCbはライン位置n−kとなる。
図38は、フレームメモリ制御部11から1フレーム周期で出力される輝度データRY,QYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYaを示す図である。図38において、DSvおよびQSvは1フレーム期間を示しており、出力垂直同期QSvは入力垂直同期DSvと同期している。図38に示すように、輝度データRYは、輝度データQYに対し1フレーム期間遅延して読み出される。
フレームメモリ制御部11から出力された輝度データQY、RYは、図2に示すように比較判定部10に入力される。比較判定部10は、輝度データQYと1フレーム前の輝度データRYに基づいて動画/静止画の判定を行い、判定結果から画像処理調整係数QFを発生する。画像処理調整係数QFは輪郭補正部5に入力される。輪郭補正部5は、画像処理調整係数QFに基づいて輪郭補正処理を行って、輪郭補正された輝度データZYaを出力する。
輪郭補正部5、比較判定部10、変換部3および6については、実施の形態1ですでに説明した内容と同様であるため、詳しい説明を省略する。
このように、符号化された輝度データEYおよび色差データDCr、DCbをフレームメモリ13に書き込み、入力の輝度データDY(=QY)に対して輪郭補正処理を行い、色差データQCr、QCbについては輪郭補正処理に必要なライン数分だけ遅延して読み出すことで、色差データのタイミング調整に必要なラインメモリを削減することができる。
さらに、輝度データDYを符号化してから、符号化された輝度データEYをフレームメモリ13に書き込み、フレームメモリ13から符号化された輝度データEY1を読み出した後で復号化するので、符号化された輝度データの符号化率(データ圧縮率)を高くするほど、符号化された輝度データEYを格納するフレームメモリ13の容量を削減できるとともに、フレームメモリ13とフレームメモリ制御部11の間のバス帯域を節約することができる。
また、フレームメモリ制御部11は、フレームメモリ13に画像データの書き込み、読み出しを行う際の符号化処理と復号化処理を、輝度データDYに加えて、色差データDCr、DCbについても行ってもよい。図39は、実施の形態6におけるフレームメモリ制御部11の別の構成を示すブロック図である。図39に示す構成は、図36に示した構成に対して、符号化部47および48、復号化部58および59をさらに備えたものである。
符号化部47および48は、入力された色差データDCr、DCbの符号化を行うことにより、色差データDCr、DCbに対応する符号化色差データECr0、ECb0をバッファ50、51にそれぞれ出力する。バッファ50、51はから読み出される符号化色差データECr0とECb0は、フレームメモリ13に書き込まれる。フレームメモリ13に書き込まれた符号化色差データECr0、ECb0が読み出され、バッファ54、55に入力される。バッファ54、55は、符号化色差データECr0、ECb0を復号化部58、59に向けてそれぞれ出力する。復号化部58、59は、符号化色差データECr0、ECb0を復号化し、復号化された色差データQCr、QCbをそれぞれ出力する。色差データQCr、QCbは輝度データQYに対し、輪郭補正部5において輪郭補正処理を行うのに必要なライン期間kだけ遅延して読み出される。その他の部分についてはすでに説明済みの内容と同じである。
輝度データDY、および色差データDCrおよびDCb符号化を行い、符号化された輝度データEY0をフレームメモリ13に書き込み、フレームメモリ13から符号化された輝度データEY1を読み出した後で復号化するので、符号化された輝度データと色差データの符号化率(データ圧縮率)を高くするほど、符号化された輝度データEY0、色差データECr0、ECb0を格納するフレームメモリ13の容量を削減できるとともに、フレームメモリ13とフレームメモリ制御部11の間のバス帯域を節約することができる。
実施の形態7.
図40は、実施の形態7における画像処理部2の構成を示すブロック図である。図40に示す構成は、図2に示す構成と比較して、フレームメモリ制御部11が輝度データQY1とQY2を出力し、輝度データQY1が輪郭補正部5に入力され、輝度データQY2が比較判定部10に入力される点が異なる。輝度データQY1は符号化処理と復号化処理を経ない輝度データであり、輝度データQY2は符号化処理と復号化処理を経た輝度データである。(詳細は後述する)
図41は、図40に示される画像処理装置2におけるフレームメモリ制御部11の構成を示すブロック図である。図41に示すフレームメモリ制御部11は、図36に示した構成に対して、さらに復号化部57を読み出し制御部に備えたものである。
入力された輝度データDYは、符号化部46に入力されるとともに、読み出し制御部19を介して輝度データQY1として出力される。符号化部46は、輝度データDYを符号化することにより、輝度データDYに対応する符号化輝度データEY0を出力する。符号化輝度データEY0はバッファ49と復号化部57に入力される。復号化部57は符号化輝度データEY0を復号化することにより、輝度データQY1と同じフレーム、同じラインの輝度データQY2を出力する。また、フレームメモリ制御部11は、色差データQCrとQCb、輝度データQY1およびQY2から1フレーム遅延の輝度データRYを出力する。輝度データQY1とQY2の読み出しタイミングは、実施の形態6で図37および図38の中の輝度データQYと同じである。
その他の部分については、実施の形態6ですでに説明済みの内容と同じであるので、ここでは説明を省略する。
輝度データQY1と色差データQCr、QCbは輪郭補正部5に入力され、輝度データQY2と1フレーム遅延の輝度データRYは比較判定部10に入力される。
輝度データQY1は符号化および復号化の処理を経ておらず、輝度データQY2は符号化、復号化の処理を経ており、輝度データQY1とQY2はこの点が異なる。例えば、符号化方式が符号化前の輝度データDYと復号化後の輝度データQY2が完全に一致しない非可逆符号化の場合には、輝度データDYとQY2の間には誤差が生じる。
比較判定部10は、連続する2フレーム間の輝度データの差分に基づいて動画静止画判定を行って、輪郭補正部5の補正量を制御するように働く。
仮に、符号化と復号化を経た輝度データRYと経ない輝度データQY1に基づいて、比較判定部10での比較判定処理を行った場合には、静止画であっても、符号化と復号化を経ない輝度データQY1と経た輝度データRYとの間で生じる誤差のため、静止画部分が動画として判定される可能性がある。
一方、符号化した輝度データRYとQY2に基づいて比較判定処理を行った場合は、輝度データRYとQY2が入力の輝度データに対して同様に誤差を生じるため、静止画の場合にはRYとQY2に生じる誤差が等しくなるため相殺され、より正確な判定を行うことができる。また、符号化、復号化を経ない輝度データQY1に対して輪郭補正処理が実施されるので、画質を向上することができる。
実施の形態8.
図42は、実施の形態8におけるフレームメモリ制御部11の構成を示すブロック図である。これは、図24に示される画像処理装置2におけるフレームメモリ制御部11の別の構成を示している。
図42に示されるフレームメモリ制御部11は、図36に示した構成に対して、さらにバッファ62と復号化部63を備えて、連続する3フレーム分の輝度データQY、RY、SYを出力できるようにしたものである。
書き込み制御部14の動作と、出力同期信号生成部7で生成される同期信号QSについては、実施の形態6において説明した内容と同様であるので、詳しい動作の説明は省略する。
読み出しアドレス制御部61は、出力同期信号生成部7により出力される同期信号QSに基づいて、フレームメモリ13に書き込まれた符号化輝度データEYおよび色差データDCr、DCbを読み出すための読み出しアドレスRAを発生する。
フレームメモリ13は、読み出しアドレスRAに基づいて読み出されるデータRDをバッファ54、55、56、62に出力する。バッファ54、55は色差データQCr、QCbを出力する。また、バッファ56は、輝度データQY、すなわち入力の輝度データDYよりも1フレーム遅延した符号化輝度データEY1を復号化部60に出力する。バッファ62は輝度データQYより2フレーム遅延した符号化輝度データEY2を復号化部63に出力する。復号化部60は符号化輝度データEY1を復号することにより、輝度データRYを出力し、復号化部63は符号化輝度データEY2を復号化することにより復号化された輝度データSYを出力する。ここで、輝度データRYは輝度データQYよりも1フレーム遅延しており、輝度データSYは輝度データQYよりも2フレーム遅延している。
輝度データQY、色差データQCr、QCbは輪郭補正部5に入力され、輝度データQY、RYおよびSYは比較判定部10に入力される。
これまでの説明と同様に、フレームメモリ制御部11は、kライン分の遅延が発生した輪郭補正後の輝度データZYaと色差データQCr,QCbとが同期して変換部6に入力されるよう、色差データQCr,QCbをkライン分遅延して出力する。具体的には、フレームメモリ制御部11の読出しアドレス制御部24において、色差データQCr,QCbが輝度データQY(すなわち、入力輝度データDY)に対し、kライン分遅れて読み出されるよう読み出しアドレスRAを生成する。
図43は、フレームメモリ制御部11に入力される輝度データDY、色差データDCrおよびDCb、フレームメモリ制御部から1ライン周期で出力される輝度データSY、RY、QYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYaを示す図である。図43において、DShとQShは1ライン期間を示しており、出力の水平同期信号QShは入力水平同期信号QShに同期している。図43に示すように、色差データQCr,Qcbは、輝度データQYに対し、輪郭補正部5において輪郭補正処理を行うのに必要なライン期間kだけ遅延して読み出される。入力の輝度データDYと、出力の輝度データQY、RY、SYは同じライン位置nを示すのに対して、出力の色差データQCrとQCbはライン位置n−kとなる。
図44は、フレームメモリ制御部11から1フレーム周期で出力される輝度データSY、RY、QYおよび色差データQCr,QCb、ならびに垂直輪郭補正部12から出力される輪郭補正後の輝度データZYaを示す図である。図44において、DSvおよびQSvは1フレーム期間を示しており、出力垂直同期QSvは入力垂直同期DSvと同期している。図44に示すように、輝度データRYは、輝度データQYに対し1フレーム期間遅延して読み出され、輝度データSYは輝度データQYに対して2フレーム期間遅延して読み出される。
比較判定部10は、入力された輝度データQY、1フレーム前の輝度データRY、2フレーム前の輝度データSYに基づいて、フリッカの有無を検出して、フリッカ発生領域において輪郭補正量を抑制するように働く画像処理調整係数QFGを発生し、画像処理調整係数QFGは輪郭補正部5に入力される。
図45は実施の形態8における比較判定部10の内部構成を示すブロック図である。図45に示す比較判定部10は、動画静止画判定部43、フリッカ判定部44、係数補正部45から構成される。動画静止画判定部43は、輝度データQY、および1フレーム前の輝度データRYから得られるフレーム間輝度差|QY−RY|に基づいて、画像処理調整係数QFを生成し、係数補正部45に出力する。また、動画静止画判定部43は、フレーム間輝度差|QY−RY|が所定値を越えた場合、動画検出フラグH=1を出力する。反対に、フレーム間輝度差|QY−RY|が所定値以下の場合、輝度データQYが静止画領域を表すことを示す動画検出フラグH=0を出力する。動画検出フラグHはフリッカ判定部44に送られる。
なお、静止画判定部43により出力される画像処理調整係数QFとフレーム間輝度差|QY−RY|との関係は、図7に示すものと同様である。
フリッカ判定部44は、輝度データQYと、2フレーム前の輝度データSYとの差分を画素毎に算出することにより、3フレーム間の輝度変化を示すフレーム間輝度差|QY−SY|を求める。フリッカ判定部33は、フレーム間輝度差|QY−SY|、および動画検出フラグHに基づいて輝度データQYに含まれるフリッカ成分を検出し、フリッカ調整係数QGを生成する。
図46は、フリッカ判定部44におけるフリッカの検出方法について説明するための図である。図46(a)は、輝度データQYが動画領域を表す場合の輝度データRY,QY,SYの変化を示している。輝度データQYが動画像領域を表す場合、図46(a)に示すように、2つのフレーム間輝度差|QY−RY|,|QY−SY|はともに大きな値となる。図29(b)は、輝度データQYにフリッカ成分を含む場合の輝度データRY,QY,SYの変化を示している。輝度データQYがフリッカ成分を含む場合、フレーム間輝度差|QY−RY|は大きな値となるのに対し、フレーム間輝度差|QY−SY|は0または非常に小さい値となる。ここで、フレーム間輝度差|QY−RY|が所定値を越える場合、動画検出フラグはH=1となるので、動画検出フラグH=1であり、かつフレーム間輝度差|QY-RY|が0または非常に小さい値となった場合、輝度データQYはフリッカ成分を含むと判別される。
フリッカ判定部44は、動画静止画判定部43から出力される動画検出フラグHの値、およびフレーム間輝度差|QY−SY|の大きさに基づいて輝度データQYがフリッカを含むか判別するとともに、判別結果に基づいてフリッカ調整係数QGを出力する。動画検出フラグH=0の場合、すなわち輝度データQYが静止画領域を表す場合、フリッカ判定部44はフリッカ調整係数QGを1として出力する。反対に、動画検出フラグH=1の場合、すなわち輝度データQYが動画領域を表す場合、フリッカ検出部44は、フレーム間輝度差|QY−SY|の大きさに基づいてフリッカ調整係数QGを出力する。
図47は、フリッカ調整係数QGとフレーム間輝度差|QY−SY|との関係を示す図である。図30において、横軸はフレーム間輝度差|QY−SY|の逆数であり、縦軸はフリッカ調整係数QGの大きさを示す。また、図47において、フレーム間輝度差|QY−SY|の逆数が小さい領域A(|QY−SY|が大きい領域)を動画領域、フレーム間輝度差|QY−SY|の逆数が大きい領域C(|QY−SY|が小さい領域)をフリッカ発生領域とし、動画領域とフリッカ発生領域との間の中間領域を領域Bとする。
図47に示すように、フリッカ調整係数QGは、動画領域(領域A)において大きな値となり(QG=QGm)、フリッカ発生領域(領域C)において小さな値となる(QG=QGf)。また、中間領域(領域B)においては、動画領域およびフリッカ発生領域におけるフリッカ調整係数Qf,Qmの中間の値となる(QGf<QF<QGf)。
係数補正部45は、動画静止画判定部43により出力される画像処理調整係数QFと、フリッカ判定部44により出力されるフリッカ調整係数QGとを積算し、新たな画像処理調整係数QFGを生成する。
輝度データQYが静止画領域を表す場合(動画検出フラグがH=0となる場合)、フリッカ調整係数はQG=1となるので、画像処理調整係数QFGは、図7に示す領域A(静止画領域)における画像処理調整係数QF=QFsの値と等しくなる。
フレーム間輝度差|QY-RY|が所定値を越える場合(動画検出フラグがH=1となる場合)、図7に示すように、画像処理調整係数QFは領域B(動画領域)におけるQFmとなる(QFm>QFs)。一方、フリッカ調整係数QGは図47に示すように、フリッカ発生領域(領域C)において小さく、動画領域(領域A)において大きくなる。このため、フリッカ発生領域における画像処理調整係数QFCは、図7に示す領域C(動画領域)における画像処理調整係数QF=QFmを小さくした値となり、領域A(動画領域)における画像処理調整係数QFCは上記画像処理調整係数QF=QFmと等しいか、またはこれよりも大きな値となる。
図31は、フリッカの有無による輪郭補正量の差を示す図である。図31(a)(b)(c)は、輝度データQYa、変換倍率Z、輪郭補正後の輝度データZYaをそれぞれ示している。図31(b)において、実線は動画像領域における変換倍率Zを示し、破線はフリッカ発生領域における変換倍率Zを示している。また、図31(c)において、実線は動画領域における輪郭補正後の輝度データZYaを示し、破線はフリッカ発生領域における輪郭補正後の輝度データZYaを示している。
フリッカ発生領域においては、倍率制御量ZCに積算される画像処理調整係数QFGの値がフリッカを含まない動画領域に比して小さいため、図31(b)に示すように変換倍率Zの振幅はフリッカ発生領域において小さくなる。このため、図31(c)に示すように、フリッカ発生領域における輪郭補正後の輝度データZYaの輪郭幅Wbは、フリッカを含まない動画領域における輪郭幅Wcよりも広くなり、鮮鋭度が低くなる。つまり、フリッカ発生領域において、輪郭部の鮮鋭度を高めることによりフリッカが強調されるのを防ぐことができる。
以上のように、本実施の形態に係る画像処理装置によれば、フレーム間輝度差|QY-RY|,|QY−SY|に基づいてフリッカを検出し、フリッカ発生領域における輪郭補正量を抑制するので、フリッカ成分を強調することなく動画像領域の鮮鋭度を高めることができる。
さらに、 フレームメモリ制御部11が、符号化された輝度データEYおよび色差データDCr、DCbをフレームメモリ13に書き込み、入力の輝度データDY(=QY)に対して輪郭補正処理を行い、色差データQCr、QCbについては輪郭補正処理に必要なライン数分だけ遅延して読み出すことで、色差データのタイミング調整に必要なラインメモリを削減することができる。
さらに、輝度データDYを符号化してから、符号化された輝度データEYをフレームメモリ13に書き込み、フレームメモリ13から符号化された輝度データEY1を読み出した後で復号化するので、符号化された輝度データの符号化率(データ圧縮率)を高くするほど、符号化された輝度データEYを格納するフレームメモリ13の容量を削減できるとともに、フレームメモリ13とフレームメモリ制御部11の間のバス帯域を節約することができる。
輪郭補正部5は、画像処理調整係数QFGに基づいて、輝度データQYに対して輪郭補正処理を行って、輪郭補正された輝度データZYaを出力する。
比較判定部10と輪郭補正部5の動作は、実施の形態3、実施の形態1ですでに説明済みであるので、ここでは詳しい説明を省略する。
本発明に係る画像処理装置の一実施形態を示すブロック図である。 画像処理部の内部構成を示すブロック図である。 フレームメモリ制御部の内部構成を示すブロック図である。 フレームメモリの読み出しタイミングを示す図である。 フレームメモリの読み出しタイミングを示す図である。 画像処理調整係数の特性の一例を示す図である。 画像処理調整係数の特性の一例を示す図である。 動画像の一例を示す図である。 垂直輪郭補正部の内部構成を示すブロック図である。 ライン遅延の動作を示す図である。 輪郭幅補正処理について説明するための図である。 動画領域、および静止画領域における輪郭幅補正処理について説明するための図である。 垂直輪郭補正部の内部構成を示すブロック図である。 ライン遅延の動作を示す図である。 輪郭強調処理について説明するための図である。 垂直輪郭補正部の内部構成を示すブロック図である。 画像処理調整係数の特性の一例を示す図である。 画像処理調整係数の特性の一例を示す図である。 輪郭補正処理について説明するための図である。 画像処理部の内部構成を示すブロック図である。 水平輪郭補正部の内部構成を示すブロック図である。 画素遅延の動作を示す図である。 画素遅延の動作を示す図である。 画像処理部の内部構成を示すブロック図である。 フレームメモリ制御部の内部構成を示すブロック図である。 フレームメモリの読み出しタイミングを示す図である。 フレームメモリの読み出しタイミングを示す図である。 比較判定部の内部構成を示すブロック図である。 フリッカの検出方法について説明するための図である。 フリッカ調整係数の特性を示す図である。 動画領域、およびフリッカ発生領域における輪郭補正処理について説明するための図である。 本発明の実施の形態4におけるフレームメモリ制御部の構成を示すブロック図である。 本発明の実施の形態4におけるフレームメモリ制御部の別の構成を示すブロック図である。 本発明の実施の形態5におけるフレームメモリ制御部の構成を示すブロック図である。 本発明の実施の形態5におけるフレームメモリ制御部の別の構成を示すブロック図である。 本発明の実施の形態6におけるフレームメモリ制御部の構成を示すブロック図である。 フレームメモリの書き込み、読み出しタイミングを示す図である。 フレームメモリの書き込み、読み出しタイミングを示す図である。 本発明の実施の形態6におけるフレームメモリ制御部の別の構成を示すブロック図である。 本発明の実施の形態7における画像処理部の構成を示すブロック図である。 本発明の実施の形態7におけるフレームメモリ制御部の構成を示すブロック図である。 本発明の実施の形態8におけるフレームメモリ制御部の構成を示すブロック図である。 フレームメモリの書き込み、読み出しタイミングを示す図である。 フレームメモリの書き込み、読み出しタイミングを示す図である。 実施の形態8における比較判定部の内部構成を示すブロック図である。 フリッカの検出方法について説明するための図である。 フリッカ調整係数の特性を示す図である。
符号の説明
1 受信部、 2 画像処理部、 3 変換部、 4 記憶部、 5 輪郭補正部、 6 変換部、 7 出力同期信号生成部、 8 送信部、 9 表示部、 10 比較判定部、 11 フレームメモリ制御部、 12 垂直輪郭補正部、 13 フレームメモリ、 46〜48 符号化部、 49〜51 バッファ、 52 書き込みアドレス制御部、 53〜56 バッファ、 57〜60 復号化部、 61 読み出しアドレス制御部、 62 バッファ、 63 復号化部。

Claims (13)

  1. 入力画像の輪郭部を補正する画像処理装置であって、
    上記入力画像における輪郭部の輪郭幅を検出し、当該輪郭幅に基づいて、上記入力画像の輪郭部を補正する補間画素の補間倍率を画素毎に指定する倍率制御量を生成する倍率制御量生成手段と、
    上記入力画像と当該入力画像の1フレーム前の画像との変化量を画素毎に求める比較手段と、
    当該変化量に応じて上記倍率制御量を調整して変換倍率を生成する倍率生成手段と、
    上記変換倍率を用いた補間演算により上記補間画素の画素データを算出し、輪郭部が補正された画像データを出力する補間演算手段と
    を備えたことを特徴とする画像処理装置。
  2. 上記比較手段は、
    入力画像データを符号化する符号化手段と、
    符号化された画像データを遅延させるメモリ手段と、
    メモリ手段から読み出した符号化された画像データを復号化する復号化手段、
    を備えた
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 上記倍率制御量生成手段は、輪郭前部において正、輪郭中央部において負、輪郭後部において正となり、全体の総和が0となるよう上記倍率制御量を生成し、当該倍率制御量を画像データの拡大または縮小率を示す基準変換倍率に重畳して変換倍率を生成することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 上記輪郭部が補正された画像データの高域成分を検出し、検出された高域成分に基づいて上記画像データの輪郭部を強調するための強調量を算出する強調量算出手段と、
    上記輪郭部を補正した画像データに上記強調量を付加することにより、上記画像データの輪郭部を強調する輪郭強調手段と
    をさらに備えることを特徴とする請求項1〜3のいずれかに記載の画像処理装置。
  5. 上記強調量を、上記入力画像と当該入力画像の1フレーム前の画像との変化量に基づいて調整することを特徴とする請求項4に記載の画像処理装置。
  6. 上記入力画像と当該入力画像の前後のフレームの画像との変化量を求め、当該変化量に基づいて上記入力画像に含まれるフリッカ発生領域を検出するフリッカ判定手段をさらに備え、
    上記フリッカ発生領域において上記倍率制御量を制限することを特徴とする請求項1〜5のいずれかに記載の画像処理装置。
  7. 請求項1〜6のいずれかに記載の画像処理装置を備えたことを特徴とする画像表示装置。
  8. 入力画像の輪郭部を補正する画像処理方法であって、
    上記入力画像における輪郭部の輪郭幅を検出し、当該輪郭幅に基づいて、上記入力画像の輪郭部を補正する補間画素の補間倍率を画素毎に指定する倍率制御量を生成する工程と、
    上記入力画像と当該入力画像の1フレーム前の画像との変化量を画素毎に求める比較工程と、
    当該変化量に応じて上記倍率制御量を調整して変換倍率を生成する工程と、
    上記変換倍率を用いた補間演算により上記補間画素の画素データを算出し、輪郭部が補正された画像データを出力する工程と
    を備えたことを特徴とする画像処理方法。
  9. 上記比較工程は、
    入力画像データを符号化する工程と、
    符号化された画像データを遅延する工程と、
    遅延された符号化された画像データを復号化する工程と
    を備えたことを特徴とする請求項8に記載の画像処理方法。
  10. 上記倍率制御量を、輪郭前部において正、輪郭中央部において負、輪郭後部において正となり、全体の総和が0となるよう生成し、当該倍率制御量を画像データの拡大または縮小率を示す基準変換倍率に重畳して変換倍率を生成することを特徴とする請求項8又は9に記載の画像処理方法。
  11. 上記輪郭部が補正された画像データの高域成分を検出し、検出された高域成分に基づいて上記画像データの輪郭部を強調するための強調量を算出する工程と、
    上記輪郭部を補正した画像データに上記強調量を付加することにより、上記画像データの輪郭部を強調する工程と
    をさらに備えることを特徴とする請求項8〜10のいずれかに記載の画像処理方法。
  12. 上記強調量を、上記入力画像と当該入力画像の1フレーム前の画像との変化量に基づいて調整することを特徴とする請求項11に記載の画像処理方法。
  13. 上記入力画像と当該入力画像の前後のフレームの画像との変化量を求め、当該変化量に基づいて上記入力画像に含まれるフリッカ発生領域を検出する工程をさらに備え、
    上記フリッカ発生領域において上記倍率制御量を制限する
    ことを特徴とする請求項8〜12のいずれかに記載の画像処理方法。
JP2005254276A 2005-02-18 2005-09-02 画像処理装置、画像処理方法、及び画像表示装置 Active JP3753731B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005254276A JP3753731B1 (ja) 2005-02-18 2005-09-02 画像処理装置、画像処理方法、及び画像表示装置
PCT/JP2005/020798 WO2006087849A1 (ja) 2005-02-18 2005-11-14 画像処理装置、画像処理方法、及び画像表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005042687 2005-02-18
JP2005254276A JP3753731B1 (ja) 2005-02-18 2005-09-02 画像処理装置、画像処理方法、及び画像表示装置

Publications (2)

Publication Number Publication Date
JP3753731B1 true JP3753731B1 (ja) 2006-03-08
JP2006260520A JP2006260520A (ja) 2006-09-28

Family

ID=36113786

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005254276A Active JP3753731B1 (ja) 2005-02-18 2005-09-02 画像処理装置、画像処理方法、及び画像表示装置

Country Status (2)

Country Link
JP (1) JP3753731B1 (ja)
WO (1) WO2006087849A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4983423B2 (ja) * 2007-06-15 2012-07-25 ソニー株式会社 画像信号処理装置および画像信号処理方法
JP4613990B2 (ja) 2008-07-31 2011-01-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP2011166521A (ja) * 2010-02-10 2011-08-25 Panasonic Corp 輪郭補正装置及び画像表示装置
JP4915468B2 (ja) * 2010-08-30 2012-04-11 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP6398162B2 (ja) * 2013-09-25 2018-10-03 セイコーエプソン株式会社 画像処理回路、電気光学装置及び電子機器

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000101870A (ja) * 1998-09-22 2000-04-07 Toshiba Corp デジタル信号処理回路
JP2001045331A (ja) * 1999-07-27 2001-02-16 Mitsubishi Electric Corp 波形応答改善回路
JP3719389B2 (ja) * 2001-03-06 2005-11-24 三菱電機株式会社 画像処理装置、画像表示装置、および画像処理方法

Also Published As

Publication number Publication date
JP2006260520A (ja) 2006-09-28
WO2006087849A1 (ja) 2006-08-24

Similar Documents

Publication Publication Date Title
JP4169768B2 (ja) 画像符号化装置、画像処理装置、画像符号化方法、及び画像処理方法
US8385422B2 (en) Image processing apparatus and image processing method
US7262818B2 (en) Video system with de-motion-blur processing
US7724307B2 (en) Method and system for noise reduction in digital video
US8073269B2 (en) Image decoding apparatus and image decoding method
US6281933B1 (en) Images in interlaced formats: a novel method of scan conversion for video imaging systems
JP3753731B1 (ja) 画像処理装置、画像処理方法、及び画像表示装置
US6351545B1 (en) Motion picture enhancing system
KR101081074B1 (ko) 데이터 값의 다운-샘플링 방법 및 디바이스와 이를 포함하는 저장 유닛, 디스플레이 유닛, 비디오 인코더, 비디오 디코더, 휴대용 장치 및 컴퓨터 판독가능 매체
WO2006025121A1 (ja) 画像処理装置、画像処理方法、および画像表示装置
US20080019598A1 (en) Image processing apparatus and method, and image coding apparatus and method
JP4380498B2 (ja) ブロック歪み低減装置
US8526506B1 (en) System and method for transcoding with quality enhancement
US20100215286A1 (en) Image processing apparatus and image processing method
JP2017228898A (ja) 画像処理装置及び画像処理方法、コンピュータプログラム
JP3853257B2 (ja) モスキート歪み低減装置およびモスキート歪み低減方法
JP5045119B2 (ja) 色トランジェント補正装置
KR102216391B1 (ko) 디지털 리마스터링 기술을 이용한 실시간 화상송출 시스템 및 방법
JP7300164B2 (ja) ノイズリダクション方法
JPH0951532A (ja) 歪み除去装置
US20240095893A1 (en) Image enhancement via global and local reshaping
KR100195124B1 (ko) 저역 필터링된 신호의 양자화된 평균-분리 히스토그램 등화를 이용한 화질 개선방법 및 그 회로
JP2007028468A (ja) 画像処理装置及び方法
JP4117290B2 (ja) 画質改善方法および画質改善装置
JP2023538649A (ja) データ処理の方法及びシステム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051213

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3753731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250