WO2009107487A1 - 動きぼやけ検出装置及び方法、画像処理装置、並びに画像表示装置 - Google Patents

Abstract

　第１の映像信号（ｄ１）と第２の映像信号（ｄ２）の階調差（ｇ１）と、第２の映像信号（ｄ２）と第３の映像信号（ｄ３）の階調差（ｇ２）と、第２の映像信号（ｄ２）の階調の遷移期間（ｈ）の検出結果を元に、動きぼやけ期間（ｂｆ）を検出し（１４）、検出された動きぼやけ期間（ｂｆ）の間のみ第２の映像信号（ｄ２）を補正する（３）。例えば、第２の映像信号の階調変化の絶対値が、第１の所定の閾値（Ｓ１）よりも大きく、かつ第２の所定の閾値Ｓ２（＜Ｓ２））よりも小さいときに、遷移期間内（ｈ）であると判定する。回路規模を増大させることなく、映像信号に含まれる動きぼやけを検出することができ、従って、検出された動きぼやけを低減することが可能になる。

Description

動きぼやけ検出装置及び方法、画像処理装置、並びに画像表示装置

　本発明は、動きぼやけ検出装置及び方法、画像処理装置、並びに画像表示装置に関する。

　映像表示用のディスプレイは、従来のＣＲＴから液晶ディスプレイやプラズマディスプレイといった薄型ディスプレイへの置き換えが急速に進んでいる。特に液晶ディスプレイが開発された当初は、動画表示性能がＣＲＴに比べて大きく劣ることが問題視されていた。これは液晶の応答速度が遅かったことに加え、ホールド型表示であることに起因する動画ぼやけの影響が大きかった。

　近年技術が進歩し、例えば液晶の応答速度が遅い問題は、液晶材料の改良や、オーバードライブ技術の開発により大きく改善された。また、ホールド型表示に起因する問題に関しても、表示するフレーム間に黒画像を表示する方法や、画像補間技術を用いて、新たにサブフレームを生成する方法等が提案されてきている。このように薄型ディスプレイの動画表示性能の改善が進む中、表示装置が受信する映像に含まれる動画のぼやけを改善したいという要求がでてきた。

　表示装置が受信する映像信号は、カメラの受光部がフレーム蓄積時間（例えば１／６０秒）の間に被写体から受ける受光総量を量子化し、規格によって決められた画素順に並べて送られてくるものである。カメラの受光部と被写体が相対的に動く場合、被写体の輪郭部にはフレーム蓄積時間と、カメラと被写体の相対速度によって決まるぼやけ（以下では動きぼやけとする）が発生する。

　画像に含まれるぼやけを改善する方法として、例えば特許文献１に開示されているように、拡大縮小回路を用いる方法が開示されている。この方法は、オーバーシュートやアンダーシュートを付加することなく、フィルタリング技術を用いて映像の輪郭部の立ち上がり、立下りを急峻にできるため、撮像時の焦点ずれ等による、等方的な、ぼやけ幅の狭いぼやけに対しては効果的であると予想される。しかし動きぼやけは、焦点ずれ等で発生する画像のぼやけとは異なり、カメラと被写体の相対速度によりぼやけの幅が大きく変動する上に、ぼやけの発生する方向が、非等方的（カメラと被写体の速度ベクトル方向のみ）であるため、従来技術を適用するのが困難であった。

　また、特許文献２には、動きベクトル検出を用いた、ぼやけ関数のデコンボブル手法が開示されている。この手法は計算量が膨大になり、実際の回路に実装するのはコスト的に困難であった。
特開２００２－１６８２０公報 特許第３２５１１２７号明細書

　映像信号に含まれる動きぼやけは、焦点ずれ等で発生する等方的ぼやけとは異なり、ぼやけの幅が広いものから狭いものまである上に、ぼやけの発生する方向が、非等方的であるため、フィルタリング技術を用いて画面一様に周波数変換する方法では、適切な効果が得られない場合があった。

　また、ぼやけ幅の広い動きぼやけを補正できるように、フィルタの最適化を行なった場合、ランプ画像等に見られる、輝度変化率の低い輪郭を有する画像に対してもフィルタリングを行なってしまい、本来表示したい画像と異なる画像に誤変換してしまう恐れがあった。
　さらに、動きベクトル検出手法を用いて被写体の移動方法を特定し、適応的にフィルタリング処理を行う場合、検出回路規模が増大してしまうため、コスト的に利用が難しいという問題があった。

　本発明は上記の課題に鑑みてなされたものであり、回路規模を増大させることなく、映像信号に含まれる動きぼやけを検出し、これにより検出された動きぼやけを低減することを可能することを目的とする。

　本発明に係る動きぼやけ検出装置は、
　入力された映像信号に対してフレーム遅延していない第１の映像信号と、入力された映像信号に対して、第１の所定のフレーム数遅延している第２の映像信号と、前記第２の映像信号に対して、前記第１の所定のフレーム数遅延している第３の映像信号とを生成する遅延手段と、
　前記第１の映像信号と前記第２の映像信号の階調差を検出する第１の差分検出手段と、
　前記第２の映像信号と前記第３の映像信号の階調差を検出する第２の差分検出手段と、
　前記第１の映像信号と前記第３の映像信号の階調差を検出する第３の差分検出手段と、
　前記第３の差分検出手段で検出された階調差の隣接する画素間の信号の変化を検出する微分手段と、
　前記第２の映像信号において、隣接する画素間の階調変化を検出し、前記階調変化を元に映像信号に含まれる階調の遷移期間を検出する遷移期間検出手段とを有し、
　前記第１の差分検出手段で検出された前記階調差と、前記第２の差分検出手段で検出された前記階調差と、前記微分手段で検出された微分結果と、前記遷移期間検出手段で検出された前記第２の映像信号の階調の遷移期間を元に、動きぼやけ期間を検出する
　ことを特徴とする。

　本発明によれば、入力された映像信号に含まれる動きぼやけ部を検出することができ、従って、例えば動きぼやけ部のみを適応的に補正することによって、入力された映像信号に含まれる動きぼやけ幅を低減し、動画の画質を向上させることができる。

本発明の実施の形態１に係る画像表示装置を示すブロック図である。 遅延部１の詳細を示すブロック図である。 ぼやけ検出部２の詳細を示すブロック図である。 ぼやけ補正部３の詳細を示した図である。 （ａ）～（ｆ）は、遅延部１の動作を説明する図である。 映像信号の例を示した図である。 高周波成分を除去した映像信号の例を示した図である。 高周波成分を除去した映像信号の微分結果を示す図である。 遷移期間検出部１３の詳細構成を示した図である。 （ａ）～（ｃ）は、遷移期間検出部１３の動作を説明する図である。 （ａ）及び（ｂ）は、連続した３フレームの映像信号の例を示す図である。 差分検出部１１の詳細な構成を示した図である。 （ａ）～（ｃ）は、差分検出部１１の動作を説明する図である。 （ａ）～（ｄ）は、差分検出部２７及び微分部２８の動作を説明する図である。 ぼやけ期間判定部１４の構成を示す図である。 （ａ）及び（ｂ）は、２値化部２２の動作を説明する図である。 ステート判定部２５の内部構成を示す図である。 （ａ）～（ｃ）は、状態比較部２１の動作を説明する図である。 （ａ）～（ｅ）は、状態補正部２９の動作を説明する図である。 （ａ）～（ｃ）は、ぼやけ判定部２６の動作を説明する図である。 輪郭形状計算部１５の詳細の構成を示した図である。 （ａ）～（ｄ）は、輪郭形状計算部１５の動作を説明する図である。 （ａ）～（ｃ）は、変換信号生成部３４の動作を説明する図である。 （ａ）～（ｃ）は、画素変換部１６の動作を説明する図である。

符号の説明

　１　遅延部、　２　ぼやけ検出部、　３　ぼやけ補正部、　４　画像表示部、　５　フレームメモリ制御部、　６　フレームメモリ、　７、８、９　ローパスフィルタ、　１０　微分部、　１１、１２　差分検出部、　１３　遷移期間検出部、　１４　ぼやけ期間判定部、　１５　輪郭形状計算部、　１６　判定フラグ生成部、　１７　３値化部、　１８　判定フラグ生成部、　１９　差分計算部、　２０　差分補正部、　２１　状態比較部、　２２、２３、２４　２値化部、　２５　ステート判定部、　２６　ぼやけ判定部、　２７　差分検出部、　２８　微分部、　２９　状態補正部、　３０　画素カウンタ部、　３１　ステートＤカウンタ部、　３２　中心検出部、　３３　コア位置判定部、　３４　変換信号生成部、　８１　映像表示装置。

実施の形態１．
　図１は、本発明に係る画像表示装置の構成を示すブロック図である。図示の画像表示装置８１は、遅延部１と、ぼやけ検出部２と、ぼやけ補正部３と、画像表示部４とを備える。上記のうち、遅延部１と、ぼやけ検出部２とで、動きぼやけ検出装置が構成されている。
　画像表示装置８１に入力された映像信号は、遅延部１に供給される。遅延部１はフレームメモリを用いて、入力された信号のフレーム遅延を行い、複数のフレーム遅延された信号ｄ１～ｄ３をぼやけ検出部２及びぼやけ補正部３に出力する。

　ぼやけ検出部２は、遅延部２から出力された複数の異なるフレームの映像信号ｄ１～ｄ３から映像中に含まれる動きぼやけ領域を検出し、動きぼやけ検出フラグｂｆを出力する。

　ぼやけ補正部３は、ぼやけ検出部２にて検出された、動きぼやけ検出フラグｂｆを元に、遅延部１から出力された映像信号ｄ２を変換し、画像表示部４に出力する。

　図２は、遅延部１の詳細を示すブロック図である。遅延部１はフレームメモリ制御部５と、フレームメモリ６から構成されている。フレームメモリ６は入力された映像信号を少なくとも２フレーム記憶可能な容量を有している。

　フレームメモリ制御部５は、入力された映像信号ｄ０に含まれる同期信号を元に生成した、メモリアドレスに従い、入力映像信号の書込みと、蓄積された映像信号の読み出しとを行い、連続する３フレームの映像信号ｄ１、ｄ２、ｄ３を生成する。映像信号ｄ１は、入力映像信号ｄ０に対して遅延がないものであり、現フレーム映像信号とも呼ばれる。映像信号ｄ２は、映像信号ｄ１に対して１フレーム遅延したものであり、１フレーム遅延映像信号とも呼ばれる。映像信号ｄ３は、映像信号ｄ２に対して１フレーム遅延したもの、即ち映像信号ｄ１に対して２フレーム遅延したものであり、２フレーム遅延映像信号とも呼ばれる。また、以下のように、映像信号ｄ２を対象として処理を行うので、映像信号ｄ２を注目フレーム映像信号と呼び、映像信号ｄ１を前フレーム映像信号、映像信号ｄ３を後フレーム映像信号と呼ぶこともある。

　図３はぼやけ検出部２の詳細を示すブロック図である。ぼやけ検出部２は、ローパスフィルタ（以下ＬＰＦ）７、８、９と、微分部１０と、差分検出部１１、１２と、遷移期間検出部１３と、ぼやけ期間判定部１４と、差分検出部２７と、微分部２８とを備える。

　遅延部１から出力された映像信号ｄ１、ｄ２、ｄ３はそれぞれＬＰＦ７、８、９に供給される。
　ＬＰＦ７は、遅延部１から出力された現フレーム映像信号ｄ１の高周波成分を除去して映像信号ｅ１を生成し、差分検出部１１及び２７に出力する。
　ＬＰＦ８は、遅延部１から出力された１フレーム遅延映像信号ｄ２の高周波成分を除去して映像信号ｅ２を生成し、微分部１０、並びに差分検出部１１及び１２に出力する。
　ＬＰＦ９は、遅延部１から出力された２フレーム遅延映像信号ｄ３の高周波成分を除去して映像信号ｅ３を生成し、差分検出部１２及び２７に出力する。

　微分部１０は、入力された映像信号ｅ２の隣接画素間変化量、即ち隣接画素間差分を検出し、検出結果ｆを遷移期間検出部１３に出力する。
　遷移期間判定部１３は、微分部１０の検出結果ｆを元に、動きぼやけと予想される輪郭を判定し、判定結果ｈをぼやけ期間判定部１４に出力する。

　差分検出部１１は、入力された映像信号ｅ１と映像信号ｅ２の差分、即ち映像信号の各画素についての１フレーム間の差分をとり、差分補正信号ｇ１をぼやけ期間判定部１４に出力する。
　差分検出部１２は、入力された映像信号ｅ３と映像信号ｅ２の差分、即ち映像信号の各画素についての１フレーム間の差分をとり、差分補正信号ｇ２をぼやけ期間判定部１４に出力する。

　差分検出部２７は、入力された映像信号ｅ１と映像信号ｅ３の差分、即ち映像信号の各画素についての２フレーム間の差分をとり、差分補正信号ｇ３を微分部２８に出力する。
　微分部２８は、差分補正信号ｇ３の隣接画素間変化量、即ち隣接画素間差分を検出し、２フレーム間差分微分結果ｆ３をぼやけ期間判定部１４に出力する。

　ぼやけ期間判定部１４は、遷移期間判定部１３から出力された判定結果ｈと、差分検出部１１及び１２で求められた差分補正信号ｇ１及びｇ２と、微分部２８で求められた２フレーム間差分微分結果ｆ３とを元に、動きぼやけが発生したか否か、即ちぼやけ期間か否かを判定し、判定結果ｂｆを出力する。

　図４は、ぼやけ補正部３の詳細を示した図である。ぼやけ補正部３は、輪郭形状計算部１５と、画素変換部１６とを備える。
　輪郭形状計算部１５は、入力される動きぼやけ判定結果ｂｆを元に、輪郭形状を計算し、画素変換部１６に対して、変換制御信号ｊを出力する。
　画素変換部１６は、変換制御信号ｊと、入力される映像信号ｄ１及びｄ３を元に、映像信号ｄ２を変換し、変換後の映像信号ｋを出力する。

　以下、画像表示装置８１の各構成要素の動作についてさらに詳しく説明する。
　画像表示装置８１に入力された映像信号ｄ０は遅延部１に入力される。
　図５（ａ）～（ｆ）は、遅延部１に入力される映像信号ｄ０と、出力される映像信号ｄ１、ｄ２、ｄ３の関係を説明する図である。図５（ａ）に示される入力垂直同期信号ＳＹＩに同期して、図５（ｂ）に示すように、フレームＦ０、Ｆ１、Ｆ２、Ｆ３の入力映像信号ｄ０が順次入力される。フレームメモリ制御部５は入力垂直同期信号ＳＹＩを元にフレームメモリ書込みアドレスを生成し、入力映像信号ｄ０をフレームメモリ６に記憶させると共に、図５（ｃ）に示す出力垂直同期信号ＳＹＯ（入力垂直同期信号ＳＹＩに対して遅れがないものとして示してある）に同期して、図５（ｄ）に示すように、入力映像信号ｄ０に対してフレーム遅延のない映像信号ｄ１（フレームＦ０、Ｆ１、Ｆ２、Ｆ３の映像信号）を出力する。フレームメモリ制御部５はまた、入力垂直同期信号を元にフレームメモリ読み出しアドレスを生成し、フレームメモリ６に蓄えられた、１フレーム遅延映像信号ｄ２（図５（ｅ））及び２フレーム遅延映像信号ｄ３（図５（ｆ））をそれぞれ読み出して出力する。この結果、遅延部１からは、連続する３フレームの映像信号ｄ１、ｄ２、ｄ３が同時に出力される。即ち、フレームＦ２の映像信号が映像信号ｄ０として入力されるタイミング（フレーム期間）に、フレームＦ２、Ｆ１、Ｆ０の映像信号が映像信号ｄ１、ｄ２、ｄ３として出力され、フレームＦ３の映像信号が映像信号ｄ０として入力されるタイミング（フレーム期間）に、フレームＦ３、Ｆ２、Ｆ１の映像信号が映像信号ｄ１、ｄ２、ｄ３として出力される。

　遅延部１から出力された、連続する３フレームの映像信号ｄ１、ｄ２、ｄ３は、ぼやけ検出部２及びぼやけ補正部３へ出力される。ぼやけ検出部２に入力された映像信号ｄ１、ｄ２、ｄ３は、ＬＰＦ７、８、９にそれぞれ入力される。

　図６は、映像信号ｄ１、ｄ２、ｄ３の例を示す。水平方向は画素位置を、垂直方向は階調を示しており、階調が緩やかに変化している画像の輪郭部を示している。

　ＬＰＦ７、８、９では、図６に示される映像信号の高周波成分を除去する。これは、フレーム蓄積時間に起因するぼやけは比較的遷移幅の広い、言い換えれば比較的動きの速い映像で問題となるため、入力信号の高周波数成分はフレーム蓄積時間に起因するぼやけの検出には不要な成分であるからである。
　図７に、図６に示す映像信号を、ＬＰＦ７、８、９を用いて高周波成分を除去した映像信号ｅの例を示す。

　１フレーム遅延映像信号ｄ２の高周波成分を除去することで生成された映像信号ｅ２は、微分部１０、並びに差分検出部１１及び１２に供給される。

　微分部１０は、入力される映像信号ｅ２の微分値を算出する。この微分値の算出においては、隣接画素間の差分の絶対値が求められる。図８は、図７に示す映像信号ｅ２の微分結果ｆを示す。
　微分部１０は微分結果（微分結果信号）ｆを遷移期間検出部１３に出力する。

　図９は遷移期間検出部１３の詳細構成を示す。図示の遷移期間検出部１３は、３値化部１７と、判定フラグ生成部１８とを備える。
　３値化部１７は、予め決められた２つの閾値Ｓ１、Ｓ２（Ｓ１＜Ｓ２）を用いて入力信号ｆを３値化し、３値化信号ｆｋを出力する。
　判定フラグ生成部１８は、３値化信号ｆｋを元に遷移期間判定結果ｈを出力する。

　図１０（ａ）～（ｃ）は遷移期間検出部１３内での信号の例を示す。横軸は画素位置を示す。図１０（ａ）は、入力信号ｆを示し、図１０（ｂ）は、図１０（ａ）に示す信号ｆを３値化した結果として得られる３値化信号ｆｋを示し、図１０（ｃ）は図１０（ｂ）に示す３値化信号ｆｋから、中間値とそれ以外の値で分類し、遷移期間判定結果ｈを求めた結果を示す。

　一般的に被写体の動き（カメラに対する相対的な動き）が速くなる（ぼやけの幅が広くなる）に従い、画像の復元がより困難となる。よって被写体の動きが速い場合に見られる変化の小さい輪郭は、閾値Ｓ１を設定し、信号ｆが閾値Ｓ１より小さい場合には、遷移期間内ではないと判定する（遷移期間であることを示す信号ｈをＬｏとする）ことで補正対象から除外することが可能となる。また傾きが急峻な輪郭は、被写体の動きがゆっくりの場合に発生するが、そもそも輪郭が急峻なものは補正を行なわなくとも鮮鋭度を確保できているため、閾値Ｓ２を設定し、信号ｆ３が閾値Ｓ２よりも大きい場合には、遷移期間内ではないと判定する（遷移期間であることを示す信号ｈをＬｏとする）ことで、補正対象から除外することが可能となる。
　以上のように、信号ｈは、
　Ｓ１＜ｆ＜Ｓ２のときに、ｈ＝Ｈｉとなり、
　それ以外のとき、即ち、ｆ≦Ｓ１又はｆ≧Ｓ２のときには、ｈ＝Ｌｏとなる。

　ＬＰＦ８から出力された信号ｅ２は、差分検出部１１、１２にも入力され、ＬＰＦ７から出力された信号ｅ１は、差分検出部１１、２７に入力され、ＬＰＦ９から出力された信号ｅ３は、差分検出部１２、２７に入力される。
　図１１（ａ）及び（ｂ）は、連続した３フレームの信号ｅ１、ｅ２、ｅ３の関係を示す図である。
　通常、６０Ｈｚで送信されてくる映像は、フレーム蓄積時間１／６０秒で撮影されているため、被写体が動いている場合、その輪郭部Ｃｅ３、Ｃｅ２、Ｃｅ１は図１１（ａ）及び（ｂ）に示すようにフレーム間で連続して観測される。具体的には、被写体が動いている場合、図１１（ａ）に示すように、２フレーム遅延信号ｅ３の階調変化が終わった画素位置から、１フレーム遅延信号ｅ２の階調変化が始まる。同様に、図１１（ｂ）に示すように、１フレーム遅延信号ｅ２の階調変化が終わった画素位置から、現フレーム信号ｅ１の階調が変化し始める。

　図１２は差分検出部１１の詳細な構成を示した図である。図示の差分検出部１１は差分計算部１９と、差分補正部２０とを備える。
　差分計算部１９は、入力信号ｅ１、ｅ２相互間の差分を計算し、計算結果ｄｅを出力する。差分計算結果ｄｅは差分補正部２０に供給する。
　差分補正部２０は、予め与えられた閾値Ｓ３を用いて差分計算結果ｄｅを補正し、差分補正信号ｇ１を生成し出力する。

　図１３（ａ）及び（ｂ）は、差分検出部１１の動作を説明するための図である。
　図１３（ａ）は、入力される２フレーム分の信号ｅ１、ｅ２を示す。図１３（ｂ）は差分計算結果ｄｅ(＝ｅ２－ｅ１)を示す。図１３（ｃ）は生成された差分補正信号ｇ１を示す。ここでそれぞれの図の横軸は画素位置を示している。
　入力される、連続する２フレームの信号ｅ２、ｅ１（図１３（ａ））に、被写体が動いている箇所がある場合、差分計算部１９にてフレーム間差分を取ると、図１３（ｂ）に示すように、フレーム間で輪郭が連続する画素位置Ｅｅをピークとする、差分計算結果ｄｅが得られる。

　差分計算部１９より出力された差分計算結果ｄｅは差分量補正部２０に入力される。映像信号にはノイズ成分が重畳されていることが多く、本来被写体が動いていない箇所でも、フレーム間で差分量を計算すると、若干の差が検出されることがある。そこで差分量補正部２０では、差分計算結果ｄｅの大きさを閾値Ｓ３の大きさだけ減少させる処理を行う。即ち、差分計算結果ｄｅの絶対値から閾値Ｓ３を減算する。これにより、ノイズによる誤検出を低減した差分補正信号ｇ１（図１３（ｃ））を生成し出力する。
　なお、以下の説明から理解されるように、ぼやけ検出部２内における処理では、差分の絶対値のみが問題になるので、差分検出部２７において差分を求める場合、２つの信号のどちらからどちらを減算するかは問題とならない。差分検出部１１、１２においても同じである。

　差分計算部１２の構成及び動作は差分計算部１１と同じであるが、信号ｅ１、ｅ２の代わりに、信号ｅ２、ｅ３が入力され、信号ｇ１の代わりに信号ｇ２を出力する。

　同様に、差分計算部２７の構成及び動作は差分計算部１１と同じであるが、信号ｅ１、ｅ２の代わりに、信号ｅ１、ｅ３が入力され、信号ｇ１の代わりに信号ｇ３を出力する。
　差分演算部２７においては、信号ｅ１、ｅ３（図１４（ａ））から、ｅ１とｅ３の差ｄｅ（図１４（ｂ））を求め、さらに差分補正信号ｇ３（図１４（ｃ））をが生成する過程を示す。

　ｇ１、ｇ２、ｇ３は以下の式で表される。
　｜ｅ２－ｅ１｜＞Ｓ３の場合には、ｇ１＝｜ｅ２－ｅ１｜－Ｓ３
　そうでない場合には、ｇ１＝０
　｜ｅ３－ｅ２｜＞Ｓ３の場合には、ｇ２＝｜ｅ３－ｅ２｜－Ｓ３
　そうでない場合には、ｇ２＝０
　｜ｅ３－ｅ１｜＞Ｓ３の場合には、ｇ３＝｜ｅ３－ｅ１｜－Ｓ３
　そうでない場合には、ｇ３＝０

　差分計算部２７から出力された差分補正信号ｇ３（図１４（ｃ））は、微分部２８に入力される。微分部２８は微分部１０と同様に、信号ｇ３の微分値ｆ３（図１４（ｄ））を算出する。この微分値ｆ３の算出においても、隣接画素間の差分の絶対値が求められる。

　被写体の動きが原因で輪郭部がぼやけている場合、注目フレームの信号（１フレーム遅延信号）の輪郭部Ｃｅ２では、前後のフレーム相互間の差分（２フレーム遅延信号ｅ３と現フレーム信号ｅ１の差）を微分した結果ｆ３（図１４（ｄ））はほぼ０になる。

　差分検出部１１、１２から出力された差分補正信号ｇ１、ｇ２と、微分部２８から出力された微分値ｆ３と、遷移期間検出部１３から出力された遷移期間判定結果ｈとは、ぼやけ期間判定部１４に入力される。

　図１５は、ぼやけ期間判定部１４の構成を示す図である。微分値ｆ３は２値化部２２に入力される。２値化部２２では、微分値ｆ３を予め与えられた閾値Ｓ４を用いて２値化を行い、２値化差分補正信号ｄｇ３をステート判定部２５に出力する。
　差分補正信号ｇ１は２値化部２３に入力される。２値化部２３では２値化部２２と同様に、予め与えられた閾値Ｓ５を用いて、入力された差分補正信号ｇ１の２値化を行い、２値化差分補正信号ｄｇ１をステート判定部２５に出力する。
　同様に、差分補正信号ｇ２は２値化部２４に入力される。２値化部２４では２値化部２２、２３と同様に、予め与えられた閾値Ｓ６を用いて、入力された差分補正信号ｇ２の２値化を行い、２値化差分補正信号ｄｇ２をステート判定部２５に出力する。
　ステート判定部２５は、２値化差分補正信号ｄｇ１、ｄｇ２、ｄｇ３を元に、輪郭状態フラグｇｓを生成し、ぼやけ判定部２６に出力する。ぼやけ判定部２６は、輪郭状態フラグｇｓと、遷移期間判定結果ｈを元に、ぼやけ検出フラグｂｆを出力する。

　図１６（ａ）及び（ｂ）は２値化部２２の動作を説明するための図であり、入力信号ｆ３と出力信号ｄｇ３の関係を示している。
　入力された信号ｆ３（図１６（ａ））は、その絶対値が予め与えられた閾値Ｓ４より大きい場合は１、小さい場合は０に２値化され、ステート判定部２５に出力される。２値化された結果得られる信号ｄｇ３が図１６（ｂ）に示されている。
　２値化部２３、２４の動作は２値化部２２と同様であるが、信号ｆ３の代わりに、信号ｇ１、ｇ２が入力され、信号ｄｇ３の代わりに、信号ｄｇ１、ｄｇ２が出力される。

　図１７はステート判定部２５の内部構成を示す図である。図示のステート判定部２５は、状態比較部２１と状態補正部２９とを備える。
　ステート判定部２５に入力される２値化差分補正信号ｄｇ１、ｄｇ２は状態比較部２１に入力する。状態比較部２１は、入力された２つの差分補正信号ｄｇ１、ｄｇ２を比較した結果、状態比較信号ｇｓｓを状態補正部２９に出力する。状態補正部２９では、状態比較信号ｇｓｓを、２値化差分補正信号ｄｇ３を元に補正し、状態補正信号＜ｇｓを出力する。

　図１８（ａ）～（ｃ）は、状態比較部２１の動作を説明するための図である。状態比較部２１に入力される２値化差分補正信号ｄｇ１、ｄｇ２は、それぞれ図１８（ａ）、（ｂ）に示すようであったとする。状態比較部２１は、２つの２値化差分補正信号の状態により３つのステート（Ａ、Ｂ、Ｃ）をもつ状態比較信号ｇｓｓ（図１８（ｃ））を出力する。２値化差分補正信号ｄｇ１、ｄｇ２が共にＬｏである場合に、状態比較信号ｇｓｓはステートＡとなる。２値化差分補正信号ｄｇ１、ｄｇ２の状態が互いに異なる場合（ｄｇ１≠ｄｇ２のとき）に状態比較信号ｇｓｓはステートＢとなる。２値化差分補正信号ｄｇ１、ｄｇ２が共にＨｉの場合に状態比較信号ｇｓｓはステートＣとなる。

　図１９（ａ）～（ｅ）は状態補正部２９の動作を説明するための図である。状態比較部２１から入力される状態比較信号ｇｓｓは、図１９（ａ）に示すように、３つのステートＡ、Ｂ、Ｃを持つ信号である。状態補正部２９では、信号ｇｓｓがステートＣの場合に、２値化差分補正信号ｄｇ３（図１９（ｂ）、（ｄ））の状態に応じて補正を行なって、状態補正信号（フラグ）ｇｓ（図１９（ｃ）、（ｅ）を生成する。
　具体的には、信号ｇｓｓがステートＡの場合には、ｇｓを（ｇｓｓと同じく）ステートＡとし、信号ｇｓｓがステートＢの場合には、ｇｓを（ｇｓｓと同じく）ステートＢとする。
　一方、信号ｇｓｓがステートＣで、かつｄｇ３＝Ｌｏの場合、ｇｓをステートＤとする。
　なお、図１９（ｄ）に示すように、信号ｇｓｓがステートＣで、かつｄｇ３＝Ｈｉの場合には、図１９（ｅ）に示すように、ｇｓを（ｇｓｓと同じく）ステートＣとする。
　以上のようにして、状態補正部２９が出力する状態補正信号ｇｓは４つのステートを持つ信号になる。

　図２０（ａ）～（ｃ）は、ぼやけ判定部２６の動作を説明する図である。
　ステート判定部２５から出力される、図２０（ａ）に示される状態補正信号ｇｓは４つのステートＡ、Ｂ、Ｃ、Ｄを持つ信号であり、遷移期間判定結果ｈは図２０（ｂ）に示すように２値信号である。
　ぼやけ判定部２６では、状態補正信号ｇｓのステートＢ、Ｃ、Ｄの信号に対して作用し、遷移期間判定信号ｈがＬｏの場合は、ステートＢ、Ｃ、Ｄのそれぞれの信号をステートＡに変換して出力する。ステートＡは、ぼやけ補正の対象外のステートである。一方、遷移期間判定信号ｈがＨｉの場合は、ステートＢ、Ｃ、Ｄのそれぞれの信号をそのままＢ、Ｃ、Ｄとして出力する。なお、ステートＡの信号は、遷移期間判定信号ｈがＨｉであるかＬｏであるかに拘わらず、そのまま出力される。このようにして、ぼやけ判定部２６は、４つのステートＡ、Ｂ、Ｃ、Ｄを持つ動きぼやけ検出フラグｂｆ（図２０（ｃ））を生成して出力する。

　ぼやけ検出部２から出力された、４つのステートＡ、Ｂ、Ｃ、Ｄを持つ動きぼやけ検出フラグｂｆと、遅延部１から出力された映像信号ｄ１、ｄ２、ｄ３とは、ぼやけ補正部３に入力される。ぼやけ補正部３の構成は図４で説明しているとおりであり、ここでは、ぼやけ補正部３の動作について説明する。

　ぼやけ補正部３に入力された動きぼやけ検出フラグｂｆは輪郭形状計算部１５に入力される。図２１は輪郭形状計算部１５の詳細の構成を示した図であり、輪郭形状計算部１５は、画素カウンタ部３０と、ステートＤカウンタ部３１と、中心検出部３２と、コア位置判定部３３と、変換信号生成部３４とを備える。
　動きぼやけ検出フラグｂｆは、画素カウンタ部３０と、ステートＤカウンタ部３１と、変換信号生成部３４とに入力される。

　画素カウンタ部３０は、画素クロックを、画面上の各ラインの処理の開始時点からカウントすることで得られるカウント値ｃ１を、当該ライン上の画素位置を示すデータとして出力する。
　ステートＤカウンタ部３１は、画素クロックを、動きぼやけ検出フラグｂｆに含まれるステートＤの開始時点から終了時点までカウントすることで得られるカウント値ｃ２をステートＤの幅（持続時間）を示すデータとして出力する。
　画素クロックは、画像処理装置内の各部において、処理を同期させるために発生されるクロックであり、画素クロックが発生される度に一つの画素の信号が処理される。

　画素カウンタ部３０とステートＤカウンタ部３１から出力されるカウント結果ｃ１、ｃ２は中心検出部３２に入力される。
　中心検出部３２では、カウント結果ｃ１とｃ２から、ステートＤ期間の中心位置（を示すデータ）ｃ３を検出する。検出されたステートＤ期間の中心位置ｃ３はコア位置判定部３３に出力される。コア位置判定部３３では、予め与えられた閾値Ｓ７を用いて、ぼやけ補正時のコア領域を計算し、コア領域判定フラグｃ４を出力する。
　コア領域判定フラグｃ４は変換信号生成部３４に送られる。変換信号生成部３４では、入力された動きぼやけ検出フラグｂｆと、コア領域判定フラグｃ４を元に変換制御信号ｊを出力する。

　図２２（ａ）～（ｄ）は動きぼやけ検出フラグｂｆと、画素カウンタ出力ｃ１、ステートＤカウンタ出力ｃ２とからコア領域判定フラグｃ４を生成する動作を示す。
　図２２（ａ）に示す動きぼやけ検出フラグｂｆがステートＤカウンタ部３１に入力されたとき、ステートＤのカウント値ｃ２（図２２（ｃ））は９までカウントアップされ、最大カウント値ｃ２ｍａｘは９となる。中心検出部３２は、ステートＤの最大カウント値ｃ２ｍａｘと、最大カウント値ｃ２ｍａｘとなったときの画素カウンタ部３０の出力結果ｃ１（図２２（ｂ））に基づき、
　ｃ３＝ｃ１－（ｃ２ｍａｘ－１）／２
　　　＝１２－（９－１）／２＝８
の演算を行い（端数を切り上げ又は切り下げることにより、ステートＤの中心位置ｃ３を求める。図示の例では、ｃ３は「８」となる。中心位置（を示すデータ）ｃ３は、コア位置判定部３３に出力される。

　コア位置判定部３３では、中心検出部３２から出力されるステートＤの中心位置ｃ３と予め与えられた閾値Ｓ７を元に、ぼやけ補正時のコア領域を計算し、コア領域判定フラグｃ４（図２２（ｄ））を出力する。例えば、ｃ３－Ｓ７からｃ３＋Ｓ７までをコア領域として、その間コア領域判定フラグｃ４がＨｉとなるようにする。例えば閾値Ｓ７が「２」であったとする。

　図２２（ａ）～（ｃ）に示される条件で中心検出部３２から出力されるステートＤの中心位置ｃ３は「８」であるので、コア領域判定フラグｃ４は、ｃ１ｂ＝ｃ３－Ｓ７＝８－２＝６からｃ１ｅ＝ｃ３＋Ｓ７＝８＋２＝１０までの画素位置においてフラグｃ４（図２２（ｄ））がＨｉになる。

　図２３（ａ）～（ｃ）は変換信号生成部３４の動作を説明するための図であり、入力される動きぼやけ検出フラグｂｆ（図２３（ａ））、コア領域判定フラグｃ４（図２３（ｂ））と、出力される変換制御信号ｊ（図２３（ｃ））の関係を示す。変換信号生成部３４では、コア領域判定フラグｃ４がＨｉの期間は、入力される動きぼやけ検出フラグｂｆのステートを、ステートＥに変換して出力する。一方、ｃ４がＬｏの期間は、ｂｆをそのまま変換制御信号ｊとして出力する。
　つまり、変換信号生成部３４から出力される変換制御信号ｊは５つのステートＡ、Ｂ、Ｃ、Ｄ、Ｅを持つ信号である。

　輪郭形状計算部１５から出力された変換制御信号ｊは、映像信号ｄ１、ｄ２、ｄ３と共に、画素変換部１６に入力される。画素変換部１６では、変換制御信号ｊのステートを元に、入力される映像信号ｄ１、ｄ２、ｄ３から画像表示部４に出力される映像信号ｋを生成する。

　図２４（ａ）～（ｃ）に映像信号ｋの生成の過程の一例を示す。画素変換部１６に入力される映像信号ｄ１、ｄ２、ｄ３が図２４（ａ）に示すごとくであり、変換制御信号ｊが図２４（ｂ）に示す通りであるとする。ここで、変換制御信号ｊがステートＢ又はＤであるときは、
　｜ｄ２－ｄ１｜＞｜ｄ２－ｄ３｜ならば、ｄ３を出力映像信号ｋとして出力し、
　｜ｄ２－ｄ１｜≦｜ｄ２－ｄ３｜ならば、ｄ１を出力映像信号ｋとして出力する（図２４（ｃ））。即ち、ｄ３、ｄ１のうち、ｄ２との差が小さいものを出力映像信号ｋとして出力する。

　変換制御信号ｊがステートＢ、Ｄ以外である場合（即ち、ステートＡ、Ｃ、Ｅである場合）、ｄ２を出力映像信号ｋとして出力する。このようにして、ステートＥ（ぼやけ期間のうちの中心部分に位置するコア領域）において、映像信号ｄ２がｋとして出力され、ステートＤ（ほやけ期間のうちのコア領域以外の領域）において、信号ｄ３、ｄ１のうちのｄ２との差がより小さいものを出力映像信号ｋとして出力している。
　このような処理により、本処理を行わずに映像信号ｄ２を表示に用いる場合と比較して、ぼやけの原因となる輪郭の遷移幅が狭くすることが可能となる。

　以上説明したように、入力された画像信号のフレーム間の差分量の特徴から、映像中に含まれる動きぼやけの発生している領域を検出し、検出された動きぼやけの大きさに合わせてぼやけ幅を狭くすることにより、動画表示時の画質を向上させることが可能となる。
また、回路規模が比較的小さくて済むので、省エネルギー効果も得られる。

Claims (14)

1. 　入力された映像信号に対してフレーム遅延していない第１の映像信号と、入力された映像信号に対して、第１の所定のフレーム数遅延している第２の映像信号と、前記第２の映像信号に対して、前記第１の所定のフレーム数遅延している第３の映像信号とを生成する遅延手段と、
   　前記第１の映像信号と前記第２の映像信号の階調差を検出する第１の差分検出手段と、
   　前記第２の映像信号と前記第３の映像信号の階調差を検出する第２の差分検出手段と、
   　前記第１の映像信号と前記第３の映像信号の階調差を検出する第３の差分検出手段と、
   　前記第３の差分検出手段で検出された階調差の隣接する画素間の信号の変化を検出する微分手段と、
   　前記第２の映像信号において、隣接する画素間の階調変化を検出し、前記階調変化を元に映像信号に含まれる階調の遷移期間を検出する遷移期間検出手段とを有し
   　前記第１の差分検出手段で検出された前記階調差と、前記第２の差分検出手段で検出された前記階調差と、前記微分手段で検出された微分結果と、前記遷移期間検出手段で検出された前記第２の映像信号の階調の遷移期間を元に、動きぼやけ期間を検出することを特徴とする動きぼやけ検出装置。
2. 　前記遅延手段が、入力された映像信号を複数フレーム分蓄積可能なフレームメモリを有し、前記入力された映像信号をフレーム遅延させることなく前記第１の映像信号を生成し、前記第１の映像信号を前記フレームメモリを用いることで前記第１の所定のフレーム数遅延させることで前記第２の映像信号を生成し、前記第２の映像信号を前記フレームメモリを用いることで前記第１の所定のフレーム数遅延させることで前記第３の映像信号を生成することを特徴とする請求項１に記載の動きぼやけ検出装置。
3. 　前記遅延手段は、２フレーム分の蓄積可能なフレームメモリを有し、
   　前記第１の映像信号と、前記第１の映像信号を１フレーム遅延させた第２の映像信号と、前記第２の映像信号を１フレーム遅延させた第３の映像信号を生成することを特徴とする請求項２に記載の動きぼやけ検出装置。
4. 　前記遷移期間検出手段は、前記第２の映像信号の隣接する画素間の階調変化の絶対値が、第１の所定の閾値よりも大きく、かつ第２の所定の閾値よりも小さいときに、遷移期間内であると判定することを特徴とする請求項１に記載の動きぼやけ検出装置。
5. 　前記ぼやけ判定手段は、前記遷移期間検出手段で検出された前記第２の映像信号の階調の遷移期間と、
   　前記第１の差分検出手段で検出した前記第１の映像信号と前記第２の映像信号の階調差と、
   　前記第２の差分検出手段で検出した前記第２の映像信号と前記第３の映像信号の階調差とを元に、
   　前記動きぼやけ期間を判定することを特徴とする請求項１乃至４のいずれかに記載の動きぼやけ検出装置。
6. 　前記ぼやけ判定手段は、
   　前記第１の映像信号と前記第２の映像信号の階調差の絶対値が所定値より大きく、
   　前記第２の映像信号と前記第３の映像信号の階調差の絶対値が所定値より大きく、
   　前記微分手段で検出された微分結果の絶対値が所定値より小さく、
   　前記第２の映像信号の階調が遷移期間内にあるぼやけ期間であると判定することを特徴とする請求項５に記載の動きぼやけ検出装置。
7. 　前記ぼやけ判定手段は、
   　前記遷移期間検出手段で検出された前記第２の映像信号に含まれる階調の遷移期間と、前記差分検出手段において検出した前記第１の映像信号と前記第３の映像信号の階調差を、前記微分手段で微分した結果を元に、動きぼやけ期間を判定することを特徴とする請求項１乃至４のいずれかに記載の動きぼやけ検出装置。
8. 　前記ぼやけ判定手段は、微分手段の微分結果が、所定の第３の閾値よりも小さい場合のみ動きぼやけ期間と判定することを特徴とする請求項７に記載の動きぼやけ検出装置。
9. 　前記ぼやけ判定手段は、前記第１の差分検出手段で検出した前記第１の映像信号と前記第２の映像信号の階調差と、前記第２の差分検出手段で検出した前記第２の映像信号と前記第３の映像信号の階調差の、少なくとも一方が所定の第４の閾値よりも大きい場合にのみ動きぼやけ期間と判定することを特徴とする請求項１、５又は７に記載の動きぼやけ検出装置。
10. 　請求項１乃至９のいずれかに記載のぼやけ検出装置による動きぼやけ期間の検出結果を元に、前記第２の映像信号を補正するぼやけ補正手段を有し、
    　前記ぼやけ補正手段は、前記ぼやけ判定装置で検出された前記動きぼやけ期間の間のみ前記第２の映像信号を補正する
    　ことを特徴とする画像処理装置。
11. 　前記ぼやけ補正手段は、前記ぼやけ判定手段で判定された結果に基づき、前記第１の映像信号、前記第２の映像信号及び前記第３の映像信号のいずれかを選択して出力することを特徴とする請求項１０に記載の画像処理装置。
12. 　前記ぼやけ補正手段は、
    　輪郭形状計算部と、画素変換部とを有し、
    　前記輪郭形状計算部は、
    　前記ぼやけ判定手段で検出したぼやけ期間のうちの中心部分に位置するコア領域を検出し、
    　前記画素変換部は、
    　前記コア領域においては、前記第２の映像信号を選択して出力し、
    　前記ぼやけ期間のうち、前記コア領域以外の領域においては、前記第１の映像信号及び前記第３の映像信号のうち、前記第２の映像信号との差がより小さいものを出力する
    　ことを特徴とする請求項１１に記載の画像処理装置。
13. 　請求項１０乃至１２のいずれかに記載の画像処理装置と、
    前記画像処理装置から出力された画像データに基づく画像を表示する表示手段を有することを特徴とする画像表示装置。
14. 　入力された映像信号に対してフレーム遅延していない第１の映像信号と、入力された映像信号に対して、第１の所定のフレーム数遅延している第２の映像信号と、前記第２の映像信号に対して、前記第１の所定のフレーム数遅延している第３の映像信号とを生成する遅延ステップと、
    　前記第１の映像信号と前記第２の映像信号の階調差を検出する第１の差分検出ステップと、
    　前記第２の映像信号と前記第３の映像信号の階調差を検出する第２の差分検出ステップと、
    　前記第１の映像信号と前記第３の映像信号の階調差を検出する第３の差分検出ステップと、
    　前記第３の差分検出ステップで検出された階調差の隣接する画素間の信号の変化を検出する微分ステップと、
    　前記第２の映像信号において、隣接する画素間の階調変化を検出し、前記階調変化を元に映像信号に含まれる階調の遷移期間を検出する遷移期間検出ステップとを有し
    　前記第１の差分検出ステップで検出された前記階調差と、前記第２の差分検出ステップで検出された前記階調差と、前記微分ステップで検出された微分結果と、前記遷移期間検出ステップで検出された前記第２の映像信号の階調の遷移期間を元に、動きぼやけ期間を判定することを特徴とする動きぼやけ検出方法。

Images