JP4731356B2 - 画像表示装置及び方法 - Google Patents

Description

本発明は、フレームレートあるいはフィールドレートを変換する機能を備えた画像表示装置及び方法に関し、より詳細には、動き補償型のレート変換処理を行う際に画像に含まれる規則的な繰り返し模様部分の画質劣化を防止する画像表示装置及び該装置による画像表示方法に関する。

動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）に対して、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許文献１参照）。

電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。

上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。

上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）と呼ばれ、液晶表示装置等において実用化されている。

従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法が知られている。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。

そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿（動き補正）処理が提案されている。この動き補正処理によれば、動画像そのものをとらえて補正するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。

前述の特許文献１には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。

このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画質劣化を改善することが可能となる。

ここで、上記動き補償フレーム内挿処理においては、動き補正のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。

図２２は、勾配法を用いた従来の動きベクトル検出部の構成を示すブロック図で、図中、１００は動きベクトル検出部、１０１はベクトルメモリを示す。動きベクトル検出部１００は、遅延部１００ａ、ベクトル選択部１００ｂ、及び動きベクトル演算部１００ｃを備えて構成される。

入力画像信号は、遅延部１００ａによって１フレーム期間遅延され、前フレームと現フレームそれぞれの画像データは、ベクトル選択部１００ｂ、動きベクトル演算部１００ｃに入力される。ベクトルメモリ１０１からは、１フレーム前の検出ベクトルが推定ベクトル（すなわち、初期ベクトル候補）として順次出力される。

ベクトル選択部１００ｂは、ベクトルメモリ１０１から順に入力される推定ベクトルからＤＦＤ（Ｄｉｓｐｌａｃｅｄ Ｆｉｅｌｄ Ｄｉｆｆｅｒｅｎｃｅ）を算出する。このＤＦＤとは、算出ベクトル（ここでは推定ベクトル）の正確さの程度を示す指標であり、被検出ブロック内の各画素におけるフレーム間差分の絶対値和である。そして、ベクトル選択部１００ｂは、ＤＦＤの値が最小となる推定ベクトルを初期ベクトルとして選択する。

動きベクトル演算部１００ｃは、ベクトル選択部１００ｂからの初期ベクトルに基づいてフレーム間の動きベクトルを勾配法演算によって算出し検出ベクトルとして出力する。この勾配法においては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより２つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、２つのフレーム間の任意の位置の画像を正しく位置補正して内挿することにより、フレーム数の変換を行う。

図２３は、ブロックマッチング法を用いた従来の動きベクトル検出部の構成を示すブロック図で、図中、１００は動きベクトル検出部、１０２は推定ベクトル出力部を示す。動きベクトル検出部１００は、遅延部１００ａ、ベクトル選択部１００ｂを備えて構成される。

図２２に示した勾配法のときと同様に、入力画像信号は、遅延部１００ａによって１フレーム期間遅延され、前フレームと現フレームそれぞれの画像データは、ベクトル選択部１００ｂに入力される。推定ベクトル出力部１０２は、ベクトル探索範囲の座標を評価するために、注目座標と探索座標とを結ぶ推定ベクトルを順に出力する。

ベクトル選択部１００ｂは、推定ベクトル出力部１０２から順に入力される推定ベクトルからＤＦＤを算出し、ブロックマッチング法を用いて、入力された推定ベクトルの中から、ＤＦＤの値が最小となる推定ベクトルを検出ベクトルとして出力する。

しかしながら、上記のような動きベクトル検出においては、格子模様などの規則的な繰り返し模様が画像中に存在する場合、前フレームと後フレームのブロックで周期的に模様が一致してしまい、動きベクトルが一意に定まらず、正しい動きを推定できないことがある。この結果、繰り返し模様部分に大きな画質劣化が生じてしまう（例えば、非特許文献１参照）。

繰り返し模様とは、画像中において、空間方向に同じ模様が規則的に繰り返されているものをいう。同じ模様が繰り返されているため、ブロックマッチング法などで動きベクトルを検出したときに、注目位置でない別の繰り返し位置に相当するベクトルを間違えて検出し、正しい動きベクトルが検出されないことがある。このような繰り返し模様を含む画像（動画像）の例を図２４〜図２６に示す。

図２４に示す画像例は、ビルをゆっくりパンニングしたときの画像である。このビルの縦方向の窓枠が繰り返し模様Ｐに相当する。図２５に示す画像例は、格子模様の振り子が背景の中を図中左右方向に振れている画像である。この振り子の格子模様が繰り返し模様Ｐに相当する。

図２６（Ａ）に示す画像例は、和室の障子を背景とする画像で、女性の歩行に追従して図中右方向へゆっくりパンニングした画像である。この背景の障子が繰り返し模様Ｐに相当する。また、図２６（Ｂ）に示す画像例は、図２６（Ａ）に示す画像に動き補正処理が施された内挿画像で、楕円で囲った領域内の繰り返し模様Ｐに破綻が発生している状態を示す。この破綻は、上述したように、繰り返し模様に相当する領域で別の繰り返し位置への動きベクトルが検出されてしまうために発生する。このことは、ブロックマッチング法だけではなく、勾配法を用いた動きベクトル検出でも初期ベクトルの評価にブロックマッチング法と同様の評価方法を使用しているために起こり得るものである。

図２７は、繰り返し模様の破綻原理を説明するための図である。図中、ｖは本来の動きベクトル、Ｖ１，Ｖ２は初期ベクトルの候補（以下、推定ベクトルＶ１，Ｖ２という）を示す。上述の繰り返し模様に対応する領域の前フレームと現フレームにおいて、本来の動きベクトルｖに近い推定ベクトルＶ１と、その倍の大きさの推定ベクトルＶ２が検出されてしまうことがある。このとき、推定ベクトルＶ１に本来の動きベクトルｖに対するずれがあり、推定ベクトルＶ２に本来の動きベクトルｖに対するずれが少なくなると、ＤＦＤ２がＤＦＤ１より小さくなるために推定ベクトルＶ２が優先的に選択され、その結果、内挿画像に破綻が発生する。

上記のような問題に対して、前述の非特許文献１では、動きベクトル検出の高精度化を図ることで、画像に含まれる繰り返し模様部分の画質劣化を防止する手法が提案されている。これについて以下に説明する。

前述の図２１に示した勾配法（反復勾配法）による動きベクトルｖは、初期ベクトルｖ_０として、式（１）により求められる。

ｖ＝Δｖ＋ｖ_０ ・・・式（１）

ここで、Δｖの水平，垂直成分ｖ_ｘ，ｖ_ｙは、画素値の水平勾配Δ_ｘ、垂直勾配Δ_ｙ、ｖ_０による動き補償フィールド間差分Δ_ｔから式（２），（３）で表される。

ｖ_ｘ＝−Σｓｉｇｎ（Δ_ｘ）Δ_ｔ／Σ｜Δ_ｘ｜ ・・・式（２）
ｖ_ｙ＝−Σｓｉｇｎ（Δ_ｙ）Δ_ｔ／Σ｜Δ_ｙ｜ ・・・式（３）

なお、Σは被検出ブロック内の全画素の和、ｓｉｇｎは符号を示す。初期ベクトルｖ_０は、被検出ブロック近傍のブロックにおける既検出動きベクトル（推定ベクトル）を候補としてブロックマッチング法を用いて決定される。

上記の式（２），（３）は、最小２乗法による推定式である式（４），（５）を式（６）の条件において近似したものである。

ｖ_ｘ＝−（ΣΔ_ｙ ^２）（ΣΔ_ｔΔ_ｘ）−（ΣΔ_ｘΔ_ｙ）（ΣΔ_ｔΔ_ｙ）／ΣΔ_ｘ ^２ΣΔ_ｙ ^２−（ΣΔ_ｘΔ_ｙ）^２ ・・・式（４）
ｖ_ｙ＝−（ΣΔ_ｘ ^２）（ΣΔ_ｔΔ_ｙ）−（ΣΔ_ｘΔ_ｙ）（ΣΔ_ｔΔ_ｘ）／ΣΔ_ｘ ^２ΣΔ_ｙ ^２−（ΣΔ_ｘΔ_ｙ）^２ ・・・式（５）
ΣΔ_ｘΔ_ｙ＝０、Σ｜Δ_ｘ｜＞＞０、Σ｜Δ_ｙ｜＞＞０ ・・・式（６）

式（６）の条件によれば、斜め方向の勾配が存在せず、水平，垂直方向の勾配が十分大きいことが仮定されている。従来用いられていた式（２），（３）の近似式は、式（６）の条件を常に満たしているわけではなく、繰り返し模様などの平坦部が多い画像などでは動き推定の精度が低下し、動きベクトルにばらつきが生じていた。

このような従来の動きベクトル検出に対して、非特許文献１で提案されている手法によれば、上記（４），（５）式を忠実にハードウェア化することにより、より高精度に動きベクトルを求め、動きベクトルのばらつきの低減化を図っている。
特許第３２９５４３７号明細書 川田亮一、浜田高宏、松本修一、「動き補正テレビ方式変換の改善」、映像情報メディア学会誌、Ｖｏｌ．５１、Ｎｏ．９、ｐｐ．１５７７−１５８６（１９９７）

しかしながら、非特許文献１で提案されている動きベクトルの検出手法をハードウェア化して実施する場合、動きベクトルの演算処理量が増大してしまうという問題があり、容易に実現できるものではなかった。

本発明は、上述のごとき実情に鑑みてなされたものであり、動き補償型のレート変換（ＦＲＣ）部を備えた画像表示装置において、動きベクトルの演算処理量を増やすことなく、画像に含まれる規則的な繰り返し模様部分の画質劣化を防止すること、を目的とする。

上記課題を解決するために、本発明の第１の技術手段は、入力画像信号のフレーム間あるいはフィールド間に、該入力画像信号のフレーム間あるいはフィールド間の動きベクトルに基づく動き補正処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、既に検出された動きベクトルを推定ベクトルとして複数蓄積するベクトルメモリと、該ベクトルメモリに蓄積された複数の推定ベクトルの中から対象画素又は該対象画素を含む対象領域の動きベクトルに最も近い推定ベクトルを選択する推定ベクトル選択手段と、該選択された推定ベクトルを起点として、動きベクトルを検出する動きベクトル演算手段と、前記推定ベクトル選択手段により選択された推定ベクトルに基づき、前記入力画像信号の中に、空間方向に同じ模様が繰り返される繰り返し模様が含まれるかどうかを検出する繰り返し模様検出手段とを備え、該繰り返し模様検出手段は、前記繰り返し模様が検出された場合、該繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを無効化して他の所定のベクトルに置き換え、前記動きベクトル演算手段は、該置き換えられた他の所定のベクトルに基づいて前記動きベクトルの検出を行うことを特徴としたものである。

第２の技術手段は、第１の技術手段において、前記繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを０ベクトルに置き換えることを特徴としたものである。

第３の技術手段は、第１の技術手段において、前記入力画像信号の画面全体における動きベクトルを算出する手段を備え、前記繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを前記画面全体の動きベクトルに置き換えることを特徴としたものである。

第４の技術手段は、第１の技術手段において、前記入力画像信号の繰り返し模様の周辺領域における動きベクトルを算出する手段を備え、前記繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを前記周辺領域の動きベクトルに置き換えることを特徴としたものである。

第５の技術手段は、第１の技術手段において、前記繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトル以外の他の推定ベクトルに置き換えることを特徴としたものである。

第６の技術手段は、第５の技術手段において、前記他の推定ベクトルは、該他の推定ベクトルを用いて求められる前記繰り返し模様に対応する領域内の各画素におけるフィールド間あるいはフレーム間の差分値が、前記選択された推定ベクトルを用いた場合の差分値の次に小さいものであることを特徴としたものである。

第７の技術手段は、入力画像信号のフレーム間あるいはフィールド間に、動き補正処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像表示方法において、既に検出された動きベクトルを推定ベクトルとして複数蓄積し、該蓄積された複数の推定ベクトルの中から対象画素又は該対象画素を含む対象領域の動きベクトルに最も近い推定ベクトルを選択するステップと、該選択された推定ベクトルを起点として、動きベクトルを検出するステップと、前記選択された推定ベクトルに基づき、前記入力画像信号の中に、空間方向に同じ模様が繰り返される繰り返し模様が含まれるかどうかを検出するステップと、前記繰り返し模様が検出された場合、該繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを無効化して他の所定のベクトルに置き換え、該置き換えられた他の所定のベクトルに基づいて前記動きベクトルの検出を行うステップとを備えたことを特徴としたものである。

本発明によれば、動き補償型のレート変換（ＦＲＣ）部を備えた画像表示装置において、動きベクトルの演算処理量を増やすことなく、画像に含まれる規則的な繰り返し模様部分の画質劣化を効果的に防止することができる。

以下、添付図面を参照しながら本発明の好適な画像表示装置の実施の形態について説明する。なお、本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。

図１は、本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図で、図中、１０はフレームレート変換部（以下、ＦＲＣ部）で、該ＦＲＣ部１０は、入力画像信号に含まれる２つの連続したフレーム間で動きベクトルを検出するベクトル検出部１１と、検出した動きベクトルに基づいて内挿フレーム（内挿画像）を生成するフレーム生成部１２とから構成される。なお、ベクトル検出部１１は、動きベクトル検出に反復勾配法を用いた場合の例について示すが、この反復勾配法に限定されず、後述するブロックマッチング法などを用いてもよい。

ここで、反復勾配法の特徴は、動きベクトルの検出がブロック単位で可能であるため、数種類の動き量が検出でき、また、小領域の動物体でも動きベクトルを検出することができる。また、回路構成も他の方式（ブロックマッチング法など）と比較して小規模で実現することができる。この反復勾配法では、被検出ブロックに対して、すでに検出された近傍のブロックの動きベクトルを初期偏位ベクトルとして、これを起点として勾配法の演算を繰り返す方法が用いられる。この方法によれば、勾配法の繰り返しは２回程度でほぼ正確な動き量を得ることができる。

図１において、ベクトル検出部１１は、入力画像信号（ＲＧＢ信号）から輝度信号（Ｙ信号）を抽出する輝度信号抽出部１１ａと、抽出したＹ信号にＬＰＦを掛けて高域部の帯域を制限するための前処理フィルタ１１ｂと、動き検出用フレームメモリ１１ｃと、初期ベクトル候補を推定ベクトルとして蓄積するためのベクトルメモリ１１ｄと、反復勾配法を用いてフレーム間の動きベクトルを検出する動きベクトル検出部１１ｅと、検出した動きベクトルに基づいてフレーム間に内挿ベクトルを割り付ける内挿ベクトル評価部１１ｆと、を備えて構成される。

なお、ＦＲＣ部１０は、本発明のレート変換手段に相当し、動きベクトル検出部１１ｅは、本発明の動きベクトル検出部に相当し、内挿ベクトル評価部１１ｆは、本発明の内挿ベクトル割付部に相当する。

反復勾配法を適用した場合、演算に画素の微分成分を用いているため、ノイズの影響を受け易く、また、検出ブロック内の勾配の変化量が多いと演算誤差が大きくなるため、前処理フィルタ１１ｂにおいてＬＰＦをかけて高域部の帯域を制限しておく。ベクトルメモリ１１ｄには、初期ベクトル候補（推定ベクトル）として、前々フレームで既に検出されている動きベクトルを蓄積しておく。

動きベクトル検出部１１ｅは、ベクトルメモリ１１ｄに蓄積されている推定ベクトルの中から被検出ブロックの動きベクトルに最も近い動きベクトルを初期ベクトルとして選択する。すなわち、被検出ブロック近傍のブロックや所定の相対座標における既検出動きベクトル（推定ベクトル）の中からＤＦＤの一番小さい初期ベクトルを選択する。そして、動きベクトル検出部１１ｅは、選択した初期ベクトルを起点として、勾配法演算によって前フレームと現フレーム間の動きベクトルを検出する。

内挿ベクトル評価部１１ｆは、動きベクトル検出部１１ｅにより検出された動きベクトルを評価し、その評価結果に基づいて最適な内挿ベクトルをフレーム間の内挿ブロックに割り付けて、フレーム生成部１２に出力する。

フレーム生成部１２は、２つの入力フレーム（前フレーム、現フレーム）を蓄積するための内挿用フレームメモリ１２ａと、内挿用フレームメモリ１２ａからの２つの入力フレームと内挿ベクトル評価部１１ｆからの内挿ベクトルとに基づいて内挿フレームを生成する内挿フレーム生成部１２ｂと、入力フレーム（前フレーム、現フレーム）を蓄積するためのタイムベース変換用フレームメモリ１２ｃと、タイムベース変換用フレームメモリ１２ｃからの入力フレームに内挿フレーム生成部１２ｂからの内挿フレームを挿入して出力画像信号（ＲＧＢ信号）を生成するタイムベース変換部１２ｄと、を備えて構成される。

なお、内挿フレーム生成部１２ｂは、本発明の内挿画像生成部に相当し、タイムベース変換部１２ｄは、本発明の画像内挿部に相当する。

図２は、フレーム生成部１２による内挿フレーム生成処理の一例を説明するための図である。内挿フレーム生成部１２ｂは、内挿ブロックに割り付けられた内挿ベクトルＶを前フレーム、現フレームに伸ばして、各フレームとの交点近傍の画素を用いて内挿ブロック内の各画素を補間する。例えば、前フレームでは近傍３点よりＡ点の輝度を算出する。現フレームでは近傍３点よりＢ点の輝度を算出する。内挿フレームではＰ点の輝度をＡ点とＢ点の輝度から補間する。Ｐ点の輝度は、例えばＡ点の輝度とＢ点の輝度の平均としてもよい。

上記のようにして生成された内挿フレームは、タイムベース変換部１２ｄに送られる。タイムベース変換部１２ｄは、前フレーム、現フレームの間に、内挿フレームを挟み込んで、フレームレートを変換する処理を行う。このように、ＦＲＣ部１０により、入力画像信号（６０フレーム／秒）を、動き補償された出力画像信号（１２０フレーム／秒）へ変換することができ、これを表示パネルに出力することにより、動きぼけ妨害の発生を低減して動画質を改善することが可能となる。尚、ここでは、６０フレーム／秒の入力画像信号を、１２０フレーム／秒の出力画像信号にフレームレート変換する場合について説明するが、例えば９０フレーム／秒、１８０フレーム／秒の出力画像信号を得る場合に適用しても良いことは言うまでもない。

図３は、本発明に係るＦＲＣ部１０を備えた画像表示装置の構成例を示すブロック図で、画像表示装置は、ＦＲＣ部１０、制御部１３、電極駆動部１４、及び液晶表示パネル１５を備える。

液晶表示パネル１５は、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶ディスプレイである。電極駆動部１４は、ＦＲＣ部１０によりフレームレート変換された画像信号に基づいて液晶表示パネル１５の走査電極及びデータ電極を駆動するための表示ドライバである。制御部１３は、上記各部を制御するためのＣＰＵやメモリを備える。

液晶表示パネル１５の駆動周波数は、ＦＲＣ部１０により変換されたフレーム周波数となる。従って、例えば６０Ｈｚのフレーム周波数で入力された画像信号が、ＦＲＣ部１０で１２０Ｈｚのフレーム周波数に変換された場合、液晶表示パネル１５の駆動周波数は、１２０Ｈｚとなる。なお、本発明は、液晶ディスプレイ、有機ＥＬディスプレイ、電気泳動ディスプレイなどのホールド型の表示特性を有する画像表示装置全般に適用可能であるが、以下の各実施形態においては、表示パネルとして液晶表示パネルを用いた液晶表示装置に本発明を適用した場合を代表例として説明する。

（第１の実施形態）
本発明の第１の実施形態は、動きベクトル検出に用いる推定ベクトルに基づいて、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記推定ベクトルを無効化し、動きベクトルを検出するものである。より詳しくは、繰り返し模様に対応する画素あるいは該画素を含む領域に対しては、推定ベクトルを０ベクトルとして、動きベクトルの検出を行うことで、繰り返し模様部分での破綻が生じないようにするものである。

図４は、本発明の第１の実施形態に係る動きベクトル検出部１１ｅの構成例を示すブロック図である。図中、動きベクトル検出部１１ｅは、遅延部１１１ｅ、推定ベクトル選択部１１２ｅ、繰り返し模様検出部１１３ｅ、切替部１１４ｅ、及び動きベクトル演算部１１５ｅを備えて構成される。

入力画像信号は、遅延部１１１ｅによって１フレーム期間遅延され、前フレームと現フレームそれぞれの画像データは、推定ベクトル選択部１１２ｅ、繰り返し模様検出部１１３ｅ、及び動きベクトル演算部１１５ｅに入力される。ベクトルメモリ１１ｄからは、１フレーム前（前々フレーム）の検出ベクトルｎ個が推定ベクトル（すなわち、初期ベクトル候補）として順次出力される。

推定ベクトル選択部１１２ｅは、ベクトルメモリ１１ｄから順に入力される推定ベクトルからＤＦＤｉを算出し、ＤＦＤｉの値が最小となる推定ベクトルを初期ベクトルとして選択し、選択した１つの推定ベクトルとそのＤＦＤｉの値を繰り返し模様検出部１１３ｅへ出力すると共に、上記推定ベクトルを切替部１１４ｅへ出力する。

繰り返し模様検出部１１３ｅは、後述の図５で説明する検出手法により、入力画像に繰り返し模様が含まれるかどうかを検出ブロック毎に検出し、その結果、検出ブロックに繰り返し模様が検出された場合、繰り返し模様検出信号を“１”として切替部１１４ｅへ出力する。切替部１１４ｅは、繰り返し模様検出信号に従って、０ベクトル側（図面実線側）へ切り替えて、推定ベクトル選択部１１２ｅからの推定ベクトルに代えて０ベクトルを動きベクトル演算部１１５ｅへ出力する。

一方、検出ブロックに繰り返し模様が検出されなかった場合、繰り返し模様検出部１１３ｅは、繰り返し模様検出信号を“０”として切替部１１４ｅへ出力する。切替部１１４ｅは、繰り返し模様検出信号に従って、推定ベクトル選択部１１２ｅからの推定ベクトル側（図面点線側）へ切り替えて、この推定ベクトルを初期ベクトルとして動きベクトル演算部１１５ｅへ出力する。

動きベクトル演算部１１５ｅは、検出ブロック毎に、０ベクトルあるいは推定ベクトル選択部１１２ｅからの初期ベクトルに基づいてフレーム間の動きベクトルを算出し検出ベクトルとして出力する。このときの検出ベクトルは、前述の式（１）〜式（３）の勾配法演算によって算出されるため、演算処理量が増大することなく、繰り返し模様部分の破綻を防止することができる。

このように、入力画像中に繰り返し模様を検出した場合、勾配法の初期ベクトルを０ベクトルにすることにより、前提条件なしに勾配法を計算することになり、結果として、正しい動きベクトルを算出することができる。また、勾配法によるベクトル検出に失敗した場合でも、０ベクトルの内挿画像（すなわち、同―座標間で線形補間した内挿画像）が生成されることになるため、内挿フレームにゆがんだ画像は生成されず、繰り返し模様部分における破綻を見た目上低減することができる。

図５は、繰り返し模様検出部１１３ｅによる繰り返し模様の検出方法の一例を説明するための図である。図中、ｖは本来の動きベクトル、Ｖｉは選出初期ベクトル、Ｖｇは全画面ベクトルを示す。繰り返し模様検出部１１３ｅは、現フレームに含まれるＢ領域とＣ領域間のＤＦＤｒ（フレーム内差分）を算出し、このＤＦＤｒと、推定ベクトル選択部１１２ｅから入力されるＤＦＤｉとを比較する。ＤＦＤｉは、前フレームのＡ領域と現フレームのＢ領域間のＤＦＤ（フレーム間差分）である。

ＤＦＤｉとＤＦＤｒとの比較処理の結果、両者が略同じであれば、Ａ領域とＢ領域とＣ領域の画素値が略等しいであろうと考えられる。このことは、すなわち、検出ブロック内に繰り返し模様の存在を表すことになる。但し、Ｂ領域とＣ領域は重ならないものとする。

また、ＤＦＤｉはいくつかの推定ベクトルと比較した中の最小のＤＦＤであることを考えれば、ＤＦＤｉ＞ＤＦＤｒである場合、ベクトルＶｉよりもベクトルＶｇのほうが初期ベクトルとして適当であろうと推測される。つまりＶｉが初期ベクトルとして適当ではない可能性が出てくる。そこで、繰り返し模様検出部１１３ｅは、ＤＦＤｉ≧ＤＦＤｒを満たした場合に、ベクトルＶｉを初期ベクトルとして適当でないと判定し、ベクトルＶｉを無効化する。この無効化の手段としては、例えば、図４に示したようにベクトルＶｉを０ベクトルにする。

なお、実際には、映像信号のサンプリング誤差を吸収するために、係数ｋ（ｋ＞１．０）をＤＦＤｉに乗じた下記の式（７）を条件として用いるようにしてもよい。
ＤＦＤｉ＊ｋ≧ＤＦＤｒ・・・式（７）

（第２の実施形態）
本発明の第２の実施形態は、動きベクトル検出に用いる推定ベクトルに基づいて、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記推定ベクトルを無効化し、動きベクトルを検出するものである。より詳しくは、繰り返し模様に対応する画素あるいは該画素を含む領域に対しては、推定ベクトルを画面全体の動きベクトルとして、動きベクトルの検出を行うことで、繰り返し模様部分での破綻が生じないようにするものである。

図６は、本発明の第２の実施形態に係る動きベクトル検出部１１ｅの構成例を示すブロック図である。図中、動きベクトル検出部１１ｅは、遅延部１１１ｅ、推定ベクトル選択部１１２ｅ、繰り返し模様検出部１１３ｅ、切替部１１４ｅ、動きベクトル演算部１１５ｅ、さらに、全画面平均ベクトル算出部１１６ｅを備えて構成される。

入力画像信号は、遅延部１１１ｅによって１フレーム期間遅延され、前フレームと現フレームそれぞれの画像データは、推定ベクトル選択部１１２ｅ、繰り返し模様検出部１１３ｅ、及び動きベクトル演算部１１５ｅに入力される。ベクトルメモリ１１ｄからは、１フレーム前の検出ベクトルｎ個が推定ベクトル（すなわち、初期ベクトル候補）として順次出力される。また、全画面平均ベクトル算出部１１６ｅは、全画面における平均動きベクトルを算出し切替部１１４ｅへ出力する。

推定ベクトル選択部１１２ｅは、ベクトルメモリ１１ｄから順に入力される推定ベクトルからＤＦＤｉを算出し、ブロックマッチング法を用いて、ＤＦＤｉの値が最小となる推定ベクトルを初期ベクトルとして選択し、選択した１つの推定ベクトルとそのＤＦＤｉの値を繰り返し模様検出部１１３ｅへ出力すると共に、上記推定ベクトルを切替部１１４ｅへ出力する。

繰り返し模様検出部１１３ｅは、前述の図５で説明した検出手法により、入力画像に繰り返し模様が含まれるかどうかを検出ブロック毎に検出し、その結果、検出ブロックに繰り返し模様が検出された場合、繰り返し模様検出信号を“１”として切替部１１４ｅへ出力する。切替部１１４ｅは、繰り返し模様検出信号に従って、全画面の平均動きベクトル側（図面実線側）へ切り替えて、推定ベクトル選択部１１２ｅからの推定ベクトルに代えて、全画面平均動きベクトルを動きベクトル演算部１１５ｅへ出力する。

一方、検出ブロックに繰り返し模様が検出されなかった場合、繰り返し模様検出部１１３ｅは、繰り返し模様検出信号を“０”として切替部１１４ｅへ出力する。切替部１１４ｅは、繰り返し模様検出信号に従って、推定ベクトル選択部１１２ｅからの推定ベクトル側（図面点線側）へ切り替えて、この推定ベクトルを初期ベクトルとして動きベクトル演算部１１５ｅへ出力する。

動きベクトル演算部１１５ｅは、検出ブロック毎に、全画面平均ベクトル算出部１１６ｅからの全画面平均動きベクトルあるいは推定ベクトル選択部１１２ｅからの初期ベクトルに基づいてフレーム間の動きベクトルを算出し検出ベクトルとして出力する。このときの検出ベクトルは、前述の式（１）〜式（３）の勾配法演算によって算出されるため、演算処理量が増大することなく、繰り返し模様部分の破綻を防止することができる。

（第３の実施形態）
本発明の第３の実施形態は、動きベクトル検出に用いる推定ベクトルに基づいて、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記推定ベクトルを無効化し、動きベクトルを検出するものである。より詳しくは、繰り返し模様に対応する画素あるいは該画素を含む領域に対しては、推定ベクトルを繰り返し模様の周辺領域の動きベクトルとして、動きベクトルの検出を行うことで、繰り返し模様部分での破綻が生じないようにするものである。

図７は、本発明の第３の実施形態に係る動きベクトル検出部１１ｅの構成例を示すブロック図である。図中、動きベクトル検出部１１ｅは、遅延部１１１ｅ、推定ベクトル選択部１１２ｅ、繰り返し模様検出部１１３ｅ、切替部１１４ｅ、動きベクトル演算部１１５ｅ、さらに、周辺平均ベクトル算出部１１７ｅを備えて構成される。

入力画像信号は、遅延部１１１ｅによって１フレーム期間遅延され、前フレームと現フレームそれぞれの画像データは、推定ベクトル選択部１１２ｅ、繰り返し模様検出部１１３ｅ、及び動きベクトル演算部１１５ｅに入力される。ベクトルメモリ１１ｄからは、１フレーム前の検出ベクトルｎ個が推定ベクトル（すなわち、初期ベクトル候補）として順次出力される。また、周辺平均ベクトル算出部１１７ｅは、繰り返し模様の周辺領域における平均あるいは加重平均の動きベクトルを算出し切替部１１４ｅへ出力する。

推定ベクトル選択部１１２ｅは、ベクトルメモリ１１ｄから順に入力される推定ベクトルからＤＦＤｉを算出し、ＤＦＤｉの値が最小となる推定ベクトルを初期ベクトルとして選択し、選択した１つの推定ベクトルとそのＤＦＤｉの値を繰り返し模様検出部１１３ｅへ出力すると共に、推定ベクトルを切替部１１４ｅへ出力する。

繰り返し模様検出部１１３ｅは、前述の図５で説明した検出手法により、入力画像に繰り返し模様が含まれるかどうかを検出ブロック毎に検出し、その結果、検出ブロックに繰り返し模様が検出された場合、繰り返し模様検出信号を“１”として切替部１１４ｅへ出力する。切替部１１４ｅは、繰り返し模様検出信号に従って、繰り返し模様の周辺領域における平均あるいは加重平均の動きベクトル側（図面実線側）へ切り替えて、推定ベクトル選択部１１２ｅからの推定ベクトルに代えて、周辺平均動きベクトルを動きベクトル演算部１１５ｅへ出力する。

一方、検出ブロックに繰り返し模様が検出されなかった場合、繰り返し模様検出部１１３ｅは、繰り返し模様検出信号を“０”として切替部１１４ｅへ出力する。切替部１１４ｅは、繰り返し模様検出信号に従って、推定ベクトル選択部１１２ｅからの推定ベクトル側（図面点線側）へ切り替えて、この推定ベクトルを初期ベクトルとして動きベクトル演算部１１５ｅへ出力する。

動きベクトル演算部１１５ｅは、検出ブロック毎に、周辺平均ベクトル算出部１１７ｅからの周辺平均動きベクトルあるいは推定ベクトル選択部１１２ｅからの初期ベクトルに基づいてフレーム間の動きベクトルを算出し検出ベクトルとして出力する。このときの検出ベクトルは、前述の式（１）〜式（３）の勾配法演算によって算出されるため、演算処理量が増大することなく、繰り返し模様部分の破綻を防止することができる。

（第４の実施形態）
本発明の第４の実施形態は、動きベクトル検出に用いる推定ベクトルに基づいて、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記推定ベクトルを無効化をし、動きベクトルを検出するものである。より詳しくは、繰り返し模様に対応する画素あるいは該画素を含む領域に対しては、前記推定ベクトル以外の他の推定ベクトルを選択して、動きベクトルの検出を行うことにより、繰り返し模様部分での破綻が生じないようにするものである。

図８は、本発明の第４の実施形態に係る動きベクトル検出部１１ｅの構成例を示すブロック図である。図中、動きベクトル検出部１１ｅは、遅延部１１１ｅ、動きベクトル演算部１１５ｅ、さらに、推定ベクトル評価部１１８ｅ、ベクトル選択部１１９ｅを備えて構成される。

入力画像信号は、遅延部１１１ｅによって１フレーム期間遅延され、前フレームと現フレームそれぞれの画像データは、推定ベクトル評価部１１８ｅ及び動きベクトル演算部１１５ｅに入力される。ベクトルメモリ１１ｄからは、１フレーム前の検出ベクトルｎ個が推定ベクトルＶ（すなわち、初期ベクトル候補）として順次出力される。

推定ベクトル評価部１１８ｅは、ベクトルメモリ１１ｄから順に入力される推定ベクトルＶから、ＤＦＤｉとＤＦＤｒを算出・比較し、繰り返し模様の検出を行う。繰り返し模様が検出されない場合、その推定ベクトルＶとＤＦＤｉの値をベクトル選択部１１９ｅへ出力し、一方、繰り返し模様が検出された場合、その推定ベクトルＶを使用しないようにする。例えば、当該推定ベクトルＶのＤＦＤｉを十分に大きな値に置換してベクトル選択部１１９ｅへ出力するようにしてもよい。

ベクトル選択部１１９ｅは、推定ベクトル評価部１１８ｅから順に入力されるＤＦＤｉを参照し、最小の値のＤＦＤｉを持つ推定ベクトルＶを初期ベクトルとして動きベクトル演算部１１５ｅへ出力する。このとき、繰り返し模様部分の検出に用いた推定ベクトルＶのＤＦＤｉは十分に大きな値になっているため、この推定ベクトルは選択されず、次に値が小さいＤＦＤｉが求められた際の他の推定ベクトルＶが選択される。

動きベクトル演算部１１５ｅは、検出ブロック毎に、ベクトル選択部１１９ｅからの初期ベクトルに基づいてフレーム間の動きベクトルを算出し検出ベクトルとして出力する。このときの検出ベクトルは、前述の式（１）〜式（３）の勾配法演算によって算出されるため、演算処理量が増大することなく、繰り返し模様部分の破綻を防止することができる。

なお、本実施形態では、時間方向に推定ベクトル評価部１１８ｅとベクトル選択部１１９ｅ等の回路を並べたが、これらの回路を並列化して実現するようにしてもよい。

（第５の実施形態）
本発明の第５の実施形態は、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、ＦＲＣ部１０における動き補正処理を無効化するために、内挿ブロックの内挿ベクトルを０ベクトルとし、繰り返し模様部分での破綻が生じないようにするものである。

図９は、本発明の第５の実施形態に係る動きベクトル検出部１１ｅの構成例を示すブロック図である。図中、動きベクトル検出部１１ｅは、遅延部１１１ｅ、推定ベクトル選択部１１２ｅ、繰り返し模様検出部１１３ｅ、及び動きベクトル演算部１１５ｅを備えて構成される。

入力画像信号は、遅延部１１１ｅによって１フレーム期間遅延され、前フレームと現フレームそれぞれの画像データは、推定ベクトル選択部１１２ｅ、繰り返し模様検出部１１３ｅ、及び動きベクトル演算部１１５ｅに入力される。ベクトルメモリ１１ｄからは、１フレーム前の検出ベクトルｎ個が推定ベクトル（すなわち、初期ベクトル候補）として順次出力される。

推定ベクトル選択部１１２ｅは、ベクトルメモリ１１ｄから順に入力される推定ベクトルからＤＦＤｉを算出し、ＤＦＤｉの値が最小となる推定ベクトルを初期ベクトルとして選択し、選択した１つの推定ベクトルとそのＤＦＤｉの値を繰り返し模様検出部１１３ｅへ出力すると共に、上記推定ベクトルを初期ベクトルとして動きベクトル演算部１１５ｅへ出力する。

動きベクトル演算部１１５ｅは、検出ブロック毎に、推定ベクトル選択部１１２ｅからの初期ベクトルに基づいてフレーム間の動きベクトルを算出し検出ベクトルとして後段の内挿ベクトル評価部１１ｆへ出力する。

繰り返し模様検出部１１３ｅは、前述の図５で説明した検出手法により、入力画像に繰り返し模様が含まれるかどうかを検出ブロック毎に検出し、その結果、検出ブロックに繰り返し模様が検出された場合、繰り返し模様検出信号を“１”として内挿処理、すなわち、制御部１３を介して後段のフレーム生成部１２へ出力する。

図１０は、本発明の第５の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、ＦＲＣ部１０、制御部１３、電極駆動部１４、及び液晶表示パネル１５を備えて構成されている。ＦＲＣ部１０は、図１に示したように、動きベクトル検出部１１ｅ、内挿ベクトル評価部１１ｆ、内挿フレーム生成部１２ｂ、タイムベース変換部１２ｄを備え、さらに、内挿ベクトル評価部１１ｆにより割り付けられた内挿ベクトルを内挿ベクトル毎に蓄積する内挿ベクトルメモリ１２ｅを備える。

制御部１３は、図９に示した動きベクトル検出部１１ｅから入力された繰り返し模様検出信号が“１”、すなわち、繰り返し模様が検出された場合、内挿ベクトルメモリ１２ｅにアクセスし、繰り返し模様部分に対応する内挿ブロックの内挿ベクトルを０ベクトルにする。また、繰り返し模様部分以外の内挿ブロックについては、内挿ベクトルメモリ１２ｅの内挿ベクトルを内挿フレーム生成部１２ｂに入力する。

具体的には、制御部１３が、内挿ベクトルメモリ１２ｅにアクセスしたときに、繰り返し模様部分に対応する内挿ブロックにフラグ情報を付与する。このフラグ情報は、内挿ブロックの内挿ベクトルを使わないようにするためのフラグであり、フラグ情報が付与された内挿ブロックの内挿ベクトルの出力が０になるように制御される。このように、内挿ベクトルメモリ１２ｅの内挿ベクトルを０にすることで、動き補正内挿を行わないようにすることができる。

なお、制御部１３は、どの内挿ブロック（あるいはどの画素）に繰り返し模様が対応しているかを示す情報を保持している。この情報は、例えば、画素の座標位置情報、内挿ブロックの領域情報などであり、繰り返し模様部分に対応する画素あるいは領域がわかる情報であればよい。また、フラグ情報が付与されていない内挿ブロックの内挿ベクトルは、内挿ベクトルメモリ１２ｅから出力されて内挿フレーム生成部１２ｂに入力され、内挿フレーム生成部１２ｂにおいて内挿フレーム生成に利用される。

このように、通常の動画像表示時においては動き補償型のＦＲＣ処理により動画質を改善することができるとともに、入力画像に繰り返し模様が含まれる場合に、繰り返し模様に対応する画素あるいは該画素を含む領域に対する動き補正処理を無効化することにより、繰り返し模様部分の画質劣化を容易に防止することができる。

（第６の実施形態）
本発明の第６の実施形態は、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、ＦＲＣ部１０における動き補正処理を無効化するために、内挿フレーム生成部１２ｂの内挿ブロックの内挿ベクトルを０とし、繰り返し模様部分での破綻が生じないようにするものである。

図１１は、本発明の第６の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、ＦＲＣ部１０、制御部１３、電極駆動部１４、及び液晶表示パネル１５を備えて構成されている。ＦＲＣ部１０は、図１に示したように、動きベクトル検出部１１ｅ、内挿ベクトル評価部１１ｆ、内挿フレーム生成部１２ｂ、及びタイムベース変換部１２ｄを備える。

図１１において、内挿フレーム生成部１２ｂは、内挿ベクトル評価部１１ｆで割り付けられた内挿ベクトルから内挿フレームを生成する。制御部１３は、図９に示した動きベクトル検出部１１ｅから入力された繰り返し模様検出信号が“１”、すなわち、繰り返し模様が検出された場合、内挿フレーム生成部１２ｂにアクセスし、繰り返し模様部分に対応する内挿ブロックの内挿ベクトルを０ベクトルにする。また、繰り返し模様部分以外の内挿ブロックについては、内挿フレーム生成部１２ｂが内挿ベクトルから内挿フレームを生成する。

ここで、制御部１３は、どの内挿ブロック（あるいはどの画素）に繰り返し模様部分が対応しているかを示す情報（座標位置情報、領域情報など）を内挿フレーム生成部１２ｂに渡し、内挿フレーム生成部１２ｂは、制御部１３からの指示に従って、該当する画素あるいはその画素を含む内挿ブロックの内挿ベクトルを０ベクトルにする。

このように、通常の動画像表示時においては動き補償型のＦＲＣ処理により動画質を改善することができるとともに、入力画像信号に繰り返し模様が含まれる場合に、繰り返し模様に対応する画素あるいは該画素を含む領域に対する動き補正処理を無効化することにより、繰り返し模様部分の画質劣化を容易に防止することができる。

（第７の実施形態）
本発明の第７の実施形態は、ＦＲＣ部１０への入力経路とは別の経路上に線形補間内挿処理部を備え、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、線形補間内挿処理部側に切り替えて、繰り返し模様部分にだけ線形補間を施した画像信号を内挿するものである。すなわち、繰り返し模様に対応する画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行うのではなく、線形内挿処理を行うことで、フレームレート変換するように切り替えるものである。

図１２は、本発明の第７の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、ＦＲＣ部１０、制御部１３、切替部１６、さらに、ＦＲＣ部１０への入力経路とは別に設けられた経路１７と、経路１７上に線形補間内挿処理部１８とを備えて構成されている。なお、電極駆動部１４、液晶表示パネル１５の記載は省略している。

切替部１６は、ＦＲＣ部１０の後段に設けられ、制御部１３からの指示に従って、ＦＲＣ部１０からの画像信号（動き補償画像）を出力させるか、線形補間内挿処理部１８からの画像信号（線形補間画像）を出力させるかを切り替える。

制御部１３は、図９に示した動きベクトル検出部１１ｅから入力された繰り返し模様検出信号が“１”、すなわち、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、切替部１６を経路１７（線形補間内挿処理部１８）側に切り替えて、入力画像信号のフレーム間に、線形補間処理を施した画像信号を内挿して生成された表示画像信号を表示パネルに出力する。線形補間内挿処理部１８は、入力画像信号が入力され、繰り返し模様が検出されたときに、繰り返し模様部分に対応する画素あるいは該画素を含む領域に対して、入力画像信号のフレーム間に、線形補間処理を施した内挿フレームを挿入する処理を行う。また、繰り返し模様部分以外の画素あるいは該画素を含む領域に対しては、切替部１６をＦＲＣ部１０側に切り替えて、入力画像信号のフレーム間においてＦＲＣ処理（動き補償フレーム内挿処理）が施された表示画像信号を表示パネルに出力する。

なお、上述の線形補間処理とは、前フレームの信号と現フレームの信号からフレーム内挿比αによる線形補間により内挿フレームを得るものである。

このように、入力画像に繰り返し模様が含まれる場合に、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、動き補償による内挿処理を行わないようにすることにより、繰り返し模様部分の画質劣化を容易に防止することができる。

（第８の実施形態）
本発明の第８の実施形態は、ＦＲＣ部１０への入力経路とは別の経路上にメモリを備え、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、メモリ側に切り替えて、繰り返し模様部分にだけメモリから同一フレームの画像信号を複数回高速で繰り返し読み出してフレームレート変換するものである。すなわち、繰り返し模様が検出された画素あるいは該画素を含む領域に対しては、動き補償による内挿処理を行わず、入力画像信号を高速連続出力することにより、フレームレート変換するように切り替えるものである。

図１３は、本発明の第８の実施形態に係る液晶表示装置の要部構成例を示すブロック図で、液晶表示装置は、ＦＲＣ部１０、制御部１３、切替部１６、さらに、ＦＲＣ部１０への入力経路とは別に設けられた経路１７と、経路１７上にメモリ１９とを備えて構成されている。なお、電極駆動部１４、液晶表示パネル１５の記載は省略している。切替部１６は、ＦＲＣ部１０の後段に設けられ、制御部１３からの指示に従って、ＦＲＣ部１０からの画像信号（動き補償画像）を出力させるか、メモリ１９からの前フレーム又は後フレームの画像信号を出力させるかを切り替える。

制御部１３は、図９に示した動きベクトル検出部１１ｅから入力された繰り返し模様検出信号が“１”、すなわち、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、切替部１６を経路１７（メモリ１９）側に切り替えて、入力画像信号のフレーム間に、その前或いは後フレームの画像信号をメモリ１９から繰り返し読み出して挿入し生成された表示画像信号を表示パネルに出力する。メモリ１９には、入力画像信号が蓄積されており、繰り返し模様が検出されたときに、繰り返し模様に対応する画素あるいは該画素を含む領域の画像信号が繰り返し読み出される。また、繰り返し模様部分以外の画素あるいは該画素を含む領域に対しては、切替部１６をＦＲＣ部１０側に切り替えて、入力画像信号のフレーム間においてＦＲＣ処理（動き補償フレーム内挿処理）が施された表示画像信号を表示パネルに出力する。

このように、入力画像信号に繰り返し模様が含まれる場合に、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、動き補償による内挿処理を行わないようにすることにより、繰り返し模様部分の画質劣化を容易に防止することができる。

（第９の実施形態）
本発明の第９の実施形態は、入力画像中に繰り返し模様が含まれるかどうかを検出し、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、内挿フレーム生成部における動き補正処理の補正強度を可変するように構成される。具体的には、動き補正処理を施した画像信号と、線形補間処理を施した画像信号とを所定の比率で加重加算することにより、内挿フレームを生成する内挿フレーム生成部を備え、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、加重加算比率を可変する。

図１４は、本発明の第９の実施形態に係るＦＲＣ部１０の要部構成例を示すブロック図で、ＦＲＣ部１０のフレーム生成部１２は、内挿用フレームメモリ１２ａ、内挿フレーム生成部１２ｂ、さらに、ＦＲＣ部１０における動き補正処理の補正強度を可変する補正強度可変部１２ｆ、を備えて構成される。なお、図中、Ｖは内挿ベクトル、αはフレーム内挿比、βは補正強度（加重加算比率）を示す。

一般に、フレーム内挿処理の方法として、例えば、２フレーム間の線形補間内挿によるフレーム内挿と、動きベクトルを用いたフレーム内挿（動き補正内挿）が知られている。前者は、前フレームの信号と現フレームの信号からフレーム内挿比αによる線形補間により内挿フレームを得るものである。従って、この線形補間内挿を用いれば、繰り返し模様部分の画質劣化を防止できる。

一方、後者は、前フレームと現フレームから内挿フレームを得るために、前フレームの画像と現フレームの画像間の動きベクトルから内挿ベクトルＶを検出し、その値（内挿ベクトルＶ）をフレーム内挿比αで分割したαＶの大きさだけ前フレームの画像をずらした信号と、現フレームの画像を（α―１）Ｖだけずらした信号との加重加算により内挿フレームを得る。この動き補正内挿を用いれば、動画像そのものをとらえて補正するため、解像度の劣化がなく、良好な画質を得ることができるが、繰り返し模様部分での動きベクトルの誤検出により画質が劣化してしまうことがある。

そこで、本実施形態では、フレーム生成部１２に補正強度可変部１２ｆを設けている。この補正強度可変部１２ｆは、図９に示した動きベクトル検出部１１ｅから入力された繰り返し模様検出信号が“１”、すなわち、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して加重加算比率βを可変する。この加重加算比率βは、動き補正処理を施した画像信号と、線形補間処理を施した画像信号とを加重加算する際の比率である。本実施形態の内挿フレーム生成部１２ｂは、この加重加算比率βに従って、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、線形補間内挿と動き補正内挿を加重加算して内挿フレームを生成する。

例えば、補正強度可変部１２ｆは、繰り返し模様が検出された場合、繰り返し模様に対応する画素あるいは該画素を含む領域に対して加重加算比率β＝０とし、線形補間処理を施した画像信号を内挿フレームにして繰り返し模様部分の画質劣化を防止する。また、繰り返し模様部分以外の画素あるいは該画素を含む領域に対して加重加算比率β＝１とし、動き補正処理を施した画像信号を内挿フレームにして動画質を良好にする。

また、加重加算比率βは任意に可変設定できるため、０〜１の略中間の値に設定するようにしてもよい。これにより、内挿フレーム画像において動き補正も行いつつ、繰り返し模様部分の画質も劣化させないように制御することができ、動きぼけによる画質劣化と繰り返し模様の画質劣化との双方を適切に改善することが可能となる。なお、ＦＲＣ部１０における補正強度の可変処理は、画素単位で行う方法、ブロック（領域）単位で行う方法のいずれの方法で行ってもよい。

このようにして、入力画像に繰り返し模様が含まれる場合に、繰り返し模様に対応する画素あるいは該画素を含む領域に対して、ＦＲＣにおける動き補正処理の補正強度を可変できる（弱くすることができる）ため、繰り返し模様部分の画質劣化を容易に防止することができる。

尚、上記第５乃至第９の実施形態においては、必ずしも推定ベクトルＶから、ＤＦＤｉとＤＦＤｒを算出・比較して、繰り返し模様の検出を行うものに限定されない。例えば、入力画像信号の空間周波数の分布などを解析することによって、繰り返し模様の有無を検出するようにしても良い。

（第１０の実施形態）
本発明の第１０の実施形態は、動きベクトルの検出にブロックマッチング法を適用した場合の例を示すものであって、入力画像中に繰り返し模様が含まれるかどうかを推定ベクトルを用いて検出し、繰り返し模様が検出された場合、該繰り返し模様に対応する画素あるいは該画素を含む領域に対して、この繰り返し模様の検出に用いた推定ベクトルを無効化して、動きベクトルの検出を行うものである。より詳しくは、繰り返し模様に対応する画素あるいは該画素を含む領域に対しては、この繰り返し模様の検出に用いた推定ベクトル以外の他の推定ベクトルを選択し、動きベクトルの検出を行うことにより、繰り返し模様部分での破綻が生じないようにするものである。

図１５は、本発明の第１０の実施形態に係る動きベクトル検出部１１ｅの構成例を示すブロック図である。図中、動きベクトル検出部１１ｅは、遅延部１１１ｅ、推定ベクトル評価部１１８ｅ、ベクトル選択部１１９ｅを備えて構成される。

入力画像信号は、遅延部１１１ｅによって１フレーム期間遅延され、前フレームと現フレームそれぞれの画像データは、推定ベクトル評価部１１８ｅに入力される。推定ベクトル出力部１１ｇからは、ベクトル探索範囲の座標を評価するために、注目座標と探索座標とを結ぶ推定ベクトルが順に出力される。

推定ベクトル評価部１１８ｅは、推定ベクトル出力部１１ｇから順に入力される推定ベクトルＶから、ＤＦＤｉとＤＦＤｒを算出・比較し、繰り返し模様の検出を行う。繰り返し模様が検出されない場合、その推定ベクトルＶとＤＦＤｉの値をベクトル選択部１１９ｅへ出力し、一方、繰り返し模様が検出された場合、その推定ベクトルＶを使用しないようにする。例えば、当該推定ベクトルＶのＤＦＤｉを十分に大きな値にしてベクトル選択部１１９ｅへ出力するようにしてもよい。

ベクトル選択部１１９ｅは、推定ベクトル評価部１１８ｅから順に入力されるＤＦＤｉを参照し、最小の値のＤＦＤｉを持つ推定ベクトルＶを検出ベクトルとして出力する。このとき、繰り返し模様部分の検出に用いた推定ベクトルＶのＤＦＤｉは十分に大きな値になっているため、この推定ベクトルは選択されず、次にＤＦＤｉが小さくなった他の推定ベクトルＶが選択される。

図１６は、本発明の画像表示装置による画像表示方法の一例を説明するためのフロー図である。ここでは、前述の第１の実施形態乃至第４の実施形態のいずれかにおける画像表示方法の例について説明する。まず、画像表示装置は、ＤＦＤが最小となる推定ベクトルに基づいて繰り返し模様に対応する画素（或いはブロック）かどうかを判定し（ステップＳ１）、繰り返し模様に対応する画素（或いはブロック）と判定された場合（ＹＥＳの場合）、このときの推定ベクトルを例えば０ベクトルに置換することにより無効化して、動きベクトルを検出する（ステップＳ２）。また、ステップＳ１において、繰り返し模様部分以外の画素（或いはブロック）と判定された場合（ＮＯの場合）、ＤＦＤが最小となる推定ベクトルをそのまま用いて動きベクトルを検出する（ステップＳ３）。そして、動きベクトルに基づいて動き補正処理を施した画像信号を入力画像信号のフレーム間に内挿し、フレームレート変換された画像を液晶表示パネル１５から表示出力する（ステップＳ４）。

図１７は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第５の実施形態又は第６の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、繰り返し模様に対応する画素（或いはブロック）かどうかを判定し（ステップＳ１１）、繰り返し模様に対応する画素（或いはブロック）と判定された場合（ＹＥＳの場合）、繰り返し模様に対応する画素あるいは該画素を含む領域（内挿ブロック）に対して、内挿ベクトルを０ベクトルにすることにより、ＦＲＣ部１０の動き補正処理を無効化する（ステップＳ１２）。また、ステップＳ１１において、繰り返し模様部分以外の画素（或いはブロック）と判定された場合（ＮＯの場合）、ＦＲＣ部１０にて動き補償による内挿処理を施した画像信号を出力する（ステップＳ１３）。そして、フレームレート変換された画像を液晶表示パネル１５から表示出力する（ステップＳ１４）。

図１８は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第７の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、繰り返し模様に対応する画素（或いはブロック）かどうかを判定し（ステップＳ２１）、繰り返し模様に対応する画素（或いはブロック）と判定された場合（ＹＥＳの場合）、繰り返し模様に対応する画素あるいは該画素を含む領域（内挿ブロック）に対して、線形補間画像を内挿した画像信号を出力することにより、ＦＲＣ部１０の動き補償内挿処理を行わないようにする（ステップＳ２２）。また、ステップＳ２１において、繰り返し模様部分以外の画素（或いはブロック）と判定された場合（ＮＯの場合）、ＦＲＣ部１０にて動き補償による内挿処理を施した画像信号を出力する（ステップＳ２３）。そして、フレームレート変換された画像を液晶表示パネル１５から表示出力する（ステップＳ２４）。

図１９は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第８の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、繰り返し模様に対応する画素（或いはブロック）かどうかを判定し（ステップＳ３１）、繰り返し模様に対応する画素（或いはブロック）と判定された場合（ＹＥＳの場合）、繰り返し模様に対応する画素あるいは該画素を含む領域（内挿ブロック）に対して、前或いは後フレーム画像を挿入した画像信号を出力することにより、ＦＲＣ部１０の動き補償内挿処理を行わないようにする（ステップＳ３２）。また、ステップＳ３１において、繰り返し模様部分以外の画素（或いはブロック）と判定された場合（ＮＯの場合）、ＦＲＣ部１０にて動き補償による内挿処理を施した画像信号を出力する（ステップＳ３３）。そして、フレームレート変換された画像を液晶表示パネル１５から表示出力する（ステップＳ３４）。

図２０は、本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。ここでは、前述の第９の実施形態における画像表示方法の例について説明する。まず、画像表示装置は、繰り返し模様に対応する画素（或いはブロック）かどうかを判定し（ステップＳ４１）、繰り返し模様に対応する画素（或いはブロック）と判定された場合（ＹＥＳの場合）、繰り返し模様に対応する画素あるいは該画素を含む領域（内挿ブロック）に対して、ＦＲＣ部１０における動き補正処理の補正強度を可変（弱く）する（ステップＳ４２）。また、ステップＳ４１において、繰り返し模様部分以外の画素（或いはブロック）と判定された場合（ＮＯの場合）、ＦＲＣ部１０における動き補正処理の補正強度を通常通り強くする（ステップＳ４３）。そして、フレームレート変換された画像を液晶表示パネル１５から表示出力する（ステップＳ４４）。

図２１は、本発明の画像表示装置により表示出力される画像例を示す図で、図中、Ｐは繰り返し模様を示す。図２１（Ａ）は本発明の繰り返し模様Ｐに対するＦＲＣ制御機能をオフにしたときの画像例を示し、図２１（Ｂ）は本発明の繰り返し模様Ｐに対するＦＲＣ制御機能をオンにしたときの画像例を示す。

図２１（Ａ）では窓の縦構造に相当する繰り返し模様Ｐに破綻が生じているが、図２１（Ｂ）では繰り返し模様Ｐの破綻が目立たなくなっている。このように、動画像を表示する場合において、上述した各実施形態による繰り返し模様Ｐに対するＦＲＣ制御機能をオンすることにより、繰り返し模様Ｐの破綻をほとんど目立たなくすることができる。

以上説明したように、本発明によれば、動き補償型のレート変換（ＦＲＣ）部を備えた画像表示装置において、動き補正処理の演算処理量を増やすことなく、画像に含まれる規則的な繰り返し模様部分の画質劣化を効果的に防止することができる。

本発明の画像表示装置が備える動き補償型フレームレート変換部の構成例を示すブロック図である。 フレーム生成部による内挿フレーム生成処理の一例を説明するための図である。 本発明に係るＦＲＣ部を備えた画像表示装置の構成例を示すブロック図である。 本発明の第１の実施形態に係る動きベクトル検出部の構成例を示すブロック図である。 繰り返し模様検出部による繰り返し模様の検出方法の一例を説明するための図である。 本発明の第２の実施形態に係る動きベクトル検出部の構成例を示すブロック図である。 本発明の第３の実施形態に係る動きベクトル検出部の構成例を示すブロック図である。 本発明の第４の実施形態に係る動きベクトル検出部の構成例を示すブロック図である。 本発明の第５の実施形態に係る動きベクトル検出部の構成例を示すブロック図である。 本発明の第５の実施形態に係る液晶表示装置の要部構成例を示すブロック図である。 本発明の第６の実施形態に係る液晶表示装置の要部構成例を示すブロック図である。 本発明の第７の実施形態に係る液晶表示装置の要部構成例を示すブロック図である。 本発明の第８の実施形態に係る液晶表示装置の要部構成例を示すブロック図である。 本発明の第９の実施形態に係るＦＲＣ部の要部構成例を示すブロック図である。 本発明の第１０の実施形態に係る動きベクトル検出部の構成例を示すブロック図である。 本発明の画像表示装置による画像表示方法の一例を説明するためのフロー図である。 本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。 本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。 本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。 本発明の画像表示装置による画像表示方法の他の例を説明するためのフロー図である。 本発明の画像表示装置により表示出力される画像例を示す図である。 勾配法を用いた従来の動きベクトル検出部の構成を示すブロック図である。 ブロックマッチング法を用いた従来の動きベクトル検出部の構成を示すブロック図である。 繰り返し模様を含む画像（動画像）の例を示す図である。 繰り返し模様を含む画像（動画像）の他の例を示す図である。 繰り返し模様を含む画像（動画像）の他の例を示す図である。 繰り返し模様の破綻原理を説明するための図である。

符号の説明

１０…フレームレート変換（ＦＲＣ）部、１１…ベクトル検出部、１１ａ…輝度信号抽出手段、１１ｂ…前処理フィルタ、１１ｃ…動き検出用フレームメモリ、１１ｄ，１０１…ベクトルメモリ、１１ｅ，１００…動きベクトル検出部、１１１ｅ，１００ａ…遅延部、１１２ｅ…推定ベクトル選択部、１１３ｅ…繰り返し模様検出部、１１５ｅ，１００ｃ…動きベクトル演算部、１１６ｅ…全画面平均ベクトル算出部、１１７ｅ…周辺平均ベクトル算出部、１１８ｅ…推定ベクトル評価部、１１９ｅ，１００ｂ…ベクトル選択部、１１ｆ…内挿ベクトル評価部、１１ｇ，１０２…推定ベクトル出力部、１２…フレーム生成部、１２ａ…内挿用フレームメモリ、１２ｂ…内挿フレーム生成部、１２ｃ…タイムベース変換用フレームメモリ、１２ｄ…タイムベース変換部、１２ｅ…内挿ベクトルメモリ、１２ｆ…補正強度可変部、１３…制御部、１４…電極駆動部、１５…液晶表示パネル、１６，１１４ｅ…切替部、１７…経路、１８…線形補間内挿処理部、１９…メモリ。

Claims (7)

1. 入力画像信号のフレーム間あるいはフィールド間に、該入力画像信号のフレーム間あるいはフィールド間の動きベクトルに基づく動き補正処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換して、表示パネルへ出力するレート変換手段を備えた画像表示装置であって、
   既に検出された動きベクトルを推定ベクトルとして複数蓄積するベクトルメモリと、該ベクトルメモリに蓄積された複数の推定ベクトルの中から対象画素又は該対象画素を含む対象領域の動きベクトルに最も近い推定ベクトルを選択する推定ベクトル選択手段と、該選択された推定ベクトルを起点として、動きベクトルを検出する動きベクトル演算手段と、前記推定ベクトル選択手段により選択された推定ベクトルに基づき、前記入力画像信号の中に、空間方向に同じ模様が繰り返される繰り返し模様が含まれるかどうかを検出する繰り返し模様検出手段とを備え、
   該繰り返し模様検出手段は、前記繰り返し模様が検出された場合、該繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを無効化して他の所定のベクトルに置き換え、前記動きベクトル演算手段は、該置き換えられた他の所定のベクトルに基づいて前記動きベクトルの検出を行うことを特徴とする画像表示装置。
2. 請求項１に記載の画像表示装置において、
   前記繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを０ベクトルに置き換えることを特徴とする画像表示装置。
3. 請求項１に記載の画像表示装置において、
   前記入力画像信号の画面全体における動きベクトルを算出する手段を備え、
   前記繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを前記画面全体の動きベクトルに置き換えることを特徴とする画像表示装置。
4. 請求項１に記載の画像表示装置において、
   前記入力画像信号の繰り返し模様の周辺領域における動きベクトルを算出する手段を備え、
   前記繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを前記周辺領域の動きベクトルに置き換えることを特徴とする画像表示装置。
5. 請求項１に記載の画像表示装置において、
   前記繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトル以外の他の推定ベクトルに置き換えることを特徴とする画像表示装置。
6. 請求項５に記載の画像表示装置において、
   前記他の推定ベクトルは、該他の推定ベクトルを用いて求められる前記繰り返し模様に対応する領域内の各画素におけるフィールド間あるいはフレーム間の差分値が、前記選択された推定ベクトルを用いた場合の差分値の次に小さいものであることを特徴とする画像表示装置。
7. 入力画像信号のフレーム間あるいはフィールド間に、動き補正処理を施した画像信号を内挿することにより、前記入力画像信号のフレーム数あるいはフィールド数を変換するステップを有する画像表示方法において、
   既に検出された動きベクトルを推定ベクトルとして複数蓄積し、該蓄積された複数の推定ベクトルの中から対象画素又は該対象画素を含む対象領域の動きベクトルに最も近い推定ベクトルを選択するステップと、
   該選択された推定ベクトルを起点として、動きベクトルを検出するステップと、
   前記選択された推定ベクトルに基づき、前記入力画像信号の中に、空間方向に同じ模様が繰り返される繰り返し模様が含まれるかどうかを検出するステップと、
   前記繰り返し模様が検出された場合、該繰り返し模様に対応する画素あるいは該画素を含む領域に対して、前記選択された推定ベクトルを無効化して他の所定のベクトルに置き換え、該置き換えられた他の所定のベクトルに基づいて前記動きベクトルの検出を行うステップとを備えたことを特徴とする画像表示方法。

Images