JP4389866B2 - 画像処理方法、画像処理装置、表示装置およびプログラム - Google Patents

Description

本発明は隣接するフレーム間の画像の動きを補う補間画像を生成する技術に関する。

補間画像の生成は、例えばフレーム補間のために必要となる。フレーム補間では、映像内の隣接するフレーム間に補間画像が挿入される。したがって、フレーム補間によって映像の表示品質を向上させる場合には、隣接するフレーム間の画像の動きに合った補間画像を生成する必要がある。このため、フレーム補間のために補間画像を生成する際に、フレームを分割して得られる複数のブロックの各々について動きベクトルを検出し、検出した動きベクトルを用いて補間画像を生成する技術が開発されている。この技術においては、正しい動きベクトルを十分に高い確率で検出可能か否かが鍵となる。

一般に、動きベクトルを検出する際には、いわゆるブロックマッチング法を用いて画像を比較することになる。ブロックマッチング法では、処理対象のブロックに隣接するフレームから、当該ブロックと同一のサイズおよび形状の領域が探索され、探索により特定された領域の画像と当該ブロックの画像とが比較される。探索により特定される領域は複数であり、上記の比較は特定された領域毎に行われる。したがって、領域の探索範囲をフレーム全体とすると、比較回数（演算量）が多くなり、映像のフレームレートによっては、リアルタイムでのフレーム補間が非現実的となる。

比較回数を抑える手法として、処理対象のブロックに空間的または時間的に隣接するブロックの動きベクトルに基づいて探索範囲を制限する手法がある（非特許文献１）。空間的に隣接するブロックとは、処理対象のブロックと同一のフレーム内で当該ブロックに隣接しているブロックである。時間的に隣接するブロックとは、処理対象のブロックを含むフレームに隣接するフレーム内の、当該ブロックに相当する位置のブロックと当該ブロックに隣接するブロックである。以降、両者を「隣接ブロック」と呼ぶ。

この手法により検出される動きベクトルは、隣接ブロックの動きベクトルと大差ないものとなる。つまり、空間的および時間的に連続な動きベクトルとなる。一般的な映像では、或るブロックと隣接ブロックとの間で正しい動きベクトルが大きく相違することは稀であるから、正しい動きベクトルの多くは、空間的および時間的に連続な動きベクトルとなる。よって、上記の手法によれば、動きベクトルを高い精度で検出することができる。
ベラーズ（E.B. Bellers），ハーン（G. de Haan）著、「デ・インターレーシング：ア・キー・テクノロジー・フォー・スキャン・レート・コンバージョン（De-interlacing: A Key Technology for Scan Rate Conversion）」、（オランダ）、エルゼビア（ELSEVIER）、2000年9月、p. 111-115

しかし、上記の手法では、動きベクトルの検出精度が不十分となる場合がある。例えば、テニスコート上を高速移動するボールを上空から映した映像についてフレーム補間を行う場合である。この場合、フレーム内の多くのブロック群がテニスコートの静止画像で占められ、これらのブロック群に囲まれたブロック群が、高速移動するボールの画像で占められる。テニスコートのブロックに隣接するボールのブロックの動きベクトルを検出する際には、その探索範囲がテニスコートのブロックについて既に検出された動きベクトルに基づいて制限されるが、テニスコートのブロックの正しい動きベクトルの大きさがゼロであるのに対し、ボールのブロックの正しい動きベクトルの大きさは著しく大きいから、制限された探索範囲での探索では正しい動きベクトルを検出できない可能性が高い。そして、正しくない動きベクトルが検出されると、その動きベクトルに基づいて次のブロックの探索範囲が制限され、次のブロックの動きベクトルの検出精度も低くなってしまう。
本発明は、上述した事情に鑑み、現実的な演算量で、動きベクトルを十分に高い精度で安定して検出することができる画像処理方法、画像処理装置、表示装置およびプログラムを提供することを解決課題としている。

本発明に係る画像処理方法は、隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理方法において、フレームを複数のブロックに分割し、各ブロックの画像を隣接するフレームの探索範囲に含まれる画像と比較し、比較結果に基づいて当該ブロックの動きベクトルを検出する検出ステップと、前記検出ステップで検出された動きベクトルを用いて前記補間画像を生成する補間画像生成ステップとを有し、前記検出ステップでは、動きベクトルを検出する処理として、前記探索範囲が広い第１処理と前記探索範囲が狭い第２処理とをブロック毎に選択し、前記第２処理を選択したブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて前記探索範囲を特定する、ことを特徴とする。「フレーム」は映像を構成する単位であり、「映像」は複数フレームの画像を時間軸上に並べたものである。
この画像処理方法によれば、第２処理を選択したブロックについては、当該ブロックの隣接ブロックについて既に検出された動きベクトルに基づいて探索範囲を特定するから、このような探索範囲の特定を行わない態様に比較して、空間的および時間的に連続な正しい動きベクトルを検出し易くなる。また、探索範囲が広い第１処理と探索範囲が狭い第２処理とがブロック毎に選択され、第１処理を選択したブロックについては、第２処理を選択したブロックの探索範囲よりも広い探索範囲で動きベクトルが検出されるから、全てのブロックについて第２処理によって動きベクトルを検出する態様に比較して、空間的または時間的に不連続な正しい動きベクトルを検出し易くなる。また、この画像処理方法では、第２処理を選択したブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて探索範囲が特定されるから、十分に高い精度で検出された動きベクトルに基づいて動きベクトルを検出することができる。以上より、この画像処理方法によれば、動きベクトルを十分に高い精度で安定して検出することができる。したがって、上記の隣接するブロックに時間的に隣接するブロックが含まれる場合における動きベクトルの検出精度の向上速度は大幅に向上する。
この画像処理方法では、或るブロックの動きベクトルを検出する際に当該ブロックの画像と探索範囲に含まれる画像とが比較される。この比較の回数は、探索範囲が広いほど多くなり、探索範囲が狭いほど少なくなる。つまり、画像の比較の回数は、第１処理を選択したブロックの動きベクトルの検出では多くなり、第２処理を選択したブロックの動きベクトルの検出では少なくなる。基本的には、１つのブロックについては一方の処理が選択されるから、補間画像を生成する際に必要となる画像の比較の回数は、全てのブロックについて第１処理によって動きベクトルを検出する態様に比較して少なくなる。よって、この画像処理方法によれば、現実的な演算量で動きベクトルを検出することができる。

上記の画像処理方法において、前記検出ステップでは、検出の対象となるブロックが特定のブロックであるか否かを判定し、前記特定のブロックである場合には、当該ブロックについて前記第１処理を選択する、ようにしてもよい。例えば、周期的に第１処理を選択するようにしてもよい。より具体的には、一定数のブロック毎に第１処理を選択するようにしてもよい。この態様によれば、第２処理によって正しくない動きベクトルが連続して検出されるブロック数を一定数未満に抑制することができる。また例えば、前記隣接するフレームの画像間の各画素における階調値の差を示す、差画像を生成する差画像生成ステップと、前記差画像に基づいて前記特定のブロックを特定する特定ステップとを有する、ようにしてもよい。この態様によれば、探索範囲が狭い第２処理によっても正しい動きベクトルを検出可能なブロックについて探索範囲が広い第１処理を選択してしまう、という無駄を減らすことができる。さらに、この態様において、前記特定ステップでは、前記差画像生成ステップから前記補間画像生成ステップまでを所定の時間内に実行できるように、前記特定のブロックの数を設定する、ようにしてもよい。「所定の時間」は、例えばリアルタイムでのフレーム補間が可能となる時間である。さらに、この態様において、或る優先順位にしたがって、特定のブロックを特定するようにしてもよい。

上記の画像処理方法において、前記検出ステップでは、前記第２処理を選択したブロックの動きベクトルを検出すると、当該検出の際に得られた前記比較結果に基づいて、当該検出の精度が基準に満たないか否かを判定し、前記基準に満たない場合には、当該ブロックの動きベクトルを検出する処理として前記第１処理を選択する、ようにしてもよい。
この態様によれば、第２処理によって正しくない動きベクトルが連続して検出されるブロック数をゼロとすることができる。よって、動きベクトルをより高い精度で安定して検出することができる。また、第１処理によって動きベクトルが検出されるのは、第２処理による動きベクトルの検出精度が基準に満たないブロックに限られるから、現実的な演算量で動きベクトルを検出することができる一方、探索範囲が狭い制限探索によっても正しい動きベクトルを検出可能なブロックについて探索範囲が広い広域探索を行ってしまうという無駄を省くことができる。なお、動きベクトルの検出の精度が基準に満たないか否かの判定方法としては、例えば、動きベクトルの検出の際に得られた比較結果をそのまま又は加工して当該検出の精度の評価値とし、この評価値と基準値とを比較することにより判定する方法が挙げられる。

一般に、広い探索範囲の処理を行って狭い探索範囲の処理を行わないシステムでは、探索範囲として、フレーム全域よりも狭い探索範囲を採用している。したがって、探索範囲の位置を定める必要がある。通常、この位置として、動きベクトルを求めようとするブロックに応じた位置が採用される。上記の各態様においても、この例に従って、第１処理の探索範囲の位置を定めるようにしてもよい。しかし、その場合、第１処理は、空間的に連続な動きベクトルを検出する処理ではなくなってしまう。そこで、前記検出ステップでは、２つ目以降のブロックの動きベクトルを前記第１処理により検出するときには、当該ブロックと同一のフレームにおいて当該ブロックと隣接する他のブロックの既に検出された動きベクトルに基づいて前記探索範囲を特定する、ようにしてもよい。こうすることにより、２つ目以降のブロックについては、第１処理によっても空間的に連続な動きベクトルを検出することができる。正しい動きベクトルの多くは、空間的に連続な動きベクトルとなるから、この態様によれば、動きベクトルをより高い精度で安定して検出することができる。

本発明に係る画像処理装置は、隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理装置において、フレームを複数のブロックに分割し、各ブロックの画像を隣接するフレームの探索範囲に含まれる画像と比較し、比較結果に基づいて当該ブロックの動きベクトルを検出する検出回路と、前記検出回路により検出された動きベクトルを用いて前記補間画像を生成する生成回路とを有し、前記検出回路は、動きベクトルを検出する処理として、前記探索範囲が広い第１処理と前記探索範囲が狭い第２処理とをブロック毎に選択し、前記第２処理を選択したブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて前記探索範囲を特定する、ことを特徴とする。
この画像処理装置によれば、第２処理を選択したブロックについては、当該ブロックの隣接ブロックについて既に検出された動きベクトルに基づいて探索範囲を特定するから、このような探索範囲の特定を行わない態様に比較して、空間的および時間的に連続な正しい動きベクトルを検出し易くなる。また、探索範囲が広い第１処理と探索範囲が狭い第２処理とがブロック毎に選択され、第１処理を選択したブロックについては、第２処理を選択したブロックの探索範囲よりも広い探索範囲で動きベクトルが検出されるから、全てのブロックについて第２処理によって動きベクトルを検出する態様に比較して、空間的または時間的に不連続な正しい動きベクトルを検出し易くなる。また、この画像処理装置では、第２処理を選択したブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて探索範囲が特定されるから、動きベクトルを十分に高い精度で検出可能であることは、動きベクトルを十分に高い精度で安定して検出可能であることを意味する。よって、この画像処理装置によれば、動きベクトルを十分に高い精度で安定して検出することができる。
この画像処理装置では、或るブロックの動きベクトルを検出する際に当該ブロックの画像と探索範囲に含まれる画像とが比較される。この比較の回数は、探索範囲が広いほど多くなり、探索範囲が狭いほど少なくなる。つまり、画像の比較の回数は、第１処理を選択したブロックの動きベクトルの検出では多くなり、第２処理を選択したブロックの動きベクトルの検出では少なくなる。１つのブロックについては一方の処理が選択されるから、補間画像を生成する際に必要となる画像の比較の回数は、全てのブロックについて第１処理によって動きベクトルを検出する態様に比較して少なくなる。よって、この画像処理装置によれば、現実的な演算量で動きベクトルを検出することができる。

本発明に係る表示装置は、上記の画像処理装置と、与えられた電気エネルギにより発光特性または光の透過特性が変化する複数の電気光学素子が面状に配列された電気光学装置とを有し、前記複数の電気光学素子の発光特性または光の透過特性を、前記画像処理装置により生成された前記補間画像に応じて変化させて当該補間画像を表示する、ことを特徴とする。
電気光学素子のうち、与えられた電気エネルギにより発光特性が変化する素子としては、ＯＬＥＤ（Organic Light-Emitting Diode）素子や無機ＥＬ（Electro Luminescent）素子、フィールド・エミッション（ＦＥ）素子、表面導電型エミッション（ＳＥ：Surface-conduction Electron-emitter）素子、弾道電子放出（ＢＳ：Ballistic electron Surface emitting）素子、ＬＥＤ（Light Emitting Diode）素子など様々な発光素子を例示することができる。与えられた電気エネルギにより光の透過特性が変化する素子としては、液晶の画素や電気泳動ディスプレイの画素など様々な、電気的エネルギにより光の透過率が変化するライトバルブ画素を例示することができる。
この表示装置によれば、上記の画像処理装置を有するから、現実的な演算量で、動きベクトルを十分に高い精度で安定して検出することができる。したがって、高品質の補間画像を表示することができる。

本発明に係るプログラムは、隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理装置に、フレームを複数のブロックに分割し、各ブロックの画像を隣接するフレームの探索範囲に含まれる画像と比較し、比較結果に基づいて当該ブロックの動きベクトルを検出する検出ステップと、前記検出ステップで検出された動きベクトルを用いて前記補間画像を生成する補間画像生成ステップとを実行させるためのプログラムであって、前記検出ステップでは、動きベクトルを検出する処理として、前記探索範囲が広い第１処理と前記探索範囲が狭い第２処理とをブロック毎に選択し、前記第２処理を選択したブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて前記探索範囲を特定する、ことを特徴とする。
このプログラムによれば、上記の画像処理方法を行うことができる。したがって、現実的な演算量で、動きベクトルを十分に高い精度で安定して検出することができる。

図面を参照しながら本発明の好適な実施の形態を説明する。説明する実施の形態は第１〜第３の３つである。各図の符号において、「Ａ」〜「Ｃ」は、それぞれ、第１〜第３の実施の形態に対応する符号であることを意味する。以降の説明では、まず、各実施の形態に共通する部分について説明し、次に、各実施の形態に固有の部分について順に説明する。

［各実施の形態に共通する部分］
図１は本発明の各実施の形態に係る画像表示装置１（１Ａ，１Ｂ，１Ｃ）の構成を示す図である。画像表示装置１は、フレームレートが６０Ｈｚの低レート映像を入力し、この低レート映像をフレーム補間によってフレームレートが１２０Ｈｚの高レート映像に変換して表示する装置であり、画像処理装置１０（１０Ａ，１０Ｂ，１０Ｃ）および電気光学装置２０を備える。画像処理装置１０は、低レート映像の映像データＤ１を入力し、映像データＤ１をフレーム補間により高レート映像の映像データＤ２に変換し、これを出力する。映像データＤ１およびＤ２のフレームは同一サイズである。

電気光学装置２０は、与えられた電気エネルギにより発光特性または光の透過特性が変化する複数の電気光学素子が面状に配列されたホールド型の表示装置であり、画像処理装置１０から出力される映像データＤ２を入力し、複数の電気光学素子の発光特性または光の透過特性を映像データＤ２に応じて変化させることにより、映像データＤ２の映像を表示する。電気光学素子は、例えばOLED素子などの発光素子である。

ホールド型の表示装置においては、画像に含まれる被写体の移動とこれに追従しようとする観察者の視点の移動とのズレに起因して、観察者によって知覚される被写体の輪郭が不明瞭となる現象（以下「動画ボケ」という）が発生する。この動画ボケを解決するための方策としては、各発光素子の階調をフレーム期間の全長にわたって維持するのではなく、ＣＲＴ（Cathode Ray Tube）に代表されるインパルス型の表示装置のように各発光素子を間欠的に発光させるという方法がある。しかしながら、各発光素子を発光させる各期間に間隔があると、画像全体の明度が周期的に変動するフリッカと呼ばれる現象が顕著となる。そこで、本発明の各実施の形態では、フレーム補間によって映像のフレームレートを上げることにより、動画ボケおよびフリッカを防止する。
尚、上記のホールド型の表示装置でも、発光や透過光の時間割合を制御し、例えばフリッカの発生しない範囲で発光時間を短くすることをフレームレートを上げることと併用すれば、より動画ボケの少ない表示を行うこともできる。

画像処理装置１０は、入力バッファ１１、現在フレームバッファ１２、前フレームバッファ１３、動きベクトル演算回路１４（１４Ａ，１４Ｂ，１４Ｃ）、補間画像生成回路１５および映像合成回路１６を備える。入力バッファ１１は、映像データＤ１を入力してフレーム単位で出力する。現在フレームバッファ１２は、入力バッファ１１から出力された最新のフレームの画像データを保持する。以降、現在フレームバッファ１２に保持されている画像データのフレームを「現在フレーム」と呼ぶ。この保持の開始直前に、前フレームバッファ１３は、現在フレームバッファ１２に保持されている画像データの保持を開始する。以降、前フレームバッファ１３に保持されている画像データのフレームを「前フレーム」と呼ぶ。

動きベクトル演算回路１４は、現在フレームの画像データと前フレームの画像データとを用いた演算によって、前フレームから現在フレームにかけての被写体の動きを示す動きベクトルを検出する。補間画像生成回路１５は、補間画像データを生成して出力する。動きベクトル演算回路１４および補間画像生成回路１５は、ＤＳＰ（デジタル・シグナル・プロセッサ）により、または各実施の形態に応じたプログラムをコンピュータが実行することにより実現される。

補間画像生成回路１５により生成される補間画像データは、前フレームと現在フレームとの中間に挿入される中間フレームの画像（以降、「補間画像」）を示すデータである。この挿入は、映像における被写体の動きを補うために為されるものであり、補間画像データの生成では動き補償が必要となる。そこで、本発明の各実施の形態では、動きベクトル演算回路１４により検出された動きベクトルと現在フレームの画像データとを用いて補間画像データを生成するようにしている。映像合成回路１６は、１／６０秒毎に更新される前フレームの画像データと、１／６０秒毎に生成される補間画像データとを交互に出力する。こうして映像データＤ２が出力される。映像データＤ２では、映像データＤ１の隣接フレームの中間に補間画像データのフレームが存在する。

図２は、補間画像生成回路１５による補間画像データの生成について説明するための図である。この図の例では、フレーム補間前の映像において隣接する第Ｎ−１フレームと第Ｎフレームとの中間に、補間画像生成回路１５に生成された第Ｎ−１／２フレームが挿入されている。この図に示すように、映像における被写体の動きを補うためには、第Ｎ−１／２フレームの補間画像データは、第Ｎ−１フレームと第Ｎフレームとの間での被写体Ｇ１の動きを示す直線上に第Ｎ−１／２フレーム内の被写体Ｇ１が位置するように生成されるべきである。すなわち、上記の直線、または当該直線をフレームに投影して得られる動きベクトルを正しく検出することが重要である。

図３は、動きベクトル演算回路１４による動きベクトルの検出の概略を説明するための図である。この検出は、公知のブロックマッチング法により行われる。ブロックマッチング法では、例えば、前フレームから現在フレームにかけての被写体の動きを示す動きベクトルを検出する場合には、前フレームを同一の形状およびサイズの複数のブロックに分割し、各ブロックについて動きベクトルを検出する。各ブロックについての検出では、当該ブロックと同一の形状およびサイズの領域を順に特定する探索を現在フレームにおいて行いつつ、当該ブロックの画像と特定された領域の画像とを比較し、比較結果に基づいて当該ブロックの動きベクトルを特定する。この比較および特定の方法は任意である。例えば、対応する位置の画素間の階調値の差分の絶対値を全ての画素について合計した差絶対値和が最小となる１つの領域を特定し、この領域の中心点を終点とし、処理対象のブロック（以降、「対象ブロック」）の中心点を始点としたベクトルを動きベクトルとして特定するようにしてもよい。また例えば、対応する位置の画素と階調値が等しい画素の数をカウントし、カウント値が最も高い１つの領域を特定し、この領域の中心点を終点とし、対象ブロックの中心点を始点としたベクトルを動きベクトルとして特定するようにしてもよい。なお、特定した領域についての上記差分絶対値和が所定の基準値未満の場合、または上記カウント値が所定の基準値以上の場合に、動きベクトルを未定とする、というようにしてもよい。

図３には、第Ｎ−１フレームから第Ｎフレームにかけての被写体Ｇ２の動きを示す動きベクトルを検出する例が示されている。この例では、領域の探索は、第Ｎフレーム内で領域を１画素または複数画素ずつ動かしていくことにより行われる。そして、最終的には、領域Ｒが特定される。図３では、こうして得られた動きベクトルＭＶ１が、仮想的なマップであるベクトルマップ上にマッピングして示されている。このベクトルマップは、第Ｎ−１フレームと第Ｎフレームとを重ねて得られるものであり、各ブロックの中心点は当該ブロックの動きベクトルの始点に一致している。この図から明らかなように、動きベクトルＭＶ１は、被写体Ｇ２の動きを示すものとなる。これは、被写体Ｇ２の一部がブロックＦＢ１に含まれているからである。

動きベクトル演算回路１４は、上記の探索として、広域探索と制限探索とを選択して行うことができる。広域探索は、探索範囲が広いため、大きな動きベクトルをも検出することができるが、画像の比較回数が多いため、処理量が多くなってしまう。制限探索は探索範囲が狭いため、大きな動きベクトルを検出することができないが、画像の比較回数が少ないため、処理量を少なくすることができる。

図４は、動きベクトル演算回路１４による広域探索を説明するための図である。この図に例示する広域探索では、動きベクトルを検出しようとするブロックの中心点に相当する隣接フレームの点を中心として４×４ブロックが探索範囲となる。例えば、第Ｎ−１フレームのブロックＦＢ２の動きベクトルを検出する場合には、ブロックＦＢ２の中心点ＦＰ１に相当する第ＮフレームのブロックＦＰ２の中心点ＦＰ２を中心として４×４ブロックが探索範囲ＳＡ１となる。なお、図４は一例であり、広域探索における探索範囲の広さは４×４ブロックに限らない。

図５は、動きベクトル演算回路１４による制限探索を説明するための図である。制限探索は、隣接するブロック間で被写体の動きが大きく相違する確率は低い、という思想に基づいた探索であり、動きベクトルを検出しようとするブロックに隣接するブロック（以降、「隣接ブロック」）の既に検出された動きベクトルを参照して探索範囲を特定することにより、狭い探索範囲でも動きベクトルを高い精度で検出可能にしている。隣接ブロックには、空間的に隣接するブロックと、時間的に隣接するブロックがある。前者は同一フレーム内のブロックであり、後者は隣接フレーム内のブロックである。

動きベクトルの検出対象となるブロックは、順に移り変わっていく。図５の例では、ブロックの行方向および列方向に移り変わっていく。この移り変わりでは、或る行について全てのブロックの動きベクトルの検出を終えたら、次の行のブロックの動きベクトルの検出が始まる。つまり、行方向が主検出方向であり、列方向が副検出方向である。

このような移り変わりとなるから、第Ｎ−１フレームから第ＮフレームにかけてのブロックＦＢ３の動きベクトルを検出するときには、第Ｎ−１フレーム内の４つの隣接ブロックの動きベクトル（動きベクトルＭＶ２を含む）は既に検出されている。したがって、これらを参照して、探索範囲を定めるための代表ベクトルＭＶ２’を決定することができる。４つの動きベクトルから代表ベクトルを定める方法は任意である。また、動きベクトルを参照すべき同一フレーム内の隣接ブロックの数は４つに限らない。

一方、第Ｎ−２フレーム内の５つの隣接ブロックの動きベクトル（動きベクトルＭＶ３を含む）も既に検出されているから、これらを参照して代表ベクトルＭＶ３’を決定することができる。５つの動きベクトルから代表ベクトルを定める方法は任意である。また、動きベクトルを参照すべき隣接フレーム内の隣接ブロックの数は５つに限らない。

次に、ブロックＦＢ３の中心点ＦＰ３に相当する第Ｎフレーム内の点ＦＰ４が始点となるように代表ベクトルＭＶ２’および代表ベクトルＭＶ３’を配置したときの終点の位置を求め、各位置を中心とする１．５×１．５ブロックを探索範囲ＳＡ２とする。なお、図５は一例であり、代表ベクトルの数は２つに限らないし、探索範囲の広さは１．５×１．５ブロックに限らない。ただし、制限探索における探索範囲は広域探索における探索範囲よりも狭くなければならない。

図６は、ブロック番号について説明するための図である。前述のように、動きベクトルの検出対象となるブロックは順に移り変わる。この移り変わりの順序を示す概念が「ブロック番号」である。例えば、１フレームが８×８ブロックに分割される場合、各ブロックは１〜６４の整数値をブロック番号として持つことになり、ブロック番号が小さい順に処理される。

図７は、制限探索のみを行う場合の問題点を説明するための図である。この図において、探索範囲の広さは、両端矢印の長さで表されている。この図で想定されているケースは、ブロック番号が１〜９のブロックでは被写体の動きが無く、ブロック番号が１０〜１３のブロックでは被写体が狭い探索範囲を逸脱するように大きく動き、ブロック番号が１４〜１６のブロックでは被写体の動きが無い、というものである。

前述したように、制限探索では、探索範囲が狭いにも関わらず、動きベクトルを高い精度で検出可能である。しかし、或るブロック群が狭い探索範囲から逸脱して大きく動く場合には、動きベクトルの検出精度が大きく低下してしまう。例えば、図７において、ブロック番号が９までのブロックでは、正しい動きベクトルの大きさ（白丸）と、検出された動きベクトルの大きさ（黒丸）とが共にゼロで一致しているが、ブロック番号が１０〜１３のブロックでは、両ベクトルの大きさが大きく相違してしまう。つまり、ブロック番号が１０〜１３のブロックでは、探索範囲の中心位置が同一フレーム内の隣接ブロックの既に検出された動きベクトルに引きずられて定められ、その結果、動きベクトルの検出精度が大きく低下する。

動きベクトルの検出精度が多くのブロックにわたって連続して低下すると、補間画像生成回路１５により生成される補間画像データの品質が大きく低下し、動画ボケが解消されないばかりか、新たな問題が発生する虞もある。したがって、動きベクトルの検出精度が多くのブロックにわたって連続して低下する事態を回避すべきである。そこで、本発明の各実施の形態では、動きベクトル演算回路１４が、基本的には制限探索を行い、特定のブロックについては広域探索を行うようにし、上記の事態を回避するようにしている。

［第１の実施の形態］
図８は、本発明の第１の実施の形態に係る動きベクトル演算回路１４Ａにより、制限探索のみが行われる制限ブロックと広域探索のみが行われる広域ブロックとの配置を示す図である。この図に示すように、動きベクトル演算回路１４Ａは、周期的に、具体的には５ブロック毎に広域探索を行う。また、ベクトル演算回路１４Ａは、広域ブロックについての探索範囲の中心位置を、特定の隣接ブロックの動きベクトルを用いて定める。具体的には、対象ブロックの中心点に相当する隣接フレームの位置が始点となるように特定の隣接ブロックの動きベクトルを配置したときに当該ベクトルの終点となる位置を探索範囲の中心位置とする。特定の隣接ブロックは、対象ブロックが行の先頭のブロックでなければ図８中直左のブロックであり、行の先頭のブロックであって列の先頭のブロックでなければ図８中直上のブロックである。

図９は、本発明の第１の実施の形態に係るベクトル演算回路１４Ａの働きを説明するための図である。この図で想定されているケースは、図７で想定されているケースと同一である。ブロック番号が１０のブロックは制限ブロックであり、このブロックでは、被写体の動きが探索範囲を逸脱し、正しい動きベクトルの大きさ（白丸）と、検出された動きベクトルの大きさ（黒丸）とが大きく相違する。次のブロックは広域ブロックであるから、このブロックでは、被写体の動きは探索範囲を逸脱せず、両ベクトルの大きさが一致する。ブロック番号が１２〜１５のブロックは制限ブロックであるから、これらのブロックでは、探索範囲の中心位置が、同一フレーム内の隣接ブロックの既に検出された大きな動きベクトルに引きずられて定められる。この結果、両ベクトルの大きさは、ブロック番号が１２〜１３のブロックでは一致し、ブロック番号が１４〜１５のブロックでは大きく相違する。ブロック番号が１６のブロックは広域ブロックである。したがって、被写体の動きは探索範囲を逸脱せず、両ベクトルの大きさが一致する。次のブロックでは、探索範囲の中心位置が、同一フレーム内の隣接ブロックの既に検出された大きさがゼロの動きベクトルに引きずられて定められる。

図１０は、本発明の第１の実施の形態に係る動きベクトル検出処理のフローチャートである。動きベクトル検出処理は、１フレーム分の動きベクトルを検出する処理である。この図に示すように、ベクトル演算回路１４Ａは、まず、前フレームを複数のブロックに分割する（ステップ２０１）。実際には、１フレームに含まれるブロックの行数および列数を設定する。行数および列数が不変であれば、その設定をフレーム毎に行う必要はない。次に、ベクトル演算回路１４Ａは、広域ブロックの特定のためのカウンタに初期値をセットする（ステップ２０２）。初期値は例えば１である。次に、ベクトル演算回路１４Ａは、最初のブロックを対象ブロックとする（ステップ２０３）。これは、例えば、ブロック番号を記憶する所定の記憶領域に１を書き込むことにより行われる。

次に、ベクトル演算回路１４Ａは、カウンタ値が所定値に達したか否かを判定し（ステップ２０４）、達した場合には広域探索により対象ブロックの動きベクトルを検出し（ステップ２０５）、カウンタをリセットする（ステップ２０６）。達していない場合には制限探索により対象ブロックの動きベクトルを検出し（ステップ２０７）、カウンタをインクリメントする（ステップ２０８）。所定値は例えば５である。カウント値は、カウンタがリセットされると初期値となり、インクリメントされると１だけ増える。次に、ベクトル演算回路１４Ａは、対象ブロックが最終ブロックか否かを判定する（ステップ２０９）。この判定は、例えば、上記の所定の記憶領域に記憶されているブロック番号と最終ブロックのブロック番号（例えば６３）との比較により行われる。この判定が否定的であれば、ベクトル演算回路１４Ａは、次のブロックを対象ブロックとする（ステップ２１０）。これは、例えば、上記の所定の記憶領域に記憶されているブロック番号をインクリメントすることにより行われる。そして、処理はステップ２０４に戻る。動きベクトル検出処理は、ステップ２０９の判定結果が肯定的となると終了する。

以上説明したように、ベクトル演算回路１４Ａによれば、制限ブロックについては、当該ブロックの隣接ブロックについて既に検出された動きベクトルに基づいて探索範囲が定まるから、このような探索範囲の特定を行わない態様に比較して、空間的および時間的に連続な正しい動きベクトルを検出し易くなる。また、広域探索と制限探索とがブロック毎に選択されるから、１フレーム内の全てのブロックについて制限探索を行う態様に比較して、空間的または時間的に不連続な正しい動きベクトルを検出し易くなる。また、制限ブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて探索範囲が特定されるから、十分に高い精度で検出された動きベクトルに基づいて動きベクトルを検出することができる。以上より、ベクトル演算回路１４Ａによれば、動きベクトルを十分に高い精度で安定して検出することができる。しかも、隣接ブロックには時間的に隣接するブロックが含まれているから、前のフレームにおける動きベクトルの検出結果を活かして動きベクトルを検出することができる。つまり、動きベクトルの検出精度が迅速に向上する。

ベクトル演算回路１４Ａでは、或るブロックの動きベクトルを検出する際に当該ブロックの画像と探索範囲に含まれる画像とが比較される。この比較の回数は、探索範囲が広いほど多くなり、探索範囲が狭いほど少なくなる。前述したように、ベクトル演算回路１４Ａは、基本的には制限探索を行い、特定のブロックについては制限探索を行わずに広域探索を行うため、補間画像生成回路１５が補間画像データを生成する際に必要となる画像の比較の回数は、全てのブロックについて広域探索によって動きベクトルを検出する態様に比較して少なくなる。よって、ベクトル演算回路１４Ａによれば、現実的な演算量で動きベクトルを検出することができる。

また、ベクトル演算回路１４Ａによれば、一定数のブロック毎に広域探索が行われるから、広域探索によって正しくない動きベクトルが連続して検出されるブロック数を一定数未満に抑制することができる。したがって、動きベクトルの検出精度が多くのブロックにわたって連続して低下する事態を回避することができる。

また、ベクトル演算回路１４Ａでは、前フレームにおける２つ目以降のブロックの動きベクトルを広域探索により検出するときに、当該ブロックと同一のフレームにおいて当該ブロックと隣接する他のブロックの既に検出された動きベクトルに基づいて探索範囲が特定される。したがって、ベクトル演算回路１４Ａによれば、２つ目以降のブロックについては、広域探索によっても空間的に連続な動きベクトルを検出することができる。これは、空間的に連続な動きベクトルを検出することができない一般的な広域探索に比較して有利である。

また、画像処理装置１０Ａは、現実的な演算量で、動きベクトルを十分に高い精度で安定して検出する動きベクトル演算回路１４Ａと、動きベクトル演算回路１４により検出された動きベクトルを用いて補間画像データを生成する補間画像生成回路１５とを備えているから、現実的な演算量で、ベクトル演算回路１４Ａを持たない画像処理装置よりも高い品質の補間画像データを生成することができる。また、画像処理装置１０Ａによれば、フレームレートが６０Ｈｚの映像データＤ１を入力し、この映像データＤ１から高い品質の補間画像データを生成してフレーム補間を行い、フレームレートが１２０Ｈｚの映像データＤ２を生成することができる。つまり、動きベクトル演算回路１４を持たない画像処理装置により映像データＤ１から生成される１２０Ｈｚの映像データよりも高い品質の映像データＤ２を生成することができる。

また、画像表示装置１Ａは、現実的な演算量で比較的に高い品質の補間画像データを生成することができる画像処理装置１０Ａと、画像処理装置１０Ａにより生成された補間画像データを入力し、このデータで表される補間画像を表示する電気光学装置２０とを備えているから、現実的な演算量で、画像処理装置１０Ａを持たない画像表示装置よりも高い品質の補間画像を表示することができる。また、画像表示装置１Ａでは、映像データＤ１を入力して表示される映像は映像データＤ２を用いたものとなる。映像データＤ２の品質は上述の通りであるから、画像表示装置１Ａによれば、画像処理装置１０Ａを持たない画像表示装置が映像データＤ１を入力して表示する映像よりも高い品質の映像を表示することができる。よって、動画ボケおよびフリッカを防止することができる。

［第２の実施の形態］
本発明の第２の実施の形態に係る動きベクトル演算回路１４Ｂは、基本的には制限探索を行い、制限探索により或るブロックの動きベクトルを検出すると、当該検出の際に得られた比較結果に基づいて当該検出の精度を評価し、評価が基準を満たすか否かを判定し、基準を満たさない場合には、当該ブロックの動きベクトルを広域探索により検出する。また、ベクトル演算回路１４Ｂは、ベクトル演算回路１４Ａと同様に、広域探索での探索範囲の中心位置を、特定の隣接ブロックの動きベクトルを用いて定める。

図１１は、本発明の第２の実施の形態に係るベクトル演算回路１４Ｂの働きを説明するための図である。この図で想定されているケースは、図７で想定されているケースと同一である。図１１に示すように、ブロック番号が１０のブロックでは、まず、制限探索が行われ、次に広域探索が行われる。これにより、正しい動きベクトルの大きさ（白丸）と、検出された動きベクトルの大きさ（黒丸）とが一致する。ブロック番号が１１〜１３のブロックでは、制限探索のみが行われ、両ベクトルの大きさが一致する。これは、これらのブロックでは、探索範囲の中心位置が、同一フレーム内の隣接ブロックの既に検出された大きな動きベクトルに引きずられて定められるからである。次のブロックでは、まず、制限探索が行われ、次に広域探索が行われる。これにより、両ベクトルの大きさが一致する。ブロック番号が１５〜１６のブロックでは、制限探索のみが行われ、両ベクトルの大きさが一致する。これは、これらのブロックでは、探索範囲の中心位置が同一フレーム内の隣接ブロックの既に検出された大きさゼロの動きベクトルに引きずられて定められるからである。

図１２は、本発明の第２の実施の形態に係る動きベクトル検出処理のフローチャートである。この図に示すように、ベクトル演算回路１４Ｂは、まず、前フレームを複数のブロックに分割する（ステップ３０１）。実際には、１フレームに含まれるブロックの行数および列数を設定する。行数および列数が不変であれば、その設定をフレーム毎に行う必要はない。次に、ベクトル演算回路１４Ｂは、最初のブロックを対象ブロックとする（ステップ３０２）。

次に、ベクトル演算回路１４Ｂは、制限探索により対象ブロックの動きベクトルを検出し（ステップ３０３）、その検出精度を評価する（ステップ３０４）。この評価は、この検出の際に得られた比較結果に基づいて為される。具体的な評価方法は任意であり、例えば、この検出の際に得られた、当該動きベクトルの終点を中心点とする領域の画像と対象ブロックの画像との比較の結果を、そのまま評価として用いてもよい。

次に、ベクトル演算回路１４Ｂは、得られた評価が所定の基準を満たすか否かを判定し（ステップ３０５）、満たさない場合にのみ、広域探索により対象ブロックの動きベクトルを検出する（ステップ３０６）。以降、ベクトル演算回路１４Ｂは、対象ブロックが最終ブロックか否かを判定し（ステップ３０７）、最終ブロックであれば動きベクトル検出処理を終了し、最終ブロックでなければ、次のブロックを対象ブロックとし（ステップ３０８）、処理をステップ３０３に戻す。

以上説明したように、ベクトル演算回路１４Ｂ、画像処理装置１０Ｂまたは画像表示装置１Ｂによれば、第１の実施の形態におけるベクトル演算回路１４Ａ、画像処理装置１０Ａまたは画像表示装置１Ａにより得られる効果と同様の効果が得られる。また、図１１から明らかなように、ベクトル演算回路１４Ｂによれば、図７で想定されているケースであっても、正しい動きベクトルを確実に検出することができる。つまり、制限探索および広域探索により正しい動きベクトルを検出可能なブロックについて、確実に、正しい動きベクトルを検出することができる。しかも、制限探索により正しい動きベクトルを検出不能な場合にのみ広域探索を行うようにしているから、探索範囲が狭い制限探索によっても正しい動きベクトルを検出可能なブロックについて探索範囲が広い広域探索を行ってしまう、という無駄を省くことができる。

ただし、ベクトル演算回路１４Ｂによる動きベクトルの検出では、広域探索により動きベクトルを検出するブロックの数が不定となる。また、制限探索により動きベクトルが検出されたブロックについて広域探索により動きベクトルが検出される場合がある。よって、補間画像生成回路１５が補間画像データを生成する際に必要となる、ベクトル演算回路１４Ｂによる画像の比較の回数は、ベクトル演算回路１４Ａによる画像の比較の回数よりも多くなる可能性もあるし、少なくなる可能性もある。しかし、ベクトル演算回路１４Ｂが広域探索により動きベクトルを検出するのは、対象ブロックの動きベクトルの検出精度の評価が所定の基準を満たさない場合のみであるから、所定の基準を適切に定めることにより、上記の回数を、全てのブロックについて広域探索によって動きベクトルを検出する態様に比較して少なくすることができる。また、ベクトル演算回路１４Ｂは基本的には上記の制限探索を行うものであり、一般に、１フレームを構成するブロックの数に比較して上記の制限探索により正しい動きベクトルを検出不能なブロックの数は少ない。よって、ベクトル演算回路１４Ｂによれば、上記の回数を十分に少なくしつつ、正しい動きベクトルの検出精度を十分に高く保つことができる。

［第３の実施の形態］
本発明の第３の実施の形態に係る動きベクトル演算回路１４Ｃは、１フレーム毎に、広域ブロックと制限ブロックとの配置を決定し、その後に、ブロック毎の動きベクトルを検出する。また、ベクトル演算回路１４Ｃは、ベクトル演算回路１４Ａと同様に、広域探索での探索範囲の中心位置を、特定の隣接ブロックの動きベクトルを用いて定める。

図１３は、本発明の第３の実施の形態に係るベクトル演算回路１４Ｃの働きを説明するための図である。この図で想定されているケースは、図７で想定されているケースと同一である。図１３において、ブロック番号が９、１０、１５および１６のブロックが制限ブロックであり、ブロック番号が１１〜１４のブロックが広域ブロックである。ブロック番号が１０の制限ブロックでは、正しい動きベクトルの大きさ（白丸）と、検出された動きベクトルの大きさ（黒丸）とが大きく相違するが、その他のブロックでは、両ベクトルが一致する。ブロック番号が１１〜１３の制限ブロックにおいて、正しい動きベクトルの大きさが大きいにも関わらず、両ベクトルの大きさが一致するのは、これらのブロックでは、探索範囲の中心位置が、同一フレーム内の隣接ブロックの既に検出された大きな動きベクトルに引きずられて定められるからである。これと同様のことが、ブロック番号が１５および１６の制限ブロックにもあてはまる。

図１４は、本発明の第３の実施の形態に係る動きベクトル検出処理のフローチャートである。この図に示すように、ベクトル演算回路１４Ｃは、まず、前フレームを複数のブロックに分割する（ステップ４０１）。実際には、１フレームに含まれるブロックの行数および列数を設定する。行数および列数が不変であれば、その設定をフレーム毎に行う必要はない。次に、差画像を示すフレーム間差画像データを生成する（ステップ４０２）。差画像は現在フレームの画像と前フレームの画像との差の画像であり、その画素の階調値は、両フレームの同一位置における画素間の階調値の差の絶対値である。したがって、フレーム間差画像データは、前フレームから現在フレームにかけての階調値の変化の分布を示すデータとなる。

次に、ベクトル演算回路１４Ｃは、生成したフレーム間差画像データに基づいて、前フレーム内の少なくとも１つのブロックを広域ブロックとして選択する（ステップ４０３）。この選択は、補間画像生成回路１５が補間画像データを生成する際に必要となる、ベクトル演算回路１４Ｂによる画像の比較の回数が、現実的な回数となるように行われる。具体的には、例えば、フレーム間差画像データにおけるブロック毎の階調値の和と所定の優先順位とに基づいて所定数のブロックを広域ブロックとして選択するようにしてもよい。所定数は、上記の回数が現実的な回数となる上限であり、予め定められている。所定の優先順位は、動きベクトルの検出精度がより高くなるように予め定められた優先順位であり、例えば、フレーム間差画像データにおけるブロック毎の階調値の和が大きい順であってもよいし、この順と動きベクトルが検出される順との組み合わせであってもよい。また例えば、フレーム間差画像データにおけるブロック毎の階調値の和が所定の基準値に達したブロックから所定数のブロックをランダムに選択して広域ブロックとしてもよい。次に、ベクトル演算回路１４Ｃは、最初のブロックを対象ブロックとする（ステップ４０４）。

次に、ベクトル演算回路１４Ｃは、対象ブロックが広域ブロックか否かを判定し（ステップ４０５）、広域ブロックの場合には広域探索により対象ブロックの動きベクトルを検出し（ステップ４０６）、広域ブロックでない場合には制限探索により対象ブロックの動きベクトルを検出する（ステップ４０７）。次に、ベクトル演算回路１４Ｃは、対象ブロックが最終ブロックか否かを判定し（ステップ４０８）、最終ブロックであれば動きベクトル検出処理を終了し、最終ブロックでなければ、次のブロックを対象ブロックとし（ステップ４０９）、処理をステップ４０５に戻す。

以上説明したように、ベクトル演算回路１４Ｃ、画像処理装置１０Ｃまたは画像表示装置１Ｃによれば、第１の実施の形態におけるベクトル演算回路１４Ａ、画像処理装置１０Ａまたは画像表示装置１Ａにより得られる効果と同様の効果が得られる。また、図１３から明らかなように、ベクトル演算回路１４Ｃによれば、広域探索が必要なブロックについて広域探索が行われる確率が高くなる。したがって、正しい動きベクトルをより高い精度で検出することができるとともに、探索範囲が狭い制限探索によっても正しい動きベクトルを検出可能なブロックについて探索範囲が広い広域探索を行ってしまうという無駄を減らすことができる。

＜Ｇ：変形例＞
広域ブロックの配置は、上記の第１の実施の形態では周期的となるように定められ、上記の第２の実施の形態ではフレーム間差画像データに基づいて定めてられるが、これらに限らない。例えば、フレーム間差画像データに基づくことなく、ランダムに定められてもよい。また、上記の実施の形態を変形し、広域探索における探索範囲の中心位置を対象ブロックの中心点に相当する位置としてもよい。

また、補間画像データの生成に用いるフレームは現在フレームに限らない。前フレームのみであってもよいし、前フレームおよび現在フレームであってもよい。また、フレームレートを２倍に上げる例を示したが、３倍以上に上げるようにしてもよい。また、フレーム補間によりフレームレートを上げる例を示したが、フレームレートを変えずに映像の長さを延ばすようにしてもよい。

さらに、上記の各種の形態を任意に組み合わせてもよい。例えば、第１または第３の実施の形態において、制限探索による対象ブロックの動きベクトルの検出の際に得られた比較結果に基づいて当該検出の精度を評価し、評価が基準を満たさない場合には当該対象ブロックの動きベクトルを広域探索により検出する、ようにしてもよい。

＜Ｅ：応用例＞
次に、本発明に係る発光装置を利用した電子機器について説明する。
図１５は、上述した画像表示装置１を表示装置として採用したモバイル型のパーソナルコンピュータの構成を示す斜視図である。パーソナルコンピュータ２０００は、画像表示装置１と本体部２０１０とを備える。本体部２０１０には、電源スイッチ２００１およびキーボード２００２が設けられている。このパーソナルコンピュータ２０００の表示パネル３０（画像表示装置１）は電気光学素子にOLED素子を利用しているので、視野角が広く見易い画面を表示できる。

図１６に、画像表示装置１を適用した携帯電話機の構成を示す。携帯電話機３０００は、複数の操作ボタン３００１およびスクロールボタン３００２、ならびに表示装置としての画像表示装置１を備える。スクロールボタン３００２を操作することによって、表示パネル３０（画像表示装置１）に表示される画面がスクロールされる。

図１７に、画像表示装置１を適用した携帯情報端末（ＰＤＡ：Personal Digital Assistants）の構成を示す。情報携帯端末４０００は、複数の操作ボタン４００１および電源スイッチ４００２、ならびに表示装置としての画像表示装置１を備える。電源スイッチ４００２を操作すると、住所録やスケジュール帳といった各種の情報が表示パネル３０（画像表示装置１）に表示される。

なお、本発明に係る画像表示装置１が適用される電子機器としては、図１５から図１７に示したもののほか、テレビやビデオカメラ等の映像を表示可能な機器が挙げられる。また、本発明に係る画像処理装置１０が適用される電子機器としては、図１５から図１７に示したもののほか、テレビやビデオカメラ、ビデオプレーヤ等の映像データを出力可能な機器が挙げられる。

本発明の各実施の形態に係る画像表示装置１（１Ａ，１Ｂ，１Ｃ）の構成を示す図である。 画像表示装置１を構成する補間画像生成回路１５による補間画像データの生成について説明するための図である。 画像表示装置１を構成する動きベクトル演算回路１４による動きベクトルの検出の概略を説明するための図である。 動きベクトル演算回路１４による広域探索を説明するための図である。 動きベクトル演算回路１４による制限探索を説明するための図である。 ブロック番号について説明するための図である。 制限探索のみを行う場合の問題点を説明するための図である。 本発明の第１の実施の形態に係る動きベクトル演算回路１４Ａにより、制限探索のみが行われる制限ブロックと広域探索のみが行われる広域ブロックとの配置を示す図である。 ベクトル演算回路１４Ａの働きを説明するための図である。 本発明の第１の実施の形態に係る動きベクトル検出処理のフローチャートである。 本発明の第２の実施の形態に係るベクトル演算回路１４Ｂの働きを説明するための図である。 本発明の第２の実施の形態に係る動きベクトル検出処理のフローチャートである。 本発明の第３の実施の形態に係るベクトル演算回路１４Ｃの働きを説明するための図である。 本発明の第３の実施の形態に係る動きベクトル検出処理のフローチャートである。 画像表示装置１を表示装置として採用したモバイル型のパーソナルコンピュータの構成を示す図である。 画像表示装置１を表示装置として採用した携帯電話機の構成を示す図である。 画像表示装置１を表示装置として採用した携帯情報端末の構成を示す図である。

符号の説明

１（１Ａ．１Ｂ，１Ｃ）……画像表示装置、１０（１０Ａ．１０Ｂ，１０Ｃ）……画像処理装置、１０（１４Ａ．１４Ｂ，１４Ｃ）……動きベクトル演算回路、１５……補間画像生成回路、２０……電気光学装置。

Claims (4)

1. 隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理方法において、
   フレームを複数のブロックに分割し、各ブロックの画像を隣接するフレームの探索範囲に含まれる画像と比較し、比較結果に基づいて当該ブロックの動きベクトルを検出する検出ステップと、
   前記検出ステップで検出された動きベクトルを用いて前記補間画像を生成する補間画像生成ステップとを有し、
   前記検出ステップは、
   前記隣接するフレームの画像間の各画素における階調値の差を示す、差画像を生成する差画像生成ステップと、
   前記差画像における前記ブロック毎の階調値の和が大きい順に所定数のブロックを特定のブロックとする特定ステップと
   を有し、
   前記検出ステップでは、
   動きベクトルを検出する処理として、前記探索範囲が広い第１処理と前記探索範囲が狭い第２処理とをブロック毎に選択し、
   検出の対象となるブロックが前記特定のブロックであるか否かを判定し、前記特定のブロックである場合には、当該ブロックについて前記第１処理を選択し、
   前記特定のブロック以外のブロックについては、前記第２処理を選択し、
   前記第２処理を選択したブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて前記探索範囲を特定し、
   前記画像を表示する際に前記各ブロックに含まれる画素を走査していく方向に位置するブロックについて、前記検出ステップが順次行われる
   ことを特徴とする画像処理方法。
2. 隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理方法において、
   フレームを複数のブロックに分割し、各ブロックの画像を隣接するフレームの探索範囲に含まれる画像と比較し、比較結果に基づいて当該ブロックの動きベクトルを検出する検出ステップと、
   前記検出ステップで検出された動きベクトルを用いて前記補間画像を生成する補間画像生成ステップとを有し、
   前記検出ステップは、
   前記隣接するフレームの画像間の各画素における階調値の差を示す、差画像を生成する差画像生成ステップと、
   前記差画像における前記ブロック毎の階調値の和が所定の基準値に達したブロックから所定数のブロックをランダムに選択して特定のブロックとする特定ステップと
   を有し、
   前記検出ステップでは、
   動きベクトルを検出する処理として、前記探索範囲が広い第１処理と前記探索範囲が狭い第２処理とをブロック毎に選択し、
   検出の対象となるブロックが前記特定のブロックであるか否かを判定し、前記特定のブロックである場合には、当該ブロックについて前記第１処理を選択し、
   前記特定のブロック以外のブロックについては、前記第２処理を選択し、
   前記第２処理を選択したブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて前記探索範囲を特定し、
   前記画像を表示する際に前記各ブロックに含まれる画素を走査していく方向に位置するブロックについて、前記検出ステップが順次行われる
   ことを特徴とする画像処理方法。
3. 隣接するフレーム間の画像の動きを補う補間画像を生成する画像処理装置において、
   フレームを複数のブロックに分割し、各ブロックの画像を隣接するフレームの探索範囲に含まれる画像と比較し、比較結果に基づいて当該ブロックの動きベクトルを検出する検出回路と、
   前記検出回路により検出された動きベクトルを用いて前記補間画像を生成する生成回路とを有し、
   前記検出回路は、
   前記隣接するフレームの画像間の各画素における階調値の差を示す、差画像を生成する差画像生成回路部と、
   前記差画像における前記ブロック毎の階調値の和が大きい順に所定数のブロックを特定のブロックとする特定回路部と
   を有し、
   前記検出回路は、
   動きベクトルを検出する処理として、前記探索範囲が広い第１処理と前記探索範囲が狭い第２処理とをブロック毎に選択し、
   検出の対象となるブロックが前記特定のブロックであるか否かを判定し、前記特定のブロックである場合には、当該ブロックについて前記第１処理を選択し、
   前記特定のブロック以外のブロックについては、前記第２処理を選択し、
   前記第２処理を選択したブロックについては、当該ブロックに隣接するブロックの既に検出された動きベクトルに基づいて前記探索範囲を特定し、
   前記画像を表示する際に前記各ブロックに含まれる画素を走査していく方向に位置するブロックについて、前記動きベクトルの検出が順次行われる
   ことを特徴とする画像処理装置。
4. 請求項３に記載の画像処理装置と、
   与えられた電気エネルギにより発光特性または光の透過特性が変化する複数の電気光学素子が面状に配列された電気光学装置とを有し、
   前記複数の電気光学素子の発光特性または光の透過特性を、前記画像処理装置により生成された前記補間画像に応じて変化させて当該補間画像を表示する、
   ことを特徴とする表示装置。

Images