JP4539152B2 - 画像処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置および方法、並びにプログラムに関し、特に、周囲と調和の取れた動きベクトルを容易に検出することができる、画像処理装置および方法、並びにプログラムに関する。

動画像の表示装置として、従来、CRT（Cathode Ray Tub）が普及しているが、近年、液晶型表示装置（例えば、特許文献１参照）の普及も著しい。

CRTは、動画像を構成する複数のフレームのうちの所定の１つの表示が指示されると、内蔵する電子銃を、CRTの画面を構成する複数の水平ライン（走査線）のそれぞれに沿って順次走査させることで、指示されたフレーム（以下、表示が指示されたフレームを、表示対象フレームと称する）を画面に表示させる。

従って、表示対象フレームを構成する複数の画素のそれぞれに注目すると、複数の画素のそれぞれは、時間方向においてインパルス状に表示される（電子銃が走査して来て、対応する位置に来た瞬間のみ表示される）ことになる。なお、以下、このようなCRTと同様の表示方式を採用する表示装置を総称して、インパルス型表示装置と称する。

これに対して、液晶型表示装置は、動画像を構成する複数のフレームのうちの所定の１つ（表示対象フレーム）の表示が指示されてから、次のフレームの表示が指示されるまで、その画面を構成する全ての液晶の表示を保持させることで、表示対象フレームを画面に表示させる。

詳細には、例えば、１つの液晶に１つの画素が対応付けられているとする。この場合、フレームの表示の指示として、その表示対象フレームを構成する各画素の画素値のそれぞれが液晶型表示装置に指示される。すると、液晶型表示装置は、その画面を構成する各液晶（各画素のそれぞれに対応する各液晶）のそれぞれに対して、指示された画素値に対応するレベルの電圧を印加する。これにより、各液晶のそれぞれは、印加された電圧に応じた光を出力する。即ち、所定の液晶から出力される光のレベルは、その液晶に印加された電圧のレベルに対応する。

その後、少なくとも次のフレームの表示が指示されるまでの間、各液晶のそれぞれには同一レベルの電圧が印加され続けるので、各液晶のそれぞれは一定レベルの光を出力し続ける。即ち、各液晶のそれぞれには、指示された画素値を有する画素が表示され続ける。

そして、次のフレームの表示が指示されて、所定の画素の画素値の変更が必要となった場合、その画素に対応する液晶には、変更された画素値に対応するレベルの電圧が印加されるので（印加される電圧のレベルが変化するので）、その液晶の出力レベル（光のレベル）も変化することになる。

このように、液晶型表示装置は、CRT等のインパルス型表示装置とは異なる表示方式を採用しているので、インパルス型表示装置と比較して、設置スペースが少なくて済む、消費電力が少ない、および、歪みが生じにくいといった特長を有している。
特開２００２−２１９８１１号公報

しかしながら、液晶型表示装置は、動画像を表示する場合、インパルス型表示装置と比較して動きボケの発生頻度が多いという第１の課題がある。

従来、この第１の課題の発生、即ち、液晶型表示装置における動きボケの発生は、液晶の応答速度の遅さが原因であると考えられていた。即ち、液晶型表示装置では、各液晶のそれぞれの出力レベルが、指示された目標レベル（例えば、１つの液晶に１つの画素が対応付けられている場合、指示された画素値に対応するレベル）に到達するまでに時間がかかるため、動きボケが発生してしまうと考えられていた。

そこで、この第１の課題を解決するために、即ち、液晶型表示装置における動きボケの発生を抑制するために、特許文献１には次のような手法が開示されている。即ち、特許文献１に開示されている手法とは、各液晶（各画素）のそれぞれに対して、目標レベルよりも高いレベルの電圧を印加する手法（以下、オーバドライブ方式と称する）である。換言すると、オーバドライブ方式は、目標レベルとして、いままでのレベルよりも高いレベルを設定する手法、即ち、目標レベルを補正する手法である。

しかしながら、このようなオーバドライブ方式を適用しても、動きボケの発生を依然として抑制することができない状況であった。換言すると、液晶型表示装置における、動画像の動きボケを抑制させる手法として効果的な手法が存在せず、この第１の課題を解決することができない状況であった。

そこで、本願出願人は、このような状況に鑑みて、従来のオーバドライブ方式を適用しても第１の課題を解決することができない要因、即ち、液晶型表示装置における動きボケの発生を抑制することができない要因について解析し、その解析結果に基づいて、第１の課題を解決することが可能な画像処理装置を発明した。なお、この発明は、本願出願人により先に出願されている（特願２００３−２７０９６５号）。

即ち、上述したように、液晶型表示装置において、動きボケが発生する原因の１つは液晶（画素）の応答速度が遅いことであり、オーバドライブ方式はこの原因を考慮した手法である。

しかしながら、液晶型表示装置における動きボケの発生は、液晶の応答の遅さだけが原因ではなく、人間（液晶型表示装置を見るユーザ）の目が有する追従視と称される特性もその原因の１つである。それにも関わらず、従来のオーバドライブ方式では追従視について全く考慮しておらず、このため、動きボケの発生を抑制することができないでいる、と本願出願人は解析した。なお、追従視とは、網膜残像とも称される特性であって、物体が動いている場合、人間の目が無意識のうちにその物体に追従してしまう特性を指す。

換言すると、人間の目は追従視という特性を有しているので、従来のオーバドライブ方式のように、動いているオブジェクトを表示する液晶（画素）の全ての画素値（それに対応する、液晶に印加される電圧のレベル）を補正しても、即ち、液晶の出力レベルの時間応答だけを改善しても、動きボケを解消することはできない、と本願出願人は解析した。

そこで、上述したように、本願出願人は、液晶の応答の遅さのみならず追従視も考慮した画像処理を実行する画像処理装置を発明した。

即ち、この本願出願人により発明された画像処理装置は、表示対象フレームを構成する各画素のうちの処理の対象として注目する画素（以下、注目画素と称する）が、動きのあるオブジェクトのエッジ部分に対応する場合、注目画素の動きベクトル（方向と大きさ）に応じて注目画素の画素値を補正することで、追従視による動きボケの抑制を可能にしている。

しかしながら、このとき、注目画素の動きベクトルとして、注目画素の周囲の画素の動きベクトルに対して異質なベクトルが使用されてしまうと（周囲と調和の取れた動きベクトルが使用されないと）、最終的に得られる補正画像（表示対象フレーム）において、注目画素の画素値（補正値）も、その周囲の画素の画素値（補正値）に対して異質な値となってしまうという第２の課題が発生してしまう。換言すると、最終的に得られる補正画像の注目画素が、その周囲の他の画素に対して異質な画素となってしまい、画質の低下が生じてしまうという第２の課題が発生してしまう。

以上、液晶型表示装置が有する課題として説明したが、このような第１の課題と第２の課題は、液晶型表示装置のみならず次の特徴を有する表示装置全体が有する課題である。即ち、第１の課題と第２の課題を有する表示装置の特徴とは、目標レベルが指示されてから、出力レベルがその目標レベルに到達するまでに、所定の時間を要する表示素子を複数個有し、複数の表示素子のそれぞれが、フレームまたはフィールドを構成する画素のうちの所定の１つの少なくとも一部分に対応付けられている、という特徴である。

なお、このような特徴を有する表示装置においては、所定のフレームまたはフィールドの表示が指示されてから、所定の時間（例えば、次のフレームまたはフィールドの表示が指示されるまでの時間）の間、画面を構成する各表示素子のうちの少なくとも一部の表示をホールドさせる表示方式が採用されていることが多い。なお、以下、液晶型表示装置等、このような表示方式を採用する表示装置をまとめて、ホールド型表示装置と称する。また、ホールド型表示装置の画面を構成する各表示素子（液晶型表示装置の場合には液晶）のそれぞれの表示の形態を、ホールド表示と称する。即ち、第１の課題と第２の課題は、ホールド型表示装置が有する課題であるとも言える。

本発明は、このような状況に鑑みてなされたものであり、周囲と調和の取れた動きベクトルを容易に検出することができるようにするものである。

本発明の第１の画像処理装置は、動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第１のアクセスユニットと、第１のアクセスユニットの直前に表示対象であった第２のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成手段と、候補生成手段により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定手段と、注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段と、輝度変化演算手段により演算された輝度の変化の度合いが閾値未満であるという条件、第１のアクセスユニットの中に注目画素の配置位置に対応する第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および対応画素として、第１のアクセスユニットから検出される第２の画素が対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、動きベクトルの信頼度が低いと評価し、動きベクトルに所定の補正係数を乗じて補正する補正手段とを備えることを特徴とする。

候補生成手段は、注目画素を起点とし第２の画素を終点とするベクトルを、注目画素における動きベクトル候補として生成するようにすることができる。

候補生成手段はさらに、複数の対応画素の候補の中に注目画素自身が含まれている場合、そのことを示す情報を補正手段に提供し、補正手段は、候補生成手段から情報が提供された場合、動きベクトルの信頼度が低いと評価して、動きベクトルを０ベクトルに補正するようにすることができる。

本発明の第１の画像処理方法は、動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第１のアクセスユニットと、第１のアクセスユニットの直前に表示対象であった第２のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップの処理により演算された輝度の変化の度合いが閾値未満であるという条件、第１のアクセスユニットの中に注目画素の配置位置に対応する第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および対応画素として、第１のアクセスユニットから検出される第２の画素が対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、動きベクトルの信頼度が低いと評価し、動きベクトルに所定の補正係数を乗じて補正する補正ステップとを含むことを特徴とする。

本発明の第１のプログラムは、コンピュータに実行させるプログラムであって、動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、注目画素を単位とする画像処理をコンピュータに実行させるプログラムであって、第１のアクセスユニットと、第１のアクセスユニットの直前に表示対象であった第２のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、輝度変化演算ステップの処理により演算された輝度の変化の度合いが閾値未満であるという条件、第１のアクセスユニットの中に注目画素の配置位置に対応する第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および対応画素として、第１のアクセスユニットから検出される第２の画素が対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、動きベクトルの信頼度が低いと評価し、動きベクトルに所定の補正係数を乗じて補正する補正ステップとを含むことを特徴とする。

本発明の第１の画像処理装置および方法、並びに、第１のプログラムにおいては、動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定され、注目画素を単位とする画像処理が実行される。即ち、第１のアクセスユニットと、第１のアクセスユニットの直前に表示対象であった第２のアクセスユニットとが比較され、その比較結果に基づいて注目画素における動きベクトル候補が生成される。このような動きベクトル候補は、注目画素のみならずその周辺の画素のそれぞれについても生成される。次に、このようにして生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補が、注目画素における動きベクトルとして決定される。そして、注目画素周辺の輝度の変化の度合演算する輝度変化演算手段と、
輝度変化演算手段により演算された輝度の変化の度合いが閾値未満であるという条件、第１のアクセスユニットの中に注目画素の配置位置に対応する第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および対応画素として、第１のアクセスユニットから検出される第２の画素が対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、動きベクトルの信頼度が低いと評価され、動きベクトルに所定の補正係数が乗じられて補正される。

本発明の第２の画像処理装置は、動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第１のアクセスユニットと、第１のアクセスユニットの直前に表示対象であった第２のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成手段と、候補生成手段により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定手段と、動きベクトル決定手段により決定された動きベクトルを補正する補正手段と、補正手段により補正された動きベクトルを利用して、注目画素の画素値を所定の補正量で補正する処理実行手段とを備え、補正手段は、所定の大きさの動きベクトルの前後で補正量が不連続性になるのを防止するように動きベクトルを補正することを特徴とする。

注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段をさらに設け、補正手段は、さらに、輝度変化演算手段により演算された輝度の変化の度合いが閾値未満であるという条件、第１のアクセスユニットの中に注目画素の配置位置に対応する第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および対応画素として、第１のアクセスユニットから検出される第２の画素が対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、動きベクトルの信頼度が低いと評価し、補正量が不連続性になるのを防止するように補正された動きベクトルに、所定の補正係数を乗じてさらに補正するようにすることができる。

本発明の第２の情報処理装置の第２の情報処理方法は、動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第１のアクセスユニットと、第１のアクセスユニットの直前に表示対象であった第２のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、動きベクトル決定ステップの処理により決定された動きベクトルを補正する補正ステップと、補正ステップの処理により補正された動きベクトルを利用して、注目画素の画素値を所定の補正量で補正する処理を第２の情報処理装置が実行することを制御する処理制御ステップとを含み、補正ステップは、所定の大きさの動きベクトルの前後で補正量が不連続性になるのを防止するように動きベクトルを補正するステップを少なくとも含むことを特徴とする。

本発明の第２のプログラムは、動画像を構成する複数のアクセスユニットのうちの所定の１つを処理対象として、処理対象のアクセスユニットを構成する各画素のそれぞれにおける動きベクトルを利用する所定の処理を実行する処理実行装置を制御するコンピュータに実行させるプログラムであって、動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、第１のアクセスユニットと、第１のアクセスユニットの直前に表示対象であった第２のアクセスユニットとを比較することで、注目画素における動きベクトル候補を生成する候補生成ステップと、候補生成ステップの処理により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補を、注目画素における動きベクトルとして決定する動きベクトル決定ステップと、動きベクトル決定ステップの処理により決定された動きベクトルを補正する補正ステップと、補正ステップの処理により補正された動きベクトルを利用して、注目画素の画素値を所定の補正量で補正する処理を処理実行装置が実行することを制御する処理制御ステップとを含み、補正ステップは、所定の大きさの動きベクトルの前後で補正量が不連続性になるのを防止するように動きベクトルを補正するステップを少なくとも含むことを特徴とする。

本発明の第２の情報処理装置および方法、並びに第２のプログラムにおいては、動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定され、第１のアクセスユニットと、第１のアクセスユニットの直前に表示対象であった第２のアクセスユニットとが比較され、その比較の結果に基づいて、注目画素における動きベクトル候補が生成され、生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補のうちの頻度が最も高い動きベクトル候補が、注目画素における動きベクトルとして決定され、決定された動きベクトルが補正されて、補正された動きベクトルを利用して注目画素の画素値が所定の補正量で補正される。このとき実行される所定の処理で利用される動きベクトルは、所定の大きさの動きベクトルの前後で補正量が不連続性になるのが防止されるように補正された動きベクトルとされる。

以上のごとく、本発明によれば、液晶型表示装置等のホールド型表示装置で発生する動きボケ（特に、人間の追従視に起因する動きボケ）を抑制する画像処理において利用される、注目画素の動きベクトルを検出することができる。特に、周囲と調和の取れた動きベクトルを容易に検出することができる。

以下、図面を参照して、本発明が適用される画像処理装置について説明する。

図１は、本発明が適用される画像処理装置の構成例を表している。

図１において、画像処理装置１は、液晶型表示装置等として構成されるホールド型表示装置２に対して、動画像の表示を制御する。即ち、画像処理装置１は、動画像を構成する複数のフレームのそれぞれの表示を順次指示する。これにより、ホールド型表示装置２は、上述したように、第１のフレームの表示が指示されてから所定の時間の間、第１のフレームを構成する複数の画素のそれぞれを対応する表示素子（図示せず）に表示させ、それら表示素子のうちの少なくとも一部の表示を保持させる。即ち、所定の時間、各表示素子のうちの少なくとも一部はホールド表示する。

なお、画像処理装置１の処理単位（動画像の単位）は、ここでは説明の簡略上、上述したようにフレームであるとして説明するが、フィールドを単位とすることも勿論可能である。即ち、本明細書において、フレームやフィールドのような単位をアクセスユニットとも称するが、画像処理装置１は、このアクセスユニットを単位とする画像処理を行うことができる。ただし、以下の説明においては、画像処理装置１は、アクセスユニットのうちの特にフレームを単位とする画像処理を行うとする。

また、以下、ホールド型表示装置２は、第１のフレームの表示が指示されてから、その次の第２のフレームの表示が指示されるまでの間、第１のフレームを構成する全ての画素のそれぞれを対応する表示素子（図示せず）に表示させ、それら全ての表示素子の表示を保持させる（全ての表示素子がホールド表示する）とする。

詳細には、画像処理装置１には、動画像を構成する複数のフレームのそれぞれの画像データが順次入力される。即ち、画像処理装置１には、表示対象フレームの画像データ（例えば、表示対象フレームを構成する全ての画素の画素値）が入力される。具体的には、表示対象フレームの画像データは、画像処理部１１、画像処理部１２、参照画像記憶部１３、および、動き検出部１４のそれぞれに入力される。

画像処理部１１は、表示対象フレームの画像データに対して画素を単位とする所定の画像処理を施して、切替部１５に出力する。即ち、画像処理部１１は、表示対象フレームを構成する複数の画素のそれぞれに対して所定の画像処理を施すことで、それらの画素の画素値を補正し、補正した画素値を切替部１５に所定の順番で順次出力する。

なお、画像処理部１１が実行する画像処理は特に限定されない。例えば、図１の例では、画像処理部１１には、後述する参照画像記憶部１３から出力される参照画像（表示対象フレームの直前のフレームであって、以下、単に直前フレームと称する）の画像データ、および、後述する動き検出部１４の検出結果（表示対象フレームを構成する各画素のそれぞれの動きベクトル）、といった２つの情報が入力される。この場合、画像処理部１１は、これらの２つの情報を全て利用する画像処理を行ってもよいし、いずれか一方の情報を利用する画像処理を行ってもよいし、或いは、いずれの情報も利用しない画像処理を行ってもよい。具体的には、例えば、画像処理部１１は、表示対象フレームを構成する各画素のそれぞれの画素値を所定の規則のテーブル（図示せず）に従って補正することができる。

また、画像処理部１１は、画像処理装置１にとって必須な構成要素ではなく、省略されてもよい。この場合、表示対象フレームの画像データは、画像処理部１２、参照画像記憶部１３、動き検出部１４、および、切替部１５の入力端（２つの入力端のうちの、図１の画像処理装置１１に接続された方の入力端）のそれぞれに入力されることになる。

画像処理部１２は、表示対象フレームの画像データ（各画素の画素値）のうちの、動きのあるオブジェクトに対応する画素（例えば、動き検出部１４により検出された動きベクトルの大きさが閾値以上の画素）の画素値を補正し（０補正含む）、補正した画素値を切替部１５に出力する。

なお、画像処理部１２は、表示対象フレーム内の任意の空間方向に動くオブジェクトを処理対象とし、そのオブジェクトに対応する画素の画素値を補正することが可能である。ただし、以下、説明の簡略上、表示対象フレームの左上端の画素を基準とした場合、その基準画素に対して右（横）方向Ｘ（以下、空間方向Ｘと称する）またはその逆方向に動くオブジェクトが、画像処理部１２の処理対象とされる。従って、後述するように、動き検出部１４により検出される注目画素の動きベクトルの方向も、フレーム内の任意の空間方向となり得るが、以下、説明の簡略上、空間方向Ｘまたはその逆方向とされる。

詳細には、画像処理部１２は、ステップエッジ検出部２１と補正部２２とから構成される。

ステップエッジ検出部２１は、動き検出部１４の検出結果（動きベクトル）に基づいて、表示対象フレームの画像データの中から、動きのあるオブジェクトのエッジ部分に対応する画素を検出し、その検出結果を補正部２２に供給する。

具体的には、例えば、ステップエッジ検出部２１は、ステップエッジをオブジェクトして捉え、表示対象フレームの画像データを、空間方向Ｘに形成される複数のステップエッジの画像データの集合体に分解した上、複数のステップエッジのそれぞれのエッジ部分に対応する画素を検出し、その検出結果を補正部２２に供給する。

なお、ステップエッジとは、第１の画素値を有する画素が所定の方向（ここでは、空間方向Ｘ）に連続して並び、所定の画素を境に、第１の画素値とは異なる第２の画素値を有する画素がその方向に連続して並んで形成される画素の集合体を指す。

即ち、ステップエッジ検出部２１は、注目画素の画素値と、それに隣接する画素のうちの予め定められた方（いまの場合、空間方向Xとその逆方向とのうちの予め定められた方）の画素値との差分を演算する。そして、ステップエッジ検出部２１は、例えば、その演算結果（差分値）が０でない場合、ステップエッジのエッジ部分に対応する画素として注目画素を検出する。

ただし、ここでは、動きボケを抑制することが主目的とされているので、エッジ部分が検出される対象は動きのあるステップエッジのみで足りる。

そこで、ステップエッジ検出部２１は、例えば、動き検出部１４より供給された注目画素の動きベクトルの大きさが閾値以上であった場合、その注目画素を一構成要素とするステップエッジは動いていると判断し、その処理を実行する。即ち、ステップエッジ検出部２１は、注目画素の画素値とそれに隣接する画素の画素値との差分値（以下、単に差分値と称する）を演算し、その差分値と注目画素の画素値とを検出結果として補正部２２に供給する。

これに対して、ステップエッジ検出部２１は、例えば、動き検出部１４より供給された注目画素の動きベクトルの大きさが閾値未満であった場合、その注目画素を一構成要素とするステップエッジは動いていないと判断し、その処理の実行を禁止する。

補正部２２は、例えば、動き検出部１４より供給された注目画素の動きベクトルの大きさが閾値以上であった場合（即ち、注目画素を一構成要素とするステップエッジが空間方向Ｘまたはその逆方向に動いている場合）、ステップエッジ検出部２１より供給された注目画素の画素値を補正する（０補正を含む）。このとき、補正部２２は、動き検出部１４より供給された注目画素の動きベクトル（ステップエッジの移動方向と移動量）と、ステップエッジ検出部２１より供給された差分値（ステップエッジの高さ）とに基づいて、注目画素の画素値を補正する。

即ち、補正部２２は、例えば、供給された差分値が０でなく、かつ、供給された動きベクトルの大きさが閾値以上であった場合、注目画素は、動きのあるステップエッジのエッジ部分に対応する画素であると判断し、供給された差分値と動きベクトルとに基づいて注目画素の画素値を補正する。

これに対して、補正部２２は、例えば、供給された差分値が０であり、かつ、供給された動きベクトルの大きさが閾値以上であった場合、注目画素は、動きのあるステップエッジの一構成要素ではあるがエッジ部分に対応する画素ではない（それ以外の部分に対応する画素である）と判断し、注目画素の画素値を０補正する（補正しない）。

また、補正部２２は、例えば、供給された動きベクトルの大きさが閾値未満である場合、ステップエッジ検出部２１と同様に、その注目画素を一構成要素とするステップエッジは動いていないと判断し、その処理自体を禁止する（０補正も含めた補正の処理を禁止する）。

なお、補正部２２の画素値の補正方法は、動きのあるステップエッジのエッジ部分に対応する注目画素の画素値を、動き検出部１４により検出された注目画素の動きベクトルに基づいて補正する方法であれば、特に限定されない。具体的には、例えば、次のような補正方法を適用することもできる。

即ち、補正部２２は、次の式（１）の右辺を演算することで左辺の補正値Ｒを求め、その補正値Ｒを注目画素の画素値に加算することで、注目画素の画素値を補正する。

・・・（１）

なお、式（１）において、Erは、ステップエッジ検出部２１より供給される差分値を、Vは、動き検出部１４より供給される動きベクトルの大きさを、それぞれ示している。また、式（１）は、ホールド型表示装置２の全ての表示素子（例えば、ホールド型表示装置２が液晶型表示装置である場合、全ての液晶）の時間応答が時定数一定の一次遅れ要素であると仮定した場合の式であり、式（１）においては、この時定数がτで示されている。また、Tは表示対象フレームの表示時間（表示対象フレームの表示が指示されてから、次のフレームの表示が指示されるまでの時間）を示している。なお、以下、このような時間Tをフレーム時間Tと称する。液晶型表示装置においては、フレーム時間Tは一般的に16.6msとされている。

参照画像記憶部１３は、表示対象フレームの画像データを、その次の（直後の）フレームに対する参照画像の画像データとして記憶する。

即ち、動き検出部１４（および上述した画像処理部１１）は、新たなフレームの画像データが表示対象フレームの画像データとして入力された場合、参照画像記憶部１３に記憶されている直前フレーム（直前に表示対象フレームであったフレーム）の画像データを、表示対象フレームに対する参照画像の画像データとして取得する。そして、動き検出部１４は、表示対象フレームの画像データと参照画像の画像データとを比較することで、表示対象フレームの注目画素の動きベクトルを検出し、画像処理部１１、画像処理部１２（ステップエッジ検出部２１と補正部２２）、および、切替部１５のそれぞれに供給する。

なお、動き検出部１４は、実際には、空間方向Xと空間方向Yとに平行な２次元平面上の任意の方向を有する動きベクトルを検出することが可能である。即ち、動きベクトルの方向は、実際には、この２次元平面上の任意の方向となり得る。ただし、ここでは、上述したように、説明の簡略上、空間方向Ｘまたはその逆方向に動くステップエッジが処理の対象とされているため、動きベクトルの方向も空間方向Ｘまたはその逆方向とされる。

具体的には、例えば、ステップエッジが１フレームの間に空間方向ＸにＮ（Ｎは任意の正の整数値）画素分だけ移動した場合、動き検出部１４は、そのステップエッジの動きベクトル（ステップエッジの一構成要素である注目画素における動きベクトル）として「＋Ｎ」を検出する。一方、ステップエッジが１フレームの間に空間方向Ｘの逆方向にＮ画素分だけ移動した場合、動き検出部１４は、そのステップエッジの動きベクトルとして「−Ｎ」を検出する。このように、ここでは、動きベクトルの方向は、空間方向Ｘの場合「＋」で表現され、空間方向Ｘの逆方向の場合「−」で表現される。

切替部１５は、動き検出部１４の検出結果（動きベクトル）に応じて、その入力を切り替える。

即ち、動き検出部１４より供給された注目画素の動きベクトルの大きさが閾値未満である場合（注目画素が、動きのあるステップエッジに対応する画素ではない場合）、切替部１５は、その入力を画像処理部１１側の端に切り替え、画像処理部１１より供給される注目画素のデータ（画素値）を表示制御部１６に供給する。

これに対して、動き検出部１４より供給された注目画素の動きベクトルの大きさが閾値以上である場合（注目画素が、動きのあるステップエッジに対応する画素である場合）、切替部１５は、その入力を画像処理部１２の補正部２２側の端に切り替え、補正部２２より供給される注目画素のデータ（画素値）を表示制御部１６に供給する。

表示制御部１６は、切替部１５より順次供給されてくる、表示対象フレームを構成する各画素のデータ（画素値）のそれぞれを、所定の形式の信号（ホールド型表示装置２における、対応付けられた表示素子の目標レベルのそれぞれを示す信号）に変換した後、ホールド型表示装置２に出力する。即ち、表示制御部１６は、このような処理を行うことで、表示対象フレームの表示をホールド型表示装置２に指示する。

このように、本実施の形態の画像処理装置１においては、注目画素の画素値が、動き検出部１４により検出された動きベクトルに基づいて補正される。ここで注目すべき点は、この動きベクトルは、注目画素の周囲の画素における他の動きベクトルと調和が取れている点である。換言すると、本実施の形態の動き検出部１４は、周囲と調和の取れた動きベクトルを容易に検出するために、即ち、上述した従来の第２の課題を解決するために、例えば、図２の構成を有している点である。そこで、以下、図２を参照して、本実施の形態の動き検出部１４の詳細について説明する。

図２に示されるように、本実施の形態の動き検出部１４は、ローパスフィルタ（以下、LPFと記述する）３１、LPF３２、輝度勾配検出部３３、テンプレートマッチング部３４、ヒストグラム部３５、動きベクトル補正部３６、および、LPF３７から構成される。

入力画像（画像データ）、即ち、表示対象フレームの画像データは、LPF３１を介して輝度勾配検出部３３とテンプレートマッチング部３４のそれぞれに供給される。

輝度勾配検出部３３は、表示対象フレームの注目画素の配置位置における輝度勾配を検出する。

なお、輝度勾配とは次の値を指す。即ち、例えば、所定の方向の座標値（例えば、ここでは、空間方向Ｘの座標x）がパラメータとして入力され、入力された座標xの輝度（画素値）を出力する関数f(x)が存在した場合、注目画素の配置位置i（iは、空間方向Ｘの座標値）における関数f（x）の１次微分値の絶対値、即ち、｜f'(i)｜が、輝度勾配である。

ただし、このような関数f(x)の生成や、その関数f(x)を利用する１次微分値の演算は、輝度勾配検出部３３にとって負荷の重い処理となる。そこで、ここでは、例えば、次の式（２）で示される値slopeを輝度勾配として定義する。即ち、輝度勾配検出部３３がこの式（２）の右辺を演算することで輝度勾配slopeを求める。これにより、輝度勾配検出部３３は、表示対象フレームの注目画素（例えば、図３に示される画素５１）の配置位置における輝度勾配slopeを簡単に（軽負荷で）演算することができる。

・・・（２）

なお、式（２）において、Y_iは、図３に示されるように、配置位置iの注目画素５１の輝度（画素値）を示している。Y_i-1は、注目画素５１の左隣の画素５２（空間方向Ｘと逆方向に注目画素５１と隣接する、配置位置i-1の画素５２）の輝度（画素値）を示している。Y_i+1は、注目画素５１の右隣の画素５３（空間方向Ｘに注目画素５１と隣接する、配置位置i+1の画素５３）の輝度（画素値）を示している。また、max(A,B，・・・，N)は、数値A乃至数値Nのそれぞれがパラメータとして入力され、入力された数値A乃至数値Nのうちの最大値を出力する関数を示している。なお、この関数max（）に入力されるパラメータの個数（数値A乃至数値Nの個数）は特に限定されない。

即ち、輝度勾配検出部３３は、注目画素５１の輝度Y_iとその左隣の画素５２の輝度Y_i-1との差分絶対値Aと、注目画素５１の輝度Y_iとその右隣の画素５３の輝度Y_i+1との差分絶対値Bとのそれぞれを演算し、差分絶対値Aと差分絶対値Bとのうちの値が大きい方（最大値）を、注目画素５１の配置位置における輝度勾配slopeとして動きベクトル補正部３６に供給する。

ところで、表示対象フレームの画像データは、上述したように、LPF３１を介してテンプレートマッチング部３４にも供給される。このとき、テンプレートマッチング部３４にはさらに、参照画像記憶部１３に記憶されている直前フレーム（直前に表示対象フレームであったフレーム）の画像データが、表示対象フレームに対する参照画像の画像データとしてLPF３２を介して供給される。

すると、テンプレートマッチング部３４は、直前フレームの中から、注目画素の配置位置に対応する位置を少なくとも含む所定の領域（以下、このような領域をウィンドウと称する）を切り出し、そのウィンドウが表示対象フレームのどの領域とマッチングするのかを求め、そのマッチング結果に基づいて注目画素の動きベクトル候補pvecを決定し、ヒストグラム部３５に供給する。

また、テンプレートマッチング部３４は、動きベクトル補正部３６が使用する制御信号flagを生成し、動きベクトル補正部３６に供給する。なお、制御信号flagの詳細については後述する。

このテンプレートマッチング部３４の詳細について、以下、図４乃至図１０を参照して説明する。

図４は、本実施の形態のテンプレートマッチング部３４の詳細な構成例を示している。

図４に示されるように、本実施の形態のテンプレートマッチング部３４は、SAD(Sum of Absolute Difference)演算部６１、SAD極小値検出部６２、および、SAD極小値評価部６３から構成される。

SAD演算部６１は、例えば、図５に示されるように、直前フレームの中から、表示対象フレームの注目画素５１の配置位置i（iは、上述したように、空間方向Ｘの座標値を示す）に対応する位置iに配置された画素７１を中心とする、空間方向Ｘに連続して並ぶ所定の個数（図５の例では、５個）の画素から構成されるウィンドウ７２を切り出す。

また、SAD演算部６１は、表示対象フレームの中から次のような領域（なお、このような領域をウィンドウと区別するために、比較領域と称する）を切り出す。即ち、注目画素の配置位置iから空間方向Ｘまたはその逆方向にn(nは、予め設定された範囲内の整数値であり、図５の例では、-6乃至(+6)のうちのいずれかの整数値)だけ離間した位置i+n（以下、探索位置i+nと称する）に配置された画素を中心とする、空間方向Ｘに連続して並ぶ所定の個数（ウィンドウ７２と同一の個数であって、図５の例では、５個）の画素から構成される比較領域７３−nが切り出される。なお、探索位置i-6に対応する比較領域７３−（−６）と、探索位置i+6に対応する比較領域７３−（＋６）のみが図示されているが、ここでは（図５の例では）、実際には、比較領域７３−（−６）と比較領域７３−（＋６）とを含めた、１３個の比較領域７３−ｎのそれぞれが所定の順番で順次切り出される。

そして、SAD演算部６１は、ウィンドウ７２と、１３個の比較領域７３−ｎ（比較領域７３−（−６）乃至比較領域７３−（＋６））のそれぞれとの相関を所定の評価関数を用いて演算し、各演算結果のそれぞれをSAD極小値検出部６２に供給する。

なお、SAD演算部６１が利用する評価関数については特に限定されず、例えば、SAD演算部６１は、正規化相関関数やSSD(Sum of Squared Difference)等を利用することもできる。ただし、ここでは、SAD演算部６１は、SADを利用するとして説明する。

即ち、SAD演算部６１は、次の式（３）の右辺を演算することで、ウィンドウ７２と各比較領域７３−ｎのそれぞれとの相関値SAD(j)（jはi+nである。即ち、ここでは、jは、図５の探索範囲i-6乃至i+6のうちのいずれかの整数値）のそれぞれを求め、SAD極小値検出部６２にそれぞれ供給する。

・・・（３）

なお、式（３）において、C_k ^jは、図５に示されるように、探索位置j（j=i+n）における比較領域７３−ｎを構成する５つの画素のうちの、図中左からk番目の画素の輝度（画素値）を示している。P_k ⁱは、図５に示されるように、配置位置iの画素７１を中心とするウィンドウ７２を構成する５つの画素のうちの、図中左からk番目の画素の輝度（画素値）を示している。

具体的には、例えば、いま、図６に示されるように、表示対象フレームの空間方向Ｘにおける輝度（画素値）の変化が曲線８１とされ、その直前フレームの空間方向Ｘにおける輝度（画素値）の変化が曲線８２とされたとする。なお、図６において、縦軸は輝度（画素値）を示しており、横軸は画素位置（配置位置）を示している。また、画素位置iは、上述したように、注目画素５１の配置位置を示している。

この場合におけるSAD演算部６１の演算結果、即ち、各相関値SAD（j(=i+n)）のそれぞれが図７に示されている。なお、図７において、縦軸は相関値SAD(j)を示しており、横軸は探索位置（配置位置）を示している。即ち、図７は、図６の曲線８２に示される画素値（輝度）を有する５つの画素から構成されるウィンドウ７２と、図６の曲線８１に示される画素値（輝度）を有する５つの画素から構成される各比較領域７３−ｎのそれぞれとの、探索位置i+nにおけるSAD(i+n(=j))を示している。

図４に戻り、相関値SAD(j)が小さいほど相関が高いことを表すので、SAD極小値検出部６２は、SAD演算部６１より供給された各相関値SAD（j(=i+n)）のそれぞれの中から最小値minを検出し、最小値minに対応する探索位置pos（図７の例では、pos＝i+3）をSAD極小値評価部６３とヒストグラム部３５のそれぞれに供給する。

なお、最小値minは、各相関値SAD(j)のそれぞれを結んだ曲線の極小点（z，SAD(z)）（zは、ここでは、i-6乃至i+6のうちのいずれかの整数値）における相関値SAD(z)、具体的には、例えば、図７の例では、極小点(i+3,SAD(i+3))における相関値SAD(i+3)（＝約４０）となる。そこで、以下、最小値minを極小値minとも称する。

以上のSAD演算部６１とSAD極小値検出部６２との処理を要約すると次の通りとなる。即ち、SAD演算部６１は、直前フレームの中から、注目画素５１の配置位置に対応する位置iに配置される画素７１を検出し、その画素７１を少なくとも含むウィンドウ７２を切りだす。次に、SAD演算部６１は、そのウィンドウ７２を、表示対象フレームにおける注目画素５１を含む水平ライン（空間方向Ｘに平行なライン）上で順次変移させる。このとき、SAD演算部６１は、ウィンドウ７２の各変移位置（探索位置）i+nのそれぞれにおいて、ウィンドウ７２とそれと重なり合う領域（比較領域）７３−ｎとの間で一致度（相関）を、所定の評価関数（ここではSAD）を用いて演算する。そして、SAD極小値検出部６２は、もっとも一致度（相関）が高いと判断される（即ち、極小値minを有する）比較領域７３−ｎの中心画素を、ウィンドウ７２の中心画素７１（注目画素５１に対応する画素７１）の対応画素として設定する。即ち、表示対象フレームを構成する各画素のうちの、極小値minに対応する探索位置posに配置される画素が、ウィンドウ７２の中心画素７１の対応画素として設定される。

なお、このようなSAD演算部６１とSAD極小値検出部６２とが実行する手法は、ウィンドウマッチング手法、エリアベースマッチング手法、或いは、テンプレートマッチング手法等と称されている。また、対応画素は、対応点とも称される。

ただし、正確には、ヒストグラム部３５には、注目画素５１の配置位置iを起点とし探索位置pos（＝i+n）を終点とするベクトルn（ウィンドウ７２の基準位置iからの変移量と変移方向を示す値n）が、動きベクトル候補pvecとして供給される。即ち、ここでは、上述したように、値nの絶対値が、ベクトル（動きベクトル候補pvec）の大きさを示し、値nの正負が、ベクトル（動きベクトル候補pvec）の方向を示すことになる。詳細には、値nが正の場合、動きベクトル候補pvecの方向は、空間方向Ｘ、即ち、注目画素５１に対して図５中右方向となる。一方、値nが負の場合、動きベクトル候補pvecの方向は、空間方向Xと逆方向、即ち、注目画素５１に対して図５中左方向となる。具体的には、例えば、図７の例では、注目画素５１の動きベクトル候補pvecとして「＋３」がヒストグラム部３５に供給される。

より正確には、後述するように、ヒストグラム部３５は、注目画素５１とその周辺の複数の画素のそれぞれの動きベクトル候補pvecのヒストグラムを生成し、このヒストグラムに基づいて注目画素５１の動きベクトルvecを決定する。そこで、SAD演算部６１とSAD極小値検出部６２は、注目画素５１の動きベクトル候補pvecだけではなく、注目画素５１を中心としてＸ方向に連続して並ぶ所定の個数の画素から構成される領域（例えば、後述する図１１の領域９５）を設定し、この領域を構成する各画素のそれぞれの動きベクトル候補pvecを求め（求め方は上述した手法と全く同様の手法）、ヒストグラム部３５にそれぞれ供給する。

ところで、例えば、いま、図８に示されるように、表示対象フレームの空間方向Ｘにおける輝度（画素値）の変化が曲線９１とされ、その直前フレームの空間方向Ｘにおける輝度（画素値）の変化が曲線９２とされたとする。なお、図８において、縦軸は輝度（画素値）を示しており、横軸は画素位置（配置位置）を示している。また、画素位置iは、上述したように、注目画素５１の配置位置を示している。

この場合におけるSAD演算部６１の演算結果、即ち、各相関値SAD（j(=i+n)）のそれぞれが図９に示されている。なお、図９において、縦軸は相関値SAD(j)を示しており、横軸は探索位置（配置位置）を示している。即ち、図９は、図８の曲線９２に示される画素値（輝度）を有する５つの画素から構成されるウィンドウ７２と、図８の曲線９１に示される画素値（輝度）を有する５つの画素から構成される各比較領域７３−ｎのそれぞれとの、探索位置i+nにおけるSAD(i+n)を示している。

図９においては、各相関値SAD(j)のそれぞれを結んだ曲線の極小点は、点（i-1,SAD(i-1)）と点（i+5,SAD(i+5)）である。即ち、図９の例では、２つの極小点が存在する。このように複数の極小点が存在する場合、SAD演算部６１は、複数の極小点のそれぞれに対応する相関値SAD(j)のうちの最小値、即ち、全てのSAD(j)の中での最小値を極小値minとして適用する。具体的には、例えば、図９の例では、極小点（i+5，SAD(i+5)）における相関値SAD(i+5)（＝約２７）が極小値minとして適用される。従って、比較領域７３−５（図示せず）の中心画素、即ち、表示対象フレーム内の配置位置i+5の画素が、ウィンドウ７２の中心画素７１の対応画素（対応点）として設定される。即ち、注目画素５１の動きベクトル候補pvecとして「＋５」がヒストグラム部３５に供給される。

しかしながら、図９に示されるように、この極小値min、即ち、極小点（i+5，SAD(i+5)）における相関値SAD(i+5)（＝約２７）と、極小点(i-1,SAD(i-1))における相関値SAD（i-1）（＝約３０）とは差異が小さく、ウィンドウ７２の中心画素７１の対応画素（対応点）は、配置位置i+5の画素であるとは一概に言えない。即ち、ウィンドウ７２の中心画素７１の対応画素（対応点）は、配置位置i-1の画素である可能性もある。

このように、ウィンドウ７２の中心画素７１の対応画素（対応点）の候補が２以上存在する場合（図９に示されるように、グラフ化されたSAD(j)において２以上の極小点が存在し、各極小点のそれぞれに対応する各相関値SAD(j)間の差異が小さい場合）、設定された対応画素（最下点の極小点に対応する画素）の信頼度、即ち、ヒストグラム部３５に供給された注目画素５１の動きベクトル候補pvecの信頼度が低いと言える。

また、たとえ、ウィンドウ７２の中心画素７１の対応画素（対応点）の候補が１つだけの場合（図７に示されるように、グラフ化されたSAD(j)において１つの極小点だけが存在する場合、或いは、図示はしないが、グラフ化されたSAD(j)において２以上の極小点が存在するが、最小の相関値SAD(j)（＝極小値min）と、他の相関値SAD(j)との間の差異が大きい場合）であっても、設定された対応画素の相関値SAD(j)（＝極小値min）が十分に小さくないとき、その対応画素の信頼度、即ち、ヒストグラム部３５に供給された注目画素５１の動きベクトル候補pvecの信頼度が低いと言える。

そこで、このような極小値minの評価、即ち、極小値minに対応する画素が対応画素であることの信頼度（ヒストグラム部３５に供給された注目画素５１の動きベクトル候補pvecの信頼度）の評価を行うために、本実施の形態のテンプレートマッチング部３４は、図４に示される構成を有している。即ち、図４に示されるように、本実施の形態のテンプレートマッチング部３４には、上述したSAD演算部６１とSAD極小値検出部６２の他にさらに、SAD極小値評価部６３が設けられている。

このSAD極小値評価部６３は、極小値minに対応する画素が対応画素であることの信頼度（ヒストグラム部３５に供給された注目画素５１の動きベクトル候補pvecの信頼度）の評価を行い、その評価が低いと判断した場合、上述した制御信号flagとして、例えば、「１」を動きベクトル修正部３６に供給する。このとき、後述するように、動きベクトル修正部３６は、注目画素５１の動きベクトルvecを補正する。

これに対して、SAD極小値評価部６３は、上述した評価が高いと判断した場合、制御信号flagとして、例えば、「０」を動きベクトル修正部３６に供給する。このとき、後述するように、動きベクトル修正部３６は、注目画素５１の動きベクトルvecの補正を禁止する（補正しない）。

具体的には、例えば、本実施の形態においては、SAD極小値評価部６３が上述した評価を行うために必要な値が、SAD極小値検出部６２により演算または検出され、SAD極小値評価部３６に供給される。

即ち、本実施の形態において、SAD極小値検出部６２が検出する値とは、上述した極小値min、即ち、相関値SAD(j)の最小値min（ただし、以下、後述する値min2と区別するために、極小値min1と称する）の他にさらに、図１０に示されるように、その極小値min1に対応する探索位置pos1、極小値min1の次に小さい相関値SAD(j)（即ち、全ての相関値SAD(j)の中で２番目に小さい値であって、以下、極小値min2と記述する）、および、その極小値min2に対応する探索位置pos2である。

また、本実施の形態において、SAD極小値検出部６２が演算する値とは、探索範囲（図５の例では、探索位置i-6乃至i+6の範囲）における各相関値SAD(j)の平均値SAD_aveと極小値min1との差分値eval1（平均値SAD_aveから極小値min1までの深さeval1）、および、平均値SAD_aveと極小値min2との差分値eval2（平均値SAD_aveから極小値min2までの深さeval2）である。

なお、いまの場合（探索範囲が探索位置i-6乃至i+6の場合）、平均値SAD_aveは次の式（４）により演算される。

・・・（４）

図４に戻り、このような各値（極小値min1、その探索位置pos1、および、その深さeval1、並びに、極小値min2，その探索位置pos2、および、その深さeval2）がSAD極小値検出部６２から供給されると、SAD極小値評価部６３は、次の第１の条件または第２の条件が満たされるか否かを判定する。

即ち、第１の条件とは、次の不等式（５）乃至不等式（７）の全てが成立することである。

eval1 ＞ eval_thresh ・・・（５）
eval2 ＞ eval_thresh ・・・（６）
｜pos1−pos2| ＞ pos_thresh ・・・（７）

なお、不等式（５）と不等式（６）において、eval_threshは所定の閾値を示しており、予め設定されている値である。同様に、不等式（７）において、pos_threshは所定の閾値を示しており、予め設定されている値である。

不等式（５）乃至不等式（７）から容易にわかることであるが、結局、上述した図９に示されるような場合（極小点が２以上存在し、それらに対応する各相関値S(j)の差異が小さい場合）、即ち、ウィンドウ７２の中心画素７１の対応画素（対応点）の候補が２以上存在し、はっきりとした対応画素が見つけられない場合（図９の例では、探索位置i+5と探索位置i-1のそれぞれに配置される画素が、対応画素の候補となる）、第１の条件が満たされることになる。

一方、第２の条件とは、次の不等式（８）が成立することである。

min1 ＞ min_thresh ・・・（８）

なお、不等式（８）において、min_threshは所定の閾値を示しており、予め設定されている値である。

不等式（８）から容易にわかることであるが、結局、極小値min1が十分に小さくない場合、即ち、ウィンドウ７２と、極小値min1に対応する比較領域７３−ｎとの対応がしっかりと取れていない場合、第２の条件が満たされることになる。

従って、第１の条件と第２の条件のうちの少なくとも一方が満たされたと判定した場合、SAD極小値評価部６３は、極小値min1に対応する画素が対応画素であることの信頼度（ヒストグラム部３５に供給された注目画素５１の動きベクトル候補pvecの信頼度）が低いと評価し、制御信号flagとして「１」を動きベクトル修正部３６に出力する。

これに対して、第１の条件と第２の条件とのいずれも満たされていないと判定した場合、SAD極小値評価部６３は、極小値min1に対応する画素が対応画素であることの信頼度（ヒストグラム部３５に供給された注目画素５１の動きベクトル候補pvecの信頼度）が高いと評価し、制御信号flagとして「０」を動きベクトル修正部３６に出力する。

図２に戻り、ヒストグラム部３５には、表示対象フレームのうちの注目画素５１を含む複数の画素から構成される領域に対する、テンプレートマッチング部３４の出力結果が供給される。即ち、その領域を構成する複数の画素のそれぞれの動きベクトル候補pvecがヒストグラム部３５に供給される。そこで、ヒストグラム部３５は、供給された複数の動きベクトル候補pvecのヒストグラムを生成し、そのヒストグラムを参照して最も頻度の高い動きベクトル候補pvecを検出し、検出した動きベクトル候補pvecを注目画素５１の動きベクトルvecとして動きベクトル補正部３６に供給する。

なお、ヒストグラムが生成される対象領域は、注目画素５１を含む領域であれば特に限定されない。即ち、その領域を構成する画素の個数や、その領域内の注目画素５１の位置は特に限定されない。ただし、ここでは、例えば、注目画素５１を中心として空間方向Ｘに連続して並ぶ１７個の画素から構成される領域、即ち、注目画素５１の左方（空間方向Ｘの逆方向）に連続して並ぶ８個の画素、注目画素５１、および、注目画素５１の右方（空間方向Ｘ）に連続して並ぶ８個の画素から構成される領域が、ヒストグラムが生成される対象領域とされる。

具体的には、例えば、いま、テンプレートマッチング部３４から、図１１に示されるような領域９５を構成する各画素のそれぞれのベクトル候補pvecが出力されたとする。なお、図１１の領域９５において、１７個に区分された小領域のそれぞれは各画素のそれぞれを示しており、それらの１７個の小領域のうちの中心の小領域は注目画素５１を示している。また、各画素（各小領域）のそれぞれの中に記載された値が、対応する画素の動きベクトル候補pvec例を示している。ただし、「＋」は省略されている。

この場合、ヒストグラム部３５は、図１２に示されるようなヒストグラムを生成する。図１２の例では、最も頻度の高い（頻度７の）動きベクトル候補pvecは「＋４」とされているので、ヒストグラム部３５は、「＋４」を注目画素５１の動きベクトルvecとして決定し、図２の動きベクトル補正部３６に供給する。

動きベクトル補正部３６は、後段の処理内容（例えば、ここでは、上述した図１の画像処理部１２の処理内容等）、若しくは、輝度勾配検出部３３とテンプレートマッチング部３４の処理結果（例えば、ここでは、上述した輝度勾配slopeや制御信号flag）、またはそれらの組み合わせに基づいて、ヒストグラム部３５から供給された注目画素５１の動きベクトルvecを、注目画素５１の周囲の画素における他の動きベクトルと調和が取れるように適切に補正する。

動きベクトル補正部３６により補正された注目画素５１の動きベクトルvecは、LPF37を介して外部に出力される。

この動きベクトル補正部３６の詳細について、以下、図１３乃至図１９を参照して説明する。

図１３は、本実施の形態の動きベクトル補正部３６の詳細な構成の一例を示している。

なお、後述する図１８や図１９に示されるように、動きベクトル補正部３６は、様々な形態を取ることが可能である。そこで、動きベクトル補正部３６が取り得る様々な形態のうちの、図１３、図１８、および図１９のそれぞれの形態を、個々に区別する必要がある場合、以下、動きベクトル補正部３６Ａ、動きベクトル補正部３６Ｂ、および、動きベクトル補正部３６Ｃのそれぞれと称する。一方、動きベクトル補正部３６Ａ、動きベクトル補正部３６Ｂ、および、動きベクトル補正部３６Ｃのそれぞれを、個々に区別する必要が無い場合、それらを総称して動きベクトル補正部３６と称する。

図１３に示されるように、動きベクトル補正部３６Ａは、後段処理用補正部１０１、切替部１０２、信頼度評価部１０３、および、信頼度用補正部１０４のそれぞれから構成される。

後段処理用補正部１０１は、後段の処理内容、例えば、ここでは、上述した図１の画像処理部１２の処理内容の特徴に基づいて、注目画素５１の動きベクトルvecを補正する。

なお、以下、補正前の動きベクトルvec、後段処理用補正部１０１により補正された動きベクトルvec、および、後述する信頼度用補正部１０４によりさらに補正される動きベクトルvecのそれぞれを、個々に区別する必要がある場合、動きベクトルvec、動きベクトルvec'、および、動きベクトルvec''のそれぞれと称する。一方、動きベクトルvec、動きベクトルvec'、および、動きベクトルvec''のそれぞれを、個々に区別する必要がない場合、それらを総称して動きベクトルvecと称する。

即ち、後段処理用補正部１０１からは、補正された動きベクトルvec'が出力されて、切替部１０２に供給される。

なお、後段処理用補正部１０１の補正方法については特に限定されず、後段の処理内容の特徴に応じて可変することが可能である。

具体的には、例えば、ここでの後段の処理のひとつである、図１の補正部２２の処理に適した補正方法として、次のような方法を適用することができる。

即ち、例えば、上述したように、補正部２２は、図１のステップエッジ検出部２１より供給された注目画素５１の画素値を補正する（０補正を含む）。このとき、補正部２２は、動き検出部１４より供給された注目画素５１の動きベクトルvec（実際には、補正された動きベクトルvec'または動きベクトルvec''）に基づいて、注目画素５１の画素値を補正することになる。

なお、動き検出部１４の後段、例えば、画像処理部１２等から見た場合、動きベクトルvec、動きベクトルvec'、および、動きベクトルvec''のそれぞれを、個々に区別する必要がない。従って、以下、動き検出部１４の後段から見た場合の説明、即ち、動き検出部１４の後段の処理内容の説明等においては、単に動きベクトルvecと称して説明していく。

例えば、いま、補正部２２が、注目画素５１の画素値の補正量（値）を決定する場合、上述した式（１）の演算結果である補正値Ｒを使用するのではなく、図１４に示されるような関係に従って補正量を決定するとする。

即ち、図１４は、補正部２２における、注目画素５１の画素値の補正量の決定方法の一例を示す図であって、上述した例（式（１）を利用する例）とは異なる例を示す図である。

図１４の補正方法（補正部２２の処理内容）の例では、動きベクトルvecの大きさ（絶対値）が、探索範囲である６（「−６」または「＋６」）になるまでは、画素値の補正量がリニアに増加していくのに対して、この探索範囲である６を境にして、それ以降、画素値の補正量は０となってしまう（即ち、補正が禁止されてしまう）。

従って、注目画素５１とその近傍の画素における動きベクトルvecとして、大きさが６前後の動きベクトルvecが動き検出部１４から出力されてしまうと、注目画素５１とその近傍からなる画像の範囲において、画素値が最大補正量で補正される画素と、画素値が全く補正されない画素とが混在してしまう。

具体的には、例えば、仮に、注目画素５１の動きベクトルvecとして「＋６」が動き検出部１４から出力され、一方、その近傍の他の画素の動きベクトルvecとして「＋７」が動き検出部１４から出力されたとする。

この場合、注目画素５１の画素値だけが最大補正量で補正され、その近傍の他の画素の画素値は全く補正されないことになり、最終的に得られる補正画像（表示対象フレーム）において、注目画素５１の画素値（補正値）は、その周囲の画素の画素値（補正が禁止された値）に対して異質な値となってしまう。即ち、上述した従来の第２の課題が発生してしまうことになる。

換言すると、注目画素５１の動きベクトルvecである「＋６」は、その近傍の他の画素の動きベクトルvecである「＋７」に対して異質なベクトルとなってしまう。即ち、注目画素５１の動きベクトルvecである「＋６」は、周囲と調和の取れていない動きベクトルとなってしまう。

そこで、このような周囲と調和の取れていない動きベクトルvecの動き検出部１４からの出力数を軽減させるために、即ち、補正部２２の動きベクトルvecの探索範囲を超えたところで発生する、上述したような画素値の補正量の不連続性を発生させないために、図１３の後段処理用補正部１０１は、例えば、図１５に示されるような関係に従って、動きベクトルvecを動きベクトルvec'に補正することができる。

即ち、図１５は、後段処理用補正部１０１における、注目画素５１の動きベクトルvecの補正方法の一例を示している。

図１５の補正方法の例では、補正前の動きベクトルvec、即ち、ヒストグラム部３５から供給された動きベクトルvecの大きさ（絶対値）が、３（「−３」または「＋３」）になるまでは、「vec'=vec」の関係で補正され（即ち、補正が禁止され）、その３を境にしてそれ以降、６（「−６」または「＋６」）になるまでは、「vec'=-vec+6 or -6」の関係で補正され、６以降、「vec'=０」の関係で補正されることになる。

従って、検出部１４から、このような図１５の関係に従って補正された動きベクトルvec'が出力されれば、その動きベクトルvec'の大きさ（絶対値）は最大でも３となり、その大きさが６前後となる動きベクトルvecが出力されることはなくなり、その結果、上述したような画素値の補正量の不連続性の発生を防止することが可能になる。即ち、従来の第２の課題を解決することが可能になる。

なお、図１３の後段処理用補正部１０１が、図１５の関係に従って補正を行う場合、図１５に示されるようなテーブルを保持し、そのテーブルを参照して動きベクトルvecを補正してもよい。或いは、後段処理用補正部１０１は、上述したような関数、即ち、「vec'=vec ： -3≦vec≦3」，「vec'=-vec-6 : -6≦vec<-3」,「vec'=-vec+6 : 3<vec≦6」，「vec'=０ ： vec<-6，6<vec」のような関数を保持し、対応する関数に動きベクトルvecを代入して演算し、その関数の出力値を、補正された動きベクトルvec'として出力してもよい。

また、繰り替えしになるが、図１５に示される例は、後段処理用補正部１０１における、注目画素５１の動きベクトルvecの様々な補正方法のうちの、後段の処理である図１の補正部２２の処理が上述した図１４に示されるような特徴を有している場合に適した補正方法の一例である。

即ち、ここで重要な点は、後段処理用補正部１０１の補正方法は、単に、後段の処理内容の特徴に適した補正方法とすればよく、このため、後段の処理内容の特徴に応じて可変できるという点である。

例えば、いま、図示せぬ後段の処理内容が、動き検出部１４より出力された注目画素５１の動きベクトルvecのうちの、その大きさ（絶対値）が中程度（例えば、３）の動きベクトルvecに着目する処理であって、中程度の動きベクトルvecの影響を大きくする必要がある処理である、といった特徴を有しているとする。

このような場合、後段処理用補正部１０１は、例えば、図１６に示されるような関係に従って、動きベクトルvecを動きベクトルvec'に補正することができる。

即ち、図１６は、後段処理用補正部１０１における、注目画素５１の動きベクトルvecの補正方法の他の例（図１５とは異なる例）を示している。

図１６の補正方法の例では、補正前の動きベクトルvec、即ち、ヒストグラム部３５から供給された動きベクトルvecの大きさ（絶対値）が、３（「−３」または「＋３」）になるまでは、「vec'=2vec」の関係で補正され、その３を境にしてそれ以降、６（「−６」または「＋６」）になるまでは、「vec'=-2vec+12 or -12」の関係で補正され、６以降、「vec'=０」の関係で補正されることになる。

なお、後段処理用補正部１０１が、図１６の関係に従って補正を行う場合、図１５の例と同様に、図１６に示されるようなテーブルを保持し、そのテーブルを参照して動きベクトルvecを補正してもよい。或いは、後段処理用補正部１０１は、上述したような関数、即ち、「vec'=2vec ： -3≦vec≦3」，「vec'=-2vec-12 : -6≦vec<-3」,「vec'=-2vec+12 : 3<vec≦6」，「vec'=０ ： vec<-6，6<vec」のような関数を保持し、対応する関数に動きベクトルvecを代入して演算し、その関数の出力値を、補正された動きベクトルvec'として出力してもよい。

また、後段の処理が複数存在する場合、或いは、複数になる可能性がある場合、後段処理用補正部１０１は、その補正方法を適宜切り替えて、動きベクトルvecを補正することもできる。即ち、後段の処理がＱ個（Ｑは、１以上の任意の整数値）存在する場合、後段処理用補正部１０１は、注目画素５１の１つの動きベクトルvecを、Ｑ種類の補正方法のそれぞれに従って補正し、その結果得られるＱ個の動きベクトルvec'のそれぞれを個別に出力することもできる。

図１３に戻り、ヒストグラム部３５から出力された、注目画素５１の動きベクトルvecは、このようにして、後段処理用補正部１０１により補正されて動きベクトルvec'となり、切替部１０２に供給される。

切替部１０２は、信頼度評価部１０３の制御に基づいて、その出力先を、外部のLPF３７側と信頼度用補正部１０４側のうちのいずれか一方の側に切り替える。

信頼度評価部１０３は、輝度勾配検出部３３より供給された輝度勾配slopeとテンプレートマッチング部３４より供給された制御信号flagに基づいて、ヒストグラム部３５より供給された注目画素５１の動きベクトルvecの信頼度を評価する。

そして、信頼度評価部１０３は、注目画素５１の動きベクトルvecの信頼度が低いと評価した場合、切替部１０２の出力先を信頼度用補正部１０４側に切り替える。

従って、信頼度評価部１０３により注目画素５１の動きベクトルvecの信頼度が低いと評価された場合、後段処理用補正部１０１により補正されて出力された動きベクトルvec'は、信頼度用補正部１０４に供給される。そして、後述するように、後段処理用補正部１０１により補正された動きベクトルvec'は、信頼度用補正部１０４によりさらに補正されて動きベクトルvec''となり、この動きベクトルvec''が、LPF３７を介して動き検出部１４の外部（図１の画像処理部１１、画像処理部１２、および、切替部１５）に供給されることになる。

これに対して、信頼度評価部１０３は、注目画素５１の動きベクトルvecの信頼度が高いと評価した場合、切替部１０２の出力先を外部のLPF３７側に切り替える。

従って、信頼度評価部１０３により注目画素５１の動きベクトルvecの信頼度が高いと評価された場合、後段処理用補正部１０１により補正されて出力された動きベクトルvec'は、信頼度用補正部１０４には供給されずに、そのまま、LPF３７を介して動き検出部１４の外部に供給されることになる。

詳細には、例えば、信頼度評価部１０３は、次の不等式（９）が成立するという第３の条件と、制御信号flagが「１」であるという第４の条件とのうちの少なくとも一方が満たされている場合、ヒストグラム部３５より供給された注目画素５１の動きベクトルvecの信頼度が低いと評価し、切替部１０２の出力先を信頼度用補正部１０４側に切り替える。。

これに対して、動きベクトル補正部３６は、第３の条件と第４の条件とのいずれも満たされていない場合、ヒストグラム部３５より供給された注目画素５１の動きベクトルvecの信頼度が高いと評価し、切替部１０２の出力先を外部のLPF３７側に切り替える。

slope ＜ slope_thresh ・・・（９）

不等式（９）において、slope_threshは所定の閾値を示しており、予め設定されている値である。

不等式（９）から容易にわかることであるが、結局、注目画素５１における輝度勾配が低い場合、即ち、注目画素５１が、上述したステップエッジのエッジ部分のような特徴的な部分に対応していない場合、第３の条件が満たされることになる。

また、制御信号flagは、上述したように、テンプレートマッチング部３４における注目画像５１の動きベクトルvecの信頼度の評価結果を示す信号であるとも言えるので、制御信号flagが「１」の場合、即ち、テンプレートマッチング部３４が注目画像５１の動きベクトルvecの信頼度が低いと既に評価している場合、第４の条件が満たされることになる。

信頼度用補正部１０４は、切替部１０２の出力先が自分自身の側に切り替えられている場合、後段処理用補正部１０１から出力された動きベクトルvec'、即ち、ヒストグラム部３５より入力された動きベクトルvec'が後段処理用補正部１０１により補正された結果として出力される動きベクトルvec'を、所定の補正方法でさらに補正し、その結果得られる動きベクトルvec''を、LPF３７を介して動き検出部１４の外部（図１の画像処理部１１、画像処理部１２、および、切替部１５）に出力する。

この信頼度用補正部１０４の補正方法も特に限定されず、様々な方法を適用することができる。

具体的には、例えば、注目画素５１の動きベクトルvecは、ここでは、上述した画像処理部１２により利用される。即ち、画像処理部１２は、注目画素５１の動きベクトルvecの方向や大きさに応じて、注目画素５１の画素値を補正する（画像強調する方向に補正する）。このような場合、信頼度の低い注目画素５１の動きベクトルvecが利用されると、注目画素５１の画素値は過補正されてしまうといった課題が発生する。

そこで、この課題を解決するために、例えば、信頼度用補正部１０４は、注目画素５１の動きベクトルvecが後段処理用補正部１０１により補正された結果得られる動きベクトルvec'に対して次の式（１０）の右辺に示されるような補正を行い、その補正結果、即ち、式（１０）の左辺の値vec''を、注目画素５１の最終的な（補正された）動きベクトルとして、LPF３７を介して動き検出部１４の外部に出力することができる。

vec'' ＝ α×vec' ・・・（１０）

なお、式（１０）において、αは補正係数を示している。この補正係数αは、０乃至１の範囲で任意に設定可能な値である。

ところで、信頼度評価部１０３は、上述した第３の条件と第４の条件以外の条件に基づいて、ヒストグラム部３５より供給された注目画素５１の動きベクトルvecの信頼度を評価することも可能である。

具体的には、例えば、極小値min1の次に小さい相関値SAD(j)、即ち、極小値min2に対応する探索位置pos2が、図１７に示されるように、注目画素５１の配置位置iである場合、ウィンドウ７２の中心画素７１の対応画素（対応点）は、極小値min1に対応する探索位置pos1の画素ではなく、配置位置i（探索位置pos2）の注目画素５１であることが多い。

そこで、例えば、極小値min2に対応する探索位置pos2が注目画素５１の配置位置iであることを第５の条件に加え、その第５の条件が満たされている場合、図１３の信頼度評価部１０３は、ヒストグラム部３５より供給された注目画素５１の動きベクトルvecの信頼度が低いと評価し、切替部１０２の出力先を信頼度用補正部１０４側に切り替えることもできる。これにより、信頼度用補正部１０４は、その動きベクトルvecが後段処理用補正部１０１により補正された結果得られる動きベクトvec'をさらに補正することになる。

なお、第５の条件が満たされた場合、図示はしないが、信頼度評価部１０３がそのことを信頼度用補正部１０４に通知することで、信頼度用補正部１０４は、ウィンドウ７２の中心画素７１の対応画素（対応点）は配置位置i（探索位置pos2）の注目画素５１であるとみなし、即ち、注目画素５１の配置位置iにおける動きはないとみなし、後段処理用補正部１０１により補正された注目画素５１の動きベクトルvec'を「０」に置き換える。或いは、信頼度用補正部１０４は、上述した式（１０）の補正係数αを０に設定して、後段処理用補正部１０１により補正された注目画素５１の動きベクトルvec'を補正すると捉えてもよい。即ち、第５の条件が満たされた場合、信頼度用補正部１０４は、後段処理用補正部１０１により補正された注目画素５１の動きベクトルvec'を０ベクトルに補正する。

ただし、この場合、テンプレートマッチング部３４（図４のSAD極小値評価部６３）は、制御信号flagの他に、この探索位置pos2を信頼度評価部１０３に供給する必要がある。

或いは、SAD極小値評価部６３が、第５の条件が満たされた場合、制御信号flagとして「１」を強制的に出力するようにしてもよい。

以上、図２の動きベクトル補正部３６が取り得る様々な実施形態のうちの、図１３に示される実施形態の動きベクトル補正部３６Ａの構成例について説明した。

図２の動きベクトル補正部３６はまた、例えば、図１８に示される動きベクトル補正部３６Ｂや、図１９に示される動きベクトル補正部３６Ｃとして構成することもできる。

図１８の動きベクトル補正部３６Ｂは、後段処理用補正部１０１から構成されている。この講談処理用補正部１０１は、図１３の動きベクトル補正部３６Ａの対応するそれと基本的に同様の機能と構成を有している。従って、図１８の動きベクトル補正部３６Ｂは、ヒストグラム部３５から入力された動きベクトルvecに対して、図１３の信頼度用補正部１０４に対応する補正処理は施さずに、後段処理用補正部１０１による補正処理のみを施すことになる。

これに対して、図１９の動きベクトル補正部３６Ｃの構成は、図１３の動きベクトル補正部３６Ａの構成に対して、後段処理用補正部１０１が省略された構成となっている。従って、図１９の動きベクトル補正部３６Ｃは、ヒストグラム部３５から入力された動きベクトルvecに対して、図１３の後段処理用補正部１０１に対応する補正処理は施さずに、信頼度用補正部１０４による補正処理のみを施す（ただし、信頼度評価部１０３により、動きベクトルvecの信頼度が低いと判定された場合）ことになる。

以上、図２乃至図１９を参照して、図２の動き検出部１４の構成例について説明したが、その説明の内容をまとめると、次のようになる。

即ち、本実施の形態の動き検出部１４においては、表示対象フレームを構成する画素のうちの所定の画素を注目画素として設定し、その注目画素における動きベクトルを生成し、その動きベクトルの信頼性や後段の処理内容の特徴に基づいて補正した上、外部（図１の画像処理部１１、画像処理部１２、および、切替部１５）に出力することができる。

詳細には、テンプレートマッチング部３４は、表示対象フレーム（画像データ）とその直前フレーム（画像データ）とを比較することで、注目画素における動きベクトル候補pvecを生成し、ヒストグラム部３５に提供する。

換言すると、テンプレートマッチング部３４は、注目画素の配置位置に対応する直前フレーム内の位置に配置される第１の画素（例えば、図５に示されるように、注目画素として画素５１が設定されている場合、配置位置iの画素７１）の対応画素として、表示対象フレームから第２の画素（例えば、図５の探索範囲i-6乃至i+6のうちのいずれかの画素）を検出し、注目画素を起点とし第２の画素を終点とするベクトル（例えば、図５に示されるように、注目画素として画素５１が設定され、第２の画素として、比較領域７３−（＋６）の中心画素、即ち、配置位置i+6の画素が検出された場合、「＋６」）を、注目画素における動きベクトル候補pvecとして生成し、ヒストグラム部３５に提供する。

さらに、このとき、テンプレートマッチング部３４は、表示対象フレームの中に対応画素の候補が複数個存在すると判定した場合（例えば、図９に示されるように、探索位置i-1の画素と探索位置i+5の画素が対応画素の候補である場合であって、具体的には、例えば、上述した不等式（５）乃至不等式（７）の全てが成立するといった第１の条件が満たされる場合）、または、第２の画素が対応画素であることの信頼度が低いと判定した場合（例えば、上述した不等式（８）が成立するといった第２の条件が満たされる場合）、動きベクトルの補正指令を示す第１の情報（即ち、ここでは、制御信号flagとして「１」）を動きベクトル補正部３６に提供する。

ヒストグラム部３５は、テンプレートマッチング部３４により生成された注目画素とその周辺の画素のそれぞれにおける動きベクトル候補pvec（例えば、図１１の領域９５内の各画素（枠）内のそれぞれの数値）のうちの頻度が最も高い動きベクトル候補（例えば、図１２のヒストグラムの頻度が最も高い「＋４」）を、注目画素における動きベクトルvecとして決定し、動きベクトル補正部３６に出力する。

輝度勾配検出部３３は、注目画素周辺の輝度の変化の度合（例えば、上述した輝度勾配であって、具体的には、例えば、上述した式（２）で示される値slope）を演算し、動きベクトル補正部３６に提供する。

動きベクトル補正部３６は、後段（例えば、図１の補正部２２等）の処理内容の特徴に基づいて、ヒストグラム部３５より供給された動きベクトルvecを補正し、その結果得られる特徴ベクトルvec'を、そのまま外部（図１の画像処理部１１、画像処理部１２、および、切替部１５）に出力することができるし、次のような補正処理をさらに施した上で、外部に出力することもできる。

即ち、動きベクトル補正部３６は、輝度勾配検出部３３の処理結果（ここでは、輝度勾配slope）と、テンプレートマッチング部３４の処理結果（ここでは、制御信号flag）に基づいて、ヒストグラム部３５より供給された動きベクトルvecの信頼度を評価し、動きベクトルvecの信頼度が低いと評価した場合、具体的には、例えば、上述した不等式（９）が成立するという第３の条件と、図２のテンプレートマッチング部３４より供給される制御信号flagが「１」であるという第４の条件とのうちの少なくとも一方が満たされている場合、後段の処理内容に応じて補正された動きベクトルvec'をさらに補正し、その結果得られる動きベクトルvec''を、外部（図１の画像処理部１１、画像処理部１２、および、切替部１５）に出力することもできる。

或いは、動きベクトル補正部３６は、後段の処理内容に応じた補正の処理を行わずに、輝度勾配検出部３３の処理結果と、テンプレートマッチング部３４の処理結果に基づいて、ヒストグラム部３５より供給された動きベクトルvecの信頼度を評価し、動きベクトルvecの信頼度が低いと評価した場合、ヒストグラム部３５より供給された動きベクトルvecを補正し、外部（図１の画像処理部１１、画像処理部１２、および、切替部１５）に出力することもできる。

このようにして、本実施の形態の動き検出部１４は、周囲と調和の取れた動きベクトvec（実際には、補正された動きベクトルvec'または動きベクトルvec''）を出力することが可能になる。その結果、例えば、図１の画像処理部１２等は、ホールド型表示装置２において発生する動きボケ（特に、追従視に起因する動きボケ）を、周囲との違和感のないように精度よく抑制することが可能になる。

次に、図２０のフローチャートを参照して、本実施の形態の画像処理装置１（図１）の画像処理について説明する。

はじめに、ステップＳ１において、画像処理装置１は、表示対象フレームの画像データを入力する。詳細には、表示対象フレームの画像データは、画像処理部１１、画像処理部１２、参照画像記憶部１３、および、動き検出部１４のそれぞれに入力される。

ステップＳ２において、画像処理装置１（画像処理部１１、画像処理部１２、および、動き検出部１４等）は、表示対象フレームを構成する複数の画素の中から、注目画素を設定する。

ステップＳ３において、動き検出部１４は、表示対象フレームの画像データと、参照画像記憶部１３に記憶されている参照画像（直前フレーム）の画像データとを比較することで、注目画素の動きベクトルvecを演算し、必要に応じてその動きベクトルvecを補正し、画像処理部１１、画像処理部１２、および、切替部１５のそれぞれに供給する。

このような動き検出部１４の処理（ステップＳ３の処理）を、以下、「動きベクトル演算処理」と称する。なお、「動きベクトル演算処理」の詳細については図２１のフローチャートを参照して後述する。

ステップＳ４において、画像処理装置１（画像処理部１１、画像処理部１２、および、切替部１５等）は、注目画素の動きベクトルvecの大きさが閾値以上であるか否かを判定する。

なお、実際には、ステップＳ４乃至Ｓ７の処理では、動き検出部１４のステップＳ３の処理である「動きベクトル演算処理」の結果として、注目画素の補正された動きベクトルvec'または動きベクトルvec''を利用することになるが、ステップＳ４乃至Ｓ７の処理の説明では、これらを個々に区別する必要がないので、上述したように、単に動きベクトルvecと称する。

ステップＳ４において、動きベクトルvecの大きさが閾値未満であると判定された場合（動きベクトルvecの大きさが閾値以上ではないと判定された場合）、即ち、注目画素に動きがない場合、切替部１５は、その入力を画像処理部１１側の端に切り替える。すると、ステップＳ５において、画像処理部１１が、注目画素に対して所定の画像処理を施すことで、注目画素の画素値を補正し、補正した画素値を切替部１５を介して表示制御部１６に供給する。

これに対して、ステップＳ４において、動きベクトルvecの大きさが閾値以上であると判定された場合、即ち、注目画素に動きがある場合、切替部１５は、その入力を画像処理部１２（補正部２２）側の端に切り替える。

このとき、ステップＳ６において、ステップエッジ検出部２１は、注目画素の画素値と、所定の方向（いまの場合、空間方向Ｘまたはその逆方向であり、動き検出部２４より供給される動きベクトルvecの方向（プラスかマイナス）に従って決定される）に隣接する画素の画素値との差分値を演算し、演算した差分値と注目画素の画素値とを補正部２２に供給する。

ステップＳ７において、補正部２２は、動き検出部１４より供給された注目画素の動きベクトルと、ステップエッジ検出部２１より供給された差分値とに基づいて、ステップエッジ検出部２１より供給された注目画素の画素値を補正し、補正した画素値を切替部１５を介して表示制御部１６に供給する。

ステップＳ８において、表示制御部１６は、画像処理部１１または画像処理部１２より切替部１５を介して供給された注目画素の画素値を（必要に応じて、その画素値を、ホールド型表示装置２に対応する信号に変換して）ホールド型表示装置２に出力する。即ち、表示制御部１６は、注目画素の画素値を、ホールド型表示装置２の表示素子のうちの注目画素に対応する表示素子に対する目標レベルとして、ホールド型表示装置２に出力するのである。

ステップＳ９において、画像処理装置１は、全ての画素の画素値を出力したか否かを判定する。

ステップＳ９において、全ての画素の画素値がまだ出力されていないと判定された場合、処理はステップＳ２に戻され、それ以降の処理が繰り返される。即ち、表示対象フレームを構成する複数の画素のうちのまだ処理が施されていない画素が注目画素として順次設定され、注目画素の画素値が補正され（０補正も含む）、ホールド型表示装置２に出力される。

以上の処理が繰り返されて、表示対象フレームを構成する全ての画素の画素値がホールド型表示装置２に供給されると、ステップＳ９において、全ての画素の画素値を出力したと判定され、処理はステップＳ１０に進められる。

このとき、ホールド型表示装置２は、その画面を構成する表示素子（液晶等）のそれぞれに対して、供給された画素値（目標レベル）に対応するレベルの電圧をそれぞれ印加し、次のフレームの表示が指示されるまで（次のフレームを構成する全ての画素の画素値が供給されるまで）、そのレベルの電圧の印加を保持し続ける。即ち、各表示素子のそれぞれは、対応する画素をホールド表示する。

ステップＳ１０において、画像処理装置１は、動画像を構成する全てのフレームを処理したか否かを判定する。

ステップＳ１０において、全てのフレームをまだ処理していないと判定された場合、処理はステップＳ１に戻され、次のフレームの画像データが表示対象フレームの画像データとして入力され、それ以降の処理が繰り返される。

そして、動画像を構成する複数のフレームのうちの最後のフレームを構成する全ての画素の画素値が補正され（０補正も含む）、ホールド型表示装置２に出力されると、ステップＳ１０において、全てのフレームを処理したと判定され、画像処理装置１の画像処理は終了される。

なお、図２０の例では、画像処理装置１は、ホールド型表示装置２に対して、表示対象フレームを構成する各画素の画素値（補正された画素値）のそれぞれを個別に出力しているが、表示対象フレームを構成する全ての画素の画素値を補正した後、それらを一括して（表示対象フレームの画像信号として）出力してもよい。

次に、図２１のフローチャートを参照して、図２の動き検出部１４の「動きベクトル演算処理（図２０のステップＳ３の処理）」について説明する。

はじめに、ステップＳ２１において、輝度勾配検出部３３は、注目画素周囲の輝度勾配slopeを検出し、動きベクトル補正部３６に供給する。

ステップＳ２２において、テンプレートマッチング部３４は、注目画素を含む画素群を構成する各画素（例えば、図１１の領域９５を構成する各画素）のそれぞれの動きベクトル候補pvecを演算し、ヒストグラム部３５に供給する。

また、ステップＳ２３において、テンプレートマッチング部３４は、注目画素の動きベクトルvecの補正可否を示す制御信号（フラグ）flagを生成し、動きベクトル補正部３６に供給する。

ステップＳ２４において、ヒストグラム部３５は、注目画素を含む画素群を構成する各画素のそれぞれの動きベクトル候補pvecのヒストグラム（例えば、図１２のヒストグラム）を生成し、最も頻度の高い動きベクトル候補pvecを注目画素の動きベクトルvecとして決定し、動きベクトル補正部３６に供給する。

ステップＳ２５において、図１３の動きベクトル補正部３６Ａの後段用補正部１０１は、注目画素の動きベクトルvecを、第１の補正方法で補正し、その結果得られる動きベクトルvec'を切替部１０２に供給する。

なお、図２の動きベクトル補正部３６が、図１９の動きベクトル補正部３６Ｃとして構成される場合、このステップＳ２５の処理は省略される。

一方、図２の動きベクトル補正部３６が、図１８の動きベクトル補正部３６Ｂとして構成される場合、このステップＳ２５の処理は実行されるが、後述するステップＳ２６乃至Ｓ２８の処理が省略されることになる。

このように、図２の動きベクトル補正部３６の形態によって、「動きベクトル演算処理」の内容は若干異なることになる。換言すると、図２１は、図２の動きベクトル補正部３６が、図１３の動きベクトル補正部３６Ａとして構成されている場合の「動きベクトル演算処理」の一例を説明するフローチャートである。

ところで、上述したステップＳ２５の処理が終了すると、処理はステップＳ２６に進む。

ステップＳ２６において、図１３の信頼度評価部１０３は、ステップＳ２３の処理でテンプレートマッチング部３４により生成された制御信号（フラグ）flagと、ステップＳ２１の処理で輝度勾配検出部３３により検出された輝度勾配slopeとに基づいて、動きベクトルvecの信頼度を評価する。

ステップＳ２７において、信頼度評価部１０３は、ステップＳ２６の処理結果に基づいて動きベクトルvecの信頼度が低いか否かを判定する。

ステップＳ２７において、信頼度評価部１０３は、動きベクトルvecの信頼度が高い（低くない）と判定した場合、切替部１０２の出力先を外部のLPF３７側に切り替え、処理をステップＳ２９に進める。

ステップＳ２９において、切替部１０２は、ステップＳ２５の処理で後段処理用補正部１０１により第１の補正方法で補正された動きベクトルvec'をLPF３７を介して動き検出部１４の外部（図１の画像処理装置１１、画像処理装置１２、および、切替部１５）に出力する。

これに対して、ステップＳ２７において、信頼度評価部１０３は、動きベクトルvecの信頼度が低いと判定した場合、切替部１０２の出力先を信頼度用補正部１０４側に切り替え、処理をステップＳ２８に進める。

すると、後段処理用補正部１０１により、ステップＳ２５の処理で第１の補正方法を利用して補正された動きベクトルvec'は、信頼度用補正部１０４に供給されるので、ステップＳ２８において、信頼度用補正部１０４は、注目画素の（後段処理用補正部１０１により補正された）動きベクトルvec'を、第２の補正方法でさらに補正し、ステップＳ２９において、その補正された動きベクトルvec''をLPF３７を介して動き検出部１４の外部に出力する。

このようにして、ステップＳ２９の処理で注目画素の補正された動きベクトルvec'
または動きベクトルvec''が出力されると、「動きベクトル演算処理」は終了となる。

ところで、本発明が適用される画像処理装置は、上述した図１の構成に限定されず、様々な実施の形態を取ることができる。

例えば、本発明が適用される画像処理装置は、図２２に示されるように構成することもできる。即ち、図２２は、本実施の他の形態の画像処理装置の構成例を表しており、図１の画像処理装置１と対応する部分には対応する符号が付されている。

図２２に示されるように、この実施の形態の画像処理装置１５１には、図１の画像処理装置１と基本的に同様の構成と機能を有する、画像処理部１１乃至表示制御部１６のそれぞれが設けられており、それらの基本的な接続形態も図１のそれと同様とされている。

ただし、図１の画像処理装置１においては、動き検出部１４の検出結果（動きベクトルvec）が、ステップエッジ検出部２１に供給されていたが、図２２の画像処理装置１５１においては、動き検出部１４の検出結果は、ステップエッジ検出部２１に供給されず、逆に、ステップエッジ検出部２１の検出結果が、動き検出部１４と画像処理部１１のそれぞれに供給されている。

画像処理装置１５１は、このような構成を有しているので、次のような動作を行うことになる。

即ち、画像処理装置１５１においては、初めに、ステップエッジ検出部２１が、所定のフレームを構成する複数の画素の中からステップエッジに対応する画素を検出し、その検出結果を、補正部２２の他、動き検出部１４と画像処理部１１のそれぞれに供給する。

これにより、動き検出部１４は、ステップエッジ検出部２１により検出された画素（ステップエッジに対応する画素）に対してのみその処理を実行することができる。即ち、動き検出部１４は、ステップエッジ検出部３１により検出されたステップエッジが動いているか否かを検出するとも言える。

また、画像処理部１１は、ステップエッジ検出部２１により検出された画素（ステップエッジに対応する画素）のうちの、動き検出部１４により動きが検出された画素に対しては、その処理を禁止する。即ち、画像処理部１１は、動きのあるステップエッジに対応する画素に対してはその処理を禁止し、それ以外の画素に対してのみその処理を実行する。

このように、図２２の画像処理装置１５１においては、１つの画素に対する画像処理は、画像処理部１１と画像処理部１２のうちのいずれか一方のみにより実行される。換言すると、１つのフレームに対して画像処理が１回だけ施されることになる。さらに、動き検出部１４の処理も、ステップエッジに対応する画素についてのみ実行される。従って、画像処理装置１５１の全体の処理量を抑制することが可能になる。

また、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。

この場合、図１の画像処理装置１や図２２の画像処理装置１５１は、例えば、図２３に示されるようなパーソナルコンピュータで構成することができる。

図２３において、CPU（Central Processing Unit）２０１は、ROM（Read Only Memory）２０２に記録されているプログラム、または記憶部２０８からRAM（Random Access Memory）２０３にロードされたプログラムに従って各種の処理を実行する。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU２０１、ROM２０２、およびRAM２０３は、バス２０４を介して相互に接続されている。このバス２０４にはまた、入出力インタフェース２０５も接続されている。

入出力インタフェース２０５には、キーボード、マウスなどよりなる入力部２０６、ディスプレイなどよりなる出力部２０７、ハードディスクなどより構成される記憶部２０８、および、モデム、ターミナルアダプタなどより構成される通信部２０９が接続されている。通信部２０９は、インターネットを含むネットワークを介して他の情報処理装置（図示せず）との通信処理を行う。

なお、この場合、出力部２０７自身がホールド型表示装置であってもよいし、或いは、入出力インタフェース２０５に必要に応じて接続される図示せぬ接続部に、外部のホールド型表示装置２（図１）が接続されてもよい。

入出力インタフェース２０５にはまた、必要に応じてドライブ２１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体２１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部２０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図２３に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）２１１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、以上の説明においては、ホールド型表示装置２の画面を構成する各表示素子（液晶型表示装置の場合、液晶）のそれぞれには、フレームを構成する複数の画素のうちの所定の１つが対応付けられていたが、１つの画素に複数の表示素子が対応付けられていてもよい。即ち、複数の表示素子で１つの画素を表示してもよい。

さらに、以上の説明においては、画像処理装置は、空間方向Ｘと平行な動きベクトルを生成したが、上述したように、上述した一連の処理と基本的に同様な処理を実行することで、空間方向Ｙと平行な動きベクトルを生成することもできるし、空間方向Ｘと空間方向Ｙとに平行な２次元平面上の任意な方向の動きベクトルを生成することもできる。

本実施の形態の画像処理装置の構成例を示すブロック図である。 図１の画像処理装置の動き検出部の詳細な構成例を示すブロック図である。 図２の輝度勾配検出部の処理対象例を示す図である。 図２の動き検出部のテンプレートマッチング部の詳細な構成例を示すブロック図である。 図４のテンプレートマッチング部の処理対象例を示す図である。 表示対象フレームの注目画素周辺の各画素のそれぞれの画素値と、その直前フレームの対応する各画素のそれぞれの画素値との例を示す図である。 図４のSAD演算部の図６に対する演算結果の例を示す図である。 図４のテンプレートマッチング部が処理に使用する値を説明する図である。 表示対象フレームの注目画素周辺の各画素のそれぞれの画素値と、その直前フレームの対応する各画素のそれぞれの画素値との他の例（図６とは異なる例）を示す図である。 図４のSAD演算部の図６に対する演算結果の他の例（図７とは異なる例）を示す図である。 図２のヒストグラム部の処理対象例を示す図である。 図１１に対するヒストグラムの例を示す図である。 図２の動き検出部の動きベクトル補正部の詳細な構成例を示すブロック図である。 図１３の動き検出部の後段処理用補正部がその補正処理で考慮すべき、後段の処理内容の例を示す図である。 図１３の動き検出部の後段処理用補正部が、図１４の例の後段の処理内容の特徴に適した補正を行うための補正方法の例を示す図である。 図１３の動き検出部の後段処理用補正部の補正方法の他の例を示す図である。 図４のテンプレートマッチング部の他の実施の形態を説明する、SADの結果を示す図である。 図２の動き検出部の動きベクトル補正部の詳細な構成の他の例を示すブロック図である。 図２の動き検出部の動きベクトル補正部の詳細な構成のさらに他の例を示すブロック図である。 図１の画像処理装置の画像処理を説明するフローチャートである。 図２０の動きベクトル演算処理を説明するフローチャートである。 本実施の形態の画像処理装置の他の構成例（図１とは異なる構成例）を示すブロック図である。 本実施の形態の画像処理装置のさらに他の構成例（図１や図２２とは異なる構成例）を示すブロック図である。

符号の説明

１ 画像処理装置， ２ ホールド型表示装置， １１ 画像処理部， １２ 画像処理部， １３ 参照画像記憶部， １４ 動き検出部， １５ 切替部， １６ 表示制御部， ２１ ステップエッジ検出部， ２２ 補正部， ３１ ローパスフィルタ（LPF）， ３２ LPF， ３３ 輝度勾配部， ３４ テンプレートマッチング部， ３５ ヒストグラム部， ３６，３６Ａ，３６Ｂ，３６Ｃ 動きベクトル補正部， ３７ LPF， ５１ 注目画素， ６１ SAD演算部， ６２ SAD極小検出部， ６３ SAD極小値評価部， １０１ 後段処理用補正部， １０２ 切替部， １０３ 信頼度評価部， １０４ 信頼度用補正部 ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０８ 記憶部， ２１１ リムーバブル記録媒体

Claims (9)

1. 動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前に前記表示対象であった第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成手段と、
   前記候補生成手段により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定手段と、
   前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段と、
   前記輝度変化演算手段により演算された前記輝度の変化の度合いが閾値未満であるという条件、前記第１のアクセスユニットの中に前記注目画素の配置位置に対応する前記第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および前記対応画素として、前記第１のアクセスユニットから検出される第２の画素が前記対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、前記動きベクトルの信頼度が低いと評価し、前記動きベクトルに所定の補正係数を乗じて補正する補正手段と
   を備えることを特徴とする画像処理装置。
2. 前記候補生成手段は、前記注目画素を起点とし前記第２の画素を終点とするベクトルを、前記注目画素における前記動きベクトル候補として生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記候補生成手段はさらに、複数の前記対応画素の候補の中に前記注目画素自身が含まれている場合、そのことを示す情報を前記補正手段に提供し、
   前記補正手段は、前記候補生成手段から前記情報が提供された場合、前記動きベクトルの信頼度が低いと評価して、前記動きベクトルを０ベクトルに補正する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前に前記表示対象であった第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
   前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
   前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、
   前記輝度変化演算ステップの処理により演算された前記輝度の変化の度合いが閾値未満であるという条件、前記第１のアクセスユニットの中に前記注目画素の配置位置に対応する前記第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および前記対応画素として、前記第１のアクセスユニットから検出される第２の画素が前記対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、前記動きベクトルの信頼度が低いと評価し、前記動きベクトルに所定の補正係数を乗じて補正する補正ステップと
   を含むことを特徴とする画像処理方法。
5. 動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記注目画素を単位とする画像処理をコンピュータに実行させるプログラムであって、
   前記第１のアクセスユニットと、前記第１のアクセスユニットの直前に前記表示対象であった第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
   前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
   前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算ステップと、
   前記輝度変化演算ステップの処理により演算された前記輝度の変化の度合いが閾値未満であるという条件、前記第１のアクセスユニットの中に前記注目画素の配置位置に対応する前記第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および前記対応画素として、前記第１のアクセスユニットから検出される第２の画素が前記対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、前記動きベクトルの信頼度が低いと評価し、前記動きベクトルに所定の補正係数を乗じて補正する補正ステップと
   を含むことを特徴とするプログラム。
6. 動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前に前記表示対象であった第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成手段と、
   前記候補生成手段により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定手段と、
   前記動きベクトル決定手段により決定された前記動きベクトルを補正する補正手段と、
   前記補正手段により補正された前記動きベクトルを利用して、前記注目画素の画素値を所定の補正量で補正する処理実行手段とを備え、
   前記補正手段は、所定の大きさの前記動きベクトルの前後で前記補正量が不連続性になるのを防止するように前記動きベクトルを補正する
   ことを特徴とする画像処理装置。
7. 前記注目画素周辺の輝度の変化の度合を演算する輝度変化演算手段をさらに備え、
   前記補正手段は、さらに、前記輝度変化演算手段により演算された前記輝度の変化の度合いが閾値未満であるという条件、前記第１のアクセスユニットの中に前記注目画素の配置位置に対応する前記第２のアクセスユニット内の位置に配置される第１の画素の対応画素の候補が複数個存在するという条件、および前記対応画素として、前記第１のアクセスユニットから検出される第２の画素が前記対応画素であることの信頼度が低いという条件のうち、少なくとも１つの条件が満たされている場合、前記動きベクトルの信頼度が低いと評価し、前記補正量が不連続性になるのを防止するように補正された前記動きベクトルに、所定の補正係数を乗じてさらに補正する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 情報処理装置の画像処理方法において、
   動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前に前記表示対象であった第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
   前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
   前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップと、
   前記補正ステップの処理により補正された前記動きベクトルを利用して、前記注目画素の画素値を所定の補正量で補正する処理を前記情報処理装置が実行することを制御する処理制御ステップとを含み、
   前記補正ステップは、所定の大きさの前記動きベクトルの前後で前記補正量が不連続性になるのを防止するように前記動きベクトルを補正するステップを少なくとも含む
   ことを特徴とする画像処理方法。
9. 動画像を構成する複数のアクセスユニットのうちの所定の１つを処理対象として、処理対象の前記アクセスユニットを構成する各画素のそれぞれにおける動きベクトルを利用する所定の処理を実行する処理実行装置を制御するコンピュータに実行させるプログラムであって、
   動画像の単位としてのフレームまたはフィールドから構成されるアクセスユニットであって、表示対象である第１のアクセスユニットを構成する画素のうちの所定の画素を注目画素として設定し、前記第１のアクセスユニットと、前記第１のアクセスユニットの直前に前記表示対象であった第２のアクセスユニットとを比較することで、前記注目画素における動きベクトル候補を生成する候補生成ステップと、
   前記候補生成ステップの処理により生成された前記注目画素とその周辺の画素のそれぞれにおける前記動きベクトル候補のうちの頻度が最も高い前記動きベクトル候補を、前記注目画素における動きベクトルとして決定する動きベクトル決定ステップと、
   前記動きベクトル決定ステップの処理により決定された前記動きベクトルを補正する補正ステップと、
   前記補正ステップの処理により補正された前記動きベクトルを利用して、前記注目画素の画素値を所定の補正量で補正する処理を前記処理実行装置が実行することを制御する処理制御ステップとを含み、
   前記補正ステップは、所定の大きさの前記動きベクトルの前後で前記補正量が不連続性になるのを防止するように前記動きベクトルを補正するステップを少なくとも含む
   ことを特徴とするプログラム。

Images