JP5480674B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、動画像のフレームレートを変換する技術に関するものである。

一般的に、映画コンテンツは１秒間あたり２４個のフレームが含まれ（以下２４ｐと呼ぶ）、映画館では、１個のフレームを２回ずつ繰り返して表示することにより４８Ｈｚ表示を行っている。また、例えば、６０Ｈｚ表示のテレビで表示する場合には、フレーム毎に交互に２回および３回ずつ表示する２−３プルダウン処理により６０Ｈｚにフレームレートを変換し表示を行っている。しかし、同一のフレームを繰り返し表示した場合、映像の動きがガタガタして見える現象（ジャダー）が発生し、ユーザが感じる映像の解像度（視認解像度）も低下してしまう問題があった。

そこで、例えば特許文献１では、フレーム中の動きを検出し、動きに沿うように補間フレームを生成し挿入することによりジャダーを低減する技術が開示されている。さらに、特許文献２には、映画表示において環境光に応じてジャダーの強さを制御する技術が開示されている。

特開２００９−３３４６８号公報 特開２００９−９４６１６号公報

しかしながら、上述の特許文献１に開示される技術により補間フレームを生成しジャダーを低減した場合、結果的に映画らしさが失われてしまう問題があった。これは、繰り返し表示によって発生する動きの振動（ジャダー）が映画固有の脱現実感に繋がっているためであり、映像内の動きが必要以上に滑らかになると映画らしく無いと認識されるためである。また、特許文献２に開示される技術によりジャダーの強さを制御した場合、環境光が明るい場所にジャダーが目立ち不快になるという問題があった。そして、上述の２つの技術を組み合わせた場合、動き補償の誤補間が目立つ場合がある問題があった。

本発明は、上述の問題点に鑑みなされたものであり、ジャダーによる映像の解像度低下を低減しつつ映画らしさも維持可能とする画像処理技術を提供することを目的とする。

上述の１以上の問題点を解決するため本発明の画像処理装置は以下の構成を備える。すなわち、画像処理装置は、第１のフレーム画像と該第１のフレーム画像に後続する第２のフレーム画像とから動きベクトルを検出する検出手段と、前記検出手段によって前記第１のフレーム画像と前記第２のフレーム画像とから検出された前記動きベクトルを用いて、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示させる動き補償フレーム画像を生成する生成手段と、前記検出された動きベクトルが所定の動きの速さに対応する場合、該所定の動きの速さより遅い動きの速さに対応する場合に比較し、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される動き補償フレーム画像の数が多くかつ前記第１のフレーム画像を複製した複製フレーム画像の数が少なくなるように、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される前記動き補償フレーム画像と前記複製フレーム画像との数を前記動きベクトルに基づいて決定する決定手段と、前記決定手段による決定に応じたフレーム画像を出力する出力手段と、を備える。

本発明によれば、ジャダーによる映像の解像度低下を低減しつつ映画らしさも維持可能とする画像処理技術を提供することができる。

ディスプレイシステムにおける補正処理部のブロック図である。 第１実施形態に係るフレームレート変換処理部のブロック図である。 第１実施形態に係るフレームレート変換処理部のタイムチャートである。 出力サブフレームにおけるジャダー振幅を説明する概念図である。 出力サブフレームの見え方の例を示す図である。 第１実施形態に係るフレームレート変換処理部の動作フローチャートである。 第２実施形態に係るフレームレート変換処理部のブロック図である。 第２実施形態に係るフレームレート変換処理部の画像処理を説明する図である。 出力制御係数決定部における入出力の関係を示す図である。 第２実施形態に係るフレームレート変換処理部のタイムチャートである。 第２実施形態に係るフレームレート変換処理部の動作フローチャートである。 出力サブフレームにおけるジャダー振幅を説明する概念図である。 出力サブフレームの見え方の例を示す図である。 第３実施形態に係るフレームレート変換処理部のブロック図である。 環境光取得部における入出力の関係を示す図である。 出力サブフレームにおけるジャダー振幅を説明する概念図である。 第３実施形態に係るフレームレート変換処理部の動作フローチャートである。 第４実施形態に係るフレームレート変換処理部のブロック図である。 第４実施形態に係るフレームレート変換処理部の動作フローチャートである。 第５実施形態に係るフレームレート変換処理部のブロック図である。 出力サブフレームにおけるジャダー振幅を説明する概念図である。 第５実施形態に係るフレームレート変換処理部の動作フローチャートである。 出力サブフレームにおけるジャダー振幅を説明する概念図である。 第６実施形態に係るフレームレート変換処理部のブロック図である。 出力制御係数決定部における入出力の関係を示す図である。 第６実施形態に係るフレームレート変換処理部の動作フローチャートである。 出力サブフレームにおけるジャダー振幅を説明する概念図である。

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。

（第１実施形態）
本発明に係る画像処理装置の第１実施形態として、ディスプレイシステムにおける補正回路内のフレームレート変換処理部を例に挙げて以下に説明する。特に、第１実施形態では、入力フレームを複数回繰り返すことによって動きに振動を付加する方法について説明する。

＜装置構成＞
図１は、ディスプレイシステムにおける補正処理部のブロック図である。補正回路１０００には、例えばセレクタを介して、外部の画像出力装置から所定のフレームレートの動画像が入力される。以下の説明では２４ｐ（２４フレーム／秒のプログレッシブ画像）の動画像に対して処理する場合について述べるが、他のフレームレートの動画像であっても同様に適用可能である。

なお、補正回路１０００は、後述するフレームレート変換処理部１００の他にも、各所の画像処理部を含み得る。例えば、ノイズリダクション、フィルムソース検出２４Ｐ変換、解像度変換の他、各種の色補正処理を含み得る。

フレームレート変換処理部１００は、入力される各フレーム画像に対してＭ個（Ｍは３以上の整数）のサブフレーム画像を生成して出力する処理部である。以下の説明では、２４ｐの動画像に含まれる各入力フレーム画像に対して５個のサブフレーム画像を生成し１２０フレーム／秒（１２０Ｈｚ）の動画像を出力するの場合（つまり、Ｍ＝５）について説明する。ただし、７２Ｈｚ，９６Ｈｚ，２４０Ｈｚなどにも適用できるものである。さらに、既存の２−３プルダウン（２４ｆｐｓから６０ｆｐｓへの変換）のようなフレームレート変換と組み合わせて構成してもよい。なお、以下では、１個の入力フレームに対して生成されるＭ個のフレームの各々を、時系列順に第ｍサブフレーム（ｍ＝１，．．．，Ｍ）と呼ぶ。

図２は、第１実施形態のフレームレート変換処理部１００のブロック図である。フレームレート変換処理部１００には、動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３、フレームメモリ１０４が含まれている。そして、動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３の各々には、各部で処理するフレーム画像／サブフレーム画像を制御するためのタイミング制御信号が供給されている。なお、タイミング制御信号は、フレームレート変換処理部１００内の不図示の制御部、または、補正回路１０００におけるフレームレート変換処理部１００より上流側の処理部から供給される。

以下の説明では、タイミング制御信号として、２つの信号（Ｎ_{ｃｏｕｎｔ}，Ｆｌｇ＿１）を用いている。Ｎ_{ｃｏｕｎｔ}は、入力フレームに対するｎ枚目のフレームを生成する際にカウントするカウント値である。Ｆｌｇ＿１は、動きベクトル検出部１０１と補間画像生成部１０２とセレクタ１０３の動作切り替えを制御する。

動きベクトル検出部１０１は、注目するフレーム画像Ｆｒａｍｅ_ｉｎ−１に後続するフレーム画像Ｆｒａｍｅ_ｉｎが入力されると、フレーム画像の各領域の動きベクトルＶｅｃ_Ｄを検出する。具体的には、Ｆｒａｍｅ_ｉｎ−１とＦｒａｍｅ_ｉｎとの差分に基づいて動きベクトルを算出する。つまり、注目フレーム画像と当該注目フレーム画像に後続する後続フレーム画像との差分に基づいて動きベクトルを導出する。フレームメモリ１０４は、Ｆｒａｍｅ_ｉｎ−１を格納している。そして、後続のフレーム画像Ｆｒａｍｅ_ｉｎが入力されるたび、Ｆｒａｍｅ_ｉｎ−１を動きベクトル検出部１０１とセレクタ１０３とに出力する。

補間画像生成部１０２は、動きベクトル検出部１０１から入力されるＶｅｃ_Ｄと、フレームメモリ１０４から入力されるフレーム画像Ｆｒａｍｅ_ｉｎとに基づきｎ’個（ｎ’＜Ｍ）のフレームを生成する。なお、ｎ’は出力するＭ個のサブフレームに含まれる動き補償フレーム画像（補間フレームとも呼ぶ）の個数であり、ｎ’はおよそＭの半分程度に設定すると好適である。以下では、ｎ’＝２として説明する。

具体的には、補間画像生成部１０２は、動き補償画像を生成する際、検出ベクトルから補間ベクトルＶｅｃ_Ｉ＝Ｖｅｃ_Ｄ×ｎ／Ｍ （ｎ＝Ｍ−ｎ’，．．，Ｍ−１）を導出する。そして、動き補償フレームＦｒａｍｅ_ｍｃ［ｎ］を生成する。つまり、ｎ’＝２の場合、Ｆｒａｍｅ_ｍｃ［３］およびＦｒａｍｅ_ｍｃ［４］の２つの動き補償フレームを生成する。なお、Ｆｒａｍｅ_ｉｎ−１とＦｒａｍｅ_ｉｎとの間の時間をＭ等分した時間位置でのＭ個の動き補償フレーム画像を生成した後、ｎ’個を選択するよう構成しても良い。

セレクタ１０３は、出力するサブフレーム毎に、入力されたフレーム画像のコピーである複製フレーム画像または生成された動き補償フレーム画像を選択する。具体的には、Ｆｒａｍｅ_ｉｎ−１のＮ個（Ｎは２以上Ｍ未満の整数）の複製フレーム画像と（Ｍ−Ｎ）個の動き補償フレーム画像とを出力する。つまり、ｎ’＝２の場合、Ｆｒａｍｅ_ｉｎ−１の３個（＝Ｍ−ｎ’）の複製フレーム画像と２個の動き補償フレーム画像（Ｆｒａｍｅ_ｍｃ［３］およびＦｒａｍｅ_ｍｃ［４］）とを出力する。

なお、動きベクトルの検出および補間方法は一般的な方法でよく、例えば特開２００７−７４５８８号に記載された手法を用いるとよい。

図３は、第１実施形態に係るフレームレート変換処理部のタイムチャートである。上から、基準クロック、出力対象のサブフレーム画像、タイミング制御信号であるＮ_{ｃｏｕｎｔ}およびＦｌｇ＿１、セレクタ１０３が選択するフレーム画像を示している。

上述したように、タイミング制御信号であるＮ_{ｃｏｕｎｔ}およびＦｌｇ＿１は、フレームレート変換処理部１００内の各部で処理するフレーム画像／サブフレーム画像を制御している。動きベクトル検出部１０１は、Ｆｌｇ＿１＝１が入力された場合に動きベクトルを検出し、補間画像生成部１０２に検出したＶｅｃ_Ｄを出力する。補間画像生成部１０２は、Ｆｌｇ＿１＝１が入力された場合にｎ＝Ｎ_{ｃｏｕｎｔ}−１として動き補償フレームＦｒａｍｅ_ｍｃ［ｎ］を生成する。そして、セレクタ１０３は、Ｆｌｇ＿１＝０の場合、入力フレームＦｒａｍｅ_ｉｎ−１の複製フレーム画像を出力し、Ｆｌｇ＿１＝１の場合、生成された動き補償フレームＦｒａｍｅ_ｍｃ［ｎ］を出力する。

＜装置の動作＞
図６は、第１実施形態に係るフレームレート変換処理部の動作フローチャートである。なお、図６は１個の入力フレーム画像に対する処理を示しており、連続して入力される各フレームに対して同様の処理が行われる。

ステップｆ１０１では、フレームレート変換処理部１００に、連続する複数のフレーム画像が順次入力される。そして、サブフレームのカウント値Ｃｏｕｎｔを０に初期化（Ｃｏｕｎｔ＝０）する。なお、Ｃｏｕｎｔ＝０〜４の各々は、第ｍサブフレーム画像（ｍ＝１〜５）の各々に対応する。

ステップｆ１０２では、動きベクトル検出部１０１は、Ｆｒａｍｅ_ｉｎ−１とＦｒａｍｅ_ｉｎとの差分に基づいてフレーム画像の各領域の動きベクトルＶｅｃ_Ｄを検出する。なお、動きベクトルは、フレーム画像内の各領域ｉに対してベクトルＶｅｃ_Ｄ［ｉ］として検出される。（ｉはフレーム画像を領域分割した際の各領域番号を表す。）
ステップｆ１０３では、Ｃｏｕｎｔが所定閾値（Ｎ／２）より大きいか否かを判定する。そして、Ｃｏｕｎｔ＞Ｎ／２である場合はステップｆ１０４へ進み、そうでない場合はステップｆ１０８へ進む。つまり、ここでは、第１〜第３サブフレーム画像として入力フレーム画像の複製フレーム画像が選択され、第４および第５サブフレーム画像として動き補償フレーム画像が選択されるように構成している。なお、所定閾値はＮ／２に限定されるものではない。

ステップｆ１０４では、動きベクトル検出部１０１は、補間ベクトルをＶｅｃ_Ｉ＝Ｖｅｃ_Ｄ×Ｃｏｕｎｔ／Ｎとして算出する。

ステップｆ１０５では、補間画像生成部１０２は、動き補償フレーム画像を生成し、ステップｆ１０６では、生成した動き補償フレーム画像を出力する。具体的には、動きベクトル検出部１０１から入力されたＶｅｃ_Ｉとフレームメモリ１０４から入力された入力フレーム画像から動き補償フレーム画像を生成する。一方、ステップｆ１０８では、入力フレーム画像の複製である複製フレーム画像を出力する。

ステップｆ１０７では、カウント値Ｃｏｕｎｔをインクリメントする。そして、ステップｆ１０９では、Ｃｏｕｎｔ≧Ｎである場合は処理を終了し、そうでない場合はｆ１０３に移行する。

上述のステップｆ１０３〜ｆ１０９のループにより、１個の入力フレーム画像に対し５個のサブフレーム画像を出力する。

＜効果＞
図４は、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅を説明する概念図である。これは、画像のエッジが右方向に移動している動画像の各フレーム画像が入力された場合におけるサブフレーム画像を時系列順に縦軸方向に並べたものである。

図４においてエッジ部に黒丸が付加されたフレームが入力フレーム画像を示している。つまり、ここでは、画像のエッジが右方向に１５画素／入力フレーム画像で移動している例を示している。そして、１個の入力フレーム画像に対して５個のサブフレーム画像が出力する場合を示している。図４では、上述の説明に沿って、入力フレーム画像の３個（＝Ｍ−ｎ’）の複製フレーム画像と２個の動き補償フレーム画像とを出力している。そして、３個のサブフレーム画像（ｎ＝１，４，５）における画像のエッジは視線方向に沿っており、残りの２個のサブフレーム画像（ｎ＝２，３）における画像のエッジは視線方向から少し外れた位置にあることがわかる。

ジャダー振幅は、視線の動きに沿った画像のエッジの幅により規定される。そのため、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅は図４に示されるように約６画素以下となっている。一方、単純に各入力フレーム画像の複製フレーム画像を５個出力した場合、図４ジャダー振幅は約１２画素となるため、第１実施形態のフレームレート変換処理部１００によりジャダー振幅が大幅に低減されていることがわかる。そのため、視認解像度（動解像度とも呼ぶ）を向上することが出来る。

図５は、表示装置における実際の動画像の見え方を例示的に示す図である。図５（ａ）は、フレームレート変換処理部１００に入力されるフレーム画像を示している。図５（ｂ）は、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像の見え方を示している。さらに、図５（ｃ）は、２−３プルダウン処理により出力されるサブフレーム画像の見え方を示している。

つまり、第１実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像において発生するジャダーの振幅は、従来手法である２−３プルダウンに対しては小さく視認解像度は向上する。しかし、図４に示したように、視線方向から外れた位置にあるサブフレーム画像を少なくとも１個出力することによりジャダーをある程度残し、映画らしさを維持している。

以上説明したように、第１実施形態にかかる画像処理装置によれば、ジャダーの低減と動解像度の向上、映画らしさを維持することが可能となる。さらに、また、出力するサブフレーム画像に含まれる動き補償フレームの個数が少なくなるため、特許文献２の技術と比較した場合に、動き補償の誤補間が目立ちにくいという効果もある。

（第２実施形態）
第２実施形態では、入力フレームにおける動きベクトルと高空間周波数成分量とに応じて、ジャダーの振幅を入力フレーム単位で制御する。

ジャダーは、表示されているオブジェクト画像の動きやオブジェクト画像の空間周波数によって視認のされ方が異なる。例えば、同じオブジェクト画像であっても動きが速いとジャダーは目立つ。そこで、第２実施形態では、動きが速いオブジェクト画像が含まれる入力フレーム画像に対しては、ジャダー振幅が少なくなるようなサブフレーム画像を生成する。

また、ジャダーは表示されているオブジェクト画像における高い空間周波数成分（高周波画像成分）が多いほど強く知覚される。そこで、高い空間周波数成分を有するオブジェクト画像が含まれる入力フレーム画像に対しては、ジャダー振幅が少なくなるようなサブフレーム画像を生成する。

＜装置構成＞
図７は、第２実施形態に係るフレームレート変換処理部のブロック図である。

第２実施形態は、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部１０２、エッジ検出部２０２、出力制御係数決定部２０３、セレクタ２０１で構成される。なお、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部１０２は第１実施形態とほぼ同様であるため、動作が第１実施形態と異なる部分についてのみ説明する。

エッジ検出部２０２は、フレームメモリ１０４から入力されたフレーム画像Ｆｒａｍｅ_ｉｎ−１の各領域の高空間周波数成分の量（高周波成分量）を検出し、出力制御係数決定部２０３に出力する。出力制御係数決定部２０３は、エッジ検出部２０２から入力された各領域の高周波成分量と、動きベクトル検出部１０１から入力された動きベクトルとに応じて制御係数αを決定する。ここでは、制御係数αは、セレクタ２０１で出力する複製フレーム画像の個数であり、制御係数αは補間画像生成部１０２およびセレクタ２０１に出力される。

図８は、第２実施形態に係るフレームレート変換処理部の画像処理を説明する図である。図８（ｂ）は動きベクトル検出部とエッジ検出部に入力されるフレームＦｒａｍｅ_ｉｎ−１である。

動きベクトル検出部１０１は、入力されたフレーム画像の各領域において動きベクトルＶｅｃ_Ｄ［ｉ］を検出する（図８（ｃ））。ここで、ｉはフレーム画像を領域分割した際の各領域番号を表す。エッジ検出部２０２は、フレーム画像Ｆｒａｍｅ_ｉｎに対して、以下の数式に従ってハイパスフィルタ（ＨＰＦ）処理を行い、図８（ｄ）で示されるようなエッジ抽出フレームＦｒａｍｅ_Ｈを算出する。

Ｆｒａｍｅ_Ｈ＝ＨＰＦ（Ｆｒａｍｅ_ｉｎ）
なお、ハイパスフィルタ（ＨＰＦ）としては、図８（ａ）に示すような３×３構成のＨＰＦを利用することが出来る。なお、中央の太枠部分は注目画素を示している。

そしてＦｒａｍｅ_Ｈの各領域ｉにおける画素値合計をＨｉｇｈ［ｉ］とし、出力制御係数決定部２０３に出力する。つまり、Ｈｉｇｈ［ｉ］は各領域の高周波成分量を示すパラメータとなる。出力制御係数決定部２０３は、以下の数式に従って、各領域ｉにおける動きベクトルＶｅｃ_Ｄ［ｉ］と高周波成分量Ｈｉｇｈ［ｉ］との積の総和をパラメータ値Ｐａｒａｍとして算出する。これにより、各領域の動き速度と高周波成分量を表したパタメータ値Ｐａｒａｍが入力フレームの代表値として算出される。

Ｐａｒａｍ＝Σ（Ｖｅｃ_Ｄ［ｉ］×Ｈｉｇｈ［ｉ］）
出力制御係数決定部２０３は、次に、Ｐａｒａｍの値に基づいてセレクタ２０１に出力する制御係数αを算出する。制御係数αは、上述したとおり、セレクタ２０１で出力する複製フレーム画像の個数であり、例えば、図９に示されるようにＰａｒａｍの値が大きくなるほど制御係数αが小さくなるよう設定される。つまり、入力されたフレーム画像における動きベクトルが大きいほど、また、高周波成分量が多いほど、制御係数αはより小さくなりジャダー振幅をより低減するよう制御する。

補間画像生成部１０２は、入力された制御係数αに応じて、動き補償フレーム画像を生成するタイミングと生成するフレーム画像の個数とを制御する。セレクタ２０１は、入力された制御係数αに応じて、Ｆｒａｍｅ_ｉｎ−１のα個の複製フレーム画像と（Ｍ−α）個の動き補償フレーム画像とを出力する。

図１０は、第２実施形態に係るフレームレート変換処理部のタイムチャートである。第１実施形態の場合（図３）とほぼ同様であるが、入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてＦｌｇ＿１の値を制御し、サブフレーム画像を生成する。つまり、Ｐａｒａｍの値が大きくα＝２となる場合は、複製フレーム画像が２枚となるよう制御し（図１０（ａ））、Ｐａｒａｍの値が小さくα＝４となる場合は、複製フレーム画像が４枚となるよう制御する（図１０（ｂ））。

＜装置の動作＞
図１１は、第２実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０４〜ｆ１０９は第１実施形態と同じであるため説明を省略する。

ステップｆ２０１では、エッジ検出部２０２は、入力されたフレーム画像にハイパスフィルタ処理を行いＦｒａｍｅ_Ｈを生成し、各領域ｉについて高周波成分の合計Ｈｉｇｈ［ｉ］を算出する。

ステップｆ２０２では、出力制御係数決定部２０３は、各領域ｉにおいてｐａｒａｍ［ｉ］＝｜Ｖｅｃ_Ｄ［ｉ］｜×Ｈｉｇｈ［ｉ］を算出する。

ステップｆ２０３では、出力制御係数決定部２０３は、入力されたフレーム画像の特徴パラメータをＰａｒａｍ＝Σｐａｒａｍ［ｉ］として算出する。

ステップｆ２０４では、出力制御係数決定部２０３は、予め定めたＬＵＴに基づき、α＝ＬＵＴ（Ｐａｒａｍ）を算出する。なお、ＬＵＴは図９に示されるような単調減少のＬＵＴである。

ステップｆ２０５では、Ｃｏｕｎｔがαより大きいか否かを判定する。そして、Ｃｏｕｎｔ＞αである場合はステップｆ１０４へ進み、そうでない場合はステップｆ１０８へ進む。

＜効果＞
図１２は、出力サブフレームにおけるジャダー振幅を説明する概念図である。図１２（ａ）は、入力されたフレーム画像における動きベクトルが小さく（例えば１０画素／フレーム（２４Ｈｚ））、α＝３とした場合の概念図である。この場合、ジャダー振幅は約４画素となる。つまり、フレーム画像に含まれるオブジェクト画像の動きが遅い場合は、α＝３程度のジャダーは許容範囲であり解像度向上の効果がある。

図１２（ｂ）は、入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））にもかかわらず、図１２（ａ）の場合と同様にα＝３とした場合の概念図である。この場合、ジャダー振幅は約１２画素と大きくなり、ユーザによる視聴の障害となりうる。図１３（ａ）は、図５（ａ）に示すフレーム画像が入力され、かつα＝３の場合の出力を視認した画像である。ジャダー振幅が大きいため視認解像度が低くなってしまっている。

図１２（ｃ）は、第２実施形態の適用結果である。入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））場合に、αを小さく（α＝２）している。α＝２の場合には、ジャダー振幅はおよそ５画素となり、ジャダーの振幅が抑制され、その結果、視認解像度も向上する。図１３（ｂ）は図５（ａ）に示すフレーム画像が入力され、かつα＝２の場合の出力を視認した画像である。α＝３に固定した場合（図１３（ａ））に比較し解像度が向上していることがわかる。しかし、ジャダーは視聴者に知覚される程度に残るため、映画らしさも維持される。

以上説明したように、第２実施形態にかかる画像処理装置によれば、入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。

（第３実施形態）
第３実施形態では視聴環境光に応じてジャダーの振幅を制御する方法を説明する。ジャダーの視認量は、視聴環境における視聴環境光によっても異なる。具体的には、視聴環境が明るいとジャダーが強く見え、周辺が暗いとジャダーを感じにくくなる傾向にある。そこで、第３実施形態では、表示装置周辺における環境光の情報に応じてサブフレーム画像の出力を制御する。

＜装置構成＞
図１４は、第３実施形態に係るフレームレート変換処理部のブロック図である。なお、フレームメモリ１０４、動きベクトル検出部１０１、補間画像生成部２０２、セレクタ１０３は第２実施形態とほぼ同様であるため、動作が第２実施形態と異なる部分についてのみ説明する。

環境光取得部３０１は、補正回路１０００から出力されたサブフレーム画像を表示する表示パネル（ディスプレイやプロジェクター）周辺の環境光の明るさＬを取得する。そして、図１５に示されるように、環境光の明るさＬが高くなるにつれて制御係数αが小さくなるように設定する。

具体的には、環境光の明るさＬが低い時は図１６（ａ）のようにα＝４に設定し、環境光の明るさＬが高い時は図１６（ｂ）のようにα＝２に設定する。このように制御することにより、暗い環境おいて映画らしさ（ジャダー）を知覚可能な程度に残存させると共に、明るい環境においては過度のジャダーを低減することができ、動解像度を向上することが出来る。

＜装置の動作＞
図１７は、第３実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０２、ｆ１０４〜ｆ１０９、ｆ２０５は第２実施形態と同じであるので説明を省略する。

ステップｆ３０１、ｆ３０２では、ＬＵＴに基づきα＝ＬＵＴ（Ｌ）を算出する。上述したようにＬＵＴは例えば図１５に示されるように、環境光の明るさＬに対してαが単調減少になるよう設定されている。

以上説明したように、第３実施形態にかかる画像処理装置によれば、視聴環境周辺の環境光の明るさＬに応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。特に、特許文献２の技術と比較した場合に、明るい環境下で視聴する場合により見やすい映像を提供することが出来る。

（第４実施形態）
第４実施形態では、ユーザ入力によってジャダーの振幅を制御する方法を説明する。

＜装置構成＞
図１８は、第４実施形態に係るフレームレート変換処理部のブロック図である。動きベクトル検出部１０１、補間画像生成部２０２、セレクタ１０３は第３実施形態と同様であるので説明を省略する。

ユーザ入力取得部４０１は、制御係数αの入力をユーザから受け付けるキーボード・マウスなどの入力装置である。なお、サブフレーム画像を表示する表示パネル（ディスプレイやプロジェクター）を視聴しているユーザからインタラクティブに制御係数αの入力を受け付けるよう構成しても良い。

＜装置の動作＞
図１９は、第４実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０２、ｆ１０４〜ｆ１０９、ｆ２０５は第２実施形態と同じであるので説明を省略する。

ステップｆ４０１では、ユーザ入力取得部４０１は、制御係数αの入力をユーザから受け付ける。そして、ステップｆ２０５以降の処理ループでのサブフレーム画像の生成および出力を制御する。

以上説明したように、第４実施形態にかかる画像処理装置によれば、ユーザから入力された制御係数αに応じてサブフレーム画像の出力を制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。

（第５実施形態）
第５実施形態では、サブフレーム毎の動きベクトルに所定のゲインを加算・乗算し動き補償フレーム画像を出力することにより画像オブジェクトに少量の振動を付加する。

＜装置構成＞
図２０は、第５実施形態に係るフレームレート変換処理部のブロック図である。

第５実施形態は、フレームメモリ１０４、動きベクトル検出部１０１、動きベクトル補正部５０１、補間画像生成部５０２、セレクタ２０１で構成される。動きベクトル補正部５０１は、動きベクトル検出部１０１で検出された動きベクトルに基づいてサブフレーム毎の部分動きベクトルである補間ベクトルＶｅｃ_Ｉを算出する機能部である。そして、補間画像生成部５０２は、フレーム画像Ｆｒａｍｅ_ｉｎ−１と動きベクトル補正部５０１から入力された補間ベクトルＶｅｃ_Ｉとに基づいて動き補償フレーム画像を生成する機能部である。

振動の付加するためのサブフレーム毎のＶｅｃ_Ｉを算出方法として４つの方法を説明する。なお以下の説明における制御係数αは補間ベクトルに加算又は乗算するゲインを意味しており、上述の実施形態における制御係数αとは異なる。

＜１．ゲイン積算手法＞
以下の数式に従って、各サブフレームに対応する補間ベクトルにゲインα（０≦α≦１）をかける方法である。

Ｖｅｃ_Ｉ＝Ｖｅｃ_Ｄ×（（ｎ−１）／Ｎ）×α
＜２．周期パターン付加手法＞
補間ベクトルに周期的な加減算を行って見た目の動きに振動を付加する方法である。荒い波線で示されるように、補間フレームＦｒａｍｅ_ｍｃ［ｎ］（Ｎ＝１，．．．Ｎ−１）の動きに周期的な変動がある。これは、補間ベクトルＶｅｃ_Ｉを算出する際に、検出ベクトルＶｅｃ_Ｄに周期的に加減算を行っているからである。

Ｖｅｃ_Ｉ＝Ｖｅｃ_Ｄ×（（ｎ−１）／Ｎ）＋α／２×ｓｉｎ（２π×ｎ／Ｎ）
なお、加減算ではなく以下の数式のように周期的にゲインをかけることでも同等の出力結果が得られる。

Ｖｅｃ_Ｉ＝Ｖｅｃ_Ｄ×（（ｎ−１）／Ｎ）×（１＋α×ｓｉｎ（２π×ｎ／Ｎ） ＜３．ランダム付加手法＞
以下の数式に従って、補間ベクトルに乱雑に加減算を行って見た目の動きに振動を付加する方法である。

Ｖｅｃ_Ｉ＝Ｖｅｃ_Ｄ×（（ｎ−１）／Ｎ）±α×Ｒａｎｄｏｍ
（ここで、Ｒａｎｄｏｍは０≦Ｒａｎｄｏｍ≦１の乱数）
なお、加減算でなくても、ランダムなゲインの積算でも同等の出力を得られる。

Ｖｅｃ_Ｉ＝Ｖｅｃ_Ｄ×（（ｎ−１）／Ｎ）×α×Ｒａｎｄｏｍ
＜４．ベクトル順序置換手法＞
出力する第２サブフレームから第Ｎサブフレームの出力順序を入れ替えても類似の効果が得られる（以下、ベクトル順序置換手法とする）。振動を付加せずに補間ベクトルを設定する場合は、サブフレームの番号ｎに合わせてＶｅｃ_Ｉ＝Ｖｅｃ_Ｄ×ｎ／Ｎとする。しかし、以下の数式のように補間ベクトルを他のサブフレームと入れ替えることで、少なくとも１つの隣接サブフレーム画像間の補間動きベクトルの方向が他の隣接サブフレーム画像間の動きベクトルの方向と逆となるように振動を付加する。

Ｖｅｃ_Ｉ＝Ｖｅｃ_Ｄ×ｎ’／Ｎ
（ここで、Ｎはフレームレートの変換倍率、ｎ’は補間フレーム位置）
＜装置の動作＞
図２２は、第５実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０５〜ｆ１０９は第１実施形態と同じであるので説明を省略する。

ステップｆ５０１では、動きベクトル補正部５０１は、Ｃｏｕｎｔ＝０の場合はｆ５０２に進み、そうでない場合はｆ１０８に進む。上述したようにＣｏｕｎｔ＝０〜４の各々は、第ｍサブフレーム画像（ｍ＝１〜５）の各々に対応するため、当該ステップでは、第１サブフレーム画像か否かを判定している。

ステップｆ５０２では、動きベクトル補正部５０１は、補間ベクトルを算出する。なお、上述の４つの手法の何れを用いても良い。

＜効果＞
図２１は、第５実施形態のフレームレート変換処理部１００から出力されるサブフレーム画像におけるジャダー振幅を説明する概念図である。

図２１（ａ）はゲイン積算手法の出力結果を示しており、補間フレームに０．５のゲインがかけられている。これにより、視線に沿った方向（直線）に対して所定のズレて出力されていることが分かる。このズレが破線で示されており、ジャダー振幅となる。α＝０．５の場合、ジャダー振幅は従来の２−３プルダウンよりも小さいため、ジャダーは低減され解像度も向上する。しかし、ジャダーが少量残存することになるため映画らしさも維持されることになる。なお、図２１（ｂ）は周期パターン付加手法の出力結果、図２１（ｃ）はランダム付加手法の出力結果をそれぞれ示している。

また、図２１（ｄ）はベクトル順序置換手法の出力結果を表している。

第１サブフレームを、入力されたフレーム画像の複製フレーム画像、そして、第２〜第５のサブフレーム画像をそれぞれ、ｎ’＝３，２，４，５とした結果を示している。このように、サブフレーム画像を入れ替えることによっても振動を付加することが可能であることが分かる
以上説明したように、第５実施形態にかかる画像処理装置によれば、動き補償フレームでサブフレームを生成する際に、補間位置つまり補間ベクトルにサブフレーム毎にズレを付加することによって、見た目の動きに振動を付加する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。なお、第１実施形態と第５実施形態の組み合わせとして、図２３に示されるようなサブフレーム画像を生成しても良い。

（第６実施形態）
第６実施形態では、入力フレームにおける動きベクトルと高空間周波数成分量とに応じて、サブフレーム画像に付加する振動の大きさを制御する。

図２４は、第６実施形態に係るフレームレート変換処理部のブロック図である。

動きベクトル検出部１０１、補間画像生成部１０２、セレクタ１０３、エッジ検出部２０２は第１及び第２実施形態とほぼ同様であるため説明を省略する。なお、算出された高周波成分量Ｈｉｇｈ［ｉ］は出力制御係数決定部６０２に入力される。

動きベクトル補正部６０１は、出力制御係数決定部６０２から入力された制御係数αに応じて補間ベクトルを補正する。また、出力制御係数決定部６０２は、Ｐａｒａｍからαを算出する際に例えば図２５に示すＬＵＴを用いる。ただし、動きベクトル補正部６０１においてベクトルを補正する係数に直接使用するため０≦α≦１となっている。

図２６は、第６実施形態に係るフレームレート変換処理部の動作フローチャートである。ステップｆ１０１、ｆ１０２、ｆ１０５〜ｆ１０９は第１実施形態と同様であり、ステップｆ２０１〜２０４は第２実施形態と同様であり、ステップｆ５０１，５０２は第５実施形態と同様である。なお、図２６では周期パターン付加手法を用いた例を示しているが、第５実施形態で説明した他の手法も用いてもよい。

図２７は、出力サブフレームにおけるジャダー振幅を説明する概念図である。なお、ここではゲイン積算手法の出力結果を示している。図２７（ａ）は、入力されたフレーム画像における動きベクトルが小さく（例えば１０画素／フレーム（２４Ｈｚ））、α＝０．５とした場合の出力結果である。この場合、ジャダー振幅は約４画素となる。つまり、フレーム画像に含まれるオブジェクト画像の動きが遅い場合は、α＝０．５程度のジャダーは許容範囲であり解像度向上の効果がある。

図２７（ｂ）は、入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））にもかかわらず、図２７（ａ）の場合と同様にα＝０．５とした場合の概念図である。この場合、ジャダー振幅は約１２画素と大きくなり、ユーザによる視聴の障害となりうる。

図２７（ｃ）は、第６実施形態の適用結果である。入力されたフレーム画像における動きベクトルが大きい（例えば３０画素／フレーム（２４Ｈｚ））場合に、αを大きく（α＝０．８）している。α＝０．８の場合には、ジャダー振幅はおよそ５画素となり、ジャダーの振幅が抑制され、その結果、視認解像度も向上する。

以上説明したように、第６実施形態にかかる画像処理装置によれば、動き補償フレームでサブフレームを生成する際に、補間位置つまり補間ベクトルにサブフレーム毎にズレを付加する。その際に入力されたフレーム画像における動きベクトルおよび高周波成分量に応じてズレの大きさを制御する。これにより、ジャダーの低減と動解像度の向上、映画らしさの維持をより好適に両立させることが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (9)

1. 第１のフレーム画像と該第１のフレーム画像に後続する第２のフレーム画像とから動きベクトルを検出する検出手段と、
   前記検出手段によって前記第１のフレーム画像と前記第２のフレーム画像とから検出された前記動きベクトルを用いて、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示させる動き補償フレーム画像を生成する生成手段と、
   前記検出された動きベクトルが所定の動きの速さに対応する場合、該所定の動きの速さより遅い動きの速さに対応する場合に比較し、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される動き補償フレーム画像の数が多くかつ前記第１のフレーム画像を複製した複製フレーム画像の数が少なくなるように、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される前記動き補償フレーム画像と前記複製フレーム画像との数を前記動きベクトルに基づいて決定する決定手段と、
   前記決定手段による決定に応じたフレーム画像を出力する出力手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１のフレーム画像における高周波画像成分の量を検出する高周波成分検出手段を更に備え、
   前記決定手段は、前記第１のフレーム画像の高周波画像成分の量が第２の閾値以上でありかつ前記検出された動きベクトルが所定の動きの速さに対応する場合、前記第１のフレーム画像の高周波画像成分の量が前記第２の閾値未満でありかつ前記検出された動きベクトルが前記所定の動きの速さに対応する場合に比較し、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される動き補償フレーム画像の数が多くかつ前記第１のフレーム画像を複製した複製フレーム画像の数が少なくなるように、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される前記動き補償フレーム画像と前記複製フレーム画像との数を前記高周波画像成分の量と前記動きベクトルとに基づいて決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記出力手段により出力されるフレーム画像を表示する表示装置周辺における環境光の情報を取得する取得手段を更に備え、
   前記決定手段は、前記取得手段により取得された環境光の明るさが第１の明るさでありかつ前記検出された動きベクトルが所定の動きの速さに対応する場合、前記環境光の明るさが前記第１の明るさより暗い第２の明るさでありかつ前記検出された動きベクトルが前記所定の動きの速さに対応する場合に比較し、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される動き補償フレーム画像の数が多くかつ前記第１のフレーム画像を複製した複製フレーム画像の数が少なくなるように、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される前記動き補償フレーム画像と前記複製フレーム画像との数を前記環境光の明るさと前記動きベクトルとに基づいて決定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記生成手段は、
   前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される第１及び第２の動き補償フレーム画像のうちの、前記第１の動き補償フレーム画像を生成するための第１の部分動きベクトルを前記検出された動きベクトルと前記第１の動き補償フレーム画像の出力タイミングとに基づいて生成し、前記第２の動き補償フレーム画像を生成するための第２の部分動きベクトルを前記検出された動きベクトルと前記第２の動き補償フレーム画像の出力タイミングとに基づいて生成し、
   前記第１及び第２の部分動きベクトルのそれぞれにゲインを付加し、当該ゲインが付加された前記第１及び第２の部分動きベクトルと前記第１のフレーム画像とに基づいて、前記第１及び第２の動き補償フレーム画像を生成する
   ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
5. 前記生成手段は、
   前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される第１の動き補償フレーム画像を、前記検出された動きベクトルと前記第１の動き補償フレーム画像の出力タイミングとに基づいて生成し、
   前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される第２の動き補償フレーム画像を、前記検出された動きベクトルと前記第２の動き補償フレーム画像の出力タイミングとに基づいて生成し、
   前記生成された前記第１及び第２の動き補償フレーム画像の出力順序を入れ替える
   ことを特徴とする請求項１乃至３の何れか一項に記載の画像処理装置。
6. 画像処理装置の制御方法であって、
   第１のフレーム画像と該第１のフレーム画像に後続する第２のフレーム画像とから動きベクトルを検出する検出工程と、
   前記検出工程によって前記第１のフレーム画像と前記第２のフレーム画像とから検出された前記動きベクトルを用いて、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示させる動き補償フレーム画像を生成する生成工程と、
   前記検出された動きベクトルが所定の動きの速さに対応する場合、該所定の動きの速さより遅い動きの速さに対応する場合に比較し、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される動き補償フレーム画像の数が多くかつ前記第１のフレーム画像を複製した複製フレーム画像の数が少なくなるように、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される前記動き補償フレーム画像と前記複製フレーム画像との数を前記動きベクトルに基づいて決定する決定工程と、
   前記決定工程による決定に応じたフレーム画像を出力する出力工程と、
   を含むことを特徴とする画像処理装置の制御方法。
7. 前記第１のフレーム画像における高周波画像成分の量を検出する高周波成分検出工程を更に含み、
   前記決定工程では、前記第１のフレーム画像の高周波画像成分の量が第２の閾値以上でありかつ前記検出された動きベクトルが所定の動きの速さに対応する場合、前記第１のフレーム画像の高周波画像成分の量が前記第２の閾値未満でありかつ前記検出された動きベクトルが前記所定の動きの速さに対応する場合に比較し、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される動き補償フレーム画像の数が多くかつ前記第１のフレーム画像を複製した複製フレーム画像の数が少なくなるように、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される前記動き補償フレーム画像と前記複製フレーム画像との数を前記高周波画像成分の量と前記動きベクトルとに基づいて決定する
   ことを特徴とする請求項６に記載の画像処理装置の制御方法。
8. 前記出力工程により出力されるフレーム画像を表示する表示装置周辺における環境光の情報を取得する取得工程を更に含み、
   前記決定工程では、前記取得工程により取得された環境光の明るさが第１の明るさでありかつ前記検出された動きベクトルが所定の動きの速さに対応する場合、前記環境光の明るさが前記第１の明るさより暗い第２の明るさでありかつ前記検出された動きベクトルが前記所定の動きの速さに対応する場合に比較し、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される動き補償フレーム画像の数が多くかつ前記第１のフレーム画像を複製した複製フレーム画像の数が少なくなるように、前記第１のフレーム画像と前記第２のフレーム画像との間のタイミングで表示される前記動き補償フレーム画像と前記複製フレーム画像との数を前記環境光の明るさと前記動きベクトルとに基づいて決定する
   ことを特徴とする請求項６に記載の画像処理装置の制御方法。
9. コンピュータを、請求項１乃至５の何れか一項に記載の画像処理装置の各手段として機能させるためのプログラム。