JP4513873B2 - 映像処理装置、及び映像処理方法 - Google Patents

Description

本発明は、映像処理装置、及び映像処理方法に関する。

近年、映像処理技術、及び情報通信技術の急速な発展に伴い、高品質な映像のデジタル放送サービスが普及してきている。このような高画質映像のデジタル放送データは、そのデータ量が膨大であるため、それを経済的に配信するために種々の工夫が凝らされている。その中でも、高画質な映像データを高画質なままにデータ容量を圧縮する符号化技術として、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）やＶＣＥＧ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）により規格化された圧縮符号化技術がよく知られている。

こうした圧縮符号化技術の中で「動き補償」と呼ばれる映像処理技術が利用される。この動き補償の処理には、複数の時系列画像信号の間で同一又は最も近似する画素又は画素群（以下、ブロック）を抽出する工程と、そのブロックが移動した方向、及び移動量を示す動きベクトルを検出する工程（以下、動き検出）と、その時系列画像信号間で差分符号化する際に動きベクトルに基づいてブロック位置の画素値を補償する工程とが含まれる。この技術を適用すると、例えば、時系列画像信号に含まれる移動体が時間の経過につれて移動する映像において、同一又は近似した画素値を有するブロックがほぼ変化せず、単純に移動するようなシーンでは、画質を劣化させずにデータ容量が大きく低減される。

上記技術の応用例として、例えば、下記の特許文献１には、入力された時系列画像信号に含まれる動きベクトルを利用し、連続する時系列画像信号の間に補間画像信号を生成して時間解像度を高める技術が記載されている。また、同文献１には、この技術を液晶表示装置の表示品質改善に利用する例が記載されている。例えば、テレビ映像等の放送映像に当該技術を適用することで、液晶表示装置に表示される放送映像を高品質化（応答速度の改善）する具体的な技術が記載されている。

特開２００１−４２８３１号公報

さて、テレビジョン受像機や録画再生装置等の映像機器には、複数種類の映像が混在した時系列画像信号のストリームが入力される場合がある。映像の種類としては、例えば、テレビカメラで撮影された映像（以下、「カメラ映像」）や映画フィルムの映像（以下、「フィルム映像」）、或いは、コンピュータグラフィックスによる映像（以下、「ＣＧ映像」）等がある。もちろん、他の種別の映像が混在して入力されることもある。

これらの映像は、それぞれ時間解像度が異なっている。例えば、カメラ映像の時間解像度は、６０（又は５０）フィールド／秒である。一方、フィルム映像の時間解像度は、２４フレーム／秒であり、プルダウン処理によって６０フィールド／秒等に変換されてから入力される。また、ＣＧ映像は、３０（２５）フレーム／秒等である。尚、これらの数値は一例であり、これに限定されない。

例えば、放送機器等には、上記のようなカメラ映像やフィルム映像が混在した時系列信号のストリームが入力されることがある。その場合、カメラ映像とフィルム映像とで補間処理の方法を切り替える必要がある。もちろん、他の種別の映像が混在して入力された場合には、その映像種別に応じて補間処理の方法を切り替える必要がある。

例えば、フィルム映像の場合、プルダウン処理されたストリームのままでは連続する時系列画像信号の間に補間画像信号を挿入しても実質的な時間解像度が向上しない部分が発生する。例えば、連続して同じ時系列画像信号が入力される部分では、補間画像信号も時系列画像信号（原画像）と同じになり、補間画像信号を挿入することによる補間効果が得られないのである。

そのため、フィルム映像は、プルダウンを解除した状態（２４フレーム／秒）で補間処理が施す必要がある。但し、プルダウンが解除されたフィルム映像は、カメラ映像と時間解像度が異なるため、補間画像信号を挿入する枚数や挿入時刻が異なってしまう。

通常、補間画像信号は、連続する時系列画像信号の間に均等に生成される。そのため、同じ時間解像度に変換するための補間処理に際し、フィルム映像に対する補間画像信号の枚数は、カメラ映像に対する補間画像信号の枚数よりも多くなる。その結果、カメラ映像からフィルム映像に切り替わる際に、カメラ映像の補間方法でフィルム映像の補間処理を施すと、フィルム映像に生成される補間画像信号の枚数が本来よりも少なくなり、映像の滑らかさが低減してしまうのである。

従って、カメラ映像とフィルム映像とが混在した時系列画像信号に補間処理を施す場合、映像の種類に応じて補間処理の方法を切り替える必要が生じるのである。但し、カメラ映像、フィルム映像、ＣＧ映像等の映像の種類を判別するのには、ある程度の処理時間を要する。そのため、その判別処理を含む切り替え処理の間、補間処理自体が停止されるか、異なる補間方法で補間処理が継続される。この切り替え処理に際し、映像品質の劣化（以下、ジャダー）が発生してしまう。こうしたジャダーのある映像から滑らかな映像への急激な変化は視聴者に違和感を与えてしまうのである。

また、上記のジャダーは、連続する時系列画像信号の間で移動体の動き量が大きい映像に対して補間処理を施す場合にも発生し易い。例えば、移動体の動きが大きく激しい場合に動き予測の精度が低下してしまい、前後の時系列画像信号との繋がりが不自然な補間画像信号が生成されてしまう場合がある。このような場合には、補間処理が余計な映像品質の劣化を招く結果となる。こうした映像品質の劣化を防止するため、動き量が大きい時系列画像間では補間処理をせず、その部分だけ元の時間解像度で映像を出力する等の対策が講じられる。しかしながら、映像の種類が切り替わる場合と同様に、補間処理の停止又は再開の際に、その映像品質の変化が視聴者に違和感として知覚されてしまう。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像補間処理の有無又は方法が切り替わる際に、その切り替え過程における補間度合いを滑らかに変化させることで、切り替え時に視聴者が感じる違和感を低減させることが可能な、新規かつ改良された映像処理装置、及び映像処理方法を提供することにある。

（１）上記課題を解決するために、本発明のある観点によれば、連続的に入力される時系列画像信号の間に動きベクトルに基づく補間画像信号を生成して時間解像度を高める映像処理装置が提供される。当該映像処理装置は、前記時系列画像信号間における所定の特徴変化を検出する特徴変化検出部と、前記補間画像信号の生成時刻を設定する生成時刻設定部と、前記生成時刻設定部により設定された生成時刻の補間画像信号を生成する補間画像信号生成部とを備える。そして、前記生成時刻設定部は、前記特徴変化検出部により特徴変化が検出された時系列画像信号の後に前記生成時刻を設定する際に、当該生成時刻の前後に位置する時系列画像信号のいずれか近い方に前記生成時刻を近づけて設定することを特徴とする。

このように、上記の映像処理装置は、連続的に入力される時系列画像信号の間に動きベクトルに基づく補間画像信号を生成して時間解像度を高める技術に関するものである。特に、この映像処理装置は、特徴変化検出部を備えており、前記時系列画像信号間における所定の特徴変化を検出する機能を有する。この機能により、例えば、連続的に入力される時系列画像信号の間で急激な速度変化や映像シーンの変化、或いは、時系列画像信号の時間解像度の変化等の時系列画像信号の種類の変化が検出される。

また、上記の映像処理装置は、生成時刻設定部を備えており、前記補間画像信号の生成時刻を設定する機能を有する。この機能により、連続的に入力される時系列画像信号の間に生成される補間画像信号の生成時刻を自由に設定することができる。例えば、補間画像信号が生成される生成時刻の前後に位置する２つの時系列画像信号の間の任意時刻に生成時刻が設定され得る。もちろん、これらの２つの時系列画像信号の間に均一に補間画像信号が生成されるように各補間画像信号の生成時刻が設定される場合もある。但し、時系列画像信号に特徴変化が検出された場合に、全ての補間画像信号の生成時刻が均一に設定されるわけではない点に注意が必要である。

さらに、上記の映像処理装置は、補間画像生成部を備えており、前記生成時刻設定部により設定された生成時刻に対応する前記補間画像信号を生成する機能を有する。この機能により、生成時刻設定部によって任意に設定された生成時刻に対応する補間画像信号が生成される。例えば、生成時刻の前後に位置する２つの時系列画像信号間の動きベクトルに基づき、これらの２つの時系列画像信号から、その生成時刻の映像に相当する画像信号（補間画像信号）が生成される。もちろん、生成時刻の直前／直後に位置する時系列画像信号のみを参照画像信号とせず、他の時系列画像信号に関する動きベクトルや時系列画像信号を参照して補間画像信号が生成されてもよい。

そして、上記の映像処理装置は、前記生成時刻設定部の機能を利用して、前記特徴変化検出部により特徴変化が検出された時系列画像信号の後に前記生成時刻を設定する際、当該生成時刻の前後に位置する時系列画像信号のいずれか近い方に前記生成時刻を近づけて設定するのである。このように、生成時刻をその前又は後の時系列画像信号に近づけて設定することで、連続する時系列信号間に均一に補間画像信号が挿入された滑らかな高解像度映像と、補間画像信号が挿入されていない低解像度映像との境目を滑らかに繋ぐことができる。その結果、高解像度映像と低解像度映像との間の切り替わりが視聴者に知覚されにくくなり、特徴の異なる複数種類の時系列画像信号が混在して入力されたとしても、その切り替わり点で生じる映像の不自然さが認識されにくくなる。

（２）尚、前記生成時刻設定部は、前記特徴変化検出部により特徴変化が検出された時系列画像信号と、前記生成時刻の前に位置する時系列画像信号との間の時刻差が大きくなるに連れて前記生成時刻の近づけ度合いが小さくなるように当該生成時刻を設定するものであってもよい。このように、特徴変化が発生した時点と生成時刻（その基準点として、例えば、直前の時系列画像信号の時刻が参照される。）との間の時刻差（経過時間）が大きくなるに連れて近づけ度合いが小さくなることで、上記のような低解像度画像と高解像度画像との間の境目をより滑らかに繋ぐことができるようになる。

補間画像信号が未生成の低解像度画像は、生成時刻が時系列画像信号に一致した場合に相当する。一方、高解像度画像は時系列画像信号間に均一に補間画像信号が生成された場合に相当する。つまり、ここで言う低解像度画像と高解像度画像との間の違いは、補間画像信号と時系列画像信号との間の時間的な近づき度合いであると言い換えることができる。そのため、補間画像信号と時系列画像信号との間を経過時間に応じて徐々に近づけることで、上記のような時間解像度の変化を滑らかに実現することができるのである。

（３）尚、前記特徴変化検出部は、前記所定の特徴変化として、前記時系列画像信号間における時間解像度の違いを検出するものであってもよい。（４）また、前記特徴変化検出部は、前記所定の特徴変化として、前記時系列画像信号間の動き量が所定値を超えるか否かを検出するものであってもよい。（６）さらに、前記特徴変化検出部は、前記所定の特徴変化として、前記時系列画像信号間における映像シーンの切り替わりを検出するものであってもよい。

このように、時系列画像信号の特徴に応じて種々の特徴変化が想定されるが、上記の映像処理装置に係る技術は、いずれの特徴変化に対しても好適に適用され得る。上記のような特徴変化は、その変化点の近辺でジャダーがより発生し易い典型的な例である。そのため、上記の映像処理装置に係る技術は、これらの特徴変化に対して、より好適に適用され、より顕著な効果が期待されるのである。

（５）尚、前記生成時刻設定部は、前記時系列画像信号間の動き量が大きくなるに連れて前記生成時刻の近づけ度合いが大きくなるように当該生成位置を設定するものであってもよい。上記の特徴変化の中で、時系列画像信号間の動き量を検出する場合、その動き量が大きいほど、映像の乱れが発生し易い。これは、時系列画像信号に含まれる移動体の移動速度が激しい場合に動き検出の精度が低下する等の理由によって、正しくない補間画像信号が生成されてしまうためである。

仮に、正しくない動きベクトルが含まれる動き情報に基づいて補間画像信号が生成される場合、その動きベクトルの基点に対応する時系列画像信号からの距離が大きければ大きいほど、動きベクトルの誤差の影響が目立ってしまう。そこで、動き量が大きい場合に、時系列画像信号に近づけて補間画像信号を生成することで、そうした誤差による影響が抑制されるのである。上記の生成時刻設定部の構成を採用すると、当然に、こうした誤差の影響が抑制されるため、動き量が大きい部分でも映像の乱れが目立ち難くなる。例えば、動き量が大きい部分で補間処理を停止する方法も考えられるが、時間解像度の急激な変化が発生するため、繋がりが不自然な映像になってしまう。上記の生成時刻設定部の構成は、こうした問題点にも配慮されているのである。

（７）また、上記課題を解決するために、本発明の別の観点によれば、連続的に入力される時系列画像信号の間に動きベクトルに基づく補間画像信号を生成して時間解像度を高めるための映像処理方法が提供される。当該画像処理方法は、前記時系列画像信号間における所定の特徴変化が検出される特徴変化検出ステップと、前記補間画像信号の生成時刻が設定される生成時刻設定ステップと、前記生成時刻設定ステップにおいて設定された生成時刻の補間画像信号が生成される補間画像信号生成ステップとを含む。そして、前記生成時刻設定ステップでは、前記特徴変化検出ステップにおいて特徴変化が検出された時系列画像信号の後に前記生成時刻が設定される際に、当該生成時刻の前後に位置する時系列画像信号のいずれか近い方に前記生成時刻が近づけられて設定されることを特徴とする。

上記の画像処理方法では、特徴変化検出ステップにおいて前記時系列画像信号間における所定の特徴変化が検出される。次いで、生成時刻設定ステップにおいて前記補間画像信号の生成時刻が設定される。このとき、前記生成時刻設定ステップでは、前記特徴変化検出ステップにおいて特徴変化が検出された時系列画像信号の後に前記生成時刻が設定される際に、当該生成時刻の前後に位置する時系列画像信号のいずれか近い方に前記生成時刻が近づけられて設定される。次いで、補間画像信号生成ステップにおいて、前記生成時刻設定ステップで設定された生成時刻に対応する前記補間画像信号が生成される。

このように、上記の画像処理方法では、前記特徴変化検出ステップにおいて特徴変化が検出された時系列画像信号の後に前記生成時刻が設定される際、当該生成時刻の前後に位置する時系列画像信号のいずれか近い方に前記生成時刻が近づけられて設定されるのである。そのため、連続する時系列信号間に均一に補間画像信号が挿入された滑らかな高解像度映像と、補間画像信号が挿入されていない低解像度映像との境目を滑らかに繋ぐことが可能になる。結果として、高解像度映像と低解像度映像との間の切り替わりが視聴者に知覚されにくくなり、特徴の異なる複数種類の時系列画像信号が混在して入力されたとしても、その切り替わり点で生じる映像の不自然さが認識されにくくなる。

以上説明したように本発明によれば、映像補間処理の有無又は方法が切り替わる際に、その切り替え過程における補間度合いを滑らかに変化させることで、切り替え時に視聴者が感じる違和感を低減させることが可能になる。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜実施形態＞
まず、本発明の好適な実施形態について詳細に説明するに先立ち、当該実施形態に係る技術を適用可能な表示装置（後述する表示装置１００、２００）のハードウェア構成例について、図１を参照しながら、簡単に説明する。図１は、本発明の一実施形態に係る表示装置（後述する表示装置１００、２００）のハードウェア構成例を示す説明図である。

図１に示すように、表示装置１００、２００は、例えば、地上波放送用アンテナ１０と、地上波チューナ１２と、衛星放送用アンテナ１４と、衛星チューナ１６と、入力端子１８と、入力切替部２０と、映像信号処理部２２と、表示パネル２４と、音声信号処理部２６と、音声出力部２８とにより構成される。尚、映像信号処理部２２は、上記の映像処理装置の一例である。

地上波放送用アンテナ１０は、放送局から配信される地上波放送番組を受信するためのアンテナである。地上波放送用アンテナ１０により受信された放送信号は、地上波チューナ１２に入力される。地上波チューナ１２は、地上波放送用アンテナ１０により受信された放送信号を復調して時系列画像信号及び音声信号を再生する。地上波チューナ１２により再生された時系列画像信号及び音声信号は、入力切替部２０に入力される。

衛星放送用アンテナ１４は、放送衛星を介して放送局から配信される衛星放送番組を受信するためのアンテナである。衛星放送用アンテナ１４により受信された放送信号は、衛星チューナ１６に入力される。衛星チューナ１６は、衛星放送用アンテナ１４により受信された放送信号を復調して時系列画像信号及び音声信号を再生する。衛星チューナ１６により再生された時系列画像信号及び音声信号は、入力切替部２０に入力される。

入力端子１８は、外部に設置された映像再生機器、又は音声再生機器等を接続する端子である。映像再生機器としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）レコーダ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）レコーダ、Ｂｌｕ−ｒａｙ（登録商標）レコーダ、カムコーダ等の録画再生装置や、ＤＶＤプレーヤ、Ｂｌｕ−ｒａｙ（登録商標）プレーヤ等の映像再生装置などが対象に含まれる。

音声入力機器としては、例えば、ＣＤプレーヤ、携帯音楽プレーヤ等の音声再生装置が対象に含まれる。もちろん、パーソナルコンピュータや携帯情報端末等の情報処理機器が接続されてもよいし、或いは、半導体メモリや磁気記録媒体等の記録媒体が接続されてもよい。このように、入力端子１８に各種の機器が接続されることで、地上波放送や衛星放送の他にも、メディア等で提供される映像データや音声データを利用できる。

入力切替部２０は、地上波チューナ１２、衛星チューナ１６、又は、入力端子１８に接続された機器から入力される時系列画像信号や音声信号を映像信号処理部２２又は音声信号処理部２６に入力する。このとき、入力切替部２０は、利用者による入力操作、又は所定の自動処理により、地上波チューナ１２、衛星チューナ１６、又は入力端子１８からの信号入力を切り替えることができる。つまり、入力切替部２０は、映像信号処理部２２、及び音声信号処理部２６に入力する信号の取得先を選択的に切り替えることができる。

そのため、映像信号処理部２２には、異なる種類の時系列画像信号が連続的に入力されることがある。例えば、地上波放送の時系列画像信号に続いて衛星放送の時系列画像信号が入力されたり、地上波放送に続いてＤＶＤ映画の時系列画像信号が入力されたりする。同様に、音声信号処理部２６に対しても、複数の入力手段からの音声信号が連続して入力されることがある。さらに、同じ地上波番組の時系列画像信号であっても、フィルム映像のものとカメラ映像のものとが混在して入力される場合もある。

映像信号処理部２２は、このように連続して入力される時系列画像信号に所定の信号処理を施して表示パネル２４に表示させる。所定の信号処理として、例えば、映像信号処理部２２は、入力された複数の時系列画像信号から補間画像信号を生成して時間解像度を変換することができる。この変換処理を施すことで、表示パネル２４に表示される映像は、入力切替部２０から入力された変換前の時系列画像信号ストリームよりも高い時間解像度を有する滑らかな映像となる。このような映像信号処理部２２の機能は、後述する映像処理ブロックＢ１１、Ｂ２１、及び演算処理ブロックＢ１２、Ｂ２２の機能に相当する。

表示パネル２４は、映像信号処理部２２により入力された映像信号を表示する表示手段である。表示パネル２４としては、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌ）、ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のパネルが対象に含まれる。

音声信号処理部２６は、入力切替部２０から入力された音声信号に所定の信号処理を施して音声出力部２８に入力する。所定の信号処理としては、例えば、種々の音声符号化方式で圧縮符号化された音声信号を音声出力部２８で再生可能な音声信号に変換する処理が対象に含まれる。このように変換処理された音声信号が入力されると、音声出力部２８により音声が出力される。音声出力部２８としては、例えば、スピーカやヘッドホン等のオーディオ装置が対象に含まれる。

以上、後述する表示装置１００、２００の主な装置構成の一例について簡単に説明した。以下で説明する実施形態に係る技術は、上記構成の中でも、主に映像信号処理部２２の機能に関するものである。

《第１実施形態》
まず、本発明の第１実施形態について説明する。本実施形態は、連続的に入力される時系列画像信号の間に動きベクトルに基づく補間画像信号を生成して時間解像度を高める映像処理方法に関するものである。特に、本実施形態は、時系列画像信号の特徴変化が検出された際に、補間画像信号の生成時刻を時系列画像信号間で等間隔に設定せず、補間処理の切り替わりを視聴者に検知されにくくする技術に関する。

［表示装置１００の機能構成］
まず、図２を参照しながら、本実施形態に係る表示装置１００の機能構成について説明する。図２は、本実施形態に係る表示装置１００の機能構成を示す説明図である。

図２に示すように、表示装置１００は、主に、映像処理ブロックＢ１１と、演算処理ブロックＢ１２と、表示パネル２４とにより構成されている。この中で、映像処理ブロックＢ１１、及び演算処理ブロックＢ１２は、上記の映像信号処理部２２に相当する。

映像処理ブロックＢ１１は、連続的に入力される時系列画像信号の間の動きベクトルに基づいて当該時系列画像信号のストリームに補間処理を施す処理ブロックである。一方、演算処理ブロックＢ１２は、映像処理ブロックＢ１１で実行される補間処理の方法や補間すべき時刻を決定するための処理ブロックである。

説明の都合上、映像処理ブロックＢ１１と演算処理ブロックＢ１２とを区別しているが、実施の態様に応じて一つの処理手段により構成されていてもよい。また、各処理ブロックにおける処理は、ハードウェア処理であってもよいし、ソフトウェア処理であってもよい。もちろん、これらの組み合わせで実現されてもよい。

また、映像処理ブロックＢ１１が有する機能は、後述するハードウェア構成のうち、例えば、データ信号処理部６４、映像信号処理部６６、ＯＳＤ回路６８、合成回路７０、マイコン７２等により実現される。また、演算処理ブロックＢ１２の機能は、主に、マイコン７２等により実現される。尚、これらの処理ブロックが有する機能の一部又は全部は、マイコン７２を構成するＲＯＭ７２４等に記録されたプログラムに基づいてＣＰＵ７２２により実現されてもよい。

（映像処理ブロックＢ１１について）
まず、映像処理ブロックＢ１１の機能構成について説明する。図２に示すように、映像処理ブロックＢ１１は、主に、映像種別判別部１０２と、デインターレース／プルダウン解除部１１２と、速度検出部１１４と、補間処理部１１６とにより構成される。映像種別判別部１０２は、特徴変化検出部の一例である。また、補間処理部１１６は、補間画像信号生成部の一例である。

（映像種別判別部１０２）
映像種別判別部１０２は、連続して入力される時系列画像信号の信号種別（映像の種類）を判別する。そして、映像種別判別部１０２により判別された映像種別の情報（以下、判別結果）は、デインターレース／プルダウン解除部１１２、補間処理部１１６、及び演算処理ブロックＢ１２の信頼性判断部１０４に入力される。

映像種別判別部１０２は、例えば、入力された時系列画像信号がカメラ映像であるか、フィルム映像であるか、或いは、ＣＧ映像であるかを判別する。この判別処理に際し、映像種別判別部１０２は、入力される複数の時系列画像信号を参照し、それらの時系列画像信号間で検出される特徴又は規則性を抽出することで映像種別を判別する。そのため、この判別処理には、複数の時系列画像信号が用いられる。もちろん、本実施形態はこれに限定されず、単一の時系列画像信号に基づいて映像種別が判別されてもよい。

ここで、一例として、フィルム映像の判別方法について具体的に説明する。フィルム映像は、元々２４フレーム／秒の映像を６０フィールド／秒にプルダウン処理した状態で入力される。例えば、入力されるフィルム映像は、元のフレームのうち、奇数番目のフレームが２フィールドに変換され、偶数番目のフレームが３フィールドに変換されたものになっている（３−２フィルム映像）。

このように、２フレームが５フィールドに変換されることで、２４フレーム／秒が６０フィールド／秒に変換されているのである。こうした規則性に基づき、映像種別判別部１０２は、同じ特徴の時系列画像信号が２フィールド、３フィールド、２フィールド、３フィールド、…と規則的に続けて入力された場合に、その時系列画像信号の映像種別がフィルム映像であると判別している。

尚、映像種別判別部１０２は、ＣＧ映像等の他の映像種別に対しても、その時系列画像信号の特徴変化又は規則性を検出して映像種別を判別することができる。もちろん、ここで示した判別方法は一例に過ぎず、本実施形態は上記の例に限定されず、他の判別方法を利用して映像種別が判別されてもよい。

（デインターレース／プルダウン解除部１１２）
デインターレース／プルダウン解除部１１２は、映像種別判別部１０２から入力される判別結果に応じて、連続して入力される時系列画像信号にデインターレース処理、及び／又はプルダウン処理を施してノンインターレース映像信号を生成する。

例えば、上記のフィルム映像のように、同じフレームから変換された複数のフィールドが連続して入力される場合、そのフィールド間に生成される補間画像信号が参照フィールドと同じ画像になるために時間解像度が向上しない。そのため、プルダウン処理を解除して元々の映像に戻す必要が生じるのである。そこで、デインターレース／プルダウン解除部１１２は、映像種別判別部１０２による判別結果がフィルム映像である場合に、入力された時系列画像信号のストリームに対してプルダウン解除の処理を施す。

また、デインターレース／プルダウン解除部１１２は、映像種別判別部１０２の判別結果がカメラ映像である場合に、入力されるインターレース映像信号のストリームにデインターレース処理を施してノンインターレース映像信号を生成する。デインターレース／プルダウン解除部１１２により生成されたノンインターレース映像信号は、速度検出部１１４、及び補間処理部１１６に入力される。

但し、ノンインターレース映像信号に変換せず、インターレース映像信号のまま、後段の速度検出部１１４、及び補間処理部１１６の処理が施されてもよいため、実施の態様に応じて、デインターレース／プルダウン解除部１１２の機能構成が変更され得る。もちろん、こうした変形に対しても、本実施形態に係る技術を適用することが可能である。但し、以下の説明では、ノンインターレース映像信号に変換した場合を想定する。

（速度検出部１１４）
速度検出部１１４は、デインターレース／プルダウン解除部１１２によりノンインターレース映像信号に変換された時系列画像信号に基づき、当該時系列画像信号の間の動きベクトルを検出する。速度検出部１１４は、動きベクトルの検出に際し、例えば、ブロックマッチング法、位相相関法、又はオプティカルフロー法等の種々の動き検出方法を利用することができる。速度検出部１１４により検出された動きベクトルの情報（動き情報）は補間処理部１１６に入力される。

（補間処理部１１６）
補間処理部１１６は、まず、速度検出部１１４により検出された動き情報に基づき、ノンインターレース映像信号に変換された後の時系列画像信号間を補間する補間画像信号を生成する。さらに、補間処理部１１６は、生成した補間画像信号を該当する時系列画像信号間に挿入して高時間解像度の映像信号を生成する。補間処理部１１６により生成された映像信号は表示パネル２４に入力される。

但し、補間画像信号の生成時刻は、演算処理ブロックＢ１２の相対時刻設定部１１０により設定されるか、或いは、映像種別判別部１０２から入力された判別結果に基づいて決定される。この相対時刻とは、デインターレース／プルダウン解除部１１２から入力される時系列画像信号（原画像）の時刻を基準にして相対的に表現された時刻である。一方、判別結果に基づいて決定される生成時刻は、例えば、その映像種別に応じて決定される枚数の補間画像が原画像間に等間隔に配置される時刻に設定される。これらの設定方法に関しては後段において詳述する。

尚、相対時刻を取得する際に、補間処理部１１６は、補間画像信号の生成時刻の前後に位置する時系列画像信号の時刻（以下、信号時刻）を相対時刻設定部１１０に入力し、それに対応する相対時刻を取得するように構成されていてもよい。逆に、相対時刻設定部１１０に対して信号時刻を入力せず、各信号時刻に対応付けられた相対時刻を相対時刻設定部１１０から取得するように構成されていてもよい。こうした取得処理は、相対時刻の算出／設定等に掛かる遅延を考慮したものであり、その相対時刻と時系列画像信号との間の対応関係を補間処理部１１６が認識できるようにするように構成されている。もちろん、取得処理の方法についても、これらの例に限定されるものではない。

（具体例）
ここで、図３及び図４を参照しながら、補間画像信号の生成処理方法について、例を挙げて具体的に説明する。図３は、カメラ映像の時系列画像信号ストリームが入力された場合の補間画像信号の生成処理方法を示す説明図である。図４は、フィルム映像の時系列画像信号ストリームが入力された場合の補間画像信号の生成処理方法を示す説明図である。

ここでは、補間処理部１１６により、例えば、連続する２枚の時系列画像信号（原画像ＯＰ_１、原画像ＯＰ_２）の間に１枚以上の補間画像信号が生成される場合を想定する。また、この例では、補間処理部１１６によって１２０フレーム／秒の時間解像度に変換される変換処理を想定している。

既に述べた通り、生成される補間画像信号の枚数は、カメラ映像とフィルム映像との間で異なる。時間解像度が６０フィールド／秒のカメラ映像が入力される場合（図３）、補間処理部１１６により生成される補間画像信号の枚数は１枚（補間画像ＣＦ_Ｃ１）である。一方、時間解像度が２４フレーム／秒のフィルム映像が入力される場合（図４）、補間処理部１１６によって４枚の補間画像信号（補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４）が生成される。尚、補間処理部１１６は、原画像ＯＰ_１と原画像ＯＰ_２との間の任意の時刻に補間画像信号を生成することができる。但し、最も滑らかな映像にする補間方法は、原画像ＯＰ_１、ＯＰ_２の間に補間画像信号を等間隔で均一に配置することである。

図３の例では、原画像ＯＰ_１の時刻を基準（０秒）にする相対時刻Ｔ_ｃ１に、補間画像ＣＦ_Ｃ１が配置されている。上記の通り、最も滑らかな映像にする補間方法を採用する場合、この相対時刻Ｔ_ｃ１は、１／１２０秒となる。この場合、補間処理部１１６は、まず、原画像ＯＰ_１と原画像ＯＰ_２との間の動き情報（動きベクトルＭＶ）に基づき、原画像ＯＰ_１と補間画像ＣＦ_Ｃ１との間の動き情報を算出する。

原画像ＯＰ_１と補間画像ＣＦ_Ｃ１との間の動き情報（ＭＶ／２）は、補間画像ＣＦ_Ｃ１が配置される相対時刻Ｔ_ｃ１に基づいて決定される。Ｔ_ｃ１＝１／１２０［秒］の場合、補間処理部１１６は、原画像ＯＰ_１、ＯＰ_２に含まれる移動体（ブロック）の動きベクトルＭＶを半分にした動きベクトルＭＶ／２を算出し、この動きベクトルＭＶ／２を用いて補間画像ＣＦ_Ｃ１における移動体の位置を決定する。

尚、他の原画像ＯＰ_３等を参照画像として利用し、この原画像ＯＰ_３等に対応する動き情報に基づいて補間画像ＣＦ_Ｃ１が生成されてもよい。また、複数の参照画像に基づいて補間画像ＣＦ_Ｃ１が生成されてもよい。

さて、図４の例では、原画像ＯＰ_１の時刻を基準（０秒）にする相対時刻Ｔ_ｆ１、Ｔ_ｆ２、Ｔ_ｆ３、Ｔ_ｆ４に、それぞれ補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４が配置されている。最も滑らかな映像にする補間方法の場合、この相対時刻（Ｔ_ｆ１、Ｔ_ｆ２、Ｔ_ｆ３、Ｔ_ｆ４）は、（１／１２０、２／１２０、３／１２０、４／１２０）［秒］となる。

まず、補間処理部１１６は、原画像ＯＰ_１と原画像ＯＰ_２との間の動き情報（動きベクトルＭＶ）に基づいて原画像ＯＰ_１と補間画像ＣＦ_Ｆ１との間の動き情報を算出する。同様に、補間処理部１１６は、原画像ＯＰ_１と補間画像ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４との間の動き情報をそれぞれ算出する。その算出方法は、図３の場合と同様である。そして、補間処理部１１６は、算出した動き情報に基づいて補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４を生成する。

但し、補間処理部１１６は、等間隔に配置された相対時刻Ｔ_ｆ１、Ｔ_ｆ２、Ｔ_ｆ３、Ｔ_ｆ４よりも原画像ＯＰ_１又は原画像ＯＰ_２に近い相対時刻に補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４を生成することもできる。例えば、補間処理部１１６は、相対時刻（Ｔ_ｆ１＋ΔＴ_ｆ１）（ΔＴ_ｆ１＜０）の補間画像ＣＦ_Ｆ１を生成することができる。

この場合、補間処理部１１６は、原画像ＯＰ_１と原画像ＯＰ_２との間の動きベクトルＭＶを（Ｔ_ｆ１＋ΔＴ_ｆ１）［秒］／（１／２４）［秒］倍した動きベクトルに基づいて補間画像ＣＦ_Ｆ１を生成する。補間画像ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４についても同様である。尚、等間隔に配置された相対時刻Ｔ_ｆｋ（ｋ＝１〜４）からのシフト量ΔＴ_ｆｋ（ｋ＝１〜４）については後述する。

さて、上記の例では、入力された時系列画像信号（原画像ＯＰ_１）を相対時刻の基準にしたが、必ずしも時系列画像信号（原画像ＯＰ_１）の時刻を基準としなくてもよい。例えば、映像種別毎の補間方法が特定されていれば、等間隔に均一に配置された相対時刻Ｔ_ｆｋ（ｋ＝１〜４）（以下、均一時刻）を基準にして相対時刻が表現されていてもよい。この表現によれば、均一時刻からのシフト量ΔＴ_ｆｋ（ｋ＝１〜４）（即ち、入力された時系列画像信号（原画像ＯＰ_１又は原画像ＯＰ_２等）に対する「近づき度合い」）が明確になる。尚、相対時刻の表現はこれらの例に限定されない。

以上、映像処理ブロックＢ１１の機能構成について説明した。次に、演算処理ブロックＢ１２の機能構成について詳細に説明する。

（演算処理ブロックＢ１２について）
再び図２を参照する。演算処理ブロックＢ１２は、信頼性判断部１０４と、判別結果記憶部１０６と、補間方法選択部１０８と、相対時刻設定部１１０とにより構成される。相対時刻設定部１１０は、生成時刻設定部の一例である。

（信頼性判断部１０４、判別結果記憶部１０６）
信頼性判断部１０４は、映像種別判別部１０２から入力された判別結果に対し、その判別結果の信頼性を判断する。信頼性判断部１０４は、入力された判別結果が信頼できるものであると判断した場合に、その判断結果を補間方法選択部１０８、及び相対時刻設定部１１０に入力する。

この判別結果は、例えば、補間方法選択部１０８、及び相対時刻設定部１１０に入力される。このとき、判別結果は、例えば、映像種別が切り替わる直前、又は切り替わり直後の時系列画像信号の時刻に対応付けて入力される。このように対応付けされることにより、補間方法選択部１０８、及び相対時刻設定部１１０は、どの時点で映像種別が切り替わったか、どの映像種別に切り替わったのかという情報を認識できるようになる。

また、信頼性判断部１０４は、映像種別判別部１０２から判別結果が入力された際に、その判別結果を判別結果記憶部１０６に記録する。そのため、信頼性判断部１０４は、判別結果記憶部１０６に蓄積された過去の判別結果を時系列で参照して映像種別判別部１０２から入力される判別結果の信頼性を判断することができる。

例えば、信頼性判断部１０４は、映像種別が切り替わる直前の時系列画像信号（原画像ＯＰ_１）、及び切り替わり直後の時系列画像信号（原画像ＯＰ_２）に対する判別結果（第１判別結果）を判別結果記憶部１０６に記録する。さらに、信頼性判断部１０４は、原画像ＯＰ_１、及び原画像ＯＰ_２よりも後の時刻の時系列画像信号（原画像ＯＰ_３）に対する判別結果（第２判別結果）を映像種別判別部１０２から取得する。

その上で、信頼性判断部１０４は、判別結果記憶部１０６に記録された第１判別結果を読み出し、その第１判別結果と第２判別結果とが一致するか否かを判断する。その結果、第１判別結果と第２判別結果とが一致した場合に、信頼性判断部１０４は、その判別結果の信頼性が高いと判断する。尚、この例では、２つの判別結果を比較したが、これに限定されず、３以上の判別結果を比較参照して信頼性を判別してもよい。

また、映像種別判別部１０２が複数設けられている場合、信頼性判断部１０４は、これらの映像種別判別部１０２から入力される複数の判別結果を総合して、その判別結果の信頼性を判断することができる。例えば、信頼性判断部１０４は、複数の判別結果を比較し、それらの判別結果が一致した場合に信頼性が高いと判断してもよい。もちろん、信頼性判断部１０４は、過去の判別結果も判断材料として参照し、総合的に判断してもよい。

このように、信頼性の判断には、ある程度の精度が要求される場合に、複数の判断結果が利用され、複数の処理工程が必要になる。そのため、この信頼性判断には、ある程度の処理時間が掛かる。尚、さらに信頼性判断の精度を高めるためには、より多くの判別結果を用いる必要がある。その場合、必要な分の時系列画像信号が入力されるまでのフレーム期間分だけ余計に時間が必要になる。従って、映像種別が切り替わった直後に映像種別を即座に判別することは難しい場合が多い。こうした理由から、判別処理の間、補間処理が行われなかったり、或いは、映像種別に適さない補間処理が行われてジャダーが発生してしまうのである。

（補間方法選択部１０８）
補間方法選択部１０８は、信頼性判断部１０４により高い信頼性が確認された判別結果を受けて、その判別結果に対応する補間方法を選択する。例えば、判別結果がカメラ映像である場合、補間方法選択部１０８は、そのカメラ映像に適した補間画像信号の枚数、及び、それらの生成時刻を選択する。尚、判別結果がフィルム映像やＣＧ映像等の場合についても同様に、補間画像信号の枚数、及びそれらの生成時刻が選択される。

既に述べた通り、最も滑らかな映像を実現するには、時系列画像信号の間に等間隔で補間画像信号を生成するのが好ましい。そこで、補間方法選択部１０８は、補間処理後に目標とする時間解像度の値に応じて、例えば、等間隔に補間画像信号が配置されるような生成時刻、及び枚数を補間方法として選択する。そして、補間方法選択部１０８は、選択した補間方法の情報を相対時刻設定部１１０に入力する。

（相対時刻設定部１１０）
相対時刻設定部１１０は、信頼性判断部１０４から入力された判別結果、及び補間方法選択部１０８から入力された補間方法の情報に基づき、補間画像信号を生成するための相対時刻を設定する。そして、相対時刻設定部１１０は、設定した相対時刻を映像処理ブロックＢ１１の補間処理部１１６に入力する。

尚、相対時刻設定部１１０は、補間処理部１１６による設定要求に応じて、指定された信号時刻に対応する相対時刻を補間処理部１１６に入力してもよいし、補間処理部１１６による設定要求とは関係無く、各時系列画像信号の時刻に対応付けて該当する相対時刻を補間処理部１１６に入力してもよい。いずれの方法を採用するにせよ、補間処理部１１６に対して時系列画像信号毎の相対時刻が正しく通知される。

本実施形態において重要なのは、相対時刻設定部１１０により設定される相対時刻の設定方法である。そこで、当該設定方法について、以下でより詳細に説明する。

まず、相対時刻設定部１１０は、信頼性判断部１０４から入力された判別結果に基づいて映像種別が変化した時刻を認識することができる。そこで、相対時刻設定部１１０は、映像種別が変化した時刻を基準とする経過時間に基づいて相対時刻を設定する。このとき、相対時刻設定部１１０は、補間方法選択部１０８により選択された補間方法に基づき、「最終的に」補間画像信号の等間隔な生成時刻（以下、目標時刻）になるように相対時刻を設定する。

以下で具体的に例示するように、相対時刻設定部１１０は、映像種別の変化以降に設定される相対時刻を直ちに目標時刻に設定せず、時系列画像信号の垂直同期の周期等を単位として相対時刻が経過時間に応じて徐々に目標時刻に近づくように設定する。この設定方法について、以下に具体例を示す。

（具体例）
一例として、相対時刻が経過時間の一次関数で表現される場合について考える。具体的な例として、図４の場合を想定する。つまり、２枚の原画像ＯＰ_１、ＯＰ_２の間に４枚の補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４が生成される場合を想定する。但し、原画像ＯＰ_１は、映像種別が変化した直後の時系列画像信号から、所定時間ｔ（フレーム単位）だけ経過した時刻の時系列画像信号であるとし、相対時刻の基準（０秒）であるとする。また、原画像ＯＰ_２の相対時刻は１／２４秒であるとする。

尚、時間解像度を１／１２０秒に向上させる補間処理方法について考える。また、相対時刻設定部１１０には、補間方法選択部１０８から補間方法の情報として、補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の目標時刻Ｔ_ｆｋ＝ｋ／１２０が入力されているものとする。

このような場合、原画像ＯＰ_１からの経過時間ｔ（フレーム単位）に対し、例えば、補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の相対時刻（Ｔ_ｆｋ＋ΔＴ_ｆｋ）は下記の式（１）〜（４）のように設定される。

下記の式（１）〜（４）に示す例の場合、原画像ＯＰ_１に近い補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２は、その相対時刻が経過時間ｔに対して漸増するように設定されている。一方、原画像ＯＰ_２に近い補間画像ＣＦ_Ｆ３、ＣＦ_Ｆ４は、その相対時刻が経過時刻ｔに対して漸減するように設定されている。この例では、各補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の相対時刻（Ｔ_ｆｋ＋ΔＴ_ｆｋ）が目標時刻Ｔ_ｆｋに一致するまでに６０フレーム期間を要するように設定されている。従って、各相対時刻は、６０フレーム後に目標時刻に一致することになる。

また、下記の式（１）及び式（２）を比較すると、補間画像ＣＦ_Ｆ２よりも原画像ＯＰ_１に近い補間画像ＣＦ_Ｆ１の相対時刻は、経過時間ｔに対する傾き（Ａ_１）が小さくなるように設定されている。この傾き（Ａ_１、Ａ_２）は、経過時間ｔの進行に応じて補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２が原画像ＯＰ_１から離れていく距離の変化量を表している。つまり、下記の式（１）及び式（２）は、時間の経過に伴って補間画像ＣＦ_Ｆ２の方が原画像ＯＰ_１からより大きく離れるように相対時刻を設定する設定方法を示すものである。

同様に、下記の式（３）及び式（４）を比較すると、補間画像ＣＦ_Ｆ３よりも原画像ＯＰ_２に近い補間画像ＣＦ_Ｆ４の相対時刻は、経過時間ｔに対する傾き（Ａ_４）が小さくなるように設定されている。この傾き（Ａ_３、Ａ_４）は、経過時間ｔの進行に応じて補間画像ＣＦ_Ｆ３、ＣＦ_Ｆ４が原画像ＯＰ_２から離れていく距離の変化量を表している。つまり、下記の式（３）及び式（４）は、時間の経過に伴って補間画像ＣＦ_Ｆ３の方が原画像ＯＰ_２からより大きく離れるように相対時刻を設定する設定方法を示すものである。

上記のように、相対時刻設定部１１０は、経過時間の一次関数により相対時刻を設定することができる。もちろん、本実施形態は、これに限定されず、例えば、二次以上の高次関数や指数関数等であってもよいし、或いは、任意に設定された関数であってもよい。

上記のＡ_ｋ＊ｔ（ｋ＝１〜４）を任意の関数ｆ_ｋ（ｔ）に一般化する方法も考えられる。このとき、｛０＜ｆ_１（ｔ）≦ｆ_２（ｔ）；ｆ_１（０）＝ｆ_２（０）＝０；ｆ_１（６０）＝１／１２０［秒］、ｆ_２（６０）＝２／１２０［秒］｝、｛ｆ_３（ｔ）≦ｆ_２（ｔ）＜０［秒］；ｆ_３（０）＝ｆ_４（０）＝０［秒］；ｆ_３（６０）＝−２／１２０［秒］、ｆ_４（６０）＝−１／１２０［秒］｝となるように関数が定義される。

このように、関数形は任意であるが、経過時間ｔ＝０の場合に全ての相対時刻がいずれかの原画像の時刻に一致し、経過時間ｔが所定フレーム期間（ｔ＝６０）に達した際に全ての相対時刻が目標時刻に一致するように設定される。尚、上記の説明で「関数」と表現した。このように、相対時刻設定部１１０は、予め設定された関数形に基づいて経過時間の入力に対する相対時刻を演算出力するように構成されていてもよい。しかし、相対時刻設定部１１０は、この「関数」に相当するテーブルを保持しておき、そのテーブルを参照して所定の相対時刻を設定するように構成されていてもよい。

以上、本実施形態に係る表示装置１００の機能構成について説明した。上記の通り、本実施形態に係る表示装置１００は、ジャダーが発生しやすい映像種別の切り替わり部分以降について、補間画像を生成する相対時刻を原画像に近づけて設定することができる。さらに、当該表示装置１００は、映像種別が変更された原画像の時刻を基準とする経過時間の大きさに応じて徐々に相対時刻を目標時刻に近づけて設定することができる。

そのため、映像種別が切り替わった時点でジャダーが発生しても、補間処理後の滑らかな映像に徐々に変化していくため、補間処理の切り替わり部分を視聴者に知覚されにくくなる。その結果、映像種別が異なる映像間の変化点が視聴者に意識され難くなり、それぞれの映像の滑らかさを最大限に引き出す表示が実現される。

［映像処理方法について］
次に、図５を参照しながら、本実施形態に係る映像処理方法の流れについて説明する。図５は、本実施形態に係る映像処理方法の流れを示す説明図である。但し、表示装置１００には、最初の段階でカメラ映像の時系列画像信号が入力されているものとする。

まず、表示装置１００に時系列画像信号のストリームが入力されると、映像種別判別部１０２により、その映像種別が判別される。映像種別判別部１０２によりカメラ映像が検出された場合、カメラ映像を示す判別結果として、カメラ映像検出信号が演算処理ブロックＢ１２に入力される（Ｓ１０２）。このとき、演算処理ブロックＢ１２は、時系列画像信号の映像種別がカメラ映像のままで変化がないため、映像処理ブロックＢ１１に対して補間方法に関する情報の入力を行わなくてもよい。このように、カメラ映像の時系列画像信号が継続的に入力されている期間（カメラ映像検出区間）は、映像処理ブロックＢ１１による補間方法に変更がない状態にある。

ある時点で、映像種別判別部１０２によりフィルム映像が検出された場合（フィルム映像検出区間）、フィルム映像を示す判別結果として、フィルム映像検出信号が演算処理ブロックＢ１２に入力される（Ｓ１０４）。フィルム映像検出信号が入力されると、演算処理ブロックＢ１２により判別結果の信頼性が判別される。この信頼性判別処理の間（信頼性判別区間）、演算処理ブロックＢ１２には、複数のフィルム映像検出信号が入力される（Ｓ１０６）。これらのフィルム映像検出信号は、時系列画像信号のフレーム期間単位（１／６０［秒］）で入力される。

これらのフィルム映像検出信号により、映像種別の判別結果の信頼性が確認されると、演算処理ブロックＢ１２により相対時刻が設定され、その相対時刻情報（Ｆ_１）が映像処理ブロックＢ１１に送信される（Ｓ１０８）。

相対時刻情報（Ｆ_ｎ（ｎ＝１〜Ｎ））は、映像種別判別部１０２から継続的にフィルム映像検出信号が入力される度に生成され、映像処理ブロックＢ１１に送信される（Ｓ１１０、Ｓ１１２）。このとき、相対時刻情報（Ｆ_ｎ（ｎ＝１〜Ｎ））が示す相対時刻は、上記の式（１）〜（４）のような関数に基づいて設定される。

所定数Ｎの相対時刻情報Ｆ_Ｎが送信された後、演算処理ブロックＢ１２は、相対時刻情報の生成及び送信を終了する。この所定数Ｎは、相対時刻が目標時刻に一致するまでに要するフレーム数である。従って、上記の式（１）〜（４）に示す例の場合、所定数Ｎは６０になる。送信される相対時刻情報の数が所定数Ｎに達すると、相対時刻と目標時刻とが一致し、各相対時刻が原画像間に等間隔で均一に配置された状態になる。

つまり、補間画像が生成される時刻がフィルム映像に最も適したものに設定される。そこで、映像処理ブロックＢ１１は、この設定を維持しながら補間処理を継続する。そのため、演算処理ブロックＢ１２は、映像種別判別部１０２から継続的にフィルム映像検出信号が入力されていても（Ｓ１１４）、相対時刻情報の生成及び送信を行わなくてもよい。

その後、ある時点で、映像種別判別部１０２によりカメラ映像が再び検出された場合、カメラ映像を示す判別結果として、カメラ映像検出信号が演算処理ブロックＢ１２に入力される（Ｓ１１６）。カメラ映像検出信号が入力されると、演算処理ブロックＢ１２により判別結果の信頼性が判別される。

この信頼性判別処理の間（信頼性判別区間）、演算処理ブロックＢ１２には、複数のカメラ映像検出信号が入力される（Ｓ１１８）。これらのカメラ映像検出信号により、映像種別の判別結果の信頼性が確認されると、演算処理ブロックＢ１２により相対時刻が設定され、その相対時刻情報（Ｃ）が映像処理ブロックＢ１１に送信される（Ｓ１２０）。

但し、フィルム映像からカメラ映像に変化した場合に送信される相対時刻情報（Ｃ）は、カメラ映像に適した目標時刻の情報である。目標時刻の情報を送信する理由は、時系列画像信号のストリームがカメラ映像の状態で、フィルム映像に適した補間処理が継続されることにより画像間に不自然な動きが発生するのを避けるためである。

つまり、フィルム映像からカメラ映像に変化した後、すぐにカメラ映像に適した補間方法に切り替える方が良いのである。カメラ映像の相対時刻情報（Ｃ）が送信されると、映像処理ブロックＢ１１は、カメラ映像検出区間において、カメラ映像に適した補間方法で時系列画像信号のストリームに画像処理を施して出力する。

以上、本実施形態に係る映像処理方法の流れについて説明した。上記の通り、本実施形態に係る映像処理方法によれば、映像種別判別部１０２で検出された映像種別に応じて演算処理ブロックＢ１２により相対時刻情報が生成され、その相対時刻に基づいて映像処理ブロックＢ１１による補間処理が実行される。

その際、演算処理ブロックＢ１２では、映像種別の切り替えに伴って発生するジャダーのある映像から滑らかな映像に徐々に変化するように相対時刻が設定される。その結果、補間処理の急激な変化に伴って知覚される違和感を緩和させることができる。

以上説明したように、本発明の第１実施形態に係る技術を適用することで、映像種別の変化に伴う補間方法の急激な変化に起因して視聴者に与えてしまう違和感を軽減させることができる。尚、本実施形態では、映像種別の変化に伴う補間方法の変化を対象としたが、ジャダーのある映像から滑らかな映像への切り替えが発生する状況はこれに限らない。例えば、連続する時系列画像信号間の動き量が大きい場合にも、同様の状況が発生し得る。本発明に係る技術は、こうした状況等にも対応することが可能である。そこで、こうした状況に対応する実施形態（第２実施形態）について以下で説明する。

《第２実施形態》
本発明の第２実施形態について説明する。上記の通り、本実施形態は、激しい動きやシーンチェンジ等の発生に起因して補間画像信号に乱れが生じるような状況に対して本発明に係る技術を適用する場合に相当する。こうした状況では、補間処理を一旦停止し、前時刻で表示された時系列画像信号を再び表示する方法が多く用いられる。このとき、突然ジャダーが発生したり、或いは、急激に滑らかな映像に変化することで、視聴者に違和感を与えてしまう。そこで、こうした違和感を軽減することが可能な映像処理方法について以下で詳細に説明する。

［表示装置２００の機能構成］
まず、図６を参照しながら、本実施形態に係る表示装置２００の機能構成について説明する。図６は、本実施形態に係る表示装置２００の機能構成を示す説明図である。但し、上記の第１実施形態に係る表示装置１００と実質的に同一の構成要素については同一の符号を付することにより詳細な説明を省略する。

図６に示すように、表示装置２００は、主に、映像処理ブロックＢ２１と、演算処理ブロックＢ２２と、表示パネル２４とにより構成されている。この中で、映像処理ブロックＢ２１、及び演算処理ブロックＢ２２は、上記の映像信号処理部２２に相当する。

説明の都合上、映像処理ブロックＢ２１と演算処理ブロックＢ２２とを区別しているが、実施の態様に応じて一つの処理手段により構成されていてもよい。また、各処理ブロックにおける処理は、ハードウェア処理であってもよいし、ソフトウェア処理であってもよい。もちろん、これらの組み合わせで実現されてもよい。

また、映像処理ブロックＢ２１が有する機能は、後述するハードウェア構成のうち、例えば、データ信号処理部６４、映像信号処理部６６、ＯＳＤ回路６８、合成回路７０、マイコン７２等により実現される。また、演算処理ブロックＢ２２の機能は、主に、マイコン７２等により実現される。尚、これらの処理ブロックが有する機能の一部又は全部は、マイコン７２を構成するＲＯＭ７２４等に記録されたプログラムに基づいてＣＰＵ７２２により実現されてもよい。

（映像処理ブロックＢ２１について）
映像処理ブロックＢ２１は、主に、映像種別判別部１０２と、デインターレース／プルダウン解除部１１２と、速度検出部２１４と、補間処理部１１６とにより構成される。但し、上記の第１実施形態に係る表示装置１００との主な相違点は、速度検出部２１４の機能にある。そこで、速度検出部２１４の機能構成についてのみ詳細に説明する。速度検出部２１４は、特徴変化検出部の一例である。

（速度検出部２１４）
速度検出部２１４は、デインターレース／プルダウン解除部１１２によりノンインターレース映像信号に変換された時系列画像信号に基づき、当該時系列画像信号の間の動きベクトルを検出する。速度検出部２１４は、動きベクトルの検出に際し、例えば、ブロックマッチング法、位相相関法、又はオプティカルフロー法等の種々の動き検出方法を利用することができる。この動きベクトルは動き情報の一例である。

また、速度検出部２１４は、時系列画像信号の各画素又は所定のブロック毎に算出された動きベクトルの長さの平均値又は中央値等の統計量を算出するように構成されていてもよい。この統計量は、２つの時系列画像信号間の動き量を表すものである。

また、速度検出部２１４は、時系列画像信号の各画素又は所定のブロック毎に算出された動きベクトルを合成して合成ベクトルを生成し、その合成ベクトルの長さ及び方向を算出するように構成されていてもよい。このとき、速度検出部２１４は、各動きベクトルに所定の重み付けをして合成ベクトルを生成し、その合成ベクトルの長さを算出するように構成されていてもよい。この合成ベクトルの長さも２つの時系列画像信号間の動き量を表すものである。

上記の方法により動き量が算出されると、速度検出部２１４は、その動き量が所定の閾値を超えるか否かを判定する。尚、この閾値は、動き検出の精度設定（ブロックの大きさ、サーチエリアの大きさ等）に依存する。この判定処理について、図７を参照しながら具体的に説明する。図７は、本実施形態に係る速度判定処理方法を示す説明図である。

図７には、速度検出部２１４により検出された動き量のグラフ、及び速度検出部２１４により算出された速度超過結果が併せて例示されている。

まず、動き量のグラフを参照する。図７の例において、動き量は、絶対時間の経過に伴って増加し、ある時点で所定の閾値を超過する。さらに時間が経過すると、動き量は、ある時点で動き量が減少し、閾値を下回る。このような場合、速度検出部２１４は、動き量が閾値を超過した時点から閾値を下回る時点までの期間、速度超過であると判定する。

この判定結果を示したのが下段に示した速度超過結果の図である。この図では、動き量が閾値を超過した時点で速度超過結果がＨ（超過）になっており、動き量が閾値を下回った時点で速度超過結果がＬ（非超過）になっている。

速度検出部２１４は、速度超過結果がＨになった時点を基準にして経過時間（経過時間１）を測定する。この経過時間１は、速度超過結果がＬになった時点で終了する。また、速度検出部２１４は、速度超過結果がＬになった時点を基準にして経過時間（経過時間２）を測定する。そして、速度検出部２１４により、上記の速度判定結果、及びこれらの経過時間が動き量と共に演算処理ブロックＢ２２の相対時刻設定部２１０に入力される。

再び図６を参照する。上記の通り、速度検出部２１４により算出された動き量、及び速度判定結果は、演算処理ブロックＢ２２の相対時刻設定部２１０に入力される。また、速度検出部２１４により検出された動き情報は、補間処理部１１６に入力される。動き量、及び速度判定結果は、速度検出部２１４により、映像種別の切り替わりが無い場合にも相対時刻設定部２１０に入力される。

次に、演算処理ブロックＢ２２の機能構成について説明する。

（演算処理ブロックＢ２２について）
演算処理ブロックＢ２２は、信頼性判断部１０４と、判別結果記憶部１０６と、補間方法選択部１０８と、相対時刻設定部２１０とにより構成される。但し、上記の第１実施形態に係る表示装置１００との主な相違点は、相対時刻設定部２１０の機能にある。そこで、相対時刻設定部２１０の機能構成についてのみ詳細に説明する。相対時刻設定部２１０は、生成時刻設定部の一例である。

（相対時刻設定部２１０）
相対時刻設定部２１０は、信頼性判断部１０４から入力された判別結果、補間方法選択部１０８から入力された補間方法の情報、速度検出部２１４により算出された動き量及び速度判定結果に基づき、補間画像信号を生成するための相対時刻を設定する。そして、相対時刻設定部２１０は、設定した相対時刻を映像処理ブロックＢ２１の補間処理部１１６に入力する。

尚、相対時刻設定部２１０は、補間処理部１１６による設定要求に応じて、指定された信号時刻に対応する相対時刻を補間処理部１１６に入力してもよいし、補間処理部１１６による設定要求とは関係無く、各時系列画像信号の時刻に対応付けて該当する相対時刻を補間処理部１１６に入力してもよい。いずれの方法を採用するにせよ、補間処理部１１６に対して時系列画像信号毎の相対時刻が正しく通知される。

本実施形態において重要なのは、相対時刻設定部２１０により設定される相対時刻の設定方法である。そこで、当該設定方法について、以下でより詳細に説明する。

まず、相対時刻設定部２１０は、速度検出部２１４から入力された速度判定結果、及び動き量に基づいて速度超過した時刻を認識することができる。そこで、相対時刻設定部２１０は、速度超過した時刻からの経過時間に基づいて相対時刻を設定する。このとき、相対時刻設定部２１０は、補間方法選択部１０８により選択された補間方法に基づき、「最終的に」補間画像信号の等間隔な生成時刻（以下、目標時刻）になるように相対時刻を設定する。

以下で具体的に例示するように、相対時刻設定部２１０は、映像種別が変化以降に設定される相対時刻を直ちに目標時刻に設定せず、時系列画像信号の垂直同期の周期等の単位として経過時間に応じて徐々に目標時刻に近づくように相対時刻を設定する。この設定方法について、以下に具体例を示す。

（具体例１：速度非超過→速度超過）
一例として、相対時刻が速度超過後の経過時間１に対する一次関数で表現される場合について考える。図４に相当する具体的な例として、２枚の原画像ＯＰ_１、ＯＰ_２の間に４枚の補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４が生成されており、各補間画像が原画像ＯＰ_１又は原画像ＯＰ_２に一致して補間処理が停止するまでの処理を想定する。また、動き量の変化として、図７の例を想定する。但し、補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の目標時刻は、（Ｔ_ｆ１＋ΔＴ_ｆ１）＝（Ｔ_ｆ２＋ΔＴ_ｆ２）＝０［秒］、相対時刻（Ｔ_ｆ３＋ΔＴ_ｆ３）＝（Ｔ_ｆ４＋ΔＴ_ｆ４）＝１／２４［秒］である。

尚、原画像ＯＰ_１は、速度超過が発生した直後（経過時間１＝０）の時系列画像信号から、所定時間ｔ（フレーム単位）だけ経過した時刻の時系列画像信号であるとし、相対時刻の基準（０秒）であるとする。このような場合、原画像ＯＰ_１からの経過時間ｔ（フレーム単位）に対し、例えば、補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の相対時刻（Ｔ_ｆｋ＋ΔＴ_ｆｋ）は下記の式（５）〜（８）のように設定される。

尚、下記の式（５）〜（８）において、Ｂ_ｋ（ｋ＝１〜４）が（経過時間１＝０における相対時刻（Ｔ_ｆｋ＋ΔＴ_ｆｋ）の値）と定義されているのは、例えば、映像種別の切り替えに伴う相対時刻設定の途中である場合も想定しているためである。この場合には、等間隔で配置された補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の時刻Ｔ_ｆｋではなく、経過時間１＝０における各補間画像の相対時刻（Ｔ_ｆｋ＋ΔＴ_ｆｋ）が設定の基準となる。この設定により、他の相対時刻設定処理の途中であっても、相対時刻情報の連続性が維持される。

下記の式（５）及び式（６）を比較参照すると、補間画像ＣＦ_Ｆ２よりも原画像ＯＰ_１に近い補間画像ＣＦ_Ｆ１の相対時刻は、経過時間ｔに対する傾き（Ａ_１）が小さく設定されている。この傾き（Ａ_１、Ａ_２）は、経過時間ｔの進行に応じて補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２が原画像ＯＰ_１に近づいていく距離の変化量を表している。つまり、下記の式（５）及び式（６）は、時間の経過に伴って補間画像ＣＦ_Ｆ２の方が原画像ＯＰ_１により大きく近づくように相対時刻を設定する設定方法を示すものである。

同様に、下記の式（７）及び式（８）を比較すると、補間画像ＣＦ_Ｆ３よりも原画像ＯＰ_２に近い補間画像ＣＦ_Ｆ４の相対時刻は、経過時間ｔに対する傾き（Ａ_４）が小さく設定されている。この傾き（Ａ_３、Ａ_４）は、経過時間ｔの進行に応じて補間画像ＣＦ_Ｆ３、ＣＦ_Ｆ４が原画像ＯＰ_２に近づく距離の変化量を表している。つまり、下記の式（７）及び式（８）は、時間の経過に伴って補間画像ＣＦ_Ｆ３の方が原画像ＯＰ_２により大きく近づくように相対時刻を設定する設定方法を示すものである。

上記のように、相対時刻設定部２１０は、経過時間１の一次関数により相対時刻を設定することができる。もちろん、本実施形態は、これに限定されず、例えば、二次以上の高次関数や指数関数等であってもよいし、或いは、任意に設定された関数であってもよい。尚、上記の式（１）〜（４）の場合と同様に、上記のＡ_ｋ＊ｔ（ｋ＝１〜４）を任意の関数ｆ’_ｋ（ｔ）に一般化する方法も考えられる。

（具体例２：速度超過→速度非超過）
次に、速度超過状態から速度非超過状態に遷移した後の経過時間２に関して相対時刻が一次関数で表現される場合について考える。図４に相当する具体的な例として、２枚の原画像ＯＰ_１、ＯＰ_２の間に４枚の補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４が生成されており、各補間画像が等間隔で配置されて滑らかな補間処理に移行するまでの処理を想定する。また、動き量の変化として、図７の例を想定する。但し、補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の目標時刻はＴ_ｆｋ＝ｋ／１２０［秒］である。

尚、原画像ＯＰ_１は、速度超過の状態から速度非超過の状態に移行した直後（経過時間２＝０）の時系列画像信号から、所定時間ｔ（フレーム単位）だけ経過した時刻の時系列画像信号であるとし、相対時刻の基準（０秒）であるとする。このような場合、原画像ＯＰ_１からの経過時間ｔ（フレーム単位）に対し、例えば、補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の相対時刻（Ｔ_ｆｋ＋ΔＴ_ｆｋ）は下記の式（９）〜（１２）のように設定される。

尚、下記の式（９）〜（１２）において、Ｂ_ｋ（ｋ＝１〜４）が（経過時間２＝０における相対時刻（Ｔ_ｆｋ＋ΔＴ_ｆｋ）の値）と定義されているのは、例えば、映像種別の切り替えに伴う相対時刻設定の途中である場合も想定しているためである。この場合には、等間隔で配置された場合の補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）の時刻Ｔ_ｆｋではなく、経過時間２＝０における各補間画像の相対時刻（Ｔ_ｆｋ＋ΔＴ_ｆｋ）が設定の基準となる。この設定により、他の相対時刻設定処理の途中であっても、相対時刻情報の連続性が維持される。

下記の式（９）及び式（１０）を比較参照すると、補間画像ＣＦ_Ｆ２よりも原画像ＯＰ_１に近い補間画像ＣＦ_Ｆ１の相対時刻は、経過時間ｔに対する傾き（Ａ_１）が小さく設定されている。この傾き（Ａ_１、Ａ_２）は、経過時間ｔの進行に応じて補間画像ＣＦ_Ｆ１、ＣＦ_Ｆ２が原画像ＯＰ_１から遠ざかっていく距離の変化量を表している。つまり、下記の式（９）及び式（１０）は、時間の経過に伴って補間画像ＣＦ_Ｆ２の方が原画像ＯＰ_１からより大きく遠ざかるように相対時刻を設定する設定方法を示すものである。

同様に、下記の式（１１）及び式（１２）を比較すると、補間画像ＣＦ_Ｆ３よりも原画像ＯＰ_２に近い補間画像ＣＦ_Ｆ４の相対時刻は、経過時間ｔに対する傾き（Ａ_４）が小さく設定されている。この傾き（Ａ_３、Ａ_４）は、経過時間ｔの進行に応じて補間画像ＣＦ_Ｆ３、ＣＦ_Ｆ４が原画像ＯＰ_２から遠ざかっていく距離の変化量を表している。つまり、下記の式（１１）及び式（１２）は、時間の経過に伴って補間画像ＣＦ_Ｆ３の方が原画像ＯＰ_２からより大きく遠ざかるように相対時刻を設定する設定方法を示すものである。

上記のように、相対時刻設定部２１０は、経過時間２の一次関数により相対時刻を設定することができる。もちろん、本実施形態は、これに限定されず、例えば、二次以上の高次関数や指数関数等であってもよいし、或いは、任意に設定された関数であってもよい。尚、上記の式（１）〜（４）の場合と同様に、上記のＡ_ｋ＊ｔ（ｋ＝１〜４）を任意の関数ｆ”_ｋ（ｔ）に一般化する方法も考えられる。

以上、本実施形態に係る表示装置２００の機能構成について説明した。上記の通り、本実施形態に係る表示装置２００は、時系列画像信号の動き量が所定の閾値を超過した部分以降について、補間画像を生成する相対時刻を原画像に徐々に近づけて設定することができる。同様に、当該表示装置２００は、時系列画像信号の動き量が所定の閾値を超過した状態から、非超過の状態に遷移する部分において、原画像から徐々に遠ざかるように相対時刻を設定することができる。

このとき、表示装置２００は、速度超過／非超過の切り替わり時点を基準にした経過時間に応じて、徐々に相対時刻を目標時刻に近づけて設定することもできる。そのため、速度超過／非超過の切り替わり時点でジャダーのある映像と補間処理後の滑らかな映像との間の急激な変化が緩和され、補間処理の切り替わり部分を視聴者に知覚されにくくなる。その結果、映像の滑らかさを最大限に引き出す表示が実現される。

［映像処理方法について］
次に、図８を参照しながら、本実施形態に係る映像処理方法の流れについて説明する。図８は、本実施形態に係る映像処理方法の流れを示す説明図である。但し、表示装置２００には、最初の段階でカメラ映像の時系列画像信号が入力されているものとする。

まず、表示装置２００に時系列画像信号のストリームが入力されると、映像種別判別部１０２により、その映像種別が判別される。映像種別判別部１０２によりカメラ映像が検出された場合、カメラ映像を示す判別結果として、カメラ映像検出信号が演算処理ブロックＢ２２に入力される（Ｓ２０２）。このとき、演算処理ブロックＢ２２は、時系列画像信号の映像種別がカメラ映像のままで変化がないため、映像処理ブロックＢ２１に対して補間方法に関する情報の入力を行わなくてもよい。このように、カメラ映像の時系列画像信号が継続的に入力されている期間（カメラ映像検出区間）は、映像処理ブロックＢ２１による補間方法に変更がない状態にある。

ある時点で、映像種別判別部１０２によりフィルム映像が検出された場合（フィルム映像検出区間）、フィルム映像を示す判別結果として、フィルム映像検出信号が演算処理ブロックＢ２２に入力される（Ｓ２０４）。フィルム映像検出信号が入力されると、演算処理ブロックＢ２２により判別結果の信頼性が判別される。この信頼性判別処理の間（信頼性判別区間）、演算処理ブロックＢ２２には、複数のフィルム映像検出信号が入力される（Ｓ２０６）。これらのフィルム映像検出信号は、時系列画像信号のフレーム期間単位（１／６０［秒］）で入力される。

これらのフィルム映像検出信号により、映像種別の判別結果の信頼性が確認されると、演算処理ブロックＢ２２により相対時刻が設定され、その相対時刻情報（Ｆ_１）が映像処理ブロックＢ２１に送信される（Ｓ２０８）。

相対時刻情報（Ｆ_ｎ（ｎ＝１〜Ｎ））は、映像種別判別部１０２から継続的にフィルム映像検出信号が入力される度に生成され、映像処理ブロックＢ２１に送信される（Ｓ２１０、Ｓ２１４）。このとき、相対時刻情報（Ｆ_ｎ（ｎ＝１〜Ｎ））が示す相対時刻は、上記の式（１）〜（４）に基づいて設定される。

しかし、ある時点で、動き量が所定の閾値を超過したことを示す動き量超過信号が速度検出部２１４により入力されると（Ｓ２１２）、演算処理ブロックＢ２２は、上記の式（５）〜（８）に基づいて相対時刻を設定しつつ、その相対時刻情報（Ｆ_Ａ１）を映像処理ブロックＢ２１に送信する（Ｓ２１６）。その後も、上記の式（５）〜（８）に基づいて継続的に相対時刻情報（Ｆ_Ａｎ）（２≦ｎ≦Ｎ）が送信され続ける（Ｓ２１８）。

そして、ある時点で、動き量が所定の閾値を下回ったことを示す動き量超過解除信号が速度検出部２１４から入力されると（Ｓ２２０）、演算処理ブロックＢ２２は、上記の式（９）〜（１２）に基づいて相対時刻を設定しつつ、その相対時刻情報（Ｆ_Ｂ１）を映像処理ブロックＢ２１に送信する（Ｓ２２２）。その後も、上記の式（９）〜（１２）に基づいて継続的に相対時刻情報（Ｆ_Ｂｎ）（２≦ｎ≦Ｎ）が送信され続ける（Ｓ２２４）。尚、これらの処理の間、動き量の超過／非超過に関わらず、映像種別判別部１０２からは、フィルム映像検出信号が入力される（Ｓ２２６）。

また、ある時点で、映像種別判別部１０２によりカメラ映像が再び検出された場合、カメラ映像を示す判別結果として、カメラ映像検出信号が演算処理ブロックＢ２２に入力される（Ｓ２２８）。カメラ映像検出信号が入力されると、演算処理ブロックＢ２２により判別結果の信頼性が判別される。

この信頼性判別処理の間（信頼性判別区間）、演算処理ブロックＢ２２には、複数のカメラ映像検出信号が入力される（Ｓ２３０）。これらのカメラ映像検出信号により、映像種別の判別結果の信頼性が確認されると、演算処理ブロックＢ２２により相対時刻が設定され、その相対時刻情報（Ｃ）が映像処理ブロックＢ２１に送信される（Ｓ２３２）。

但し、フィルム映像からカメラ映像に変化した場合に送信される相対時刻情報（Ｃ）は、カメラ映像に適した目標時刻の情報である。目標時刻の情報を送信する理由は、上記の第１実施形態に係る映像処理方法と同様に、時系列画像信号のストリームがカメラ映像の状態で、フィルム映像に適した補間処理が継続されることにより画像間に不自然な動きが発生するのを避けるためである。

つまり、フィルム映像からカメラ映像に変化した後、すぐにカメラ映像に適した補間方法に切り替える方が良いのである。この点は、上記の第１実施形態に係る映像処理方法と同様である。カメラ映像の相対時刻情報（Ｃ）が送信されると、映像処理ブロックＢ２１は、カメラ映像検出区間において、カメラ映像に適した補間方法で時系列画像信号のストリームに画像処理を施して出力する。

以上、本実施形態に係る映像処理方法の流れについて説明した。上記の通り、本実施形態に係る映像処理方法によれば、映像種別判別部１０２で検出された映像種別に応じて演算処理ブロックＢ２２により相対時刻情報が生成されると共に、動き量が所定の閾値を超過した場合、又は閾値を下回った場合に、演算処理ブロックＢ２２により相対時刻情報が設定される。そして、演算処理ブロックＢ２２で設定された相対時刻に基づいて映像処理ブロックＢ２１による補間処理が実行される。

その際、演算処理ブロックＢ２２では、映像種別の切り替えに伴って発生するジャダーのある映像から滑らかな映像に徐々に変化するように相対時刻が設定される。また、動き量の変化に応じて、滑らかな映像からジャダーのある映像に徐々に変化するように相対時刻が設定される。その結果、補間処理の急激な変化に伴って知覚される違和感を緩和させることができる。

《第１変形例》
次に、上記の第２実施形態に係る第１変形例について説明する。本変形例は、入力されたカメラ映像に、激しい動きやシーンチェンジ等が検出された場合の補間処理方法に関する。上記の映像処理方法においては、フィルム映像の入力中に動き量の超過（又は超過解除）が発生した場合に相対時刻を好適に調整する方法であった。しかし、この方法は、カメラ映像に対しても適用可能である。

例えば、速度検出部２１４により所定の閾値以上の大きな動き量が検出された時点、又は、その速度超過が解除された時点からの経過時間ｔ（フレーム単位）に応じて、下記の式（１３）のように補間画像ＣＦ_Ｃ１の相対時刻（Ｔ_ｃ１）が設定される（図３を参照）。但し、相対時刻Ｔ_ｃ１は、目標とする時間解像度（例えば、１／１２０［秒］）に応じて、０≦Ｔ_ｃ１≦１／１２０［秒］となるように制御される。

上記のように、相対時刻Ｔ_ｃ１は、経過時間ｔの一次関数により設定され得る。もちろん、これに限定されず、例えば、二次以上の高次関数や指数関数等であってもよいし、或いは、任意に設定された関数であってもよい。以上、本実施形態の第１変形例について説明した。この第１変形例のように、カメラ映像に対しても、本実施形態に係る補間処理方法が適用可能である。

《第２変形例》
次に、図９を参照しながら、本実施形態に係る第２変形例について説明する。本変形例は、上記の表示装置２００が備える速度検出部２１４、及び相対時刻設定部２１０の機能に関し、動き量が所定の閾値を超過した場合に、その超過量に応じて相対時刻の設定値を調整するものである。

これまで説明してきた表示装置２００の構成は、速度超過が発生した場合に、補間処理を一時停止する処理を想定していた。しかし、本変形例は、速度超過が発生した場合にも補間処理を停止せず、相対時刻を調整することで映像の乱れを低減させる技術に関する。この技術は、補間画像が原画像に近い時刻に生成されることで、誤った動き情報による悪影響が低減され、結果として映像の乱れが抑制されるという効果を狙ったものである。

（速度検出部２１４の機能について）
まず、本変形例に係る速度検出部２１４の機能について説明する。上記の機能を実現するために、速度検出部２１４は、動き量が所定の閾値を超えた場合に、経過時間の１制御周期（例えば、１フレーム単位）における速度超過量Ｖの変化量を相対時刻設定部２１０に入力する。尚、速度検出部２１４は、速度判定結果等を併せて相対時刻設定部２１０に入力してもよいが、速度超過量Ｖのみを入力してもよい。

（相対時刻設定部２１０の機能について）
相対時刻設定部２１０は、速度検出部２１４から入力された速度超過量Ｖに応じて、補間画像を原画像に近づけるように相対時刻を設定する。例えば、相対時刻設定部２１０は、速度超過後の経過時刻ｔにおける速度超過量Ｖに応じて、下記の式（１４）〜（１７）に示すように相対時刻の変化量ΔＴ_ｆｋ（ｋ＝１〜４）を設定する（図４の場合）。但し、Ｖ（ｔ）は、経過時刻ｔにおける速度超過量を表す。

但し、速度超過量の差分（Ｖ（ｔ）−Ｖ（ｔ−１））が３０を超える場合に、１制御周期にて補間画像が原画像と一致するように相対時刻が設定される。

上記のように、相対時刻の変化量ΔＴ_ｆｋ（ｋ＝１〜４）は、経過時間ｔにおける動き量Ｖの変化量に関する一次関数を用いて設定され得る。もちろん、これに限定されず、例えば、二次以上の高次関数や指数関数等であってもよい。

尚、動き量Ｖが経過時間ｔの経過に対して一定となる場合、上記の式（５）〜（８）と実質的に同一の変化になる。一方、速度超過が解消され、速度検出部２１４から速度超過量が入力されなくなった場合、相対時刻設定部２１０は、速度超過が解消された時点を基準とする経過時刻ｔに応じて、上記の式（９）〜（１２）に基づく相対時刻を設定する。

以上、本実施形態の第２変形例について説明した。この第２変形例に係る技術を適用すると、時系列画像信号間の動き量が所定の閾値を超過した場合であっても、動き検出の精度低下に伴う映像の乱れが低減される。こうした状況で、通常は、補間処理による余計な映像の乱れが発生することを恐れて補間処理を停止する場合が多い。

しかし、本変形例では、映像の乱れが目立たないように調整しながら、補間処理を継続することができるため、激しい動きやシーンチェンジ等が発生しても、比較的滑らかな映像を実現することができる。また、補間処理の急激な変化が抑制され、視聴者に与える違和感をより効果的に低減させることが可能になる。

［映像処理方法について］
ここで、図１０を参照しながら、本実施形態の第２変形例に係る映像処理方法の流れについて説明する。図１０は、本変形例に係る映像処理方法の流れを示す説明図である。但し、表示装置２００には、最初の段階でカメラ映像の時系列画像信号が入力されているものとする。また、この時点では動き量が閾値を超過していないものとする（Ｓ２５０）。

まず、表示装置２００に時系列画像信号のストリームが入力されると、映像種別判別部１０２により、その映像種別が判別される。映像種別判別部１０２によりカメラ映像が検出された場合、カメラ映像を示す判別結果として、カメラ映像検出信号が演算処理ブロックＢ２２に入力される（Ｓ２５２）。

このとき、演算処理ブロックＢ２２は、時系列画像信号の映像種別がカメラ映像のままで変化がないため、映像処理ブロックＢ２１に対して補間方法に関する情報の入力を行わなくてもよい。このように、カメラ映像の時系列画像信号が継続的に入力されている期間（カメラ映像検出区間）は、映像処理ブロックＢ２１による補間方法に変更がない状態にある。

ある時点で、映像種別判別部１０２によりフィルム映像が検出された場合（フィルム映像検出区間）、フィルム映像を示す判別結果として、フィルム映像検出信号が演算処理ブロックＢ２２に入力される（Ｓ２５４）。フィルム映像検出信号が入力されると、演算処理ブロックＢ２２により判別結果の信頼性が判別される。この信頼性判別処理の間（信頼性判別区間）、演算処理ブロックＢ２２には、複数のフィルム映像検出信号が入力される（Ｓ２５６）。

これらのフィルム映像検出信号により、映像種別の判別結果の信頼性が確認されると、演算処理ブロックＢ２２により相対時刻が設定され、その相対時刻情報（Ｆ_１）が映像処理ブロックＢ２１に送信される（Ｓ２５８）。

相対時刻情報（Ｆ_ｎ（ｎ＝１〜Ｎ））は、映像種別判別部１０２から継続的にフィルム映像検出信号が入力される度に生成され、映像処理ブロックＢ２１に送信される（Ｓ２６０、Ｓ２６４）。このとき、相対時刻情報（Ｆ_ｎ（ｎ＝１〜Ｎ））が示す相対時刻は、上記の式（１）〜（４）に基づいて設定される。

しかし、ある時点で、動き量の速度超過量（超過１）が速度検出部２１４により入力されると（Ｓ２６６）、演算処理ブロックＢ２２は、上記の式（１４）〜（１７）に基づいて相対時刻を設定しつつ、その相対時刻情報（Ｆ_Ｃ１）を映像処理ブロックＢ２１に送信する（Ｓ２６８）。その後も、速度検出部２１４から逐次的に入力される速度超過量（超過２、…、超過ｎ）に応じて（Ｓ２７０、Ｓ２７４）、継続的に相対時刻情報（Ｆ_Ｃ２、…、Ｆ_Ｃｎ）が送信され続ける（Ｓ２７２、Ｓ２７６）。

さらに、ある時点で、動き量が超過してないことを示す情報が速度検出部２１４から入力されると（Ｓ２７８）、演算処理ブロックＢ２２は、上記の式（９）〜（１２）に基づいて相対時刻を設定しつつ、その相対時刻情報（Ｆ_Ｄ１）を映像処理ブロックＢ２１に送信する（Ｓ２８０）。

その後も、上記の式（９）〜（１２）に基づいて継続的に相対時刻情報（Ｆ_Ｄｎ）（２≦ｎ≦Ｎ）が送信され続ける（Ｓ２８２）。尚、これらの処理の間、動き量の超過／非超過に関わらず、映像種別判別部１０２からは、フィルム映像検出信号が入力される（Ｓ２８４）。

また、ある時点で、映像種別判別部１０２によりカメラ映像が再び検出された場合、カメラ映像を示す判別結果として、カメラ映像検出信号が演算処理ブロックＢ２２に入力される（Ｓ２８６）。カメラ映像検出信号が入力されると、演算処理ブロックＢ２２により判別結果の信頼性が判別される。

この信頼性判別処理の間（信頼性判別区間）、演算処理ブロックＢ２２には、複数のカメラ映像検出信号が入力される（Ｓ２８８）。これらのカメラ映像検出信号により、映像種別の判別結果の信頼性が確認されると、演算処理ブロックＢ２２により相対時刻が設定され、その相対時刻情報（Ｃ）が映像処理ブロックＢ２１に送信される（Ｓ２９０）。

以上、本変形例に係る映像処理方法の流れについて説明した。本変形例に係る映像処理方法によれば、映像種別判別部１０２で検出された映像種別に応じて演算処理ブロックＢ２２により相対時刻情報が生成されると共に、動き量が所定の閾値を超過した場合、又は閾値を下回った場合に、その速度超過量に基づいて相対時刻情報が設定される。

そして、演算処理ブロックＢ２２で設定された相対時刻に基づいて映像処理ブロックＢ２１による補間処理が実行される。その結果、激しい動きやシーンチェンジ等が発生しても、比較的滑らかな映像を実現することができる。また、補間処理の急激な変化が抑制され、視聴者に与える違和感をより効果的に低減させることが可能になる。

［詳細なハードウェア構成例］
上記装置が有する映像信号処理機能は、例えば、図１１に示すハードウェア構成の一部又は全部を用いて実現することが可能である。図１１は、上記装置の映像信号処理手段が有する機能を実現するためのハードウェア構成の一例を詳細に示す説明図である。

図１１に示すように、表示装置１００、２００は、例えば、表示パネル２４、及び本体スタンド５０により構成される。表示パネル２４としては、例えば、液晶表示パネルや有機ＥＬパネル等が用いられる。有機ＥＬパネルは、自発光型の発光素子（有機ＥＬ素子）により形成されており、バックライト等の装置が不要である。そのため、有機ＥＬパネルを採用した表示装置は、バックライト等の装置が別途必要になる液晶表示パネルに比べて薄くて軽く形成される。実際、有機ＥＬパネルの厚さは、約３ｍｍ以下にまで抑えることが可能であると言われている。こうした特性を踏まえ、設置の自由度等を高めるといった観点から、表示パネル２４には、有機ＥＬパネルも使用されていくものと思われる。

ところで、表示装置１００、２００の映像処理手段は、例えば、表示パネル２４等が載置される本体スタンド５０の内部、又は表示パネル２４の裏側等に設けられる。本体スタンド５０には、例えば、衛星放送（ＢＳ，ＣＳ）、地上デジタル放送のチューナ、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等の各種端子が組み込まれる。また、本体スタンド５０には、地上デジタル放送を受信するためのロッドアンテナやパッチアンテナ等の受信用アンテナ（非図示）が設けられる。さらに、本体スタンド５０には、音声出力用のスピーカボックスやユーザ操作用の操作ボタン等が組み込まれる。

ここで、本体スタンド５０に設けられた映像処理手段の構成について説明する。図１１に示すように、本体スタンド５０には、例えば、受信回路５２、５６と、デマルチプレクサ５４、６０と、デスクランブル回路５８と、音声信号処理部６２と、データ信号処理部６４と、映像信号処理部６６と、ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）回路６８と、合成回路７０と、マイコン７２とが含まれる。

この例において、本体スタンド５０には、２系統の受信回路５２、５６、及び、それぞれに対応する２つのデマルチプレクサ５４、６０が設けられている。受信回路５２は、例えば、あるチャンネルを通じて配信される付加情報信号の受信回路である。一方、受信回路５６は、例えば、そのチャンネルを通じて配信される番組放送信号の受信回路である。この映像処理手段には、電源がオンの状態にある場合に、受信回路５２を通じて付加情報信号が受信される。さらに、この映像処理手段には、受信回路５６を通じて番組放送信号が受信される。

マイコン７２は、本体スタンド５０に内蔵された映像処理手段の各構成要素を制御する手段である。マイコン７２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）７２２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）７２４と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）７２６と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）７２８と、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）７３０と、バス７３２とにより構成される。ＣＰＵ７２２、ＲＯＭ７２４、ＲＡＭ７２６、ＥＥＰＲＯＭ７２８、及びＤＲＡＭ７３０は、バス７３２を介して接続される。

ここで、マイコン７２の機能を中心に、映像処理手段による一連の処理について簡単に説明する。マイコン７２は、例えば、電源が遮断される直前に受信していた番組放送信号のチャンネル周波数やプログラムＩＤなどの放送情報をＥＥＰＲＯＭ７２８に保持する機能を有する。そして、マイコン７２は、電源が再び投入された場合に、前回電源を遮断する直前に受信していた番組放送信号の放送情報をＥＥＰＲＯＭ７２８から読み出し、再び選局するための選局制御信号を出力することができる。

この選局制御信号は、バス７３２を介して接続された受信回路５６に入力され、その受信回路５６で処理された後、デスクランブル回路５８による処理を経てデマルチプレクサ６０に入力される。まず、この処理の流れについて説明する。受信回路５６を構成するチューナ５６２は、マイコン７２から入力された選局制御信号が示すチャンネル周波数の番組放送信号を受信する。そして、チューナ５６２により受信された番組放送信号は復調部５６４に入力される。復調部５６４は、所定の変調方式で変調されている当該番組放送信号を復調してストリーム信号を生成する。

そして、復調部５６４により生成されたストリーム信号は誤り訂正部５６６に入力される。誤り訂正部５６６は、入力されたストリーム信号に誤り訂正を施してデスクランブル回路５８に入力する。このとき、誤り訂正部５６６は、例えば、リード・ソロモン符号等の符号化方式で符号化されたストリーム信号に対して誤り訂正を施す。デスクランブル回路５８は、マイコン７２から取得した情報に基づき、誤り訂正後のストリーム信号に施されたスクランブルを解除して番組放送信号を再生する。デスクランブル回路５８によりスクランブル解除された番組放送信号はデマルチプレクサ６０に入力される。

次に、デマルチプレクサ６０に入力された番組放送信号から映像又は音声信号等が出力されるまでの流れについて説明する。デマルチプレクサ６０は、バス７３２を介してマイコン７２から入力された選択制御信号に基づいて番組放送信号から放送番組データを抽出する。そして、デマルチプレクサ６０は、抽出された放送番組データの種類に応じて、その放送番組データを音声信号処理部６２、データ信号処理部６４、又は映像信号処理部６６に入力する。音声信号処理部６２では、入力された放送番組データから音声信号が生成される。データ信号処理部６４では、入力された放送番組データから文字又は画像を表示するための映像信号が生成される。映像信号処理部６６では、入力された放送番組データから映像又は画像を表示するための映像信号が生成される。

音声信号処理部６２により生成された音声信号は音声出力端子（非図示）に出力される。データ信号処理部６４により生成された映像信号は合成回路７０に入力される。同様に、映像信号処理部６６により生成された映像信号は合成回路７０に入力される。さらに、合成回路７０には、ＯＳＤ回路６８により生成された映像信号も入力される。ＯＳＤ回路６８は、例えば、電子番組案内表や各種のガイダンスメッセージ等を表示するための映像信号を生成する。これらの映像信号が入力されると、合成回路７０は、データ信号処理部６４、映像信号処理部６６、及びＯＳＤ回路６８から入力された映像信号を合成し、その合成された映像信号を映像出力端子（非図示）に出力する。

次に、付加情報信号が受信回路５２により受信されてデマルチプレクサ５４に入力されるまでの処理の流れについて簡単に説明する。マイコン７２は、選局されたチャンネル信号に多重化された付加情報信号に基づき、そのチャンネル周波数を特定し、そのチャンネル周波数を示す選局制御信号を受信回路５２に入力する。受信回路５２を構成するチューナ５２２は、マイコン７２から入力された選局制御信号に基づいて付加情報信号を受信する。チューナ５２２により受信された付加情報信号は復調部５２４に入力される。復調部５２４は、チューナ５２２から入力された付加情報信号を復調して誤り訂正部５２６に入力する。誤り訂正部５２６は、復調部５２４から入力された付加情報信号に誤り訂正を施す。そして、誤り訂正部５２６により誤り訂正された後の付加情報信号はデマルチプレクサ５４に入力される。

デマルチプレクサ５４は、マイコン７２による制御に応じて、誤り訂正後の付加情報信号から電子番組案内等の付加情報を抽出する。この抽出された付加情報はマイコン７２に入力される。マイコン７２は、デマルチプレクサ５４により抽出された付加情報をＤＲＡＭ７３０に一時的に記憶しておき、この付加情報に基づいて電子番組案内等のＯＳＤ信号を出力するようにバス７３２を介してＯＳＤ回路６８を制御する。

以上、映像処理手段の機能構成を実現するためのハードウェア構成について具体的な例を挙げて説明した。尚、上記構成は、具体的に、本実施形態に係る技術を適用可能な一例として示したものであり、本実施形態は、上記の例に限定されるものではない。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記の実施形態に係る説明において、相対時刻の算出式として、カメラ映像／フィルム映像間の切り替わりや動き量が所定の閾値を超えた場合の例を挙げて説明したが、次の条件の違いに基づいて係数や数式自体を変更してもよい。例えば、画質モード（明るさ、コントラスト、シャープネス等）の切り替えや、フィルム方式（２−２フィルム／３−２フィルム）の違いが検出された場合に相対時刻の算出式をこれらの状況に合わせて変更してもよい。

また、動き量が閾値を超過して補間画像を原画像に近づける場合と、動き量が閾値を下回って補間画像を等間隔の配置にする場合とで異なる算出式を用いてもよい。さらに、カメラ映像の相対時刻に対する算出式と、フィルム映像の相対時刻に対する算出式とで異なる算出式を用いてもよい。そして、速度検出部２１４による速度超過検出の要因の違い（部分的な速度超過、シーンチェンジ、パン、ズームイン・アウト）に対して異なる算出式を用いてもよい。

上記の例に加え、２つの原画像ＯＰ_１、ＯＰ_２の間に生成される複数の補間画像ＣＦ_Ｆｋ（ｋ＝１〜４）のそれぞれで異なる計算式（関数形）を用いてもよい。もちろん、目標とする時間解像度に応じて生成される補間画像の枚数や目標時刻が異なることは言うまでもない。このように、種々の変形が可能である。

本発明の一実施形態に係る表示装置の簡単な構成例を示す説明図である。 本発明の一実施形態に係る表示装置の機能構成を示す説明図である。 同実施形態に係る映像処理方法の一例を示す説明図である。 同実施形態に係る映像処理方法の一例を示す説明図である。 同実施形態に係る映像処理方法の流れを示す説明図である。 本発明の他の一実施形態に係る表示装置の機能構成を示す説明図である。 同実施形態に係る映像処理方法の一例を示す説明図である。 同実施形態に係る映像処理方法の流れを示す説明図である。 同実施形態に係る映像処理方法の一例を示す説明図である。 同実施形態に係る映像処理方法の流れを示す説明図である。 本発明の一実施形態に係る表示装置のハードウェア構成の一例を示す説明図である。

符号の説明

１００、２００ 表示装置
１０ 地上波放送用アンテナ
１２ 地上波チューナ
１４ 衛星放送用アンテナ
１６ 衛星チューナ
１８ 入力端子
２０ 入力切替部
２２、６６ 映像信号処理部
２４ 表示パネル
２６、６２ 音声信号処理部
２８ 音声出力部
５０ 本体スタンド
５２、５６ 受信回路
５２２、５６２ チューナ
５２４、５６４ 復調部
５２６、５６６ 誤り訂正部
５４、６０ デマルチプレクサ
５８ デスクランブル回路
６４ データ信号処理部
６８ ＯＳＤ回路
７０ 合成回路
７２ マイコン
７２２ ＣＰＵ
７２４ ＲＯＭ
７２６ ＲＡＭ
７２８ ＥＥＰＲＯＭ
７３０ ＤＲＡＭ
７３２ バス
１０２ 映像種別判別部
１０４ 信頼性判断部
１０６ 判別結果記憶部
１０８ 補間方法選択部
１１０、２１０ 相対時刻設定部
１１２ デインターレース／プルダウン解除部
１１４、２１４ 速度検出部
１１６ 補間処理部
Ｂ１１、Ｂ２１ 映像処理ブロック
Ｂ１２、Ｂ２２ 演算処理ブロック
ＯＰ_１、ＯＰ_２、ＯＰ_３ 原画像
ＣＦ_Ｃ１、ＣＦ_Ｃ２、ＣＦ_Ｆ１、ＣＦ_Ｆ２、ＣＦ_Ｆ３、ＣＦ_Ｆ４ 補間画像

Claims (7)

1. 連続的に入力される時系列画像信号の間に動きベクトルに基づく補間画像信号を生成して時間解像度を高める映像処理装置であって、
   前記時系列画像信号間における所定の特徴変化を検出する特徴変化検出部と、
   前記補間画像信号の生成時刻を設定する生成時刻設定部と、
   前記生成時刻設定部により設定された生成時刻の補間画像信号を生成する補間画像信号生成部と、
   を備え、
   前記生成時刻設定部は、前記特徴変化検出部により特徴変化が検出された時系列画像信号の後に前記生成時刻を設定する際に、前記補間画像信号の生成時刻を時系列画像信号間の等間隔な時刻より最寄りの時系列画像信号に近づけて設定し、かつ、前記特徴変化が検出された時系列画像信号を基準とする経過時間に応じて補間画像信号の生成時刻を前記時系列画像信号間の等間隔な時刻に徐々に近づけて設定する、
   映像処理装置。
2. 前記生成時刻設定部は、前記特徴変化検出部により特徴変化が検出された時系列画像信号と、前記生成時刻の前に位置する時系列画像信号との間の時刻差が大きくなるに連れて前記生成時刻の近づけ度合いが小さくなるように当該生成時刻を設定する、
   請求項１に記載の映像処理装置。
3. 前記特徴変化検出部は、前記所定の特徴変化として、前記時系列画像信号間における時間解像度の違いを検出する、
   請求項１に記載の映像処理装置。
4. 前記特徴変化検出部は、前記所定の特徴変化として、前記時系列画像信号間の動き量が所定値を超えるか否かを検出する、
   請求項１に記載の映像処理装置。
5. 前記生成時刻設定部は、前記時系列画像信号間の動き量が大きくなるに連れて前記生成時刻の近づけ度合いが大きくなるように当該生成時刻を設定する、
   請求項１に記載の映像処理装置。
6. 前記特徴変化検出部は、前記所定の特徴変化として、前記時系列画像信号間における映像シーンの切り替わりを検出する、
   請求項１に記載の映像処理装置。
7. 連続的に入力される時系列画像信号の間に動きベクトルに基づく補間画像信号を生成して時間解像度を高めるための映像処理方法であって、
   前記時系列画像信号間における所定の特徴変化が検出される特徴変化検出ステップと、
   前記補間画像信号の生成時刻が設定される生成時刻設定ステップと、
   前記生成時刻設定ステップにおいて設定された生成時刻の補間画像信号が生成される補間画像信号生成ステップと、
   を含み、
   前記生成時刻設定ステップでは、前記特徴変化検出ステップにおいて特徴変化が検出された時系列画像信号の後に前記生成時刻が設定される際に、前記補間画像信号の生成時刻を時系列画像信号間の等間隔な時刻より最寄りの時系列画像信号に近づけて設定し、かつ、前記特徴変化が検出された時系列画像信号を基準とする経過時間に応じて補間画像信号の生成時刻を前記時系列画像信号間の等間隔な時刻に徐々に近づけて設定する、
   映像処理方法。

Images