JPWO2012117464A1 - 立体映像処理装置および方法ならびに立体映像表示装置 - Google Patents

Abstract

第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理装置は、入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部（２０３）と、入力映像信号のフレームおよび動きベクトルに基づいて補間フレームを生成し、入力映像信号のフレームおよび補間フレームを時間軸方向に並べて出力映像信号を生成する出力画像生成部（２０６）と、動きベクトルに応じて、補間フレームの生成に係る補間位相を制御する出力制御部（２０４）とを備えている。

Description

本発明は、立体映像信号の左右それぞれの画像のフレーム間の動きベクトルを検出し、検出した動きベクトルを用いて補間フレームの生成を行う立体映像処理装置、特に２４Ｈｚのフレーム周波数で撮影された立体映画素材を６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示を行う立体映像処理装置に関するものである。

近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。

家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。

一般に、映画は２４Ｈｚのフレーム周波数で撮影されているが、家庭用ＴＶではＮＴＳＣ方式による６０Ｈｚのフレーム周波数で表示されることが多い。従来、２４Ｈｚの二次元映像を６０Ｈｚの映像に変換する場合、３：２プルダウンによるフレーム周波数変換（テレシネ変換）が用いられてきた。３：２プルダウンでは、２４Ｈｚの１フレームが６０Ｈｚの３フレームと２フレームの交互に表示される。図１１は、画面上をボールが横切るシーンを２４Ｈｚで撮影し、３：２プルダウンにより６０Ｈｚで表示する場合の例を示す。

人がこの例のようにほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図１２は、図１１の映像例のボールの表示位置と時間との関係をグラフ化したものである。図１２に示したように、視線は表示されているボールを追いかけ、図中矢印で示した視線の移動軌跡のように移動する。ここでフレーム２、およびフレーム７ではボールの位置と視線の移動軌跡とが一致しているが、それ以外のフレームではずれている。このため、フレーム１、フレーム４、フレーム６では視線が追いかけているボールの位置よりも後ろ側に、フレーム３、フレーム５、フレーム８では前側に、それぞれ、ボールがあるように見えてしまい、均一に動いているボールが前後にぶれて見える。このような状態をフィルム・ジャダーと呼ぶ。

さらに立体映像の場合、フィルム・ジャダーは画質により大きな影響を与える。図１１のシーンを左右それぞれ２４Ｈｚで立体撮影した場合を例に説明する。図１３は、２４Ｈｚの立体映像を左右それぞれ３：２プルダウンにより６０Ｈｚの映像に変換し、１２０Ｈｚでフレームシーケンシャル表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図１４は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図１４からわかるとおり、２４Ｈｚの立体映像を３：２プルダウンにより６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示すると、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとして、出力画像の両眼視差量がＮ−２／５ＶからＮ＋３／５Ｖの間で不均一に変動することになる。

両眼視差方式の立体映像においては、視聴者は両眼視差量を元に立体感を知覚するため、図１４に示すとおりフィルム・ジャダーにより両眼視差量がフレーム間で不均一に変動すると、視聴者は立体感を正しく知覚できない可能性がある。また、立体視が困難な映像を無理に立体視しようとすることで、目の疲労の原因となる可能性がある。

以上のような３：２プルダウンに起因する画質劣化を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて映像信号のフレーム周波数変換を行うことが可能である。従来、２４Ｈｚの二次元映像から動きベクトルを検出し、この動きベクトルを用いて６０Ｈｚの表示タイミングにあわせた補間フレームを生成して表示することで、不自然さのない、滑らかな動きの表示を可能にしている（例えば、特許文献１参照）。このようなフレーム周波数変換はフィルム・デジャダーと呼ばれている。

図１５は、図１１のシーンをフィルム・デジャダーした場合のボールの表示位置と時間との関係をグラフ化したものである。フィルム・デジャダーによって、フレーム３、フレーム４では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．４、＋０．８フレーム分位相をずらした補間フレームが生成および表示され、フレーム５、フレーム６では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．２、＋０．６フレーム分位相をずらした補間フレームが生成および表示される。また、フレーム２、フレーム７では２４Ｈｚの原フレームがそのまま表示される。この結果、移動するボールの表示位置が視線の移動軌跡に一致し、フィルム・ジャダーのない、滑らかな動きとして見ることができる。また、立体映像の場合もフィルム・デジャダーにより移動物体を視線の移動軌跡に一致するような補間フレームを生成することで、両眼視差量が一定となり視聴者は容易に立体感を得ることができる。

特開平０９−１７２６１８号公報

フレーム周波数変換で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。

このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。ハロは間違った補間フレームが生成されることによるものであるため、表示されるフレームのうち補間フレームの割合が大きい場合や、補間フレームが表示される時間が長い場合に顕著に発生する。

また、２４Ｈｚの立体映像を６０Ｈｚの立体映像に変換して表示する場合、補間の誤りにより左右画像間で対応がとれず立体視できない映像となる可能性がある。この結果、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。

上記問題に鑑み、本発明は、立体映像に好適なフレーム周波数変換を行う立体映像処理装置を提供することを課題とする。

上記課題を解決するための手段として、第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、前記動きベクトルに応じて、前記補間フレームの生成に係る補間位相を制御する出力制御部とを備えている。

これによると、入力映像信号から検出した動きベクトルに応じて、補間フレームの生成に係る補間位相が制御されるため、動きに応じた適切な補間が可能となり、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。

前記出力制御部は、前記動きベクトルが閾値よりも大きいブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。

また、前記出力制御部は、複数フレームに亘って前記動きベクトルの方向が一定であるブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。

上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。

以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。

本発明の一実施形態に係る立体映像表示装置の構成を示す図 動きベクトル検出を説明する図 入力映像と補間フレームの生成のタイミング関係を示す図 補間フレームの生成を説明する図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図 動きベクトルを考慮した場合の入力映像と補間フレームの生成のタイミング関係を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図 動きが連続しない場合の動きベクトルを示す図 ３：２プルダウンを示す図 ３：２プルダウンされた映像の見え方を示す図 ３：２プルダウンされた立体映像の見え方を示す図 ３：２プルダウンされた立体映像での視差量を示す図 フィルム・デジャダーされた映像の見え方を示す図

以下に、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有するフレーム周波数変換部２０を２つ備えている。

入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が２４Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。

立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つのフレーム周波数変換部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。

表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。

以上のように、立体映像表示装置１００は、入力された２４Ｈｚの立体映像信号１０１のフレーム周波数変換を行って１２０Ｈｚで立体表示を行うものである。

次に、フレーム周波数変換部２０において、２４Ｈｚの入力映像信号１０２を６０Ｈｚの出力映像信号１０３へフレーム周波数変換（フィルム・デジャダー）する場合について説明する。

フレーム周波数変換部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。

映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。

ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。

このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。

なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。

図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。

ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。

出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。

映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。

ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。

出力制御部２０４は図３に示すように、以下のような５フレームの周期で、フレーム選択信号１０８、ベクトル選択信号１０９および補間位相制御信号１０７を出力する。

１）前フレームとしてフレーム（０）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトルは不要である。

２）前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．２を出力する。

３）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。

４）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。

５）前後フレーム映像信号１０５にフレーム（１）とフレーム（２）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（２）とフレーム（１）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．８を出力する。

この結果、入力映像信号１０２をフレーム（０）、フレーム（１）、フレーム（２）、フレーム（３）、フレーム（４）、フレーム（５）とし、これを基準とした場合、出力映像信号１０３はフレーム（０）、フレーム（０．２）、フレーム（１）、フレーム（１）、フレーム（１．８）、フレーム（２）、フレーム（２．２）、フレーム（３）、フレーム（３）、フレーム（３．８）、フレーム（４）のようになる。

出力制御部２０４は、上記のように補間フレームの生成に必要な入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて、出力制御部２０４は補間位相制御信号１０７を出力する。

出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレーム間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。

補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から１／５の補間位相に補間フレームを生成する例を示している。

図５は、図１１のシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図６は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図６からわかるとおり、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとすると、多くのフレーム間で出力画像の両眼視差量がＮ−１／５ＶからＮ＋２／５Ｖの間で変動する。図１４と比較すると、本実施形態に係る立体映像表示装置１００で表示される立体映像では、視差量の変動が抑制されていることがわかる。これにより、高品位な立体表示が可能となる。

また、上記のように補間位相を制御することにより、一般的な２４Ｈｚから６０Ｈｚへのフレーム周波数変換（フィルム・デジャダー）では出力フレームの５フレームのうち４フレームが生成された補間フレームであるのに対し、本明細書に開示した補間方法では、５フレームのうち２フレームのみが生成された補間フレームとなる。前述のように出力映像信号に含まれる、動きベクトルを使って生成された補間フレームの割合は、間違った動きベクトルが検出された場合の画質劣化の大きさに影響を与えるものであるため、本明細書に開示した補間方法では従来よりも画質劣化の小さいフレーム周波数変換が可能となる。またこの際、生成する補間フレームは半分であるため、補間フレームの生成に必要な処理量は従来のフィルム・デジャダーの半分にすることができる。

さらには、本明細書に開示したフレーム周波数変換方法では、生成する補間フレームの補間位相として０．２と０．８のみを用いる。前述のようにフレームを生成する補間位相が入力フレームに近付くと、入力フレームからの移動量が小さくなるため、間違った動きベクトルの影響が小さくなる。このため本明細書に開示した補間方法では、０．４、０．６の補間位相を用いる従来のフィルム・デジャダーに比べて、間違った動きベクトルが画質に与える影響が小さい。

すなわち本明細書に開示したフレーム周波数変換方法は、補間フレームの割合が小さく、かつ入力フレームに近い補間位相のみを用いるため、間違った動きベクトルが検出された場合の画質劣化が小さい。

さらに、出力制御部２０４は、検出動きベクトル１１０に応じて、補間フレームの生成に係る補間位相を制御する。具体的には、図７に示したように、出力制御部２０４は検出動きベクトル１１０を監視し、１フレーム内の動きベクトルの平均値、または最大値をもとに、フレーム間の動きの大きさが所定の範囲外であると判定した場合、当該動きベクトルを用いて補間フレームを出力する期間、補間位相制御信号１０７に０を出力する。このとき、補間フレームの生成は必要ないため、補間用動きベクトル１０６も出力しない。一方、フレーム間の動きの大きさが所定の範囲内であると判断した場合、出力制御部２０４は前述のフィルム・デジャダー処理を行う。

図８は、ボールの動きが比較的遅いシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図９は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図９と図１４を比較すると、ボールの動きが遅くなると入力画像のフレーム間での動き量がＶ’に減少し、フレーム間での両眼視差量の変動量が小さくなることがわかる。動きがある一定以下の大きさとなると、フレーム間での両眼視差量の変動が画質に与える影響は軽微なものとなる。逆に、動きが非常に大きくなると、視線がボールを追うことができずフィルム・ジャダーが認識されない。

このように、本発明が開示するフレーム周波数変換方法は、動きの大きさが所定の範囲内の場合についてのみ、左右それぞれの画像から検出した動きベクトルに基づき補間画像を生成することで、従来の３：２プルダウン表示の場合と比較して視差量の変動を抑制することができる。これにより、高品位な立体表示が可能となる。また、動きの大きさが所定の範囲外の場合、補間画像を生成しないため、補間の誤りによる画質劣化を抑制できる。

以上のように、本明細書に開示したフレーム周波数変換方法によれば、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。

なお、上記の実施の形態では、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号１０２からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号１０３を生成する場合を前提とした説明を行っているが、フレーム周波数はこの例に限定されない。入力映像信号１０２および出力映像信号１０３は任意のフレーム周波数の映像信号であってもよい。

また、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体を含む画像領域のみについて補間画像を生成する。これにより、動く物体を含む画像領域については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。

また、上記の実施の形態では、出力制御部２０４は動きベクトルの大きさを元に補間画像の生成の有無を判定しているが、複数フレームに亘って物体の動きが連続しているか否かをもとに補間画像の生成の有無を判定してもよい。具体的には、出力制御部２０４は、複数フレームに亘って検出動きベクトル１１０の方向が一定であるかどうかを判定する。例えば、図１０に示した例では、検出動きベクトル１１０の方向が一定ではない。このような場合は物体の動きが連続しておらず、視線が物体を追うことができずフィルム・ジャダーが認識されない。よって、動きが連続している場合についてのみ、左右それぞれの画像から検出した動きベクトルに基づき補間画像を生成すると、高品位な立体表示が可能となる。また、動きが連続していない場合、補間画像を生成しないため、補間の誤りによる画質劣化を抑制できる。

また、上記の実施の形態では、２４Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１が３：２プルダウンされた６０Ｈｚの立体映像信号であってもかまわない。３：２プルダウンされた６０Ｈｚの立体映像信号から、３：２プルダウンされる前の２４Ｈｚの立体映像信号を適切に選択することができれば、同様の処理を行うことが可能である。

また、図３および図７に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。

また、生成する補間フレームの補間位相は０．２および０．８に限定されない。これらの近傍値、例えば、０．１９と０．８１を用いてもよい。

さらに、いきなり０．２あるいは０．８フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．２あるいは０．８に近づけるようにしてもよい。同様に、補間フレームの生成を停止する場合、補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させればよい。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。

また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。

また、上記の実施の形態では、立体映像処理装置２はフレーム周波数変換部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個のフレーム周波数変換部２０を時分割共有するようにしてもよい。

本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用してフレーム周波数を変換して表示する装置等に用いることができる。

１ 入力画像選択部
２ 立体映像処理装置
２０ フレーム周波数変換部
２０３ ベクトル検出部
２０４ 出力制御部
２０６ 出力画像生成部
３ 表示部

本発明は、立体映像信号の左右それぞれの画像のフレーム間の動きベクトルを検出し、検出した動きベクトルを用いて補間フレームの生成を行う立体映像処理装置、特に２４Ｈｚのフレーム周波数で撮影された立体映画素材を６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示を行う立体映像処理装置に関するものである。

近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。

家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。

一般に、映画は２４Ｈｚのフレーム周波数で撮影されているが、家庭用ＴＶではＮＴＳＣ方式による６０Ｈｚのフレーム周波数で表示されることが多い。従来、２４Ｈｚの二次元映像を６０Ｈｚの映像に変換する場合、３：２プルダウンによるフレーム周波数変換（テレシネ変換）が用いられてきた。３：２プルダウンでは、２４Ｈｚの１フレームが６０Ｈｚの３フレームと２フレームの交互に表示される。図１１は、画面上をボールが横切るシーンを２４Ｈｚで撮影し、３：２プルダウンにより６０Ｈｚで表示する場合の例を示す。

人がこの例のようにほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図１２は、図１１の映像例のボールの表示位置と時間との関係をグラフ化したものである。図１２に示したように、視線は表示されているボールを追いかけ、図中矢印で示した視線の移動軌跡のように移動する。ここでフレーム２、およびフレーム７ではボールの位置と視線の移動軌跡とが一致しているが、それ以外のフレームではずれている。このため、フレーム１、フレーム４、フレーム６では視線が追いかけているボールの位置よりも後ろ側に、フレーム３、フレーム５、フレーム８では前側に、それぞれ、ボールがあるように見えてしまい、均一に動いているボールが前後にぶれて見える。このような状態をフィルム・ジャダーと呼ぶ。

さらに立体映像の場合、フィルム・ジャダーは画質により大きな影響を与える。図１１のシーンを左右それぞれ２４Ｈｚで立体撮影した場合を例に説明する。図１３は、２４Ｈｚの立体映像を左右それぞれ３：２プルダウンにより６０Ｈｚの映像に変換し、１２０Ｈｚでフレームシーケンシャル表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図１４は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図１４からわかるとおり、２４Ｈｚの立体映像を３：２プルダウンにより６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示すると、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとして、出力画像の両眼視差量がＮ−２／５ＶからＮ＋３／５Ｖの間で不均一に変動することになる。

両眼視差方式の立体映像においては、視聴者は両眼視差量を元に立体感を知覚するため、図１４に示すとおりフィルム・ジャダーにより両眼視差量がフレーム間で不均一に変動すると、視聴者は立体感を正しく知覚できない可能性がある。また、立体視が困難な映像を無理に立体視しようとすることで、目の疲労の原因となる可能性がある。

以上のような３：２プルダウンに起因する画質劣化を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて映像信号のフレーム周波数変換を行うことが可能である。従来、２４Ｈｚの二次元映像から動きベクトルを検出し、この動きベクトルを用いて６０Ｈｚの表示タイミングにあわせた補間フレームを生成して表示することで、不自然さのない、滑らかな動きの表示を可能にしている（例えば、特許文献１参照）。このようなフレーム周波数変換はフィルム・デジャダーと呼ばれている。

図１５は、図１１のシーンをフィルム・デジャダーした場合のボールの表示位置と時間との関係をグラフ化したものである。フィルム・デジャダーによって、フレーム３、フレーム４では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．４、＋０．８フレーム分位相をずらした補間フレームが生成および表示され、フレーム５、フレーム６では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．２、＋０．６フレーム分位相をずらした補間フレームが生成および表示される。また、フレーム２、フレーム７では２４Ｈｚの原フレームがそのまま表示される。この結果、移動するボールの表示位置が視線の移動軌跡に一致し、フィルム・ジャダーのない、滑らかな動きとして見ることができる。また、立体映像の場合もフィルム・デジャダーにより移動物体を視線の移動軌跡に一致するような補間フレームを生成することで、両眼視差量が一定となり視聴者は容易に立体感を得ることができる。

特開平０９−１７２６１８号公報

フレーム周波数変換で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。

このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。ハロは間違った補間フレームが生成されることによるものであるため、表示されるフレームのうち補間フレームの割合が大きい場合や、補間フレームが表示される時間が長い場合に顕著に発生する。

また、２４Ｈｚの立体映像を６０Ｈｚの立体映像に変換して表示する場合、補間の誤りにより左右画像間で対応がとれず立体視できない映像となる可能性がある。この結果、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。

上記問題に鑑み、本発明は、立体映像に好適なフレーム周波数変換を行う立体映像処理装置を提供することを課題とする。

上記課題を解決するための手段として、第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、前記動きベクトルに応じて、前記補間フレームの生成に係る補間位相を制御する出力制御部とを備えている。

これによると、入力映像信号から検出した動きベクトルに応じて、補間フレームの生成に係る補間位相が制御されるため、動きに応じた適切な補間が可能となり、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。

前記出力制御部は、前記動きベクトルが閾値よりも大きいブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。

また、前記出力制御部は、複数フレームに亘って前記動きベクトルの方向が一定であるブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。

上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。

以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。

本発明の一実施形態に係る立体映像表示装置の構成を示す図 動きベクトル検出を説明する図 入力映像と補間フレームの生成のタイミング関係を示す図 補間フレームの生成を説明する図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図 動きベクトルを考慮した場合の入力映像と補間フレームの生成のタイミング関係を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図 動きが連続しない場合の動きベクトルを示す図 ３：２プルダウンを示す図 ３：２プルダウンされた映像の見え方を示す図 ３：２プルダウンされた立体映像の見え方を示す図 ３：２プルダウンされた立体映像での視差量を示す図 フィルム・デジャダーされた映像の見え方を示す図

以下に、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有するフレーム周波数変換部２０を２つ備えている。

入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が２４Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。

立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つのフレーム周波数変換部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。

表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。

以上のように、立体映像表示装置１００は、入力された２４Ｈｚの立体映像信号１０１のフレーム周波数変換を行って１２０Ｈｚで立体表示を行うものである。

次に、フレーム周波数変換部２０において、２４Ｈｚの入力映像信号１０２を６０Ｈｚの出力映像信号１０３へフレーム周波数変換（フィルム・デジャダー）する場合について説明する。

フレーム周波数変換部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。

映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。

ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。

このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。

なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。

図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。

ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。

出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。

映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。

ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。

出力制御部２０４は図３に示すように、以下のような５フレームの周期で、フレーム選択信号１０８、ベクトル選択信号１０９および補間位相制御信号１０７を出力する。

１）前フレームとしてフレーム（０）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。

２）前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．２を出力する。

３）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。

４）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。

５）前後フレーム映像信号１０５にフレーム（１）とフレーム（２）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（２）とフレーム（１）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．８を出力する。

この結果、入力映像信号１０２をフレーム（０）、フレーム（１）、フレーム（２）、フレーム（３）、フレーム（４）、フレーム（５）とし、これを基準とした場合、出力映像信号１０３はフレーム（０）、フレーム（０．２）、フレーム（１）、フレーム（１）、フレーム（１．８）、フレーム（２）、フレーム（２．２）、フレーム（３）、フレーム（３）、フレーム（３．８）、フレーム（４）のようになる。例えば、フレーム（０）からフレーム（２．２）までの７フレームは図５および図６における左または右フレーム２から８にそれぞれ該当する。

出力制御部２０４は、上記のように補間フレームの生成に必要な入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて、出力制御部２０４は補間位相制御信号１０７を出力する。

出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレーム間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。

補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から１／５の補間位相に補間フレームを生成する例を示している。

図５は、図１１のシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図６は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図６からわかるとおり、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとすると、多くのフレーム間で出力画像の両眼視差量がＮ−１／５ＶからＮ＋２／５Ｖの間で変動する。図１４と比較すると、本実施形態に係る立体映像表示装置１００で表示される立体映像では、視差量の変動が抑制されていることがわかる。これにより、高品位な立体表示が可能となる。

また、上記のように補間位相を制御することにより、一般的な２４Ｈｚから６０Ｈｚへのフレーム周波数変換（フィルム・デジャダー）では出力フレームの５フレームのうち４フレームが生成された補間フレームであるのに対し、本明細書に開示した補間方法では、５フレームのうち２フレームのみが生成された補間フレームとなる。前述のように出力映像信号に含まれる、動きベクトルを使って生成された補間フレームの割合は、間違った動きベクトルが検出された場合の画質劣化の大きさに影響を与えるものであるため、本明細書に開示した補間方法では従来よりも画質劣化の小さいフレーム周波数変換が可能となる。またこの際、生成する補間フレームは半分であるため、補間フレームの生成に必要な処理量は従来のフィルム・デジャダーの半分にすることができる。

さらには、本明細書に開示したフレーム周波数変換方法では、生成する補間フレームの補間位相として０．２と０．８のみを用いる。前述のようにフレームを生成する補間位相が入力フレームに近付くと、入力フレームからの移動量が小さくなるため、間違った動きベクトルの影響が小さくなる。このため本明細書に開示した補間方法では、０．４、０．６の補間位相を用いる従来のフィルム・デジャダーに比べて、間違った動きベクトルが画質に与える影響が小さい。

すなわち本明細書に開示したフレーム周波数変換方法は、補間フレームの割合が小さく、かつ入力フレームに近い補間位相のみを用いるため、間違った動きベクトルが検出された場合の画質劣化が小さい。

さらに、出力制御部２０４は、検出動きベクトル１１０に応じて、補間フレームの生成に係る補間位相を制御する。具体的には、図７に示したように、出力制御部２０４は検出動きベクトル１１０を監視し、１フレーム内の動きベクトルの平均値、または最大値をもとに、フレーム間の動きの大きさが所定の範囲外であると判定した場合、当該動きベクトルを用いて補間フレームを出力する期間、補間位相制御信号１０７に０を出力する。このとき、補間フレームの生成は必要ないため、補間用動きベクトル１０６も出力しない。一方、フレーム間の動きの大きさが所定の範囲内であると判断した場合、出力制御部２０４は前述のフィルム・デジャダー処理を行う。

図８は、ボールの動きが比較的遅いシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図９は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図９と図１４を比較すると、ボールの動きが遅くなると入力画像のフレーム間での動き量がＶ’に減少し、フレーム間での両眼視差量の変動量が小さくなることがわかる。動きがある一定以下の大きさとなると、フレーム間での両眼視差量の変動が画質に与える影響は軽微なものとなる。逆に、動きが非常に大きくなると、視線がボールを追うことができずフィルム・ジャダーが認識されない。

このように、本発明が開示するフレーム周波数変換方法は、動きの大きさが所定の範囲内の場合についてのみ、左右それぞれの画像から検出した動きベクトルに基づき補間画像を生成することで、従来の３：２プルダウン表示の場合と比較して視差量の変動を抑制することができる。これにより、高品位な立体表示が可能となる。また、動きの大きさが所定の範囲外の場合、補間画像を生成しないため、補間の誤りによる画質劣化を抑制できる。

以上のように、本明細書に開示したフレーム周波数変換方法によれば、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。

なお、上記の実施の形態では、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号１０２からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号１０３を生成する場合を前提とした説明を行っているが、フレーム周波数はこの例に限定されない。入力映像信号１０２および出力映像信号１０３は任意のフレーム周波数の映像信号であってもよい。

また、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体を含む画像領域のみについて補間画像を生成する。これにより、動く物体を含む画像領域については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。

また、上記の実施の形態では、出力制御部２０４は動きベクトルの大きさを元に補間画像の生成の有無を判定しているが、複数フレームに亘って物体の動きが連続しているか否かをもとに補間画像の生成の有無を判定してもよい。具体的には、出力制御部２０４は、複数フレームに亘って検出動きベクトル１１０の方向が一定であるかどうかを判定する。例えば、図１０に示した例では、検出動きベクトル１１０の方向が一定ではない。このような場合は物体の動きが連続しておらず、視線が物体を追うことができずフィルム・ジャダーが認識されない。よって、動きが連続している場合についてのみ、左右それぞれの画像から検出した動きベクトルに基づき補間画像を生成すると、高品位な立体表示が可能となる。また、動きが連続していない場合、補間画像を生成しないため、補間の誤りによる画質劣化を抑制できる。

また、上記の実施の形態では、２４Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１が３：２プルダウンされた６０Ｈｚの立体映像信号であってもかまわない。３：２プルダウンされた６０Ｈｚの立体映像信号から、３：２プルダウンされる前の２４Ｈｚの立体映像信号を適切に選択することができれば、同様の処理を行うことが可能である。

また、図３および図７に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。

また、生成する補間フレームの補間位相は０．２および０．８に限定されない。これらの近傍値、例えば、０．１９と０．８１を用いてもよい。

さらに、いきなり０．２あるいは０．８フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．２あるいは０．８に近づけるようにしてもよい。同様に、補間フレームの生成を停止する場合、補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させればよい。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。

また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。

また、上記の実施の形態では、立体映像処理装置２はフレーム周波数変換部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個のフレーム周波数変換部２０を時分割共有するようにしてもよい。

本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用してフレーム周波数を変換して表示する装置等に用いることができる。

１ 入力画像選択部
２ 立体映像処理装置
２０ フレーム周波数変換部
２０３ ベクトル検出部
２０４ 出力制御部
２０６ 出力画像生成部
３ 表示部

本発明は、立体映像信号の左右それぞれの画像のフレーム間の動きベクトルを検出し、検出した動きベクトルを用いて補間フレームの生成を行う立体映像処理装置、特に２４Ｈｚのフレーム周波数で撮影された立体映画素材を６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示を行う立体映像処理装置に関するものである。

近年、視聴者の左右の目に異なる画像を提示することにより、立体感を認識させる両眼視差方式の３Ｄ映画が急速に普及しており、映画館での３Ｄ映画上映や、家庭での３Ｄ対応機器を用いた３Ｄ映画視聴が一般的なものになってきている。

家庭での立体視聴の代表的な方式である液晶シャッターメガネ方式では、ディスプレイには左画像と右画像が交互に表示され（フレームシーケンシャル表示）、視聴者は表示と同期して左目または右目に入る画像を遮断する液晶シャッターメガネをかける。これにより、視聴者の左目には左画像、右目には右画像のみが認識されるため、左右画像の視差により視聴者は立体感を知覚できる。

一般に、映画は２４Ｈｚのフレーム周波数で撮影されているが、家庭用ＴＶではＮＴＳＣ方式による６０Ｈｚのフレーム周波数で表示されることが多い。従来、２４Ｈｚの二次元映像を６０Ｈｚの映像に変換する場合、３：２プルダウンによるフレーム周波数変換（テレシネ変換）が用いられてきた。３：２プルダウンでは、２４Ｈｚの１フレームが６０Ｈｚの３フレームと２フレームの交互に表示される。図１１は、画面上をボールが横切るシーンを２４Ｈｚで撮影し、３：２プルダウンにより６０Ｈｚで表示する場合の例を示す。

人がこの例のようにほぼ均一に動くものを見る場合、視線が動きを追いかけるように移動することが知られている。図１２は、図１１の映像例のボールの表示位置と時間との関係をグラフ化したものである。図１２に示したように、視線は表示されているボールを追いかけ、図中矢印で示した視線の移動軌跡のように移動する。ここでフレーム２、およびフレーム７ではボールの位置と視線の移動軌跡とが一致しているが、それ以外のフレームではずれている。このため、フレーム１、フレーム４、フレーム６では視線が追いかけているボールの位置よりも後ろ側に、フレーム３、フレーム５、フレーム８では前側に、それぞれ、ボールがあるように見えてしまい、均一に動いているボールが前後にぶれて見える。このような状態をフィルム・ジャダーと呼ぶ。

さらに立体映像の場合、フィルム・ジャダーは画質により大きな影響を与える。図１１のシーンを左右それぞれ２４Ｈｚで立体撮影した場合を例に説明する。図１３は、２４Ｈｚの立体映像を左右それぞれ３：２プルダウンにより６０Ｈｚの映像に変換し、１２０Ｈｚでフレームシーケンシャル表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図１４は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図１４からわかるとおり、２４Ｈｚの立体映像を３：２プルダウンにより６０Ｈｚの立体映像に変換し、１２０Ｈｚでフレームシーケンシャル表示すると、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとして、出力画像の両眼視差量がＮ−２／５ＶからＮ＋３／５Ｖの間で不均一に変動することになる。

両眼視差方式の立体映像においては、視聴者は両眼視差量を元に立体感を知覚するため、図１４に示すとおりフィルム・ジャダーにより両眼視差量がフレーム間で不均一に変動すると、視聴者は立体感を正しく知覚できない可能性がある。また、立体視が困難な映像を無理に立体視しようとすることで、目の疲労の原因となる可能性がある。

以上のような３：２プルダウンに起因する画質劣化を抑制するために、映像信号から動きベクトルを検出し、この検出した動きベクトルを用いて映像信号のフレーム周波数変換を行うことが可能である。従来、２４Ｈｚの二次元映像から動きベクトルを検出し、この動きベクトルを用いて６０Ｈｚの表示タイミングにあわせた補間フレームを生成して表示することで、不自然さのない、滑らかな動きの表示を可能にしている（例えば、特許文献１参照）。このようなフレーム周波数変換はフィルム・デジャダーと呼ばれている。

図１５は、図１１のシーンをフィルム・デジャダーした場合のボールの表示位置と時間との関係をグラフ化したものである。フィルム・デジャダーによって、フレーム３、フレーム４では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．４、＋０．８フレーム分位相をずらした補間フレームが生成および表示され、フレーム５、フレーム６では２４Ｈｚの原フレームからそれぞれ補間位相として＋０．２、＋０．６フレーム分位相をずらした補間フレームが生成および表示される。また、フレーム２、フレーム７では２４Ｈｚの原フレームがそのまま表示される。この結果、移動するボールの表示位置が視線の移動軌跡に一致し、フィルム・ジャダーのない、滑らかな動きとして見ることができる。また、立体映像の場合もフィルム・デジャダーにより移動物体を視線の移動軌跡に一致するような補間フレームを生成することで、両眼視差量が一定となり視聴者は容易に立体感を得ることができる。

特開平０９−１７２６１８号公報

フレーム周波数変換で使用する動きベクトルは、連続するフレームを比較することによって検出するものであるため、物体の移動に関しては正しく検出することができるが、回転や拡大／縮小といった動きは正しく検出できない場合がある。また、動く物体の背景に隠れる領域や、背景から現れる領域、また物体の変形など、連続するフレームの一方にしか含まれない領域についても正しい動きベクトルを検出することはできない。さらには、通常動きベクトルの検出は検出を行う対象のブロックを基準として、所定の範囲を探索することで検出することが多く、この探索範囲を超える動きがある場合にも正しい動きベクトルが検出できないことがある。

このように正しい動きベクトルが検出されない場合、補間フレーム、および補間フレームが連続する映像において、動く物体等の周囲にハロ（Ｈａｌｏ）と呼ばれるノイズが発生することが知られている。ハロは間違った補間フレームが生成されることによるものであるため、表示されるフレームのうち補間フレームの割合が大きい場合や、補間フレームが表示される時間が長い場合に顕著に発生する。

また、２４Ｈｚの立体映像を６０Ｈｚの立体映像に変換して表示する場合、補間の誤りにより左右画像間で対応がとれず立体視できない映像となる可能性がある。この結果、立体感を得られない、あるいは目の疲労の原因となるといった大きな影響を及ぼす。

上記問題に鑑み、本発明は、立体映像に好適なフレーム周波数変換を行う立体映像処理装置を提供することを課題とする。

上記課題を解決するための手段として、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号を生成する立体映像処理装置は、前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、前記出力映像信号として１フレーム置きおよび２フレーム置きの交互に前記補間フレームを出力し、それ以外は前記入力映像信号のフレームを出力するように、前記出力画像生成部を制御する出力制御部とを備えている。

前記出力制御部は、前記動きベクトルが閾値よりも大きいブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。

また、前記出力制御部は、複数フレームに亘って前記動きベクトルの方向が一定であるブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御してもよい。

これによると、入力映像信号から検出した動きベクトルに応じて、補間フレームの生成に係る補間位相が制御されるため、動きに応じた適切な補間が可能となり、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。

上記立体映像処理装置は、前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えていてもよいし、あるいは立体映像信号の左右の信号系統で時分割共有してもよい。

以上のように本発明によれば、高品位な立体表示を可能にしつつ、補間誤りによる画質劣化を抑制できる。

本発明の一実施形態に係る立体映像表示装置の構成を示す図 動きベクトル検出を説明する図 入力映像と補間フレームの生成のタイミング関係を示す図 補間フレームの生成を説明する図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図 動きベクトルを考慮した場合の入力映像と補間フレームの生成のタイミング関係を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像の見え方を示す図 本発明の一実施形態に係る立体映像表示装置によってフィルム・デジャダーされた立体映像での視差量を示す図 動きが連続しない場合の動きベクトルを示す図 ３：２プルダウンを示す図 ３：２プルダウンされた映像の見え方を示す図 ３：２プルダウンされた立体映像の見え方を示す図 ３：２プルダウンされた立体映像での視差量を示す図 フィルム・デジャダーされた映像の見え方を示す図

以下に、本発明の実施の形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る立体映像表示装置１００の主要な構成を示すブロック図である。立体映像表示装置１００は、入力画像選択部１、立体映像処理装置２、および表示部３を備えている。立体映像処理装置２は、映像メモリ２０２、ベクトル検出部２０３、出力制御部２０４、ベクトルメモリ２０５、および出力画像生成部２０６を有するフレーム周波数変換部２０を２つ備えている。

入力画像選択部１は、入力された立体映像信号１０１を左右それぞれの入力映像信号１０２に分けて立体映像処理装置２に出力する。立体映像信号１０１は、フレーム周波数が２４Ｈｚの左右それぞれの画像が交互に含まれる立体映像信号である。

立体映像処理装置２は、入力された左右それぞれの入力映像信号１０２について、フレーム間で動きベクトルを検出し、この動きベクトルを使用して補間フレームを生成し、左右それぞれの出力映像信号１０３を生成する。具体的には、２つのフレーム周波数変換部２０が、それぞれ、左右の入力映像信号１０２を処理する。立体映像処理装置２から出力される左右それぞれの映像信号１０３は、フレーム周波数が６０Ｈｚの映像信号である。

表示部３は、立体映像処理装置２から出力された左右それぞれの出力映像信号１０３を交互に１２０Ｈｚでフレームシーケンシャル表示する。表示部３はＬＣＤディスプレイやＰＤＰディスプレイなど立体映像信号の表示が可能なものであればよく、特に制限はない。

以上のように、立体映像表示装置１００は、入力された２４Ｈｚの立体映像信号１０１のフレーム周波数変換を行って１２０Ｈｚで立体表示を行うものである。

次に、フレーム周波数変換部２０において、２４Ｈｚの入力映像信号１０２を６０Ｈｚの出力映像信号１０３へフレーム周波数変換（フィルム・デジャダー）する場合について説明する。

フレーム周波数変換部２０に入力される入力映像信号１０２は、ベクトル検出部２０３、および映像メモリ２０２に入力される。

映像メモリ２０２は、入力された映像信号を少なくとも３フレーム分、記憶することが可能であり、また記憶された任意のフレームを読み出し可能なメモリである。映像メモリ２０２は入力された映像信号を記憶するとともに、１フレーム前の入力映像信号を読み出し、ベクトル検出部２０３に出力する。

ベクトル検出部２０３は、入力映像信号１０２を例えば８画素×８画素からなるブロックに分割し、それぞれのブロックに対して、映像メモリ２０２から入力される前フレーム映像信号１０４から相関の最も大きな位置を探索することで動きベクトルを検出する。例えば、図２に示すように、フレーム（１）内の対象ブロックの動きベクトルを検出する場合、対象ブロックと相関が最も大きくなる位置を１つ前のフレーム（０）内で探索し、この位置の差を動きベクトルとして検出する。

このとき探索を行う範囲は、動きベクトルを検出するブロックを基準に、例えば水平±６４画素、垂直±３２ラインのような範囲であり、この範囲の中で相関の最も大きな位置を求める。また、相関の値としては、ブロックに含まれる各画素の値と、比較を行う位置の画素の値の差の絶対値をブロック全体で合計したもの（ＳＡＤ：Sum of Absolute Difference、差分絶対値和）を用いることができる。

なお、ブロックの大きさはこれに限るものではなく、これよりも小さくても大きくてもかまわない。また、相関の値としてＳＡＤ以外を使用することが可能であり、探索方法としても処理量を削減し、効率よく動きベクトルを検出する多くの手法が知られており、これらを使用することが可能である。

図１に戻り、ベクトル検出部２０３は、入力映像信号１０２と前フレーム映像信号１０４から検出した検出動きベクトル１１０をベクトルメモリ２０５に出力する。

ベクトルメモリ２０５は、ベクトル検出部２０３が検出した動きベクトルを記憶するメモリであり、ベクトル検出部２０３からの書き込みと、後述する出力画像生成部２０６からの読み出しの時間差を吸収するためのものである。ベクトルメモリ２０５は、この時間差に相当する容量があればよいが、ここでは入力映像の２フレーム分に対応するベクトルを記憶できるものとする。

出力制御部２０４は、ベクトルメモリ２０５に記憶された２フレーム分に対応する動きベクトルのうちどちらの動きベクトルを読み出すか、映像メモリ２０２に記憶された複数フレームの映像信号から生成する補間フレームの前後のフレームとしてどの２つのフレームを読み出すか、またこの２つのフレームの間のどの位相に補間フレームを生成するかを決定し、それぞれ制御信号を出力する。出力制御部２０４の詳細については後述する。

映像メモリ２０２は、出力制御部２０４から補間に使用する２つのフレームを決定するフレーム選択信号１０８を受け、フレーム選択信号１０８で指定された２つのフレームを前後フレーム映像信号１０５として出力画像生成部２０６に出力する。

ベクトルメモリ２０５は、出力制御部２０４から補間に使用するベクトルを選択するベクトル選択信号１０９を受け、ベクトル選択信号１０９で指定された動きベクトルを補間用動きベクトル１０６として出力画像生成部２０６に出力する。

出力制御部２０４は図３に示すように、以下のような５フレームの周期で、フレーム選択信号１０８、ベクトル選択信号１０９および補間位相制御信号１０７を出力する。

１）前フレームとしてフレーム（０）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。

２）前後フレーム映像信号１０５にフレーム（０）とフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（１）とフレーム（０）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．２を出力する。

３）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。

４）前フレームとしてフレーム（１）を出力するためのフレーム選択信号１０８を出力し、補間位相制御信号１０７として０を出力する。このとき、補間フレームの生成は必要ないため補間用動きベクトル１０６は不要である。

５）前後フレーム映像信号１０５にフレーム（１）とフレーム（２）を出力するためのフレーム選択信号１０８を出力し、補間用動きベクトル１０６としてフレーム（２）とフレーム（１）の間で検出した動きベクトルを選択するための信号をベクトル選択信号１０９として出力し、補間位相制御信号１０７として０．８を出力する。

この結果、入力映像信号１０２をフレーム（０）、フレーム（１）、フレーム（２）、フレーム（３）、フレーム（４）、フレーム（５）とし、これを基準とした場合、出力映像信号１０３はフレーム（０）、フレーム（０．２）、フレーム（１）、フレーム（１）、フレーム（１．８）、フレーム（２）、フレーム（２．２）、フレーム（３）、フレーム（３）、フレーム（３．８）、フレーム（４）のようになる。例えば、フレーム（０）からフレーム（２．２）までの７フレームは図５および図６における左または右フレーム２から８にそれぞれ該当する。

出力制御部２０４は、上記のように補間フレームの生成に必要な入力フレームと、動きベクトルを適切に選択し、これらを出力画像生成部２０６に入力するための制御信号を出力する。またこれにあわせて、出力制御部２０４は補間位相制御信号１０７を出力する。

出力画像生成部２０６は、前後フレーム映像信号１０５として入力される２つのフレームと、この２フレーム間の動きに対応する補間用動きベクトル１０６とを用い、補間位相制御信号１０７で指定される補間位相の補間フレームを生成し、出力映像信号１０３を出力する。

補間フレームの生成は、図４に示したように、生成する補間フレームの前後のフレームの少なくとも一方の画素もしくは画素ブロックを補間用動きベクトル１０６に沿って移動することによって行うことができる。このとき、補間フレームを生成する時間軸上の位置、すなわち、補間位相は、フレーム（Ｆ−１）とフレーム（Ｆ）の間で任意に選ぶことができる。例えば、補間位相に近い側のフレームのみを用いるなど、いずれか一方から移動した画素を用いて補間フレームを生成することも可能であり、また両フレームから移動した画素を一定の割合、または補間位相に対応する割合で混合するなどによって生成することも可能である。図４は、フレーム（Ｆ−１）から１／５の補間位相に補間フレームを生成する例を示している。

図５は、図１１のシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図６は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図６からわかるとおり、入力画像の左右画像間の視差量をＮ、入力画像のフレーム間での動き量をＶとすると、多くのフレーム間で出力画像の両眼視差量がＮ−１／５ＶからＮ＋２／５Ｖの間で変動する。図１４と比較すると、本実施形態に係る立体映像表示装置１００で表示される立体映像では、視差量の変動が抑制されていることがわかる。これにより、高品位な立体表示が可能となる。

また、上記のように補間位相を制御することにより、一般的な２４Ｈｚから６０Ｈｚへのフレーム周波数変換（フィルム・デジャダー）では出力フレームの５フレームのうち４フレームが生成された補間フレームであるのに対し、本明細書に開示した補間方法では、５フレームのうち２フレームのみが生成された補間フレームとなる。前述のように出力映像信号に含まれる、動きベクトルを使って生成された補間フレームの割合は、間違った動きベクトルが検出された場合の画質劣化の大きさに影響を与えるものであるため、本明細書に開示した補間方法では従来よりも画質劣化の小さいフレーム周波数変換が可能となる。またこの際、生成する補間フレームは半分であるため、補間フレームの生成に必要な処理量は従来のフィルム・デジャダーの半分にすることができる。

さらには、本明細書に開示したフレーム周波数変換方法では、生成する補間フレームの補間位相として０．２と０．８のみを用いる。前述のようにフレームを生成する補間位相が入力フレームに近付くと、入力フレームからの移動量が小さくなるため、間違った動きベクトルの影響が小さくなる。このため本明細書に開示した補間方法では、０．４、０．６の補間位相を用いる従来のフィルム・デジャダーに比べて、間違った動きベクトルが画質に与える影響が小さい。

すなわち本明細書に開示したフレーム周波数変換方法は、補間フレームの割合が小さく、かつ入力フレームに近い補間位相のみを用いるため、間違った動きベクトルが検出された場合の画質劣化が小さい。

さらに、出力制御部２０４は、検出動きベクトル１１０に応じて、補間フレームの生成に係る補間位相を制御する。具体的には、図７に示したように、出力制御部２０４は検出動きベクトル１１０を監視し、１フレーム内の動きベクトルの平均値、または最大値をもとに、フレーム間の動きの大きさが所定の範囲外であると判定した場合、当該動きベクトルを用いて補間フレームを出力する期間、補間位相制御信号１０７に０を出力する。このとき、補間フレームの生成は必要ないため、補間用動きベクトル１０６も出力しない。一方、フレーム間の動きの大きさが所定の範囲内であると判断した場合、出力制御部２０４は前述のフィルム・デジャダー処理を行う。

図８は、ボールの動きが比較的遅いシーンを左右それぞれ２４Ｈｚで立体撮影した立体映像を立体映像表示装置１００で表示した場合のボールの表示位置と時間との関係をグラフ化したものである。また、図９は、この場合の左右眼の視線中心とボールの表示位置とのずれと、それにより生じる左右視差をグラフ化したものである。図９と図１４を比較すると、ボールの動きが遅くなると入力画像のフレーム間での動き量がＶ’に減少し、フレーム間での両眼視差量の変動量が小さくなることがわかる。動きがある一定以下の大きさとなると、フレーム間での両眼視差量の変動が画質に与える影響は軽微なものとなる。逆に、動きが非常に大きくなると、視線がボールを追うことができずフィルム・ジャダーが認識されない。

このように、本発明が開示するフレーム周波数変換方法は、動きの大きさが所定の範囲内の場合についてのみ、左右それぞれの画像から検出した動きベクトルに基づき補間画像を生成することで、従来の３：２プルダウン表示の場合と比較して視差量の変動を抑制することができる。これにより、高品位な立体表示が可能となる。また、動きの大きさが所定の範囲外の場合、補間画像を生成しないため、補間の誤りによる画質劣化を抑制できる。

以上のように、本明細書に開示したフレーム周波数変換方法によれば、高品位な立体表示を可能としつつ、補間の誤りによる画質劣化を抑制できる。

なお、上記の実施の形態では、フレーム周波数が２４Ｈｚの左右それぞれの入力映像信号１０２からフレーム周波数が６０Ｈｚの左右それぞれの出力映像信号１０３を生成する場合を前提とした説明を行っているが、フレーム周波数はこの例に限定されない。入力映像信号１０２および出力映像信号１０３は任意のフレーム周波数の映像信号であってもよい。

また、上記の実施の形態では、フレーム単位で補間画像の生成の判定を行うものとしたが、フレーム内の画像領域ごとに補間画像の生成の判定を行うものとしてもよい。画像領域の大きさは動きベクトル検出におけるブロックと同じであってもよいし、それとは異なる大きさであってもよい。例えば、動きのない画面内を物体が横切る場合などに、動く物体を含む画像領域のみについて補間画像を生成する。これにより、動く物体を含む画像領域については補間画像を生成することによって高品位な立体表示が可能となる一方、出力画像に占める補間画像の割合が小さくなるため、補間の誤りによる画質劣化を抑制できる。

また、上記の実施の形態では、出力制御部２０４は動きベクトルの大きさを元に補間画像の生成の有無を判定しているが、複数フレームに亘って物体の動きが連続しているか否かをもとに補間画像の生成の有無を判定してもよい。具体的には、出力制御部２０４は、複数フレームに亘って検出動きベクトル１１０の方向が一定であるかどうかを判定する。例えば、図１０に示した例では、検出動きベクトル１１０の方向が一定ではない。このような場合は物体の動きが連続しておらず、視線が物体を追うことができずフィルム・ジャダーが認識されない。よって、動きが連続している場合についてのみ、左右それぞれの画像から検出した動きベクトルに基づき補間画像を生成すると、高品位な立体表示が可能となる。また、動きが連続していない場合、補間画像を生成しないため、補間の誤りによる画質劣化を抑制できる。

また、上記の実施の形態では、２４Ｈｚの立体映像信号１０１が入力される場合を前提とした説明を行っているが、立体映像信号１０１が３：２プルダウンされた６０Ｈｚの立体映像信号であってもかまわない。３：２プルダウンされた６０Ｈｚの立体映像信号から、３：２プルダウンされる前の２４Ｈｚの立体映像信号を適切に選択することができれば、同様の処理を行うことが可能である。

また、図３および図７に示す各信号のタイミング関係は一例であり、映像メモリ２０２およびベクトルメモリ２０５の容量次第では、これと異なるタイミングで処理を行うことも可能である。

また、生成する補間フレームの補間位相は０．２および０．８に限定されない。これらの近傍値、例えば、０．１９と０．８１を用いてもよい。

さらに、いきなり０．２あるいは０．８フレーム分位相をずらした補間フレームを生成するのではなく、補間フレームの補間位相を徐々に０．２あるいは０．８に近づけるようにしてもよい。同様に、補間フレームの生成を停止する場合、補間位相をいきなり０にするのではなく、徐々に０に近づけるようにしてもよい。具体的には、出力制御部２０４が補間位相制御信号１０７の値を徐々に変化させればよい。こうすることで、補間フレームの表示有りの状態と表示なしの状態とが滑らかに切り替わり、画質が向上する。

また、映像メモリ２０２およびベクトルメモリ２０５は立体映像処理装置２に設ける必要はなく、外部のメモリを用いてもよい。

また、上記の実施の形態では、立体映像処理装置２はフレーム周波数変換部２０を２つ備えているとしたが、立体映像信号の左右の信号系統で１個のフレーム周波数変換部２０を時分割共有するようにしてもよい。

本発明は、立体映像信号から動きベクトルを検出し、検出した動きベクトルを使用してフレーム周波数を変換して表示する装置等に用いることができる。

１ 入力画像選択部
２ 立体映像処理装置
２０ フレーム周波数変換部
２０３ ベクトル検出部
２０４ 出力制御部
２０６ 出力画像生成部
３ 表示部

Claims (9)

1. 第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理装置であって、
   前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するベクトル検出部と、
   前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成し、前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成する出力画像生成部と、
   前記動きベクトルに応じて、前記補間フレームの生成に係る補間位相を制御する出力制御部とを備えている
   ことを特徴とする立体映像処理装置。
2. 請求項１の立体映像処理装置において、
   前記出力制御部は、前記動きベクトルが閾値よりも大きいブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御する
   ことを特徴とする立体映像処理装置。
3. 請求項１の立体映像処理装置において、
   前記出力制御部は、複数フレームに亘って前記動きベクトルの方向が一定であるブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成されるように、前記出力画像生成部を制御する
   ことを特徴とする立体映像処理装置。
4. 請求項１から３のいずれか一つの立体映像処理装置において、
   前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統ごとに備えている
   ことを特徴とする立体映像処理装置。
5. 請求項１から３のいずれか一つの立体映像処理装置において、
   前記ベクトル検出部、前記出力画像生成部、および前記出力制御部を含むフレーム周波数変換部を、立体映像信号の左右の信号系統で時分割共有する
   ことを特徴とする立体映像処理装置。
6. 立体映像信号を受け、第１のフレーム周波数の左右それぞれの入力映像信号を出力する入力画像選択部と、
   前記左右それぞれの入力映像信号を処理する請求項１から５のいずれか一つの立体映像処理装置と、
   前記立体映像処理装置から出力された第２のフレーム周波数の左右それぞれの出力映像信号をフレームシーケンシャル表示する表示部とを備えている
   ことを特徴とする立体映像表示装置。
7. 第１のフレーム周波数の左右それぞれの入力映像信号から第２のフレーム周波数の左右それぞれの出力映像信号を生成する立体映像処理方法であって、
   前記入力映像信号のフレームにおけるブロックの動きベクトルを検出するステップと、
   前記入力映像信号のフレームおよび前記動きベクトルに基づいて補間フレームを生成するステップと、
   前記入力映像信号のフレームおよび前記補間フレームを時間軸方向に並べて前記出力映像信号を生成するステップとを備え、
   前記補間フレームを生成するステップでは、前記動きベクトルに応じて、前記補間フレームの生成に係る補間位相が制御される
   ことを特徴とする立体映像処理方法。
8. 請求項７の立体映像処理方法において、
   前記補間フレームを生成するステップでは、前記動きベクトルが閾値よりも大きいブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成される
   ことを特徴とする立体映像処理方法。
9. 請求項７の立体映像処理方法において、
   前記補間フレームを生成するステップでは、複数フレームに亘って前記動きベクトルの方向が一定であるブロックを含む画像領域については補間画像を生成して、それ以外の画像領域については前記入力映像信号をそのまま用いて、前記補間フレームが生成される
   ことを特徴とする立体映像処理方法。