WO2011152039A1

WO2011152039A1 - 立体映像処理装置及び立体映像処理方法

Info

Publication number: WO2011152039A1
Application number: PCT/JP2011/003050
Authority: WO
Inventors: 友子森田
Original assignee: パナソニック株式会社
Priority date: 2010-06-01
Filing date: 2011-05-31
Publication date: 2011-12-08
Also published as: JP2013165306A

Abstract

　立体映像処理装置（１００）であって、左画像内領域における左眼用動きベクトルを検出する左眼用動きベクトル検出部（１１１）と、右画像内領域における右眼用動きベクトルを検出する右眼用動きベクトル検出部（１１２）と、左右画像間視差を検出する視差検出部（１１３）と、左右画像間視差から得られる対応する左眼用動きベクトルと右眼用動きベクトルとを比較するベクトル比較部（１１４）と、比較結果に基づいて、左眼用動きベクトルと右眼用動きベクトルとが一致するように、左眼用動きベクトル及び右眼用動きベクトルのうち少なくとも一方を補正するベクトル補正部（１１５）と、左眼用動きベクトル及び右眼用動きベクトルを用いて、フレームレート変換のための補間画像を生成する補間画像生成部（１２０）とを備える。

Description

立体映像処理装置及び立体映像処理方法

　本発明は、左右の画像間の視差を利用して立体視させる立体映像処理装置及び立体映像処理方法に関し、特に、左右画像の動きベクトルの検出性能を改善する立体映像処理装置及び立体映像処理方法に関する。

　動きベクトルを求める方法として、ブロックマッチング法が一般的に知られている。このブロックマッチング法では、画面全体を複数のブロック（ブロックは例えば１６×１６画素で構成される）に分割して、現フレームの注目ブロックと複数の候補ベクトルが指し示す過去フレームのブロックとの映像信号レベルの差分絶対値のブロック合計値を求める。そして、当該差分絶対値のブロック合計値が最小となる過去フレームのブロックに対応する候補ベクトルを、動きベクトルとする。

　しかし、ブロックマッチング法では、被写体と背景あるいは複数の被写体の境界領域では、視差量が正確に検出できなかった。このため、被写体と背景あるいは複数の被写体に対応する視差量を正確に検出することができる両眼視差検出方法が提案されている（例えば、特許文献１参照）。

　この両眼視差検出方法では、両眼視差を左右画像上での画素位置の変位として求める際に、左右の画像を２次元フーリエ変換し、その位相項のシフトマッチングによりいくつかの視差変位量の候補を算出する。そして当該算出を行った後に、左右画像のそれぞれについて被写体の輪郭抽出および領域決定を行い、これらの境界点の内側の点と外側の数点において、２次元フーリエ変換を利用して求めた変位量候補との対応をとる。これにより、被写体と背景あるいは複数の被写体に対応する視差量を正確に検出することができる。

特開平２－１００５８９号公報

　しかしながら、上記従来の両眼視差検出方法によって視差量を正確に検出しても、立体映像をスムーズに表示させることができない場合があるという問題がある。

　例えば、映像が表示される画面の端部である画面端については、正確な動きベクトルを求めることが困難であるため、当該画面端については、映像をスムーズに表示することができない。つまり、従来、現フレーム画像と過去フレーム画像とを用いて動きベクトルを検出する際、現フレームの画面端に表示されている絵柄が過去フレームには存在しない、あるいは周辺領域のベクトル検出結果を注目領域のベクトル検出演算に用いるなどの要因で、画面端は正確な動きベクトルを求めることが困難であった。

　また、立体映像入力の場合、左眼用動きベクトルは、左眼用映像の現フレーム画像と過去フレーム画像とから求め、右眼用動きベクトルは、右眼用映像の現フレーム画像と過去フレーム画像とから求めるため、それぞれ独立に動きベクトルが検出される。このため、全画面のスクロールやシーンチェンジ等の検出は、左右で検出タイミングが異なる場合があり、動きベクトルを用いた信号処理による左眼用映像出力と右眼用映像出力の画質が異質なものになる。

　そこで、本発明は、このような問題に鑑みてなされたものであり、立体映像をスムーズに表示させることができる立体映像処理装置及び立体映像処理方法を提供することを目的とする。

　上記目的を達成するために、本発明の一態様に係る立体映像処理装置は、入力された左眼用映像データに含まれる左眼用画像と右眼用映像データに含まれる右眼用画像との間の視差を利用して立体視させる立体映像処理装置であって、前記左眼用画像内の領域である左画像内領域における動きベクトルである左眼用動きベクトルを検出する左眼用動きベクトル検出部と、前記右眼用画像内の領域である右画像内領域における動きベクトルである右眼用動きベクトルを検出する右眼用動きベクトル検出部と、前記左眼用画像と前記右眼用画像との間の視差である左右画像間視差を検出する視差検出部と、前記左画像内領域において検出された前記左眼用動きベクトルと、前記左右画像間視差から得られる前記左画像内領域に対応する前記右画像内領域において検出された前記右眼用動きベクトルとを比較するベクトル比較部と、前記ベクトル比較部による比較結果に基づいて、前記左眼用動きベクトルと前記右眼用動きベクトルとが一致するように、前記左眼用動きベクトル及び前記右眼用動きベクトルのうち少なくとも一方を補正するベクトル補正部と、前記ベクトル補正部による補正後の前記左眼用動きベクトル及び前記右眼用動きベクトルを用いて、前記左眼用映像データ及び前記右眼用映像データについてフレームレート変換のための補間画像を生成する補間画像生成部とを備える。

　これによれば、立体映像処理装置は、対応する左画像内領域及び右画像内領域における動きベクトルである左眼用動きベクトルと右眼用動きベクトルとの比較結果に基づいて、左眼用動きベクトルと右眼用動きベクトルとが一致するように、左眼用動きベクトル及び右眼用動きベクトルのうち少なくとも一方を補正する。そして、当該補正が行われた後の左眼用動きベクトル及び右眼用動きベクトルを用いて、フレームレート変換のための補間画像を生成する。つまり、対応する左眼用動きベクトルと右眼用動きベクトルとは、基本的にはほぼ一致するはずであるが、左眼用動きベクトルまたは右眼用動きベクトルのいずれかが正確に求められていないために、左眼用動きベクトルと右眼用動きベクトルとの一致度が低くなっている場合がある。この場合、正確でない動きベクトルを補正する必要がある。このため、例えば正確でない動きベクトルを正確な動きベクトルに一致させるように補正するなど、左眼用動きベクトルと右眼用動きベクトルとが一致するように補正する。そして、この補正した動きベクトルをフレームレート変換に使用することで、立体映像をスムーズに表示させることができる。

　また、好ましくは、前記ベクトル補正部は、前記左画像内領域が、前記左眼用画像が表示される画面の端部の領域である左画面端領域内に配置されるとともに、前記左右画像間視差から得られる前記左画像内領域に対応する前記右画像内領域が、前記右眼用画像が表示される画面の端部の領域である右画面端領域内に配置されていない場合、前記右眼用動きベクトルを用いて前記左眼用動きベクトルを補正し、前記右画像内領域が、前記右画面端領域内に配置されるとともに、前記左右画像間視差から得られる前記右画像内領域に対応する前記左画像内領域が、前記左画面端領域内に配置されていない場合、前記左眼用動きベクトルを用いて前記右眼用動きベクトルを補正する。

　これによれば、ベクトル補正部は、左画像内領域は左画面端領域内に配置されているが、右画像内領域が右画面端領域内に配置されていない場合、右眼用動きベクトルを用いて左眼用動きベクトルを補正し、右画像内領域は右画面端領域内に配置されているが、左画像内領域が左画面端領域内に配置されていない場合、左眼用動きベクトルを用いて右眼用動きベクトルを補正する。つまり、画面端の領域における動きベクトルは、正確に求めることができないため、他方の画面端以外の領域における動きベクトルを用いて補正する。これにより、正確でない動きベクトルを正確な動きベクトルを用いて補正することで、補正後の正確な動きベクトルを使用して、立体映像をスムーズに表示させることができる。

　また、好ましくは、前記ベクトル補正部は、前記左眼用動きベクトルの大きさが大きいほど前記左画面端領域を大きく設定し、前記右眼用動きベクトルの大きさが大きいほど前記右画面端領域を大きく設定して、前記左眼用動きベクトル及び前記右眼用動きベクトルのうち少なくとも一方を補正する。

　これによれば、ベクトル補正部は、動きベクトルの大きさが大きいほど画面端領域を大きく設定して、動きベクトルを補正する。つまり、動きベクトルの大きさが大きい場合は、映像の動きが大きいので、動きベクトルの正確さが低下する画面端領域は、大きく設定する必要がある。このため、動きベクトルをその大きさに応じて適切に補正することができるので、補正後の正確な動きベクトルを使用して、立体映像をスムーズに表示させることができる。

　また、好ましくは、前記左眼用動きベクトル検出部は、さらに、検出した前記左眼用動きベクトルの確かさの度合いを示す左眼動きベクトル確度を出力し、前記右眼用動きベクトル検出部は、さらに、検出した前記右眼用動きベクトルの確かさの度合いを示す右眼動きベクトル確度を出力し、前記立体映像処理装置は、さらに、出力された前記左眼動きベクトル確度を取得し、複数の前記左画像内領域における左眼動きベクトル確度が所定の第一閾値以下の場合、左眼用映像がシーンチェンジであると判定する左眼用シーンチェンジ判定部と、出力された前記右眼動きベクトル確度を取得し、複数の前記右画像内領域における右眼動きベクトル確度が所定の第二閾値以下の場合、右眼用映像がシーンチェンジであると判定する右眼用シーンチェンジ判定部と、前記左眼用シーンチェンジ判定部及び前記右眼用シーンチェンジ判定部のうち少なくとも一方がシーンチェンジであると判定した場合、前記左眼用動きベクトル及び前記右眼用動きベクトルの補正許可信号を出力する左右眼シーンチェンジ比較部とを備え、前記ベクトル補正部は、さらに、前記左右眼シーンチェンジ比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを連動して補正する。

　これによれば、立体映像処理装置は、左眼用映像及び右眼用映像のうち少なくとも一方がシーンチェンジであると判定した場合に、左眼用動きベクトルと右眼用動きベクトルとを連動して補正する。つまり、立体映像処理装置は、映像中のシーンチェンジを検出した場合に、左右の動きベクトルを連動して補正する。このため、シーンチェンジにおいて、左右の画像のバランスが崩れることを抑制することができる。これにより、シーンチェンジにおいても、立体映像をスムーズに表示させることができる。

　また、好ましくは、さらに、複数の前記左画像内領域における前記左眼用動きベクトルのヒストグラムを用いて、左眼用映像がスクロール映像であるか否かを判定する左眼用スクロール判定部と、複数の前記右画像内領域における前記右眼用動きベクトルのヒストグラムを用いて、右眼用映像がスクロール映像であるか否かを判定する右眼用スクロール判定部と、前記左眼用スクロール判定部及び前記右眼用スクロール判定部のうち少なくとも一方がスクロール映像であると判定した場合、前記左眼用動きベクトル及び前記右眼用動きベクトルの補正許可信号を出力する左右眼スクロール比較部とを備え、前記ベクトル補正部は、さらに、前記左右眼スクロール比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを連動して補正する。

　これによれば、立体映像処理装置は、左眼用映像及び右眼用映像のうち少なくとも一方がスクロール映像であると判定した場合に、左眼用動きベクトルと右眼用動きベクトルとを連動して補正する。つまり、立体映像処理装置は、映像中の画面スクロールを検出した場合に、左右の動きベクトルを連動して補正する。このため、画面スクロールにおいて、左右の画像のバランスが崩れることを抑制することができる。これにより、画面スクロールにおいても、立体映像をスムーズに表示させることができる。

　また、好ましくは、さらに、複数の前記左画像内領域において、前記左眼用動きベクトルのヒストグラムを演算し、ヒストグラムの集中度が高いか否かを判定し、ヒストグラムが集中するベクトルを左眼スクロールベクトルとして出力する左眼用ヒストグラム判定部と、前記左眼用ヒストグラム判定部がヒストグラムの集中度が高いと判定した場合に、カウンタ値を増加させ、ヒストグラムの集中度が高くないと判定した場合に、カウンタ値を減少させる左眼用カウンタと、複数の前記右画像内領域において、前記右眼用動きベクトルのヒストグラムを演算し、ヒストグラムの集中度が高いか否かを判定し、ヒストグラムが集中するベクトルを右眼スクロールベクトルとして出力する右眼用ヒストグラム判定部と、前記右眼用ヒストグラム判定部がヒストグラムの集中度が高いと判定した場合に、カウンタ値を増加させ、ヒストグラムの集中度が高くないと判定した場合に、カウンタ値を減少させる右眼用カウンタとを備え、前記左眼用スクロール判定部は、前記左眼用カウンタにおけるカウンタ値が所定の第三閾値以上の場合、左眼用映像がスクロール映像であると判定し、前記右眼用スクロール判定部は、前記右眼用カウンタにおけるカウンタ値が所定の第四閾値以上の場合、右眼用映像がスクロール映像であると判定し、前記左右眼スクロール比較部は、前記左眼用ヒストグラム判定部が出力した前記左眼スクロールベクトルと前記右眼用ヒストグラム判定部が出力した前記右眼スクロールベクトルとの一致度が所定値以上である場合に、前記左眼スクロールベクトルと前記右眼スクロールベクトルとから得られる補正スクロールベクトルを生成し、前記左眼スクロールベクトルと前記右眼スクロールベクトルとの一致度が所定値以上の場合であって、前記左眼用スクロール判定部及び前記右眼用スクロール判定部のうち少なくとも一方がスクロール映像であると判定した場合に、前記補正許可信号を出力し、前記ベクトル補正部は、前記左右眼スクロール比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを前記補正スクロールベクトルを用いて補正する。

　これによれば、立体映像処理装置は、左眼用動きベクトルのヒストグラムが集中するベクトルである左眼スクロールベクトルと、右眼用動きベクトルのヒストグラムが集中するベクトルである右眼スクロールベクトルとから生成される補正スクロールベクトルを用いて、左眼用動きベクトルと右眼用動きベクトルとを補正する。つまり、スクロールにおいて、ヒストグラムが集中するベクトルは、当該スクロールの動きを示すベクトルであるので、ヒストグラムが集中するベクトルを用いて、左眼用動きベクトルと右眼用動きベクトルとを補正する。このため、当該スクロールの動きに合うように、左眼用動きベクトルと右眼用動きベクトルとを補正することができる。これにより、画面スクロールにおいても、立体映像をスムーズに表示させることができる。

　また、上記目的を達成するために、本発明の他の態様に係る立体映像処理装置は、入力された左眼用映像データに含まれる左眼用画像と右眼用映像データに含まれる右眼用画像との間の視差を利用して立体視させる立体映像処理装置であって、前記左眼用画像内の領域である左画像内領域における動きベクトルである左眼用動きベクトルを検出するとともに、検出した前記左眼用動きベクトルの確かさの度合いを示す左眼動きベクトル確度を出力する左眼用動きベクトル検出部と、前記右眼用画像内の領域である右画像内領域における動きベクトルである右眼用動きベクトルを検出するとともに、検出した前記右眼用動きベクトルの確かさの度合いを示す右眼動きベクトル確度を出力する右眼用動きベクトル検出部と、出力された前記左眼動きベクトル確度を取得し、複数の前記左画像内領域における左眼動きベクトル確度が所定の第一閾値以下の場合、左眼用映像がシーンチェンジであると判定する左眼用シーンチェンジ判定部と、出力された前記右眼動きベクトル確度を取得し、複数の前記右画像内領域における右眼動きベクトル確度が所定の第二閾値以下の場合、右眼用映像がシーンチェンジであると判定する右眼用シーンチェンジ判定部と、前記左眼用シーンチェンジ判定部及び前記右眼用シーンチェンジ判定部のうち少なくとも一方がシーンチェンジであると判定した場合、前記左眼用動きベクトル及び前記右眼用動きベクトルの補正許可信号を出力する左右眼シーンチェンジ比較部と、前記左右眼シーンチェンジ比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを連動して補正するベクトル補正部と、前記ベクトル補正部による補正後の前記左眼用動きベクトル及び前記右眼用動きベクトルを用いて、前記左眼用映像データ及び前記右眼用映像データについてフレームレート変換のための補間画像を生成する補間画像生成部とを備える。

　また、上記目的を達成するために、本発明の他の態様に係る立体映像処理装置は、入力された左眼用映像データに含まれる左眼用画像と右眼用映像データに含まれる右眼用画像との間の視差を利用して立体視させる立体映像処理装置であって、前記左眼用画像内の領域である左画像内領域における動きベクトルである左眼用動きベクトルを検出する左眼用動きベクトル検出部と、前記右眼用画像内の領域である右画像内領域における動きベクトルである右眼用動きベクトルを検出する右眼用動きベクトル検出部と、複数の前記左画像内領域における前記左眼用動きベクトルのヒストグラムを用いて、左眼用映像がスクロール映像であるか否かを判定する左眼用スクロール判定部と、複数の前記右画像内領域における前記右眼用動きベクトルのヒストグラムを用いて、右眼用映像がスクロール映像であるか否かを判定する右眼用スクロール判定部と、前記左眼用スクロール判定部及び前記右眼用スクロール判定部のうち少なくとも一方がスクロール映像であると判定した場合、前記左眼用動きベクトル及び前記右眼用動きベクトルの補正許可信号を出力する左右眼スクロール比較部と、前記左右眼スクロール比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを連動して補正するベクトル補正部と、前記ベクトル補正部による補正後の前記左眼用動きベクトル及び前記右眼用動きベクトルを用いて、前記左眼用映像データ及び前記右眼用映像データについてフレームレート変換のための補間画像を生成する補間画像生成部とを備える。

　また、本発明は、このような立体映像処理装置として実現することができるだけでなく、立体映像処理装置に含まれる特徴的な処理をステップとする立体映像処理方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

　また、本発明は、このような立体映像処理装置の機能の一部又は全てを備える集積回路（ＬＳＩ）として実現したり、このような立体映像処理装置を備えるデジタルテレビ等の立体映像表示装置として実現したり、立体映像処理装置を備えるデジタルビデオレコーダ等の立体映像記録装置として実現したりすることもできる。

　本発明に係る立体映像処理装置によれば、動きベクトルを補正することで、立体映像をスムーズに表示させることができる。

図１は、本発明の実施の形態１における立体映像表示装置の機能構成を示すブロック図である。図２は、本発明の実施の形態１における立体映像処理装置を備えるフレームレート変換部の機能構成を示すブロック図である。図３は、本発明の実施の形態１における立体映像処理装置が備えるベクトル検出部の機能構成を示すブロック図である。図４は、本発明の実施の形態１における立体映像処理装置の動作の一例を示すフローチャートである。図５は、本発明の実施の形態１における補間画像生成部が補間画像を生成する処理を説明する図である。図６は、本発明の実施の形態１におけるベクトル補正部が動きベクトルを補正する処理を示すフローチャートである。図７は、本発明の実施の形態１におけるベクトル補正部が動きベクトルを補正する処理を説明する図である。図８は、本発明の実施の形態２における立体映像処理装置が備えるベクトル検出部の機能構成を示すブロック図である。図９は、本発明の実施の形態２における立体映像処理装置の動作の一例を示すフローチャートである。図１０は、本発明の実施の形態３における立体映像処理装置が備えるベクトル検出部の機能構成を示すブロック図である。図１１は、本発明の実施の形態３における立体映像処理装置の動作の一例を示すフローチャートである。図１２は、本発明の実施の形態３におけるスクロール判定部がスクロールを判定する処理を示すフローチャートである。図１３は、本発明の実施の形態３における左眼用ヒストグラム判定部または右眼用ヒストグラム判定部が生成するヒストグラムの一例を示す図である。図１４は、本発明の実施の形態１～３の変形例における立体映像処理装置が備えるベクトル検出部の機能構成を示すブロック図である。図１５は、本発明に係る立体映像処理装置を備える立体映像表示装置及び立体映像記録装置の一例を示す外観図である。

　（実施の形態１）
　本発明の実施の形態１における立体映像処理装置について、図面を参照しながら詳細に説明する。まず、立体映像処理装置を備える立体映像表示装置の構成について、説明する。

　図１は、本発明の実施の形態１における立体映像表示装置１の機能構成を示すブロック図である。

　立体映像表示装置１は、デジタルテレビなどの、三次元映像を表示する装置である。同図に示すように、立体映像表示装置１は、チューナ１０、デコーダ２０、Ｉ／Ｐ変換部３０、リサイズ部４０、フレームレート変換部５０、画質補正部６０、パネル表示制御部７０及び表示パネル８０を備えている。

　チューナ１０は、放送波を受信し、受信した放送波に含まれる符号化された三次元の立体映像データを取得する。例えば、放送波は、地上デジタルテレビ放送、及び衛星デジタルテレビ放送等である。

　なお、立体映像表示装置１は、光ディスクやその他の記録媒体に記録されている立体映像データを取得してもよい。また、立体映像表示装置１は、インターネット等の通信網を経由して取得した立体映像データや、外部の装置により外部入力端子（図示せず）等に入力された立体映像データを取得してもよい。

　デコーダ２０は、チューナ１０が取得した立体映像データを復号する。具体的には、デコーダ２０は、ＴＳ（トランスポートストリーム）のデコードを行うＴＳデコーダや、符号化された立体映像データのデコードを行うＭＰＥＧ／Ｈ．２６４デコーダなどから構成される。

　Ｉ／Ｐ変換部３０は、入力される映像信号がインタレース方式の場合に当該映像信号をインタレース方式からプログレッシブ方式に変換する。

　リサイズ部４０は、出力される映像信号で示される画像のサイズが表示パネル８０の画素数及びライン数に合うように、入力される映像信号を変換する。

　フレームレート変換部５０は、表示される映像データのフレーム数を変更する。具体的には、フレームレート変換部５０は、動きベクトルを用いて、フレーム間に時間方向の補間画像を生成する。なお、フレームレート変換部５０の詳細な構成については、後述する。

　画質補正部６０は、明るさ、コントラスト調整、輪郭強調等の各種画質の調整を行う。

　パネル表示制御部７０は、入力された映像データを、表示パネル８０に表示するためのデータドライバに合わせた映像データに並び替え、表示パネル８０への表示を制御するパネル表示コントロール信号を発生する。

　表示パネル８０は、左眼用と右眼用の映像信号を入力し、三次元映像を表示する。例えば、ユーザが、左眼用の映像信号と右眼用の映像信号との表示タイミングにあわせて開閉を行うことができる左眼用シャッタと右眼用シャッタとを備えるシャッタメガネ（図示せず）を装着することにより、当該ユーザは、表示パネル８０に表示される三次元映像を見ることができる。

　次に、立体映像処理装置を備えるフレームレート変換部５０の詳細な構成について、説明する。

　図２は、本発明の実施の形態１における立体映像処理装置１００を備えるフレームレート変換部５０の機能構成を示すブロック図である。

　同図に示すように、フレームレート変換部５０は、プリフィルタ５１、水平垂直データ間引部５２、ベクトル検出用フレームメモリ５３、本線系フレームメモリ５４、タイミング制御部５５、補間位相生成部５６及び立体映像処理装置１００を備えている。

　プリフィルタ５１は、入力される映像信号の高周波成分を除去するためのフィルタである。

　水平垂直データ間引部５２は、入力される映像信号から画素を間引いて、動きベクトル検出用の縮小画像を出力する。例えば、水平垂直データ間引部５２は、水平ｎ画素から１画素を間引き、垂直ｍラインから１ラインを間引く。

　ベクトル検出用フレームメモリ５３は、動きベクトル検出用の縮小画像を記憶するためのメモリである。

　本線系フレームメモリ５４は、入力される映像信号を記憶するためのメモリである。

　タイミング制御部５５は、同期信号を取得して、各処理部における処理のタイミングを制御する。

　補間位相生成部５６は、フレームレート変換におけるフレームレート変換率に応じた補間位相を生成する。例えば、２倍速であれば、補間位相は０と１の間の位相である０．５であり、４倍速であれば、補間位相は０と１を４等分した位相である０．２５と０．５と０．７５である。

　立体映像処理装置１００は、ベクトル検出部１１０及び補間画像生成部１２０を備えている。ここで、ベクトル検出部１１０は、フレーム間でマッチング差分が最小となる動きベクトルを検出する。なお、ベクトル検出部１１０の詳細な説明については、後述する。

　補間画像生成部１２０は、補間位相生成部５６が生成した補間位相と、ベクトル検出部１１０が出力する動きベクトルとを用いて、フレームレート変換のための補間画像を生成する。具体的には、補間画像生成部１２０は、ＮフレームとＮ－１フレームとの間に補間画像を生成する場合、（１）動きベクトルを用いてＮフレームから補間画像を生成、（２）動きベクトルを用いてＮ－１フレームから補間画像を生成、（３）動きベクトルを用いずにＮフレームとＮ－１フレームとの加算平均を補間画像として生成のうち、各画素ごとに、最適な補間画像を選択出力する。

　次に、立体映像処理装置１００が備えるベクトル検出部１１０の詳細な構成について、説明する。

　図３は、本発明の実施の形態１における立体映像処理装置１００が備えるベクトル検出部１１０の機能構成を示すブロック図である。

　同図に示すように、ベクトル検出部１１０は、左眼用動きベクトル検出部１１１、右眼用動きベクトル検出部１１２、視差検出部１１３、ベクトル比較部１１４、及びベクトル補正部１１５を備えている。以下、各構成について詳細に説明する。

　左眼用動きベクトル検出部１１１は、入力される左眼用の映像信号で示される左眼用映像データに含まれる左眼用画像内の領域である左画像内領域における動きベクトルである左眼用動きベクトルを検出し、出力する。つまり、左眼用映像データが左眼用動きベクトル検出部１１１に入力され、左眼用動きベクトル検出部１１１が、現フレームの左眼用画像とフレームメモリ等で遅延させた過去フレームの左眼用画像との間の左眼用動きベクトルを検出する。

　また、左眼用動きベクトル検出部１１１は、検出した左眼用動きベクトルの確かさの度合いを示す左眼動きベクトル確度を出力する。例えば、左眼動きベクトル確度は、現フレームの注目ブロックと過去フレームの対応するブロックとのブロックマッチングによる差分合計値が小さいほど、左眼動きベクトル確度を大きくして出力する。

　ここで、動きベクトルのベクトル確度としては、例えば、現フレームの注目ブロックと動きベクトルが指し示す過去フレームのブロックとの間で、ブロック内の対応する座標位置の画素ごとに差分絶対値を求め、ブロック内で差分絶対値を合計した値をベクトル確度として使用することができる。

　右眼用動きベクトル検出部１１２は、入力される右眼用の映像信号で示される右眼用映像データに含まれる右眼用画像内の領域である右画像内領域における動きベクトルである右眼用動きベクトルを検出し、出力する。つまり、右眼用映像データが右眼用動きベクトル検出部１１２に入力され、右眼用動きベクトル検出部１１２が、現フレームの右眼用画像とフレームメモリ等で遅延させた過去フレームの右眼用画像との間の右眼用動きベクトルを検出する。

　また、右眼用動きベクトル検出部１１２は、検出した右眼用動きベクトルの確かさの度合いを示す右眼動きベクトル確度を出力する。ここで、右眼動きベクトル確度は、左眼動きベクトル確度と同様であるので、詳細な説明は省略する。

　視差検出部１１３は、左眼用画像と右眼用画像との間の視差である左右画像間視差を検出する。つまり、左眼用映像データと右眼用映像データとが視差検出部１１３に入力され、ブロックマッチング法と同様の手法、または、上記特許文献１に記載の方法等で左右画像間の視差を検出する。つまり、特定範囲を占める領域毎に、どの程度の視差が与えられているのかが検出される。

　ベクトル比較部１１４は、視差検出部１１３で検出された左右画像間視差に基づいて、左眼用動きベクトル検出部１１１で検出された左眼用動きベクトルと、右眼用動きベクトル検出部１１２で検出された右眼用動きベクトルとを比較する。具体的には、ベクトル比較部１１４は、左画像内領域において検出された左眼用動きベクトルと、左右画像間視差から得られる左画像内領域に対応する右画像内領域において検出された右眼用動きベクトルとを比較する。

　つまり、ベクトル比較部１１４は、左右画像間視差から得られる対応する左画像内領域と右画像内領域とにおいて、当該左画像内領域において検出された左眼用動きベクトルと、当該右画像内領域において検出された右眼用動きベクトルとを比較する。具体的には、特定範囲を占める領域毎に、ベクトル比較部１１４は、左眼用動きベクトル検出部１１１が出力した左眼動きベクトル確度と、右眼用動きベクトル検出部１１２が出力した右眼動きベクトル確度とを比較することで、左眼用動きベクトルと右眼用動きベクトルとを比較する。

　ベクトル補正部１１５は、ベクトル比較部１１４による比較結果に基づいて、左眼用動きベクトルと右眼用動きベクトルとが一致するように、左眼用動きベクトル及び右眼用動きベクトルのうち少なくとも一方を補正する。ここで、ベクトル補正部１１５は、左眼用ベクトル補正部１１６及び右眼用ベクトル補正部１１７を備えている。

　左眼用ベクトル補正部１１６は、ベクトル比較部１１４で算出されたベクトル比較結果と左眼用動きベクトルと右眼用動きベクトルとに基づいて、左眼用動きベクトルを補正して補正後左眼用動きベクトルを出力する。

　具体的には、左眼用ベクトル補正部１１６は、左画像内領域が、左眼用画像が表示される画面の端部の領域である左画面端領域内に配置されるとともに、左右画像間視差から得られる左画像内領域に対応する右画像内領域が、右眼用画像が表示される画面の端部の領域である右画面端領域内に配置されていない場合、右眼用動きベクトルを用いて左眼用動きベクトルを補正する。

　例えば、左眼動きベクトル確度が低く、右眼動きベクトル確度が高い場合は、左眼用ベクトル補正部１１６は、左画像内領域が左画面端領域内に配置されており、右画像内領域が右画面端領域内に配置されていないと判断する。このため、左眼用ベクトル補正部１１６は、確度の低い左眼用動きベクトルを、確度の高い右眼用動きベクトルを用いて補正する。

　ここで、左眼用ベクトル補正部１１６による左眼用動きベクトルの補正方法は特に限定されないが、例えば、左眼用ベクトル補正部１１６は、左眼用動きベクトルが右眼用動きベクトルと同じベクトルになるように補正したり、左眼用動きベクトルと右眼用動きベクトルとを加重平均したりして、左眼用動きベクトルを補正する。

　右眼用ベクトル補正部１１７は、ベクトル比較部１１４で算出されたベクトル比較結果と左眼用動きベクトルと右眼用動きベクトルとに基づいて、右眼用動きベクトルを補正して補正後右眼用動きベクトルを出力する。

　具体的には、右眼用ベクトル補正部１１７は、右画像内領域が、右画面端領域内に配置されるとともに、左右画像間視差から得られる右画像内領域に対応する左画像内領域が、左画面端領域内に配置されていない場合、左眼用動きベクトルを用いて右眼用動きベクトルを補正する。

　例えば、右眼動きベクトル確度が低く、左眼動きベクトル確度が高い場合は、右眼用ベクトル補正部１１７は、右画像内領域が右画面端領域内に配置されており、左画像内領域が左画面端領域内に配置されていないと判断する。このため、右眼用ベクトル補正部１１７は、確度の低い右眼用動きベクトルを、確度の高い左眼用動きベクトルを用いて補正する。

　ここで、右眼用ベクトル補正部１１７による右眼用動きベクトルの補正方法は特に限定されないが、例えば、右眼用ベクトル補正部１１７は、左眼用ベクトル補正部１１６による補正と同様、右眼用動きベクトルが左眼用動きベクトルと同じベクトルになるように補正したり、右眼用動きベクトルと左眼用動きベクトルとを加重平均したりして、右眼用動きベクトルを補正する。

　なお、上述の処理においては、動きベクトルに基づいて、片方の目側の画像内領域が画面端領域内に配置されており、他方の目側の画像内領域が画面端領域内に配置されていないということを判断したが、この判断手法はこれに限定されない。例えば、補正対象候補としている領域が、画面内でどの位置にあるのか、その領域の視差はどの程度か、などを考慮の要素に入れて同様の判断を行うことによって、判断精度を向上させてもよい。

　このように、ベクトル検出部１１０は、左右画像間視差を用いて左眼用動きベクトルと右眼用動きベクトルとを比較した結果に基づいて、左眼用動きベクトルと右眼用動きベクトルとを互いに補正する。

　そして、図２に示された補間画像生成部１２０は、ベクトル補正部１１５による補正後の左眼用動きベクトル及び右眼用動きベクトルを用いて、左眼用映像データ及び右眼用映像データについてフレームレート変換のための補間画像を生成する。

　次に、立体映像処理装置１００が行う処理について、説明する。

　図４は、本発明の実施の形態１における立体映像処理装置１００の動作の一例を示すフローチャートである。

　同図に示すように、左眼用動きベクトル検出部１１１は、入力された左眼用映像データに含まれる左眼用画像内の左画像内領域における左眼用動きベクトルを検出し、出力する（Ｓ１０２）。また、左眼用動きベクトル検出部１１１は、検出した左眼用動きベクトルの左眼動きベクトル確度を出力する。

　また、右眼用動きベクトル検出部１１２は、入力された右眼用映像データに含まれる右眼用画像内の右画像内領域における右眼用動きベクトルを検出し、出力する（Ｓ１０４）。また、右眼用動きベクトル検出部１１２は、検出した右眼用動きベクトルの右眼動きベクトル確度を出力する。

　また、視差検出部１１３は、入力された左眼用映像データに含まれる左眼用画像と、入力された右眼用映像データに含まれる右眼用画像との間の視差である左右画像間視差を検出する（Ｓ１０６）。なお、視差検出部１１３は、画像ごとに視差を検出してもよいし、左眼用画像内の左画像内領域や右眼用画像内の右画像内領域などの画像内の所定の領域ごとに視差を検出してもよい。

　そして、ベクトル比較部１１４は、当該左右画像間視差から得られる対応する左右の動きベクトルである左眼用動きベクトルと右眼用動きベクトルとを比較する（Ｓ１０８）。つまり、ベクトル比較部１１４は、左眼動きベクトル確度と右眼動きベクトル確度とを比較することで、左眼用動きベクトルと右眼用動きベクトルとを比較する。

　そして、ベクトル補正部１１５は、ベクトル比較部１１４による比較結果に基づいて、左眼用動きベクトルと右眼用動きベクトルとが一致するように、左眼用動きベクトル及び右眼用動きベクトルのうち少なくとも一方を補正する（Ｓ１１０）。

　なお、本実施の形態では、ベクトル補正部１１５は、左眼用動きベクトル及び右眼用動きベクトルのいずれか一方を補正することとするが、左眼用動きベクトル及び右眼用動きベクトルの双方を補正することにしてもよい。このベクトル補正部１１５が動きベクトルを補正する処理の詳細については、後述する。

　そして、補間画像生成部１２０は、ベクトル補正部１１５による補正後の左眼用動きベクトル及び右眼用動きベクトルを用いて、左眼用映像データ及び右眼用映像データについてフレームレート変換のための補間画像を生成する（Ｓ１１２）。以下に、補間画像生成部１２０が補間画像を生成する処理について、説明する。

　図５は、本発明の実施の形態１における補間画像生成部１２０が補間画像を生成する処理を説明する図である。

　例えば、フレームレート変換により２枚のフレーム間に２枚のフレームを挿入する必要がある場合、補間画像生成部１２０は、同図の（ａ）に示すＮフレームとＮ－１フレームとの間に、同図の（ｂ）に示すように補間画像を２枚挿入する。

　この場合、例えば、補間画像生成部１２０は、動きベクトルＶ１を用いて、Ｎフレームから補間画像を生成する。つまり、補間画像生成部１２０は、動きベクトルＶ１を１／３倍した動きベクトルを用いて補間画像であるＡフレームを生成し、動きベクトルＶ１を２／３倍した動きベクトルを用いて補間画像であるＢフレームを生成する。

　また、補間画像生成部１２０は、動きベクトルＶ２を用いて、Ｎ－１フレームから補間画像を生成することにしてもよい。つまり、補間画像生成部１２０は、動きベクトルＶ２を１／３倍した動きベクトルを用いて補間画像であるＢフレームを生成し、動きベクトルＶ１を２／３倍した動きベクトルを用いて補間画像であるＡフレームを生成する。

　また、補間画像生成部１２０は、動きベクトルＶ１及びＶ２を用いて、Ｎフレームと及びＮ－１フレームから補間画像を生成することにしてもよい。

　次に、ベクトル補正部１１５が動きベクトルを補正する処理（図４のＳ１１０）の詳細について、説明する。

　図６は、本発明の実施の形態１におけるベクトル補正部１１５が動きベクトルを補正する処理を示すフローチャートである。

　同図に示すように、まず、ベクトル補正部１１５は、左画面端領域と右画面端領域とを設定する（Ｓ２０２）。具体的には、ベクトル補正部１１５は、左眼用動きベクトルの大きさが大きいほど左画面端領域を大きく設定し、右眼用動きベクトルの大きさが大きいほど右画面端領域を大きく設定する。

　例えば、ベクトル補正部１１５は、左眼用動きベクトルの水平方向の大きさの絶対値の総和が大きいほど、左画面端領域の水平方向の大きさを大きく設定し、左眼用動きベクトルの垂直方向の大きさが大きいほど、左画面端領域の垂直方向の大きさを大きく設定する。また、ベクトル補正部１１５は、右画面端領域についても同様に、右眼用動きベクトルの水平方向の大きさが大きいほど、右画面端領域の水平方向の大きさを大きく設定し、右眼用動きベクトルの垂直方向の大きさが大きいほど、右画面端領域の垂直方向の大きさを大きく設定する。

　そして、左眼用ベクトル補正部１１６は、左画像内領域が左画面端領域内に配置されているか否かを判断する（Ｓ２０４）。

　左眼用ベクトル補正部１１６が、左画像内領域が左画面端領域内に配置されていると判断した場合（Ｓ２０４でＹＥＳ）、右眼用ベクトル補正部１１７は、右画像内領域が右画面端領域内に配置されているか否かを判断する（Ｓ２０６）。

　そして、右眼用ベクトル補正部１１７が、右画像内領域が右画面端領域内に配置されていないと判断した場合（Ｓ２０６でＮＯ）、左眼用ベクトル補正部１１６は、右眼用動きベクトルを用いて左眼用動きベクトルを補正する（Ｓ２０８）。また、右眼用ベクトル補正部１１７が、右画像内領域が右画面端領域内に配置されていると判断した場合は（Ｓ２０６でＹＥＳ）、処理を終了する。

　また、左眼用ベクトル補正部１１６が、左画像内領域が左画面端領域内に配置されていないと判断した場合（Ｓ２０４でＮＯ）、右眼用ベクトル補正部１１７は、右画像内領域が右画面端領域内に配置されているか否かを判断する（Ｓ２１０）。

　そして、右眼用ベクトル補正部１１７は、右画像内領域が右画面端領域内に配置されていると判断した場合（Ｓ２０６でＹＥＳ）、左眼用動きベクトルを用いて右眼用動きベクトルを補正する（Ｓ２１２）。また、右眼用ベクトル補正部１１７が、右画像内領域が右画面端領域内に配置されていないと判断した場合は（Ｓ２０６でＮＯ）、処理を終了する。

　このように、右眼又は左眼一方の画像について、他方の左眼又は右眼の動きベクトルに基づいて、それぞれの画像に対応する動きベクトルの補正を行う。この補正により、画面端の動きベクトルの検出性能を改善することができる。図７を参照しながら、より具体的に説明する。

　図７は、本発明の実施の形態１におけるベクトル補正部１１５が動きベクトルを補正する処理を説明する図である。具体的には、同図は、立体映像表示装置１の表示パネル８０に、スポーツの映像を表示した場合の例を示している。

　ここで、左上図は、Ｎフレームの表示時における左眼用映像を示しており、左下図は、Ｎフレームよりも１フレーム前に表示したＮ－１フレームにおける左眼用映像を示している。さらに、右上図は、Ｎフレームの表示時における右眼用映像を示しており、右下図は、Ｎフレームよりも１フレーム前に表示したＮ－１フレームにおける右眼用映像を示している。また、太枠の実線がテレビ画面の枠を示しており、その実線の枠内に記載された破線が画面端領域の境界を示している。

　この映像においては、人物が２名とボールが１つ映っている。そして、人物は視差量が少ないため、左眼用映像及び右眼用映像のいずれにおいても、ほぼ同位置に表示されている。しかし、ボールは、より臨場感を出すために、左眼用映像と右眼用映像とでは、視差量が大きく、左眼用映像及び右眼用映像においては、異なる位置に表示されている。

　ここで、このボールは、Ｎ－１フレームからＮフレームにかけて画面右側から画面左側に移動しているものとする。その結果として、左上図におけるＮフレームの表示時における左眼用映像は、画面端領域にボールが存在している。一方、右上図におけるＮフレームの表示時における右眼用映像は、画面端領域外（画面内領域）にボールが存在している。

　ここで、左眼用映像に基づいて、Ｎ－１フレームからＮフレームへのボールの動きベクトルを検出した場合と比較すると、右眼用映像に基づいて、Ｎ－１フレームからＮフレームへのボールの動きベクトルを検出した場合の確度がより高くなる。従って、本発明においては、図７における左眼用映像においてボールの動きベクトルを生成する際に、右眼用映像のボールの動きベクトルを活用して、左眼用映像におけるボールの動きベクトルを補正する。これにより、より適切な動きベクトルの検出及び生成を行うことが可能になり、画面端における動きベクトル検出性能が改善される。

　なお、ベクトルの補正条件に、左右眼どちらかの画面端のベクトルより、他方の眼の左右画像間の視差が対応するベクトルの確度が高い（たとえば、ブロックマッチングの際のフレーム間差分絶対値のブロック合計値が小さい）ことを追加してもよい。

　以上のように、本発明の実施の形態１における立体映像処理装置１００によれば、対応する左画像内領域及び右画像内領域における動きベクトルである左眼用動きベクトルと右眼用動きベクトルとの比較結果に基づいて、左眼用動きベクトルと右眼用動きベクトルとが一致するように、左眼用動きベクトル及び右眼用動きベクトルのうち少なくとも一方を補正する。そして、当該補正が行われた後の左眼用動きベクトル及び右眼用動きベクトルを用いて、フレームレート変換のための補間画像を生成する。つまり、対応する左眼用動きベクトルと右眼用動きベクトルとは、基本的にはほぼ一致するはずであるが、左眼用動きベクトルまたは右眼用動きベクトルのいずれかが正確に求められていないために、左眼用動きベクトルと右眼用動きベクトルとの一致度が低くなっている場合がある。この場合、正確でない動きベクトルを補正する必要がある。このため、例えば正確でない動きベクトルを正確な動きベクトルに一致させるように補正するなど、左眼用動きベクトルと右眼用動きベクトルとが一致するように補正する。そして、この補正した動きベクトルをフレームレート変換に使用することで、立体映像をスムーズに表示させることができる。

　また、ベクトル補正部１１５は、左画像内領域は左画面端領域内に配置されているが、右画像内領域が右画面端領域内に配置されていない場合、右眼用動きベクトルを用いて左眼用動きベクトルを補正し、右画像内領域は右画面端領域内に配置されているが、左画像内領域が左画面端領域内に配置されていない場合、左眼用動きベクトルを用いて右眼用動きベクトルを補正する。つまり、画面端の領域における動きベクトルは、正確に求めることができないため、他方の画面端以外の領域における動きベクトルを用いて補正する。これにより、正確でない動きベクトルを正確な動きベクトルを用いて補正することで、補正後の正確な動きベクトルを使用して、立体映像をスムーズに表示させることができる。

　また、ベクトル補正部１１５は、動きベクトルの大きさが大きいほど画面端領域を大きく設定して、動きベクトルを補正する。つまり、動きベクトルの大きさが大きい場合は、映像の動きが大きいので、動きベクトルの正確さが低下する画面端領域は、大きく設定する必要がある。このため、動きベクトルをその大きさに応じて適切に補正することができるので、補正後の正確な動きベクトルを使用して、立体映像をスムーズに表示させることができる。

　（実施の形態２）
　次に、本発明の実施の形態２における立体映像処理装置について、説明する。ここで、実施の形態２における立体映像処理装置は、上記実施の形態１における立体映像処理装置のベクトル検出部の構成が異なるため、以下では、ベクトル検出部の構成について、詳細に説明する。

　図８は、本発明の実施の形態２における立体映像処理装置が備えるベクトル検出部１３０の機能構成を示すブロック図である。

　同図に示すように、ベクトル検出部１３０は、実施の形態１におけるベクトル検出部１１０が備える左眼用動きベクトル検出部１１１と右眼用動きベクトル検出部１１２とベクトル補正部１１５の他に、シーンチェンジ判定部１３１を備えている。また、シーンチェンジ判定部１３１は、左眼用シーンチェンジ判定部１３２と、右眼用シーンチェンジ判定部１３３と、左右眼シーンチェンジ比較部１３４とを備えている。以下、各構成について詳細に説明する。

　なお、左眼用動きベクトル検出部１１１は、実施の形態１におけるベクトル検出部１１０が備える左眼用動きベクトル検出部１１１と同様の機能を有するため、詳細な説明は省略する。つまり、左眼用映像データが左眼用動きベクトル検出部１１１に入力され、左眼用動きベクトル検出部１１１が、左眼用動きベクトルを検出し、同時に左眼用動きベクトルの正しさの指標である左眼動きベクトル確度を出力する。

　左眼用シーンチェンジ判定部１３２は、左眼用動きベクトル検出部１１１が出力した左眼動きベクトル確度を取得し、複数の左画像内領域における左眼動きベクトル確度が所定の第一閾値以下の場合、左眼用映像がシーンチェンジであると判定する。

　具体的には、左眼動きベクトル確度が所定の第一閾値以下（＝ブロックマッチングの差分絶対値の合計値が閾値以上）のブロックの数をフレーム内で合計し、フレーム内合計値から、フレーム内合計値の過去数フレームの平均を減算した値が所定の第三閾値以上の場合、シーンチェンジと判定する。

　つまり、左眼動きベクトル確度が左眼用シーンチェンジ判定部１３２に入力され、例えば画面全体の左眼動きベクトル確度が第一閾値以下の場合、左眼用シーンチェンジ判定部１３２がシーンチェンジであると判定する。なお、第一閾値の値は、特に限定されず、ユーザによって自由に設定可能である。

　また、右眼用動きベクトル検出部１１２は、実施の形態１におけるベクトル検出部１１０が備える右眼用動きベクトル検出部１１２と同様の機能を有するため、詳細な説明は省略する。つまり、右眼用映像データが右眼用動きベクトル検出部１１２に入力され、右眼用動きベクトル検出部１１２が、右眼用動きベクトルを検出し、同時に右眼用動きベクトルの正しさの指標である右眼動きベクトル確度を出力する。

　右眼用シーンチェンジ判定部１３３は、右眼用動きベクトル検出部１１２が出力した右眼動きベクトル確度を取得し、複数の右画像内領域における右眼動きベクトル確度が所定の第二閾値以下の場合、右眼用映像がシーンチェンジであると判定する。

　つまり、右眼動きベクトル確度が右眼用シーンチェンジ判定部１３３に入力され、例えば画面全体の右眼動きベクトル確度が第二閾値以下の場合、右眼用シーンチェンジ判定部１３３がシーンチェンジであると判定する。なお、第二閾値の値は、特に限定されず、ユーザによって自由に設定可能であるが、好ましくは、第一閾値と同じ値である。

　左右眼シーンチェンジ比較部１３４は、左眼用シーンチェンジ判定部１３２と右眼用シーンチェンジ判定部１３３の判定結果に基づいて、補正許可信号を出力する。具体的には、左右眼シーンチェンジ比較部１３４は、左眼用シーンチェンジ判定部１３２及び右眼用シーンチェンジ判定部１３３のうち少なくとも一方がシーンチェンジであると判定した場合、左眼用動きベクトル及び右眼用動きベクトルの補正許可信号を出力する。

　つまり、左右眼シーンチェンジ比較部１３４は、少なくとも片眼がシーンチェンジ判定した場合に補正許可状態にすることにしてもよいし、両眼ともシーンチェンジ判定した場合に補正許可状態にすることにしてもよい。

　ベクトル補正部１１５は、左右眼シーンチェンジ比較部１３４が出力した補正許可信号を取得した場合、左眼用動きベクトルと右眼用動きベクトルとを連動して補正する。

　具体的には、左眼用ベクトル補正部１１６は、左右眼シーンチェンジ比較部１３４が出力する補正許可信号に基づいて、左眼用動きベクトルを補正する。例えば、左眼用ベクトル補正部１１６は、補正許可信号が補正許可状態のとき、左眼用動きベクトルを０クリアする、または左眼用動きベクトルを小さくする等の補正を行う。

　また、右眼用ベクトル補正部１１７は、左右眼シーンチェンジ比較部１３４が出力する補正許可信号に基づいて、右眼用動きベクトルを補正する。例えば、右眼用ベクトル補正部１１７は、補正許可信号が補正許可状態のとき、右眼用動きベクトルを０クリアする、または右眼用動きベクトルを小さくする等の補正を行う。

　以上のような構成により、左眼用シーンチェンジ判定部１３２と右眼用シーンチェンジ判定部１３３の判定結果に基づいて、左眼用動きベクトルと右眼用動きベクトルとを同じタイミングで同様に補正するため、動きベクトルを用いた信号処理による左眼用映像出力と右眼用映像出力との間に視覚的違和感が発生するのを改善することができる。

　次に、本実施の形態２における立体映像処理装置が行う処理について、説明する。

　図９は、本発明の実施の形態２における立体映像処理装置の動作の一例を示すフローチャートである。

　同図に示すように、左眼用動きベクトル検出部１１１は、入力された左眼用映像データに含まれる左眼用画像内の左画像内領域における左眼用動きベクトルを検出するとともに、検出した左眼用動きベクトルの左眼動きベクトル確度を出力する（Ｓ３０２）。

　また、右眼用動きベクトル検出部１１２は、入力された右眼用映像データに含まれる右眼用画像内の右画像内領域における右眼用動きベクトルを検出するとともに、検出した右眼用動きベクトルの右眼動きベクトル確度を出力する（Ｓ３０４）。

　具体的には、右眼動きベクトル確度が所定の第二閾値以下（＝ブロックマッチングの差分絶対値の合計値が閾値以上）のブロックの数をフレーム内で合計し、フレーム内合計値から、フレーム内合計値の過去数フレームの平均を減算した値が所定の第三閾値以上の場合、シーンチェンジと判定する。

　そして、左眼用シーンチェンジ判定部１３２は、複数の左画像内領域における左眼動きベクトル確度が所定の第一閾値以下の場合、左眼用映像がシーンチェンジであると判定する（Ｓ３０６）。

　また、右眼用シーンチェンジ判定部１３３は、複数の右画像内領域における右眼動きベクトル確度が所定の第二閾値以下の場合、右眼用映像がシーンチェンジであると判定する（Ｓ３０８）。

　そして、左右眼シーンチェンジ比較部１３４は、左眼用シーンチェンジ判定部１３２及び右眼用シーンチェンジ判定部１３３のうち少なくとも一方がシーンチェンジであると判定した場合、左眼用動きベクトル及び右眼用動きベクトルの補正許可信号を出力する（Ｓ３１０）。

　そして、ベクトル補正部１１５は、左右眼シーンチェンジ比較部１３４が出力した補正許可信号を取得した場合、左眼用動きベクトルと右眼用動きベクトルとを連動して補正する（Ｓ３１２）。

　そして、補間画像生成部１２０は、ベクトル補正部１１５による補正後の左眼用動きベクトル及び右眼用動きベクトルを用いて、左眼用映像データ及び右眼用映像データについてフレームレート変換のための補間画像を生成する（Ｓ３１４）。

　以上のように、本発明の実施の形態２における立体映像処理装置によれば、左眼用映像及び右眼用映像のうち少なくとも一方がシーンチェンジであると判定した場合に、左眼用動きベクトルと右眼用動きベクトルとを連動して補正する。つまり、立体映像処理装置は、映像中のシーンチェンジを検出した場合に、左右の動きベクトルを連動して補正する。このため、シーンチェンジにおいて、左右の画像のバランスが崩れることを抑制することができる。これにより、シーンチェンジにおいても、立体映像をスムーズに表示させることができる。

　（実施の形態３）
　次に、本発明の実施の形態３における立体映像処理装置について、説明する。ここで、実施の形態３における立体映像処理装置は、上記実施の形態２と同様、上記実施の形態１における立体映像処理装置のベクトル検出部の構成が異なるため、以下では、ベクトル検出部の構成について、詳細に説明する。

　図１０は、本発明の実施の形態３における立体映像処理装置が備えるベクトル検出部１４０の機能構成を示すブロック図である。

　同図に示すように、ベクトル検出部１４０は、実施の形態１におけるベクトル検出部１１０が備える左眼用動きベクトル検出部１１１と右眼用動きベクトル検出部１１２とベクトル補正部１１５の他に、スクロール判定部１４１を備えている。また、スクロール判定部１４１は、左眼用ヒストグラム判定部１４２、左眼用カウンタ１４３、左眼用スクロール判定部１４４、右眼用ヒストグラム判定部１４５、右眼用カウンタ１４６、右眼用スクロール判定部１４７、及び左右眼スクロール比較部１４８を備えている。以下、各構成について詳細に説明する。

　なお、左眼用動きベクトル検出部１１１は、実施の形態１におけるベクトル検出部１１０が備える左眼用動きベクトル検出部１１１と同様の機能を有するため、詳細な説明は省略する。つまり、左眼用映像データが左眼用動きベクトル検出部１１１に入力され、左眼用動きベクトル検出部１１１が左眼用動きベクトルを検出する。

　左眼用ヒストグラム判定部１４２は、複数の左画像内領域において、左眼用動きベクトルのヒストグラムを演算し、ヒストグラムの集中度が高いか否かを判定し、ヒストグラムが集中するベクトルを左眼スクロールベクトルとして出力する。つまり、左眼用動きベクトルが左眼用ヒストグラム判定部１４２に入力されると、左眼用ヒストグラム判定部１４２は、左眼用動きベクトルの例えば画面全体のヒストグラムを演算し、ヒストグラムの集中度が高いかどうかを判定し、ヒストグラムが集中するベクトル値を左眼スクロールベクトルとして出力する。

　左眼用カウンタ１４３は、左眼用ヒストグラム判定部１４２がヒストグラムの集中度が高いと判定した場合に、カウンタ値を増加させ、ヒストグラムの集中度が高くないと判定した場合に、カウンタ値を減少させる。

　左眼用スクロール判定部１４４は、複数の左画像内領域における左眼用動きベクトルのヒストグラムを用いて、左眼用映像がスクロール映像であるか否かを判定する。具体的には、左眼用スクロール判定部１４４は、左眼用カウンタ１４３におけるカウンタ値が所定の第三閾値以上の場合、左眼用映像がスクロール映像であると判定する。なお、第三閾値の値は、特に限定されず、ユーザによって自由に設定可能である。

　また、右眼用動きベクトル検出部１１２は、実施の形態１におけるベクトル検出部１１０が備える右眼用動きベクトル検出部１１２と同様の機能を有するため、詳細な説明は省略する。つまり、右眼用映像データが右眼用動きベクトル検出部１１２に入力し、右眼用動きベクトル検出部１１２が右眼用動きベクトルを検出する。

　右眼用ヒストグラム判定部１４５は、複数の右画像内領域において、右眼用動きベクトルのヒストグラムを演算し、ヒストグラムの集中度が高いか否かを判定し、ヒストグラムが集中するベクトルを右眼スクロールベクトルとして出力する。つまり、右眼用動きベクトルが右眼用ヒストグラム判定部１４５に入力されると、右眼用ヒストグラム判定部１４５は、右眼用動きベクトルの例えば画面全体のヒストグラムを演算し、ヒストグラムの集中度が高いかどうかを判定し、ヒストグラムが集中するベクトル値を右眼スクロールベクトルとして出力する。

　右眼用カウンタ１４６は、右眼用ヒストグラム判定部１４５がヒストグラムの集中度が高いと判定した場合に、カウンタ値を増加させ、ヒストグラムの集中度が高くないと判定した場合に、カウンタ値を減少させる。

　右眼用スクロール判定部１４７は、複数の右画像内領域における右眼用動きベクトルのヒストグラムを用いて、右眼用映像がスクロール映像であるか否かを判定する。具体的には、右眼用スクロール判定部１４７は、右眼用カウンタ１４６におけるカウンタ値が所定の第四閾値以上の場合、右眼用映像がスクロール映像であると判定する。なお、第四閾値の値は、特に限定されず、ユーザによって自由に設定可能であるが、好ましくは、第三閾値と同じ値である。

　左右眼スクロール比較部１４８は、左眼用スクロール判定部１４４及び右眼用スクロール判定部１４７のうち少なくとも一方がスクロール映像であると判定した場合、左眼用動きベクトル及び右眼用動きベクトルの補正許可信号を出力する。

　具体的には、左右眼スクロール比較部１４８は、左眼用ヒストグラム判定部１４２が出力した左眼スクロールベクトルと右眼用ヒストグラム判定部１４５が出力した右眼スクロールベクトルとの一致度が所定値以上である場合に、左眼スクロールベクトルと右眼スクロールベクトルとから得られる補正スクロールベクトルを生成する。

　また、左右眼スクロール比較部１４８は、当該左眼スクロールベクトルと右眼スクロールベクトルとの一致度が所定値以上の場合であって、左眼用スクロール判定部１４４及び右眼用スクロール判定部１４７のうち少なくとも一方がスクロール映像であると判定した場合に、当該補正許可信号を出力する。

　つまり、左眼用スクロール判定部１４４から出力される左眼スクロール判定結果と、右眼用スクロール判定部１４７から出力される右眼スクロール判定結果と、左眼スクロールベクトルと、右眼スクロールベクトルとが左右眼スクロール比較部１４８に入力される。そして、左右眼スクロール比較部１４８は、左眼スクロールベクトルと右眼スクロールベクトルとの値が概ね等しいとき、左眼スクロールベクトルと右眼スクロールベクトルの値に基づいて補正スクロールベクトルを出力し、また、左眼スクロールベクトルと右眼スクロールベクトルの値が概ね等しいとき、左眼スクロール判定結果と右眼スクロール判定結果の少なくとも一方がスクロール状態のときに、補正許可信号を出力する。

　なお、左右眼スクロール比較部１４８は、左眼スクロールベクトルまたは右眼スクロールベクトルと同一のベクトルを補正スクロールベクトルとして生成することにしてもよいし、左眼スクロールベクトル及び右眼スクロールベクトルを加重平均したベクトルを補正スクロールベクトルとして生成することにしてもよい。

　また、左右眼スクロール比較部１４８は、左眼用動きベクトルのベクトル確度の１フレーム平均値と右眼用動きベクトルのベクトル確度の１フレーム平均値とを比較し、より確からしいベクトルの比重が高くなるように、左眼スクロールベクトル及び右眼スクロールベクトルを加重平均したベクトルを補正スクロールベクトルとして生成することにしてもよい。

　ベクトル補正部１１５は、左右眼スクロール比較部１４８が出力した補正許可信号を取得した場合、左眼用動きベクトルと右眼用動きベクトルとを連動して補正する。具体的には、ベクトル補正部１１５は、左右眼スクロール比較部１４８が出力した補正許可信号を取得した場合、左眼用動きベクトルと右眼用動きベクトルとを補正スクロールベクトルを用いて補正する。

　つまり、左眼用ベクトル補正部１１６は、左右眼スクロール比較部１４８から出力される補正許可信号が許可状態の場合、左眼用動きベクトルを補正スクロールベクトルで補正する。たとえば、左眼用ベクトル補正部１１６は、全画面の左眼用動きベクトルを補正スクロールベクトルに置換する。または、左眼用ベクトル補正部１１６は、左眼用動きベクトルと補正スクロールベクトルとを、左眼用カウンタ１４３と右眼用カウンタ１４６のカウンタ値の平均値が大きいほど補正スクロールベクトルの比率が大きくなるように、ブレンドするなどしてもよい。

　また、右眼用ベクトル補正部１１７は、左右眼スクロール比較部１４８から出力される補正許可信号が許可状態の場合、右眼用動きベクトルを補正スクロールベクトルで補正する。たとえば、右眼用ベクトル補正部１１７は、全画面の右眼用動きベクトルを補正スクロールベクトルで置換する。または、右眼用ベクトル補正部１１７は、右眼用動きベクトルと補正スクロールベクトルとを、左眼用カウンタ１４３と右眼用カウンタ１４６のカウンタ値の平均値が大きいほど補正スクロールベクトルの比率が大きくなるように、ブレンドするなどしてもよい。

　以上のような構成により、本発明の実施の形態３における立体映像処理装置は、左眼スクロール判定結果と右眼スクロール判定結果の各結果と左眼スクロールベクトルと右眼スクロールベクトルとの値に基づいて、左眼用ベクトルと右眼用ベクトルとを同じタイミングで同様に補正するため、動きベクトルを用いた信号処理による左眼用映像出力と右眼用映像出力との間に視覚的違和感が発生するのを改善することができる。

　次に、本実施の形態３における立体映像処理装置が行う処理について、説明する。

　図１１は、本発明の実施の形態３における立体映像処理装置の動作の一例を示すフローチャートである。

　同図に示すように、左眼用動きベクトル検出部１１１は、入力された左眼用映像データに含まれる左眼用画像内の左画像内領域における左眼用動きベクトルを検出する（Ｓ４０２）。

　また、右眼用動きベクトル検出部１１２は、入力された右眼用映像データに含まれる右眼用画像内の右画像内領域における右眼用動きベクトルを検出する（Ｓ４０４）。

　そして、スクロール判定部１４１は、左眼用映像及び右眼用映像のスクロールを判定する（Ｓ４０６）。このスクロール判定部１４１がスクロールを判定する処理の詳細については、後述する。

　そして、左右眼スクロール比較部１４８は、左眼用映像及び右眼用映像のうち少なくとも一方がスクロール映像であると判定した場合、左眼用動きベクトル及び右眼用動きベクトルの補正許可信号を出力する（Ｓ４０８）。

　そして、ベクトル補正部１１５は、左右眼スクロール比較部１４８が出力した補正許可信号を取得した場合、左眼用動きベクトルと右眼用動きベクトルとを連動して補正する（Ｓ４１０）。

　そして、補間画像生成部１２０は、ベクトル補正部１１５による補正後の左眼用動きベクトル及び右眼用動きベクトルを用いて、左眼用映像データ及び右眼用映像データについてフレームレート変換のための補間画像を生成する（Ｓ４１２）。

　次に、スクロール判定部１４１がスクロールを判定する処理（図１１のＳ４０６）の詳細について、説明する。

　図１２は、本発明の実施の形態３におけるスクロール判定部１４１がスクロールを判定する処理を示すフローチャートである。

　同図に示すように、まず、左眼用ヒストグラム判定部１４２は、複数の左画像内領域において、左眼用動きベクトルのヒストグラムを演算し、ヒストグラムの集中度が高いか否かを判定し、ヒストグラムが集中するベクトルを左眼スクロールベクトルとして出力する（Ｓ５０２）。

　また、右眼用ヒストグラム判定部１４５は、複数の右画像内領域において、右眼用動きベクトルのヒストグラムを演算し、ヒストグラムの集中度が高いか否かを判定し、ヒストグラムが集中するベクトルを右眼スクロールベクトルとして出力する（Ｓ５０４）。

　ここで、以下に、左眼用ヒストグラム判定部１４２または右眼用ヒストグラム判定部１４５が生成するヒストグラムについて、説明する。

　図１３は、本発明の実施の形態３における左眼用ヒストグラム判定部１４２または右眼用ヒストグラム判定部１４５が生成するヒストグラムの一例を示す図である。

　同図のＸ軸方向及びＹ軸方向は、動きベクトルの方向を示している。また、中心からの距離は、動きベクトルの大きさを示している。そして、グラフの高さは、動きベクトルの集中度を示している。つまり、原点から、グラフの高さが最も高い位置までのベクトルが、ヒストグラムが集中するベクトルである。なお、左眼用ヒストグラム判定部１４２及び右眼用ヒストグラム判定部１４５は、それぞれ個別に同図のようなヒストグラムを生成する。

　このため、左眼用ヒストグラム判定部１４２は、ヒストグラムのグラフの高さが所定値よりも高い場合に、ヒストグラムの集中度が高いと判定し、原点からグラフの高さが最も高い位置までのベクトルを、左眼スクロールベクトルとして出力する。

　また、同様に、右眼用ヒストグラム判定部１４５は、ヒストグラムのグラフの高さが所定値よりも高い場合に、ヒストグラムの集中度が高いと判定し、原点からグラフの高さが最も高い位置までのベクトルを、右眼スクロールベクトルとして出力する。

　なお、左眼用ヒストグラム判定部１４２及び右眼用ヒストグラム判定部１４５は、この集中度の判定を、１フレーム内の所定の領域において行えばよい。

　ここで、一例として、左眼用ヒストグラム判定部１４２が左眼スクロールベクトルを出力する処理について、以下に説明する。なお、右眼用ヒストグラム判定部１４５が右眼スクロールベクトルを出力する処理についても同様であるため、以下では説明を省略する。

　まず、左眼用ヒストグラム判定部１４２は、ヒストグラムを、水平成分をｍ領域、垂直成分をｎ領域に分割して作成する。そして、左眼用ヒストグラム判定部１４２は、ヒストグラムの各領域において、水平ベクトルがｍ個の各領域内に含まれるブロックの数および各領域内の水平ベクトルの加算値を１フレーム分計算する。そして、左眼用ヒストグラム判定部１４２は、１フレーム分の計算終了後、領域内に含まれるブロック数が最大となる領域について、領域内の水平ベクトル加算値を領域内に含まれるブロック数で除算し、領域内に含まれる水平ベクトルの平均値を求め、左眼スクロールベクトルの水平成分とする。

　また、左眼用ヒストグラム判定部１４２は、垂直ベクトルについても同様に、ｎ個の各領域内に含まれるブロックの数および各領域内の垂直ベクトルの加算値を１フレーム分計算する。そして、左眼用ヒストグラム判定部１４２は、１フレーム分の計算終了後、領域内に含まれるブロック数が最大となる領域について、領域内の垂直ベクトル加算値を領域内に含まれるブロック数で除算し、領域内に含まれる垂直ベクトルの平均値を求め、左眼スクロールベクトルの垂直成分とする。

　左眼用ヒストグラム判定部１４２は、こうして求めた左眼スクロールベクトルの水平成分及び垂直成分を、左眼スクロールベクトルとする。

　そして、左眼用ヒストグラム判定部１４２は、水平ベクトルがｍ個の各領域内に含まれるブロック数が最大となる領域のブロック数、垂直ベクトルがｎ個の各領域内に含まれるブロックの数が最大となる領域のブロック数の両方が所定の閾値以上の場合、ヒストグラムの集中度が高いと判定する。

　図１２に戻り、左眼用カウンタ１４３は、左眼用ヒストグラム判定部１４２がヒストグラムの集中度が高いと判定した場合に、カウンタ値を増加させ、ヒストグラムの集中度が高くないと判定した場合に、カウンタ値を減少させる（Ｓ５０６）。例えば、左眼用カウンタ１４３は、１フレームごとにカウンタ値を増減させる。

　また、右眼用カウンタ１４６は、右眼用ヒストグラム判定部１４５がヒストグラムの集中度が高いと判定した場合に、カウンタ値を増加させ、ヒストグラムの集中度が高くないと判定した場合に、カウンタ値を減少させる（Ｓ５０８）。例えば、右眼用カウンタ１４６は、１フレームごとにカウンタ値を増減させる。

　そして、左眼用スクロール判定部１４４は、左眼用カウンタ１４３におけるカウンタ値が所定の第三閾値以上の場合、左眼用映像がスクロール映像であると判定する（Ｓ５１０）。

　また、右眼用スクロール判定部１４７は、右眼用カウンタ１４６におけるカウンタ値が所定の第四閾値以上の場合、右眼用映像がスクロール映像であると判定する（Ｓ５１２）。

　以上で、スクロール判定部１４１がスクロールを判定する処理（図１１のＳ４０６）は、終了する。

　なお、ここで、カウンタ値減少のスピードはカウンタ値増加のスピードより速く設定し、スクロール画像からスクロールでない映像に変わった場合、瞬時にスクロール映像でないと判定するのが望ましい。

　以上のように、本発明の実施の形態３における立体映像処理装置によれば、左眼用映像及び右眼用映像のうち少なくとも一方がスクロール映像であると判定した場合に、左眼用動きベクトルと右眼用動きベクトルとを連動して補正する。つまり、立体映像処理装置は、映像中の画面スクロールを検出した場合に、左右の動きベクトルを連動して補正する。このため、画面スクロールにおいて、左右の画像のバランスが崩れることを抑制することができる。これにより、画面スクロールにおいても、立体映像をスムーズに表示させることができる。

　また、立体映像処理装置は、左眼用動きベクトルのヒストグラムが集中するベクトルである左眼スクロールベクトルと、右眼用動きベクトルのヒストグラムが集中するベクトルである右眼スクロールベクトルとから生成される補正スクロールベクトルを用いて、左眼用動きベクトルと右眼用動きベクトルとを補正する。つまり、スクロールにおいて、ヒストグラムが集中するベクトルは、当該スクロールの動きを示すベクトルであるので、ヒストグラムが集中するベクトルを用いて、左眼用動きベクトルと右眼用動きベクトルとを補正する。このため、当該スクロールの動きに合うように、左眼用動きベクトルと右眼用動きベクトルとを補正することができる。これにより、画面スクロールにおいても、立体映像をスムーズに表示させることができる。

　以上、本発明の実施の形態１～３における立体映像処理装置について説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

　例えば、上記実施の形態では、立体映像処理装置は、ベクトル検出部１１０、１３０、１４０のいずれか１つの機能を有したベクトル検出部を備えていることとしたが、立体映像処理装置は、ベクトル検出部１１０、１３０、１４０の全ての機能を有したベクトル検出部を備えていることにしてもよい。

　図１４は、本発明の実施の形態１～３の変形例における立体映像処理装置が備えるベクトル検出部１５０の機能構成を示すブロック図である。

　同図に示すように、ベクトル検出部１５０は、実施の形態１におけるベクトル検出部１１０が備える左眼用動きベクトル検出部１１１、右眼用動きベクトル検出部１１２、視差検出部１１３、ベクトル比較部１１４及びベクトル補正部１１５と、実施の形態２におけるベクトル検出部１３０が備えるシーンチェンジ判定部１３１と、実施の形態３におけるベクトル検出部１４０が備えるスクロール判定部１４１とを備えている。つまり、本変形例における立体映像処理装置は、実施の形態１～３の全ての機能を有したベクトル検出部１５０を備えている。

　なお、ベクトル検出部１５０は、実施の形態１～３の全ての機能を有していなくともよく、例えば、スクロール判定部１４１は備えていないなど、実施の形態１～３のうちの２つの機能を有していることにしてもよい。

　また、本発明に係る立体映像処理装置は、図１５に示すように、デジタルテレビなどの立体映像表示装置１に搭載されるのではなく、デジタルビデオレコーダなどの立体映像記録装置２に搭載されることにしてもよい。図１５は、本発明に係る立体映像処理装置を備える立体映像表示装置１及び立体映像記録装置２の一例を示す外観図である。

　ここで、立体映像表示装置１としては、デジタルテレビだけではなく、三次元画像を表示する携帯電話機器やパーソナルコンピュータ等にも適用できる。また、立体映像記録装置２としては、デジタルビデオレコーダだけではなく、三次元画像を出力するＢＤプレーヤ等にも適用できる。

　また、本発明は、このような立体映像処理装置の機能の一部又は全てを備える集積回路（ＬＳＩ）として実現したりすることもできる。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。

　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて各処理部の集積化を行ってもよい。

　本発明は、左右両眼で観測する画像の視差を利用して立体視させる立体映像処理表示装置において、立体映像をスムーズに表示させることができる立体映像処理装置に適用することができる。

　　　１　立体映像表示装置
　　　２　立体映像記録装置
　　１０　チューナ
　　２０　デコーダ
　　３０　Ｉ／Ｐ変換部
　　４０　リサイズ部
　　５０　フレームレート変換部
　　５１　プリフィルタ
　　５２　水平垂直データ間引部
　　５３　ベクトル検出用フレームメモリ
　　５４　本線系フレームメモリ
　　５５　タイミング制御部
　　５６　補間位相生成部
　　６０　画質補正部
　　７０　パネル表示制御部
　　８０　表示パネル
　１００　立体映像処理装置
　１１０、１３０、１４０、１５０　ベクトル検出部
　１１１　左眼用動きベクトル検出部
　１１２　右眼用動きベクトル検出部
　１１３　視差検出部
　１１４　ベクトル比較部
　１１５　ベクトル補正部
　１１６　左眼用ベクトル補正部
　１１７　右眼用ベクトル補正部
　１２０　補間画像生成部
　１３１　シーンチェンジ判定部
　１３２　左眼用シーンチェンジ判定部
　１３３　右眼用シーンチェンジ判定部
　１３４　左右眼シーンチェンジ比較部
　１４１　スクロール判定部
　１４２　左眼用ヒストグラム判定部
　１４３　左眼用カウンタ
　１４４　左眼用スクロール判定部
　１４５　右眼用ヒストグラム判定部
　１４６　右眼用カウンタ
　１４７　右眼用スクロール判定部
　１４８　左右眼スクロール比較部

Claims

　入力された左眼用映像データに含まれる左眼用画像と右眼用映像データに含まれる右眼用画像との間の視差を利用して立体視させる立体映像処理装置であって、
　前記左眼用画像内の領域である左画像内領域における動きベクトルである左眼用動きベクトルを検出する左眼用動きベクトル検出部と、
　前記右眼用画像内の領域である右画像内領域における動きベクトルである右眼用動きベクトルを検出する右眼用動きベクトル検出部と、
　前記左眼用画像と前記右眼用画像との間の視差である左右画像間視差を検出する視差検出部と、
　前記左画像内領域において検出された前記左眼用動きベクトルと、前記左右画像間視差から得られる前記左画像内領域に対応する前記右画像内領域において検出された前記右眼用動きベクトルとを比較するベクトル比較部と、
　前記ベクトル比較部による比較結果に基づいて、前記左眼用動きベクトルと前記右眼用動きベクトルとが一致するように、前記左眼用動きベクトル及び前記右眼用動きベクトルのうち少なくとも一方を補正するベクトル補正部と、
　前記ベクトル補正部による補正後の前記左眼用動きベクトル及び前記右眼用動きベクトルを用いて、前記左眼用映像データ及び前記右眼用映像データについてフレームレート変換のための補間画像を生成する補間画像生成部と
　を備える立体映像処理装置。
　前記ベクトル補正部は、
　前記左画像内領域が、前記左眼用画像が表示される画面の端部の領域である左画面端領域内に配置されるとともに、前記左右画像間視差から得られる前記左画像内領域に対応する前記右画像内領域が、前記右眼用画像が表示される画面の端部の領域である右画面端領域内に配置されていない場合、前記右眼用動きベクトルを用いて前記左眼用動きベクトルを補正し、
　前記右画像内領域が、前記右画面端領域内に配置されるとともに、前記左右画像間視差から得られる前記右画像内領域に対応する前記左画像内領域が、前記左画面端領域内に配置されていない場合、前記左眼用動きベクトルを用いて前記右眼用動きベクトルを補正する
　請求項１に記載の立体映像処理装置。
　前記ベクトル補正部は、前記左眼用動きベクトルの大きさが大きいほど前記左画面端領域を大きく設定し、前記右眼用動きベクトルの大きさが大きいほど前記右画面端領域を大きく設定して、前記左眼用動きベクトル及び前記右眼用動きベクトルのうち少なくとも一方を補正する
　請求項２に記載の立体映像処理装置。
　前記左眼用動きベクトル検出部は、さらに、検出した前記左眼用動きベクトルの確かさの度合いを示す左眼動きベクトル確度を出力し、
　前記右眼用動きベクトル検出部は、さらに、検出した前記右眼用動きベクトルの確かさの度合いを示す右眼動きベクトル確度を出力し、
　前記立体映像処理装置は、さらに、
　出力された前記左眼動きベクトル確度を取得し、複数の前記左画像内領域における左眼動きベクトル確度が所定の第一閾値以下の場合、左眼用映像がシーンチェンジであると判定する左眼用シーンチェンジ判定部と、
　出力された前記右眼動きベクトル確度を取得し、複数の前記右画像内領域における右眼動きベクトル確度が所定の第二閾値以下の場合、右眼用映像がシーンチェンジであると判定する右眼用シーンチェンジ判定部と、
　前記左眼用シーンチェンジ判定部及び前記右眼用シーンチェンジ判定部のうち少なくとも一方がシーンチェンジであると判定した場合、前記左眼用動きベクトル及び前記右眼用動きベクトルの補正許可信号を出力する左右眼シーンチェンジ比較部とを備え、
　前記ベクトル補正部は、さらに、前記左右眼シーンチェンジ比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを連動して補正する
　請求項１～３のいずれか１項に記載の立体映像処理装置。
　さらに、
　複数の前記左画像内領域における前記左眼用動きベクトルのヒストグラムを用いて、左眼用映像がスクロール映像であるか否かを判定する左眼用スクロール判定部と、
　複数の前記右画像内領域における前記右眼用動きベクトルのヒストグラムを用いて、右眼用映像がスクロール映像であるか否かを判定する右眼用スクロール判定部と、
　前記左眼用スクロール判定部及び前記右眼用スクロール判定部のうち少なくとも一方がスクロール映像であると判定した場合、前記左眼用動きベクトル及び前記右眼用動きベクトルの補正許可信号を出力する左右眼スクロール比較部とを備え、
　前記ベクトル補正部は、さらに、前記左右眼スクロール比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを連動して補正する
　請求項１～４のいずれか１項に記載の立体映像処理装置。
　さらに、
　複数の前記左画像内領域において、前記左眼用動きベクトルのヒストグラムを演算し、ヒストグラムの集中度が高いか否かを判定し、ヒストグラムが集中するベクトルを左眼スクロールベクトルとして出力する左眼用ヒストグラム判定部と、
　前記左眼用ヒストグラム判定部がヒストグラムの集中度が高いと判定した場合に、カウンタ値を増加させ、ヒストグラムの集中度が高くないと判定した場合に、カウンタ値を減少させる左眼用カウンタと、
　複数の前記右画像内領域において、前記右眼用動きベクトルのヒストグラムを演算し、ヒストグラムの集中度が高いか否かを判定し、ヒストグラムが集中するベクトルを右眼スクロールベクトルとして出力する右眼用ヒストグラム判定部と、
　前記右眼用ヒストグラム判定部がヒストグラムの集中度が高いと判定した場合に、カウンタ値を増加させ、ヒストグラムの集中度が高くないと判定した場合に、カウンタ値を減少させる右眼用カウンタとを備え、
　前記左眼用スクロール判定部は、前記左眼用カウンタにおけるカウンタ値が所定の第三閾値以上の場合、左眼用映像がスクロール映像であると判定し、
　前記右眼用スクロール判定部は、前記右眼用カウンタにおけるカウンタ値が所定の第四閾値以上の場合、右眼用映像がスクロール映像であると判定し、
　前記左右眼スクロール比較部は、
　前記左眼用ヒストグラム判定部が出力した前記左眼スクロールベクトルと前記右眼用ヒストグラム判定部が出力した前記右眼スクロールベクトルとの一致度が所定値以上である場合に、前記左眼スクロールベクトルと前記右眼スクロールベクトルとから得られる補正スクロールベクトルを生成し、
　前記左眼スクロールベクトルと前記右眼スクロールベクトルとの一致度が所定値以上の場合であって、前記左眼用スクロール判定部及び前記右眼用スクロール判定部のうち少なくとも一方がスクロール映像であると判定した場合に、前記補正許可信号を出力し、
　前記ベクトル補正部は、前記左右眼スクロール比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを前記補正スクロールベクトルを用いて補正する
　請求項５に記載の立体映像処理装置。
　入力された左眼用映像データに含まれる左眼用画像と右眼用映像データに含まれる右眼用画像との間の視差を利用して立体視させる立体映像処理装置であって、
　前記左眼用画像内の領域である左画像内領域における動きベクトルである左眼用動きベクトルを検出するとともに、検出した前記左眼用動きベクトルの確かさの度合いを示す左眼動きベクトル確度を出力する左眼用動きベクトル検出部と、
　前記右眼用画像内の領域である右画像内領域における動きベクトルである右眼用動きベクトルを検出するとともに、検出した前記右眼用動きベクトルの確かさの度合いを示す右眼動きベクトル確度を出力する右眼用動きベクトル検出部と、
　出力された前記左眼動きベクトル確度を取得し、複数の前記左画像内領域における左眼動きベクトル確度が所定の第一閾値以下の場合、左眼用映像がシーンチェンジであると判定する左眼用シーンチェンジ判定部と、
　出力された前記右眼動きベクトル確度を取得し、複数の前記右画像内領域における右眼動きベクトル確度が所定の第二閾値以下の場合、右眼用映像がシーンチェンジであると判定する右眼用シーンチェンジ判定部と、
　前記左眼用シーンチェンジ判定部及び前記右眼用シーンチェンジ判定部のうち少なくとも一方がシーンチェンジであると判定した場合、前記左眼用動きベクトル及び前記右眼用動きベクトルの補正許可信号を出力する左右眼シーンチェンジ比較部と、
　前記左右眼シーンチェンジ比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを連動して補正するベクトル補正部と、
　前記ベクトル補正部による補正後の前記左眼用動きベクトル及び前記右眼用動きベクトルを用いて、前記左眼用映像データ及び前記右眼用映像データについてフレームレート変換のための補間画像を生成する補間画像生成部と
　を備える立体映像処理装置。
　入力された左眼用映像データに含まれる左眼用画像と右眼用映像データに含まれる右眼用画像との間の視差を利用して立体視させる立体映像処理装置であって、
　前記左眼用画像内の領域である左画像内領域における動きベクトルである左眼用動きベクトルを検出する左眼用動きベクトル検出部と、
　前記右眼用画像内の領域である右画像内領域における動きベクトルである右眼用動きベクトルを検出する右眼用動きベクトル検出部と、
　複数の前記左画像内領域における前記左眼用動きベクトルのヒストグラムを用いて、左眼用映像がスクロール映像であるか否かを判定する左眼用スクロール判定部と、
　複数の前記右画像内領域における前記右眼用動きベクトルのヒストグラムを用いて、右眼用映像がスクロール映像であるか否かを判定する右眼用スクロール判定部と、
　前記左眼用スクロール判定部及び前記右眼用スクロール判定部のうち少なくとも一方がスクロール映像であると判定した場合、前記左眼用動きベクトル及び前記右眼用動きベクトルの補正許可信号を出力する左右眼スクロール比較部と、
　前記左右眼スクロール比較部が出力した補正許可信号を取得した場合、前記左眼用動きベクトルと前記右眼用動きベクトルとを連動して補正するベクトル補正部と、
　前記ベクトル補正部による補正後の前記左眼用動きベクトル及び前記右眼用動きベクトルを用いて、前記左眼用映像データ及び前記右眼用映像データについてフレームレート変換のための補間画像を生成する補間画像生成部と
　を備える立体映像処理装置。
　入力された左眼用映像データに含まれる左眼用画像と右眼用映像データに含まれる右眼用画像との間の視差を利用して立体視させる立体映像処理方法であって、
　前記左眼用画像内の領域である左画像内領域における動きベクトルである左眼用動きベクトルを検出する左眼用動きベクトル検出ステップと、
　前記右眼用画像内の領域である右画像内領域における動きベクトルである右眼用動きベクトルを検出する右眼用動きベクトル検出ステップと、
　前記左眼用画像と前記右眼用画像との間の視差である左右画像間視差を検出する視差検出ステップと、
　前記左画像内領域において検出された前記左眼用動きベクトルと、前記左右画像間視差から得られる前記左画像内領域に対応する前記右画像内領域において検出された前記右眼用動きベクトルとを比較するベクトル比較ステップと、
　前記ベクトル比較ステップでの比較結果に基づいて、前記左眼用動きベクトルと前記右眼用動きベクトルとが一致するように、前記左眼用動きベクトル及び前記右眼用動きベクトルのうち少なくとも一方を補正するベクトル補正ステップと、
　前記ベクトル補正ステップ後の前記左眼用動きベクトル及び前記右眼用動きベクトルを用いて、前記左眼用映像データ及び前記右眼用映像データについてフレームレート変換のための補間画像を生成する補間画像生成ステップと
　を含む立体映像処理方法。
　請求項９に記載の立体映像処理方法に含まれるステップをコンピュータに実行させるプログラム。