WO2011061973A1

WO2011061973A1 - 立体映像表示装置および動きベクトル導出方法

Info

Publication number: WO2011061973A1
Application number: PCT/JP2010/062762
Authority: WO
Inventors: 浩史野口
Original assignee: 日本ビクター株式会社
Priority date: 2009-11-18
Filing date: 2010-07-29
Publication date: 2011-05-26
Also published as: EP2381693A1; CN102257829B; US20110242294A1; KR20110106389A; KR101253495B1; EP2381693A4; JPWO2011061973A1; JP5454569B2; CN102257829A

Abstract

誤った動きベクトルの導出を回避し、動きベクトルを高精度に導出する。立体映像表示装置１００は、立体映像データを取得する映像取得部１４８と、立体映像データの任意の第１フレーム２０４を分割した領域の映像データである基準部分映像データそれぞれについて、第１フレームと異なる第２フレーム２０６を分割した領域の映像データである対象部分映像データとの間の相関の強さを示す相関値をそれぞれ導出し、基準部分映像データそれぞれについて、基準部分映像データと相関値が最も高い対象部分映像データを抽出し、動きベクトルを導出するベクトル導出部１５８と、を備え、ベクトル導出部は、基準部分映像データと対象部分映像データそれぞれの右眼用映像データ２０２ｂ同士、または基準部分映像データと対象部分映像データそれぞれの左眼用映像データ２０２ａ同士で相関値を導出する（図１）。

Description

立体映像表示装置および動きベクトル導出方法

　本発明は、両眼視差による立体映像を知覚させるための立体映像データから動きベクトルを導出する立体映像表示装置および動きベクトル導出方法に関する。

　近年、ブロックマッチング等の手法を用いて、動画を構成する個々の静止画である複数のフレーム間における被写体の移動方向や大きさを表す動きベクトルを導出し、フレーム間の時系列の変化を補間するフレームを生成する機能を備えた立体映像表示装置が広く用いられている。

　また、同一の撮像装置が撮像したフレームに限らず、複数の撮像装置で撮像したフレームについて、同時刻のフレーム間におけるフレーム内の被写体の位置のずれを示す移動ベクトルを導出し、撮像装置を設置していない位置から撮像した場合のフレームを推測する補間技術が提案されている（例えば、特許文献１）。

特開平１０－１３８６０号公報

　ところで、両眼視差による立体映像を知覚させるための立体映像データ（左眼用映像データと右眼用映像データ）を、サイドバイサイド方式やトップアンドボトム方式等により収録し、送信する技術が普及し始めている。このような３Ｄ映像の収録方式により収録された立体映像データに対して補間を遂行すべく、フレーム間の補間技術を用いるとする。この場合、対象の２つのフレームのうち一方のフレームの左眼用映像データに含まれる部分映像データと他方のフレームの右眼用映像データに含まれる部分映像データとが比較され、左眼用映像データと右眼用映像データとを跨った、誤った動きベクトルが導出されてしまうことがあった。誤った動きベクトルに基づいて生成された補間フレームはノイズの原因となる。

　そこで本発明は、誤った動きベクトルの導出を回避し、動きベクトルを高精度に導出することが可能な、立体映像表示装置および動きベクトル導出方法を提供することを目的としている。

　上記課題を解決するために、本発明の立体映像表示装置は、両眼視差による立体映像を知覚させるための、左眼用映像データと右眼用映像データとの組み合わせから成る立体映像データを取得する映像取得部と、立体映像データの任意の第１フレームを分割した領域の映像データである基準部分映像データと、立体映像データの第１フレームと異なる第２フレームを分割した領域の映像データであり、基準部分映像データの比較対象となる複数の対象部分映像データとの間の相関の強さを示す相関値をそれぞれ導出し、基準部分映像データそれぞれについて、導出した相関値が最も高い対象部分映像データを抽出し、基準部分映像データと抽出された対象部分映像データとの間の動きベクトルを導出するベクトル導出部と、を備え、ベクトル導出部は、基準部分映像データの右眼用映像データと対象部分映像データの右眼用映像との間、または基準部分映像データの左眼用映像データと対象部分映像データとの間で相関値を導出することを特徴とする。

　上記映像取得部は、立体映像データと共に入力される同期信号に基づいて、立体映像データが所定の画素単位で区切られた映像データである単位映像データが左眼用映像データと右眼用映像データとのどちらに属するかを判断し、単位映像データ毎に、その単位映像データが左眼用映像データと右眼用映像データとのどちらに属する映像データであるかを示す映像情報を付す左右判断部をさらに備えてもよい。

　立体映像データを構成する所定の単位映像データには、その単位映像データが左眼用映像データと右眼用映像データとのどちらに属する映像データであるかを示す映像情報が付されており、ベクトル導出部は、映像情報に基づいて、単位映像データが、左眼用映像データと右眼用映像データとのどちらに属する映像データかを判断してもよい。

　上記課題を解決するために、本発明の動きベクトル導出方法は、両眼視差による立体映像を知覚させるための、左眼用映像データと右眼用映像データとの組み合わせから成る立体映像データを取得し、立体映像データの任意の第１フレームを分割した領域の映像データである基準部分映像データと、立体映像データの第１フレームと異なる第２フレームを分割した領域の映像データであり、基準部分映像データの比較対象となる複数の対象部分映像データとの間の相関の強さを示す相関値を、基準部分映像データの右眼用映像データと対象部分映像データの右眼用映像データとの間、または基準部分映像データの左眼用映像データと対象部分映像データの左眼用映像データとの間で、それぞれ導出し、基準部分映像データそれぞれについて、導出した相関値が最も高い対象部分映像データを抽出し、基準部分映像データと抽出された対象部分映像データとの間の動きベクトルを導出することを特徴とする。

　立体映像データと共に入力される同期信号に基づいて、立体映像データが所定の画素単位で区切られた映像データである単位映像データが左眼用映像データと右眼用映像データとのどちらに属するかを判断し、単位映像データ毎に、その単位映像データが左眼用映像データと右眼用映像データとのどちらに属する映像データであるかを示す映像情報を付してもよい。

　立体映像データを構成する所定の単位映像データには、その単位映像データが左眼用映像データと右眼用映像データとのどちらに属する映像データであるかを示す映像情報が付されており、映像情報に基づいて、単位映像データが、左眼用映像データと右眼用映像データとのどちらに属する映像データかを判断してもよい。

　以上説明したように本発明は、誤った動きベクトルの導出を回避し、動きベクトルを高精度に導出することが可能となる。

立体映像表示装置の概略的な構成を示した機能ブロック図である。立体映像データの一例を示す説明図である。補間フレームの一例を示す説明図である。誤った動きベクトルに基づく補間フレームを説明するための説明図である。基準部分映像データと対象部分映像データを説明するための説明図である。基準部分映像データと対象部分映像データとの他の関係を説明するための説明図である。動きベクトル導出方法の処理の流れを示すフローチャートである。

１００  …立体映像表示装置
１４８  …映像取得部
１５４  …左右判断部
１５６  …フレームメモリ
１５８  …ベクトル導出部
１６０  …補間生成部
２０２ａ  …左眼用映像データ
２０２ｂ  …右眼用映像データ
２０４  …第１フレーム
２０６  …第２フレーム
２０８  …補間フレーム

　以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（立体映像表示装置１００）
　図１は、立体映像表示装置１００の概略的な機能を示した機能ブロック図である。図１に示すように、立体映像表示装置１００は、ディスプレイ１１０に接続され、映像取得部１４８と、スケーリング部１５０と、映像処理部１５２と、左右判断部１５４と、フレームメモリ１５６と、ベクトル導出部１５８と、補間生成部１６０と、周波数変換メモリ１６２と、一時メモリ１６４と、ラインシーケンシャル部１６６と、映像出力部１６８と、を含んで構成される。ここではディスプレイ１１０と立体映像表示装置１００とを別体に構成する場合を説明するが、一体的に構成することもできる。

　映像取得部１４８は、外部の放送局１２０から放送された、両眼視差による立体映像を知覚させるための、左眼用映像データと右眼用映像データとの組み合わせから成る立体映像データを、アンテナ１２２を通じて取得する。また、映像取得部１４８は、立体映像データを、ＤＶＤやＢｌｕ－ｒａｙディスクといった記録媒体１２４や、通信網（インターネットやＬＡＮ）１２６からも取得可能である。また、本実施形態における映像取得部１４８は、立体映像データと共に（立体映像データに同期して）出力される同期信号も取得する。なお、映像取得部１４８は、立体映像データとは別の出力先から入力される同期信号を取得してもよい。

　図２は、立体映像データの一例を示す説明図である。映像取得部１４８が取得可能な立体映像データには複数のフォーマットが存在し、個々のフォーマットにおいてさらに画素数等のパラメータが異なる場合もある。図２（ａ）は、１台の撮像装置が撮像した映像データ２００であり、図２（ｂ）、（ｃ）は、２台の撮像装置が撮像した映像データ（以下、単に立体映像データという。）である。かかる立体映像データは、撮像方向の異なる（視差のある）２つの映像データ（左眼用映像データ２０２ａと右眼用映像データ２０２ｂ）を１つの映像データとして纏めたものである。

　立体映像データの収録方式としては、図２（ｂ）に示すように、有効映像データの左半分に左眼に視認させるための左眼用映像データ２０２ａ、右半分に右眼に視認させるための右眼用映像データ２０２ｂを配したサイドバイサイド方式や、図２（ｃ）に示すように、有効映像データの上半分に左眼に視認させるための左眼用映像データ２０２ａ、下半分に右眼に視認させるための右眼用映像データ２０２ｂを配したトップアンドボトム方式を用いることができる。

　なお、有効映像データとは立体映像データ全体から非表示領域（ブランク期間）を除いた映像データのことである。また、サイドバイサイド方式の場合、右眼に視認させるための右眼用映像データ２０２ｂを有効映像データの左半分に、左眼に視認させるための左眼用映像データ２０２ａを有効データ映像の右半分に配置する立体映像データを用いてもよい。さらに、トップアンドボトム方式の場合、右眼に視認させるための右眼用映像データ２０２ｂを有効映像データの上半分に、左眼に視認させるための左眼用映像データ２０２ａを有効映像データの下半分に配置する立体映像データを用いてもよい。

　ただし、サイドバイサイド方式による立体映像データの左眼用映像データ２０２ａおよび右眼用映像データ２０２ｂは、それぞれ、ディスプレイ１１０に表示される映像データと垂直解像度は等しいが、水平解像度は１／２に圧縮されている。したがって全画面の有効映像データの画素単位のデータである画素データ数が１９２０×１０８０の場合、左眼用映像データ２０２ａおよび右眼用映像データ２０２ｂの画素データ数は９６０×１０８０となる。同様に、トップアンドボトム方式による立体映像データの左眼用映像データ２０２ａおよび右眼用映像データ２０２ｂは、それぞれ、ディスプレイ１１０に表示される映像データと水平解像度は等しいが、垂直解像度は１／２に縮小されており、全画面の有効映像データの画素データ数が１９２０×１０８０の場合、左眼用映像データ２０２ａおよび右眼用映像データ２０２ｂの画素データ数は１９２０×５４０となる。

　ディスプレイ１１０の表示面に表示される立体映像データは、例えば、表示方式として、左眼用映像データ２０２ａの水平ライン映像データと右眼用映像データ２０２ｂの水平ライン映像データがライン単位で交互に配置されたラインシーケンシャル方式が用いられる。また、立体映像データに含まれる被写体は、交差視（交差法）および平行視（平行法）のいずれの立体表示も可能であり、左眼用映像データ２０２ａに含まれる被写体と右眼用映像データ２０２ｂに含まれる被写体との水平方向の位置を相対的に左右にシフトすることで表示面より奥側、表示面上または手前側のいずれの位置にも被写体を結像することができる。なお、ラインシーケンシャル方式とは、観察者が偏光眼鏡を通じて、隔行のラインに示された左眼映像を左眼で、右眼映像を右眼で視認することにより、両眼視差による立体映像の認識を可能にする方式である。

　以下、立体映像データの収録方式としてサイドバイサイド方式を、表示方式としてラインシーケンシャル方式を用いた場合を例にあげて立体映像表示装置１００を説明するが、かかる場合に限定されず、収録方式としてトップアンドボトム方式等を用い、表示方式としてフレームシーケンシャル方式等を用いてもよい。なお、フレームシーケンシャル方式とは、観察者がアクティブシャッタ（電子シャッタ）を通じて、左眼用のフレームと右眼用のフレームを交互に視認することにより、立体映像の認識を可能にする方式である。

　また、収録方式としてラインシーケンシャル方式を用いた立体映像データであってもよい。この場合、立体映像データの水平方向の１ライン分の情報量に比べて、２倍の容量を持つラインメモリに、立体映像データの２ライン分を１ライン分に纏めて記録する。この処理によって、サイドバイサイド方式で収録された立体映像データ同様の形式に変換したうえで、後述する動きベクトルを導出することができる。

　また、収録方式が、左眼用映像データ２０２ａと右眼用映像データ２０２ｂが行毎に交互に並べられた縦ライン交互表示方式や、左眼用映像データ２０２ａと右眼用映像データ２０２ｂが市松模様状に並べられたチェッカーボード方式であった場合は、例えば映像取得部１４８で取得した後に一時メモリ１６４を用いてサイドバイサイド方式もしくはトップアンドボトム方式に並び換えることで、同様に後述する動きベクトルを導出することができる。さらに、収録方式がフレームシーケンシャル方式である場合は、内部で用いる垂直同期信号の周期を半分にし、フレーム周波数を２倍として扱うことで、左眼用映像データ２０２ａと右眼用映像データ２０２ｂがブランキングエリアを挟んでトップアンドボトムに配置された１フレームとして捉えることで対応することもできる。

　スケーリング部１５０は、映像取得部１４８が取得した立体映像データをディスプレイ１１０の表示サイズに合わせるべく、立体映像データのデータサイズの調整を行う。

　映像処理部１５２は、スケーリング部１５０で調整された立体映像データに対して、ＲＧＢ処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。映像処理部１５２は、処理を行った立体映像データを、左右判断部１５４と周波数変換メモリ１６２にそれぞれ出力する。

　左右判断部１５４は、立体映像データと共に入力される同期信号に基づいて、立体映像データを構成する所定の単位映像データが左眼用映像データと右眼用映像データとのどちらに属するかを判断する。ここで、映像取得部１４８において取得された同期信号は、スケーリング部１５０および映像処理部１５２を通過するが、スケーリング部１５０および映像処理部１５２における処理に要した時間分遅延されたものである。そして左右判断部１５４は、その単位映像データ毎に、その単位映像データが左眼用映像データと右眼用映像データとのどちらに属する映像データであるかを示す映像情報を付し、フレームメモリ１５６とベクトル導出部１５８にそれぞれ出力する。単位映像データおよび映像情報については後に詳述する。

　フレームメモリ１５６は、例えば、ＲＡＭ（Random Access Memory）、不揮発性ＲＡＭ、フラッシュメモリ等の記録媒体で構成され、左右判断部１５４から出力された立体映像データを、例えば１フレーム分、一時的に保持する。

　ベクトル導出部１５８は、左右判断部１５４が出力した立体映像データの任意のフレーム（以下、第１フレームという。）における分割された領域の映像データであり、比較元となる基準部分映像データそれぞれについて、第１フレームと時間的に連続する、フレームメモリ１５６に保持されたフレーム（以下、第２フレームという。）における分割された領域の映像データであり、比較対象となる複数の対象部分映像データを比較し、基準部分映像データと対象部分映像データとの間の相関の強さを示す相関値を導出する。なお、ベクトル導出部１５８は、ここでは連続する２フレーム間で比較を行うが、第１フレームと第２フレームの時間が異なれば足り、連続していない２フレーム間で比較を行うこともできる。

　続いて、ベクトル導出部１５８は、基準部分映像データそれぞれについて、基準部分映像データと相関値が最も高い対象部分映像データを抽出し、第１フレームにおける基準部分映像データが示す映像の位置と、第２フレームにおける抽出された対象部分映像データが示す映像の位置とに基づいて、基準部分映像データと抽出された対象部分映像データとの間の動きベクトルを導出する。

　補間生成部１６０は、ベクトル導出部１５８が導出した動きベクトルと、左右判断部１５４が出力した第１フレームおよびフレームメモリ１５６に保持された第２フレームに基づいて、第１フレームと第２フレームを補間する補間フレームを生成し、周波数変換メモリ１６２に出力する。図３を用いて、この補間フレームについて説明する。

　図３は、補間フレームの一例を示す説明図である。図３に示す例は、フレーム周波数を２倍に変換する場合に生成される補間フレームである。図３において示すように、例えば連続する（連続せずに間に１または複数のフレームを挟む場合も含む）２つのフレームである第１フレーム２０４と第２フレーム２０６の間で、第１フレーム２０４の被写体２１０ａ、２１０ｂ、２１２ａ、２１２ｂが第２フレーム２０６の被写体２１４ａ、２１４ｂ、２１６ａ、２１６ｂの位置に移動した場合において、移動の途中の状態を示す被写体２１８ａ、２１８ｂ、２２０ａ、２２０ｂを表すフレームが補間フレームである。ここでは、被写体２１０、２１２、２１４、２１６、２１８、２２０が、左眼用映像（添え字「ａ」）と右眼用映像（添え字「ｂ」）との２つの映像の視差によって立体的に結像される。本実施形態において、時間的に先に取得されたフレームを第１フレーム２０４、後に取得されたフレームを第２フレーム２０６とするが、先に取得されたフレームを第２フレーム２０６、後に取得されたフレームを第１フレーム２０４としてもよい。

　なお、ここではフレーム周波数を２倍に変換しているので、補間フレーム２０８における被写体の位置は、第１フレーム２０４における被写体の位置から第２フレームにおける被写体の位置までの１／２の距離分、第１フレーム２０４の位置から移動しており、フレーム周波数の倍率をｎ倍にする際には、第１フレーム２０４における被写体の位置から第２フレーム２０６における被写体の位置までの１／ｎの距離分ずつ、第１フレーム２０４の位置から移動した補間フレーム２０８を（ｎ－１）枚生成することになる。

　第１フレーム２０４と第２フレーム２０６の間の時間間隔を変えずに、補間フレーム２０８を第１フレーム２０４と第２フレーム２０６との間に挿入することで、フレーム周波数が高くなり、被写体の動きが滑らかな映像として認識される。

　しかし、上述した立体映像データのフレームは、１台の撮像装置で撮像した映像データのフレームではなく、同一の被写体を、視点を変えて撮像した映像データのフレームなので、誤った動きベクトルによる特有の誤表示が生じる場合がある。

　図４は、誤った動きベクトルに基づく補間フレームを説明するための説明図である。図４（ａ）に示すように、第１フレーム２０４と第２フレーム２０６にそれぞれ被写体としてアルファベットの文字列「ＡＢＣＤ」が含まれ、図４（ｂ）に示すように、第１フレーム２０４と第２フレーム２０６にそれぞれ被写体としてアルファベットの文字列「ＡＢＣＡ」が含まれていたとする。ここでは理解を容易にするため、第１フレーム２０４と第２フレーム２０６とで、被写体の移動はなかったものとする。

　図４（ａ）に示す場合、ベクトル導出部１５８は、第１フレーム２０４における所定のサイズに分割された領域のアルファベットの文字列「ＡＢＣＤ」の位置を正しく識別して動きベクトル２１０ａを導出し、補間生成部１６０は、動きベクトル２１０ａに基づいて、図４（ａ）中破線矢印２１２ａ、２１４ａに示すように、第１フレーム２０４の基準部分映像データと第２フレーム２０６の対象部分映像データとを用いて、補間する正しい補間フレーム２０８を生成する。

　ところが、図４（ｂ）に示す場合、第１フレーム２０４の所定のサイズに分割された領域のアルファベットの文字列「ＡＢＣＡ」の両端に同じ「Ａ」の文字が配されているため、ベクトル導出部１５８は、例えば、第１フレーム２０４の左眼用映像データ２０２ａの被写体「Ａ」が第２フレーム２０６の右眼用映像データ２０２ｂの被写体「Ａ」に、移動したと誤って判断し、誤った動きベクトル２１０ｂを導出する。その場合、補間生成部１６０は、動きベクトル２１０ｂに基づいて、図４（ｂ）中破線矢印２１２ｂ、２１４ｂに示すように第１フレーム２０４の左眼用映像データ２０２ａの被写体「Ｃ」と、第２フレーム２０６の左眼用映像データ２０２ａと右眼用映像データ２０２ｂに跨った図４（ｂ）中破線で示す被写体２１６とに基づいて、補間フレーム２０８を生成してしまうことがある。このような補間フレーム２０８を再生した場合、第１フレーム２０４、第２フレーム２０６間で文字列の位置が不適切に変化してしまい、映像が乱れてしまう。

　そこで、ベクトル導出部１５８は、動きベクトルを導出する際、基準部分映像データと対象部分映像データとの比較を、左眼用映像データと右眼用映像データとを跨っては実行しない。以下、その動作を詳細に説明する。

　図５は、基準部分映像データと対象部分映像データを説明するための説明図である。ベクトル導出部１５８は、第１フレーム２０４の有効映像データを、例えば、重複しないように分割したそれぞれの基準部分映像データを設定する（図５において、例として一つの基準部分映像データ２２２を図示）。基準部分映像データは第１フレーム２０４における比較元となる映像データである。

　また、ベクトル導出部１５８は、動きベクトルの候補となるベクトル（候補ベクトル）に基づいて、第２フレーム２０６における所定のサイズに分割された領域の対象部分映像データを設定する。候補ベクトルは、基準部分映像データを占有する動体が１フレームで移動する最大範囲に基づいて設定された、第１フレーム２０４の基準部分映像データの中心の座標から、第２フレーム２０６の対象部分映像データの中心の座標までの向きと大きさを示す予め準備された複数のベクトルである。

　ここで、候補ベクトルに基づいて定められる対象部分映像データは、基準部分映像データから上述した候補ベクトル分移動した位置に、基準部分映像データと同じ大きさで、候補ベクトルの数だけ定義される。

　対象部分映像データは第２フレーム２０６における比較対象の部分映像データであり、ベクトル導出部１５８は、候補ベクトルに基づいて、例えば、その中心となる画素データを１つずつずらしながら、重複する複数の部分映像データを対象部分映像データとして設定する。本実施形態においては、理解を容易にするため、それぞれが重複しない対象部分映像データ２２４ａ～２２４ｌを挙げて説明する。

　図５に示すように、ベクトル導出部１５８は、例えば被写体「Ａ」の文字を含む第１フレーム２０４の基準部分映像データ２２２を設定した場合、対象部分映像データ２２４ａ～２２４ｌを設定する。そして、１つの基準部分映像データと複数の対象部分映像データとを比較し、各画素データの輝度値について、例えば、差分絶対値和（ＳＡＤ）法等を用い相関値を導出する。ＳＡＤ法は、基準部分映像データと対象部分映像データの間、すなわちブロック間で、同じ位置にある画素データ同士を画素データペアとした場合に、画素データペア間で輝度値の差分絶対値を計算したものをブロックの範囲で積算し積算値を算出する手法である。この積算値を用いて相関を調べる場合、積算値が最小となる時に相関値が最も高くなることになる。

　ベクトル導出部１５８は、相関値を導出する際、基準部分映像データ毎に、導出した対象部分映像データとの相関値を候補ベクトルと関連付けて不図示の作業領域（メモリ）に保持する。そして、新たに導出した他の対象部分映像データとの相関値と保持された相関値とを比較し、新たな相関値が保持された相関値より高い場合、その相関値と候補ベクトルとを更新する。かかる構成により、比較元の基準部分映像データについての相関値の導出が終わった時点で、保持してある相関値が、比較元の基準部分映像データについての最も高い相関値となる。ベクトル導出部１５８は、この最も高い相関値に関連付けられた候補ベクトルを、第１フレーム２０４における比較元の基準部分映像データについての動きベクトルとする。

　しかし、例えば、基準部分映像データ２２２と、基準部分映像データ２２２に近い部分映像データ２２４ｉとを比較してしまうと、それぞれの映像データ（基準部分映像データ２２２、部分映像データ２２４ｉ）が同じ被写体「Ａ」の文字を含むため相関値が高くなり、図４（ｂ）を用いて説明したように、基準部分映像データ２２２が対象部分映像データ２２４ｉに移動したという、誤った動きベクトルに基づく補間フレーム２０８が生成されてしまうことがある。

　そこで、本実施形態のベクトル導出部１５８は、基準部分映像データ２２２、および対象部分映像データ２２４が左眼用映像データ２０２ａの一部なのか、右眼用映像データ２０２ｂの一部なのか、すなわち左眼用映像データ２０２ａと右眼用映像データ２０２ｂのどちらに属する映像データであるかを示す映像情報（フラグ）を用いて相関値を導出する。映像情報は、映像取得部１４８が立体映像データと共に取得する同期信号に基づいて、左右判断部１５４が各単位映像データに付す情報である。

　具体的に、左右判断部１５４は、同期信号に含まれる、水平同期信号によりリセットされる水平ドットカウンタを有し、水平ドットカウンタのカウント値をｈｃｎｔとする。この場合、左右判断部１５４は、左眼用映像データ２０２ａと右眼用映像データ２０２ｂの境界位置の値に到達するまでの単位映像データに対して、左眼用映像データ２０２ａを示す映像情報「Ｌ」を付与し、残りの単位映像データに対して右眼用映像データ２０２ｂを示す映像情報「Ｒ」を付与する。ここで、境界位置の値は、立体映像データの有効範囲外や左眼用映像データ２０２ａの右端と右眼用映像データ２０２ｂの左端との間のブランキング幅によって異なるため、立体映像データに応じて任意に設定する。映像情報は、例えば１ビットの情報であり「０」、「１」がそれぞれ「Ｌ」、「Ｒ」を示す。そして、左右判断部１５４は、１ライン分の総画素数をカウントし終えると、次の水平同期信号に基づきカウント値ｈｃｎｔをリセットする。なお、単位映像データは、所定の画素単位で区切られた映像データである。また、単位映像データの大きさと基準部分映像データおよび対象部分映像データの大きさを等しくすると演算負荷を軽減することができる。

　また、映像取得部１４８がトップアンドボトム方式を用いて収録された立体映像データを取得した場合、左右判断部１５４は、同期信号に含まれる、垂直同期信号によりリセットされる垂直ラインカウンタを有してもよく、垂直ラインカウンタのカウント値をｖｃｎｔとする。この場合、左右判断部１５４は、左眼用映像データ２０２ａと右眼用映像データ２０２ｂの境界位置の値に到達するまでの単位映像データに対して、左眼用映像データ２０２ａを示す映像情報「Ｌ」を付与し、残りの単位映像データに対しては、右眼用映像データ２０２ｂを示す映像情報「Ｒ」を付与する。ここで、境界位置の値は、立体映像データの有効範囲外のブランキング幅によって異なるため、立体映像データに応じて任意に設定する。ここでも映像情報は、例えば１ビットの情報であり「０」、「１」がそれぞれ「Ｌ」、「Ｒ」を示す。そして、左右判断部１５４は、１ライン分の総画素数をカウントし終えると、次の垂直同期信号に基づきカウント値ｖｃｎｔをリセットする。

　左右判断部１５４が、左眼用映像データ２０２ａと右眼用映像データ２０２ｂの判断に、既存の映像システム（例えば、テレビジョン放送）に含まれる同期信号を用いることで、映像システムの大きな改変を伴うことなく、動きベクトルを高精度に導出することが可能となる。

　また、映像取得部１４８が記録媒体１２４や通信網１２６から立体映像データを取得する場合であって、立体映像データを構成する所定の単位映像データ（例えば、所定数の画素データ）毎に、その単位映像データが左眼用映像データ２０２ａと右眼用映像データ２０２ｂのどちらに属するかを示す映像情報が付与されていれば、左右判断部１５４を機能させなくてもよい。この場合、ベクトル導出部１５８はその映像情報に基づいて、単位映像データが、左眼用映像データ２０２ａの一部か右眼用映像データ２０２ｂの一部か、すなわち、左眼用映像データ２０２ａと右眼用映像データ２０２ｂとのどちらに属する映像データかを判断してもよい。このように予め付与されている映像情報を用いることで、立体映像表示装置１００は、単位映像データが左眼用映像データ２０２ａの一部か右眼用映像データ２０２ｂの一部かを正確に判断することができる。

　ベクトル導出部１５８は、映像情報に基づいて、基準部分映像データや対象部分映像データが左眼用映像データ２０２ａと右眼用映像データ２０２ｂとのどちらに属するかを判断する。基準部分映像データや対象部分映像データに含まれる、例えば全ての画素データについて、映像情報が「Ｌ」であれば左眼用映像データ２０２ａであり、映像情報が「Ｒ」であれば右眼用映像データ２０２ｂであると判断する。

　そして、ベクトル導出部１５８は、基準部分映像データ２２２の右眼用映像データ２０２ｂと対象部分映像データ２２４ａ～２２４ｌの右眼用映像データ２０２ｂとの間、または基準部分映像データ２２２の左眼用映像データ２０２ａと対象部分映像データの左眼用映像データ２０２ｂとの間で相関値を導出する。

　したがって、ベクトル導出部１５８は、図５において、矢印２３０および矢印２３２で示すように、左眼用映像データ２０２ａに含まれる対象部分映像データ２２４ａ～２２４ｆについては、基準部分映像データ２２２との比較を行い、右眼用映像データ２０２ｂに含まれる対象部分映像データ２２４ｇ～２２４ｌについては、左眼用映像データ２０２ａの基準部分映像データ２２２との比較を行わない（「×」で図示）。このとき、ベクトル導出部１５８は、初めから映像情報が「Ｒ」である対象部分映像データ２２４ｇ～２２４ｌを設定しないように制限してもよいし、対象部分映像データに設定した２２４ａ～２２４ｌのうち、映像情報が「Ｒ」である対象部分映像データ２２４ｇ～２２４ｌを比較対象として選択しないように制限してもよい。

　図６は、基準部分映像データと対象部分映像データとの他の関係を説明するための説明図である。図６において示すように、基準部分映像データ２２２の一部が左眼用映像データ２０２ａに、残りの部分が右眼用映像データ２０２ｂにそれぞれ含まれる場合、言い換えると、基準部分映像データ２２２に、映像情報が「Ｒ」である画素データと映像情報が「Ｌ」である画素データの両方が含まれる場合、ベクトル導出部１５８は、基準部分映像データを、左眼用映像データ２０２ａか右眼用映像データ２０２ｂのいずれか一方に含まれるデータ部分に制限する。例えば、図６の例では、基準部分映像データを表示させた場合にブロックの中心画素が存在する方に含まれるデータ部分に制限して、基準部分映像データの領域を正方形から長方形に縮めている。すなわち、ベクトル導出部１５８は、左眼用映像データか右眼用映像データの一方のみが含まれる、ハッチングされた領域を除いた、基準部分映像データ２２２ｂに設定し直す。

　この場合、ベクトル導出部１５８は、対象部分映像データ（例えば、２２４ｍ～２２４ｒ）の領域も、基準部分映像データ２２２ｂの領域に合わせて設定する。

　図６における場合においても、ベクトル導出部１５８は、第１フレーム２０４と第２フレーム２０６とにおける、基準部分映像データ２２２ｂと対象部分映像データ２２４ｍ～２２４ｒとの比較を、左眼用映像データ２０２ａ同士に制限して行う。そのため、ベクトル導出部１５８は、誤った動きベクトルの導出を回避し、動きベクトルを高精度に導出できる。

　ここでは、ベクトル導出部１５８が誤った動きベクトルを導出しないので、補間生成部１６０は、誤った動きベクトルに基づく補間フレームを生成することがなくなる。さらに、立体映像表示装置１００がフレーム間の補間を行った立体映像データをディスプレイ１１０に表示させることで、視聴者は、ノイズのない、美しい立体映像を知覚することができる。

　周波数変換メモリ１６２は、映像処理部１５２から出力された１フレーム分（第１フレーム２０４または第２フレーム２０６）の立体映像データと、補間生成部１６０から出力された補間フレーム２０８とを溜めて、これらの立体映像データを２倍のフレーム周波数で時系列順に読み出し一時メモリ１６４に出力する。

　一時メモリ１６４は、例えば、ＲＡＭ、不揮発性ＲＡＭ、フラッシュメモリ等の記録媒体で構成され、周波数変換メモリ１６２から出力された、補間フレーム２０８が挿入された周波数変換後の立体映像データを一時的に保持する。

　ラインシーケンシャル部１６６は、一時メモリ１６４に保持された補間フレームが挿入された立体映像データ（以下、単に補間後立体映像データと称する）のリードライトアドレスを制御することによって、補間後立体映像データにおける右眼用映像データ２０２ｂの水平ライン映像データと、左眼用映像データ２０２ａの水平ライン映像データとを交互に並置し、ラインシーケンシャル映像データを生成し、映像出力部１６８に出力する。

　ただし、サイドバイサイド方式における左眼用映像データ２０２ａと右眼用映像データ２０２ｂとの水平解像度は、元の立体映像データの１／２となっているため、その水平解像度を２倍に拡大しなければならない。水平解像度拡大に伴う新たな画素データの生成は、線形補間やその他のフィルタリングを用いることが可能である。また、水平解像度の倍率は、立体映像データの収録方式、あるいは立体映像データの入力時と出力時のフォーマットの水平方向の画素数の比率に応じて適宜調整される。そしてラインシーケンシャル部１６６は、水平解像度拡大とともに、垂直解像度を１／２に圧縮してラインシーケンシャル映像データを生成し、映像出力部１６８に出力する。

　映像出力部１６８は、ラインシーケンシャル部１６６が出力したラインシーケンシャル映像データを外部のディスプレイ１１０に出力する。

　上述したように本実施形態の立体映像表示装置１００は、左眼用映像データ２０２ａ同士、または右眼用映像データ２０２ｂ同士からのみ、動きベクトルを導出する。そのため、左眼用映像データ２０２ａと右眼用映像データ２０２ｂとに跨った、誤った動きベクトルの導出を回避し、動きベクトルを高精度に導出でき、フレーム周波数の高速化処理やデータ圧縮処理等において、フレーム補間の精度を向上したり、フィルムジャダー除去の精度を向上することが可能となる。

（動きベクトル導出方法）
　さらに、上述した立体映像表示装置１００を用いた動きベクトル導出方法も提供される。図７は、動きベクトル導出方法の処理の流れを示すフローチャートである。

　映像取得部１４８が立体映像データおよび同期信号を取得すると（Ｓ３００のＹＥＳ）、左右判断部１５６は、取得ステップＳ３００において取得した同期信号に基づいて、立体映像データの単位映像データが、左眼用映像データ２０２ａと右眼用映像データ２０２ｂとのどちらに属するかを判断し、単位映像データ毎に映像情報を付す（Ｓ３０２）。

　ベクトル導出部１５８は、第１フレーム２０４の有効映像データを分割して複数の基準部分映像データを設定し（Ｓ３０４）、第２フレーム２０６において設定された基準部分映像データの中心の座標と候補ベクトルとから定まる対象部分映像データを設定する（Ｓ３０６）。

　ベクトル導出部１５８は、映像情報に基づいて、基準部分映像データおよび対象部分映像データが左眼用映像データか右眼用映像データのどちらに属する映像データかを判断し（Ｓ３０８）、双方の映像情報が一致しなければ（Ｓ３０８のＮＯ）、その対象部分映像データを比較対象から除外する（Ｓ３１０）。すなわち、基準部分映像データが右眼用映像データの一部であれば左眼用映像データの一部である対象部分映像データを比較対象から除外し、基準部分映像データが左眼用映像データの一部であれば右眼用映像データの一部である対象部分映像データを比較対象から除外する。双方の映像情報が一致する場合（Ｓ３０８のＹＥＳ）、ベクトル導出部１５８は、除外ステップ（Ｓ３１０）は行わない。

　続いて、ベクトル導出部１５８は、すべての候補ベクトルについて、対象部分映像設定ステップ（Ｓ３０６）を完了したか否かを判断し（Ｓ３１２）、完了していない場合（Ｓ３１２のＮＯ）、対象部分映像設定ステップ（Ｓ３０６）に戻り、次の対象部分映像データを設定する。

　すでに候補ベクトルすべてについて、対象部分映像設定ステップ（Ｓ３０６）を完了している場合（Ｓ３１２のＹＥＳ）、ベクトル導出部１５８は、有効映像データを分割して基準部分映像データを設定する基準部分映像設定処理ステップ（Ｓ３０８）を完了したか否かを判断する（Ｓ３１４）。完了していない場合（Ｓ３１４のＮＯ）、基準部分映像設定ステップ（Ｓ３０４）に戻る。

　すでに有効映像データを分割した部分映像データすべてについて、基準部分映像設定ステップ（Ｓ３０８）を完了している場合（Ｓ３１４のＹＥＳ）、ベクトル導出部１５８は、第１フレーム２０４における、複数の基準部分映像データそれぞれについて、第２フレーム２０６における、複数の対象部分映像データと比較し、相関の強さを示す相関値を、基準部分映像データそれぞれにおける対象部分映像データ毎に導出する（Ｓ３１６）。ここで、ベクトル導出部１５８は、除外ステップ（Ｓ３１０）で比較対象から除外した対象部分映像データについては、相関値を導出しないものとする。

　そして、ベクトル導出部１５８は、基準部分映像データそれぞれについて、基準部分映像データと相関値が最も高い対象部分映像データを抽出し、その対象部分映像データに関連付けられた候補ベクトルを動きベクトルとする（Ｓ３１８）。補間生成部１６０は、ベクトル導出部１５８が導出した動きベクトルと、第１フレーム２０４および第２フレーム２０６に基づいて、第１フレーム２０４と第２フレーム２０６を補間する補間フレーム２０８を生成する（Ｓ３２０）。

　周波数変換メモリ１６２は、映像処理部１５２から出力された１フレーム分の立体映像データと、補間生成部１６０から出力された補間フレーム２０８とを溜めて、これらの立体映像データを２倍のフレーム周波数で時系列順に一時メモリ１６４に出力する（Ｓ３２２）。ラインシーケンシャル部１６６は、右眼用映像データ２０２ｂおよび左眼用映像データ２０２ａのそれぞれの水平ライン映像を交互に並置し、ラインシーケンシャル映像データを生成する（Ｓ３２４）。映像出力部１６８は、ラインシーケンシャル映像データを外部のディスプレイ１１０に出力する（Ｓ３２６）。

　上述したように、立体映像表示装置１００を用いた動きベクトル導出方法によれば、誤った動きベクトルの導出を回避し、動きベクトルを高精度に導出できるため、視聴者にノイズのない立体映像を視認させることが可能となる。

　以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

　なお、本明細書の動きベクトル導出方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

　本発明は、両眼視差による立体映像を知覚させるための立体映像データから動きベクトルを導出する立体映像表示装置および動きベクトル導出方法に利用することができる。

Claims

　両眼視差による立体映像を知覚させるための、左眼用映像データと右眼用映像データとの組み合わせから成る立体映像データを取得する映像取得部と、
　前記立体映像データの任意の第１フレームを分割した領域の映像データである基準部分映像データと、前記立体映像データの第１フレームと異なる第２フレームを分割した領域の映像データであり、前記基準部分映像データの比較対象となる複数の対象部分映像データとの間の相関の強さを示す相関値をそれぞれ導出し、前記基準部分映像データそれぞれについて、前記導出した相関値が最も高い前記対象部分映像データを抽出し、前記基準部分映像データと前記抽出された対象部分映像データとの間の動きベクトルを導出するベクトル導出部と、
を備え、
　前記ベクトル導出部は、前記基準部分映像データの前記右眼用映像データと前記対象部分映像データの前記右眼用映像データとの間、または前記基準部分映像データの前記左眼用映像データと前記対象部分映像データの前記左眼用映像データとの間で前記相関値を導出することを特徴とする立体映像表示装置。
　前記立体映像データと共に入力される同期信号に基づいて、前記立体映像データが所定の画素単位で区切られた映像データである単位映像データが前記左眼用映像データと前記右眼用映像データとのどちらに属するかを判断し、前記単位映像データ毎に、その単位映像データが前記左眼用映像データと前記右眼用映像データとのどちらに属する映像データであるかを示す映像情報を付す左右判断部をさらに備えることを特徴とする請求項１に記載の立体映像表示装置。
　前記立体映像データを構成する所定の単位映像データには、その単位映像データが前記左眼用映像データと前記右眼用映像データとのどちらに属する映像データであるかを示す映像情報が付されており、
　前記ベクトル導出部は、前記映像情報に基づいて、前記単位映像データが、前記左眼用映像データと前記右眼用映像データとのどちらに属する映像データかを判断することを特徴とする請求項１または２に記載の立体映像表示装置。
　両眼視差による立体映像を知覚させるための、左眼用映像データと右眼用映像データとの組み合わせから成る立体映像データを取得し、
　前記立体映像データの任意の第１フレームを分割した領域の映像データである基準部分映像データと、前記立体映像データの第１フレームと異なる第２フレームを分割した領域の映像データであり、前記基準部分映像データの比較対象となる複数の対象部分映像データとの間の相関の強さを示す相関値を、前記基準部分映像データの前記右眼用映像データと前記対象部分映像データの前記右眼用映像データとの間、または前記基準部分映像データの前記左眼用映像データと前記対象部分映像データの前記左眼用映像データとの間で、それぞれ導出し、
　前記基準部分映像データそれぞれについて、前記導出した相関値が最も高い前記対象部分映像データを抽出し、前記基準部分映像データと前記抽出された対象部分映像データとの間の動きベクトルを導出することを特徴とする動きベクトル導出方法。
　前記立体映像データと共に入力される同期信号に基づいて、前記立体映像データが所定の画素単位で区切られた映像データである単位映像データが前記左眼用映像データと前記右眼用映像データとのどちらに属するかを判断し、前記単位映像データ毎に、その単位映像データが前記左眼用映像データと前記右眼用映像データとのどちらに属する映像データであるかを示す映像情報を付すことを特徴とする請求項４に記載の動きベクトル導出方法。
　前記立体映像データを構成する所定の単位映像データには、その単位映像データが前記左眼用映像データと前記右眼用映像データとのどちらに属する映像データであるかを示す映像情報が付されており、
　前記映像情報に基づいて、前記単位映像データが、前記左眼用映像データと前記右眼用映像データとのどちらに属する映像データかを判断することを特徴とする請求項４または５に記載の動きベクトル導出方法。