JP5918686B2

JP5918686B2 - ３ｄ映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラム

Info

Publication number: JP5918686B2
Application number: JP2012258897A
Authority: JP
Inventors: 太一河野; 和久山岸
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-11-27
Filing date: 2012-11-27
Publication date: 2016-05-18
Anticipated expiration: 2032-11-27
Also published as: JP2014107690A

Description

本発明は、映像品質評価技術に係り、特に、3D映像を用いたサービスに対して、ユーザが体感する3D映像品質を定量化するための、3D映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラムに関する。

ブルーレイ3DやHDMI 1.4規格の策定、H.264/MVCの標準化等により、一般家庭にも3D映像コンテンツを視聴可能な環境が整ってきた。それに伴い、映像配信サービスやパッケージメディアにおいても２Ｄ映像のコンテンツに加えて3D映像のコンテンツを提供し始めている。

映像配信サービスやパッケージメディアでは、ネットワークやストレージの利用効率を向上させ、サービスコストを抑えるために、映像符号化を用いた映像コンテンツのデータ量の圧縮が行われる。映像符号化により、2D映像や3D映像にモザイク状の歪（ブロックノイズ）、ぼけ、にじみ、ぎくしゃく感などの劣化が発生しユーザが知覚する品質（ユーザ体感品質：QoE（Quality of Experience））が低下する。

また、ネットワークを介する映像配信サービスでは、ネットワークの輻湊などにより2D映像や3D映像の一部のデータが欠損・破損した場合、2D映像や3D映像に劣化が発生しQoEが低下する。さらに3D映像特有のQoE低下要因としては、上記要因などに起因する3D映像の左眼2D映像（左眼映像）と右眼2D映像（右眼映像）間の品質差や時間的な同期ずれなどがある。

映像に劣化が発生した場合に劣化を迅速に検知し対応するために、サービス提供中の品質の監視が重要となり、このためには映像品質を簡便かつ効率的に評価可能な技術が必要となる。

従来、非特許文献１では左眼映像の映像品質（左眼映像品質）と右眼映像の映像品質（右眼映像品質）から3D映像品質を定量化する技術が記載されており、この技術を用いることにより、3D映像の品質低下を自動的に検知することができる。

山岸和久，河野太一，"左右の映像品質が3D映像品質に及ぼす影響，"信学総大，B-11-10 Mar. 2012.

しかしながら、非特許文献１に記載の技術は、左眼映像と右眼映像の時間的な同期がとれていることを前提に3D映像品質を定量化する技術であり、左眼映像と右眼映像の時間的な同期にずれ（左右同期ずれ）が発生したとしても、品質低下を捉えることができず、左右同期ずれを検知することができない。左右同期ずれを検知する方法として、非特許文献２（ITU-T勧告J.341, Jan. 2011.）で記載されているような2D映像を対象とした時空間同期アルゴリズムを適用することも考えられるが、この方法は左眼映像と右眼映像の視差の影響を考慮していないため、左右同期ずれを誤検出する可能性がある。

本発明は、上記の点に鑑みてなされたもので、3D映像の左眼映像と右目映像の2D映像の同期ずれを精度よく検出する3D映像左右眼映像時間の同期ずれ量を精度よく算出する3D映像左右眼映像時間同期ずれ量算出装置及び方法及びプログラムを提供することを目的とする。

上記の課題を解決するため、本発明は、左眼に提示する２D映像（左眼映像）と右眼に提示する２D映像（右眼映像）によって構成される３D映像を用いたサービスに対して該左眼映像と該右眼映像の時間的な同期ずれの量を算出する3D映像左右眼映像時間同期ずれ量算出装置であって、
入力された３D映像に含まれる前記左眼映像と前記右眼映像の内、一方の映像を基準映像とし、もう片方の映像を非基準映像とし、左右同期ずれ量を算出する該基準映像内のフレームを基準フレームとし、該基準フレームに対して左右同期ずれが発生したと判定される範囲に含まれる該非基準映像のフレーム（推定フレーム）の集合（推定フレーム群）を抽出し、該左右同期ずれが発生しなかった場合の該基準フレームと時間的に同期する該非基準映像内のフレーム（対応フレーム）の推定候補群とする３D映像信号入力手段と、
前記基準フレームと前記推定フレーム群を用いて、前記左右同期ずれ量を算出する左右同期ずれ量出力手段とを備え、
前記左右同期ずれ量出力手段は、
前記推定フレーム群に含まれる全ての前記推定フレームに対して該推定フレームと前記基準フレーム間の相違度の値を算出し、算出された値の集合を相違度群とする相違度算出手段と、
前記相違度群の中で最も値が低い前記相違度に対応する前記推定フレームを対応フレームとし、前記基準フレームのフレーム番号から前記対応フレームのフレーム番号を減算した値を前記左右同期ずれ量として算出する左右同期ずれ量算出手段とを備え、
前記相違度算出手段は、
前記基準フレームをユーザが設定するサイズ（N画素×M画素）の矩形ブロック（基準矩形ブロック）で分割し、相違度を算出する推定フレーム（対象フレーム）と矩形ブロックから基準矩形ブロック毎に動きベクトル（水平及び垂直方向のベクトルサイズ（単位は画素数）で構成される２次元ベクトル）を算出し、動きベクトルの垂直方向成分の２乗値の全基準矩形ブロックの平均を対象フレームの相違度として算出する手段を含む。

上記のように本発明によれば、左眼映像と右目映像の視差が水平方向に発生している性質を考慮し、左眼映像と右目映像の視差の影響を除き、垂直方向の情報のみを用いて左右同期ずれ量を算出するため、3D映像の左右同期ずれを精度よく自動で検出することが可能となり、サービス提供中の品質監視の実現による故障対応の迅速化に繋がり、品質面でのサービス価値の向上に貢献できる。

本発明の一実施の形態における3D映像左右眼映像時間同期ずれ量算出装置の構成例である。本発明の一実施の形態における基準映像と推定フレーム群である。本発明の一実施の形態における基準フレームと矩形ブロックである。本発明の一実施の形態における基準矩形ブロックと対応矩形ブロックの探索範囲である。本発明の一実施の形態における3D映像左右映像時間同期ずれ量算出装置のフローチャートである。

まず、本発明の概要を説明する。

本発明では、左眼映像と右眼映像の視差が水平方向に発生している性質を考慮し、左眼映像と右眼映像の視差の影響を除くために、垂直方向の情報のみを用いて左右同期ずれ量を算出する。全体的なフローとしては、フレーム単位で、垂直方向の情報のみを用いて算出した左眼映像と右眼映像間の相違度が最も小さくなるフレームの組を抽出し、そのフレームの組を左右同期ずれが発生していない場合のものとして、そのフレームの組間の時間的なフレーム番号の差分を対応するフレームの左右同期ずれ量として算出する。

左右同期ずれ量を求めるための、フレーム単位での左眼映像と右眼映像の相違度は、以下のようにして算出される。左眼映像もしくは右眼映像のどちらかを基準映像とし、残りを非基準映像とし、左右同期ずれ量は基準映像のフレーム毎に算出する。ここで、左眼映像と右眼映像のどちらが基準映像、非基準映像になっても機能としては同等である。左右同期ずれ量を算出する基準映像のフレーム（基準フレーム）と基準フレームのフレーム番号を含むユーザが指定するフレーム番号範囲（ユーザが想定する左右同期ずれの量の範囲）の非基準映像のフレーム（推定フレーム）の集合を推定フレーム群とし、推定フレーム毎に基準フレームとの相違度を算出する。
以下、図面と共に本発明の実施の形態を説明する。

図１は本発明の一実施の形態における3D映像左右眼映像時間同期ずれ量算出装置の構成例を示す。

同図に示す3D映像左右眼映像時間同期ずれ量算出装置は、3D映像信号入力部１、左右同期ずれ量出力部２、記憶部３から構成され、左右同期ずれ量出力部２は相違度算出部２０、左右同期ずれ量算出部２１を有する。記憶部３は、ハードディスクやメモリ等の記憶媒体である。

3D映像信号を入力とし、左右同期ずれ量（単位はフレーム数）を出力とする。ここで、3D映像信号入力部１に入力される3D映像信号は、左眼提示用の2D映像（左眼映像）と右眼提示用の2D映像（右眼映像）で構成され、左右同期ずれ量とは、3D映像信号の基準映像とした左右いずれかの２D映像のフレーム毎に算出される値であり、左眼映像と右眼映像のフレームの同期ずれ（左右同期ずれ）の量を意味する。また、本実施の形態では、左眼映像と右眼映像の映像サイズが1920画素×1080画素の場合を扱うこととするが、1440画素×1080画素や720画素×480画素など他の映像サイズにも対応可能である。

記憶部３には、初期情報として、
・基準映像としたい左右いずれかの2D映像に対し、もう１方の2D映像が時間軸として過去（前方向）にずれる場合に、検知できる最大のずれ量（N：フレーム数）；
・基準映像としたい左右いずれかの2D映像に対し、もう１方の2D映像が時間軸として未来（後方向）にずれる場合に、検知できる最大のずれ量（O：フレーム数）；
・相違度算出時に算出する動きベクトルの水平方向の最大値（X：画素数）；
・相違度算出時に算出する動きベクトルの垂直方向の最大値（Y：画素数）；
が設定されている。なお、相違度算出時に動きベクトルを用いない場合は、X及びYの情報を記憶部３に保持しておく必要はない。また、これらの初期情報のすべてもしくは一部をユーザ入力とした場合は、ユーザ入力を伴う情報を記憶部３に保持しておく必要はない。本映像品質評価装置に入力された3D映像信号は、3D映像信号入力部１への入力とされる。

3D映像信号入力部１では、入力された3D映像信号から、基準フレームと推定フレーム群を生成し出力する。入力された3D映像信号に含まれる左眼映像と右眼映像のうち、片方の映像を基準映像、もう片方を非基準映像とする。左眼映像と右眼映像のどちらが基準映像、非基準映像になっても機能としては同等であるが、本実施の形態では左眼映像を基準映像、右眼映像を非基準映像とする。また、基準映像及び非基準映像はフレームの順番に従ってフレーム毎にフレーム番号を保持する。

フレーム番号がフレーム番号の最大値（実装環境や実装者の方針に依存する）を超える場合は、最大値のフレーム番号を保持するフレームの次のフレームから再度、０から昇順に番号が割り当てられる。ここで、最大値のフレーム番号のフレームを境にフレーム番号が断続してしまうが、連番の場合と同様の振る舞いをするように処理が行われることとする。

基準映像はフレーム単位で分割され処理される。処理されるフレームを基準フレームとする。図２に示すように、記憶部３に蓄積されている、もしくはユーザによって入力される前方向の左右同期ずれ量の検知可能範囲（Ｎ）と後方向の左右同期ずれ量の検知可能範囲（O[0]）を参照し、基準フレームのフレーム番号をＦとしたときに、非基準映像のF−N番目からF＋O番目のフレーム（推定フレーム）の集合を推定フレーム群とする。ここで、Ｆ−Ｎ番目からＦ＋O番目の範囲は、基準フレーム対して左右同期ずれが発生したと判定される範囲である。基準フレーム、推定フレーム群を左右同期ずれが発生しなかった場合の基準フレームと時間的に同期する非基準映像内のフレーム（対応フレーム）の推定候補群とする。

なお、例外として、FがN＋１よりも小さい場合は、非基準映像の１番目からF＋O番目のフレーム群を推定フレーム群とする。また、Fの最大値をEとしたときに、FがE−Oよりも大きい場合は、非基準映像のF番目からE番目のフレーム群を推定フレーム群とする。これら２つの例外は、左右同期ずれ量の推定精度に影響を与えるため、左右同期ずれ量の算出はしないなどの実装方法をとってもよい。基準フレーム、推定フレーム群は対応するフレーム番号を保持している。基準フレーム、推定フレーム群を左右同期ずれ量出力部２に出力する。

左右同期ずれ量出力部２では、入力された基準フレーム及び推定フレーム群から、左右同期ずれ量を算出し出力する。左右同期ずれ量出力部２に入力された基準フレーム及び推定フレーム群は相違度算出部２０への入力とされる。

相違度算出部２０では、3D映像信号入力部１から入力された基準フレーム及び推定フレーム群から、推定フレーム毎に相違度を算出し、基準フレームに保持されている基準フレーム番号（基準フレーム番号）とともに出力する。推定フレーム毎の相違度の算出に関してここでは主要な７通りの方法を詳述する。

相違度算出方法（１）：
本実施の形態では、左眼映像と右眼映像の映像サイズが1920画素×1080画素の場合を扱うことを前提としており、これに従い、まず、図３に示すように、記憶部３に蓄積されている動きベクトル探索可能距離（X，Y）を参照し、画素位置（X，Y）と画素位置（1920−X，1080−Y）を対頂点とする長方形の範囲に対して、基準フレームを矩形ブロックに分割する。矩形ブロックのサイズは任意であるが、本実施の形態では８画素×８画素に設定する。また、矩形ブロックはオーバーラップしても構わないが、本実施の形態ではオーバーラップはしないこととする。

次に、矩形ブロック毎に動きベクトルを算出する。動きベクトルは、動きベクトルを算出する対象の矩形ブロックを基準矩形ブロックとしたときに、推定フレーム内で基準矩形ブロックと最も類似する同サイズの矩形ブロック（対応矩形ブロック）を抽出し、基準矩形ブロックと対応矩形ブロック間の距離ベクトルを算出するものであり、算出対象の矩形ブロックの動きベクトルとなる。推定フレーム内で基準矩形ブロックと最も類似する対応矩形ブロックの抽出には、一般的に広く用いられている、ブロックマッチング法や勾配法などのアルゴリズムを用いるが、本実施の形態ではブロックマッチング法を用いる。また、図４に示すように、対応矩形ブロックの探索は、基準矩形ブロックの対頂点を（A，B）と（A＋I−1，B＋J−1）とした時に隣接フレームの対頂点を（A−X，B−Y）と（A＋I−1＋X，B＋J−1＋Y）とした長方形の範囲内で実行される。なお、Ｉは矩形ブロックの水平方向のサイズ、Ｊは矩形ブロックの垂直方向のサイズを意味している。

ブロックマッチング法による動きベクトルの算出方法を詳述する。

当該ブロックマッチング法では、輝度差の総和によってブロック間の一致度を評価する関数であるSAD(Sum of Absolute Difference)関数を用いる。なお、ここでは、輝度値を用いるが、輝度値以外を画素値とする場合もSAD関数を用いる。

全ての整数x（−X≦x≦X）と整数y（−Y≦y≦Y）の組み合わせに対して、式(1)で定義される輝度差の総和によって基準矩形ブロックと対象のブロック間の一致度を評価した一致度評価値SAD（x，y）を算出し、SAD（x，y）が最小となる対象のブロックを対応矩形ブロックとして抽出し、基準矩形ブロックと対応矩形ブロック間の距離ベクトルを算出対象の矩形ブロックの動きベクトル（x'，y'）として算出する。一致度評価値SAD(x，y)は値が小さいほどブロック間の一致度が高いことを意味するものである。

ここで、F（i，j）は基準フレームの画素位置（i，j）の画素値、F'（i，j）は推定フレームの画素位置（i，j）の画素値を示している。本実施の形態では画素値として輝度値を用いることとするが、色差値などの他の画素値を用いてもよい。基準フレーム内の全ての矩形ブロックに対し、矩形ブロック毎に抽出し、算出した対応矩形ブロックとの間の動きベクトルについて、垂直方向の成分の２乗（y'²）を算出し、基準フレーム内の全ての矩形ブロックに対し平均した値を推定フレームの相違度として算出する。

相違度算出方法（２）：
相違度算出方法（２）は、基準フレーム内の全ての矩形ブロックに対し、矩形ブロック毎に動きベクトルを抽出及び算出する処理までは上記の相違度（１）と同様であるが、相違度を全矩形ブロックに対する動きベクトルの水平・垂直成分の２乗和の平均値とする点において相違度算出方法（１）と異なる。

本実施の形態では、左眼映像と右眼映像の映像サイズが1920画素×1080画素の場合を扱うことを前提としており、これに従い、まず、図３に示すように、記憶部３に蓄積されている相違度算出時に算出する動きベクトルの水平方向の最大値（X）と相違度算出時に算出する動きベクトルの垂直方向の最大値（Y）[0]を参照し、画素位置（X，Y）と画素位置（1920−X，1080−Y）を対頂点とする長方形の範囲に対して、基準フレームを矩形ブロックに分割する。矩形ブロックのサイズは任意であるが、本実施の形態では８画素×８画素に設定する。また、矩形ブロックはオーバーラップしても構わないが、本実施の形態ではオーバーラップはしないこととする。次に、矩形ブロック毎に動きベクトルを算出する。動きベクトルは、動きベクトルを算出する対象の矩形ブロックを基準矩形ブロックとしたときに、推定フレーム内で基準矩形ブロックと最も類似する同サイズの矩形ブロック（対応矩形ブロック）を抽出し、基準矩形ブロックと対応矩形ブロック間の距離ベクトルを算出するものであり、算出対象の矩形ブロックの動きベクトルとなる。推定フレーム内で基準矩形ブロックと最も類似する対応矩形ブロックの抽出には、一般的に広く用いられている、ブロックマッチング法や勾配法などのアルゴリズムを用いるが、本実施の形態ではブロックマッチング法を用いる。また、図４に示すように、対応矩形ブロックの探索は、基準矩形ブロックの対頂点を（A，B）と（A＋I−1，B＋J−1）とした時に隣接フレームの対頂点を（A−X，B−Y）と（A＋I−1＋X，B＋J−1＋Y）とした長方形の範囲内で実行される。なお、Iは矩形ブロックの水平方向のサイズ、Jは矩形ブロックの垂直方向のサイズを意味している。

ブロックマッチング法による動きベクトルの算出方法を詳述する。全ての整数x（−X≦x≦X）と整数y（−Y≦y≦Y）の組み合わせに対して、式(2)で算出されるSAD（x，y）を算出し、SAD（x，y）が最小となる（x，y）を動きベクトル（x'，y'）として算出する。

ここで、F（i，j）は基準フレームの画素位置（i，j）の画素値、F'（i，j）は推定フレームの画素位置（i，j）の画素値を示している。本実施の形態では画素値として輝度値を用いることとするが、色差値などの他の画素値を用いてもよい。基準フレーム内の全ての矩形ブロックに対し、矩形ブロック毎に抽出し、算出した対応矩形ブロックとの間の動きベクトルについて、水平方向の成分及び垂直方向の成分の２乗和（x'²＋y'²）を算出し、基準フレーム内の全ての矩形ブロックに対し平均した値を推定フレームの相違度として算出する。

相違度算出方法（３）：
当該方法による相違度は、基準フレームと推定フレーム間の同じ画素位置(e.g. 輝度値、色差値)の差の合計値SSD( Sum of Squared Difference)として算出される。

式(3)で定義される輝度差の2乗和であるSSDによってブロック間の一致度を評価した一致度評価値を算出し、SSDを推定フレームの相違度とする。

ここで、F（w，h）は基準フレームの画素位置（w，h）の画素値、F'（w，h）は推定フレームの画素位置（w，h）の画素値、Wはフレームの垂直方向のサイズ、Hはフレームの垂直方向のサイズを示している。

相違度算出方法（４）：
当該方法による相違度は、基準フレームと基準フレーム間の同じ画素位置の差の2乗または絶対値の合計値SAD(Sum of Absolute Difference)として算出される。

式(4)で算出されるSADを推定フレームの相違度とする。

相違度算出方法（５）：
当該算出方法による相違度は、基準フレームと推定フレームの同じ画素位置の画素値の乗算値の合計を、基準フレームの画素値の二乗和と推定フレームの画素値の二乗和の乗算値の平方根で除算した値NCC(Normalized Cross-Correlation)の符号を反転した値として算出される。

式(5)で定義される正規化相互相関であるNCCの符号を反転させた値を推定フレームの相違度とする。

相違度算出方法（６）：
当該算出方法による相違度は、まず、基準フレームの各画素の画素値を基準フレームの画素値の平均値で減算し、推定フレームの各画素の画素値を推定フレームの全画素の画素値の平均値で減算する。相違度は減算後の基準フレームと推定フレームの同じ画素位置の画素値の乗算値の合計を、基準フレームの画素値の二乗和と推定フレームの画素値の二乗和の乗算値の平方根で除算した値ZNCC(Zero-mean Normalized Cross-Correlation)の符号を反転した値として算出される。

式(6)で定義される正規化相互相関ZNCC(ZNCC:の符号を反転させた値を推定フレームの相違度とする。

ここで、F（w，h）は基準フレームの画素位置（w，h）の画素値、F'（w，h）は推定フレームの画素位置（w，h）の画素値、Wはフレームの垂直方向のサイズ、Hはフレームの垂直方向のサイズ、

は基準フレームの全画素の画素値平均、

を示している。

相違度算出方法（７）：
当該算出方法による相違度は、基準フレームと推定フレーム間の同じ画素位置の画素値(e.g．輝度値、色差値)の差の標準偏差として算出される。

非特許文献３（ITU−Ｔ勧告P．911）に記載のTemporal perceptual Information（TI）を基にした式(7)で定義されるTIを推定フレームの相違度とする。

は全画素のM(w,h)の平均値を示している。

上記相違度（１）〜（７）のいずれかの方法もしくは別の方法で全ての推定フレームに対して相違度を算出し、それらの集合を相違度群とする。相違度群は対応する推定フレームのフレーム番号を保持している。基準フレーム番号及び相違度群を左右同期ずれ量の入力として出力する。

左右同期ずれ量算出部２１では、入力された基準フレーム番号及び相違度群から左右同期ずれ量を算出し出力する。

左右同期ずれ量算出部２１は、相違度群の中で相違度が最も小さくなる推定フレーム（対応フレーム）のフレーム番号（対応フレーム番号）を抽出し、基準フレーム番号から対応フレーム番号を差分した値を左右同期ずれ量として出力する。相違度が同一の推定フレームが複数存在する場合は、本アルゴリズムでは正解を判断できないため、（１）エラーとして出力する、（２）複数の同期ずれ量を出力して、ユーザに判断を委ねる、（３）安全側に判断して、最も大きい左右同期ずれ量を出力する、などのシステムの運用に適した異常処理をする必要がある。

左右同期ずれ量を表示することにより、以下のようにして判断することができる。

・左右同期ずれ量が０の場合：左右同期ずれが発生していない；
・左右同期ずれ量が正の場合：基準映像よりも非基準映像が未来方向にずれている；
・左右同期ずれ量が負の場合：基準映像よりも非基準映像が過去方向にずれている；
ことを意味する。また、ユーザの利便性を向上させるために、左右同期ずれ量を左右同期ずれ量の絶対値と左右同期ずれの方向の情報（左右同期ずれ量が０の場合はずれがないという情報）に変換して表示してもよい。

なお、本実施の形態ではフレーム毎に左右同期ずれ量を算出したが、計算量を減らす目的等の理由により、数フレーム毎に左右同期ずれ量を算出してもよい。

図５は、本発明の一実施の形態における映像左右眼映像時間同期ずれ量算出装置の動作のフローチャートである。以下に図５のフローチャートを用いて本実施形態の処理フローを説明する。

3D映像信号入力部１は、入力された3D映像信号から基準フレームと推定フレーム群を抽出し、基準フレームと推定フレーム群を相違度算出部２０に入力する（ステップ１）。

次に、相違度算出部２０は、入力された基準フレーム、推定フレーム群から、推定フレーム群に含まれる全推定フレームに対して、各推定フレーム毎に基準フレームに対応する相違度を算出して相違度群とし、基準フレームに含まれる基準フレーム番号と相違度群を左右同期ずれ算出部２１へ入力する（ステップ２）。

最後に、左右同期ずれ算出部２１は入力された基準フレーム番号、相違度群から、相違度最小の推定フレームと基準フレームのフレーム番号を基に左右同期ずれ量を算出し、出力する（ステップ３）。

なお、上記の図１に示す映像品質評価装置の構成要素の各動作をプログラムとして構築し、映像処理装置として利用されるコンピュータ、プロセッサ、マイクロチップ、IC等にインストールして実行させる、または、ネットワークを介して流通させることが可能である。

本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

１ 3D映像信号入力部
２左右同期ずれ量出力部
３記憶部
２０相違度算出部
２１左右同期ずれ量算出部

Claims

左眼に提示する２D映像（左眼映像）と右眼に提示する２D映像（右眼映像）によって構成される３D映像を用いたサービスに対して該左眼映像と該右眼映像の時間的な同期ずれの量を算出する3D映像左右眼映像時間同期ずれ量算出装置であって、
入力された３D映像に含まれる前記左眼映像と前記右眼映像の内、一方の映像を基準映像とし、もう片方の映像を非基準映像とし、左右同期ずれ量を算出する該基準映像内のフレームを基準フレームとし、該基準フレームに対して左右同期ずれが発生したと判定される範囲に含まれる該非基準映像のフレーム（推定フレーム）の集合（推定フレーム群）を抽出し、該左右同期ずれが発生しなかった場合の該基準フレームと時間的に同期する該非基準映像内のフレーム（対応フレーム）の推定候補群とする３D映像信号入力手段と、
前記基準フレームと前記推定フレーム群を用いて、前記左右同期ずれ量を算出する左右同期ずれ量出力手段とを備え、
前記左右同期ずれ量出力手段は、
前記推定フレーム群に含まれる全ての前記推定フレームに対して該推定フレームと前記基準フレーム間の相違度の値を算出し、算出された値の集合を相違度群とする相違度算出手段と、
前記相違度群の中で最も値が低い前記相違度に対応する前記推定フレームを対応フレームとし、前記基準フレームのフレーム番号から前記対応フレームのフレーム番号を減算した値を前記左右同期ずれ量として算出する左右同期ずれ量算出手段とを備え、
前記相違度算出手段は、
前記基準フレームをユーザが設定するサイズ（N画素×M画素）の矩形ブロック（基準矩形ブロック）で分割し、相違度を算出する推定フレーム（対象フレーム）と矩形ブロックから基準矩形ブロック毎に動きベクトル（水平及び垂直方向のベクトルサイズ（単位は画素数）で構成される２次元ベクトル）を算出し、動きベクトルの垂直方向成分の２乗値の全基準矩形ブロックの平均を対象フレームの相違度として算出する手段を含む
ことを特徴とする3D映像左右眼映像時間同期ずれ量算出装置。
前記３D映像信号入力手段において、
前記基準フレームに対して左右同期ずれが発生したと判定される範囲は、ユーザが設定する前方向及び後方向それぞれの左右同期ずれの検出対象となるフレーム数（検出フレーム範囲）と該基準フレームのフレーム番号から算出される領域であって、該基準フレームのフレーム番号から前方向の検出フレーム範囲を減算したフレーム番号から、該基準フレームのフレーム番号に後方向の検出フレーム範囲を加算したフレーム番号までの領域を示す
ことを特徴とする請求項１記載の3D映像左右眼映像時間同期ずれ量算出装置。
前記相違度算出手段は、ブロックマッチング法もしくは勾配法を用いて前記動きベクトルを算出する手段を含む
ことを特徴とする請求項１又は２記載の3D映像左右眼映像時間同期ずれ量算出装置。
左眼に提示する２D映像（左眼映像）と右眼に提示する２D映像（右眼映像）によって構成される３D映像を用いたサービスに対して該左眼映像と該右眼映像の時間的な同期ずれの量を算出する3D映像左右眼映像時間同期ずれ量算出方法であって、
３D映像信号入力手段と、左右同期ずれ量出力手段とを有する装置において、
前記３D映像信号入力手段が、入力された３D映像に含まれる前記左眼映像と前記右眼映像の内、一方の映像を基準映像とし、もう片方の映像を非基準映像とし、左右同期ずれ量を算出する該基準映像内のフレームを基準フレームとし、該基準フレームに対して左右同期ずれが発生したと判定される範囲に含まれる該非基準映像のフレーム（推定フレーム）の集合（推定フレーム群）を抽出し、該左右同期ずれが発生しなかった場合の該基準フレームと時間的に同期する該非基準映像内のフレーム（対応フレーム）の推定候補群とする３D映像信号入力ステップと、
前記左右同期ずれ量出力手段が、前記基準フレームと前記推定フレーム群を用いて、前記左右同期ずれ量を算出する左右同期ずれ量出力ステップとを行い、
前記左右同期ずれ量出力ステップは、
前記推定フレーム群に含まれる全ての前記推定フレームに対して該推定フレームと前記基準フレーム間の相違度の値を算出し、算出された値の集合を相違度群とする相違度算出ステップと、
前記相違度群の中で最も値が低い前記相違度に対応する前記推定フレームを対応フレームとし、前記基準フレームのフレーム番号から前記対応フレームのフレーム番号を減算した値を前記左右同期ずれ量として算出する左右同期ずれ量算出ステップとを含み、
前記相違度算出ステップは、
前記基準フレームをユーザが設定するサイズ（N画素×M画素）の矩形ブロック（基準矩形ブロック）で分割し、相違度を算出する推定フレーム（対象フレーム）と矩形ブロックから基準矩形ブロック毎に動きベクトル（水平及び垂直方向のベクトルサイズ（単位は画素数）で構成される２次元ベクトル）を算出し、動きベクトルの垂直方向成分の２乗値の全基準矩形ブロックの平均を対象フレームの相違度として算出する
ことを特徴とする3D映像左右眼映像時間同期ずれ量算出方法。
前記３D映像信号入力ステップにおいて、
前記基準フレームに対して左右同期ずれが発生したと判定される範囲は、ユーザが設定する前方向及び後方向それぞれの左右同期ずれの検出対象となるフレーム数（検出フレーム範囲）と該基準フレームのフレーム番号から算出される領域であって、該基準フレームのフレーム番号から前方向の検出フレーム範囲を減算したフレーム番号から、該基準フレームのフレーム番号に後方向の検出フレーム範囲を加算したフレーム番号までの領域を示す
ことを特徴とする請求項４記載の3D映像左右眼映像時間同期ずれ量算出方法。
コンピュータを、
請求項1乃至３のいずれか1項に記載の3D映像左右眼映像時間同期ずれ量算出装置の各手段として機能させるための3D映像左右眼映像時間同期ずれ量算出プログラム。