JP5575891B2 - 自動三次元ビデオフォーマット変換方法及びその装置 - Google Patents

Description

本発明は、左視点ビデオ及び右視点ビデオが混合された三次元（３Ｄ）ビデオ再生に必要なビデオフォーマット変換に関する。

三次元ディスプレイのために、異なる視点の二次元（２Ｄ）ビデオが利用されており、三次元ビデオを記録するために、異なる視点の二次元ビデオを記録するフォーマットが多様に存在する。現存する三次元ディスプレイ機器は、三次元ビデオをディスプレイするために、異なる視点の二次元ビデオを交互にディスプレイする方式を採択している。従って、現存する三次元ディスプレイ機器が三次元ビデオを正確にディスプレイするためには、三次元ビデオから異なる視点の二次元ビデオを正確に抽出せねばならない。三次元ビデオから互いに異なる視点の三次元ビデオを抽出するためには、三次元ビデオフォーマットに係わる正確な情報が必要である。

本発明の一実施形態による三次元ビデオフォーマット変換方法は、左視点ビデオ及び右視点ビデオが収録された三次元ビデオを含む映像シーケンスを入力する段階と、入力映像のうち、前記三次元ビデオの前記左視点ビデオと前記右視点ビデオとのディスパリティ情報及び周辺画素値間相関度情報のうち少なくともいずれか一つを推定し、前記推定結果に基づいて、前記三次元ビデオにおいて、前記左視点ビデオ及び前記右視点ビデオが配列された方式を示す三次元ビデオフォーマットを判別する段階と、前記三次元ビデオフォーマットに基づいて、前記左視点ビデオ及び前記右視点ビデオをディスプレイ装置で三次元に再生可能なフォーマットに変換する段階と、前記フォーマット変換された前記左視点ビデオ及び前記右視点ビデオを、前記ディスプレイ装置を利用して三次元に再生する段階と、を含むものである。

本発明は、三次元ビデオを分析し、左視点ビデオ及び右視点ビデオの配列方式に係わる三次元ビデオフォーマットを判別して三次元に再生する方法に関するものである。

本発明の一実施形態による三次元ビデオフォーマット変換方法は、左視点ビデオ及び右視点ビデオが収録された三次元ビデオを含む映像シーケンスを入力する段階と、入力映像のうち、前記三次元ビデオの前記左視点ビデオと前記右視点ビデオとのディスパリティ情報及び周辺画素値間相関度情報のうち少なくともいずれか一つを推定し、前記推定結果に基づいて、前記三次元ビデオにおいて、前記左視点ビデオ及び前記右視点ビデオが配列された方式を示す三次元ビデオフォーマットを判別する段階と、前記三次元ビデオフォーマットに基づいて、前記左視点ビデオ及び前記右視点ビデオをディスプレイ装置で三次元に再生可能なフォーマットに変換する段階と、前記フォーマット変換された前記左視点ビデオ及び前記右視点ビデオを、前記ディスプレイ装置を利用して三次元に再生する段階と、を含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記左視点ビデオと前記右視点ビデオとのディスパリティ情報を利用し、前記三次元ビデオフォーマットが、サイドバイサイド・フォーマット（side by side format）、トップアンドボトム・フォーマット（top and bottom format）、水平ラインインターリーブド・フォーマット（horizontal line interleaved format）及び垂直ラインインターリーブド・フォーマット（vertical line interleaved format）のうちいずれか一つであるかを判別する段階を含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記左視点ビデオと前記右視点ビデオとの周辺画素値間相関度情報を利用し、前記三次元ビデオフォーマットが、水平ラインインターリーブド・フォーマット、垂直ラインインターリーブド・フォーマット及びチェッカボード・フォーマット（checker board format）のうちいずれか一つであるかを判別する段階を含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記左視点ビデオと前記右視点ビデオとの周辺画素値間相関度情報を利用し、前記三次元ビデオフォーマットが、水平ラインインターリーブド・フォーマット、垂直ラインインターリーブド・フォーマット及びチェッカボード・フォーマットのうちいずれか一つであるかを判別する段階と、前記ディスパリティ情報を利用し、前記三次元ビデオフォーマットが、フィールドシーケンシャル・フォーマット（field sequential format）またはフレームシーケンシャル・フォーマット（frame sequential format）であるかを判別する段階をさらに含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記左視点ビデオと前記右視点ビデオとの境界線を検出し、前記三次元ビデオフォーマットが、前記サイドバイサイド・フォーマットまたは前記トップアンドボトム・フォーマットのうちいずれか一つであるかを判別する段階をさらに含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、テクスチャ成分が含まれた領域において、前記三次元ビデオフォーマットを判別する領域を決定するために、前記左視点ビデオ及び前記右視点ビデオの相互対応する領域の平滑度を計算し、テクスチャ成分が含まれた領域を検索する段階をさらに含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記三次元ビデオの上側領域と下側領域との差の絶対値を示す上下差映像を利用し、第１ディスパリティ情報を推定する段階（トップアンドボトム・フォーマットを考慮したディスパリティ）と、前記三次元ビデオの左側領域と右側領域との差の絶対値を示す左右差映像を利用し、第２ディスパリティ情報を推定する段階（サイドバイサイド・フォーマットを考慮したディスパリティ）と、を含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記第１ディスパリティ情報及び前記第２ディスパリティ情報に基づいて、前記三次元ビデオが、前記トップアンドボトム・フォーマットまたは前記サイドバイサイド・フォーマットであるかを判別する段階を含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記三次元ビデオの垂直ラインを、奇数番目及び偶数番号目の垂直ラインに分け、奇数番目の垂直ラインと偶数番号目の垂直ラインとの差の絶対値を示す垂直ライン差映像を利用し、第３ディスパリティ情報を推定する段階と、前記三次元ビデオの水平ラインを、奇数番目及び偶数番号目の水平ラインに分け、奇数番目の水平ラインと偶数番号目の水平ラインとの差の絶対値を示す水平ライン差映像を利用し、第４ディスパリティ情報を推定する段階と、を含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記第３ディスパリティ情報及び前記第４ディスパリティ情報に基づいて、前記三次元ビデオが、前記垂直ラインインターリーブド・フォーマットまたは前記水平ラインインターリーブド・フォーマットであるかを判別する段階をさらに含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記上下差映像の連続的の画素値が第１臨界値より大きい第１区間の間隔が、第１最長ディスパリティより大きい場合、前記第１区間を、第１ディスパリティ情報のうち候補区間として選択する段階と、前記左右差映像の連続的な画素値が第２臨界値より大きい第２区間の間隔が、第２最長ディスパリティより大きい場合、前記第２区間を、第２ディスパリティ情報のうち候補区間として選択する段階をさらに含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記第１ディスパリティ情報の候補区間の総数と、前記第２ディスパリティ情報の候補区間の総数と、を比較し、前記第１ディスパリティ情報の候補区間の総数がさらに少なければ、前記三次元ビデオフォーマットを、前記トップアンドボトム・フォーマットと判別し、前記第２ディスパリティ情報の候補区間の総数がさらに少なければ、前記三次元ビデオフォーマットを、前記サイドバイサイド・フォーマットと判別することができる。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記垂直ライン差映像の連続的な画素値が第３臨界値より大きい第３区間の間隔が、第３最長ディスパリティより長い場合、前記第３区間を、第３ディスパリティ情報のうち候補区間として選択し、前記水平ライン差映像の連続的な画素値が第４臨界値より大きい第４区間の間隔が、第４最長ディスパリティより長い場合、前記第４区間を、第４ディスパリティ情報のうち候補区間として選択することができる。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記第３ディスパリティ情報の候補区間の総数と、前記第４ディスパリティ情報の候補区間の総数と、を比較し、前記第３ディスパリティ情報の候補区間の総数がより多ければ、前記三次元ビデオフォーマットを、前記垂直ラインインターリーブド・フォーマットと判別し、前記第４ディスパリティ情報の候補区間の総数がさらに多ければ、前記三次元ビデオフォーマットを、前記水平ラインインターリーブド・フォーマットと判別することができる。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記三次元ビデオのうち垂直方向に連続的な３つの画素間の垂直方向画素値間の相関度情報を推定する段階と、前記三次元ビデオのうち水平方向に連続的な３つの画素間の水平方向画素値間の相関度情報を推定する段階と、を含む。

一実施形態による前記三次元ビデオフォーマット判別段階は、画素値間相関度臨界値より大きい水平方向画素値間相関度情報の個数が所定臨界値より多く、前記画素値間相関度臨界値より大きい前記垂直方向画素値間相関度情報の個数が、前記所定臨界値より少なければ、前記三次元ビデオを垂直ラインインターリーブド・フォーマットと判別し、前記画素値間相関度臨界値より大きい垂直方向画素値間相関度情報の個数が、前記所定臨界値より多く、前記画素値間相関度臨界値より大きい水平方向画素値間相関度情報の個数が、前記所定臨界値より少なければ、前記三次元ビデオを、水平ラインインターリーブド・フォーマットと判別し、前記画素値間相関度臨界値より大きい垂直方向画素値間の相関度情報及び水平方向画素値間相関度情報の個数が、前記所定臨界値より多いならば、前記三次元ビデオを、チェッカボード・フォーマットと判別する段階を含む。

一実施形態によって、前記垂直方向に連続する３つの画素のうち、上側画素と下側画素との差の絶対値である第１差値、前記上側画素と中央画素との差の絶対値である第２差値、及び前記中央画素と前記下側画素との差の絶対値である第３差値を利用し、前記垂直方向画素値間の相関度情報は、前記第１差値に対する前記第２差値及び前記第３差値の和の割合で示し、前記水平方向に連続する３つの画素のうち、左側画素と右側画素との差の絶対値である第４差値、前記左側画素と前記中央画素との差の絶対値である第５差値、及び前記中央画素と前記右側画素との差の絶対値である第６差値を利用し、前記水平方向画素値間の相関度情報は、前記第４差値に対する前記第５差値及び前記第６差値の和の割合で示すことができる。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記三次元ビデオのうち時間軸に連続的な３つのフレーム間の時間的ディスパリティの変化度を推定する段階を含んでもよい。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記時間軸に連続する３つのフレームのうち、最初のフレームと３番目のフレームとの差の絶対値を示す第１差フレーム、前記最初のフレームと２番目のフレームとの差の絶対値を示す第２差フレーム、及び前記２番目のフレームと前記３番目のフレームとの差の絶対値を示す第３差フレームを利用し、前記３つのフレーム間の時間的ディスパリティの変化度は、前記第１差フレームデータに対する前記第２差フレームデータ及び前記第３差フレームデータの和の割合で示してもよい。

一実施形態による前記境界線検出段階は、前記三次元ビデオ高を半分に分け、上側領域と下側領域との水平境界線の上側に垂直方向に配列された隣接した２つの画素間の差の絶対値である水平境界線上側差値、前記水平境界線の下側に垂直方向に配列された隣接した２つの画素間の差の絶対値である水平境界線下側差値、及び前記水平境界線の上側画素と下側画素との差の絶対値である水平境界線差値を利用し、前記水平境界線上側差値と前記水平境界線下側差値との和に対する前記水平境界線差値の比率を計算する段階と、前記水平境界線差値の比率の総計が水平境界線臨界値より大きい場合、前記三次元ビデオを、前記トップアンドボトム・フォーマットとして決定する段階と、を含む。

一実施形態による前記境界線検出段階は、前記三次元ビデオ幅を半分に分け、左側領域と右側領域との垂直境界線の左側に水平方向に配列された隣接した２つの画素間の差の絶対値である垂直境界線左側差値、前記垂直境界線の右側に水平方向に配列された隣接した２つの画素間の差の絶対値である垂直境界線右側差値、及び前記垂直境界線の左側画素と右側画素との差の絶対値である垂直境界線差値を利用し、前記垂直境界線左側差値と前記垂直境界線右側差値との和に対する前記垂直境界線差値の比率を計算する段階と、前記垂直境界線差値の比率の総計が垂直境界線臨界値より大きい場合、前記三次元ビデオを、前記サイドバイサイド・フォーマットとして決定する段階と、を含む。

一実施形態による前記境界線検出段階は、前記境界線を基準に、所定本数以上のラインを含む境界領域が存在する場合、黒色ラインを除外した領域で、前記三次元ビデオフォーマットを判別することができる。

一実施形態による前記三次元ビデオフォーマット判別段階は、前記三次元ビデオの複数フレームに係わる三次元ビデオフォーマットの判別結果として、第１フォーマットが連続して判別されていて、所定個数のフレームに係わる第２フォーマットが判別され、前記第２フォーマットのフレーム後のフレームについて、再び第１フォーマットが連続して判別される場合、前記第２フォーマットが判別された所定フレームの個数に基づいて、前記第２フォーマットの判別結果を、前記第１フォーマットに修正する段階を含んでもよい。

一実施形態による前記三次元ビデオフォーマット判別結果の修正段階は、前記第２フォーマットが判別された後、所定個数のフレームの間、前記第２フォーマットが続けて判別されるか否かを観察する段階と、前記所定個数のフレームについて、前記第２フォーマットの判別結果が維持されるならば、前記所定個数のフレームまでは、前記第１フォーマッに前記判別結果を修正し、前記所定個数のフレーム後のフレームから、前記判別結果を前記第２フォーマットに確定する段階と、を含む。

一実施形態による前記三次元ビデオフォーマット変換方法は、ウェブを介して前記三次元ビデオフォーマットをキーワードに、前記三次元ビデオ・コンテンツを検索する段階をさらに含み、前記映像入力段階は、前記ウェブを介して検索された三次元ビデオ・コンテンツを入力する段階を含んでもよい。

一実施形態によって、前記ウェブを介した三次元ビデオ・コンテンツの検索段階は、二次元ビデオ及び前記三次元ビデオが混在した映像コンテンツを検索し、前記映像入力段階は、前記ウェブを介して検索された映像コンテンツを入力し、前記フォーマット変換段階は、前記検索キーワードの三次元ビデオフォーマットに基づいて、前記三次元ビデオ部分の左視点ビデオ及び右視点ビデオを三次元に再生可能なフォーマットに変換し、前記三次元ビデオフォーマット変換方法は、前記入力されたコンテンツのうち、前記二次元ビデオ部分は二次元に再生し、前記変換されたフォーマットを利用し、前記三次元ビデオ部分を三次元に再生する段階をさらに含んでもよい。

一実施形態による三次元ビデオフォーマット変換方法は、前記三次元ビデオ・コンテンツの提供者からウェブブラウザに、前記映像コンテンツのうち、前記三次元ビデオ部分の位置についての情報を伝送され、前記ウェブブラウザで、前記三次元ビデオ部分のディスパリティ情報及び周辺画素値間相関度情報のうち少なくとも１つの推定、前記三次元ビデオフォーマット判別及び前記三次元再生可能フォーマットへの変換が行われ、前記ウェブブラウザで、前記三次元ビデオ部分が三次元に再生されてもよい。

一実施形態による前記三次元ビデオフォーマット変換方法は、三次元ディスプレイ装置で、前記入力された映像コンテンツのうち、前記三次元ビデオ部分の位置を検出する段階をさらに含み、前記三次元ディスプレイ装置が、前記三次元ビデオ部分の位置で、前記フォーマット変換された三次元ビデオを三次元に再生することができる。

本発明の一実施形態による三次元ビデオフォーマット変換装置は、左視点ビデオ及び右視点ビデオが収録された三次元ビデオを含む映像シーケンスを入力する映像入力部と、入力映像のうち、前記三次元ビデオにおいて、前記左視点ビデオと前記右視点ビデオとのディスパリティ情報及び周辺画素値間相関度情報のうち少なくともいずれか一つを推定し、前記推定結果に基づいて、前記三次元ビデオにおいて、前記左視点ビデオ及び前記右視点ビデオが配列された方式を示す三次元ビデオフォーマットを判別するフォーマット判別部と、前記三次元ビデオフォーマットに基づいて、前記三次元ビデオの前記左視点ビデオ及び前記右視点ビデオを三次元に再生可能なフォーマットに変換するフォーマット変換部と、前記フォーマット変換された左視点ビデオ及び前記右視点ビデオを三次元に再生するディスプレイ部と、を含む。

本発明は、一実施形態による三次元ビデオフォーマット変換方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

一実施形態による三次元ビデオフォーマット変換装置のブロック図である。 三次元ビデオの符号化／復号化システムを図示するブロック図である。 三次元ビデオの生成システム及び符号化／復号化システムを図示するブロック図である。 三次元ビデオの三次元ビデオフォーマットの種類を図示する図である。 一実施形態による三次元ビデオフォーマット変換装置のうち、フォーマット判別部の詳細なブロック図である。 一実施形態による三次元ビデオの左右領域に係わるディスパリティ情報推定方式と、一実施形態による三次元ビデオの上下領域に係わるディスパリティ情報推定方式とを示す絵図である。 一実施形態による三次元ビデオの水平ラインに係わるディスパリティ情報推定方式と、一実施形態による三次元ビデオの垂直ラインに係わるディスパリティ情報推定方式とを示す図である。 一実施形態によるディスパリティ区間の推定方式のフローチャートと、一実施形態によるディスパリティ情報推定方法のフローチャートとである。 一実施形態による各々水平画素値間相関度情報推定方法及び垂直画素値間相関度情報推定方法を図示する図である。 一実施形態によるトップアンドボトム・フォーマットの三次元ビデオと、一実施形態による三次元ビデオの上側領域と下側領域との境界線の拡大された一部分とを図示する図である。 一実施形態によるサイドバイサイド・フォーマットの三次元ビデオと、一実施形態による三次元ビデオの左側領域及び右側領域間の境界線の拡大された一部分とを図示する図である。 一実施形態による境界領域が含まれたサイドバイサイド・フォーマットの三次元ビデオと、その拡大された一部境界線とを図示する図である。 一実施形態による、二次元ビデオに対して時間軸に連続するフレーム間の画素値の差の平均値のグラフと、一実施形態による、フレームシーケンシャル・フォーマットの三次元ビデオに対して時間軸に連続するフレーム間の画素値の差の平均値のグラフとである。 一実施形態による時間軸に連続する３つのフレームを利用したフレームシーケンシャル・フォーマットの判別方法を図示する図である。 一実施形態による三次元ビデオフォーマット判別結果のうちエラーが発生する現象を図示する図である。 一実施形態による三次元ビデオフォーマット判別結果のエラー修正方式を図示する図である。 一実施形態によるフォーマット変換及び三次元再生のための後処理過程を図示する図である。 実施形態による三次元ビデオフォーマット変換方法のフローチャートである。 一実施形態による、ウェブを介して三次元ビデオフォーマットの三次元ビデオ・コンテンツを検索する方式を図示する図である。 一実施形態による、ウェブを介して三次元ビデオフォーマットの三次元ビデオを再生する方式を図示する図である。

本発明は、２００９年６月２３日に出願された米国仮特許出願番号第６１／２１９，４３８号及び２００９年８月２５日に出願された韓国特許出願第１０−２００９−００７８８４１号に基づいて優先権の利益を享有する。

各実施形態は、以下の図面を参照して詳細に説明する。

以下の説明において、他の図面であるとしても、同一の構成については、同一の図面参照番号を使用している。明細書で定義された細部構造及び構成のような要素は、実施形態を理解するのに一助となるように記述されている。しかしながら、実施形態は、それら限定的に定義された要素なしにも具現可能である。

以下、図１ないし図２０を参照しつつ、本発明のさまざまな実施形態による三次元（３Ｄ）ビデオフォーマット変換装置及び三次元ビデオフォーマット変換方法について説明する。

図１は、一実施形態による三次元ビデオフォーマット変換装置のブロック図を図示している。

一実施形態による三次元ビデオフォーマット変換装置１００は、映像入力部１１０、フォーマット判別部１２０、フォーマット変換部１３０及びディスプレイ部１４０を含む。

映像入力部１１０を介して入力される映像シーケンスは、左視点ビデオ及び右視点ビデオが収録された三次元ビデオを含む。入力映像は、二次元（２Ｄ）ビデオまたは三次元ビデオであるか、または二次元ビデオ及び三次元ビデオが部分的に混合していてもよい。混合映像は、時間順序によって、二次元ビデオ区間（section）及び三次元ビデオ区間が混合している場合と、空間的に二次元ビデオ区間領域及び三次元ビデオ区間領域が混合している場合と、を含む。

三次元ビデオが、左視点ビデオ及び右視点ビデオについての情報をいずれも収録するために、三次元ビデオの１つのフレームに、左視点ビデオ及び右視点ビデオが配列されている方式がある。また、三次元ビデオのシーケンス生成により、左視点ビデオのフレーム及び右視点ビデオのフレームが交互に反復する方式、または左視点ビデオフィールド及び右視点ビデオフィールドが交互に反復する方式がある。以下、三次元ビデオにおいて、左視点ビデオ及び右視点ビデオが配列されている方式を三次元ビデオフォーマットと称する。

フォーマット判別部１２０は、入力映像のうち三次元ビデオを分析し、入力映像の三次元ビデオフォーマットを判別する。フォーマット判別部１２０は、三次元ビデオを分析し、三次元ビデオのディスパリティ（disparity）情報または周辺画素値間相関度情報のうち、少なくともいずれか一つを推定する。フォーマット判別部１２０は、推定されたディスパリティ情報及び周辺画素値間相関度情報のうち少なくともいずれか一つを利用し、三次元ビデオの三次元ビデオフォーマットを判別する。入力映像が二次元ビデオである場合、三次元ビデオフォーマットが判別されない。

一実施形態による三次元ビデオフォーマット装置１００のフォーマット判別部１２０は、左視点ビデオと右視点ビデオとのディスパリティ情報または周辺画素値間相関度情報を利用し、三次元ビデオの三次元ビデオフォーマットが、サイドバイサイド・フォーマット（side by side format）、トップアンドボトム・フォーマット（top and bottom format）、水平ラインインターリーブド・フォーマット（horizontal line interleaved format）、垂直ラインインターリーブド・フォーマット（vertical line interleaved format）及びチェッカボード・フォーマット（checker board format）のうちいずれか一つであるかを判別することができる。また、フォーマット判別部１２０は、三次元ビデオのフィールド別またはフレーム別のディスパリティ情報を利用し、フィールドシーケンシャル・フォーマット（field sequential format）またはフレームシーケンシャル・フォーマット（frame sequential format）であるかを判別する。

例えば、フォーマット判別部１２０は、左視点ビデオと右視点ビデオとのディスパリティ情報を利用し、三次元ビデオフォーマットが、サイドバイサイド・フォーマット、トップアンドボトム・フォーマット、水平ラインインターリーブド・フォーマット及び垂直ラインインターリーブド・フォーマットのうちいずれか一つであるかを判別する。

また、フォーマット判別部１２０は、左視点ビデオと右視点ビデオとの周辺画素値間相関度情報を利用し、三次元ビデオフォーマットが、水平ラインインターリーブド・フォーマット、垂直ラインインターリーブド・フォーマット及びチェッカボード・フォーマットのうちいずれか一つであるかを判別する。

フォーマット判別部１２０は、サイドバイサイド・フォーマット及びトップアンドボトム・フォーマットの判別性能を向上させるために、左視点ビデオと右視点ビデオとの境界線を検出して利用する。

フォーマット判別部１２０は、ディスパリティ情報及び周辺画素値間相関度情報のうち一つだけを推定して三次元ビデオフォーマットを判別したり、並列的にディスパリティ情報及び周辺画素値間相関度情報を推定し、三次元ビデオフォーマットを判別する。

テクスチャのない平滑な領域では、ディスパリティ情報または周辺画素値間相関度情報が正確に推定されないことがある。従って、フォーマット判別部１２０は、テクスチャ成分が含まれた領域において、三次元ビデオフォーマットを判別する領域を決定するために、左視点ビデオ及び右視点ビデオの相互対応する領域の平滑度を算出し、テクスチャ成分が含まれた領域を検出する。

フォーマット判別部１２０のディスパリティ情報の推定方式は、三次元ビデオの上側映像と下側映像との差値を利用して上下領域についてのディスパリティ関連情報を推定し、左側映像と右側映像との差の絶対値を利用して左右領域についてのディスパリティ関連情報を推定する方式を含む。

フォーマット判別部１２０は、推定された上下領域または左右領域についてのディスパリティ関連情報を利用し、三次元ビデオフォーマットが、サイドバイサイド・フォーマットであるか、またはトップアンドボトム・フォーマットであるかを判別する。

フォーマット判別部１２０のディスパリティ情報の他の推定方式は、三次元ビデオの奇数番目の垂直ラインと偶数番号目の垂直ラインとの差の絶対値を示す垂直ライン差映像を利用し、垂直ラインについてのディスパリティ関連情報を推定し、三次元ビデオの奇数番目の水平ラインと偶数番号目の水平ラインとの差の絶対値を示す水平ライン差映像を利用し、水平ラインについてのディスパリティ関連情報を推定する方式を含む。

フォーマット判別部１２０は、推定された垂直ラインまたは水平ラインについてのディスパリティ関連情報を利用し、三次元ビデオフォーマットが垂直ラインインターリーブド・フォーマットであるか、または水平ラインインターリーブド・フォーマットであるかを判別する。

上下領域または左右領域についてのディスパリティ関連情報、垂直ラインまたは水平ラインについてのディスパリティ関連情報は、推定ディスパリティ、ディスパリティ区間の最長臨界値、及び候補ディスパリティ区間の個数についての情報を含んでもよい。

フォーマット判別部１２０の周辺画素値間相関度情報の推定方式によれば、三次元ビデオにおいて、垂直方向に連続的な第１画素、第２画素及び第３画素間の垂直方向画素値間の相関度情報が推定され、三次元ビデオにおいて、水平方向に連続的な３つの画素（第１画素、第２画素及び第３画素）間の水平方向画素値間の相関度情報が推定される。フォーマット判別部１２０は、水平方向画素値間の相関度情報及び垂直方向画素値間の相関度情報をそれぞれ水平方向画素値間の相関度臨界値及び垂直方向画素値間の相関度臨界値と比較し、三次元ビデオの三次元ビデオフォーマットが、水平ラインインターリーブド・フォーマット、垂直ラインインターリーブド・フォーマット及びチェッカボード・フォーマットのうちいずれか一つであるかを判別する。

第１画素と第３画素との差の絶対値が第１差値であり、第１画素と第２画素との差の絶対値が第２差値であり、第２画素と第３画素との差の絶対値が第３差値であるとき、垂直画素値間相関度情報または水平画素値間相関度は、第１差値に対する第２差値と第３差値との和の比率についての情報でもって推定される。フォーマット判別部１２０の時間的ディスパリティの変化度推定方式によれば、時間軸に連続する３つのフレームのうち、最初のフレームと３番目のフレームとの差の絶対値を示す第１差フレーム、最初のフレームと２番目のフレームとの差の絶対値を示す第２差フレーム、及び２番目のフレームと３番目のフレームとの差の絶対値を示す第３差フレームを利用し、第１ないし第３フレーム間のディスパリティ情報は、第１差フレームデータに対する第２差フレームデータと第３差フレームデータとの和の比率でありうる。

フォーマット判別部１２０は、推定された時間的ディスパリティの変化度によって、三次元ビデオフォーマットが、フレームシーケンシャル・フォーマットであるか否かを判別することができる。類似した方式で、三次元ビデオフォーマットが、フィールドシーケンシャル・フォーマットであるか否かを判別する。

フォーマット判別部１２０の境界線検出方式によれば、三次元ビデオの上側領域と下側領域との水平境界線に対して垂直方向に配列された隣接した画素間の差値の比率を利用し、三次元ビデオの三次元ビデオフォーマットが、トップアンドボトム・フォーマットであるか否かを判別することができる。

また、フォーマット判別部１２０の境界線検出方式によれば、三次元ビデオの左側映像及び右側映像間の垂直境界線に対して水平方向に配列された隣接した画素間の差値の比率を利用し、三次元ビデオの三次元ビデオフォーマットが、サイドバイサイド・フォーマットであるか否かを判別することができる。このとき、垂直境界線領域は除き、映像領域として推定される領域において、境界線に直交する方向に相互隣接する画素間の画素値の相関度が利用されることが望ましい。

フォーマット判別部１２０は、複数個の連続的なフレームに係わるフォーマット判別部１２０の結果を観察し、第１グループの連続的なフレームが第１フォーマットを有すると判別されていて、第２グループの所定個数またはそれ以下のフレームが第２フォーマットを有すると判別され、第２グループ後の第３グループの残りフレームが再び第１フォーマットを有すると連続して判別される場合、あらゆるフレームについて、第１フォーマットであると結果フォーマットを修正して確定することができる。これは、三次元ビデオフォーマットの急な変動によるエラーまたは視聴感の低下を防止するためである。

例えば、フォーマット判別部１２０が、第１グループの連続的なフレームが第１フォーマットであり、前記所定個数より多い第２グループのフレームが第２フォーマットを有し、第３グループのフレームが第２フォーマットを有すると判断するならば、最終的にフォーマット判別部１２０は、第１グループ及び第２グループのフレームは、第１フォーマットを有し、第３グループのフレームは、第２フォーマットを有すると決定することもできる。また、連続的なフレームに係わるフォーマット判別部１２０の結果が、第１フォーマットから第２フォーマットにフォーマットが変更された後、所定個数以上のフレームについても、第２フォーマットに維持されるならば、フォーマット判別部１２０の結果を、そのまま結果フォーマットとして確定することができる。

フォーマット変換部１３０は、三次元ビデオから、左視点ビデオ及び右視点ビデオを分離し、それぞれの二次元ビデオを、ディスプレイ部１４０で三次元に再生することができるフォーマットに変換する。

例えば、フレームシーケンシャル・フォーマットまたはフィールドシーケンシャル・フォーマットの三次元ビデオが入力されるならば、フォーマット変換部１３０は、解像度復元過程なしに、左視点ビデオ及び右視点ビデオが相互同期化されるように、ディスプレイ部１４０に出力する。

一方、三次元ビデオがサイドバイサイド・フォーマット、トップアンドボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマット、チェッカボード・フォーマットなどの三次元ビデオであるならば、１つのフレームに、左視点ビデオ及び右視点ビデオがフル解像度の半分の解像度で記録されている。従って、左視点ビデオ及び右視点ビデオが、三次元ビデオにフル解像度で記録されていない場合には、フォーマット変換部１３０は、左視点ビデオ及び右視点ビデオを分離した後、フル解像度で復元するために、補間作業（interpolation）を行うことができる。

入力映像が二次元ビデオである場合、フォーマット変換部１３０は、二次元ビデオについては、解像度復元過程を行う必要はない。

ディスプレイ部１４０は、フォーマット変換された左視点ビデオ及び右視点ビデオを三次元に再生する。

一実施形態による三次元ビデオフォーマット変換装置１００は、ウェブを介した三次元ビデオ・コンテンツを確保することができる。ウェブブラウザを利用して三次元ビデオフォーマットを検索すれば、ウェブを介して共有されている当該三次元ビデオフォーマットの三次元ビデオ・コンテンツが検索される。一実施形態による三次元ビデオフォーマット変換装置１００は、ウェブと接続されており、ウェブを介して検索された三次元ビデオ・コンテンツを受信されて三次元でディスプレイするために、フォーマット変換部１３０を経て、三次元ビデオ・コンテンツのフォーマットを変換することができる。入力された三次元ビデオ・コンテンツの三次元ビデオフォーマットを知らない場合、フォーマット判別部１２０を経て、三次元ビデオフォーマットが判別される。

一実施形態による三次元ビデオフォーマット変換装置１００は、ウェブを介して獲得した三次元ビデオ・コンテンツを、ウェブブラウザ上でディスプレイすることができる。ウェブブラウザ上のウェブページ・ウィンドウは、二次元ビデオ・コンテンツ及び三次元ビデオ・コンテンツが混在していることがあるので、一実施形態による三次元ビデオフォーマット変換装置１００は、二次元ビデオ・コンテンツを二次元にディスプレイし、三次元ビデオ・コンテンツを三次元にディスプレイすることができる。

三次元ビデオフォーマット変換装置１００は、ウェブページ上で三次元ビデオ・コンテンツの位置を直接検出したり、またはウェブページ提供者（provider）から三次元ビデオ・コンテンツの位置についての情報を伝送される。

また、三次元ビデオフォーマット変換装置１００は、三次元ビデオ・コンテンツについて判別された三次元ビデオフォーマットに係わる情報をウェブブラウザに提供し、三次元ビデオ・コンテンツがウェブブラウザウィンドウで、三次元にディスプレイされる。

一実施形態による三次元ビデオフォーマット変換装置１００は、別途の三次元ビデオフォーマットに係わる情報なしにも、三次元ビデオを分析して三次元ビデオフォーマットを推定することができる。従って、三次元ビデオフォーマットに係わる情報を伝送するための別途の保存空間、別途の伝送チャンネルが必要なく、さらに正確な三次元ビデオディスプレイが保証される。

図２は、三次元ビデオの符号化／復号化システムのブロック図を図示している。

三次元ビデオの符号化／復号化システム２００は、ＭＰＥＧ（moving picture experts group）符号化部２３０及び伝送／記録部２４０を含む送信端２２８、並びに受信／復元部２５０及びＭＰＥＧ復号化部２６０を含む受信端２４８から構成される。

三次元ビデオフォーマットのうち、垂直ラインインターリーブド・フォーマット２０１の奇数番目の垂直ライン２０２及び偶数番号目の垂直ライン２０３の画素は、それぞれ左視点ビデオ及び右視点ビデオのデータである。水平ラインインターリーブド・フォーマット２１１は、奇数番目の水平ライン２１２及び偶数番号目の水平ライン２１３に、それぞれ左視点ビデオデータ及び右視点ビデオデータが交互に反復するように羅列される。またはフィールドシーケンシャル・フォーマット２２１は、奇数番目フィールド２２２及び偶数番号目フィールド２２３が、それぞれ左視点ビデオフィールド及び右視点ビデオフィールドとして保存される。

かようなさまざま三次元ビデオフォーマット２０１，２１１，２２１の三次元ビデオは、ＭＰＥＧ符号化部２３０に入力され、ＭＰＥＧ符号化／復号化方式によって、圧縮されて符号化され、伝送／記録部２４０を介して、ネットワークを介して、送信端２２８から受信端に伝送されたり、記録媒体に記録される。受信端２４８の受信／復元部２５０は、符号化された三次元ビデオを受信し、ＭＰＥＧ復号化部２６０は、ＭＰＥＧ符号化／復号化方式によって復号化し、三次元ビデオ２７０を生成する。

復号化された三次元ビデオ２７０の三次元ビデオフォーマットは、送信端２２８から伝送された三次元ビデオの三次元ビデオフォーマット２０１，２１１，２２１に相応する。

図３は、三次元ビデオの生成システム及び符号化／復号化システムのブロック図を図示している。

三次元ビデオ符号化／復号化システム３００は、ステレオスコピック映像前処理部３２０、ＭＰＥＧ符号化部２３０、伝送／記録部２４０を含む送信端；受信／復元部２５０、ＭＰＥＧ復号化部２６０及びステレオスコピック映像後処理部３７０を含む受信端；から構成される。ステレオスコピック映像前処理部３２０は、第１画素構造変換部３２２及びフレーム−フィールド変換部３２４を含み、ステレオスコピック映像後処理部３７０は、フィールド−フレーム変換部３７４及び第２画素構造変換部３７２を含む。

三次元ビデオは、左視点ビデオ及び右視点ビデオが混合して構成されている。従って、左視点ビデオ信号３１１及び右視点ビデオ信号３１２が個別的に入力されれば、ステレオスコピック映像前処理部３２０は、第１画素構造変換部３２２及びフレーム−フィールド変換部３２４を介して、左視点ビデオ及び右視点ビデオが、１フレーム内に画素単位で混合されたり、フレーム単位またはフィールド単位で混合されるように三次元ビデオフォーマットが生成される。

ステレオスコピック映像前処理部３２０を介して生成された三次元ビデオフォーマットの三次元ビデオは、ＭＰＥＧ符号化部２３０を介して圧縮及び符号化され、伝送／記録部２４０を介して、送信端から受信端に伝送されたり記録媒体に記録される。

受信端の受信／復元部２５０は、符号化された三次元ビデオを受信し、ＭＰＥＧ復号化部２６０は、ＭＰＥＧ符号化／復号化方式によって、三次元ビデオを復号化して復元する。ステレオスコピック映像後処理部３７０は、フィールド−フレーム変換部３７４及び第２画素構造変換部３７２を経て、三次元ビデオフォーマットによって、左視点ビデオ及び右視点ビデオに分離する。分離された左視点ビデオ及び右視点ビデオは、ディスプレイ装置で三次元にディスプレイされるように変換され、三次元ディスプレイ可能な左視点ビデオ信号３８１及び右視点ビデオ信号３８２が出力される。

図４は、三次元ビデオの三次元ビデオフォーマットの種類を図示している。

前述の三次元ビデオ符号化／復号化システム２００，３００が三次元ビデオから、左視点ビデオ及び右視点ビデオを正しく分離してこそ、三次元ビデオを三次元でディスプレイすることができる。三次元ビデオの三次元ビデオフォーマットは、三次元ビデオで、左視点ビデオ及び右視点ビデオがいかなる方式で配列されているかを示す。

三次元ビデオフォーマットの例としては、サイドバイサイド・フォーマット、トップアンドボトム・フォーマット、水平ラインインターリーブド・フォーマット、垂直ラインインターリーブド・フォーマット、フレーム／フィールド・シーケンシャル・フォーマット及びチェッカボード・フォーマットなどがある。

サイドバイサイド・フォーマットは、三次元ビデオフレーム４１０の左側領域４１２及び右側領域４１４に互いに対応する左視点ビデオ及び右視点ビデオが並べて配列される。左視点ビデオ及び右視点ビデオが配列される順序は、初期設定によって、左側領域／右側領域または右側領域／左側領域の順序に変更されてもよい。従って、左側領域と右側領域との相関度が大きく、左側領域と右側領域との垂直境界線で、高周波の不連続線が存在する。

サイドバイサイド・フォーマットは、駆動のために最小限必要なメモリが最も少なく、現存する記録媒体を再使用することができ、最も広く利用されている三次元ビデオフォーマットである。

トップアンドボトム・フォーマットは、三次元ビデオフレーム４２０の上側領域４２２及び下側領域４２４に、互いに対応する左視点ビデオ及び右視点ビデオが並べて配列される。左視点ビデオ及び右視点ビデオが配列される順序は、初期設定によって、上側領域／下側領域または下側領域／上側領域の順序に変更されてもよい。従って、上側領域と下側領域との相関度が大きく、上側領域と下側領域との水平境界線で、高周波の不連続線が存在する。

トップアンドボトム・フォーマットは、現存する記録媒体を再使用することができる。

水平ラインインターリーブド・フォーマットは、三次元ビデオフレーム４３０の奇数番目の水平ライン４３２及び偶数番号目の水平ライン４３４に、互いに対応する左視点ビデオ及び右視点ビデオが並べて配列される。左視点ビデオ及び右視点ビデオが配列される順序は、初期設定によって、奇数番目／偶数番目の水平ラインまたは偶数番目／奇数番目の水平ラインの順序に変更されてもよい。従って、左視点ビデオと右視点ビデオとのディスパリティが大きい領域で、隣接する水平ライン間には、高周波成分が発生する。

水平ラインインターリーブド・フォーマットは、インターレーシング走査方式のステレオ・ディスプレイ（interlaced stereo display type）に最適化された三次元ビデオフォーマットである。垂直ラインインターリーブド・フォーマットは、三次元ビデオフレーム４４０の奇数番目の垂直ライン４４２及び偶数番号目の垂直ライン４４４に互いに対応する左視点ビデオ及び右視点ビデオが並べて配列される。左視点ビデオ及び右視点ビデオが配列される順序は、初期設定によって、奇数番目／偶数番目の垂直ラインまたは偶数番目／奇数番目の垂直ラインの順序に変更されてもよい。従って、左視点ビデオと右視点ビデオとのディスパリティが大きい領域で、隣接する垂直ライン間には、高周波成分が発生する。

垂直ラインインターリーブド・フォーマットは、パララックス・バリア方式（parallax barrier type）のステレオ・ディスプレイに最適化された三次元ビデオフォーマットである。フレーム／フィールド・シーケンシャル・フォーマットは、三次元ビデオ・フレーム／フィールド・シーケンス４５０の奇数番目のフレームまたはフィールド４５２、及び偶数番号目のフレームまたはフィールド４５４に互いに対応する左視点ビデオ及び右視点ビデオが並べて配列される。左視点ビデオ及び右視点ビデオが配列される順序は、初期設定によって、奇数番目／偶数番目のフレームまたはフィールド、または偶数番目／奇数番目のフレームまたはフィールドの順序に変更されてもよい。従って、フレーム／フィールド・シーケンシャル・フォーマットでは、フレームごとに周期的に、画素値と動きベクトルとが変動する。

フレームシーケンシャル・フォーマットの場合、二次元ビデオシーケンスと同じ画質を維持することができる。

チェッカボード・フォーマットは、三次元ビデオフレーム４６０の画素単位として、水平方向の画素４６２，４６４及び垂直方向の画素４６２，４６６に互いに対応する左視点ビデオ及び右視点ビデオが交互に配列される。左視点ビデオ及び右視点ビデオが配列される順序は、初期設定によって、水平方向／垂直方向の最初／２番目の画素、または２番目／最初の画素の順序に変更されてもよい。従って、チェッカボード・フォーマットでは、全方向（omni-direction）に高周波成分が発生する。

チェッカボード・フォーマットについて補間作業を行う場合、他の三次元ビデオフォーマットに比べてすぐれている。

図５は、一実施形態による三次元ビデオフォーマット変換装置において、フォーマット判別部の詳細動作を図示している。

一実施形態による三次元ビデオフォーマット変換装置１００のフォーマット判別部１２０は、入力映像５１０の三次元ビデオフォーマットを判別するにあたって、さまざまな段階の判別過程を経ることになる。フォーマット判別部１２０の詳細ブロック図５００は、ディスパリティ情報及び周辺画素値間相関度情報をいずれも利用し、三次元ビデオフォーマットを、サイドバイサイド・フォーマット、トップアンドボトム・フォーマット、垂直ラインインターリーブド・フォーマット、水平ラインインターリーブド・フォーマット、チェッカボード・フォーマット及びフレームシーケンシャル・フォーマットのうち一つに決定されるケースに該当する。

フォーマット判別部１２０の詳細ブロック図５００において、ディスパリティ情報推定を介したフォーマット判別モジュール５３０は、上下領域または左右領域についてのディスパリティ関連情報を推定し、推定されたディスパリティ情報を利用したサイドバイサイド・フォーマットのチェックモジュール５３２、及びトップアンドボトム・フォーマットのチェックモジュール５３４を含む。また、垂直ラインまたは水平ラインに係わるディスパリティ情報推定を介したフォーマット判別モジュール５３０は、推定されたディスパリティ情報を利用した垂直ラインインターリーブド・フォーマットのチェックモジュール５３６、及び水平ラインインターリーブド・フォーマットのチェックモジュール５３８を含む。

周辺画素値間相関度情報推定を介したフォーマット判別モジュール５４０は、水平方向画素値間の相関度情報及び垂直方向画素値間の相関度情報などの周辺画素値間相関度情報を推定し、推定された周辺画素値間相関度情報を利用した水平方向画素値間相関度チェックモジュール５４２及び垂直方向画素値間相関度チェックモジュール５４４を含む。

境界線検出を介したフォーマット判別モジュール５５０は、水平境界線検出モジュール５５２及び垂直境界線検出モジュール５５４を含む。

フレームシーケンス・チェックモジュール５７０はフレーム間時間的ディスパリティの変化度を推定し、推定された時間的ディスパリティの変化度を利用したフレームシーケンシャル・フォーマット・チェックモジュール５７２を含む。フレームシーケンス・チェックモジュール５７０の演算のためには、三つ以上の連続的なフレームが必要であるので、二つ以上の遅延器５５６，５５８及びメモリ５６０，５６５を経て、フレームが入力される。

ディスパリティ情報及び周辺画素値間相関度情報は、左視点ビデオ及び右視点ビデオの画素値間に差がある場合に有効であるので、平滑な地域では、ディスパリティ情報または周辺画素値間相関度情報を利用した三次元ビデオフォーマット判別性能が大きく低下する。従って、有効ライン決定モジュール５２０は、左視点ビデオと右視点ビデオとの平滑度を利用し、ディスパリティ情報または周辺画素値間相関度情報を計算する対象になる有効ラインを決定する。所定領域の平滑度は、領域内の画素値の分散値またはゾーベル演算子（Sobel operator）などの多様なフィルタを利用して算出される。

有効ライン決定モジュール５２０は、有効ライン情報を、ディスパリティ情報推定を介したフォーマット判別モジュール５３０、周辺画素値間相関度情報推定を介したフォーマット判別モジュール５４０、境界線検出を介したフォーマット判別モジュール５５０及びフレームシーケンス・チェックモジュール５７０に出力し、有効ラインに対して、三次元ビデオフォーマット判別演算を行わせることができる。

三次元ビデオフォーマットチェック結果が、比較器を経て相互比較され、判別可能性が相対的に高い結果が、最終フォーマット決定モジュール５８０に入力される。すなわち、ディスパリティ情報推定を介したフォーマット判別モジュール５３０のサイドバイサイド・フォーマットのチェックモジュール５３２、及びトップアンドボトム・フォーマットのチェックモジュール５３４の結果が、比較器５３５を介して相互比較され、判別可能性が相対的に高い結果が、最終フォーマット決定モジュール５８０に入力され、ディスパリティ情報推定を介したフォーマット判別モジュール５３０の垂直ラインインターリーブド・フォーマットのチェックモジュール５３６、及び水平ラインインターリーブド・フォーマットのチェックモジュール５３８の結果が、比較器５３９を介して相互比較され、判別可能性が相対的に高い結果が、最終フォーマット決定モジュール５８０に入力される。

また、周辺画素値間相関度情報推定を介したフォーマット判別モジュール５４０の水平方向画素値間相関度チェックモジュール５４２、及び垂直方向画素値間相関度チェックモジュール５４４の結果は、比較器５４５を経て相互比較され、判別可能性が相対的に高い結果が、最終フォーマット決定モジュール５８０に入力され、境界線検出を介したフォーマット判別モジュール５５０の水平方向境界線検出モジュール５５２、及び垂直方向境界線検出モジュール５５４の結果が、比較器５５５を経て相互比較され、判別可能性が相対的に高い結果が、最終フォーマット決定モジュール５８０に入力される。

また、フレームシーケンス・チェックモジュール５７０のフレームシーケンシャル・フォーマット・チェックモジュール５７０の判別結果が、最終フォーマット決定モジュール５８０に入力される。

最終フォーマット決定モジュール５８０は、ディスパリティ情報を利用したサイドバイサイド・フォーマットまたはトップアンドボトム・フォーマットのチェック結果、ディスパリティ情報を利用した垂直ラインインターリーブド・フォーマット及び水平ラインインターリーブド・フォーマットのチェック結果、水平方向画素値間相関度及び垂直方向画素値間相関度のチェック結果、水平境界線及び垂直境界線の検出結果、及びフレームシーケンシャル・フォーマットのチェック結果を集合して比較し、最終三次元ビデオフォーマットを確定する。確定された三次元ビデオフォーマット情報は、三次元ビデオフォーマット変換モジュール５９０に出力され、ディスプレイ装置で、三次元にディスプレイ可能なフォーマットに変換する。

また、遅延器５９２を経てメモリ５８５に保存された以前フレームについて判別された三次元ビデオフォーマット情報を観察し、判別結果のエラーが観察されるならば修正し、さらに正確な三次元ビデオフォーマット情報が確定される。

フォーマット判別部１２０の詳細ブロック図５００は、ディスパリティ情報、周辺画素値間相関度情報、境界線、フレームシーケンスチェック過程をいずれも考慮して三次元ビデオフォーマットを決定したが、一実施形態による三次元ビデオフォーマット変換装置１００は、システム環境またはユーザ設定に、ディスパリティ情報、周辺画素値間相関度情報、境界線、フレームシーケンスチェック過程のうち一つ以上の情報を利用し、三次元ビデオフォーマットを判別することもできる。

以下、図６ないし図１４を参照しつつ、ディスパリティ情報または周辺画素値間相関度情報を利用した三次元ビデオフォーマット判別方法について説明する。具体的には、図６、図７及び図８を参照して、ディスパリティ情報推定方法、並びに推定されたディスパリティ情報を利用したサイドバイサイド・フォーマットチェック／トップアンドボトム・フォーマットチェック方法、及び垂直ラインインターリーブド・フォーマットチェック／水平ラインインターリーブド・フォーマットチェック方法について説明し、図８及び図９を参照して、周辺画素値間相関度情報推定方法、及び水平方向画素値間相関度チェック／垂直方向画素値間相関度チェックの結果比較、並びに垂直ラインインターリーブド・フォーマット／水平ラインインターリーブド・フォーマット／チェッカボード・フォーマットの判別方法について説明する。

また、図１０、図１１、図１２を参照して、境界線検出方式、並びにこれを利用したサイドバイサイド・フォーマット及びトップアンドボトム・フォーマットの判別方法について説明する。図１３及び図１４を参照して、フレームシーケンシャル・フォーマット判別方法について説明する。

図６は、一実施形態による三次元ビデオの左右領域に係わるディスパリティ情報推定方式と、一実施形態による三次元ビデオの上下領域に係わるディスパリティ情報推定方式との絵図を示している。

フォーマット判別部１２０は、入力映像の三次元ビデオフォーマットが、サイドバイサイド・フォーマットであるか否かを判別するために、三次元ビデオを、左側領域と右側領域とに分け、両領域間の画素値の差を算出し、サイドバイサイド・フォーマットの三次元ビデオで発生するディスパリティ形態であるか否かを確認する。

図６（Ａ）で、サイドバイサイド・フォーマットの三次元ビデオ６００を例に挙げて説明すれば、左側領域６０２及び右側領域６０４は、それぞれ左視点ビデオまたは右視点ビデオに該当する。左視点ビデオ及び右視点ビデオは、同じ被写体に係わる映像情報を収録しているが、同じ目線でも、左視点ビデオ及び右視点ビデオが、視線方向の差によって、若干の差が生じる。従って、左視点ビデオ及び右視点ビデオの互いに対応する画素間には、所定サイズ以上のディスパリティが生じうる。

三次元ビデオフレーム６００上では、所定水平ライン６１０で、互いに対応する左視点ビデオ画素及び右視点ビデオ画素の組み合わせ６１１，６１２，６１３，６１４，６１５が図示されている。互いに対応する左視点ビデオ画素及び右視点ビデオ画素の組み合わせ６１１，６１２，６１３，６１４，６１５は、それぞれ所定サイズ以上のディスパリティが生じうる。

三次元ビデオの左側領域及び右側領域の差値は、下記式（１）による。

Ｉ_ｄｉｆｆ（ｉ，ｊ）＝｜Ｉ（ｉ，ｊ）−Ｉ（ｉ，ｊ＋ｗ／２）｜ （１）
式（１）で（ｉ，ｊ）は、画素位置のインデックス、Ｉ（ｉ，ｊ）は、三次元ビデオの画素値、ｗは、三次元ビデオフレーム６００の全体幅、Ｉ_ｄｉｆｆ（ｉ，ｊ）は、三次元ビデオの左右領域間の絶対差映像（absolute differential image）の画素値を示す。三次元ビデオの左側領域及び右側領域の絶対差映像の画素値から、互いに対応する左視点ビデオ画素及び右視点ビデオ画素のディスパリティが推定される。

フォーマット判別部１２０は、入力映像の共通する水平ライン上の左側領域及び右側領域の相互対応する画素対の画素値の差の絶対値を算出し、差の絶対値が所定サイズ以上の画素対が、所定個数以上連続すると判別されるならば、この連続する画素対の区間が、サイドバイサイド・フォーマットのディスパリティ区間であると推定することができる。

サイドバイサイド・フォーマットではない三次元ビデオが、前記過程を介してディスパリティ区間を求める場合、左側領域と右側領域は、実質的に異なる情報を有しているので、非常に大きい値を発生させる。ディスパリティ区間の情報が臨界値より小さい場合、サイドバイサイドとして判定し、大きい場合、サイドバイサイド・フォーマットではないと判定することができる。

フォーマット判別部１２０は、三次元ビデオの三次元ビデオフォーマットが、トップアンドボトム・フォーマットであるか否かを判別するために、三次元ビデオを、上側領域と下側領域とに分け、上側領域及び下側領域の画素値の差を算出し、トップアンドボトム・フォーマットの三次元ビデオで発生するディスパリティ形態であるか否かを確認する。

トップアンドボトム・フォーマットの三次元ビデオで、上側領域及び下側領域は、それぞれ左視点ビデオまたは右視点ビデオに該当する。同じ視線方向上でも、１つの左視点ビデオ画素と、それに対応する右視点ビデオ画素との間には、ディスパリティが存在する。

図６（Ｂ）で、トップアンドボトム・フォーマットの三次元ビデオ６２０を例に挙げて説明すれば、上側領域６２２及び下側領域６２４は、それぞれ左視点ビデオ及び右視点ビデオに該当する。三次元ビデオフレーム６２０上では、所定垂直ライン６３０で互いに対応する左視点ビデオ画素及び右視点ビデオ画素の組み合わせ６３１，６３３，６３５，６３７，６３９が図示されている。互いに対応する左視点ビデオ画素及び右視点ビデオ画素の組み合わせ６３１，６３３，６３５，６３７，６３９は、それぞれ所定サイズ以上のディスパリティが生じうる。

三次元ビデオの上側領域及び下側領域の差値は、下記式（２）による。

Ｉ_ｄｉｆｆ（ｉ，ｊ）＝｜Ｉ（ｉ，ｊ）−Ｉ（ｉ＋ｈ／２，ｊ）｜ （２）
式（２）でｈは、三次元ビデオフレーム６２０の全体高、Ｉ_ｄｉｆｆ（ｉ，ｊ）は、三次元ビデオの上下領域間の絶対差映像の画素値を示す。三次元ビデオの上側領域及び下側領域の絶対差映像の画素値から、互いに対応する左視点ビデオ画素及び右視点ビデオ画素のディスパリティが推定される。

すなわち、フォーマット判別部１２０は、入力映像の共通する垂直ライン上の上側領域及び下側領域の相互対応する画素対の画素値の差の絶対値を算出し、差の絶対値が、所定サイズ以上である画素対が、所定個数以上連続すると判別されるならば、この連続する画素対の区間が、トップアンドボトム・フォーマットのディスパリティ区間であると推定することができる。

トップアンドボトム・フォーマットではない三次元ビデオが、前記過程を介してディスパリティ区間を求める場合、上側領域と下側領域は、全く異なる情報を有しているので、非常に大きい値を発生させる。ディスパリティ区間の情報が臨界値より小さい場合、トップアンドボトムと判定し、大きい場合、トップアンドボトム・フォーマットではないと判定することができる。

図７は、一実施形態による三次元ビデオの水平ラインに係わるディスパリティ情報推定方式と、一実施形態による三次元ビデオの垂直ラインに係わるディスパリティ情報推定方式との状況を図示している。

フォーマット判別部１２０は、三次元ビデオの三次元ビデオフォーマットが、水平ラインインターリーブド・フォーマットであるか否かを判別するために、入力された三次元ビデオを、水平ライン単位に分けてディスパリティを推定し、水平ラインインターリーブド・フォーマットの三次元ビデオで発生するディスパリティ形態であるか否かを確認する。

水平ラインインターリーブド・フォーマットの三次元ビデオにおいて、奇数番目の水平ライン及び偶数番号目の水平ラインは、それぞれ左視点ビデオデータまたは右視点ビデオデータに該当する。

図７（Ａ）で、水平ラインインターリーブド・フォーマットの三次元ビデオフレーム６４０を例に挙げて説明するために、一部連続する２本の水平ラインを拡大した領域６５０について述べれば、奇数番目の水平ライン６５２及び偶数番号目の水平ライン６５４は、それぞれ左視点ビデオデータ及び右視点ビデオデータに該当する。三次元ビデオフレーム６４０上では、互いに対応する奇数番目の水平ライン６５２と、偶数番号目の水平ライン６５４との間には、所定サイズ以上のディスパリティが生じうる。

三次元ビデオの奇数番目の水平ラインと、偶数番号目の水平ラインとの差値は、下記式（３）による。

Ｉ_ｄｉｆｆ（ｉ，ｊ）＝｜Ｉ（ｉ×２，ｊ）−Ｉ（ｉ×２＋１，ｊ）｜ （３）
式（３）でＩ_ｄｉｆｆ（ｉ，ｊ）は、三次元ビデオの水平ライン間の絶対差映像の画素値を示す。三次元ビデオの奇数番目の水平ラインと、偶数番号目の水平ラインとの絶対差映像の画素値から、互いに対応する左視点ビデオ水平ライン及び右視点ビデオ水平ラインのディスパリティを推定することができる。

フォーマット判別部１２０は、連続する水平ラインを含む区間で、入力映像の奇数番目の水平ラインと、偶数番号目の水平ラインとの差の絶対値が、所定サイズ以上であると判別されるならば、この区間が、水平ラインインターリーブド・フォーマットのディスパリティ区間であると推定することができる。

水平ラインインターリーブド・フォーマットではない三次元ビデオが、前記過程を介してディスパリティ区間を求める場合、奇数番目の水平ラインと偶数番目の水平ラインは、非常に類似した情報を有しているので、非常に小さい値を発生させる。ディスパリティ区間の情報が臨界値より大きい場合、水平ラインインターリーブド・フォーマットと判定し、小さい場合、水平ラインインターリーブド・フォーマットではないと判定することができる。

フォーマット判別部１２０は、入力映像の三次元ビデオフォーマットが、垂直ラインインターリーブド・フォーマットであるか否かを判別するために、入力された三次元ビデオを垂直ライン単位に分けてディスパリティを推定し、垂直ラインインターリーブド・フォーマットの三次元ビデオで発生するディスパリティ形態であるか否かを確認する。

垂直ラインインターリーブド・フォーマットの三次元ビデオにおいて、奇数番目の垂直ライン及び偶数番号目の垂直ラインは、それぞれ左視点ビデオデータまたは右視点ビデオデータに該当する。

図７（Ｂ）で、垂直ラインインターリーブド・フォーマットの三次元ビデオフレーム６６０を例に挙げて説明するために、一部連続する２本の垂直ラインを拡大した領域６７０について述べれば、奇数番目の垂直ライン６７２及び偶数番号目の垂直ライン６７４は、それぞれ左視点ビデオデータ及び右視点ビデオデータに該当する。三次元ビデオフレーム６６０上では、互いに対応する奇数番目の垂直ライン６７２と、偶数番号目の垂直ライン６７４との間には、所定サイズ以上のディスパリティが生じうる。

三次元ビデオの奇数番目の垂直ラインと、偶数番号目の垂直ラインとの差値は、下記式（４）による。

Ｉ_ｄｉｆｆ（ｉ，ｊ）＝｜Ｉ（ｉ，ｊ×２）−Ｉ（ｉ，ｊ×２＋１）｜ （４）
式（４）でＩ_ｄｉｆｆ（ｉ，ｊ）は、三次元ビデオフレーム６６０の垂直ライン６７２，６７４間の絶対差映像の値を示す。三次元ビデオの奇数番目の垂直ラインと、偶数番号目の垂直ラインとの絶対差映像の画素値から、互いに対応する左視点ビデオ垂直ライン及び右視点ビデオ垂直ラインのディスパリティを推定することができる。

フォーマット判別部１２０は、複数本の垂直ラインを含む区間で、任意の三次元ビデオの奇数番目の垂直ラインと、偶数番号目の垂直ラインとの差の絶対値が、所定サイズ以上であると判別されるならば、この区間が、垂直ラインインターリーブド・フォーマットのディスパリティ区間であると推定することができる。

垂直ラインインターリーブド・フォーマットではない三次元ビデオが、前記過程を介してディスパリティ区間を求める場合、奇数番目の垂直ラインと偶数番目の垂直ラインは、非常に類似した情報を有しているので、非常に小さい値を発生させる。ディスパリティ区間の情報が臨界値より大きい場合、垂直ラインインターリーブド・フォーマットと判定し、小さい場合、垂直ラインインターリーブド・フォーマットではないと判定することができる。

図８は一実施形態によるディスパリティ区間の推定方式の差値を示すグラフ及び一実施形態によるディスパリティ情報推定方法のフローチャートとを図示している。

ディスパリティ区間とは、左視点ビデオ及び右視点ビデオであると推定される２つの領域の絶対差映像で、所定サイズ以上の差値が発生する連続的な画素の区間を意味する。ディスパリティ区間のサイズは、左視点ビデオと右視点ビデオとの相関関係と関連する。

グラフ７００は、左視点ビデオ及び右視点ビデオの対応する画素間またはライン間の差値を図示している。グラフ７００の横軸は、左視点ビデオ及び右視点ビデオの対応する画素上またはライン上のインデックスに該当て、縦軸は、０点を基準に、上下方向に正数、負数の差値のサイズを示している。

左／右視点ビデオ間の画素間またはライン間の差値は、連続してディスパリティが発生する区間７１０，７１２，７１４，７１６を含んでもよい。正数ディスパリティが連続して発生する区間７１２，７１６において、上限臨界値Ｈ_{ｌｉｍｉｔ}，７２０を超える区間が、最長サイズ７３０以内で発生してこそ、ディスパリティ区間として選択される。例えば、正数ディスパリティが連続して発生する区間７１２において、上限臨界値７２０を超える区間７２２は、最長サイズ７３０以内で発生するので、ディスパリティ区間として選択される。同様に、負数ディスパリティが連続して発生する区間７１０，７１４において、下限臨界値Ｌ_{ｌｉｍｉｔ}，７２５を下回る区間が、最長サイズ７３０以内で発生してこそ、ディスパリティ区間として選択される。

これは、左視点ビデオと右視点ビデオとのディスパリティを、直接ディスパリティ測定（disparity estimation）過程を介して算出するのではなく、左視点ビデオと右視点ビデオとの差値の絶対値が大きく、連続的な画素またはラインについての情報を利用し、間接的にディスパリティを推定するものである。

また、左視点ビデオと右視点ビデオとの視線方向、高さの不一致などの問題によって、相応する領域でも誤差が生じうる。従って、左視点ビデオと右視点ビデオとの差値が、上限臨界値Ｈ_{ｌｉｍｉｔ}を超えたり、下限臨界値Ｌ_{ｌｉｍｉｔ}を下回る場合にのみディスパリティとして認定され、連続的なディスパリティが所定サイズ以上で発生してこそ、候補ディスパリティ区間として選択される。三次元ビデオ内で検出された候補ディスパリティ区間の総数が集計される。

三次元ビデオの左右領域間のディスパリティ区間の候補区間の総数と、上下領域間のディスパリティ区間の候補区間の総数とが比較され、比較結果によって、三次元ビデオフォーマットがサイドバイサイド・フォーマット及びトップアンドボトム・フォーマットのうち一つに決定される。

また、三次元ビデオの奇数番目／偶数番目の水平ライン間のディスパリティ区間の候補区間の総数と、奇数番目／偶数番目の垂直ライン間のディスパリティ区間の候補区間の総数とが比較され、比較結果によって、三次元ビデオフォーマットが、水平ラインインターリーブド・フォーマット及び垂直ラインインターリーブド・フォーマットのうち一つに決定される。

図８（Ｂ）で、フォーマット判別部１２０は、三次元ビデオのうち候補ディスパリティ区間の個数を集計し、候補区間の総数によって、三次元ビデオフォーマットを判別することができる。

段階７５０で、左視点ビデオと右視点ビデオとの差映像の画素値Ｉ_ｄｉｆｆ（ｉ，ｊ）に係わる反復的なディスパリティ区間個数集計が行われる。

段階７５５で、左視点ビデオと右視点ビデオとの差映像の画素値の絶対値のサイズを、限界値ＴＨ_{ｖａｌｉｄ＿ｄｉｆｆ}と比較する（｜Ｉ_ｄｉｆｆ（ｉ，ｊ）｜＞ＴＨ_{ｖａｌｉｄ＿ｄｉｆｆ}）。段階７５５で、限界値ＴＨ_{ｖａｌｉｄ＿ｄｉｆｆ}は、前述の上限臨界値Ｈ_{ｌｉｍｉｔ}
７２０または下限臨界値Ｌ_{ｌｉｍｉｔ} ７２５の絶対値に相応する値である。差映像の画素値の絶対値が、限界値ＴＨ_{ｖａｌｉｄ＿ｄｉｆｆ}より小さいか、あるいは同じであるならば、段階７７５で、連続的なディスパリティのサイズを初期化し、段階７５０で、差映像の次の画素について、ディスパリティ区間個数集計が行われる。

段階７５５で、差映像の画素値の絶対値が限界値ＴＨ_{ｖａｌｉｄ＿ｄｉｆｆ}より大きいならば、段階７６０で、連続的なディスパリティのサイズを増加させる。

段階７６５で、ディスパリティの個数、すなわち、連続的なディスパリティのサイズを最長サイズ（ＳＲ：search range）と比較する。段階７６５で、連続的なディスパリティのサイズが最長サイズより長くないならば、ディスパリティ区間の候補として選択されず、段階７５０で、差映像の次の画素について、ディスパリティ区間個数集計が行われる。

段階７６５で、連続的なディスパリティのサイズが最長サイズより長いならば、段階７７０で、候補区間の個数ＤＲ_{ｃｏｕｎｔ}が増加される。再び段階７５０に戻り、差映像の次の画素について、ディスパリティ区間個数集計が行われる。

三次元ビデオの左右領域または上下領域に係わる三次元ビデオフォーマット判別について、フォーマット判別部１２０は、三次元ビデオの左右領域に係わるディスパリティ区間の候補区間の個数ＤＲ_{ｃｏｕｎｔ}がディスパリティ区間個数に係わる臨界値ＴＨ_{ＳＢＳ＿ＤＲｃｏｕｎｔ}より小さいならば、三次元ビデオフォーマットを、サイドバイサイド・フォーマットとして決定することができる。ここで、臨界値ＴＨ_{ＳＢＳ＿ＤＲｃｏｕｎｔ}は、サイドバイサイド・フォーマット判別のためのディスパリティ区間個数に係わる臨界値を示す。

また、フォーマット判別部１２０は、三次元ビデオの上下領域に係わるディスパリティ区間の候補区間の個数ＤＲ_{ｃｏｕｎｔ}が、臨界値ＴＨ_{ＴＮＢ＿ＤＲｃｏｕｎｔ}より小さいならば、三次元ビデオフォーマットを、トップアンドボトム・フォーマットとして決定することができる。臨界値ＴＨ_{ＴＮＢ＿ＤＲｃｏｕｎｔ}は、トップアンドボトム・フォーマット判別のためのディスパリティ区間個数に係わる臨界値を示す。

連続的なライン間のディスパリティに係わる三次元ビデオフォーマット判別について、フォーマット判別部１２０は、三次元ビデオに係わる水平ラインに係わるディスパリティ区間の候補区間の個数ＤＲ_{ｃｏｕｎｔ}が、ディスパリティ区間個数に係わる臨界値ＴＨ_{ＨＯＲ＿ＤＲｃｏｕｎｔ}より大きいならば、三次元ビデオフォーマットを、水平ラインインターリーブド・フォーマットとして決定することができる。臨界値ＴＨ_{ＨＯＲ＿ＤＲｃｏｕｎｔ}は、水平ラインインターリーブド・フォーマット判別のためのディスパリティ区間個数に係わる臨界値を示す。

また、フォーマット判別部１２０は、三次元ビデオに係わる垂直ラインのディスパリティ区間の候補区間の個数ＤＲ_{ｃｏｕｎｔ}が、臨界値ＴＨ_{ＶＥＲ＿ＤＲｃｏｕｎｔ}より大きいならば、三次元ビデオフォーマットを、垂直ラインインターリーブド・フォーマットとして決定することができる。臨界値ＴＨ_{ＶＥＲ＿ＤＲｃｏｕｎｔ}は、垂直ラインインターリーブド・フォーマット判別のためのディスパリティ区間個数に係わる臨界値を示す。

三次元ビデオの左右領域または上下領域に係わる三次元ビデオフォーマット判別の場合には、大きいディスパリティ区間は、相関関係が低い映像間のディスパリティとして推定されてもよいので、ディスパリティ区間の候補区間の個数が、ディスパリティ区間個数に係わる臨界値ＴＨ_{ＤＲｃｏｕｎｔ}より小さい場合、サイドバイサイド・フォーマットまたはトップアンドボトム領域である可能性が高い。

しかし、連続的な水平ラインまたは垂直ラインは、人為的に左右視点ビデオが混合しているので、両ライン間の差が大きい。従って、三次元ビデオの水平ラインまたは垂直ラインに係わる三次元ビデオフォーマット判別の場合には、ディスパリティ区間の候補区間の個数が、ディスパリティ区間個数に係わる臨界値ＴＨ_{ＤＲｃｏｕｎｔ}より大きい場合、水平ラインインターリーブド・フォーマットまたは垂直ラインインターリーブド・フォーマットである可能性が高い。

図９は、一実施形態による、それぞれ水平画素値間相関度情報推定方法、及び垂直画素値間相関度情報推定方法を図示している。

フォーマット判別部１２０は、画素単位で、左視点ビデオ及び右視点ビデオが混合された三次元ビデオの場合、画素間の水平方向画素値間の相関度及び垂直方向画素値間の相関度を利用し、三次元ビデオフォーマットを判別することができる。

一実施形態によるフォーマット判別部１２０は、周辺画素値間相関度情報の一例であり、周辺画素値間の差比率を利用することができる。従って、垂直方向画素値間相関度情報の一例は、垂直方向に並んだ連続的な画素値間の差比率を利用し、水平方向画素値間相関度情報の一例は、水平方向に並んだ連続的な画素値間の差比率を利用することができる。以下、「垂直方向に並んだ連続的な画素値間の差比率」を「垂直方向画素値差比率」と指し、「水平方向に並んだ連続的な画素値間の差比率」を「水平方向画素値差比率」と指す。

図９（Ａ）で、三次元ビデオにおいて、３ｘ３画素８０１，８０２，８０３，８０４，８０５，８０６，８０７，８０８，８０９の場合、画素間の水平方向画素値差比率は、水平方向に並んだ第１画素、第２画素及び３画素間の差値の割合から算出されてもよい。水平方向画素値差比率を示す数式は、下記式（５）による。

Ｖａｌ_ｈｏｒ（ｉ，ｊ）＝（｜Ｉ（ｉ，ｊ−１）−Ｉ（ｉ，ｊ）｜＋｜Ｉ（ｉ，ｊ）−Ｉ（ｉ，ｊ＋１）｜）／（｜Ｉ（ｉ，ｊ−１）−Ｉ（ｉ，ｊ＋１）｜＋ｃ） （５）
Ｖａｌ_ｈｏｒ（ｉ，ｊ）は、水平方向画素値差比率であり、ｃは、定数であって分母が０になることを防止するためのものである。水平方向に並んだ第１画素８０４、第２画素８０５及び３画素８０６のうちから選択された左側第１画素８０４と右側第３画素８０６との差の絶対値８１０が、式（５）における分母において、最初の項に該当し、左側第１画素８０４と中央第２画素８０５との差の絶対値８２０が、式（５）における分子の最初の項、中央第２画素８０５と右側第３画素８０６との差の絶対値８３０が、式（５）における分子の２番目の項に該当する。

すなわち、水平方向画素値差比率は、「左側第１画素８０４と右側第３画素８０６との差の絶対値８１０」に対する、「左側第１画素８０４と中央第２画素８０５との差の絶対値８２０、及び中央第２画素８０５と右側第３画素８０６との差の絶対値８３０の和」の比に該当する値である。

同様に、図９（Ｂ）で、垂直方向画素値差比率は、垂直方向に並んだ３つの画素間の差値の割合から算出されてもよい。垂直方向画素値差比率を示す数式は、下記式（６）による。

Ｖａｌ_ｖｅｒ（ｉ，ｊ）＝（｜Ｉ（ｉ−１，ｊ）−Ｉ（ｉ，ｊ）｜＋｜Ｉ（ｉ，ｊ）−Ｉ（ｉ＋１，ｊ）｜）／（｜Ｉ（ｉ−１，ｊ）−Ｉ（ｉ＋１，ｊ）｜＋ｃ） （６）
Ｖａｌ_ｖｅｒ（ｉ，ｊ）は、垂直方向画素値差比率であり、ｃは定数であって分母が０になることを防止するためのものである。垂直方向に並んだ第４画素８０２、第５画素８０５及び第６画素８０８において、上側第４画素８０２と下側第６画素８０８と差の絶対値８４０が、式（６）における分母において、最初の項に該当し、上側第４画素８０２と中央第５画素８０５との差の絶対値８５０が、式（６）における分子の最初の項、中央第５画素８０５と下側第６画素８０８との差の絶対値８６０が、式（６）における分子の２番目の項に該当する。

すなわち、垂直方向画素値差比率Ｖａｌ_ｖｅｒ（ｉ，ｊ）は、「上側第４画素８０２と下側第６画素８０８との差の絶対値８４０」に対する、「上側第４画素８０２と中央第５画素８０５との差の絶対値８５０、及び中央第５画素８０５と下側第６画素８０８との差の絶対値８６０の和」の比に該当する値である。

式（５）及び式（６）を利用する場合、二次元ビデオについて、フォーマット判別部１２０が、水平／垂直方向画素値差比率を算出することによって、三次元ビデオフォーマットを判別する場合、二次元ビデオの境界線部分で、三次元ビデオとして誤って判別するエラーを防止することができる。映像境界線に対して、式（５）及び式（６）を適用する場合、分子で大きい結果値が発生するが、同様に、分母でも大きい出力値が発生するので、水平方向画素値差比率Ｖａｌ_ｈｏｒ及び垂直方向画素値差比率Ｖａｌ_ｖｅｒの値が、他の二次元ビデオ部分に比べて、はるかに大きい値として算出されるものではない。

三次元ビデオは、１画素ずつ左右視点ビデオの画素を含んでいるので、式（５）及び式（６）の分母項は、同一視点映像の画素値間の絶対差値に該当して小さい結果値を有し、分子項は、互いに異なる視点映像の画素値間の絶対差値に該当し、分母項に比べて、相対的に大きい結果値を有する。従って、式（５）の水平方向画素値差比率及び式（６）の垂直方向画素値差比率は、それぞれ画素単位で、左視点ビデオデータ及び右視点ビデオデータが交互に反復する三次元ビデオフォーマットで、大きい結果値を有する。

表１は、一実施形態による周辺画素値間相関度情報による三次元ビデオフォーマット判別結果を図示している。

フォーマット判別部１２０は、周辺画素値間相関度情報でもって、入力映像の全域または一部分について、水平方向画素値差比率及び垂直方向画素値差比率を算出し、画素値差比率に対する臨界値より大きい水平方向画素値差比率の個数、及び垂直方向画素値差比率の個数を集計する。フォーマット判別部１２０は、この個数を比較し、入力映像の三次元ビデオフォーマットを、水平ラインインターリーブド・フォーマット、垂直ラインインターリーブド・フォーマット及びチェッカボード・フォーマットのうち一つとして判別することができる。

具体的には、画素値差比率臨界値より大きい水平方向画素値差比率の個数Ｎｕｍ_ｈｏｒ（ｉ，ｊ）、画素値差比率臨界値より大きい垂直方向画素値差比率の個数Ｎｕｍ_ｖｅｒ（ｉ，ｊ）、所定臨界値ＴＨ_{ｐｅｌ＿ｃｏｕｎｔ}とするとき、個数の比較結果、以下のCase１、Case２、Case３の場合が発生する。

Case１．画素値差比率臨界値より大きい水平方向画素値差比率の個数が、所定臨界値より多く（Ｎｕｍ_ｈｏｒ（ｉ，ｊ）＞ＴＨ_{ｐｅｌ＿ｃｏｕｎｔ}）、画素値差比率臨界値より大きい垂直方向画素値差比率の個数が、所定臨界値より少ない場合（Ｎｕｍ_ｖｅｒ（ｉ，ｊ）＜ＴＨ_{ｐｅｌ＿ｃｏｕｎｔ}）
Case２．画素値差比率臨界値より大きい水平方向画素値差比率の個数が所定臨界値より少なく（Ｎｕｍ_ｈｏｒ（ｉ，ｊ）＜ＴＨ_{ｐｅｌ＿ｃｏｕｎｔ}）、画素値差比率臨界値より大きい垂直方向画素値差比率の個数が所定臨界値より多い場合（Ｎｕｍ_ｖｅｒ（ｉ，ｊ）＞ＴＨ_{ｐｅｌ＿ｃｏｕｎｔ}）
Case３．画素値差比率臨界値より大きい水平方向画素値差比率の個数及び垂直方向画素値差比率の個数が、所定臨界値より多い場合（Ｎｕｍ_ｈｏｒ（ｉ，ｊ）＞ＴＨ_{ｐｅｌ＿ｃｏｕｎｔ}、Ｎｕｍ_ｖｅｒ（ｉ，ｊ）＞ＴＨ_{ｐｅｌ＿ｃｏｕｎｔ}）
画素値差比率臨界値より大きい水平方向画素値差比率の個数が、所定臨界値より少なければ、水平ライン上の画素間の相関関係が大きいと判断される。また、画素値差比率臨界値に比べて、大きい垂直方向画素値差比率の個数が所定臨界値より少ない場合、垂直ライン上の画素間の相関関係が大きいと分析される。水平ラインまたは垂直ラインは、相関関係によって、それぞれ三次元ビデオの左視点ビデオ及び右視点ビデオの相応するラインであるかが推定される。

従って、フォーマット判別部１２０は、入力映像に対する水平方向画素値差比率及び垂直方向画素値差比率を算出し、画素値差比率のサイズ及び個数に基づいて、入力映像を三次元ビデオであると判別し、三次元ビデオフォーマットも判別することができる。

フォーマット判別部１２０は、入力映像の垂直方向画素値差比率及び水平画素値差比率を算出した結果、「画素値差比率臨界値より大きい水平方向画素値差比率」の個数だけ所定臨界値より多い場合（Case１）、水平ライン上の画素間の相関関係が小さく、垂直ライン上の画素間の相関関係は大きいと判断することができる。垂直ラインは、大きい相関関係によって、それぞれ三次元ビデオにおいて、左視点ビデオ及び右視点ビデオの相応するラインであるか否かが推定される。従って、フォーマット判別部１２０は、入力映像の三次元ビデオフォーマットを垂直ラインインターリーブド・フォーマットと判別する。

また、フォーマット判別部１２０は、「画素値差比率臨界値より大きい垂直方向画素値差比率」の個数だけ所定臨界値より多い場合（Case２）、水平ライン上の画素間の相関関係が大きく、垂直ライン上の画素間の相関関係は小さいと判断することができる。水平ラインは、大きい相関関係によって、それぞれ三次元ビデオにおいて、左視点ビデオ及び右視点ビデオの相応するラインであるか否かが推定される。従って、フォーマット判別部１２０は、入力映像の三次元ビデオフォーマットを、水平ラインインターリーブド・フォーマットであると判別する。

また、フォーマット判別部１２０は、画素値差比率臨界値より大きい水平方向画素値差比率の個数、及び垂直方向画素値差比率の個数がいずれも所定臨界値より多い場合（Case３）、水平ライン上の画素間の画素値差比率、及び垂直ライン上の画素間の相関関係がいずれも小さいと判断することができる。従って、フォーマット判別部１２０は、入力映像の三次元ビデオフォーマットを、チェッカボード・フォーマットと判別する。

以上、一実施形態によるフォーマット判別部１２０は、説明の便宜上、周辺画素値間相関度情報の一例として、周辺画素値間の差比率を利用したが、入力映像の所定画素の周辺画素間の相関度を測定する方法が、「画素値間差の比率」に制限されるものではない。周辺画素間の相関度を測定するために、画素値の比率、変化量、分散量、標準偏差などの技術分野で広く利用される方法が利用できる。

図１０は、一実施形態によるトップアンドボトム・フォーマットの三次元ビデオ１０００と、一実施形態による、三次元ビデオ１０００の上側領域１０１０及び下側領域１０２０間の境界線１０３０周辺の領域１０４０とを詳細に図示している。

図１０（Ａ）で、トップアンドボトム・フォーマットの三次元ビデオフレーム１０００の場合、上側領域１０１０及び下側領域１０２０に、それぞれ左視点ビデオ及び右視点ビデオが配される。この場合、上側領域１０１０と下側領域１０２０との境界線１０３０では、不連続線が発生する。

図１０（Ｂ）で、境界線１０３０周辺の領域１０４０に、上側領域１０１０の２本の水平ライン１０１２，１０１４、及び下側領域１０２０の２本の水平ライン１０２２，１０２４が図示されている。トップアンドボトム・フォーマットの三次元ビデオでは、２本の水平ライン１０１２，１０１４は、同一視点の映像データを含み、２本の水平ライン１０２２，１０２４も、同一視点の映像データを含む。ただし、水平境界線１０３０に隣接した２本の水平ライン１０１２，１０２２は、互いに異なる視点映像データを含む。

従って、２本の水平ライン１０１２，１０２２上の画素１０５２，１０７２間の差値ｄｉｆｆ_{ｂｏｕｎｄ}１０６０は、相対的に大きい値を有するのに対し、水平ライン１０１２，１０１４上の画素１０５２，１０５４間の差値ｄｉｆｆ_{ｕｐｐｅｒ}１０５０、及び水平ライン１０２２，１０２４上の画素１０７２，１０７４間の差値ｄｉｆｆ_{ｌｏｗｅｒ}１０７０は、相対的に小さい値を有する。

従って、入力映像の上側領域と下側領域との境界線部分を中心に、上下ライン間の差値を算出し、その結果値に基づいて、入力映像が三次元ビデオであることを判別し、その三次元ビデオフォーマットも判別することができる。

Ｂｏｕｎｄ_ｈｏｒ＝Σ｜ｄｉｆｆ_{ｂｏｕｎｄ}｜／（｜ｄｉｆｆ_{ｕｐｐｅｒ}｜＋｜ｄｉｆｆ_{ｌｏｗｅｒ}｜＋ｃ） （７）
すなわち、上側領域と下側領域との境界線周囲の水平ライン間の不連続性の程度Ｂｏｕｎｄ_ｈｏｒは、境界線全部または一部について算出され、画素別結果が合算される。すなわち、不連続性特性値Ｂｏｕｎｄ_ｈｏｒは、「境界線１０３０の上側領域１０１０の２つの周辺画素１０５２，１０５４間の差値ｄｉｆｆ_{ｕｐｐｅｒ}の絶対値と、下側領域１０２０の２つの周辺画素１０７２，１０７４間の差値ｄｉｆｆ_{ｌｏｗｅｒ}との和｜ｄｉｆｆ_{ｕｐｐｅｒ}｜＋｜ｄｉｆｆ_{ｌｏｗｅｒ}｜）」に対する「境界線１０３０に直交するように上下領域に位置した２つの周辺画素１０５２，１０７２間の差値絶対値｜ｄｉｆｆ_{ｂｏｕｎｄ｜」}の比の画素別総計でもって算出される。

フォーマット決定部１２０は、入力映像の上下領域間の境界線に係わって、不連続性特性値Ｂｏｕｎｄ_ｈｏｒを算出し、不連続性の臨界値ＴＨ_{ｈｏｒＢｏｕｎｄ}と比較する。不連続性特性値Ｂｏｕｎｄ_ｈｏｒが不連続性の臨界値ＴＨ_{ｈｏｒＢｏｕｎｄ}より大きいならば、フォーマット決定部１２０は、入力映像の三次元ビデオフォーマットを、トップアンドボトム・フォーマットと判別することができる。

図１１は、一実施形態によるサイドバイサイド・フォーマットの三次元ビデオフレーム１１００と、一実施形態によるサイドバイサイド・フォーマットの三次元ビデオフレーム１１００の左側領域１１１０と右側領域１１２０との境界線周辺の領域１１４０と、を図示している。

図１１（Ａ）で、サイドバイサイド・フォーマットの三次元ビデオ１１００の場合、左側領域１１１０及び右側領域１１２０に、それぞれ左視点ビデオ及び右視点ビデオが配される。この場合、左側領域１１１０と右側領域１１２０との垂直境界線１１３０で、不連続線が発生する。

図１１（Ｂ）で、境界線１１３０周辺の領域１１４０に、左側領域１１１０の垂直ライン１１１２，１１１４、及び右側領域１１２０の垂直ライン１１２２，１１２４が図示されている。２つの隣接画素１１５２，１１５４は、垂直境界線１１３０の左側エッジに直交するように位置し、２つの隣接画素１１７２，１１７４は、垂直境界線１１３０の右側エッジに直交するように位置する。

垂直ライン１１１２，１１２２上の画素１１５２，１１７２間の差値ｄｉｆｆ_{ｂｏｕｎｄ}１１６０は、相対的に大きい値を有するのに対し、垂直ライン１１１２，１１１４上の画素１１５２，１１５４間の差値ｄｉｆｆ_ｌｅｆｔ１１５０、及び垂直ライン１１２２，１１２４上の画素１１７２，１１７４間の差値ｄｉｆｆ_{ｒｉｇｈｔ}１１７０は、相対的に小さい値を有する。

従って、入力映像の左側領域と右側領域との境界線部分を中心に、左右ライン間の差値を算出し、その結果値に基づいて、入力映像が三次元ビデオであることを判別し、その三次元ビデオフォーマットも判別することができる。

Ｂｏｕｎｄ_ｖｅｒ＝Σ｜ｄｉｆｆ_{ｂｏｕｎｄ}｜／（｜ｄｉｆｆ_ｌｅｆｔ｜＋｜ｄｉｆｆ_{ｒｉｇｈｔ}｜＋ｃ） （８）
すなわち、左側領域と右側領域との境界線周囲の垂直ライン間の不連続性の程度を示すＢｏｕｎｄ_ｖｅｒは、境界線全部または一部について算出されて画素別結果が合算される。すなわち、不連続性特性値Ｂｏｕｎｄ_ｖｅｒは、画素別の「境界線１１３０に垂直に左側に位置した左側領域１１１０の２つの隣接画素１１５２，１１５４間の差値ｄｉｆｆ_ｌｅｆｔの絶対値、及び右側領域１１２０の２つの垂直ライン画素１１２２，１１２４間の差値ｄｉｆｆ_{ｒｉｇｈｔ}の和｜ｄｉｆｆ_ｌｅｆｔ｜＋｜ｄｉｆｆ_{ｒｉｇｈｔ}｜」に対する「境界線１１３０に垂直に左右側に位置した２つの隣接画素１１５２，１１７２間の差値絶対値｜ｄｉｆｆ_{ｂｏｕｎｄ}｜」の比の画素別総計でもって算出される。

フォーマット決定部１２０は、入力映像の左右領域間の境界線に対する不連続性特性値Ｂｏｕｎｄ_ｖｅｒを算出し、不連続性の臨界値ＴＨ_{ｖｅｒＢｏｕｎｄ}と比較する。Ｂｏｕｎｄ_ｖｅｒ、が不連続性の臨界値ＴＨ_{ｖｅｒＢｏｕｎｄ}より大きければ、フォーマット決定部１２０は、入力映像の三次元ビデオフォーマットを、サイドバイサイド・フォーマットと判別することができる。

図１２は、一実施形態による境界領域が含まれたサイドバイサイド・フォーマットの三次元ビデオ、及びその拡大された一部境界面を図示している。

三次元ビデオの左右領域間または上下領域間の境界線にわたって、無意味なデータの不連続線が存在しうる。例えば、サイドバイサイド・フォーマットの三次元ビデオ１２００で、左側領域１２１０と右側領域１２２０との境界線が、所定幅の境界領域１２３０、すなわち、ブラックラインでもある。

境界領域１２３０周辺の一部拡大領域１２４０に、左側領域１２１０の垂直ライン、及び右側領域１２２０の垂直ラインが図示されている。境界領域１２３０の部分は、無意味なデータであるから、除外して、不連続性特性値Ｂｏｕｎｄ_ｖｅｒが算出されねばならない。従って、境界領域１２３０を無視し、左側領域１２００の２本の垂直ライン１２１２，１２２４上の画素１２３１，１２３２間の差値ｄｉｆｆ_ｌｅｆｔ１２５０、右側領域１２２０の垂直ライン１２２２，１２２４上の画素１２７２，１２７４間の差値ｄｉｆｆ_{ｒｉｇｈｔ}１２７０、及び境界領域１２３０周辺に位置した２本の垂直ライン１２１２，１２２２上の画素間の差値ｄｉｆｆ_{ｂｏｕｎｄ}１２６０を利用し、不連続性特性値Ｂｏｕｎｄ_ｖｅｒが算出されねばならない。

図１０及び図１２を参照しつつ、前述の境界線の不連続性特性値Ｂｏｕｎｄ_ｈｏｒ及びＢｏｕｎｄ_ｖｅｒは、境界線に隣接した２本のライン上の画素間の差値ｄｉｆｆ_{ｂｏｕｎｄ}だけを利用するものではなく、それぞれ上下領域のライン上の画素間の差値ｄｉｆｆ_{ｕｐｐｅｒ}及びｄｉｆｆ_{ｌｏｗｅｒ}、左右領域のライン上の画素間の差値ｄｉｆｆ_ｌｅｆｔ及びｄｉｆｆ_{ｒｉｇｈｔ}も利用される。従って、一般的な二次元ビデオの境界面で、三次元ビデオフォーマットであると誤って判別されるエラーが発生しないように改善することができる。

図１３は、一実施形態による、二次元ビデオに係わって、時間軸に連続するフレーム間の画素値の差の平均値のグラフと、一実施形態による、フレームシーケンシャル・フォーマットの三次元ビデオに係わって、時間軸に連続するフレーム間の画素値の差の平均値のグラフとを図示している。

図１３（Ａ）及び図１３（Ｂ）のグラフは、いずれも横軸はフレーム順序、縦軸はフレーム当たり画素値の平均値を示している。

図１３（Ａ）を観察すれば、一般的な二次元ビデオシーケンスは、フレームごとに同一視点の映像であるから、フレーム順序によって、フレーム別画素値が比較的連続して変動している。しかし、図１３（Ｂ）を観察すれば、フレームシーケンシャル・フォーマットの三次元ビデオは、フレームごとに左視点ビデオ及び右視点ビデオが交互に配列されるので、フレーム別画素値が不連続的に変動している。これは、左視点ビデオと右視点ビデオとの画素分布が異なるためである。

従って、フォーマット判別部１２０は、入力映像シーケンスのフレーム間画素値の変化推移を見れば、入力映像の三次元ビデオフォーマットが、フレームシーケンシャル・フォーマットであるか否かを判別することができる。

図１４は、一実施形態による時間軸に連続する３つのフレームを利用したフレームシーケンシャル・フォーマットの判別方法を図示している。

フォーマット判別部１２０は、連続する時間ｔ−１の第１フレーム１４１０、時間ｔの第２フレーム１４２０、時間ｔ＋１の第３フレーム１４３０が、左視点ビデオフレーム及び右視点ビデオフレームが含まれたグループであるか否かを判別するために、第１フレーム１４１０，第２フレーム１４２０及び３フレーム１４３０間のディスパリティを比較する。第１フレーム１４１０，第２フレーム１４２０及び３フレーム１４３０間のディスパリティ比較は、下記式（９），（１０）によって行う。

Ｄ_ＦＳＱ＝［ｄｉｆｆ（ｔ−１，ｔ）＋ｄｉｆｆ（ｔ，ｔ＋１）］／［ｄｉｆｆ（ｔ−１，ｔ＋１）＋ｃ］ （９）
Ｄ_ＦＳＱは、第１フレーム１４１０，第２フレーム１４２０及び３フレーム１４３０の変化量を示し、ｄｉｆｆ（ｔ，ｔ＋１）は、時間ｔの第２フレーム１４２０の画素値と、時間ｔ＋１の第３フレーム１４３０との画素値の差の絶対値を示す。

ｄｉｆｆ（ｔ−１，ｔ）＝｜Ｉｔ−１（ｉ，ｊ）−Ｉｔ（ｉ，ｊ）｜
ｄｉｆｆ（ｔ，ｔ＋１）＝｜Ｉｔ（ｉ，ｊ）−Ｉｔ＋１（ｉ，ｊ）｜
ｄｉｆｆ（ｔ−１，ｔ＋１）＝｜Ｉｔ−１（ｉ，ｊ）−Ｉｔ＋１（ｉ，ｊ）｜ （１０）
Ｉｔ（ｉ，ｊ）は、時間ｔのフレームの画素値である。

すなわち、第１フレーム１４１０，第２フレーム１４２０及び３フレーム１４３０の変化量Ｄ_ＦＳＱは、「時間ｔ−１の画素１４１５と、時間ｔ＋１の画素１４３５との差値の絶対値ｄｉｆｆ（ｔ−１，ｔ＋１）」に対する、「時間ｔ−１の画素１４１５と、時間ｔの画素１４２５との差値の絶対値ｄｉｆｆ（ｔ−１，ｔ）、及び時間ｔの画素１４２５と、時間ｔ＋１の画素１４３５との差値の絶対値ｄｉｆｆ（ｔ，ｔ＋１）の和」の比を示す。

入力映像シーケンスが二次元ビデオシーケンスである場合、時間ｔ−１，ｔ，ｔ＋１のフレームのうち、それぞれの隣接する２つのフレームの画素間の差値は、時間ｔ−１の第１フレーム１４１０から時間ｔの第２フレーム１４２０までの間、並びに時間ｔの第２フレーム１４２０から時間ｔ＋１の第３フレーム１４３０までの間で大きく変動しない、従って、第１フレーム１４１０，第２フレーム１４２０及び３フレーム１４３０の変化量Ｄ_ＦＳＱは、大きくない値として算出される。

しかし、入力映像シーケンスが、フレームシーケンシャル・フォーマットの三次元ビデオシーケンスである場合、時間ｔ−１の第１フレーム１４１０、及び時間ｔ＋１の第３フレーム１４３０は、同じ視点映像のフレームである一方、時間ｔの第２フレーム１４２０は、異なる視点映像のフレームである。従って、時間ｔ−１の第１フレーム１４１０と、時間ｔ＋１の第３フレーム１４３０との画素間の差値の絶対値は、比較的小さい一方、時間ｔ−１の第１フレーム１４１０と、時間ｔの第２フレーム１４２０との画素間の差値の絶対値、及び時間ｔの第２フレーム１４２０と、時間ｔ＋１の第３フレーム１４３０との画素間の差値の絶対値は、相対的に大きい値を有する。従って、第１フレーム１４１０，第２フレーム１４２０及び３フレーム１４３０の変化量Ｄ_ＦＳＱが大きい値として算出される。

従って、フォーマット判別部１２０は、入力映像シーケンスについてフレーム変化量Ｄ_ＦＳＱを算出し、入力映像シーケンスの三次元ビデオフォーマットを判別することができる。

図１３及び図１４を参照して、フレームシーケンシャル・フォーマットについてのみ説明したが、フィールドシーケンシャル・フォーマットの三次元ビデオも、フレームシーケンシャル・フォーマットと類似した特性を有するので、フォーマット判別部１２０は、フィールドについて式（９）を適用することによって、入力映像がフィールドシーケンシャル・フォーマットであるか否かを判別することができる。

フォーマット判別部１２０は、入力映像に係わる三次元ビデオフォーマット判別結果の正確性を向上させるために、入力映像シーケンスのフレーム別判別結果にエラーが発生しているか否かを観察した後、エラー発生部分を修正し、最終三次元ビデオフォーマットを決定することができる。判別結果のエラー発生の２種の観察方式について、以下、図１５及び図１６を参照して説明する。

図１５は、一実施形態による三次元ビデオフォーマット判別結果のうち、エラーが発生する現象を図示している。

入力映像シーケンスが、第１フレームから第１５フレームを含む場合、フォーマット判別部１２０は、第１フレームから第１５フレームそれぞれに係わるディスパリティ情報、または周辺画素値間相関度情報を利用し、フレーム別に三次元ビデオフォーマットを判別する。全体判別結果グラフ１５００において、第１判別区間１５１０では、第１フレームから第７フレームまでがサイドバイサイド・フォーマットであると判別され、第２判別区間１５２０では、第８フレームがトップアンドボトム・フォーマットであると判別され、第３判別区間１５３０では、第９フレームないし第１５フレームまでがサイドバイサイド・フォーマットであると判別された。

かような判別結果によって、入力映像シーケンスを三次元にディスプレイ可能なフォーマットに変換するならば、第１フレームないし第１５フレームの三次元ディスプレイの途中で、トップアンドボトム・フォーマットとして決定された第２判別区間１５２０の第８フレーム部分で、観察者が違和感を感じることがある。従って、三次元ビデオフォーマットが最終的に決定されれば、第８フレームが、トップアンドボトム・フォーマットからサイドバイサイド・フォーマットに変更されてもよい。

図１６は、一実施形態による三次元ビデオフォーマット判別結果のエラー修正方式を図示している。

フォーマット判別部１２０が、第１フレームから第１５フレームについて、それぞれのディスパリティ情報、または周辺画素値間相関度情報を利用し、フレーム別に三次元ビデオフォーマットを判別した結果１６００によれば、第４判別区間１６２０で、第１フレームから第７フレームまでがサイドバイサイド・フォーマットであると判別され、第５判別区間１６２８では、第８フレームから第１５フレームまで、トップアンドボトム・フォーマットであると判別された。

この場合、フォーマット判別部１２０は、第４判別区間１６２０で、第７フレームまでサイドバイサイド・フォーマットであると判別していて、第８フレームで、トップアンドボトム・フォーマットであると判別結果が突然変更されれば、判別結果を直ちに確定せずに、所定個数のフレームを含む観察区間をおいて、次のフレームの判別結果をさらに観察する。

すなわち、第８フレームから第１１フレームまで４個のフレームを含む観察区間１６３０で、三次元ビデオフォーマット判別結果を続けて観察し、第８フレームの判別結果が続けて維持されるならば、第１２フレームの判別結果からは、判別結果を、最終三次元ビデオフォーマットとして確定することができる。ただし、観察区間１６３０での最終三次元ビデオフォーマットは、既存判別結果であるサイドバイサイド・フォーマットとして確定する。

従って、最終三次元ビデオフォーマット判別結果１６１０では、フォーマット判別部１２０の三次元ビデオフォーマット判別結果１６００とは異なり、第１フレームないし第１１フレームまでサイドバイサイド・フォーマットとして最終確定され、第１２フレームから第１５フレームまで、トップアンドボトム・フォーマットとして最終確定される。

第４判別区間１６２０及び観察区間１６３０の判別結果が変更されれば、観察区間１６３０は、その結果を第４判別区間１６２０の判別結果になるように維持し、三次元ビデオフォーマットの突然な変更を防止し、ステレオスコピック効果の劣化を防止することができる。観察区間１６３０の長さは、入力ビデオシーケンスの長さより短い。判別結果観察によるエラー修正方式は、観察区間の間の所定個数のフレームは、フォーマット変換が遅延されるが、さらに安定したフォーマット変換及びディスプレイ結果を提供することができる。

図１７は、一実施形態によるフォーマット変換及び三次元再生のための後処理過程を図示している。

一実施形態による三次元ビデオフォーマット変換装置１００が、三次元ＴＶ（television）システム１７００に適用されれば、三次元ＴＶシステム１７００は、入力映像の三次元ビデオフォーマットを自動的に認識して変換し、三次元に再生することができる。

三次元ＴＶシステム１７００で、ＤＶＤ（digital versatile disc）／ＢＤ（blu-lay disc）プレイヤ１７０２、またはパソコン（ＰＣ）またはセットトップ（ＳＴ）ボックス１７０４のようなソース機器から三次元ビデオが入力され、入力された三次元ビデオは、三次元集積回路（３ＤＩＣ：３−dimensional integral circuit）のフォーマット判別部１７１０、フォーマット変換部１７２０を経て、三次元ビデオが三次元ディスプレイ可能なフォーマットに変換される。

フォーマット判別部１７１０は、入力映像を分析して三次元ビデオフォーマットを判別し、三次元ビデオフォーマット情報を、フォーマット変換部１７２０に出力し、フォーマット変換部１７２０が正確にフォーマット変換を行う。

フォーマット変換部１７２０で変換された左視点ビデオ及び右視点ビデオは、三次元ビデオエンハンサ１７３０に出力され、画質向上のための後処理、または三次元ディスプレイ視聴時に生じうる疲労度を低減させるための後処理動作が行われ、最終の左視点ビデオ及び右視点ビデオがディスプレイ機器に出力される。この場合、ステレオシンク発生器１７４０は、フォーマット変換部１７２０の変換結果、及びソース機器からのシンク信号を利用し、左視点ビデオ及び右視点ビデオが正確に同期化されてディスプレイされるように、ステレオシンク信号を生成して出力する。

一実施形態による三次元ビデオフォーマット変換装置１００は、前述のように、三次元ディスプレイシステムの内部に搭載されるハードウェアで具現されるだけではなく、三次元ビデオフォーマット変換装置１００で具現された三次元ビデオフォーマット判別方法及び変換方法は、ソフトウェアとして、パソコンのグラフィックデバイス・ドライバとしても具現されもする。

図１８は、一実施形態による三次元ビデオフォーマット変換方法のフローチャートを図示している。

段階１８１０で、左視点ビデオ及び右視点ビデオが収録された三次元ビデオを含む映像シーケンスが入力される。

段階１８２０で、入力シーケンスにおいて、三次元ビデオの左視点ビデオと右視点ビデオとのディスパリティ情報、及び周辺画素値間相関度情報のうち少なくともいずれか一つを推定し、推定結果に基づいて、入力映像の三次元ビデオフォーマットが判別される。

段階１８３０で、三次元ビデオフォーマットに基づいて、左視点ビデオ及び右視点ビデオは、ディスプレイ装置で、三次元に再生可能なフォーマットに変換される。

段階１８４０で、フォーマット変換された左視点ビデオ及び右視点ビデオが、ディスプレイ装置を利用して三次元に再生される。

一実施形態による三次元ビデオフォーマット変換方法は、図１ないし図１７を参照して説明されたように、一実施形態による三次元ビデオフォーマット変換装置１００によってハードウェアでもって具現されてもよい。

図１９は、一実施形態による、ウェブを介して三次元ビデオフォーマットの三次元ビデオ・コンテンツを検索する方式を図示している。

一実施形態による三次元ビデオフォーマット変換方法は、入力映像としての三次元ビデオを検索するために、ウェブを介して三次元ビデオ検索サービスを提供することができる。三次元ビデオの検索を支援するウェブブラウザ・ウィンドウ１９００は、検索機能設定欄１９１０及び検索語入力欄１９２０を具備している。

例えば、サイドバイサイド・フォーマットの三次元ビデオを検索しようとする場合、検索機能設定欄１９１０で、「３Ｄサーチ」を選択し、検索語入力欄１９２０に、三次元ビデオフォーマットとして、「サイドバイサイド」を入力して三次元ビデオを検索する。検索結果ウィンドウ１９３０には、検索されたサイドバイサイド・フォーマットの三次元ビデオのリストが表示され、そのうち一つを選択すれば、ウェブブラウザ・ウィンドウ１９００のメインウィンドウに選択映像１９４０が表示される。

一実施形態による三次元ビデオフォーマット変換方法は、ウェブを介した三次元ビデオ検索サービスを介して、三次元ビデオ資料の供給が困難である場合、必要な三次元ビデオフォーマットの三次元ビデオをウェブで検索してユーザに提供することができる。

図２０は、一実施形態による、ウェブを介して三次元ビデオフォーマットの三次元ビデオを再生する方式を図示している。

一実施形態による三次元ビデオフォーマット変換方法を介して、ウェブブラウザ・ウィンドウ１９５０を介して二次元ビデオ及び三次元ビデオが混在した画面を表示する場合、二次元ビデオ部分は、二次元にディスプレイし、三次元ビデオ部分は、三次元にディスプレイするサービスが提供されてもよい。

三次元ビデオの三次元ビデオフォーマットは、三次元ビデオフォーマット判別アルゴリズムを介して認知される。ウェブブラウザ・ウィンドウ１９５０で、検索された三次元ビデオのリスト１９３０及び選択映像１９４０は、三次元ビデオである一方、残りの部分は、二次元ビデオである。三次元ビデオ部分のみを三次元にディスプレイするためには、２種の方式が具現されてもよい。

第一の方式としては、三次元ビデオフォーマット変換モジュール側で、三次元ビデオ部分の座標などの位置についての情報を、ウェブブラウザのディスプレイ処理モジュールに提供し、ウェブブラウザ自体で、ウェブブラウザ・ウィンドウ１９５０上で三次元ビデオ部分１９６０，１９７０を三次元にディスプレイする。

第二の方式としては、三次元ビデオフォーマット変換モジュールが、ウェブブラウザ・ウィンドウを分析し、三次元ビデオ部分１９６０，１９７０の位置を認知し、三次元ビデオ部分１９６０，１９７０のみ三次元にディスプレイする方式である。

前述のウェブブラウザ・ウィンドウの三次元ビデオディスプレイ方式を介して、ウェブブラウザ・ウィンドウが二次元ビデオ及び三次元ビデオが混在する画面を表示する場合でも、ユーザが三次元ビデオ部分を三次元で観覧することができる。

一方、前述の本発明の実施形態は、コンピュータで実行可能なプログラムで作成可能であり、コンピュータで読み取り可能な記録媒体を利用し、前記プログラムを動作させる汎用デジタル・コンピュータで具現されてもよい。前記コンピュータで読み取り可能な記録媒体としては、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ（digital versatile disc）など）及びキャリアウェーブ（例えば、インターネットを介した伝送）のような記録媒体を含む。

以上、本発明について、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されねばならない。本発明の範囲は、前述の説明ではなくして、特許請求の範囲に示されており、それと同等な範囲内にあるあらゆる差異点は、本発明に含まれたものであると解釈されねばならない。

Claims (15)

1. 左視点ビデオ及び右視点ビデオが収録された三次元ビデオを含むビデオシーケンスを入力する段階と、
   前記三次元ビデオの前記左視点ビデオと前記右視点ビデオとのディスパリティ情報、及び前記左視点ビデオ及び前記右視点ビデオの周辺画素値間相関度情報のうち少なくともいずれか一つを推定する段階と、
   前記推定結果に基づいて、前記三次元ビデオの三次元ビデオフォーマットを判別する段階と、
   前記三次元ビデオフォーマットに基づいて、前記左視点ビデオ及び前記右視点ビデオを所定フォーマットに変換する段階と、
   前記フォーマット変換された前記左視点ビデオ及び前記右視点ビデオを、前記ディスプレイ装置を利用して三次元に再生する段階と、を含み、
   前記三次元ビデオフォーマットを判別する段階は、
   前記三次元ビデオの複数のフレームから、所定個数の連続的なフレームを含む第１フレーム区間が第１フォーマットであり、前記第１フレーム区間に引き続く所定個数の連続的なフレームを含む第２フレーム区間が第２フォーマットであることを決定する段階と、
   前記第２フレーム区間に引き続く所定個数の連続的なフレームを含む第３フレーム区間が第１フォーマットであることを決定する段階と、
   前記第２フレーム区間のフォーマットの判別結果を前記第１フォーマットに修正する段階と、
   を含む、ことを特徴とする三次元ビデオフォーマット変換方法。
2. 前記三次元ビデオフォーマット判別段階は、
   前記左視点ビデオと前記右視点ビデオとのディスパリティ情報を利用し、前記三次元ビデオフォーマットが、サイドバイサイド・フォーマット、トップアンドボトム・フォーマット、水平ラインインターリーブド・フォーマット及び垂直ラインインターリーブド・フォーマットのうちいずれか一つであるかを判別する段階を含むことを特徴とする請求項１に記載の三次元ビデオフォーマット変換方法。
3. 前記三次元ビデオフォーマット判別段階は、
   前記左視点ビデオと前記右視点ビデオとの周辺画素値間相関度情報を利用し、前記三次元ビデオフォーマットが、水平ラインインターリーブド・フォーマット、垂直ラインインターリーブド・フォーマット及びチェッカボード・フォーマットのうちいずれか一つであるかを判別する段階を含むことを特徴とする請求項１に記載の三次元ビデオフォーマット変換方法。
4. 前記三次元ビデオフォーマット判別段階は、
   前記左視点ビデオと前記右視点ビデオとの周辺画素値間相関度情報を利用し、前記三次元ビデオフォーマットが、水平ラインインターリーブド・フォーマット、垂直ラインインターリーブド・フォーマット及びチェッカボード・フォーマットのうちいずれか一つであるかを判別する段階と、
   前記ディスパリティ情報を利用し、前記三次元ビデオフォーマットが、フィールドシーケンシャル・フォーマット及びフレームシーケンシャル・フォーマットのうちいずれか一つであるかを判別する段階と、をさらに含むことを特徴とする請求項２に記載の三次元ビデオフォーマット変換方法。
5. 前記三次元ビデオフォーマット判別段階は、
   前記左視点ビデオと前記右視点ビデオとの境界線を検出し、前記三次元ビデオフォーマットが、前記サイドバイサイド・フォーマット及び前記トップアンドボトム・フォーマットのうちいずれか１つであるかを判別する段階をさらに含むことを特徴とする請求項２に記載の三次元ビデオフォーマット変換方法。
6. 前記三次元ビデオフォーマット判別段階は、
   前記左視点ビデオ及び前記右視点ビデオの相互対応する領域の平滑度を計算し、テクスチャ成分が含まれた領域を検索することによって、前記テクスチャ成分が含まれた領域において、前記三次元ビデオフォーマットを判別する領域を決定する段階をさらに含むことを特徴とする請求項１に記載の三次元ビデオフォーマット変換方法。
7. 前記三次元ビデオフォーマット判別段階は、
   前記三次元ビデオ高を半分に分け、上側領域と下側領域との差の絶対値を示す上下差映像を利用し、第１ディスパリティ情報を推定する段階と、
   前記三次元ビデオ幅を半分に分け、左側領域と右側領域との差の絶対値を示す左右差映像を利用し、第２ディスパリティ情報を推定する段階と、
   前記第１ディスパリティ情報及び前記第２ディスパリティ情報に基づいて、前記三次元ビデオが、前記トップアンドボトム・フォーマットまたは前記サイドバイサイド・フォーマットであるかを判別する段階と、を含むことを特徴とする請求項２に記載の三次元ビデオフォーマット変換方法。
8. 前記三次元ビデオフォーマット判別段階は、
   前記三次元ビデオのフレームの垂直ラインを、奇数番目及び偶数番号目の垂直ラインに分ける段階と、
   奇数番目の垂直ラインと偶数番号目の垂直ラインとの差の絶対値を示す垂直ライン差映像を利用し、前記第３ディスパリティ情報を推定する段階と、
   前記三次元ビデオの水平ラインを、奇数番目及び偶数番号目の水平ラインに分ける段階と、
   奇数番目の水平ラインと偶数番号目の水平ラインとの差の絶対値を示す水平ライン差映像を利用し、前記第４ディスパリティ情報を推定する段階と、
   前記第１ディスパリティ情報及び前記第２ディスパリティ情報に基づいて、前記三次元ビデオが、前記トップアンドボトム・フォーマットまたは前記サイドバイサイド・フォーマットであるかを判別する段階と、
   前記第３ディスパリティ情報及び前記第４ディスパリティ情報に基づいて、前記三次元ビデオが、前記垂直ラインインターリーブド・フォーマットまたは前記水平ラインインターリーブド・フォーマットであるかを判別する段階と、をさらに含むことを特徴とする請求項２に記載の三次元ビデオフォーマット変換方法。
9. 前記三次元ビデオフォーマット判別段階は、
   前記三次元ビデオにおいて、垂直方向に連続的な３つの画素間の垂直方向画素値間の相関度情報を推定する段階と、
   前記三次元ビデオにおいて、水平方向に連続的な３つの画素間の水平方向画素値間の相関度情報を推定する段階と、
   画素値間相関度臨界値より大きい水平方向画素値間相関度情報の個数が所定臨界値より多く、前記画素値間相関度臨界値より大きい前記垂直方向画素値間相関度情報の個数が、前記所定臨界値より少なければ、前記三次元ビデオを、垂直ラインインターリーブド・フォーマットと判別する段階と、
   前記画素値間相関度臨界値より大きい垂直方向画素値間相関度情報の個数が、前記所定臨界値より多く、前記画素値間相関度臨界値より大きい水平方向画素値間相関度情報の個数が、前記所定臨界値より少なければ、前記三次元ビデオを、水平ラインインターリーブド・フォーマットと判別する段階と、
   前記画素値間相関度臨界値より大きい垂直方向画素値間の相関度情報及び水平方向画素値間相関度情報の個数が、前記所定臨界値より多いならば、前記三次元ビデオを、チェッカボード・フォーマットと判別する段階と、を含むことを特徴とする請求項３に記載の三次元ビデオフォーマット変換方法。
10. 前記三次元ビデオフォーマット判別段階は、
    前記三次元ビデオにおいて、時間軸に連続的な第１フレーム、第２フレーム及び第３フレーム間の時間的ディスパリティの変化度を推定する段階を含むことを特徴とする請求項４に記載の三次元ビデオフォーマット変換方法。
11. 前記境界線検出段階は、
    前記境界線を基準に、所定本数以上のラインを含む境界領域が存在する場合、前記黒色ラインを除外した領域で、前記三次元ビデオフォーマットを判別することを特徴とする請求項５に記載の三次元ビデオフォーマット変換方法。
12. 前記三次元ビデオフォーマット判別段階は、
    前記第２フォーマットが判別された後、所定個数のフレーム間、前記第２フォーマットが続けて判別されるか否かを観察する段階と、
    前記所定個数のフレーム後についても、前記第２フォーマットの判別結果が維持されるならば、前記所定個数の第２フレーム区間までは、前記第１フォーマッに前記判別結果を修正し、前記所定個数のフレーム後のフレームから、前記判別結果を、前記第２フォーマットに確定する段階と、を含むことを特徴とする請求項１に記載の三次元ビデオフォーマット変換方法。
13. 前記三次元ビデオフォーマット変換方法は、
    ウェブを介して前記三次元ビデオフォーマットをキーワードに、前記三次元ビデオ・コンテンツを検索する段階をさらに含み、
    前記ビデオ入力段階は、前記ウェブを介して検索された三次元ビデオ・コンテンツを入力し、前記ウェブを介した三次元映像コンテンツの検索段階は、二次元映像及び前記三次元映像が混在した映像コンテンツを検索し、
    前記映像入力段階は、前記ウェブを介して検索された映像コンテンツを入力し、
    前記フォーマット変換段階は、前記検索キーワードの三次元ビデオフォーマットに基づいて、前記三次元ビデオ部分の左視点ビデオ及び右視点ビデオを三次元に再生可能なフォーマットに変換し、
    前記三次元ビデオフォーマット変換方法は、前記入力されたコンテンツのうち、前記二次元ビデオ部分は二次元に再生し、前記変換されたフォーマットを利用し、前記三次元ビデオ部分を三次元に再生することを特徴とする請求項１に記載の三次元ビデオフォーマット変換方法。
14. 左視点ビデオ及び右視点ビデオが収録された三次元ビデオを含むビデオシーケンスを入力するビデオ入力部と、
    前記三次元ビデオにおいて、前記左視点ビデオと前記右視点ビデオとのディスパリティ情報及び周辺画素値間相関度情報のうち少なくともいずれか一つを推定し、前記推定結果に基づいて、前記三次元ビデオにおいて、前記左視点ビデオ及び前記右視点ビデオが配列された方式を示す三次元ビデオフォーマットを判別するフォーマット判別部と、
    前記三次元ビデオフォーマットに基づいて、前記三次元ビデオの前記左視点ビデオ及び前記右視点ビデオを三次元に再生可能なフォーマットに変換するフォーマット変換部と、
    前記フォーマット変換された左視点ビデオ及び前記右視点ビデオを三次元に再生するディスプレイ部と、を含み、
    前記フォーマット判別部は、
    前記三次元ビデオの複数のフレームから、所定個数の連続的なフレームを含む第１フレーム区間が第１フォーマットであり、前記第１フレーム区間に引き続く第２フレーム区間が第２フォーマットであることを決定し、前記第２フレーム区間に引き続く所定個数の連続的なフレームを含む第３フレーム区間が第１フォーマットであることを決定し、前記第２フレーム区間のフォーマットの判別結果を前記第１フォーマットに修正することを特徴とする三次元ビデオフォーマット変換装置。
15. 請求項１ないし請求項１３のうち、いずれか一項に記載の方法を具現するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

Images