JP5817639B2 - 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置 - Google Patents

映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置 Download PDF

Info

Publication number
JP5817639B2
JP5817639B2 JP2012111815A JP2012111815A JP5817639B2 JP 5817639 B2 JP5817639 B2 JP 5817639B2 JP 2012111815 A JP2012111815 A JP 2012111815A JP 2012111815 A JP2012111815 A JP 2012111815A JP 5817639 B2 JP5817639 B2 JP 5817639B2
Authority
JP
Japan
Prior art keywords
video
region
eye
format
eye video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012111815A
Other languages
English (en)
Other versions
JP2013239915A (ja
Inventor
青山 幸治
幸治 青山
佐藤 光雄
光雄 佐藤
知市 藤澤
知市 藤澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012111815A priority Critical patent/JP5817639B2/ja
Priority to US13/875,817 priority patent/US9571808B2/en
Priority to CN201310167968.9A priority patent/CN103428515B/zh
Publication of JP2013239915A publication Critical patent/JP2013239915A/ja
Application granted granted Critical
Publication of JP5817639B2 publication Critical patent/JP5817639B2/ja
Priority to US15/002,245 priority patent/US9967536B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/007Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Description

本明細書で開示する技術は、映像信号のフォーマットを判別する映像フォーマット判別装置及び映像フォーマット判別方法、並びに、フォーマット判別結果に基づいて映像信号の表示モードを切り替える映像表示装置に係り、特に、3次元映像フォーマットか2次元映像フォーマットかの判別をロバストで且つ少ない演算量で実現する映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置に関する。
左右の眼に視差のある映像を表示することで、観察者に3次元的に見える3次元視映像を提示することができる。例えば、時分割3次元視映像表示システムは、互いに異なる複数の映像を時分割で表示する表示装置と、映像の観察者がかける眼鏡の組み合わせからなる。表示装置は、視差のある左眼用映像及び右眼用映像を非常に短い周期で交互に表示する。そして、左眼用映像がディスプレイされる間は、眼鏡の左眼部が光を透過するとともに、右眼部が遮光する。一方、右眼用映像がディスプレイされる間は、眼鏡の右眼部が光を透過するとともに、左眼部が遮光する。また、空間分割3次元視差映像表示システムでは、1画面に左眼用映像と右眼用映像を多重化して表示し、観察者が欠けるカメラの左眼部は左眼用映像の光のみを透過し、右眼部は右眼用映像の光のみを透過する。いずれの形式にせよ、観察するユーザーの脳内では左眼用映像と右眼用映像が融像され3次元視映像として認識される。
3次元映像信号の伝送フォーマットとして、例えばサイド・バイ・サイド形式、トップ・アンド・ボトム形式、フレーム・シーケンシャル形式の3種類を挙げることができる。サイド・バイ・サイド形式は、図23に示す通り、2次元映像信号のアクティブ領域を水平方向に2分割して左右すなわち水平方向に(同時刻の)左眼用映像Lと右眼用映像Rを多重化する。また、トップ・アンド・ボトム形式は、図24に示す通り、2次元映像信号のアクティブ領域を垂直方向に2分割して上下すなわち垂直方向に(同時刻の)左眼用映像Lと右眼用映像Rを多重化する。フレーム・シーケンシャル形式は、図25に示す通り、時間軸上で左眼用映像Lと右眼用映像Rを交互に挿入する。
いずれの伝送形式にせよ、映像信号を処理する表示装置では、信号から元の左眼用映像及び右眼用映像を分離し、時間軸上で正しく配列して、左眼用映像は左眼に、右眼用映像は右眼に、それぞれ表示されるように制御する。この際に、当然、現在伝送されている映像信号が3次元映像なのか、また、3次元映像であれば、上述した図23〜図25のいずれの伝送フォーマットの信号であるのかを判別して、表示形式を切り替える必要がある。
伝送される映像データに、伝送フォーマットを示す信号が付加されていれば、正確に判別することができる。しかしながら、放送信号やDVD(Digital Versatile Disc)の一部では、このような信号が付加されていないものが多数存在する。また、CMでは2次元映像、番組では3次元映像といったように、伝送フォーマットが異なる信号が混在したコンテンツも存在する。信号が切り替わる度に視聴者が手動で表示モードを切り替えるのは、大変な手間である。映像フォーマットが異なる表示モードが選択されると、2重像表示されるといった弊害が発生する。
画像内の左眼用映像及び右眼用映像にそれぞれ相当する領域同士の相関から映像フォーマットを判別する装置について幾つか提案がなされている。例えば、画素単位の差分値から位置ヒストグラムを求めることで相関を計算し、3次元映像であるかを判別し、表示形式を切り替える映像表示装置について提案がなされている(例えば、特許文献1を参照のこと)。また、左眼用映像及び右眼用映像の各領域の特徴量の内積からフォーマットを自動判別する立体画像フォーマット判別装置について提案がなされている(例えば、特許文献2を参照のこと)。
映像信号中の左右の各映像領域の相関を指標としてフォーマットを判別する方法は、各映像領域から所定の特徴量を求め、その特徴量の差分絶対値の累積結果を評価値として、3次元映像又は2次元映像のいずれであるかを判別する。ここで、評価値が小さい場合は、左右の映像領域間で相関が高くなることから、各領域は対応する左右の映像の関係にある、すなわち、3次元映像であると判別することができる。逆に、評価値が小さい場合は、左右の映像領域間で相関が低いことから、各領域同士に左右の対応関係はなく、2次元映像であると判別することができる。
しかしながら、左右の映像領域同士の単純な相関計算で評価すると、判別精度が悪く、ロバスト性を保つことが難しい、という性能の観点から問題がある。
例えば、ステレオ映像では、左右の映像間には視差が存在することから、視差が大きい場合には相関が低くなり、3次元映像ではないと誤判別する可能性がある。図26には、視差のある左眼用映像(Lch)と右眼用映像(Rch)の特徴量を単純にマッチングして特徴量の差分絶対値ABS(Lch−Rch)を求めた結果を示している。図示のように、視差が大きい場合には映像間で差分が生じ、相関が低くなり、その結果として2次元映像と誤判定する可能性がある。
また、視差以外の左右の映像間の違いによっても、3次元映像ではないと誤判別する可能性がある。CG(Computer Graphics)映像などでは問題ないが、特に2眼カメラで撮影される3次元映像の場合には、レンズ系の特性の違いや取り付け精度の違いなどに起因して、輝度、コントラスト、γ、色、映像の帯域、ノイズ量などが左右の映像間で大きく異なる場合がある。図27には、輝度やコントラストに違いのある左眼用映像(Lch)と右眼用映像(Rch)の特徴量を単純にマッチングして特徴量の差分絶対値ABS(Lch−Rch)を求めた結果を示している。図示のように、輝度やコントラストの違いが大きい場合にはさらに映像間で差分が生じ、相関が低くなるので、2次元映像と誤判定する可能性がますます高くなる。
また逆に、2次元映像であっても、左眼用映像と右眼用映像にそれぞれ対応する領域間で相関が高くなる映像が存在し、3次元映像と誤判別する場合もある。図28には、輝度やコントラストの変化に乏しい画像の一例として、海原を見渡した風景画像を示しているが、画面の左右で特徴量の違いが小さく、高い相関を示すことから、サイド・バイ・サイド形式の3次元映像と誤判別する可能性がある。
また、映像フォーマット判別の際に、左右の映像領域同士の単純な相関計算で評価する方法は、画素単位の計算や内積計算を含み、これらは演算量が大きいことから、高速な判別やコストへの影響も大きい。
本明細書で開示する技術の目的は、3次元映像フォーマットか2次元映像フォーマットかの判別をロバストで且つ少ない演算量で実現することができる、優れた映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置を提供することにある。
本願は、上記課題を参酌してなされたものであり、請求項1に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算部と、
前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、
前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置である。
また、本願の請求項2に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、
前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部と、
前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置である。
本願の請求項3に記載の技術は、請求項1又は2のいずれかに記載の映像フォーマット判別装置において、前記領域代表値計算部は、特徴量として各画素の輝度信号を用いるように構成されている。
本願の請求項4に記載の技術は、請求項1又は2のいずれかに記載の映像フォーマット判別装置において、前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分に基づいて、前記左右映像領域間の相関を計算するように構成されている。
本願の請求項5に記載の技術は、請求項1又は2のいずれかに記載の映像フォーマット判別装置において、前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を重み付け累積加算して、前記左右映像領域間の相関を計算するように構成されている。
本願の請求項6に記載の技術は、請求項5に記載の映像フォーマット判別装置において、前記領域間相関計算部は、所定値以下の差分の加算を抑制する重み付け関数を用いて前記の重み付け累積加算を行なうように構成されている。
本願の請求項7に記載の技術は、請求項1に記載の映像フォーマット判別装置は、前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部をさらに備えている。そして、前記評価判別部は、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別するように構成されている。
本願の請求項8に記載の技術は、請求項2又は7のいずれかに記載の映像フォーマット判別装置において、前記評価判別部は、前記領域内相関が所定の閾値以下のときには入力映像の映像フォーマットの判別を保留するように構成されている。
本願の請求項9に記載の技術は、請求項1又は2のいずれかに記載の映像フォーマット判別装置において、前記領域代表値計算部は、入力映像がサイド・バイ・サイド形式の3次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の左右に配置して、小領域毎の代表値を算出するように構成されている。
本願の請求項10に記載の技術は、請求項1又は2のいずれかに記載の映像フォーマット判別装置において、前記領域代表値計算部は、入力映像がトップ・アンド・ボトム形式の3次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の上下に配置して、小領域毎の代表値を算出するように構成されている。
本願の請求項11に記載の技術は、請求項1又は2のいずれかに記載の映像フォーマット判別装置は、複数の3次元映像フォーマットの各々について映像フォーマットを判別する複数の判別モードを有している。そして、前記評価判別部は、ある判別モードで入力映像が3次元映像あるとは判別されなかった場合には、さらに他の判別モードに切り換えて、入力映像が3次元映像であるかどうかを判別するように構成されている。
本願の請求項12に記載の技術は、請求項1又は2のいずれかに記載の映像フォーマット判別装置において、前記評価判別部は、動画の映像フォーマット判別時において、現在のフレームでの映像フォーマットの判別結果と、前フレームでの映像フォーマットの判別状態と、判別結果が変化してからの経過時間に基づいて、映像フォーマットの判別状態を遷移するかどうかを決定するように構成されている。
本願の請求項13に記載の技術は、請求項12に記載の映像フォーマット判別装置において、前記評価判別部は、映像フォーマットの判別状態に応じて、評価値の判別に用いる閾値を設定するように構成されている。
また、本願の請求項14に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置である。
また、本願の請求項15に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力部と、
入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算部と、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、
を具備する映像フォーマット判別装置である。
本願の請求項16に記載の技術は、請求項15に記載の映像フォーマット判別装置において、前記代表値方向計算部は、前記左眼用映像領域及び前記右眼用映像領域の各々について、n×mの小領域毎にn×mの重み付けフィルター係数を掛け合わせて、各小領域で代表値が変化する方向を計算するように構成されている。
また、本願の請求項17に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算ステップと、
前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、
前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法である。
また、本願の請求項18に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、
前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算ステップと、
前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法である。
また、本願の請求項19に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法である。
また、本願の請求項20に記載の技術は、
画素毎の特徴量を有する映像を入力する映像入力ステップと、
入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算ステップと、
前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、
を有する映像フォーマット判別方法である。
また、本願の請求項21に記載の技術は、
映像信号を入力する入力部と、
入力された映像信号のフォーマットを判別し、判別結果に応じて表示形式を切り替えて、3次元映像信号又は2次元映像信号の処理を行なう映像信号処理部と、
前記映像信号処理部で処理された映像信号を画面に表示する表示部と、
を具備し、
前記映像信号処理部は、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出し、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算し、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正し、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算し、前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する、
表示装置である。
本明細書で開示する技術によれば、3次元映像フォーマットか2次元映像フォーマットかの判別を、多様な種類のキャプチャー方法や映像内容によらず、ロバストで且つ少ない演算量で実現することができる、優れた映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置を提供することができる。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、映像信号処理部120内に装備される映像フォーマット判別装置100の内部構成を示した図である。 図2は、サイド・バイ・サイド形式の3次元映像フォーマットを判別する判別モードにおいて、入力映像を分割する例を示した図である。 図3は、トップ・アンド・ボトム形式の3次元映像フォーマットを判別する判別モードにおいて、入力映像を分割する例を示した図である。 図4は、入力映像を分割する他の方法を例示した図である。 図5は、入力映像を分割する他の方法を例示した図である。 図6は、差分累積計算に用いる重み付け関数の一例を示した図である。 図7は、判別部180が評価値Zに基づいて入力映像の映像フォーマットを判別するための処理手順を示したフローチャートである。 図8は、評価値Zに基づく映像フォーマットの判別処理方法を示した図である。 図9は、判別部180が評価値Zに基づいて複数の映像フォーマットを判別するための処理手順をフローチャートの形式で示し 図10は、映像フォーマット判別装置100が動画の映像フォーマット判別時の動作制御に用いる状態遷移図である。 図11は、図10に示した状態遷移図において状態間を遷移すべきかどうかを判別するための処理手順を示したフローチャートである。 図12は、映像フォーマット判別装置1200の他の構成例を示した図である。 図13は、サイド・バイ・サイド形式の3次元映像を例示した図である。 図14は、図13に示した入力画像について小領域毎の代表値を計算した結果を示した図である。 図15は、図14に示した小領域毎の代表値の計算結果に対する輝度順位を計算した結果を示した図である。 図16は、Prewittのテンプレート・マッチングで用いられる8種類のマスクを示した図である。 図17は、図14に示した小領域毎の代表値の計算結果に対してPrewittのテンプレート・マッチングを適用して、小領域毎の輝度の変化方向を求めた結果を示した図である。 図18は、図15に示した輝度順位付けの結果に対する評価結果を示した図である 図19は、図17に示した輝度変化の方向の計算結果に対する評価結果を示した図である。 図20は、本明細書で開示する技術を適用可能な映像表示システムの構成例を模式的に示した図である。 図21は、表示装置2000の左眼用映像Lの表示期間に同期したシャッター眼鏡2100における左右のシャッター・レンズ2101、2102の制御動作を示した図である。 図22は、表示装置2000の右眼用映像Rの表示期間に同期したシャッター眼鏡2100における左右のシャッター・レンズ2101、2102の制御動作を示した図である。 図23は、サイド・バイ・サイド形式の3次元映像フォーマットを示した図である。 図24は、トップ・アンド・ボトム形式の3次元映像フォーマットを示した図である。 図25は、フレーム・シーケンシャル形式の3次元映像フォーマットを示した図である。 図26は、左右の映像間に視差のあるステレオ映像を2次元映像と誤判別する場合を例示した図である。 図27は、左右の映像間に輝度やコントラストの違いがあるために3次元映像を2次元映像と誤判別する場合を例示した図である。 図28は、左右で相関が高い2次元映像をサイド・バイ・サイド形式の3次元映像と誤判別する場合を例示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
図20には、本明細書で開示する技術を適用可能な映像表示システムの構成例を模式的に示している。図示の映像表示システムは、3次元表示(3次元視)対応の表示装置2000と、左眼部及び右眼部にそれぞれシャッター機構を備えたシャッター眼鏡2100の組み合わせからなる。以下では、3次元画像表示に用いる表示装置2000として、液晶ディスプレイ(LCD)を用いるものとする。但し、本明細書で開示する技術の要旨は、液晶ディスプレイに必ずしも限定されない。
表示装置2000は、左眼用映像L及び右眼用映像Rを時分割で交互に表示する。一方、シャッター眼鏡2100は、表示装置2000側での左眼用映像L及び右眼用映像Rの切り換えタイミングと同期をとって、左右のシャッター・レンズ2101、2102の開閉切り換えを行なう。表示装置2000とシャッター眼鏡2100間の通信には、Wi−FiやIEEE802.15.4などの、電波通信によるワイヤレス・ネットワークが用いられ、表示装置2000からシャッター眼鏡2100へ、左右のシャッター・レンズ2101、2102の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。勿論、ワイヤレス・ネットワークではなく、赤外線通信やその他の通信手段を適用することもできる。
表示装置2000は、映像信号処理部2001と、タイミング制御部2002と、ゲート・ドライバー2003と、データ・ドライバー2004と、液晶表示パネル2005と、通信部2007を備えている。
液晶表示パネル2005は、液晶層及び液晶層を挟んで対向する透明電極と、カラー・フィルターなど(いずれも図示しない)から構成されている。また、液晶表示パネル2005の背後には、バックライト(面光源)2006が配置されている。バックライト2006は、残光特性の良好なLED(Light Emitting Diode)などから構成されている。
映像信号処理部2001内では、映像の鮮鋭度のエンハンスやコントラスト改善などの画質補正処理が行なわれる。
また、映像信号処理部2001内には、後述する映像フォーマット判別装置が装備され、映像フォーマットの判別結果に基づいて入力映像の表示形式を切り替えるようになっている。すなわち、入力する映像信号が2次元映像信号又は3次元映像信号のいずれであるか、並びに、3次元映像信号の場合にはそのフォーマットを判別する。そして、入力信号が3次元映像信号であると判別したときには、左眼用画像R及び右眼用画像Lを分離して、時間軸上に正しく配列し、液晶表示パネル2005で左眼用映像Lと右眼用映像Rを時分割で交互に表示させるため、左右の映像信号を交互に出力する。
タイミング制御部2002には、映像信号処理部2001で変換された左眼用映像信号及び右眼用映像信号が入力される。タイミング制御部2002は、入力された左眼用映像信号及び右眼用映像信号を液晶表示パネル2005へ入力するための信号に変換するとともに、ゲート・ドライバー2003及びデータ・ドライバー2004からなるパネル駆動回路の動作に用いられるパルス信号を生成する。
ゲート・ドライバー2003は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部2002から伝送された信号に応じて、表示パネル134内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー2004は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部2002から伝送された信号に基づいてデータ線へ印加する信号を生成して出力する。
また、液晶表示パネル2005の応答速度を補うための、オーバードライブが適宜行なわれる。オーバードライブは、パネル駆動回路において目標到達電圧以上の駆動電圧を液晶素子に印加して、目標電圧に速やかに到達するようにして、応答特性の改善を行なう処理である。
通信部2007は、Wi−FiやIEEE802.15.4などのワイヤレス・ネットワークにおけるアクセスポイントとして動作し、端末局として動作する1以上のシャッター眼鏡2100を自分の基本サービスセット(Basic Service Set:BSS)に収容する。通信部2007からは、シャッター眼鏡2100側で左右のシャッター・レンズ2101、2102の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。
図21には、表示装置2000の左眼用映像Lの表示期間に同期したシャッター眼鏡2100における左右のシャッター・レンズ2101、2102の制御動作を示している。図示のように、左眼用映像Lの表示期間には、表示装置2000側から無線伝送される同期パケットに従って、左眼用シャッター・レンズ2101を開成状態、右眼用シャッター・レンズ2102を閉成状態とし、左眼用画像Lに基づく表示光LLがユーザーの左眼にのみ到達する。
また、図22には、右眼用映像Rの表示期間に同期したシャッター眼鏡2100における左右のシャッター・レンズ2101、2102の制御動作を示している。図示のように、右眼用映像Rの表示期間には、右眼用シャッター・レンズ2102を開成状態、左眼用シャッター・レンズ2101を閉成状態とし、右眼用映像Rに基づく表示光RRがユーザーの右眼にのみ到達する。
表示装置2000は、液晶表示パネル2005に、フィールド毎に左眼用映像Lと右眼用映像Rを時分割で交互に表示する。シャッター眼鏡2100側では、左右のシャッター・レンズ2101、2102が表示装置2000のフィールド毎の映像切り換えに同期して交互に開閉動作を行なう。シャッター眼鏡2100越しに表示画像を観察するユーザーの脳内では、左眼用映像Lと右眼用映像Rが融像され、表示装置2000に表示される映像が3次元的に認識される。
なお、本明細書で開示する技術は、上述したようなシャッター眼鏡2100などのアクティブ眼鏡を用いた3次元映像表示形式だけでなく、パッシブ眼鏡を用いた3次元映像表示形式や、裸眼による3次元映像表示形式にも同様に適用可能である。
図1には、映像信号処理部2001内に装備される映像フォーマット判別装置100の内部構成を示している。図示の映像フォーマット判別装置100は、映像を入力し、判別モードに従って、サイド・バイ・サイド判別モードか、トップ・アンド・ボトム判別モードかを選択し、判別結果Dを得る。
ここで、映像フォーマット判別装置100への入力映像は、例えば1920×1080画素サイズで60HzのHD(High Fefinition)信号、720×480画素サイズのSD(Standard Definition)信号のような解像度のビデオ信号、又は、ディジタルカメラで記録された静止画信号を想定している。図1には、1フレームの静止画に対して映像フォーマットを判別する処理を行なう構成例を示しているが、ビデオ信号の場合は、連続して入力される動画像の中の1フレームの処理として扱うことで映像フォーマットを判別することができる。
映像フォーマット判別装置100は、特徴量計算部110と、領域代表値計算部120と、補正値計算部130と、データ補正部140と、差分累積値計算部150と、面内相関計算部160と、評価値計算部170と、判別部180を備えている。
特徴量計算部110は、入力映像から映像フォーマットを判別する際の特徴量を計算する。特徴量の計算としては、低域通過フィルターにより高域情報を取り除く方法や、帯域通過フィルター、隣接画素差分のような勾配計算によりエッジ情報を取得する方法が考えられるが、いずれの方法でも構わない。また、特に特徴量を計算せずに、入力映像の輝度値をそのまま用いるようにしても構わない。以下では、入力映像の輝度値をそのまま特徴量として用いるものとする。
領域代表値計算部120は、判別モードに応じて(すなわち、判別したい3次元映像フォーマットに応じて)、映像フレーム内の左眼用映像表示領域と右用映像表示領域をそれぞれ複数の小領域に分割して、小領域毎に、特徴量計算部110で計算した特徴量の代表値を算出する。ここでは、代表値として、各領域内の特徴量(輝度値)の平均値を計算する。いずれの3次元映像フォーマットを判別すべきかが、例えば装置100の外部から、自動又はユーザーの手動により指示される。
例えば、サイド・バイ・サイド形式の3次元映像フォーマットを判別する判別モードが設定されている場合には、領域代表値計算部120は、図2に示すように、入力映像を左右に2等分し、左右それぞれの領域をそれぞれM×N個の小領域、すなわち全体で2M×N個の小領域に分割する。
次に、領域代表値計算部120は、各小領域内の特徴量から、各小領域の代表値として例えば平均値を算出する。図2並びに図3中の左右それぞれの小領域L(p,q)、R(p,q)の平均値は、以下の式(1)、(2)のように計算することができる。
ここで、上式(1)、(2)中の各変数を以下のように定義する。
L(p,q):左眼用映像の各小領域の代表値
R(p,q):右眼用映像の各小領域の代表値
F(x,y):入力映像の画素単位の特徴量(輝度値)
x:入力映像の水平画素位置、y:入力映像の垂直画素位置
X:F(x,y)の水平画素数、Y:F(x,y)の垂直ライン数
M:左右各映像領域の水平方向の領域分割数
N:左右各映像領域の垂直方向の領域分割数
P:分割した各小領域の水平画素数(P=X/M)
Q:分割した各小領域の垂直画素数(Q=Y/N)
p:小領域単位の水平画素位置、q:小領域単位の垂直画素位置
また、トップ・アンド・ボトム形式の3次元映像フォーマットを判別する判別モードが設定されている場合には、領域平均値計算部120は、図3に示すように、入力映像を上下に2等分し、上下それぞれの領域をそれぞれM×N個の小領域、すなわち全体でM×2N個の小領域に分割する。そして、領域代表値計算部120は、各小領域内の特徴量から、各小領域の代表値として例えば平均値を算出する。
なお、入力映像を分割する方法については、図2、図3に示したようにブロックで明確に分割する方法の他に、左眼用映像領域及び右眼用映像領域をそれぞれM行N列に分割したブロックの縮小領域を用いる方法(図4を参照のこと)や、隣接するブロックとオーバーラップする領域を用いる方法(図5を参照のこと)も挙げられる。
また、視差の影響を受けない範囲での分割数の取り方も、本明細書で開示する技術の特徴とする。すなわち、図2、図3に出示した例では、M×Nの分割数を、左眼用映像領域及び右眼用映像領域それぞれ4×4分割としているが、16×16分割、12×12分割、8×8分割などのように十分粗くとることも特徴である。16×8分割のように、水平方向と垂直方向で分割数を非対称に取ってもよい。このように、入力映像に対して分割数を十分に粗くすることで、視差の影響とともに、ノイズや映像帯域の影響を排除すると同時に、演算量を少なくすることができる。
補正値計算部130は、特徴量計算部110から供給される入力解像度の特徴量に対して、領域代表値計算部120における小領域毎の代表値の計算とは別に、左右各映像領域の代表値として、各領域内の特徴量(輝度値)の平均値APL_L、APL_Rをそれぞれ下式(3)、(4)のように計算する。
そして、下式(5)に示す、これらの計算値APL_L、APL_Rの差分を補正値αとして算出し、後段のデータ補正部140に供給する。
データ補正部140は、領域代表値計算部120から左眼用映像領域内の各小領域の代表値L(p,q)を取得すると、補正値計算部130から供給される補正値αを用いて、下式(6)に従って補正して、補正後の代表値L´(p,q)を得る。
上式(6)に示すような代表値の操作により、2眼カメラで取得されたような3次元映像に対しても、輝度、コントラスト、γの影響(すなわち、左右のカメラの特性の相違に起因する左右の映像領域間の相違)を排除することができる。
差分累積値計算部150は、左右の各映像領域間で、対応する小領域同士の代表値の差分に重み付けしたものの累積和Sを求める。但し、左眼用映像領域側の各小領域の代表値として、データ補正部140で求めた補正値L´(p,q)を用いる。累積和Sは、下式(7)に従って計算することができるが、これが映像内の左眼用映像領域と右眼用映像領域間の相関値Sとなる。
なお、左右の各映像領域間で、対応する小領域同士の代表値の差分に付ける(上式(7)中の)重みWとして、所定値以下の差分の加算を抑制するような重み関数を用いる。具体的には、図6並びに下式(8)に示すような重み付け関数を用いることができる。図示の重み付け関数Wは、所定値c以下の入力xに対して極めて小さい重みを付ける。したがって、入力xとしての差分値L´(p,q)−R(p,q)が、2眼カメラの撮影に起因する視差や輝度、ノイズの影響に起因するほど小さいときには、相関値Sへの加算を抑制する。この結果、単純に差分絶対値として相関値を計算する場合と比べ、視差などの影響を排除することができ、3次元映像フォーマットの判別精度を高くする効果が期待できる。
面内相関計算部160は、左右それぞれの映像領域内で、それぞれ映像信号の相関性を計算する。映像全体としての面内相関Cは、左眼用映像領域内で求めた面内相関値CL、又は、右眼用映像領域内で求めた面内相関値CRのいずれか一方を用いてもよいし、下式(9)に示すようにCLとCRの平均から面内相関Cを求めるようにしてもよい。
ここで、左眼用映像領域内の面内相関値CL並びに右眼用映像領域内の面内相関値CRは、それぞれ下式(10)、(11)に従って求めることができる。
評価値計算部170は、下式(12)に従って、差分累積値計算部150で求めた左右の映像領域間の相関値Sと、面内相関計算部160で求めた左右の映像領域内の面内相関Cとの比を求めることで、評価値Zを計算する。
判別部180は、算出された評価値Zに基づいて、入力画像がサイド・バイ・サイド形式などの3次元映像信号、又は、2次元映像信号のいずれであるのかを判別する。入力映像が3次元映像フォーマットであれば、入力映像のうち左眼用映像領域と右眼用入力映像領域間で相関性が高くなる。この場合、上式(7)に示した領域間相関値Sが小さくなることから、上式(12)に示した評価値は小さくなる。したがって、判別部180は、評価値計算部170が出力する評価値Zが低ければ、入力映像を3次元映像フォーマットと判別することができる。
図7には、判別部180が評価値Zに基づいて入力映像の映像フォーマットを判別するための処理手順をフローチャートの形式で示している。但し、判別部180は、判別結果をDの値で示すものとする(Dの値0:3次元映像、1:判断保留)。
判別部180は、まず、面内相関計算部160で算出した面内相関Cが所定の閾値th_c以上かどうかをチェックする(ステップS701)。
このとき、面内相関Cが所定の閾値th_c未満のときには(ステップS701のYes)、判別結果Dを1すなわち判断保留として出力する(ステップS702)。面内相関Cが0に近い値を持つ場合には、画面全体が平坦で映像フォーマットを判別するのに十分な情報を持たない可能性が高いからである。
他方、面内相関Cが閾値th_c以上のときには(ステップS701のNo)、入力映像から映像フォーマットを判別するのに十分な情報を得ることができるので、評価値計算部170で算出した評価値Zに基づいて映像フォーマットの判別を試みる(ステップS703)。
本実施形態では、評価値Zに基づく映像フォーマットの判別処理に、2つの閾値th_a及びth_bを用いる(但し、th_a<th_bとする)。図8には、評価値Zに基づく映像フォーマットの判別処理方法を図解している。
評価値Zが低ければ、入力映像を3次元映像フォーマットと判別することができる(前述)。したがって、評価値Zが閾値th_aより小さいときには、判別部180は、入力映像を3次元映像であると判別し、判別結果Dとして0を出力する。一方、評価値Zが閾値th_b以上のときには、判別部180は、入力映像を2次元映像であると判別し、判別結果Dとして2を出力する。また、評価値Zがth_a以上でth_bより小さいときには、判別部180は範囲手を保留し、判別結果Dとして1を出力する。
なお、閾値th_a、th_bは例えば0.2,0.4などの値で定義する。また、図8に示したように2段階の閾値ではなく、3段階以上(例えば10段階)の式の位置を用いて評価値Zの判別を行ない、判別結果の信頼度を段階的に表すようにしてもよい。
映像フォーマット判別装置100において、サイド・バイ・サイド形式の静止画を判別したいときには、判別モードとして「サイド・バイ・サイド判別モード」を設定する。映像フォーマット判別装置100から得られた判別結果Dが、0:3次元映像のときは、サイド・バイ・サイド、2:2次元映像のときは、2次元映像として判断される。また、判別結果Dが1:判別保留の場合は、誤検出の可能性も残るため、2次元映像として判別される。
また、映像フォーマット判別装置100において、トップ・アンド・ボトム形式の静止画を判別したいときには、判別モードとして「トップ・アンド・ボトム判別モード」を設定する。映像フォーマット判別装置100から得られた判別結果Dが、0:3次元映像のときは、トップ・アンド・ボトム、2:2次元映像のときは、2次元映像として判断される。また、判別結果Dが1:判別保留の場合は、誤検出の可能性も残るため、2次元映像として判別される。
また、入力映像が、サイド・バイ・サイド形式、トップ・アンド・ボトム形式のうちいずれの3次元映像信号か、あるいは、2次元映像信号かが分からない場合には、映像フォーマット判別装置100はこれら複数の映像フォーマットを判別する必要がある。
図9には、判別部180が評価値Zに基づいて複数の映像フォーマットを判別するための処理手順をフローチャートの形式で示している。
まず、判別モードをサイド・バイ・サイド(SBS)判別モードに設定して、判別処理を行ない、判別結果Dを得る(ステップS901)。
ここで、得られた判別結果Dが0であれば(ステップS902のYes)、入力映像のフォーマットがサイド・バイ・サイド形式であることを示す最終的な判別結果E=SBSを出力して(ステップS903)、本処理ルーチンを終了する。
また、得られた判別結果Dが0でないときには(ステップS902のNo)、続いて、判別モードをトップ・アンド・ボトム(TAB)判別モードに切り換えて、判別処理を行ない、改めて判別結果Dを得る(ステップS904)。
ここで、得られた判別結果Dが0であれば(ステップS905のYes)、入力映像のフォーマットがトップ・アンド・ボトム形式であることを示す最終的な判別結果E=TABを出力して(ステップS906)、本処理ルーチンを終了する。
また、得られた判別結果Dが0でないときには(ステップS905のNo)、判別結果Dが1であるかどうかをチェックする(ステップS907)。そして、Dが1であれば(ステップS907のYes)、判別保留であることを示す最終的な判別結果E=HOLDを出力し(ステップS908)、Dが1でなければ(ステップS907のNo)、入力映像が2次元映像のフォーマットであることを示す最終的な判別結果E=2Dを出力して(ステップS909)、本処理ルーチンを終了する。
既に述べたように、映像フォーマット判別装置100を搭載する表示装置2000は、映像フォーマットの判別結果に基づいて入力映像の表示形式を切り替える。ここで、図7〜図9に示したような判別方法では、判別結果はフレーム毎に切り換わる可能性がある。入力映像が動画の場合には、判別結果が短時間に変化すると、表示装置2000が画面出力する表示形式が頻繁に切り替わることから、視聴者に不快感を与えてしまうことが懸念される。そこで、映像フォーマット判別装置100が出力する判別結果を時間的に安定化する必要がある。
図10には、映像フォーマット判別装置100が動画の映像フォーマット判別時の動作制御に用いる状態遷移図を示している。図示の例では、映像フォーマット判別装置100は、入力映像を、サイド・バイ・サイド形式の3次元映像として判別した「SBS状態」、トップ・アンド・ボトム形式の3次元映像として判別した「TAB状態」、並びに2次元映像として判別した「2D状態」の3種類の状態を持つ。そして、判別部180は、現在のフレームでの判別結果(E)と、前フレームでの判別状態(T)と、判別結果が変化してからの経過時間(CNT)に基づいて、状態遷移を判別する。同図での各状態が、各映像フォーマットの判別結果の最終結果として、映像フォーマット判別装置100から出力されることになる。初期状態は、例えば2D状態とする。
2D状態において、現在のフレームの判別結果が2Dのままであれば、2D状態に復帰する。これに対し、現在のフレームの判別結果がSBSに変化して所定時間が経過すると(すなわち、数フレームにわたり連続してSBSと判別すると)、2D状態からSBS状態に遷移する。また、現在のフレームの判別結果がTABに変化して所定時間が経過すると、2D状態からTAB状態に遷移する。
また、SBS状態において、現在のフレームの判別結果がSBSのままであれば、SBS状態に復帰する。これに対し、現在のフレームの判別結果がTABに変化して所定時間が経過すると、SBS状態からTAB状態に遷移する。また、現在のフレームの判別結果が2Dに変化して所定時間が経過すると、SBS状態から2D状態に遷移する。
また、TAB状態において、現在のフレームの判別結果がTABのままであれば、TAB状態に復帰する。これに対し、現在のフレームの判別結果が2Dに変化して所定時間が経過すると、TAB状態から2D状態に遷移する。また、現在のフレームの判別結果がSBSに変化して所定時間が経過すると、TAB状態からSBS状態に遷移する。
図11には、判別部180が図10に示した状態遷移図において状態間を遷移すべきかどうかを判別するための処理手順をフローチャートの形式で示している。
まず、判別部180は、前フレームでの状態Tに応じて、それぞれの状態で異なる判別閾値を設定する(ステップS1101)。
例えば、2D状態では、2次元映像検出からの遷移が頻繁に発生しないように、th_a=0.15、th_b=0.3のように、2次元映像が検出し易いような判別閾値を設定する。また、SBS状態又はTAB状態のように3次元映像状態の場合は、3次元映像検出からの遷移が頻繁に発生しないように、th_a=0.25、th_b=0.45のように、3次元映像が検出し易いような判別閾値を設定する。
このように、判別部180が各状態からの遷移の頻度を抑制することで、判別結果があいまいな場合には、判別状態Tが遷移せずに、確実に、異なる形式の映像が入力された場合のみ反応するようになり、判別結果を時間的に安定させることができる。
ここで、判別部180は、複数の映像フォーマットの判別を行なう前に、前回(前フレーム)の判別結果として変数FにEを保持する(ステップS1102)。なお、この際に、EがHOLD(判別保留)の場合は、変数Fの値を更新しない。このようにしておくことで、前回の判別結果FにEが代入されることはない。Eの初期値は、Tと同じ値になる。
そして、判別部180は、図9に示した処理手順に従って、複数の映像フォーマットの判別処理を実行して、現在のフレームに対して判別結果Eを得る(ステップS1103)。
次いで、判別部180は、現在のフレームに対する判別結果EがHOLD(判別保留)であるかどうかをチェックする(ステップS1104)。
ここで、現在のフレームに対する判別結果EがHOLD(判別保留)である場合には(ステップS1104のYes)、状態T、及び、状態の変化を検出してからの経過時間を計測するカウンターCNTのいずれも更新せずに、本処理ルーチンを終了する。
一方、現在のフレームに対する判別結果EがHOLD(判別保留)でなければ(ステップS1104のNo)、さらに、現在のフレームの判別結果Eが、現在の状態Tと異なり、且つ、前回の判別結果Fと同じであるかどうかをさらにチェックする(ステップS1105)。
現在のフレームの判別結果Eが、現在の状態Tと異なり、且つ、前回の判別結果Fと同じである場合には(ステップS1105)、経過時間を計測するカウンターCNTの値をカウントアップする(ステップS1106)。
そして、経過時間を計測するカウンターCNTの値が所定の閾値(変化経過時間)th_dを超えたときには(ステップS1107のYes)、現在の状態Tを現在のフレームの判別結果Eに更新するとともに、カウンターCNTの値を0にリセットして(ステップS1108)、本処理ルーチンを終了する。
また、現在のフレームの判別結果Eが、現在の状態Tと同じであるか、又は、前回の判別結果Fと異なる場合には(ステップS1105のNo)、変化した判別結果が安定していないので、経過時間を計測するカウンターCNTを0にリセットして(ステップS1109)、本処理ルーチンを終了する。
図11に示した処理手順により、判別部180は、現在の状態とは異なる判別結果が得られ、その異なる判別結果が一定時間以上継続する場合に、新たな状態を映像フォーマットの判別結果に遷移することになり、安定した映像フォーマットの判別を行なうことができる。この結果、表示装置2000としては、この判別結果に従って安定した動画像の表示を行なうことができる。
図1に示した映像フォーマット判別装置100の特徴について、以下にまとめておく。
(1)領域代表値計算部120は、高解像度の入力映像を少ない領域毎の特徴量の代表値に変換する。これによって、視差、映像帯域、ノイズの影響を受けにくいフォーマット判別を行なうことができる。また、少ない領域毎の特徴量の代表値に変換することで、少ない演算量でフォーマット判別を行なうことができる。
(2)補正値計算部130は、領域毎に算出した特徴量の平均値を基に補正値を算出し、データ補正部120はこの補正値を用いて各領域の代表値を補正するので、後段で左右の映像領域間の相関を計算する際に、コントラスト、γ、色の影響を抑制することができる。
(3)左右の映像領域間における相関計算と同時に、面内相関計算部160は領域内での面内相関を計算し、評価値計算部170は領域間相関値と面内相関値の比から判別値を算出するので、コントラスト、γ、色の影響を受けにくいフォーマット判別を行なうことができる。また、左右の相関が高い2次元映像(図28を参照のこと)の影響を受けにくいので、2次元映像と3次元映像の分離性能を向上することができる。
(4)差分累積値計算部150は、左右の各映像領域間の相関計算の際に、重み付け関数を用いる。これによって、視差、映像帯域、ノイズの影響を抑制して、3次元映像の判別精度を向上する。
(5)判別部180は、領域間の相関の評価値に基づいて算出した判別値を用いて、入力映像のフォーマットを判別するが、3次元映像フォーマットと2次元映像フォーマットの間に判別保留を設けることで、誤判定のリスクを削減している。
(6)映像フォーマット判別装置100は、左右の映像領域を分割し処理する方法を変えることで、サイド・バイ・サイド形式やトップ・アンド・ボトム形式を始め、複数の異なる3次元映像フォーマットの判別に適用することができる。
(7)そして、映像フォーマット判別装置100は、複数の判別モードを切り替えて連続して判別処理を実行することで、複数の3次元映像フォーマットを同時に判別することができる。
(8)映像フォーマット判別装置100は、動画の映像フォーマットを判別する際に、前回の判定値に応じて判別閾値を設定することで、検出結果の遷移が頻繁に起こらないようにしたり、所望の映像フォーマットを検出し易くしたりする。
(9)映像フォーマット判別装置100は、動画の映像フォーマットを判別する際に、判別の結果の履歴を参照することで、判別結果を時間的に安定化するようにしている。
図12には、映像信号処理部2001内で入力映像のフォーマット判別に適用することができる、映像フォーマット判別装置1200の他の構成例を示している。
映像フォーマット判別装置1200は、特徴量計算部1210と、領域代表値計算部1220と、輝度順位計算部1230と、輝度方向計算部1240と、評価値計算部1250と、判別部1260を備えている。映像フォーマット判別装置100への入力映像は、例えば1920×1080画素サイズで60HzのHD信号、720×480画素サイズのSD信号のような解像度のビデオ信号、又は、ディジタルカメラで記録された静止画信号である。ビデオ信号の場合は、連続して入力される動画像の中の1フレームの処理として扱うことで映像フォーマットを判別することができる。
特徴量計算部1210は、入力映像から映像フォーマットを判別する際の特徴量を計算する。以下では、入力映像の輝度値をそのまま特徴量として用いるものとする。
領域代表値計算部1220は、装置1200外部から自動又はユーザーの手動により指示された判別モードに応じて、映像フレーム内の左眼用映像表示領域と右用映像表示領域をそれぞれ複数の小領域に分割して、小領域毎に、特徴量計算部1210で計算した特徴量の代表値を算出する。ここでは、代表値として、各領域内の特徴量(輝度値)の平均値を計算する。
例えば、サイド・バイ・サイド形式の3次元映像フォーマットを判別する判別モードが設定されている場合には、領域代表値計算部120は、入力映像を左右に2等分し、左右それぞれの領域をそれぞれM×N個の小領域に分割して(図2を参照のこと)、上式(1)、(2)に従って各小領域の平均値を算出する。また、トップ・アンド・ボトム形式の3次元映像フォーマットを判別する判別モードが設定されている場合には、領域平均値計算部120は、入力映像を上下に2等分し、上下それぞれの領域をそれぞれM×N個の小領域に分割して(図3を参照のこと)、各小領域の平均値を算出する。
なお、入力映像を分割する方法については、図2、図3に示したようにブロックで明確に分割する方法の他に、左眼用映像領域及び右眼用映像領域をそれぞれM行N列に分割したブロックの縮小領域を用いる方法(図4を参照のこと)や、隣接するブロックとオーバーラップする領域を用いる方法(図5を参照のこと)も挙げられる。
また、視差の影響を受けない範囲での分割数の取り方も、本明細書で開示する技術の特徴とする。すなわち、図2、図3に出示した例では、M×Nの分割数を、左眼用映像領域及び右眼用映像領域それぞれ4×4分割としているが、16×16分割、12×12分割、8×8分割などのように十分粗くとることも特徴である。16×8分割のように、水平方向と垂直方向で分割数を非対称に取ってもよい。このように、入力映像に対して分割数を十分に粗くすることで、視差の影響とともに、ノイズや映像帯域の影響を排除すると同時に、演算量を少なくすることができる。
輝度順位計算部1230は、領域代表値計算部1220で算出された各小領域の代表値すなわち平均輝度を基に、映像フレームの左半分の左眼用映像領域及び右半分の右眼用映像領域の各々において、行毎に小領域の順位付けを行なう。例えば、入力映像が図13に示すようなサイド・バイ・サイド形式の3次元映像であり、これを領域代表値計算部1220で小領域毎の代表値を計算した結果が仮に図14に示す通りであったとする。この場合、輝度順位計算部1230で、左眼用映像領域及び右眼用映像領域の各々において、行毎に小領域の順位付けを行なうと、図15に示す結果を得ることになる。また、入力映像がトップ・アンド・ボトム形式の場合には、輝度順位計算部1230は、映像フレームの上半分の左眼用映像領域及び下半分の右眼用映像領域の各々において、列毎に小領域の順位付けを行なう。
輝度方向計算部1240は、領域代表値計算部1220で算出された各小領域の代表値すなわち平均輝度を基に、映像フレーム内の左眼用映像領域及び右眼用映像領域の各々において、小領域で輝度が変化する方向を計算する。
例えば、3×3の小領域毎に、3×3の重み付けフィルター係数を掛け合わせて、3×3の中心の小領域について輝度変化の方向を求めることができる。この種の重み付けフィルターとして、Prewittのテンプレート・マッチング(例えば、特許文献3を参照のこと)が知られている。このマッチング方法では、図16に示すようなマスクの値及び方向をそれぞれ持つ8種類のマスクを用いる。そして、注目する小領域及びその近傍の8個の小領域の各平均輝度とマスクの値との積和演算を行ない、最大の値を示すマスクが示す向きが注目する小領域の輝度変化の方向となる。図16に示した8種類のマスクを用いると、輝度変化の方向は、45度おきに8方向で求められる。図13に示すようなサイド・バイ・サイド形式の3次元映像に対してPrewittのテンプレート・マッチングを適用すると、図17に示すような輝度方向の変化を得ることができる。
評価値計算部1250は、輝度順位計算部1230で順位付けを行なった結果を左眼用映像領域及び右眼用映像領域の対応する小領域同士で比較する。そして、左右で順位が一致する小領域は1、一致しない小領域は0とし、左右で順位が一致する領域の数Rを順位づけの評価値として算出する。順位が一致する小領域の数が多い、すなわちRの値が大きいほど、入力映像は3次元映像と判別できる。図18には、図15に示した輝度順位付けの結果に対する評価結果を示している。図示の例では、24個のすべての小領域で順位が一致するので、評価値Rは24である。
また、評価値計算部1250は、輝度方向計算部1240で輝度変化の方向を計算した結果を左眼用映像領域及び右眼用映像領域の対応する小領域同士で比較する。そして、左右で輝度変化の方向が一致する小領域は1、一致しない小領域は0とし、左右で輝度変化の方向が一致する領域の数Pを輝度変化の方向の評価値として算出する。図16に示した8種類のマスクを用いると、輝度変化の方向は、45度おきに8方向で求められる。判定基準を緩やかにする場合は、左右での輝度変化の方向に対して許容範囲を設け(例えば、−45度、0度、45度を一致とみなす)、それに当てはまる領域を求めるものとする。輝度変化の方向が一致する小領域の数が多い、すなわちPの値が大きいほど、入力映像は3次元映像と判別できる。図19には、図17に示した輝度変化の方向の計算結果に対する評価結果を示している。図示の例では、24個中22個の小領域で順位が一致するので、評価値Pは22である。
例えば、判別部1260は、評価値R、Pの各々に対して、3次元映像判別用閾値th_R_3D、th_P_3Dと、2次元映像判別用閾値th_R_2D、th_P_2Dを設ける。そして、評価値が高いほど、左右の映像領域の類似度が高くなるので、3次元映像である可能性が高くなる。逆に、評価値が低いほど、左右の映像領域の類似度が低くなるので、2次元映像である可能性が高くなる。また、類似度が中程度で3次元映像又は2次元映像のいずれとも判別できない場合には、判別部1260は判別保留とする。具体的には、輝度順位並びに輝度変化方向に基づいて、それぞれ下式(12)、(13)のように判定する。
判別部1260は、輝度順位計算部1230並びに輝度方向計算部1240による計算結果を基に評価値計算部で計算した評価値R、Pのうち一方、又は、両方を参照して、入力映像のフォーマットを判別することができる。
また、上記の判定は入力1フレーム単位で実施されるため、動画では画の変化やノイズによって判定結果が1フレーム単位で変化する可能性がある。判別結果が短時間に変化すると、表示装置2000が画面出力する表示形式が頻繁に切り替わることから、視聴者に不快感を与えてしまうことが懸念される。そこで、映像フォーマット判別装置1200が出力する判別結果を時間的に安定化する必要がある。そこで、以下のような方法で、判別部1260は、時間方向の判別の変動を抑制するようにしてもよい。
(1)同一判定結果が連続回(フレーム)以上続く場合に、判別を確定させる。
(2)連続回(フレーム)の判別のうち回以上の判別結果を採用する。
また、上記(1)又は(2)のような条件に当てはまる判別結果がない場合には、入力画像を3次元映像、又は、2次元映像のいずれとも判別できないので、判別部1260は、判別保留という結果を出力するようにしてもよい。
図1に示した映像フォーマット判別装置100の特徴について、以下にまとめておく。
(1)左右の映像領域の輝度の絶対値を考慮しないで判別を行なうので、左右の映像領域間で輝度ずれが大きい3次元映像信号でも、正確に映像フォーマットを判別することができる。
(2)左右の映像領域をそれぞれ小さい領域に分割し、領域毎の輝度平均値などの代表値を使用して評価を行なう。これによって、視差、映像帯域、ノイズの影響を受けにくいフォーマット判別を行なうことができる。
(3)左右の映像領域をそれぞれ小さい領域に分割し、領域毎の輝度平均値などの代表値を使用して評価を行なう。したがって、画素単位で評価を行なう方法に比べ演算量が少なくて済む。
(4)映像フォーマット判別装置1200は、左右の映像領域を分割し処理する方法を変えることで、サイド・バイ・サイド形式やトップ・アンド・ボトム形式を始め、複数の異なる3次元映像フォーマットの判別に適用することができる。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)画素毎の特徴量を有する映像を入力する映像入力部と、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算部と、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正部と、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、を具備する映像フォーマット判別装置。
(2)画素毎の特徴量を有する映像を入力する映像入力部と、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部と、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、を具備する映像フォーマット判別装置。
(3)前記領域代表値計算部は、特徴量として各画素の輝度信号を用いる、上記(1)又は(2)のいずれかに記載の映像フォーマット判別装置。
(4)前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分に基づいて、前記左右映像領域間の相関を計算する、上記(1)又は(2)のいずれかに記載の映像フォーマット判別装置。
(5)前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を重み付け累積加算して、前記左右映像領域間の相関を計算する、上記(1)又は(2)のいずれかに記載の映像フォーマット判別装置。
(6)前記領域間相関計算部は、所定値以下の差分の加算を抑制する重み付け関数を用いて前記の重み付け累積加算を行なう、上記(5)に記載の映像フォーマット判別装置。
(7)前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部をさらに備え、前記評価判別部は、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別する、上記(1)に記載の映像フォーマット判別装置。
(8)前記評価判別部は、前記領域内相関が所定の閾値以下のときには入力映像の映像フォーマットの判別を保留する、上記(2)又は(7)のいずれかに記載の映像フォーマット判別装置。
(9)前記領域代表値計算部は、入力映像がサイド・バイ・サイド形式の3次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の左右に配置して、小領域毎の代表値を算出する、上記(1)又は(2)のいずれかに記載の映像フォーマット判別装置。
(10)前記領域代表値計算部は、入力映像がトップ・アンド・ボトム形式の3次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の上下に配置して、小領域毎の代表値を算出する、上記(1)又は(2)のいずれかに記載の映像フォーマット判別装置。
(11)複数の3次元映像フォーマットの各々について映像フォーマットを判別する複数の判別モードを有し、前記評価判別部は、ある判別モードで入力映像が3次元映像あるとは判別されなかった場合には、さらに他の判別モードに切り換えて、入力映像が3次元映像であるかどうかを判別する、上記(1)又は(2)のいずれかに記載の映像フォーマット判別装置。
(12)前記評価判別部は、動画の映像フォーマット判別時において、現在のフレームでの映像フォーマットの判別結果と、前フレームでの映像フォーマットの判別状態と、判別結果が変化してからの経過時間に基づいて、映像フォーマットの判別状態を遷移するかどうかを決定する、上記(1)又は(2)のいずれかに記載の映像フォーマット判別装置。
(13)前記評価判別部は、映像フォーマットの判別状態に応じて、評価値の判別に用いる閾値を設定する、上記(12)に記載の映像フォーマット判別装置。
(14)画素毎の特徴量を有する映像を入力する映像入力部と、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算部と、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、を具備する映像フォーマット判別装置。
(15)画素毎の特徴量を有する映像を入力する映像入力部と、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算部と、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、を具備する映像フォーマット判別装置。
(16)前記代表値方向計算部は、前記左眼用映像領域及び前記右眼用映像領域の各々について、n×mの小領域毎にn×mの重み付けフィルター係数を掛け合わせて、各小領域で代表値が変化する方向を計算する、上記(15)に記載の映像フォーマット判別装置。
(17)画素毎の特徴量を有する映像を入力する映像入力ステップと、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算ステップと、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正ステップと、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、を有する映像フォーマット判別方法。
(18)画素毎の特徴量を有する映像を入力する映像入力ステップと、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算ステップと、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、を有する映像フォーマット判別方法。
(19)画素毎の特徴量を有する映像を入力する映像入力ステップと、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算ステップと、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、を有する映像フォーマット判別方法。
(20)画素毎の特徴量を有する映像を入力する映像入力ステップと、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算ステップと、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、を有する映像フォーマット判別方法。
(21)映像信号を入力する入力部と、入力された映像信号のフォーマットを判別し、判別結果に応じて表示形式を切り替えて、3次元映像信号又は2次元映像信号の処理を行なう映像信号処理部と、前記映像信号処理部で処理された映像信号を画面に表示する表示部と、を具備し、前記映像信号処理部は、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出し、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算し、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正し、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算し、前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する、表示装置。
特開2010−68309号公報 特開2006−332985号公報 特開2009−217606号公報
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書では、サイド・バイ・サイド形式やトップ・アンド・ボトム形式のように左右の映像を同一フレームとして伝送する3次元映像フォーマットを判別する実施形態を中心に説明してきたが、本明細書で開示する技術の適用範囲は特定の3次元映像フォーマットに限定されるものではない。例えばフレーム毎に左眼用映像と右眼用映像を交互に伝送するフレーム・シーケンシャル方式の場合には、領域間の相関計算や面内相関計算をフレーム間で行なうことで、同様に本明細書で開示する技術を実現することができる。
また、本明細書で開示する技術は、上述したようなシャッター眼鏡などのアクティブ眼鏡を用いた3次元映像表示形式だけでなく、パッシブ眼鏡を用いた3次元映像表示形式や、裸眼による3次元映像表示形式にも同様に適用可能である。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
100…映像フォーマット判別装置
110…特徴量計算部
120…領域代表値計算部
130…補正値計算部
140…データ補正部
150…差分累積値計算部
160…面内相関計算部
170…評価値計算部
180…判別部
1200…映像フォーマット判別装置
1210…特徴量計算部
1220…領域代表値計算部
1230…輝度順位計算部
1240…輝度方向部
1250…評価値計算部
1260…判別部
2000…表示装置
2001…映像信号処理部
2002…タイミング制御部
2003…ゲート・ドライバー
2004…データ・ドライバー
2005…液晶表示パネル
2006…バックライト
2007…通信部
2100…シャッター眼鏡
2101、2102…シャッター・レンズ

Claims (21)

  1. 画素毎の特徴量を有する映像を入力する映像入力部と、
    入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
    前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算部と、
    前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正部と、
    前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、
    前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、
    を具備する映像フォーマット判別装置。
  2. 画素毎の特徴量を有する映像を入力する映像入力部と、
    入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
    前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算部と、
    前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部と、
    前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、
    を具備する映像フォーマット判別装置。
  3. 前記領域代表値計算部は、特徴量として各画素の輝度信号を用いる、
    請求項1又は2のいずれかに記載の映像フォーマット判別装置。
  4. 前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分に基づいて、前記左右映像領域間の相関を計算する、
    請求項1又は2のいずれかに記載の映像フォーマット判別装置。
  5. 前記領域間相関計算部は、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を重み付け累積加算して、前記左右映像領域間の相関を計算する、
    請求項1又は2のいずれかに記載の映像フォーマット判別装置。
  6. 前記領域間相関計算部は、所定値以下の差分の加算を抑制する重み付け関数を用いて前記の重み付け累積加算を行なう、
    請求項5に記載の映像フォーマット判別装置。
  7. 前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算部をさらに備え、
    前記評価判別部は、前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別する、
    請求項1に記載の映像フォーマット判別装置。
  8. 前記評価判別部は、前記領域内相関が所定の閾値以下のときには入力映像の映像フォーマットの判別を保留する、
    請求項2又は7のいずれかに記載の映像フォーマット判別装置。
  9. 前記領域代表値計算部は、入力映像がサイド・バイ・サイド形式の3次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の左右に配置して、小領域毎の代表値を算出する、
    請求項1又は2のいずれかに記載の映像フォーマット判別装置。
  10. 前記領域代表値計算部は、入力映像がトップ・アンド・ボトム形式の3次元映像フォーマットであるかどうかを判別する判別モードにおいて、前記左眼用映像領域及び前記右眼用映像領域をそれぞれ入力映像の上下に配置して、小領域毎の代表値を算出する、
    請求項1又は2のいずれかに記載の映像フォーマット判別装置。
  11. 複数の3次元映像フォーマットの各々について映像フォーマットを判別する複数の判別モードを有し、
    前記評価判別部は、ある判別モードで入力映像が3次元映像あるとは判別されなかった場合には、さらに他の判別モードに切り換えて、入力映像が3次元映像であるかどうかを判別する、
    請求項1又は2のいずれかに記載の映像フォーマット判別装置。
  12. 前記評価判別部は、動画の映像フォーマット判別時において、現在のフレームでの映像フォーマットの判別結果と、前フレームでの映像フォーマットの判別状態と、判別結果が変化してからの経過時間に基づいて、映像フォーマットの判別状態を遷移するかどうかを決定する、
    請求項1又は2のいずれかに記載の映像フォーマット判別装置。
  13. 前記評価判別部は、映像フォーマットの判別状態に応じて、評価値の判別に用いる閾値を設定する、
    請求項12に記載の映像フォーマット判別装置。
  14. 画素毎の特徴量を有する映像を入力する映像入力部と、
    入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
    前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算部と、
    前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、
    を具備する映像フォーマット判別装置。
  15. 画素毎の特徴量を有する映像を入力する映像入力部と、
    入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算部と、
    前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算部と、
    前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別部と、
    を具備する映像フォーマット判別装置。
  16. 前記代表値方向計算部は、前記左眼用映像領域及び前記右眼用映像領域の各々について、n×mの小領域毎にn×mの重み付けフィルター係数を掛け合わせて、各小領域で代表値が変化する方向を計算する、
    請求項15に記載の映像フォーマット判別装置。
  17. 画素毎の特徴量を有する映像を入力する映像入力ステップと、
    入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
    前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算する補正値計算ステップと、
    前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正するデータ補正ステップと、
    前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、
    前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、
    を有する映像フォーマット判別方法。
  18. 画素毎の特徴量を有する映像を入力する映像入力ステップと、
    入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
    前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算する領域間相関計算ステップと、
    前記左眼用映像領域又は前記右眼用映像領域のうち少なくとも一方の領域内相関を計算する面内相関計算ステップと、
    前記左右映像領域間の相関と前記領域内相関の比に基づいて評価値を計算し、前記評価値に基づいて入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、
    を有する映像フォーマット判別方法。
  19. 画素毎の特徴量を有する映像を入力する映像入力ステップと、
    入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
    前記左眼用映像領域及び前記右眼用映像領域の各々について、算出した前記代表値に基づいて、行毎又は列毎に小領域の順位を計算する代表値順位計算ステップと、
    前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の順位付けの類似度を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、
    を有する映像フォーマット判別方法。
  20. 画素毎の特徴量を有する映像を入力する映像入力ステップと、
    入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域の各々について小領域毎の特徴量の代表値を算出する領域代表値計算ステップと、
    前記左眼用映像領域及び前記右眼用映像領域の各々について、各小領域で代表値が変化する方向を計算する代表値方向計算ステップと、
    前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の変化方向の類似度をさらに評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する評価判別ステップと、
    を有する映像フォーマット判別方法。
  21. 映像信号を入力する入力部と、
    入力された映像信号のフォーマットを判別し、判別結果に応じて表示形式を切り替えて、3次元映像信号又は2次元映像信号の処理を行なう映像信号処理部と、
    前記映像信号処理部で処理された映像信号を画面に表示する表示部と、
    を具備し、
    前記映像信号処理部は、入力映像のうち、判別すべき3次元映像フォーマットにおける左眼用映像領域及び右眼用映像領域をそれぞれM行N列の小領域に分割し、前記左眼用映像領域及び前記右眼用映像領域各々について小領域毎の特徴量の代表値を算出し、前記左眼用映像領域内の特徴量の平均値と前記右眼用映像領域内の特徴量の平均値に基づいて、前記代表値を補正する補正値を計算し、前記左眼用映像領域又は前記右眼用映像領域のうちいずれか一方について算出された小領域毎の代表値を前記補正値で補正し、前記左眼用映像領域と前記右眼用映像領域間で対応する小領域同士の代表値の差分を累積加算して左右映像領域間の相関を計算し、前記左右映像領域間の相関を評価して、入力映像が前記3次元映像フォーマットであるか否かを判別する、
    表示装置。
JP2012111815A 2012-05-15 2012-05-15 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置 Expired - Fee Related JP5817639B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012111815A JP5817639B2 (ja) 2012-05-15 2012-05-15 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
US13/875,817 US9571808B2 (en) 2012-05-15 2013-05-02 Video format determination device, video format determination method, and video display device
CN201310167968.9A CN103428515B (zh) 2012-05-15 2013-05-09 视频格式判断设备和方法以及视频显示设备
US15/002,245 US9967536B2 (en) 2012-05-15 2016-01-20 Video format determination device, video format determination method, and video display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012111815A JP5817639B2 (ja) 2012-05-15 2012-05-15 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置

Publications (2)

Publication Number Publication Date
JP2013239915A JP2013239915A (ja) 2013-11-28
JP5817639B2 true JP5817639B2 (ja) 2015-11-18

Family

ID=49580986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012111815A Expired - Fee Related JP5817639B2 (ja) 2012-05-15 2012-05-15 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置

Country Status (3)

Country Link
US (2) US9571808B2 (ja)
JP (1) JP5817639B2 (ja)
CN (1) CN103428515B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5817639B2 (ja) * 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
CN103854624B (zh) * 2014-03-17 2016-04-27 深圳市华星光电技术有限公司 一种液晶显示装置的驱动方法和一种液晶显示装置
US9613575B2 (en) 2014-03-17 2017-04-04 Shenzhen China Star Optoelectronics Technology Co., Ltd Liquid crystal display device and method for driving the liquid crystal display device
US20170310944A1 (en) * 2014-09-30 2017-10-26 Mirama Service Inc. Input/output device, input/output program, and input/output method
CN105376552A (zh) * 2015-10-30 2016-03-02 杭州立体世界科技有限公司 基于立体影视播放装置的立体视频的自动识别方法及系统
CN105898269A (zh) * 2015-12-27 2016-08-24 乐视致新电子科技(天津)有限公司 一种视频播放方法及装置
CN105898270A (zh) * 2015-12-27 2016-08-24 乐视致新电子科技(天津)有限公司 一种视频格式区分方法及系统
CN106023894B (zh) * 2016-08-09 2019-01-22 深圳市华星光电技术有限公司 一种降低amoled显示残影的驱动方法及驱动系统
CN106303496B (zh) * 2016-08-16 2018-06-26 京东方科技集团股份有限公司 图像格式确定方法及装置、显示设备

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704042B2 (en) 1998-12-10 2004-03-09 Canon Kabushiki Kaisha Video processing apparatus, control method therefor, and storage medium
DE602005007361D1 (de) 2004-08-17 2008-07-17 Koninkl Philips Electronics Nv Ansichtsmoduserkennung
JP2006332985A (ja) 2005-05-25 2006-12-07 Sharp Corp 立体画像フォーマット判定装置
US7710502B2 (en) * 2006-03-17 2010-05-04 Zoran Corporation Method and apparatus for detecting chroma field motion in a video signal
JP4693900B2 (ja) 2006-04-07 2011-06-01 シャープ株式会社 画像処理装置
KR100899422B1 (ko) 2007-08-06 2009-05-27 삼성모바일디스플레이주식회사 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법
KR100922898B1 (ko) * 2007-12-17 2009-10-20 한국전자통신연구원 IP 미디어의 QoE 보장형 영상품질 측정장치 및측정방법
CN100550038C (zh) * 2007-12-26 2009-10-14 腾讯科技(深圳)有限公司 图片内容识别方法及识别系统
JP2009217606A (ja) 2008-03-11 2009-09-24 Osaka Prefecture Univ 塗り絵用線画の生成方法および生成プログラム
KR101520620B1 (ko) 2008-08-18 2015-05-18 삼성전자주식회사 2차원/3차원 재생 모드 결정 방법 및 장치
JP2010062695A (ja) * 2008-09-02 2010-03-18 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP4869310B2 (ja) 2008-09-11 2012-02-08 三菱電機株式会社 映像表示装置及び方法
JP2010169777A (ja) * 2009-01-21 2010-08-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
KR20100138806A (ko) * 2009-06-23 2010-12-31 삼성전자주식회사 자동 3차원 영상 포맷 변환 방법 및 그 장치
US8773430B2 (en) * 2009-12-09 2014-07-08 Thomson Licensing Method for distinguishing a 3D image from a 2D image and for identifying the presence of a 3D image format by feature correspondence determination
EP2510702A1 (en) 2009-12-09 2012-10-17 Thomson Licensing Method and apparatus for distinguishing a 3d image from a 2d image and for identifying the presence of a 3d image format by image difference determination
CN102783158A (zh) * 2010-01-03 2012-11-14 森西欧技术公司 用于在数字视频信号中检测压缩立体帧的方法及系统
JP2011146831A (ja) 2010-01-13 2011-07-28 Sony Corp 映像処理装置、映像制御方法及びコンピュータプログラム
JP5894537B2 (ja) * 2010-02-09 2016-03-30 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 3dビデオ・フォーマット検出
JP5468426B2 (ja) 2010-03-12 2014-04-09 日立オートモティブシステムズ株式会社 ステレオカメラ装置
US20110249889A1 (en) 2010-04-08 2011-10-13 Sreenivas Kothandaraman Stereoscopic image pair alignment apparatus, systems and methods
JP2011239172A (ja) 2010-05-11 2011-11-24 Panasonic Corp 映像処理装置
JP5609336B2 (ja) 2010-07-07 2014-10-22 ソニー株式会社 画像データ送信装置、画像データ送信方法、画像データ受信装置、画像データ受信方法および画像データ送受信システム
CN102340676B (zh) * 2010-07-16 2013-12-25 深圳Tcl新技术有限公司 一种3d视频格式自动识别的方法及装置
JP2012044383A (ja) * 2010-08-18 2012-03-01 Sony Corp 画像処理装置および方法、並びにプログラム
EP2426931A1 (en) * 2010-09-06 2012-03-07 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
GB2483637A (en) 2010-09-10 2012-03-21 Snell Ltd Detecting stereoscopic images
US20120105607A1 (en) 2010-11-01 2012-05-03 Himax Technologies Limited Image Display System and Image Display Method Thereof
US20120133733A1 (en) * 2010-11-26 2012-05-31 Hidenori Sakaniwa Three-dimensional video image processing device, three-dimensional display device, three-dimensional video image processing method and receiving device
CN101980545B (zh) * 2010-11-29 2012-08-01 深圳市九洲电器有限公司 一种自动检测3dtv视频节目格式的方法
US8587518B2 (en) * 2010-12-23 2013-11-19 Tektronix, Inc. Disparity cursors for measurement of 3D images
JP2012134893A (ja) * 2010-12-24 2012-07-12 Hitachi Consumer Electronics Co Ltd 受信装置
EP2472879B1 (en) 2010-12-31 2013-06-05 Advanced Digital Broadcast S.A. A method and a system for determining a video frame type
JP6089383B2 (ja) 2011-04-08 2017-03-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8941717B2 (en) * 2011-04-08 2015-01-27 Tektronix, Inc. Semi-automatic 3D stereoscopic disparity cursor
JP5100859B2 (ja) * 2011-04-25 2012-12-19 株式会社東芝 映像処理装置及び映像処理方法
GB2491102B (en) 2011-05-17 2017-08-23 Snell Advanced Media Ltd Detecting stereoscopic images
JP2012244571A (ja) * 2011-05-24 2012-12-10 Funai Electric Co Ltd 立体映像表示装置
CN102395037B (zh) * 2011-06-30 2014-11-05 深圳超多维光电子有限公司 一种格式识别方法及识别装置
US20130044192A1 (en) * 2011-08-17 2013-02-21 Google Inc. Converting 3d video into 2d video based on identification of format type of 3d video and providing either 2d or 3d video based on identification of display device type
CN103179426A (zh) * 2011-12-21 2013-06-26 联咏科技股份有限公司 自动检测图像格式的方法与应用其的播放方法
JP5817639B2 (ja) * 2012-05-15 2015-11-18 ソニー株式会社 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
CN103593837A (zh) 2012-08-15 2014-02-19 联咏科技股份有限公司 自动侦测图像格式的方法及其相关装置
US9613575B2 (en) * 2014-03-17 2017-04-04 Shenzhen China Star Optoelectronics Technology Co., Ltd Liquid crystal display device and method for driving the liquid crystal display device

Also Published As

Publication number Publication date
US20160142696A1 (en) 2016-05-19
CN103428515A (zh) 2013-12-04
CN103428515B (zh) 2016-01-20
US9967536B2 (en) 2018-05-08
JP2013239915A (ja) 2013-11-28
US20130307926A1 (en) 2013-11-21
US9571808B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
JP5817639B2 (ja) 映像フォーマット判別装置及び映像フォーマット判別方法、並びに映像表示装置
JP5500066B2 (ja) 画像処理方法、画像処理装置及びプログラム
JP5732888B2 (ja) 表示装置及び表示方法
RU2568309C2 (ru) Обнаружение формата трехмерного видео
US20120154551A1 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
JP5522404B2 (ja) 画像処理方法、画像処理装置及びプログラム
EP2869571B1 (en) Multi view image display apparatus and control method thereof
KR101911250B1 (ko) 입체영상 처리 장치 및 다시점 영상을 디스플레이하기 위한 스윗 스포트의 위치를 조절하는 방법
JP5257248B2 (ja) 画像処理装置および方法、ならびに画像表示装置
KR20130040771A (ko) 입체 영상 처리 장치 및 방법 및 프로그램
US20110293172A1 (en) Image processing apparatus, image processing method, and image display apparatus
US9972139B2 (en) Image processing apparatus, image processing method and program
US9088774B2 (en) Image processing apparatus, image processing method and program
EP2498501A2 (en) 3D image display method and apparatus thereof
EP2466362A2 (en) Method and apparatus for providing stereoscopic image
EP2490173B1 (en) Method for processing a stereoscopic image comprising a black band and corresponding device
US9838672B2 (en) Apparatus and method for referring to motion status of image capture device to generate stereo image pair to auto-stereoscopic display for stereo preview
KR101867815B1 (ko) 입체영상 처리 장치 및 입체영상의 시역 거리를 조절하기 위한 방법
US20130120370A1 (en) Method and apparatus for measuring asthenopia of three dimensional image
JP2012015728A (ja) 音声処理装置、音声処理方法、およびプログラム
EP2563021B1 (en) Devices and methods for 3-D image processing
WO2012018001A1 (ja) 映像処理装置、表示装置及び映像処理方法
TWI432011B (zh) 立體影像顯示裝置與方法
US20150062313A1 (en) Display control device, display control method, and program
JP2013120948A (ja) 映像処理装置及び映像処理方法、表示装置、並びにコンピューター・プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150901

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150914

R151 Written notification of patent or utility model registration

Ref document number: 5817639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees