JP5150255B2

JP5150255B2 - ビューモードの検出

Info

Publication number: JP5150255B2
Application number: JP2007526665A
Authority: JP
Inventors: マルセリヌスピーシーエムクレイン; ヴィルベルトエイゼルマン
Original assignee: Koninklijke Philips NV; Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2004-08-17
Filing date: 2005-08-04
Publication date: 2013-02-20
Anticipated expiration: 2025-08-04
Also published as: CN101006732A; CN101006732B; KR20070046860A; EP1782638A1; US20070222855A1; ATE397833T1; JP2008510408A; DE602005007361D1; ES2306198T3; KR101166248B1; EP1782638B1; WO2006018773A1; US7839378B2

Description

本発明は、受信された画像データが単一ビューに対応するか複数ビューに対応するかを決定するため、前記受信された画像データを解析する方法に関する。

本発明は更に、受信された画像データが単一ビューに対応するか複数ビューに対応するかを決定するため、前記受信された画像データを解析する命令を有する、コンピュータ装置によりロードされるコンピュータプログラムに関する。

本発明は更に、受信された画像データが単一ビューに対応するか複数ビューに対応するかを決定するため、前記受信された画像データを解析するためのビューモード解析ユニットに関する。

本発明は更に、受信された画像データに基づいて複数のビューを表示するように構成された表示装置であって、上述したようなビューモード解析ユニットを有する表示装置に関する。

表示装置の導入以来、現実感の高い３次元（３−Ｄ）表示装置は多くにとっての夢であった。斯かる表示装置に導くような多くの原理が研究されてきた。幾つかの原理は、特定の体積で、現実感の高い３−Ｄオブジェクトを生成しようと試みる。例えば、A. Sullivanによる論文「Solid-state Multi-planar Volumetric Display」（SID'03のプロシーディング、1531-1533、2003年）に開示される表示装置においては、高速投射器により情報が平面のアレイにおいて移動させられる。各面は切り換え可能なディフューザである。該面の数が十分に多ければ、人間の脳は画像を統合して、現実感の高い３−Ｄオブジェクトを観測する。この原理は、観測者が、或る程度オブジェクトを見回すことを可能とする。該表示装置においては、全てのオブジェクトが（半）透明である。

他の多くのものは、両眼視差のみに基づく３−Ｄ表示装置を作り出そうと試みている。これらのシステムにおいては、観測者の左眼と右眼とが別の画像を知覚し、それにより観測者が３−Ｄ画像を知覚する。これらの概念の概要は、書籍「Stereo Computer Graphics and Other True 3-D Technologies」（D.F.McAllister（Ed.）、Princeton University Press、1993年）に見出される。第１の原理は、例えばＣＲＴと組み合わせて、シャッタグラスを利用する。奇数フレームが表示される場合に左眼への光が遮断され、偶数フレームが表示される場合には右眼への光が遮断される。

付加的な器具の必要なく３−Ｄを表示する表示装置は、自動立体視（auto-stereoscopic）表示装置と呼ばれる。

第１の眼鏡不要の表示装置は、観測者の左眼及び右眼に向けられる光の円錐を生成する障壁を有する。前記円錐は例えば、奇数及び偶数のサブ画素列に対応する。適切な情報を用いてこれらの列をアドレス指定することにより、観測者が適切な地点に位置している場合には、観測者は左眼と右眼とで異なる画像を取得し、３−Ｄ画像を知覚することが可能である。

第２の眼鏡不要の表示装置は、観測者の左眼及び右眼に、奇数及び偶数のサブ画素列の光を投影するためのレンズのアレイを有する。

上述の眼鏡不要の表示装置の欠点は、観測者が一定の位置に留まる必要があることである。観測者をガイドするため、該観測者が適切な位置に居ることを示すインジケータが提案されてきた。例えば、障壁板が赤及び緑のＬＥＤと組み合わせられた、米国特許番号US5986804を参照されたい。観測者が適切な位置に居る場合には該観測者は緑色の光を見、そうでなければ赤い光を見ることになる。

観測者が一定に位置に座る必要をなくすため、マルチビュー型自動立体視表示装置が提案されてきた。例えば、米国特許US60064424及びUS20000912を参照されたい。US60064424及びUS20000912において開示されたような表示装置においては、斜めに配置されたレンチキュラが利用され、該レンチキュラの幅は２つのサブ画素よりも大きい。このようにして、互いに隣り合う幾つかの画像があり、観測者は左及び右へと移動する幾分の自由度を持つ。

自動立体視表示装置の欠点は、３−Ｄ画像の生成に伴う解像度の損失である。これらの表示装置が、２−Ｄモードと３−Ｄモード、即ち単一ビューモードとマルチビューモードとの間で切り換え可能であることが有利である。比較的高い解像度が必要とされる場合には、単一ビューモードのほうがより高い解像度を持つため、該単一ビューモードに切り換えることが可能である。

斯かる切り換え可能な表示装置の例は、J. Eichenlaubによる論文「A lightweight compact 2-D/3-D autostereoscopic LCD backlight for games, monitor and notebook applications」（SPIE 3295のプロシーディング、1998年）に記載されている。２−Ｄモードと３−Ｄモードとの間で切り換えるために、切り換え可能なディフューザが利用されることが開示されている。切り換え可能な自動立体視表示装置の別の例は、国際特許出願公開WO2003015424に記載されており、ここでは切り換え可能なレンチキュラを生成するためＬＣベースのレンズが利用される。

原則として、表示装置全体を２−Ｄから３−Ｄ及びその逆に切り換えることが可能である。代替としては、表示装置の一部のみが切り換えられる。ビューモード間を切り換えるために、入力として適切な制御情報が必要とされる。

単一ビュー又はマルチビューに対応し得る画像データを受信するように構成された表示装置は、受信された画像データが該表示装置の機能と互換性があるか否かを決定するように構成される必要があることは明らかであろう。表示装置は、受信された画像データ中の実際のビューの数に基づいて、例えば単一ビュー又は複数ビューのような特定のビューモードに切り換えるように構成されても良い。代替として表示装置は、例えば９個のビューに対応する受信された画像データを、８個のビューに対応する表示データへとマッピングするように構成されても良い。このことは例えば、９個のビューのうちの１つに対応する受信された画像データの一部を無視することにより為され得る。受信された画像データ中の実際のビューの数を決定するニーズがあることは、明らかであろう。

本発明の目的は、比較的容易な方法で、受信された画像データが単一ビューに対応するか複数ビューに対応するかを決定する、最初のパラグラフにおいて記載した種類の方法を提供することにある。

本発明の本目的は、前記受信された画像データを幾つかのデータ要素の構造に分割するステップと、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の相関を計算するステップと、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の前記相関に基づき、前記受信された画像データが複数のビューに対応することを決定するステップと、を有する方法において達成される。

本発明は、合わせてマルチビュー画像を形成する種々のビューは、比較的強く相関しているという事実に基づく。一般に、種々のビューは、わずかに異なる角度から１以上のカメラにより捕捉された同一の場面に対応する。このことは、これらビューが相互に強い類似を示すことを意味する。対応する画素の輝度及び／又は色値、即ち種々のビューのデータ要素を比較することは、相関の量を表す尺度に帰着する。受信される画像データは、データ要素の規則的な構造（例えば輝度値又はＲＧＢのトリプレット（triplet）の２次元マトリクス）を有する。先験的に、データ要素が単一ビューに属するか、又は単一ビューよりも低い空間解像度を持つ複数ビューに属するかは知られない。受信された画像データを解析するため、該受信された画像データはマルチビューに対応すると仮定される。好ましくは、実際のビューの数及びデータ要素の構造のレイアウトについて仮定が為される。該受信された画像は、当該仮定に基づいて、幾つかのデータ要素の構造に分割される。例えば、該仮定が２つのビューがあるというものである場合、前記受信された画像の偶数のデータ要素が、前記データ要素の構造の第１のものに割り当てられ、前記受信された画像の奇数のデータ要素が、前記データ要素の構造の第２のものに割り当てられる。最後に、相関を計算し、該相関を解析することにより、前記仮定が確認される。好ましくは該解析は、前記相関を所定の閾値と比較することを有する。

本発明による方法の実施例は更に、前記データ要素の構造の第１のものと前記データ要素の構造の第３のものとの間の更なる相関を計算し、前記更なる相関が、前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の相関よりも小さい場合に、前記受信された画像データが複数のビューに対応することを決定するステップを有する。上述したように、マルチビュー画像の種々のビュー間には相関がある。一般に、種々のビュー間の相関は、相互に等しくない。例えば、２つの連続するビューは、互いから離れて配置されるビューよりも、一般により大きく相関している。相関を所定の閾値と比較することに加え、各相関を比較することは、より高い頑強性に帰着する。

本発明による方法の実施例は更に、前記データ要素の構造の第１のものと前記データ要素の構造の他のそれぞれのものとの間の更なる相関のシーケンスを計算し、前記更なる相関のシーケンスの連続する相関が所定のパターンに従って相互に関連する場合に、前記受信された画像データが複数のビューに対応することを決定するステップを有する。データ要素の構造の２つの対の相関を比較することに加え、複数の相関を互いと比較することが有利である。このことは、より頑強な方法に帰着する。所定のパターンは例えば、連続する値が前の値よりも低い、値のシーケンスであっても良い。代替として、連続する値がより高くても良い。例えば、１０、９、８、７、８、９、１０のような周期的パターンといった、他のパターンも可能であることは明らかであろう。

本発明による方法の実施例においては、前記受信された画像データの幾つかのデータ要素の構造への分割は、データ要素の構造のレイアウトのセットからの、データ要素の構造の特定のレイアウトの選択に基づく。受信された画像データを幾つかのデータ要素の構造に分割することは、仮定されるレイアウトに基づく。このことは、更なる構造の更なるデータ要素に対する、種々の構造のデータ要素の空間的配置を意味する。実際のレイアウトは知られない。原則的に、幾つかのとり得るレイアウト、即ちデータ要素の構造のレイアウトのセットがある。例えば、２個のビューを持つ表示装置に適した第１のレイアウト、８個のビューを持つ表示装置に適した第２のレイアウト、９個のビューを持つ表示装置に適した第３のレイアウト、等である。本発明による方法の本実施例は、幾つかのレイアウトを評価するように構成される。第１のレイアウトがレイアウトのセットから選択され、種々の相関を計算し該相関を相互に比較することにより評価される。続いて、第２のレイアウトが選択され、同様に評価される。任意に更なるレイアウトが評価される。最後に、種々の評価に基づいて、最も合致するレイアウトが選択される。

一般に、前記データ要素の構造の特定のレイアウトは、前記画像データを受信し前記データ要素の構造の特定のレイアウトに合致する特定の数のビューを生成するように構成された、表示装置の光発生部の構造のレイアウトに対応する。

本発明の他の目的は、比較的容易な方法で、受信された画像データが単一ビューに対応するか複数ビューに対応するかを決定する、最初のパラグラフにおいて記載した種類のコンピュータプログラムを提供することにある。

本発明の本目的は、処理手段及びメモリを有し、前記受信された画像データを幾つかのデータ要素の構造に分割するステップと、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の相関を計算するステップと、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の前記相関に基づき、前記受信された画像データが複数のビューに対応することを決定するステップと、を実行する機能を提供するコンピュータプログラムにおいて達成される。

本発明の他の目的は、比較的容易な方法で、受信された画像データが単一ビューに対応するか複数ビューに対応するかを決定するように構成された、最初のパラグラフにおいて記載した種類のビューモード解析ユニットを提供することにある。

本発明の本目的は、前記受信された画像データを幾つかのデータ要素の構造に分割する分割手段と、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の相関を計算する計算手段と、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の前記相関に基づき、前記受信された画像データが複数のビューに対応することを決定する決定手段と、
を有するビューモード解析ユニットにおいて達成される。

本発明の他の目的は、比較的容易な方法で、受信された画像データが単一ビューに対応するかマルチビューに対応するかを決定するように構成された、最初のパラグラフにおいて記載した種類の表示装置を提供することにある。

本発明の本目的は、前記受信された画像データを幾つかのデータ要素の構造に分割する分割手段と、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の相関を計算する計算手段と、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の前記相関に基づき、前記受信された画像データが複数のビューに対応することを決定する決定手段と、
を有する、表示装置のビューモード解析ユニットにおいて達成される。

本発明による表示装置の実施例は、第１のビューモードと第２のビューモードとの間で前記表示装置の一部を切り換えるように構成され、前記表示装置は更に、前記表示装置の前記一部の実際のビューモードに依存して前記発生された光を転送する光学手段を有し、前記実際のビューモードは、前記第１のビューモード又は前記第２のビューモードであり、前記光学手段は、前記ビューモード解析ユニットにより制御される。一般に、前記第１のビューモードが単一ビューモードに対応し、前記第２のビューモードがマルチビューモードに対応する。

本発明による表示装置の実施例は、第１の数のビューを、前記第１の数のビューと異なる第２の数のビューにマッピングするマッピング手段を有する。

前記ビューモード解析ユニットの変更及び変形は、説明される表示装置、方法及びコンピュータプログラムの変更及び変形に対応し得る。

本発明によるビューモード解析ユニット、表示装置、方法及びコンピュータプログラムのこれらの及び他の態様は、以下に説明される実装例及び実施例に関連して、添付図面を参照しながら説明され明らかとなるであろう。

図を通して、同一の参照番号が類似する部分を示すために用いられる。

図１は、本発明による切り換え可能な表示装置１００の実施例を模式的に示す。切り換え可能な表示装置１００は、ビューモード間を切り換えるように構成される。２−Ｄビューモードとも呼ばれる単一ビューモードにおいては、１つの画像のみが生成される。換言すれば、単一ビューモードにおいては、比較的大きな視野角を持つ観測円錐で観測される単一ビューが生成される。３−Ｄビューモードとも呼ばれるマルチビューモードにおいては、複数の画像が生成される。これら画像は、それぞれが前記観測円錐よりもかなり小さい視野角を持つ、種々の観測円錐において観測されることができる。例えば、マルチビューモードにおけるビューの数は９である。一般に前記観測円錐は、表示装置１００に対して適切に位置する観測者が、該観測者の左眼に第１のビューを、該観測者の右眼に前記第１のビューと相関する第２のビューを提示され、３−Ｄの印象に帰着するようなものである。

切り換え可能な表示装置１００は、完全に又は部分的にのみ切り換えるように構成される。即ち、表示装置１００の全体が単一ビューモードであるか若しくはマルチビューモードであるか、又は表示装置１００の第１の部分が単一ビューモードであり一方で第２の部分がマルチビューモードである。例えば、前記表示装置の殆どの部分が単一ビューモードであり、１つのウィンドウがマルチビューモードである。

表示装置１００は、
−入力コネクタ１０６に供給される画像データを受信する受信ユニット１０２と、
−前記受信された画像データに基づいて光を発生する光発生ユニット１０８と、
−前記表示装置の実際のビューモードに依存して、前記発生された光を転送する導光ユニット１１０と、
−受信ユニット１０２により受信された画像データに基づいて、光発生ユニット１０８に供給されるべき駆動値を計算するように構成された画像レンダリングユニット１１２と、
−前記受信された画像が単一ビューに対応するか複数ビューに対応するかを決定するために前記受信された画像を解析するビューモード解析ユニット１０４と、
を有する。ビューモード解析ユニット１０４は、図２乃至５に関連してより詳細に説明される。ビューモード解析ユニット１０４は、前記受信された画像データが、部分的に又は完全に、ビューモードの１つに対応しているかを決定するように構成される。前記受信された画像データの第１の部分が単一ビューに対応し、第２の部分がマルチビューに対応している場合、ビューモード解析ユニット１０４は、前記第１及び第２の部分の座標を導光ユニット１１０に供給する。

前記受信された画像は、それぞれ輝度値を持つ要素を有する。例えば、情報信号はＲＧＢフォーマットを持つビデオ信号である。輝度は、ＲＧＢ成分により表現されることは留意されるべきである。代替としては、ＹＵＶフォーマット又は他のフォーマットが、表示装置１００に入力を供給するために利用される。画像データは、アンテナ又はケーブルを介して受信される放送信号であっても良いが、ＶＣＲ（Video Cassette Recorder）又はＤＶＤ（digital Versatile Disk）のような記憶装置からの信号であっても良い。

光発生ユニット１０８は、前記画像データに基づく駆動信号に基づいて変調される光発生素子のマトリクスを有する。好ましくは、光発生ユニット１０８はＬＣＤを有する。

導光ユニット１１０は、制御可能な視差障壁に基づいても良い。制御可能とは、光吸収の量が固定ではないことを意味する。例えば第１の状態においては前記視差障壁がオフにされる（発生された光を吸収しないことを意味する）。該第１の状態においては、切り換え可能な表示装置１００が単一ビューモードである。第２の状態においては、前記視差障壁がオンにされる（特定の方向の光を吸収することを意味する）。該第２の状態においては、切り換え可能な表示装置１００がマルチビューモードである。任意に、前記視差障壁の位置が制御可能であり、眼の追跡に応じて光を誘導することを可能としても良い。

好ましくは、導光ユニット１１０はレンズに基づく。単一ビューモードとマルチビューモードとの間を切り換えるため、導光ユニット１１０は任意にディフューザを有する。代替としては、導光ユニット１１０は、切り換え可能なレンズを有するか、又はレンズの効果を補償するように構成されたレンズと協働するように構成された手段を有する。

画像レンダリングユニット１１２は、受信ユニット１０２により受信された画像データに基づいて、光発生ユニット１０８に供給されるべき駆動値を計算するように構成される。前記駆動値は、前記受信された画像データの輝度値に直接基づくものであっても良い。このことは、受信された輝度値と画像レンダリングユニット１１２の出力値との間に１対１の関係があることを意味する。この場合、前記画像レンダリングユニットは単純に値を供給する。しかしながら、受信された画像データと画像表示装置の解像度との間の画像解像度には差異があり得る。この場合には画像スケーリングが必要とされる。

受信された画像データが、前記表示装置が表示するように構成されたものとは異なる数のビューを有し得る。この場合には、マッピングが必要とされる。マッピングは、１以上のビューに対応する受信された画像データの一部を無視することであっても良い。代替としては、付加的なビューに対応するデータが、前記受信された画像データに基づいて生成される。該生成は単に、前記受信された画像データの一部をコピーすることに基づいても良い。好ましくは、斯かる付加的なビューのデータは、内挿即ち空間的なフィルタリングにより生成される。

受信ユニット１０２、画像レンダリングユニット１１２及びビューモード解析ユニット１０４は、１つのプロセッサを利用して実装されても良い。通常これらの機能は、ソフトウェアプログラムの制御下で実行される。実行の間、該ソフトウェアプログラムは通常、ＲＡＭのようなメモリにロードされ、該メモリから実行される。前記プログラムは、ＲＯＭ、ハードディスク若しくは光及び／又は磁気記憶装置のようなバックグラウンドのメモリからロードされても良いし、又はインターネットのようなネットワークを介してロードされても良い。任意に、特定用途向け集積回路が開示された機能を提供しても良い。

本発明による切り換え可能な表示装置１００は、例えばＴＶであっても良い。画像処理機器１００は任意に、ハードディスクのような記憶手段、又は例えば光ディスクのような着脱可能な媒体における記憶のための手段を有する。

要約すると、本発明による画像データを受信するマルチビュー表示装置の実施例は、単一ビューモードとＮ個のビューを持つマルチビューモードとの間で切り換え可能であることを仮定する。該表示装置は、受信された画像データに幾つのビューが存在するかを検出するように構成される。１つのビューのみである場合には、前記表示装置は単一ビューモードに切り換える。前記画像がＭ個のビューを含みＭがＮに等しくない場合には、以下の選択肢をとり得る：
−受信された画像が３−Ｄ表示とは互換性がないことを観測者に通知するメッセージを表示する。
−単一ビューモードの表示装置を利用し、受信された画像データに存在するビューの１つのみを表示する。
−Ｍ個のビューを内挿（又は外挿）しＮ個のビューを得、これらＮ個のビューを表示装置のマルチビューモードで表示する。好ましくは、受信された画像データ中の中心のビューが決定され、該ビューが該表示装置に略垂直な方向に誘導されるように構成する。ここで中心のビューとは、平均ビュー間相関係数が比較的小さいビューを意味する（相関係数の定義についての以下の記載を参照）。

図２Ａは、データ要素の第１の構造２４０及びデータ要素の第２の構造２５０に対する、受信された画像データ２００の２つの二者択一的なマッピングを模式的に示す。受信された前記画像データは、良く知られたＲＧＢ（red, green, blue）フォーマットに従って構成されていることを仮定する。このことは、値のトリプレット２０２乃至２１２の２次元マトリクス２００が受信されることを意味する。トリプレットの相互の相関は知られていない。即ち、受信された画像データが単一ビューに対応しているか又は複数ビューに対応しているかは知られていない。受信された画像データが単一ビューに対応すると仮定すると、図２Ａの上部に示されるように、画像レンダリングユニット１１２による、駆動値２１４乃至２２４へのＲＧＢ値のマッピングが適切である。図２Ａの上部は、同一のビュー即ちビュー数１に全てが対応するデータ要素のレイアウトを示す。例えば、前記値のトリプレットのうち第１のもの２０２の３つの成分は、光発生ユニット１０８の３つの異なる光発生要素に対応する、３つの異なる駆動値２１４乃至２１８にマッピングされる。

しかしながら、受信された画像データが９個のビューに対応すると仮定すると、図２Ａの下部に示されるように、駆動値２２４乃至２３４へのＲＧＢ値のマッピングが適切である。図２Ａの下部は、数１乃至９により示される、９個の異なるビューに対応するデータ要素のレイアウトを示す。

図２Ｂは、データ要素の第３の構造２６０及びデータ要素の第４の構造２７０に対する、受信された画像データ２００の更なるマッピングを模式的に示す。データ要素の第３の構造２６０は、数１及び２により示されるビューに対応する。データ要素の第４の構造２７０は、数１乃至４により示される４つのビューに対応する。データ要素の代替の構造もとり得ることは留意されるべきである。

Ｎ個のビューの３−Ｄ表示装置に配置される画素は、それぞれがＮ個のサブ画素を有する反復ユニットセル又は超画素に分割されても良い。これらサブ画素のそれぞれはＮ個の異なるビューの１つに対応し、赤色、緑色又は青色のうち１つを生成するように構成される。該レイアウトは知られており、特定の３−Ｄディスプレイについて一定である。上述したように、図２Ａの下部は、９個のビューについてのデータ要素のレイアウトに対応する。該レイアウトは、それぞれが９個のサブ画素を持つユニットセルに分割され得る。これら９個のサブ画素のそれぞれは、９個の異なるビューの１つに対応する。

一般に、隣接するビューについては、該ビューの画像コンテンツ間に大きな相関がある。これに加えて、例えばビュー１とビューＮとのような離れたビューについては、該相関は小さい。一般に、ビュー１の画像コンテンツとビューｊの画像コンテンツとの間の相関は、ｊ＝２については大きく、ｊがｊ＝Ｎまで増大するにつれて徐々に減少する。Ｒ^２ _１ｊをビュー１とビューｊとの間のビュー間相関係数とする。一般に、該相関係数は、マルチビュー画像について、ｊ＝１からｊ＝Ｎまで、略線形に減少する。実際には単一ビューに対応する受信された画像データが、該画像データが複数ビューに関連するという仮定に基づきデータ要素の構造に分割され、これら構造間の相関が計算された場合には、該計算された相関は比較的小さく、及び／又は略線形には減少しない。これに加え、所定のパターンと合致するような、観測可能な相関のシーケンスにおけるパターンは存在しない。徐々に減少する値のシーケンスもまたパターンであることに留意されたい。

上述したように、一般にマルチビュー画像の場合には、Ｒ^２ _１ｊはｊに対して略直線（即ち所謂線形回帰）に従う。これらのビュー間相関係数に線形回帰モデルが如何によく合致するかの尺度は、全体相関係数と呼ばれ、以下Ｒ^２により示される。受信された画像データが複数のビューを表し、データ構造の適切なレイアウトが評価された場合には、Ｒ^２は略１に等しい。しかしながら、受信された画像データが実際には単一のビューに対応する場合には、計算される全体相関係数は略ゼロに等しい。

次に、ビュー間相関係数Ｒ^２ _１ｊ及び全体相関係数Ｒ^２を計算する方法が、より詳細に説明される。

最初のステップは、受信された画像データを、種々のビューに対応する幾つかのデータ要素の構造に分割することである。仮定されるレイアウトが、表示装置の実際のレイアウトに対応するとする。例えば３＊ｍ＊ｎ＊Ｎ個のサブ画素に対応する、ｍ＊ｎ＊Ｎ個の画素を持つＮビューの表示装置を考える。特定の色の各ビューは、ｍ＊ｎ個のサブ画素に対応する。例として図３において、特定の色の３つの異なるビューの画像コンテンツが示される。ビュー１の画像コンテンツとビュー２の画像コンテンツの間の類似度は、比較的大きい。ビュー１とビュー３とについては、類似性はより小さい。

続いて、種々のビュー間相関係数が計算される。同一の色に対応する２つのビューｉ及びｊについてのビュー間相関係数は、以下の式１に基づいて計算される：

ここで、Ｘ_ｎｍ ^ｉ及びＸ_ｎｍ ^ｊは、同一の色に対応する異なるビュー（ビューｉ及びｊ）における座標（ｎ，ｍ）に位置する２つのサブ画素の輝度値である。和は全ての画素（ｎ，ｍ）についてとられる。

３つの色のそれぞれについて得られるビュー間相関係数は平均化され、対象となるそれぞれのビューについての平均化されたビュー間相関係数に到達する。代替としては、３つの色のうち最も大きなビュー間相関係数のみが考慮される。なぜなら、同一の色成分には少ない情報しかないであろうからである。

最後に、前記ビュー間相関係数の少なくとも１つが所定の閾値よりも大きい場合、前記受信された画像データが複数のビューに対応することが決定される。

代替としては、前記計算されたビュー間相関係数が、該相関係数が所定のパターンに合致するか否かを決定するため分析される。図４Ａは、９個のビューの表示装置における、典型的なマルチビュー画像についてのビュー間相関係数Ｒ^２ _ｉｊの例を示す。換言すれば、図４Ａは、９個のビューの表示装置における、典型的なマルチビュー画像についてのビュー間相関係数Ｒ^２ _ｉｊの値の等高線図を、ビューｉ及びｊの関数として示す。ｉ＝ｊを満たす対角線に沿って、ビュー間相関係数は１に等しい。該対角線から離れるにつれて、ビュー間相関係数は単調に減少する。例えば、ビュー５とビューｊとの間のビュー間相関係数を考えると、Ｒ^２ _５ｊはｊ＝１からｊ＝５までは増加し、ｊ＝５からｊ＝９までは減少する。

ビュー間相関係数間の相互の関係を定量化するため、以下の式２に規定されるように、全体相関係数Ｒ^２が計算される：

和は、ｊ＝１からｊ＝Ｎまでｊについてとられる。データ要素の構造のレイアウトについての仮定が正当である場合には、計算結果は比較的高い全体相関係数に帰着する。

任意に、前記受信された画像データはデータ要素の構造の代替のレイアウトに基づいて分割され、上述したものと同様の評価によって後続される。

図４Ｂは、９個のビューの表示装置における別のマルチビュー画像についてのビュー間相関係数Ｒ^２ _ｉｊの別の例を示す。ここでは、連続するビュー間相関係数は増加／減少せず、所定のパターンに対応する。ビューは、「周期的」分布と呼ばれるものに従って配置される。該概念は、２００４年３月９日に出願された欧州特許出願番号EP04101024.0（整理番号PHNL040285）においてより詳細に開示されている。

図５は、本発明によるビューモード解析ユニット１０４の実施例を模式的に示す。ビューモード解析ユニット１０４は、受信された画像データを解析し、該受信された画像データが単一ビューに対応するか複数ビューに対応するかを決定するように構成される。ビューモード解析ユニット１０４は、
−前記受信された画像データを幾つかのデータ要素の構造に分割する分割ユニット５０２と、
−前記データ要素の第１の構造と前記データ要素の第２の構造との間の相関を計算する計算ユニット５０４と、
−前記受信された画像データが複数のビューに対応するか又はそうでないことを決定する決定ユニット５０６と、
を有する。

分割ユニット５０２、計算ユニット５０４及び決定ユニット５０６は、１つのプロセッサを利用して実装されても良い。

ビューモード解析ユニット１０４は、該ユニットの入力コネクタ５１２において画像データを供給され、該ユニットの第１の出力コネクタ５１４において第１の出力信号を供給し、該ユニットの第２の出力コネクタ５１６において第２の出力信号を供給するように構成される。前記第１の出力信号は、データ要素の構造の実際のレイアウト、即ちマルチビュー構成の種々のビューがどのように配置されているかを表す。該情報は、画像レンダリングユニット１１２に供給される。任意に、前記第１の出力信号は、例えばどのビューが中心ビューであるか、及びビューが「周期的」であるか否かといった、付加的な情報を有する。前記第２の出力信号は、前記受信された画像データが単一ビューに対応するか複数ビューに対応するかを示す。前記第２の出力信号は、単一ビューモードとマルチビューモードとの間で切り換えるように構成された導光ユニット１１０に供給される。

分割ユニット５０２は、ビューモード解析ユニット１０４に、データ要素の構造のレイアウトのセットを供給する第１の制御インタフェース５０８を有する。該分割ユニットは、前記レイアウトのうちの選択された１つに基づいて、前記受信された画像データを分割するように構成される。

決定ユニット５０６は、ビュー間相関係数のシーケンスを解析するために適用されるべき所定のパターンをビューモード解析ユニット１０４に供給するための、第２の制御インタフェース５１０を有する。

好ましくは、本発明によるビューモード解析ユニット１０４は、時間フィルタリング手段、即ちローパスフィルタを有する。該解析は、後続する画像に対して実行される。後続する画像に基づく後続する解析が、２つの異なる結果に帰着することが起こり得る。例えば、幾つかの後続する解析が、前記受信された画像データがマルチビューに対応することを示し、突然１つの解析が、画像データのまさに今受信された部分が単一ビューに対応することを示し得る。一般に、最新の解析が正しくない確率は、画像データのまさに今受信された部分が実際に単一ビューに対応する確率よりも高い。ビューモード解析ユニット１０４が不安定な結果を供給することを防ぐため、好ましくは時間フィルタリングが適用される。

上述の実施例は本発明を限定するものではなく説明するものであって、当業者は添付する請求項の範囲から逸脱することなく代替実施例を設計することが可能であろうことは留意されるべきである。請求項において、括弧に挟まれたいずれの参照記号も、請求の範囲を限定するものとして解釈されるべきではない。「有する（comprise）」なる語は、請求項に記載されたもの以外の要素又はステップの存在を除外するものではない。要素に先行する冠詞「１つの（a又はan）」は、複数の斯かる要素の存在を除外するものではない。本発明は、幾つかの別個の要素を有するハードウェアによって、及び適切にプログラムされたコンピュータによって実装されても良い。幾つかの手段を列記したユニットの請求項において、これら手段の幾つかは同一のハードウェアのアイテムによって実施化されても良い。「第１」、「第２」及び「第３」等といった語の使用は、いずれの順序を示すものではない。これらの語は名称として解釈されるべきである。

本発明による切り換え可能な表示装置の実施例を模式的に示す。データ要素の第１の構造及びデータ要素の第２の構造に対する、受信された画像データの２つの二者択一的なマッピングを模式的に示す。データ要素の第３の構造及びデータ要素の第４の構造に対する、受信された画像データの更なるマッピングを模式的に示す。３つの隣接するビューに対応する画像データの例を示す。９ビューの表示装置における一般的な３−Ｄ画像についてのビュー間相関係数Ｒ^２ _ｉｊの例を示す。別の９ビューの表示装置における一般的な３−Ｄ画像についてのビュー間相関係数Ｒ^２ _ｉｊの別の例を示す。本発明によるビューモード解析ユニットの実施例を模式的に示す。

Claims

受信された画像データが単一ビューに対応するか複数のビューに対応するかを決定するため、前記受信された画像データを解析する方法であって、
前記受信された画像データを幾つかのデータ要素の構造に分割するステップと、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の相関を計算するステップと、
前記データ要素の構造の第１のものと前記データ要素の構造の第３のものとの間の更なる相関を計算するステップであって、前記データ要素の構造の第３のものに対応する第３ビューは、前記データ要素の構造の第２のものに対応する第２ビューより、前記データ要素の構造の第１のものに対応する第１ビューから離れているステップと、
前記更なる相関が、前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の前記相関よりも小さい場合に、前記受信された画像データが複数のビューに対応することを決定するステップと、
を有する方法。
受信された画像データが単一ビューに対応するか複数のビューに対応するかを決定するため、前記受信された画像データを解析する方法であって、
前記受信された画像データを幾つかのデータ要素の構造に分割するステップと、
前記データ要素のそれぞれの構造間の相関のシーケンスを計算し、前記相関のシーケンスの連続する相関が所定のパターンに従って相互に関連する場合に、前記受信された画像データが複数のビューに対応することを決定するステップと、
を有する方法。
前記受信された画像データの幾つかのデータ要素の構造への分割は、データ要素の構造のレイアウトのセットからの、データ要素の構造の特定のレイアウトの選択に基づく、請求項１又は２に記載の解析する方法。
前記データ要素の構造の特定のレイアウトは、前記画像データを受信し前記データ要素の構造の特定のレイアウトに合致する特定の数のビューを生成するように構成された、表示装置の光発生部の構造のレイアウトに対応する、請求項３に記載の解析する方法。
受信された画像データが単一ビューに対応するか複数のビューに対応するかを決定するため、前記受信された画像データを解析するための命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後に、前記処理手段に、
前記受信された画像データを幾つかのデータ要素の構造に分割するステップと、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の相関を計算するステップと、
前記データ要素の構造の第１のものと前記データ要素の構造の第３のものとの間の更なる相関を計算するステップであって、前記データ要素の構造の第３のものに対応する第３ビューは、前記データ要素の構造の第２のものに対応する第２ビューより、前記データ要素の構造の第１のものに対応する第１ビューから離れているステップと、
前記更なる相関が、前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の前記相関よりも小さい場合に、前記受信された画像データが複数のビューに対応することを決定するステップと、
を実行する機能を提供するコンピュータプログラム。
受信された画像データが単一ビューに対応するか複数のビューに対応するかを決定するため、前記受信された画像データを解析するための命令を有する、コンピュータ装置によってロードされるコンピュータプログラムであって、前記コンピュータ装置は処理手段及びメモリを有し、前記コンピュータプログラムは、ロードされた後に、前記処理手段に、
前記受信された画像データを幾つかのデータ要素の構造に分割するステップと、
前記データ要素のそれぞれの構造間の相関のシーケンスを計算し、前記相関のシーケンスの連続する相関が所定のパターンに従って相互に関連する場合に、前記受信された画像データが複数のビューに対応することを決定するステップと、
を実行する機能を提供するコンピュータプログラム。
受信された画像データが単一ビューに対応するか複数のビューに対応するかを決定するため、前記受信された画像データを解析するビューモード解析ユニットであって、
前記受信された画像データを幾つかのデータ要素の構造に分割する分割手段と、
前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の相関、及び、前記データ要素の構造の第１のものと前記データ要素の構造の第３のものとの間の更なる相関を計算する計算手段であって、前記データ要素の構造の第３のものに対応する第３ビューは、前記データ要素の構造の第２のものに対応する第２ビューより、前記データ要素の構造の第１のものに対応する第１ビューから離れている計算手段と、
前記更なる相関が、前記データ要素の構造の第１のものと前記データ要素の構造の第２のものとの間の前記相関よりも小さい場合に、前記受信された画像データが複数のビューに対応することを決定する決定手段と、
を有するビューモード解析ユニット。
受信された画像データが単一ビューに対応するか複数のビューに対応するかを決定するため、前記受信された画像データを解析するビューモード解析ユニットであって、
前記受信された画像データを幾つかのデータ要素の構造に分割する分割手段と、
前記データ要素のそれぞれの構造間の相関のシーケンスを計算し、前記相関のシーケンスの連続する相関が所定のパターンに従って相互に関連する場合に、前記受信された画像データが複数のビューに対応することを決定する決定手段と、
を有するビューモード解析ユニット。
受信された画像データに基づいて複数のビューを表示するように構成された表示装置であって、
画像データを受信する受信手段と、
前記受信された画像データに基づいて光を発生する光発生手段と、
前記受信された画像が単一ビューに対応するか複数のビューに対応するかを決定するために前記受信された画像を解析する、請求項７又は請求項８に記載のビューモード解析ユニットと、
を有する表示装置。
前記表示装置は、第１のビューモードと第２のビューモードとの間で前記表示装置の一部を切り換えるように構成され、前記表示装置は更に、前記表示装置の前記一部の実際のビューモードに依存して前記発生された光を転送する光学手段を有し、前記実際のビューモードは、前記第１のビューモード又は前記第２のビューモードであり、前記光学手段は、前記ビューモード解析ユニットにより制御される、請求項９に記載の表示装置。
第１の数のビューを、前記第１の数のビューと異なる第２の数のビューにマッピングするマッピング手段を有する、請求項９又は１０に記載の表示装置。