JP6233876B2 - 裸眼対応多重画像提示装置 - Google Patents

Description

本発明は、単一の画面又はスクリーンを用いて多人数で同時に異なる画像又は映像を裸眼のままで観賞することを可能にする画像提示装置である。この画像提示装置の技術を用いることにより家庭の１台のテレビを多人数で同時にシェアして異なる番組を観賞することや、映画館等で一つのスクリーンで同時に異なる複数の映画を上映することなどが可能となる。さらに、左右の目に異なる画像を提示することで、裸眼立体視も可能となる。

非特許文献１に、単一の映像提示装置を用いて複数の映像を同時に提示する技術が紹介されている。これでは、カラーフィルタや偏光板などを用いた特殊なメガネを装着する方法が採用されている。この代表的な技術として、特許文献１や特許文献２に記載されているように特殊なメガネを装着して左右の目に異なる映像を提示する立体視のための技術があげられる。
また、メガネを装着しない方法としては、特許文献３に記載されているように映像提示装置の前面にマイクロレンズやレンティキュラレンズやパララックスバリアを配置し、観測する方向によって提示する映像を変化させる技術がある

WO2011102136 A1 US Patent No.6283597 特開２００４−４０７２２号公報

3D立体映像表現の基礎、オーム社、平成22年

上記のように、従来の方法では、メガネやレンティキュラレンズを用いて観測者に届く光を制御することにより観測者それぞれに対して異なる映像を提示していた。しかし、メガネを用いる方法は、メガネ装着による観測者の負担が大きいため、長時間の視聴が難しい。また、レンティキュラレンズやパララックスバリアを用いる方法では、観測する方向や位置が限定されており、自由な位置での映像の視聴ができないという問題がある。

これに対して本発明は、人間の視覚特性（以下、「分光感度特性」という）が個人間で異なっていることに着目し、画像表示装置の分光放射輝度を制御することにより、見る人それぞれが異なる画像を観測することを利用した画像提示装置に関する。つまり、すべての観測者が同一の光（画像）を観測するが、それぞれの観測者の分光感度特性の差異により異なる画像として知覚する。

人間の色の知覚は３つの錐体細胞であるS（青）、M（緑）、L（赤）のセンサの出力により決定される。この錐体細胞（センサ）の分光感度特性は個人ごとに微妙に異なるため、画像提示装置の分光放射輝度を細かく制御することにより、個人ごとに異なる画像を提示することが可能となる。
しかし、現在の主たる画像提示装置は、赤（R）、緑（G）、青（B）の3チャンネルにより色を表現しており、分光放射輝度を細かく制御することはできない。

そこで、画像提示装置をより細かいバンドの光を用いて、多チャンネル化することにより、分光放射輝度の細かな制御を実現する。このような多チャンネル映像提示装置としては、マルチバンドプロジェクタやマルチバンドディスプレイがあげられる。これらの多チャンネル映像提示装置は、通常のRGBよりも狭い帯域の光を多数用いて色の表現を行う。そのため、一般的な３チャンネルの映像提示装置と比較して、より細かく分光放射輝度を制御することが可能である。
これを用いることにより観測者ごとの分光感度特性に合わせた画像を提示することが可能となり、１つの画像提示装置から多数の画像を同時に出力することができる。

発明１は、単一または複数の観測者に対して画像を提示する画像提示装置において、分光放射輝度を制御することが可能な画像提示部を持ち、観測者の右目及び左目のそれぞれの分光感度特性に応じて、画像提示部の前記分光放射輝度を制御して画像を提示することにより、観測者の右目及び左目のそれぞれに対して異なる画像を同時に提示することを特徴とする画像提示装置である。発明２は、可視光の波長帯域において４種以上の分光放射特性を持つ複数の画像提示手段よりなる画像提示部を持つことを特徴とする発明１に記載の画像提示装置ある。発明３は、観測者が選択した画像を元に、複数の画像提示手段のそれぞれにおいて提示する提示用画像を作成する画像作成部を持ち、提示用画像を画像提示手段により、単一の多重画像を作成することを特徴とする発明２に記載の画像提示装置である。発明４は、画像作成部において、分光感度特性および分光放射特性より感度特性行列を計算し、観測者が選択した画像と感度特性行列より、提示用画像を作成することを特徴とする請発明３に記載の画像提示装置である。発明５は、画像作成部において、画像提示手段の提示輝度の範囲内において、観測者が観測する画像のコントラストが高くなるように、提示用画像を作成することを特徴とする発明３又は４のいずれかに記載の画像提示装置である。

人間の目の3つの錐体細胞（Ｓ、Ｍ、Ｌ）の分光感度特性x₁(λ)、 x₂(λ)、 x₃(λ)を示す図である。 本発明の実施例の一つである観測者ごとへの異なる画像提示の図である。 本発明の実施例の一つである裸眼立体視のための視差画像の表示図である。 本発明のシステム構成を示す図である。 本発明における多重画像提示装置例で、５つの異なるバンドの画像を提示することを示す図である。 本発明の多重画像提示装置において用いた５つのバンドパスフィルタの分光透過率を示す図である。 ２つの異なる観測者（センサ）に提示させる目標画像である。 ５台のプロジェクタから投影する画像である。 各観測者が実際に観測する画像である。 微細な表示素子に複数のバンドパスフィルタを装着した複数の表示素子による画像提示装置を示す図である。 ＤＭＤ（デジタル・ミラー・デバイス）を用いた画像提示装置を示す図である。 テレビ放送を多重画像提示装置で観賞する場合の作動フローを示す。 立体映像を多重画像提示装置で観賞する場合の作動フローを示す。

（原理）
多チャンネル画像提示装置を用いて観測者に異なる画像を観測させる方法について示す。まず、観測者が画像提示装置中の1点（画素）を観測した場合を考える。観測者の分光感度特性についてはあらかじめ計測されており、第-j錐体の波長λに関する分光感度特性をx_j (λ)とする。図１は、人間の目の3つの錐体細胞（Ｓ、Ｍ、Ｌ）の分光感度特性x₁(λ)、 x₂(λ)、 x₃(λ)の例である。
また、画像提示装置のチャンネル数をNとし、第iチャンネルの波長λに関する分光放射特性をE_i (λ)、第iチャンネルの提示輝度をb_iとする。このとき、観測者の第-j錐体において観測される輝度X _jは以下の式で計算できる。

数１をより簡潔に記述するために、定数C_jiを以下のように定義する。

このC_jiを用いることにより、数１は以下のように書き換えられる。

数３は、行列形式を用いて以下の数４のように表すことができる。

また、複数の観測者（あるいは複数の目）が存在する場合には、数４を一般化することで、提示輝度b_iと複数の観測者の観測輝度X _jとの関係を次式のように表すことができる。

ここで、Mは観測者の錐体の総数である。

数５においてC_jiより構成される行列を感度特性行列と呼ぶ。この感度特性行列は観測者と画像提示装置との間の関係を表しており、提示された光を観測者がどのようにとらえるかを表している。また、数５は感度特性行列が既知であれば、数５の連立方程式を満たす提示輝度b_iを求めることによりそれぞれの観測者に対して任意の画像が提示可能であることを示している。つまり、X_jにそれぞれの観測者に提示したい画像の輝度の値を代入し、この連立方程式を解いて提示輝度b_iを求め、これを提示することにより、それぞれの観測者に対して異なる輝度を観測させることが可能である。したがって、すべての画素について同様の処理を行うことにより、図２に示すように各観測者に対してそれぞれ異なる任意の画像を提示することが可能となる。また、各感度特性行列に右目、左目の特性を用いることにより、図３に示すような裸眼立体視を実現することができる。
即ち、各観測者に、それぞれ異なる任意の画像を提示し観測させることは、上述の連立方程式を解いて求めた提示輝度ｂ_ｊに応じて、画像提示装置の画像提示部の分光放射輝度を制御することにより、求めた提示輝度ｂ_ｊよりなる画像をスクリーンやＬＣＤ(液晶ディスプレイ)等に表示することである。

しかし、上記の連立方程式を解いた場合、解b_iに負の値が含まれる場合が存在する。一般的な画像提示装置からは負の明るさを持つ光を投影することができないため、このままでは適切な画像提示を実現できない。そのため、提示する画像に補正を加えることにより画像提示を実現する。
いま，2人の観測者に対して画像提示を行う場合を考える。それぞれの観測者に提示する目標画像をX=[X₁、X₂、X₃]、Y=[Y₁、Y₂、Y₃]、としたとき、補正画像X’= [X₁’、X₂’、X₃’]、Y’ =[Y₁’、Y₂’、Y₃’]を以下の数６のように定義する。

ここでα、βはそれぞれの画像全体に対するスケール係数であり、m-、nは輝度のオフセットである。1は全要素の値が1のベクトルである。これらの係数を適切に設定することにより、解が負の値を含まないように画像を補正する。
まず、目標画像をX’、Y’とし、提示輝度b’と観測輝度の関係を以下のように記述する。

ここで、C_1、C₂はそれぞれの観測者の分光感度特性から導かれる感度特性行列である。先に述べたとおり画像提示装置では負の光を表現できないため、提示輝度b’には負の値が含まれてはならない。そこで、b’に含まれる負の値をペナルティとする評価関数を定義する。
いま、画素kにおいて数７の連立方程式を解くことにより解b’_kが得られたとする。このとき、b’_kに含まれる負の値を用いてペナルティN_kを以下のように定義する。

ここで、b_ki’はb_k’の第i要素を表し、ζ(x)はx<0のとき−1となり、x≧0のとき0となる関数である。このN_kの画像全体の総和を求めることにより、ペナルティ-N_allを以下のように定義する。

このペナルティN_allが最少となるようにα、β、m、nを決定することにより負の値を含まない画像を導出することができる。

しかし、このように負の輝度の値を含まないように画像の補正を行う場合、画像のコントラストが低下し画像の視認性が悪化する。この問題を避けるために、画像補正において画像コントラストの低下を抑制する。上記の式で示した画像補正後のコントラストは、以下の式でR_1、R₂として計算される。

ここで、I_maxは目標画像中の最大輝度を表す。このR₁，R₂を最大化することにより、コントラストの低下を抑制することが可能である。したがって，R_1、R₂を最大化し、かつ、N_allを最小化させるように、以下の評価値Eを最大化することにより適切な画像補正を実現することができる。

ここで、w_1、w₂はそれぞれの評価値に対する重みである。このEを最大化するようα、β、m、nを求め、数７により目標画像X、Yから各プロジェクタの提示輝度b’を求めることで、画像提示装置により表現可能でありかつ視認性の高い画像を、それぞれの観測者に対して独立に提示することが可能となる。
即ち、各観測者に、それぞれ異なる任意の画像を提示し観測させることは、上述の連立方程式を解いて求めた提示輝度b’に応じて、画像提示装置の画像提示部の分光放射輝度を制御することにより、求めた提示輝度b’よりなる画像をスクリーンやＬＣＤ(液晶ディスプレイ)等に表示することである。

（システム構成および動作）
図４は、本発明の画像提示装置のシステム構成を示す。画像提示装置は、提示用画像を作成する画像作成部と作成された提示用画像をプロジェクタ等により提示する画像提示部からなる。
画像作成部は提示用の画像を作成する。提示用画像は、画像情報（例えばテレビ放送）と感度特性行列から作成される。
感度特性行列は、観測者の目1から観測者の目Mまでの分光感度特性x_j(j=1〜,M)、および画像提示手段1からNの分光放射特性E_i(i=1〜N)から計算される。
複数の観測者は、観測者操作部（形態例：画像提示装置の表面部にパネル状に配置）にて、自己の分光感度特性、観賞したい画像（テレビでは番組のチャンネル）を選定する。
以上より、画像作成部では、複数の提示用画像が作成される。
画像提示部は、複数の画像提示手段（例：プロジェクタ）１からNで構成される。各画像提示手段には、光の波長の一定範囲のみを透過させる分光透過率を持つバンドパスフィルタ１からNを設ける。バンドパスフルタ１からNは、可視光の波長範囲（400〜750nm）を分割するように設定される。
各画像提示手段から、提示用画像が１つのスクリーン上においてぴったりと重なるように平面射影変換を用い形状変形されて投影され、一つの多重画像が生成される。

図５は、本発明の画像提示装置の画像提示部の例を示す。この画像提示部は５台のプロジェクタ（画像提示手段）より成る。各プロジェクタには、図６に示す分光透過率を持つ５種類のバンドパスフィルタを設置した。バンドパスフィルタf1 は青色（波長400〜500nm）、バンドパスフィルタf2は赤色（波長470〜550nm）、バンドパスフィルタf3は黄色（波長530〜620nm）、バンドパスフィルタf4は緑色（波長600〜680nm）、バンドパスフィルタf5は紫色（波長650〜750nm）を用いた。
ここで、プロジェクタとバンドパスフィルタのセットの数は６種以上でもよい。バンドパスフィルタの数を増やすと提示画像の光の情報量が増え、より多くの画像を１つの多重画像として提供することができる。また、通常のRGBよりも狭い帯域の光を利用するため、少なくとも４種以上の分光透過率、即ち分光放射特性を持つ画像提示手段を用いる。

各プロジェクタから白黒画像を、各バンドパスフィルタを介して投光することで、５つの異なる分光分布を持つ画像を投光することができる。
これらのプロジェクタは、一つのスクリーン画面上において全てのプロジェクタの画像がぴったりと重なるよう、画像作成部において平面射影変換を用いて画像の位置合わせをする制御（画像位置合わせ制御）を行っている。画像の位置合わせは、ミラーやレンズを用いて光学的、あるいは機械的に行っても構わない。

図５、図６の画像提示装置を用いて、異なる画像を観測させる例を示す。
本実施例では、異なる分光感度特性を持つ観測者として、図５の上部に示すカラーカメラとモノクロカメラという２つの異なる分光感度特性を持つカメラを用いた。カラーカメラのＲチャンネル、Ｇチャンネル、Ｂチャンネルの分光感度特性x_j(j=1、2、3)とモノクロカメラの分光感度特性x₄をあらかじめ測定しておき、画像提示装置の画像作成部に入力する。

それぞれの観測者に観測させたい目標画像を図７に示す。図７(a)はカラーカメラに観測させたい目標画像（赤色のバラの花）、図７(b)はモノクロカメラに観測させたい目標画像（モノクロの船）である。
次に、これらの目標画像からプロジェクタ投影画像を求める方法について説明する。まず、カラーカメラとモノクロカメラの各チャンネルの分光感度特性x_j(j=1〜4)と、各プロジェクタの分光放射特性E_i(i=1〜5)より、数２を用いて感度特性行列の各要素C_jiを求め、カラーカメラの感度特性行列C_１とモノクロカメラの感度特性行列C₂を求める。次に、カラーカメラの目標画像X、モノクロカメラの目標画像Y、感度特性行列C_１、C₂より、数７を用いて５台のプロジェクタから投影する提示輝度b’を求める。この提示輝度b’の計算は、提示するプロジェクタ画像の全ての画素において行う。これがプロジェクタ投影画像となる。このとき、数７のα、β、ｍ、n は数１１の評価値Eを最大化するように求める。図８はこのようにして求めた５台の各プロジェクタの投影画像（提示輝度よりなる画像）である。

これらの画像を、バンドパスフィルタを設置したそれぞれのプロジェクタから投影した結果、カラーカメラとモノクロカメラではそれぞれ図９に示す画像が観測された。図９(a)はカラーカメラの観測画像であり、図９(b)はモノクロカメラの観測画像である。カラーカメラである観測者は赤いバラを観測し、モノクロカメラである別の観測者はモノクロの船を観測した。
ここでは観測者が観測した画像を定量的に示すためカラーカメラとモノクロカメラを用いたが、これを異なる分光感度特性を持つ２人の人間の眼と考えれば、異なる２人の人間に異なる画像を提示していることになる。この例のように、本発明では、異なる分光感度特性を持つ観測者に対して異なる画像を提示する多重画像提示を実現した。

以上述べたシステム構成では、複数のプロジェクタを用いて画像提示装置を構成したが、図１０に示すように、ＬＣＤ(液晶ディスプレイ)などの微細な表示素子に複数のバンドパスフィルタを装着して複数の表示素子により画像の一つの画素を構成し、このような画素を縦横に敷き詰めることで画像提示装置を構成することもできる。またＤＬＰプロジェクタ（テキサス・インスツルメンツ社の登録商標）において、図１１に示すようにプロジェクタの投光部の前に回転円盤を設置し、この回転円盤に複数のバンドパスフィルタを装着しておき、回転円盤の回転と同期してＤＭＤ（デジタル・ミラー・デバイス）により各バンドパスフィルタの画像を提示することにより画像提示装置を構成することもできる。いずれの構成においても、先に述べた方法により求めた提示輝度b’を提示することで多重画像提示を実現することができる。

図１２には、２人の観測者がテレビ観賞する場合を想定した本発明の実施例をフローで示す。この場合には６台のバンドパスフィルタ付きのプロジェクタ（画像提示手段）を用いる。
第一に、２人の観測者の目の分光感度特性を事前に計測し、画像提示装置の画像作成部に入力する。
第二に、各観測者は、画像提示装置の分光感度特性の選択部（図示せず）において、自己の分光感度特性を選択する。同時に、テレビにて各人の観賞したい番組を選定する。このテレビ放送の画像情報は、画像作成部に入力される。
第三に、画像作成部において、各観測者の分光感度特性と６台の画像提示手段の分光放射特性から感度特性行列を計算する。
第四に、画像作成部において、各観測者が選定した番組放送の画像情報と感度特性行列より、６台の画像提示手段から投影する提示用画像Aを作成する。このとき、同時に、視認性を向上させるために、提示用画像Aのコントラストの最適化処理を行う。また、６台の画像提示手段の提示用画像Aがスクリーン上においてぴったりと重なるように平面射影変換を用いて各画像提示手段の提示用画像Aの形状変形を行う。
第五に、画像提示部において、６台の画像提示手段から提示用画像Aを投影し、スクリーン上において一つの多重画像Bを生成する。
第六に、各観測者は裸眼で同一のスクリーンに投影された多重画像Bを見ることにより、各観測者が選定した異なる番組を、同時に、カラーで観賞することができる。

図１３には、１人の観測者がカラー立体映像を観賞する場合を想定した本発明の実施例をフローで示す。この場合には６台のバンドパスフィルタ付きのプロジェクタ（画像提示手段）を用いる。
第一に、観測者の左右の目の分光感度特性を事前に計測し、画像提示装置の画像作成部に入力する。
第二に、カラー立体映像の右目用カラー画像と左目用カラー画像を画像作成部に入力する。
第三に、画像作成部において、観測者の左右の目の分光感度特性と６台の画像提示手段の分光放射特性から感度特性行列を計算する。
第四に、画像作成部において、右目用カラー画像と左目用カラー画像と感度特性行列より、６台の画像提示手段から投影する提示用画像Aを作成する。このとき、同時に、視認性を向上させるために、提示用画像Aのコントラストの最適化処理を行う。また、６台の画像提示手段の提示用画像Aがスクリーン上においてぴったりと重なるように平面射影変換を用いて各画像提示手段の提示用画像Aの形状変形を行う。
第五に、画像提示部において、６台の画像提示手段から提示用画像Aを投影し、スクリーン上において一つの多重画像Bを生成する。
第六に、観測者は裸眼で同一のスクリーンに投影された多重画像Bを見ることにより、カラーの立体映像を観賞することができる。

本発明を用いることにより，家庭内における単一のテレビを同時にシェアして視聴することが可能となる．また，映画館などでは，単一のスクリーンに複数の映像を同時に投影することが可能となる．立体視装置においても、視点位置に依存せずに立体視可能な裸眼の立体視が実現できる。

Claims (5)

1. 単一または複数の観測者に対して画像を提示する画像提示装置において、
   分光放射輝度を制御することが可能な画像提示部を持ち、
   前記観測者の右目及び左目のそれぞれの分光感度特性に応じて、
   前記画像提示部の前記分光放射輝度を制御して前記画像を提示することにより、
   前記観測者の右目及び左目のそれぞれに対して異なる前記画像を同時に提示することを特徴とする画像提示装置。
2. 可視光の波長帯域において４種以上の分光放射特性を持つ複数の画像提示手段よりなる前記画像提示部を持つことを特徴とする請求項１に記載の画像提示装置。
3. 前記観測者が選択した画像を元に、
   複数の前記画像提示手段のそれぞれにおいて提示する提示用画像を作成する画像作成部を持ち、
   前記提示用画像を前記画像提示手段により、
   単一の多重画像を作成することを特徴とする請求項２に記載の画像提示装置。
4. 前記画像作成部において、
   前記分光感度特性および前記分光放射特性より感度特性行列を計算し、
   前記観測者が選択した画像と前記感度特性行列より、
   前記提示用画像を作成することを特徴とする請求項３に記載の画像提示装置。
5. 前記画像作成部において、
   前記画像提示手段の提示輝度の範囲内において、
   前記観測者が観測する前記画像のコントラストが高くなるように、
   前記提示用画像を作成することを特徴とする請求項３又は４のいずれかに記載の画像提示装置。