次に、発明を実施するための最良の形態について、図面と共に説明する。図1は本発明になる複数視点映像表示装置の第1の実施の形態のブロック図を示す。同図において、まず符号化されたデジタル信号による映像情報の内容であるデジタル映像コンテンツaが情報分離化器11に入力される。
デジタル映像コンテンツaは、純粋な映像情報bと、その映像情報bの読み取りを制限する視聴制限情報cとが多重化された形で構成されている。例えば、DVD(Digital Versatile Disc)などの光ディスクに記録されたデジタル映像コンテンツaとしての映画は、すべての映像情報bと共に、それらの情報の一部を選択的に再生する視聴制限情報cとして年齢規制に関わるパレンタルロック情報や地域規制に関わるリージョンコード等が記録されている。もちろん、本実施の形態においては、デジタル映像コンテンツaは、光ディスク等のような情報記録媒体に記録されたコンテンツに限定されるものではなく、Webサーバー上の情報を情報端末の記憶媒体に通信回線によりダウンロードするようなコンテンツや、あるいはWebサーバー上に保管されてストリーミング配信により供給されるコンテンツによっても同様に実施可能であることはいうまでもない。
情報分離化器11は、上述したデジタル映像コンテンツaに含まれる多重化された情報を分離する機能を有するものであり、具体的にはデジタル信号処理回路においてよく知られたデマルチプレックスのことである。図1に示すように、情報分離化器11は、多重化されたデジタル映像コンテンツaを映像情報bと視聴制限情報cとに分離し、分離した映像情報bを復号化器15に入力し、分離した視聴制限情報cを表示態様決定器13に入力する。
一方、この複数視点映像表示装置に対するもう一つの入力として、映像を観察する複数の観察者の個人情報dと、ディスプレイとの相対的な位置関係に関する情報である位置情報eとが、観察者情報入力器12に入力される。
観察者の個人情報dとは、少なくとも観察者の年齢及び/又は国籍及び/又は視力情報を含むものである。観察者の年齢を入力するのは、後述するように、観察者の年齢によって、デジタル映像コンテンツaに含まれる性的あるいは暴力的なシーンなどの精神的発育上問題のあるコンテンツをどの程度まで再生するかを決定するためである。これは、一般的なDVDプレーヤに付属し、ディスクの再生前に親が子供の視聴制限の設定を行うことができる、公知のパレンタルロック技術に類似するものである。本実施の形態は、かかる従来技術を年齢層の異なる複数の観察者が互いに異なる再生レベルで同じコンテンツを視聴できるように発展させたところに特徴がある。
また、観察者の年齢を入力させるもう一つの理由として、後述するように、観察者の国籍によって、デジタル映像コンテンツaに含まれる思想あるいは信条的に問題のあるシーンの再生を制限できるようにするためである。これは、光ディスクプレーヤを販売する際に、出荷地域毎に設定される、公知のリージョンコード技術に関連するものである。本実施の形態は、かかる従来技術を国籍の異なる複数の観察者が異なる再生レベルで同じコンテンツを視聴できるように発展させたところに特徴がある。
もちろん、国籍は同じであっても、思想・信条が異なる観察者は多数存在する。従って、個人情報dの入力に関する実施にあたっては、国籍だけに止まらず、個人が信仰する信教等を直接入力できるようにすることも考えられる。但し、このように個人の内心に関わる事項を映像視聴にあたって入力させることは予期しない人権問題が生ずるおそれがあるため、本実施の形態を実施するアプリケーションを慎重に検討しなければならない。
多国籍の観察者が映像を観察するようなアプリケーションのうち、本発明を好適に実施可能な例としては、いろいろな国の人が利用する映画館や国際会議場、あるいは国際競技場等に設置された大画面ディスプレイがある。映画については、シナリオ全体にわたって思想・信条的な偏りのある内容のものについては本発明を適用しても無意味であるが、一部のシーンにのみ問題があるような映画については、その部分のみを視聴制限した形の再生が可能となるので本発明が好適に機能しうる。
また、競技場に設置された大画面ディスプレイに応用する場合には、国別に設けられた観客席のエリア毎に位置情報eと個人情報dをあらかじめ設定しておけばよい。そうすることにより、例えば、大画面ディスプレイに時折映し出される観客の映像のうち、自国の文化では受け入れがたい服装などの精神的苦痛を与える蓋然性の高い映像の一部を、観客に自己の思想・信条に基づく視聴制限の意思表示を強制することなく、特定の観客席のエリアには再生させないように制限することが可能になる。このように、本発明は、アプリケーションを慎重に選択することにより、映像鑑賞のスタイルの国際化を促すという劇的な効果を奏する可能性がある。
さて、これらの個人情報dと位置情報eを入力するには、図1に示す観察者情報入力器12を要する。観察者情報入力器12の実施形態としては、家庭用リビングでは、リモートコントローラ(以下リモコンと略記)が適している。一般家庭に普及しているテレビ用リモコンは、リモコンに内蔵された発光ダイオードから近赤外光をディスプレイの受光部に送信するものであるから、それを操作する人のおおよその位置情報eを特定するのに利用することができる。
また、リモコンに付属の一般的なキーを利用して、ディスプレイ(画像表示手段16)に表示させた図9に例示する個人情報設定メニュー画面において、個人情報dを入力させるように構成することは容易である。また、上述した大画面ディスプレイのような屋外で使用するようなアプリケーションにおける観察者情報入力器12としては、携帯電話機などの携帯用情報端末が適している。
もっとも、映画館や競技場の座席のように、ディスプレイと観察者の相対位置関係が常に一定であるようなアプリケーションにおいては、わざわざ携帯情報端末による入力をさせなくても、座席毎に予め設定(プリセット)しておいてもよい。かかる場合においては、キーボードやマウスなどの一般的な情報入力機器が観察者情報入力器12の実施形態となる。もちろん、家庭のリビングにおけるディスプレイにおいても、家族の座る位置が大体決まっているような場合には、リモコンで視聴位置毎の個人情報dと位置情報eとをプリセットしておけば、視聴を開始する前に毎回設定する煩わしさを避けることができる。
次に、図1に示した表示態様決定器13について説明する。表示態様決定器13は、情報分離化器11から出力された視聴制限情報cと、観察者情報入力器12から出力された個人情報d及び位置情報eを入力として受け、観察者毎に適した表示態様、すなわち上述したデジタル映像コンテンツaを再生する際の制限レベルを決定するものである。表示態様の決定方法の基本的な概念は、本出願人が先に開示した特許第2853727号公報に記載されているように、再生機側で設定した制限レベルである再生機プロテクトレベルと、媒体側に付与された設定制限レベルである媒体プロテクトレベルとの組み合わせにより、実際に再生する制限レベルである再生プロテクトレベル(表示態様)を決定するものである。
本実施の形態は、上記の再生プロテクト方法の概念を発展させ、同一ディスプレイを同時に観察する観察者毎に異なるプロテクトレベルによる再生を可能とするものである。表示態様の詳細は後述する。
図1において、表示態様決定器13により、位置情報eの異なる複数の観察者の各々の個人情報dに基づいて、個別的に再生プロテクトレベルが決定されると、表示態様制御信号発生器14により、個々の再生プロテクトレベルに対応して、映像情報bの再生レベルをコントロールするデジタル信号である表示態様制御信号fが生成される。この表示態様制御信号fは、情報分離化器11で分離された映像情報bと共に復号化器(デコーダ)15に入力され、映像情報bが、観察者毎に異なる再生許可度合をもつ表示態様で復号化される。
復号化の方法は、映像情報bがMPEG1により圧縮符号化されている場合には、決定された再生プロテクトレベルに応じて伸張符号化(フーリエ逆変換、逆量子化、可変長復号化)により行う。かかる復号化により、段階的にモザイク状の粗い画像を生成することができる。また、本出願人による特開2000−41232号公報に開示されているように、映像情報bの圧縮符号化がMPEG4によりなされている場合には、シーンの中で視聴制限すべき任意形状のオブジェクトのみを該当するオブジェクトをぼかしたり、モザイクにしたり、表示しないなどの制御を行うことが可能であるため、モザイク表示に比べて、観察者に違和感を感じることなく、制限的な再生を行うことが可能である。
このように復号化された信号は、図示しない駆動回路により増幅された後、画像表示手段16に供給されて個別的に表示される。画像表示手段16としては、液晶ディスプレイ(LCD)、プラズマディスプレイパネル(PDP)、フィールドエミッションディスプレイ(FED)、有機ELディスプレイ等の直視型ディスプレイや、米国テキサス・インスツルメンツ社のマイクロミラーを利用したDLP(登録商標)型プロジェクタや、シリコン上に反射型液晶を形成したLCOS(Liquid Crystal on Silicon)型プロジェクタなどの投射型ディスプレイなどを用い得る。特に、LCOS型プロジェクタの具体例として、本出願人が製造販売を行っているD−ILA(登録商標)プロジェクタを利用することができる。
画像表示手段16の表示態様としては、一般的には、ディスプレイの表示領域を観察者の数だけの領域に分割して表示する方法(空間分割表示)と、空間分割は行わずに時間的に分割して表示させる方法(時間分割表示あるいは時分割表示、あるいはフィールドシーケンシャル表示ともいう)とがある。前者は、視点の数に反比例して解像度が低下するが、画面のちらつき(フリッカ)のない画像が得られる。一方、後者は、各瞬間ではディスプレイの全面を利用して表示するため解像度の低下はないが、視点数に反比例して一視点あたりのリフレッシュレートが低下するので、十分高速な描画速度が確保できない限りフリッカが生じるという問題がある。
本出願の時点においては、上述の空間分割表示および時間分割表示は、高解像度素子と高速駆動回路の製造困難性により、大画面ディスプレイに適用するには性能的に不十分であるという課題がある。ところで、これが長い年月をかけて研究開発が続けられている自然な立体ディスプレイ(3次元ディスプレイ、3Dディスプレイともいう)の実用化を妨げている最大の課題であることは映像分野の当業者の間ではよく知られた事実である。
現時点のデバイスでは、一般に、左右2種類の視点画像のみを表示させる2眼式ディスプレイでないと、商品として成立するのに十分な解像度あるいは十分なリフレッシュレートの映像表示を行うことができないのである。従って、本実施の形態においても、現行の解像度のディスプレイを1台だけ用いて、複数の観察者の各々に適切な表示態様の映像を表示させようとすると、映像表示の場合と同様な空間解像度の低下あるいは時間解像度の低下という問題が発生することが容易に想像される。
しかしながら、この問題は以下に述べるように克服することが可能である。その理由は、本発明においては、異なる観察者に対して、全く異なる画像を提示するわけではなく、大部分の画像が同一であることである。つまり、異なるのは、視聴制限されたシーンのオブジェクトのみであり、その他のシーンについては、視点の増加に伴う空間的あるいは時間的解像度の低下が一切生じることがないのである。
例えば、図1において画像表示手段16の内部に記載された表示態様1、表示態様2、表示態様3、・・・、表示態様nのブロックは、ディスプレイを空間的あるいは時間的にn分割しなければならないことを意味しない。むしろ、通常のシーンにおいては、各観察者は、ディスプレイの全ての画素からの、最高解像度の映像を視聴することができる。
もちろん、視聴制限されたシーンにおいては、各観察者に対して異なる映像を表示しなければならないため、解像度の低下を避けることは原理的に不可能である。しかし、かかるシーンは、本発明が想定する先に述べたアプリケーションにおいては、空間的または時間的に小さい領域にとどまる蓋然性が高いものであるから、視聴制限されたシーンにおける解像度の低下は実際上問題にならないものと考えられる。
このように、本発明は、各視点の観察者に対して、再生プロテクトされた空間的・時間的領域以外の映像を共通化することにより、カーナビ応用などの複数視点で全く異なる画像を観察しようとするアプリケーションでは避けられない解像度の低下の問題を克服し、ディスプレイが本来有する解像度で快適に視聴することができるという特徴がある。
さて、図1の画像表示手段16によって上述のように表示された画像からの光は、複数の観察者の各々の眼球の瞳孔内に入射するように、局所的映像情報出力手段17によって、その進行方向を制御される。かかる局所的映像情報出力手段17の具体例としては、立体ディスプレイ用途では一般的な屈折型光学素子(レンチキュラーレンズ、マイクロレンズアレイ)や回折型光学素子(フレネルレンズアレイやホログラフィック光学素子)あるいは開口素子(スリットアレイやピンホールアレイ)がある。
後者は、液晶パネルなどの電子デバイスで構成することができるため、視聴制限されたシーンにのみ開口を形成して、開口を通してのみ見えるようにし、それ以外のシーンではパネル全面を透過させるように制御することにより、先に述べた解像度の劣化のないシーンを表示させることができる。もちろん、屈折型光学素子についても、液晶レンズ等の電子デバイスの研究も進んできており、将来的には、本発明の実施に好適に利用しうるものと考えられる。
図2は、図1の表示態様決定器13に入力される3つの信号である、個人情報d、位置情報e及び視聴制限情報cの関係を示す概念図である。図2に示すように、これらの3つの情報c〜eは、個人情報dを内容とする変数u、視聴制限情報cを内容とする変数v、位置情報eを内容とする変数wにより、uvw空間を構成する。そして、このような3次元空間における点が、表示態様決定器13が決定する表示態様を表している。例えば、同図において(u1,v1,w1)と示された点は、ある観察者の個人情報の変数u1、視聴制限情報の変数v1、位置情報の変数w1の値によって決定されることを意味する。
ここで、本出願人の特許発明である特許第2853727号公報に記載された再生プロテクト方法と比較すると、上記の特許公報に記載された「再生機プロテクトレベル」が本実施の形態の個人情報の変数uに対応し、上記の特許公報に記載された「媒体プロテクトレベル」が本実施の形態の視聴制限情報の変数vに対応する。従って、単に各々の位置情報を有する観察者に対して、個人情報の変数uと視聴制限情報の変数vとからなる2次元uv平面のレイヤーを位置情報の枚数だけ決定すれば足りる場合もあり、そのような場合には、わざわざ3次元uvw空間の概念を持ち出すまでもない。
しかし、後述するように、アプリケーションによっては、視聴制限情報の変数vと位置情報の変数wとが密接に関わり合ったり、あるいは個人情報の変数uと位置情報の変数wとが密接に関わり合ったりする場合が存在する。そこで、本実施の形態では、個人情報の変数uと視聴制限情報の変数vと位置情報の変数wを3つの独立変数として表示態様決定に利用しうる三次元uvw空間の概念を導入したのである。
図3〜図7は、先に述べた三次元uvw空間における個人情報の変数uと位置情報の変数wとから表示態様の決定の仕方の一例を示すテーブルである。同テーブルに示すように、個人情報(テーブル第1列に1〜5と記載)と位置情報(テーブル第3列に1〜5と記載)の組み合わせによって、A〜Eまでの表示態様、すなわち、図13に例示する可視グレードが決定される。また、テーブルの第2列に1〜5のいずれかの値の視聴制限情報が格納されている。
図3〜図7のテーブルにおける個人情報の変数uの実施例を図10に示す。図10に示すように、個人情報は年齢、性別、国籍、信教、バリアフリーの各々について1〜5までの5段階に分類されている。観察者は、これらの中から必要なものを選択し、先に述べたリモコン等の方法により、観察者情報入力器12に入力する。何を選択するかについては、例えば家庭で大人と子供が同じ映画を見る場合には、年齢情報を選択すればよい。そうすることにより、子供に対しては精神の発育上問題のあるような暴力的なシーンや、あるいはカメラのフラッシュのような生体影響の懸念される光刺激性のある高速で光が点滅するコンテンツが規制されて表示され、大人に対しては規制のないコンテンツが再生されることとなる。
また、男女が同時に同じコンテンツを視聴するような状況において、男性一般あるいは女性一般にとって不快感をもたらすような情報を表示規制したい場合には、性別情報を選択すればよい。また、国際会議や、国際的な競技場などで、異なる国籍を有する人々が1つのディスプレイから映像を見るような場合には、それぞれの国の文化の違いに基づくコンテンツの規制をかけることができるように国籍情報を選択すればよい。例えば、図10に示すように、米国、欧州、アジア、中東、中国、そして図示しないオセアニア、アフリカ、南米等の様々な文化の違いに応じて、適切な表示態様でコンテンツを再生させることが可能となる。
さらに、民族や信仰の問題に関わるものであるが、たとえ国籍は同じであっても、思想・信条の異なる場合には、信仰に触れるコンテンツの規制をかけることのできる信教情報を個人情報として入力すればよい。例えば、図10に示すように、キリスト教、イスラム教、ヒンドゥー教、仏教、儒教、それから図示しない世界中の様々な信教情報を観察者が入力することとすれば、映像コンテンツにおける暴力的なシーンや身体の露出のシーンの再生の仕方を個人個人の信教に応じて段階的設定して表示させることが可能となる。
また、観察者間における非障害者と障害者との関係をバリアフリー化する目的で、バリアフリー情報を入力するように構成してもよい。例えば、視覚障害者に対しては、映像の輝度やコントラストを最適化して表示させることができるし、また聴覚障害者に対しては、音の大きさや周波数特性を最適化して再生することができる。かかるバリアフリーの映像音響技術は、個人的鑑賞にとどまるものについては公知技術であるが、本実施の形態では、複数の観察者が同時に視聴する場面に適用したことに特徴がある。
このように、個人情報dは、映像を個別的に視聴していた従来の映像鑑賞スタイルに対して、年齢間の障壁、性別間の障壁、障害者と非障害者間の障壁を除去するというバリアフリー化をもたらすと共に、国家間の壁や異なる信教の間の壁を除去するという国際化をもたらすものということができる。
図11は図3〜図7のテーブルの位置情報の一例を示す。図11に示すように、ディスプレイと観察者との相対的な位置情報として、視点からディスプレイ(の中心)に向かうベクトルである視線ベクトルとディスプレイ面の法線のなす角度がそれぞれ±20度以上、±20度〜10度、±10度〜5度、±5度〜0度、0度以上の1〜5段階にレベル分けされている。一般に、ディスプレイの正面から見る確率が最も高いものであるから、ディスプレイ正面である0度の位置が最も規制のレベルの高い「5」にしてある。
また、図11に示すように、位置情報はディスプレイからの角度のみならず、ディスプレイとの距離、すなわち視線ベクトルの大きさも重要なパラメータとしている。同図に示すように、Hをディスプレイの高さとして、1.5H以上、1.2〜1.5H、0.8H〜1.2H、0.4H〜0.8H、0.4H以下の1〜5段階にレベル分けされている。ディスプレイに最も近い視線ベクトルの大きさ0.4Hが視覚に与える影響が大きいため、規制レベルを「5」にしている。
図12は図3〜図7のテーブルの視聴制限情報の一例を示す。図12に示すように、視聴制限情報cは、暴力的なシーン(残虐行為、殺人、重度障害、軽度障害、すべて制限の5段階)、露出的なシーン(過度な露出、全体的露出、部分的露出、露出的服装、すべて規制の5段階)、信教に係るシーン(過激な表現、穏やかな表現、すべて制限の3段階)、視覚刺激性のあるシーン(高周波の光刺激、中間周波数の光刺激、低周波の光制激、すべて制限の4段階)のジャンルに分けられている。必要に応じて、視覚刺激性のあるシーンとして高いコントラストのパターンを含むシーンを加えたり、国家間の文化的な遣いを含むシーンを加えたりしてもよい。これは、映像コンテンツの供給側が設定する。かかる技術は、一般的なWebブラウザの規制オプションとして既に導入されており、技術的に困難な問題は生じないと考えられる。
図13はかかる具体的な表示態様の一実施の形態を示す。同図に示すように、表示態様Aが表示規制の度合が最も緩く、すべての映像コンテンツを表示させるモードである。そして、表示態様B〜Eでは次第に規制がかかり、表示態様Eが表示規制の度合いが最も強い。規制の態様については、空間方向の規制、時間方向の規制、データ表示ビット数による規制がある。これらの詳細な説明については、特許第2853727号公報に記載されているので省略する。
また、映像がステレオ映像である場合においては、目の輻輳運動と調節運動の不一致(輻輳調節矛盾)を緩和するために、規制レベルに応じて、映像の奥行き再生量を制限するように構成するのがよい。例えば、同図に示すように、レベルAでは奥行き圧縮のない、フルサイズの映像をそのまま再生し、B以下では、奥行き量を圧縮するように再生させる。そして、最も規制の厳しいEでは、奥行き情報をすべて捨象して、2次元画像を表示させる。
次に、図1に示した表示態様決定器13が行う処理について、図8のフローチャートと共に説明する。まず、情報分離化器11からの信号入力待ちの状態となり(ステップS100)、情報分離化器11から多重化されたデジタル映像コンテンツaに含まれる視聴制限情報cが入力されると(ステップS101)、観察者情報入力器12からの信号の入力を待機する(ステップS102)。この状態は、ステップS103の条件分岐において、観察者すべての個人情報dと位置情報eとが入力されるまで続けられる(ステップS103のNo)。
なお、入力された個人情報d及び位置情報eは、表示態様決定器13が有する図示しない記憶装置(RAM)に記憶される。そして、観察者の全員(N人とする)の個人情報dと位置情報eとが入力されると(ステップS103におけるYes)、表示態様決定器13が有する図示しない記憶装置(RAM)に変数nの領域が確保され、変数nの値が1に初期化される(ステップS104)。変数nの初期化が終了すると、まずn=1番目の観察者の表示態様の決定処理が行われる(ステップS105)。表示態様の決定処理は、位置情報e及び個人情報d並びに視聴制限情報cの3つの変数の3次元マトリックス演算により行う。処理の詳細は、特許第2853727号公報に記載された2次元マトリックス演算を3次元に拡張したものであるので、別段説明を要しないであろう。
n番目の観察者の表示態様が決定されると、変数nの値が1だけカウントアップされる(ステップS106)。続いて、観察者全員の表示態様決定処理が終了したかどうかを判定する(ステップS107)。終了していない場合には、ステップS105に戻り、次の観察者の表示態様決定処理を行う。最後に、観察者全員の処理が終了した場合には(ステップS107におけるYes)、表示態様の決定の処理を終了する。
これにより、例えば、4歳〜12歳の子供は個人情報が図10から「4」であり、また、視聴制限情報は図12から「すべて制限」を示す「5」に設定した場合は、図6に示すように、位置情報に関係なく、可視グレード(表示態様)はE、すなわち図13に示したように最も規制の強い画像表示が行われる。また、4歳〜12歳の子供であっても、コンテンツの内容によっては視聴制限情報を図12の「4」に設定した場合は、図6に示すように、位置情報に関係なく可視グレードはDであり、これにより図13に示したように、比較的規制の厳しい画像表示が行われる。
次に、図1において説明した画像表示手段16と局所的映像情報出力手段17の具体例について説明する。図14は、画像表示手段16と局所的映像情報出力手段17の一例を示す。同図において、フラットディスプレイ161は上記の画像表示手段16の一例であり、その表面に、局所的映像情報出力手段17の一例としてのレンチキュラーレンズ171が配置されている。第1の視線方向へはフラットディスプレイ161のディスプレイ面1の画像を、第2の視線方向へはディスプレイ面2の画像を表示するものである。このディスプレイ表示をするには図示せぬフラットディスプレイ駆動回路が必要である。
図15は、画像表示手段16と局所的映像情報出力手段17の他の例を示す。この例は、2つの視線方向へ異なった画像を表示する方法としてパララックスバリア方式を用いている。パララックスバリアは液晶によって実現することができる。これは2枚の液晶パネルを積層するもので、図15に示すように、一方の液晶パネル172は、開口部172aと遮蔽部172bとが交互に形成された、すなわち、細かいスリット上の開口部172aを有し、その裏側に画像を表示する液晶パネル162とバックライト163とが設けられている。
液晶パネル162は、適当な間隔を置いて左右2眼分の画像を交互に配置し、所定の視点から液晶パネル172の開口部172aを通してみた場合に2つの異なった画像に分離できるものである。このディスプレイ表示をするにも同様に図示せぬフラットディスプレイ駆動回路、及び、この視線方向へ異なった画像表示をするときと、しないとき、で切り替えるステップや回路を備えて、液晶パネル172による液晶スリットバリアをスリット化するか、しないかを切り替える操作が必要である。
図16は本発明になる複数視点映像表示装置の第2の実施の形態のブロック図を示す。同図中、図1及び図14と同一構成部分には同一符号を付してある。図16において、光ディスクなどの記録媒体21に記録されているデジタル映像コンテンツ情報(音響情報含む)が、再生器22により公知の方法で再生された後、情報分離化器11に入力され、ここで映像情報、音響情報及び視聴制限情報に分離される。これらの情報の記録媒体21の記録時の多重化や情報分離化器11での分離は、例えばMPEG2規格の多重化システム方式を用いて実現する。
多重化はMPEGシステムレイヤーの同期方式でプログラムストリーム方式を用いてエレメンタリー毎にパック化し、表示時の同期をとれるようにプレゼンテーションタイムスタンプを打ちながら多重化する。タイムスタンプは図示せぬタイムスタンプ発生器から27MHzまたは90kHzのカウンタ情報が使用され、図示せぬ情報多重化器に入力される。この仕組みはMPEG多重化の規格を用いれば可能であるので詳細な説明は省略する。
多重化されているストリームデータは、例えばDVDやD−VHSなどのパッケージメディアフォーマット化されて、後述するDVDやD−VHSの規格に準拠した形式で、所定の記録器によって記録媒体21に記録されている。情報分離化器11で分離された映像情報はビデオ復号器23に供給され、分離された音響情報はオーディオ復号器24に供給され、分離された視聴制限情報は表示態様決定器13に供給される。
ビデオ復号器23、オーディオ復号器24ではビデオ信号とオーディオ信号が復号され、それぞれ、映像CH(チャンネル)分離器25及び音響CH分離器26に供給される。映像CH分離器25及び音響CH分離器26は入力される復号されたビデオ信号や復号されたオーディオ信号から、MPEGの例えばStream_idという識別子を用いて、識別されているチャンネルIDを識別して、視線ごとに映像データを識別する。
Stream_idはMPEG2規格ではPES(パケッタイズドエレメンタリストリーム)パケットというチャンネル毎の要素圧縮データをパケット化したヘッダ情報の中に記述することができる8ビットの情報体である。これによって、ビデオやオーディオの識別、CHの識別をすることができる。映像CH分離器25からCH毎に分離されて出力されたビデオデータは、フラットディスプレイ161に入力され、図14で説明したように、レンチキュラーレンズ171を通して2つの視線方向へ画像として表示される。
一方、音響CH分離器26においてCH毎に分離されて出力されたオーディオデータは、局在音場発生器27に伝送される。局在音場発生器27では、第nの視線方向に局在化させるオーディオデータに関しては、空間上の焦点付近の音圧を局所的に上昇させるように、スピーカアレイ28の中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた表示信号をスピーカアレイ28に伝送する。スピーカアレイ28はアレイ状に複数のスピーカが組まれていて、一つ一つに遅延回路を聴取位置近傍に焦点を結ぶように遅延値を設定し、聴取位置においてスピーカからの直接音よりも、第1の視線方向に局在化させるオーディオ表示音の発生する音圧成分が極めて高くなるように表示する。
第2の視線方向に局在化させるオーディオデータに関しては、空間上の焦点付近の音圧を局所的に上昇させるようにスピーカアレイ28の中心から焦点までの経路と、各スピーカから焦点までの経路との差に応じた遅延量を与えた表示信号を、同様にスピーカアレイ28に伝送する。聴取位置においてスピーカからの直接音よりも、第n+1の視線方向に局在化させるオーディオ表示音の発生する音圧成分が極めて高くなるように表示する。スピーカにn個の局在音場を発生させるために、2つの音信号を伝送する場合には、各スピーカはn個の音信号を加算し、ダイナミックレンジを超えない程度のゲインコントロールを行って出力すればよい。
次に、本発明になる複数視点映像表示方法の第2の実施の形態について、図17のフローチャートと共に説明する。この複数視点映像表示方法は、コンピュータプログラムによりコンピュータにより実現される。まず、記録媒体もしくは伝送路から、MPEG多重化された映像音響データ及び視聴制限情報を所定の単位で読み取り再生する(ステップS201)。次に、再生したMPEG多重化されている映像音響データと視聴制限情報とを分離化する(ステップS202)。続いて、視聴者からの観察者情報の入力があったかどうか判定し(ステップS203)、観察者情報の入力があった場合にのみ、再生態様を決定する(ステップS204)。
観察者情報の入力が無い場合、又はステップS204で再生態様を決定した場合には、映像音響データを復号化する(ステップS205)。続いて、復号した映像データと音響データを視線毎のCHに分離する(ステップS206)。続いて、視線毎の映像データを画像表示手段及び局所的映像情報出力手段から出力し、音響データを局所音場発生用のスピーカ(若しくは超指向性のスピーカやヘッドホン、イヤホン)で出力する(ステップS207)。
そして、すべての映像データ及び音響データがあるかどうか判定し(ステップS208)、まだ再生されるべき映像データや音響データがあるときにはステップS201に戻り、上記と同様の動作を繰り返し、すべての映像データ及び音響データの再生が終了した時にはこのプログラムを終了する。
なお、上記の実施の形態では、情報を記録媒体21から再生するように説明したが、通信や放送特有のパケットかがなされているパケット情報を受信して、通信特有フォーマットであるパケット解除を行って放送や通信網から受信表示することも容易である。
また、本実施の形態では、視線方向によって異なる画像を表示する方式として、レンチキュラーレンズ方式について説明したが、液晶パララックスバリア方式、偏光フィルタ方式、インテグラルフォトグラフィー、超多眼方式など、視差を標本化するタイプの立体映像表示技術などはどれでも応用できるものであり、異なる映像を知覚できる方式であればなんであってもよい。
また音像位置制御方式は、音像定位制御方式としてアレイスピーカ方式で説明したが、仮想音場空間を実現できる方式、例えばバイノーラル・トランスオーラル方式であっても、Kirchhoff-Helmhotz徴分方程式に代表される波動音響理論を用いた音場制御法を用いる方式であってもよい。
また、記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また表示装置は受信装置として使用することも可能である。
また、記録媒体は、媒体という定義はデータを記録できる媒体という、狭義な媒体というものだけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での、電子ファイルなどのデータ自身を含むものとする。
次に、本発明になる複数視点映像表示装置の第3の実施の形態について説明する。図18は本発明になる複数視点映像表示装置の第3の実施の形態のブロック図を示す。同図中、図1と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態は、複数の観察者の位置と個人情報を認識させ、それぞれに個別最適な映像の再生プロテクトレベルを決定すると共に、音響をリンクさせることにより、各々の再生モードで個別に局所的な映像音響を再生する装置である。
図18において、符号化されたデジタル信号による映像及び音響情報の内容であるデジタル映像音響コンテンツjが情報分離化器11に入力される。デジタル映像音響コンテンツjは、映像音響情報kと、その映像音響情報kの読み取りを制限する視聴制限情報cとが多重化された形で構成されている。例えば、DVD(Digital Versatile Disc)などの光ディスクに記録されたデジタル映像音響コンテンツjとしての映画は、すべての映像音響情報kと共に、それらの情報の一部を選択的に再生する視聴制限情報cとして年齢規制に関わるパレンタルロック情報や地域規制に関わるリージョンコード等が記録されている。
もちろん、本実施の形態においては、デジタル映像音響コンテンツjは、光ディスク等のような情報記録媒体に記録されたコンテンツに限定されるものではなく、Webサーバー上の情報を情報端末の記憶媒体に通信回線によりダウンロードするようなコンテンツや、あるいはWebサーバー上に保管されてストリーミング配信により供給されるコンテンツによっても同様に実施可能であることはいうまでもない。
情報分離化器11は、上述したデジタル映像音響コンテンツjに含まれる多重化された情報を分離する機能を有するものであり、具体的にはデジタル信号処理回路においてよく知られたデマルチプレックスのことである。同図に示すように、情報分離化器11は、多重化されたデジタル映像音響コンテンツjを映像音響情報kと視聴制限情報cとに分離し、分離した映像音響情報kを復号化器18に入力し、分離した視聴制限情報cを表示態様決定器13に入力する。
復号化器18は、表示態様制御信号発生器14からの表示態様制御信号fに基づいて、映像音響情報kを観察者毎に異なる再生許可度合をもつ表示態様で、映像情報と音響情報とに復号化する。復号化された映像情報は画像表示手段16に供給され、更にこれより局所的映像情報出力手段17により複数視点映像情報g1〜gnとされて出力される。
一方、復号化された音響情報は移相器19により映像情報の遅延時間に対応して移相された後、局所的音響情報出力手段20に供給され、これより複数の視点1〜nの観察者に対する視点毎の音響情報h1〜hnとして出力される。なお、局所的音響情報出力手段20は、二以上の音響情報出力手段を用いて複数の観察者の各々に対して個別に音響情報を出力する。これにより、本実施の形態では、各々視点の異なる複数の観察者は、各視点に対応した画像を見ることができると共に、各視点に対応した音響を聴取することができる。
なお、本発明は以上の実施の形態をコンピュータにより実行させるコンピュータプログラムも含むものである。この場合、コンピュータプログラムは、記録媒体に記録して表示装置に取り込んでもよいし、通信ネットワークを介して表示装置の記憶部にダウンロードするようにしてもよい。
なお、本発明は上に例示した具体的な実施形態を可能ならしめる以下の抽象的な技術的思想を包含するものである。すなわち、本発明は、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点映像表示方法において、前記観察者の各々の観察者情報及び該観察者の視点位置に対応する前記局所的映像情報の映像コンテンツによって、前記観察者の各々に適した前記局所的映像情報の表示態様を個別的に決定し、当該表示態様にて前記観察者の各々に対して最適化された個別的な前記局所的映像情報を表示することを特徴とする複数視点映像表示方法を提供する。
また、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを同時に表示させる複数視聴点映像音響表示方法において、前記観察者の各々の観察者情報及び該観察者の視聴点位置に対応する前記局所的映像情報の映像コンテンツ並びに前記局所的音響情報の音響コンテンツによって、前記観察者の各々に適した前記局所的映像情報及び局所的音響情報の表示態様を個別的に決定し、当該表示態様にて前記観察者の各々に対して個別的な前記局所的映像情報及び局所的音響情報を表示することを特徴とする複数視聴点映像音響表示方法を提供する。
また、本発明は、前記局所的映像情報及び前記局所的音響情報の表示態様が、前記表示プロテクト情報を含むシーンの部分的表示、当該シーン直前のシーンのスチル表示、若しくは予め設定された安全なシーンの表示、又は非表示の少なくともいずれか一を含むことを特徴とする複数視聴点映像音響表示方法を提供する。
また、本発明は、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点映像表示装置において、前記観察者の観察者情報を前記視点の位置とともに検出する観察者情報検出手段と、当該観察者に対応する前記局所的映像情報の映像コンテンツを読み取る映像コンテンツ読取手段と、前記観察者情報と前記映像コンテンツとの双方によって、前記観察者の各々に適した前記局所的映像情報の表示態様を個別的に決定する映像表示態様決定手段と、前記映像表示態様にて前記観察者の各々に対して個別的な局所的映像情報を表示する局所的映像情報表示手段とを有することを特徴とする複数視点映像表示装置を提供する。
また、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを同時に表示させる複数視聴点映像音響表示装置において、前記観察者の各々の観察者情報を該観察者の視聴点位置とともに検出する観察者情報検出手段と、当該観察者に対応する前記局所的映像情報の映像コンテンツ及び局所的音響情報の音響コンテンツを読み取るコンテンツ読取手段と、前記観察者情報及び前記映像コンテンツ並びに前記音響コンテンツによって、前記観察者の各々に適した前記局所的映像情報及び局所的音響情報の表示態様を個別的に決定する表示態様決定手段と、前記表示態様にて前記観察者の各々に対して個別的な局所的映像情報及び局所的音響情報を表示する局所的映像音響情報表示手段と、を有することを特徴とする複数視聴点映像音響表示装置を提供する。
また、本発明はさらに、前記局所的映像情報又は前記局所的音響情報のコンテンツが、前記観察者の年齢に不相応な情報の表示を制限する表示プロテクト情報を含むことを特徴とする複数視聴点映像音響表示装置を提供する。
また、本発明は、一の映像情報表示手段を用いて、複数の観察者の視点の各々に対して互いに異なる局所的映像情報を同時に表示させる複数視点映像表示装置を制御する複数視点映像表示プログラムにおいて、前記観察者の観察者情報を検出する観察者情報検出手段により前記視点の位置とともに検出された観察者情報を読み取るステップと、該観察者に対応する前記局所的映像情報の映像コンテンツを読み取るステップと、前記観察者情報と前記映像コンテンツとを比較することにより、前記局所的映像情報の表示態様を蓄積した表示態様データベースから前記観察者の各々に適した表示態様を抽出するステップと、抽出された前記表示態様において前記観察者の各々に対する局所的映像情報の表示を行うことを制御するステップと、を有することを特徴とする複数視点映像表示プログラムを提供する。
また、本発明は、一の映像情報表示手段と二以上の音響情報表示手段とを用いて、複数の観察者の視聴点の各々に対して互いに異なる局所的映像情報とそれに対応する局所的音響情報とを表示させる複数視点映像音響表示装置を制御する複数視聴点映像音響表示プログラムにおいて、前記観察者の観察者情報を検出する観察者情報検出手段により前記視聴点の位置とともに検出された観察者情報を読み取るステップと、該観察者に対応する前記局所的映像情報の映像コンテンツ及び前記局所的音響情報の音響コンテンツを読み取るステップと、読み取られた観察者情報と前記映像コンテンツと前記音響コンテンツとを比較することにより、前記局所的映像情報及び前記局所的音響情報の表示態様を蓄積した表示態様データベースから前記観察者の各々に適した表示態様を抽出するステップと、抽出された前記表示態様において前記観察者の各々に対する前記局所的映像情報及び前記局所的音響情報の表示を行うことを制御するステップと、を有することを特徴とする複数視聴点映像音響表示プログラムを提供する。
また、本発明は、前記局所的映像情報が局所的映像情報であって、シーンを構成するオブジェクトの3次元情報から空間上に表示すべき奥行き範囲を算出し、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する機能をさらに有することを特徴とする複数視点映像表示方法を提供する。
また、本発明は、前記局所的映像情報及び局所的音響情報が各々局所的映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの3次元情報から空間上に表示すべき奥行き範囲を算出し、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する機能をさらに有することを特徴とする複数視点映像音響表示方法を提供する。
また、本発明は、前記局所的映像情報が局所的映像情報であって、シーンを構成するオブジェクトの3次元情報から、空間上に表示すべき奥行き範囲を算出する手段と、視覚機能の異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する手段をさらに有することを特徴とする複数視点映像表示装置を提供する。
また、本発明は、前記局所的映像情報及び局所的音響情報が各々局所的映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの3次元情報から、空間上に表示すべき奥行き範囲を算出する手段と、視覚機能の異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示する手段とをさらに有することを特徴とする複数視点映像表示装置を提供する。
また、本発明は、前記局所的映像情報が局所的映像情報であって、シーンを構成するオブジェクトの3次元情報から空間上に表示すべき奥行き範囲を算出するステップと、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを表示するステップとをさらに有することを特徴とする複数視点映像表示方法を提供する。
また、本発明は、前記局所的映像情報及び局所的音響情報が各々局所的映像情報及び局所的立体音響情報であって、シーンを構成するオブジェクトの3次元情報から空間上に表示すべき奥行き範囲を算出するステップと、異なる複数の観察者の各々に適した奥行き範囲で当該オブジェクトを算出するステップとをさらに有することを特徴とする複数視点映像音響表示方法を提供する。
ここで、前記観察者情報は、前記観察者の身長、年齢その他個人情報を含むことを特徴とする。また、前記映像コンテンツは、前記観察者の年齢に不相応な情報の表示を制限する表示プロテクト情報を含むことを特徴とする。また、前記局所的映像情報の表示態様は、前記表示プロテクト情報を含むシーンの部分的表示、当該シーン直前のシーンのスチル表示、若しくは予め設定された安全なシーンの表示、又は非表示の少なくともいずれか一を含むことを特徴とする。