JP6097919B2 - 立体視映像のための画像表示システム及び3次元表示装置 - Google Patents
立体視映像のための画像表示システム及び3次元表示装置 Download PDFInfo
- Publication number
- JP6097919B2 JP6097919B2 JP2011190312A JP2011190312A JP6097919B2 JP 6097919 B2 JP6097919 B2 JP 6097919B2 JP 2011190312 A JP2011190312 A JP 2011190312A JP 2011190312 A JP2011190312 A JP 2011190312A JP 6097919 B2 JP6097919 B2 JP 6097919B2
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- stereoscopic
- image
- stereoscopic vision
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
前記画面に左目用画像が表示されるときに左目側のシャッタを透過状態にし、前記画面に右目用画像が表示されるときに右目側のシャッタを透過状態にする、前記視聴者の顔面または頭部に装着するメガネとを備える3次元画像表示システムにおいて、
前記画像表示装置とメガネとが双方向に通信する通信手段を備え、
前記メガネは、
前記視聴者の目の状態を測定する生体信号測定手段と、
前記生体信号測定手段で測定された前記視聴者の目の状態を通信信号に変換して前記メガネから前記画像表示装置に送信する送信手段とを備え、
前記画像表示装置は、
前記メガネから前記画像表示装置に送信する通信信号を受信する受信手段と、 前記視聴者を特定する個人特定手段と、前記受信手段で受信した前記メガネから送信された前記視聴者の目の状態を用いて前記視聴者の眼球運動を測定する眼球運動測定手段と、
前記眼球運動測定手段で測定した前記視聴者の眼球運動を用いて視聴者の立体視能力を計算する立体視能力計算手段と、
前記立体視能力計算手段で計算された前記立体視能力を、前記個人特定手段で特定した視聴者ごとに記憶する立体視能力記憶手段と、
前記立体視能力記憶手段に記憶された視聴者ごとの立体視能力に従って奥行き調整量を決定する奥行き調整量決定手段を前記画像表示装置に備える。
これにより、当該視聴者が3次元映像の視聴経験を重ねることにより起こる立体視範囲の変化を推定して視聴開始時の表示奥行きの範囲を調整することができる。これにより、3次元映像の迫力を最大化できる。
図1は本実施の形態による画像表示システム1の構成図である。
尚、生体情報管理装置は、3次元表示テレビに内蔵される必要はなく、個別の装置として独立することも可能である。
<表示装置>
コンテンツ情報蓄積部110は、映像コンテンツを蓄積する。
ディスプレイ(画像表示部)120は、映像コンテンツを表示する。
画面制御部130は、ディスプレイ120の表示と3次元専用メガネ20との同期をとり、映像表示を制御する。
また奥行き調整量決定部200により決定された奥行き調整量に基づいて、視聴者の左目に提示する左目用画像と右目に提示する右目用画像の視差を調節し、視差を調整した右目用画像及び左目用画像を交互に出力するように制御する。
制御信号送信部140は、ディスプレイ120の表示と3次元専用メガネ20との同期を取るための制御信号を3次元専用メガネに送信する。
奥行き調整量決定部200は、後述する視聴者データ管理部190に記憶された視聴者個人の立体視能力に従って奥行き調整量を決定する。
<生体情報管理装置>
通信制御部150は、3次元専用メガネ20との情報通信を制御する。
送受信部160は、3次元専用メガネ20との情報通信を行う。
輻輳状態計算部170は、3次元専用メガネ20から受信した情報を利用して視聴者の眼球の輻輳開散運動の状態を計算する。
立体視能力計算部180は、輻輳状態計算部170で計算された視聴者の眼球の輻輳開散運動の状態から視聴者の立体視能力を計算する。
視聴者データ管理部190は、立体視能力計算部で計算された視聴者の立体視能力を、視聴者の個人ごとに管理する。
<3次元専用メガネ>
3次元専用メガネ20は、制御信号受信部210、シャッタ制御部220、生体信号センサ230、信号生成部240、送受信部250、通信制御部260、個人選択入力ボタン270とを備える。
制御信号受信部210は、3次元表示テレビ10の制御信号送信部140から送信される、画面の表示と3次元専用メガネ20との同期を取るための制御信号を受信する。
シャッタ制御部220は、画面に表示される右目用または左目用の画像と同期して、図示しない右目用または左目用シャッタを開閉する。
生体信号センサ230は、視聴者の生体信号を取得する。
信号生成部240は、生体信号センサ230で取得したデータに基づいて視聴者の眼球運動を示す信号を生成する。
送受信部250は、メガネID情報、個人選択入力信号、生体情報管理装置との情報通信を行う。
通信制御部260は、送受信部250の通信を制御する。
個人選択入力ボタン270は、視聴者の個人を特定する情報を入力する。
生体信号センサ230は、視聴者の眼の情報、具体的は眼球運動の情報を取得する。本実施形態では、眼球を撮像するためのカメラとする。なお、眼球運動を計測するための生体信号センサ230は眼電位あるいは筋電位を計測するための電極や、瞳孔の動きや水晶体の調節を行う網様体の動きをセンシングするコイル等であっても良い。
図2は、視聴者データ管理部190の詳細な構成を示す。
視聴者データ管理部190は、立体視能力データベース191、管理部192、眼球基礎データ生成部193、個人特定部194、表示画像生成部195とを有する。
立体視能力データベース191は、視聴者ごとの立体視能力を記憶する。
管理部192は、立体視能力データベース191のデータ更新を管理する。
眼球基礎データ生成部193は、視聴者個人ごとの眼球位置の基礎データを生成する。個人特定部194は、視聴者を特定する。
表示画像生成部195は、個人選択や新規登録の際の表示画面用の画像を生成する。
図3は3次元表示テレビ10のディスプレイ120上に表示された個人選択画面の一例と、3次元専用メガネ20上に備えられた個人選択入力ボタンの一例を示す模式図である。
図4は3次元表示テレビ10と3次元専用メガネ20との間の通信手順の一例を示した図である。
3次元表示テレビ10は、3次元専用メガネ20の電源が入っているか否かを確認する(S1010)。図4では、3次元表示テレビ10の電源が入った後、3次元専用メガネ20の図示しない電源スイッチが視聴者によって押され、3次元専用メガネ20の電源が入り、3次元専用メガネ20の送受信部250から3次元表示テレビ10の送受信部160に3次元専用メガネ20のメガネID情報が送信される(通信1)。メガネID情報は3次元専用メガネ20の通信制御部260に記憶されている。これにより、3次元表示テレビ10の通信制御部150は3次元専用メガネ20が動作中であることを確認し、通信制御部150の制御に基づいて送受信部160はメガネID受信完了信号を3次元専用メガネ20に送信する(通信2)。図3では3次元専用メガネ20の電源が3次元表示テレビ10の電源より後に入れられるが、3次元専用メガネ20の電源が3次元表示テレビ10の電源より先に入れられていてもよい。その際には、3次元専用メガネ20の電源が入った後、3次元専用メガネ20の通信制御部260は、通信2を受信するまで、あらかじめ定められた一定時間間隔ごとに通信1を繰り返す。
ステップS1010で3次元専用メガネ20の電源が入っている場合はステップS1020へ進む。ステップS1010で3次元専用メガネ20の電源が入っていない場合、すなわち通信1が確認できない場合は、ステップS1200へ進む。
ステップS1200では図示しない電源スイッチ等からの視聴終了信号の入力が行われたか否かを判断する。ステップS1200で視聴終了信号の入力がある場合はステップS1220へ進み画像表示システム1の動作を終了する(S1220)。
ステップS1200で視聴終了信号の入力がない場合はステップS1210へ進み、画面制御部130はディスプレイ120に2次元の画像を表示する(S1210)。2次元の画像は左右どちらか一方の画像のみを画面に表示することで実現する。さらに画面制御部130は制御信号送信部140に送信停止信号を出力し、3次元専用メガネ20への制御信号の送信を停止する。ステップS1210実行後、あらかじめ定められた時間の後、ステップS1010へ戻る。
視聴者データ管理部190は、送受信部160が受信した個人選択入力信号を取得する(S1020)。
視聴者データ管理部190の個人特定部194は取得した個人選択入力信号が視聴者として登録済みのものであるか否かを判定する(S1030)。
ステップS1030において登録済みの視聴者である場合はステップS1040へ進み、視聴者データ管理部190の立体視能力データベース191はステップS1030で特定された個人の立体視範囲の情報を奥行き調整量決定部200へ出力する(S1040)。
奥行き調整量決定部200は抽出された視聴者の立体視範囲に応じてコンテンツ映像をディスプレイ120に提示する際の奥行き範囲を決定する(S1050)奥行き範囲の決定方法については後述する。
一方、ステップS1030で未登録の視聴者である場合は、ステップS1300に進む。ステップS1300において視聴者データ管理部190の表示画像生成部195は管理部192の制御に従って視聴者の新規登録を行うための画面を生成し、画面制御部130に出力する。
ディスプレイ120は画面制御部130の制御に従って視聴者の新規登録画面を表示する。視聴者が新規登録を行うか否かの選択を入力インタフェース30より入力する(S1300)。
ステップS1300で新規登録の入力が無い場合はステップS1330に進む。ステップS1300で新規登録の入力がある場合は、入力インタフェース30より視聴者が名称等を入力し、管理部192は新規の視聴者IDを付与し、視聴者の情報を登録する(S1310)。
次に表示画像生成部195は管理部192の制御に従って、視聴者の眼球基礎データを取得するためのキャリブレーション画面を生成し、キャリブレーション画面に対する視聴者の眼球運動を取得して、眼球基礎データを生成して立体視能力データベース191に記憶する(S1320)。眼球基礎データの生成方法については後述する。
画面制御部130は図示しない電源スイッチ等からの視聴終了信号の入力あるいはコンテンツ終了による視聴終了信号の発生が行われたか否かを判断する(S1070)。
ステップS1070で視聴終了信号の入力がある場合はステップS1220へ進み画像表示システム1の動作を終了する(S1220)。
ステップS1070で視聴終了信号の入力がない場合はステップS1080へ進み、画面制御部130はステップS1050またはステップS1330で奥行き調整量決定部200が決定した奥行き範囲に従って、コンテンツ情報蓄積部110に蓄積された立体映像を呼び出し、左右の画像の視差を調節する(S1080)。
ディスプレイ120は映像を提示する(S1090)。
ステップS1090では画面制御部130はディスプレイ120を制御して3次元映像を表示し、制御信号送信部140を制御して、画面に表示される右目用と左目用の画像に同期して3次元専用メガネ20のシャッタを開閉するための制御信号を3次元専用メガネ20に送信する(通信6)。3次元専用メガネ20の制御信号受信部210は制御信号送信部140から送信された制御信号を受信し、シャッタ制御部220は図示しないシャッタを開閉して右目用画像を視聴者の右目にのみ提示し、左目用画像を視聴者の左目のみに提示する。
3次元専用メガネ20の生体信号センサ230はあらかじめ定められたサンプリング周波数で眼球を撮像し、信号生成部240は左右の眼球の画像を通信用に処理し、送受信部250より送信する。
3次元表示テレビ10の送受信部160は送受信部250より送信された画像信号を受信し、輻輳状態計算部170へ出力する。輻輳状態計算部170では、画像信号からエラー処理を行い、左右の眼球の瞳孔位置を抽出する。あらかじめ定められた時間幅すなわちサンプル数の画像に対応する瞳孔の位置情報から、立体視能力計算部180は立体視範囲を計算し視聴者データ管理部190へ出力する(S1100)。立体視範囲の計算方法については後述する。
視聴者データ管理部190の管理部192は、ステップS1100で求められた立体視範囲データを視聴者と対応付けて立体視能力データベース191に記憶する(S1110)。ここでは立体視能力データベース191に立体視範囲データを記憶したが、立体視能力データベース191の立体視範囲データを更新するとしても良い。
S1050の奥行き範囲の決定は、立体視能力データベース191の記憶内容が図6のような場合、例えば以下の規準で行う。最新の視聴者の立体視範囲があらかじめ定められた奥行き範囲の95%を含んでいる場合は調整を行わない。あらかじめ定められた奥行き範囲は、例えば、3Dコンソーシアムの安全ガイドライン(2006、「人に優しい3D普及のための3DC安全ガイドライン」、3Dコンソーシアム安全ガイドライン部会発行)に示す奥行き範囲である。視聴者の立体視範囲があらかじめ定められた奥行き範囲より狭い場合には、奥行き最小値を立体視能力データベース191より抽出された奥行き最小値の95%値とする。すなわちディスプレイ120からの最大の飛び出し量を直近の視聴時の立体視範囲より数%増やす。立体視能力データベース191から抽出された奥行き最大値の105%とする。すなわちディスプレイ120からの引っ込み量を直近の視聴時の立体視範囲より数%増やす。
立体視範囲に変換する必要がある。眼球は個人ごとに異なるため、より正確な立体視範囲を得るためにここでは視聴者の登録時に眼球基礎データを生成する。
なお、ここでは視聴者の登録時に新規登録視聴者の眼球基礎データを取得したが、あらかじめ3次元専用メガネのサイズに合わせて標準眼球基礎データを定めておき、これにより代用するものとしても良い。
なお、ここでは生体信号センサ230はカメラとしたが、眼球周辺の皮膚に接触した電極による眼電位のセンサでも良い。その際には、眼球運動は瞳孔の移動ではなく電位の振幅によって計測される。眼球基礎データは標準奥行き相当の眼球運動に伴う電位を記憶する。電位の値と奥行きは瞳孔の移動距離と同様に反比例するので、計算方法は瞳孔の移動を用いて奥行きを計算する際と同様の計算方法となる。
(実施の形態1の第1の変形例)
図12は3次元映像を継続して視聴した際の表示された奥行きの範囲と、視聴者の眼球から立体視がなされたと判断できる奥行きの範囲との関係を示したグラフの一例である。横軸は視聴開始からの経過時間であり、縦軸は視聴者からの奥行き距離である。視聴開始の初期20分程度の時間区間では、表示の奥行きの幅に比べて視聴者の立体視の幅は小さい。特に奥行きの小さい領域すなわち飛び出し方向での立体視がなされていない。しかし、時間の経過とともに、3次元映像への慣れにより視聴者の立体視の範囲は奥行きの小さい領域に拡大し、表示された奥行き範囲全体が立体視できるようになる。さらに時間が経過すると、疲労により奥行きの大きい領域、すなわち遠方への引き込み方向への目の動きが損なわれ、奥行きの小さい領域に立体視の範囲が狭まってくる。このような時間変化は個人によってその変化の量や速度が異なる。
実施の形態1では記憶された視聴者個人の立体視能力に基づいて、視聴開始時にのみ3次元映像を表示する奥行きを調整した。しかしながら、図12に示すように3Dを継続して視聴するうちに視聴者の立体視の範囲は変化する。そこで、実施の形態1の第1の変形例では、記憶された視聴者個人の立体視能力に基づいて視聴開始時の表示奥行きを調整するのみでなく、視聴中の視聴者の眼球の状態から、逐次表示奥行きを調整して、継続視聴による立体視能力の変化に対応し、より視聴しやすく、疲労しない3次元映像の画像表示システムを提供する例を示す。さらに本変形例では、視聴者個人の立体視能力を、表示した奥行き範囲と供に記憶することで、視聴者が3次元映像の視聴を繰り返すことによる立体視能力の変化を表示奥行き範囲による誤差を除いて利用することができるデータ構成の例を示す。
図13は実施の形態1の第1の変形例による画像表示システム1の構成図であり、図14は実施の形態1の第1の変形例による画像表示システム1の部分の詳細を示す構成図である。
視聴者データ管理部390は、立体視能力計算部で計算された視聴者の立体視範囲と表示奥行きとの視聴履歴を視聴者の個人ごとに管理する。
奥行き調整量決定部300は、視聴者データ管理部390に記憶された視聴者個人の立体視能力に従って表示する奥行きの量を決定する。
まず、視聴者により図示しない電源スイッチが押され、3次元表示テレビ10の電源が入り、画像表示システム1は動作を開始する(S1000)。次いで3次元表示テレビ10は3次元専用メガネ20の電源が入っているか否かを確認する(S1010)。
ステップS1010で3次元専用メガネ20の電源が入っている場合はステップS1020へ進む。ステップS1010で3次元専用メガネ20の電源が入っていない場合はステップS1200へ進む。ステップS1200では図示しない電源スイッチ等からの視聴終了信号の入力が行われたか否かを判断する。ステップS1200で視聴終了信号の入力がある場合はステップS1220へ進み画像表示システム1の動作を終了する(S1220)。ステップS1200で視聴終了信号の入力がない場合はステップS1210へ進み、画面制御部130はディスプレイ120に2次元の画像を表示する(S1210)。ステップS1210実行後、あらかじめ定められた時間の後、ステップS1010へ戻る。
一方、ステップS1030において登録済みの視聴者である場合はステップS3110へ進み、奥行き調整量決定部300は視聴者データ管理部390の立体視能力データベース391から、ステップS1030で特定された個人に対応する表示奥行きと立体視範囲のうち、直近の5回分の視聴履歴を抽出する(S3110)。視聴履歴が5回未満の場合はすべての履歴を抽出する。次いで奥行き調整量決定部300はステップS3110で抽出した表示奥行きと立体視範囲の履歴情報を用いて視聴者の立体視範囲の推定を行い、推定結果に基づいて奥行き調整量を決定する(S3111)。立体視推定による奥行き調整量の決定については後述する。
ステップS3111またはステップS1330で奥行き調整量が決定された後、生体信号センサ230は生体信号の取得を開始する(S1060)。画面制御部130は図示しない電源スイッチ等からの視聴終了信号の入力あるいはコンテンツ終了による視聴終了信号の発生が行われたか否かを判断する(S1070)。ステップS1070で視聴終了信号の入力がある場合はステップS1220へ進み画像表示システム1の動作を終了する(S1220)。ステップS1070で視聴終了信号の入力がない場合はステップS3010へ進む。ステップS3010では輻輳状態計算部170が3次元映像視聴開始または立体視範囲の計算の終了から立体視計算のための処理単位時間が経過したか否かを判断する(S3010)。ステップS3010において処理単位時間が経過していない場合は、ステップS1080に進む。ステップS3010において処理単位時間が経過している場合は、ステップS3020に進む。
ステップS3020では、輻輳状態計算部170では、3次元専用メガネ20で取得された画像信号からエラー処理を行い、左右の眼球の瞳孔位置を抽出する。あらかじめ定められた時間幅すなわちサンプル数の画像に対応する瞳孔の位置情報から、立体視能力計算部380は立体視範囲を計算する(S3020)。立体視範囲の計算方法については実施の形態1と同様でも良いが、本変形例では表示した奥行きの範囲に対応する立体視の能力として立体視範囲を計算する。立体視範囲の計算方法については後述する。
奥行き調整量決定部300は直前に決定した奥行き調整量に対して、ステップS3020で計算された立体視範囲と、立体視能力データベース391に記憶された当該視聴者の継続視聴時の立体視能力の時間変化とに基づいて奥行き範囲を調整する(S3030)。奥行きの微調整の方法については後述する。次いで、ステップS3020で計算された表示した奥行きの範囲と視聴者の立体視の範囲とを立体視能力データベース391に記憶する(S3040)
画面制御部130はステップS1050またはステップS3030で奥行き調整量決定部200が決定した奥行き範囲に従って、コンテンツ情報蓄積部110に蓄積された立体映像を呼び出し、左右の画像の視差を調節する(S1080)。ディスプレイ120は映像を提示する直近で決定した奥行き調整量に従って映像を提示する(S1090)。
一方、奥行き調整量決定部300は、ステップS3110で抽出した表示奥行きと立体視範囲の5回分の履歴情報の1回分ずつについて、立体視の最大距離が表示奥行きの最大値と同等であるかを判断する(S3220)。同等とは、ここでは、立体視の最大距離が表示奥行きの最大値に対して、最大値の上下3%以内の値であることとする。なお、同等の基準はこれ以外であっても良い。ステップS3220において、立体視の最大距離が表示奥行きの最大値と同等でない場合には、ステップS3240へ進む。ステップS3220において立体視の最大距離が表示奥行きの最大値と同等である場合は、奥行き調整量決定部300は立体視の最大距離が7mを超える距離であるか否かを判断する(S3230)。ステップS3230において立体視の最大距離が7mを超える場合にはS3240に進む。ステップS3230において立体視の最大距離が7m以下である場合はステップS3250へ進む。奥行き7m以上の対象物を注視する際の瞳孔の位置は、無限遠を見る際の瞳孔の位置と同等であることが知られている。そこで、ここでは7mを超える奥行きについては無限遠と同等とみなし、記憶された立体視の最大距離が表示奥行きによって制限されない基準とした。なお、ここでは立体視の最大距離と表示奥行きの最大値が同等である際に、記憶された立体視の最大距離が表示奥行きによって制限された値であったか否かを判断する基準として、7mを用いたが、記憶された立体視の最大距離が視聴者の立体視能力の引き込み方向の範囲が、表示した奥行きの範囲を超えているかあるいは同等であるかの判断ができる指標であれば、これ以外の指標を用いてもかまわない。
なお、ここではステップS3120からステップS3190までの処理の説明の後に、ステップS3220からステップS3290までの処理の説明を行ったが、ステップS3120からステップS3190までの処理とステップS3220からステップS3290までの処理はどちらが先に行われてもよく、また、並行に処理されても良い。
また、コンテンツ情報蓄積部110が最大視差と最小視差の情報を蓄積していない場合には、ステップS3021の代わりに、以下の手順でペア画像ごとの最大視差と最小視差のデータを生成しても良い。まず、奥行き情報計算部381は、コンテンツ情報蓄積部110に蓄積された映像コンテンツを構成する画像のペアを抽出し、画素または複数画素ごとに画像を分割した領域ごとに左右の画像を比較処理するマッチング処理により、画素単位あるいは領域単位での左右画像の対応点を分析する。次いで対応点ごとの視差を計算し、さらに計算された対応点ごとの視差より、当該ペア画像の最大視差と最小視差を求める。
また、コンテンツ情報蓄積部110が3次元映像と供に、コンテンツの分類情報として、映像の放送、映画、ゲームといった配信元の種類であるソース情報と、ドラマ、紀行といったコンテンツの内容であるジャンル情報と、シーン情報を蓄積しており、これらの分類情報を利用して視差を求めるとしてもよい。例えば、立体視能力計算部380は、図22のように標準奥行きデータ385と奥行き情報抽出部386が付け加わった構成であり、標準奥行きデータ385は図23のように放送、映画、ゲームといった映像の配信元の種類であるソース情報とドラマ、紀行といったコンテンツの内容であるジャンル情報とシーン情報によるコンテンツの分類ごとに、標準的な視差をディスプレイの水平方向の大きさに対する比率として保持している。あるいは標準的奥行きを標準視聴距離に対する比率として保持している。このような構成で、立体視能力計算部380は、以下の手順でコンテンツ映像の視差を求めて立体視範囲を計算するものとしてもよい。まず、奥行き情報抽出部386がコンテンツ情報蓄積部110より取得したコンテンツの分類情報をすなわちソース情報とジャンル情報とシーン情報とに基づいて標準奥行きデータ385より視差情報を抽出する。実施の形態1の第1の変形例のステップS3021で視差情報を取得する代わりに、分類情報に基づいて分類に対応する標準視差情報を取得して、ステップS3022移行の処理を行う。
図21はステップS3030の奥行きの微調整の処理の流れの詳細を示したフローチャートである。
図21に従って、奥行きの微調整の処理を説明する。
奥行き調整量決定部300はステップS3020で立体視能力計算部380で計算された立体視の範囲と、ステップS3020で立体視範囲を計算した際の単位時間に対応する時間区間にディスプレイ120に表示した奥行き距離の最大値と最小値とを用いて、奥行き調整量の微調整を行う。
まず、奥行き調整量決定部300はステップS3020で立体視能力計算部380で計算された立体視の最小値と、立体視の範囲を計算した時間区間にディスプレイ120に表示した奥行き距離の最小値とを比較する(S3301)。ステップS3301において、計算された視聴者の立体視の最小値と表示した奥行き距離の最小値とが同等である場合は奥行き最小値の調整量を変更せずステップS3305へ進む。ステップS3301において、計算された視聴者の立体視の最小値と表示した奥行き距離の最小値とが同等でない場合は、ステップS3302へ進む。ステップS3301において計算された視聴者の立体視の最小値と表示した奥行き距離の最小値とが同等であるとは、図17のステップS3120と同様立体視の最小距離が表示奥行きの最小値に対して、最小値の上下3%以内の値であることとする。なお、同等の基準はこれ以外であっても良い。ステップS3302では、奥行き調整量決定部300はステップS3020で求めた視聴者の立体視の最小値と視聴者データ管理部390の管理部392が記憶している標準視聴距離の60%の値との比較をする(S3302)。ステップS3020で求めた視聴者の立体視の最小値の95%が標準視聴距離の60%を下回っている場合は、奥行き調整量決定部300は、奥行きの最小値側すなわち飛び出し方向での調整をしないように調整量を決定する(S3304)。調整量はここでは1となる。ステップS3302で視聴者の立体視の最小値の95%が標準視聴距離の60%以上である場合は、ステップS3303に進む。ステップS3303では、奥行き調整量決定部300は、標準視聴距離の60%が視聴者の立体視の最小値より5%少ない奥行き距離となる調整量を求める(S3303)。ここでは標準視聴距離の60%を快適に3Dを視聴するための推奨の奥行き最小距離の一例としている。すなわち、ステップS3302の処理は快適に3Dを視聴するための奥行き最小距離をステップS3020で計算された視聴者の立体視の最小値を5%下回る値にあわせる調整を行う処理である。これは、ディスプレイ平面からの飛び出し量を、ステップS3020で計算された視聴者の立体視の最小値より少し飛び出しの多い距離、に設定することになる。調整量は奥行きの伸張比であり、すなわち、飛び出し量の圧縮比に相当する。
なお、ここではステップS3301からステップS3304の奥行き最小値の調整を先に説明し、ステップS3311からステップS3314の奥行き最大値の調整を後に説明したが、処理の順序はステップS3301からの最小値の調整が先であっても、ステップS3311からの最大値の調整が先であっても良い。また、両処理を並列に行っても良い。
なお、本実施の形態1の第1の変形例では奥行きの調整量は視聴距離より小さい奥行き、すなわちディスプレイ平面より視聴者の手前側については飛び出し量の圧縮比であり、視聴距離より大きい奥行き、すなわちディスプレイ平面より遠方については引き込み量の圧縮比であるとしたが、ディスプレイ平面との位置関係に関わらず奥行きの幅に対して調整するものとしても良い。
3次元映像の視聴経験により長期的に変化する視聴者ごとの立体視能力に合わせて最適な奥行き範囲で3次元映像を表示することができる。さらには、3次元映像視聴中に視聴者の立体視可能な範囲を計測し、計測された立体視可能な範囲にあわせて表示する奥行きを調整することにより、3次元映像に対する慣れによる立体視能力の向上と疲労による立体視能力の低下という2つの現象による、3次元映像視聴中に起こる立体視の能力の変化に対応する。これにより、3次元映像視聴の開始から個人に適応した奥行きで映像を表示することができるのみでなく、3次元映像を継続して視聴する間の視聴者の立体視能力の変化に対応して奥行きを調整して、長時間にわたる視聴中、常に視聴者個人に最適な奥行きの範囲で3次元映像を表示することができる。
(実施の形態1の変形例2)
実施の形態1および実施の形態1の第1の変形例では、表示奥行きの調整は画像処理による視差の調整によってのみ行った。しかし、3次元映像では映像の1ショットである1つの3次元画像中に奥行きの異なる対象物が含まれているのが普通である。これらは、それぞれに視差が与えられており、単純に左右の画像の位置関係を水平方向に移動させると対象物によって奥行きの変化量が異なり、対象物どうしの前後関係が不自然になる。奥行きごとに視差を変化させる詳細な画像処理を行うと、1つの画像内で画像が重なる部分、画像がなくなる部分が発生し、重なり順の処理や、画像の無い部分を補完する等の高次な画像処理が必要となる。これらの処理の負荷は大きく、動きの速い映像では処理の遅れや粗さにより不自然な画像になることがある。映画等の作品としてのコンテンツを考えると、1つのコンテンツに対して自然な映像で、あらかじめ奥行き範囲を調整した映像データを、複数の奥行き範囲のバージョンとして提供することが考えられる。このような場合、視聴するコンテンツをネットワークからダウンロードする場合に、すべての奥行き範囲のバージョンをダウンロードするのはネットワークへの大きな負荷となり現実的でない。そこで、本変形例3では、初期10分のみの立体視能力の履歴ではなく、立体視能力とのデータを継続視聴による立体視能力の変化を表示奥行き範囲とともに保持し、継続視聴による立体視の変化を予測することで、ダウンロードタイミングを計ることができる。
まず、視聴者により図示しない電源スイッチが押され、3次元表示テレビ10の電源が入り、画像表示システム1は動作を開始する(S1000)。次いで3次元表示テレビ10は3次元専用メガネ20の電源が入っているか否かを確認する(S1010)。
ステップS1010で3次元専用メガネ20の電源が入っている場合はステップS1020へ進む。ステップS1010で3次元専用メガネ20の電源が入っていない場合はステップS1200へ進む。ステップS1200では図示しない電源スイッチ等からの視聴終了信号の入力が行われたか否かを判断する。ステップS1200で視聴終了信号の入力がある場合はステップS1220へ進み画像表示システム1の動作を終了する(S1220)。ステップS1200で視聴終了信号の入力がない場合はステップS1210へ進み、画面制御部130はディスプレイ120に2次元の画像を表示する(S1210)。ステップS1210実行後、あらかじめ定められた時間の後、ステップS1010へ戻る。
一方、ステップS1030において登録済みの視聴者である場合はステップS3110へ進み、奥行き範囲選択部400は視聴者データ管理部390の立体視能力データベース391から、ステップS1030で特定された個人に対応する表示奥行きと立体視範囲のうち、直近の5回分の視聴履歴を抽出する(S3110)。次いで奥行き範囲選択部400はステップS3110で抽出した表示奥行きと立体視範囲の履歴情報を用いて視聴者の立体視範囲の推定を行う(S4010)ステップS4010は実施の形態1の第1の変形例におけるステップS3120からS3170またはS3180とステップS3220からステップS3270またはS3280の処理により行われる。さらに奥行き範囲選択部400はステップS4010で推定された立体視範囲に対応するコンテンツ表示時の奥行きの範囲を選択する(S4020)。コンテンツ表示時の奥行きの範囲は、あらかじめ定められた複数種の奥行き範囲があるものとする。コンテンツ作成者は定められた複数種の奥行き範囲になるように、コンテンツの奥行きを調節して作成した3次元映像を用意しているものとする。ステップS4020ではステップS4010で推定された視聴者の立体視範囲に最も近い奥行き範囲を選択する。
ステップS4020またはステップS4040で奥行き範囲が選択された後、立体視能力計算部480の立体視範囲変化予測部481は、ステップS4010で推定された立体視範囲またはステップS4040で設定された奥行き80%と、立体視能力データベース391に記憶された視聴者の立体視範囲の時間変化の履歴とから一定時間後の視聴者の立体視の範囲を予測する(S4021)。一定時間は長くとも次に説明するステップS4030で、映像ストリームをダウンロードする時間長より短い必要がある。また、一定時間は短くともステップS3010以降の処理で視聴者の立体視範囲を計算する単位時間を越える時間長である必要がある。立体視範囲の予測方法については後述する。
ダウンロード制御部410は奥行き範囲選択部400より取得した奥行き範囲に該当する3次元映像のストリームをダウンロードする(S4030)。ステップS4030でのダウンロードは映像の時間長が長くデータが大きい場合には、映像開始から一定時間分をダウンロードすればよい。一定時間は少なくともステップS3010以降の処理で視聴者の立体視範囲を計算する単位時間を越える時間長である必要がある。なお、ここでは当初表示する奥行き範囲の映像ストリームのみをダウンロードするものとしたが、ステップS4021で予測された一定時間以上経過した際の視聴者の立体視範囲に対応する奥行き範囲の映像ストリームも続いてダウンロードするとしてもよい。ステップS4030でダウンロード制御部410は映像ストリームをダウンロードする際にダウンロードした映像ストリームの奥行き範囲の情報を含む、ダウンロードの履歴を生成して記憶する。
映像ストリームの必要量がダウンロードされた後、生体信号センサ230は生体信号の取得を開始する(S1060)。画面制御部130は図示しない電源スイッチ等からの視聴終了信号の入力あるいはコンテンツ終了による視聴終了信号の発生が行われたか否かを判断する(S1070)。ステップS1070で視聴終了信号の入力がある場合はステップS1220へ進み画像表示システム1の動作を終了する(S1220)。ステップS1070で視聴終了信号の入力がない場合はステップS3010へ進む。ステップS3010では輻輳状態計算部170が3次元映像視聴開始、または立体視範囲の計算の終了から立体視計算のための処理単位時間が経過したか否かを判断する(S3010)。ステップS3010において処理単位時間が経過していない場合は、ステップS4050に進む。ステップS3010において処理単位時間が経過している場合は、ステップS3020に進む。
ステップS3020では、輻輳状態計算部170で、3次元専用メガネ20で取得された画像信号からエラー処理を行い、左右の眼球の瞳孔位置を抽出する。あらかじめ定められた時間幅すなわちサンプル数の画像に対応する瞳孔の位置情報から、立体視能力計算部480は立体視範囲を計算する(S3020)。次いで、ステップS3020で計算された、表示した奥行きの範囲と視聴者の立体視の範囲とを立体視能力データベース391に記憶する(S3040)。立体視能力計算部480の立体視範囲変化予測部481は、ステップS3020で計算された立体視範囲と、立体視能力データベース391に記憶された視聴者の立体視範囲の時間変化の履歴とから一定時間後の視聴者の立体視の範囲を予測する(S4060)。一定時間は短くともステップS3010以降の処理で視聴者の立体視範囲を計算する単位時間を越える時間長である必要がある。立体視範囲の予測方法については後述する。
奥行き範囲選択部400は、現在選択されている奥行きの範囲と、ステップS3020で計算された立体視範囲と、立体視能力データベース391に記憶された当該視聴者の継続視聴時の立体視能力の時間変化と、ダウンロード制御部410に記憶されたダウンロード履歴に基づいて奥行き範囲の選択を行う(S4050)。ステップS4050での奥行き範囲の選択方法については後述する。
画面制御部130はステップS4050で奥行き範囲選択部400が選択した奥行き範囲に調整された3次元映像をコンテンツ情報蓄積部110から呼び出し、映像を提示する(S1090)。
(実施の形態1の変形例3)
実施の形態1においては、画面の中央に表示されている星型を注視することで個人ごとの輻輳量を測定するための基準値を設定した。この基準値に基づいて個人ごとの輻輳量を測定し、測定結果に応じて立体の奥行き度合いを変更することで、個人に適した立体コンテンツの提供を行った。さらに、第1の変形例においては、個人の立体視能力の時系列変化の特性に応じて、コンテンツの奥行き方向の制御を行い、無理のない3次元映像コンテンツの提供を行っている。また、変形例2においては、個人の立体視能力の時系列変化の履歴を蓄積しておくことで、将来の立体視能力の変化を事前に予測することで、その能力に応じた3次元映像コンテンツを事前にネットワークでダウンロードしておくことで、ストレスのない立体視聴を実現する技術の開示を行っている。
P1=k(Rtan(θ1+Δθ1)−Rtanθ1) (1)
で表現される。ここで、Rは眼球の回転中心からの半径であり、kは単位移動距離あたりのピクセル数に相当する。ここで、眼球を撮像しているカメラのレンズひずみを考慮しなければ、kは一定の値として計算できる。
tanθ1=d/(L0+R) (2)
tan(θ1+Δθ1)=d/(L+R) (3)
で表現できる。ここで、Lは、視聴者からの白抜き星が提示されたときの、視聴者からの仮想的な距離を示しており、L0は被験者の顔からディスプレイまでの距離である。眼球の瞳孔中心の移動ピクセル数P1が計測されたとき、視聴者にとって白抜き星の位置は、数式1から3を用いることで、
L=kRdL0/(kRd+P1L0) (4)
となる。
(u+d)/(L0+R)=u/(L0−L) (5)
の関係が成立する。この式からuだけずらしたときのLの値を計算すると、L>>Rとしたときは、
L=(d×L0)/(u+d) (6)
で計算される。被験者の瞳孔が目標物である白抜き星の立体度に追従できていた場合には、数式4で計算されたLの値と数式6で計算されたLの値が同じ値となる。しかしながら、視聴者の眼球の輻輳が作成できない場合には、数式6で計算された値より、数式4で計算された値の方が大きくなり、画像的には視聴者に近いところで表示しようとしている物体が、視聴者に近すぎて十分に輻輳ができていないことを示すこととなる。表示画面の中央における立体視能力は、上記のようにして計測することが可能である。
(実施の形態2)<システムの説明>
図31は実施の形態2における画像表示システム1の構成図である。
画像表示システム1は3次元表示テレビ10と3次元専用メガネ20と入力インタフェース30からなる。図31は図1に示した実施の形態1と、3次元表示テレビ10では視聴者データ管理部190が視聴者データ管理部590に置き換わり、視聴制限データベース520が付け加わった以外は図1に示した3次元表示テレビと同様である。また、3次元専用メガネ20では生体信号センサ230がカメラ510に置き換わり、個人選択入力ボタン270が無くなった以外は図1に示した3次元専用メガネ20と同様である。図1と同一部分には同一の記号を付し、適宜説明を省略する。
図32は実施の形態2における画像表示システム1の一部の構成の詳細を示す構成図である。図32は図2に示した実施の形態1と、個人特定部194が虹彩認証部594に入れ替わり、立体視能力データベース191が立体視能力データベース591に入れ替わり、認証データ生成部595が付け加わった以外は図2と同様である。図2と同一の部分には同一の記号を付し、適宜説明を省略する。
実施の形態2の画像表示システムは、3次元専用メガネ20のセンサとして眼球を撮像するカメラ510を採用している。さらに視聴者データ管理部590はカメラ510により撮像される眼球の画像から虹彩を認証して個人を特定する。視聴制限データベース520に記憶された視聴者の年齢等により設定された視聴制限の情報に基づいて、成人向けのコンテンツを子供が視聴する等を防ぐ。
実施の形態2の3次元表示テレビ10はコンテンツ情報蓄積部110と、ディスプレイ120と、画面制御部130と、制御信号送信部140と、通信制御部150と、送受信部160と、輻輳状態計算部170と、立体視能力計算部180と、視聴者データ管理部590と、奥行き調整量決定部200と、登録された視聴者ごとに、視聴を制限する映像の属性を記憶した視聴制限データベース520とからなる。3次元専用メガネ20は制御信号受信部210と、シャッタ制御部220と、両眼球を撮像するカメラ510と信号生成部240と送受信部250と通信制御部260とを備える。
視聴者データ管理部590は、立体視能力データベース591、管理部192、眼球基礎データ生成部193、虹彩認証部594、認証データ生成部595とを備える。
立体視能力データベース591は、視聴者ごとの立体視能力と個人認証に用いる虹彩認証データを記憶する。
虹彩認証部594は、3次元専用メガネ20より送信された眼球の画像データと立体視能力データベース591の虹彩認証データとのマッチング処理により個人認証を行う。
認証データ生成部595は、新規視聴者の登録の際に3次元専用メガネ20から送信された眼球の画像データより虹彩認証用の虹彩認証データを生成する。
実施の形態2の奥行きの調整にかかわる動作は実施の形態1と同様であるので説明を省略する。
図34は実施の形態2の3次元表示テレビ10と3次元専用メガネ20との通信プロトコルを示したものである。
図34に従って、3次元専用メガネ20上のカメラで撮像した眼球画像による個人認証に関する動作を説明する。
まず、3次元表示テレビ10の電源が入り、画像表示システム1は動作を開始する。3次元専用メガネ20の電源が入り、3次元専用メガネ20の送受信部250から3次元表示テレビ10の送受信部160に3次元専用メガネ20のメガネID情報が送信される(通信1)。これにより、3次元表示テレビ10の通信制御部150は3次元専用メガネ20が動作中であることを確認し、通信制御部150の制御に基づいて送受信部160はメガネID受信完了信号を3次元専用メガネ20に送信する(通信2)。
次いで、通信制御部150の制御に基づいて送受信部160は個人認証情報を要求する要求信号を3次元専用メガネ20に送信する(通信21)。3次元専用メガネ20の送受信部250は個人認証情報の要求信号を受信し、要求信号に基づいて、カメラ510は眼球を撮像し信号生成部240はカメラ510で撮像された認証用画増データ送信用信号を生成する。3次元専用メガネ20の送受信部250は通信制御部260の制御に基づいて個人認証情報を3次元表示テレビ10に送信する(通信22)。視聴者データ管理部590は送受信部160が受信した個人認証情報を取得する。視聴者データ管理部590の虹彩認証部594は取得した個人認証情報と立体視能力データベースに蓄積された登録済み視聴者の虹彩認証データとのマッチングを行う。取得した個人認証情報が登録済み視聴者の虹彩データとマッチする場合は、管理部192は虹彩データがマッチした視聴者に対応する視聴制限を抽出し、画面制御部130へ出力する。画面制御部130は視聴制限に従ってコンテンツ映像を取得し、特定された視聴者の立体視の能力にあわせた奥行き範囲の情報を奥行き調整量決定部200へ出力する。奥行き調整量決定部200は抽出された視聴者の立体視範囲に応じてコンテンツ映像をディスプレイ120に提示する際の奥行き範囲を決定する。
さらに、送受信部160は通信制御部150の制御に基づいて生体信号取得開始要求信号を3次元専用メガネ20に送信する(通信5)。送受信部250は生体信号取得開始要求信号を受信し、カメラ510は眼球の撮像を開始する。
画面制御部130はコンテンツ情報蓄積部110に蓄積された3次元映像を呼び出し、ディスプレイ120を制御して3次元映像を表示し、制御信号送信部140を制御して、画面に表示される右目用と左目用の画像に同期して3次元専用メガネ20のシャッタを開閉するための制御信号を3次元専用メガネ20に送信する(通信6)。3次元専用メガネ20の制御信号受信部210は制御信号送信部140から送信された制御信号を受信し、シャッタ制御部220は図示しないシャッタを開閉して右目用画像を視聴者の右目にのみ提示し、左目用画像を視聴者の左目のみに提示する。
虹彩認証部594が送受信部160から取得した個人認証情報が登録済み視聴者とマッチしない場合は視聴者の新規登録を行う。送受信部160から取得した個人認証情報より認証データ生成部595が虹彩認証データを生成し、虹彩認証データと視聴者IDとをあわせて立体視能力データベース591に蓄積する。
(実施の形態2の第1の変形例)
実施の形態2においては、コンテンツを変更するときに、視聴者の虹彩画像で認証を行う動作について説明した。しかしながら、虹彩画像等を用いた認証を行うためには、メガネに装着されたカメラで取得した画像をテレビ側に送信するため、虹彩認証の精度を向上させるために、画像の詳細度をあげると通信に時間がかかってしまう。また、個人認証を行うときには、他人除外性能を向上させようとすると、一回の虹彩画像の取得では認証に失敗することも多い。このように、コンテンツが切り替わるタイミングで個人の認証を行うと視聴者にとって、認証のプロセスが手間になることがある。
(実施の形態3)<メガネ(デバイス)の説明>
図35は実施の形態3における3次元専用メガネ20の構成図である。
図35に示した3次元専用メガネ20は図1に示した実施の形態1における3次元専用メガネ20の個人選択入力ボタン270が認証データ取得制御部610に置き換わり、光源620とカメラ630とか付け加わった以外は、図1に示した実施の形態1における3次元専用メガネ20と同様である。図1と同一部分には同一の記号を付し、適宜説明を省略する。
実施の形態3の3次元専用メガネ20は制御信号受信部210と、シャッタ制御部220と、生体信号センサ230と、信号生成部240と、送受信部250と、通信制御部260と、認証データ取得制御部610、カメラ630とを備える。
認証データ取得制御部610は、こめかみの静脈パタンを撮像して個人認証を行うための認証データの取得を制御する。
カメラ630は、認証データ取得制御部610の制御信号に基づきこめかみの静脈パタンを撮像する際に必要な光を提供する光源620と認証データ取得制御部610の制御信号に基づきこめかみの静脈パタンを撮像する。光源は近赤外光源であることが望ましく、カメラは赤外線領域が撮像可能なカメラであることが望ましい。
図36は実施の形態3における3次元専用メガネ20の一例である。メガネの内側の図については、左のつる部分を省略している。メガネの内側すなわち視聴者の顔面側にカメラ630と光源620とが設けられている。光源620はメガネのレンズフレームの顔の側面寄り下半分または、それに接触するメガネのツルの付け根部分に備える。カメラ630はメガネのレンズフレームの顔の側面寄り上半分または、それに接触するメガネのツルの付け根部分に備える。
図37は実施の形態3における3次元専用メガネ2011年7月8日で静脈パタンを撮像する際の光源620による照射範囲と、カメラ630による撮像範囲とを模式的に示した図である。
図37は視聴者の顔を右から見た図である。視聴者の目部分については点線で示してある。メガネのフレームは省略されている。眼窩上孔は眉の下、上まぶたの上にあるくぼみ部分を指す。光源620の照射範囲は目の外側すなわち目尻側よりの上まぶたから眼窩上孔にかけてであり、おおむね図中の斜線部である。カメラ630の照射範囲は、こめかみから額の外側で目尻の直上である。こめかみは目尻から耳の間の前方、すなわち目側から1/2程度の範囲を指すものとする。
静脈パタンによる認証は指の静脈や手のひらの静脈で知られている。金融機関や入出門管理等においては、手を近づけることは自然な動作である。しかし、家庭のテレビにおいては視聴ごと、コンテンツの変更操作ごと、あるいは課金等の操作ごとに認証の動作を行うのは煩わしい。3次元専用メガネ20であれば、視聴中は身に着けており、メガネに備えたセンサにより生体認証ができれば、認証のための特別な動作を行うことなく、自動的に認証データを取得、送信することができる。
静脈のパタンは顔面においても個人ごとに異なっている。そこで、本願では、顔面の静脈パタンにより個人認証を行う仕組みを開示する。
静脈パタンは近赤外光を目に照射し、近赤外光が目内部で乱反射した結果、目の表面を撮像するカメラには表面近くの静脈のみが影として撮像されることを利用している。静脈パタンを撮像するためには、近赤外線が目内の特に軟組織で乱反射することが重要である。骨の周辺に適当な体積の軟組織があること、光源からの直接光がカメラに入射しないで照射できること等が条件となる。発明者らは、図37に示すように眼窩上孔に顔面の下方向から眉の下上まぶたの目尻より位置と眉との間のくぼみに近赤外線を照射した際に、こめかみの静脈が撮像可能であることを発見した。この照射範囲を実現するための光源620の設置位置の一例として、上記のメガネのレンズフレームの顔の側面寄り下半分または、それに接触するメガネのツルの付け根部分があるが、図37に示した照射位置を実現する光源位置と方向であればこれに限らない。こめかみの静脈で図37に示した範囲を撮像するためのカメラ630の設置位置の一例として上記のメガネのレンズフレームの顔の側面寄り上半分または、それに接触するメガネのツルの付け根部分があるが、図37に示した撮像範囲を実現するカメラ位置であればこれに限らない。
なお、本実施の形態3において図36に示すとおり光源620とカメラ630とは顔面の右側用と左側用との2組を備えたが、右または左のどちらか一方に光源620とカメラ630とを備えても良い。
以上のようにこめかみの静脈パタンを撮像する光源位置とカメラ位置を定めて、光源とカメラを備えることで、3次元専用メガネ20で静脈パタンを撮像することができる。メガネ内部に備えた認証手段または、メガネから通信により認証画像を取得するテレビ等に備えた認証手段により、メガネをかけている個人の個人認証を行うことができる。これは実施の形態1と実施の形態1の第1の変形例、変形例2で、個人選択入力ボタンによって行っていた個人特定を自動で行うことに用いることができる。また、実施の形態2で虹彩認証によって行っていた個人認証の変わりに利用することもできる。
10 3次元表示テレビ
20 3次元専用メガネ
30 入力インタフェース
100 映像提供者
110 コンテンツ情報蓄積部
120 ディスプレイ
130 画面制御部
140 制御信号送信部
150、260 通信制御部
160、250 送受信部
170 輻輳状態計算部
180、380、480 立体視能力計算部
190、390、590 視聴者データ管理部
200、300 奥行き調整量決定部
210 制御信号受信部
220 シャッタ制御部
230 生体信号センサ
240 信号生成部
270 個人選択入力ボタン
191、391、591 立体視能力データベース
192、392 管理部
193 眼球基礎データ生成部
194 個人特定部
195 表示画像生成部
381 奥行き情報計算部
382 立体視範囲計算部
385 標準奥行きデータ
386 奥行き情報抽出部
400 奥行き範囲選択部
410 ダウンロード制御部
481 立体視範囲変化予測部
510、630 カメラ
520 視聴制限データベース
594 虹彩認証部
595 認証データ生成部
610 認証データ取得制御部
620 光源
3801 位置別輻輳範囲蓄積部
4701 メガネ装着検出部
Claims (16)
- 視聴者の左目に提示する画像と右目に提示する画像を交互に出力する画面を備える画像表示装置と、
前記画面に左目用画像が表示されるときに左目側のシャッタを透過状態にし、前記画面に右目用画像が表示されるときに右目側のシャッタを透過状態にする、前記視聴者の顔面または頭部に装着するメガネとを備える3次元画像表示システムにおいて、
前記画像表示装置とメガネとが双方向に通信する通信手段を備え、
前記メガネは、
前記視聴者の眼の状態を測定する生体信号測定手段と、
前記生体信号測定手段で測定された前記視聴者の眼の状態を通信信号に変換して前記
メガネから前記画像表示装置に送信する送信手段とを備え、
前記画像表示装置は、
前記メガネから前記画像表示装置に送信する通信信号を受信する受信手段と、
前記視聴者を特定する個人特定手段と、
前記受信手段で受信した前記メガネから送信された前記視聴者の眼の状態を用いて前記視聴者の眼球運動を測定する眼球運動測定手段と、
前記眼球運動測定手段で測定した前記視聴者の眼球運動を用いて視聴者の立体視能力を計算する立体視能力計算手段と、
前記立体視能力計算手段で計算された前記立体視能力を、前記個人特定手段で特定した視聴者ごとに記憶する立体視能力記憶手段と
前記立体視能力記憶手段に記憶された視聴者ごとの立体視能力に従って奥行き調整量を決定する奥行き調整量決定手段とを備え、
前記立体視能力記憶手段は、
表示奥行き情報と、立体視範囲情報との少なくともいずれか1つを含む視聴履歴を記憶し、
前記立体視能力計算手段は、前記立体視能力記憶手段で記憶されている前記視聴履歴から、前記視聴者の視聴ごとの前記立体視能力の変化を推定することを特徴とする画像表示システム。 - 視聴者の左目に提示する画像と右目に提示する画像を交互に出力する画面を備える画像表示装置と、
前記画面に左目用画像が表示されるときに左目側のシャッタを透過状態にし、前記画面に右目用画像が表示されるときに右目側のシャッタを透過状態にする、前記視聴者の顔面または頭部に装着するメガネとを備える3次元画像表示システムにおいて、
前記画像表示装置とメガネとが双方向に通信する通信手段を備え、
前記メガネは、
前記視聴者の眼の状態を測定する生体信号測定手段と、
前記生体信号測定手段で測定された前記視聴者の眼の状態を通信信号に変換して前記
メガネから前記画像表示装置に送信する送信手段とを備え、
前記画像表示装置は、
前記メガネから前記画像表示装置に送信する通信信号を受信する受信手段と、
前記視聴者を特定する個人特定手段と、
前記受信手段で受信した前記メガネから送信された前記視聴者の眼の状態を用いて前記視聴者の眼球運動を測定する眼球運動測定手段と、
前記眼球運動測定手段で測定した前記視聴者の眼球運動を用いて視聴者の立体視能力を計算する立体視能力計算手段と、
前記立体視能力計算手段で計算された前記立体視能力を、前記個人特定手段で特定した視聴者ごとに記憶する立体視能力記憶手段と
前記立体視能力記憶手段に記憶された視聴者ごとの立体視能力に従って奥行き調整量を決定する奥行き調整量決定手段とを備え、
前記立体視能力記憶手段は、前記視聴者ごとの視聴履歴として視聴コンテンツの
分類情報を記憶し、
前記立体視能力計算手段は、コンテンツの分類ごとの奥行き範囲を用いて前記視聴者の立体視能力を推定する画像表示システム。 - 前記立体視能力計算手段は、前記画像表示装置で表示された所定の画像に対する、前記視聴者の眼球運動の輻輳量を用いて立体視能力を計算することを特徴とする請求項1又は2記載の画像表示システム。
- 前記立体視能力記憶手段は、前記画像表示装置で表示された連続コンテンツの奥行き量の変化の履歴の時系列情報と、表示された前記連続コンテンツに対する前記視聴者の輻輳量の変化の履歴の時系列情報とを蓄積し、
前記立体視能力計算手段は、前記立体視能力記憶手段で記憶されている前記履歴から、前記視聴者の立体視能力の時系列変化を推定することを特徴とする請求項3記載の画像表示システム。 - 前記画像表示システムにおいて、さらに、
同一コンテンツに対して奥行き量が異なるコンテンツを蓄積するコンテンツ情報蓄積手段を有し、
前記奥行き調整量決定手段で決定された奥行き量から前記コンテンツ情報蓄積手段で蓄積されているコンテンツを、ネットワークを介して取得するコンテンツ取得手段を有し、
前記立体視能力計算手段で計算された前記視聴者の将来の立体視能力に基づき、事前にコンテンツ取得手段でコンテンツを取得することを特徴とする請求項4記載の画像表示システム。 - 視聴者の左目に提示する画像と右目に提示する画像を交互に出力する画面を備える画像表示装置と、
前記画面に左目用画像が表示されるときに左目側のシャッタを透過状態にし、前記画面に右目用画像が表示されるときに右目側のシャッタを透過状態にする、前記視聴者の顔面または頭部に装着するメガネとを備える3次元画像表示システムにおいて、
前記画像表示装置とメガネとが双方向に通信する通信手段を備え、
前記メガネは、
前記視聴者の眼の状態を測定する生体信号測定手段と、
前記生体信号測定手段で測定された前記視聴者の眼の状態を通信信号に変換して前記
メガネから前記画像表示装置に送信する送信手段とを備え、
前記画像表示装置は、
前記メガネから前記画像表示装置に送信する通信信号を受信する受信手段と、
前記視聴者を特定する個人特定手段と、
前記受信手段で受信した前記メガネから送信された前記視聴者の眼の状態を用いて前記視聴者の眼球運動を測定する眼球運動測定手段と、
前記眼球運動測定手段で測定した前記視聴者の眼球運動を用いて視聴者の立体視能力を計算する立体視能力計算手段と、
前記立体視能力計算手段で計算された前記立体視能力を、前記個人特定手段で特定した視聴者ごとに記憶する立体視能力記憶手段と
前記立体視能力記憶手段に記憶された視聴者ごとの立体視能力に従って奥行き調整量を決定する奥行き調整量決定手段とを備え、
前記立体視能力計算手段は、前記視聴者の眼球画像から立体視能力を計算するものであり、さらに、
前記眼球画像から前記視聴者の輻輳状態を計算する視聴者輻輳状態計算手段を有し、
前記画像表示装置で表示される画像位置から計算される奥行き量と、前記視聴者輻輳状態計算手段で計算された輻輳量から算出される奥行き量との差に基づいて、前記立体視能力が計算される画像表示システム。 - 前記画像表示システムにおいて、さらに、
前記画像表示装置で表示される所定の画像は複数の位置で表示され、各位置での輻輳状態を蓄積する立体視能力を計算した結果を蓄積する位置別輻輳範囲蓄積手段を有し、
前記立体視能力計算手段では、複数の位置での輻輳範囲から前記視聴者の立体視能力を計算することを特徴とする請求項3記載の画像表示システム。 - 前記位置別輻輳範囲蓄積手段で蓄積する輻輳範囲を計算する表示位置は、前記画像表示装置の水平方向に異なる位置で提示した目標物に対する輻輳範囲であることを特徴とする請求項7記載の画像表示システム。
- 視聴者輻輳状態計算手段は、前記画像表示装置で垂直方向に異なる位置で提示された目標物に対する眼球画像を取得し、瞳孔の下部の画像が取得できる位置の垂直位置を用いて輻輳能力を測定することを特徴とする請求項8記載の画像表示システム。
- 前記画像表示システムにおいて、前記個人特定手段が、前記メガネに装着されたカメラによる個人認証を行うことを特徴とする請求項1、2又は6記載の画像表示システム。
- 前記画像表示システムにおいて、
前記個人特定手段が、前記メガネに装着されたカメラによる個人認証を行い、
さらに、前記視聴者のメガネの装着の有無を検出するメガネ装着状態検出手段を有し、
前記メガネ装着状態検出手段で、メガネが装着されていると判断されたときに、前記個人特定手段で個人を特定し、その後、前記メガネ装着状態検出手段でメガネの装着が検出されなくなったときまでの期間に、
前記生体信号測定手段で測定された信号は、前記個人特定手段で特定された個人から得られた信号であるとすることを特徴とする請求項10記載の画像表示システム。 - 前記画像表示システムにおいて、
前記個人特定手段では、前記視聴者の虹彩画像を取得する、あるいは前記視聴者の顔面
の静脈の画像を取得することによって、個人を特定することを特徴とする請求項10記載の画像表示システム。 - 前記画像表示システムにおいて、さらに、 前記画像表示装置は個人ごとの視聴制限情報を記憶する視聴制限記憶手段を有し、
前記視聴制限記憶手段に記憶された、前記個人特定手段で特定された個人に対応する前記視聴制限情報に従ってコンテンツの表示を制御する制御手段とを備える
ことを特徴とする請求項10に記載の画像表示システム。 - 右目側シャッタ及び左目側シャッタの透過状態を制御するシャッタ制御部と、視聴者の眼の状態情報を計測するセンサとを有するメガネと双方向に通信する通信手段と、
前記視聴者を特定する個人特定手段と、
前記メガネから受信した前記視聴者の眼の状態情報を用いて前記視聴者の眼球運動を測定する眼球運動測定手段と、
前記眼球運動測定手段により測定した前記視聴者の眼球運動を用いて視聴者の立体視能力を計算する立体視能力計算手段と、
前記立体視能力計算手段で計算された前記立体視能力を、前記個人特定手段で特定した視聴者ごとに記憶する立体視能力記憶手段と
前記立体視能力記憶手段に記憶された視聴者ごとの立体視能力に従って奥行き調整量を決定する奥行き調整量決定手段と、
前記奥行き調整量決定手段により決定された奥行き調整量に基づいて、左目用画像と右目用画像の視差を調節し、視差を調整した右目用画像及び左目用画像を交互に出力する画像表示部とを備え、
前記立体視能力記憶手段は、
表示奥行き情報と、立体視範囲情報との少なくともいずれか1つを含む視聴履歴を記憶し、
前記立体視能力計算手段は、前記立体視能力記憶手段で記憶されている前記視聴履歴から、前記視聴者の視聴ごとの前記立体視能力の変化を推定する3次元表示装置。 - 右目側シャッタ及び左目側シャッタの透過状態を制御するシャッタ制御部と、視聴者の眼の状態情報を計測するセンサとを有するメガネと双方向に通信する通信手段と、
前記視聴者を特定する個人特定手段と、
前記メガネから受信した前記視聴者の眼の状態情報を用いて前記視聴者の眼球運動を測定する眼球運動測定手段と、
前記眼球運動測定手段により測定した前記視聴者の眼球運動を用いて視聴者の立体視能力を計算する立体視能力計算手段と、
前記立体視能力計算手段で計算された前記立体視能力を、前記個人特定手段で特定した視聴者ごとに記憶する立体視能力記憶手段と
前記立体視能力記憶手段に記憶された視聴者ごとの立体視能力に従って奥行き調整量を決定する奥行き調整量決定手段と、
前記奥行き調整量決定手段により決定された奥行き調整量に基づいて、左目用画像と右目用画像の視差を調節し、視差を調整した右目用画像及び左目用画像を交互に出力する画像表示部とを備え、
前記立体視能力記憶手段は、前記視聴者ごとの視聴履歴として視聴コンテンツの分類情報を記憶し、
前記立体視能力計算手段は、コンテンツの分類ごとの奥行き範囲を用いて前記視聴者の立体視能力を推定する3次元表示装置。 - 右目側シャッタ及び左目側シャッタの透過状態を制御するシャッタ制御部と、視聴
者の眼の状態情報を計測するセンサとを有するメガネと双方向に通信する通信手段と、
前記視聴者を特定する個人特定手段と、
前記メガネから受信した前記視聴者の眼の状態情報を用いて前記視聴者の眼球運動を測定する眼球運動測定手段と、
前記眼球運動測定手段により測定した前記視聴者の眼球運動を用いて視聴者の立体視能力を計算する立体視能力計算手段と、
前記立体視能力計算手段で計算された前記立体視能力を、前記個人特定手段で特定した視聴者ごとに記憶する立体視能力記憶手段と
前記立体視能力記憶手段に記憶された視聴者ごとの立体視能力に従って奥行き調整量を決定する奥行き調整量決定手段と、
前記奥行き調整量決定手段により決定された奥行き調整量に基づいて、左目用画像と右目用画像の視差を調節し、視差を調整した右目用画像及び左目用画像を交互に出力する画像表示部とを備え、
前記立体視能力計算手段は、前記視聴者の眼球画像から立体視能力を計算するものであり、さらに、
前記眼球画像から前記視聴者の輻輳状態を計算する視聴者輻輳状態計算手段を有し、
前記画像表示部で表示される画像位置から計算される奥行き量と、前記視聴者輻輳状態計算手段で計算された輻輳量から算出される奥行き量との差に基づいて、前記立体視能力が計算される3次元表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011190312A JP6097919B2 (ja) | 2011-09-01 | 2011-09-01 | 立体視映像のための画像表示システム及び3次元表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011190312A JP6097919B2 (ja) | 2011-09-01 | 2011-09-01 | 立体視映像のための画像表示システム及び3次元表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013055383A JP2013055383A (ja) | 2013-03-21 |
JP6097919B2 true JP6097919B2 (ja) | 2017-03-22 |
Family
ID=48132043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011190312A Active JP6097919B2 (ja) | 2011-09-01 | 2011-09-01 | 立体視映像のための画像表示システム及び3次元表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6097919B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180116378A (ko) * | 2016-03-31 | 2018-10-24 | 고쿠리츠겐큐가이하츠호징 노우교 · 쇼쿠힝 산교기쥬츠 소고겐큐기코 | 접목 장치 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105594205B (zh) | 2013-10-02 | 2017-09-26 | 奥林巴斯株式会社 | 三维图像系统 |
CN110059585B (zh) * | 2016-08-18 | 2023-10-24 | 瑞声光学解决方案私人有限公司 | 具虹膜采集功能的虚拟现实设备 |
JP7036572B2 (ja) * | 2017-11-02 | 2022-03-15 | マクセル株式会社 | 虚像表示装置およびそれを用いたヘッドマウントディスプレイ |
US20200275087A1 (en) * | 2019-02-25 | 2020-08-27 | Kazuhiro Asakura | Computer-readable non-transitory storage medium, web server, and calibration method for interpupillary distance |
JP7011860B1 (ja) * | 2020-10-14 | 2022-01-27 | 株式会社Theater Guild | プログラム、端末装置及び方法 |
CN113077510B (zh) * | 2021-04-12 | 2022-09-20 | 广州市诺以德医疗科技发展有限公司 | 遮蔽下的立体视功能检查系统 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3271300B2 (ja) * | 1992-06-11 | 2002-04-02 | ソニー株式会社 | 眼鏡型ディスプレイ装置 |
JPH0918894A (ja) * | 1995-06-26 | 1997-01-17 | Sanyo Electric Co Ltd | 立体映像表示装置 |
JPH11164329A (ja) * | 1997-11-27 | 1999-06-18 | Toshiba Corp | 立体映像表示装置 |
JP2000050313A (ja) * | 1998-07-28 | 2000-02-18 | Matsushita Electric Works Ltd | 頭部搭載型ディスプレイ装置 |
JP2003167855A (ja) * | 2001-11-29 | 2003-06-13 | Mitsubishi Electric Corp | 情報端末システム |
JP2007003745A (ja) * | 2005-06-23 | 2007-01-11 | Aruze Corp | 画像表示装置及び画像表示システム |
JP4937607B2 (ja) * | 2006-03-14 | 2012-05-23 | 富士通株式会社 | 生体認証方法及び生体認証装置 |
JP5228305B2 (ja) * | 2006-09-08 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
JP2008311914A (ja) * | 2007-06-14 | 2008-12-25 | Funai Electric Co Ltd | テレビジョン受像機 |
JP2011028633A (ja) * | 2009-07-28 | 2011-02-10 | Sony Corp | 情報処理装置及び方法、並びに、プログラム |
JP2011064894A (ja) * | 2009-09-16 | 2011-03-31 | Fujifilm Corp | 立体画像表示装置 |
-
2011
- 2011-09-01 JP JP2011190312A patent/JP6097919B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180116378A (ko) * | 2016-03-31 | 2018-10-24 | 고쿠리츠겐큐가이하츠호징 노우교 · 쇼쿠힝 산교기쥬츠 소고겐큐기코 | 접목 장치 |
KR102129346B1 (ko) * | 2016-03-31 | 2020-07-03 | 고쿠리츠겐큐가이하츠호징 노우교 · 쇼쿠힝 산교기쥬츠 소고겐큐기코 | 접목 장치 |
Also Published As
Publication number | Publication date |
---|---|
JP2013055383A (ja) | 2013-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102239686B1 (ko) | 단일 깊이 추적 순응-수렴 솔루션 | |
JP6097919B2 (ja) | 立体視映像のための画像表示システム及び3次元表示装置 | |
US11061240B2 (en) | Head-mountable apparatus and methods | |
JP5475893B2 (ja) | 視覚疲労度測定装置およびその方法 | |
CN112567287A (zh) | 具有帧调制功能的增强现实显示 | |
US20190235624A1 (en) | Systems and methods for predictive visual rendering | |
EP2893388B1 (en) | Head mounted system and method to compute and render a stream of digital images using a head mounted system | |
CN114868069A (zh) | 用电子显示器的中央凹渲染的预测性眼睛跟踪系统和方法 | |
CN106484116B (zh) | 媒体文件的处理方法和装置 | |
WO2003079272A1 (en) | Materials and methods for simulating focal shifts in viewers using large depth of focus displays | |
JP5148016B2 (ja) | 立体映像提供装置及びその方法 | |
KR20170003364A (ko) | 3d 이미지를 디스플레이하는 방법 및 이를 위한 장치 | |
KR101203921B1 (ko) | 안구 추적과 위치 기반 서비스를 이용한 정보 제공 장치 | |
US20140184760A1 (en) | Three-dimensional video display apparatus and three-dimensional video display method | |
GB2599900A (en) | Data processing system and method for image enhancement | |
US20220035449A1 (en) | Gaze tracking system and method | |
GB2595461A (en) | Gaze tracking apparatus and systems | |
GB2597917A (en) | Gaze tracking method and apparatus | |
GB2596588A (en) | Data processing apparatus and method | |
US11579690B2 (en) | Gaze tracking apparatus and systems | |
US20220350141A1 (en) | Head-mountable display apparatus and methods | |
EP4120052A1 (en) | Head-mountable display systems and methods | |
Eickelberg | Dynamic horizontal image translation in stereo 3D | |
KR101246846B1 (ko) | 3차원 영상 표시 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140806 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20140912 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160323 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6097919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |