JP5366137B2 - 映像表示システムおよび映像表示方法 - Google Patents

Description

本発明は、映像を表示する映像表示システムおよび映像表示方法に関する。

平面ディスプレイ、および立体ディスプレイ等の種々の映像表示装置が開発されている（例えば特許文献１参照）。

特開２００９−８８３７号公報

一の映像表示装置に表示される映像の一部を他の映像表示装置により観察したい場合がある。複数の映像表示装置がネットワーク上のコンピュータにそれぞれ接続される場合には、使用者が一の映像表示装置に表示される映像をコンピュータを操作することにより切り取り、他の映像表示装置に表示させることができる。しかしながら、このような操作は、非常に面倒である。

例えば、遠隔会議において、大型の映像表示装置の画面に表示された映像の一部を手元の小型の映像表示装置で詳細に観察したい場合、出席者が面倒な操作を行うことにより会議の進行が遅れる事態が生じる。そのため、リアルタイムに変化する状況下で、一の映像表示装置に表示される映像の一部を他の映像表示装置に表示させて詳細に観察することは困難である。

本発明の目的は、一の映像表示装置に表示される平面映像の所望の部分に対応する立体映像を使用者の直感的な操作で容易に他の映像表示装置に表示させることを可能にする映像表示システムおよび映像表示方法を提供することである。

（１）第１の発明に係る映像表示システムは、形状を表示するための形状データを平面映像データに変換し、変換された平面映像データに基づいて平面映像を表示する第１の映像表示装置と、形状データを立体映像データに変換し、変換された立体映像データに基づいて立体映像を表示する第２の映像表示装置と、使用者が第２の映像表示装置を把持したことを検出する把持検出手段と、第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことを検出する接近検出手段と、使用者が第１の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことを検出する指定操作検出手段と、接近検出手段により第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことが検出された場合に、指定操作検出手段により検出された操作に基づいて使用者により指定された平面映像の部分を判別し、指定された平面映像の部分に対応する立体映像を表示するように第２の映像表示装置を制御する制御手段とを備えるものである。

第１の発明に係る映像表示システムにおいては、形状を表示するための形状データが平面映像データに変換され、変換された平面映像データに基づいて第１の映像表示装置に平面映像が表示される。また、使用者が第２の映像表示装置を把持したことが把持検出手段により検出され、第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことが接近検出手段により検出される。使用者が第１の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことが指定操作検出手段により検出される。その場合、検出された操作に基づいて使用者により指定された平面映像の部分が制御手段により判別され、第２の映像表示装置に指定された平面映像の部分に対応する立体映像が表示されるように第２の映像表示装置が制御される。

それにより、使用者が第２の映像表示装置を把持して第１の映像表示装置に接近し、第１の映像表示装置に表示された平面映像の任意の部分を指定する操作を行うことにより、指定された部分に対応する立体映像が第２の映像表示装置に表示される。したがって、使用者は、複雑な操作を行うことなく、第１の映像表示装置に表示される平面映像の所望の部分に対応する立体映像を直感的な操作で容易に第２の映像表示装置に表示させることが可能となる。
また、第１の映像表示装置に表示された平面映像の指定された部分が立体映像として第２の映像表示装置に表示される。それにより、使用者は、平面映像の所望の部分に対応する立体映像を任意の角度から詳細に観察することが可能となる。

（２）指定操作検出手段は、第１の映像表示装置に対する第２の映像表示装置の位置を検出する位置検出手段を含み、制御手段は、位置検出手段により検出された位置に基づいて使用者により指定された平面映像の部分を判別してもよい。

この場合、第１の映像表示装置に対する第２の映像表示装置の位置に基づいて、第１の映像表示装置に表示された平面映像の部分を指定する操作が行われたことを検出することができるとともに、指定された平面映像の部分に対応する立体映像を判別することができる。

（３）位置検出手段は、第１の映像表示装置に設けられた第１の被撮像部と、第２の映像表示装置に設けられた第２の被撮像部と、異なる位置から第１の被撮像部および第２の被撮像部を撮像する複数の撮像手段とを含み、制御手段は、複数の撮像手段により得られる画像に基づいて使用者により指定された平面映像の部分を判別してもよい。

この場合、第１の映像表示装置に設けられた第１の被撮像部および第２の映像表示装置に設けられた第２の被撮像部が、複数の撮像手段により異なる位置から撮像される。複数の撮像手段により得られる第１の被撮像部の画像に基づいて第１の映像表示装置の位置を特定することができる。また、複数の撮像手段により得られる第２の被撮像部の画像に基づいて第２の映像表示装置の位置を特定することができる。それにより、第１の映像表示装置に対する第２の映像表示装置の位置を検出することができる。したがって、使用者は、第２の映像表示装置を第１の映像表示装置に対して移動させることにより第１の映像表示装置に表示される平面映像の所望の部分を指定することができ、複数の撮像手段により得られる画像に基づいて使用者により指定された平面映像の部分に対応する立体映像を判別することが可能となる。

（４）接近検出手段は、指定操作検出手段の位置検出手段と共通の位置検出手段を含み、共通の位置検出手段により検出された位置に基づいて第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことを検出してもよい。

この場合、共通の位置検出手段により、第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したこと、および第１の映像表示装置に表示された平面映像の部分を指定する操作が行われたことを検出することができる。したがって、映像表示システムの構成が複雑化しない。

（５）接近検出手段は、第１の映像表示装置に設けられ、第２の映像表示装置の接触を検出する第１の接触検出手段を含んでもよい。

この場合、第１の接触検出手段により第１の映像表示装置の接触が検出されることにより、第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことが検出される。

（６）接近検出手段は、第１の映像表示装置に設けられ、第２の映像表示装置の近接を検出する近接検出手段を含んでもよい。

この場合、近接検出手段により第１の映像表示装置の近接が検出されることにより、第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことが検出される。

（７）把持検出手段は、第２の映像表示装置に設けられ、使用者の身体が接触したことを検出する第２の接触検出手段を含んでもよい。

この場合、使用者が第２の映像表示装置に接触したことが検出されることにより、使用者が第２の映像表示装置を把持したことが検出される。

（８）制御手段は、形状データを記憶する記憶部と、記憶部に記憶された形状データを第１の映像表示装置に与え、使用者により指定された平面映像の部分に対応する形状データを記憶部から取得し、取得した形状データを第２の映像表示装置に与える主制御部とを含み、第１の映像表示装置は、主制御部から与えられる形状データに基づいて平面映像を表示し、第２の映像表示装置は、主制御部から与えられる形状データに基づいて使用者により指定された平面映像の部分に対応する立体映像を表示してもよい。

この場合、記憶部により記憶された形状データが第１の映像表示装置に与えられる。それにより、第１の映像表示装置に平面映像が表示される。また、使用者により指定された平面映像の部分に対応する形状データが記憶部から取得され、取得された形状データが第２の映像表示装置に与えられる。それにより、第２の映像表示装置に使用者により指定された平面映像の部分に対応する立体映像が表示される。

このように、共通の記憶部に記憶された共通の形状データを用いることにより、第１の映像表示装置に表示される平面映像の指定された部分に対応する立体映像を第２の映像表示装置に容易かつ確実に表示させることが可能となる。

（９）第２の発明に係る映像表示方法は、形状を表示するための形状データを平面映像データに変換するステップと、変換された平面映像データに基づいて第１の映像表示装置に平面映像を表示するステップと、使用者が第２の映像表示装置を把持したことを検出するステップと、第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことを検出するステップと、使用者が第１の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことを検出するステップと、第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことが検出された場合に、検出された操作に基づいて使用者により指定された平面映像の部分を判別し、指定された平面映像の部分に対応する形状データを立体映像データに変換するステップと、変換された立体映像データに基づいて立体映像を表示するように第２の映像表示装置を制御するステップとを備えるものである。

第２の発明に係る映像表示方法においては、形状を表示するための形状データが平面映像データに変換され、変換された平面映像データに基づいて第１の映像表示装置に平面映像が表示される。また、使用者が第２の映像表示装置を把持したことが検出され、第２の映像表示装置が第１の映像表示装置の所定範囲内に接近したことが検出される。使用者が第１の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことが検出される。その場合、検出された操作に基づいて使用者により指定された平面映像の部分が判別され、第２の映像表示装置に指定された平面映像の部分に対応する立体映像が表示されるように第２の映像表示装置が制御される。

それにより、使用者が第２の映像表示装置を把持して第１の映像表示装置に接近し、第１の映像表示装置に表示された平面映像の任意の部分を指定する操作を行うことにより、指定された部分に対応する立体映像が第２の映像表示装置に表示される。したがって、使用者は、複雑な操作を行うことなく、第１の映像表示装置に表示される平面映像の所望の部分に対応する立体映像を直感的な操作で容易に第２の映像表示装置に表示させることが可能となる。
また、第１の映像表示装置に表示された平面映像の指定された部分が立体映像として第２の映像表示装置に表示される。それにより、使用者は、平面映像の所望の部分に対応する立体映像を任意の角度から詳細に観察することが可能となる。

本発明によれば、第１の映像表示装置に表示される平面映像の所望の部分に対応する立体映像を直感的な操作で容易に第２の映像表示装置に表示させることができる。

本発明の一実施の形態に係る映像表示システムの構成を示す模式的外観図である。 図１の映像表示システムの制御系の詳細な構成を示すブロック図である。 平面ディスプレイと立体ディスプレイとの相対的な位置関係の特定方法を示す模式的説明図である。 立体ディスプレイの構成を示す模式的外観図である。 立体表示面を構成する要素表示面を示す模式的断面図である。 立体映像を表示するための立体映像データの作成方法を説明するための図である。 立体映像データに基づいて立体ディスプレイの空間光変調器に表示される映像を説明するための図である。 制御装置の主制御部の動作を示すフローチャートである。 映像表示システムの動作の説明図である。 平面ディスプレイの構成の他の例を示すブロック図である。

（１）映像表示システムの構成
図１は本発明の一実施の形態に係る映像表示システムの構成を示す模式的外観図である。

図１に示すように、映像表示システム１００は、制御装置１０、平面ディスプレイ２０、立体ディスプレイ３０および複数の観測装置４１，４２を備える。

平面ディスプレイ２０は、平面映像を表示する長方形の画面を有する。平面ディスプレイ２０の前面の上部両端の角部近傍にそれぞれ赤外線を放出する素子（以下、赤外線素子と呼ぶ）２３，２４が取り付けられる。

立体ディスプレイ３０は、立方体形状を有し、立体映像を表示する。立体ディスプレイ３０の構成および動作については後述する。立体ディスプレイ３０の１つの角部近傍には、赤外線素子３４が取り付けられる。また、立体ディスプレイ３０の表面には、タッチセンサが設けられる。

立体ディスプレイ３０は、使用者が容易に持ち運びできるサイズを有する。本実施の形態では、立体ディスプレイ３０の一面の一辺の長さは、平面ディスプレイ２０の画面の縦横の長さよりも小さい。

平面ディスプレイ２０の前面側の上方に、赤外線素子２３，２４を撮像するように複数の観測装置４１，４２が配置される。本実施の形態では、２つの観測装置４１，４２が用いられる。観測装置４１，４２は、例えば赤外線を検出可能なカメラからなる。また、観測装置４１，４２は、立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に位置する場合に赤外線素子３４を撮像する。

制御装置１０は、平面映像または立体映像を表示するための形状データを記憶し、記憶した形状データの一部または全てを平面ディスプレイ２０および立体ディスプレイ３０に与える。平面ディスプレイ２０は、制御装置１０から与えられる形状データに基づいて平面映像を表示する。また、立体ディスプレイ３０は、制御装置１０から与えられる形状データに基づいて立体映像を表示する。

また、制御装置１０は、観測装置４１，４２により得られる赤外線素子２３，２４，３４の発光点の画像に基づいて、平面ディスプレイ２０と立体ディスプレイ３０との相対的な位置関係を特定する。それにより、制御装置１０は、立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近したことを検出するとともに、平面ディスプレイ２０に表示される平面映像と立体ディスプレイ３０との相対的な位置関係を特定する。

本実施の形態に係る映像表示システム１００においては、使用者が立体ディスプレイ３０を把持し、平面ディスプレイ２０の前方の所定範囲内に接近し、平面ディスプレイ２０に表示された平面映像の所望の部分を指定する操作を行うことにより、平面映像の指定された部分を立体ディスプレイ３０に立体映像として表示させることができる。これにより、平面ディスプレイ２０に表示された映像の所望の部分を立体ディスプレイ３０に移動または複写することができる。

（２）映像表示システムの制御系
図２は図１の映像表示システムの制御系の詳細な構成を示すブロック図である。

制御装置１０は、主制御部１１、形状データ記憶部１２、メモリ１３、入出力回路１４および通信部１５を含む。平面ディスプレイ２０は、表示部２１、平面表示制御部２２、赤外線素子２３，２４および入出力回路２５を含む。立体ディスプレイ３０は、立体表示面３１、立体表示制御部３２、タッチセンサ３３、赤外線素子３４および通信部３５を含む。

主制御部１１は、例えばＣＰＵ（中央演算処理装置）からなる。メモリ１３には、後述される映像表示処理を行うための映像表示プログラムが格納される。また、メモリ１３は、主制御部１１の作業領域として用いられる。形状データ記憶部１２は、形状データを記憶する。

制御装置１０の入出力回路１４は、平面ディスプレイ２０の入出力回路２５に接続される。また、入出力回路１４には、観測装置４１，４２が接続される。

制御装置１０の主制御部１１は、形状データ記憶部１２に記憶された形状データを入出力回路１４を介して平面ディスプレイ２０に与える。また、主制御部１１は、観測装置４１，４２により得られる画像を画像データとして入出力回路１４を介して取得する。さらに、主制御部１１は、入出力回路１４を介して平面ディスプレイ２０に赤外線素子２３，２４の点灯を制御するための制御信号を与える。

制御装置１０の通信部１５と立体ディスプレイ３０の通信部３５とは無線通信によりデータおよび信号を送受信する。制御装置１０の主制御部１１は、形状データ記憶部１２に記憶された形状データを通信部１５を介して立体ディスプレイ３０に送信する。また、主制御部１１は、通信部１５を介して立体ディスプレイ３０に赤外線素子３４の点灯を制御するための制御信号を送信する。さらに、主制御部１１は、立体ディスプレイ３０から送信されるタッチセンサ３３の検出信号を通信部１５を介して受信する。

平面ディスプレイ２０の表示部２１は、例えば液晶ディスプレイ、またはプラズマディスプレイ等からなる。平面表示制御部２２は、例えばＣＰＵからなり、入出力回路２５を介して制御装置１０から与えられる形状データを平面映像データに変換し、表示部２１に与える。それにより、表示部２１の画面に平面映像が表示される。また、平面表示制御部２２は、入出力回路２５を介して制御装置１０から与えられる制御信号に基づいて赤外線素子２３，２４を点灯させる。

なお、本実施の形態では、赤外線素子２３，２４は、制御装置１０の制御により点灯するが、赤外線素子２３，２４が制御装置１０により制御されずに平面ディスプレイ２０の動作時に点灯してもよい。同様に、本実施の形態では、赤外線素子３４は、制御装置１０の制御により点灯するが、赤外線素子３４が制御装置１０により制御されずに立体ディスプレイ３０の動作時に点灯してもよい。

立体ディスプレイ３０の立体表示面３１の構成については後述する。立体表示制御部３２は、例えばＣＰＵからなり、通信部３５を介して制御装置１０から与えられる形状データを立体映像データに変換し、立体表示面３１に与える。それにより、立体表示面３１に立体映像が表示される。また、立体表示制御部３２は、通信部３５を介して制御装置１０から受信した制御信号に基づいて赤外線素子３４を点灯させる。さらに、立体表示制御部３２は、タッチセンサ３３から出力される検出信号を通信部３５を介して制御装置１０に送信する。

（３）平面ディスプレイと立体ディスプレイとの相対的な位置関係の特定方法
図３は平面ディスプレイ２０と立体ディスプレイ３０との相対的な位置関係の特定方法を示す模式的説明図である。図３（ａ）は、２つの観測装置４１，４２により平面ディスプレイ２０の赤外線素子２３，２４の発光点および立体ディスプレイ３０の赤外線素子３４の発光点が撮像される状態を示し、図３（ｂ）は観測装置４１の視野を示し、図３（ｃ）は観測装置４２の視野を示す。

図３（ａ）において、観測装置４１，４２の視野がそれぞれ仮想平面ＶＰ１，ＶＰ２で示される。観測装置４１の観測中心点Ｃ１と立体ディスプレイ３０の赤外線素子３４の発光点とを結ぶ直線Ｌ１が仮想平面ＶＰ１と交わる点をＩ１ｃとする。また、観測装置４２の観測中心点Ｃ２と立体ディスプレイ３０の赤外線素子３４の発光点とを結ぶ直線Ｌ２が仮想平面ＶＰ２と交わる点をＩ２ｃとする。

図３（ｂ）に示す仮想平面ＶＰ１上の点Ｉ１ｃの二次元座標は、観測装置４１により得られる画像から求められる。図３（ｃ）に示す仮想平面ＶＰ２上の点Ｉ２ｃの二次元座標は、観測装置４２により得られる画像から求められる。

観測装置４１，４２の位置および向きならびに点Ｉ１ｃ，Ｉ２ｃの二次元座標に基づいて赤外線素子３４の三次元座標を求めることができる。

同様にして、観測装置４１の観測中心点Ｃ１と平面ディスプレイ２０の赤外線素子２３の発光点とを結ぶ直線が仮想平面ＶＰ１と交わる点をＩ１ａとし、観測装置４２の観測中心点Ｃ２と平面ディスプレイ２０の赤外線素子２３の発光点とを結ぶ直線が仮想平面ＶＰ２と交わる点をＩ２ａとする。

また、観測装置４１の観測中心点Ｃ１と平面ディスプレイ２０の赤外線素子２４の発光点とを結ぶ直線が仮想平面ＶＰ１と交わる点をＩ１ｂとし、観測装置４２の観測中心点Ｃ２と平面ディスプレイ２０の赤外線素子２４の発光点とを結ぶ直線が仮想平面ＶＰ２と交わる点をＩ２ｂとする。

図３（ｂ）に示す仮想平面ＶＰ１上の点Ｉ１ａ，Ｉ１ｂの二次元座標は、観測装置４１により得られる画像から求められる。図３（ｃ）に示す仮想平面ＶＰ２上の点Ｉ２ａ，Ｉ２ｂの二次元座標は、観測装置４２により得られる画像から求められる。

観測装置４１，４２の位置および向きならびに点Ｉ１ａ，Ｉ２ａの二次元座標に基づいて赤外線素子２３の三次元座標を求めることができ、観測装置４１，４２の位置および向きならびに点Ｉ１ｂ，Ｉ２ｂの座標に基づいて赤外線素子２４の三次元座標を求めることができる。

平面ディスプレイ２０の画面は設置面に垂直に設けられるものとする。また、平面ディスプレイ２０の画面の縦の長さは既知である。この場合、赤外線素子２３，２４の三次元座標から平面ディスプレイ２０の画面の三次元空間内の位置を一意に特定することができる。

このようにして、制御装置１０は、観測装置４１，４２により得られる画像に基づいて立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近したことを検出するとともに、平面ディスプレイ２０に表示される平面映像と立体ディスプレイ３０との相対的な位置関係を特定することができる。

なお、平面ディスプレイ２０の画面が垂直に設けられていない場合、または平面ディスプレイ２０の縦の長さが既知でない場合には、平面ディスプレイ２０に３つ以上の赤外線素子を取り付けることが好ましい。

（４）立体ディスプレイの構成
次に、立体ディスプレイ３０の構成について説明する。図４は立体ディスプレイ３０の構成を示す模式的外観図である。

図４に示すように、立体ディスプレイ３０は、立体的な外面を有する立体表示面３１を備える。立体表示面３１は、複数の要素表示面３１ａを結合させることにより構成される。本実施の形態では、立体表示面３１は、正方形の６枚の要素表示面３１ａにより立方体に構成される。立体表示面３１で囲まれる仮想空間Ｓの内部には立体映像３１ｂが表示される。

図５は立体表示面３１を構成する要素表示面３１ａを示す模式的断面図である。図５に示すように、要素表示面３１ａは、平面状の空間光変調器３１ｃ、平面状の光線制御子３１ｄおよび透明外皮層３１ｅにより構成される。

空間光変調器３１ｃは、マトリクス状に色を表示することができるマトリクス表示素子からなる。この空間光変調器３１ｃは、マトリクス状に配列された複数の画素を有する。空間光変調器３１ｃとして、例えば液晶ディスプレイまたは有機エレクトロルミネッセンスディスプレイ等を用いることができる。

光線制御子３１ｄは、光線の方向を制御することができる光学素子からなり、空間光変調器３１ｃから様々な方向へ向かう光の状態を再現させる機能を有する。本実施の形態では、光線制御子３１ｄとして、複数のレンズからなるレンズアレイが用いられる。レンズアレイの代わりに、複数の回折格子からなる回折格子アレイを用いてもよい。また、光線制御子３１ｄとして、複数のピンホールを有するピンホールアレイ、または複数のプリズムからなるプリズムアレイ等を用いることもできる。

光線制御子３１ｄの各レンズにより、空間光変調器３１ｃの複数の画素からの光線の方向が制御される。各レンズには、その下部に位置する画素群が対応する。各レンズが対応する画素群のみからの光線の方向を制御することができるように、空間光変調器３１ｃと光線制御子３１ｄとの間に隣接するレンズ間を仕切る遮光部材３１ｆが設けられてもよい。なお、レンズと画素群との距離を調整するなどの他の方法により、各レンズがその下部に位置する画素群のみからの光線の方向を制御するように構成してもよい。

光線制御子３１ｄにより制御可能な光線の数および光線の方向は、各レンズの下部に位置する画素の数、レンズと画素との距離およびレンズの屈折率等のレンズの光学的な設計等により決まる。

図５に示すように、光線制御子３１ｄのレンズＬは、空間光変調器３１ｃの画素Ｐａ，Ｐｂ，Ｐｃ，Ｐｄから種々の方向へ向かう光をそれぞれ点線で示す方向に制御する。

要素表示面３１ａに沿ってタッチセンサ３３が設けられる。タッチセンサ３３は、例えば触覚センサアレイからなる。触覚センサアレイは、マトリクス状に配列された複数の触覚センサ素子からなる。触覚センサ素子としては、人または物が接触したことを検出することができる種々の触角センサを用いることができる。

本実施の形態では、タッチセンサ３３は、レンズアレイのレンズ間に埋め込まれた複数の触覚センサ素子により構成される。例えば、触覚センサ素子としては、圧電効果による電圧変化を検出する圧電素子（ピエゾ素子）、歪を検出する歪ゲージ、静電容量の変化を検出する可変容量素子を用いることができる。また、指により遮光される光を検出するフォトダイオード等の光検出素子、温度変化を検出する熱検出素子等を用いることもできる。

また、タッチセンサ３３として、触覚センサアレイの代わりに、シート状の透明の触覚センサを用いてもよい。その場合、透明の触覚センサは光線制御子３１ｄに重ねて配置される。例えば、触覚センサ素子としては、光ファイバへの通光状態の変化を検出するシート状光検出素子、接触部位の静電容量の変化を検出するシート状可変容量素子、または電極間の通電状態により接触を検出する導電シート等を用いることができる。

本実施の形態では、タッチセンサ３３は、使用者Ｍが要素表示面３１ａに触れたときに検出信号を出力する。光線制御子３１ｄおよびタッチセンサ３３は、例えば透明の樹脂からなる透明外皮層３１ｅ内に埋め込まれる。

（５）立体映像データの作成方法
立体ディスプレイ３０に立体映像３１ｂを表示するための立体映像データの作成方法について説明する。図６は立体映像３１ｂを表示するための立体映像データの作成方法を説明するための図である。図６においては、タッチセンサ３３の図示が省略されている。

要素表示面３１ａの内側の仮想空間Ｓ内に視覚されるべき立体形状３１ｇを定義する。この立体形状３１ｇは形状データにより表される。立体形状３１ｇの表面の任意の点において、任意の方向へ向かう光線を考える。要素表示面３１ａと立体形状３１ｇとの間の位置関係は形状データの定義により一意に求まる。

各光線が要素表示面３１ａと交差する際の交点の位置（座標）、光線と要素表示面３１ａとの角度、および色を求める。また、各光線がどの要素表示面３１ａのどの位置で交差するかを求める。最終的に、光線制御子３１ｄにより上記の角度の方向へ向かう光線を再現するように、空間光変調器３１ｃの各画素に交点の色を表示するための立体映像データを作成する。

理想的には、立体形状３１ｇの全表面から全方向に向かう光線について上記の交点の位置、角度および色を求め、各要素表示面３１ａに表示すべき映像を表す立体映像データを作成する。実際には、立体表示面３１で囲まれる仮想空間Ｓを複数のボクセルに離散化するとともに、各ボクセルから発せられる光線の方向を離散化する。本実施の形態では、各ボクセルから発せられる光線の方向は、光線制御子３１ｄにより離散化された方向に制御される。

要素表示面３１ａの内側の仮想空間Ｓの１つのボクセルが立体形状３１ｇの一部であれば、そのボクセルから離散化された方向に向かう光線を求める。このようにして、立体形状３１ｇの表面上の複数のボクセルの各々から離散化された複数の方向に向かう光線と要素表示面３１ａとの交点を求めるとともに、光線と要素表示面３１ａとの角度、およびボクセルの色を求め、それらの交点、角度および色に基づいて立体映像データを作成する。

例えば、図６に示すように、立体形状３１ｇの表面上の１つのボクセルｂ１から発せられる光線は、光線制御子３１ｄのレンズＬにより点線の矢印の方向に向かうように制御される。これらの光線と要素表示面３１ａとの交点の画素にボクセルｂ１の色を表示させるように立体映像データを作成する。

また、立体形状３１ｇの表面上の他のボクセルｂ２から発せられる光線は、光線制御子３１ｄのレンズＬにより実線の矢印の方向に向かうように制御される。これらの光線と要素表示面３１ａとの交点の画素にボクセルｂ２の色を表示させるように立体映像データを作成する。

上記の説明は、理解を容易にするために行ったが、実際には、光線制御子３１ｄの各レンズＬと空間光変調器３１ｃの画素数との関係により再現可能な光線が制限されるため、上記の説明とは逆のアルゴリズムが用いられる。すなわち、光線制御子３１ｄの各レンズＬにより再現可能な光線を空間光変調器３１ｃの画素を経由して逆に辿り、表示すべき立体形状３１ｇとの交点のボクセルの色を求め、その色を画素に表示させる色と決定する。

光線制御子３１ｄのレンズＬにより再現可能な一本の光線が立体形状３１ｇの複数のボクセルと交差する場合には、より要素表示面３１ａに近いボクセルの色が画素に表示すべき色と決定される。使用者から見て奥に位置する点は手前に位置する点により隠されるからである。例えば、図６に示すように、光線制御子３１ｄのレンズＬにより再現可能な一本の光線が立体形状３１ｇの複数のボクセルｂ２，ｂ３と交差する場合には、より要素表示面３１ａに近いボクセルｂ３の色を画素に表示すべき色と決定する。

このようにして、立体形状３１ｇの表面上の各ボクセルの色を立体表示面３１の複数の画素に表示させるための立体映像データが作成される。立体映像データに基づいて空間光変調器３１ｃの複数の画素に映像を表示させることにより、結果的に立体形状３１ｇからの光線が再現される。

図７は立体映像データに基づいて立体ディスプレイ３０の空間光変調器３１ｃに表示される映像を説明するための図である。

例えば、観察点Ｖ１から立体形状を見た場合の映像が空間光変調器３１ｃの画素“Ａ”に表示される。また、観察点Ｖ２から立体形状を見た場合の映像が空間光変調器３１ｃの画素“Ｂ”に表示される。それにより、使用者は眼を観察点Ｖ１から観察点Ｖ２に移動させた場合に、立体形状を異なる角度から見ることができる。

（６）映像表示システムの動作
次に、本実施の形態に係る映像表示システム１００の動作について説明する。図８は制御装置１０の主制御部１１の動作を示すフローチャートである。また、図９は映像表示システム１００の動作の説明図である。

制御装置１０の主制御部１１は、メモリ１３に記憶された映像表示プログラムに従って映像表示処理を実行する。

まず、主制御部１１は、図２の立体ディスプレイ３０から送信されるタッチセンサ３３の検出信号に基づいて立体ディスプレイ３０が使用者Ｍにより把持されたか否かを判定する（ステップＳ１）。

図９（ａ）に示されるように、立体ディスプレイ３０が使用者Ｍにより把持された場合には、主制御部１１は、観測装置４１，４２により得られる画像に基づいて、立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近したか否かを判定する（ステップＳ２）。

図９（ｂ）に示されるように、使用者Ｍにより把持された立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近した場合には、主制御部１１は、平面ディスプレイ２０の画面に表示された平面映像の指定操作が行われたか否かを判定する（ステップＳ３）。ここで、指定操作とは、使用者Ｍが立体ディスプレイ３０を用いて平面ディスプレイ２０の画面に表示された平面映像の所望の部分を指定する操作をいう。指定操作は、例えば、平面ディスプレイ２０の画面に表示された平面映像の一部を囲むように立体ディスプレイ３０を動かす操作である。

図９（ｃ）に示されるように、使用者Ｍにより平面映像の指定操作が行われた場合には、主制御部１１は、観測装置４１，４２により得られる画像に基づいて、平面ディスプレイ２０の画面に表示された平面映像の指定部分を判別する（ステップＳ４）。この場合、主制御部１１は、観測装置４１，４２により得られる画像に基づいて立体ディスプレイ３０の移動経路を認識するとともに、形状データ記憶部１２に記憶された形状データに基づいて立体ディスプレイ３０の移動時に平面ディスプレイ２０に表示されている平面映像を認識し、立体ディスプレイ３０の移動経路と平面映像との位置関係に基づいて平面映像の指定部分を判別する。図９（ｃ）の例では、平面映像の矢印で囲まれた部分が指定部分となる。

次いで、主制御部１１は、形状データ記憶部１２から指定部分に対応する形状データを取得し、取得した形状データを立体表示制御部３２に送信する（ステップＳ５）。これにより、立体ディスプレイ３０の立体表示制御部３２は、受信した形状データを立体映像データに変換し、その立体映像データに基づく立体映像を立体表示面３１に表示させる。このようにして、使用者Ｍは、平面ディスプレイ２０に表示された平面映像の指定部分を立体ディスプレイ３０に取得することができる。

主制御部１１が平面ディスプレイ２０に表示された平面映像の指定部分を削除する場合には、平面ディスプレイ２０に表示された平面映像の指定部分が立体ディスプレイ３０に立体映像として移動する。また、主制御部１１が平面ディスプレイ２０に表示された平面映像の指定部分を削除しない場合には、平面ディスプレイ２０に表示された平面映像の指定部分が立体ディスプレイ３０に立体映像として複写される。図９（ｄ）の例では、平面ディスプレイ２０に表示された平面映像の指定部分が立体ディスプレイ３０に立体映像として移動している。

なお、平面ディスプレイ２０に表示される平面映像の指定部分を立体ディスプレイ３０に移動するかまたは複写するかは、制御装置１０に予め設定することができる。あるいは、使用者Ｍが立体ディスプレイ３０による指定操作の前に立体ディスプレイ３０を予め定められた方法で動かすことにより指定部分の移動または複写が選択されてもよい。

ステップＳ１で立体ディスプレイ３０が把持されていない場合、ステップＳ２で立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近していない場合、およびステップＳ３で平面映像の指定操作が行われていない場合には、主制御部１１は、ステップＳ１の処理に戻る。

（７）本実施の形態の効果
上記のように、本実施の形態に係る映像表示システム１００によれば、使用者が立体ディスプレイ３０を把持して平面ディスプレイ２０に接近し、立体ディスプレイ３０を用いて平面画像の部分を指定することにより、立体ディスプレイ３０に指定部分の立体映像が表示される。したがって、使用者は、複雑な操作を行うことなく、直感的な操作により、平面ディスプレイ２０に表示された平面映像の所望の部分を立体映像として立体ディスプレイ３０に容易に取得することができる。それにより、使用者は、平面映像の所望の部分に対応する立体映像を任意の方向から詳細に観察することができる。

（８）他の実施の形態
（ａ）図１０は平面ディスプレイ２０の構成の他の例を示すブロック図である。上記実施の形態では、立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近したことを検出するために赤外線素子２３，２４，３４および観測装置４１，４２が用いられるが、これに限定されない。例えば、図１０に示すように、平面ディスプレイ２０がタッチセンサ２６および近接センサ２７の少なくとも一方を備えてもよい。

タッチセンサ２６は、立体ディスプレイ３０が平面ディスプレイ２０に接触すると、検出信号を出力する。平面表示制御部２２は、タッチセンサ２６から出力される検出信号を入出力回路２５を介して図２の制御装置１０に送信する。これにより、制御装置１０は立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近したことを判別する。

また、近接センサ２７は、立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近すると、検出信号を出力する。平面表示制御部２２は、近接センサ２７から出力される検出信号を入出力回路２５を介して図２の制御装置１０に送信する。これにより、制御装置１０は立体ディスプレイ３０が平面ディスプレイ２０の前方の所定範囲内に接近したことを判別する。

（ｂ）上記実施の形態では、観測装置４１，４２として、赤外線を検出可能なカメラが用いられるが、カメラに代えて赤外線センサ、磁気センサ、または超音波センサを用いてもよい。磁気センサによる三次元位置計測装置については、例えばポルヘムス（Ｐｏｌｈｅｍｕｓ）社三次元磁気センサ（ｈｔｔｐ：／／ｗｗｗ．ｋｂｋ．ｃｏ．ｊｐ／ｃｅｓｄ／ｐｏｌｈｅｍｕｓ．ｈｔｍ）を用いることができる。超音波センサによる三次元位置計測装置については、例えばインターセンス（Ｉｎｔｅｒｓｅｎｓｅ）社超音波動作追跡システム（ｈｔｔｐ：／／ｗｗｗ．ｉｎｔｅｒｓｅｎｓｅ．ｃｏｍ／ｕｐｌｏａｄｅｄＦｉｌｅｓ／Ｐｒｏｄｕｃｔｓ／ＩＳ９００．ｐｄｆ）を用いることができる。

また、映像表示システム１００が、大画面を有する平面ディスプレイ２０および持ち運び可能な立体ディスプレイ３０を含むが、これに限定されない。例えば、平面ディスプレイ２０の代わりに立体ディスプレイを用いてもよい。また、立体ディスプレイ３０の代わりに持ち運び可能な平面ディスプレイを用いてもよい。これらの場合、平面映像または立体映像の指定部分を平面映像または立体映像として取得することができる。

（９）請求項の各構成要素と実施の形態の各部との対応関係
以下、請求項の各構成要素と実施の形態の各部との対応の例について説明するが、本発明は下記の例に限定されない。

上記実施の形態においては、平面ディスプレイ２０が第１の映像表示装置の例であり、立体ディスプレイ３０が第２の映像表示装置の例であり、タッチセンサ３３が把持検出手段または第２の接触検出手段の例であり、赤外線素子２３，２４，３４および観測装置４１，４２が接近検出手段の例であり、タッチセンサ２６が接近検出手段の他の例であり、近接センサ２７が接近検出手段のさらに他の例である。赤外線素子２３，２４，３４および観測装置４１，４２が指定操作検出手段、位置検出手段または共通の位置検出手段の例であり、制御装置１０が制御手段の例であり、赤外線素子２３，２４が第１の被撮像部の例であり、赤外線素子３４が第２の被撮像部の例である。観測装置４１，４２が複数の撮像手段の例であり、タッチセンサ２６が第１の接触検出手段の例であり、近接センサ２７が近接検出手段の例であり、形状データ記憶部１２が記憶部の例である。

請求項の各構成要素として、請求項に記載されている構成または機能を有する他の種々の要素を用いることもできる。

（１０）応用例
（ａ）遠隔地間で開催される会議において、平面ディスプレイ２０の画面に表示された複数の製品の平面映像のうち所望の製品の部分を、出席者の手元にある立体ディスプレイ３０に立体映像として表示させ、多角的な視点から検討することができる。

（ｂ）インターネットを利用したショッピングにおいて、平面ディスプレイ２０の画面上に表示された複数の商品の平面映像のうち所望の商品の部分を、使用者の手元にある立体ディスプレイ３０に立体映像として表示させ、任意の角度から商品の細部について確認することができる。

（ｃ）日常生活において、平面ディスプレイ２０に表示されるテレビ番組の平面映像のうち所望の部分を、使用者の手元にある立体ディスプレイ３０に取得し、立体映像として視聴することができる。

本発明は、種々の映像を表示するため等に有効に利用することができる。

１０ 制御装置
１１ 主制御部
１２ 形状データ記憶部
１３ メモリ
１４，２５ 入出力回路
１５，３５ 通信部
２０ 平面ディスプレイ
２１ 表示部
２２ 平面表示制御部
２３，２４，３４ 赤外線素子
２６，３３ タッチセンサ
２７ 近接センサ
３０ 立体ディスプレイ
３１ 立体表示面
３１ａ 要素表示面
３１ｂ 立体映像
３１ｃ 空間光変調器
３１ｄ 光線制御子
３１ｅ 透明外皮層
３１ｆ 遮光部材
３１ｇ 立体形状
３２ 立体表示制御部
４１，４２ 観測装置
１００ 映像表示システム
ｂ１，ｂ２，ｂ３ ボクセル
Ｃ１，Ｃ２ 観測中心点
Ｌ レンズ
Ｌ１，Ｌ２ 直線
Ｍ 使用者
Ｐａ，Ｐｂ，Ｐｃ，Ｐｄ 画素
Ｓ 仮想空間
Ｖ１，Ｖ２ 観察点
ＶＰ１，ＶＰ２ 仮想平面

Claims (9)

1. 形状を表示するための形状データを平面映像データに変換し、変換された平面映像データに基づいて平面映像を表示する第１の映像表示装置と、
   前記形状データを立体映像データに変換し、変換された立体映像データに基づいて立体映像を表示する第２の映像表示装置と、
   使用者が前記第２の映像表示装置を把持したことを検出する把持検出手段と、
   前記第２の映像表示装置が前記第１の映像表示装置の所定範囲内に接近したことを検出する接近検出手段と、
   使用者が前記第１の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことを検出する指定操作検出手段と、
   前記接近検出手段により前記第２の映像表示装置が前記第１の映像表示装置の前記所定範囲内に接近したことが検出された場合に、前記指定操作検出手段により検出された操作に基づいて使用者により指定された平面映像の部分を判別し、前記指定された平面映像の部分に対応する立体映像を表示するように前記第２の映像表示装置を制御する制御手段とを備えたことを特徴とする映像表示システム。
2. 前記指定操作検出手段は、前記第１の映像表示装置に対する第２の映像表示装置の位置を検出する位置検出手段を含み、
   前記制御手段は、前記位置検出手段により検出された位置に基づいて使用者により指定された平面映像の部分を判別することを特徴とする請求項１記載の映像表示システム。
3. 前記位置検出手段は、
   前記第１の映像表示装置に設けられた第１の被撮像部と、
   前記第２の映像表示装置に設けられた第２の被撮像部と、
   異なる位置から前記第１の被撮像部および第２の被撮像部を撮像する複数の撮像手段とを含み、
   前記制御手段は、前記複数の撮像手段により得られる画像に基づいて使用者により指定された平面映像の部分を判別することを特徴とする請求項２記載の映像表示システム。
4. 前記接近検出手段は、前記指定操作検出手段の前記位置検出手段と共通の位置検出手段を含み、前記共通の位置検出手段により検出された位置に基づいて前記第２の映像表示装置が前記第１の映像表示装置の前記所定範囲内に接近したことを検出することを特徴とする請求項２または３記載の映像表示システム。
5. 前記接近検出手段は、
   前記第１の映像表示装置に設けられ、前記第２の映像表示装置の接触を検出する第１の接触検出手段を含むことを特徴とする請求項１〜４のいずれかに記載の映像表示システム。
6. 前記接近検出手段は、
   前記第１の映像表示装置に設けられ、前記第２の映像表示装置の近接を検出する近接検出手段を含むことを特徴とする請求項１〜５のいずれかに記載の映像表示システム。
7. 前記把持検出手段は、
   前記第２の映像表示装置に設けられ、使用者の身体が接触したことを検出する第２の接触検出手段を含むことを特徴とする請求項１〜６のいずれかに記載の映像表示システム。
8. 前記制御手段は、
   前記形状データを記憶する記憶部と、
   前記記憶部に記憶された形状データを前記第１の映像表示装置に与え、使用者により指定された平面映像の部分に対応する形状データを前記記憶部から取得し、取得した形状データを前記第２の映像表示装置に与える主制御部とを含み、
   前記第１の映像表示装置は、前記主制御部から与えられる形状データに基づいて平面映像を表示し、
   前記第２の映像表示装置は、前記主制御部から与えられる形状データに基づいて使用者により指定された平面映像の部分に対応する立体映像を表示することを特徴とする請求項１〜７のいずれかに記載の映像表示システム。
9. 形状を表示するための形状データを平面映像データに変換するステップと、
   変換された平面映像データに基づいて第１の映像表示装置に平面映像を表示するステップと、
   使用者が第２の映像表示装置を把持したことを検出するステップと、
   前記第２の映像表示装置が前記第１の映像表示装置の所定範囲内に接近したことを検出するステップと、
   使用者が前記第１の映像表示装置に表示された平面映像の任意の部分を指定する操作を行ったことを検出するステップと、
   前記第２の映像表示装置が前記第１の映像表示装置の前記所定範囲内に接近したことが検出された場合に、検出された操作に基づいて使用者により指定された平面映像の部分を判別し、前記指定された平面映像の部分に対応する形状データを立体映像データに変換するステップと、
   前記変換された立体映像データに基づいて立体映像を表示するように前記第２の映像表示装置を制御するステップとを備えたことを特徴とする映像表示方法。

Images