JP6208553B2 - 映像表示システム - Google Patents

Description

本発明は、映像を表示する映像表示装置及び映像表示システムに関する。

特許文献１には、複数の人物の会話の場面を高い現実感を伴う映像で表示するシステムが開示されている。この従来のシステムは、透過性の高い素材でできた平面スクリーン、及び、そのスクリーンを人物の顔と見立てて、そこに背面より人物の顔を含む画像を投影するプロジェクタ、並びに、そのスクリーンを下部より支持し、かつ、首振り方向、及び、頷き方向に回転させる２軸のアクチュエータを備える。

特開２０１３−１１０６３０号公報

しかしながら、特許文献１のシステムが物理的な運動として提示できるのは人物の首振りと頷きの２つの自由度の回転運動のみであり、より多様な動作を物理的運動として表現することができないという欠点があった。

本発明はこのような点に鑑みてなされたものであり、多様な動作を物理的運動として表現することが可能な映像表示技術を提供することを課題とする。

上記の課題を解決するために、映像を表示する表示部と、或る平面に沿って表示部を移動させる平面運動生成部と、この平面に沿って表示部を回転させる第１回転運動生成部と、表示部を回転させてこの平面に対して傾斜させる第２回転運動生成部とを有する映像表示装置が提供される。

本発明では、上記の平面に沿った方向にも表示部を移動させることができるため、多様な動作を物理的運動として表現することができる。

図１は、第１実施形態の映像表示装置の斜視図である。 図２は、第２実施形態の映像表示装置の斜視図である。 図３は、超磁歪アクチュエータの構造を例示するための概念図である。 図４Ａは、第１，２実施形態の変形例の映像表示装置の部分背面図であり、図４Ｂは図４Ａの４Ｂ−４Ｂ断面図である。 図５は、第３実施形態の映像表示システムのブロック図である。 図６は、第３実施形態の表示部とプロジェクタとの位置関係を説明するための図である。 図７は、各座標系を説明するための図である。 図８は、第４実施形態の映像表示システムのブロック図である。 図９は、第４実施形態の制御信号生成部のブロック図である。 図１０は、人物映像を対象とした場合の映像表示装置の挙動を例示するための図である。

以下、図面を参照して本発明の実施形態を説明する。
〔第１実施形態〕
図１に例示するように、第１実施形態の映像表示装置１は、Ｘ軸直線運動生成部１１（第１直線運動生成部）、Ｙ軸直線運動生成部１２（第２直線運動生成部）、鉛直軸回転運動生成部１３（第１回転運動生成部）、水平軸回転運動生成部１４（第２回転運動生成部）、及び表示部１６を有する。なお、Ｘ軸直線運動生成部１１及びＹ軸直線運動生成部１２は「平面運動生成部」を構成する。特許文献１の装置と比較して、Ｘ軸方向とＹ軸方向への直線運動を制御できる機構が備わっている点が異なる。

表示部１６は、動画や静止画等の映像を表示する装置である。表示部１６は、ディスプレイ等の自発光型の表示装置であってもよいし、特許文献１と同じく別途設けられたプロジェクタ等の映像投影装置からの映像を投影するスクリーンであってもよい。図１では表示部１６の表示面が略長方形として描かれているが、表示面の形状はこれに限られるものではなく、円形や多角形などであってもよいし、表示されるオブジェクト（人物等）の輪郭に合わせた形状に加工されていてもよい。また、表示部１６の表示面は平面でなくても曲面であってもよい。スクリーンとは、投射される映像を映し出す平面または曲面を備える部材を意味する。スクリーンは、剛体であってもよいし、非剛体であってもよい。剛体のスクリーンは、その素材自体が剛体で構成されていてもよいし、剛体の素材に非剛体の素材を貼りつけたり、コーティングしたりして構成されていてもよい。スクリーンは、半透明であってもよいし、非透過なものであってもよい。透過性の高い半透明のスクリーンは、背面側（閲覧面の裏側）からＡ方向に映像投影装置で映像を投影するためのものであってもよいし、正面側（閲覧面側）からＢ方向に映像投影装置で映像を投影するためのものであってもよい。非透過なスクリーンは、正面側からＢ方向に映像投影装置で映像を投影するためのものである。図１は、表示部１６として、映像投影装置で映像を投影するためのスクリーンを採用した例を示している。図１に例示しているスクリーンは、半透明の剛体からなり、背面１６１からＡ方向に投射される映像を映し出す平面を備えた板状のスクリーンである。その裏面である閲覧面１６２（表示面）側からＢ方向に映像を閲覧する。

Ｘ軸直線運動生成部１１は、床面と略水平な面上において、任意の直線軸（「Ｘ軸（第１軸）」と呼ぶ）に沿った方向の運動を生成する。本実施形態のＸ軸直線運動生成部１１は、Ｘ軸に対する相対位置が固定され（例えば、床等に対する相対位置が固定され）、Ｘ軸に沿った方向の直線運動を案内するリニアガイド１１１（ベース部）と、リニアガイド１１１によって移動可能に支持され、リニアガイド１１１上を直線状に移動するリニアステージ１１２（第１移動部）と、この直線運動を生成するモータ１１３を含む。例えば、モータ１１３は回転モータであり、これによって生成される回転運動を直線運動に変換する機構を用いることで、リニアステージ１１２をＸ軸に沿った方向に動かす。回転運動を直線運動に変換する手段としては、ボールねじ、ラックとピニオン、プーリーとベルトなどを用いることができるが、それらに限られない。また、モータとしてリニアモータを用いることもできる。この場合には、回転運動を直線運動に変換する手段を用いることなく、リニアステージ１１２をＸ軸に沿った方向に動かすことができる。

Ｙ軸直線運動生成部１２は、Ｘ軸直線運動生成部１１のリニアステージ１１２上部に固定、または、リニアステージ１１２と一体化され、リニアステージ１１２と略水平な面上にあり、かつ、Ｘ軸直線運動生成部１１の運動方向（Ｘ軸）と略直交する直線軸（「Ｙ軸（第２軸）」と呼ぶ）に沿った方向の運動を生成する。本実施形態のＹ軸直線運動生成部１２は、リニアステージ１１２に固定、または、リニアステージ１１２と一体化され、Ｙ軸に沿った方向の直線運動を案内するリニアガイド１２１と、リニアガイド１２１によって移動可能に支持され（すなわち、リニアステージ１１２によって移動可能に支持され）、リニアガイド１２１上を直線状に移動するリニアステージ１２２（第２移動部）と、この直線運動を生成するモータ１２３を含む。モータ１１３と同様、モータ１２３には、回転モータ、または、リニアモータを用いることができ、回転モータを用いる場合には、回転運動を直線運動に変換する手段を用いて直線運動が生成される。

なお、Ｘ軸とＹ軸は、表示部１６を閲覧面１６２側から閲覧する人から見て、概ね左右方向の動きと前後方向の動きに対応する動きが生成できるように配置されていれば、正確に直交していても、していなくてもよい。

鉛直軸回転運動生成部１３は、Ｙ軸直線運動生成部１２のリニアステージ１２２上部に固定、または、リニアステージ１２２上部と一体化され、略鉛直軸周りの回転運動を生成する。本実施形態の鉛直軸回転運動生成部１３は、リニアステージ１２２に固定、または、リニアステージ１２２と一体化され、鉛直回転軸を中心とした回転運動を案内する回転ガイド１３１と、回転ガイド１３１によって回転可能に支持され（すなわち、リニアステージ１２２によって回転可能に支持され）、回転ガイド１３１に沿って回転する回転ステージ１３２（回転部）と、この回転運動を生成するモータ（図示せず）を含む。このモータには、回転モータ、又は、ダイレクトドライブモータを使用できる。

水平軸回転運動生成部１４は、鉛直軸回転運動生成部１３の回転ステージ１３２上に固定、又は、回転ステージ１３２と一体化され、床面に略水平な面上にある直線軸周りの回転運動を生成する。本実施形態の水平軸回転運動生成部１４は、回転ステージ１３２に固定、又は、回転ステージ１３２と一体化され、水平回転軸を中心として一定半径にある円周に沿った運動を案内するゴニオガイド１４１と、ゴニオガイド１４１によって傾斜可能に支持され（すなわち、回転ステージ１３２によって傾斜可能に支持され）、ゴニオガイド１４１により案内される円周上を運動するゴニオステージ１４２（傾斜部）と、その円周上の運動を生成するモータ（図示せず）と、表示部支持部１４３を含む。この円周上の運動を生成するモータには、回転モータ、又は、ダイレクトドライブモータを使用できる。

表示部支持部１４３は、ゴニオステージ１４２上に固定、または、ゴニオステージ１４２と一体化され、表示部１６を支持する。本実施形態の表示部支持部１４３は、表示部１６の下部に位置する１つの辺縁部を挟み込むことで表示部１６を支持する機構である。ただし、表示部支持部１４３の機構はこれに限るものではなく、表示部支持部１４３が表示部１６の一部と接触し、接着、ボルト締結などにより、表示部１６に固定されてもよい。

以上の構成により、Ｘ軸直線運動生成部１１は、表示部１６をＸ軸に沿った方向成分（例えば、Ｘ軸と略平行な方向成分）を持つ方向に移動させることができ、Ｙ軸直線運動生成部１２は、Ｘ軸と向きが異なるＹ軸に沿った方向成分（例えば、Ｙ軸と略平行な方向成分）を持つ方向に表示部１６を移動させることができ、これにより、Ｘ軸及びＹ軸を含む平面（Ｘ−Ｙ平面：基準となる平面）に沿って表示部１６を移動させことができる（２次元方向に移動させることができる）。鉛直軸回転運動生成部１３は、Ｘ軸及びＹ軸を含む平面に沿った方向に（Ｘ軸及びＹ軸を含む平面に沿って）表示部１６を回転（パン）させることができ、水平軸回転運動生成部１４は、表示部１６をＸ軸及びＹ軸を含む平面に対して回転させ、それによって表示部１６をこの平面に対して傾斜（チルト）させることができる。

本形態の映像表示装置１は、例えば、表示部１６の閲覧面１６２（表示面）又は背面１６１（表示面の背面）がＹ軸（第２軸）に沿った方向（例えば、Ｙ軸と略平行な方向）を向くとき、閲覧面１６２に沿った方向がＸ軸（第１軸）に沿った方向（例えば、Ｘ軸と略平行な方向）となるように構成される。すなわち、閲覧面１６２に沿った方向（例えば、閲覧面１６２と略平行な方向）がＸ軸に沿った方向となったとき、閲覧面１６２又は閲覧面１６２の背面１６１がＹ軸に沿った方向を向く（例えば、Ｙ軸と略垂直となる）。言い換えると、例えば、閲覧面１６２が向く方向がＹ軸に沿った方向となったとき、閲覧面１６２に沿った方向がＸ軸に沿った方向となる。例えば、回転ガイド１３１に対して回転ステージ１３２が特定の位置及び姿勢にあるときに、Ｘ軸直線運動生成部１１の運動方向（Ｘ軸方向）が表示部１６の閲覧面１６２と略平行となり、Ｘ軸直線運動生成部１１による直線運動の方向が表示部１６の閲覧面１６２と略平行になり、かつ、Ｙ軸直線運動生成部１２による直線運動の方向が表示部１６の閲覧面１６２に略鉛直となるように配置する。このように配置し、かつ、表示部１６に表示する対象を人物の顔を含む正面像とした場合、人物の左右の動きがＸ軸に沿った方向の直線運動に相当し、人物の前後の動きがＹ軸に沿った方向の直線運動に相当する（後述する図６参照）。

また本形態では、Ｘ軸直線運動生成部１１のリニアガイド１１１（ベース部）が床面に近い側に配置され、リニアガイド１１１がリニアステージ１１２（第１移動部）を支持し、リニアステージ１１２がＹ軸直線運動生成部１２のリニアステージ１２２（第２移動部）を支持し、リニアステージ１２２が鉛直軸回転運動生成部１３の回転ステージ１３２（回転部）を支持し、回転ステージ１３２が水平軸回転運動生成部１４のゴニオステージ１４２（傾斜部）を支持し、ゴニオステージ１４２が表示部１６を支持している。すなわち、Ｘ軸直線運動生成部１１、Ｙ軸直線運動生成部１２、鉛直軸回転運動生成部１３、水平軸回転運動生成部１４、表示部１６と順に積層されるように配置されている。この順番は、表示部１６での表示対象を人物の顔とした場合、その身体の構造、及び、その構造により許容される運動を大まかに反映した順番になっている。つまり、Ｘ軸直線運動生成部１１、及び、Ｙ軸直線運動生成部１２は、主に、胴体、及び、胴体より下の部分による運動の表現を担当し、身体の前後左右方向の動きを再現できる。椅子に座っている人物の身体動作にとって、前後の動きの方が左右の動きよりも頻度が高い。そのため、左右方向の運動を実現する機構（Ｘ軸直線運動生成部１１）の上に前後方向の運動を実現する機構（Ｙ軸直線運動生成部１２）を配置することで、人物の身体動作を提示する際の動力学的な機構に対する負荷を小さくし、応答を高速にすることができる。なぜなら、Ｘ軸直線運動生成部１１のリニアステージ１１２がＹ軸直線運動生成部１２のリニアステージ１２２を支持する構成の場合、Ｙ軸直線運動生成部１２が支持する部位の総重量は、Ｘ軸直線運動生成部１１が支持する部位の総重量よりも小さく、その結果、人物の身体動作を提示するには、Ｙ軸直線運動生成部１２に対する動力学的な負担が、Ｘ軸直線運動生成部１１に対する動力学的な負担よりも小さくなるからである。また、鉛直軸回転運動生成部１３、及び、水平軸回転運動生成部１４は、主に、頭部の運動（首振りや頷き）を再現する。このような配置は頭部が胴体の上に位置するという人体の構造を反映する合理性を有する。椅子に座っている人物の身体動作にとって、頭部の動きの方が胴体及び胴体より下の部分の動きよりも頻度が高い。そのため、主に頭部の動きを再現する機構（鉛直軸回転運動生成部１３及び水平軸回転運動生成部１４）の上に、主に胴体及び胴体より下の部分の動きを再現する機構（Ｘ軸直線運動生成部１１及びＹ軸直線運動生成部１２）を配置することで、人物の身体動作を提示する際の動力学的な機構に対する負荷を小さくし、応答を高速にすることができる。

なお、鉛直軸回転運動生成部１３と水平軸回転運動生成部１４との配置が逆であってもよい。すなわち、リニアステージ１２２上に水平軸回転運動生成部１４のゴニオガイド１４１（傾斜部）が固定又は一体化され、ゴニオガイド１４１がゴニオステージ１４２（傾斜部）を支持し（すなわち、リニアステージ１２２（第２移動部）がゴニオステージ１４２（傾斜部）を傾斜可能に支持し）、ゴニオステージ１４２上に鉛直軸回転運動生成部１３の回転ガイド１３１が固定又は一体化され、回転ガイド１３１が回転ステージ１３２（回転部）を支持し（すなわち、ゴニオステージ１４２（傾斜部）が回転ステージ１３２（回転部）を回転可能に支持し）、回転ステージ１３２が表示部１６を支持してもよい。このような配置でも図１の配置の場合と同様な効果を得ることができる。なお、鉛直軸回転運動生成部１３と水平軸回転運動生成部１４との配置が逆の場合、水平軸回転運動生成部１４が表示部１６をＸ軸及びＹ軸を含む平面に対して傾斜（チルト）させた状態で鉛直軸回転運動生成部１３が駆動すると、表示部１６は鉛直回転軸から傾斜した回転軸を中心とした回転を行う。このような場合であっても、表示部１６の閲覧面１６２がＸ軸及びＹ軸と平行に配置されないかぎり、この回転にはＸ軸及びＹ軸を含む平面に沿った方向の回転成分も含まれる。

また、人体の運動は、関節を基点とする回転運動が組み合わさって生成されるものであり、一部の擬人化ロボットでは、その構造を模した多関節構造により、身振りや並進運動を行う。また、他のロボットでは並進運動のために車輪を用いる。これら従来の運動生成法では、前後左右方向の並進運動を生成するためには、複数の関節やアクチュエータを複雑かつ精巧に連動させる必要があり、滑らかな運動や即応性の高い運動を生成することが機構的にも制御的にも困難であった。それに対して、本実施形態の機構は、並進運動のために直線運動機構を用いるため、より直接的かつ効率的に並進運動を生成できる。

なお、表示部１６によって映像を表示し、Ｘ軸直線運動生成部１１、Ｙ軸直線運動生成部１２、鉛直軸回転運動生成部１３、及び水平軸回転運動生成部１４によって動きを提示する対象は人に限定されず、自然環境、人工物、キャラクター、動物、植物など様々な対象に適用が可能である。キャラクターや動物などは、人物の映像と同様に物理的な動きが加わることでより実在感が増して感じられる効果がある。また、例えば草花の映像などを表示部１６に表示し、風に揺られる動きをＸ軸直線運動生成部１１、Ｙ軸直線運動生成部１２、鉛直軸回転運動生成部１３、及び水平軸回転運動生成部１４により物理的に動きを再現することで、表示された映像の動きに、よりリアリティが感じられるという効果がある。

また、表示部１６に表示する主たる対象と、Ｘ軸直線運動生成部１１、Ｙ軸直線運動生成部１２、鉛直軸回転運動生成部１３、及び水平軸回転運動生成部１４によって動きを物理的に再現する対象とが同一でなくともよい。例えば、表示部１６によって人物を表示し、Ｘ軸直線運動生成部１１、Ｙ軸直線運動生成部１２、鉛直軸回転運動生成部１３、及び水平軸回転運動生成部１４によって、人物が存在する環境にある動き、例えば、車両の振動や風による空気の揺らぎなどを再現してもよい。それにより、臨場感の高い人物、及び、その環境を閲覧者に提示することができる。

〔第２実施形態〕
第２実施形態は第１実施形態の変形例であり、鉛直軸回転運動生成部と水平軸回転運動生成部を第１実施形態と異なる機構により実現した例である。以下では、すでに説明した部位については、それまでの説明に用いたのと同じ参照番号を用いて説明を省略する。

図２に例示するように、第２実施形態の映像表示装置２は、Ｘ軸直線運動生成部１１（第１直線運動生成部）、Ｙ軸直線運動生成部１２（第２直線運動生成部）、鉛直軸回転運動生成部２３（第１回転運動生成部）、水平軸回転運動生成部２４（第２回転運動生成部）、及び表示部１６を有する。

鉛直軸回転運動生成部２３は、Ｙ軸直線運動生成部１２のリニアステージ１２２上部に固定、または、リニアステージ１２２上部と一体化され、略鉛直軸周りの回転運動を生成する。本実施形態の鉛直軸回転運動生成部２３は、リニアステージ１２２に固定、または、リニアステージ１２２と一体化され、鉛直回転軸を中心とした回転運動を案内する回転ガイド２３１と、回転ガイド２３１によって回転可能に支持され、回転ガイド２３１に沿って回転する回転ステージ２３２（回転部）と、この回転運動を生成するモータ（図示せず）を含む。このモータには、回転モータ、又は、ダイレクトドライブモータを使用できる。

水平軸回転運動生成部２４は、鉛直軸回転運動生成部２３の回転ステージ２３２上に固定、又は、回転ステージ２３２と一体化され、床面に略水平な面上にある直線軸周りの回転運動を生成する。本実施形態の水平軸回転運動生成部２４は、回転ステージ２３２に固定、又は、回転ステージ２３２と一体化され、モータ（図示せず）によって水平回転軸を中心とした回転動力を与える回転駆動部２４１と、回転駆動部２４１によって水平回転軸を中心として回転する回転軸２４２と、回転軸２４２に固定された（すなわち、回転ステージ２３２によって傾斜可能に支持された）表示部支持部２４３を含む。その他、同等の機能を実現する機構であれば、形状や装置構成が異なっていてもよい。

〔第１，２実施形態の変形例１〕
表示部１６の位置・姿勢を制御する機構として、Ｘ軸直線運動生成部１１、Ｙ軸直線運動生成部１２、鉛直軸回転運動生成部１３又は２３、及び、水平軸回転運動生成部１４又は２４に加えて、表示部１６の高さを変化させるＺ軸直線運動生成部を備えてもよい。Ｚ軸直線運動生成部は、Ｘ軸及びＹ軸を含む平面に対して略鉛直なＺ軸に沿った方向に表示部１６を直線移動させる。例えば、Ｚ軸直線運動生成部は、Ｘ軸直線運動生成部１１の下部に設置され、Ｘ軸直線運動生成部１１を下部から支持する。すなわち、Ｘ軸直線運動生成部１１のリニアガイド１１１が、Ｚ軸直線運動生成部によって、Ｚ軸に沿った方向に移動可能に支持される。その他、Ｚ軸直線運動生成部が、Ｘ軸直線運動生成部１１とＹ軸直線運動生成部１２との間に設置され、Ｘ軸直線運動生成部１１のリニアステージ１１２がＺ軸直線運動生成部を支持し、Ｚ軸直線運動生成部がＹ軸直線運動生成部１２のリニアガイド１２１をＺ軸に沿った方向に移動可能に支持してもよい。或いは、Ｚ軸直線運動生成部が、Ｙ軸直線運動生成部１２と鉛直軸回転運動生成部１３又は２３との間に設置され、Ｙ軸直線運動生成部１２のリニアステージ１２２がＺ軸直線運動生成部を支持し、鉛直軸回転運動生成部１３又は２３の回転ガイド１３１又は２３１をＺ軸に沿った方向に移動可能に支持してもよい。ただし、Ｚ軸に沿った方向（例えば、上下方向）への移動は機構的な負荷が大きく、それを実現するためのＺ軸直線運動生成部の自体の重量も大きくなり易い。また、椅子に座っている人物の身体動作にとって上下方向の運動の頻度は、左右前後等のその他の運動の頻度よりも小さいことが多い。そのため、Ｚ軸直線運動生成部をＸ軸直線運動生成部１１の下部に配置するほうが、人物の身体動作を提示する際の動力学的な機構に対する負荷を小さくし、応答を高速にすることができるため、望ましい。その他は第１，２実施形態と同じである。

〔第１，２実施形態の変形例２〕
第１，２実施形態の表示部１６を、音響信号を拡散するスピーカとしても機能させるために、剛体の表示部１６（例えば、平面のディスプレイやスクリーン等）を用い、その表示部１６に音響振動を与えるための超磁歪アクチュエータ（音響振動部）を取り付けてもよい。

図３に例示する超磁歪アクチュエータ１７は、音響信号に応じた交流の電気信号を入力とし、磁界を発生させるためのコイル１７３と、コイル１７３で発生した磁界を受けてその形状やサイズを変動させることで音響信号に応じた振動を行う超磁歪素子１７２と、超磁歪素子１７２で発生した振動を表示部１６に伝達する接触部１７１とを有する。

コイル１７３に入力される電気信号は、例えば、表示部１６での表示対象が発し、マイクロホンなどにより取得された音響信号に対応する電気信号又はそれを増幅した電気信号である。

接触部１７１は、超磁歪素子１７２の先端に取り付けられた凸曲面領域１７１１を有するプラスティックなどの剛体である。本形態の超磁歪アクチュエータ１７は、表示部１６の辺縁領域面（表示面の辺縁領域、例えば、下方領域）に斜めに設置される。凸曲面領域１７１１を有する接触部１７１を用いることで、表示部１６の表示面に対して超磁歪アクチュエータ１７が斜めに設置された場合にも、超磁歪素子１７２の振動を表示部１６に伝達することができる。なお、図３では接触部１７１が球体として描かれているが、表示部１６との接触面が凸曲面をなす形状であれば楕円体や半球などでもよい。

超磁歪アクチュエータ１７は、表示部１６に対して圧力が加えられた状態で設置され、接触部１７１の凸曲面領域１７１１の一部がほぼ一定の圧力をもって表示部１６の辺縁領域面に接触している。すなわち、表示部１６の辺縁領域面と超磁歪素子１７２との間に接触部１７１が配置され、この辺縁領域面に対して斜めの方向の力（ほぼ一定の力）が表示部１６の辺縁外方側から超磁歪素子１７２に加えられ、接触部１７１の凸曲面領域１７１１の一部がこの辺縁領域面に押し当てられた状態で設置されている。

図４Ａ及び４Ｂは、図１の構成の表示部１６に超磁歪アクチュエータ１７が取り付けられた様子を例示している。なお、表記の簡略化のため、図４Ａおよび４Ｂでは、コイル１７３の表記を省略している。この例の表示部支持部１４３は、一端がゴニオステージ１４２に固定または一体化された支柱部１４３０と、支柱部１４３０の他端に固定または一体化された辺縁支持部１４３１と、辺縁支持部１４３１に固定または一体化された把持部１４３４，１４３２，１４３３と、辺縁支持部１４３１に固定または一体化された支持機構１４３５および１４３６を含む。表示部１６の下部に位置する辺縁１６１２は辺縁支持部１４３１によって支持され、背面１６１および閲覧面１６２は把持部１４３４，１４３２，１４３３によって挟み込まれている。支持機構１４３５および１４３６には、それぞれサスペンション機構部１８の支柱１８４，１８５の一端が固定されている。支柱１８４，１８５は、互いに平行であり、かつ、背面１６１に対して斜めの姿勢で固定されている。支柱１８４，１８５は留め板１８１の２個の貫通孔に挿入されており、留め板１８１は支柱１８４，１８５に沿ってスライド可能である。支柱１８４，１８５は、表示部１６の下部に位置する辺縁１６１２の外方側まで延長されている。支柱１８４，１８５の他端はサスペンション機構部１８の留め板１８２，１８３に固定され、留め板１８２，１８３と留め板１８１との間に２個のばね１８６，１８７が設置されている。留め板１８１の表示部１６側の板面には超磁歪素子１７２の他端（接触部１７１の他端）が固定されており、接触部１７１が超磁歪素子１７２と表示部１６の背面１６１との間に配置されている。これにより、超磁歪アクチュエータ１７は、表示部１６の背面１６１に対して斜めに設置され、サスペンション機構部１８によって、辺縁１６１２外方側から方向Ｃ（背面１６１に対する斜めの方向）に力が加えられ、接触部１７１の凸曲面領域１７１１の一部がほぼ一定の圧力をもって背面１６１の辺縁領域面１６１１に接触している。

超磁歪アクチュエータ１７で発生した振動は表示部１６に伝達され、表示部１６はその振動を音響信号として放出する。このように放出された音響信号は、表示部１６の背面１６１および閲覧面１６２に正対する方向をピークとする指向性を持つ。加えて表示部１６そのものが物理的に回転・並進する。これにより、音源の向きや位置が変化し、視聴者の知覚する音響に変化が生じる。この対象の物理的な動きと連動した音響の変化により、より高い実在感を視聴者が感じることが可能となる。表示部１６での表示対象を人間の顔とし、表示部１６がその人間の発話に伴う音響信号を放出する場合、視聴者はその人間の顔の位置から声が発せられているように感じる。また、人間の発話動作は頭部運動や身体の動作を伴うが、本変形例の装置によれば人間の身体の動作に伴う音源位置や方向の変化を再現することができるので、視聴者は提示された人間の実在感をよりリアルに感じることができる。

さらに、表示部１６がその背面１６１側に設置されたプロジェクタから投影された映像を映し出すスクリーンである場合、超磁歪アクチュエータ１７を背面１６１に対して斜めに配置することで（図４Ａ及び４Ｂ等）、超磁歪アクチュエータ１７がプロジェクタからの光線を遮ることを防止でき、かつ、閲覧面１６２側からは超磁歪アクチュエータ１７を見えにくくすることができ、視聴者を映像と音響に集中させることができる。

なお、表示部支持部が表示部１６の辺縁領域面１６１１付近を２点で挟み込むことで表示部１６を支持し、それらの２点以外の領域に超磁歪アクチュエータ１７の接触部１７１が接触する構成を採用してもよい。これにより、超磁歪アクチュエータ１７により生成される振動を表示部１６の全体に広く伝播させることができる。また、表示部１６に設置される超磁歪アクチュエータ１７の個数は１個に限定されず、複数個の超磁歪アクチュエータ１７が表示部１６に設置されてもよい。

なお、超磁歪アクチュエータ以外の振動素子を用いて、表示部１６をスピーカとしても機能させることも可能である。しかしながら、例えば、表示部１６に圧電フィルムを添付する方式の平面スピーカ等と比較して、超磁歪アクチュエータを用いた構成は表示部１６に光学的な悪影響を及ぼさないため、画質の劣化を抑えることができるという利点がある。

〔第３実施形態〕
第３実施形態では、第１，２実施形態で例示した映像表示装置を用いた映像表示システムを例示する。図５に例示するように、本実施形態の映像表示システム３は、運動生成部３１、Ｘ軸方向変位計測部３２１、Ｙ軸方向変位計測部３２２、鉛直軸回転角計測部３２３、水平軸回転角計測部３２４、映像生成部３３、プロジェクタ３４（映像投影部）、及び表示部１６を有する。

運動生成部３１は、Ｘ軸直線運動生成部３１１（第１直線運動生成部）、Ｙ軸直線運動生成部３１２（第２直線運動生成部）、鉛直軸回転運動生成部３１３（第１回転運動生成部）、及び水平軸回転運動生成部３１４（第２回転運動生成部）を含む。なお、Ｘ軸直線運動生成部３１１及びＹ軸直線運動生成部３１２は「平面運動生成部」を構成する。Ｘ軸直線運動生成部３１１（第１直線運動生成部）はＸ軸（第１軸）に沿った方向成分（例えば、Ｘ軸と略平行な方向成分）を持つ方向に表示部１６を移動させ、Ｙ軸直線運動生成部３１２（第２直線運動生成部）はＹ軸（第２軸）に沿った方向成分（例えば、Ｙ軸と略平行な方向成分）を持つ方向に表示部１６を移動させ、これにより、表示部１６をＸ軸及びＹ軸を含む平面（Ｘ−Ｙ平面）に沿って移動させことができる。鉛直軸回転運動生成部３１３（第１回転運動生成部）は、Ｘ軸及びＹ軸を含む平面に沿った方向に表示部１６を回転させ、水平軸回転運動生成部３１４（第２回転運動生成部）は、Ｘ軸及びＹ軸を含む平面に対して回転させ、それによって表示部１６をこの平面に対して傾斜させる。また、本形態の運動生成部３１は、例えば、表示部１６の閲覧面１６２（表示面）に沿った方向（例えば、閲覧面１６２と略平行な方向）がＸ軸に沿った方向となったとき、閲覧面１６２又は閲覧面１６２の背面１６１がＹ軸に沿った方向を向く（例えば、Ｙ軸と略垂直となる）ように構成される。これらの例は、それぞれ、第１，２実施形態で説明したＸ軸直線運動生成部１１、Ｙ軸直線運動生成部１２、鉛直軸回転運動生成部１３，２３、及び水平軸回転運動生成部１４，２４であるが、その他の構成であってもよい。

本実施形態の表示部１６は、図１および図２に例示したものであり、背面１６１側からプロジェクタ３４によって映像が投影される平面を備えた板状のスクリーンである。このスクリーンはプロジェクタスクリーンであり、透過性の高い素材に光線拡散のための成分が配合、または、添付されたものである。素材にはアクリル、ポリカーボネイトなどのプラスティック、ガラス、紙などが利用できる。

図６に例示するように、プロジェクタ３４は表示部１６の背面１６１側に設置される。プロジェクタ３４は、例えば、床面上に設置されるがこれに限定されず、Ｘ軸およびＹ軸を含む平面に対し、プロジェクタ３４の相対位置が固定されていればよい。プロジェクタ３４の光線はＡ方向から表示部１６の背面１６１に投影される。一方、閲覧者は表示部１６の閲覧面１６２側から表示部１６に映し出された映像をＢ方向から閲覧する。

映像生成部３３は、記録媒体３３１、映像配信部３３２、及び映像変形部３３３を含み、プロジェクタ３４から投影する映像を生成する。本形態の映像表示システム３において、プロジェクタ３４に対する表示部１６（スクリーン）の位置・姿勢は固定でなく、時々刻々と変化しうる。映像生成部３３は、そうした変化に依らずに、常に映像を歪み無く、表示部１６のスクリーン平面上に映し出すために、プロジェクタ３４より投影する映像を変形させる。

記録媒体３３１には映像データが格納されている。この映像データはリアルタイムに格納されたものであってもよいし、過去に格納されたものであってもよい。映像配信部３３２は、カメラなどにより撮影され、送信された映像データを出力する。映像変形部３３３は、記録媒体３３１から読み出した映像データ（入力映像）、または、映像配信部３３２から出力された映像データ（入力映像）を入力とし、Ｘ軸直線運動生成部３１１、Ｙ軸直線運動生成部３１２、鉛直軸回転運動生成部３１３、及び、水平軸回転運動生成部３１４によりもたらされる、表示部１６の位置と姿勢（プロジェクタ３４に対する相対的な位置と姿勢）に応じて入力映像を変形した出力映像を得る。この出力映像はプロジェクタ３４に出力され、プロジェクタ３４はこの出力映像を投影し、表示部１６はこの出力映像が投影されることで投影映像を映し出す。

表示部１６の位置と姿勢は、Ｘ軸直線運動生成部３１１によりもたらされる表示部１６のＸ軸に沿った方向成分の変位（例えば、リニアステージ１１２の変位）を計測するＸ軸方向変位計測部３２１、Ｙ軸直線運動生成部３１２によりもたらされる表示部１６のＹ軸に沿った方向成分の変位（例えば、リニアステージ１２２の変位）を計測するＹ軸方向変位計測部３２２、鉛直軸回転運動生成部３１３によりもたらされるＸ軸及びＹ軸を含む平面に沿った方向の表示部１６のパン回転角（例えば、回転ステージ１３２または２３２の回転角）を計測する鉛直軸回転角計測部３２３、水平軸回転運動生成部３１４によりもたらされるＸ軸及びＹ軸を含む平面に対する表示部１６のチルト回転角（例えば、ゴニオステージ１４２又は回転軸２４２の回転角）を計測する水平軸回転角計測部３２４により得られ、映像変形部３３３へと入力される。これらの計測部３２１〜３２４は、それぞれ計測の対象となる機構に内蔵されていてもよいし、それらの機構の外部に存在していてもよい。

映像変形部３３３は、プロジェクタ３４と表示部１６との位置関係、並びに、Ｘ軸直線運動生成部３１１、Ｙ軸直線運動生成部３１２、鉛直軸回転運動生成部３１３、及び、水平軸回転運動生成部３１４によって制御される表示部１６の位置と姿勢に応じて、入力映像の写像（マッピング）を行い、出力映像を得る。この写像（マッピング）は、入力映像の座標値と出力映像の座標値との間の関係性を記述した数式に基づいて行われる。すなわち、映像変形部３３３は、出力映像の各画素について、対応する入力映像の座標値を計算し、その座標値から輝度値を取得し、出力映像の画素の輝度値に設定する操作を行う。これにより、映像変形部３３３は、入力映像に対し、プロジェクタ３４に対する表示部１６の位置及び姿勢に応じた投影映像の歪みを補正するための変形を行い、出力映像を得る。

入力映像は、表示部１６であるスクリーン上の２次元座標系であるスクリーン座標系の映像に対応し、スクリーン座標系の映像そのものであってもよいし、さらにそのマッピングであってもよい。出力映像は、映像平面上の２次元座標系である映像座標系の映像に対応し、映像座標系の映像そのものであってもよいし、さらにそのマッピングであってもよい。なお、「映像平面」は、プロジェクタ３４の投影方向の中心軸（光線の中心軸）に略直交し、かつ、プロジェクタ３４の光線の中心軸に対して位置が固定された面（例えば、プロジェクタ３４の光学中心に対する位置が固定された面）である。プロジェクタ３４の光学中心と映像平面との距離は、プロジェクタ３４の焦点距離またはその近傍である。

以下にこのマッピングの計算式を導出する。明瞭性の観点から関連する複数のマッピングに分解して記述するが、実際のマッピングをこれらの複数のマッピングに分解して行う必要はない。以下では、入力映像がスクリーン座標系の映像そのものであり、出力映像が映像座標系のマッピングであるウィンドウ座標系の画像である例を説明する。

以下で説明する複数のマッピングは、（１）上述のスクリーン座標系の座標（点）ｑからアクチュエータ座標系の座標ｐ_ＰＴＵへのマッピング、（２）アクチュエータ座標系の座標ｐ_ＰＴＵからプロジェクタ座標系（映像投影部座標系）の座標Ｐ_Ｐｒｏｊへのマッピング、（３）プロジェクタ座標系の座標Ｐ_Ｐｒｏｊから映像座標系の座標ｐ_Ｉｍｇへのマッピング、（４）上述の映像座標系の座標ｐ_Ｉｍｇからウィンドウ座標系の座標ｗへのマッピングから構成される。
ｑ→ｐ_ＰＴＵ→ｐ_Ｐｒｏｊ→ｐ_Ｉｍｇ→ｗ
ただし、「アクチュエータ座標系」とは、前述したＸ軸及びＹ軸（及びＺ軸）を基準とした３次元座標系のことである。「プロジェクタ座標系」とは、プロジェクタ３４の光学中心を基準とした３次元座標を表す座標系のことである。「ウィンドウ座標系」とは、出力映像を生成する計算機上のフレームバッファ（あるいはウィンドウシステムを採用するＯＳ上における画像表示窓）の座標系のことである。

図７に、これら座標系の関係性を図示する。
スクリーン座標系の座標ｑ＝［ｗ_ｑ，ｈ_ｑ］^Ｔからアクチュエータ座標系の座標ｐ_ＰＴＵ＝［ｘ_ＰＴＵ，ｙ_ＰＴＵ，ｚ_ＰＴＵ］^Ｔへのマッピングは、以下のように記述できる。
［ｘ_ＰＴＵ，ｙ_ＰＴＵ，ｚ_ＰＴＵ］^Ｔ＝Ｒ_θ・Ｒ_φ・［ｗ_ｑ＋Δｘ＋Δｘ_PTU，Δｙ＋Δｙ_PTU，ｈ_ｑ＋Δｚ］^Ｔ
ただし、α^Ｔはαの転置であり、ｗ_ｑは表示部１６の表示面である二次元平面を直交座標系で表現したときの水平方向の位置座標、ｈ_ｑは垂直方向の位置座標である。Ｒ_θはＺ軸（第１軸および第２軸を含む平面に略直行する軸）を中心とした回転角θのパン回転を表す３×３の回転行列であり、Ｒ_φが第Ｘ軸を中心とした回転角φのチルト回転を表す３×３の回転行列である。Δｘ，Δｙ，Δｚが定数であり、アクチュエータ座標系の原点からスクリーン座標系の原点への並進成分を表す。Δｘ_PTUはＸ軸に沿った方向の表示部１６の移動量を表し、Δｙ_PTUはＹ軸に沿った方向の表示部１６の移動量を表す。

アクチュエータ座標系の座標ｐ_ＰＴＵ＝［ｘ_ＰＴＵ，ｙ_ＰＴＵ，ｚ_ＰＴＵ］^Ｔからプロジェクタ座標系の座標ｐ_Ｐｒｏｊ＝［ｘ_ｐｒｏｊ，ｙ_ｐｒｏｊ，ｚ_ｐｒｏｊ］^Ｔへのマッピングは、回転と並進からなる以下の線形変換となる。

ただし、｛ｒ_ｉ，ｊ｜ｉ＝１，２，３，ｊ＝１，２，３｝は回転を表す係数（定数）を表し、ｔ_Ｘ，ｔ_Ｙ，ｔ_Ｚは並進を表す係数（定数）を表す。これら係数はキャリブレーションにより決定される。

プロジェクタ３４からの投影が透視投影であることを前提として、プロジェクタ座標系の座標ｐ_Ｐｒｏｊ＝［ｘ_ｐｒｏｊ，ｙ_ｐｒｏｊ，ｚ_ｐｒｏｊ］^Ｔから映像座標系の座標ｐ_Ｉｍｇ＝［ｘ_ｉｍｇ，ｙ_ｉｍｇ］^Ｔへのマッピングは、以下のように記述できる。
［ｘ_ｉｍｇ，ｙ_ｉｍｇ］^Ｔ＝（ｆ／ｚ_ｐｒｏｊ）［ｘ_ｐｒｏｊ，ｙ_ｐｒｏｊ］^Ｔ
ただし、ｆは定数であり、プロジェクタ３４の焦点距離である。

映像座標系の座標ｐ_Ｉｍｇ＝［ｘ_ｉｍｇ，ｙ_ｉｍｇ］^Ｔからウィンドウ座標系の座標ｗ＝［ｘ_ｗ，ｙ_ｗ］^Ｔへのマッピングは、以下のように記述できる。
［ｘ_ｗ，ｙ_ｗ］^Ｔ＝［ｘ_ｉｍｇ＋ｃ_ｘ，−ｙ_ｉｍｇ＋ｃ_ｙ］^Ｔ
ただし、（ｃ_ｘ，ｃ_ｙ）はウィンドウ座標系原点から映像座標系の映像中心への並進ベクトルを表す。これは典型的なプロジェクタの光学系がシフトレンズを採用していることに対応する。

以上より、入力映像をなすスクリーン座標系の各座標ｑ＝［ｗ_ｑ，ｈ_ｑ］^Ｔを、出力映像をなすウィンドウ座標系の各座標ｗ＝［ｘ_ｗ，ｙ_ｗ］^Ｔにマッピングでき、入力映像から出力映像への変形を行うことができる。

〔第３実施形態の変形例１〕
上述した運動生成部３１に加え、第１，２実施形態の変形例１で説明したような表示部１６の高さを変化させるＺ軸直線運動生成部を備えてもよい。この場合には、スクリーン座標系の座標ｑ＝［ｗ_ｑ，ｈ_ｑ］^Ｔからアクチュエータ座標系の座標ｐ_ＰＴＵ＝［ｘ_ＰＴＵ，ｙ_ＰＴＵ，ｚ_ＰＴＵ］^Ｔへのマッピングは、以下のように記述できる。
［ｘ_ＰＴＵ，ｙ_ＰＴＵ，ｚ_ＰＴＵ］^Ｔ＝Ｒ_θ・Ｒ_φ・［ｗ_ｑ＋Δｘ＋Δｘ_PTU，Δｙ＋Δｙ_PTU，ｈ_ｑ＋Δｚ＋Δｚ_PTU］^Ｔ
ただし、Δｚ_PTUはＺ軸に沿った方向の表示部１６の移動量を表す。

〔第３実施形態の変形例２〕
第１，２実施形態の変形例２で説明したように、剛体の表示部１６を用い、その表示部１６に音響振動を与えるための超磁歪アクチュエータを取り付けてもよい。

〔第４実施形態〕
第４実施形態は第３実施形態またはその変形例１，２の変形例であり、表示部１６での表示対象となる物体（人物等）の動作に基づいて表示部１６の制御、及び、入力映像から出力映像へのマッピングを行う。

図８に例示するように、本実施形態の映像表示システム４は、運動生成部４１、制御信号生成部４２、映像生成部４３、プロジェクタ３４、及び表示部１６を有する。

運動生成部４１は、Ｘ軸直線運動生成部４１１（第１直線運動生成部）、Ｙ軸直線運動生成部４１２（第２直線運動生成部）、鉛直軸回転運動生成部４１３（第１回転運動生成部）、及び水平軸回転運動生成部４１４（第２回転運動生成部）を含む。Ｘ軸直線運動生成部４１１（第１直線運動生成部）はＸ軸（第１軸）に沿った方向に表示部１６を移動させ、Ｙ軸直線運動生成部４１２（第２直線運動生成部）はＹ軸（第２軸）に沿った方向に表示部１６を移動させ、鉛直軸回転運動生成部４１３（第１回転運動生成部）は、Ｘ軸及びＹ軸を含む平面に沿った方向に表示部１６を回転させ、水平軸回転運動生成部４１４（第２回転運動生成部）は、Ｘ軸及びＹ軸を含む平面に対して表示部１６を傾斜させる。運動生成部４１が第３実施形態の運動生成部３１と相違するのは、Ｘ軸直線運動生成部４１１、Ｙ軸直線運動生成部４１２、鉛直軸回転運動生成部４１３、及び水平軸回転運動生成部４１４が、制御信号生成部４２から出力される制御信号に基づいて駆動する点のみである。

映像生成部４３は、記録媒体３３１、映像配信部３３２、及び映像変形部４３３を含む。映像変形部４３３は、制御信号生成部４２から出力される制御信号から特定される表示部１６の位置・姿勢に基づいて、入力映像から出力映像へのマッピングを行う。制御信号に基づいて表示部１６の位置・姿勢を特定する以外は、第３実施形態の映像変形部３３３と同じである。

制御信号生成部４２は、Ｘ軸直線運動生成部４１１、Ｙ軸直線運動生成部４１２、鉛直軸回転運動生成部４１３、及び水平軸回転運動生成部４１４の各々を制御するための制御信号を生成する。図９に制御信号生成部４２の詳細構成を例示する。図９に例示するように、制御信号生成部４２は、表示部１６での表示対象となる物体の位置と姿勢を表すデータを得る位置・姿勢計測部４２１、位置・姿勢計測部４２１により得られたデータを入力として、表示対象となる物体の床平面上の位置・姿勢を計算する位置計算部４２２、位置計算部４２２により得られた情報からＸ軸直線運動生成部４１１及びＹ軸直線運動生成部４１２の各々を制御するための制御信号を生成し、それをＸ軸直線運動生成部４１１及びＹ軸直線運動生成部４１２に出力する位置制御信号生成部４２３、及び、位置計算部４２２により得られた情報から鉛直軸回転運動生成部４１３及び水平軸回転運動生成部４１４の各々を制御するための制御信号を生成し、それを鉛直軸回転運動生成部４１３及び水平軸回転運動生成部４１４に出力する姿勢制御信号生成部４２４を有する。

位置・姿勢計測部４２１は、表示対象となる物体の位置と姿勢を表すデータ（以下「位置・姿勢データ」）を得るセンサ等からなるシステムであり、その一例は磁気式センサーシステムである。磁気式システムは、磁気を発生させる発信器と、表示対象となる物体（例えば、人物の頭部等）に装着され、発信器により生成された磁界の強度を計測する受信器とを含む。発信器は、図１のＸ軸及びＹ軸を含む平面（例えば床面）を基準としたデカルト座標系の直交３軸のそれぞれに沿ってコイルを配置し、それぞれのコイルから一定強度の交流磁界を発生させる。センサである受信器は、表示対象となる物体を基準としたデカルト座標系の直交３軸のそれぞれにコイルを配置し、それぞれのコイルにおいて磁界強度を計測する。各軸のコイルにより計測された磁界の強度、及び、その強度の差により、発信器に対する受信器の３次元相対座標、及び、発信器に対する受信器の直交３軸周りの回転角度が算出される。受信器は、表示対象となる物体の表面や内部に固定される。例えば、表示対象となる物体が人物である場合、受信器はヘアバンドなどによりこの人物の頭部や他の身体部位に固定される。また、位置・姿勢計測部４２１の他の例として、カメラにより撮影された物体の画像を入力とし、その画像上の物体の位置、及び、姿勢を視覚的に特定して位置・姿勢データを得るシステムを用いることもできる。位置・姿勢計測部４２１のさらに別の例として、表示対象となる物体の位置・姿勢データが記録されている記憶媒体と、その記憶媒体から逐次読み出した位置・姿勢データを出力するシステムを用いることができる。

位置計算部４２２は、位置・姿勢計測部４２１で得られた表示対象となる物体の位置・姿勢データを入力として、図１のＸ軸及びＹ軸を含む平面上の位置（例えば、床面上の位置）を計算する。例えば、位置・姿勢計測部４２１として前述の磁気式センサーシステムを利用し、表示対象となる物体の表面や内部に固定された受信器の３次元座標（図１のＸ軸及びＹ軸を含む平面（例えば床面）を基準とした３次元座標）、及び、その３次元座標での３自由度の回転角を、表示対象となる物体の位置・姿勢データとして計測する場合、受信器の位置と表示対象となる物体の回転中心とは必ずしも一致しない。そのため、この位置・姿勢データから得られたＸ座標値及びＹ座標値そのものを、Ｘ軸直線運動生成部４１１及びＹ軸直線運動生成部４１２の制御に用いたのでは、生成される運動に不自然さが生じる。例えば、表示対象となる物体が人物の頭部である場合、実際にはその人物が首振りのみを行ったにもかかわらず、同時に胴体も移動するような運動が表示部１６に与えられ、実際の頭部の首振り運動とは異なる運動が提示されることになる。このような問題を回避するため、位置計算部４２２は、位置・姿勢計測部４２１で得られた位置・姿勢データを入力とし、概ね表示対象となる物体の回転中心の位置に相当するＸ座標値、及び、Ｙ座標値を計算により求める。なお，表示対象となる物体が人物の場合、厳密に言うと、首振りや頷きによる頭部の回転には、複数の頸椎、及び、それらの関節が関わるため、その回転中心は体幹に対して不変とは言えない。しかしながら、本実施形態では、表示対象となる物体の回転を固定された一点を中心とする回転と仮定する。その上で、受信器の位置が表示対象となる物体表面の一点に固定され、受信器と回転中心との相対位置関係は、この物体の回転に依らず一定であると仮定する。位置・姿勢データとして、図１のＸ軸，Ｙ軸，Ｚ軸を基準とした受信器の３次元座標位置（ｘ，ｙ，ｚ）、及び、姿勢（回転角度）（θ，φ，ρ）が得られているとする。ただし、θ，φ，ρは、それぞれ、受信器の方位角、仰角、横転角を表す。すると、表示対象となる物体の回転中心の３次元座標位置（Ｘ，Ｙ，Ｚ）（図１のＸ軸，Ｙ軸，Ｚ軸を基準とした３次元座標位置）を以下のように表記することができる。
Ｘ＝ｘ＋Ｒ×ｃｏｓ（φ＋Φ）×ｓｉｎ（θ＋Θ） （１）
Ｙ＝ｙ−Ｒ×ｃｏｓ（φ＋Φ）×ｃｏｓ（θ＋Θ） （２）
Ｚ＝ｚ＋Ｒ×ｓｉｎ（φ＋Φ） （３）
ただし、Ｒは受信器と表示対象となる物体の回転中心との距離を表し、（Θ，Φ）は回転中心座標（Ｘ，Ｙ，Ｚ）に対する受信器の相対回転角（球極座標表示における方位角と天頂角）を表す。ここで受信器と回転中心座標（Ｘ，Ｙ，Ｚ）との位置関係を表す３つのパラメータＲ，Θ，Φは未知であり、表示対象となる物体の形状や受信器の装着の具合により様々であって、厳密な測定も困難である。ここでは、簡易的にこれらのパラメータＲ，Θ，Φをキャリブレーションにより計算する。例えば、表示対象となる物体が人物である場合、その人物が体幹を固定した状態で首振りを行う時の以下のような位置・姿勢データの時系列を用い、この計算を行う。
｛（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ，θ_ｔ，φ_ｔ，ρ_ｔ）｜ｔ＝１，・・・，Ｔ｝
ただし、添え字のｔは時刻を表すインデックスであり、Ｔは正の整数定数である。また、（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ）はｔの時刻での３次元座標位置（ｘ，ｙ，ｚ）を表し、（θ_ｔ，φ_ｔ，ρ_ｔ）は、ｔの時刻での姿勢（θ，φ，ρ）を表す。このときの頭部の運動に対し、ｘ＝ｘ_ｔ，ｙ＝ｙ_ｔ，ｚ＝ｚ_ｔ，θ＝θ_ｔ，φ＝φ_ｔとして式（１）〜（３）で計算される回転中心座標の時系列（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）が、或る範囲に留まる傾向があると仮定する。この仮定のもと、位置・姿勢データの時系列に対する回転中心座標の時系列（Ｘ_ｔ，Ｙ_ｔ，Ｚ_ｔ）の分散（式（４））が最小になるパラメータＲ，Θ，Φを最適化により計算する。

なお、表示対象となる物体が人物以外の場合でも、同様の手順によりパラメータＲ，Θ，Φを求めることが可能である。

位置計算部４２２は、予め上記の計算によってパラメータＲ，Θ，Φを計算しておき、そのメモリに保持しておく。その後、位置計算部４２２は、逐次、位置・姿勢計測部４２１から入力される位置・姿勢データに対し、式（１）〜（３）を用いて回転中心座標（Ｘ，Ｙ，Ｚ）を計算し、位置制御信号生成部４２３へ出力する。ただし、本実施形態ではＺ軸方向の直線運動を制御しないため、（Ｘ，Ｙ）のみが位置制御信号生成部４２３へ出力されてもよいし、式（３）が計算されなくてもよい。また本実施形態では、（Ｘ，Ｙ，Ｚ）または（Ｘ，Ｙ）が制御信号として映像変形部４３３へ出力される。さらに、逐次、式（１）〜（３）で得られる値からノイズを除去するために、時間平均フィルタやウェーブレットフィルタなどを用いたスムージングやノイズ除去処理が行われ、（Ｘ，Ｙ，Ｚ）または（Ｘ，Ｙ）が得られてもよい。

なお、受信器の回転中心が表示対象となる物体の実際の回転中心と一致、又は、その近傍となる場合、位置計算部４２２の処理を省くことができる。この場合、位置・姿勢計測部４２１で得られた位置・姿勢データを直接、位置制御信号生成部４２３に入力してもよい。

位置制御信号生成部４２３は、位置計算部４２２から出力されたＸ，Ｙを入力とし、表示部１６の並進運動（床面に略水平な面上の運動、閲覧者からみて略前後左右の運動）を生成するためのＸ軸直線運動生成部４１１及びＹ軸直線運動生成部４１２を制御する制御信号を生成して出力する。なお、位置・姿勢計測部４２１で得られた位置・姿勢データが直接入力される場合には、位置計算部４２２から出力されたＸ，Ｙに代えて、その位置・姿勢データが表す図１のＸ軸に沿った座標値Ｘ及Ｙ軸に沿った座標値Ｙが用いられる。以下では、位置計算部４２２から出力されたＸ，Ｙが位置制御信号生成部４２３に入力される例のみを説明する。

まず、Ｘ軸直線運動生成部４１１を制御するための制御信号の生成について述べる。なお、本実施形態では、Ｘ軸直線運動生成部４１１のアクチュエータの制御が速度コマンドによりなされる。位置制御信号生成部４２３には、位置計算部４２２により計算された対象の回転中心位置のＸ座標値であるＸの時系列が入力される。まず、位置・姿勢計測部４２１でのデータのサンプリング間隔と制御の時間間隔との差がある場合、位置制御信号生成部４２３は、その差を補正するためのダウンサンプリングまたはアップサンプリングを行う。また、Ｘ軸直線運動生成部４１１の可動範囲には限りがあるため、その範囲を超える位置への移動が行われないように、位置制御信号生成部４２３は、位置制御信号生成部４２３に入力される座標値Ｘに対してクリッピング処理を行う。さらに、Ｘ軸直線運動生成部４１１による可動範囲の中央位置がＸ座標値０となるように、位置制御信号生成部４２３は、入力された座標値Ｘのシフト演算を行う。その後、位置制御信号生成部４２３は、一定の定数を用いて可動範囲の中央位置を基点とする振れ幅をスケーリングしてもよい。位置制御信号生成部４２３は、このような処理が施された座標値Ｘ’の時系列の時間差分（或いは時間微分）から、各時刻のＸ軸に沿った速度成分を得る。位置制御信号生成部４２３は、この速度成分を速度コマンドとしてＸ軸直線運動生成部４１１に出力する。

なお、位置制御信号生成部４２３は、上記の速度成分に含まれるノイズ成分を除去した速度成分を速度コマンドとしてＸ軸直線運動生成部４１１へ出力してもよい。例えば、位置制御信号生成部４２３は、座標値Ｘ’の時系列の時間差分等によって得られる速度成分の局所的極大値（「ピーク値」と呼ぶ）を検出し、その時刻（「ピーク時刻」と呼ぶ）の前後において速度成分がゼロになる（又はゼロに接近する）時刻（「ゼロ時刻」と呼ぶ）を探索する。位置制御信号生成部４２３は、１個のピーク時刻を含み２個のゼロ時刻で挟まれた区間（「ピーク区間」と呼ぶ）において、立ち上がり時の速度成分が一定値以上となり、かつ、最大の速度成分が既定値を超えないように速度成分を加工する。なお、立ち上がり時の速度成分を一定値以上にするためには、例えば、ピーク区間での速度成分に定数や変数を加算したり乗算したりすればよい。最大の速度成分が既定値を超えないようにするためには、例えば、既定値を超える速度成分を既定値以下に減じればよい。また、位置制御信号生成部４２３は、ピーク区間に挟まれた時間区間での速度成分を０にする。さらに、位置制御信号生成部４２３は、ピーク区間での立ち上がり時の速度成分を一定値以上にしたり（加工１）、ピーク区間に挟まれた時間区間での速度成分を０にしたり（加工２）することによって生じる移動量の誤差を次のピーク区間で相殺し、全体として移動量を保存するために、ピーク区間での速度成分を調整する。例えば、ピーク区間Ｐ_０での加工１や、ピーク区間Ｐ_０とその次のピーク区間Ｐ_１とで挟まれた時間区間での加工２によって得られた速度成分の時間積分値をｘ_Ａとし、それらの時間区間での加工１，２前の速度成分の時間積分値をｘ_Ｂとしたとき、ｘ_Ａがｘ_Ｂに近づくように、ピーク区間Ｐ_０もしくはＰ_１での速度成分を調整する。例えば、位置制御信号生成部４２３は、ピーク区間Ｐ_０での速度成分をＫ＝ｘ_Ｂ／ｘ_Ａ倍することで速度成分を調整する。このように得られた速度成分は、ノイズや微小振動が抑制され、かつ、Ｘ軸直線運動生成部４１１の最高速度を超える速度成分に対して制約が課されたものとなる。

次に、Ｙ軸直線運動生成部４１２を制御するための制御信号の生成について述べる。この制御信号の生成は、ＸがＹに置換される以外、Ｘ軸直線運動生成部４１１を制御するための制御信号の生成と同じである。位置制御信号生成部４２３は、このように得られた速度成分を速度コマンドとしてＹ軸直線運動生成部４１２に出力する。

姿勢制御信号生成部４２４は、位置・姿勢計測部４２１で得られた位置・姿勢データのうち、姿勢（θ，φ，ρ）を表す姿勢データを入力とし、略Ｚ軸周り（例えば、略鉛直軸周り）のパン回転角、略Ｘ軸周り（例えば、床面に略平行な軸周り）のチルト回転角、及び、それらの各速度を計算し、その結果を制御信号として、鉛直軸回転運動生成部４１３、水平軸回転運動生成部、及び映像変形部４３３へ出力する。なお、表示対象となる物体が人物の頭部である場合、前者の動きは、首振り方向に相当し、後者の動きは頷き方向に相当する。

姿勢制御信号生成部４２４は、位置・姿勢計測部４２１で取得された姿勢データのうち、方位角θ及び仰角φの２つの回転角のみを用いて制御信号を生成する。ここでは、表示対象となる物体が正面を向く場合にθ＝０及び仰角φ＝０となることを仮定する。そのため、まず姿勢制御信号生成部４２４は、位置・姿勢計測部４２１で取得された方位角θ及び仰角φを、表示対象となる物体が正面を向く場合にθ＝０及び仰角φ＝０となるように補正する。姿勢制御信号生成部４２４は、鉛直軸回転運動生成部４１３及び水平軸回転運動生成部４１４を構成するアクチュエータの物理的・機械的特性や、姿勢制御信号生成部４２４で得られた姿勢データのノイズの特性などを考慮し、さらに方位角θ及び仰角φに変形操作を加えて上記の制御信号を生成する。

まず、パン回転角を制御する制御信号の生成について述べる。本実施形態でのパン回転角の制御は、速度コマンドによりなされる。まず、位置・姿勢計測部４２１での方位角θのサンプリング間隔と制御の時間間隔との差がある場合、姿勢制御信号生成部４２４は、その差を補正するためのダウンサンプリングまたはアップサンプリングを行う。その後、姿勢制御信号生成部４２４は、一定の定数（例えば０．４）を乗じることで方位角θの可動幅をスケーリングする。このスケーリングは、閲覧者が好適に映像を閲覧できる範囲に表示部１６の可動角度の範囲を制限するために行われる。姿勢制御信号生成部４２４は、このような処理が施された方位角θ’の時系列の時間差分（或いは時間微分）から、各時刻の方位角の角速度成分を得る。姿勢制御信号生成部４２４は、この方位角の角速度成分を速度コマンドとして鉛直軸回転運動生成部４１３に出力する。

なお、姿勢制御信号生成部４２４は、上記の方位角の角速度成分に含まれるノイズ成分を除去した方位角の角速度成分を速度コマンドとして鉛直軸回転運動生成部４１３へ出力してもよい。例えば、姿勢制御信号生成部４２４は、方位角θ’の時系列の時間差分等によって得られる方位角の角速度成分の局所的極大値（「ピーク値」と呼ぶ）を検出し、その時刻（「ピーク時刻」と呼ぶ）の前後において方位角の角速度成分がゼロになる（又はゼロに接近する）時刻（「ゼロ時刻」と呼ぶ）を探索する。姿勢制御信号生成部４２４は、１個のピーク時刻を含み２個のゼロ時刻で挟まれた区間（「ピーク区間」と呼ぶ）において、立ち上がり時の角速度成分が一定値以上となり、かつ、最大の角速度成分が既定値を超えないように方位角の角速度成分を加工する。また、姿勢制御信号生成部４２４は、ピーク区間に挟まれた時間区間での方位角の角速度成分を０にする。さらに、姿勢制御信号生成部４２４は、ピーク区間での立ち上がり時の角速度成分を一定値以上にしたり、ピーク区間に挟まれた時間区間での角速度成分を０にしたりすることによって生じる回転量の誤差を一つ前のピーク区間で相殺し、全体として回転量を保存するために、ピーク区間での角速度成分を調整する。このように得られた角速度成分は、ノイズや微小振動が抑制され、かつ、鉛直軸回転運動生成部４１３の最高角速度を超える角速度成分に対して制約が課されたものとなる。

次に、チルト回転角を制御する制御信号の生成について述べる。本実施形態でのチルト回転角の制御も、速度コマンドによりなされる。チルト回転角を制御する制御信号の生成は、方位角θが仰角φに置換される以外、パン回転角を制御する制御信号の生成と同様でよい。ただし、チルト回転角を制御に独自なものとして、チルト運動がない時刻において、常に表示部１６の閲覧面１６２が略Ｚ軸（略鉛直軸）に沿った角度（例えば、Ｚ軸に対して０°）に配置されるように仰角の角速度成分を制御してもよい。例えば、姿勢制御信号生成部４２４は、一連の運動を行う時間区間における、正負の仰角の総和（角度変化量）が等しくなるように正負それぞれの仰角の角速度成分に個別の係数を乗じたものを、速度コマンドとしてもよい。生成された速度コマンドは水平軸回転運動生成部４１４へ出力される。

〔第４実施形態の変形例１〕
上述した運動生成部４１に加え、第１，２実施形態の変形例１で説明したような表示部１６の高さを変化させるＺ軸直線運動生成部を備えてもよい。この場合には、位置計算部４２２で回転中心座標（Ｘ，Ｙ，Ｚ）を計算し、位置制御信号生成部４２３でＸ軸直線運動生成部４１１、Ｙ軸直線運動生成部４１２、及びＺ軸直線運動生成部を制御する制御信号を生成して出力する。Ｘ軸直線運動生成部４１１、Ｙ軸直線運動生成部４１２、及びＺ軸直線運動生成部は、これらの制御信号に基づいて可動する。なお、位置・姿勢計測部４２１で得られた位置・姿勢データが直接入力される場合には、位置・姿勢データに基づいてこれらの制御信号が生成される。

〔第４実施形態の変形例２〕
第１，２実施形態の変形例２で説明したように、剛体の表示部１６を用い、その表示部１６に音響振動を与えるための超磁歪アクチュエータを取り付けてもよい。

〔実装例〕
上述の実施形態の技術をＴＶ会議装置に応用した例を説明する。この例の表示部１６には遠隔地点で撮影された人物の上半身が表示される。図１０Ａ〜１０Ｃは、３つの場面における表示部１６の位置・姿勢の変化をそれぞれ２つの時刻ｔの映像を切り出して並べたものである。

図１０Ａは、人物が対面にいる人物に対して問いかけを行う場面である。身を乗り出して強い意志を表しつつ他者へ問いかけを行っているが、そのような前進及び前傾姿勢が、表示部１６の物理運動（運動Ｆ，Ｇ）として表現されている。特許文献１の従来技術では、このような表示部１６の並進運動Ｇは実現できず、結果、このような人物の姿勢変化や行動及びその背後の心的状態が見る者には伝わりにくい。

図１０Ｂは、人物が他者の発話に対して深い頷きを行っている場面である。深い頷きは発話する人物への注意や傾聴、同意を示すサインとして現れており、これらが、表示部１６の前進（運動Ｊ１，Ｊ２）及び頷き方向の回転（運動Ｈ）として表現されている。特許文献１の従来技術では、単にスクリーンの回転角のみによって動作を表現しおり、身体の前後の動きが表現されないため、その効果は限定的であった。それに対して、本実施形態の技術では、単に頭部の回転のみならず身体全体の動きも表示部１６の運動として表現されるため、人物のより深い理解や共感など幅広い感情や態度の表現が可能となった。

図１０Ｃは、或る人物が他者の発言に対して、笑いつつ、身を仰け反った反応を返している場面である。驚きや喜びなどの感情が全身の動きを伴い表現されているが、本実施形態の技術では、表示部１６の合計４自由度の並進回転運動により人物の身体動作をよりリアルに表現することができる（運動Ｋ，Ｌ等）。一方、前の二例と同様に、従来技術では、このような複合的な動作を表現することができない。

〔その他の変形例等〕
本発明は上述の実施の形態に限定されるものではない。例えば、第１軸と第２軸とが垂直でなくてもよいし、第１軸や第２軸が床面と略水平でなくてもよい。また、第４実施形態において位置制御信号生成部４２３や姿勢制御信号生成部４２４で得られた制御信号が映像変形部４３３に入力され、映像変形部４３３での処理に用いられてもよい。また、第４実施形態において、プロジェクタ３４を用いることなく、映像を表示する表示部１６が用いられてもよい。この場合には、映像変形部４３３は不要である。また、平面運動生成部が、第１直線運動生成部と第２直線運動生成部とから構成されるのではなく、単一の機構であってもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の映像変形部の構成をコンピュータによって実現する場合、それが有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

１，２ 映像表示装置
３，４ 映像表示システム

Claims (5)

1. 表示対象となる物体を撮影して得られた入力映像を変形した出力映像を得る映像変形部と、
   前記出力映像を投影する映像投影部と、
   前記出力映像が投影されることで投影映像を映し出すスクリーンである表示部と、
   或る平面に沿って前記表示部を移動させる平面運動生成部と、
   前記平面に沿って前記表示部を回転させる第１回転運動生成部と、
   前記表示部を回転させて前記平面に対して傾斜させる第２回転運動生成部と、
   前記物体に装着されたセンサによって得られた前記物体の位置および姿勢を表すデータから得られる前記物体の回転中心座標の時系列に基づいて、前記平面運動生成部が前記表示部を移動させるための制御信号を得る制御信号生成部と、を有し、
   前記物体の位置および姿勢を表すデータが、前記物体に装着されたセンサのｘ座標の値ｘ、ｙ座標の値ｙ、方位角θ、仰角φ、及び、横転角ρを含み、
   Ｒ，Θ，Φが、事前に設定されたパラメータであり、
   前記回転中心座標のＸ座標の値はＸ＝ｘ＋Ｒ×ｃｏｓ（φ＋Φ）×ｓｉｎ（θ＋Θ）であり、前記回転中心座標のＹ座標の値はＹ＝ｙ−Ｒ×ｃｏｓ（φ＋Φ）×ｃｏｓ（θ＋Θ）であり、
   前記出力映像は、前記映像投影部に対する前記表示部の位置及び姿勢に応じた前記投影映像の歪みを補正するための変形を、前記入力映像に対して行って得られたものである、映像表示システム。
2. 請求項１の映像表示システムであって、
   前記平面は第１軸及び前記第１軸と異なる向きの第２軸を含み、
   前記平面運動生成部は、
   前記第１軸に沿った方向成分を持つ方向に前記表示部を移動させる第１直線運動生成部と、
   前記第２軸に沿った方向成分を持つ方向に前記表示部を移動させる第２直線運動生成部とを含む、映像表示システム。
3. 請求項２の映像表示システムであって、
   前記第１直線運動生成部は、ベース部と、当該ベース部によって移動可能に支持された第１移動部と、を含み、
   前記第２直線運動生成部は、前記第１移動部に移動可能によって支持された第２移動部を含み、
   前記第１回転運動生成部は、回転部を含み、
   前記第２回転運動生成部は、傾斜部を含み、
   （１）前記回転部が前記第２移動部によって回転可能に支持され、前記傾斜部が前記回転部によって傾斜可能に支持され、かつ、前記表示部が前記傾斜部によって支持されているか、又は、（２）前記傾斜部が前記第２移動部によって傾斜可能に支持され、前記回転部が前記傾斜部によって回転可能に支持され、かつ、前記表示部が前記回転部によって支持されている、映像表示システム。
4. 請求項１から３の何れかの映像表示システムであって、
   前記入力映像は、前記スクリーン上の２次元座標系であるスクリーン座標系の映像に対応し、
   前記出力映像は、前記映像投影部の投影方向の中心軸に略直交し、かつ、前記映像投影部の投影方向の中心軸に対する位置が固定された映像平面上の２次元座標系である映像座標系の映像に対応する、
   映像表示システム。
5. 請求項４の映像表示システムであって、
   α^Ｔがαの転置であり、前記スクリーン座標系の座標が［ｗ_ｑ，ｈ_ｑ］^Ｔであり、前記第１及び２軸を基準とした３次元座標系であるアクチュエータ座標系の座標が［ｘ_ＰＴＵ，ｙ_ＰＴＵ，ｚ_ＰＴＵ］^Ｔであり、前記映像投影部を基準とした前記映像平面上の位置の３次元座標を表す映像投影部座標系の座標が［ｘ_ｐｒｏｊ，ｙ_ｐｒｏｊ，ｚ_ｐｒｏｊ］^Ｔであり、前記映像座標系の座標が［ｘ_ｉｍｇ，ｙ_ｉｍｇ］^Ｔであり、前記第１軸と前記第２軸とが略直交し、Ｒ_θが前記第１軸および第２軸を含む平面に略直行する軸を中心とした回転角θの回転を表す３×３の回転行列であり、Ｒ_φが前記第１軸を中心とした回転角φの回転を表す３×３の回転行列であり、Δｘ，Δｙ，Δｚが定数であり、Δｘ_PTUが前記第１軸に沿った方向の前記表示部の移動量であり、Δｙ_PTUが前記第２軸に沿った方向の前記表示部の移動量であり、
   ［ｘ_ＰＴＵ，ｙ_ＰＴＵ，ｚ_ＰＴＵ］^Ｔ＝Ｒ_θ・Ｒ_φ・［ｗ_ｑ＋Δｘ＋Δｘ_PTU，Δｙ＋Δｙ_PTU，ｈ_ｑ＋Δｚ］^Ｔ
   であり、ｒ_ｉ，ｊは回転を表す定数であり、ｉ＝１，２，３であり、ｊ＝１，２，３であり、ｔ_Ｘ，ｔ_Ｙ，ｔ_Ｚは並進を表す定数であり、
   

   

   
   であり、ｆが定数であり、
   ［ｘ_ｉｍｇ，ｙ_ｉｍｇ］^Ｔ＝（ｆ／ｚ_ｐｒｏｊ）［ｘ_ｐｒｏｊ，ｙ_ｐｒｏｊ］^Ｔ
   である、映像表示システム。

Images