JP3899241B2

JP3899241B2 - 画像表示システム、画像表示方法、プログラムおよび記録媒体

Info

Publication number: JP3899241B2
Application number: JP2001178007A
Authority: JP
Inventors: 通広大野; 宏之赤木
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2001-06-13
Filing date: 2001-06-13
Publication date: 2007-03-28
Anticipated expiration: 2021-06-13
Also published as: JP2002366271A

Description

【０００１】
【発明の属する技術分野】
この発明は画像表示システム、画像表示方法、プログラムおよび記録媒体に関し、特に、複数の視点から見た画像を切換えて表示するような画像表示システム、画像表示方法、プログラムおよび記録媒体に関する。
【０００２】
【従来の技術】
近年、仮想現実感（Virtual Reality）に関する研究が進められている。「画像環境実現のための基盤技術」（テレビジョン学会誌Vol.４８，No.８，pp.９６０〜９６５（１９８４））では、ＨＭＤ（Head Mounted Display）を用いた技術が開示されている。ＨＭＤは眼鏡型の装置で眼球の直前にディスプレイを設置することにより、広範囲の視野角の三次元仮想映像を表示することができ、使用者に対して仮想の映像世界の中にいるような感覚を与えることができる。ＨＭＤと磁気センサを組合せることにより、使用者の頭部分の動きに応じて映像を変化させることができる。たとえば、使用者が右の方向を向くとディスプレイに表示される映像も右方向に回転する。
【０００３】
パーソナルコンピュータのディスプレイ上で３６０°の視野角の映像を楽しむためのシステムも存在する。たとえばマウスなどによる簡単操作で全周囲のパノラマ映像を体験できる各種ソフトウェアが提供されている。これらのソフトウェア中にはディスプレイに表示される三次元形状の物体を、視点を変えてさまざまな角度から見ることのできるような機能を提供するものがある。
【０００４】
一方、近年、コンピュータを操作するためのインターフェイスとして擬人化エージェントと呼ばれるコンピュータグラフィックス処理による人や動物の形をした仮想のキャラクタを用いる研究開発も盛んに行なわれている。音声認識技術を利用すれば、使用者はエージェントと対話することにより、コンピュータの操作を行なうことができるので、専門知識がなくてもコンピュータ操作が可能となり、コンピュータと使用者とのマンマシンインターフェイスとして注目されている。
【０００５】
このような背景のもとに、より自然で扱いやすいインターフェイスを実現するために、「ビジョンを備えた表情インターフェイスとのインタラクション」（情処研究報告，コンピュータビジョンとイメージメディア，pp.３９−４６（１９９６））による画像認識の技術が提供されている。この技術では操作者の顔の向きや、視線の方向を認識することにより、エージェントの顔の向きや視線を、常に操作者の方を向くように動かすことで、操作者とエージェントとの対話がより自然に感覚できることが実証されるとの報告がされている。また、この技術では、複数の操作者がいる場合には、各操作者の顔の位置を認識することによりエージェントの顔や視線をコミュニケーションの対象となっている操作者に対して向けることができる旨報告されている。
【０００６】
【発明が解決しようとする課題】
上述したＨＭＤを用いたVirtual Reality体験は頭部に装置を装着することの煩わしさや、ＨＭＤと映像制御装置をケーブルを介して接続する必要があるため、操作の自由度が限定される。
【０００７】
一方、パーソナルコンピュータによるVirtual Reality体験用ソフトウェアを用いた場合は、ＨＭＤのような専用のデバイスを使用せずとも、パノラマ映像や三次元物体を複数の視点から簡単に閲覧できる利点がある。しかしながら、実際の視点の変化を、マウスやキーボードを手動操作することで置き換えているので、操作者は直接的な操作感が得られない。
【０００８】
それゆえにこの発明の目的は、複数視点から見た画像のうち操作者の視点に対応の画像を表示する際の使用性に優れる画像表示システム、画像表示方法、プログラムおよび記録媒体を提供することである。
【０００９】
【課題を解決するための手段】
この発明のある局面に係る画像表示システムは、操作者に対し画像を表示する画像表示システムであって、表示部と、操作者の視点の移動量と移動方向を検出する視点検出手段と、複数視点から見た画像のうちから、視点検出手段により検出された視点の移動方向と移動量に対応した画像を特定して表示部に表示するための画像表示手段と、画像表示手段により表示される画像とともに、擬人化されたエージェントを、視点検出手段により検出された操作者の視点の移動方向を注目するように表示部に表示するエージェント表示手段とを備える。
【００１０】
したがって、表示部には、操作者の視点の移動方向と移動量に対応した画像が切替表示されるとともに、操作者の視点の移動方向を注目するように擬人化されたエージェントが表示される。
【００１１】
それゆえに、操作者は自己の視点の動きに追従して画像が切替表示されるので映像の変化をより直接的な操作感を有して明確に確認できると同時に、エージェントとのコミュニケーション感覚も強く感じることができるので、複数視点から見た画像のうち操作者の視点に対応の画像を表示する際の使用性に優れる。
【００１２】
上述の画像表示システムは、画像表示手段により表示される画像と該画像とともにエージェント表示手段により表示されるエージェントの注目方向とに基づいて、エージェントが発する台詞を決定する台詞決定手段と、台詞決定手段により決定された台詞を出力する台詞出力手段とをさらに備えて構成されてもよい。
【００１３】
したがって、画像表示時には、表示されているエージェントの注目方向と表示されている画像とに基づいて決定されたエージェントが発する台詞が出力される。
【００１４】
それゆえに、操作者は台詞を介してエージェントとのより強いコミュニケーション感覚を楽しむことができる。
【００１５】
上述の画像表示システムでは、台詞決定手段により決定された台詞により、画像表示手段により表示される画像の内容が示されるようにしてもよい。
【００１６】
したがって、画像表示時にエージェントが発するように出力される台詞により、そのとき表示されている画像の内容が示される。
【００１７】
それゆえに、操作者は、表示される画像の内容に関する知識を、出力される台詞を介して得ることができる。
【００１８】
上述の画像表示システムでは、視点検出手段は、操作者の顔について基準位置からの移動量と移動方向を検出する顔移動検出手段を有して、顔移動検出手段により検出された顔の移動方向と、基準位置に対して点対称となる方向は操作者の視点の移動方向とされて、顔移動検出手段により検出された顔の移動量に応じて操作者の視点の移動量が決定される。
【００１９】
したがって、操作者の視点の移動方向と移動量は、簡単に検出することができる。
【００２０】
上述の画像表示システムは、操作者と表示部との距離を検出する距離検出手段をさらに備えて、距離検出手段により検出された距離に応じて表示部に表示される画像とエージェントの倍率が変化するように構成されてもよい。
【００２１】
したがって、操作者と表示部との距離に応じて画面やエージェントが拡大または縮小表示されるから、操作者は表示される画像に対する現実感を強く認識できる。
【００２２】
この発明の他の局面に係る画像表示方法は、操作者に対し画像を表示する画像表示方法であって、操作者の視点の移動量と移動方向を検出する視点検出ステップと、複数視点から見た画像のうちから、視点検出ステップにより検出された視点の移動方向と移動量に対応した画像を特定して表示するための画像表示ステップと、画像表示ステップにより表示される画像とともに、擬人化されたエージェントを、視点検出ステップにより検出された操作者の視点の移動方向を注目するように表示するエージェント表示ステップとを備えて構成される。
【００２３】
したがって、操作者の視点の移動方向と移動量に対応した画像が切替表示されるとともに、操作者の視点の移動方向を注目するように擬人化されたエージェントも表示される。
【００２４】
それゆえに、操作者は自己の視点の動きに追従して画像が切替表示されるので映像の変化を直接的な操作感を有してより明確に確認できると同時に、エージェントとのコミュニケーション感覚も強く感じることができるから、複数視点から見た画像のうち操作者の視点に対応の画像を表示する際の使用性に優れる。
【００２５】
この発明のさらなる他の局面に係る画像表示プログラムは、上述の画像表示方法をコンピュータに実行させるためのプログラムである。
【００２６】
この発明のさらなる他の局面に係る記録媒体は、上述の画像表示方法をコンピュータに実行させるためのプログラムが記録された機械読取可能な記録媒体である。
【００２７】
【発明の実施の形態】
以下この発明の各実施の形態について図面を参照し詳細に説明する。
【００２８】
なお、本実施の形態では、エージェントは、ソフトウェアモジュールにより実現されて、コンピュータが提供する環境において人間に代わって知的な作業を実行するためのマンマシンインターフェィス機能を有する。本実施の形態では、エージェントは、コンピュータグラフィックス処理により目や口など人や動物の外観を有した擬人化エージェントとしてユーザに提示される。ユーザは擬人化エージェントを介してコンピュータと対話しながらコンピュータを操作することができる。
【００２９】
（実施の形態１）
図１は、この発明の実施の形態１に係る画像表示システムの機能ブロック構成図である。図２は、図１の画像表示システムが塔載されるコンピュータ１１の外観図である。図１と図２において画像表示システムは、ＣＣＤ（電荷結合素子）カメラからなりコンピュータ１１において操作者の顔を撮像可能なように取付られる撮像装置１、コンピュータ１１に内蔵されたメモリであるフレームメモリ２、視点検出部３、映像制御部４、表示制御部５、ディスプレイ６、エージェント制御部７、発声条件判定部８、音声制御部９、およびスピーカ１０を備える。図２では、ディスプレイ６およびスピーカ１０のそれぞれは、コンピュータ１１に内蔵されているが、コンピュータ１１本体に接続されるようにしてもよい。
【００３０】
視点検出部３、映像制御部４、表示制御部５、エージェント制御部７、発声条件判定部８および音声制御部９はコンピュータ１１の図示されないメモリに予めインストールされたソフトウェアによって実現される。
【００３１】
図３（Ａ）および（Ｂ）は、ディスプレイ６の表示画面例を示す図である。図３（Ａ）は操作者がディスプレイ６の中心に視点を置いている場合の表示画面例であり、表示内容は自然風景であり、画面中央上部の顔は擬人化エージェント（以下、単にエージェントと呼ぶ）ＡＪである。図３（Ｂ）は操作者が中心にあった視点を右方向に移動させた場合の表示画面例である。中心にあった視点を右方向に移動させた場合は、図示されるようにディスプレイ６に表示される風景は、全体的に左方向にスクロールしている。同時に、ディスプレイ６に表示されているエージェントＡＪの顔は右方向を向く。操作者はエージェントＡＪを自身の鏡像と解釈することにより、視点の移動方向と映像の回転方向の関係を容易に認識することができる。また、エージェントＡＪが操作者と同じ動作を行なうことによって、操作者はエージェントとの一体感を感覚できる。
【００３２】
次に、本実施の形態における操作者の視点の検出方法の一例について説明する。本実施の形態では、ＣＣＤカメラなどからなる撮像装置１を用いてコンピュータ１１において画像表示システムを操作する操作者の顔画像が撮影されて、撮影により得られた画像データに基づく画像認識処理を利用して操作者の視点が検出される。本実施の形態では、画像データから顔の位置を特定し顔の位置の変化を操作者の視点の変化と解釈することにより、解像度の低い画像であっても、容易に視点の方向を検出することができる。
【００３３】
図４は、本実施の形態による操作者の顔の位置とディスプレイ６に表示される映像の関係を上部から眺めた図である。図中の破線はディスプレイ６の表示可能領域であるディスプレイ表示面６１に表示される映像を仮想的に示している。以下、これを仮想映像という。操作者とディスプレイ表示面６１の中心を通る矢印実線の方向は、操作者の視点方向を示し、該矢印実線と仮想映像の交差する点は、仮想映像における操作者の視点を示す。仮想映像中の視点が、ディスプレイ表示面６１の中心に投影されて表示される。したがって、操作者の顔がディスプレイ表示面６１の中心正面にある場合には、仮想映像中の点Ａから点Ｂの範囲が投影されて表示され、操作者の顔が左方向に移動して視点が移動したときには点Ｃから点Ｄの範囲が投影されて表示される。
【００３４】
仮想映像が、視点の分解能と同数の画像の集合で構成されている場合には、各視点に対応する画像がディスプレイ６に表示される。仮想映像が、三次元座標を持つ１枚の球面画像で構成される場合には、各視点を中心とする部分領域がディスプレイ６に表示される。
【００３５】
図４に示されるように操作者が顔を左方向に動かすと、視点は仮想映像上を右方向に回転する。言い換えると、ディスプレイ表示面６１の中心を基準位置とすれば顔の移動方向と点対称となる方向に視点が回転する。
【００３６】
仮想映像中の点Ｐは、顔がディスプレイ表示面６１の中心正面にあるときには、点Ｐ０に投影されていて、顔が左方向に移動したときには、点Ｐ１に投影される。言い換えると、図３（Ａ）と（Ｂ）のように、表示される仮想映像上の物体は左方向にスクロールするように移動する。
【００３７】
以上の視点検出方法を採用した場合、操作者は右方向の映像を見る場合にはディスプレイ表示面６１の中心を注目した状態で右方向を覗き込むような感覚で左方向に顔全体を動かせばよい。逆に、左方向の映像を見る場合には、右方向に顔全体を移動させればよい。また上方向を見る場合には、上から覗き込むような感覚で顔全体を下方向に移動させればよい。
【００３８】
顔の位置検出に関しては、撮像して得られた画像データ中から輝度変化の大きい部分画像を検出し、さらにその形状を解析することによって目、鼻、口などの形状や位置関係から、顔の形状らしき画像領域を検出することにより実現できる。さらに簡易な手法を用いることもできる。たとえば撮像して得られた画像データ中には操作者の顔以外には肌色の領域が存在しないと仮定すれば、撮像して得られた画像データにおける色情報を利用することにより、肌色の画像領域を検出して、顔の位置検出を実現できる。検出された顔の位置によって視点を特定する手法は、眼球の向きの認識と比較して処理が簡易であると同時に、操作者が常にディスプレイ表示面６１の中心から視点をずらさずに、表示映像全体を見渡すことができるという利点もある。
【００３９】
以上の視点検出処理に関し図１を参照し説明する。撮像装置１により撮像されて入力された操作者の顔を中心とした連続フレームによる画像データは、フレーム単位でフレームメモリ２に順次記憶される。視点検出部３はフレームメモリ２から１枚ずつフレーム画像を記憶された順に読出し、読出された画像データの色情報に基づいて肌色領域を検出する。さらに、各フレームにおける肌色領域の位置を比較することによって、操作者の顔の移動方向と移動量を計算する。図４で示したように、顔の移動方向と移動量に基づき視点の移動方向と移動量が求められる。映像制御部４では、視点検出部３により求められた視点の移動方向に対応の向きに表示させる仮想映像を回転させる。回転角に関しては、求められた視点の移動量に正比例するものとする。視点の移動に従い回転した映像は、表示制御部５の図示されないディスプレイドライバを介し、ディスプレイ６において表示される。
【００４０】
本実施の形態では、操作者の視点の移動に伴って仮想映像を回転処理させると同時に、仮想映像とともに表示させるエージェントＡＪの向きも変化させる。図３（Ａ）のようにエージェントＡＪが正面（操作者の方向）を向いた状態で表示されている場合には、図４に示されるように、仮想映像の回転方向とエージェントＡＪの回転方向は逆方向になる。エージェントＡＪがディスプレイ表示面６１上では操作者に対して背を向けた状態で表示されている場合には、仮想映像の回転方向とエージェントＡＪの回転方向は一致する。これにより、エージェントＡＪは、検出された操作者の視点方向（または移動後の方向）を注目するように表示される。
【００４１】
操作者の視点の移動方向と移動量が視点検出部３によって検出されると、エージェント制御部７は、検出された操作者の視点の移動方向と移動量に基づき、エージェントＡＪの回転方向と回転角を求め、エージェントＡＪの向きや視線の方向を決定する。
【００４２】
本実施の形態では、エージェントＡＪは操作者の視点の移動に応じてその向きや視線を変化させると同時に、回転処理される仮想映像で示される内容に応じた台詞を発する機能を有する。たとえば、仮想映像の回転処理によってディスプレイ表示面６１に新たに表示された仮想映像における物体の説明を音声で行なったり、高い所から下を見下ろすような仮想映像が表示された場合には、「下を見ると怖いよ。」と発声することなどが考えられる。このように、エージェントＡＪが表示される映像で示される状況に応じた台詞を発することにより、操作者は映像に関する知識を深めることができたり、コミュニケーションの楽しみを感覚することができる。
【００４３】
なお、台詞を発声するか否かの条件は、仮想映像による表示内容とエージェントＡＪの表示状態を基準として、予め設定されているものとする。具体的には、エージェントＡＪの向きや方向と、その時に表示されている仮想映像と、発する台詞の内容との対応付けに関する台詞対応付け情報は、図示されないが発生条件判定部８に予め格納されているので、映像制御部４にてその時に表示されている仮想映像とエージェント制御部７にてエージェントＡＪの向きや方向のデータが特定されたなら、発生条件判定部８は特定されたデータに基づいて予め格納された台詞対応付け情報を検索することにより、発する台詞を特定することができる。発生条件判定部８により特定された台詞は、音声制御部９の図示されないサウンドドライバを通してスピーカ１０から音声で出力される。
【００４４】
本実施の形態では、台詞はスピーカ１０により音声出力されるとしているが、これに限定されるものではなく、音声出力と同時、もしくは音声出力は行なわずに、エージェントＡＪの口から吹出しの枠内で文字にて表示されるとしてもよい。
【００４５】
図５は、この発明の実施の形態に係る画像表示処理のフローチャートである。図５を参照して画像表示システムの動作を説明する。
【００４６】
まず、システムが起動されて、撮像装置１にて操作者が撮像されて顔画像データに基づき顔が移動した否か、言換えると操作者の視点が移動したか否かが視点検出部３にて検出される（ステップ４０２〜４０３）。
【００４７】
視点移動が検出されない間はステップ４０２〜４０３の処理が繰返されるが、視点移動が検出されると、検出された移動量と移動方向に基づいて映像制御部４は表示される仮想映像を回転させるとともに、エージェント制御部７はエージェントＡＪを回転させて、その向きを変更する（ステップ４０４と４０５）。
【００４８】
この時、発生条件判定部８により上述したようにエージェントＡＪが台詞を発する方向を向いていると特定された場合には、対応する台詞がスピーカ１０から出力されるが（ステップ４０７）、台詞を発する方向を向いていると特定されない場合には、後述のステップ４０８の処理に移行する。
【００４９】
その後、終了命令が発せられると一連の処理は終了するが、発せられない限りはステップ４０２〜４０８による処理が繰返し実行される。
【００５０】
なお、終了命令は視線が表示画面外に移動したことや、操作者の顔が検出されなくなったこと応じて発せられるようにしてよい。または、操作者がキーボードの特定キーを押下したとき、マウスにより指示したときに発せられるようにしてもよい。
【００５１】
以上、操作者の顔の位置によって、視点を検出する手法を利用した説明をしているが、視点は、眼球の向きや顔の向きを利用して検出するようにしてもよい。眼球の向きから視点の特定する手法としてよく用いられるものは、顔画像中から目の部分を検出し、さらに黒目の中心の目領域全体の中心からのずれを検出する手法である。しかしながら、この手法は目の形状を詳細に検出する必要があるため、顔の位置による判定と比較すれば、高解像度の撮像画像データが要求される。また、解像度の高さと比例して処理量も増加し、より複雑な認識アルゴリズムが要求される。
【００５２】
眼球の向きや顔の向きによって正確に操作者の視点方向を検出することにより、操作者が注目している仮想映像上の位置を正確に判定することが可能となる。視点がディスプレイ表示面６１の中心付近に位置するときは、仮想映像の回転処理はなされず、ディスプレイ表示面６１の端に位置した場合にのみ、仮想映像が回転処理されるようにしてもよい。また、仮想映像の回転処理が実行されない場合にも、エージェントＡＪの向きは操作者が注目している方向を向くようにしてもよい。
【００５３】
エージェントＡＪが仮想映像中の特定の位置に注目した場合に、予め定められた位置に付随する情報を発声するとしてもよい。たとえば、操作者が映像中の特定の建物に注目した場合には、その建物に関する情報を発声により出力する。
【００５４】
表示される仮想映像とエージェントＡＪは、操作者の視点の移動に応じて回転するだけでなく、拡大・縮小表示されるとしてもよい。操作者がディスプレイ表示面６１に対して顔を近付けたときには、拡大表示され、逆に遠ざけた場合には縮小表示される。操作者とディスプレイ表示面６１の距離の検出に関しては、本実施の形態のように肌色領域の検出を行なえば、領域の面積が増加した場合には操作者とディスプレイ表示面６１の距離が近くなったと判定し、逆に面積が減少した場合には距離が遠くなったと判定することができる。
【００５５】
本実施の形態では、ＣＣＤカメラなどの撮像装置１を用いて、操作者の顔の位置検出を行ない視点検出しているが、用いられる装置はこれに限定されない。たとえば、赤外線センサで操作者の頭部の位置を検出して視点検出するようにしてもよいし、光学センサを用いて操作者の眼球の向きを検出して視点に位置を検出する方法などを用いてもよい。
【００５６】
このように操作者の視点と仮想映像とエージェントＡＪとの動きを同期させることによって、操作者に対して、操作結果をより明確に呈示することと、エージェントＡＪとのコミュニケーション感覚を強化できる。したがって、ディスプレイ表示面６１と操作者の視点方向との位置関係を検出する機能を備えてさえいれば、本実施の形態のように、ディスプレイ６、撮像装置１、操作者の位置が空間上で固定されていなくてもよい。たとえば、ディスプレイ６にＨＭＤを適用して、視点方向の検出に磁気センサを用いたり、全周囲型ディスプレイの空間内で操作者が自由に動く状況においても、本実施の形態を適用することにより同様の効果を得ることができる。
【００５７】
（実施の形態２）
以上説明した処理機能を有した画像表示システムは、プログラムで実現される。本実施の形態では、このプログラムはコンピュータで読取可能な記録媒体に格納される。
【００５８】
図６は、実施の形態１に示された画像表示システムが搭載されるコンピュータのブロック構成図であり、図２のコンピュータ１１に対応の構成を示す。
【００５９】
図６を参照してコンピュータ１１は、撮像装置１、スピーカ１０、ディスプレイ６に対応のモニタ１１０、キーボード１５０、該コンピュータ１１自体を集中的に制御するためのＣＰＵ（中央処理装置の略）１２２、ＲＯＭ（Read Only Memory）またはＲＡＭ（ランダムアクセスメモリの略）を含んで構成されてフレームメモリ２の機能を有するメモリ１２４、固定ディスク１２６、ＦＤ（フレキシブルディスク）１３２が着脱自在に装着されて、装着されたＦＤ１３２をアクセスするＦＤ駆動装置１３０、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）１４２が着脱自在に装着されて、装着されたＣＤ−ＲＯＭ１４２をアクセスするＣＤ−ＲＯＭ駆動装置１４０、通信ネットワーク１８２と、該コンピュータ１１とを通信接続するための通信インターフェィス１８０を含む。これらの各部はバスを介して接続される。
【００６０】
コンピュータ１１には、カセット形式の磁気テープが着脱自在に装着されて磁気テープをアクセスする磁気テープ装置が設けられても良い。
【００６１】
本実施の形態では、上述したプログラムを記録するための記録媒体として、図６に示されているコンピュータ１１で処理が行なわれるために必要なメモリ、たとえばＲＯＭのようなそのものがプログラムメディアであってもよいし、また外部記憶装置として磁気テープ装置およびＣＤ−ＲＯＭ装置１４０などのプログラム読取装置が設けられ、そこに記録媒体である磁気テープまたはＣＤ−ＲＯＭ１４２が挿入されることで読取可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはＣＰＵ１２２がアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムが一旦読出されて、読出されたプログラムは、図６の所定のプログラム記憶エリア、たとえばＲＡＭのプログラム記憶エリアにロードされて、ＣＰＵ１２２により読出されて実行される方式であってもよい。このロード用のプログラムは、予め当該情報処理装置に格納されているものとする。
【００６２】
ここで、上述したプログラムメディアはコンピュータ１１本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープなどのテープ系、ＦＤ１３２や固定ディスク１２６などの磁気ディスクやＣＤ−ＲＯＭ１４２／ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）などの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カードなどのカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable and Programmable ＲＯＭ）、ＥＥＰＲＯＭ(Electrically ＥＰＲＯＭ)、フラッシュＲＯＭなどによる半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００６３】
また、本実施の形態においては、コンピュータ１１はインターネットを含む通信ネットワーク１８２と通信接続可能な構成が採用されているから、通信ネットワーク１８２からプログラムがダウンロードされるような流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワーク１８２からプログラムがダウンロードされる場合には、ダウンロード用プログラムは予めコンピュータ１１本体に格納しておくか、あるいは別の記録媒体から予めコンピュータ１１本体にインストールされるものであってもよい。
【００６４】
なお記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００６５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】この発明の実施の形態１に係る画像表示システムの機能ブロック構成図である。
【図２】図１の画像表示システムが塔載されるコンピュータの外観図である。
【図３】（Ａ）および（Ｂ）は、ディスプレイの表示画面例を示す図である。
【図４】本実施の形態による操作者の顔の位置とディスプレイに表示される映像の関係を上部から眺めた図である。
【図５】この発明の実施の形態に係る画像表示処理のフローチャートである。
【図６】実施の形態１に示された画像表示システムが搭載されるコンピュータのブロック構成図である。
【符号の説明】
１撮像装置、２フレームメモリ、３視点検出部、４映像制御部、５表示制御部、６ディスプレイ、７エージェント制御部、８発声条件判定部、９音声制御部、１０スピーカ、１１コンピュータ。

Claims

操作者に対し画像を表示する画像表示システムであって、
表示部と、
前記操作者の視点の移動量と移動方向を検出する視点検出手段と、
複数の前記視点から見た画像のうちから、前記視点検出手段により検出された前記視点の移動方向と移動量に対応した画像を特定して表示中の画像に切替えて前記表示部に表示する画像表示手段と、
前記画像表示手段により表示される画像とともに、擬人化エージェントを前記表示部に表示するエージェント表示手段とを備え、
前記エージェント表示手段は、前記擬人化エージェントが前記視点検出手段により検出された前記操作者の視点の移動方向を注目するように、前記擬人化エージェントの向きを変更して表示し、
前記画像表示手段による前記画像の切替表示は、前記視点検出手段により検出された前記視点の移動方向と移動量が、当該視点が前記表示部の表示面の端に移動したことを示すときにのみ行なわれる、画像表示システム。
前記視点検出手段により検出された前記視点の移動方向と移動量が、当該視点が前記表示面の外に移動したことを示すときは、前記画像表示手段による前記画像の切替表示および前記エージェント表示手段による前記擬人化エージェントの向き変更表示を終了する、請求項１に記載の画像表示システム。
操作者に対し画像を表示する画像表示システムであって、
表示部と、
前記操作者の視点の移動量と移動方向を検出する視点検出手段と、
複数の前記視点から見た画像のうちから、前記視点検出手段により検出された前記視点の移動方向と移動量に対応した画像を特定して表示中の画像に切替えて前記表示部に表示する画像表示手段と、
前記画像表示手段により表示される画像とともに、擬人化エージェントを前記表示部に表示するエージェント表示手段とを備え、
前記エージェント表示手段は、前記擬人化エージェントが前記視点検出手段により検出された前記操作者の視点の移動方向を注目するように、前記擬人化エージェントの向きを変更して表示し、
前記視点検出手段により検出された前記視点の移動方向と移動量が、当該視点が前記表示部の表示面の外に移動したことを示すときは、前記画像表示手段による前記画像の切替表示および前記エージェント表示手段による前記擬人化エージェントの向き変更表示を終了する、画像表示システム。
前記画像表示手段により表示される画像と該画像とともに前記エージェント表示手段により表示される前記擬人化エージェントの注目する方向とに基づいて、前記擬人化エージェントが発する台詞を決定する台詞決定手段と、
前記台詞決定手段により決定された前記台詞を出力する台詞出力手段とをさらに備える、請求項１から３のいずれかに記載の画像表示システム。
前記台詞決定手段により決定された前記台詞により、前記画像表示手段により表示される画像の内容が示されることを特徴とする、請求項４に記載の画像表示システム。
前記視点検出手段は、
前記操作者の顔について基準位置からの移動量と移動方向を検出する顔移動検出手段を有して、
前記顔移動検出手段により検出された前記顔の移動方向と、前記基準位置に対して点対称となる方向は前記操作者の視点の移動方向とされて、前記顔移動検出手段により検出された前記顔の移動量に応じて前記操作者の視点の移動量が決定されることを特徴とする、請求項１から５のいずれかに記載の画像表示システム。
前記操作者と前記表示部との距離を検出する距離検出手段をさらに備えて、
前記距離検出手段により検出された前記距離に応じて前記表示部に表示される前記画像と前記擬人化エージェントの倍率が変化することを特徴とする、請求項１から６のいずれかに記載の画像表示システム。
操作者に対し表示部において画像を表示する画像表示方法であって、
前記操作者の視点の移動量と移動方向を検出する視点検出ステップと、
複数の前記視点から見た画像のうちから、前記視点検出ステップにより検出された前記視点の移動方向と移動量に対応した画像を特定して表示中の画像に切替えて前記表示部に表示する画像表示ステップと、
前記画像表示ステップにより表示される画像とともに、擬人化エージェントを前記表示部に表示するエージェント表示ステップとを備え、
前記エージェント表示ステップでは、前記擬人化エージェントが前記視点検出ステップにより検出された前記操作者の視点の移動方向を注目するように、前記擬人化エージェントの向きを変更して表示し、
前記画像表示ステップによる前記画像の切替表示は、前記視点検出手段により検出された前記視点の移動方向と移動量が、当該視点が前記表示部の表示面の端に移動したことを示すときにのみ行なわれる、画像表示方法。
前記視点検出ステップにより検出された前記視点の移動方向と移動量が、当該視点が前記表示面の外に移動したことを示すときは、前記画像表示ステップによる前記画像の切替表示および前記エージェント表示ステップによる前記擬人化エージェントの向き変更表示を終了する、請求項８に記載の画像表示方法。
操作者に対し表示部において画像を表示する画像表示方法であって、
前記操作者の視点の移動量と移動方向を検出する視点検出ステップと、
複数の前記視点から見た画像のうちから、前記視点検出ステップにより検出された前記視点の移動方向と移動量に対応した画像を特定して表示中の画像に切替えて前記表示部に表示する画像表示ステップと、
前記画像表示ステップにより表示される画像とともに、擬人化エージェントを前記表示部に表示するエージェント表示ステップとを備え、
前記エージェント表示ステップでは、前記擬人化エージェントが前記視点検出ステップにより検出された前記操作者の視点の移動方向を注目するように、前記擬人化エージェントの向きを変更して表示し、
前記視点検出ステップにより検出された前記視点の移動方向と移動量が、当該視点が前記表示部の表示面の外に移動したことを示すときは、前記画像表示ステップによる前記画像の切替表示および前記エージェント表示ステップによる前記擬人化エージェントの向き変更表示を終了する、画像表示方法。
請求項８に記載の画像表示方法をコンピュータに実行させるためのプログラム。
請求項９に記載の画像表示方法をコンピュータに実行させるためのプログラム。
請求項８に記載の画像表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
請求項９に記載の画像表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
請求項１０に記載の画像表示方法をコンピュータに実行させるためのプログラム。
請求項１０に記載の画像表示方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。