JP4364861B2 - 情報表示装置 - Google Patents

情報表示装置 Download PDF

Info

Publication number
JP4364861B2
JP4364861B2 JP2005318360A JP2005318360A JP4364861B2 JP 4364861 B2 JP4364861 B2 JP 4364861B2 JP 2005318360 A JP2005318360 A JP 2005318360A JP 2005318360 A JP2005318360 A JP 2005318360A JP 4364861 B2 JP4364861 B2 JP 4364861B2
Authority
JP
Japan
Prior art keywords
frame
display device
viewpoint position
user
changing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005318360A
Other languages
English (en)
Other versions
JP2007128158A (ja
Inventor
淳平 伊藤
裕樹 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority to JP2005318360A priority Critical patent/JP4364861B2/ja
Priority to US11/590,667 priority patent/US7982753B2/en
Publication of JP2007128158A publication Critical patent/JP2007128158A/ja
Application granted granted Critical
Publication of JP4364861B2 publication Critical patent/JP4364861B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、家庭用ゲーム機や、パーソナルコンピュータ等を含む、情報表示装置に関する。
近年のゲームなどでは、3次元の仮想的空間(仮想空間)を設定し、この仮想空間内でプレイヤの位置や視線方向を変化させ、仮想空間内のオブジェクト(敵キャラクタや、ゲームアイテム等)の表示制御をすることが行なわれている。
例えば、従来、十字キーを操作して、左ボタンを押下している間は視線方向を左方向へ回転させ、上ボタンを押下している間、視線方向に向かって移動することでこの仮想空間内の移動を実現する例がある。
しかしながら、このように十字キーなどによる仮想空間内の移動/視線方向操作では、前後移動や上下移動、回転移動を個別に指定して制御することとなり、操作の初心者に対しては、直感的な操作が行い得ないという問題点がある。
本発明は上記実情に鑑みて為されたもので、仮想空間内の移動/視線方向操作などにおいて、直感的な操作を可能とした情報表示装置を提供することを、その目的の一つとする。
上記従来例の問題点を解決するための本発明は、情報表示装置であって、ユーザに対して情報を提示する表示装置に接続され、前記表示装置の表示可能領域内に、フレームを表示するとともに、当該フレーム内に、設定された視点位置、及び設定された視野範囲にある仮想空間内のオブジェクトを表示する手段と、前記フレームに対する操作として、少なくとも前記フレームを移動ないし拡大縮小する操作を受け入れる手段と、前記受け入れたフレームに対する操作に基づいて、前記視点位置ないし視野範囲を制御して、仮想空間内のオブジェクトの表示内容を更新する手段と、を含むことを特徴としている。このようにフレームに対する操作によって、仮想空間内の移動/視線方向操作を行なうことができ、直感的な操作が可能となる。
ここで、前記オブジェクトの表示内容を更新する手段は、前記受け入れた操作によるフレームの拡大縮小率に基づいて、視点位置の移動距離ないし視野範囲の縮小拡大率を算出し、当該算出した移動距離ないし拡大縮小率に応じて前記視点位置ないし視野範囲を制御して、仮想空間内のオブジェクトの表示内容を更新することとしてもよい。
ここで前記表示装置に表示されたフレーム内部に、第2フレームを表示し、当該第2フレームが画定する領域を、ユーザの前記移動ないし拡大縮小操作に応じて変化させることとしてもよい。
この場合において、前記第2フレームに対する操作により、前記仮想空間内のオブジェクトを注目オブジェクトとして選択する手段を含み、前記注目オブジェクトとして選択された仮想空間内のオブジェクトが所定の処理に供されることとしてもよい。
さらに、これらにおいて、ユーザによる所定停止操作に応じて、前記フレーム内の表示内容の更新処理を停止することとしてもよい。
本発明の一態様は、ユーザに対して情報を提示する表示装置に接続される情報表示装置の制御方法であって、前記表示装置の表示可能領域内に、フレームを表示するとともに、当該フレーム内に、設定された視点位置、及び設定された視野範囲にある仮想空間内のオブジェクトを表示する工程と、前記フレームに対する操作として、少なくとも前記フレームを移動ないし拡大縮小する操作を受け入れる工程と、前記受け入れたフレームに対する操作に基づいて、前記視点位置ないし視野範囲を制御して、仮想空間内のオブジェクトの表示内容を更新する工程と、を情報表示装置に実行させることを特徴としている。
また、本発明の別態様は、ユーザに対して情報を提示する表示装置に接続されるコンピュータに実行されるプログラムであって、前記表示装置の表示可能領域内に、フレームを表示するとともに、当該フレーム内に、設定された視点位置、及び設定された視野範囲にある仮想空間内のオブジェクトを表示する手順と、前記フレームに対する操作として、少なくとも前記フレームを移動ないし拡大縮小する操作を受け入れる手順と、前記受け入れたフレームに対する操作に基づいて、前記視点位置ないし視野範囲を制御して、仮想空間内のオブジェクトの表示内容を更新する手順と、をコンピュータに実行させることを特徴としている。
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る情報表示装置は、図1に示すように、撮像部11と、制御部12と、記憶部13と、表示部14と、操作部15とを含んで構成され、ディスプレイや家庭用テレビジョン装置等の表示装置に接続されている。
撮像部11は、CCDカメラ等であり、ユーザを所定のタイミングごとに撮像して静止画像データを得て、この静止画像データを逐次、制御部12に出力する。制御部12は、CPU等であり、記憶部13に格納されているプログラムに従って動作する。この制御部12は、撮像部11が出力している静止画像データ群から、ユーザのジェスチャー動作を識別する処理と、当該識別したジェスチャー動作に対応する指示操作に応じて情報を表示部14に表示する処理とを実行する。この制御部12の具体的な処理の内容については後に詳しく述べる。
記憶部13は、RAMやROM等の記憶素子や、ハードディスク、DVD−ROM等のディスクデバイス等であり、制御部12によって実行されるプログラムを保持している。また、この記憶部13は、制御部12のワークメモリとしても動作する。
表示部14は、ディスプレイコントローラ等であり、制御部12から入力される指示に従って表示画像データを保持し、この表示画像データに基づいて、表示装置であるディスプレイや、家庭用テレビジョン装置に対して映像信号を出力する。操作部15は、ゲームコントローラや、マウス、キーボード等であり、ユーザの指示操作の入力を受けて、制御部12に対して当該指示操作に応じた信号を出力する。
本実施の形態の制御部12は、ユーザの指示操作に従い、画像や、ドキュメント等を表示し、またはゲーム画面を表示する。本実施の形態の制御部12は、表示装置の表示可能領域内に、フレームを表示し、当該フレーム内に表示対象となる仮想空間内のオブジェクトの画像を表示する。フレームの外側には、例えば背景画像として、撮像部11にて撮像された画像データをそのまま表示することとしてもよい。
この制御部12は、機能的には、図2(a)に示すように、指示操作受入部21と、動作識別部22と、表示更新部23とを含んで構成されている。
指示操作受入部21は、撮像部11にて撮像された静止画像データ群を、表示更新部23に出力して、フレームの背景として表示させる。また、この指示操作受入部21は、ユーザの手を検出する。この処理は例えば、撮像部11から逐次入力される各静止画像データについて、予め定められた色の部分を手として認識するようにすればよい。また、連続して入力される静止画像データ同士を比較して、動きのある部分を手として認識してもよい。後者のように動きによって手を認識する場合、ユーザが両手を動かしている場合は、ユーザの左右の手のそれぞれに対応する領域において差分が検出され、手領域が検出される。一方、ユーザが手を動かさないときには、手領域が検出されないこととなる。指示操作受入部21は、こうして検出した手領域を表す情報を動作識別部22と表示更新部23とに出力する。
動作識別部22は、フレームの表示位置と、検出した手領域とを比較し、例えばユーザの両手の手領域の重心がそれぞれフレームの辺から所定基準範囲内に移動すると、ユーザがフレームをつかんだ動作をしたと判断し、フレームの外周縁部(フレームの外側を含む)に、操作案内表示を行う。ここで操作案内表示は、例えばフレームを把持している手の絵柄であってもよい(図3)。また、フレームの輪郭線の色などの表示態様を変更することとしてもよい。図3では、フレーム(F)の外周周縁部に手のアイコン(I)を表示した例を示している。なお、図3において手のアイコンの一部は、フレーム内部に入り込んで表示されても構わない。
さらに動作識別部22は、フレームを把持したと判断した場合には、以下、撮像部11による静止画像データの撮像のごとに検出される手領域の移動方向や面積に基づき、例えば図4に示す設定テーブルを参照して、ユーザの動作を識別する。この図4に示す設定テーブルでは、左手と右手のそれぞれについて、フレームを上下左右の4方向にそれぞれ移動した場合の動作を関連づけてなる。
なお、以下の説明では、ユーザが3次元の仮想空間内の視点位置(座標U(Ux,Uy,Uz)とする)に所在するものとする。またユーザの視点位置Uを中心とした極座標系(r,θ,φ)を定め、r=r0なる球面を仮想的なスクリーンとして、3次元の仮想空間内のオブジェクトを当該スクリーンに投影する。なお、このように仮想的なスクリーンに投影して仮想空間内のオブジェクトをレンダリングする方法は、一般に用いられているものであるので、ここでの詳細な説明を省略する。
制御部12は、また、ユーザの視線方向ベクトルV(Vθ,Vφ)を記憶部12に格納し、視点位置Uを起点として視線方向ベクトルVとスクリーンとが交差する点を中心とするスクリーンの一部、視野範囲S(Δθ,Δφ)を画定し、当該スクリーンに仮想的に投影される像のうち、この視野範囲Sにある画像をフレーム内に表示するものとする(図5)。このため、フレームの上下方向の移動は、フレームをこのφ方向に移動していることとなる。また、フレームの左右方向の移動は、フレームをθ方向に移動していることとなる。
ここでの例では図4に示した設定テーブルによって、左手と右手の両方の手領域が、同じ方向に移動したことを条件として、フレームの移動が行われる。例えば、ユーザの両手の手領域の重心の左右方向(θ方向)の移動量と、上下方向(φ方向)の移動量とのうち、大きい方の移動方向を検出する。そして重心がいずれもフレームの右方向(θの負の方向)に移動していると検出した場合、動作識別部22は、「右移動操作」が行われた旨を出力する。また、ユーザの両手の手領域の重心がフレームの上方(φの正の方向)に移動したと検出した場合は、動作識別部22は「上移動操作」が行われた旨を出力する。
さらに動作識別部22は、両手の手領域の重心がそれぞれ互いに離れる方向へ移動し、かつ、その単位時間の移動量(例えば連続する2つの静止画像データから得られる、対応する重心位置間の距離)が予め定められた移動量しきい値を超えている場合に、操作の終了が指示されたものと判断して、「操作終了」の旨を表す情報を出力してもよい。
表示更新部23は、指示操作受入部21が出力する手領域を表す情報と、動作識別部22が出力する、ユーザの操作内容を表す情報とに基づいて、表示部14に表示させるフレーム表示位置と、フレーム内の画像とを更新する。
表示更新部23は、動作識別部22の出力から上下左右いずれかの「移動操作」が行われているか否かを判断する。そして「移動操作」が行われていれば、指示操作受入部21が出力する、手領域を表す情報によってフレームの表示位置を更新する。例えば表示更新部23は、フレームの中心が左右の手領域の各重心位置の中点となるよう、動作識別部22が出力する移動操作の方向に従ってフレームを移動する。
また表示更新部23は、フレームの表示位置を更新している間に、フレーム内に表示する画像の視野範囲を、フレームの移動方向に従って移動する。例えば表示更新部23は、表示部14が生成する画面の中心位置C0と、フレームFCの中心位置とを比較して、画面の中心位置C0とフレームの中心位置FCとの差が所定のしきい値を越えたときに、画面の中心位置C0からフレームの中心位置FCへ向かう方向へ視野範囲を移動する。
図5に例示した環境下において仮に、当初、フレーム内に「C」の文字が見えている状態にあり、この当初の位置からフレームを右方向に移動する操作が行われたとすると、画面内でフレームが右方向へ移動し、さらにフレーム内に表示する視野範囲が右方向に移動する(図6)。これにより「C」の文字は徐々にフレーム左側へ消えてゆき、フレーム内には右方向から「R」の文字が見えてくるようになる(右方向へパンする)。また、「C」の文字が見えている状態からフレームを上方向に移動する操作が行われると、フレーム内では「C」の文字が下方向へ消えてゆき、「Up」の文字が上方向から見えてくるようになる(上方向(φが増大する方向)へチルトする)。なお、フレーム内の視野範囲の移動量は、フレームの移動量の変数として定められてもよい。例えばフレームの中心位置FCの、画面の中心位置C0からの移動量が大きくなるほど、単位時間あたりの視野範囲の移動量を増大させてもよい。また、この移動量に関わりなく、単位時間あたりの視野範囲の移動量を、予め定めた所定量としてもよい。
なお、動作識別部22が「操作終了」の旨の情報を出力すると、表示更新部23は、フレームの中心が表示部14によって生成される画像の中心になるよう、フレームを移動する。
また、ここまでの説明では、フレームの移動操作について述べたが、フレームに対する操作は、移動だけでなく、図4に示したように、ユーザの両手の手領域の各重心が互いに異なる方向に移動した場合に、フレームの縮小・拡大の操作が行われたと判断して、動作識別部22がその旨を表す情報を出力してもよい。
この場合、表示更新部23は、動作識別部22の出力から、「縮小・拡大操作」が行われているか否かを判断する。そして「縮小・拡大操作」が行われていれば、指示操作受入部21が出力する、手領域を表す情報によってフレームの表示位置を更新する。例えば表示更新部23は、フレームの上下左右の枠線のうち、その中心点が左右の手領域の各重心位置に最も近い枠線を検出する。そして、当該枠線の間の距離を手領域の各重心位置間の距離に設定する。
また、表示更新部23は、縮小・拡大操作が行われたときに、フレームの縮小拡大に限らず、例えば視点位置を前進・後退させて、フレーム内の画像を更新してもよい。この場合、表示更新部23は、図7(a)に示す初期状態から、フレームを縮小する操作が行われたときに、フレームを縮小して描画する(図7(b))。ここでユーザがフレームから手を離す(動作識別部22が「操作終了」の情報を出力する)と、縮小したフレーム内に表示されたオブジェクトの、フレームに対するサイズ比率を維持したまま、フレームのサイズを縮小前の状態に戻すよう、視点位置をオブジェクトに対して前進させる(図7(c))。
例えば、表示更新部23は、縮小・拡大操作が行われたときに、拡大縮小操作前のフレームのサイズで、拡大・縮小操作後のフレームのサイズを除して、拡大縮小率ηを算出する。そして表示更新部23は、この算出した拡大縮小率ηに応じて、一例として次のように視点位置を変更する。
Figure 0004364861
ここで、σは、ηが1以上であれば「−1」、ηが1未満であれば「+1」となる、符号を定める値であり、αは、ηの変動に対する視点位置の移動量を規定する定数である。すなわち、この(1)式では、視点位置を拡大縮小率に応じた距離だけ、視線方向に沿って移動することとしている。このとき、フレームが拡大操作されたときには、視線方向に沿って、視線方向とは反対側に移動し、また、フレームが縮小操作されたときは、視線方向に沿って、視線方向の向きに移動することとしている(ここではσの値を変更することで実現している)。なお、(1)式では、更新前の視点位置をUn、更新後の視点位置をUn+1として添字にて区別している。
さらに、フレームに対する縮小・拡大と、視点位置の前進・後退とのどちらを行うかは、例えば、縮小・拡大の操作が行われている間(操作終了となるまでの間)に、手領域の重心位置が、所定量以上移動しない時間が、予め定めた操作しきい値を越えるまでは縮小・拡大の操作(のみ)を行い、操作しきい値を越えたときに視点位置の前進・後退を行うものとするなど、ユーザの手がフレーム近傍にある状態(フレームを把持する操作の状態)の持続時間に応じて判断すればよい。
なお、フレームの拡大縮小操作に対して視点位置を移動する代わりに視野範囲を変更する場合は、フレームの拡大縮小率に従って、視野範囲を規定する量(Δθ,Δφ)を、
Figure 0004364861
のように更新すればよい。ここでも更新前の視野範囲をSn、更新後の視野範囲をSn+1として添字にて区別している。
また、表示更新部23は、フレーム内の画像を更新している間は、フレームの外に表示されるべき部分を背景画像(例えば撮像部11にて撮像した画像)に半透明合成(合成に係る各画像データの対応する画素の値を加重加算する合成方法)してもよい。
さらに動作識別部22は、ユーザの双方の手領域の重心の移動量がいずれも予め定めた移動しきい値より小さい場合は、ユーザの自然な手ぶれと判断して、移動操作や、縮小・拡大操作が行われている旨の情報を出力しないよう制御してもよい。これにより、微小な手のうごき(手ぶれ程度の動き)に応答して表示内容が更新されてしまうことを防止できる。
さらに、ここまでの説明では手領域の重心の移動など、領域の移動をユーザの操作として認識する例について述べたが、手を前後に移動した場合、手領域の面積が異なることとなるので、動作識別部22は、この手領域の面積変化を用いてユーザの操作を認識してもよい。
例えば、ユーザがフレームの左右の枠を把持していると判断される状態で、一方の辺を手前に(一方の辺側の手領域の面積が減少し)、他方の辺を奥へ(他方の辺側の手領域の面積が増大するよう)移動するような操作が行われたと動作識別部22が判断すると、表示更新部23は、図8に示すように、視線方向ベクトルの成分であるVθに180度(ラジアンでのπ)を加算して、視線方向を反転する。
さらに、2つの手領域の重心位置間の距離が、予め定めた限界しきい値未満となったときに、動作識別部22は、例えば停止操作として認識してその旨を表す情報を出力し、表示更新部23が当該停止操作が行われた旨の情報を受けて、フレーム内の情報の更新処理を停止してもよい。ここで更新処理の停止は、その停止動作が行われた時点でフレーム内の情報の更新を停止する動作であってもよいし、ユーザがフレームを把持する動作を行ったと判断した時点での表示内容に戻す処理であってもよい。この場合、制御部12は、ユーザがフレームを把持したと判断した時点での表示内容に関する情報(スクロール位置やフレームサイズの情報)を記憶部13に保持しておく。そして停止操作があったときに、当該保持している情報に基づいて表示内容を変更する。これにより、ユーザがフレームを把持した後のスクロールやフレームサイズの変形動作をキャンセルすることとなる。
また、フレームを把持したと判断される状態から、左右の手を互いに近接させる方向に移動させるユーザの動作を、ここまでの説明ではフレームの縮小動作として判断することとしているが、これに代えて、フレーム内に表示されているオブジェクトを選択する操作として判断してもよい。この場合の制御部12は、機能的には、図2(b)に示すように、指示操作受入部21と、動作識別部22と、表示更新部23と、オブジェクト処理部24とを含んで構成される。
ここで指示操作受入部21と動作識別部22とは、既に説明したものと同様の処理を行う。また、表示更新部23は、動作識別部22がユーザの両手の手領域の重心位置が互いに近接する方向に移動していることを検出すると、フレーム内部に当該手領域の重心位置に従って縮小・拡大される第2のフレーム(以下、区別のため、当初から表示されているフレームを第1フレーム、操作に伴って表示される第2のフレームを第2フレームと呼ぶ)を表示する。表示更新部23は、この第2フレームの位置と大きさとの少なくとも一方を、ユーザの手の動作に応じて変化させて表示する。
オブジェクト処理部24は、第2フレーム内に表示されるオブジェクトを特定する情報を出力する。
具体例として、図9に示すように、チェス盤を上方から見下ろしている画像を表示しているときに、ユーザが第1フレームの枠から両手を近接させる方向へ移動したことを検出すると、表示更新部23は、第1フレームFo内部に第2フレームFiを表示する。
表示更新部23は、以下動作識別部22から入力される手の動きに係る情報を第2フレームFiに対する操作として受け入れる。そして、ここではユーザの手の動きに従って、第1フレームFoの代わりに第2フレームFiが移動され、また縮小・拡大表示される。つまり、この第2フレームFiが画定する領域が変化する。
制御部12は、また、ゲームアプリケーション等の処理として、フレームFo内に、チェス盤のオブジェクトを表示する処理を行っている。オブジェクト処理部24は、こうして表示されるオブジェクトのうち、第2フレームFiに内包されるオブジェクトを特定する情報を出力する。ここで複数のオブジェクトが第2フレームFiに含まれる場合、オブジェクト処理部24は、各オブジェクトを特定する情報のリストを出力することとしてもよい。
制御部12はゲームアプリケーションの処理において、オブジェクト処理部24が出力するオブジェクトを特定する情報の入力を受けて、例えば、当該出力している情報で特定されるオブジェクトの数が一つとなったときに、当該特定されたオブジェクトを操作の対象(注目オブジェクト)として取得し、駒を動かす処理などに供する。
このように第2フレームの表示を行う場合は、制御部12は、第1フレームの縮小・拡大、第1フレームの移動などの操作に基づく処理を行う必要は必ずしもない。
さらに、本実施の形態では、手領域が、フレームのどの辺に接しているかを検出して、例えば手領域が略L字状になっていて(親指を立てた形状になっていて)、矩形状のフレームの四辺に接しているか否かを検出することとして、このようにフレームの四辺に接している場合と、フレームの対向する2辺に接している場合とで互いに異なる操作に関連づけてもよい。
さらに、ここまでの説明においては、撮像部を用いてユーザの手の動作を検出することとしたが、これに代えて、ゲームコントローラ等、操作部15における操作によってフレーム内の画像に対する平行移動や、フレームの縮小・拡大といった操作を可能としてもよい。この場合は撮像部11は、必ずしも必要でない。
さらに、ここまでの説明では、図5に示したように、仮想空間内に球状のスクリーンを設定して、仮想空間内のオブジェクトをこのスクリーンに投影した場合の、極座標系の変数を用いた処理について説明したが、スクリーンは視線方向ベクトルを法線とするX,Y座標平面であってもよい。
本実施の形態によると、表示領域の制御などにおいて、直感的な操作が可能となる。
本発明の実施の形態に係る情報表示装置の一例を表す構成ブロック図である。 本発明の実施の形態に係る情報表示装置の一例を表す機能ブロック図である。 本発明の実施の形態に係る情報表示装置が表示する画面の例を表す説明図である。 本発明の実施の形態に係る情報表示装置における操作設定の例を表す説明図である。 本発明の実施の形態に係る情報表示装置の処理の対象となるオブジェクトの仮想空間の概要を表す説明図である。 本発明の実施の形態に係る情報表示装置が表示する画面の例を表す説明図である。 本発明の実施の形態に係る情報表示装置における視点位置の移動処理の概要を表す説明図である。 本発明の実施の形態に係る情報表示装置における視線方向の反転処理の概要を表す説明図である。 本発明の実施の形態に係る情報表示装置が表示する画面の別の例を表す説明図である。
符号の説明
11 撮像部、12 制御部、13 記憶部、14 表示部、15 操作部、21 指示操作受入部、22 動作識別部、23 表示更新部、24 オブジェクト処理部。

Claims (11)

  1. ユーザに対して情報を提示する表示装置に接続されるコンピュータに
    前記表示装置の表示可能領域内に、フレームを表示するとともに、当該フレーム内に、仮想空間内に設定された視点位置、及び前記仮想空間内に設定された視野範囲にある前記仮想空間内のオブジェクトを表示する手順と、
    前記フレームに対する操作として、少なくとも前記表示可能領域内におけるフレームの位置及び/又は大きさを変化させる操作を受け入れる手順と、
    前記受け入れたフレームに対する操作に基づいて、前記視点位置ないし視野範囲を変化させて、前記フレーム内の表示内容を更新する手順と、を実行させ、
    前記表示可能領域内におけるフレームの位置及び/又は大きさの変化と、前記視点位置ないし視野範囲の変化と、が対応している、
    ことを特徴とするプログラム
  2. 請求項1に記載のプログラムであって、
    前記フレーム内の表示内容を更新する手順は、前記受け入れた操作によるフレームの拡大縮小率に基づいて、視点位置の移動距離ないし視野範囲の拡大縮小率を算出し、当該算出した移動距離ないし拡大縮小率に応じて前記視点位置ないし視野範囲を変化させて、前記フレーム内の表示内容を更新することを特徴とするプログラム
  3. 請求項1または2に記載のプログラムであって、
    前記表示装置に表示されたフレーム内部に、第2フレームを表示する手順と
    当該第2フレームが画定する領域を、ユーザの前記表示可能領域内におけるフレームの位置及び/又は大きさを変化させる操作に応じて変化させる手順と、を前記コンピュータにさらに実行させる
    ことを特徴とするプログラム
  4. 請求項3に記載のプログラムであって、
    前記第2フレームに対する操作により、前記仮想空間内のオブジェクトを注目オブジェクトとして選択する手順、を前記コンピュータにさらに実行させ、
    前記注目オブジェクトとして選択された仮想空間内のオブジェクトが所定の処理に供されることを特徴とするプログラム
  5. 請求項1から4のいずれか一項に記載のプログラムであって、
    ユーザによる所定停止操作に応じて、前記フレーム内の表示内容の更新処理を停止する手順、を前記コンピュータにさらに実行させる、
    ことを特徴とするプログラム
  6. 請求項1から5のいずれか一項に記載のプログラムであって、
    ユーザによる所定終了操作に応じて、前記フレームの位置及び/又は大きさを、所定のフレームの位置及び/又は大きさとなるよう変化させる手順、を前記コンピュータにさらに実行させる、
    ことを特徴とするプログラム
  7. 請求項6に記載のプログラムであって、
    ユーザによる所定終了操作に応じた前記フレームの位置及び/又は大きさの変化に応じて、前記視点位置を変化させる手順、を前記コンピュータにさらに実行させる、
    ことを特徴とするプログラム
  8. 請求項1から7のいずれか一項に記載のプログラムであって、
    撮像装置により撮像される画像に基づいて、前記フレームに対する操作が特定される、
    ことを特徴とするプログラム。
  9. 請求項8に記載のプログラムであって、
    前記撮像装置により撮像された画像を、前記フレームの背景画像として前記表示可能領域に表示する手順、を前記コンピュータにさらに実行させる、
    ことを特徴とするプログラム。
  10. ユーザに対して情報を提示する表示装置に接続される情報表示装置の制御方法であって、
    前記表示装置の表示可能領域内に、フレームを表示するとともに、当該フレーム内に、仮想空間内に設定された視点位置、及び前記仮想空間内に設定された視野範囲にある前記仮想空間内のオブジェクトを表示する工程と、
    前記フレームに対する操作として、少なくとも前記表示可能領域内におけるフレームの位置及び/又は大きさを変化させる操作を受け入れる工程と、
    前記受け入れたフレームに対する操作に基づいて、前記視点位置ないし視野範囲を変化させて、前記フレーム内の表示内容を更新する工程と、を情報表示装置に実行させ、
    前記表示可能領域内におけるフレームの位置及び/又は大きさの変化と、前記視点位置ないし視野範囲の変化と、が対応している、
    ことを特徴とする情報表示装置の制御方法。
  11. ユーザに対して情報を提示する表示装置に接続され
    前記表示装置の表示可能領域内に、フレームを表示するとともに、当該フレーム内に、仮想空間内に設定された視点位置、及び前記仮想空間内に設定された視野範囲にある前記仮想空間内のオブジェクトを表示する手段と、
    前記フレームに対する操作として、少なくとも前記表示可能領域内におけるフレームの位置及び/又は大きさを変化させる操作を受け入れる手段と、
    前記受け入れたフレームに対する操作に基づいて、前記視点位置ないし視野範囲を変化させて、前記フレーム内の表示内容を更新する手段と、を含み、
    前記表示可能領域内におけるフレームの位置及び/又は大きさの変化と、前記視点位置ないし視野範囲の変化と、が対応している、
    ことを特徴とする情報表示装置
JP2005318360A 2005-11-01 2005-11-01 情報表示装置 Expired - Fee Related JP4364861B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005318360A JP4364861B2 (ja) 2005-11-01 2005-11-01 情報表示装置
US11/590,667 US7982753B2 (en) 2005-11-01 2006-10-31 Information display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005318360A JP4364861B2 (ja) 2005-11-01 2005-11-01 情報表示装置

Publications (2)

Publication Number Publication Date
JP2007128158A JP2007128158A (ja) 2007-05-24
JP4364861B2 true JP4364861B2 (ja) 2009-11-18

Family

ID=37995670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005318360A Expired - Fee Related JP4364861B2 (ja) 2005-11-01 2005-11-01 情報表示装置

Country Status (2)

Country Link
US (1) US7982753B2 (ja)
JP (1) JP4364861B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4662495B2 (ja) 2007-11-30 2011-03-30 株式会社スクウェア・エニックス 画像生成装置、画像生成プログラム、画像生成プログラム記録媒体及び画像生成方法
JP4720874B2 (ja) * 2008-08-14 2011-07-13 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
EP2617202A4 (en) * 2010-09-20 2015-01-21 Kopin Corp BLUETOOTH OR OTHER WIRELESS INTERFACE WITH POWER MANAGEMENT FOR A HEAD-MOUNTED DISPLAY
CN103970500B (zh) * 2014-03-31 2017-03-29 小米科技有限责任公司 一种图片显示的方法及装置
US9619016B2 (en) 2014-03-31 2017-04-11 Xiaomi Inc. Method and device for displaying wallpaper image on screen
EP3486749B1 (en) * 2017-11-20 2022-05-11 Nokia Technologies Oy Provision of virtual reality content
JPWO2023053796A1 (ja) * 2021-09-30 2023-04-06

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5539427A (en) * 1992-02-10 1996-07-23 Compaq Computer Corporation Graphic indexing system
JP3356617B2 (ja) 1996-03-27 2002-12-16 株式会社日立製作所 3次元空間における視界移動方法
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JP4094375B2 (ja) 2002-08-13 2008-06-04 株式会社神戸製鋼所 図形表示制御装置、図形表示制御方法及びプログラム
JP3809424B2 (ja) 2003-03-17 2006-08-16 株式会社クレオ 選択領域制御装置、選択領域制御方法及び選択領域制御プログラム

Also Published As

Publication number Publication date
US7982753B2 (en) 2011-07-19
US20070097116A1 (en) 2007-05-03
JP2007128158A (ja) 2007-05-24

Similar Documents

Publication Publication Date Title
US10768714B2 (en) Electronic device and a method for controlling the functions of the electronic device as well as program product for implementing the method
US20240115934A1 (en) Information processing device, control method of information processing device, and program
US9721396B2 (en) Computer and computer system for controlling object manipulation in immersive virtual space
CN108905212B (zh) 游戏画面的显示控制方法及装置、存储介质、电子设备
US10421013B2 (en) Gesture-based user interface
CN106339093B (zh) 一种云台控制方法和装置
JP4364861B2 (ja) 情報表示装置
CN115443445A (zh) 用于可穿戴系统的手部手势输入
US11266904B2 (en) Game system, game control device, and information storage medium
US20110083112A1 (en) Input apparatus
EP2394710B1 (en) Image generation system, image generation method, and information storage medium
JP6185123B1 (ja) プログラム、制御方法、及び情報処理装置
JP5509227B2 (ja) 移動制御装置、移動制御装置の制御方法、及びプログラム
US20100271400A1 (en) Information processing apparatus, method, and program
JP5921981B2 (ja) 映像表示装置および映像表示方法
Schmieder et al. Thumbs up: 3D gesture input on mobile phones using the front facing camera
US11908097B2 (en) Information processing system, program, and information processing method
US11182944B1 (en) Animation production system
JP6480520B2 (ja) プログラム、制御方法、及び情報処理装置
US20190332192A1 (en) Method for interacting a pointing device with a target point arranged on a projection screen of a virtual desktop and pointing device therefore
JP2023016047A (ja) 情報処理システム、プログラム及び情報処理方法
JP2023016046A (ja) 情報処理システム、プログラム及び情報処理方法
JP2023015980A (ja) 情報処理システム、プログラム及び情報処理方法
JP2023015979A (ja) 情報処理システム、プログラム及び情報処理方法
US20180353858A1 (en) Electronic game device and electronic game program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090818

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090819

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4364861

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120828

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130828

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees