JP4343637B2 - 操作指示方法および装置 - Google Patents

操作指示方法および装置 Download PDF

Info

Publication number
JP4343637B2
JP4343637B2 JP2003341620A JP2003341620A JP4343637B2 JP 4343637 B2 JP4343637 B2 JP 4343637B2 JP 2003341620 A JP2003341620 A JP 2003341620A JP 2003341620 A JP2003341620 A JP 2003341620A JP 4343637 B2 JP4343637 B2 JP 4343637B2
Authority
JP
Japan
Prior art keywords
menu
display
pointer
user
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003341620A
Other languages
English (en)
Other versions
JP2005107963A (ja
JP2005107963A5 (ja
Inventor
剛 黒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2003341620A priority Critical patent/JP4343637B2/ja
Publication of JP2005107963A publication Critical patent/JP2005107963A/ja
Publication of JP2005107963A5 publication Critical patent/JP2005107963A5/ja
Application granted granted Critical
Publication of JP4343637B2 publication Critical patent/JP4343637B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、三次元CG画像を操作する方法および装置に関する。
バーチャルリアリティ(VR)システムは、コンピュータの作り出す三次元のコンピュータグラフィックス(CG)をユーザに提示することで、仮想の空間をあたかも現実であるかのように感じさせるシステムである。また、近年、現実世界の映像に三次元CGを合成することで現実世界にはない情報をユーザに提示する技術の開発もなされており、それらはAR(Augumented Reality, 拡張現実感)システムやMR(Mixed Reality, 複合現実感)システムと呼ばれている。
こうしたVRシステムやARシステムにおいて、三次元CGの操作を行う際には、メニューと呼ばれる操作補助のための図形を画面に表示し、メニューに対して入力を行うことで操作を指示することが一般的である。こうしたメニューには複数の方式があり、メニューを選択することによって更にその下位にあるメニューが表示されるプルダウンメニューや、ボタン等を押すことによってメニューが表示されるポップアップメニュー、メニュー項目が円状に表示されるパイメニュー等がある(例えば、特許文献1参照)。
今、図1のような画面を表示しているVRシステムがあるものとする。図1において、101,102,103は操作対象となる三次元CGオブジェクト、104はユーザが操作する三次元ポインタを表す。三次元ポインタ104はユーザの操作によって三次元空間中を自由に移動することが可能である。
ここで、ユーザが三次元CGオブジェクト102に対して回転という操作を行う場合を考える。まず、ユーザは三次元ポインタ104を三次元CGオブジェクト102の上に動かし、その後、ボタン等を操作することによって図2の(a)に示すごとくポップアップメニュー105を表示させる。ポップアップメニュー105には図2の(b)に示すようにユーザの行うことのできる操作項目の一覧が示されており、ユーザは所望の操作をメニュー105より選択、指示することができる。ここでは、ユーザはメニューから回転という項目を選択するために、図3に示すように三次元ポインタ104をポップアップメニュー105の一番上の項目領域に移動し、項目の選択を指示することになる。
特許第3420538号
しかしながら、上述した一連の操作には、次のような課題がある。まず、一般に、メニュー表示は、ポインタで操作対象の三次元CGオブジェクトを指示した状態でなされ、その表示位置はポインタの付近である。このため、メニューそれ自体によって操作対象である三次元CGオブジェクトが隠されてしまい、ユーザの操作の妨げになってしまう。たとえば図2の(a)において操作対象の三次元CGオブジェクト102はポップアップメニュー105によってその一部が隠されている。このため、ユーザは三次元CGオブジェクト102の全体を見ながら操作を行うことができなくなる。なお、ポインタの位置から離れた位置にメニューを表示することも考えられるが、ユーザの視線移動量が増え、操作性が低下してしまう。
また、もう一つの課題として、ユーザがポップアップメニュー105中の項目を選択するために、三次元ポインタ104を三次元空間中で移動させなければならないということがあげられる。ポップアップメニュー105中の項目のうちどの項目を選択するかは図3に示したように三次元ポインタ104の三次元位置によって決定される。また、操作対象となる三次元CGオブジェクトの選択も図2の(a)に示したように三次元ポインタ104の三次元位置によって決定される。そのため、三次元ポインタ104の三次元位置の変化が選択対象の変更を意味するのか、選択項目の変更を意味するのかはユーザにとってもシステムにとっても不明確である。
たとえば図3のようにポップアップメニュー105中の項目を選ぶために三次元ポインタ104を移動させた場合、結果として三次元ポインタ104が三次元CGオブジェクト103の近辺にまで移動することとなる。このため、ユーザが三次元CGオブジェクト102を操作対象とするのか、三次元CGオブジェクト103を操作対象とするのかが不明確になってしまう。
本発明は、上記課題に鑑みてなされたものであって、例えば三次元CGオブジェクトを画面に表示し、その操作指示をメニュー表示より選択するような構成において、メニュー表示による操作対象オブジェクトの視認性低下を防止することを目的とする。
上記の目的を達成するための本発明による操作指示方法は、
情報処理装置による操作指示方法であって、
第1表示制御手段が、コンピュータグラフィックス及びポインタを表示画面上に表示させる第1表示制御工程と、
第2表示制御手段が、ユーザからの操作入力に応じて、内部に空洞な領域を有し、項目を表示するための複数の項目領域を円周上に配置することにより環形状を有した操作メニューを表示する第2表示制御工程と、
指示手段が、前記ポインタへの操作入力に応じて前記第2表示制御工程によって表示された操作メニューより項目を指示する指示工程と、
表示変更手段が、前記コンピュータグラフィックスの仮想3次元空間における前記ユーザの視点位置と前記操作メニューの位置との距離に基づき、前記操作メニューの環形状の、3次元表示のためのパラメータとしての径の大きさを変更する表示変更工程とを有する。
また、上記の目的を達成するための本発明による操作指示装置は以下の構成を備える。すなわち、
コンピュータグラフィックス及びポインタを表示画面上に表示させる第1表示制御手段と、
ユーザからの操作入力に応じて、内部に空洞な領域を有し、項目を表示するための複数の項目領域を円周上に配置することにより環形状を有した操作メニューを表示する第2表示制御手段と、
前記ポインタへの操作入力に応じて前記第2表示制御手段によって表示された操作メニューより項目を指示する指示手段と、
前記コンピュータグラフィックスの仮想3次元空間における前記ユーザの視点位置と前記操作メニューの位置との距離に基づき、前記操作メニューの環形状の、3次元表示のためのパラメータとしての径の大きさを変更する表示変更手段とを備える。
上記の構成によれば、例えば、三次元CGオブジェクトを画面に表示し、その操作指示をメニュー表示より選択するような構成において、メニュー表示による操作対象オブジェクトの視認性低下が防止される。
以下、図面を参照しながら、本発明の好適な実施形態について説明する。
本実施形態のVRシステムでは、ユーザが装着した頭部搭載型ディスプレイに図1のような三次元CGが表示される。そして、手持ちの操作装置によって表示された三次元CGに操作を加えると、操作後の三次元CGが頭部搭載型ディスプレイに表示される。ここで、図1において、101,102,103は操作対象となる三次元CGオブジェクト、104はユーザが操作する三次元ポインタを表し、三次元ポインタ104はユーザの手持ちの入力装置によって操作される。
図4は本実施形態によるARシステムの構成を示すブロック図である。図4において、510は頭部搭載型ディスプレイ(Head Mount Display:以下、HMDと記す)であり、位置姿勢センサ511、カメラ512、表示部513を有する。位置姿勢センサ511はカメラ512の視線方向及び位置を検出し、その位置姿勢情報をCG生成部522及び画像合成部523に送る。カメラ512は現実空間を撮影し、その撮影情報を画像合成部523へ送る。表示部513は画像合成部523で生成された、CG画像と現実画像との合成画像を表示する。
CG生成部522は、CGデータ格納部521よりCGデータを取得し、位置姿勢センサ511からの位置姿勢情報に基づいてCG画像を生成する。画像合成部523はカメラ512からの撮影情報に基づく現実画像に、CG生成部522で生成されたCG画像を位置姿勢情報に基づいて合成する。なお、CGデータ格納部521、CG生成部522、画像合成部523は、不図示のCPU及びメモリ等を備えたコンピュータ装置により実現され得る。
操作装置530は位置姿勢センサ531、決定ボタン532、キャンセルボタン533を有する。本実施形態では、位置姿勢センサ531からの位置姿勢情報によって三次元ポインタ104の移動操作が制御される。
図5は、上述したCG生成部522の詳細構成を示したブロック図である。501は入力部であり、ユーザからの入力情報を受け付ける。ここで、ユーザからの入力情報とは、ユーザの装着したHMD510に備えられた位置姿勢センサ511からの位置姿勢情報、ユーザの手持ちの操作装置530に備えられた位置姿勢センサ531からの位置姿勢情報、及び操作装置530に備えられた決定ボタン532とキャンセルボタン533の2つのボタンの押下情報を含む。入力部501が受け取った入力情報は入力判定部503に送られる。
502はデータ管理部であり、CGデータ格納部521に格納されたCGデータを管理する。CGデータは、シーン情報、すなわち仮想の三次元空間中に存在する三次元CGオブジェクトの情報である。データ管理部502が管理する情報としては、例えば三次元CGオブジェクトの形状、色、模様(テクスチャ)などがある。また、データ管理部502は、位置姿勢センサ531からの位置姿勢情報に基づいて生成される三次元ポインタ104の位置および姿勢の情報、また、位置姿勢センサ511からの位置姿勢情報に基づいてい生成される、シーン描画のための視点の位置および姿勢を格納する。また、データ管理部502は外部からの要求に応じて保持する情報の出力や変更を行う。
503は入力判定部であり、入力部501から受け取った入力情報をデータ管理部502から受け取ったシーンの情報を元に解釈し、シーンに対する操作情報として出力する。入力判定部503は、たとえば、位置姿勢センサ511から得られるユーザ頭部の位置姿勢情報を入力部501より受け取り、その情報をシーンに対する視点に関する操作情報として出力する。また、操作装置530に備えられた位置姿勢センサ531からの位置姿勢情報やボタン(532、533)の押下情報を受け取り、例えばメニューが表示されているか否かに応じて、シーンの三次元CGオブジェクトに対する操作情報を生成し、出力する(図6により後述する)。
504は操作処理部であり、入力判定部503から受け取った操作情報に基づいてデータ管理部502に対してシーンの変更を要求する。505は画像生成部であり、データ管理部502に格納されたシーン情報を元にCG画像を生成し、画像合成部523(図4)へ出力する。
図6は、上述のCG生成部522の動作を説明するフローチャートである。CGデータに基づくCG画像の生成が開始されると、ステップS601において入力部501が入力情報を受けとる。上述したように、入力情報はユーザの装着するHMD510に備えられた位置姿勢センサ511の位置姿勢情報、操作装置530に備えられた位置姿勢センサ531からの位置姿勢情報、及び操作装置530に備えられたボタン(532、533)の押下情報を含む。入力部501で受け取った入力情報は入力判定部503に送られる。ステップS602において、入力判定部503は、ボタンの押下情報の有無を判定する。ボタンの押下情報がある場合、すなわちユーザが何らかのボタンを押したと判定された場合はステップS603へ、押下情報がない場合にはステップS640へに進む。
ステップS603においては、入力判定部503により押下されたボタンの種類が判定される。押下情報が決定ボタン532のものである場合、すなわちユーザが決定ボタン532を押したと判定される場合にはステップS604へ進む。また、ユーザがキャンセルボタン533を押したと判定される場合にはステップS630に進む。ステップS604においては、シーン中にメニューが存在するかどうか、すなわちデータ管理部502が管理する三次元CGオブジェクトの情報中にメニューを表すCGオブジェクトが含まれるかどうかが判定される。メニューが存在する場合にはステップS605へ、存在しない場合にはステップS620へそれぞれ進む。
データ管理部502が管理する三次元CGオブジェクトにメニューが存在する場合、ステップS605において、そのメニュー中のいずれかの項目が選択されているかどうかが入力判定部503によって判定される。この判定はどのような方法でなされてもよいが、たとえばメニューの選択項目を示す情報をデータ管理部502に記録するようにしておき、その選択項目情報を入力判定部503が参照することで実現可能である。なお、選択項目の決定は後述のステップS641で行なわれる。メニュー中の項目のいずれかが選択されている場合、すなわち選択項目が存在する場合にはステップS606へ、選択がなされていない場合にはステップS650へ進む。
ステップS606においては、入力判定部503でメニューの選択項目に応じた機能が決定される。決定された機能の情報は操作情報として操作処理部504に渡される。
一方、メニューが存在しない場合は、ステップS620において、三次元ポインタ104の近辺に三次元CGオブジェクトが存在するかどうかが入力判定部503により判定される。三次元ポインタ104の近辺にオブジェクトが存在する場合には、そのオブジェクトが操作の対象として選択されたものと判定されステップS621に進む。また、そのようなオブジェクトが存在しない場合には操作の対象が指定されていないものと判定され、ステップS650に進む。
三次元ポインタ104の近辺にオブジェクトが存在した場合、ステップS621において、データ管理部502においてメニューオブジェクトの生成が行われる。ここで、メニューは図7に示すような、中央がくり抜かれた円盤形状(環状)の三次元CGオブジェクトである。環は等分に分割されて項目領域が規定され、各項目領域の上にはユーザによって指定が可能な操作項目が一つずつ記されている。以下、図7に示すメニューを環メニュー801という。環メニュー801は図8に示したように三次元ポインタ104の周りを囲むような位置に生成され、その情報はデータ管理部502に格納される。ここで、環メニュー801を表す情報にはその位置、姿勢、半径、項目、選択されている項目などの情報が含まれる。
なお、ここでメニューは図7のような中央がくり抜かれた円盤状のものとしたが、メニューは項目が放射状に表示され、なおかつ中央部分が空洞になっているものであればどのようなものでもよく、たとえば図10の(a)のような扇状のものや、図10の(b)のような項目を表すオブジェクト(項目領域)が放射状に配置されるものでもよい。また、円形の環に限らず、中央がくり貫かれた矩形状の環としてもよい。
なお、本実施形態ではメニューを図8に示しように3D表示するが、もちろん2Dでメニューを表示してもよい。但し、HMDをかぶって体験するような没入型の環境では、2Dのメニューも3Dで表現して描画する方が容易である、また、メニューを3Dにすると、図9(b)で後述するように、視点によってメニューの大きさを変えるという機能が容易に実現できるという利点がある。
また、メニューを3Dで表現する場合の表示位置は例えば以下のようにして決定することができる。まず、三次元ポインタ104の位置を中心とし、三次元ポインタ104の姿勢に対して垂直な環状体の三次元CGオブジェクトをデータ管理部502に生成する。この環状体の三次元CGオブジェクトの画像を生成する(後述のステップS651参照)ことで、環メニュー801の表示位置が決定される。更に、環メニューを2Dで表現する場合の表示位置は、例えば以下のようにして決定することができる。すなわち、三次元ポインタ104が画面上のどの位置に投影されるかを求め、その位置を中心とする環状形を描画する(後述のステップS651において実行すればよい)。
また、2D、3Dのいずれの場合においても、環状形の画面上での半径は、例えば視点位置から三次元ポインタ104までの距離によって決定すればよい。半径はどのような式によって決定されてもよいが、たとえば半径をr、視点から三次元ポインタ104までの距離をdとして、
r=R×arctan(C/d)
ただしR,Cは任意の定数
などとして定められる。
キャンセルボタン533が押下された場合は、ステップS630において、シーン内のメニューの情報がデータ管理部502から取り除かれる。但し、この際、シーン内にメニューが存在しなければ何も起こらない。
ステップS602において、ボタン押下情報がない場合、ステップS640において、シーン中にメニューが存在するかどうか、すなわちデータ管理部502が管理する三次元CGオブジェクトの情報中にメニューを表すCGオブジェクトが含まれるかどうかが判定される。メニューが存在する場合にはステップS641へ、存在しない場合にはステップS650に進む。ステップS641においては、選択項目の決定がなされる。
選択項目の決定は操作装置530に備えられた位置姿勢センサ531からの位置姿勢情報と、データ管理部502に格納されているメニューの情報とを比較することによってなされる。なお、この選択項目の決定はセンサの位置および姿勢を用いる方法であればどのような方法でなされてもよい。たとえば三次元ポインタ104が環メニュー801上にある場合には、その三次元ポインタ104が存在する部分の項目を選択したものとして決定する。また、三次元ポインタ104が環メニュー801上のいずれの項目領域にも存在しない場合には、どの項目も選択されないものとする。この場合、後述のステップS650において、環メニュー801の位置は固定されたままである。
なお、選択項目の決定における項目指定の方法としては、三次元ポインタによって直接的に指定する方法以外にも以下のような方法が挙げられる。すなわち、ステップ621においてメニューを生成される際に、図8の(a)に示すようにインジケータ802を生成し、その情報をデータ管理部502に格納する。なお、メニュー生成時において、インジケータ802は所定(デフォルト)の選択項目を指示するようにし、インジケータ802で指示された選択項目803の部分は表示形態を変化させて選択されていることを明示するようにする。
インジケータ802は、図8の(b)に示すように、操作装置530に備えられた位置姿勢センサ531からの姿勢情報から導かれる三次元ポインタ104の軸まわりの回転角に応じて環メニュー801の内周に沿って移動する。この、インジケータの移動により所望のメニュー項目を選択することができる。この場合、ユーザは操作装置530に対してダイヤルをまわすようなひねりの操作を行うことで、三次元ポインタ104を移動させることなく選択項目を変更することができる。更に、このようなインジケータによるメニュー選択によれば、メニュー801の表示位置を三次元ポインタ104の位置に応じて移動させる(例えば、三次元ポインタ104が常に環の中心に位置するように環メニュー801を移動する)ことにより、環メニュー801を常に三次元ポインタ104の周囲に表示させることができる。
ステップS650では、操作処理部504による操作情報の処理が実行される。ここでは、ユーザの装着したHMD510に備えられた位置姿勢センサ511からの位置姿勢情報に応じてデータ管理部502に格納される視点の位置姿勢情報が更新される。また、操作装置530に備えられた位置姿勢センサ531の位置姿勢情報に応じてデータ管理部502に格納される三次元ポインタ104の位置および姿勢の情報を更新する。また、ステップS606において機能が決定されている場合には、その機能に応じてあらかじめ定められた処理を、ステップS620において操作対象として選択されている三次元CGオブジェクトに対して実行する。また、シーン中にメニュー801が存在する場合には、操作装置530に備えられた位置姿勢センサ531からの位置情報に応じてメニュー801を移動させる。また、インジケータ802が存在する場合には、位置姿勢センサ531からの姿勢情報に応じてインジケータ802を移動させたりする。
ステップS651においては、画像生成部505でCG画像の生成が行われ、生成されたCG画像は画像合成部523へ出力される。画像生成部505はデータ管理部502に保持されている視点の位置および姿勢、三次元ポインタ104の位置および姿勢、メニュー801の情報、三次元CGオブジェクトの情報を取得し、図9の(a)のような三次元CGを生成する。図9の(a)においては三次元CGオブジェクト102の一部がメニュー801によって隠されているが、視点の位置および姿勢を三次元CGオブジェクト102により近づけた場合には図9の(b)のように見かけ上メニュー801の半径が大きくなり、三次元CGオブジェクト102の全体を観察することができるようになる。なお、視点の位置および姿勢を三次元CGオブジェクト102に近づけた場合は、三次元CGオブジェクト102の見かけ上の大きさも大きくなるが、その拡大率は視点からオブジェクトまでの距離が近ければ近いほど大きいので、相対的にメニュー801の方が大きく表示されることになる。従って、図9(b)のような表示状態が得られることになる。ステップS652においては、処理を終了するかどうかの判定が行われ、あらかじめ定められた終了条件を満たす場合には終了し、満たさない場合にはステップS601に戻る。
なお、上記実施形態では、位置姿勢センサ351からの位置姿勢情報により三次元ポインタ104の位置やインジケータ802を制御したが、ジョイスティック等を用いてもよいことは明らかである。この場合、スティックを傾斜させることにより三次元ポインタを移動し、スティックを回転させることによりインジケータ802を移動させるように構成すればよい。また、上記の変形に限らず、種々の機構を適用できることは明らかである。また、上記実施形態では、ARシステムを示したが、VRシステムであってもかまわないことは明らかである。
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク,ハードディスク,光ディスク,光磁気ディスク,CD−ROM,CD−R,磁気テープ,不揮発性のメモリカード,ROMなどを用いることができる。
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
以上説明したように、本実施形態によれば、三次元CGオブジェクトを画面に表示し、その操作指示をメニューによって行うシステムにおいて、ユーザがメニューに妨げられることなく操作対象のオブジェクトを視認することが可能となる。また、ユーザの入力において、選択対象の決定にセンサからの位置情報を、選択項目の決定にセンサからの姿勢情報を用いることで、操作対象の選択と操作項目の選択の区別を明確に行うことが可能となる。
一般的なVRシステムに表示される画面を説明する図である。 VRシステムに表示される一般的なメニューを説明する図である。 従来手法のメニューにおいて項目を選択する方法を説明する図である。 実施形態によるVRシステムの構成を説明するブロック図である。 図4のCG生成部522の詳細構成を示すブロック図である。 実施形態によるCG生成部522の制御方法を説明するフローチャートである。 実施形態による操作メニューを説明する図である。 実施形態による操作メニューによる項目選択方法を説明する図である。 実施形態において生成されるCG画像を説明する図である。 実施形態によるメニュー表示の他の形態を示す図である。

Claims (8)

  1. 情報処理装置による操作指示方法であって、
    第1表示制御手段が、コンピュータグラフィックス及びポインタを表示画面上に表示させる第1表示制御工程と、
    第2表示制御手段が、ユーザからの操作入力に応じて、内部に空洞な領域を有し、項目を表示するための複数の項目領域を円周上に配置することにより環形状を有した操作メニューを表示する第2表示制御工程と、
    指示手段が、前記ポインタへの操作入力に応じて前記第2表示制御工程によって表示された操作メニューより項目を指示する指示工程と、
    表示変更手段が、前記コンピュータグラフィックスの仮想3次元空間における前記ユーザの視点位置と前記操作メニューの位置との距離に基づき、前記操作メニューの環形状の、3次元表示のためのパラメータとしての径の大きさを変更する表示変更工程とを有することを特徴とする操作指示方法。
  2. 前記第2表示工程において、前記第2表示手段は、ユーザからの所定の操作入力に応じて、前記ポインタの指示位置が前記空洞な領域内に含まれるように前記操作メニューを表示することを特徴とする請求項1に記載の操作指示方法。
  3. 前記表示変更工程において、前記表示変更手段は、前記ユーザの前記視点位置と前記操作メニューの位置との距離が短いほど、前記操作メニューの環形状の半径を大きくすることを特徴とする請求項1に記載の操作指示方法。
  4. 切り換え手段が、前記複数の項目領域において選択状態とする項目領域を、前記ポインタを移動するための操作とは異なる操作入力信号に応じて切り換える切り換え工程を更に備えることを特徴とする請求項1に記載の操作指示方法。
  5. 前記情報処理装置は、自身の位置及び姿勢を検出するセンサを有し、前記ポインタの移動及び前記複数の項目領域における選択状態の切り換えを指示する操作ユニットを更に備え、
    前記ポインタの移動は前記センサよりの位置情報に基づいて、前記選択状態の切り換えは前記センサよりの姿勢情報に基づいて制御することを特徴とする請求項4に記載の操作指示方法。
  6. コンピュータグラフィックス及びポインタを表示画面上に表示させる第1表示制御手段と、
    ユーザからの操作入力に応じて、内部に空洞な領域を有し、項目を表示するための複数の項目領域を円周上に配置することにより環形状を有した操作メニューを表示する第2表示制御手段と、
    前記ポインタへの操作入力に応じて前記第2表示制御手段によって表示された操作メニューより項目を指示する指示手段と、
    前記コンピュータグラフィックスの仮想3次元空間における前記ユーザの視点位置と前記操作メニューの位置との距離に基づき、前記操作メニューの環形状の、3次元表示のためのパラメータとしての径の大きさを変更する表示変更手段とを備えることを特徴とする操作指示装置。
  7. コンピュータを、
    コンピュータグラフィックス及びポインタを表示画面上に表示させる第1表示制御手段と、
    ユーザからの所定の操作入力に応じて、内部に空洞な領域を有し、項目を表示するための複数の項目領域を円周上に配置することにより環形状を有した操作メニューを表示する第2表示制御手段と、
    前記ポインタへの操作入力に応じて前記第2表示制御手段によって表示された操作メニューより項目を指示する指示手段と、
    前記コンピュータグラフィックスの仮想3次元空間における前記ユーザの視点位置と前記操作メニューの位置との距離に基づき、前記操作メニューの環形状の、3次元表示のためのパラメータとしての径の大きさを変更する表示変更手段とを備えることを特徴とする操作指示装置として機能させるためのコンピュータプログラム。
  8. コンピュータを、
    コンピュータグラフィックス及びポインタを表示画面上に表示させる第1表示制御手段と、
    ユーザからの所定の操作入力に応じて、内部に空洞な領域を有し、項目を表示するための複数の項目領域を円周上に配置することにより環形状を有した操作メニューを表示する第2表示制御手段と、
    前記ポインタへの操作入力に応じて前記第2表示制御手段によって表示された操作メニューより項目を指示する指示手段と、
    前記コンピュータグラフィックスの仮想3次元空間における前記ユーザの視点位置と前記操作メニューの位置との距離に基づき、前記操作メニューの環形状の、3次元表示のためのパラメータとしての径の大きさを変更する表示変更手段とを備えることを特徴とする操作指示装置として機能させるためのコンピュータプログラムが格納されたコンピュータ読み取り可能な記憶媒体。
JP2003341620A 2003-09-30 2003-09-30 操作指示方法および装置 Expired - Fee Related JP4343637B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003341620A JP4343637B2 (ja) 2003-09-30 2003-09-30 操作指示方法および装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003341620A JP4343637B2 (ja) 2003-09-30 2003-09-30 操作指示方法および装置

Publications (3)

Publication Number Publication Date
JP2005107963A JP2005107963A (ja) 2005-04-21
JP2005107963A5 JP2005107963A5 (ja) 2006-09-14
JP4343637B2 true JP4343637B2 (ja) 2009-10-14

Family

ID=34536176

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003341620A Expired - Fee Related JP4343637B2 (ja) 2003-09-30 2003-09-30 操作指示方法および装置

Country Status (1)

Country Link
JP (1) JP4343637B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407964A (zh) * 2015-03-17 2017-11-28 日商可乐普拉股份有限公司 用于在沉浸型虚拟空间控制目标操作的计算机程序以及计算机系统

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8321802B2 (en) 2008-11-13 2012-11-27 Qualcomm Incorporated Method and system for context dependent pop-up menus
WO2012066591A1 (ja) * 2010-11-15 2012-05-24 株式会社ソニー・コンピュータエンタテインメント 電子機器、メニュー表示方法、コンテンツ画像表示方法、機能実行方法
EP2469474B1 (en) * 2010-12-24 2020-02-12 Dassault Systèmes Creation of a playable scene with an authoring system
US20140082565A1 (en) * 2011-05-30 2014-03-20 Honda Motor Co., Ltd. Input apparatus
KR101904938B1 (ko) * 2011-09-23 2018-10-08 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN104246677A (zh) * 2012-04-20 2014-12-24 索尼公司 信息处理设备、信息处理方法和程序
JP6245840B2 (ja) * 2013-05-14 2017-12-13 東芝メディカルシステムズ株式会社 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US10503360B2 (en) * 2015-11-30 2019-12-10 Unisys Corporation System and method for adaptive control and annotation interface
JP2017181738A (ja) * 2016-03-30 2017-10-05 TsZ株式会社 画像表示装置
JP6122537B1 (ja) * 2016-09-08 2017-04-26 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
WO2018051436A1 (ja) * 2016-09-14 2018-03-22 株式会社朝日ネット 処理実行システム、情報処理装置、及びプログラム
JP7210131B2 (ja) * 2017-08-08 2023-01-23 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6934776B2 (ja) * 2017-08-31 2021-09-15 シャープ株式会社 表示制御装置、表示システム、ポインタ表示方法及びプログラム
JP6731015B2 (ja) 2018-05-11 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント プログラム、及び情報処理装置
WO2020195637A1 (ja) 2019-03-27 2020-10-01 富士フイルム株式会社 操作装置及び表示制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107407964A (zh) * 2015-03-17 2017-11-28 日商可乐普拉股份有限公司 用于在沉浸型虚拟空间控制目标操作的计算机程序以及计算机系统
CN107407964B (zh) * 2015-03-17 2019-04-05 日商可乐普拉股份有限公司 存储有用于在沉浸型虚拟空间控制目标操作的计算机程序的存储器以及计算机系统

Also Published As

Publication number Publication date
JP2005107963A (ja) 2005-04-21

Similar Documents

Publication Publication Date Title
JP4343637B2 (ja) 操作指示方法および装置
CN110603509B (zh) 计算机介导的现实环境中直接和间接交互的联合
US7557816B2 (en) Image processing apparatus, method and computer-readable storage medium for generating and presenting an image of virtual objects including the operation panel viewed from the position and orientation of the viewpoint of the observer
EP1821182B1 (en) 3d pointing method, 3d display control method, 3d pointing device, 3d display control device, 3d pointing program, and 3d display control program
JP4883774B2 (ja) 情報処理装置及びその制御方法、プログラム
JP6421670B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
US20070120846A1 (en) Three-dimensional motion graphic user interface and apparatus and method for providing three-dimensional motion graphic user interface
US11070724B2 (en) Image processing apparatus and method
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
WO2006018775A2 (en) Method and system for controlling a display
JPH11185058A (ja) オブジェクトの選択方法およびそのシステム
WO2010041557A1 (ja) 表示装置、表示方法、情報記録媒体、ならびに、プログラム
JP2008123376A (ja) メニュー表示装置、情報処理装置及びメニュー表示方法
US11308670B2 (en) Image processing apparatus and method
JP2018124746A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP3143006B2 (ja) 多次元画像操作装置
JP2009253474A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2001209826A (ja) 仮想空間の編集方法、仮想空間の編集装置、コンピュータプログラム記憶媒体および仮想現実感提示装置
JP4907156B2 (ja) 3次元ポインティング方法および3次元ポインティング装置ならびに3次元ポインティングプログラム
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
WO2023007927A1 (ja) 仮想空間提供装置
JP7236529B2 (ja) ヘッドマウント情報処理装置およびヘッドマウントディスプレイシステム
JP2024041582A (ja) 情報処理装置、システム、制御方法、およびコンピュータプログラム
KR101621326B1 (ko) 그래픽 유저 인터페이스 제공 장치 및 방법
JP2021524632A (ja) 3dモデルを表示する方法及びシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090416

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees