JP7424048B2 - 情報処理装置及びプログラム - Google Patents
情報処理装置及びプログラム Download PDFInfo
- Publication number
- JP7424048B2 JP7424048B2 JP2019235304A JP2019235304A JP7424048B2 JP 7424048 B2 JP7424048 B2 JP 7424048B2 JP 2019235304 A JP2019235304 A JP 2019235304A JP 2019235304 A JP2019235304 A JP 2019235304A JP 7424048 B2 JP7424048 B2 JP 7424048B2
- Authority
- JP
- Japan
- Prior art keywords
- aerial image
- document
- processor
- gesture
- air
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 18
- 230000004044 response Effects 0.000 claims description 25
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 40
- 238000000034 method Methods 0.000 description 27
- 230000008859 change Effects 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 11
- 230000000638 stimulation Effects 0.000 description 11
- 210000000056 organ Anatomy 0.000 description 10
- 210000000813 small intestine Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003247 decreasing effect Effects 0.000 description 7
- 230000007423 decrease Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000012790 confirmation Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000007480 spreading Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Description
請求項2に記載の発明は、プロセッサを有し、前記プロセッサは、空中に形成する立体的な像のデータを生成し、ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける情報処理装置であり、前記プロセッサは、前記ドキュメントの少なくとも3つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付け、前記プロセッサは、空中で行われるユーザのジェスチャに応じ、前記少なくとも3つの特性のうちの少なくとも1つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける、情報処理装置である。
請求項3に記載の発明は、前記プロセッサは、ジェスチャの方向に応じ、除かれる前記少なくとも1つの特性を変化させる、請求項1又は2に記載の情報処理装置である。
請求項4に記載の発明は、コンピュータに、空中に形成する立体的な像のデータを生成する機能と、ドキュメントの特性に基づいて、前記立体的な像内の特定の位置に当該ドキュメントを対応付ける機能と、前記ドキュメントの少なくとも3つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、空中に形成する前記立体的な像を面状の像に変化させると共に、前記少なくとも3つの特性のうちの少なくとも1つの特性を除いた残りの特性に基づいて、前記ドキュメントを当該面状の像内の位置に対応付ける機能と、を実現させるためのプログラムである。
請求項5に記載の発明は、コンピュータに、空中に形成する立体的な像のデータを生成する機能と、ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける機能と、前記ドキュメントの少なくとも3つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、空中で行われるユーザのジェスチャに応じ、前記少なくとも3つの特性のうちの少なくとも1つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける機能と、を実現させるためのプログラムである。
請求項2記載の発明によれば、目的とするドキュメントの選択を容易にできる。
請求項3記載の発明によれば、空中の位置を規定する特性を容易に変更できる。
請求項4記載の発明によれば、空中像を利用してユーザに対する多様な情報の提示を可能にすることができる。
請求項5記載の発明によれば、空中像を利用してユーザに対する多様な情報の提示を可能にすることができる。
<実施の形態1>
<システム構成>
図1は、実施の形態1で使用する情報処理システム1の構成例を示す図である。
図1に示す情報処理システム1は、通り抜け可能な像(以下「空中像」ともいう)を形成する空中像形成装置10と、空中像形成装置10等を制御する制御装置20と、指、指示棒、筆記具その他の物体による空中像に対する操作を検知するセンサ30と、指示に用いる指先等の物体に触覚刺激を与える超音波触覚インタフェース装置40とを有している。
以下の説明では、基本的に物体の先端を検知の対象として説明する。もっとも、手の平を操作に用いることも可能である。その場合には、手の平の全体を検知の対象とする。
空中像は、空中に浮かぶように形成されるので、物体は、空中像を通り抜けることが可能である。
なお、本実施の形態における空中像は、現実の空間に存在するスクリーンに投影される像ではない。また、本実施の形態における空中像は、発光素子のアレイが実空間を高速に移動することで生じる残像現象により表示される像でもない。
図1の場合、空中像の初期形状として立方体を想定する。
空中に形成される空中像は、立体の表面を規定する像に限らず、立体の表面を規定する像とその内部に対応する像の両方で構成されてもよい。換言すると、ボクセルにより表現される像でもよい。
また、空中像は、立体や平面の全体を規定する像に限らず、一部分の像でもよい。
本実施の形態の場合、空中像は、空中像が形成されている空間でユーザが物体を移動させることによって処理を指示するためのガイドとして使用される。また、空中像は、静止画像に限定されず、動画像でもよい。
空中像形成装置10が空中に形成する空中像を規定するデータ(以下「空中像データ」という)は、制御装置20が生成する。空中像データは、立体的な像のデータの一例である。
なお、図1では、ドキュメントが対応付けられている位置にアイコンを配置しているが、対応関係があっても空中像の内部にはドキュメントの位置を示すアイコン等が視覚的に観察されないようにすることも可能である。
プロセッサ21は、例えばCPUで構成される。記憶装置22は、例えばBIOS(=Basic Input Output System)等が記憶されたROM(=Read Only Memory)と、ワークエリアとして用いられるRAM(=Random Access Memory)と、基本プログラムやアプリケーションプログラム等が記憶されたハードディスク装置とで構成される。
センサ30は、空中像が形成されている空間にある手、指、ペン、電子機器等の物体の位置を検知する。センサ30は、物体の全体ではなく特定の部位を検知してもよい。一例では、センサ30は、手の平の位置を検知してもよい。別の例では、センサ30は、指の先端やペン型デバイスの先端の位置を検知しもよい。別の例では、センサ30は、指先に装着されるデバイスやペン型デバイスに埋め込まれた特定の部品の位置を検出してもよい。以下の説明では、センサ30が指先の位置を検知する例で説明する。
センサ30には、例えば赤外線センサや撮像センサを使用する。センサ30による位置の検知には、例えば数ミリ~約1センチメートルの幅を設ける。
超音波振動子アレイが作動すると、特定の領域に音響放射圧と呼ばれる圧力が生じる。このため、音響放射圧が生じている位置に指先が位置すると、表面に押されるような触覚刺激が生まれる。
例えば対応付けられているドキュメントの数が少ない位置やドキュメントの密度が低い位置での触覚刺激を弱く、対応付けられているドキュメントの数が多い位置やドキュメントの密度が高い位置での触覚刺激を強くしてもよい。この場合、触覚刺激の違いから、どのような特性の組み合わせに対応するドキュメントの数が多いか少ないかの通知が可能になる。
なお、超音波振動子アレイで発生される音響放射圧に代えて空気圧を用いて触覚刺激を与えてもよい。
ドキュメントの保存形式に制限はなく、WORD、JPEG、PDF、MOV、HTMLなど様々な形式で保存されたものを用いることができる。また、ドキュメントの更なる例には、データベースに記憶されている各項目の情報も含まれる。例えば、測定データ、統計データ等も含まれる。本実施の形態におけるドキュメントの例には、テキスト、表、画像、動画、音声、及び、これらの組み合わせが含まれる。画像には、静止画だけでなく動画も含まれる。この他、画像には、ウェブ画面等も含まれる。
本実施の形態の場合、ドキュメントがマッピングされるデータ空間上の座標系はx軸、y軸、z軸の3軸で規定される。各軸には、対応付けられるドキュメントの特性に応じた情報が割り当てられている。もっとも、各軸の全てが、ドキュメントの特性と共通である必要はない。例えば3軸のうちの2軸はドキュメントの特性と共通するが、残る1軸にはドキュメントの特性と関係がない情報が割り当てられていてもよい。
また、データ空間を規定する各座標軸に割り当てられている情報に、ドキュメントの特性を対応付ける変換用の規則や変換テーブルを使用してもよい。変換用の規則や変換テーブルを用いる場合、ドキュメントの特性を、データ空間を規定する各座標軸に割り当てられている情報に変換し、変換後の情報を用いて個々のドキュメントをデータ空間上にマッピングしてもよい。
本実施の形態における記憶装置22には、前述した位置の関係が記憶されている。このため、プロセッサ21は、ドキュメントが対応する実空間上の位置の座標を通じて、実空間上に形成される空中像の位置の座標を知ることが可能である。
図3に示す空中像には、不特定のフォルダに含まれるドキュメントが対応付けられている。立方体の大きさは、対応付けられているドキュメントの数によらず一定でもよいし、対応付けられているドキュメントの数に応じて変化してもよい。
本実施の形態の場合、対応付けるドキュメントの数が多い場合には立方体が大きくなり、対応付けるドキュメントの数が少ない場合には立方体が小さくなる。もっとも、立方体の大きさの変化は、線形に限らず非線形でもよい。
また、空中像としての立方体の大きさの変化は段階的でもよい。例えば対応付けられているドキュメントの数が10個までは第1のサイズ、11個から100個までは第2のサイズ、101個から1000個までは第3のサイズというように段階的に変化してもよい。
例えば操作画面に、割り当てが可能な特性の一覧が表示されている場合、一覧の中から選択された特性を、同じ操作画面上の座標系の各軸に割り当ててもよい。この場合、一覧の中から選択された特性を、特定の座標の欄にドラッグ&ドロップしてもよい。また例えば特性の一覧に対応する空中像の中から選択した特性を、立方体形状の空中像の希望する辺の位置にドラッグ&ドロップしてもよい。
本実施の形態の場合、選択が可能な特性として、新旧を表す時間、関連度、キーワードへの関連度、人気、記事の長さ等を想定する。
図3に示す例の場合、立方体のX軸方向は時間を表している。図3の場合、右側ほど古く、左側ほど新しい。Y軸方向は関連度を表している。関連度の例は、指定したキーワードに対する関連度、選択したドキュメントに対する関連度、検索者の興味関心(事前の登録により、又は、履歴情報を用いて特定する)に対する関連度である。図3の場合、奥側ほど関連度が低く、手前側ほど関連度が高い。Z軸方向は人気を表している。図3の場合、高いほど人気が高く、低いほど人気が低い。
それぞれの軸方向が表す内容は、立方体を空中像として形成するときに、立方体上又は立方体の付近に提示してもよいし、提示しなくてもよい。軸方向が表す内容が提示されることで、ドキュメントがどのような特性に基づいて立方体内の座標に対応付けられているかをユーザが把握し易くなる。
勿論、図3に示す情報の割り当ては一例である。
以下では、本実施の形態における処理動作例について説明する。
図4は、実施の形態1におけるプロセッサ21(図1参照)の処理動作の一例を説明するフローチャートである。
まず、プロセッサ21は、空中像形成装置10(図1参照)に形成させる空中像のデータを生成して空中像形成装置10に出力する(ステップ1)。すなわち、プロセッサ21は、空中像データを空中像形成装置10に出力する。空中像形成装置10は、受信した空中像データに基づき、空中に空中像を形成する。
続いて、プロセッサ21は、ドキュメントの特性に応じ、データ空間上における空中像内の特定の位置にドキュメントを対応付ける(ステップ3)。この段階のドキュメントは、データ空間上の座標系を基準とする特定の位置に対応付けられているだけであり、空中像内でユーザに認識されるとは限らない。
まず、プロセッサ21は、空中像の外側の空間で特定のジェスチャを検知したか否かを判定する(ステップ11)。ジェスチャの内容は、センサ30の検知信号に基づいてプロセッサ21が検知する。特定のジェスチャの具体例については後述する。
一方、ステップ11で肯定結果が得られた場合、プロセッサ21は、検知されたジェスチャの方向に応じて空中像を変形する(ステップ12)。
この後、プロセッサ21は、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける(ステップ13)。
図6は、ジェスチャによる立方体形状の空中像の変形例を説明する図である。
(A)は、手のひらを立方体形状の空中像における四角形ABCDに添えた状態を示す。この状態から手のひらをX軸方向に移動させるジェスチャに応じて、プロセッサ21は空中像の形を変化させる。一例として、手のひらを四角形ABCDと平行な四角形EFGHがある方向(図の矢印の方向)に移動させるジェスチャに応じて、X軸方向と平行な空中像の辺AE、BF、CG、DHの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺AE、BF、CG、DHの長さの減少も止まる。手のひらが、四角形EFGHが形成されている位置に到達すると、空中像の辺AE、BF、CG、DHは無くなる。つまり、四角形ABCDと四角形EFGHが合わさって、空中像は1つの四角形になる。この四角形は、四角形ABCDと呼んでも四角形EFGHと呼んでも、他の呼び方をしてもよいが、図6では四角形EFGH’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
なお、図6(B)と図6(C)に示す空中像に対しても、両手で行うジェスチャによって空中像の形が変化してもよい。
例えばプロセッサ21が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける(ステップ13)ときの詳細について図6の具体例を用いて説明すると、空中像が図6(A)に示す立方体ABCDEFGHから図6(B)に示す四角形EFGH’になるとき、空中像はX軸方向の長さを失っている。図6(A)に示す立方体ABCDEFGHのX軸方向、Y軸方向、Z軸方向がそれぞれ時間、関連度、人気を表している場合、図6(B)に示す四角形EFGH’のY軸方向とZ軸方向のそれぞれは関連度と人気を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という3つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは関連度と人気という2つの特性を表す位置に対応付けられることになる。
因みに、空中像が図6(C)に示す線分GH”から点H”に変化するとき、空中像はY軸方向の長さを失っている。図6(C)に示す線分GH”は関連度を表している場合、点H”は、関連度という1つの特性も失うことになる。
(A)は、手のひらを立方体形状の空中像における四角形AECGに添えた状態を示す。この状態から手のひらをY軸方向に移動させるジェスチャに応じて、プロセッサ21は空中像の形を変化させる。一例として、手のひらを四角形AECGと平行な四角形BFDHがある方向(図の矢印の方向)に移動させるジェスチャに応じて、Y軸方向と平行な空中像の辺AB、EF、CD、GHの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺AB、EF、CD、GHの長さの減少も止まる。手のひらが、四角形BFDHが形成されている位置に到達すると、空中像の辺AB、EF、CD、GHは無くなる。つまり、四角形AECGと四角形BFDHが合わさって、空中像は1つの四角形になる。この四角形は、四角形AECGと呼んでも四角形BFDHと呼んでも、他の呼び方をしてもよいが、図7では四角形BFDH’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
例えばプロセッサ21が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける(ステップ13)ときの詳細について図7の具体例を用いて説明すると、空中像が図7(A)に示す立方体ABCDEFGHから図7(B)に示す四角形BFDH’になるとき、空中像はY軸方向の長さを失っている。図7(A)に示す立方体ABCDEFGHのX軸方向、Y軸方向、Z軸方向がそれぞれ時間、関連度、人気を表している場合、図7(B)に示す四角形BFDH’のX軸方向とZ軸方向のそれぞれは時間と人気を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という3つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは時間と人気という2つの特性を表す位置に対応付けられることになる。
因みに、空中像が図7(C)に示す線分BD”から点D”に変化するとき、空中像はZ軸方向の長さを失っている。図7(C)に示す線分BD”は人気を表している場合、点D”は、人気という1つの特性も失うことになる。
(A)は、手のひらを立方体形状の空中像における四角形ABEFに添えた状態を示す。この状態から手のひらをZ軸方向に移動させるジェスチャに応じて、プロセッサ21は空中像の形を変化させる。一例として、手のひらを四角形ABEFと平行な四角形CDGHがある方向(図の矢印の方向)に移動させるジェスチャに応じて、Z軸方向と平行な空中像の辺AC、BD、EG、FHの長さを徐々に減少させることができる。手のひらの移動が止まると、空中像の辺AC、BD、EG、FHの長さの減少も止まる。手のひらが、四角形CDGHが形成されている位置に到達すると、空中像の辺AC、BD、EG、FHは無くなる。つまり、四角形ABEFと四角形CDGHが合わさって、空中像は1つの四角形になる。この四角形は、四角形ABEFと呼んでも四角形CDGHと呼んでも、他の呼び方をしてもよいが、図8では四角形CDGH’と呼ぶ。空中像の最初の形状が立方体である場合には、直方体を経て、正方形へと変化することになる。
例えばプロセッサ21が、変形後の空中像内の特定の位置に応じ、ドキュメントを対応付ける(ステップ13)ときの詳細について図8の具体例を用いて説明すると、空中像が図8(A)に示す立方体ABCDEFGHから図8(B)に示す四角形CDGH’になるとき、空中像はZ軸方向の長さを失っている。図8(A)に示す立方体ABCDEFGHのX軸方向、Y軸方向、Z軸方向がそれぞれ時間、関連度、人気を表している場合、図8(B)に示す四角形CDGH’のX軸方向とY軸方向のそれぞれは時間と関連度を表すといえる。つまり、立方体にドキュメントが対応付けられるとき、ドキュメントは時間、関連度、人気という3つの特性を表す位置に対応付けることになるが、正方形にドキュメントが対応付けられるとき、ドキュメントは時間と関連度という2つの特性を表す位置に対応付けられることになる。
因みに、空中像が図8(C)に示す線分CG”から点G”に変化するとき、空中像はX軸方向の長さを失っている。図8(C)に示す線分CG”は時間を表している場合、点G”は、時間という1つの特性も失うことになる。
また、ユーザが図8(B)に示す四角形CDGH’を両手で挟んだ状態からZ軸方向に手を開くジェスチャに応じて、X軸方向に対応する時間という特性とY軸方向に対応する関連度という特性の2つの特性を表す四角形CDGH’から、X軸方向、Y軸方向、Z軸方向がそれぞれ時間、関連度、人気を表す立方体へと変化させてもよい。
別の例として、図8(B)の四角形CDGH’を両手で挟んだ状態から、片方の手を四角形ABEFに向かって動かし、もう片方の手を四角形ABEFと反対の側に向かって動かすジェスチャに応じて、変形後の立体の対抗する2つの面が、移動後の2つの手の位置に対応するように四角形CDGH’を変形させることも可能である。
ジェスチャは指先で行ってもよい。例えば、片手の2本の指先をそれぞれ平面図形や立体図形内の対向する線分や面に添えた状態から指先を近づけたりくっつけたりするジェスチャによって線分を平面図形に、平面図形を立体図形に変形させてもよい。また、片手の2本の指先で線分や平面図形をつまんだ状態から指先を離すジェスチャによって線分を平面図形に、平面図形を立体図形に変形させてもよい。さらに、ジェスチャは、人体の一部ではない物体(例:ロボットの手や、ユーザが手に持っているペンの先)の移動も含む。
なお、手のひらを上下方向(ここではZ軸方向)に移動させるだけの場合には、手のひらが移動した位置を挟んで、立方体形状の空中像を左側の部分と右側の部分に分離させることも可能である。空中像を複数の部位に切り分けることで、対応付けられているドキュメントを別フォルダに保存したり他のユーザに配分したりすることが可能になる。
図9に示す空中像の変形は、空中に形成される空中像に割り当てられるドキュメントの絞り込みへの活用が可能である。換言すると、空中像を通じて扱うドキュメント数の減少に用いることが可能である。
この他、空中像の大きさをジェスチャにより拡大又は縮小させることも可能である。
図12は、ジェスチャによる空中像の拡大を説明する図である。(A)は両手を空中像の対角方向に広げるように動かすジェスチャを示し、(B)は変形後の空中像を示す。なお、空中像の拡大は、立方体形状のままの変形に限らず、特定の方向への拡大でもよい。例えば両手を、対面する位置にある一対の四角形に添えた状態で、両手の距離を広げることで、立方体形状を直方体形状に変形してもよい。図12の場合、2つの四角形ABCDと四角形EFGHに添えた状態で、その両手の距離をX軸の方向に広げると、立方体形状の空中像は、辺AE、BF、CG、DHがX軸方向に延長された直方体形状に変形される。空中像を拡大する方向は、Y軸の方向、Z軸の方向でもよい。
図13は、ジェスチャによる空中像の縮小を説明する図である。(A)は両手を空中像の対角方向に近づけるように動かすジェスチャを示し、(B)は変形後の空中像を示す。なお、空中像の縮小は、立方体形状のままの変形に限らず、特定の方向への縮小でもよい。例えば両手を、対面する位置にある一対の四角形に添えた状態で、両手の距離を狭めることで、立方体形状を直方体形状に変形してもよい。図13の場合、2つの四角形ABCDと四角形EFGHに添えた状態で、その両手の距離をX軸の方向に狭めると、立方体形状の空中像は、辺AE、BF、CG、DHがX軸方向に短縮された直方体形状に変形される。空中像を縮小する方向は、Y軸の方向、Z軸の方向でもよい。
図14は、実施の形態1におけるプロセッサ21(図1参照)の処理動作の他の一例を説明するフローチャートである。図14に示す処理は、ドキュメントの選択を検知する処理に対応する。
まず、プロセッサ21は、空中に形成された空中像の内側の空間に移動した物体があるか否かを判定する(ステップ21)。ここでの空中像は、前述したジェスチャによる変形後の形状を含んでいる。
ステップ21で否定結果が得られている間、プロセッサ21は、ステップ21の判定を繰り返す。
この後、プロセッサ21は、物体の位置に刺激を与える指示を出力する(ステップ23)。ここでの指示は、超音波触覚インタフェース装置40に出力される。
以下では、空中像を用いた操作の具体例を説明する。ここでは、コンピュータその他の不図示の情報端末を使用してインターネットやデータベース等を検索した結果を空中像に対応付けている場合の操作について説明する。
なお、説明の前提となる検索には、例えば、検索するキーワードを入力する欄と検索の方式を指示する欄が設けられた画面をユーザに提示し、検索条件を指定させる。検索の方式には、例えば複数のキーワードのいずれもが含まれるドキュメントが結果の上位に配置される確率が高いアンド検索、複数のキーワードが入力された場合に、個々のキーワードに対する検索の結果を合体させるOR検索、複数のキーワードを1つのキーワードとして検索する完全一致検索、特定のキーワードを検索の結果から除外する除外検索がある。
検索の結果をユーザに提示する際のオプションとして、例えば、「検索の結果を空中像で表示」のようなチェックボックスを設け、検索結果を空中像にマッピングした状態で確認したいユーザにチェックさせてもよい。なお、検索結果は空中像だけに表示しなければならないわけではなく、検索で見つかったドキュメントやドキュメントの一覧を画面上に表示した上で、検索で見つかったドキュメントをマッピングした空中像をさらにユーザに提示してもよい。
図15は、4つの検索の条件の全てを満たすドキュメントに関する情報を説明するデータテーブルの一例を説明する図である。
図15の場合、検索の条件#1は、複合機又はプリンタを含むドキュメントであり、検索の条件#2は、消耗品又は部品を含むドキュメントであり、検索の条件#3は、通知を含むドキュメントであり、検索の条件#4は、交換時期又は寿命を含むドキュメントである。
ドキュメントAの総文字数は10,000であり、ドキュメントBの総文字数は20,000であり、ドキュメントCの総文字数は30,000である。
なお、ドキュメントAには、条件#1を満たすテキストが30回出現し、条件#2を満たすテキストが10回出現し、条件#3を満たすテキストが5回出現し、条件#4を満たすテキストが20回出現する。
条件間での出現の比率は、(条件#1:条件#2:条件#3:条件#4)=(6:2:1:4)である。また、総文字数に対する出現回数の合計の割合は、0.0065となる。なお、全体的な関連度を表す値は、4.5である。
条件間での出現の比率は、(条件#1:条件#2:条件#3:条件#4)=(1:4:8:6)である。また、総文字数に対する出現回数の合計の割合は、0.0095となる。全体的な関連度を表す値は、5である。
ドキュメントCには、条件#1を満たすテキストが6回出現し、条件#2を満たすテキストが6回出現し、条件#3を満たすテキストが30回出現し、条件#4を満たすテキストが3回出現する。
条件間での出現の比率は、(条件#1:条件#2:条件#3:条件#4)=(2:2:10:1)である。また、総文字数に対する出現回数の合計の割合は、0.0015となる。全体的な関連度を表す値は、1である。
全体的な関連度を示す指標を用いたドキュメント数の絞り込みは、確認を容易にする目的だけでなく、注目する関連度への絞り込みにも利用が可能である。例えば空中像にマッピングされるドキュメントの全体的な関連度を「2」と「3」に限定することも可能である。
図16の場合には、ドキュメントの位置を同じ球形のアイコンで表現しているが、全体的な関連度に応じてアイコンの色を変更することも可能である。例えば全体的な関連度が高いドキュメントのアイコンを赤色で表現し、関連度が低いドキュメントのアイコンを青色で表現することも可能である。もっとも、関連度の高低ではなく、特定の関連度毎に特定の色を割り当ててもよい。
なお、関連度の高低は、触覚刺激の大きさで表現することも可能である。
なお、図16の場合、全体的な関連度が1~5のドキュメントをマッピングの対象としている。このため、図16の例では、図15で説明したドキュメントA、B、Cの位置を示すアイコンが空中像にマッピングされている。
マッピングの対象とするドキュメントは、全体的な関連度を指で操作することにより、又は、不図示の入力画面等を操作することにより変更が可能である。
(C)に示す空中像は、ユーザのジェスチャによる変形後の空中像である。このため、ドキュメントA、ドキュメントB及びドキュメントCは、頂点C及び頂点Dで構成される線分上に再マッピングされている。ドキュメントが満たす条件の数が2つに減少することで、各ドキュメントと残る2つの条件との関係の把握が容易になる。
勿論、空中像の変形やドキュメントA、ドキュメントB及びドキュメントCの再マッピングは、プロセッサ21(図1参照)がデータ空間上で行っている。
図17は、3つの検索の条件の全てを満たすドキュメントに関する情報を説明するデータテーブルの他の例を説明する図である。
図17の場合、検索の条件#1は、複合機又はプリンタを含むドキュメントであり、検索の条件#2は、消耗品又は部品を含むドキュメントであり、検索の条件#3は、通知を含むドキュメントである。具体例2の場合、検索の条件の数は3つである。
図17の場合も、条件#1~#3の全てを満たすドキュメントは、ドキュメントA、ドキュメントB、ドキュメントCである。
ドキュメントAの総文字数は10,000であり、ドキュメントBの総文字数は20,000であり、ドキュメントCの総文字数は30,000である。
ドキュメントAの場合、条件#1に対する出現回数の割合は0.003であり、条件#2に対する出現回数の割合は0.001であり、条件#3に対する出現回数の割合は0.0005である。なお、全キーワードに対する出現回数は45回であり、その出現の割合は0.0045である。
ドキュメントCには、条件#1を満たすテキストが6回出現し、条件#2を満たすテキストが6回出現し、条件#3を満たすテキストが30回出現する。ドキュメントCの場合、条件#1に対する出現回数の割合は0.0002であり、条件#2に対する出現回数の割合は0.0002であり、条件#3に対する出現回数の割合は0.001である。なお、全キーワードに対する出現回数は42回であり、その出現の割合は0.0014である。
図18の場合、頂点Aは正三角錐の最高点を与え、頂点B、C、Dで特定される三角形BCDは正三角錐の底面を与えている。図18に示す正三角錐内の高さ方向の位置は、全体的な関連度の高さを表している。ここでは、全体的な関連度を、全てのキーワードがドキュメント内に出現する割合とする。因みに、頂点Bは条件#1であり、頂点Cは条件#2であり、頂点Dは条件#3である。
従って、正三角錐にマッピングされるドキュメントの高さが頂点Aに近いほど全体的な関連度が高いことを示し、正三角錐にマッピングされるドキュメントの高さが底面を与える三角形BCDに近いほど全体的な関連度が低いことを示す。
図18の場合、全キーワードに対する出現の割合が最も高いドキュメントBの高さ方向の位置が最も高く、次にドキュメントA、最後にドキュメントCである。
図18の場合、全体的な関連度の指標が空中に形成されていない。この場合、マッピングされるドキュメントの数を減らすには、図9~図11で説明したジェスチャにより、空中像の一部を切り取る手法を用いればよい。
図19は、条件の数を2つに低減する又は移動先に対応する2つの条件の重みを大きくする場合に用いるジェスチャの例を説明する図である。
図19の例では、条件の変更用に提示されるポインタを指先で頂点Aと頂点Bを結ぶ線分に移動させる様子を表している。この例の場合、全体的な関連度と条件#1の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の線分の上に移動されると、移動先の線分を規定する2つの頂点に対応する条件の観点からドキュメントが再マッピングされる。
図19の例では、移動後のポインタが頂点Aと頂点Bを結ぶ線分の中間付近であるので、2つの条件に対する重み付けはほぼ等しくなる。一方、移動後のポインタが頂点Bに近い場合には、頂点Bに対応する条件に重みを付けて線分上におけるドキュメントの位置を再計算する。
また、ポインタの選択は、例えば指先の位置がポインタと重なった状態が予め定めた時間以上継続する場合に検知される。この他、指先がポインタと重なった状態で不図示の物理キーで選択の確定を入力する操作、音声により選択の確定を入力する操作も可能である。また、指先等の移動の速度が予め定めた速度以下に低下した場合をポインタの選択に使用してもよい。また、ポインタを掴む等のジェスチャの活用も可能である。なお、これらの操作は、ポインタの選択に限らず、指先の位置の入力にも活用が可能である。
図20の例では、条件の変更用に提示されるポインタを指先で頂点Bの近くに移動させる様子を表している。この例の場合、条件#1の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の頂点の近くに移動されると、移動先の頂点に対応する条件の観点からドキュメントが再マッピングされる。
本実施の形態の場合、移動後のポインタの位置と各頂点との距離に応じて条件の重み付けの割合も変化する。
図20の例では、移動後のポインタが頂点Bと近接しているので、ほぼ条件#1に重み付けて、ドキュメントの再マッピングが実行される。
図21の例では、条件の変更用に提示されるポインタを指先で頂点B、C及びDで形成される底面の近くに移動させる様子を表している。図21では、底面を網掛けで表している。
この例の場合、条件#1、条件#2及び条件#3の観点から、ドキュメントが再マッピングされる。
勿論、ポインタが他の面の近くに移動されると、移動先の面に対応する条件の観点からドキュメントが再マッピングされる。
本実施の形態の場合、移動後のポインタの位置と各頂点との距離に応じて条件の重み付けの割合も変化する。
図21の例では、移動後のポインタは頂点Bと頂点Cに近く、頂点Dからは離れている。このため、条件#1と条件#2に重み付けて、ドキュメントの再マッピングが実行される。
図22は、空中像を医療分野で活用する例を説明する図である。図22の例では、人体の皮膚を透明度の高い面で表現するとともに臓器を色付けで表現している。図22の例では、臓器として、脳、骨、肺、胃、小腸、大腸等が表現されている。
図22の場合、ユーザは、臓器単位で部位を指定又は特定することが可能である。もっとも、小腸の入り口付近、小腸の出口付近等のように、臓器の一部分の指定又は特定が可能でもよい。
図22の場合、標準的な人体の模型に対して、症例の画像がマッピングされて表現されている。ここでの症例の画像は、前述したドキュメントに相当する。例えば画像認識の技術により、症例の画像が小腸と認識された場合、プロセッサ21(図1参照)は、その画像に対して「小腸」の属性を付与し、模型上の小腸の位置にマッピングする。
また、臓器に応じた触覚刺激を与えることも可能である。例えばユーザが、小腸に対応する部位に手を入れた場合、手が小腸に位置することを示す触覚刺激を与えることも可能である。
なお、図22に示す角度からは背骨は見えないが、背骨の像も背骨の位置にマッピングされている。
もっとも、空中像による観察では、空中に形成される臓器の透過率を調整することにより、前面側の部位を透して背面側の部位を観察することも可能である。また、空中像の特性を活用し、前面側の臓器を通過して背面側の部位にアクセスすることも可能である。
もっとも、複数の部位が重なると観察が困難になることもあるので、背面側の部位は透過しないように空中像を形成させてもよい。前面側からは背面側の部位が見えない場合でも、前面側の部位を通過して背面側の部位にアクセスすることは可能である。
図23は、建築分野や住宅産業の分野に活用する例を説明する図である。図23に示す例は、架空のモデルルームを空中像により表現している。
図23の場合、架空のモデルルームのキッチンが空中像として表現されている。図23の空中像には、電子レンジ、炊飯器等の家電が配置されている。この例の場合、家電フォルダには、家電に対応する取扱説明書のデータが記憶されており、その情報が空中像内の電子レンジや炊飯器等の位置に対応付けられている。この例の場合、取扱説明書がドキュメントに相当する。
また、ユーザが空中像として形成されている電子レンジを架空のモデルルームの外に出すジェスチャを行うことも可能である。この場合に、空中像に対応付けられている取扱説明書を、現在の保存場所からゴミ箱フォルダ等の別の場所に移動することも可能である。
本実施の形態では、ドキュメントを空中像に対応付けるための他の方法について説明する。
前述の実施の形態1の場合には、ドキュメントを対応付ける位置をデータ空間上における空中像を基準に設定したが、空中像との位置とは無関係にドキュメントを対応付ける位置を設定することも可能である。
以下では、図24~図26を使用して、実施の形態2における処理動作例を説明する。なお、情報処理システム1(図1参照)の構成等は実施の形態1と同様である。
まず、プロセッサ21は、空中像形成装置10(図1参照)に形成させる空中像のデータを生成して空中像形成装置10に出力する(ステップ1)。すなわち、プロセッサ21は、空中像データを空中像形成装置10に出力する。空中像データを受信した空中像形成装置10は、空中に空中像データに対応する空中像を形成する。
この処理は、実施の形態1と同じである。
本実施の形態の場合、実空間内の座標系を基準とした空中像の位置として、例えば空中像を空中に形成する空中像形成装置10が使用する座標系やセンサ30(図1参照)が使用する座標系で特定された座標を使用する。
次に、プロセッサ21は、処理対象であるドキュメントの特性を取得する(ステップ2)。
対応付けに用いる座標系が異なるが、実空間内におけるドキュメントの位置は、実施の形態1と同じである。
まず、プロセッサ21は、空中像の外側の空間で特定のジェスチャを検知したか否かを判定する(ステップ11)。この処理は、実施の形態1と同じである。
ステップ11で否定結果が得られている間、プロセッサ21は、ステップ11の判定を繰り返す。
一方、ステップ11で肯定結果が得られた場合、プロセッサ21は、検知されたジェスチャの方向に応じて空中像を変形する(ステップ12)。この処理も実施の形態1と同じである。
まず、プロセッサ21は、空中に形成された空中像に対応する実空間の座標内に移動した物体があるか否かを判定する(ステップ61)。ここでの空中像は、前述したジェスチャによる変形後の形状を含んでいる。
ステップ61で否定結果が得られている間、プロセッサ21は、ステップ61の判定を繰り返す。
この後、プロセッサ21は、物体の位置に刺激を与える指示を出力する(ステップ23)。ここでの指示は、超音波触覚インタフェース装置40に出力される。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は前述した実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
前述の実施の形態1の場合、空中像を用いた操作の具体例1及び2において、空気中に形成される空中像に検索の結果をマッピングする例について説明したが、空中像に挿入されたユーザの指先が位置する座標に対応するドキュメントの内容を、検索の結果の提示に用いる立体形状の空中像とは別の空中像により提示してもよいし、物理的なディスプレイである液晶ディスプレイに提示してもよい。実施の形態2についても同様である。
また、前述した各実施の形態におけるプロセッサの動作は、1つのプロセッサが単独で実行してもよいが、物理的に離れた位置に存在する複数のプロセッサが協働して実行してもよい。また、プロセッサにおける各動作の実行の順序は、前述した各実施の形態に記載した順序のみに限定されるものでなく、個別に変更してもよい。
Claims (5)
- プロセッサを有し、
前記プロセッサは、
空中に形成する立体的な像のデータを生成し、
ドキュメントの特性に基づいて、前記立体的な像内の特定の位置に当該ドキュメントを対応付ける情報処理装置であり、
前記プロセッサは、前記ドキュメントの少なくとも3つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付け、
前記プロセッサは、空中に形成する前記立体的な像を面状の像に変化させると共に、前記少なくとも3つの特性のうちの少なくとも1つの特性を除いた残りの特性に基づいて、前記ドキュメントを当該面状の像内の位置に対応付ける、情報処理装置。 - プロセッサを有し、
前記プロセッサは、
空中に形成する立体的な像のデータを生成し、
ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける情報処理装置であり、
前記プロセッサは、前記ドキュメントの少なくとも3つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付け、
前記プロセッサは、空中で行われるユーザのジェスチャに応じ、前記少なくとも3つの特性のうちの少なくとも1つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける、情報処理装置。 - 前記プロセッサは、ジェスチャの方向に応じ、除かれる前記少なくとも1つの特性を変化させる、請求項1又は2に記載の情報処理装置。
- コンピュータに、
空中に形成する立体的な像のデータを生成する機能と、
ドキュメントの特性に基づいて、前記立体的な像内の特定の位置に当該ドキュメントを対応付ける機能と、
前記ドキュメントの少なくとも3つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、
空中に形成する前記立体的な像を面状の像に変化させると共に、前記少なくとも3つの特性のうちの少なくとも1つの特性を除いた残りの特性に基づいて、前記ドキュメントを当該面状の像内の位置に対応付ける機能と、
を実現させるためのプログラム。 - コンピュータに、
空中に形成する立体的な像のデータを生成する機能と、
ドキュメントの特性に基づいて、空中内の特定の位置に当該ドキュメントを対応付ける機能と、
前記ドキュメントの少なくとも3つの特性に基づいて、前記特定の位置に当該ドキュメントを対応付ける機能と、
空中で行われるユーザのジェスチャに応じ、前記少なくとも3つの特性のうちの少なくとも1つの特性を除いた残りの特性に基づいて、前記ドキュメントを空中内の別の位置に対応付ける機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019235304A JP7424048B2 (ja) | 2019-12-25 | 2019-12-25 | 情報処理装置及びプログラム |
US15/930,873 US11867929B2 (en) | 2019-12-25 | 2020-05-13 | Information processing apparatus and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019235304A JP7424048B2 (ja) | 2019-12-25 | 2019-12-25 | 情報処理装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021103495A JP2021103495A (ja) | 2021-07-15 |
JP7424048B2 true JP7424048B2 (ja) | 2024-01-30 |
Family
ID=76546138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019235304A Active JP7424048B2 (ja) | 2019-12-25 | 2019-12-25 | 情報処理装置及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11867929B2 (ja) |
JP (1) | JP7424048B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002056411A (ja) | 2000-05-30 | 2002-02-22 | Fujitsu Ltd | 物体情報三次元表示システム,物体情報三次元表示方法,物体情報三次元表示用のプログラム記録媒体および物体情報三次元表示用のプログラム |
JP2003216650A (ja) | 2002-01-28 | 2003-07-31 | Sony Corp | 情報媒介システムのためのグラフィカルユーザインターフェイス |
JP2009237863A (ja) | 2008-03-27 | 2009-10-15 | Nomura Research Institute Ltd | 電子ファイル管理装置および仮想店舗管理装置 |
JP2010160733A (ja) | 2009-01-09 | 2010-07-22 | Hitachi Kokusai Electric Inc | 検索結果表示方法、監視システム |
WO2012011321A1 (ja) | 2010-07-23 | 2012-01-26 | 日本電気株式会社 | 立体表示装置及び立体表示方法 |
JP2016018351A (ja) | 2014-07-08 | 2016-02-01 | 京セラドキュメントソリューションズ株式会社 | 情報処理システムおよび情報処理方法 |
JP2019207574A (ja) | 2018-05-29 | 2019-12-05 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6248462B2 (ja) | 2013-08-08 | 2017-12-20 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
WO2017047527A1 (ja) * | 2015-09-15 | 2017-03-23 | コニカミノルタ株式会社 | フィットネス機器およびフィットネスシステム |
JPWO2017125984A1 (ja) | 2016-01-21 | 2018-06-14 | パナソニックIpマネジメント株式会社 | 空中表示装置 |
-
2019
- 2019-12-25 JP JP2019235304A patent/JP7424048B2/ja active Active
-
2020
- 2020-05-13 US US15/930,873 patent/US11867929B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002056411A (ja) | 2000-05-30 | 2002-02-22 | Fujitsu Ltd | 物体情報三次元表示システム,物体情報三次元表示方法,物体情報三次元表示用のプログラム記録媒体および物体情報三次元表示用のプログラム |
JP2003216650A (ja) | 2002-01-28 | 2003-07-31 | Sony Corp | 情報媒介システムのためのグラフィカルユーザインターフェイス |
JP2009237863A (ja) | 2008-03-27 | 2009-10-15 | Nomura Research Institute Ltd | 電子ファイル管理装置および仮想店舗管理装置 |
JP2010160733A (ja) | 2009-01-09 | 2010-07-22 | Hitachi Kokusai Electric Inc | 検索結果表示方法、監視システム |
WO2012011321A1 (ja) | 2010-07-23 | 2012-01-26 | 日本電気株式会社 | 立体表示装置及び立体表示方法 |
JP2016018351A (ja) | 2014-07-08 | 2016-02-01 | 京セラドキュメントソリューションズ株式会社 | 情報処理システムおよび情報処理方法 |
JP2019207574A (ja) | 2018-05-29 | 2019-12-05 | 富士ゼロックス株式会社 | 情報処理装置、情報処理システム及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11867929B2 (en) | 2024-01-09 |
US20210199987A1 (en) | 2021-07-01 |
JP2021103495A (ja) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11475650B2 (en) | Environmentally adaptive extended reality display system | |
Kopper et al. | Rapid and accurate 3D selection by progressive refinement | |
Yan et al. | Eyes-free target acquisition in interaction space around the body for virtual reality | |
Poupyrev et al. | Manipulating objects in virtual worlds: Categorization and empirical evaluation of interaction techniques | |
US20180157396A1 (en) | Systems and methods for human-computer interaction using a two-handed interface | |
US20130104084A1 (en) | Systems and methods for human-computer interaction using a two handed interface | |
CA2957383A1 (en) | System and method for spatial interaction for viewing and manipulating off-screen content | |
JP2013037675A5 (ja) | ||
JP2022547775A (ja) | 仮想環境中のプロジェクションキャスティング | |
JP2003085590A (ja) | 3次元情報操作方法およびその装置,3次元情報操作プログラムならびにそのプログラムの記録媒体 | |
US20130104087A1 (en) | Systems and methods for human-computer interaction using a two handed interface | |
WO2022170223A1 (en) | User interactions in extended reality | |
Yin et al. | Precise target selection techniques in handheld augmented reality interfaces | |
Shen et al. | CUDA-based real-time hand gesture interaction and visualization for CT volume dataset using leap motion | |
US20130104086A1 (en) | Systems and methods for human-computer interaction using a two handed interface | |
Patel et al. | Human centred design of 3-D interaction devices to control virtual environments | |
CN117396925A (zh) | 用于操纵虚拟边界体积的方法、设备和计算机程序产品 | |
Shen et al. | Gpu-based realtime hand gesture interaction and rendering for volume datasets using leap motion | |
Menzner et al. | Above surface interaction for multiscale navigation in mobile virtual reality | |
Lam et al. | Interaction techniques in desktop virtual environment: the study of visual feedback and precise manipulation method | |
US20130100118A1 (en) | Systems and methods for human-computer interaction using a two handed interface | |
JP7424048B2 (ja) | 情報処理装置及びプログラム | |
Subramanian et al. | Survey and classification of spatial object manipulation techniques | |
EP2779116B1 (en) | Smooth manipulation of three-dimensional objects | |
Schwenderling et al. | Activation modes for gesture-based interaction with a magic lens in AR anatomy visualisation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230614 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230920 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7424048 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |