WO2023157669A1 - 情報処理装置、情報処理方法及び表示デバイス - Google Patents

情報処理装置、情報処理方法及び表示デバイス Download PDF

Info

Publication number
WO2023157669A1
WO2023157669A1 PCT/JP2023/003529 JP2023003529W WO2023157669A1 WO 2023157669 A1 WO2023157669 A1 WO 2023157669A1 JP 2023003529 W JP2023003529 W JP 2023003529W WO 2023157669 A1 WO2023157669 A1 WO 2023157669A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
wrist
information processing
content
rotation
Prior art date
Application number
PCT/JP2023/003529
Other languages
English (en)
French (fr)
Inventor
真生 近藤
惇一 清水
美友 岩船
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023157669A1 publication Critical patent/WO2023157669A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning

Abstract

本開示に係る情報処理装置は、ユーザの指の状態を示す第1情報と、前記ユーザの手首の回転を示す第2情報とを取得する取得部と、前記第1情報が示す前記ユーザの前記指の状態と、前記第2情報が示す前記ユーザの前記手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する決定部と、を備える。

Description

情報処理装置、情報処理方法及び表示デバイス
 本開示は、情報処理装置、情報処理方法及び表示デバイスに関する。
 近年、センシング技術の発展に伴い、装置に対する入力や制御を行う手法が多様化している。例えば、ユーザの手指等の動作を認識し、ユーザの手指等の動作を操作として受け付ける技術が知られている(例えば特許文献1)。
特開2017-068446号公報
 しかしながら、従来技術では、腕や手を単に無造作に動かしたときに得られる周波数が有する通常の波形等とは異なり特徴的な波形である所定の特徴量を有する周波数を抽出する。そのため、腕や手等の複数の部位の動作を周波数として取り扱うため、どの部位の動作がどのような操作に繋がるかをユーザが認識することが難しい。また、例えばリストバンド型の表示装置等、ユーザの腕から指先までの間に表示装置をユーザが装着している場合、腕や手等の部位の動作に応じて表示するディスプレイの位置が変わるという問題もある。このように、従来技術では、ユーザビリティの点で改善の余地がある。そのため、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることが望まれている。
 そこで、本開示では、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる情報処理装置、情報処理方法及び表示デバイスを提案する。
 上記の課題を解決するために、本開示に係る一形態の情報処理装置は、ユーザの指の状態を示す第1情報と、前記ユーザの手首の回転を示す第2情報とを取得する取得部と、前記第1情報が示す前記ユーザの前記指の状態と、前記第2情報が示す前記ユーザの前記手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する決定部と、を備える。
本開示の実施形態に係る情報処理装置の一例を示す図である。 本開示の実施形態に係る情報処理の一例を示す図である。 本開示の実施形態に係る情報処理装置の構成例を示す図である。 本開示の実施形態に係る情報処理の手順を示すフローチャートである。 表示部の位置を保持する構造の一例を示す図である。 表示部の位置を保持する構造の要部の一例を示す図である。 指の状態を示す一例を示す図である。 指の状態を示す一例を示す図である。 手首の回転と操作対象の例を示す図である。 情報処理の詳細な手順の一例を示すフローチャートである。 他の情報処理の一例を示す図である。 他の情報処理の一例を示す図である。 情報処理装置の他の構造例を示す図である。 情報処理装置の他の構造例を示す図である。 情報処理装置の他の構造例を示す図である。 情報処理装置の他の構造例を示す図である。 情報処理装置の他の構造例を示す図である。 情報処理装置の他の構造例を示す図である。 情報処理装置の他の構造例を示す図である。 装置構成の一例を示す図である。 リングタイプへの適用例の一例を示す図である。 リングタイプの適用例における情報処理の一例を示す図である。 他の適用例の一例を示す図である。 他の適用例の一例を示す図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、この実施形態により本願にかかる情報処理装置、情報処理方法及び表示デバイスが限定されるものではない。また、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
 以下に示す項目順序に従って本開示を説明する。
  1.実施形態
   1-1.本開示の実施形態に係る情報処理装置の構成及び処理の概要
    1-1-1.背景及び効果等
   1-2.実施形態に係る情報処理装置の構成
   1-3.実施形態に係る情報処理の手順
   1-4.具体例
    1-4-1.表示部の位置を保持する構造例
    1-4-2.指の状態の例
     1-4-2-1.第1の状態例
     1-4-2-2.第2の状態例
    1-4-3.手首の回転と操作対象例
    1-4-4.情報処理の手順の詳細例
    1-4-5.他の情報処理例
    1-4-6.他の操作例
  2.その他の実施形態
   2-1.他の装置構成例
    2-1-1.第1の構造例
    2-1-2.第2の構造例
    2-1-3.第3の構造例
    2-1-4.第4の構造例
   2-2.その他の適用例
    2-2-1.リングタイプ
    2-2-2.ハンドルグリップタイプ
    2-2-3.ペンタイプ
   2-3.その他
  3.本開示に係る効果
  4.ハードウェア構成
[1.実施形態]
[1-1.本開示の実施形態に係る情報処理装置の構成及び処理の概要]
 まず、図1及び図2を用いて、本開示の実施形態に係る情報処理装置の構成及び処理の概要について説明する。図1は、本開示の実施形態に係る情報処理装置の一例を示す図である。図2は、本開示の実施形態に係る情報処理の一例を示す図である。具体的には、図1は、ユーザU1の手首に装着されるリストバンド型の表示デバイスである情報処理装置100の一例を示す図である。例えば、情報処理装置100は、いわゆるスマートウォッチであってもよい。また、図2は、情報処理装置100を装着したユーザU1の指の状態及び手首の回転に応じて、情報処理装置100が実行する情報処理の概要を示す。
 なお、ここでいう手首の回転は、例えば前腕の延びる方向(長軸)を軸として手首を回転(回旋)させることである。以下では、ユーザの手首の回転のうち、ユーザの体の内側に向かって回転させる方向を第1の方向とし、ユーザの体の外側に向かって回転させる方向を第2の方向として記載する場合がある。例えば、第1の方向への手首の回転は内旋とも称され、第1の方向への手首の回転は外旋とも称される。
 図1では、ユーザU1がリストバンド型の表示デバイスである情報処理装置100を左手首に装着している場合を示す。情報処理装置100の装置構成の詳細については後述するが、図1は、情報処理装置100のバンド部20を左手首に巻き付けたユーザU1が、情報処理装置100の表示画面である表示部13を視認している状態を示す。
 情報処理装置100は、センサ部16(図3参照)によりユーザU1の指FGの状態及びユーザU1の左の手首WR(単に「手首WR」ともいう)の回転を検知し、検知したユーザU1の指FGの状態を示す第1情報とユーザU1の手首WRの回転を示す第2情報とを用いて処理を行う。具体的には、情報処理装置100は、ユーザU1の指FGの状態と、ユーザU1の手首WRの回転とに基づいて、出力するコンテンツの出力態様を決定する。図1では、情報処理装置100は、ユーザU1の指FGの状態と、ユーザU1の手首WRの回転とに基づいて、表示部13に表示されたコンテンツの表示態様を決定する。なお、出力態様を決定する対象は画面表示に限らず音声等であってもよいが、この点については後述する。
 ここから、ユーザU1の指FGの状態及びユーザU1の手首WRの回転に応じた情報処理の例について、図2を参照しつつ説明する。なお、図2では、各処理状況PS11~PS15に対応させて情報処理装置100-1~100-5として図示するが、ユーザU1の手首WRに装着された同一の情報処理装置100であり、特に区別せずに説明する場合は、情報処理装置100と記載する。また、図2では、図示の簡単化のために、表示部13、バンド部20、指FG及び手首WRの符号は処理状況PS11のみで示す。また、図2では、表示態様に対応させて表示部13-1~13-4として図示するが、同一の情報処理装置100の表示部13であり、特に区別せずに説明する場合は、表示部13と記載する。
 また、図2では、表示態様の変更の説明のために、星の図形、三角の図形、ひし形の図形、円の図形、四角の図形、及びハートの図形等の複数の図形が、上下方向に並べて配置されるコンテンツが表示部13に表示される場合を一例として説明する。また、図2では、表示部13の上下方向の中央部に表示されている図形が選択(指定)される場合を示す。なお、図2では、選択(指定)されている中央部に表示された図形を他の図形よりも濃く示すことにより、中央部に表示された図形がフォーカスされ、選択(指定)されていることを示す。
 また、図2では、コンテンツの出力態様の変更を受け付けるため条件が、ユーザの指が人差し指の先と親指の先とを接触させている状態である場合を一例として説明する。すなわち、図2では、情報処理装置100は、ユーザU1の指FGの状態が人差し指と親指との間を閉じた状態、いわゆるOKサインのジェスチャとなっている場合に、ユーザU1の手首WRの回転によりコンテンツの表示の変更を受け付けると決定する場合を示す。なお、図2に示す処理は一例に過ぎず、コンテンツの出力態様の変更を受け付けるため条件は、OKサインのジェスチャに限らず、任意の形状であってもよいが、この点については後述する。
 まず、図2に示す第1の処理状況である状況PS11は、ユーザU1の人差し指と親指が閉じていない状態、及びその状況での情報処理装置100-1を示す。表示部13-1は、状況PS11でのコンテンツの表示態様を示す。表示部13-1は、上下方向の上部に星の図形、中央部に三角の図形、下部にひし形の図形、及び下端部にハートの図形の一部を表示する。
 例えば、情報処理装置100は、状況PS11でユーザU1が手首WRを回転させた場合であっても、ユーザU1の指FGの状態が条件を満たさないと判定し、ユーザU1の手首WRの回転に対応するコンテンツの出力態様の変更を行わないと決定する。すなわち、情報処理装置100は、状況PS11でユーザU1が手首WRを回転させた場合であっても、表示部13-1の表示態様を維持する。
 図2に示す第2の処理状況である状況PS12は、ユーザU1が人差し指の先と親指の先とを接触させ、ユーザU1の人差し指と親指が閉じた状態、及びその状況での情報処理装置100-2を示す。例えば、状況PS12は、ユーザU1が指FGをつまむ動作を行った状況を示す。なお、状況PS12は、ユーザU1の手首WRの回転前の状況を示し、情報処理装置100-2での表示部13の表示態様は、表示部13-1の表示態様と同様である。
 図2に示す第3の処理状況である状況PS13は、ユーザU1の人差し指と親指が閉じた状態でユーザU1の手首WRを回転させている状況、及びその状況での情報処理装置100-3を示す。例えば、状況PS13は、ユーザU1が手首WRを回す動作を行った状況を示す。具体的には、状況PS13は、ユーザU1の左の手首WRを外側の方向(第2の方向)に向かって回転(外旋)させている状況を示す。
 情報処理装置100は、ユーザU1の人差し指と親指が閉じた状態でユーザU1が手首WRを回転させた場合、ユーザU1の指FGの状態が条件を満たすと判定し、ユーザU1の手首WRの回転に対応するコンテンツの出力態様の変更を行うと決定する。すなわち、情報処理装置100は、状況PS13でユーザU1が手首WRを回転させた場合、ユーザU1の手首WRの回転の方向及び量に応じて、表示部13の表示態様を変更する。情報処理装置100は、ユーザU1の手首WRの第2の方向への回転に応じてコンテンツの表示領域(表示範囲)を上方向に変更すると決定する。情報処理装置100は、ユーザU1の手首WRの第2の方向への回転の方向及び量に応じて上方向に変更したコンテンツの表示領域を表示部13に表示する。
 表示部13-2~13-4は、ユーザU1の手首WRを第2の方向に回転させた場合のコンテンツの表示態様の変化を示す。表示部13-2は、上下方向の上部に円の図形、中央部に星の図形、下部に三角の図形、及び下端部にひし形の図形の一部を表示する。すなわち、表示部13-2は、ユーザU1の手首WRの第2の方向への回転に応じて、表示部13-1からコンテンツの表示領域が上側に移動された場合を示す。具体的には、表示部13-2は、表示部13-1では表示領域外であった円の図形が配置された領域が表示領域に入り、ひし形の図形が配置された領域がほぼ表示領域外になった場合を示す。
 表示部13-3は、表示部13-2の状態からユーザU1がさらに手首WRを第2の方向に回転させた場合を示す。表示部13-3は、上下方向の上部に四角の図形、中央部に円の図形、下部に星の図形、及び下端部に三角の図形の一部を表示する。すなわち、表示部13-3は、ユーザU1の手首WRの第2の方向への回転に応じて、表示部13-2からコンテンツの表示領域が上側に移動された場合を示す。具体的には、表示部13-3は、表示部13-2では表示領域外であった四角の図形が配置された領域が表示領域に入り、三角の図形が配置された領域がほぼ表示領域外になった場合を示す。
 表示部13-4は、表示部13-3の状態からユーザU1がさらに手首WRを第2の方向に回転させた場合を示す。表示部13-4は、上下方向の上部にハートの図形、中央部に四角の図形、下部に円の図形、及び下端部に星の図形の一部を表示する。すなわち、表示部13-4は、ユーザU1の手首WRの第2の方向への回転に応じて、表示部13-3からコンテンツの表示領域が上側に移動された場合を示す。具体的には、表示部13-4は、表示部13-3では表示領域外であったハートの図形が配置された領域が表示領域に入り、星の図形が配置された領域がほぼ表示領域外になった場合を示す。なお、情報処理装置100は、ユーザU1の人差し指と親指が閉じた状態でユーザU1の手首WRの第2の方向へさらに回転させた場合、ハートの図形が中央部に位置するように、コンテンツの表示領域を変更すると決定する。この場合、情報処理装置100は、上下方向の中央部にハートの図形、下部に四角の図形、下端部に円の図形の一部を表示する。このように、情報処理装置100は、ユーザの手首の回転の量に対応する量をコンテンツの出力態様の変更量に決定する。
 図2に示す第4の処理状況である状況PS14は、ユーザU1が人差し指の先と親指の先とを離間させ、ユーザU1の人差し指と親指が閉じていない状態、及びその状況での情報処理装置100-4を示す。例えば、状況PS14は、ユーザU1がつまんだ指FGを放す動作を行った状況を示す。
 例えば、情報処理装置100は、状況PS14でユーザU1が手首WRを回転させた場合であっても、ユーザU1の指FGの状態が条件を満たさないと判定し、ユーザU1の手首WRの回転に対応するコンテンツの出力態様の変更を行わないと決定する。すなわち、情報処理装置100は、状況PS14でユーザU1が手首WRを回転させた場合であっても、表示部13-4の表示態様を維持する。
 図2に示す第5の処理状況である状況PS15は、ユーザU1の人差し指と親指が閉じていない状態でユーザU1の手首WRを回転させている状況、及びその状況での情報処理装置100-5を示す。例えば、状況PS15は、ユーザU1が手首WRを逆に回し状況PS11に戻した状況を示す。具体的には、状況PS15は、ユーザU1の左の手首WRを内側の方向(第1の方向)に向かって回転(内旋)させている状況を示す。
 情報処理装置100は、ユーザU1の人差し指と親指が閉じた状態でユーザU1が手首WRを回転させた場合、ユーザU1の指FGの状態が条件を満たさないと判定し、ユーザU1の手首WRの回転に対応するコンテンツの出力態様の変更を行わないと決定する。すなわち、情報処理装置100は、状況PS15ではユーザU1が手首WRを回転させても、表示部13-4の表示態様を維持する。なお、情報処理装置100は、ユーザU1の人差し指と親指が閉じた状態でユーザU1の手首WRの第1の方向へ回転させた場合、コンテンツの表示領域を下方向に変更すると決定する。この場合、情報処理装置100は、ユーザU1の手首WRの第1の方向への回転の方向及び量に応じて下方向に変更したコンテンツの表示領域を表示部13に表示する。
 上述したように、情報処理装置100は、ユーザの指の状態と、第2情報が示すユーザの手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定することにより、ユーザの指の状態と手首の回転との2つのユーザの動作を用いてコンテンツの出力態様を決定することができる。したがって、情報処理装置は、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 図2に示す処理は、リストバンドデバイスである情報処理装置100の画面表示部である表示部13に表示されたメニューリストのGUIを上下スクロールする場合、指をつまむ姿勢の状態のまま、手首をひねると、ひねった方向に対応した方向にスクロールする。例えば、情報処理装置100は、左手操作の場合、指をつまむ姿勢の状態のまま手の平を下向きの状態から、上むきの状態に回すと、GUIメニューは上から下に流れる。また、情報処理装置100は、指をつまむ姿勢の状態のままその逆の方向に回すと、GUIメニューは下から上に流れる。情報処理装置100は、人差し指と親指を開いた状態だと、手首をひねってもGUIはスクロールしない。これにより、情報処理装置100を利用するユーザは、手首の回転運動と、人差し指と親指との間を開いたり、閉じたりする運動を組み合わせることで、継続的なスクロール操作が可能となる。
[1-1-1.背景及び効果等]
 従来のリストバンド型(手首装着型)の表示デバイスにおいて、画面内のGUI(Graphical User Interface)操作は画面に対するタッチ操作や、ボタン操作が多い。しかしながら、リストバンド型のウェアラブルディスプレイのような小さなディスプレイ面積に対するタッチ操作の場合、タッチをする指先によって画面の多くを隠してしまったりすることで操作中の視認性も悪く、またタッチする指の動かせる範囲も狭い。そのため、スクロール操作等もスマートフォンのような大きな画面に比べ操作しづらい。また、例えば電車内でつり革を握りながらGUI操作をする様な片手の姿勢が制限される状態でのGUI操作は困難であった。
 一方で、情報処理装置100は、片手での操作が可能となり、利便性が向上させることができる。このように、情報処理装置100は、手首の回転運動によるリストバンドの片手操作を受け付ける。これにより、情報処理装置100は、リストバンド型のウェアラブルデバイスにおいて、手首の回転運動と指の姿勢をセンシングし、UI(User Interface)の操作に用いることで、片手での直感的なUI操作が可能にすることができる。このように、情報処理装置100は、手首の回転及び手の指の開き具合をセンシングする手首装着型の表示デバイスであり、GUIやあらゆる機器について直感的な操作をユーザに行わせることができる。
[1-2.実施形態に係る情報処理装置の構成]
 次に、実施形態に係る情報処理を実行する情報処理装置の一例である情報処理装置100の構成について説明する。図3は、本開示の実施形態に係る情報処理装置100の構成例を示す図である。例えば、図3に示す情報処理装置100は、情報処理装置の一例である。情報処理装置100は、後述する情報処理装置としての機能を実現するコンピュータである。
 図3に示すように、情報処理装置100は、通信部11と、入力部12と、表示部13と、記憶部14と、制御部15と、センサ部16と、音声出力部17とを有する。
 通信部11は、例えば、NIC(Network Interface Card)や通信回路等によって実現される。通信部11は、通信網N(インターネット等のネットワーク)と有線又は無線で接続され、通信網Nを介して、他の装置等との間で情報の送受信を行う。
 入力部12は、ユーザから各種操作が入力される。入力部12は、ユーザによる入力を受け付ける。例えば、入力部12は、タッチパネル機能により表示面(例えば表示部13)を介してオペレータ等のユーザからの各種操作を受け付けてもよい。また、入力部12は、情報処理装置100に設けられたボタン等により各種操作を受け付けてもよい。入力部12は、マイク等を介して音声によるユーザの入力を受け付けてもよい。入力部12は、ユーザの発話による各種操作を受け付けてもよい。
 表示部13は、各種情報を表示する。表示部13は、各種情報を出力する出力部として機能する。表示部13は、例えば液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイ等によって実現されるディスプレイ(表示画面)であり、各種情報を表示するための表示装置である。表示部13は、検知部152による検知結果の情報を表示する。表示部13は、決定部153により決定された情報を表示する。表示部13は、生成部154により生成された情報を表示する。表示部13は、決定部153により決定された出力態様によりコンテンツを出力する。
 記憶部14は、例えば、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部14は、処理に必要な各種情報を記憶する。記憶部14は、表示部13に表示されるコンテンツに関する各種情報を記憶する。例えば記憶部14は、表示部13に表示されるコンテンツを記憶する。例えば、記憶部14は、画像等の情報の表示に必要な情報、情報処理に必要な情報等の各種情報を記憶する。記憶部14は、センサ部16による検知結果の情報を記憶する。例えば、記憶部14は、検知結果に基づき表示する情報を記憶する。
 例えば、記憶部14は、センサ部16により検知された情報を記憶する。例えば、記憶部14は、指の状態の推定(特定)に用いる情報を記憶する。例えば、記憶部14は、手首の回転推定(特定)に用いる情報を記憶する。例えば、記憶部14は、指の状態及び手首の回転推定(特定)に用いる画像を記憶する。なお、上記は一例に過ぎず、記憶部14は、ユーザへのサービスの提供に用いる各種情報を記憶する。
 また、例えば、記憶部14は、音声認識機能を実現する音声認識アプリケーション(プログラム)の情報を記憶してもよい。例えば、情報処理装置100は、音声認識アプリケーション(単に「音声認識」ともいう)を起動することにより、音声認識が実行可能になる。記憶部14は、音声認識に用いる各種情報を記憶してもよい。記憶部14は、音声認識辞書に用いる辞書(音声認識辞書)の情報を記憶してもよい。記憶部14は、複数の音声認識辞書の情報を記憶してもよい。
 制御部15は、例えば、CPU(Central Processing Unit)やMPU(Micro Processing Unit)等によって、情報処理装置100内部に記憶されたプログラム(例えば、本開示に係る情報処理プログラム)がRAM(Random Access Memory)等を作業領域として実行されることにより実現される。また、制御部15は、コントローラ(controller)であり、例えば、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)等の集積回路により実現されてもよい。
 図3に示すように、制御部15は、取得部151と、検知部152と、決定部153と、生成部154と、送信部155とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部15の内部構成は、図3に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
 取得部151は、各種情報を取得する。取得部151は、外部の情報処理装置から各種情報を取得する。取得部151は、記憶部14から各種情報を取得する。取得部151は、入力部12により受け付けられた情報を取得する。
 取得部151は、検知部152が検知した各種情報を取得する。取得部151は、決定部153が決定した各種情報を取得する。取得部151は、生成部154が生成した各種情報を取得する。取得部151は、センサ部16により検知されたセンサ情報を取得する。
 取得部151は、ユーザの指の状態を示す第1情報を取得する。取得部151は、ユーザの手首の回転を示す第2情報を取得する。
 検知部152は、検知処理を行う。検知部152は、各種情報を検知する。検知部152は、外部の情報処理装置から取得された情報に基づいて、各種情報を検知する。検知部152は、記憶部14に記憶された情報に基づいて、各種情報を検知する。
 検知部152は、ユーザの指の状態を示す第1情報を検知する。検知部152は、第1のセンサ161により第1情報を検知する。検知部152は、ユーザの手首の回転を示す第2情報を検知する。検知部152は、第2のセンサ162により第2情報を検知する。
 決定部153は、決定処理を行う。決定部153は、各種決定を行う。決定部153は、記憶部14に記憶された情報に基づいて各種情報を決定する。決定部153は、取得部151により取得された情報に基づいて各種情報を決定する。決定部153は、検知部152により検知された情報に基づいて各種情報を決定する。
 決定部153は、各種判定を行う。決定部153は、記憶部14に記憶された情報に基づいて、各種判定を行う。決定部153は、取得部151により取得された情報に基づいて、各種判定を行う。決定部153は、検知部152により検知された情報に基づいて各種判定を行う。
 決定部153は、第1情報が示すユーザの指の状態と、第2情報が示すユーザの手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する。決定部153は、ユーザの指の状態と、ユーザの手首の回転とに基づいて、表示デバイスであるデバイスに表示されたコンテンツの表示態様を決定する。決定部153は、ユーザの指の状態によりコンテンツの出力態様を変更するか否かを決定し、ユーザの手首の回転によりコンテンツの出力態様を変更する量を決定する。
 決定部153は、ユーザの手首の回転の量に対応する量をコンテンツの出力態様の変更量に決定する。決定部153は、ユーザの手首の回転が第1の方向である場合、コンテンツに対応する一次元の一方に変更し、ユーザの手首の回転が第1の方向とは反対方向の第2の方向である場合、コンテンツに対応する一次元の他方に変更すると決定する。
 決定部153は、一次元がコンテンツの出力量に対応する場合、ユーザの手首の第1の方向への回転に応じてコンテンツの出力量を減少し、ユーザの手首の第2の方向への回転に応じてコンテンツの出力量を増加すると決定する。決定部153は、一次元がコンテンツの表示領域に対応する場合、ユーザの手首の第1の方向への回転に応じてコンテンツの表示領域を減少し、ユーザの手首の第2の方向への回転に応じてコンテンツの表示領域を増加すると決定する。
 決定部153は、一次元がコンテンツの出力音量に対応する場合、ユーザの手首の第1の方向への回転に応じてコンテンツの出力音量を減少し、ユーザの手首の第2の方向への回転に応じてコンテンツの出力音量を増加すると決定する。決定部153は、一次元がコンテンツの上下方向に対応する場合、ユーザの手首の第1の方向への回転に応じてコンテンツの表示領域を下方向に変更し、ユーザの手首の第2の方向への回転に応じてコンテンツの表示領域を上方向に変更すると決定する。
 決定部153は、ユーザの指の状態が条件を満たす場合、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行うと決定する。決定部153は、ユーザの指の状態が条件を満たさない場合、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行わないと決定する。
 決定部153は、ユーザの指の状態が、コンテンツの出力の変更に対応するジェスチャに該当する場合、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行うと決定する。決定部153は、ユーザの指の状態が、コンテンツの出力の変更に対応する形状となっている場合、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行うと決定する。
 生成部154は、各種情報を生成する生成処理を行う。生成部154は、記憶部14に記憶された情報に基づいて各種情報を生成する。生成部154は、取得部151により取得された情報に基づいて各種情報を生成する。生成部154は、検知部152により検知された情報に基づいて各種情報を生成する。生成部154は、決定部153により決定された情報に基づいて各種情報を生成する。
 生成部154は、表示部13に表示する各種情報を生成してもよい。生成部154は、表示部13に表示する文字情報やグラフといった画像情報などの各種情報を生成してもよい。この場合、生成部154は、画面に関する情報(画像)を画像に関連する種々の従来技術を適宜用いて生成する。生成部154は、画像をGUIに関する種々の従来技術を適宜用いて生成する。例えば、生成部154は、CSS、JavaScript(登録商標)、HTML、あるいは、上述した情報表示や操作受付等の情報処理を記述可能な任意の言語により画像を生成してもよい。
 送信部155は、各種情報を送信する。送信部155は、各種情報の提供を行う。送信部155は、外部の情報処理装置へ各種情報を提供する。送信部155は、外部の情報処理装置へ各種情報を送信する。送信部155は、記憶部14に記憶された情報を送信する。送信部155は、取得部151により取得された情報を送信する。送信部155は、検知部152による検知結果を送信する。送信部155は、決定部153により決定された情報を送信する。送信部155は、生成部154により生成された情報を送信する。
 なお、上述した制御部15による各処理は、例えば、JavaScript(登録商標)などにより実現されてもよい。また、上述した制御部15による情報処理等の処理は、所定のアプリケーションにより行われる場合、制御部15の各部は、例えば、所定のアプリケーションにより実現されてもよい。例えば、制御部15による情報処理等の処理は、外部の情報処理装置から受信した制御情報により実現されてもよい。例えば、上述した表示処理が所定のアプリケーション(例えば情報出力アプリ等)により行われる場合、制御部15は、例えば、所定のアプリや専用アプリを制御するアプリ制御部を有してもよい。
 センサ部16は、様々なセンサを検知するセンサを有する。図3の例では、センサ部16は、第1のセンサ161と第2のセンサ162とを有する。
 第1のセンサ161は、ユーザの指の状態を検知するために用いられるセンサである。例えば、第1のセンサ161は、画像センサ(カメラ)である。第1のセンサ161は、筋電センサであってもよい。なお、上記は一例に過ぎず、第1のセンサ161は、ユーザの指の状態を検知可能であれば、どのようなセンサであってもよい。例えば、第1のセンサ161は、IMU(Inertial Measurement Unit)等であってもよい。
 第2のセンサ162は、ユーザの手首の回転を検知するために用いられるセンサである。第2のセンサ162は、画像センサ(カメラ)である。第2のセンサ162は、ジャイロセンサであってもよい。なお、上記は一例に過ぎず、第2のセンサ162は、ユーザの指の状態を検知可能であれば、どのようなセンサであってもよい。例えば、第2のセンサ162は、赤外線等を利用した光学センサ等であってもよい。
 なお、第1のセンサ161と第2のセンサ162とは、一体であってもよい。例えば、画像によりユーザの指の状態及びユーザの手首の回転を推定(特定)する場合、第1のセンサ161と第2のセンサ162とは、1つの画像センサにより実現させてもよい。
 なお、センサ部16は、第1のセンサ161や第2のセンサ162以外にも様々なセンサを有してもよい。また、センサ部16は、マイク等、音声を検知する音声センサを有してもよい。センサ部16は、情報処理装置100の位置を検知するセンサ(位置センサ)を有してもよい。例えば、センサ部16は、GPS(Global Positioning System)センサを有してもよい。また、情報処理装置100の位置情報をセンサ情報として取得する場合、センサ部16は、通信を行っている基地局の位置情報や、WiFi(登録商標)(Wireless Fidelity)の電波を用いて推定された情報処理装置100の位置情報を取得してもよい。
 また、センサ部16は、ユーザの生体信号を検知するためのセンサ(生体信号センサ)を有してもよい。例えば、情報処理装置100は、ユーザの心拍を検知する心拍センサ、ユーザの脳波を検知する脳波センサ、ユーザの脈拍を検知する脈拍センサ(脈波センサ)、ユーザの呼吸を検知する呼吸センサ(呼気センサ)、ユーザの発汗を検知する発汗センサ等の種々の生体信号を検知するセンサを有してもよい。また、センサ部16における上記の各種情報を検知するセンサは共通のセンサであってもよいし、各々異なるセンサにより実現されてもよい。
 音声出力部17は、各種情報を出力する出力部として機能する。音声出力部17は、音声を出力するスピーカーによって実現され、各種情報を音声として出力するための出力装置である。音声出力部17は、コンテンツを音声出力する。音声出力部17は、決定部153により決定された出力態様によりコンテンツを出力する。例えば、音声出力部17は、表示部13に表示される情報に対応する音声を出力する。
[1-3.実施形態に係る情報処理の手順]
 次に、図4を用いて、実施形態に係る情報処理の手順について説明する。図4は、本開示の実施形態に係る情報処理の手順を示すフローチャートである。
 図4に示すように、情報処理装置100は、ユーザの指の状態を示す第1情報を取得する(ステップS101)。情報処理装置100は、ユーザの手首の回転を示す第2情報を取得する(ステップS102)。
 第1情報が示すユーザの指の状態と、第2情報が示すユーザの手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する(ステップS103)。
[1-4.具体例]
 ここから、図5~図10を用いて各種構成及び処理の具体例を説明する。なお、上述した内容と同様の点については適宜説明を省略する。
[1-4-1.表示部の位置を保持する構造例]
 上述したユーザの手首の回転を操作に利用する場合、操作にユーザの手首の回転動作を伴うため、手首の回転角度次第では画面表示、すなわち表示部13の視認性が低下する場合がある。そのため、ユーザの手首の回転が行われた場合であっても表示部13の位置を保持することが望まれる。情報処理装置100は、表示部13の位置を保持する構造を有することが望まれる。
 図5及び図6を用いて、表示部の位置を保持する構造例を説明する。図5は、表示部の位置を保持する構造の一例を示す図である。図6は、表示部の位置を保持する構造の要部の一例を示す図である。
 図5に示すように、情報処理装置100のバンド部20は、ユーザの手首の周方向に沿って配置される円周部21と、円周部21の内周に沿って所定の間隔で配置される複数のベアリング部22とを有する。ベアリング部22は、内周側に配置され、円周部21の周方向に沿って回転するように配置される。なお、図5中のベアリング部22の内側に示す円形は、情報処理装置100がユーザの手首に装着された際のユーザの手首を模式的に示す。
 また、円周部21は、周方向に沿って所定の間隔で複数のヒンジ部211を有する。図5及び図6に示すように、ヒンジ部211は、周方向に沿ってベアリング部22間に設けられる。例えば、円周部21は、各々にベアリング部22が取り付けられた複数のパーツ間がヒンジ部211により連結されて構成される。図5及び図6に示すバンド部20は、ベアリング部22がユーザの手首に接触する。ユーザの手首に接触するベアリング部22がユーザの手首の回転に応じて回転することにより、バンド部20は、情報処理装置100を装着したユーザの手首の回転とともに回転することなく、所定の位置が保持される。
 また、情報処理装置100は、バンド部20の円周部21のうち、表示部13が配置される位置に対向する位置に、保持部として機能する錘30を備える。例えば、錘30は、表示部13よりも重い部材が用いられる。例えば、情報処理装置100を装着したユーザの手首の軸(長軸)が重力方向に交差する場合、情報処理装置100のうち錘30が配置された箇所が下側に位置する。これにより、図5及び図6では、情報処理装置100のうち表示部13が配置された箇所が上側に位置する。
 すなわち、図5及び図6では、情報処理装置100を装着したユーザが手首を回転させても、情報処理装置100は、ベアリング部22によりユーザの手首の回転とともに回転することなく、錘30の配置に応じた位置を保持する。
 このように、図5及び図6に示す情報処理装置100の錘30は、ユーザが手首を回転した場合に、ユーザの手首の周方向の表示部13の位置を、ユーザの手首の回転前の位置である保持位置に保持する保持部として機能する。錘30は、ユーザの手首への装着時に、ユーザの手首の周方向に沿って表示部13とともに移動自在である。錘30は、ユーザの手首への装着時に、表示部13とはユーザの手首の周方向の異なる位置に配置される。図5及び図6では、錘30は、表示部13が配置される位置に対向する位置に配置される。
 また、情報処理装置100の表示部13は、ユーザの手首への装着時に、ユーザの手首の周方向に沿って移動自在である。表示部13は、ユーザが重力方向に交差する方向を軸として手首を回転した場合に、錘30がユーザの手首の周方向の位置が保持されることにより、保持位置に保持される。表示部13は、錘30とのユーザの手首の周方向の位置の差に応じた保持位置に保持される。
 上述したように、情報処理装置100は、バンド部20に、身体の装着部に対して非常に低摩擦な機構であるベアリング部22を設け、装着時の手の平側に重心が来るように設計することで、手首がどんな回転状態でも良好な視認性を確保することができる。例えば、情報処理装置100は、手首に対するデバイスの回転移動距離を赤外センサ等で検出し、それをスクロールの移動距離に反映させる。また、情報処理装置100は、錘30の位置を自由に調整できる機構を設けることで、任意の位置に表示部13を保持することが可能となる。
[1-4-2.指の状態の例]
 上述したように、コンテンツの出力態様の変更を受け付けるため条件とする指の状態は、任意の形状であってもよい。この点について以下例を示す。
[1-4-2-1.第1の状態例]
 まず、図7を用いて第1の状態の例を説明する。図7は、指の状態を示す一例を示す図である。図7に示す例は、図2で説明したユーザの指の状態が人差し指と親指との間を閉じた状態となっている場合に、ユーザの手首の回転によりコンテンツの表示の変更を受け付けると決定する場合を示す。
 図7中の状態ST11は、人差し指と親指を開いた状態を示す。例えば、情報処理装置100は、ユーザの指の状態が状態ST11である場合、ユーザが手首を回転させても、ユーザの指の状態が条件を満たさないと判定し、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行わないと決定する。例えば、情報処理装置100は、ユーザの指の状態が状態ST11でユーザが手首を回転させた場合であっても、ユーザが手首を回転させる前の表示態様を維持する。
 図7中の状態ST12は、人差し指と親指を閉じた状態を示す。例えば、情報処理装置100は、ユーザの指の状態が状態ST12である場合、ユーザが手首を回転させても、ユーザの指の状態が条件を満たすと判定し、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行うと決定する。例えば、情報処理装置100は、ユーザの指の状態が状態ST12でユーザが手首を回転させた場合、ユーザの手首の回転の方向及び量に応じて、コンテンツの表示態様を変更する。
[1-4-2-2.第2の状態例]
 次に、図8を用いて第2の状態の例を説明する。図8は、指の状態を示す一例を示す図である。図8に示す例は、ユーザの手が握られた状態となっている場合に、ユーザの手首の回転によりコンテンツの表示の変更を受け付けると決定する場合を示す。
 図8中の状態ST21は、手、すなわち5本の指を開いた状態を示す。例えば、情報処理装置100は、ユーザの指の状態が状態ST21である場合、ユーザが手首を回転させても、ユーザの指の状態が条件を満たさないと判定し、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行わないと決定する。例えば、情報処理装置100は、ユーザの指の状態が状態ST21でユーザが手首を回転させた場合であっても、ユーザが手首を回転させる前の表示態様を維持する。
 図8中の状態ST22は、手(拳)、すなわち5本の指を握った状態を示す。例えば、情報処理装置100は、ユーザの指の状態が状態ST22である場合、ユーザが手首を回転させても、ユーザの指の状態が条件を満たすと判定し、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行うと決定する。例えば、情報処理装置100は、ユーザの指の状態が状態ST22でユーザが手首を回転させた場合、ユーザの手首の回転の方向及び量に応じて、コンテンツの表示態様を変更する。
[1-4-3.手首の回転と操作対象例]
 なお、上述した例では、コンテンツの出力態様の決定の一例として、コンテンツの表示領域(範囲)を上下方向に変更する場合を一例として説明したが、対象とするコンテンツの出力態様は、コンテンツの表示領域に限らず、様々な対象であってもよい。すなわち、情報処理装置100は、スクロール操作以外にも、フォーカス移動、レベル調整、拡大及び縮小等のサイズ調整等のGUI操作に手首の回転を用いてもよい。この点について図9を用いて説明する。図9は、手首の回転と操作対象の例を示す図である。
 図9中の第1の状況FPは、情報処理装置100を装着したユーザU1の左の手首WRを内側の方向(第1の方向)に向かって回転(内旋)させている状況を示す。図9中の第2の状況SPは、情報処理装置100を装着したユーザU1の左の手首WRを外側の方向(第2の方向)に向かって回転(外旋)させている状況を示す。
 例えば、情報処理装置100は、コンテンツCT11、CT12に示すように、ユーザの手首の回転を上下のフォーカス移動に用いてもよい。例えば、情報処理装置100は、コンテンツCT11に示すように、ユーザU1の手首WRの第1の方向へ回転した場合、上方向にフォーカスを変更する。例えば、情報処理装置100は、コンテンツCT12に示すように、ユーザU1の手首WRの第2の方向へ回転した場合、下方向にフォーカスを変更する。
 例えば、情報処理装置100は、コンテンツCT21、CT22に示すように、ユーザの手首の回転をつまみや、スライダーのようなレベル調整のUIに用いてもよい。例えば、情報処理装置100は、コンテンツCT21に示すように、ユーザU1の手首WRの第1の方向へ回転した場合、レベルを下げる方向にレベルを調整する。例えば、情報処理装置100は、コンテンツCT22に示すように、ユーザU1の手首WRの第2の方向へ回転した場合、レベルを上げる方向にレベルを調整する。
 また、例えば、情報処理装置100は、コンテンツCT31、CT32に示すように、図の拡大及び縮小等のサイズ調整に用いてもよい。例えば、情報処理装置100は、コンテンツCT31に示すように、ユーザU1の手首WRの第1の方向へ回転した場合、図を拡大するように表示サイズを調整する。例えば、情報処理装置100は、コンテンツCT32に示すように、ユーザU1の手首WRの第2の方向へ回転した場合、図を縮小するように表示サイズを調整する。
 なお、情報処理装置100は、手首の回転を表示態様の変更以外に用いてもよい。例えば、情報処理装置100は、GUIを伴わないレベル調整に手首の回転を用いてもよい。例えば、情報処理装置100は、ユーザU1の手首WRの第1の方向へ回転した場合、コンテンツの出力音量を下げる方向にレベルを調整する。例えば、情報処理装置100は、ユーザU1の手首WRの第2の方向へ回転した場合、コンテンツの出力音量を上げる方向にレベルを調整する。
 このように、情報処理装置100は、ユーザの手首の回転が第1の方向である場合、コンテンツに対応する一次元の一方に変更し、ユーザの前記手首の回転が第2の方向である場合、コンテンツに対応する一次元の他方に変更する。
[1-4-4.情報処理の手順の詳細例]
 次に、図10を用いて、本開示の実施形態に係る情報処理の詳細例について説明する。図10は、情報処理の詳細な手順の一例を示すフローチャートである。具体的には図10は、指の形状による操作の手順の一例を示すフローチャートである。
 図10に示すように、情報処理装置100を利用するユーザは、人差し指と親指の開閉操作を行う(ステップS201)。例えば、表示デバイスである情報処理装置100を手首に装着したユーザは、人差し指の先と親指の先とを接触させたり、離間させたりすることにより、人差し指と親指の開閉操作を行う。これにより、情報処理装置100は、ユーザの人差し指と親指の開閉操作を検知する。
 そして、情報処理装置100は、人差し指と親指が閉じているかを判定する(ステップS202)。例えば、ユーザの手首に装着された表示デバイスである情報処理装置100は、ユーザが人差し指の先と親指の先とを接触させることにより、所定のジェスチャ(例えばOKサイン)を行っているかを判定する。このように、情報処理装置100は、ユーザが指の所定の形状にしているか否か判定する。
 人差し指と親指が閉じている場合(ステップS202:Yes)、情報処理装置100は、ユーザの手首の回転を操作として受け付ける(ステップS203)。例えば、表示デバイスである情報処理装置100を手首に装着したユーザは、コンテンツの出力態様を変更するために手首を回転させる。これにより、情報処理装置100は、ユーザの手首の回転を、コンテンツの出力態様を変更する操作として受け付ける。
 情報処理装置100は、回転角からスクロール方向と距離を算出する(ステップS204)。例えば、情報処理装置100は、回転角が形成される向きから変更態様を決定し、回転角の大きさから変更量を決定する。そして、情報処理装置100は、GUIの表示処理を実行する(ステップS205)。例えば、ユーザの手首に装着された表示デバイスである情報処理装置100は、決定した表示態様に応じて、コンテンツの表示を変更する。
 一方、情報処理装置100は、人差し指と親指が閉じていない場合(ステップS202:No)、ステップS203~S204の処理を行うことなく、ステップS205の処理を行う。例えば、ユーザの手首に装着された表示デバイスである情報処理装置100は、ユーザの手首の回転操作の有無に関わらず、表示態様を変更することなく表示を維持する。
[1-4-5.他の情報処理例]
 なお、上述したユーザの手首の回転動作は一例に過ぎず、情報処理装置100は、ユーザの様々な手首の回転動作をコンテンツの出力態様の変更に用いてもよい。この点の一例について、図11及び図12を用いて説明する。図11及び図12は、他の情報処理の一例を示す図である。なお、図2等で説明した内容と同様の点については適宜説明を省略する。
 まず、図11を用いてユーザU1の手首WRの回転に応じてコンテンツの表示領域を上方向に変更する場合の一例を示す。なお、図11では、各処理状況PS21~PS23に対応させて情報処理装置100-21~100-23として図示するが、ユーザU1の手首WRに装着された同一の情報処理装置100であり、特に区別せずに説明する場合は、情報処理装置100と記載する。また、図11では、図示の簡単化のために、表示部13、バンド部20、指FG及び手首WRの符号は処理状況PS21のみで示す。また、図11では、表示態様に対応させて表示部13-21~13-24として図示するが、同一の情報処理装置100の表示部13であり、特に区別せずに説明する場合は、表示部13と記載する。
 まず、図11に示す第1の処理状況である状況PS21は、ユーザU1が人差し指の先と親指の先とを接触させ、ユーザU1の人差し指と親指が閉じた状態、及びその状況での情報処理装置100-21を示す。状況PS21は、ユーザU1の手首WRの回転前の状況を示す。表示部13-21は、状況PS21でのコンテンツの表示態様を示す。表示部13-21は、上下方向の上部に円の図形の一部、中央部に星の図形、及び下部にひし形の図形の一部が表示する。
 図11に示す第2の処理状況である状況PS22は、ユーザU1の人差し指と親指が閉じた状態でユーザU1の手首WRを第2の方向に回転を開始した状況、及びその状況での情報処理装置100-22を示す。例えば、状況PS22は、ユーザU1の左の手首WRを外側の方向(第2の方向)に向かって回転(外旋)させている状況を示す。情報処理装置100-22での表示部13に対応する表示部13-22の表示態様は、表示部13-21の表示態様と同様である。
 図11に示す第3の処理状況である状況PS23は、ユーザU1の人差し指と親指が閉じた状態でユーザU1の手首WRを第1の方向に回転させた後の状況、及びその状況での情報処理装置100-23を示す。例えば、状況PS23は、状況PS22でユーザU1の左の手首WRを外側の方向(第2の方向)に向かって回転(外旋)させ、直ぐにユーザU1の左の手首WRを内側の方向(第1の方向)に向かって回転(内旋)させた後の状況を示す。すなわち、状況PS22から状況PS23は、ユーザU1が手首WRを軽く回した戻す動作を示す。具体的には、状況PS22から状況PS23は、ユーザU1が手首WRを軽く第2の方向に回転させた直後に、第1の方向に回転させ、手首WRを第2の方向に回転させる前に状態に戻す動作(以下「外内動作」ともいう)を示す。
 情報処理装置100は、ユーザU1の人差し指と親指が閉じた状態でユーザU1が外内動作を行った場合、ユーザU1の指FGの状態が条件を満たすと判定し、ユーザU1の外内動作に対応するコンテンツの出力態様の変更を行うと決定する。すなわち、情報処理装置100は、状況PS22から状況PS23に示すユーザU1の外内動作に応じて、表示部13の表示態様を変更する。情報処理装置100は、ユーザU1の外内動作に応じてコンテンツの表示領域を上方向に変更すると決定する。情報処理装置100は、ユーザU1の外内動作に応じて上方向に変更したコンテンツの表示領域を表示部13に表示する。
 図11の例では、情報処理装置100は、ユーザU1の外内動作に応じて、選択(フォーカス)中の図形を、選択中の図形の1つ上の図形に変更する。具体的には、情報処理装置100は、ユーザU1の外内動作に応じて、選択(フォーカス)中の図形を、星の図形から、星の図形の上に位置する円の図形に変更する。そして、情報処理装置100は、選択された図形である円の図形が中央部に位置するように、コンテンツの表示領域を上方向に変更する。情報処理装置100は、円の図形が中央部に位置するように上方向に変更したコンテンツの表示領域を表示部13に表示する。
 情報処理装置100-23での表示部13に対応する表示部13-24の表示態様は、外内動作が行われた後の表示部13の表示態様を示す。表示部13-24は、表示部13-21では上部に位置していた円の図形が中央部に位置するようにコンテンツの表示領域が変更された場合を示す。表示部13-24は、上下方向の中央部に円の図形、及び下部に星の図形の一部を表示する。なお、表示部13-23は、状況PS22から状況PS23までの表示遷移の中間状態を示し、コンテンツの表示領域が上方向に変更されている途中の状態を示す。
 次に、図12を用いてユーザU1の手首WRの回転に応じてコンテンツの表示領域を下方向に変更する場合の一例を示す。図12では、図11の表示部13-24の表示態様から、図11の表示部13-21の表示態様に戻す場合を一例として説明するが、コンテンツの表示領域を下方向に変更する処理は図12に限られない。例えば、ユーザU1の手首WRの回転に応じてコンテンツの表示領域を下方向に変更する処理は、図11の表示部13-21の表示態様からコンテンツの表示領域を下方向に変更する処理であってもよい。
 なお、図12では、各処理状況PS31~PS33に対応させて情報処理装置100-31~100-33として図示するが、ユーザU1の手首WRに装着された同一の情報処理装置100であり、特に区別せずに説明する場合は、情報処理装置100と記載する。また、図12では、図示の簡単化のために、表示部13、バンド部20、指FG及び手首WRの符号は処理状況PS31のみで示す。また、図12では、表示態様に対応させて表示部13-31~13-34として図示するが、同一の情報処理装置100の表示部13であり、特に区別せずに説明する場合は、表示部13と記載する。
 まず、図12に示す第1の処理状況である状況PS31は、ユーザU1が人差し指の先と親指の先とを接触させ、ユーザU1の人差し指と親指が閉じた状態、及びその状況での情報処理装置100-31を示す。状況PS31は、ユーザU1の手首WRの回転前の状況を示す。表示部13-31は、状況PS31でのコンテンツの表示態様を示す。表示部13-31は、上下方向の中央部に円の図形、及び下部に星の図形の一部を表示する。情報処理装置100-31での表示部13に対応する表示部13-31の表示態様は、図11の表示部13-24の表示態様と同様である。
 図12に示す第2の処理状況である状況PS32は、ユーザU1の人差し指と親指が閉じた状態でユーザU1の手首WRを第1の方向に回転している状況、及びその状況での情報処理装置100-32を示す。例えば、状況PS32は、ユーザU1の左の手首WRを内側の方向(第1の方向)に向かって回転(内旋)させている状況を示す。情報処理装置100-32でのユーザU1の手首WRを第1の方向に回転を開始する前の表示部13の表示態様は、表示部13-31の表示態様と同様である。
 図12に示す第3の処理状況である状況PS33は、ユーザU1の人差し指と親指が閉じた状態でユーザU1の手首WRを第2の方向に回転させた後の状況、及びその状況での情報処理装置100-33を示す。例えば、状況PS33は、状況PS32でユーザU1の左の手首WRを内側の方向(第1の方向)に向かって回転(内旋)させ、直ぐにユーザU1の左の手首WRを外側の方向(第2の方向)に向かって回転(外旋)させた後の状況を示す。すなわち、状況PS32から状況PS33は、ユーザU1が手首WRを軽く回した戻す動作を示す。具体的には、状況PS32から状況PS33は、ユーザU1が手首WRを軽く第1の方向に回転させた直後に、第2の方向に回転させ、手首WRを第1の方向に回転させる前に状態に戻す動作(以下「内外動作」ともいう)を示す。
 情報処理装置100は、ユーザU1の人差し指と親指が閉じた状態でユーザU1が内外動作を行った場合、ユーザU1の指FGの状態が条件を満たすと判定し、ユーザU1の内外動作に対応するコンテンツの出力態様の変更を行うと決定する。すなわち、情報処理装置100は、状況PS32から状況PS33に示すユーザU1の内外動作に応じて、表示部13の表示態様を変更する。情報処理装置100は、ユーザU1の内外動作に応じてコンテンツの表示領域を下方向に変更すると決定する。情報処理装置100は、ユーザU1の内外動作に応じて下方向に変更したコンテンツの表示領域を表示部13に表示する。
 図12の例では、情報処理装置100は、ユーザU1の内外動作に応じて、選択(フォーカス)中の図形を、選択中の図形の1つ下の図形に変更する。具体的には、情報処理装置100は、ユーザU1の内外動作に応じて、選択(フォーカス)中の図形を、円の図形から、円の図形の下に位置する星の図形に変更する。そして、情報処理装置100は、選択された図形である星の図形が中央部に位置するように、コンテンツの表示領域を下方向に変更する。情報処理装置100は、星の図形形が中央部に位置するように下方向に変更したコンテンツの表示領域を表示部13に表示する。
 情報処理装置100-33での表示部13に対応する表示部13-34の表示態様は、内外動作が行われた後の表示部13の表示態様を示す。表示部13-34は、表示部13-31では下部に位置していた星の図形が中央部に位置するようにコンテンツの表示領域が変更された場合を示す。表示部13-34は、上下方向の上部に円の図形の一部、中央部に星の図形、及び下部にひし形の図形の一部を表示する。なお、表示部13-32、13-33は、状況PS32から状況PS33までの表示遷移の中間状態を示し、コンテンツの表示領域が下方向に変更されている途中の状態を示す。例えば、表示部13-32は、コンテンツの表示領域を下方向に変更中の表示態様を示し、表示部13-33は、フォーカスを星の図形に変更する前に表示態様を示す。
 図11及び図12に示す処理は、リストバンドデバイスである情報処理装置100の画面表示部である表示部13に表示されたメニューリストのGUIにおいて、GUIのメニュー項目を一コマずつスクロールしたい場合、ユーザは指をつまむ姿勢の状態のまま、手首を任意の方向にひねり、即座に逆の方向にひねり返すジェスチャによって、対応した方向に一コマのみスクロールすることができる。例えば、左手操作の場合、情報処理装置100では、指をつまむ姿勢の状態のまま手の平を下向きの状態から、上むきの状態にし、即座に指をつまむ姿勢の状態のままその逆の方向に戻すと、GUIメニューは下から上に流れる。また、例えば、情報処理装置100では、人差し指と親指を開いた状態だと、手首をひねってもGUIはスクロールしない。
[1-4-6.他の操作例]
 なお、上述した操作は一例に過ぎず、ユーザの手首の回転を利用する操作は上記に限らず、様々な操作であってもよい。例えば、情報処理装置100は、ユーザの手首の回転を、コンテンツのシャッフル(ランダム)再生の操作に用いてもよい。例えば、情報処理装置100を利用するユーザは、楽曲リスト等のリスト表示が出ている状態の時に指をつまんだ状態で手首の回転運動を交互の方向に激しく回すことで、シャッフル再生が起動してもよい。
[2.その他の実施形態]
 上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態(変形例)にて実施されてよい。例えばシステム構成は、上述した例に限らず、種々の態様であってもよい。この点について以下説明する。なお、以下では、実施形態に係る情報処理装置100と同様の点については、適宜説明を省略する。
[2-1.他の装置構成例]
 例えば、上述した情報処理装置100の物理的な装置構成(構造)は一例に過ぎず、情報処理装置100には様々な装置構成が採用可能である。以下、上述した構造以外の他の構造例について、例示を説明する。
[2-1-1.第1の構造例]
 まず、図13及び図14を用いて、上述した構造以外の他の構造例である第1の構造例を説明する。図13及び図14は、情報処理装置の他の構造例を示す図である。図13及び図14は、表示部の位置を保持する構造例を示す。例えば、図13は、第1の構造例の情報処理装置100Aの正面図を示す。例えば、図14は、第1の構造例の情報処理装置100Aの連結部40側から見た情報処理装置100Aの側面図を示す。
 第1の構造例の情報処理装置100Aは、表示部13が可動なタイプである。例えば、第1の構造例の情報処理装置100Aは、手首の回転に対してバンド部20は滑らず、バンド部20に沿って表示部13(ディスプレイ)が滑って位置を移動する。例えば、第1の構造例の情報処理装置100Aでは、表示部13が同じ方向を向く様に、錘30が表示部13とは反対側に設けられる。例えば、第1の構造例の情報処理装置100Aでは、錘30がバンド部20の中心を挟んで表示部13と対向する位置に設けられる。
 図13に示すように、情報処理装置100Aのバンド部20は、ユーザの手首への装着時に、ユーザの手首に接触し、ユーザの手首とともに手首の周方向に回転する。情報処理装置100Aのバンド部20は、ユーザの手首への装着時に、ユーザの手首と表示部13との間に配置される。
 情報処理装置100Aでは、表示部13と錘30とは、連結部40により連結される。これにより、表示部13は、バンド部20の周方向に沿って錘30とともに回転する。
[2-1-2.第2の構造例]
 次に、図15及び図16を用いて、上述した構造以外の他の構造例である第2の構造例を説明する。図15及び図16は、情報処理装置の他の構造例を示す図である。図15及び図16は、表示部が手首の回転に追従する構造例を示す。例えば、図15は、第2の構造例の情報処理装置100Bの正面図を示す。例えば、図16は、第2の構造例の情報処理装置100Bのバンド部20の切り欠かれた部分側から見た情報処理装置100Bの側面図を示す。
 第2の構造例の情報処理装置100Bは、バンド部20が全周しないタイプの構造である。例えば、情報処理装置100Bでは、手首の回転に対してバンド部20とともに表示部13が回転する。例えば、情報処理装置100Bのバンド部20は、周方向の一部が切り欠かれており、全周ではない。例えば、情報処理装置100Bのバンド部20は、弾性力を有する材料(例えばゴム等)により形成されるブレスレット等であり、情報処理装置100Bは。ユーザの手首(腕)へのつけ外しを容易に行うことができる。
[2-1-3.第3の構造例]
 次に、図17及び図18を用いて、上述した構造以外の他の構造例である第3の構造例を説明する。図17及び図18は、情報処理装置の他の構造例を示す図である。図17及び図18は、表示部が手首の回転に追従する構造例を示す。例えば、図17は、第3の構造例の情報処理装置100Cの正面図を示す。例えば、図18は、第3の構造例の情報処理装置100Cの側面図を示す。
 第3の構造例の情報処理装置100Cは、全周がディスプレイのタイプの構造である。第3の構造例の情報処理装置100Cでは、バンド部20の外周に沿って、表示部13が全周に亘って配置される。なお、情報処理装置100Cでは、バンド部20と表示部13とは一体であってもよい。例えば、情報処理装置100Cでは、表示部13(ディスプレイ)がバンド部20の機能を有してもよい。
[2-1-4.第4の構造例]
 次に、図19を用いて、上述した構造以外の他の構造例である第4の構造例を説明する。図19は、情報処理装置の他の構造例を示す図である。図19は、表示部が手首の回転に追従する構造例を示す。例えば、図19は、第4の構造例の情報処理装置100Dの正面図を示す。
 第4の構造例の情報処理装置100Dは、リストバンド型のデバイスである。情報処理装置100Dは、第2のセンサ162として、ジャイロセンサを搭載し、手首の回転動作(運動)を検知(センシング)する。情報処理装置100Dは、第1のセンサ161として、バンド部20に筋電センサを搭載し、人差し指と親指を開いた状態であるか、人差し指と親指を閉じた状態であるかを検知する。なお、指の開閉状態は、筋電センサではなく、カメラ(センサ)により検知してもよい。また、情報処理装置100Dは、手を開いた状態か握った状態かを検知してもよい。
 ここで、上述した装置構成についての一例を、図20を用いて説明する。図20は、装置構成の一例を示す図である。例えば、図20は、表示部が手首の回転に追従する場合の装置構成の一例を示す図である。以下では、表示部が手首の回転に追従する場合の表示デバイスの一例として、情報処理装置100Dを用いて説明するが、表示部が手首の回転に追従する構成であれば、情報処理装置100Dに限らず、任意の装置であってもよい。
 情報処理装置100Dは、入力デバイスIODとして、筋電センサ、ジャイロセンサ、画面表示部を有する。また、情報処理装置100Dは、処理装置PSDとして、記憶部、演算部と有する。例えば、図20に示す筋電センサは、第1のセンサ161に対応する。また、図20に示すジャイロセンサは、第2のセンサ162に対応する。また、図20に示す画面表示部は、表示部13に対応する。また、図20に示す記憶部は、記憶部14に対応する。また、図20に示す演算部は、制御部15に対応する。
[2-2.その他の適用例]
 なお、上述した例では、リストバンド型の表示デバイスを情報処理装置の一例として説明したが、表示デバイスである情報処理装置は、リストバンド型に限らず、様々な態様であってもよい。以下、この点について例示を記載する。
[2-2-1.リングタイプ]
 例えば、情報処理装置は、図21に示すように、ユーザの指に装着されるリング(指輪)タイプの情報処理装置100Eであってもよい。図21は、リングタイプへの適用例の一例を示す図である。具体的には、図21は、リングタイプの情報処理装置(表示デバイス)の一例を示す図である。図21では、ユーザU1の人差し指FFに情報処理装置100Eが装着される場合を示す。なお、情報処理装置100Eは、ユーザの人差し指に限らず、任意の指に装着されてもよい。
 ここから、情報処理装置100Eにおける情報処理の例について、図22を参照しつつ説明する。図22は、リングタイプの適用例における情報処理の一例を示す図である。なお、指輪タイプの情報処理装置100Eにおけるジェスチャ操作法は、選択肢の移動も決定操作等も含めリストバンド型の場合と略同じであるため詳細な説明は適宜省略する。
 図22では、各処理状況PS51~PS56に対応させて情報処理装置100E-1~100E-6として図示するが、ユーザU1の手首WRに装着された同一の情報処理装置100Eであり、特に区別せずに説明する場合は、情報処理装置100Eと記載する。また、図22では、図示の簡単化のために、表示部13、バンド部20、指FG及び手首WRの符号は処理状況PS51のみで示す。また、図22では、表示態様に対応させて表示部13-51~13-54として図示するが、同一の情報処理装置100Eの表示部13であり、特に区別せずに説明する場合は、表示部13と記載する。
 また、図22では、表示態様の変更の説明のために、星の図形、三角の図形、ひし形の図形、円の図形、四角の図形、及びハートの図形等の複数の図形が、上下方向に並べて配置されるコンテンツが表示部13に表示される場合を一例として説明する。また、図22では、表示部13の上下方向の中央部に表示されている図形が選択(指定)される場合を示す。なお、図22では、選択(指定)されている中央部に表示された図形を他の図形よりも濃く示すことにより、中央部に表示された図形がフォーカスされ、選択(指定)されていることを示す。
 また、図22では、コンテンツの出力態様の変更を受け付けるため条件が、ユーザの指が中指の先と親指の先とを接触させている状態である場合を一例として説明する。すなわち、図22では、情報処理装置100Eは、ユーザU1の指FGの状態が中指と親指との間を閉じた状態となっている場合に、ユーザU1の手首WRの回転によりコンテンツの表示の変更を受け付けると決定する場合を示す。なお、ジェスチャに用いる指は中指に限らず、人差し指、薬指等の他の指であってもよい。
 まず、図22に示す第1の処理状況である状況PS51は、ユーザU1の中指と親指が閉じていない状態、及びその状況での情報処理装置100E-1を示す。表示部13-51は、状況PS51でのコンテンツの表示態様を示す。表示部13-51の表示態様は、図2中の表示部13-1の表示態様と同様である。
 図22に示す第2の処理状況である状況PS52は、ユーザU1が中指の先と親指の先とを接触させ、ユーザU1の中指と親指が閉じた状態、及びその状況での情報処理装置100E-2を示す。例えば、状況PS52は、ユーザU1が指FGをつまむ動作を行った状況を示す。なお、状況PS52は、ユーザU1の手首WRの回転前の状況を示し、情報処理装置100E-2での表示部13の表示態様は、表示部13-51の表示態様と同様である。
 図22に示す第3の処理状況である状況PS53及び状況PS54は、ユーザU1の中指と親指が閉じた状態でユーザU1の手首WRを回転させている状況、及びその状況での情報処理装置100E-3、100E-4を示す。例えば、状況PS53及び状況PS54は、ユーザU1が手首WRを回す動作を行った状況を示す。具体的には、状況PS53及び状況PS54は、ユーザU1の左の手首WRを外側の方向(第2の方向)に向かって回転(外旋)させている状況を示す。
 情報処理装置100Eは、ユーザU1の中指と親指が閉じた状態でユーザU1が手首WRを回転させた場合、ユーザU1の指FGの状態が条件を満たすと判定し、ユーザU1の手首WRの回転に対応するコンテンツの出力態様の変更を行うと決定する。
 表示部13-52~13-54は、ユーザU1の手首WRを第2の方向に回転させた場合のコンテンツの表示態様の変化を示すが、図2と同様であるため詳細な説明を省略する。表示部13-52の表示態様は、図2中の表示部13-2の表示態様と同様である。表示部13-53の表示態様は、図2中の表示部13-3の表示態様と同様である。表示部13-54の表示態様は、図2中の表示部13-4の表示態様と同様である。
 図22に示す第4の処理状況である状況PS55は、ユーザU1が中指の先と親指の先とを離間させ、ユーザU1の中指と親指が閉じていない状態、及びその状況での情報処理装置100E-5を示す。例えば、状況PS55は、ユーザU1がつまんだ指FGを放す動作を行った状況を示す。
 図22に示す第5の処理状況である状況PS56は、ユーザU1の中指と親指が閉じていない状態でユーザU1の手首WRを回転させている状況、及びその状況での情報処理装置100E-6を示す。例えば、状況PS56は、ユーザU1が手首WRを逆に回し状況PS51に戻した状況を示す。具体的には、状況PS56は、ユーザU1の左の手首WRを内側の方向(第1の方向)に向かって回転(内旋)させている状況を示す。
 情報処理装置100Eは、ユーザU1の中指と親指が閉じた状態でユーザU1が手首WRを回転させた場合、ユーザU1の指FGの状態が条件を満たさないと判定し、ユーザU1の手首WRの回転に対応するコンテンツの出力態様の変更を行わないと決定する。すなわち、情報処理装置100Eは、状況PS56ではユーザU1が手首WRを回転させても、表示部13-54の表示態様を維持する。なお、情報処理装置100Eは、ユーザU1の中指と親指が閉じた状態でユーザU1の手首WRの第1の方向へ回転させた場合、コンテンツの表示領域を下方向に変更すると決定する。この場合、情報処理装置100Eは、ユーザU1の手首WRの第1の方向への回転の方向及び量に応じて下方向に変更したコンテンツの表示領域を表示部13に表示する。
[2-2-2.ハンドルグリップタイプ]
 例えば、情報処理装置は、図23に示すように、バイクのハンドルグリップに装着するハンドルグリップタイプの情報処理装置100Fであってもよい。図23は、他の適用例の一例を示す図である。具体的には、図23は、ハンドルグリップタイプの情報処理装置(表示デバイス)の一例を示す図である。
 例えば、情報処理装置100Fは、ユーザが実際にハンドルグリップを回さない握り方で、回すジェスチャ(動作)を、選択移動の操作として受け付ける。また、例えば、情報処理装置100Fは、ユーザがハンドルグリップを一瞬強く握る動作を、決定操作として受け付ける。
[2-2-3.ペンタイプ]
 例えば、情報処理装置は、図24に示すように、ペンタイプの情報処理装置100Gであってもよい。図24は、他の適用例の一例を示す図である。具体的には、図24は、ペンタイプの情報処理装置(表示デバイス)の一例を示す図である。
 例えば、情報処理装置100Gは、ユーザがペンを円柱の軸回転方向に回す動作を、選択移動の操作として受け付ける。また、例えば、情報処理装置100Gは、ユーザが決定ボタンを押す動作を、決定操作として受け付ける。
 また、上述した各実施形態や変形例に係る処理は、上記実施形態や変形例以外にも種々の異なる形態(変形例)にて実施されてよい。例えば、情報処理装置は、上述した情報処理が実現できれば、どのような装置構成であってもよい。
[2-3.その他]
 また、上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
 また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
 また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
 また、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。
[3.本開示に係る効果]
 上述のように、本開示に係る情報処理装置(実施形態では情報処理装置100、100A~G)は、取得部(実施形態では取得部151)と、決定部(実施形態では決定部153)とを備える。取得部は、ユーザの指の状態を示す第1情報と、ユーザの手首の回転を示す第2情報とを取得する。決定部は、第1情報が示すユーザの指の状態と、第2情報が示すユーザの手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する。
 これにより、本開示に係る情報処理装置は、ユーザの指の状態と、第2情報が示すユーザの手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定することにより、ユーザの指の状態と手首の回転との2つのユーザの動作を用いてコンテンツの出力態様を決定することができる。したがって、情報処理装置は、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、ユーザの指の状態と、ユーザの手首の回転とに基づいて、表示デバイスであるデバイスに表示されたコンテンツの表示態様を決定する。これにより、情報処理装置は、ユーザの指の状態と手首の回転との2つのユーザの動作を用いてコンテンツの表示態様を決定するため、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、ユーザの指の状態によりコンテンツの出力態様を変更するか否かを決定し、ユーザの手首の回転によりコンテンツの出力態様を変更する量を決定する。これにより、情報処理装置は、ユーザの指の状態と手首の回転との2つの動作の各々を異なる対象についての情報として用いることで、2つのユーザの動作を用いてコンテンツの出力態様を決定することができる。したがって、情報処理装置は、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、ユーザの手首の回転の量に対応する量をコンテンツの出力態様の変更量に決定する。これにより、情報処理装置は、ユーザの手首の回転の量に対応する量をコンテンツの出力態様の変更量として用いることで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、ユーザの手首の回転が第1の方向である場合、コンテンツに対応する一次元の一方に変更し、ユーザの手首の回転が第1の方向とは反対方向の第2の方向である場合、コンテンツに対応する一次元の他方に変更すると決定する。これにより、情報処理装置は、ユーザの手首の回転の方向に応じて変更態様を決定することで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、一次元がコンテンツの出力量に対応する場合、ユーザの手首の第1の方向への回転に応じてコンテンツの出力量を減少し、ユーザの手首の第2の方向への回転に応じてコンテンツの出力量を増加すると決定する。これにより、情報処理装置は、ユーザの手首の回転をコンテンツの出力量の決定に用いることで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、一次元がコンテンツの表示領域に対応する場合、ユーザの手首の第1の方向への回転に応じてコンテンツの表示領域を減少し、ユーザの手首の第2の方向への回転に応じてコンテンツの表示領域を増加すると決定する。これにより、情報処理装置は、ユーザの手首の回転をコンテンツの表示領域の決定に用いることで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、一次元がコンテンツの出力音量に対応する場合、ユーザの手首の第1の方向への回転に応じてコンテンツの出力音量を減少し、ユーザの手首の第2の方向への回転に応じてコンテンツの出力音量を増加すると決定する。これにより、情報処理装置は、ユーザの手首の回転をコンテンツの出力音量の決定に用いることで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、一次元がコンテンツの上下方向に対応する場合、ユーザの手首の第1の方向への回転に応じてコンテンツの表示領域を下方向に変更し、ユーザの手首の第2の方向への回転に応じてコンテンツの表示領域を上方向に変更すると決定する。これにより、情報処理装置は、ユーザの手首の回転をコンテンツの上下方向の表示領域の決定に用いることで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、ユーザの指の状態が条件を満たす場合、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行うと決定する。これにより、情報処理装置は、ユーザの指の状態を変更可否に用いることで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、ユーザの指の状態が条件を満たさない場合、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行わないと決定する。これにより、情報処理装置は、ユーザの指の状態を変更可否に用いることで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、ユーザの指の状態が、コンテンツの出力の変更に対応するジェスチャに該当する場合、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行うと決定する。これにより、情報処理装置は、ユーザの指の状態が所定のジェスチャに該当するかに応じてコンテンツの出力の変更可否を決定することで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、決定部は、ユーザの指の状態が、コンテンツの出力の変更に対応する形状となっている場合、ユーザの手首の回転に対応するコンテンツの出力態様の変更を行うと決定する。これにより、情報処理装置は、ユーザの指の状態が所定の形状に該当するかに応じてコンテンツの出力の変更可否を決定することで、ユーザの動作に応じて適切に情報出力サービスを提供可能にすることができる。
 また、情報処理装置は、出力部(実施形態では表示部13または音声出力部17)を備える。出力部は、決定部により決定された出力態様によりコンテンツを出力する。これにより、情報処理装置は、ユーザの指の状態と手首の回転との2つのユーザの動作を用いて決定した出力態様でコンテンツを出力することができる。したがって、情報処理装置は、ユーザの動作に応じて適切に情報出力サービスを提供することができる。
 上述のように、本開示に係る表示デバイス(実施形態では情報処理装置100、100A~G)は、ユーザの手首に装着されるリストバンド型の表示デバイスであって、表示部(実施形態では表示部13)と、保持部(実施形態では錘30)とを備える。表示部は、ユーザの手首への装着時に、ユーザの手首の周方向に沿って移動自在である。保持部は、ユーザが手首を回転した場合に、ユーザの手首の周方向の表示部の位置を、ユーザの手首の回転前の位置である保持位置に保持する。
 このように、本開示に係る表示デバイスは、ユーザが手首を回転した場合に、ユーザの手首の周方向の表示部の位置を保持することにより、ユーザの手首の回転により表示部(ディスプレイ)がユーザに見えづらい位置に移動することを抑制することができる。したがって、情報処理装置は、ユーザの動作に応じて適切に情報出力サービスを提供することができる。
 また、保持部は、ユーザの手首への装着時に、ユーザの手首の周方向に沿って表示部とともに移動自在な錘である。表示部は、ユーザが重力方向に交差する方向を軸として手首を回転した場合に、保持部がユーザの手首の周方向の位置が保持されることにより、保持位置に保持される。これにより、表示デバイスは、ユーザの手首の回転により表示部(ディスプレイ)がユーザに見えづらい位置に移動することを抑制することができる。したがって、情報処理装置は、ユーザの動作に応じて適切に情報出力サービスを提供することができる。
 また、保持部は、ユーザの手首への装着時に、表示部とはユーザの手首の周方向の異なる位置に配置される。表示部は、保持部とのユーザの手首の周方向の位置の差に応じた保持位置に保持される。これにより、表示デバイスは、ユーザの手首の回転により表示部(ディスプレイ)がユーザに見えづらい位置に移動することを抑制することができる。したがって、情報処理装置は、ユーザの動作に応じて適切に情報出力サービスを提供することができる。
 また、表示デバイスは、バンド部(実施形態ではバンド部20)を備える。バンド部は、ユーザの手首への装着時に、ユーザの手首に接触し、ユーザの手首とともに手首の周方向に回転する。これにより、表示デバイスは、ユーザに接触するバンド部を手首とともに移動させることができる。したがって、表示デバイスは、表示部(ディスプレイ)の位置が保持されることによるユーザの触覚に与える影響を抑制することができ、ユーザの動作に応じて適切に情報出力サービスを提供することができる。
 また、バンド部は、ユーザの手首への装着時に、ユーザの手首と表示部との間に配置される。これにより、表示デバイスは、位置が保持される表示部(ディスプレイ)が直接ユーザに触覚することを抑制することができる。したがって、表示デバイスは、表示部(ディスプレイ)の位置が保持されることによるユーザの触覚に与える影響を抑制することができ、ユーザの動作に応じて適切に情報出力サービスを提供することができる。
[4.ハードウェア構成]
 上述してきた各実施形態に係る情報処理装置100、100A~G等の情報機器は、例えば図25に示すような構成のコンピュータ1000によって実現される。図25は、情報処理装置100、100A~G等の情報処理装置の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。以下、実施形態に係る情報処理装置100を例に挙げて説明する。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
 CPU1100は、ROM1300又はHDD1400に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、CPU1100は、ROM1300又はHDD1400に格納されたプログラムをRAM1200に展開し、各種プログラムに対応した処理を実行する。
 ROM1300は、コンピュータ1000の起動時にCPU1100によって実行されるBIOS(Basic Input Output System)等のブートプログラムや、コンピュータ1000のハードウェアに依存するプログラム等を格納する。
 HDD1400は、CPU1100によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、HDD1400は、プログラムデータ1450の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
 通信インターフェイス1500は、コンピュータ1000が外部ネットワーク1550(例えばインターネット)と接続するためのインターフェイスである。例えば、CPU1100は、通信インターフェイス1500を介して、他の機器からデータを受信したり、CPU1100が生成したデータを他の機器へ送信したりする。
 入出力インターフェイス1600は、入出力デバイス1650とコンピュータ1000とを接続するためのインターフェイスである。例えば、CPU1100は、入出力インターフェイス1600を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、CPU1100は、入出力インターフェイス1600を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス1600は、所定の記録媒体(メディア)に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばDVD(Digital Versatile Disc)、PD(Phase change rewritable Disk)等の光学記録媒体、MO(Magneto-Optical disk)等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
 例えば、コンピュータ1000が実施形態に係る情報処理装置100として機能する場合、コンピュータ1000のCPU1100は、RAM1200上にロードされた情報処理プログラムを実行することにより、制御部15等の機能を実現する。また、HDD1400には、本開示に係る情報処理プログラムや、記憶部14内のデータが格納される。なお、CPU1100は、プログラムデータ1450をHDD1400から読み取って実行するが、他の例として、外部ネットワーク1550を介して、他の装置からこれらのプログラムを取得してもよい。
 なお、本技術は以下のような構成も取ることができる。
(1)
 ユーザの指の状態を示す第1情報と、前記ユーザの手首の回転を示す第2情報とを取得する取得部と、
 前記第1情報が示す前記ユーザの前記指の状態と、前記第2情報が示す前記ユーザの前記手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する決定部と、
 を備える情報処理装置。
(2)
 前記決定部は、
 前記ユーザの前記指の状態と、前記ユーザの前記手首の回転とに基づいて、表示デバイスである前記デバイスに表示された前記コンテンツの表示態様を決定する
 (1)に記載の情報処理装置。
(3)
 前記決定部は、
 前記ユーザの前記指の状態により前記コンテンツの出力態様を変更するか否かを決定し、前記ユーザの前記手首の回転により前記コンテンツの出力態様を変更する量を決定する
 (1)または(2)に記載の情報処理装置。
(4)
 前記決定部は、
 前記ユーザの前記手首の回転の量に対応する量を前記コンテンツの出力態様の変更量に決定する
 (3)に記載の情報処理装置。
(5)
 前記決定部は、
 前記ユーザの前記手首の回転が第1の方向である場合、前記コンテンツに対応する一次元の一方に変更し、前記ユーザの前記手首の回転が前記第1の方向とは反対方向の第2の方向である場合、前記コンテンツに対応する前記一次元の他方に変更すると決定する
 (3)または(4)に記載の情報処理装置。
(6)
 前記決定部は、
 前記一次元が前記コンテンツの出力量に対応する場合、前記ユーザの前記手首の前記第1の方向への回転に応じて前記コンテンツの前記出力量を減少し、前記ユーザの前記手首の前記第2の方向への回転に応じて前記コンテンツの前記出力量を増加すると決定する
 (5)に記載の情報処理装置。
(7)
 前記決定部は、
 前記一次元が前記コンテンツの表示領域に対応する場合、前記ユーザの前記手首の前記第1の方向への回転に応じて前記コンテンツの前記表示領域を減少し、前記ユーザの前記手首の前記第2の方向への回転に応じて前記コンテンツの前記表示領域を増加すると決定する
 (6)に記載の情報処理装置。
(8)
 前記決定部は、
 前記一次元が前記コンテンツの出力音量に対応する場合、前記ユーザの前記手首の前記第1の方向への回転に応じて前記コンテンツの前記出力音量を減少し、前記ユーザの前記手首の前記第2の方向への回転に応じて前記コンテンツの前記出力音量を増加すると決定する
 (6)に記載の情報処理装置。
(9)
 前記決定部は、
 前記一次元が前記コンテンツの上下方向に対応する場合、前記ユーザの前記手首の前記第1の方向への回転に応じて前記コンテンツの表示領域を下方向に変更し、前記ユーザの前記手首の前記第2の方向への回転に応じて前記コンテンツの表示領域を上方向に変更すると決定する
 (5)に記載の情報処理装置。
(10)
 前記決定部は、
 前記ユーザの前記指の状態が条件を満たす場合、前記ユーザの前記手首の回転に対応する前記コンテンツの出力態様の変更を行うと決定する
 (1)~(9)のいずれか1つに記載の情報処理装置。
(11)
 前記決定部は、
 前記ユーザの前記指の状態が前記条件を満たさない場合、前記ユーザの前記手首の回転に対応する前記コンテンツの出力態様の変更を行わないと決定する
 (10)に記載の情報処理装置。
(12)
 前記決定部は、
 前記ユーザの前記指の状態が、前記コンテンツの出力の変更に対応するジェスチャに該当する場合、前記ユーザの前記手首の回転に対応する前記コンテンツの出力態様の変更を行うと決定する
 (10)または(11)に記載の情報処理装置。
(13)
 前記決定部は、
 前記ユーザの前記指の状態が、前記コンテンツの出力の変更に対応する形状となっている場合、前記ユーザの前記手首の回転に対応する前記コンテンツの出力態様の変更を行うと決定する
 (10)~(12)のいずれか1つに記載の情報処理装置。
(14)
 前記決定部により決定された出力態様により前記コンテンツを出力する出力部、
 をさらに備える(1)~(13)のいずれか1つに記載の情報処理装置。
(15)
 ユーザの指の状態を示す第1情報と、前記ユーザの手首の回転を示す第2情報とを取得し、
 前記第1情報が示す前記ユーザの前記指の状態と、前記第2情報が示す前記ユーザの前記手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する
 処理を実行する情報処理方法。
(16)
 ユーザの手首に装着されるリストバンド型の表示デバイスであって、
 前記ユーザの前記手首への装着時に、前記ユーザの前記手首の周方向に沿って移動自在な表示部と、
 前記ユーザが前記手首を回転した場合に、前記ユーザの前記手首の周方向の前記表示部の位置を、前記ユーザの前記手首の回転前の位置である保持位置に保持する保持部と
 を備える表示デバイス。
(17)
 前記保持部は、
 前記ユーザの前記手首への装着時に、前記ユーザの前記手首の周方向に沿って前記表示部とともに移動自在な錘であり、
 前記表示部は、
 前記ユーザが重力方向に交差する方向を軸として前記手首を回転した場合に、前記保持部が前記ユーザの前記手首の周方向の位置が保持されることにより、前記保持位置に保持される
 (16)に記載の表示デバイス。
(18)
 前記保持部は、
 前記ユーザの前記手首への装着時に、前記表示部とは前記ユーザの前記手首の周方向の異なる位置に配置され、
 前記表示部は、
 前記保持部との前記ユーザの前記手首の周方向の位置の差に応じた前記保持位置に保持される
 (17)に記載の表示デバイス。
(19)
 前記ユーザの前記手首への装着時に、前記ユーザの前記手首に接触し、前記ユーザの前記手首とともに前記手首の周方向に回転するバンド部、
 をさらに備える(16)~(18)のいずれか1つに記載の表示デバイス。
(20)
 前記バンド部は、
 前記ユーザの前記手首への装着時に、前記ユーザの前記手首と前記表示部との間に配置される
 (19)に記載の表示デバイス。
 100、100A~G 情報処理装置
 11 通信部
 12 入力部
 13 表示部(出力部)
 14 記憶部
 15 制御部
 151 取得部
 152 検知部
 153 決定部
 154 生成部
 155 送信部
 16 センサ部
 161 第1のセンサ
 162 第2のセンサ
 17 音声出力部(出力部)
 20 バンド部
 30 錘(保持部)

Claims (20)

  1.  ユーザの指の状態を示す第1情報と、前記ユーザの手首の回転を示す第2情報とを取得する取得部と、
     前記第1情報が示す前記ユーザの前記指の状態と、前記第2情報が示す前記ユーザの前記手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する決定部と、
     を備える情報処理装置。
  2.  前記決定部は、
     前記ユーザの前記指の状態と、前記ユーザの前記手首の回転とに基づいて、表示デバイスである前記デバイスに表示された前記コンテンツの表示態様を決定する
     請求項1に記載の情報処理装置。
  3.  前記決定部は、
     前記ユーザの前記指の状態により前記コンテンツの出力態様を変更するか否かを決定し、前記ユーザの前記手首の回転により前記コンテンツの出力態様を変更する量を決定する
     請求項1に記載の情報処理装置。
  4.  前記決定部は、
     前記ユーザの前記手首の回転の量に対応する量を前記コンテンツの出力態様の変更量に決定する
     請求項3に記載の情報処理装置。
  5.  前記決定部は、
     前記ユーザの前記手首の回転が第1の方向である場合、前記コンテンツに対応する一次元の一方に変更し、前記ユーザの前記手首の回転が前記第1の方向とは反対方向の第2の方向である場合、前記コンテンツに対応する前記一次元の他方に変更すると決定する
     請求項3に記載の情報処理装置。
  6.  前記決定部は、
     前記一次元が前記コンテンツの出力量に対応する場合、前記ユーザの前記手首の前記第1の方向への回転に応じて前記コンテンツの前記出力量を減少し、前記ユーザの前記手首の前記第2の方向への回転に応じて前記コンテンツの前記出力量を増加すると決定する
     請求項5に記載の情報処理装置。
  7.  前記決定部は、
     前記一次元が前記コンテンツの表示領域に対応する場合、前記ユーザの前記手首の前記第1の方向への回転に応じて前記コンテンツの前記表示領域を減少し、前記ユーザの前記手首の前記第2の方向への回転に応じて前記コンテンツの前記表示領域を増加すると決定する
     請求項6に記載の情報処理装置。
  8.  前記決定部は、
     前記一次元が前記コンテンツの出力音量に対応する場合、前記ユーザの前記手首の前記第1の方向への回転に応じて前記コンテンツの前記出力音量を減少し、前記ユーザの前記手首の前記第2の方向への回転に応じて前記コンテンツの前記出力音量を増加すると決定する
     請求項6に記載の情報処理装置。
  9.  前記決定部は、
     前記一次元が前記コンテンツの上下方向に対応する場合、前記ユーザの前記手首の前記第1の方向への回転に応じて前記コンテンツの表示領域を下方向に変更し、前記ユーザの前記手首の前記第2の方向への回転に応じて前記コンテンツの表示領域を上方向に変更すると決定する
     請求項5に記載の情報処理装置。
  10.  前記決定部は、
     前記ユーザの前記指の状態が条件を満たす場合、前記ユーザの前記手首の回転に対応する前記コンテンツの出力態様の変更を行うと決定する
     請求項1に記載の情報処理装置。
  11.  前記決定部は、
     前記ユーザの前記指の状態が前記条件を満たさない場合、前記ユーザの前記手首の回転に対応する前記コンテンツの出力態様の変更を行わないと決定する
     請求項10に記載の情報処理装置。
  12.  前記決定部は、
     前記ユーザの前記指の状態が、前記コンテンツの出力の変更に対応するジェスチャに該当する場合、前記ユーザの前記手首の回転に対応する前記コンテンツの出力態様の変更を行うと決定する
     請求項10に記載の情報処理装置。
  13.  前記決定部は、
     前記ユーザの前記指の状態が、前記コンテンツの出力の変更に対応する形状となっている場合、前記ユーザの前記手首の回転に対応する前記コンテンツの出力態様の変更を行うと決定する
     請求項10に記載の情報処理装置。
  14.  前記決定部により決定された出力態様により前記コンテンツを出力する出力部、
     をさらに備える請求項1に記載の情報処理装置。
  15.  ユーザの指の状態を示す第1情報と、前記ユーザの手首の回転を示す第2情報とを取得し、
     前記第1情報が示す前記ユーザの前記指の状態と、前記第2情報が示す前記ユーザの前記手首の回転とに基づいて、デバイスから出力されるコンテンツの出力態様を決定する
     処理を実行する情報処理方法。
  16.  ユーザの手首に装着されるリストバンド型の表示デバイスであって、
     前記ユーザの前記手首への装着時に、前記ユーザの前記手首の周方向に沿って移動自在な表示部と、
     前記ユーザが前記手首を回転した場合に、前記ユーザの前記手首の周方向の前記表示部の位置を、前記ユーザの前記手首の回転前の位置である保持位置に保持する保持部と、
     を備える表示デバイス。
  17.  前記保持部は、
     前記ユーザの前記手首への装着時に、前記ユーザの前記手首の周方向に沿って前記表示部とともに移動自在な錘であり、
     前記表示部は、
     前記ユーザが重力方向に交差する方向を軸として前記手首を回転した場合に、前記保持部が前記ユーザの前記手首の周方向の位置が保持されることにより、前記保持位置に保持される
     請求項16に記載の表示デバイス。
  18.  前記保持部は、
     前記ユーザの前記手首への装着時に、前記表示部とは前記ユーザの前記手首の周方向の異なる位置に配置され、
     前記表示部は、
     前記保持部との前記ユーザの前記手首の周方向の位置の差に応じた前記保持位置に保持される
     請求項17に記載の表示デバイス。
  19.  前記ユーザの前記手首への装着時に、前記ユーザの前記手首に接触し、前記ユーザの前記手首とともに前記手首の周方向に回転するバンド部、
     をさらに備える請求項16に記載の表示デバイス。
  20.  前記バンド部は、
     前記ユーザの前記手首への装着時に、前記ユーザの前記手首と前記表示部との間に配置される
     請求項19に記載の表示デバイス。
PCT/JP2023/003529 2022-02-15 2023-02-03 情報処理装置、情報処理方法及び表示デバイス WO2023157669A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-021246 2022-02-15
JP2022021246 2022-02-15

Publications (1)

Publication Number Publication Date
WO2023157669A1 true WO2023157669A1 (ja) 2023-08-24

Family

ID=87578509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/003529 WO2023157669A1 (ja) 2022-02-15 2023-02-03 情報処理装置、情報処理方法及び表示デバイス

Country Status (1)

Country Link
WO (1) WO2023157669A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028546A1 (en) * 2012-07-27 2014-01-30 Lg Electronics Inc. Terminal and control method thereof
JP2018190455A (ja) * 2014-11-12 2018-11-29 京セラ株式会社 ウェアラブル装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140028546A1 (en) * 2012-07-27 2014-01-30 Lg Electronics Inc. Terminal and control method thereof
JP2018190455A (ja) * 2014-11-12 2018-11-29 京セラ株式会社 ウェアラブル装置

Similar Documents

Publication Publication Date Title
US10936164B2 (en) Reduced size configuration interface
US20230136700A1 (en) Displaying a scrollable list of affordances associated with physical activities
Gong et al. Wristwhirl: One-handed continuous smartwatch input using wrist gestures
Hinckley et al. Sensor synaesthesia: touch in motion, and motion in touch
CN103262008B (zh) 智能无线鼠标
KR102109407B1 (ko) 스마트 와치 및 제어 방법
EP2191397B1 (en) Enhanced rejection of out-of-vocabulary words
KR102170321B1 (ko) 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
US9448643B2 (en) Stylus sensitive device with stylus angle detection functionality
US8421634B2 (en) Sensing mechanical energy to appropriate the body for data input
US20170235360A1 (en) System for gaze interaction
US20200097082A1 (en) Neuromuscular text entry, writing and drawing in augmented reality systems
US20200104038A1 (en) System and method of controlling devices using motion gestures
US20160313875A1 (en) Adaptive user interfaces
US20090051648A1 (en) Gesture-based mobile interaction
JP2016533577A (ja) リモコン装置、情報処理方法およびシステム
EP2840478B1 (en) Method and apparatus for providing user interface for medical diagnostic apparatus
Williamson et al. Multimodal mobile interactions: usability studies in real world settings
WO2016014601A2 (en) Remote user interface
JP2017508215A (ja) ユーザインタフェースの一部の移動を介するコンピューティングデバイスとのインタラクション
EP3163415A1 (en) Information processing device, information processing method, and program
US20170115782A1 (en) Combined grip and mobility sensing
KR102297473B1 (ko) 신체를 이용하여 터치 입력을 제공하는 장치 및 방법
WO2023157669A1 (ja) 情報処理装置、情報処理方法及び表示デバイス
Oakley et al. Motion marking menus: An eyes-free approach to motion input for handheld devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23756196

Country of ref document: EP

Kind code of ref document: A1