JP7775751B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム

Info

Publication number
JP7775751B2
JP7775751B2 JP2022037312A JP2022037312A JP7775751B2 JP 7775751 B2 JP7775751 B2 JP 7775751B2 JP 2022037312 A JP2022037312 A JP 2022037312A JP 2022037312 A JP2022037312 A JP 2022037312A JP 7775751 B2 JP7775751 B2 JP 7775751B2
Authority
JP
Japan
Prior art keywords
user
face
orientation
unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022037312A
Other languages
English (en)
Other versions
JP2023132146A (ja
Inventor
政弘 赤木
啓之 伊夫伎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2022037312A priority Critical patent/JP7775751B2/ja
Priority to PCT/JP2023/001401 priority patent/WO2023171140A1/ja
Priority to US18/841,751 priority patent/US20250165061A1/en
Priority to DE112023001313.6T priority patent/DE112023001313T5/de
Priority to CN202380023632.7A priority patent/CN118786407A/zh
Priority to TW112104340A priority patent/TWI864577B/zh
Publication of JP2023132146A publication Critical patent/JP2023132146A/ja
Application granted granted Critical
Publication of JP7775751B2 publication Critical patent/JP7775751B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、顔検出を用いた操作に関する情報処理装置、情報処理方法およびプログラムに関する。
カメラなどの撮像装置によって撮像された人物の顔検出やジェスチャなどの動作検出の結果を基に、パソコンなどの情報処理装置を操作する種々の技術が提案されている。
特許文献1では、ユーザがジェスチャによって操作する際に、特定のジェスチャの検出によって操作を容易にする技術が提案されている。また、特許文献2では、両手の不自由な障害者に対して装着物の必要がなくGUI(Graphical User Interface)を媒介としたプログラムの操作を可能にするマウス代替方法を提供する技術が提案されている。
特開2017-004553号公報 特開2007-310914号公報
しかしながら、上記の従来技術を用いてユーザの顔の向きに応じてディスプレイに表示されるポインタなどの指標を移動させる場合、ユーザが意図せずに指標を移動させたい方向とは違う方向に顔を向けると、指標もユーザの顔の向きに合わせてユーザが望まない方向に移動してしまうため、ユーザが使いにくさを感じる可能性がある。
そこで、本発明は上記事情に鑑みなされたものであって、ユーザの顔の向きに応じた表示部の指標の移動制御の向上を図る技術を提供する。
上記目的を達成するために本発明は、以下の構成を採用する。
本発明の一側面は、移動可能な指標を表示する表示部と、ユーザの顔の向きを検出する検出部と、前記検出部により検出された前記ユーザの顔の向きが、正面の向きから所定の角度範囲内の向きである場合に、前記表示部における前記指標の移動を抑制する移動制御部と、を備えることを特徴とする情報処理装置である。これにより、ユーザが意図せずに、表示部の指標を移動させたい方向とは異なる方向に顔を向けた場合であっても、正面の向きを基準とした顔の向きの角度が小さければ表示部の指標は移動しないため、ユーザが意図せずに顔を動かして指標を移動させてしまう現象を抑制することができる。
また、上記の情報処理装置は、前記検出部により検出された前記ユーザの顔の向きが、正面の向きから前記所定の角度範囲内の向きである場合に、前記指標の移動が抑制されることを前記ユーザに通知する通知部をさらに備えてもよい。これにより、ユーザは現在の顔の向きで表示部に表示されている指標を移動することができるか否かを把握することができる。また、前記移動制御部は、前記検出部と前記ユーザとの距離に応じて前記所定の角度範囲を変更してもよい。これにより、ユーザが検出部により近いときは所定の角度範囲の閾値となる角度をより大きくし、ユーザが検出部により遠いときは当該閾値の角度をより小さくすることで、ユーザが顔の向きを動かしたときの指標の移動開始の感度を最適
化することができる。
なお、本発明は、上記処理の少なくとも一部を含む、情報処理方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。
本発明によれば、ユーザの顔の向きに応じた表示部の指標の移動制御の向上を図ることができる。
図1は、本発明が適用されたPCの構成例を模式的に示す図である。 図2は、一実施形態に係るPCの例を示すブロック図である。 図3は、一実施形態に係るPCの処理フロー例を示すフローチャートである。 図4は、一実施形態に係るPCの処理フロー例を示すフローチャートである。 図5Aおよび図5Bは、一実施形態における表示部の表示とカメラから出力されるユーザの画像の例である。 図6A~図6Dは、一実施形態における表示部の表示とカメラから出力されるユーザの画像の例である。
<適用例>
本発明の適用例について説明する。従来技術では、ユーザの顔の向きに応じてディスプレイに表示されるポインタなどの指標を移動させる場合、ユーザが意図せずに指標を移動させたい方向とは違う方向に顔を向けると、指標もユーザの顔の向きに合わせてユーザが望まない方向に移動してしまうため、ユーザが使いにくさを感じる可能性がある。
図1は、本発明が適用されたPC100の構成例を模式的に示す図である。図1に示す構成例では、PC100は、カメラ110を備えている。カメラ110は、PC100のユーザ200の顔を撮像する機能を有し、PC100は、カメラ110によって撮像されたユーザ200の顔の画像を処理してユーザ200の顔の向きを特定し、ユーザ200の顔の向きに応じてPC100のディスプレイなどの表示部に表示されるポインタなどの指標の移動制御を行う。なお、PC100が実行する処理の具体的な内容については後述する。
PC100は、カメラ110によって撮像されたユーザ200の顔の画像に顔検出処理を施し、特定したユーザ200の顔の向きが正面の向きから所定の角度範囲内の向きである場合は、表示部における指標の移動を抑制する。これにより、ユーザ200が意図せずに、PC100の表示部の指標を移動させたい方向とは異なる方向に顔を向けた場合であっても、正面の向きを基準とした顔の向きの角度が小さければ指標は移動しないため、ユーザ200が誤って顔を動かして指標を移動させてしまう現象を抑制することができる。
<実施形態の説明>
本件開示の技術の一実施形態について説明する。本実施形態に係る情報処理装置は、図1に示すカメラ110を備えるPC100を一例として想定する。図2は、本実施形態に係るPC100の構成例を示すブロック図である。図2に示すように、PC100は、カ
メラ110、制御部120、記憶部130、通信部140、入力部150、表示部160を有する。
カメラ110は、ユーザ200の顔の向きを検出する検出部として機能し、PC100を使用するユーザ200の顔を撮像して、撮像した画像を制御部120に出力する。制御部120は、CPU(Central Processing Unit)やRAM(Random Access Memory)、ROM(Read Only Memory)などを含み、PC100内の各部の制御や、各種情報処理などを行う。制御部120は、画像処理部121、特定部122、表示制御部123を有する。画像処理部121は、カメラ110から出力される画像を処理して、ユーザ200の顔検出処理を実行する。特定部122は、画像処理部121による顔検出処理の結果に基づいてユーザ200の顔の向きを特定し、特定した顔の向きを基に表示部160に表示される指標の移動を抑制するか否かの判定処理を実行する。表示制御部123は、特定部122による判定処理の結果に基づいて表示部160に表示される指標の移動制御処理を実行する移動制御部である。また、表示制御部123は、表示部160に表示される指標の移動が抑制されることをユーザに通知する通知部でもある。なお、以下の説明では、指標の移動の抑制として、指標の移動を停止させることとするが、指標の移動停止の代わりに移動速度を小さくするなどの移動制御も指標の移動の抑制とすることができる。
記憶部130は、制御部120で実行されるプログラムや、制御部120において実行される処理で使用される各種データなどを記憶する。例えば、記憶部130は、ハードディスクドライブ、ソリッドステートドライブなどの補助記憶装置である。
通信部140は、PC100の図示しない種々の外部装置と通信を行う。入力部150は、PC100のユーザが操作可能であり、制御部120が実行する処理に関する指示を入力する機能を有する。入力部150としては、例えばキーボードやポインティングデバイスなどが挙げられる。表示部160は、制御部120の処理結果に関する情報を表示する。なお、制御部120による処理結果に関する情報は、記憶部130に記憶されて、任意のタイミングで表示部160に表示されてもよい。
図3および図4は、PC100の処理フロー例を示すフローチャートである。一例として、PC100のユーザ200がPC100の入力部150を操作して、表示部160に表示されるキーボードに対してポインタを移動させて入力を行う場合を想定する。PC100は、図3に示すフローチャートの処理と図4に示すフローチャートの処理を並行して実行する。まず、図3を参照しながら、制御部120が実行する処理について説明する。一例として、制御部120は、カメラ110から出力される各画像に図3のフローチャートの処理を実行する。ただし、制御部120は、カメラ110から出力されるすべての画像に対して図3のフローチャートの処理を実行する必要はなく、カメラ110から所定数の画像が出力される度に処理を実行したり所定の時間間隔でカメラ110から出力される画像に対して処理を実行したりするなど間欠的に処理を実行してもよい。
ステップS101において、制御部120の表示制御部123が表示部160に入力画面を表示する。また、このとき表示制御部123は、表示部160にユーザの操作により移動可能な指標であるポインタも表示する。なお、表示部160における入力画面やポインタの表示例については後述する。
ステップS102において、制御部120がカメラ110から、カメラ110によって撮像された画像を取得する。ここでは、ユーザ200の顔がカメラ110の撮像範囲内にあるため、カメラ110はユーザ200の顔を撮像し、撮像した画像を制御部120に出力する。
次に、ステップS103において、制御部120の画像処理部121は、ステップS102においてカメラ110から受信した画像に対して顔検出処理を実行する。カメラ110によって撮像された画像にはユーザ200の顔が含まれているため、ステップS103の処理によって、画像からユーザ200の顔が検出される。
次に、ステップS104において、制御部120の特定部122は、ステップS103において検出したユーザ200の顔の目、鼻、口、耳などの各器官の特徴点の相対位置を基に、カメラ110に対する正面の向きに対するユーザ200の顔の角度を算出することで、ユーザ200の顔の向きを特定する。特徴点としては、目の端、あごの先端、鼻の先端、口の端などが挙げられるがこれに限られない。顔の向きを示す角度の算出は、周知の技術を用いて上記特徴点を基に実現できるため、ここでは詳細な説明は省略する。
次に、ステップS105において、特定部122は、ステップS104において特定したユーザ200の顔の向きを示す角度が所定の角度範囲内であるか否かを判定する。ここで、所定の角度範囲は、ユーザ200がカメラ110に対して正面の向きから顔の向きを変えても、制御部120が表示部160に表示されるポインタを移動させない、顔の向きの角度の範囲である。したがって、この所定の角度範囲が大きくなるほど、ユーザ200は顔の向きをカメラ110に対して正面からより大きく変えることで、制御部120により表示部160のポインタの停止が解除されて移動が開始されることとなる。また、この所定の角度範囲が小さくなるほど、ユーザ200は顔の向きをカメラ110に対して正面からより小さく変えることで、制御部120により表示部160のポインタの停止が解除されて移動が開始されることとなる。したがって、この所定の角度範囲は、ユーザ200の顔の向きの動く範囲などに合わせて適宜変更されてよい。なお、以下の説明において、この所定の角度範囲を、ユーザ200が顔の向きを変えてもポインタが移動しない「不感帯」と称する。
特定部122は、ユーザ200の顔の向きを示す角度が不感帯内にある場合は(S105:YES)、処理をステップS106に進める。一方、特定部122は、ユーザ200の顔の向きを示す角度が不感帯内にない場合は(S105:NO)、処理をステップS108に進める。
ステップS106において、制御部120の表示制御部123は、表示部160に表示されているポインタの移動を抑制する制御を行う。具体的には、表示制御部123は、表示部160に表示されているポインタを現在表示されている位置で停止させた状態に維持する。そして、制御部120は、処理をステップS107に進める。
ステップS107において、表示制御部123は、表示部160にユーザの顔の向きが不感帯内にあることを通知する表示を行う。なお、表示制御部123による表示部160の表示例については後述する。
また、ステップS108では、表示制御部123は、表示部160に表示されているポインタを移動させる制御を行う。具体的には、表示制御部123は、表示部160に表示されているポインタを現在表示されている位置から、ステップS104において特定されたユーザ200の顔の向きを基に決まる移動方向と移動速度を用いて、ポインタを移動する。
ここで、一例として、ポインタの移動速度について、表示部160のフレームレートを基にした1フレームあたりのポインタの移動ピクセル数をp、ユーザ200の顔の向きの角度をα、不感帯内とする閾値となる角度(不感帯とみなす角度範囲の最大角度)をβと
すると、以下の式(1)により算出されるpの値をポインタの移動速度とすることができる。

ここで、cは変更可能な定数であり、cの値を変更することでポインタの移動速度を調整することができる。
制御部120は、ステップS107またはS108の処理が完了すると、図3のフローチャートの処理を終了し、カメラ110から出力される別の画像に対して図3のフローチャートの処理を繰り返し実行する。
次に、図4のフローチャートを参照しながら、制御部120が実行する処理について説明する。本実施形態では、制御部120が実行する処理と以下に説明する処理で特定される手のジェスチャとが対応付けられているものとする。また、手のジェスチャと実行される処理の対応関係を示す情報が、あらかじめ記憶部130に記憶されているものとする。一例として、図4のフローチャートにおいては、制御部120は、カメラ110から順次出力される複数の画像を対象として図4のフローチャートの処理を実行し、これら一連の画像から特定される手のジェスチャを基にPC100の処理が実行される。なお、図3および図4のフローチャートの処理の実行タイミングや実行対象の画像は適宜設定することができる。
まず、ステップS201において、制御部120がカメラ110から、カメラ110によって撮像された画像を取得する。ここでは、図3のフローチャートの処理の実行時と同様に、カメラ110はユーザ200の顔を撮像し、撮像した画像を制御部120に出力する。
ステップS202において、画像処理部121がステップS201において取得した各画像に対して人間の手を検出する手検出処理を実行する。次に、ステップS203において、画像処理部121は、ステップS202の処理により人間の手を検出したか否かを判定する。画像内に人間の手が検出された場合は(S203:YES)、画像処理部121は、処理をステップS204に進める。例えばユーザ200が手を下げるなどにより画像内にユーザ200の手が含まれていない場合は、画像処理部121は手検出処理によって画像から手を検出できない。このため、画像内に手が検出されない場合は(S203:NO)、画像処理部121は、本フローチャートの処理を終了する。
次に、ステップS204において、特定部122は、ステップS202において検出できた各画像内の手の動作がどのようなジェスチャであるかを特定する。ここで特定される手のジェスチャとしては、手のひらを広げるジェスチャ、手を握るジェスチャ、手を振るジェスチャ、指を使ったジェスチャなど周知のジェスチャが挙げられる。特定部122は、ジェスチャを特定した後、処理をステップS205に進める。
ステップS205では、特定部122は、ステップS204において特定した手の動作が所定のジェスチャであるか否かを判定する。ここで所定のジェスチャとは、制御部120が実行する処理と対応付けられているジェスチャである。上記の通り、手のジェスチャと実行される処理の対応関係を示す情報が記憶部130に記憶されている。そこで、特定部122は、記憶部130に記憶されている情報を参照して、ステップS204において特定した手の動作が、参照した情報が示す所定のジェスチャであるか否かを判定する。特定した手の動作が所定のジェスチャである場合は(S205:YES)、特定部122は
処理をステップS206に進める。一方、特定した手の動作が所定のジェスチャでない場合は(S205:NO)、特定部122は本フローチャートの処理を終了する。そして、ステップS206において、制御部120は、記憶部130に記憶されている手のジェスチャと実行される処理の対応関係を示す情報を参照し、ステップS204において特定されたジェスチャに対応する処理を実行する。制御部120は、ステップS206の処理が完了すると、図4のフローチャートの処理を終了する。そして、制御部120は、カメラ110から出力される別の一連の画像に対して図4のフローチャートの処理を繰り返し実行する。
次に、図5A、図5B、図6A~図6Dを参照しながら、上記の処理を実行したときの表示部160に表示される画面とカメラ110から出力されるユーザ200の画像の例について説明する。図5Aに示すように、表示部160に表示される入力画面501には、キーボード502、入力エリア503、ポインタ505が表示されている。入力エリア503は、キーボード502に対するキー入力に応じて文字等が入力される領域である。入力エリア503には、文字の入力位置であるカーソル504も表示されている。ここでは、図5Aにおけるポインタ505の位置が、ポインタ505の初期位置であるとする。なお、ユーザ200は、入力部150を操作して、ポインタ505を所望の位置に移動して移動後の位置を初期位置に変更することもできる。
図5Bは、入力画面501の表示が図5Aに示す状態であるときのカメラ110から出力されるユーザ200の画像502である。図5Bに示すように、画像502では、ユーザ200が顔602の向きをカメラに対して正面から少しずらした状態となっており、このときの顔602の向きの角度が不感帯内にあるとする。図5Aおよび図5Bに示す場合、上記の図3のフローチャートの処理では、ステップS105においてユーザ200の顔の向きを示す角度が不感帯内にあると判定される(S105:YES)。この結果、ユーザ200が顔602の向きをカメラ110に対して正面からずらしていても、入力画面501では表示制御部123によってポインタ505が停止したままとなり(ステップS106)、入力画面501には、ポインタ505に移動が抑制(ここでは停止)されていることを示す指標であるアイコン506が表示される(ステップS107)。したがって、ユーザ200は、入力画面501を確認することで、現在の顔602の向きでは、ポインタ505が移動しないことを認識することができる。
次に、図5Bの状態の後、図6Bに示すように、カメラ110が出力する画像502では、ユーザ200が顔602の向きを正面からさらにずらして、顔602の向きの角度が不感帯内にないものとする。この場合、上記の図3のフローチャートの処理では、ステップS105においてユーザ200の顔の向きを示す角度が不感帯内にないと判定される(S105:NO)。この結果、図6Aに示すように、入力画面501では、ユーザ200の顔602の向きを基に決まる移動方向と移動速度により、ポインタ505が移動する(ステップS108)。なお、図6Aおよび図6Bに示す場合では、ユーザ200は顔602をカメラ110に向かって右上方向に向けているため、入力画面501において、ポインタ505は図5Aに示す位置から右上方向に移動する。また、ユーザ200の顔の向きを示す角度が不感帯内にない状態では、表示制御部123は図5Aにおいてポインタ505に表示されていたアイコン506を非表示状態にする。
さらに、ユーザ200が入力画面501においてポインタ505が図6Aに示すようにキーボード502上の所望の位置に移動したときに、図6Dに示すように、ユーザ200が顔602の向きをカメラ110に対して正面に戻し、カメラ110の撮像範囲内に手603を移動してジェスチャ(ここでは手を握る動作)をしたとする。また、ここでは、手を握るジェスチャと入力画面501においてキーボード502のキーを押す処理とが対応付けられているとする。この場合、上記の図3のフローチャートの処理では、ステップS
105においてユーザ200の顔の向きを示す角度が不感帯内にあると判定される(S105:YES)。この結果、入力画面501では表示制御部123によってポインタ505が停止したままとなり(ステップS106)、入力画面501には、ポインタ505が移動しないことを示す指標であるアイコン506が表示される(ステップS107)。
さらに、図6Dに示す状態では、上記の図4のフローチャートの処理により、手を握るジェスチャが所定のジェスチャであると判定され(ステップS205)、判定されたジェスチャに応じた処理(ここではキーボード502のキーを押す処理)が実行される(S206)。この結果、図6Cに示すように、入力画面501では、ポインタ505が位置するキーボード502のキーが押されて入力エリア503に文字が入力される。したがって、ユーザ200は、現在の顔602の向き(図6D)ではポインタ505が移動しないため、入力画面501でポインタ505を所望の位置に移動した後に顔602を意図せずに正面からずらしたことでポインタ505が所望の位置からずれてしまう現象が抑制される。この結果、ユーザ200は、顔602の向きを変えながらポインタ505を移動してキーボード502によって文字入力を行う操作を精度よく行うことができる。
<その他>
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、上記の実施形態に係るPC100では、ユーザ200の顔の向きが不感帯内である場合に、表示部160において、そのことをユーザ200に通知する指標としてアイコン506を表示するが、この代わりにあるいはこれに加えて、入力画面501の一部の表示を変化させたり、PC100に接続された図示しないスピーカなどにより音によってユーザ200に報知したりすることで、ユーザ200の顔の向きが不感帯内であることを通知するように構成されていてもよい。
また、上記の実施形態において、不感帯を規定する顔の向きの角度範囲は、カメラ110とユーザ200との距離に応じて変更されてよい。例えば、ステップS102において、制御部120は、カメラ110から取得した画像におけるユーザ200の顔の大きさを基にカメラ110とユーザ200との距離を算出し、算出した距離に応じてステップS105において不感帯内であると判定する閾値となる顔の向きの角度を変更する。これにより、ユーザ200がカメラ110により近いときは不感帯内とみなす閾値の角度をより大きくし、ユーザ200がカメラ110により遠いときは不感帯内とみなす閾値の角度をより小さくすることで、ユーザ200が顔の向きを動かしたときのポインタ505の移動開始の感度を最適化することが期待できる。
また、上記の実施形態において、表示部160の画面サイズに応じてポインタ505の移動速度が決定されてもよい。例えば、図3および図4のフローチャートの処理を開始する前に、制御部110が表示部160の画面サイズの情報を取得し、画面サイズに応じて上記の式(1)のcの値を変更してもよい。これにより、画面サイズが大きくなるほどポインタ505の移動速度も大きくなるように設定して、画面サイズが大きくなっても画面内でポインタ505を移動するのに時間がかかるような現象を抑え、顔の向きによってポインタ505を移動させる際の作業効率の向上を図ることが期待できる。
<付記1>
移動可能な指標を表示する表示部(160)と、
ユーザの顔の向きを検出する検出部(110)と、
前記検出部により検出された前記ユーザの顔の向きが、正面の向きから所定の角度範囲内の向きである場合に、前記表示部における前記指標の移動を抑制する移動制御部(123)と、
を備えることを特徴とする情報処理装置(100)。
<付記2>
表示部に移動可能な指標を表示する表示ステップ(S101)と、
ユーザの顔の向きを検出する検出ステップ(S104)と、
検出された前記ユーザの顔の向きが、正面の向きから所定の角度範囲内の向きである場合に、前記表示部における前記指標の移動を抑制する移動制御ステップ(S106)と、を含むことを特徴とする情報処理方法。
100 PC、110 カメラ、120 制御部、121 画像処理部、122 特定部、123 表示制御部、160 表示部

Claims (4)

  1. 移動可能な指標を表示する表示部と、
    ユーザの顔の向きを検出する検出部と、
    前記検出部により検出された前記ユーザの顔の向きが、正面の向きから所定の角度範囲内の向きである場合に、前記表示部における前記指標の移動を抑制する移動制御部と、
    を備え
    前記移動制御部は、前記検出部と前記ユーザとの距離に応じて前記所定の角度範囲を変更することを特徴とする情報処理装置。
  2. 前記検出部により検出された前記ユーザの顔の向きが、正面の向きから前記所定の角度範囲内の向きである場合に、前記指標の移動が抑制されることを前記ユーザに通知する通知部をさらに備えることを特徴とする請求項1に記載の情報処理装置。
  3. 表示部に移動可能な指標を表示する表示ステップと、
    検出部によってユーザの顔の向きを検出する検出ステップと、
    検出された前記ユーザの顔の向きが、正面の向きから所定の角度範囲内の向きである場合に、前記表示部における前記指標の移動を抑制する移動制御ステップと、
    を含み、
    前記移動制御ステップにおいて、前記検出部と前記ユーザとの距離に応じて前記所定の角度範囲を変更することを特徴とする情報処理方法。
  4. 請求項に記載の情報処理方法の各ステップをコンピュータに実行させるためのプログラム。
JP2022037312A 2022-03-10 2022-03-10 情報処理装置、情報処理方法およびプログラム Active JP7775751B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2022037312A JP7775751B2 (ja) 2022-03-10 2022-03-10 情報処理装置、情報処理方法およびプログラム
PCT/JP2023/001401 WO2023171140A1 (ja) 2022-03-10 2023-01-18 情報処理装置、情報処理方法およびプログラム
US18/841,751 US20250165061A1 (en) 2022-03-10 2023-01-18 Information processing device, information processing method, and program
DE112023001313.6T DE112023001313T5 (de) 2022-03-10 2023-01-18 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
CN202380023632.7A CN118786407A (zh) 2022-03-10 2023-01-18 信息处理装置、信息处理方法以及程序
TW112104340A TWI864577B (zh) 2022-03-10 2023-02-08 資訊處理裝置、資訊處理方法及電腦程式產品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022037312A JP7775751B2 (ja) 2022-03-10 2022-03-10 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2023132146A JP2023132146A (ja) 2023-09-22
JP7775751B2 true JP7775751B2 (ja) 2025-11-26

Family

ID=87936646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022037312A Active JP7775751B2 (ja) 2022-03-10 2022-03-10 情報処理装置、情報処理方法およびプログラム

Country Status (6)

Country Link
US (1) US20250165061A1 (ja)
JP (1) JP7775751B2 (ja)
CN (1) CN118786407A (ja)
DE (1) DE112023001313T5 (ja)
TW (1) TWI864577B (ja)
WO (1) WO2023171140A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025178076A1 (ja) * 2024-02-22 2025-08-28 テルモ株式会社 プログラム、情報処理方法、及び情報処理装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002323956A (ja) 2001-04-25 2002-11-08 Nippon Telegr & Teleph Corp <Ntt> マウス代替方法、マウス代替プログラム、および同プログラムを記録した記録媒体
TW200947262A (en) 2008-05-05 2009-11-16 Utechzone Co Ltd Non-contact type cursor control method using human eye, pupil tracking system and storage media
JP2018045459A (ja) 2016-09-14 2018-03-22 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
WO2019146309A1 (ja) 2018-01-26 2019-08-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020158827A1 (en) * 2001-09-06 2002-10-31 Zimmerman Dennis A. Method for utilization of a gyroscopic or inertial device as a user interface mechanism for headmounted displays and body worn computers
US7161585B2 (en) * 2003-07-01 2007-01-09 Em Microelectronic-Marin Sa Displacement data post-processing and reporting in an optical pointing device
US20080211768A1 (en) * 2006-12-07 2008-09-04 Randy Breen Inertial Sensor Input Device
TWI480764B (zh) * 2011-03-10 2015-04-11 Nat Univ Chung Hsing 頭部控制游標之裝置及方法
KR20130130453A (ko) * 2012-05-22 2013-12-02 엘지전자 주식회사 영상표시장치 및 그 동작 방법
US9632655B2 (en) * 2013-12-13 2017-04-25 Amazon Technologies, Inc. No-touch cursor for item selection
CN114090408B (zh) * 2021-11-29 2024-12-31 平安壹账通云科技(深圳)有限公司 数据监控分析方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002323956A (ja) 2001-04-25 2002-11-08 Nippon Telegr & Teleph Corp <Ntt> マウス代替方法、マウス代替プログラム、および同プログラムを記録した記録媒体
TW200947262A (en) 2008-05-05 2009-11-16 Utechzone Co Ltd Non-contact type cursor control method using human eye, pupil tracking system and storage media
JP2018045459A (ja) 2016-09-14 2018-03-22 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
WO2019146309A1 (ja) 2018-01-26 2019-08-01 ソニー株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
TWI864577B (zh) 2024-12-01
US20250165061A1 (en) 2025-05-22
JP2023132146A (ja) 2023-09-22
WO2023171140A1 (ja) 2023-09-14
TW202336575A (zh) 2023-09-16
DE112023001313T5 (de) 2024-12-19
CN118786407A (zh) 2024-10-15

Similar Documents

Publication Publication Date Title
CN107493495B (zh) 交互位置确定方法、系统、存储介质和智能终端
AU2021290349B2 (en) Devices, methods, and graphical user interfaces for wireless pairing with peripheral devices and displaying status information concerning the peripheral devices
JP7605886B2 (ja) 画面用の手書きキーボード
US11550471B2 (en) Touch input cursor manipulation
JP7489048B2 (ja) ジェスチャ認識装置、システム及びそのプログラム
US9900518B2 (en) Multifunction physical button
DK179492B1 (en) SYSTEMS AND METHODS FOR ENABLING LOW-VISION USERS TO INTERACT WITH A TOUCH-SENSITIVE SECONDARY DISPLAY
JP6524589B2 (ja) クリック動作検出装置,方法およびプログラム
US20150220149A1 (en) Systems and methods for a virtual grasping user interface
JP2006085703A5 (ja)
US20160004307A1 (en) Information processing apparatus and program
JP6350261B2 (ja) オブジェクト操作システム及びオブジェクト操作制御プログラム並びにオブジェクト操作制御方法
TW200945174A (en) Vision based pointing device emulation
US20120268359A1 (en) Control of electronic device using nerve analysis
JP2016177658A5 (ja)
US20250130651A1 (en) System for Improving User Input Recognition on Touch Surfaces
JP7775751B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP4201644B2 (ja) 端末装置及び端末装置の制御プログラム
WO2024233034A9 (en) User interfaces for gesture detection
JPH11224163A (ja) 情報処理装置及びカーソル表示制御方法
CN113835527A (zh) 设备控制方法、装置、电子设备及存储介质
US20250208746A1 (en) Interaction method, electronic device and storage medium
CN119597200A (zh) 信息显示方法、装置、电子设备和可读存储介质
JP2015191591A (ja) 情報処理装置、行動タイミング検出方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20250114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20251014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20251027

R150 Certificate of patent or registration of utility model

Ref document number: 7775751

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150