JP2024032594A - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP2024032594A
JP2024032594A JP2022136320A JP2022136320A JP2024032594A JP 2024032594 A JP2024032594 A JP 2024032594A JP 2022136320 A JP2022136320 A JP 2022136320A JP 2022136320 A JP2022136320 A JP 2022136320A JP 2024032594 A JP2024032594 A JP 2024032594A
Authority
JP
Japan
Prior art keywords
information processing
reference position
predetermined
operation target
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022136320A
Other languages
English (en)
Inventor
俊佑 吉柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2022136320A priority Critical patent/JP2024032594A/ja
Priority to US18/187,793 priority patent/US20240069664A1/en
Publication of JP2024032594A publication Critical patent/JP2024032594A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04806Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】操作対象を一定時間以上継続して維持することで選択操作を行う場合に比べて、非接触での選択操作の時間を短縮可能な情報処理装置及び情報処理プログラムを提供することを目的とする。【解決手段】操作オブジェクト座標検知部30が、予め定めた操作空間内で操作オブジェクトの三次元座標を取得し、基準位置制御部32が、現在の基準位置を保持し、基準位置制御部32が、基準位置の変化制御を検知して基準位置を決定する。そして、表示制御部36が、オブジェクト保持部34、基準位置制御部32、操作オブジェクト座標検知部30から取得した各種情報を元に、表示部22に表示するオブジェクト及びポインタの制御を行う。例えば、表示制御部36は、階層関係を有するオブジェクトを選択した状態で、操作オブジェクトが基準位置から予め定めた一定量の深度変化を検知すると操作対象空間で階層を移動する。【選択図】図6

Description

本開示は、情報処理装置及び情報処理プログラムに関する。
特許文献1には、タッチパネルを有するリモコンから、当該タッチパネルに対する指示体の3次元的な位置情報を取得する位置情報取得部と、指示体の移動に応じて、表示画面上でカーソルを移動させる表示制御部と、指示体のタッチパネルからの高さが予め定められたロック閾値以下の場合に、表示画面上でのカーソルの移動を禁止する移動制限部と、カーソルの移動が禁止された状態で指示体がタッチパネルに接触した場合に、表示画面上でのカーソルの位置を選択する位置選択部とを備える情報処理装置が開示されている、
特開2015-060303号公報
非接触操作装置では、手指等の操作対象を同じ位置で一定時間以上継続して維持することでオブジェクトの選択操作を行う場合がある。この場合、選択操作が決定するまでに一定時間の待ち時間が発生するため、接触操作装置に比べて時間を要する場合があった。
そこで、本開示は、操作対象を一定時間以上継続して維持することで選択操作を行う場合に比べて、非接触での選択操作の時間を短縮可能な情報処理装置及び情報処理プログラムを提供することを目的とする。
上記目的を達成するために、第1態様に係る情報処理装置は、プロセッサを備え、前記プロセッサは、表示されたオブジェクトを非接触で選択操作する操作空間における操作対象物を検知した三次元座標を取得し、検知した前記操作対象物の前記三次元座標が予め定めた基準位置から深度方向に予め定めた閾値以上移動したことを検出した場合に、前記オブジェクトの選択操作として処理する。
第2態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記プロセッサは、前記操作対象物を検知していない状態から、次に検知した時点の前記操作対象物の深度を基準位置とする。
第3態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記プロセッサは、前記オブジェクトの選択操作が行われて前記オブジェクトの階層を移動した時点の前記操作対象物の深度を次の基準位置とする。
第4態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記プロセッサは、前記操作対象物の深度方向の変化に応じて、選択されている位置又は選択されているオブジェクトを中心に拡大または縮小するようにオブジェクトを表示する。
第5態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記プロセッサは、前記操作対象物を検知する検知機能をオフしている間に前記操作対象物を移動し、前記検知機能が再度オンになった場合に、前記操作対象物の移動後の位置を新たな前記基準位置とする。
第6態様に係る情報処理装置は、第5態様に係る情報処理装置において、前記プロセッサは、予め定めた時間以上予め定めた検知限界で前記操作対象物を一定時間翳し続けるホバー操作、または前記検知限界で操作対象物の移動を検知した場合に前記検知機能を一定時間オフする。
第7態様に係る情報処理装置は、第5態様に係る情報処理装置において、前記プロセッサは、予め定めた検知限界へ到達した場合に一定時間前記検知機能をオフする。
第8態様に係る情報処理装置は、第5態様に係る情報処理装置において、前記プロセッサは、予め定めた領域に別の操作対象物を検知した場合に前記検知機能をオフする。
第9態様に係る情報処理装置は、第5態様に係る情報処理装置において、前記プロセッサは、予め定めたジェスチャ操作を検知した場合に一定時間前記検知機能をオフする。
第10態様に係る情報処理装置は、第1態様に係る情報処理装置において、前記プロセッサは、前記操作対象物を任意の位置に移動させる予め定めた操作に伴って、前記基準位置を変更する。
第11態様に係る情報処理装置は、第10態様に係る情報処理装置において、前記プロセッサは、前記予め定めた操作として、前記操作対象物が予め定めた移動速度で上方向に深度変化した場合に、前記基準位置を変更する。
第12態様に係る情報処理装置は、第10態様に係る情報処理装置において、前記プロセッサは、前記予め定めた操作として、前記操作対象物の上方向の深度変化を検知し、操作が完了した場合に、前記基準位置を変更する。
第13態様に係る情報処理装置は、第10態様に係る情報処理装置において、前記プロセッサは、前記予め定めた操作として、深度変化しないように前記操作対象物を検知範囲外へ移動した場合に、前記基準位置を変更する。
第14態様に係る情報処理プログラムは、コンピュータに、表示されたオブジェクトを非接触で選択操作する操作空間における操作対象物を検知した三次元座標を取得し、検知した前記操作対象物の前記三次元座標が予め定めた基準位置から深度方向に予め定めた閾値以上移動したことを検出した場合に、前記オブジェクトの選択操作として処理を実行させる。
第1態様によれば、操作対象を一定時間以上継続して維持することで選択操作を行う場合に比べて、非接触での選択操作の時間を短縮可能な情報処理装置を提供できる。
第2態様によれば、操作対象物の深度方向の移動の基準位置を設定することが可能となる。
第3態様によれば、階層移動時の操作対象の深度方向の移動の基準位置を設定することが可能となる。
第4態様によれば、オブジェクトの大きさを変化させない場合に比べて、選択為れているオブジェクトを確認し易くできる。
第5態様によれば、基準位置を変更することが可能となる。
第6態様によれば、操作対象物が検知限界に達しても、検知機能をオフして基準位置をリセットすることが可能となる。
第7態様によれば、操作対象物が検知限界に達した際に、検知機能をオフして基準位置をリセットすることが可能となる。
第8態様によれば、操作対象物が検知限界に達する以外に、任意のタイミングで検知機能をオフして基準位置をリセットすることが可能となる。
第9態様によれば、操作対象物が検知限界に達する以外に、任意のタイミングで検知機能をオフして基準位置をリセットすることが可能となる。
第10態様によれば、深度方向の検知限界に達しても、基準位置を変更して操作対象物の深度方向の検知を継続することが可能となる。
第11態様によれば、予め定めた移動速度で操作対象物を上方向へ移動することで基準位置を変更することが可能となる。
第12態様によれば、操作対象物を上方向へ移動して停止することで基準位置を変更することが可能となる。
第13態様によれば、深度変化しないように操作対象物を検知範囲外へ移動することで基準位置を変更することが可能となる。
第14態様によれば、操作対象を一定時間以上継続して維持することで選択操作を行う場合に比べて、非接触での選択操作の時間を短縮可能な情報処理プログラムを提供できる。
本実施形態に係る情報処理装置の概略構成を示す図である。 複数のボタン等のオブジェクトを表示した例を示す図である。 指でオブジェクトを押下する様子を示す図である。 接触操作に比べてオブジェクトを大きく、かつオブジェクト数を減らして表示する例を示す図である。 オブジェクトに対してホバー操作している様子を示す図である。 本実施形態に係る情報処理装置の機能構成を示す機能ブロック図である。 本実施形態に係る情報処理装置で行われる具体的な処理の流れの一例を示すフローチャートである。 本実施形態に係る情報処理装置において、ユーザが任意のタイミングで操作空間の基準位置をリセットする場合の処理の流れの一例を示すフローチャートである。 基準位置のリセットの一例を示す図である。
以下、図面を参照して本開示の実施の形態の一例を詳細に説明する。図1は、本実施形態に係る情報処理装置の概略構成を示す図である。
本実施形態に係る情報処理装置10は、図1に示すように、CPU(Central Processing Unit)12、ROM(Read Only Memory)14、RAM(Random Access Memory)16、メモリ18、非接触操作部20、及び表示部22を備えている。
CPU12は、装置の全体の動作を司る。ROM14は、各種制御プログラム等の情報処理プログラムや各種パラメータ等が予め記憶される。RAM16は、CPU12による各種プログラムの実行時のワークエリア等として用いられる。メモリ18は、各種のデータやアプリケーション・プログラム等が記憶される。メモリ18は、一例としてフラッシュメモリが適用される。
非接触操作部20は、各種の情報を入力するために用いられる。本実施形態では、非接触操作部20は、手指等の操作対象物の3次元座標を検知し、表示部22に表示された情報の操作を行う。非接触操作部20としては、例えば、3次元カメラ、2眼カメラ、赤外線等により、操作対象物の3次元座標を検知する。なお、以下では、手指で操作するものとして説明するが、手指以外のペン等の操作対象物で操作する形態としてもよい。
表示部22は、各種の情報を表示するために用いられ、一例として液晶パネルが適用される。
以上の各部はシステムバスにより電気的に相互に接続されている。なお、本実施形態では、メモリ18としてフラッシュメモリを記憶部として適用しているが、これに限らず、HDD(hard disk drive)等の他の不揮発性の記憶部を適用してもよい。
情報処理装置10は、一例として、複数の機能を有する画像形成装置に設けられ、画像形成装置を操作する。画像形成装置の複数の機能としては、例えば、各種データを受信し、受信したデータに基づく画像形成処理を行う画像形成機能、原稿を読み取って原稿を表す画像情報を得る読取機能、原稿に記録された画像を用紙に複写する複写機能、図示しない電話回線を介して各種データの送受信を行うファクシミリ機能、読取機能等によって読み取った画像情報等の文書情報を転送する転送機能、読み取った画像情報等の文書情報を蓄積する蓄積機能等が挙げられる。以下の説明では、画像形成機能はプリント、読取機能はスキャン、複写機能はコピーと称する場合がある。なお、情報処理装置10は、画像処理装置等の他の装置に設けてもよい。
なお、以下の説明では、情報処理装置10がもつ操作画面を構成する仮想空間を操作対象空間と称す。また、操作対象空間における選択対象物をオブジェクトと称す。また、操作対象空間のオブジェクトに対する操作を行う現実の空間を操作空間と称す。また、操作空間における座標検知対象となる手指等の操作対象物を操作オブジェクトと称す。また、非接触操作部20の検知デバイスの制約により発生する操作空間の限界、すなわち操作空間内で操作オブジェクトを検知できる範囲の限界を検知限界と称す。また、XY座標は、表示部22の面に対応し、表示部22の面の法線方向をZ方向または深度方向とする。
ところで、タッチパネル等のように接触操作でオブジェクトを選択する場合には、図2に示すように、複数のボタン等のオブジェクトを表示し、図3に示すように、指等でオブジェクトを押下する操作を行うことでオブジェクトの選択が行われる。一方、従来の非接触の操作では、誤操作を抑制するために、図4に示すように、接触操作に比べてオブジェクトを大きく、かつオブジェクト数を減らして表示する。オブジェクトの選択操作を行う場合には、図5に示すように、オブジェクトに対応する位置に手指を一定時間翳し続けるホバー操作を行うことでオブジェクトの選択が行われる。なお、図5の例では、ホバー時間に応じてオブジェクトの色等が徐々に変化し、オブジェクト全体の色が変化したところで操作決定する例を示す。
従って、従来の非接触操作での操作では、表示されたオブジェクトを選択する際に、選択するオブジェクトに対応する位置に手指を一定時間翳し続けるホバー操作が必要であった。接触操作でボタンを押下するのに比べて一定時間のホバー操作はより時間がかかるため、目的の操作を完了するまでに接触操作と比べて多くの時間を要する。目的の操作を完了するまでに選択操作の回数が多い場合は、特に多くの時間を要する。これはユーザにとってストレスフルであると同時に、サービス提供側にとっても機会損失に繋がる。
また、非接触では、操作対象空間と実際の操作空間とが離れているためにユーザが意図して操作したい位置と実際に検知される位置との間に誤差が発生し、誤操作に繋がる恐れがある。
この誤操作の可能性を低減するために、操作対象空間における11オブジェクトの大きさを大きく表示して代わりに画面上におけるオブジェクトの数を減らす必要があり、この場合、上述の操作時間がかかる課題がより顕著に発生することになる。
そこで、本実施形態に係る情報処理装置10では、CPU12が、表示されたオブジェクトを非接触で選択操作する操作空間における操作対象物を検知した三次元座標を取得し、検知した操作対象物の三次元座標が予め定めた基準位置から深度方向に予め定めた閾値以上移動したことを検出した場合に、オブジェクトの選択操作として処理する。
続いて、本実施形態に係る情報処理装置10の機能構成について説明する。図6は、本実施形態に係る情報処理装置10の機能構成を示す機能ブロック図である。なお、図6に示す機能は、ROM14やメモリ18に格納された各種情報処理プログラムをRAM16に展開してCPU12が実行することにより実現される。
本実施形態に係る情報処理装置10は、図6に示すように、操作オブジェクト座標検知部30、基準位置制御部32、オブジェクト保持部34、及び表示制御部36の機能を有する。
操作オブジェクト座標検知部30は、例えば、表示部22の上方の予め定めた操作空間内において検知した操作オブジェクトの三次元座標を取得する。
基準位置制御部32は、操作空間内における現在の基準位置を保持する。例えば、操作オブジェクトが最初に検知された際の深度を最初の基準位置とする。また、基準位置制御部32は、ユーザの任意のタイミングで操作空間の基準位置をリセットする。なお、基準位置のリセットとは、操作対象空間における深度を変化させずに、操作空間内の操作オブジェクトを任意の位置に移動させ、かつ基準位置を変更することを指す。
基準位置制御部32は、次のような基準位置の変化制御を検知して基準位置を決定する。例えば、操作オブジェクトを検知していない状態から、次に検知した時点の操作オブジェクトの深度を基準位置とする。また、階層移動時点の操作オブジェクトの深度を基準位置とする。
なお、操作オブジェクトを検知している状態から、検知していない状態へ、ユーザが任意のタイミングで遷移させることができる。これを本開示では基準位置の”リセット”と呼称する。具体的な実現例については後述する。
オブジェクト保持部34は、ユーザに対して表示する操作対象空間内のオブジェクト、及びオブジェクトの階層関係を保持する。
表示制御部36は、オブジェクト保持部34、基準位置制御部32、操作オブジェクト座標検知部30から取得した各種情報を元に、表示部22に表示するオブジェクト、及びポインタの制御を行う。
例えば、表示制御部36は、階層関係を有するオブジェクトを選択した状態で、操作オブジェクトが基準位置から予め定めた一定量の深度変化を検知すると操作対象空間で階層を移動する。また、表示制御部36は、上述の一定量に満たない深度の変化に応じて、選択されている位置または選択されているオブジェクトを中心に拡大または縮小するようにオブジェクトを表示部22に表示する制御を行う。
ここで、オブジェクトの選択とは、操作オブジェクトのXY座標を操作対象空間にマッピングした際に、当該座標があるオブジェクトの領域に操作オブジェクトが重なっているとき、このオブジェクトを選択している状態とみなすことである。
続いて、上述のように構成された本実施形態に係る情報処理装置10で行われる具体的な処理について説明する。図7は、本実施形態に係る情報処理装置10で行われる具体的な処理の流れの一例を示すフローチャートである。なお。図7の処理は、情報処理装置10の図示しない電源がオンされた場合に開始し、オフされた場合に終了するものとして説明する。
ステップ100では、CPU12が、オブジェクト及び階層構造を取得してステップ102へ移行する。すなわち、表示制御部36が、オブジェクト保持部34からユーザに対して表示する操作対象空間内のオブジェクト、及びオブジェクトの階層関係を取得する。
ステップ102では、CPU12が、オブジェクトを表示してステップ104へ移行する。すなわち、表示制御部36がオブジェクトを表示部22に表示する。
ステップ104では、CPU12が、操作オブジェクトの検知を開始してステップ106へ移行する。すなわち、操作オブジェクト座標検知部30による操作オブジェクトの検知を開始する。
ステップ106では、CPU12が、操作オブジェクトを検知したか否かを判定する。該判定は、操作オブジェクト座標検知部30が操作オブジェクトを検知したか否かを判定し、判定が肯定されるまで待機してステップ108へ移行する。
ステップ108では、CPU12が、操作オブジェクトの位置座標を検知してステップ110へ移行する。すなわち、操作オブジェクト座標検知部30が、検知した操作オブジェクトの位置座標を取得する。
ステップ110では、CPU12が、操作オブジェクトの最初の検知位置を基準位置として保持してステップ112へ移行する。すなわち、基準位置制御部32が、操作オブジェクトが最初に検知された際の深度を最初の基準位置として保持する。
ステップ112では、CPU12が、操作オブジェクトに応じてポインタを表示してステップ114へ移行する。すなわち、表示制御部36が、操作オブジェクト座標検知部30によって検知された操作オブジェクトの位置に対応する位置にポイントを表示部22に表示する。
ステップ114では、CPU12が、オブジェクトの選択であるか否かを判定する。該判定は、操作オブジェクトがオブジェクトに重複し、オブジェクトを選択している状態であるか否かを判定する。該判定が否定された場合にはステップ112に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ116へ移行する。
ステップ116では、CPU12が、操作オブジェクトの深度方向を検知してステップ118へ移行する。
ステップ118では、CPU12が、操作オブジェクトの振動方向の移動に応じて、選択されているオブジェクトを拡大、又は縮小して表示部22に表示する。例えば、オブジェクトに近づく方向に操作オブジェクトが移動した場合には、オブジェクトを拡大表示し、オブジェクトから遠ざかる方向に操作オブジェクトが移動した場合には、オブジェクトを縮小表示する。
ステップ120では、CPU12が、深度方向に予め定めた閾値以上移動したか否かを判定する。該判定が否定された場合にはステップ122へ移行し、肯定された場合にはステップ124へ移行する。
ステップ122では、CPU12が、オブジェクトの選択解除であるか否かを判定する。該判定は、操作オブジェクトが選択されているオブジェクトから離れたか否かを判定する。該判定が否定された場合にはステップ116に戻って上述の処理を繰り返し、判定が肯定された場合にはステップ112に戻って上述の処理を繰り返す。
一方、ステップ124では、CPU12が、選択されたオブジェクトの次の階層がなしであるか否かを判定する。該判定が否定された場合にはステップ126へ移行し、判定が肯定された場合にはステップ128へ移行する。
ステップ126では、CPU12が、階層を変化して階層を切り替えて表示してステップ106に戻って上述の処理を繰り返す。
また、ステップ128では、CPU12が、選択されたオブジェクトに応じた処理を移行して一連の処理を終了する。
次に、ユーザが任意のタイミングで操作空間の基準位置をリセットする場合の具体的な処理について説明する。図8は、本実施形態に係る情報処理装置10において、ユーザが任意のタイミングで操作空間の基準位置をリセットする場合の処理の流れの一例を示すフローチャートである。なお、図8の処理は、例えば、オブジェクト上で深度方向の操作オブジェクトの移動を検知し、予め定めた検知限界に到達した場合に開始するものとする。
ステップ200では、CPU12が、検知限界をフィードバック表示してステップ202へ移行する。例えば、表示制御部36が、深度方向の検知限界に達したことを表すメッセージや、画像等を表示部22に表示する。
ステップ202では、CPU12が、基準位置のリセットであるか否かを判定する。該判定は、基準位置制御部32が予め定めたリセット操作が行われたか否かを判定する。該判定が肯定されるまで待期してステップ204へ移行する。
ステップ204では、CPU12が、操作オブジェクトの検知機能をオフしてステップ206へ移行する。例えば、予め定めた一定時間検知機能をオフする。
ステップ206では、CPU12が、基準位置を初期化してステップ208へ移行する。すなわち、基準位置制御部32が保持する基準位置を初期化する。
ステップ208では、CPU12が、操作オブジェクトを検知したか否かを判定する。該判定が肯定されるまで待機してステップ210へ移行する。
ステップ210では、CPU12が、操作オブジェクトの位置座標を検知してステップ212へ移行する。
ステップ212では、CPU12が、最初の検知位置を基準位置として保持して一連の処理を終了する。
このように処理を行うことで、図9に示すように、1階層変化に必要な深度量で階層を移動し、更に、深度方向に手指を移動して深度検出限界に到達し、1階層変化に不足している場合にリセットを行うことで、目的の階層まで階層が移動する。
ここで、上述の基準位置のリセットの具体的な実現例について説明する。なお、以下では、表示部22に接近する方向の検出限界に対してリセットを行う例を説明するが、表示部22から離れる方向の検出限界についても同様である。
目的の操作を行うために実施する選択操作の回数が多い場合、すなわち、階層が深い場合、すべての操作を終える前に操作空間の検知限界に到達する場合が考えられる。この場合、さらに深い階層に辿り着きたい場合には、深度操作の開始位置となる基準位置をリセットする必要がある。
リセットの実現例の1つとして、検知機能をオフにしている間に操作オブジェクトを任意の位置に移動し、検知機能が再度オンになった時点の座標を新たな基準位置とする場合が考えられる。
この場合、例えば、一定時間検知限界でホバー操作すると一定時間検知機能をオフにする、検知限界到達時に一定時間検知機能をオフにする、予め定めた領域に別の手指を検知している間は検知機能をオフにする、または予め定めたジェスチャ操作を検知した場合に一定時間検知機能をオフにする等がある。
また、他のリセットの実現例としては、指を任意の位置に移動させる予め定めた操作に伴って基準位置を初期化する場合が考えられる。
この場合、例えば、予め定めた移動速度で上方向に深度変化した場合、上方向の深度変化を検知してその操作が完了した場合、または深度変化しないように手指を検知範囲外へ移動した場合に基準位置を初期化する等がある。
なお、上記の実施形態では、操作オブジェクトの深度方向の移動に応じてオブジェクトを拡大または縮小するように表示したが、これに限るものではない。例えば、操作オブジェクトの深度方向の移動に応じて、選択されているオブジェクトの色等の表示態様を徐々に変化させてもよい。例えば、オブジェクトに近づく方向に操作オブジェクトが移動する場合には、操作オブジェクトがオブジェクトに近くなるほど操作オブジェクトを濃い色で表示し、遠くなるほど薄い色で表示してもよい。
また、上記の実施形態において、CPUをプロセッサの一例として説明したが、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ(例えばCPU等)や、専用のプロセッサ(例えばGPU: Graphics Processing Unit、ASIC: Application Specific Integrated Circuit、FPGA: Field Programmable Gate Array、プログラマブル論理デバイス等)を含むものである。
また、上記の実施形態におけるプロセッサの動作は、1つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
また、上記の実施形態に係る情報処理装置10で行われる処理は、ソフトウエアで行われる処理としてもよいし、ハードウエアで行われる処理としてもよいし、双方を組み合わせた処理としてもよい。また、情報処理装置10で行われる処理は、プログラムとして記憶媒体に記憶して流通させるようにしてもよい。
また、本開示は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。
以上の実施形態に関し、更に以下の付記を開示する。
(((1)))
プロセッサを備え、前記プロセッサは、
表示されたオブジェクトを非接触で選択操作する操作空間における操作対象物を検知した三次元座標を取得し、
検知した前記操作対象物の前記三次元座標が予め定めた基準位置から深度方向に予め定めた閾値以上移動したことを検出した場合に、前記オブジェクトの選択操作として処理する情報処理装置。
(((2)))
前記プロセッサは、前記操作対象物を検知していない状態から、次に検知した時点の前記操作対象物の深度を基準位置とする(((1)))に記載の情報処理装置。
(((3)))
前記プロセッサは、前記オブジェクトの選択操作が行われて前記オブジェクトの階層を移動した時点の前記操作対象物の深度を次の基準位置とする(((1)))又は(((2)))に記載の情報処理装置。
(((4)))
前記プロセッサは、前記操作対象物の深度方向の変化に応じて、選択されている位置又は選択されているオブジェクトを中心に拡大または縮小するようにオブジェクトを表示する(((1)))~(((3)))の何れか1つに記載の情報処理装置。
(((5)))
前記プロセッサは、前記操作対象物を検知する検知機能をオフしている間に前記操作対象物を移動し、前記検知機能が再度オンになった場合に、前記操作対象物の移動後の位置を新たな前記基準位置とする(((1)))~(((4)))の何れか1つに記載の情報処理装置。
(((6)))
前記プロセッサは、予め定めた時間以上予め定めた検知限界で前記操作対象物を一定時間翳し続けるホバー操作、または前記検知限界で操作対象物の移動を検知した場合に前記検知機能を一定時間オフする(((5)))に記載の情報処理装置。
(((7)))
前記プロセッサは、予め定めた検知限界へ到達した場合に一定時間前記検知機能をオフする(((5)))に記載の情報処理装置。
(((8)))
前記プロセッサは、予め定めた領域に別の操作対象物を検知した場合に前記検知機能をオフする(((5)))に記載の情報処理装置。
(((9)))
前記プロセッサは、予め定めたジェスチャ操作を検知した場合に一定時間前記検知機能をオフする(((5)))に記載の情報処理装置。
((((10)))
前記プロセッサは、前記操作対象物を任意の位置に移動させる予め定めた操作に伴って、前記基準位置を変更する(((1)))~(((4)))の何れか1つに記載の情報処理装置。
(((11)))
前記プロセッサは、前記予め定めた操作として、前記操作対象物が予め定めた移動速度で上方向に深度変化した場合に、前記基準位置を変更する(((10)))に記載の情報処理装置。
(((12)))
前記プロセッサは、前記予め定めた操作として、前記操作対象物の上方向の深度変化を検知し、操作が完了した場合に、前記基準位置を変更する(((10)))に記載の情報処理装置。
(((13)))
前記プロセッサは、前記予め定めた操作として、深度変化しないように前記操作対象物を検知範囲外へ移動した場合に、前記基準位置を変更する(((10)))に記載の情報処理装置。
(((14)))
コンピュータに、
表示されたオブジェクトを非接触で選択操作する操作空間における操作対象物を検知した三次元座標を取得し、
検知した前記操作対象物の前記三次元座標が予め定めた基準位置から深度方向に予め定めた閾値以上移動したことを検出した場合に、前記オブジェクトの選択操作として処理を実行させるための情報処理プログラム。
(((1)))によれば、操作対象を一定時間以上継続して維持することで選択操作を行う場合に比べて、非接触での選択操作の時間を短縮可能な情報処理装置を提供できる。
(((2)))によれば、操作対象物の深度方向の移動の基準位置を設定することが可能となる。
(((3)))によれば、階層移動時の操作対象の深度方向の移動の基準位置を設定することが可能となる。
(((4)))によれば、オブジェクトの大きさを変化させない場合に比べて、選択為れているオブジェクトを確認し易くできる。
(((5)))によれば、基準位置を変更することが可能となる。
(((6)))によれば、操作対象物が検知限界に達しても、検知機能をオフして基準位置をリセットすることが可能となる。
(((7)))によれば、操作対象物が検知限界に達した際に、検知機能をオフして基準位置をリセットすることが可能となる。
(((8)))によれば、操作対象物が検知限界に達する以外に、任意のタイミングで検知機能をオフして基準位置をリセットすることが可能となる。
(((9)))によれば、操作対象物が検知限界に達する以外に、任意のタイミングで検知機能をオフして基準位置をリセットすることが可能となる。
(((10)))によれば、深度方向の検知限界に達しても、基準位置を変更して操作対象物の深度方向の検知を継続することが可能となる。
(((11)))によれば、予め定めた移動速度で操作対象物を上方向へ移動することで基準位置を変更することが可能となる。
(((12)))によれば、操作対象物を上方向へ移動して停止することで基準位置を変更することが可能となる。
(((13)))によれば、深度変化しないように操作対象物を検知範囲外へ移動することで基準位置を変更することが可能となる。
(((14)))によれば、操作対象を一定時間以上継続して維持することで選択操作を行う場合に比べて、非接触での選択操作の時間を短縮可能な情報処理プログラムを提供できる。
10 情報処理装置
12 CPU
20 非接触操作部
22 表示部
30 操作オブジェクト座標検知部
32 基準位置制御部
34 オブジェクト保持部
36 表示制御部

Claims (14)

  1. プロセッサを備え、前記プロセッサは、
    表示されたオブジェクトを非接触で選択操作する操作空間における操作対象物を検知した三次元座標を取得し、
    検知した前記操作対象物の前記三次元座標が予め定めた基準位置から深度方向に予め定めた閾値以上移動したことを検出した場合に、前記オブジェクトの選択操作として処理する情報処理装置。
  2. 前記プロセッサは、前記操作対象物を検知していない状態から、次に検知した時点の前記操作対象物の深度を基準位置とする請求項1に記載の情報処理装置。
  3. 前記プロセッサは、前記オブジェクトの選択操作が行われて前記オブジェクトの階層を移動した時点の前記操作対象物の深度を次の基準位置とする請求項1に記載の情報処理装置。
  4. 前記プロセッサは、前記操作対象物の深度方向の変化に応じて、選択されている位置又は選択されているオブジェクトを中心に拡大または縮小するようにオブジェクトを表示する請求項1に記載の情報処理装置。
  5. 前記プロセッサは、前記操作対象物を検知する検知機能をオフしている間に前記操作対象物を移動し、前記検知機能が再度オンになった場合に、前記操作対象物の移動後の位置を新たな前記基準位置とする請求項1に記載の情報処理装置。
  6. 前記プロセッサは、予め定めた時間以上予め定めた検知限界で前記操作対象物を一定時間翳し続けるホバー操作、または前記検知限界で操作対象物の移動を検知した場合に前記検知機能を一定時間オフする請求項5に記載の情報処理装置。
  7. 前記プロセッサは、予め定めた検知限界へ到達した場合に一定時間前記検知機能をオフする請求項5に記載の情報処理装置。
  8. 前記プロセッサは、予め定めた領域に別の操作対象物を検知した場合に前記検知機能をオフする請求項5に記載の情報処理装置。
  9. 前記プロセッサは、予め定めたジェスチャ操作を検知した場合に一定時間前記検知機能をオフする請求項5に記載の情報処理装置。
  10. 前記プロセッサは、前記操作対象物を任意の位置に移動させる予め定めた操作に伴って、前記基準位置を変更する請求項1に記載の情報処理装置。
  11. 前記プロセッサは、前記予め定めた操作として、前記操作対象物が予め定めた移動速度で上方向に深度変化した場合に、前記基準位置を変更する請求項10に記載の情報処理装置。
  12. 前記プロセッサは、前記予め定めた操作として、前記操作対象物の上方向の深度変化を検知し、操作が完了した場合に、前記基準位置を変更する請求項10に記載の情報処理装置。
  13. 前記プロセッサは、前記予め定めた操作として、深度変化しないように前記操作対象物を検知範囲外へ移動した場合に、前記基準位置を変更する請求項10に記載の情報処理装置。
  14. コンピュータに、
    表示されたオブジェクトを非接触で選択操作する操作空間における操作対象物を検知した三次元座標を取得し、
    検知した前記操作対象物の前記三次元座標が予め定めた基準位置から深度方向に予め定めた閾値以上移動したことを検出した場合に、前記オブジェクトの選択操作として処理を実行させるための情報処理プログラム。
JP2022136320A 2022-08-29 2022-08-29 情報処理装置及び情報処理プログラム Pending JP2024032594A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022136320A JP2024032594A (ja) 2022-08-29 2022-08-29 情報処理装置及び情報処理プログラム
US18/187,793 US20240069664A1 (en) 2022-08-29 2023-03-22 Information processing apparatus, non-transitory computer readable medium, and information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022136320A JP2024032594A (ja) 2022-08-29 2022-08-29 情報処理装置及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2024032594A true JP2024032594A (ja) 2024-03-12

Family

ID=89999392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022136320A Pending JP2024032594A (ja) 2022-08-29 2022-08-29 情報処理装置及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20240069664A1 (ja)
JP (1) JP2024032594A (ja)

Also Published As

Publication number Publication date
US20240069664A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
US8830184B2 (en) Image displaying device, image displaying method, and program for displaying images
JP5873942B2 (ja) 携帯端末装置
JP5924325B2 (ja) 入力装置、情報処理装置、入力装置の制御方法、および、当該制御方法をコンピューターに実行させるためのプログラム
US20130328804A1 (en) Information processing apparatus, method of controlling the same and storage medium
JP2004259065A (ja) 3次元オブジェクトの表示処理装置、表示処理方法、およびコンピュータプログラム
US9685143B2 (en) Display control device, display control method, and computer-readable storage medium for changing a representation of content displayed on a display screen
JP2008134918A (ja) 画像処理装置及び画像処理決定方法
JP6569794B1 (ja) 情報処理装置及びプログラム
US20100271301A1 (en) Input processing device
JP6253284B2 (ja) 情報処理装置およびその制御方法、プログラム、記録媒体
JP2016126657A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US20150346886A1 (en) Electronic device, method and computer readable medium
US20160328123A1 (en) Non-transitory computer readable medium storing program
JP2015060303A (ja) 情報処理装置
JP2014182652A (ja) 情報処理装置およびその制御方法、ならびにプログラム
KR102105492B1 (ko) 정보 처리 장치, 정보 처리 장치의 제어 방법 및 저장 매체
JP2024032594A (ja) 情報処理装置及び情報処理プログラム
JP2017215857A (ja) 表示装置、表示方法およびプログラム
JP2008204375A (ja) パネル入力装置、パネル入力用スタイラスペン、パネル入力システムおよびパネル入力処理プログラム
JP2017068667A (ja) 情報処理装置、および制御プログラム
JP4940911B2 (ja) 画像処理装置及び画像処理選択方法
JP6210911B2 (ja) 情報端末、表示制御方法、及び表示制御プログラム
JP6358223B2 (ja) 表示装置、及びそれを備えた画像形成装置
US20240031498A1 (en) Information processing apparatus, non-transitory computer readable medium, and method for processing information
EP2977878B1 (en) Method and apparatus for displaying screen in device having touch screen