JP6958141B2 - 情報処理装置、画像形成装置、および、プログラム - Google Patents
情報処理装置、画像形成装置、および、プログラム Download PDFInfo
- Publication number
- JP6958141B2 JP6958141B2 JP2017170612A JP2017170612A JP6958141B2 JP 6958141 B2 JP6958141 B2 JP 6958141B2 JP 2017170612 A JP2017170612 A JP 2017170612A JP 2017170612 A JP2017170612 A JP 2017170612A JP 6958141 B2 JP6958141 B2 JP 6958141B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- line
- sight
- operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00405—Output means
- H04N1/00408—Display of information to the user, e.g. menus
- H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
- H04N1/00381—Input by recognition or interpretation of visible user gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本発明の目的は、表示部上の画像についての操作を操作者が行うにあたり、画像の配置状態を変更する処理を行わない場合に比べ、表示部に表示されている画像について操作者が行う操作の誤りを低減することにある。
請求項2に記載の発明は、前記複数の画像に含まれる各画像は、矩形状に形成され側辺を有し、前記表示制御手段は、前記複数の画像に含まれる画像を、前記側辺が延びる方向に沿って移動させて、画像間のずれを大きくする請求項1に記載の情報処理装置である。
請求項3に記載の発明は、前記複数の画像に含まれる各画像は、矩形状に形成され、前記表示制御手段は、前記複数の画像に含まれる画像の対角線が延びる方向へ、当該複数の画像に含まれる画像を移動させて、画像間のずれを大きくする請求項1に記載の情報処理装置である。
請求項4に記載の発明は、前記表示制御手段は、前記重なり画像に含まれる複数の画像を移動させることで、当該複数の画像における画像間のずれを大きくするとともに、当該複数の画像の各々を移動させるにあたり、一部の画像を一方向に移動させ他の画像を当該一方向とは反対方向へ移動させる請求項1に記載の情報処理装置である。
請求項5に記載の発明は、前記視線検知手段は、前記重なり画像の特定箇所への操作者の視線を検知し、前記表示制御手段は、前記重なり画像の前記特定箇所への視線が検知され前記近づく方向への操作が検知された場合に、前記複数の画像における画像間のずれを大きくする請求項1に記載の情報処理装置である。
請求項6に記載の発明は、前記視線検知手段は、前記重なり画像のうちの、各画像が有する縁部が並んでいる箇所への操作者への視線を検知し、前記表示制御手段は、前記縁部が並んでいる前記箇所への視線が検知され前記近づく方向への操作が検知された場合に、前記複数の画像における画像間のずれを大きくする請求項5に記載の情報処理装置である。
請求項7に記載の発明は、前記表示制御手段は、互いに隣接する前記縁部間の間隙が拡がるように、前記複数の画像における画像間のずれを大きくする請求項6に記載の情報処理装置である。
請求項8に記載の発明は、前記動作検知手段は、操作者が操作用器具又は自身の指を前記重なり画像に接近させる動作又は前記表示媒体に表示されているポインターを当該重なり画像に接近させる動作を検知する請求項1に記載の情報処理装置である。
請求項9に記載の発明は、前記表示制御手段は、前記操作用器具又は前記指が前記重なり画像に達する前に、前記複数の画像の配置状態の変更を行い、前記ポインターが当該重なり画像に達する前に、当該複数の画像の配置状態の変更を行う請求項8に記載の情報処理装置である。
請求項10に記載の発明は、記録材への画像形成を行う画像形成手段と、部分的に重なり互いにずらされた複数の画像により構成された重なり画像を表示する表示部と、前記重なり画像への操作者の視線を検知する視線検知手段と、前記操作者による、前記視線検知手段で視線を検知した前記重なり画像に近づく方向への操作を検知する動作検知手段と、前記動作検知手段により前記操作が検知された場合に、前記重なり画像に含まれる複数の画像における画像間のずれを大きくするとともに、当該ずれを大きくした後も、当該複数の画像を、部分的に重なり互いにずらされた状態とする表示制御手段と、を備える画像形成装置である。
請求項11に記載の発明は、表示媒体に表示された、部分的に重なり互いにずらされた複数の画像により構成された重なり画像への操作者の視線を検知する視線検知機能と、前記操作者による、前記視線検知機能で視線を検知した前記重なり画像に近づく方向への操作を検知する動作検知機能と、前記動作検知機能により前記操作が検知された場合に、前記重なり画像に含まれる複数の画像における画像間のずれを大きくするとともに、当該ずれを大きくした後も、当該複数の画像を、部分的に重なり互いにずらされた状態とする表示制御機能と、をコンピュータに実現させるためのプログラムである。
請求項2の発明によれば、複数の画像に含まれる画像の対角線が延びる方向へ、複数の画像に含まれる画像を移動させる場合に比べ、画像を移動させた後の重なり画像の占有面積を低減できる。
請求項3の発明によれば、複数の画像に含まれる画像の側辺が延びる方向へ、複数の画像に含まれる画像を移動させる場合に比べ、重なり画像の長辺側および短辺側の両側にて、画像間のずれを大きくすることができる。
請求項4の発明によれば、重なり画像に含まれる複数の画像の各々を一方向へのみ移動させて画像間のずれを大きくする場合に比べ、画像間のずれをより大きなものにすることが可能になる。
請求項5の発明によれば、操作者が重なり画像の特定箇所を見た場合に、重なり画像に含まれる画像の配置状態を変更できるようになる。
請求項6の発明によれば、操作者が、重なり画像のうちの、各画像が有する縁部が並んでいる箇所を見た場合に、重なり画像に含まれる画像の配置状態を変更できるようになる。
請求項7の発明によれば、互いに隣接する縁部間の間隙が拡がらない場合に比べ、重なり画像に含まれる何れかの画像を操作者が選択する際の選択誤りを低減できる。
請求項8の発明によれば、操作者が、操作用器具又は自身の指を重なり画像に接近させる場合や、表示媒体に表示されているポインターを重なり画像に接近させる場合に、重なり画像に含まれる画像の配置状態を変更できるようになる。
請求項9の発明によれば、操作用器具や操作者の指が重なり画像に達した後や、表示媒体に表示されているポインターが重なり画像に達した後に、重なり画像に含まれる画像の配置状態を変更する場合に比べ、操作者は、自身の行う作業をより迅速に進められるようになる。
請求項10の発明によれば、表示部上の画像についての操作を操作者が行うにあたり、画像の配置状態を変更する処理を行わない場合に比べ、表示部に表示されている画像について操作者が行う操作の誤りを低減することができる。
請求項11の発明によれば、表示媒体上の画像についての操作を操作者が行うにあたり、画像の配置状態を変更する処理を行わない場合に比べ、表示媒体に表示されている画像について操作者が行う操作の誤りを低減することができる。
図1は、本実施形態に係る画像形成装置10を構成する各機能部を示した図である。図2は、画像形成装置10の正面図である。
図1に示すように、本実施形態の画像形成装置10を構成する各機能部は、バス101に接続され、このバス101を介してデータの授受を行う。
操作受け付け部107(図1、図2参照)は、ユーザからの操作を受け付ける。具体的には、操作受け付け部107は、表示部106にて表示されている表示内容に対するユーザの操作を受け付ける。
なお、本実施形態では、操作受け付け部107が、タッチパネル方式のディスプレイにより構成された場合を説明したが、操作受け付け部107は、マウスなどのポインティングデバイスにより構成してもよい。
この場合、ユーザがこのポインティングデバイスを操作すると、表示部106に表示されているポインター106C(図2参照)が動く。そして、ユーザによる画像の選択等が行われる際には、表示部106上の画像の上にポインター106Cが配置されたうえで、ポインティングデバイスに対するユーザの操作(クリック等の操作)が行われる。
そして、本実施形態では、操作受け付け部107にて受け付けたユーザの操作に応じて、この操作に対応した処理が実行される。
画像形成手段の一例としての画像形成部109は、例えば電子写真方式を用い、画像データに応じたトナー像を記録材の一例である用紙に形成する。なお、画像形成部109では、インクジェットヘッド方式などの他の方式を用いて画像形成を行ってもよい。
通信部110は、通信回線(不図示)に接続され、通信回線に接続されている他の装置との通信を行う通信インターフェースとして機能する。
カメラ112は、撮像手段の一例であり、画像形成装置10の周囲の状況を撮影(撮像)する。また、カメラ112は、画像形成装置10の前に操作者が立った場合に、この操作者を撮影する。
カメラ112は、CCD(Charge Coupled Device)などにより構成される。カメラ112は、図2に示すように、画像形成装置10のフロント側(前面側)に設置され、さらに、カメラ112は、表示部106(操作受け付け部107)の横に配置される。
この視線検知装置113も、図2に示すように、画像形成装置10のフロント側(前面側)に設置される。また、視線検知装置113は、表示部106(操作受け付け部107)の横に配置される。
制御部60は、画像形成装置10の各部を制御する。制御部60は、CPU(Central Processing Unit)102、ROM(Read Only Memory)103、RAM(Random Access Memory)104により構成される。
ROM103は、CPU102により実行されるプログラムを記憶する。CPU102は、ROM103に記憶されているプログラムを読み出し、RAM104を作業エリアにして、プログラムを実行する。
また、CPU102によって実行されるプログラムは、インターネットなどの通信手段を用いて画像形成装置10にダウンロードしてもよい。
また、本実施形態では、CPU102によりプログラムが実行されることで、図3(制御部60の機能構成を示したブロック図)に示すように、制御部60が、視線検知部61、動作検知部62、表示制御部63、受け付け部64、位置特定部65として機能する。
ここで、本実施形態の表示部106、制御部60は、画像の表示を行う情報処理装置として捉えることができる。
具体的には、視線検知部61は、表示部106における重なり画像の位置を示す位置情報、および、視線検知装置113からの出力に基づき、重なり画像への操作者の視線を検知する。
言い換えると、視線検知部61は、操作者の視線の先に、重なり画像があるか否かを判断し、操作者の視線の先に、重なり画像がある場合には、操作者が重なり画像を見ている旨の情報を出力する。
具体的には、本実施形態では、動作検知部62は、操作者が操作用器具又は自身の指を重なり画像に接近させる動作、又は、表示部106に表示されているポインター106Cを重なり画像に接近させる動作を検知する。ここで、操作用器具としては、ペン型の器具が一例として挙げられる。
具体的には、表示制御部63は、重なり画像への視線が検知され且つ上記特定の動作が検知された場合に、重なり画像に含まれる複数の画像の配置状態を変更する。
また、表示制御部63は、表示部106に表示されている複数の画像のうち、位置特定部65(後述)により特定された特定位置と予め定められた位置関係を有する画像を移動させる。
具体的には、受け付け部64は、表示部106に表示されている画像の位置情報、および、操作受け付け部107(図1、図2参照)からの出力(操作者が操作した操作位置を示す情報)を得て、操作者の選択内容(操作者が選択した画像)を特定し、この選択内容(操作者が選択した画像)を受け付ける。
特定手段の一例としての位置特定部65は、視線検知装置113からの出力に基づき、操作者の視線が向く先の位置であって、表示部106上における位置を特定する。
図4に示すように、視線検知装置113は、ユーザの眼球56に赤外光をスポット状に照射する光源53を有し、眼球56からの赤外反射光は接眼レンズ51に設けられた微小開口絞りを経て光学レンズ群54に入射する。光学レンズ群54は、入射した赤外反射光をCCD55の撮像面上に点状に結像させ、CCD55は、撮像面に結像した角膜反射による虚像(プルキニエ像)を電気信号に変換して出力する。
この虚像は、図5(A)、(B)に示すように、光源53から照射された赤外光の瞳孔71の角膜反射による像72であり、瞳孔71の中心と虚像72との相対的位置関係は、眼球の回転角に比例して変化する。本実施形態では、CCD55からの虚像を示す電気信号を用いて画像処理が行われ、この画像処理の結果に基づきユーザの視線の方向が検知される。
なお、ユーザの視線の方向の検知は、図4、図5にて示した方法に限らず、他の公知の方法で行ってもよく、図4、図5にて示した方法に限られるものではない。
図6(A)では、表示部106に表示されている重なり画像80を示している。
この重なり画像80は、部分的に重なり互いにずらされた複数の画像81により構成されている。付言すると、重なり画像80は、互いにずらされた複数ページ分の画像81により構成されている。
また、この重なり画像80では、複数ページ分の画像81が、何れか一のページの画像81の対角線方向にずらされた状態で配置されている。また、この重なり画像80では、この重なり画像80を構成する各画像81が等間隔で並んで配置されている。
具体的には、本実施形態では、重なり画像80のうち、各画像81が有する縁部81Aが並んでいる箇所(以下、「縁部並び箇所」と称する)が、特定箇所として、画像形成装置10の記憶部105に予め登録されている。図6(A)に示す例では、視線検知部61により、操作者の視線の先が、特定箇所(縁部並び箇所)にあることが検知されている。
このため、本実施形態では、縁部並び箇所として、短辺81Eに沿う縁部81Aが図中上下方向に並んだ第1縁部並び箇所81Xと、長辺81Fに沿う縁部81Aが図中左右方向に並んだ第2縁部並び箇所81Yとが存在する。
図6(A)に示す例においては、操作者の視線の先に位置する縁部並び箇所は、第2縁部並び箇所81Yとなっており、本実施形態では、視線検知部61により、操作者の視線の先が、この第2縁部並び箇所81Y(特定箇所)にあることが検知される。
図6(B)では、操作者が、自身の指200を第2縁部並び箇所81Yへ接近させた際の、重なり画像80および操作者の指200を示している。
本実施形態では、このように、操作者が、自身の指200を第2縁部並び箇所81Y(特定箇所)へ接近させると、第2縁部並び箇所81Yへ指200を接近させるこの動作が、動作検知部62により検知される。
付言すると、本実施形態では、操作者が自身の指200を特定箇所へ接近させる動作を、特定動作として、画像形成装置10の記憶部105に予め登録しており、本実施形態では、操作者がこの特定動作を行うと、この特定動作が、動作検知部62により検知される。
そして、動作検知部62は、指200が、重なり画像80の第2縁部並び箇所81Yに接近している場合には、操作者が予め定められた特定動作を行ったことを検知する。
より具体的には、表示制御部63は、第2縁部並び箇所81Yに位置し互いに隣接する縁部81A間の間隙が拡がるように、複数の画像81の各々を移動させる。
また、表示制御部63は、画像81の各々を移動させるにあたっては、図6(C)の矢印6Cで示すように、各画像81を一方向に移動させる。また、移動方向下流側に位置する画像81ほど、移動量が大きくなるように各画像81を移動させる。
付言すると、本実施形態のように、画像81間のずれを大きくすると、画像81間のずれを大きくしない場合に比べ、複数の画像81の中から一部の画像81を選択する際の選択誤りが起きにくくなる。
言い換えると、表示制御部63は、操作者の指200が重なり画像80に達する前に、複数の画像81の配置状態を変更する。付言すると、表示制御部63は、操作者の指200が重なり画像80に近づいている最中に、画像81を移動させて、画像81間のずれを大きくする。
この場合、操作者の指200が重なり画像80に達した後に、配置状態を変更する場合に比べ、操作者は、より早いタイミングで、画像81の選択を行えるようになる。
上記の図6(A)〜(C)にて示した処理では、操作者の視線の先が第2縁部並び箇所81Yにあり、第2縁部並び箇所81Yへ、操作者の指200が接近する場合を説明した。
これに対し、図7(A)〜(C)に示す処理では、操作者の視線の先が第1縁部並び箇所81Xにあり、さらに、第1縁部並び箇所81Xへ、操作者の指200が接近する場合を示している。
言い換えると、各画像81は、第1縁部並び箇所81Xに位置する縁部81A間の間隙が拡がるように、図中下方向に向かって移動する。また、各画像81は、移動方向下流側に位置する画像81ほど、その移動量が大きくなるように移動する。
この場合も、上記と同様、複数の画像81の中から一部の画像81を選択する際の選択誤りが起きにくくなる。
具体的には、図6(C)にて示した例では、短辺81Eが延びる方向に沿って各画像81を移動させる。また、図7(C)にて示した例では、長辺81Fが延びる方向に沿って各画像81を移動させる。
具体的には、例えば、操作者の視線の先が重なり画像80にあり、操作者の指200が重なり画像80に接近した場合に、図8(表示部106における他の表示処理を示した図)の(A)に示すように、重なり画像80に含まれる画像81の対角線が延びる方向へ、各画像81を移動させてもよい。
このため、例えば、表示部106の面積が小さい場合など、画像81を移動させるためのスペースが小さい場合には、図6、図7にて示したように、側辺が延びる方向へ各画像81を移動させることが好ましい。
具体的には、例えば、図8(B)に示すように、重なり画像80に含まれる複数の画像81のうち、図中右下の角部80Hに近い側に位置する画像81を、図中矢印6Lで示す一方向へ移動させ、図中左上の角部80Gに近い側に位置する画像81を、図中矢印6Mで示す反対方向へ移動させてもよい。
なお、この移動にあたっては、上記と同様、移動方向下流側に位置する画像81ほど、その移動量を大きくする。
上記のように、一方向のみならず、反対方向にも画像81を移動させるようにすれば、一方向のみに画像81を移動させる場合に比べ、画像81の移動量を確保しやすくなる。
また、その他に、重なり画像80に含まれる画像81の側辺に沿って画像81を移動させる場合は、重なり画像80に含まれる一部の画像81を、例えば、上方向へ移動させ、他の一部の画像81を、下方向へ移動させる。
表示部106には、図9(表示部106における表示例を示した図)に示すように、一つの重なり画像80の他に、他の画像89が複数表示されることも多い。
より具体的には、例えば、重なり画像80の上方や下方、また、重なり画像80の左側や右側などに、重なり画像80との間に間隙9Gを有して配置された他の画像89が表示されることがある。
より好ましくは、複数ある間隙9Gのうちの最も大きい間隙9Gに向けて画像81を移動させることである。
小さい間隙9Gに向けて画像81を移動させる場合は、画像81の移動量を確保しにくい。これに対し、大きい間隙9Gに向けて画像81を移動させ場合は、画像81の移動量を確保しやすい。
本実施形態では、まず、視線検知部61が、操作者の視線の先が、重なり画像80の上記特定箇所にあるかを判断する(ステップ101)。
そして、操作者の視線の先が、特定箇所にあると判断された場合、動作検知部62が、この特定箇所への指200の接近があるかを判断する(ステップ102)。
そして、特定箇所への指200の接近があった場合、表示制御部63が、重なり画像80に含まれる画像81の配置状態を変更して、画像81間のずれを大きくする(ステップ103)。
ところで、配置状態の変更は、操作者の視線の先が、重なり画像80の何れかにあり、また、操作者の指200が、重なり画像80の何れかの部分に近づいた場合に行ってもよい。言い換えると、特定箇所に限らず、重なり画像80の何れかの部分に視線が向き且つ重なり画像80の何れかの部分に指200が近づいた場合に、配置状態を変更するようにしてもよい。
また、この配置状態の変更は、操作者の指200が重なり画像80に達した後に行ってもよい(操作者の指200が、重なり画像80に達し且つ操作受け付け部107に触れた後に行ってもよい)。
この処理例では、図11(A)に示すように、表示部106に、複数の画像81が並べられて表示されている。言い換えると、複数の画像81が格子状に配置されている。付言すると、複数の画像81が、行方向および列方向のそれぞれに沿って並んで配置されている。
より具体的には、受け付け部64は、表示部106に表示されている画像81の各々の位置情報、および、操作受け付け部107からの出力(操作者が操作した操作位置についての出力)を得て、操作者が選択した画像81(以下、「選択画像86」と称する)を受け付ける。言い換えると、受け付け部64は、操作者の選択内容を受け付ける。
具体的には、位置特定部65は、視線検知装置113(図1参照)からの出力に基づき、操作者の視線が向く先の位置であって、表示部106上における位置を特定する。
ここで、この図11(B)にて示す例では、特定位置78は、互いに隣接する2つの画像81間となっている。
その後、図12(C)の矢印12Aで示すように、表示制御部63が、特定位置78を挟んで互いに隣接する2つの画像81間の間隙を拡げる。
言い換えると、表示制御部63は、特定位置78の隣に位置する画像81を、特定位置78から離れる方向へ移動させて、互いに隣接する2つの画像81間の間隙を拡げる。
具体的には、例えば、操作者の視線の先の位置(特定位置78)が、2つの画像81間の間隙にあれば、指200が動かされていない場合であっても、2つの画像81間の間隙を拡げてもよい。
より具体的には、表示制御部63は、特定位置78を挟んで互いに隣接する上記2つの画像81の両者を特定位置78から離れる方向へ移動させて、間隙を拡げる。なお、この処理例では、このように、2つの画像81の両者を移動させたが、一方のみを移動させてもよい。
具体的には、本実施形態では、図12(C)にて符号12Bで示す画像81が隣接画像88となり、この隣接画像88が、特定位置78から離れる方向である矢印12Xで示す方向へ移動する。
これにより、隣接画像88よりも下流側に位置する画像81が移動しない場合に比べ、隣接画像88の移動量を確保しやすくなる。
本実施形態では、操作者が選択画像86を移動させる際、この選択画像86の移動先となる空間(間隙)が拡がり、選択画像86を移動しやすくなり、選択画像86を移動させる際の操作誤りが起きにくくなる。
この処理例では、図13(A)の符号13Aで示すように、位置特定部65により特定された特定位置78が、表示部106に表示されている画像81と、表示部106の周縁106Bとの間となっている。
言い換えると、この処理例では、操作者は、表示部106の周縁106Bと表示部106に表示されている画像81との間に、選択画像86を移動させたいと考えている。
なお、この処理例でも、上記と同様、隣接画像88の下流側に位置する画像81(符号13Cで示す画像)も、特定位置78から離れる方向へ移動する。
図14にて示すこの処理では、まず、受け付け部64が、操作者による画像81の選択があったかを判断する(ステップ201)。そして、操作者による画像81の選択があった場合、位置特定部65が、この操作者の視線が向く先の位置であって、表示部106上における位置である特定位置78を把握する。
そして、特定位置78が、2つの画像81間にあり、または、画像81と周縁106Bとの間にある場合、表示制御部63が、この特定位置78の隣に位置する隣接画像88を移動させて、選択画像86の移動先となる間隙を拡げる(ステップ203)。
Claims (11)
- 表示媒体に表示された、部分的に重なり互いにずらされた複数の画像により構成された重なり画像への操作者の視線を検知する視線検知手段と、
前記操作者による、前記視線検知手段で視線を検知した前記重なり画像に近づく方向への操作を検知する動作検知手段と、
前記動作検知手段により前記操作が検知された場合に、前記重なり画像に含まれる複数の画像における画像間のずれを大きくするとともに、当該ずれを大きくした後も、当該複数の画像を、部分的に重なり互いにずらされた状態とする表示制御手段と、
を備える情報処理装置。 - 前記複数の画像に含まれる各画像は、矩形状に形成され側辺を有し、
前記表示制御手段は、前記複数の画像に含まれる画像を、前記側辺が延びる方向に沿って移動させて、画像間のずれを大きくする請求項1に記載の情報処理装置。 - 前記複数の画像に含まれる各画像は、矩形状に形成され、
前記表示制御手段は、前記複数の画像に含まれる画像の対角線が延びる方向へ、当該複数の画像に含まれる画像を移動させて、画像間のずれを大きくする請求項1に記載の情報処理装置。 - 前記表示制御手段は、前記重なり画像に含まれる複数の画像を移動させることで、当該複数の画像における画像間のずれを大きくするとともに、当該複数の画像の各々を移動させるにあたり、一部の画像を一方向に移動させ他の画像を当該一方向とは反対方向へ移動させる請求項1に記載の情報処理装置。
- 前記視線検知手段は、前記重なり画像の特定箇所への操作者の視線を検知し、
前記表示制御手段は、前記重なり画像の前記特定箇所への視線が検知され前記近づく方向への操作が検知された場合に、前記複数の画像における画像間のずれを大きくする請求項1に記載の情報処理装置。 - 前記視線検知手段は、前記重なり画像のうちの、各画像が有する縁部が並んでいる箇所への操作者への視線を検知し、
前記表示制御手段は、前記縁部が並んでいる前記箇所への視線が検知され前記近づく方向への操作が検知された場合に、前記複数の画像における画像間のずれを大きくする請求項5に記載の情報処理装置。 - 前記表示制御手段は、互いに隣接する前記縁部間の間隙が拡がるように、前記複数の画像における画像間のずれを大きくする請求項6に記載の情報処理装置。
- 前記動作検知手段は、操作者が操作用器具又は自身の指を前記重なり画像に接近させる動作又は前記表示媒体に表示されているポインターを当該重なり画像に接近させる動作を検知する請求項1に記載の情報処理装置。
- 前記表示制御手段は、前記操作用器具又は前記指が前記重なり画像に達する前に、前記複数の画像の配置状態の変更を行い、前記ポインターが当該重なり画像に達する前に、当該複数の画像の配置状態の変更を行う請求項8に記載の情報処理装置。
- 記録材への画像形成を行う画像形成手段と、
部分的に重なり互いにずらされた複数の画像により構成された重なり画像を表示する表示部と、
前記重なり画像への操作者の視線を検知する視線検知手段と、
前記操作者による、前記視線検知手段で視線を検知した前記重なり画像に近づく方向への操作を検知する動作検知手段と、
前記動作検知手段により前記操作が検知された場合に、前記重なり画像に含まれる複数の画像における画像間のずれを大きくするとともに、当該ずれを大きくした後も、当該複数の画像を、部分的に重なり互いにずらされた状態とする表示制御手段と、
を備える画像形成装置。 - 表示媒体に表示された、部分的に重なり互いにずらされた複数の画像により構成された重なり画像への操作者の視線を検知する視線検知機能と、
前記操作者による、前記視線検知機能で視線を検知した前記重なり画像に近づく方向への操作を検知する動作検知機能と、
前記動作検知機能により前記操作が検知された場合に、前記重なり画像に含まれる複数の画像における画像間のずれを大きくするとともに、当該ずれを大きくした後も、当該複数の画像を、部分的に重なり互いにずらされた状態とする表示制御機能と、
をコンピュータに実現させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017170612A JP6958141B2 (ja) | 2017-09-05 | 2017-09-05 | 情報処理装置、画像形成装置、および、プログラム |
CN201811026622.6A CN109426425B (zh) | 2017-09-05 | 2018-09-04 | 信息处理装置、图像形成装置以及存储介质 |
US16/121,089 US10594878B2 (en) | 2017-09-05 | 2018-09-04 | Information processing apparatus, image forming apparatus, and non-transitory computer readable medium |
JP2021102566A JP7279737B2 (ja) | 2017-09-05 | 2021-06-21 | 情報処理装置、画像形成装置、プログラム、および、システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017170612A JP6958141B2 (ja) | 2017-09-05 | 2017-09-05 | 情報処理装置、画像形成装置、および、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021102566A Division JP7279737B2 (ja) | 2017-09-05 | 2021-06-21 | 情報処理装置、画像形成装置、プログラム、および、システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019046320A JP2019046320A (ja) | 2019-03-22 |
JP6958141B2 true JP6958141B2 (ja) | 2021-11-02 |
Family
ID=65514857
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017170612A Active JP6958141B2 (ja) | 2017-09-05 | 2017-09-05 | 情報処理装置、画像形成装置、および、プログラム |
JP2021102566A Active JP7279737B2 (ja) | 2017-09-05 | 2021-06-21 | 情報処理装置、画像形成装置、プログラム、および、システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021102566A Active JP7279737B2 (ja) | 2017-09-05 | 2021-06-21 | 情報処理装置、画像形成装置、プログラム、および、システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US10594878B2 (ja) |
JP (2) | JP6958141B2 (ja) |
CN (1) | CN109426425B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021015203A (ja) * | 2019-07-12 | 2021-02-12 | 富士ゼロックス株式会社 | 画像表示装置、画像形成装置及びプログラム |
EP4398257A1 (en) | 2021-08-31 | 2024-07-10 | Resonac Corporation | Property prediction device, property prediction method, and program |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4622794B2 (ja) * | 2005-10-07 | 2011-02-02 | 株式会社デンソー | 画面移動型表示装置 |
KR101403839B1 (ko) * | 2007-08-16 | 2014-06-03 | 엘지전자 주식회사 | 터치 스크린을 구비한 이동통신 단말기 및 그 디스플레이제어방법 |
JP5704825B2 (ja) | 2010-03-08 | 2015-04-22 | キヤノン株式会社 | 情報処理装置およびその制御方法およびプログラム |
JP2012022632A (ja) * | 2010-07-16 | 2012-02-02 | Canon Inc | 情報処理装置およびその制御方法 |
JP2012230537A (ja) * | 2011-04-26 | 2012-11-22 | Fuji Xerox Co Ltd | 表示制御装置及びプログラム |
JP5935267B2 (ja) * | 2011-09-01 | 2016-06-15 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2013125191A (ja) * | 2011-12-15 | 2013-06-24 | Canon Inc | 映像表示装置、映像表示方法及びプログラム |
JP5945417B2 (ja) * | 2012-01-06 | 2016-07-05 | 京セラ株式会社 | 電子機器 |
KR101793628B1 (ko) * | 2012-04-08 | 2017-11-06 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그 디스플레이 방법 |
CN105960622B (zh) | 2013-10-01 | 2021-02-12 | 量子界面有限责任公司 | 选择吸引式接口、包括该接口的系统和装置及其制造和使用方法 |
JP6153487B2 (ja) * | 2014-03-14 | 2017-06-28 | 株式会社Nttドコモ | 端末及び制御方法 |
CN105278659B (zh) * | 2014-06-18 | 2018-09-14 | 中国电信股份有限公司 | 基于视线追踪技术的目标定位方法和装置 |
US9846522B2 (en) * | 2014-07-23 | 2017-12-19 | Microsoft Technology Licensing, Llc | Alignable user interface |
JP6428020B2 (ja) * | 2014-07-24 | 2018-11-28 | セイコーエプソン株式会社 | Gui装置 |
JP2016066351A (ja) * | 2014-09-16 | 2016-04-28 | 株式会社リコー | 情報処理システム、情報処理装置、情報処理方法およびプログラム |
JP6507827B2 (ja) * | 2015-04-28 | 2019-05-08 | 京セラドキュメントソリューションズ株式会社 | 表示システム |
JP6611501B2 (ja) * | 2015-07-17 | 2019-11-27 | キヤノン株式会社 | 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体 |
-
2017
- 2017-09-05 JP JP2017170612A patent/JP6958141B2/ja active Active
-
2018
- 2018-09-04 CN CN201811026622.6A patent/CN109426425B/zh active Active
- 2018-09-04 US US16/121,089 patent/US10594878B2/en active Active
-
2021
- 2021-06-21 JP JP2021102566A patent/JP7279737B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019046320A (ja) | 2019-03-22 |
JP7279737B2 (ja) | 2023-05-23 |
CN109426425A (zh) | 2019-03-05 |
US20190075210A1 (en) | 2019-03-07 |
US10594878B2 (en) | 2020-03-17 |
CN109426425B (zh) | 2023-09-22 |
JP2021140833A (ja) | 2021-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190250714A1 (en) | Systems and methods for triggering actions based on touch-free gesture detection | |
JP6480434B2 (ja) | デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 | |
KR101347232B1 (ko) | 화상인식장치 및 조작판정방법, 그리고 컴퓨터 판독가능한 매체 | |
TWI516093B (zh) | 影像互動系統、手指位置的偵測方法、立體顯示系統以及立體顯示器的控制方法 | |
EP2615523A1 (en) | Image recognition apparatus, operation evaluation method, and program | |
JP6584076B2 (ja) | 情報処理装置、情報処理方法、コンピュータプログラム | |
KR20180053402A (ko) | 시선입력장치, 시선입력방법 및 시선입력 프로그램이 기록되어 있는 기록매체 | |
JP7279737B2 (ja) | 情報処理装置、画像形成装置、プログラム、および、システム | |
JP6809022B2 (ja) | 画像表示装置、画像形成装置、および、プログラム | |
EP3032375B1 (en) | Input operation system | |
JP5341126B2 (ja) | 検出領域拡大装置、表示装置、検出領域拡大方法、プログラムおよび、コンピュータ読取可能な記録媒体 | |
CN107025003B (zh) | 输入装置 | |
WO2015159547A1 (ja) | 情報処理システム、制御方法、及びプログラム記録媒体 | |
CN105912101B (zh) | 一种投影控制方法和电子设备 | |
US20160026244A1 (en) | Gui device | |
JP2016218893A (ja) | 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法 | |
JP2015176451A (ja) | ポインティング制御装置およびポインティング制御プログラム | |
JP6245690B2 (ja) | 画像形成装置 | |
JP6643825B2 (ja) | 装置及び方法 | |
JP5550111B2 (ja) | 撮像装置、撮像方法、及びプログラム | |
JP6618301B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP2018054747A (ja) | 画像表示装置、画像形成装置、及びプログラム | |
EP3059664A1 (en) | A method for controlling a device by gestures and a system for controlling a device by gestures | |
WO2024192549A1 (en) | Computer-implemented method, user input system, and computer-program product | |
KR20230166856A (ko) | 인터랙티브 영상 출력시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200717 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210907 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210920 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6958141 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |