JP6747262B2 - ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム - Google Patents

ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム Download PDF

Info

Publication number
JP6747262B2
JP6747262B2 JP2016224098A JP2016224098A JP6747262B2 JP 6747262 B2 JP6747262 B2 JP 6747262B2 JP 2016224098 A JP2016224098 A JP 2016224098A JP 2016224098 A JP2016224098 A JP 2016224098A JP 6747262 B2 JP6747262 B2 JP 6747262B2
Authority
JP
Japan
Prior art keywords
window
information processing
specified
starting point
icon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016224098A
Other languages
English (en)
Other versions
JP2018081551A (ja
Inventor
晃希 畑田
晃希 畑田
西口 直樹
直樹 西口
大野 敬史
敬史 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016224098A priority Critical patent/JP6747262B2/ja
Priority to US15/799,452 priority patent/US11169656B2/en
Publication of JP2018081551A publication Critical patent/JP2018081551A/ja
Application granted granted Critical
Publication of JP6747262B2 publication Critical patent/JP6747262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザインターフェースに関する。
近年、移動通信端末の普及やクラウド技術、通信技術の発展により、オフィスの自席で作成した資料を会議の場に持ち込み、プロジェクタなどで大きく映したり、大画面端末のタッチパネル操作で編集したりすることが簡単にできるようになってきている。
図1は、空間を使用したユーザインターフェースの例を説明する図である。複数の表示機器を連携させ、複数の表示画面を1つの大きな画面として利用可能に提供するユーザインターフェースが知られている。図1は、空間(壁とテーブル)を表示画面として利用するケースの例である。
壁画面110は、プロジェクタにより壁に映された表示画面である。壁画面110には、例えば、アプリ(図1では、模造紙というアプリ)のウィンドウ111a、111bが表示される。テーブル画面120は、プロジェクタによりテーブルに移された表示画面である。テーブル画面120において、ユーザは、テーブル画面120上にあるデジタル付箋(以下、カードと称す)に専用のペンなどを用いてメモを取ることができる。
壁画面110とテーブル画面120は、連携して1つの表示画面として利用可能であり、壁画面110の右端とテーブル画面120の上端が接続(連携)しているものとする。そのため、テーブル画面120でメモを取ったカードをドラッグ(選択)して飛ばす(移動させる動作)をユーザがすることで、カードは、矢印aに示すように、テーブル画面120の上端から壁画面110の右端を通り壁画面110の画面内に移動する。カードは、ユーザの操作による飛ばす動作の慣性に従って移動する。ここで、ユーザの操作により飛ばされたカードは、例えば、はじめに重なったウィンドウに格納される。この場合、矢印aに示すように飛ばされたカードは、ウィンドウ111bに格納される。一方、矢印bに示すように、ウィンドウ111bがカードとはじめに重なるウィンドウであるため、ウィンドウ111bを跨いでウィンドウ111aにカードを送ることはできない。
ここで、各アプリは、コンピュータなどとデータの共有が可能である。そのため、ユーザは、ウィンドウ111bに格納したカードに記載したメモを、アプリをインストールしたコンピュータから閲覧可能である。
複数の画面からウィンドウを表示したい画面を指示し、その画面にウィンドウを表示することで、画面選択の操作負担を軽減する技術が知られている(例えば、特許文献1を参照)。
選択されたオブジェクトが第1のディスプレイと第2のディスプレイの境界に対向する第1のディスプレイ上の端部に移動された場合、オブジェクトを第2のディスプレイ上に表示させることで、ディスプレイ間に跨るオブジェクのドラッグ操作をサポートする技術が知られている(例えば、特許文献2を参照)。
オブジェクトの操作に基づいて、複数のスクリーン間での表示情報の交換を実現するシステムが知られている(例えば、特許文献3を参照)。
特開2011−134001号公報 特開2011−227821号公報 特開2008−216499号公報
表示画面上のオブジェクトを移動先ウィンドウに移動させる際に、移動先ウィンドウに対応するアイコンを選択してオブジェクトを移動先ウィンドウに格納させる方法が知られている。ここで、オブジェクトを移動させる移動先候補のウィンドウが多数ある場合に、多数の移動先候補のウィンドウに対応する多数のアイコンから、移動先ウィンドウに対応するアイコンを探すことは、ユーザにとって手間である。
本発明は1つの側面において、ウィンドウの選択を容易にすることを目的とする。
ユーザインターフェース方法は、複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に実行される処理である。ユーザインターフェース方法は、前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定し、特定したウィンドウを表す移動先候補アイコンを、前記起点を挟んで、特定したウィンドウと反対側に表示する。
本発明によれば、ウィンドウの選択を容易にすることができる。
空間を使用したユーザインターフェースの例を説明する図である。 第1の実施形態に係る移動先ウィンドウの選択方法の例(その1)を説明する図である。 第1の実施形態に係る情報処理装置の構成の例を説明する図である。 第1の実施形態に係る移動先ウィンドウの選択方法の例(その2)を説明する図である。 第2の実施形態に係る情報処理装置の構成の例を説明する図である。 第2の実施形態に係る情報処理装置を用いたオブジェクトの移動方法の例を説明する図である。 オブジェクトの移動先をショートカットとして記憶する処理の例を説明する図である。 接続関係にない画面への移動例を説明する図である。 ショートカットへの格納方法の例を説明する図である。 カードが端にある場合の処理の例を説明する図である。 引っ張る方向の例を説明する図である。 第1と第2の実施形態に係る情報処理装置に係るネットワーク構成の例を説明する図である。 第1と第2の実施形態に係る情報処理装置のハードウェア構成の例を説明する図である。 アイコンを配置する位置を算出する方法の例を説明する図である。 表示するアイコンの判定に係る処理の例を説明する図である。 ディスプレイの論理距離と物理距離についての例を説明する図である。 第1の実施形態に係る情報処理装置の処理の例を説明するフローチャートである。 第2の実施形態に係る情報処理装置の処理の例を説明するフローチャートである。 第2の実施形態に係る情報処理装置の処理の例を説明するフローチャートである。
本実施形態に係る情報処理装置は、複数のディスプレイ内のウィンドウをオブジェクトの移動先として選択するときに、ユーザの入力操作の起点と操作点の距離と方向に基づいて、移動先候補のウィンドウに対応したアイコンを表示していく。そのため、ユーザは、少数のアイコンからウィンドウを選択すればよくなり操作性が向上する。
以下、図面を参照しながら、実施形態を詳細に説明する。
図2は、第1の実施形態に係る移動先ウィンドウの選択方法の例(その1)を説明する図である。第1の実施形態における情報処理装置は、画面210の左端と画面220の右端とが接続された1つの画面として利用可能に提供する。情報処理装置は、画面210にウィンドウAとウィンドウBとを配置しており、更に、カード300を配置している。更に、情報処理装置は、画面220に、ウィンドウCとウィンドウDを配置している。なお、以下において、カード300をオブジェクトとも称す。
ここで、ユーザがカード300をウィンドウDに移動させるための操作を入力した場合の操作手順及び情報処理装置の処理を順に説明する。カード300の移動は、「引っ張り操作」によって行われる。引っ張り操作では、カード300を選択したまま(ドラッグ状態で)引っ張る操作を表す。これは、例えば、弓矢やパチンコのように対象物を掛けたゴムや弦などを引っ張る行為と同じである。カード300は、引っ張り操作後にドラッグ状態を解除することで、移動する(飛ばされる)。なお、ユーザの引っ張り操作は、コンピュータによるマウス操作、タッチパネルでの操作、プロジェクタから投影された画面上の位置を読み取ることのできる専用装置などを用いて行うことができる。
(A1)情報処理装置は、カード300を選択する入力操作に係る操作情報を取得すると、カード300をドラッグ状態とする。ここで、丸310aは、ユーザがカード300を選択したときに押下した箇所である。以下において、丸310aを、引っ張り操作の「起点」と称す。
(A2)情報処理装置は、ユーザがカード300を移動させるための引っ張り操作に係る操作情報を取得する。ここで、丸310bは、移動操作中にユーザが押下中の箇所を示す。以下において、丸310bのような引っ張り操作中の点を「操作点」と称す。すると、情報処理装置は、起点と操作点との間の相対的な距離と、起点に対する操作点の方向に対応する領域に存在するウィンドウを特定する。(A2)の処理においては、起点と操作点との間の距離が小さいので、操作点から見て起点の向こう側の領域であって且つ起点の近くの領域に配置されているウィンドウをサーチし、ウィンドウA、Bを特定する。そのため、情報処理装置は、特定したウィンドウAとウィンドウBに対応するアイコンAとアイコンBを表示する。アイコンAとアイコンBは、起点を挟んでウィンドウAとウィンドウBの反対側の、操作点の近傍に表示される。
(A3)情報処理装置は、ユーザがカード300を(A2)よりも更に移動させた引っ張り操作に係る操作情報を取得する。情報処理装置は、起点と操作点との間の相対的な距離と、起点に対する操作点の方向に対応する領域に存在するウィンドウを特定する。(A3)の処理においては、起点と操作点との間の距離が大きいので、操作点から見て起点の向こう側の領域であって且つ起点の(A2)より遠くの領域に配置されているウィンドウをサーチし、ウィンドウC、Dを特定する。そのため、情報処理装置は、特定したウィンドウCとウィンドウDに対応するアイコンCとアイコンDを表示する。なお、アイコンCとアイコンDを表示した際に、(A2)で表示したアイコンA及びアイコンBを非表示や、選択できないことを示す薄い線で表示してもよい。
(A4)情報処理装置は、ユーザがカード300を移動させたいウィンドウDに対応アイコンD上に、操作点を移動させた操作情報を取得する。(A4)では、表示画面において操作点は、アイコンD上に重なった状態である。
(A5)情報処理装置は、ユーザが操作点をアイコンD上で離し、ドラッグ状態を解除する操作情報を取得する。すると、情報処理装置は、アイコンDに対応したウィンドウDのアプリにカード300を格納する。
このように、第1の実施形態に係る移動先ウィンドウの選択方法では、全てのアイコンを一度に表示せずに、引っ張り具合に応じて移動先候補のアイコンを表示することで、多数の移動先候補がある場合でも、限定して表示することができる。そのため、ユーザは、少数のアイコンから移動先のウィンドウを選択すればよい。
図3は、第1の実施形態に係る情報処理装置の構成の例を説明する図である。情報処理装置400は、操作取得部410、方向算出部420、距離算出部430、ウィンドウ特定部440、ディスプレイ管理部450、ユーザインターフェース(UI)表示部460を備える。
操作取得部410は、情報処理装置400に入力されるユーザのオブジェクトを移動させる操作に係る情報を取得する。操作取得部410は、(A1)〜(A5)における操作情報の取得処理をする。ユーザは、オブジェクトの操作を、コンピュータによるマウス操作、タッチパネルでの操作、プロジェクタから投影された画面上の位置を読み取ることのできる専用装置などを用いて入力する。
方向算出部420は、起点に対する操作点の方向を算出する。距離算出部430は、起点と操作点との間の相対的な距離を算出する。方向算出部420と距離算出部430は、(A2)と(A3)で、方向及び距離算出処理を行う。
ウィンドウ特定部440は、方向算出部420と距離算出部430で算出された距離と方向に対応する領域に存在するウィンドウを特定する。又、カード300を特定したウィンドウに格納する処理をする。
図2に示す例では、情報処理装置は、画面210の左端と画面220の右端とが接続されて1つの画面のように利用可能である。ディスプレイ管理部450は、複数のディスプレイの接続関係などの関係性を管理する。
UI表示部460は、ウィンドウ、起点、操作点、アイコンなどを表示画面に表示する。
図4は、第1の実施形態に係る移動先ウィンドウの選択方法の例(その2)を説明する図である。図4では、図2の画面210と画面220から更に、画面210の右端に画面230の左端が接続された場合の例である。情報処理装置400は、画面230にウィンドウFとウィンドウGを配置している。
ケース1は、ウィンドウC又はウィンドウDを移動先にする場合と、ウィンドウF又はウィンドウGを移動先にする場合の例である。ウィンドウC又はウィンドウDは、カード300にとって左方向に存在する。そのため、ウィンドウC又はウィンドウDを移動先のウィンドウとして選択する場合、ユーザは、起点から右方向に操作点を移動させることで、ウィンドウC又はウィンドウDに対応するアイコンを選択可能となる。一方、ウィンドウF又はウィンドウGは、カード300にとって右方向に存在する。そのため、ウィンドウF又はウィンドウGを移動先のウィンドウとして選択する場合、ユーザは、起点から左方向に操作点を移動させることで、ウィンドウF又はウィンドウGに対応するアイコンを選択可能となる。
ケース2は、ウィンドウを選択する前に、ディスプレイを選択する方法の例である。図4のように複数のディスプレイがある場合、情報処理装置400は、操作点が移動すると、移動先候補のディスプレイを識別するディスプレイ番号を選択可能に表示する。図4の例では、画面220がI、画面210がII、画面230がIIIのディスプレイ番号が割り当てられている。情報処理装置400は、移動先候補のディスプレイが選択されると、選択されたディスプレイに配置された移動先候補のウィンドウに対応するアイコンを表示する。このように、移動先ウィンドウを選択する際にディスプレイとウィンドウの2段階で選択可能に表示することで、ユーザは、移動先候補のウィンドウから移動先ウィンドウを容易に選択できる。
図5は、第2の実施形態に係る情報処理装置の構成の例を説明する図である。第2の実施形態に係る情報処理装置500は、第1の実施形態に係る情報処理装置400と同様の構成には、同じ番号を付している。情報処理装置500は、情報処理装置400から更に、位置算出部510と対応位置算出部520を備える。
第1の実施形態に係る情報処理装置400では、カード300の移動先としてウィンドウが選択可能であった。第2の実施形態に係る情報処理装置500は、ウィンドウ内での位置指定や、ウィンドウ外での位置指定をして、カード300を移動させることができる。
位置算出部510は、アイコン上にある操作点の位置、又は、アイコンの周辺にある操作点の位置を算出する。対応位置算出部520は、位置算出部510で算出されたアイコン上又はアイコン周辺にある操作点の位置に対応するウィンドウ内又はウィンドウ周辺の位置を算出する。詳しくは、図6を用いて説明する。
図6は、第2の実施形態に係る情報処理装置を用いたオブジェクトの移動方法の例を説明する図である。図6に示すケース3は、ユーザが操作点をアイコンC上の右下に置いた場合の例である。ケース3において、操作取得部410は、ユーザが操作点をアイコンC上の右下に移動させた操作情報を取得する。次に、位置算出部510は、操作点の具体的な位置(アイコン上の位置や、アイコン周辺の位置)を算出する。ここで、位置算出部510は、操作点がアイコンCの右下に配置されていると算出する。すると、対応位置算出部520は、位置算出部510で算出されたアイコンC上の右下という位置をウィンドウに置き換えた場合の位置を算出する。そのため、対応位置算出部520は、アイコンC上の右下の位置に対応する位置がウィンドウCの右下であると算出する。結果、カード300は、ウィンドウCの右下に格納される。
図6に示すケース4は、ユーザが操作点をアイコンC外の右下に置いた場合の例である。ケース4において、操作取得部410は、ユーザが操作点をアイコンC外の右下に移動させた操作情報を取得する。次に、位置算出部510は、操作点の具体的な位置(アイコン上の位置や、アイコン周辺の位置)を算出する。ここで、位置算出部510は、操作点がアイコンC外の右下に配置されていると算出する。すると、対応位置算出部520は、位置算出部510で算出されたアイコンC外の右下という位置をウィンドウに置き換えた場合の位置を算出する。そのため、対応位置算出部520は、アイコンC外の右下の位置に対応する位置がウィンドウC外の左上であると算出する。結果、カード300は、ウィンドウC外の左上に移動する。
図7は、オブジェクトの移動先をショートカットとして記憶する処理の例を説明する図である。図7の画面210と画面220は、図2の画面210と画面220と同様のものである。ここで、ユーザは、カード300をウィンドウDへ格納するものとする。
操作取得部410は、カード300の操作点がアイコンD上に重なねられた後に、ドラッグ状態が解除された操作を取得する。すると、ウィンドウ特定部440は、アイコンDに対応するウィンドウをウィンドウDと特定し、カード300をウィンドウDに格納させる。
図7の処理の例では、カード300がウィンドウに格納された後に、UI表示部460は、カード300がウィンドウDに格納される前にあった位置に、「記録」ボタンを表示する。「記録」ボタンは、このウィンドウに格納する格納先を記録するか否かをユーザに問い合わせるためのボタンである。ここで、操作取得部410は、記録ボタンが押下された操作を取得するとする。すると、ウィンドウ特定部440は、記録ボタンを表示した際にカード300を格納した先のウィンドウ(ここでは、ウィンドウD)を特定する。UI表示部460は、ウィンドウへのショートカット枠320を表示する。すると、ユーザは、画面210上にあるカードをショートカット枠320に動かす操作により、カードをウィンドウDに格納することができる。
このように、アイコン以外にも、ショートカットを作成することで、カード300の移動先を選択可能にすることもできる。
図8は、接続関係にない画面への移動例を説明する図である。図8のシステムでは、画面210、画面220、画面230を備え、各画面は、図4の画面と同様のものである。画面210の左端と画面220の右端は接続されている。図8のシステム例では、図4の例と異なり、画面210の右端と画面230の左端は接続されていない。しかし、画面210〜画面230は、情報処理装置400又は情報処理装置500とは接続関係(管理対象)にあるものとする。
このように、画面210や画面220と接続されていない(1つの画面として利用可能ではない)画面230にカード300を移動させたい場合、ユーザは、カード300の操作点を十分に長く引っ張る操作をすることで、接続のない画面230内のウィンドウFやウィンドウDにも、カード300を移動可能にする。操作点が十分に長く引っ張られたか否かは、ウィンドウ特定部440で行われる。また、ウィンドウFやウィンドウDは、画面230が接続されていないため、方向がない。そのため、操作点を十分に長く引っ張る操作は、特に方向を限定しなくてよい。
図9は、ショートカットへの格納方法の例を説明する図である。図9の画面220と画面210ここまでは、ウィンドウDへのショートカットが作成された後の図7における画面220と画面210と同じものである。
ここで、カード300を移動させる操作をすると、UI表示部460は、ウィンドウDへのショートカットをアイコンDとして表示してもよい。例えば、カード300を引っ張る操作をした場合、UI表示部460は、画面210に含まれるウィンドウA、ウィンドウB、ショートカット(ウィンドウD)に対応するアイコンA、アイコンB、アイコンDを表示する。操作取得部410は、操作点がアイコンD上に重ねられた状態で、ドラッグ状態が解除する操作を取得すると、カード300をウィンドウDへ格納する。
図10は、カードが端にある場合の処理の例を説明する図である。ケース5は、カード300が画面の端にあり、操作点を引っ張るスペースがない場合の例である。このような場合、操作点の引っ張る操作が画面外になってしまい、アイコンの表示をするスペースや、操作スペースがないなどの事態がおこりうる。
ケース5のようにカード300が画面の端にある場合、ケース6に示す処理方法で対策をする。ケース6において、起点は画面の端にあり、引っ張る操作をするスペースがない。操作取得部410は、操作スペースがないことを検知すると、起点310aを、起点310a´のように移動させる。このように、起点310aを移動させることで、引っ張る操作を行うスペースを確保できる。
図11は、引っ張る方向の例を説明する図である。図2〜図10では、カード300を引っ張り操作により飛ばす操作を例示してきた。これらの引っ張り操作の方向は、起点を挟んでウィンドウがある方向の逆方向である。
図11の例において、引っ張り操作の方向は、起点から、ウィンドウがある方向と同じ方向である。なお、ウィンドウに対応したアイコンは、起点から、引っ張り方向と同じ方向に表示される。起点〜操作点などの操作をするのに十分なスペースが有る場合、引っ張る方向は、ウィンドウがある方向と同じ方向でもよい。
図12は、第1と第2の実施形態に係る情報処理装置に係るネットワーク構成の例を説明する図である。図12に示す情報処理システム600は、サーバ610、ディスプレイパーソナルコンピュータ(PC)620、630、650とタブレット又はスマートフォン640を含み、互いにネットワークで接続されている。サーバ610は、第1の実施形態に係る情報処理装置400、第2の実施形態に係る情報処理装置500として動作し、接続されているディスプレイPC620、630、650とタブレット又はスマートフォン640の表示及び操作を管理する。
ディスプレイPC620は、プロジェクタ621とカメラ622を備える。プロジェクタ621が画像を映すことで画面210、220、230などとして動作する。カメラ622は、専用の電子ペンなどを認識し、ユーザの操作を取得するために用いられる。
ディスプレイPC630は、タッチパネルディスプレイ631を備える。タッチパネルディスプレイ631は、画像の表示をし、画面210、220、230などとして動作する。更に、タッチパネルディスプレイ631は、ユーザの操作を取得することができる。
タブレット又はスマートフォン640は、搭載されているディスプレイに画像を表示し、画面210、220、230などとして動作する。タブレット又はスマートフォン640は、搭載されているディスプレイからユーザの操作を取得することができる。
ディスプレイPC650は、表示機器651とマウス652を備える。表示機器651は、液晶モニタやプロジェクタで実現され、画面210、220、230などとして動作する。マウス652は、ユーザの操作を入力する入力装置である。
図13は、第1と第2の実施形態に係る情報処理装置のハードウェア構成の例を説明する図である。情報処理装置400と情報処理装置500は、プロセッサ11、メモリ12、バス15、外部記憶装置16、ネットワーク接続装置19を備える。さらにオプションとして、情報処理装置400と情報処理装置500は、入力装置13、出力装置14、媒体駆動装置17を備えても良い。情報処理装置400と情報処理装置500は、例えば、コンピュータなどで実現されることがある。
プロセッサ11は、Central Processing Unit(CPU)を含む任意の処理経路とすることができる。情報処理装置400において、プロセッサ11は、操作取得部410、方向算出部420、距離算出部430、ウィンドウ特定部440、ディスプレイ管理部450、UI表示部460として動作する。情報処理装置500において、プロセッサ11は、操作取得部410、方向算出部420、距離算出部430、ウィンドウ特定部440、ディスプレイ管理部450、UI表示部460、位置算出部510、対応位置算出部520として動作する。ここで、UI表示部460は、情報処理装置400の管理対象のディスプレイPCに画像を表示する。なお、プロセッサ11は、例えば、外部記憶装置16に記憶されたプログラムを実行することができる。メモリ12は、プロセッサ11の動作により得られたデータや、プロセッサ11の処理に用いられるデータも、適宜、記憶する。ネットワーク接続装置19は、他の装置との通信に使用される。
入力装置13は、例えば、ボタン、キーボード、マウス等として実現され、出力装置14は、ディスプレイなどとして実現される。バス15は、プロセッサ11、メモリ12、入力装置13、出力装置14、外部記憶装置16、媒体駆動装置17、ネットワーク接続装置19の間を相互にデータの受け渡しが行えるように接続する。外部記憶装置16は、プログラムやデータなどを格納し、格納している情報を、適宜、プロセッサ11などに提供する。媒体駆動装置17は、メモリ12や外部記憶装置16のデータを可搬記憶媒体18に出力することができ、また、可搬記憶媒体18からプログラムやデータ等を読み出すことができる。ここで、可搬記憶媒体18は、フロッピイディスク、Magnet−Optical(MO)ディスク、Compact Disk Recordable(CD−R)やDigital Versatile Disk Recordable(DVD−R)を含む、持ち運びが可能な任意の記憶媒体とすることができる。
図14は、アイコンを配置する位置を算出する方法の例を説明する図である。図14において、画面210には、ウィンドウAとウィンドウB、カード300が配置されている。画面220には、ウィンドウD、ウィンドウCが配置されている。画面210の左端と画面220の右端は接続されているものとする。図14は、画面210と画面220を1つの画面として利用可能なシステムにおいて、カード300が起点Oから操作点lまで引っ張り操作がされた場合の例である。
まず、起点Oから操作点lまでの引っ張り操作の線を延長した直線を直線Lとする。図14では、ウィンドウCとウィンドウDに対応するアイコンを配置する位置を算出するものとする。方向算出部420は、ウィンドウCとウィンドウDの中心と起点Oとがなす角θが所定の閾値よりも小さい場合に、以下の式1と式2を満たすように、アイコンを配置する位置を算出する。なお、式1と式2で用いられる定数kは予め設定されている。
∠cOl=k×∠COL・・・数1
∠dOl=k×∠DOL・・・数2
このように、式1及び式2を満たすように、方向算出部420がアイコンを配置する位置を算出することで、アイコンCとアイコンDとは重ならず、操作点の周辺に表示される。
図15は、表示するアイコンの判定に係る処理の例を説明する図である。図15において、画面210には、ウィンドウAとウィンドウB、カード300が配置されている。画面220には、ウィンドウD、ウィンドウCが配置されている。画面210の左端と画面220の右端は接続されているものとする。図15は、画面210と画面220を1つの画面として利用可能なシステムにおいて、カード300が起点Oから操作点lまで引っ張り操作がされた場合の例である。起点Oから操作点lまでの引っ張り操作の線を延長した直線を直線Lとする。起点Oから操作点lまでの直線L上の距離を距離rとする。距離算出部430には、予め定数α、定数βが設定されているものとする。
まず、距離算出部430は、起点Oから操作点lまでの引っ張り操作の距離rに定数αを掛けて判定領域の中心点までの距離dを算出する。次に、距離算出部430は、判定領域の中心点までの距離dに定数βを掛けて、判定領域wを算出する。すると、ウィンドウ特定部440は、起点Oから距離dの位置を中心として判定領域±wの点線の中に含まれているウィンドウが、ウィンドウCとウィンドウDであると特定する。なお、ウィンドウ特定部440は、ウィンドウが判定領域±wの点線の中に、ウィンドウの中心からの垂線の足が含まれているか否かで判定する。
このように、ウィンドウ特定部440は、距離算出部430の結果に基づいて、判定領域に含まれるウィンドウを特定することができる。
図16は、ディスプレイの論理距離と物理距離についての例を説明する図である。物理的ディスプレイ配置の例では、2つのディスプレイが並べられている。2つのディスプレイ間には、物理的に離れて配置されているものとする。この場合、点Aと点Bとの距離には、ディスプレイ間の物理的な距離が含まれてしまう。
一方、論理的ディスプレイ配置の例では、2つのディスプレイが隙間なく、接続されて並べられている。そのため、ディスプレイ間の距離がない。
ディスプレイ管理部450は、論理座標系で算出された方向や距離を物理座標系に基づく数値に変換する。ディスプレイ管理部450は、ディスプレイの配置されている位置などを管理しており、物理座標系に基づいて、オブジェクトの移動先となるディスプレイを特定可能となる。
図17は、第1の実施形態に係る情報処理装置の処理の例を説明するフローチャートである。操作取得部410は、オブジェクト(カード300)の移動操作の開始に係る操作情報を取得したか否かを判定する(ステップS101)。操作情報を取得していない場合(ステップS101でNO)、操作取得部410は、ステップS101の処理を繰り返す。操作情報を取得した場合(ステップS101でYES)、方向算出部420と距離算出部430は、移動操作における引っ張り操作の軌跡(起点〜操作点)から方向と距離を算出する(ステップS102)。ディスプレイ管理部450は、ディスプレイの接続関係を表す情報をウィンドウ特定部440に通知する(ステップS103)。ウィンドウ特定部440は、ディスプレイの接続関係を表す情報から、ウィンドウの位置情報を取得する(ステップS104)。ウィンドウ特定部440は、算出した方向と距離に対応した判定領域に含まれるウィンドウを特定する(ステップS105)。UI表示部460は、特定したウィンドウに対応するアイコンを表示する(ステップS106)。
操作取得部410は、移動操作が終了したか否かを判定する(ステップS107)。移動操作が終了していない場合(ステップS107でNO)、情報処理装置400は、処理をステップS102から繰り返す。移動操作が終了した場合(ステップS107でYES)、ウィンドウ特定部440は、操作終了位置にアイコンがあるか否かを判定する(ステップS108)。操作終了位置にアイコンがある場合(ステップS108でYES)、ウィンドウ特定部440は、オブジェクトをアイコンに対応するウィンドウに格納する(ステップS109)。操作終了位置にアイコンがない場合(ステップS108でNO)、及び、ステップS109が終了すると、情報処理装置400は、オブジェクトの移動に係る処理を終了する。
図18Aと図18Bは、第2の実施形態に係る情報処理装置の処理の例を説明するフローチャートである。操作取得部410は、オブジェクト(カード300)の移動操作の開始に係る操作情報を取得したか否かを判定する(ステップS201)。操作情報を取得していない場合(ステップS201でNO)、操作取得部410は、ステップS201の処理を繰り返す。操作情報を取得した場合(ステップS201でYES)、方向算出部420と距離算出部430は、移動操作における引っ張り操作の軌跡(起点〜操作点)から方向と距離を算出する(ステップS202)。ディスプレイ管理部450は、ディスプレイの接続関係を表す情報をウィンドウ特定部440に通知する(ステップS203)。ウィンドウ特定部440は、ディスプレイの接続関係を表す情報から、ウィンドウの位置情報を取得する(ステップS204)。ウィンドウ特定部440は、算出した方向と距離に対応した判定領域に含まれるウィンドウを特定する(ステップS205)。UI表示部460は、特定したウィンドウに対応するアイコンを表示する(ステップS206)。
操作取得部410は、移動操作が終了したか否かを判定する(ステップS207)。移動操作が終了していない場合(ステップS207でNO)、情報処理装置500は、処理をステップS202から繰り返す。移動操作が終了した場合(ステップS207でYES)、ウィンドウ特定部440は、操作終了位置にアイコンがあるか否かを判定する(ステップS208)。
操作終了位置にアイコンがある場合(ステップS208でYES)、位置算出部510はアイコン内における操作終了位置を算出する(ステップS209)。対応位置算出部520は、アイコン内の操作終了位置に対応するウィンドウ内での位置を算出する(ステップS210)。ウィンドウ特定部440は、オブジェクトをウィンドウ内の算出した位置に格納する(ステップS211)。
操作終了位置にアイコンがない場合(ステップS208でNO)、位置算出部510は、操作終了位置を算出し、最も近くにあるアイコンを特定する(ステップS212)。位置算出部510は、操作終了位置と最も近くにあるアイコンが所定の距離以内であるか否かを判定する(ステップS213)。操作終了位置と最も近くにあるアイコンが所定の距離以内である場合(ステップS213でYES)、位置算出部510はアイコン外における操作終了位置を算出する(ステップS214)。対応位置算出部520は、アイコン外の操作終了位置に対応するウィンドウ外での位置を算出する(ステップS215)。ステップS215の処理が終了すると、情報処理装置500は、ステップS211の処理を実行する。
ステップS211の処理が終了する、又は、操作終了位置と最も近くにあるアイコンが所定の距離よりも離れている場合(ステップS213でNO)、情報処理装置500は、オブジェクトの移動に係る処理を終了する。
以上記載した各実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)
複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、
前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定し、特定したウィンドウを表す移動先候補アイコンを表示する
ことを特徴とするユーザインターフェース方法。
(付記2)
前記移動先候補アイコンを、前記起点を挟んで、特定したウィンドウと反対側に表示する
ことを特徴とする付記1に記載のユーザインターフェース方法。
(付記3)
前記操作点が前記移動先候補アイコン上にあり、且つ、前記操作点の移動を終了する操作が行われた場合に、前記オブジェクトを、前記移動先候補アイコンに対応するウィンドウに格納する
ことを特徴とする付記1に記載のユーザインターフェース方法。
(付記4)
前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するディスプレイを特定し、特定したディスプレイを識別するディスプレイ番号を選択可能に表示する
ことを特徴とする付記1に記載のユーザインターフェース方法。
(付記5)
前記操作点の移動を終了する終了操作が行われた場合、前記終了操作が行われた前記移動先候補アイコンの周辺、又は、前記移動先候補アイコン内での位置を算出し、
前記位置に対応するウィンドウにおける位置を特定し、前記オブジェクトを特定した位置に配置する
ことを特徴とする付記1に記載のユーザインターフェース方法。
(付記6)
複数のディスプレイと接続されている情報処理装置であって、
前記複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、
前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定する特定部と、
特定したウィンドウを表す移動先候補アイコンを表示する表示部を、備える
ことを特徴とする情報処理装置。
(付記7)
前記表示部は、
前記移動先候補アイコンを、前記起点を挟んで、特定したウィンドウと反対側に表示する
ことを特徴とする付記6に記載の情報処理装置。
(付記8)
前記操作点の移動操作を取得する操作取得部を更に備え、
前記操作点が前記移動先候補アイコン上にあり、且つ、前記操作点の移動を終了する操作を前記操作取得部が取得すると、
前記特定部は、前記オブジェクトを、前記移動先候補アイコンに対応するウィンドウに格納する
ことを特徴とする付記6に記載の情報処理装置。
(付記9)
前記特定部は、
前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するディスプレイを特定し、
前記表示部は、
特定したディスプレイを識別するディスプレイ番号を選択可能に表示する
ことを特徴とする付記6に記載の情報処理装置。
(付記10)
前記操作点の移動を終了する終了操作が行われた場合、前記終了操作が行われた前記移動先候補アイコンの周辺、又は、前記移動先候補アイコン内での位置を算出する位置算出部と、
前記位置に対応するウィンドウにおける位置を特定し、前記オブジェクトを特定した位置に配置する対応位置算出部と、を更に備える
ことを特徴とする付記6に記載の情報処理装置。
(付記11)
複数のディスプレイと、
前記複数のディスプレイと接続されている情報処理装置と、を含み、
前記情報処理装置は、
前記複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定し、前記複数のディスプレイ中の前記オブジェクトを表示しているディスプレイに特定したウィンドウを表す移動先候補アイコンを表示する
ことを特徴とする情報処理システム。
(付記12)
複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、
前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定し、特定したウィンドウを表す移動先候補アイコンを表示する、処理をコンピュータに実行させる
ことを特徴とする情報処理プログラム。
400、500 情報処理装置
410 操作取得部
420 方向算出部
430 距離算出部
440 ウィンドウ特定部
450 ディスプレイ管理部
460 UI表示部
510 位置算出部
520 対応位置算出部

Claims (7)

  1. 複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、
    前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定し、特定したウィンドウを表す移動先候補アイコンを、前記起点を挟んで、特定したウィンドウと反対側に表示する
    ことを特徴とするユーザインターフェース方法。
  2. 前記操作点が前記移動先候補アイコン上にあり、且つ、前記操作点の移動を終了する操作が行われた場合に、前記オブジェクトを、前記移動先候補アイコンに対応するウィンドウに格納する
    ことを特徴とする請求項1に記載のユーザインターフェース方法。
  3. 複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、
    前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するディスプレイ及びウィンドウを特定し、特定したディスプレイを識別するディスプレイ番号を選択可能に表示すると共に、特定したウィンドウを表す移動先候補アイコンを表示する
    ことを特徴とするユーザインターフェース方法
  4. 複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、
    前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定し、特定したウィンドウを表す移動先候補アイコンを表示し、
    前記操作点の移動を終了する終了操作が行われた場合、前記終了操作が行われた前記移動先候補アイコンの周辺、又は、前記移動先候補アイコン内での位置を算出し、
    前記位置に対応するウィンドウにおける位置を特定し、前記オブジェクトを特定した位置に配置する
    ことを特徴とするユーザインターフェース方法
  5. 複数のディスプレイと接続されている情報処理装置であって、
    前記複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、
    前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定する特定部と、
    特定したウィンドウを表す移動先候補アイコンを、前記起点を挟んで、特定したウィンドウと反対側に表示する表示部を、備える
    ことを特徴とする情報処理装置。
  6. 複数のディスプレイと、
    前記複数のディスプレイと接続されている情報処理装置と、を含み、
    前記情報処理装置は、
    前記複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定し、前記複数のディスプレイ中の前記オブジェクトを表示しているディスプレイに特定したウィンドウを表す移動先候補アイコンを、前記起点を挟んで、特定したウィンドウと反対側に表示する
    ことを特徴とする情報処理システム。
  7. 複数のディスプレイに分かれて表示されている複数のウィンドウの中から、オブジェクトの移動先となるウィンドウを選択する操作中に、
    前記オブジェクトの移動に係る入力操作の起点と操作点との間の相対的な距離と前記起点に対する前記操作点の方向に対応する領域に存在するウィンドウを特定し、特定したウィンドウを表す移動先候補アイコンを、前記起点を挟んで、特定したウィンドウと反対側に表示する、処理をコンピュータに実行させる
    ことを特徴とする情報処理プログラム。
JP2016224098A 2016-11-17 2016-11-17 ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム Active JP6747262B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016224098A JP6747262B2 (ja) 2016-11-17 2016-11-17 ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム
US15/799,452 US11169656B2 (en) 2016-11-17 2017-10-31 User interface method, information processing system, and user interface program medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016224098A JP6747262B2 (ja) 2016-11-17 2016-11-17 ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム

Publications (2)

Publication Number Publication Date
JP2018081551A JP2018081551A (ja) 2018-05-24
JP6747262B2 true JP6747262B2 (ja) 2020-08-26

Family

ID=62107224

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016224098A Active JP6747262B2 (ja) 2016-11-17 2016-11-17 ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム

Country Status (2)

Country Link
US (1) US11169656B2 (ja)
JP (1) JP6747262B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109407955B (zh) * 2018-09-28 2021-04-02 广东省海洋工程装备技术研究所 用户界面交互方法、计算机装置、计算机可读存储介质
JP6940466B2 (ja) * 2018-10-29 2021-09-29 株式会社三共 遊技機
CN109885249A (zh) * 2019-02-28 2019-06-14 深圳市泰衡诺科技有限公司 一种分屏处理方法、智能终端及可读存储介质
CN112148168B (zh) * 2020-09-29 2022-07-08 维沃移动通信有限公司 图标的移动方法、装置和电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745111A (en) * 1996-11-13 1998-04-28 International Business Machines Corporation Method and system for automatic presentation of default-drop target icons at window borders
JP3792405B2 (ja) * 1998-08-10 2006-07-05 富士通株式会社 ファイル操作装置およびファイル操作プログラムを記録した記録媒体
US7370281B2 (en) * 2002-02-22 2008-05-06 Bea Systems, Inc. System and method for smart drag-and-drop functionality
US7231609B2 (en) * 2003-02-03 2007-06-12 Microsoft Corporation System and method for accessing remote screen content
JP5151184B2 (ja) 2007-03-01 2013-02-27 株式会社リコー 情報表示システム及び情報表示方法
EP2180700A1 (en) * 2007-08-03 2010-04-28 Loilo Inc Interface system for editing video data
US8321802B2 (en) * 2008-11-13 2012-11-27 Qualcomm Incorporated Method and system for context dependent pop-up menus
JP4818427B2 (ja) 2009-12-22 2011-11-16 株式会社東芝 情報処理装置及び画面選択方法
JP4865053B2 (ja) 2010-04-22 2012-02-01 株式会社東芝 情報処理装置およびドラッグ制御方法
KR101955979B1 (ko) * 2012-09-04 2019-03-08 엘지전자 주식회사 이동 단말기 및 그의 어플리케이션 아이콘 이동 방법
JP5942762B2 (ja) * 2012-10-04 2016-06-29 富士ゼロックス株式会社 情報処理装置及びプログラム
JP5737380B1 (ja) * 2013-12-27 2015-06-17 富士ゼロックス株式会社 情報処理装置、及びプログラム

Also Published As

Publication number Publication date
JP2018081551A (ja) 2018-05-24
US11169656B2 (en) 2021-11-09
US20180136818A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
US11169705B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
US9324305B2 (en) Method of synthesizing images photographed by portable terminal, machine-readable storage medium, and portable terminal
US9223443B2 (en) Projection device, projection method and projection program
JP5248696B1 (ja) 電子機器、手書き文書作成方法、及び手書き文書作成プログラム
US11604580B2 (en) Configuration of application execution spaces and sub-spaces for sharing data on a mobile touch screen device
JP5681150B2 (ja) 端末装置及び検索サービス提供方法
JP6747262B2 (ja) ユーザインターフェース方法、情報処理装置、情報処理システム及び情報処理プログラム
CN104011629A (zh) 用于能够进行基于触摸的输入的用户界面的经增强的目标选择
CN105229606B (zh) 基于内容的定向放置应用启动
CN105144058A (zh) 延迟放置提示
JP7384260B2 (ja) 情報処理装置及びプログラム
US20170212906A1 (en) Interacting with user interfacr elements representing files
US10990344B2 (en) Information processing apparatus, information processing system, and information processing method
JP2016170613A (ja) 会議支援装置、会議支援システム、会議支援プログラム、及び会議支援方法
US10921977B2 (en) Information processing apparatus and information processing method
JP2009188942A (ja) 画像表示装置、画像表示方法及びプログラム
JP5520343B2 (ja) 情報処理装置、及びその制御方法、プログラム、及び記録媒体
JP2016062607A (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
JP7030527B2 (ja) 電子機器、情報処理方法、プログラム及び記憶媒体
JP7331578B2 (ja) 表示装置、画像表示方法、プログラム
JP2015007844A (ja) ユーザインタフェース装置、ユーザインタフェース方法およびプログラム
JP2017021433A (ja) 画像処理装置、画像処理方法
JP6120907B2 (ja) 表示制御装置及び表示制御方法
JP5527665B2 (ja) 表示制御装置、表示制御システム、表示制御方法及び表示制御プログラム
JP2016091215A (ja) 電子ホワイトボードシステム、プロジェクタ、画像投影方法ならびにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190807

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200602

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200602

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6747262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150