JP6592056B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6592056B2
JP6592056B2 JP2017200858A JP2017200858A JP6592056B2 JP 6592056 B2 JP6592056 B2 JP 6592056B2 JP 2017200858 A JP2017200858 A JP 2017200858A JP 2017200858 A JP2017200858 A JP 2017200858A JP 6592056 B2 JP6592056 B2 JP 6592056B2
Authority
JP
Japan
Prior art keywords
pinch
touch
touch screen
displayed
designation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017200858A
Other languages
English (en)
Other versions
JP2019074948A (ja
Inventor
卓朗 伊藤
卓朗 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2017200858A priority Critical patent/JP6592056B2/ja
Priority to US16/648,924 priority patent/US20200249832A1/en
Priority to EP17929009.3A priority patent/EP3674875A4/en
Priority to PCT/JP2017/046430 priority patent/WO2019077766A1/ja
Publication of JP2019074948A publication Critical patent/JP2019074948A/ja
Application granted granted Critical
Publication of JP6592056B2 publication Critical patent/JP6592056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • G06F40/123Storage facilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザインターフェースの技術に関する。
特許文献1には、タッチスクリーンディスプレイに表示された編集可能コンテンツ上でプレスアンドホールドジェスチャを検出するとその編集可能コンテンツを拡大したコンテンツマグニファイヤを表示してコンテンツを選択させ、選択されたコンテンツをコピーする技術が開示されている。
特許2017−79073号公報
スマートフォン等のタッチスクリーンを備える装置において、画面に表示されている文字、画像等のオブジェクトのコピーを別の場所にペーストしたい場合、ユーザは、例えば、特許文献1の技術のようにオブジェクトを長押ししてポップアップメニューを表示させ、ポップアップメニューから「コピー」を選択し、コピーしたオブジェクトをペーストしたい場所を長押ししてポップアップメニューを表示させ、ポップアップメニューから「ペースト」を選択する、といった一連の動作を行わなければならない。この一連の動作は手間と時間を要する。
そこで、本発明は、タッチスクリーンに表示されているオブジェクトを他の場所に貼り付けるまでの手間を軽減することを目的とする。
本発明は、一の態様において、オブジェクトを含む画像をタッチスクリーンに表示させる表示制御部と、前記タッチスクリーンに表示されているオブジェクトを選択する選択操作を受け付ける第1受付部と、前記オブジェクトが表示されている前記タッチスクリーンに対してピンチイン操作が行われた場合に、当該ピンチイン操作に係る移動方向が第1の方向である場合は、前記ピンチイン操作にて指定されたオブジェクトが複製対象であると判定し、前記ピンチイン操作に係る移動方向が第2の方向である場合は、前記ピンチイン操作にて指定されたオブジェクトが移動対象であると判定する指定判定部と、当該オブジェクトを、前記複製対象であるかまたは前記移動対象であるかを示す情報とともにクリップボードに保存する保存部とを備え、前記指定判定部は、受け付けられた前記選択操作によりオブジェクトが選択された状態で前記ピンチイン操作が行われた場合に、当該オブジェクトが指定されたと判定し、前記第1受付部は、前記タッチスクリーンに並べて表示されたオブジェクトをなぞる操作が他の箇所をタッチしながら行われた場合に、当該操作によりなぞられたオブジェクト群を選択する選択操作として受け付け、当該他の箇所におけるタッチが行われなくなったことを契機として当該選択操作の内容を確定させる、情報処理装置を提供する。
好ましい態様において、前記タッチスクリーンに対してピンチアウト操作が行われた場合に当該ピンチアウト操作が前記クリップボードに保存されたオブジェクトの貼り付けを指示する操作であるか否かを判定する指示判定部を更に有し、前記表示制御部は、前記ピンチアウト操作が該保存されたオブジェクトの貼り付けを指示するものであると判定された場合、前記クリップボードに保存されているオブジェクトを貼り付けた画像を当該タッチスクリーンに表示させる
また、前記指定判定部は、前記画像が表示されたタッチスクリーンがタッチされた状態で当該タッチとは別の箇所に対して行われたピンチイン操作を、当該画像に含まれているオブジェクトを指定する操作であると判定してもよい。
さらに、前記タッチスクリーンに表示されているオブジェクトを選択する選択操作を受け付ける第1受付部を備え、前記指定判定部は、受け付けられた前記選択操作によりオブジェクトが選択された状態で前記ピンチイン操作が行われた場合に、当該オブジェクトが指定されたと判定してもよい。
また、オブジェクトの貼付位置を指定する指定操作を受け付ける第2受付部を備え、前記指示判定部は、受け付けられた前記指定操作により前記貼付位置が指定された状態で行われたピンチアウト操作を、前記オブジェクトを指定する操作であると判定してもよい。
さらに、前記指示判定部は、最初の2カ所のタッチ位置がタッチされた期間が所定の期間以上であるピンチアウト操作を、前記オブジェクトを指定する操作であると判定してもよい。
本発明によれば、タッチスクリーンに表示されているオブジェクトを他の場所に貼り付けるまでの手間を軽減することができる。
実施例に係るスマートフォンのハードウェア構成を表す図 スマートフォンが実現する機能構成を表す図 オブジェクトの選択操作の一例を表す図 指定操作として行われるピンチイン操作の例を表す図 指示操作として行われるピンチアウト操作の例を表す図 保存処理における動作手順の一例を表す図 貼付処理における動作手順の一例を表す図 変形例のオブジェクトの選択操作の一例を表す図 変形例の指定操作の一例を表す図 変形例の指示操作の一例を表す図 変形例の保存処理及び貼付処理における動作手順の一例を表す図
[1]実施例
図1は実施例に係るスマートフォン1のハードウェア構成を表す。スマートフォン1は、プロセッサ2と、メモリ3と、ストレージ4と、通信装置5と、入力装置6と、出力装置7と、バス8という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。
また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。プロセッサ2は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ2は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。
また、プロセッサ2は、OS(Operating System:オペレーティングシステム)及び各種のアプリケーション(以下では簡単に「アプリ」ともいう)を含むプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ4及び/又は通信装置5からメモリ3に読み出し、これらに従って各種の処理を実行する。各種処理を実行するプロセッサ2は1つでもよいし、2以上であってもよく、2以上のプロセッサ2は、同時又は逐次に各種処理を実行してもよい。
また、プロセッサ2は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されてもよい。メモリ3は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ3は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。
メモリ3は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。ストレージ4は、コンピュータが読み取り可能な記録媒体であり、例えば、ハードディスクドライブ、フレキシブルディスク、フラッシュメモリ(例えば、カード、スティック、キードライブ)、磁気ストリップなどの少なくとも1つで構成されてもよい。
ストレージ4は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ3及び/又はストレージ4を含むデータベース、サーバその他の適切な媒体であってもよい。通信装置5は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入力装置6は、外部からの入力を受け付ける入力デバイス(例えば、マイクロフォン、スイッチ、ボタン、センサなど)である。出力装置7は、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカ、LEDランプなど)である。スマートフォン1においては、入力装置6及び出力装置7は、一体となってタッチスクリーン10を構成している。
タッチスクリーン10は、画像を表示する出力デバイスであると共に、ユーザの操作を受け付ける入力デバイスである。タッチスクリーン10は、画像を表示する表示面11と、表示面11上でユーザがタッチした位置(タッチ位置)を検出する位置検出センサ12とを備える。位置検出センサ12は、本実施例では、2カ所のタッチ位置を同時に検出することが可能なセンサが用いられている。これにより、タッチスクリーン10は、2カ所のタッチ位置が表す入力を受け付ける。
プロセッサ2及びメモリ3等の各装置は、情報を通信するためのバス8を介して互いにアクセス可能となっている。バス8は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。また、スマートフォン1は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ2は、これらのハードウェアの少なくとも1つで実装されてもよい。
スマートフォン1のプロセッサ2がプログラムを実行して各部を制御することで以下に述べる機能群が実現される。
図2はスマートフォン1が実現する機能構成を表す。スマートフォン1は、オブジェクト表示制御部101と、クリップボード制御部102と、指定操作判定部111と、指示操作判定部112と、ピンチイン操作受付部121と、ピンチアウト操作受付部122と、選択操作受付部131と、指定操作受付部132とを備える。
オブジェクト表示制御部101は、1以上のオブジェクトを含む画像をタッチスクリーン10に表示させる。オブジェクト表示制御部101は本発明の「表示制御部」の一例である。オブジェクトとは、例えば、文字列、写真画像、描画された画像(いわゆるCG(Computer Graphics))、データを表す画像又はプログラムを表す画像(アイコン、ショートカット画像など)等である。
これらのオブジェクトを示すデータは、メモリ3、ストレージ4又は通信装置5を介してアクセス可能な外部装置等の記憶手段に記憶されている。オブジェクト表示制御部101は、それらの記憶手段からオブジェクトを示すデータを読み出して、読み出したオブジェクトを含む画像(例えばアプリの画面の画像及びウェブページの画像等)を生成し、生成した画像をタッチスクリーン10に表示させる。
ピンチイン操作受付部121は、タッチスクリーン10に対して行われたピンチイン操作を受け付ける。ピンチイン操作とは、タッチスクリーン10上の2カ所にタッチして、それら2つのタッチ位置を近づける操作である。ピンチイン操作受付部121は、例えば、タッチ位置が2カ所検出された場合に、それらの間の距離を所定の時間間隔(例えば0.1秒毎)で繰り返し算出し、算出した距離が一定の長さ又は一定の割合減少した場合に、その操作をピンチイン操作として受け付ける。なお、ピンチイン操作の受付方法はこれに限らず、他の周知の方法が用いられてもよい。
ピンチアウト操作受付部122は、タッチスクリーン10に対して行われたピンチアウト操作を受け付ける。ピンチアウト操作とは、タッチスクリーン10上の2カ所にタッチして、それら2つのタッチ位置を遠ざける操作である。ピンチアウト操作受付部122は、例えば、タッチ位置が2カ所検出された場合に、それらの間の距離を所定の時間間隔(例えば0.1秒毎)で繰り返し算出し、算出した距離が一定の長さ又は一定の割合増加した場合に、その操作をピンチアウト操作として受け付ける。なお、ピンチアウト操作の受付方法はこれに限らず、他の周知の方法が用いられてもよい。
選択操作受付部131は、タッチスクリーン10に表示されているオブジェクトを選択する選択操作を受け付ける。選択操作受付部131は本発明の「第1受付部」の一例である。選択操作受付部131は、本実施例では、1以上の行又は1以上の列に沿って並べられたオブジェクト群を表示するタッチスクリーン10に対するピンチアウト操作を、そのピンチアウト操作の第1タッチ位置に表示されているオブジェクトから第2タッチ位置に表示されているオブジェクトまで並べられたオブジェクト群を選択する選択操作として受け付ける。
なお、本実施例では、ピンチイン操作及びピンチアウト操作に他の処理(縮小表示処理及び拡大表示処理等)が割り当てられていない画像が表示されているものとする。
図3はオブジェクトの選択操作の一例を表す。図3では、オブジェクト表示制御部101がタッチスクリーン10に文書編集アプリで編集された文字列を1以上の行に沿って並べられたオブジェクト群として表示させている。
この例では、ユーザが、図3(a)に表すようにタッチスクリーン10のタッチ位置P1及びタッチ位置P2をタッチしている状態から図3(b)に表すようにタッチ位置P1及びタッチ位置P2の距離を広げる動き、すなわちピンチアウト操作を行っている。ピンチアウト操作受付部122は、このピンチアウト操作を受け付けると、ピンチアウト操作を表したタッチ位置P1及びタッチ位置P2の座標を両タッチ位置が検出される度に選択操作受付部131に供給する。
この座標は、例えば表示面11の任意の点を中心とした座標系における座標である。本実施例では表示面11の左上隅の点O1を中心として左右方向に沿ったX軸と上下方向に沿ったY軸とで表される座標系を用いる。選択操作受付部131は、タッチ位置P1及びタッチ位置P2の座標が供給されると、オブジェクト表示制御部101から表示されているオブジェクトに関する情報(オブジェクト関連情報)を取得する。
図3の例では、選択操作受付部131は、文字列に含まれる各文字と、それらの文字の中心座標及びサイズと、それらの文字列の並ぶ方向(行又は列)とを示す情報をオブジェクト関連情報として取得する。選択操作受付部131は、取得したオブジェクト関連情報から、図3(c)に表すようにタッチ位置P1に表示されている文字C1とタッチ位置P2に表示されている文字C2を特定し、その文字C1から文字C2まで並べられた文字列B1を特定する。
こうして、選択操作受付部131は、特定した文字列B1、すなわち、第1タッチ位置(タッチ位置P1)に表示されているオブジェクト(文字C1)から第2タッチ位置(タッチ位置P2)に表示されているオブジェクト(文字C2)まで並べられたオブジェクト群(文字列B1)を選択する選択操作として、図3(a)、(b)に表すピンチアウト操作を受け付ける。
選択操作受付部131は、選択されたオブジェクト群を示す情報(オブジェクト情報)として、特定した文字列B1を特定可能な情報(例えば文字C1及びC2に至るまでの文頭から文字数(32番目と98番目)を示す情報)をオブジェクト表示制御部101に供給する。オブジェクト表示制御部101は、供給されたオブジェクト情報が示す文字列B1を、図3(d)に表すようにハイライト表示(背景色の反転表示など)する。これにより、ピンチアウト操作により選択されたオブジェクト群をユーザが識別可能になる。
ユーザが指を離さないでタッチ位置P1及びタッチ位置P2を移動させると両タッチ位置に表示されている文字が変化するので、それに従って選択されるオブジェクト群、すなわちハイライト表示される文字列も変化する。その際、タッチ位置P1及びタッチ位置P2の距離が短くなっても、選択操作受付部131は、一度選択操作としてピンチアウト操作を受け付けたのであれば、そのように距離が短くなったタッチ位置P1及びタッチ位置P2も受け付けた選択操作における2つのタッチ位置であると判断する。
望んだ文字列がハイライト表示されたところでユーザがタッチスクリーン10から指を離すと、選択操作受付部131は、選択されたオブジェクト群として最後に特定した文字列を選択する選択操作としてピンチアウト操作を受け付ける。このように、スマートフォン1においては、選択するオブジェクトの先頭(例えばタッチ位置P1に表示されている文字)及び最後尾(例えばタッチ位置P2に表示されている文字)の両方をピンチアウト操作により変更しながら選択することができる。
そして、オブジェクト表示制御部101は、ユーザが指を離した後も選択された文字列B1のハイライト表示を維持する。こうしてピンチアウト操作により選択されるオブジェクトは、ユーザがタッチスクリーン10から指を離したときに確定する。選択操作受付部131は、再び選択操作が行われるまで、選択されたオブジェクト群(図3の例では文字列B1)を示すオブジェクト情報を保持する。
なお、図3の例では、文字列が横書きであったが、縦書きの場合も同じ方法で文字列を選択することができる。また、オブジェクト群に文字だけでなく写真画像及びCG等が含まれている場合も、それらの写真画像及びCG等が文字と同じように1以上の行又は列に沿って並べられていれば、図3で述べた方法でオブジェクトの選択操作を受け付けることが可能である。その場合、選択操作受付部131は、第1タッチ位置及び第2タッチ位置に表示されている文字、写真画像及びCG等を特定し、第1タッチ位置から第2タッチ位置まで並べられている文字、写真画像及びCG等を選択する選択操作としてピンチアウト操作を受け付ける。
指定操作判定部111は、オブジェクトが表示されているタッチスクリーン10にピンチイン操作が行われた場合にそのピンチイン操作がそのオブジェクトを指定する指定操作であるか否かを判定する。指定操作判定部111は本発明の「指定判定部」の一例である。オブジェクトの指定には2通りある。1つ目は、ファイル及びデータ等を別の場所に複製するいわゆるコピー&ペーストの対象(複製対象)としてのオブジェクトの指定である。
2つ目は、ファイル及びデータ等を別の場所に移動するいわゆるカット&ペーストの対象(移動対象)としてのオブジェクトの指定である。指定操作判定部111は、本実施例では、タッチスクリーン10に表示されているオブジェクトが選択された状態(例えば図3(d)のようにハイライト表示がされた状態)で行われたピンチイン操作を、そのオブジェクトを複製対象又は移動対象として指定する指定操作であると判定する。
指定操作判定部111は、例えば、ピンチイン操作におけるタッチ位置の移動方向が第1の範囲に含まれていればオブジェクトを複製対象として指定する指定操作であると判定し、その移動方向が第2の範囲に含まれていればオブジェクトを移動対象として指定する指定操作であると判定する。例えば、第1の範囲はX軸に沿った方向(X軸方向)と成す角度が±10度の範囲であり、第2の範囲はY軸に沿った方向(Y軸方向)と成す角度が±10度の範囲である(この範囲は一例であり、これとは異なる範囲であってもよい)。
図4はオブジェクトの指定操作として行われるピンチイン操作の例を表す。図4では、図3(d)に表す文字列B1が選択された状態(ハイライト表示された状態)となっている。この例では、図4(a)、(c)に表すようにユーザがタッチスクリーン10のタッチ位置P1及びタッチ位置P2をタッチしている状態から図4(b)、(d)に表すようにタッチ位置P1及びタッチ位置P2の距離を狭くする動き、すなわちピンチイン操作を行っている。
図4(a)、(b)の例では、タッチ位置P1がX軸正方向D1に移動し、タッチ位置P2がX軸負方向D2に移動している。図4(c)、(d)の例では、タッチ位置P1がY軸正方向D3に移動し、タッチ位置P2がY軸負方向D4に移動している。ピンチイン操作受付部121は、ピンチイン操作を受け付けると、ピンチイン操作を表したタッチ位置P1及びタッチ位置P2の座標の履歴を指定操作判定部111に供給し、受け付け後もタッチ位置が継続して検出される度にその座標を指定操作判定部111に供給する。
指定操作判定部111は、ピンチイン操作受付部121から座標が供給されると、供給された座標が表すピンチイン操作におけるタッチ位置の移動方向が上記の第1の範囲又は第2の範囲に含まれているか否かを判断する。指定操作判定部111は、図4(a)、(b)の例であれば移動方向が第1の範囲に含まれていると判断し、図4(c)、(d)の例であれば移動方向が第2の範囲に含まれていると判断する。
指定操作判定部111は、いずれかの範囲に含まれていると判断すると、選択操作受付部131がオブジェクト情報を保持している場合には、そのオブジェクト情報を取得する。指定操作判定部111は、移動方向が第1の範囲に含まれていると判断した場合は、受け付けられたピンチイン操作が、取得したオブジェクト情報が示すオブジェクトを複製対象として指定する指定操作であると判定する。
また、指定操作判定部111は、移動方向が第2の範囲に含まれていると判断した場合は、受け付けられたピンチイン操作が、取得したオブジェクト情報が示すオブジェクトを移動対象として指定する指定操作であると判定する。指定操作判定部111は、指定されたオブジェクトが複製対象又は移動対象のいずれかであると判定すると、取得したオブジェクト情報を、複製対象及び移動対象のいずれであるかを示す情報と共にクリップボード制御部102に供給する。
クリップボード制御部102は、データを一時的に保存可能な共有のメモリ領域であるクリップボードを制御する。クリップボード制御部102は、例えば、指定操作判定部111によりピンチイン操作がオブジェクトの指定操作であると判定された場合、その指定操作により指定されたオブジェクトをクリップボードに保存する。クリップボード制御部102は本発明の「保存部」の一例である。
クリップボード制御部102は、指定操作判定部111から供給されたオブジェクト情報が示すオブジェクトをクリップボードに保存することで、指定操作により指定されたオブジェクト(図4の例では文字列B1)をクリップボードに保存する。クリップボード制御部102は、オブジェクト情報と共に複製対象であることを示す情報が供給された場合には、オブジェクトをクリップボードに保存した後にその旨をオブジェクト表示制御部101に通知する。
オブジェクト表示制御部101は、この通知を受け取ると、複製対象のオブジェクトがクリップボードに保存されたことを示す情報として例えば図4(b)に表すように「コピーされました。」という文字列E1を表示させる。また、クリップボード制御部102は、オブジェクト情報と共に移動対象であることを示す情報が供給された場合には、そのオブジェクト情報が示すオブジェクトを削除するようオブジェクト表示制御部101に指示する。
オブジェクト表示制御部101は、この指示を受け取ると、図4(d)に表すように指示されたオブジェクトである文字列B1を削除して、残りの文字列をタッチスクリーン10に表示させる。また、オブジェクト表示制御部101は、移動対象のオブジェクトが削除されたことを示す情報として例えば図4(d)に表すように「カットされました。」という文字列E2をタッチスクリーン10に表示させる。
以上がクリップボードへのオブジェクトの保存に関する構成である。続いて、クリップボードのオブジェクトの貼り付けに関する構成を説明する。指定操作受付部132は、オブジェクトの貼付位置を指定する指定操作を受け付ける。指定操作受付部132は本発明の「第2受付部」の一例である。指定操作受付部132は、本実施例では、選択操作受付部131と同様の方法で貼付位置の指定操作を受け付ける。
具体的には、指定操作受付部132は、1以上の行又は1以上の列に沿って並べられたオブジェクト群を表示するタッチスクリーン10に対するピンチアウト操作を、そのピンチアウト操作の第1タッチ位置に表示されているオブジェクトから第2タッチ位置に表示されているオブジェクトまで並べられたオブジェクト群が表示されている箇所を貼付位置とする指定操作として受け付ける。
ピンチアウト操作受付部122は、ピンチアウト操作を受け付けると、ピンチアウト操作を表した2つのタッチ位置の座標を両タッチ位置が検出される度に指定操作受付部132に供給する。指定操作受付部132は、この座標が供給されると、オブジェクト表示制御部101からオブジェクト関連情報を取得する。指定操作受付部132は、取得したオブジェクト関連情報から、両タッチ位置に表示されているオブジェクト(例えば文字)を特定し、それらのオブジェクトの間に並べられたオブジェクト群(例えば文字列)を特定する。
指定操作受付部132は、こうして特定したオブジェクト群、すなわち第1タッチ位置に表示されているオブジェクトから第2タッチ位置に表示されているオブジェクトまで並べられたオブジェクト群が表示されている箇所を貼付位置とする指定操作として受け付ける。指定操作受付部132は、指定された貼付位置を示す情報(貼付位置情報)として、特定したオブジェクト群を特定可能な情報(例えばオブジェクトの先頭からの並び順を示す情報)をオブジェクト表示制御部101に供給する。
オブジェクト表示制御部101は、供給された貼付位置情報が示す貼付位置に表示されているオブジェクト群をハイライト表示する。これにより、ピンチアウト操作により指定された貼付位置をユーザが識別可能になる。なお、隣り合うオブジェクトの間が貼付位置(いわゆる挿入が行われる挿入位置)として指定された場合、指定操作受付部132は、その挿入位置の前後のオブジェクトを特定可能な情報と、挿入位置が指定された旨とを示す情報を貼付位置情報としてオブジェクト表示制御部101に供給する。
この場合、オブジェクト表示制御部101は、挿入位置に例えばカーソルの画像を点滅表示させることで、貼付位置(挿入位置)を識別可能とする。貼付位置は、上記の選択されたオブジェクト群と同じくユーザがピンチアウト操作をした指を離したときに確定する。指定操作受付部132は、他の操作が行われるまで、指定された貼付位置を示す貼付位置情報を保持する。なお、貼付位置の指定も、オブジェクトの選択と同様に、文字列が縦書きでもよいし、貼付位置に写真画像及びCG等が含まれていてもよい。
指示操作判定部112は、タッチスクリーン10にピンチアウト操作が行われた場合にそのピンチアウト操作がクリップボードに保存されたオブジェクトの貼り付けを指示する指示操作であるか否かを判定する。指示操作判定部112は本発明の「指示判定部」の一例である。指示操作判定部112は、本実施例では、貼付位置が指定された状態で行われたピンチアウト操作を、クリップボードに保存されたオブジェクトのその貼付位置への貼り付けを指示する指示操作であると判定する。
図5は貼り付けの指示操作として行われるピンチアウト操作の例を表す。図5では、文書編集アプリにおいて編集された文字列のうち文字列B2が貼付位置として指定された状態(ハイライト表示された状態)となっている。この状態で、ユーザは、図5(a)に表すようにタッチスクリーン10のタッチ位置P1及びタッチ位置P2をタッチしている状態から図5(b)に表すようにタッチ位置P1及びタッチ位置P2の距離を広くする動き、すなわちピンチアウト操作を行っている。
ピンチアウト操作受付部122は、ピンチアウト操作を受け付けると、その旨を指示操作判定部112に通知する。指示操作判定部112は、この通知を受け取ると、指定操作受付部132が貼付位置情報を保持している場合には、その貼付位置情報を取得する。指示操作判定部112は、貼付位置情報を取得した場合、貼付位置が指定された状態で行われたピンチアウト操作であることになるから、このピンチアウト操作を貼り付けの指示操作であると判定し、取得した貼付位置情報をクリップボード制御部102に供給する。
クリップボード制御部102は、貼付位置情報が供給されると、クリップボードを参照し、オブジェクトが保存されているか否かを判断する。クリップボード制御部102は、オブジェクトが保存されていると判断した場合には、そのオブジェクトを読み出してオブジェクト表示制御部101に貼付位置情報と共に供給し、オブジェクトが保存されていないと判断した場合にはその旨をオブジェクト表示制御部101に通知する。
オブジェクト表示制御部101は、クリップボード制御部102からオブジェクト及び貼付位置情報が供給された場合、そのオブジェクトをその貼付位置情報が示す貼付位置に表示させる。これにより、オブジェクト表示制御部101は、指示操作判定部112によりピンチアウト操作が貼り付けの指示操作であると判定された場合、図5(b)に表すように、クリップボードに保存されているオブジェクト(図5の例では文字列B1)を指定操作により指定された貼付位置(図5の例では文字列B2が表示されている箇所)に貼り付けた画像をタッチスクリーン10に表示させる。
また、オブジェクト表示制御部101は、クリップボード制御部102からオブジェクトが保存されていない旨が通知された場合、その旨をユーザに伝える情報として例えば図5(c)に表すように「オブジェクトが保存されていません。」という文字列E3をタッチスクリーン10に表示させる。これにより、貼り付けるべきオブジェクトがクリップボードに保存されていないことがユーザに伝えられる。
スマートフォン1は、上記の構成に基づいて、オブジェクトをクリップボードに保存する保存処理及び保存したオブジェクトを貼り付ける貼付処理を行う。保存処理及び貼付処理における動作手順は、スマートフォン1の電源が投入されてOSが起動することを契機に開始され、所定の時間間隔(例えば0.5秒毎など)で繰り返し行われる。
図6は保存処理における動作手順の一例を表す。まず、スマートフォン1は、1以上のオブジェクトを含む画像がタッチスクリーン10に表示されているか否かを判断し(ステップS11)、表示されていない(NO)と判断した場合はこの動作手順を終了する。スマートフォン1は、ステップS11で表示されている(YES)と判断した場合は、オブジェクトが選択された状態か否かを判断する(ステップS12)。
スマートフォン1(選択操作受付部131)は、ステップS12で選択された状態でない(NO)と判断した場合は、ピンチアウト操作をオブジェクトの選択操作として受け付けたか否かを判断し(ステップS13)、受け付けていない(NO)と判断した場合はこの動作手順を終了する。ステップS12で選択された状態である(YES)と判断した場合、スマートフォン1(指定操作判定部111)は、ピンチイン操作をオブジェクトの指定操作として受け付けたか否かを判定し(ステップS14)、受け付けていない(NO)と判断した場合はこの動作手順を終了する。
また、スマートフォン1(指定操作判定部111)は、ステップS13でピンチアウト操作をオブジェクトの選択操作として受け付けた(YES)と判断した場合もステップS14の動作を行う。スマートフォン1(クリップボード制御部102)は、ステップS14でピンチイン操作をオブジェクトの指定操作として受け付けた(YES)と判断した場合、選択されたオブジェクト群をクリップボードに保存する(ステップS15)。
次に、スマートフォン1(オブジェクト表示制御部101)は、オブジェクトの指定操作として受け付けたピンチイン操作におけるタッチ位置の移動方向が第2の範囲に含まれるか否かを判断する(ステップS21)。スマートフォン1(オブジェクト表示制御部101)は、ステップS21で第2の範囲に含まれる(YES)と判断した場合は、選択されたオブジェクト群を削除して表示し(ステップS22)、第2の範囲に含まれない(NO)と判断した場合は、表示を変えることなくこの動作手順を終了する。
図7は貼付処理における動作手順の一例を表す。まず、スマートフォン1は、タッチスクリーン10上で貼付位置が指定された状態か否かを判断する(ステップS31)。スマートフォン1(指定操作受付部132)は、ステップS31で指定された状態でない(NO)と判断した場合は、ピンチアウト操作を貼付位置の指定操作として受け付けたか否かを判断し(ステップS32)、受け付けていない(NO)と判断した場合はこの動作手順を終了する。
ステップS31で指定された状態である(YES)と判断した場合と、ステップS32でピンチアウト操作を貼付位置の指定操作として受け付けた(YES)と判断した場合、スマートフォン1(指示操作判定部112)は、ピンチアウト操作を貼り付けの指示操作として受け付けたか否かを判定し(ステップS33)、受け付けていない(NO)と判断した場合はこの動作手順を終了する。
スマートフォン1(クリップボード制御部102)は、ステップS33でピンチアウト操作を貼り付けの指示操作として受け付けた(YES)と判断した場合、クリップボードにオブジェクトが保存されているか否かを判断する(ステップS34)。スマートフォン1(オブジェクト表示制御部101)は、ステップS34で保存されている(YES)と判断した場合はクリップボードに保存されているオブジェクトを貼り付けた画像をタッチスクリーン10に表示させ(ステップS35)、保存されていない(NO)と判断した場合はその旨をタッチスクリーン10に表示させてから(ステップS36)、この動作手順を終了する。
タッチスクリーン10に表示されているオブジェクトを複製又は移動させて他の場所に貼り付ける際に、従来の方法では、オブジェクトを長押ししてポップアップメニューを表示させてコピー、切り取り、貼り付けというメニューを選択する一連の動作を行わなくてはならない。本実施例では、ピンチイン操作を行えばオブジェクトがクリップボードに保存され、ピンチアウト操作を行えばオブジェクトが貼り付けられるので、従来の方法に比べて、タッチスクリーンに表示されているオブジェクトを他の場所に貼り付けるまでの手間を軽減することができる。
また、ピンチイン操作は物をつまむ動作と似ているので、他の操作に比べて、オブジェクトをつまんでクリップボードに保存するという結果に繋がることが直観的に分かり易い。そして、ピンチアウト操作はつまんだ物を離す動作に似ているので、他の操作に比べて、クリップボードに保存されたオブジェクトを貼り付ける結果に繋がることが直観的に分かり易い。
また、従来の方法では、オブジェクトを選択する際にも、オブジェクトを長押ししてポップアップメニューを表示させて選択又は全て選択等のメニューを選択する一連の動作を行わなくてはならない。本実施例では、ピンチアウト操作を行えばオブジェクトが選択されるので、従来の方法に比べて、オブジェクトを選択する際の手間を軽減することができる。
また、従来の方法では、貼付位置を指定する際にも、特に既にオブジェクトが表示されている箇所を貼付位置として指定する場合には、上記の長押し・ポップアップメニューの表示・選択又は全て選択等のメニューの選択という一連の動作を行わなくてはならない。本実施例では、ピンチアウト操作を行えば貼付位置が指定されるので、従来の方法に比べて、貼付位置を指定する際の手間を軽減することができる。
また、例えば文字列のように並べられたオブジェクトの選択にマウスを用いる場合、オブジェクトの一端(先頭又は最後尾)にカーソルを合わせてドラッグ操作をすることでオブジェクトが選択される。この場合、一度合わせたカーソルの位置を選択中に変更することができないので、オブジェクトの一端の位置が間違っていれば再度選択操作をやり直さなければならない。本実施例では、選択するオブジェクト又は指定する貼付位置の先頭及び最後尾の両方をピンチアウト操作により変更しながら選択することができるので、オブジェクトの選択操作及び貼付位置の指定操作のやり直しを不要にすることができる。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。
[2−1]ピンチイン操作・ピンチアウト操作への処理の割り当て
実施例では、ピンチイン操作及びピンチアウト操作に他の処理が割り当てられていなかったが、割り当てられていてもよい。例えばピンチイン操作には画像の縮小表示処理が割り当てられ、ピンチアウト操作には画像の拡大表示処理が割り当てられることが一般的である。
ただし、表示される全ての画像について上記割り当てが適用されるわけではなく、例えば地図、写真及びCG等の画像には適用されるが、文書、書籍及びリスト等の画像には適用されないというように、表示される画像の種類によって適用の有無が異なっている。そこで、例えば、選択操作受付部131は、上記割り当てが適用されない画像が表示されている場合には実施例の方法でオブジェクトの選択操作を受け付け、上記割り当てが適用される画像が表示されている場合には上述した従来の方法(長押しとポップアップメニューを用いた方法)でオブジェクトの選択操作を受け付けてもよい。
一方、上記割り当てが適用されていても、指定操作判定部111が実施例の方法でオブジェクトの指定操作を判定した場合には、その指定操作により指定されたオブジェクトをクリップボード制御部102がクリップボードに保存してもよい。例えば、地図アプリで特定のエリアがオブジェクトとして指定された状態でピンチイン操作が行われた場合、そのピンチイン操作はオブジェクトの指定操作と判定されるので、地図の縮小表示処理は行われずに、指定されたエリアの画像がクリップボードに保存される、という具合である。
また、指定操作受付部132も、選択操作受付部131と同様に、上記割り当てが適用されない画像が表示されている場合には実施例の方法で貼付位置の指定操作を受け付け、上記割り当てが適用される画像が表示されている場合には上述した従来の方法(長押しとポップアップメニューを用いた方法)で貼付位置の指定操作を受け付けてもよい。
一方、指示操作判定部112も、指定操作判定部111と同様に、上記割り当てが適用されていても実施例の方法で貼り付けの指示操作を判定することができる。その場合、指示操作判定部112は、貼付位置が指定された状態で行われたピンチアウト操作は貼り付けの指示操作であると判定し、貼付位置が指定されていない状態で行われたピンチアウト操作は拡大表示処理を行う操作であると判定する。
本変形例では、ピンチイン操作がオブジェクトの指定操作であると判定された場合にオブジェクトのクリップボードへの保存処理が行われ、ピンチアウト操作が貼り付けの指示操作であると判定された場合に貼り付け処理が行われる。具体的には、オブジェクトが選択された状態のときに保存処理が行われ、貼付位置が指定された状態のときに貼付処理が行われる。これらの状態は、ユーザが保存処理及び貼付処理を優先的に行いたいことが明らかな状態である。
このように、本変形例によれば、ピンチイン操作及びピンチアウト操作に他の処理が割り当てられている場合に、それらの処理も行われるようにしつつ、必要な場合には保存処理及び貼付処理を行わせることができる。また、オブジェクトの選択操作の受け付け及び貼付位置の指定も、ピンチイン操作及びピンチアウト操作への他の処理の割り当てが適用されない場合には実施例の方法で行うことで、常に従来の方法を用いる場合に比べて、オブジェクトを選択する際の手間及び貼付位置を指定する際の手間を軽減することができる。
[2−2]タッチ+ピンチイン操作・ピンチアウト操作
オブジェクトの選択操作の受け付け、貼付位置の指定操作の受け付け、オブジェクトの指定操作の判定及び貼り付けの指示操作の判定は、実施例とは異なる方法で行われてもよい。本変形例では、ピンチイン操作及びピンチアウト操作が行われるときに、タッチスクリーン10の他の位置がタッチされた状態であるか否かによって、操作を受け付けるか否か及び操作を判定するか否かを決定する。
例えば、選択操作受付部131は、タッチスクリーン10に並べて表示されたオブジェクトをなぞる操作がタッチスクリーン10の他の箇所をタッチしながら行われた場合に、その操作によりなぞられたオブジェクト群を選択する選択操作として受け付ける。
図8は本変形例のオブジェクトの選択操作の一例を表す。図8では、図3に表す文字列がオブジェクト群として表示されている。
この例では、ユーザが、図8(a)に表すようにタッチスクリーン10の左下のタッチ位置P11をタッチしながら、2行目の文字C11が表示されているタッチ位置P12をタッチしている状態から、各行の文字列をなぞって行き、図8(b)に表すように7行目の文字C12が表示されているタッチ位置P12まで動かす操作を行っている。この場合、タッチスクリーン10に並べて表示されたオブジェクトである文字列をなぞる操作がタッチスクリーン10の他の箇所(タッチ位置P11)をタッチしながら行われている。
従って、選択操作受付部131は、その操作によりなぞられたオブジェクト群である文字C11からC12まで並んだ文字列B11(オブジェクト表示制御部101によりハイライト表示されている部分)を選択する選択操作として受け付ける。選択操作受付部131は、この選択操作により選択されたオブジェクトを、例えばタッチしている指を離したときに確定する。その場合、一度なぞる操作を中断しても、再度続きからなぞる操作を行うことで、選択する範囲を広げることができる。
また、選択操作受付部131は、なぞる操作が行われた文字が連続していなくても(例えば2行目と5行目をなぞった場合など)、不連続な文字列を選択する選択操作として受け付ける。これにより、連続していないオブジェクトを一度に選択することができる。なお、選択操作受付部131は、一度なぞった文字列を反対向きになぞる操作が行われた場合、その文字列の選択を解除する操作として受け付けてもよい。これにより、不要な文字まで選択した場合にそれを修正することができる。
また、選択操作受付部131は、ユーザがタッチした指を離さないまま後述するオブジェクトの指定操作としてのピンチイン操作が行われたときに、選択されたオブジェクトを確定させてもよい。また、選択操作受付部131は、ユーザがタッチした指を離した場合でも、所定時間内に再びタッチしたときには、オブジェクトの選択操作が継続されていると判断して、それまでに選択された文字列に加えてその後になぞられた文字列を選択する選択操作を受け付けてもよい。
指定操作判定部111は、1以上のオブジェクトを含む画像が表示されたタッチスクリーン10がタッチされた状態で、このタッチがされている箇所とは別の箇所に対して行われたピンチイン操作を、その画像に含まれているオブジェクトを指定する指定操作であると判定する。この場合、3カ所のタッチ位置によって判定が行われるので、本変形例では、位置検出センサ12として、3カ所のタッチ位置を同時に検出することが可能なセンサが用いられる。
図9は本変形例のオブジェクトの指定操作の一例を表す。図9の例では、図8の例で説明したように文字列B11が選択された状態が表されている。この例では、ユーザは、図9(a)に表すようにタッチスクリーン10の左下のタッチ位置P21をタッチしながら、タッチ位置P22及びタッチ位置P23をタッチしている状態から図9(b)に表すようにタッチ位置P22及びタッチ位置P23の距離を狭くする動き、すなわちピンチイン操作を行っている。
このピンチイン操作ではタッチ位置の移動方向が第1の範囲に含まれているので、指定操作判定部111は、このピンチイン操作を、選択された文字列B11を複製対象として指定する指定操作であると判定する。なお、タッチ位置の移動方向が第2の範囲に含まれている場合には、指定操作判定部111は、このピンチイン操作を、選択された文字列B11を移動対象として指定する指定操作であると判定する。
指定操作受付部132は、タッチスクリーン10に並べて表示されたオブジェクトをなぞる操作がタッチスクリーン10の他の箇所をタッチしながら行われた場合に、その操作によりなぞられたオブジェクト群が表示されている箇所を貼付位置として指定する指定操作として受け付ける。指定操作受付部132は、図8の説明で述べた選択操作受付部131と同様の方法で貼付位置の指定操作を受け付ける。
従って、ユーザが図8の例のようにタッチ位置P11をタッチしながら文字C11から文字C12まで各行に沿って文字列をなぞる操作を行うと、指定操作受付部132は、この操作を、ハイライト表示された文字列B11が表示されている箇所を貼付位置として指定する指定操作として受け付ける。指示操作判定部112は、タッチスクリーンがタッチされた状態で、このタッチがされている箇所とは別の箇所に対して行われたピンチアウト操作を、クリップボードに保存されたオブジェクトの貼り付けを指示する指示操作であると判定する。
図10は本変形例の貼り付けの指示操作の一例を表す。図10では、図5(a)の例のように文字列のうち文字列B2が貼付位置として指定された状態となっている。この状態で、ユーザは、図10(a)に表すようにタッチスクリーン10の左下のタッチ位置P21をタッチしながら、タッチスクリーン10のタッチ位置P22及びタッチ位置P23をタッチしている状態から図10(b)に表すようにピンチアウト操作を行っている。
指示操作判定部112は、タッチスクリーンがタッチされた状態で別の箇所にピンチアウト操作が行われているので、このピンチアウト操作が貼り付けの指示操作であると判定し、貼付位置情報を取得してクリップボード制御部102に供給する。以下クリップボード制御部102及びオブジェクト表示制御部101が実施例と同様に動作して、クリップボードに保存されていたオブジェクトである文字列B11が貼り付けられる。
本変形例では、以上のとおり、タッチスクリーン10をタッチした状態で、タッチされている箇所とは別の箇所に対してなぞる操作、ピンチイン操作及びピンチアウト操作が行われることで操作の受け付け及び判定が行われる。この方法であれば、ピンチイン操作及びピンチアウト操作に他の処理(縮小表示処理及び拡大表示処理等)が割り当てられてそれが適用される画像が表示されている場合でも、オブジェクトの選択、オブジェクトのクリップボードへの保存、貼付位置の指定及びオブジェクトの貼り付けを行うことができる。
[2−3]長押し+ピンチイン操作・ピンチアウト操作
ピンチイン操作及びピンチアウト操作が行われるときに、最初のタッチ位置で長押しが行われたか否かによって、オブジェクトの選択操作の受け付け又は貼付位置の指定操作の受け付けと、オブジェクトの指定操作の判定又は貼り付けの指示操作の判定が行われてもよい。
本変形例では、ピンチイン操作受付部121が、受け付けたピンチイン操作において測定されたタッチ位置を示す情報を指定操作判定部111に供給する。また、ピンチアウト操作受付部122が、受け付けたピンチアウト操作において測定されたタッチ位置を示す情報を選択操作受付部131、指定操作受付部132及び指示操作判定部112に供給する。
選択操作受付部131は、受け付けられたピンチアウト操作における最初の2カ所のタッチ位置がタッチされた期間(すなわちそれら2カ所のタッチ位置が最初に測定されてから継続して測定され続けた期間)が所定の期間(例えば1秒など)以上である場合に、ピンチアウト操作の最初に長押しがされたと判断する。なお、最初のタッチ位置の測定は、完全に同じ位置でなくとも例えば数ピクセル程度ずれた位置であれば最初のタッチ位置が測定されたとみなしてもよい。
選択操作受付部131は、このように最初に長押しがされたと判断したピンチアウト操作(長押しからのピンチアウト操作)を、そのピンチアウト操作の第1タッチ位置に表示されているオブジェクトから第2タッチ位置に表示されているオブジェクトまで並べられたオブジェクト群を選択する選択操作として受け付ける。本変形例では、最初の2カ所のタッチ位置がタッチされた期間が所定の期間未満だとオブジェクトの選択操作として受け付けられないので、表示中の画像に対してピンチアウト操作への拡大表示処理の割り当てが適用されていれば、拡大表示処理が行われることになる。
この長押しの有無による処理の使い分けは、他の操作にも適用される。例えば、指定操作受付部132は、長押しからのピンチアウト操作を、そのピンチアウト操作の第1タッチ位置に表示されているオブジェクトから第2タッチ位置に表示されているオブジェクトまで並べられたオブジェクト群が表示されている箇所を貼付位置として指定する指定操作として受け付ける。
また、指定操作判定部111は、画像が表示されたタッチスクリーン10に対して行われた最初の2カ所のタッチ位置がタッチされた期間が所定の期間以上であるピンチイン操作(長押しからのピンチイン操作)を、その画像に含まれているオブジェクトを指定する指定操作であると判定する。また、指示操作判定部112は、最初に長押しがされたと判断したピンチアウト操作(長押しからのピンチアウト操作)を、クリップボードに保存されているオブジェクトの貼り付けを指示する指示操作であると判定する。
図11は本変形例の保存処理及び貼付処理における動作手順の一例を表す。図11(a)では保存処理の動作手順の一例が表されている。この例では、まず、図6に表すステップS11(画像表示の有無の判断)からステップS13(選択操作の受け付け有無の判断)までが行われる。次に、スマートフォン1(指定操作判定部111)は、長押しからのピンチイン操作をオブジェクトの指定操作として受け付けたか否かを判定する(ステップS41)。
スマートフォン1は、ステップS41で受け付けていない(NO)と判断した場合はこの動作手順を終了し、受け付けた(YES)と判断した場合はステップS15(クリップボードへの保存)以降の動作を行う。図11(b)では貼付処理の動作手順の一例が表されている。この例では、まず、図7に表すステップS31(貼付位置の指定状態の判断)及びステップS32(指定操作の受け付け有無の判断)が行われる。
次に、スマートフォン1(指示操作判定部112)は、長押しからのピンチアウト操作を貼り付けの指示操作として受け付けたか否かを判定する(ステップS51)。スマートフォン1は、ステップS51で受け付けていない(NO)と判断した場合はこの動作手順を終了し、受け付けた(YES)と判断した場合はステップS34(オブジェクトの保存有無の判断)以降の動作を行う。
従来の方法では、上記のとおり長押しの後にポップアップメニューが表示されてそこからメニューを選択する一連の動作が必要である。一方、本変形例では、オブジェクトを他の場所に貼り付けるために長押しの操作が必要であるが、従来の長押しの後の一連の動作の代わりにピンチイン操作又はピンチアウト操作を行うだけでよい。メニューの選択には、自分が選択したいメニューの位置を確認する手間が必要であるが、本変形例の場合ピンチイン操作又はピンチアウト操作を行うだけでよいのでその手間が不要である。
従って、本変形例においても、従来の方法に比べて、タッチスクリーンに表示されているオブジェクトを他の場所に貼り付けるまでの手間を軽減することができる。また、従来の方法では、長押しの後に指を一度離して選択したいメニューをタッチするため、そのメニューに対して指を正確に移動させる必要がある。これに対し、本変形例では、長押しの後に指を離すことなくピンチイン操作又はピンチアウト操作を行うので、指を移動させる位置に気を使う必要がなく、従来の方法に比べて簡単に操作を行うことができる。
[2−4]選択及び指定の方法
オブジェクトの選択方法及び貼付範囲の指定方法は、上記の各例で述べた方法と従来の方法のどれが用いられてもよい。例えば従来の方法で選択されたオブジェクトを実施例で述べたオブジェクトの指定操作(ピンチイン操作)によりクリップボードに保存してもよい。また、上記変形例で述べたタッチ+なぞる操作で指定した貼付位置に実施例で述べた指示操作(ピンチアウト操作)によりオブジェクトを貼り付けてもよい。いずれの場合も、少なくともオブジェクトの指定操作及び貼り付けの指示操作として実施例又は変形例で述べた方法が用いられていれば、それらの操作に従来の方法が用いられる場合に比べて、タッチスクリーンに表示されているオブジェクトを他の場所に貼り付けるまでの手間を軽減することができる。
[2−5]機能構成
スマートフォンの機能構成は図2に表すものに限らない。例えば図2に表す複数の機能ブロックを1つの機能ブロックに統合してもよい。また、1つの機能ブロックに複数の機能が含まれている場合に、機能の一部を分離させて新たな機能ブロックを設けてもよい。
具体例を挙げると、例えば選択操作受付部131及び指定操作受付部132を統合して複製、移動又は置換する対象となるオブジェクトの範囲を決定する範囲決定部としてもよい。また、クリップボード制御部102が、移動対象のオブジェクトをクリップボードに保存したときにオブジェクト表示制御部101にそのオブジェクトを削除するよう指示する機能を分離させて削除要求部という機能を新たに設けてもよい。要するに、機能構成の全体で図2に表す各機能と同等の機能が実現されていればよい。
[2−6]発明のカテゴリ
本発明は、スマートフォンに限らず、例えばタブレット端末及びフィーチャーフォンにも適用可能である。また、例えばデスクトップパソコンの本体は、タッチスクリーンを備えていないが、タッチスクリーンを備える外付けのディスプレイを接続することで、本発明を適用することができる。要するに、本発明は、タッチスクリーンを制御する処理を行う情報処理装置であって図2に表す各機能を実現するものであれば適用することができる。
また、本発明は、そのような情報処理装置の他、情報処理装置が実施する処理を実現するための情報処理方法としても捉えられるし、情報処理装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2−7]処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾がない限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
[2−8]入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
[2−9]ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
[2−10]情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
[2−11]「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
[2−12]「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
[2−13]態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。従って、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
1…スマートフォン、101…オブジェクト表示制御部、102…クリップボード制御部、111…指定操作判定部、112…指示操作判定部、121…ピンチイン操作受付部、122…ピンチアウト操作受付部、131…選択操作受付部、132…指定操作受付部。

Claims (9)

  1. オブジェクトを含む画像をタッチスクリーンに表示させる表示制御部と、
    前記タッチスクリーンに表示されているオブジェクトを選択する選択操作を受け付ける第1受付部と、
    前記オブジェクトが表示されている前記タッチスクリーンに対してピンチイン操作が行われた場合に、当該ピンチイン操作に係る移動方向が第1の方向である場合は、前記ピンチイン操作にて指定されたオブジェクトが複製対象であると判定し、前記ピンチイン操作に係る移動方向が第2の方向である場合は、前記ピンチイン操作にて指定されたオブジェクトが移動対象であると判定する指定判定部と、
    当該オブジェクトを、前記複製対象であるかまたは前記移動対象であるかを示す情報とともにクリップボードに保存する保存部と
    を備え、
    前記指定判定部は、受け付けられた前記選択操作によりオブジェクトが選択された状態で前記ピンチイン操作が行われた場合に、当該オブジェクトが指定されたと判定し、
    前記第1受付部は、前記タッチスクリーンに並べて表示されたオブジェクトをなぞる操作が他の箇所をタッチしながら行われた場合に、当該操作によりなぞられたオブジェクト群を選択する選択操作として受け付け、当該他の箇所におけるタッチが行われなくなったことを契機として当該選択操作の内容を確定させる
    情報処理装置。
  2. 前記タッチスクリーンに対してピンチアウト操作が行われた場合に、当該ピンチアウト操作が前記クリップボードに保存されたオブジェクトの貼り付けを指示する操作であるか否かを判定する指示判定部を更に有し、
    前記表示制御部は、前記ピンチアウト操作が該保存されたオブジェクトの貼り付けを指示するものであると判定された場合、前記クリップボードに保存されているオブジェクトを貼り付けた画像を当該タッチスクリーンに表示させる
    請求項1に記載の情報処理装置。
  3. 前記指定判定部は、前記画像が表示されたタッチスクリーンがタッチされた状態で当該タッチとは別の箇所に対して行われたピンチイン操作を、当該画像に含まれているオブジェクトを指定する操作であると判定する
    請求項1に記載の情報処理装置。
  4. 前記指定判定部は、前記画像が表示されたタッチスクリーンに対して行われた最初の2カ所のタッチ位置がタッチされた期間が所定の期間以上であるピンチイン操作を、当該画像に含まれているオブジェクトを指定する操作であると判定する
    請求項1に記載の情報処理装置。
  5. 前記第1受付部は、1以上の行又は列に沿って並べられたオブジェクト群に対するピンチアウト操作を、当該ピンチアウト操作の第1タッチ位置に表示されているオブジェクトから第2タッチ位置に表示されているオブジェクトまで並べられたオブジェクト群を選択する操作として受け付ける
    請求項に記載の情報処理装置。
  6. 前記指示判定部は、前記タッチスクリーンがタッチされた状態で当該タッチとは別の箇所に対して行われたピンチアウト操作を、前記オブジェクトを指定する操作であると判定する
    請求項2に記載の情報処理装置。
  7. オブジェクトの貼付位置を指定する指定操作を受け付ける第2受付部を備え、
    前記指示判定部は、受け付けられた前記指定操作により前記貼付位置が指定された状態で行われたピンチアウト操作を、前記オブジェクトを指定する操作であると判定する
    請求項2に記載の情報処理装置。
  8. 前記指示判定部は、最初の2カ所のタッチ位置がタッチされた期間が所定の期間以上であるピンチアウト操作を、前記オブジェクトを指定する操作であると判定する
    請求項2に記載の情報処理装置。
  9. 前記第1の方向は、前記タッチスクリーン上の第1座標軸を基準とする所定角度範囲内の方向として規定され、
    前記第2の方向は、前記第1座標軸に直行する第2座標軸を基準とする所定角度範囲内の方向として規定される
    ことを特徴とする請求項1ないしのいずれか一項に記載の情報処理装置。
JP2017200858A 2017-10-17 2017-10-17 情報処理装置 Active JP6592056B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017200858A JP6592056B2 (ja) 2017-10-17 2017-10-17 情報処理装置
US16/648,924 US20200249832A1 (en) 2017-10-17 2017-12-25 Information processing terminal
EP17929009.3A EP3674875A4 (en) 2017-10-17 2017-12-25 INFORMATION PROCESSING TERMINAL DEVICE
PCT/JP2017/046430 WO2019077766A1 (ja) 2017-10-17 2017-12-25 情報処理端末

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017200858A JP6592056B2 (ja) 2017-10-17 2017-10-17 情報処理装置

Publications (2)

Publication Number Publication Date
JP2019074948A JP2019074948A (ja) 2019-05-16
JP6592056B2 true JP6592056B2 (ja) 2019-10-16

Family

ID=66173919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017200858A Active JP6592056B2 (ja) 2017-10-17 2017-10-17 情報処理装置

Country Status (4)

Country Link
US (1) US20200249832A1 (ja)
EP (1) EP3674875A4 (ja)
JP (1) JP6592056B2 (ja)
WO (1) WO2019077766A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180039401A1 (en) * 2016-08-03 2018-02-08 Ge Aviation Systems Llc Formatting text on a touch screen display device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5257841B2 (ja) * 2008-10-21 2013-08-07 日本電気株式会社 コマンド入力システム、その方法及びそのプログラム
JP5232033B2 (ja) * 2009-01-30 2013-07-10 株式会社東芝 情報処理装置、情報操作方法およびプログラム
US9875013B2 (en) * 2009-03-16 2018-01-23 Apple Inc. Methods and graphical user interfaces for editing on a multifunction device with a touch screen display
JP5229750B2 (ja) * 2010-10-29 2013-07-03 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理方法、およびそのプログラム
DE112011105305T5 (de) * 2011-06-03 2014-03-13 Google, Inc. Gesten zur Textauswahl
JP2013097593A (ja) * 2011-11-01 2013-05-20 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP5619063B2 (ja) * 2012-04-09 2014-11-05 京セラドキュメントソリューションズ株式会社 表示入力装置及びこれを備えた画像形成装置
US9225810B2 (en) * 2012-07-03 2015-12-29 Sony Corporation Terminal device, information processing method, program, and storage medium
JP2014153833A (ja) * 2013-02-06 2014-08-25 Fujitsu Mobile Communications Ltd 電子機器、文字列操作方法、及びプログラム
JP6019074B2 (ja) * 2014-09-16 2016-11-02 京セラドキュメントソリューションズ株式会社 電子機器、及び、タッチパネルの操作方法
JP6229816B2 (ja) * 2015-03-27 2017-11-15 日本電気株式会社 モバイル監視装置、プログラム、及び制御方法

Also Published As

Publication number Publication date
EP3674875A1 (en) 2020-07-01
JP2019074948A (ja) 2019-05-16
WO2019077766A1 (ja) 2019-04-25
US20200249832A1 (en) 2020-08-06
EP3674875A4 (en) 2020-11-18

Similar Documents

Publication Publication Date Title
KR20100130671A (ko) 터치 인터페이스에서 선택 영역의 제공 장치 및 그 방법
JP2015197795A (ja) 端末装置、電子ホワイトボードシステム、電子ホワイトボードの入力支援方法、及びプログラム
US9513772B2 (en) Information processing device, information processing method, and computer-readable medium
JP2016126657A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
EP2650797A2 (en) Electronic device and method for annotating data
US9189150B2 (en) Information processing device, information processing method, and computer-readable medium that determine an area of a display screen to which an input operation belongs
US10684772B2 (en) Document viewing apparatus and program
KR20110068795A (ko) 이미지 처리 장치의 사용자 인터페이스 처리 방법 및 장치
US9632697B2 (en) Information processing apparatus and control method thereof, and non-transitory computer-readable medium
KR20150037026A (ko) 디지털 디바이스 및 그 제어 방법
CN105184838A (zh) 一种图片处理方法及终端
US10755461B2 (en) Display device, display method, and recording medium
JP2013168799A (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
KR101060175B1 (ko) 터치스크린 제어방법, 이를 위한 기록매체 및 이를 이용하는 클라우드 컴퓨팅 제어방법
JP6592056B2 (ja) 情報処理装置
US20160132478A1 (en) Method of displaying memo and device therefor
JP6432449B2 (ja) 情報処理装置、情報処理プログラム、及び情報処理方法
JP6773977B2 (ja) 端末装置及び操作制御プログラム
JP2022179604A (ja) 情報処理装置、情報処理方法、及びプログラム
US20220198123A1 (en) Information processing device and non-transitory computer readable medium
KR20150012010A (ko) 사용자 단말에 표시되는 아이콘 그룹핑 수행장치, 수행방법 및 그 기록매체
KR20170126213A (ko) 리스트 상의 복수의 아이템에 대한 기능 실행 방법 및 그 장치
KR101405822B1 (ko) 터치기반 편집 어플을 위한 시각적 편집보조 제공 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
JP6777825B2 (ja) 情報処理装置及び情報処理方法
JP2016146221A (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190423

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190919

R150 Certificate of patent or registration of utility model

Ref document number: 6592056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250