JP6696868B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6696868B2
JP6696868B2 JP2016177871A JP2016177871A JP6696868B2 JP 6696868 B2 JP6696868 B2 JP 6696868B2 JP 2016177871 A JP2016177871 A JP 2016177871A JP 2016177871 A JP2016177871 A JP 2016177871A JP 6696868 B2 JP6696868 B2 JP 6696868B2
Authority
JP
Japan
Prior art keywords
area
operation image
unit
user
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016177871A
Other languages
English (en)
Other versions
JP2018045311A (ja
Inventor
利夫 金田
利夫 金田
宣人 荒井
宣人 荒井
真都 吉岡
真都 吉岡
大悟 鹿島
大悟 鹿島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2016177871A priority Critical patent/JP6696868B2/ja
Publication of JP2018045311A publication Critical patent/JP2018045311A/ja
Application granted granted Critical
Publication of JP6696868B2 publication Critical patent/JP6696868B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザの操作を受け付ける操作用画像を表示する技術に関する。
ユーザの操作を受け付ける操作用画像を表示する技術として、例えば特許文献1には、記憶媒体に記憶されているユーザの利き手情報を検索し、検索結果の利き手情報に対応するペンパッド(右利き用手書きペンパッド又は左利き用手書きペンパッド)という操作用画像を表示する技術が開示されている。
特開平11−353070号公報
例えばユーザが表示面上を指示して何らかの操作を行っている場合に、ユーザの指示位置と操作用画像とが近いほどすぐに操作ができて便利である。しかし、操作用画像が近いほど、ユーザの指先、ペン先又はマウスポインタ等が誤って触れてしまい誤操作を行いやすくなる。特許文献1の技術では、そのような誤操作については考慮されていない。
そこで、本発明は、表示面上を指示して行う操作の途中における操作用画像の誤操作を抑制することを目的とする。
本発明は、ユーザがペンで指示している静電容量方式のタッチスクリーンの表示面上の位置である指示位置を特定する指示位置特定部と、特定された前記指示位置の移動履歴に基づき、前記表示面のうち今後指示されることが見込まれる位置を含む第1領域を特定する第1領域特定部と、前記ユーザが前記指示に右手及び左手のどちらを用いているかを、前記表示面から所定の距離以内に前記ペンが存在する棒状の領域の長手方向の傾きに基づいて判定する判定部と、ユーザの操作を受け付ける操作用画像を、特定された前記第1領域以外の第2領域に表示させる表示制御部であって、前記判定部の判定結果に応じて前記操作用画像を表示させる位置を変化させる表示制御部とを備える情報処理装置を提供する。
本発明によれば、表示面上を指示して行う操作の途中における操作用画像の誤操作を抑制することができる。
実施例に係る手書き入力装置のハードウェア構成を表す図 手書き入力装置が実現する機能構成を表す図 指示位置の特定方法の一例を表す図 表示された手書き画像の一例を表す図 入力見込み領域の特定方法の一例を表す図 表示候補領域の一例を表す図 表示された操作用画像の一例を表す図 指示位置と操作用画像の距離の一例を表す図 追従する操作用画像の一例を表す図 指示位置が大きく移動する場合に表示される操作用画像の一例を表す図 表示処理における手書き入力装置の動作手順の一例を表す図 変形例の手書き入力装置が実現する機能構成を表す図 変形例で表示された操作用画像の一例を表す図 移動履歴に基づいて特定された表示候補領域の一例を表す図 変形例の手書き入力装置が実現する機能構成を表す図 変形例で表示される操作用画像の一例を表す図 変形例の手書き入力装置が実現する機能構成を表す図 変形例で表示される操作用画像の一例を表す図
本発明は、例えば、スマートフォン及びタブレット端末等のようにタッチスクリーンを備える装置に指先又はスタイラスペン等で手書きの画像を描いたり、ペンタブレット(ペン又は指先等で入力する入力デバイス)又はマウス等を用いてパソコン(パーソナルコンピュータ)の画面に手書きの画像を描いたりする際に用いられる。以下ではその実施例について説明する。
[1]実施例
図1は実施例に係る手書き入力装置10のハードウェア構成を表す。手書き入力装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信装置14と、入出力装置15と、バス16という各装置を備えるコンピュータである。なお、ここでいう「装置」という文言は、回路、デバイス及びユニット等に読み替えることができる。また、各装置は、1つ又は複数含まれていてもよいし、一部の装置が含まれていなくてもよい。
プロセッサ11は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ11は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置(CPU:Central Processing Unit)で構成されてもよい。また、プロセッサ11は、プログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を、ストレージ13及び/又は通信装置14からメモリ12に読み出し、これらに従って各種の処理を実行する。各種処理を実行するプロセッサ11は1つでもよいし、2以上であってもよく、2以上のプロセッサ11は、同時又は逐次に各種処理を実行してもよい。また、プロセッサ11は、1以上のチップで実装されてもよい。プログラムは、電気通信回線を介してネットワークから送信されても良い。
メモリ12は、コンピュータ読み取り可能な記録媒体であり、例えば、ROM(Read Only Memory)、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)及びRAM(Random Access Memory)等の少なくとも1つで構成されてもよい。メモリ12は、レジスタ、キャッシュ及びメインメモリ(主記憶装置)等と呼ばれてもよい。メモリ12は、前述したプログラム(プログラムコード)、ソフトウェアモジュール及びデータ等を保存することができる。
ストレージ13は、コンピュータが読み取り可能な記録媒体であり、例えば、CD−ROM(Compact Disc ROM)などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Blu−ray(登録商標)ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー(登録商標)ディスク、磁気ストリップなどの少なくとも1つで構成されてもよい。
ストレージ13は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ12及び/又はストレージ13を含むデータベース、サーバその他の適切な媒体であってもよい。ストレージ13は、手書きでの入力を実現するアプリケーション(手書きアプリ)のプログラムを記憶している。
通信装置14は、有線及び/又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア(送受信デバイス)であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
入出力装置15は、外部からの入力を受け付ける入力デバイス(例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン及びタッチセンサ等)と、外部への出力を実施する出力デバイス(例えば、ディスプレイ、スピーカー及びLEDランプ等)とを備える。手書き入力装置10は、本実施例では、入力デバイス及び出力デバイスが一体となった入出力デバイスであるタッチスクリーンを備える。
また、プロセッサ11及びメモリ12等の各装置は、情報を通信するためのバス16を介して互いにアクセス可能となっている。バス16は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
また、手書き入力装置10は、マイクロプロセッサ、デジタル信号プロセッサ(DSP:Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、及び、FPGA(Field Programmable Gate Array)等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ11は、これらのハードウェアの少なくとも1つで実装されてもよい。
手書き入力装置10のプロセッサ11がプログラムを実行して各部を制御することで、以下に述べる機能が実現される。
図2は手書き入力装置10が実現する機能構成を表す。手書き入力装置10は、指示位置特定部101と、手書き画像表示制御部102と、文字認識部103と、入力見込み領域特定部104と、操作用画像表示制御部105と、操作受付部106と、処理部107とを備える。
手書き入力装置10を利用するユーザは、表示面上の位置を指示することで、文字又は絵等の対象を手書きで描く(描画する)。本実施例では、ユーザは、タッチスクリーンの表示面上の位置を自分の手(指)を用いて指示し、対象を描画する。なお、ユーザは、例えばスタイラスペン等のペンを用いてこの指示を行ってもよい。この手書きによる描画が行われた場合に、指示位置特定部101は、ユーザが指示している表示面上の位置(指示位置)を特定する。
図3は指示位置の特定方法の一例を表す。図3(a)では、手書き入力画面を表示している表示面A1上の位置をユーザの指B1が指示している状態が表されている。指示位置特定部101は、例えば、図3(b)に表すように、指B1のうち表示面A1と接触している接触領域C1を特定し、接触領域C1の中心を指示位置D1として特定する。なお、指示位置の特定方法はこれに限らず、他の周知の技術を用いてもよい。
指示位置特定部101は、特定した指示位置を示す位置情報を手書き画像表示制御部102及び文字認識部103に供給する。図に表すように表示面A1は長方形なので、指示位置特定部101は、表示面A1の或る角(本実施例では表示される文字の上側を上方に向けた場合に左上にくる角)を原点P0とし、その角を形成する一辺をX軸、別の一辺をY軸とした座標系における指示位置D1の座標を位置情報として供給する。
この座標系では、図中のX軸を示す矢印の方向(右向きの方向)がX軸の正方向、Y軸を示す矢印の方向(下向きの方向)がY軸の正方向であるものとする。指示位置特定部101は、指示位置の特定と位置情報の供給を例えば一定の時間間隔で繰り返し行う。こうして供給される位置情報群は、指示位置の移動履歴を示す情報となる。ここで用いられる時間間隔は、指示位置の軌跡によって表される画像(文字又は絵等の手書き画像)が認識できる程度には狭くしておくことが望ましい。
手書き画像表示制御部102は、指示位置特定部101により特定された指示位置が移動した場合にその移動した指示位置の軌跡によって表される画像、すなわち手書きの画像を表示手段に表示させる。
図4は表示された手書き画像の一例を表す。図4の例では、手書き画像表示制御部102は、表示面A1上に「今日のマサト」という手書き文字E1を手書きの画像として表示させている。
文字認識部103は、指示位置特定部101により特定された指示位置が移動してその移動した指示位置の軌跡(手書きの画像)が文字を表す場合に、その文字を認識する。文字認識部103は、指示位置特定部101から供給された指示位置を示す位置情報に基づいて、例えばOCR(Optical character recognition)の技術を用いて、その指示位置の軌跡が示す文字を認識する。文字認識部103は、文字を認識した場合、認識した文字及び供給された位置情報を入力見込み領域特定部104に供給する。文字認識部103は、文字を認識しなかった場合には、その旨を通知する情報及び供給された位置情報を入力見込み領域特定部104に供給する。
入力見込み領域特定部104は、指示位置特定部101により特定された指示位置の移動履歴に基づき、表示面のうち今後指示されることが見込まれる位置を含む領域を特定する。今後指示されることが見込まれる位置を含む領域ということは、今後ユーザが手書き入力を進めた場合に手書きの画像が入力されることが見込まれる領域ともいえるので、この領域のことを以下では「入力見込み領域」という。入力見込み領域は本発明の「第1領域」の一例であり、入力見込み領域特定部104は本発明の「第1領域特定部」の一例である。
入力見込み領域特定部104は、ユーザが手書きの画像として描画する対象(文字又は絵等)の特徴に基づいて入力見込み領域を特定する。本実施例では、文字認識部103により文字が認識された場合について説明する。入力見込み領域特定部104は、文字認識部103により文字が認識された場合、すなわち描画の対象が文字である場合、その文字の大きさと、その文字が並ぶ向きとを描画対象の特徴として用いて、入力見込み領域を特定する。この特定方法について図5を参照して説明する。
図5は入力見込み領域の特定方法の一例を表す。図5の例では、図4の例の「今日のマサト」という手書き文字E1が描画されている画像描画領域F1が表示面A1に表されている。画像描画領域F1は、手書き文字E1に外接する長方形の領域である。画像描画領域F1の各辺は、図3の説明で述べた原点P0を中心とする座標系のX軸及びY軸に沿っている。この例では、X軸に沿った向きを横向き、Y軸に沿った向きを縦向きというものとする。
図5の例では、手書き文字E1は横向きに描かれている。そのため、画像描画領域F1は、横長の長方形となっている。入力見込み領域特定部104は、このように画像描画領域F1が横長、すなわち縦向きの辺よりも横向きの辺が長い場合には、文字が並ぶ向きを横向きと特定する。また、横向きには、右から左に向かう左向きと、左から右に向かう右向きとがあるが、文字を横向きに描く場合一般的には右向きに描くので、入力見込み領域特定部104は、文字が並ぶ向きを右向きと特定する。こうして特定される文字が並ぶ向きは、手書き入力の進行方向(新たに手書きの文字が描かれる方向)を表している。
なお、入力見込み領域特定部104は、認識された文字として文字認識部103から通知された順番(つまり文字が描かれた順番)及びそれとともに通知された位置情報が示す各文字の位置に基づいて、文字が並ぶ向きが右向き及び左向きのいずれであるかを特定してもよい。図5の例では、「今日のマサト」のうち「今」が最初に描かれ、以後「日」、「の」、「マ」、「サ」、「ト」の順番に描かれているので、入力見込み領域特定部104は、X軸の正方向(右向き)を文字が並ぶ向きとして特定する。
また、入力見込み領域特定部104は、画像描画領域F1が縦長、すなわち縦向きの辺よりも横向きの辺が短い場合には、文字が並ぶ向きを縦向きと特定し、文字を縦向きに描く場合一般的には下向きに描くので、文字が並ぶ向きを下向きと特定する。この場合も、入力見込み領域特定部104は、前述した通知順及び各文字の位置に基づいて文字が並ぶ向きを特定してもよい。入力見込み領域特定部104は、このようにして、右向き及び下向き(場合によってはそれらに加えて左向き及び上向き)のいずれかを文字が並ぶ向きとして特定する。
入力見込み領域特定部104は、こうして特定した文字が並ぶ向きを用いて手書き文字E1の大きさを特定する。入力見込み領域特定部104は、例えば、画像描画領域F1の文字が並ぶ向きとは直交する向き(図5の例では縦向き)の寸法L1を、手書き文字E1の大きさを示す値として特定する。入力見込み領域特定部104は、画像描画領域F1の文字が並ぶ向きに存在し、画像描画領域F1及び表示面A1の端に挟まれ、且つ、縦向きの寸法が特定した手書き文字E1と共通する、すなわち縦向きの寸法がL1の領域を入力見込み領域G1として特定する。
入力見込み領域特定部104は、特定した入力見込み領域G1を示す領域情報(例えば入力見込み領域G1の4つの角の座標を示す情報)を操作用画像表示制御部105に供給する。また、入力見込み領域特定部104は、特定した文字が並ぶ向き(図5の例では右向き)を操作用画像表示制御部105に通知する。
操作用画像表示制御部105は、ユーザの操作を受け付ける操作用画像を、入力見込み領域特定部104により特定された入力見込み領域以外の領域に表示させる。操作用画像表示制御部105は本発明の「表示制御部」の一例である。この入力見込み領域以外の領域は、操作用画像を表示させる候補となる領域であり、以下では「表示候補領域」という。
図6は表示候補領域の一例を表す。図6の例では、表示面A1のうち、図5の例で特定された入力見込み領域G1以外の領域が表示候補領域H1として表されている。
図7は表示された操作用画像の一例を表す。図7の例では、ユーザの指B1が手書き文字E1(「今日のマサト」という手書きの文字)まで書き終えた状態で、操作用画像表示制御部105が、手書きをするときに操作する手書きアイコンK11、手書きの画像を消すときに操作する消しゴムアイコンK12、前の処理をやり直すときに操作するやり直しアイコンK13及び手書きの画像を画像データとして保存するときに操作するキャプチャアイコンK14を有する操作用画像K1を表示候補領域H1に表示させている。
また、操作用画像表示制御部105は、指示位置特定部101により特定された指示位置から所定の距離だけ離れた位置に操作用画像を表示させる。
図8は指示位置と操作用画像の距離の一例を表す。図8の例では、指B1のうち表示面A1と接触している接触領域C2及び接触領域C2の中心である指示位置D2が表されている。この例では、操作用画像表示制御部105は、指示位置D2から距離M1(この例における所定の距離)だけ離れた位置に操作用画像K1を表示させている。
また、操作用画像表示制御部105は、指示位置D2よりもY軸の負方向側で且つ指示位置D2からX軸の負方向と所定の角度を成す方向に操作用画像K1を表示させる。図8の例ではこの角度を45度としている。この場合、例えば前述した画像描画領域F1及び入力見込み領域G1の縦向きの寸法L1の1.5倍以上の距離が所定の距離として用いられることで、操作用画像K1が画像描画領域F1と重ならないで表示されるようになる。
なお、所定の角度を45度としたのは一例であり、別の角度にしてもよい。ただし、所定の角度が大きくなるほど(特に90度を超えると)、操作用画像K1が表示候補領域H1からはみ出しやすくなる。操作用画像K1が表示候補領域H1からはみ出す場合、操作用画像表示制御部105は、表示候補領域H1に納まる最も近い位置に操作用画像K1を表示させる。また、所定の角度が小さくなるほど描いたばかりの手書き文字E1と操作用画像K1とが重なりやすくなる。そこで、手書き文字E1及び操作用画像K1が重なりにくく、且つ、操作用画像K1が表示候補領域H1からはみ出しにくい角度(例えば30度から60度まで等)が所定の角度として用いられることが望ましい。
また、操作用画像表示制御部105は、指示位置特定部101により特定された指示位置の移動に伴い操作用画像を追従させる。
図9は追従する操作用画像の一例を表す。図9の例では、手書き文字E1の右側(X軸正方向側)に「20:00〜21:3」という手書き文字E2をユーザが描いている。この場合、操作用画像表示制御部105は、ユーザの指示位置が右側に移動するに連れて、操作用画像K1も右側に移動させながら表示させている。
手書きの文字が表示面A1の端まで来て、別の位置から再び文字を描き始める場合、つまりユーザの指示位置が大きく移動する場合、操作用画像表示制御部105は次のように操作用画像K1を表示させる。
図10は指示位置が大きく移動する場合に表示される操作用画像の一例を表す。図10(a)では、ユーザの指B1が「今日のマサト 20:00〜21:30」という手書き文字E3を描いた状態が表されている。この状態では、操作用画像表示制御部105は、操作用画像K1を指示位置の移動に追従させて表示させている。
図10(b)では、図10(a)の状態の後にユーザが指B1を一旦表示面A1から離した状態が表されている。このように表示面A1の端まで文字を描いてから指示が途切れた場合、文字の描画を終了するか、別の位置から再び文字を描画し始めるかのどちらかが考えられる。そこで、操作用画像表示制御部105は、指示位置が移動して表示面A1の端までの距離が閾値未満になった場合、ユーザによる指示が途切れても所定の期間は操作用画像を表示し続ける。図10(b)の例では、操作用画像表示制御部105は、指示が途切れたときに表示させていた位置に操作用画像K1を表示させ続けている。
操作用画像表示制御部105は、その所定の期間内に次の位置が指示されなければ、手書きの入力が終了したと判断し、操作用画像K1の表示を終了する。操作用画像表示制御部105は、一方、その所定の期間内に次の位置が指示されると、手書きの入力が継続していると判断し、その位置を指示位置として含む移動履歴に基づいて入力見込み領域特定部104により特定される入力見込み領域以外の領域(表示候補領域)に操作用画像を表示させる。
図10(c)では、ユーザの指B1が表示面A1の左端側で手書き文字E3よりも下側の位置を再び指示した状態、すなわちユーザが次の段に続きの文字を描画しようとしている状態が表されている。ただし、この状態ではまだ次の段に文字が描画されていないので、入力見込み領域が特定されていない。そのため、操作用画像表示制御部105は、図10(b)の状態と同様に、指示が途切れたときに表示させていた位置に操作用画像K1を表示させ続けている。
図10(d)では、ユーザの指B1が次の段に「出演」という手書き文字E4を描画した状態が表されている。この状態では、入力見込み領域特定部104が入力見込み領域を特定できるので、操作用画像表示制御部105は、特定された入力見込み領域以外の領域(表示候補領域)に操作用画像を表示させている。操作用画像表示制御部105は、以上のとおり操作用画像を表示させると、表示させている操作用画像の位置を示す位置情報を操作受付部106に供給する。
操作受付部106は、操作用画像表示制御部105が表示させている操作用画像への操作を受け付ける。操作受付部106は本発明の「受付部」の一例である。操作受付部106は、操作用画像表示制御部105から供給された位置情報に基づき、操作用画像が表示されている位置を指示する操作をユーザが行った場合に、指示された操作用画像への操作を受け付ける。操作受付部106は、操作を受け付けた操作用画像を識別する識別情報を処理部107に供給する。
処理部107は、操作受付部106により操作が受け付けられた操作用画像に対応する処理を行う。処理部107は、例えば、図7に表す手書きアイコンK11が操作された場合、表示面が指示された場合に手書き画像表示制御部102が手書きの画像を表示させる手書きモードに切り替える処理を行い、消しゴムアイコンK12が操作された場合、ユーザが指示した指示位置に表示されている手書きの画像を消去させる処理を行う。また、処理部107は、やり直しアイコンK13が操作された場合、直前の処理が行われる前の状態(例えば直前に描画された手書きの文字を表示する前の状態)に戻す処理を行い、キャプチャアイコンK14が操作された場合、表示されている画面を示す画像データを生成する処理を行う。
手書き入力装置10は、上記の構成に基づいて、ユーザの手書きの画像及び操作用画像を表示する表示処理を行う。
図11は表示処理における手書き入力装置10の動作手順の一例を表す。この動作手順は、例えば、ユーザが手書きアプリを起動して、手書きで文字を描く操作を行うことを契機に開始される。まず、手書き入力装置10(指示位置特定部101)は、ユーザが指示している表示面上の位置(指示位置)を特定する(ステップS11)。
次に、手書き入力装置10(手書き画像表示制御部102)は、特定された指示位置が移動した場合にその移動した指示位置の軌跡によって表される画像(手書きの画像)を表示させる(ステップS12)。続いて、手書き入力装置10(操作用画像表示制御部105)は、操作用画像が既に表示されているか否かを判断し(ステップS13)、既に表示されている(YES)と判断した場合には、ステップS11で特定された指示位置にその操作用画像を追従させる(ステップS14)。
ステップS13で操作用画像が表示されていない(NO)と判断した場合及びステップS14の動作の後に、手書き入力装置10(文字認識部103)は、ステップS11で特定された指示位置の軌跡が表す文字の認識を試みる(ステップS15)。ステップS15で文字が認識された(YES)と判断した場合、手書き入力装置10(入力見込み領域特定部104)は、ステップS11で特定された指示位置の移動履歴に基づいて入力見込み領域(表示面のうち今後指示されることが見込まれる位置を含む領域)の特定を試みる(ステップS16)。
詳細には、手書き入力装置10(入力見込み領域特定部104)は、ステップS15で認識された文字の大きさと、その文字が並ぶ向きとを描画対象の特徴として用いて入力見込み領域の特定を試みる。ステップS16で入力見込み領域が特定された(YES)と判断した場合、手書き入力装置10(操作用画像表示制御部105)は、操作用画像を、ステップS16において特定された入力見込み領域以外の領域(表示候補領域)に表示させる(ステップS17)。
なお、手書き入力装置10(操作用画像表示制御部105)は、ステップS14において操作用画像を追従させている場合、追従させた操作用画像が表示候補領域に表示されていればそのまま表示させ、表示候補領域からはみ出していれば表示候補領域に納まる位置に表示させ直す。次に、手書き入力装置10は、ユーザによる表示面の指示が中断されたか否かを判断し(ステップS18)、中断されていない(NO)と判断した場合にはステップS11に戻って動作を続ける。
また、手書き入力装置10は、ステップS15で文字が認識されなかった(NO)と判断した場合及びステップS16で入力見込み領域が特定されなかった(NO)と判断した場合も、ステップS11に戻って動作を続ける。手書き入力装置10は、ステップS18で指示が中断された(YES)と判断した場合、所定期間が経過するまで指示位置が特定されなかったか否かを判断する(ステップS19)。手書き入力装置10は、ステップS19で特定された(NO)と判断した場合には、ステップS12に戻って動作を続け、特定されなかった(YES)と判断した場合には、この動作手順を終了する。
本実施例では、操作用画像が指示位置から所定の距離だけ離れた位置に表示され、指示位置が移動しても操作用画像が追従するようになっている。これにより、操作用画像が追従しない場合に比べて、操作用画像を操作するためにユーザが表示面の指示に用いている指示体(指又はペン等)を移動させる距離のばらつきを少なくすることができる。
上述した入力見込み領域内の位置は他の領域の位置に比べてユーザによって指示される可能性が高いので、入力見込み領域に操作用画像を表示させると、ユーザが手書きの入力を進めると、ユーザが誤って操作用画像を操作する誤操作が生じやすい。本実施例では、入力見込み領域以外の領域である表示候補領域に操作用画像を表示させることで、入力見込み領域にも操作用画像を表示させる場合に比べて、表示面上を指示して行う操作(本実施例では手書きの文字を入力する操作)の途中における操作用画像の誤操作を抑制することができる。
また、本実施例では、手書き文字の大きさ及び文字が並ぶ向きに基づいて入力見込み領域を特定することで、これらを考慮せずに入力見込み領域を特定する場合に比べて、より正確な入力見込み領域を特定すること、すなわち、ユーザによって手書きの画像が入力される可能性がより高い領域を入力見込み領域として特定することができる。
また、本実施例では、ユーザが表示面の端まで手書きの文字を入力して表示面の指示を途切れさせた場合に、必ず入力の終了と判断するのではなく、所定の期間内に次の位置が指定されれば操作用画像の表示を継続した。これにより、ユーザが表示面の端まで手書きで記入したので折り返して例えば反対側の端から手書きの記入を続ける場合に、操作用画像が消えることなくいつでも操作可能な状態にすることができる。
[2]変形例
上述した実施例は本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、実施例及び各変形例は、必要に応じて組み合わせて実施してもよい。
[2−1]表示面上を指示して行う操作
表示面上を指示して行う操作は文字又は絵等を描画する操作に限らない。例えばアイコン等をドラッグするドラッグ操作、コピー等のために表示面上の範囲を指定する範囲指定操作、及び、画面をめくる画面めくり操作等が表示面上を指示して行う操作として用いられてもよい。いずれの操作が行われる場合でも、入力見込み領域以外の領域(表示候補領域)に操作用画像を表示させることで操作の途中における操作用画像の誤操作を抑制することができる。
[2−2]入力見込み領域の特定方法
入力見込み領域特定部104は、実施例とは異なる方法で入力見込み領域を特定してもよい。例えば、文字が斜めに描画されている場合には、入力見込み領域特定部104は、認識された文字として文字認識部103から通知された順番及びそれとともに通知された位置情報が示す各文字の位置に基づいて、斜めの描画であることを認識し、それまでの文字列に続く斜めの領域を入力見込み領域として特定してもよい。
また、入力見込み領域特定部104は、文字認識部103により文字が認識されなかった場合、すなわち描画の対象が文字ではなく絵である場合、その絵の特徴に基づいて入力見込み領域を特定する。入力見込み領域特定部104は、例えば、ユーザによって過去に描画された絵の特徴量と、その絵が描画された領域とを対応付けて記憶しておく。入力見込み領域特定部104は、指示位置の軌跡が示す絵の特徴量を算出し、算出した特徴量に類似する特徴量の絵が描画された領域を、入力見込み領域として特定する。
また、入力見込み領域特定部104は、例えば写真のシーン(人物及び風景等)を認識する周知の技術を用いて、描画された絵が人物及び風景のいずれであるかを特定し、人物であれば縦長の長方形の領域を入力見込み領域として特定し、風景であれば横長の長方形の領域を入力見込み領域として特定してもよい。
また、入力見込み領域特定部104は、手書きアプリが起動されていない場合、文字及び絵の描画ではなく前述したドラッグ操作、範囲指定操作及び画面めくり操作等のうちのいずれかが行われたと判断する。これらの操作は、いずれも、ユーザが指示位置を移動させる方向が一方向に決まっていることが多い(なるべく操作が簡単にできるようになっていることが多いため)。そこで、入力見込み領域特定部104は、例えば、いずれの操作が行われた場合でも、指示位置が移動する方向の先に存在する領域を入力見込み領域として特定する。
また、上記の絵の場合と同様に、過去の指示位置の移動履歴が用いられてもよい。
図12は本変形例の手書き入力装置10aが実現する機能構成を表す。手書き入力装置10aは、図2に表す各部に加え、移動履歴記憶部111を備える。移動履歴記憶部111は、ユーザについて過去に指示位置特定部101により特定された指示位置の移動履歴を示す履歴情報を記憶する。
本変形例では、指示位置特定部101が特定した位置を示す位置情報を移動履歴記憶部111に供給する。移動履歴記憶部111は、複数の位置情報が供給された場合に、例えば続けて供給された位置情報の供給時刻が所定の時間以上離れていなければ、ユーザが一連の手書き入力を行っているときの指示位置を示す位置情報であると判断し、その手書き入力を識別する識別情報に対応付けてそれらの位置情報を履歴情報として記憶する。
入力見込み領域特定部104は、移動履歴記憶部111に記憶された履歴情報が示す移動履歴にも基づいて入力見込み領域を特定する。入力見込み領域特定部104は、例えば、移動履歴が示す指示位置の軌跡が右向きに並んだ手書き文字しか表していない場合、このユーザは手書き入力をする場合は常に右向きに並ぶ文字を描画すると判断し、特定された指示位置の右側に存在する領域を入力見込み領域として特定する。
なお、入力見込み領域特定部104は、移動履歴が示す指示位置の軌跡が右向きに並んだ文字及び下向きに並んだ文字の両方を表している場合でも、より多く移動履歴が記憶されている方の文字が描画されると判断して入力見込み領域を特定してもよい。また、この場合に、入力見込み領域特定部104は、最初に表示面の左半分に存在する位置が指示されたのであれば縦書きよりも横書きの方が行われやすいので、右向きに並ぶ文字を描画すると判断し、最初に表示面の右半分に存在する位置が指示されたのであれば横書きよりも縦書きの方が行われやすいので、下向きに並ぶ文字を描画すると判断してもよい。
また、入力見込み領域特定部104は、移動履歴が示す指示位置の軌跡により表される文字の平均の大きさを算出し、その大きさの文字が描画された場合の大きさの領域を入力見込み領域として特定してもよい。また、入力見込み領域特定部104は、移動履歴が示す指示位置の軌跡によって表される文字の種類が日本語の場合は縦書き(下向きに並ぶ文字)、英語の場合は横書き(右向きに並ぶ文字)である場合には、文字認識部103により認識された文字が日本語であれば下向きに並ぶ文字を描画すると判断し、認識された文字が英語であれば右向きに並ぶ文字を描画すると判断してもよい。
以上のとおり移動履歴にも基づいて入力見込み領域が特定されることで、ユーザの手書き入力の傾向に合った入力見込み領域を特定することができ、移動履歴を考慮しない場合に比べて、ユーザによって手書きの画像が入力される可能性がより高い領域を入力見込み領域として特定することができる。
[2−3]表示面からはみ出す場合
操作用画像表示制御部105は、上述したとおりに操作用画像を表示させると操作用画像の一部又は全部が表示面からはみ出す場合には、他の位置に操作用画像を表示させればよい。
図13は本変形例で表示された操作用画像の一例を表す。図13の例では、手書き文字E5が表示面A1の上側に描画されているため、図8の例のように所定の角度を45度、指示位置D3からの所定の距離をM1とした場合、操作用画像K1が指示位置D3よりも上側(つまり表示面A1の端が近い側)に表示されるため、表示面A1の上側の端からはみ出すことになる。この場合、操作用画像表示制御部105は、例えば、所定の角度を−45度に変更して、指示位置D3よりも下側(表示面A1の端から遠い側)に操作用画像K1を表示させる。
図13の例でも、操作用画像表示制御部105は、操作用画像K1を表示候補領域(入力見込み領域以外の領域)に表示させている。しかし、特定される入力見込み領域とユーザにより指示されている位置によっては、所定の角度を変更しても表示候補領域に表示させることができない場合がある。
図14は移動履歴に基づいて特定された表示候補領域の一例を表す。図14の例では、表示面A1の左上の指示位置D4がユーザによって指示されたときに、図12の例で説明した移動履歴に基づいて入力見込み領域G4が特定されたことが表されている。
図14に表す状態は書き始めであるため、指示位置D4が表示面A1の左上の角に近い位置となっている。そのため、指示位置D4よりも上側も左側も、距離M1だけ離れた位置に操作用画像を表示させると表示面A1からはみ出すことになる。また、このユーザは横書きで大きな文字を描画することが多かったので、図5に表す入力見込み領域G1よりも大きなサイズの入力見込み領域G4が特定されている。そのため、指示位置D4よりも下側も右側も、距離M1だけ離れた位置が入力見込み領域G4に含まれている。
そのため、図14の例では、所定の角度を変更しても表示候補領域H4に操作用画像を表示させることができなくなっている。本変形例では、この場合、操作用画像表示制御部105は次のように操作用画像を表示させる。
図15は本変形例の手書き入力装置10bが実現する機能構成を表す。手書き入力装置10bは、図2に表す各部に加え、死角領域特定部112を備える。
死角領域特定部112は、表示面のうち所定の距離以内にユーザの手又はペンが存在する領域を特定する。所定の距離以内にユーザの手又はペンが存在する領域とは、その手又はペンに隠れて表示面が見えなくなる領域、つまりユーザから見て死角になる領域であり、以下では「死角領域」という。手書き入力装置10bが備えるタッチスクリーンは、例えば静電容量方式のタッチセンサを備えており、表示面に近づいた物体を検知することができる。
死角領域特定部112は、このタッチスクリーンが測定する静電容量の値に基づき、所定の距離以内にユーザの手又はペンが存在する領域を死角領域として特定する。死角領域特定部112は、特定した死角領域を示す領域情報を操作用画像表示制御部105に供給する。操作用画像表示制御部105は、図14の例のように、指示位置から所定の距離だけ離れていて操作用画像を表示可能な位置が表示候補領域にない場合、死角領域特定部112により特定された死角領域以外の領域、すなわち表示面のうち所定の距離以内にユーザの手又はペンが存在しない領域に、操作用画像を表示させる。
図16は本変形例で表示される操作用画像の一例を表す。図16(a)では、図14に表した指示位置D4を指示するユーザの手B2が表されている。図16(b)では、死角領域特定部112が特定した、表示面A1から所定の距離以内にユーザの手B2が存在する死角領域N2が表されている。操作用画像表示制御部105は、前述したようにこの指示位置D4から所定の距離M1だけ離れていて操作用画像K1を表示可能な位置が表示候補領域H4にないため、表示候補領域H4のうち死角領域N2以外の領域に操作用画像K1を表示させている。
これにより、図14の例のように操作用画像を表示可能な位置が表示候補領域にない場合に、指示位置からは通常より離れるものの、ユーザの手又はペンにより死角になる領域に操作用画像が表示されたために操作用画像を見にくくなるという事態を防ぐことができる。
[2−4]指示に用いる手
指示位置の指示に右手と左手のどちらが用いられているかによって、操作用画像が表示される位置を異ならせてもよい。
図17は本変形例の手書き入力装置10cが実現する機能構成を表す。手書き入力装置10cは、図2に表す各部に加え、左右判定部113を備える。左右判定部113は、ユーザが表示面の指示に右手及び左手のどちらを用いているかを判定する。左右判定部113は本発明の「判定部」の一例である。
左右判定部113は、例えば、ユーザが指を使って表示面上の位置を指示している場合、図3(b)に表す接触領域C1のような指のうち表示面と接触している領域の形に基づいて左右を判定する。接触領域は楕円形になりやすく、その楕円形の長軸(楕円内部の2焦点を通る直線)は、ユーザが右手を使っていれば右下から左上に向かう方向に傾きやすく、ユーザが左手を使っていれば左下から右上に向かう方向に傾きやすい。そこで、左右判定部113は、接触領域の長軸が前者の方向に傾いていれば右手が用いられていると判定し、接触領域の長軸が後者の方向に傾いていれば左手が用いられていると判定する。
また、左右判定部113は、ユーザがペンを使って表示面上の位置を指示している場合、図15に表す死角領域特定部112のようにタッチスクリーンが測定する静電容量の値に基づき所定の距離以内にペンが存在する表示面上の領域を特定する。この領域のうちペンを握るユーザの指よりもペンの先端側は、ペンの形を表す棒状の領域になるので、左右判定部113は、その棒状の領域の長手方向の傾きに基づいて左右を判定する。
棒状の領域の長手方向は、上記の接触領域の長軸と同じく、ユーザが右手を使っていれば右下から左上に向かう方向に傾きやすく、ユーザが左手を使っていれば左下から右上に向かう方向に傾きやすい。そこで、左右判定部113は、棒状の領域の長手方向が前者の方向に傾いていれば右手が用いられていると判定し、棒状の領域の長手方向が後者の方向に傾いていれば左手が用いられていると判定する。なお、この方法はユーザが指で表示面を指示する場合に用いてもよい。左右判定部113は、上記のとおり判定を行うと、その判定結果を操作用画像表示制御部105に通知する。
操作用画像表示制御部105は、左右判定部113の判定結果に応じて操作用画像を表示させる位置を変化させる。
図18は本変形例で表示される操作用画像の一例を表す。図18(a)では、操作用画像表示制御部105が、図8に表す例のように、指示位置D2よりもY軸の負方向側で且つ指示位置D2からX軸の負方向と所定の角度を成す方向に操作用画像K1を表示させている。操作用画像表示制御部105は、例えば右手が用いられていると判定された場合に、図18(a)のように操作用画像K1を表示させるものとする。
一方、操作用画像表示制御部105は、左手が用いられていると判定された場合には、指示位置D2よりもY軸の正方向側で且つ指示位置D2からX軸の負方向と所定の角度を成す方向に操作用画像K1を表示させる。例えばユーザが左手でペンを使って指示する場合、指示位置D2よりも左側にはユーザの左手及びペンが存在する。ユーザが表示面A1を下側(Y軸正方向側)から上側(Y軸負方向側)に斜めに見ている場合に、操作用画像K1を図18(a)の位置に表示させると、ユーザの左手及びペンが邪魔になって操作用画像K1が見にくくなる。
反対に、ユーザが右手でペンを使って指示する場合、操作用画像K1を図18(b)の位置に表示させると、ユーザの右手及びペンが邪魔になって操作用画像K1が見にくくなる。本変形例では上記のとおりユーザが右手及び左手のどちらを使っているかによって操作用画像K1が表示される位置が変化するので、ユーザの手及びペンが邪魔になって見にくくならない位置に操作用画像を表示させることができる。
[2−5]操作の受け付け
操作受付部106は、操作用画像への操作を受け付ける期間を制限してもよい。例えば、操作受付部106は、ユーザによる表示面上の指示が続いている期間は、操作用画像への操作を受け付けないようにしてもよい。
本変形例では、指示位置特定部101が指示位置を特定すると、その旨を操作受付部106に通知する。操作受付部106は、この通知を受け取ると、例えば通知を受け取らない期間が所定の期間に達するまで、操作用画像への操作を受け付けない操作不可モードで動作する。操作受付部106は、通知を受け取らない期間が所定の期間に達すると、ユーザによる表示面上の指示が終了したと判断し、操作用画像への操作を受け付ける操作可能モードで動作する。
本変形例では、操作用画像表示制御部105は、ユーザによる表示面の指示が開始されていなくても、例えば手書きアプリが起動されたことを契機に操作用画像を表示させる。その際、操作受付部106は、まずは操作可能モードで動作する。その後、ユーザが表示面の指示を開始すると、操作受付部106は、操作不可モードで動作し、ユーザによる指示が終わるまで操作不可モードを継続する。これにより、ユーザによる表示面上の指示が続いている期間、すなわちユーザが手書きの画像を描画している期間における操作用画像の誤操作を防ぐことができる。
[2−6]操作用画像
操作用画像は図7等に表す操作用画像K1に限らない。例えば手書きアイコンK11、消しゴムアイコンK12、やり直しアイコンK13及びキャプチャアイコンK14のうちの1つ、2つ又は3つのアイコンを備える操作用画像であってもよい。また、これら以外の操作を受け付けるアイコン(例えば色変更アイコン及び線の太さ変更アイコン等)を備える操作用画像であってもよい。
また、表示面上を指示して行う操作がドラッグ操作等の手書き画像を描画する操作以外の操作である場合、それらの操作に関連して用いられる操作を受け付ける画像が操作用画像として表示されればよい。また、操作用画像は、特定のプログラムを起動する操作及び特定のファイルを表示させる操作等を受け付けるもの(いわゆるショートカット)であってもよい。
[2−7]各部を実現する装置
図2に表す各部を実現する装置は、手書き入力装置だけに限らない。例えば文字認識部103及び入力見込み領域特定部104の一方又は両方の機能が外部のサーバ装置によって実現されてもよい。手書き入力装置及びサーバ装置はLAN(Local Area Network)及びインターネット等のネットワークを介してデータをやり取りする。その場合、手書き入力装置及びサーバ装置を備える情報処理システムが、図2等に表す各部を実現することになる。
[2−8]発明のカテゴリ
本発明は、手書き入力装置のような情報処理装置の他、前述した手書き入力装置及びサーバ装置を備える情報処理システムとしても捉えられる。また、本発明は、手書き入力装置が実施する処理を実現するための情報処理方法としても捉えられるし、手書き入力装置を制御するコンピュータを機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態で提供されてもよいし、インターネット等のネットワークを介してコンピュータにダウンロードさせ、それをインストールして利用可能にするなどの形態で提供されてもよい。
[2−9]処理手順等
本明細書で説明した各実施例の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
[2−10]入出力された情報等の扱い
入出力された情報等は特定の場所(例えばメモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
[2−11]ソフトウェア
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。
[2−12]情報、信号
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
[2−13]システム、ネットワーク
本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。
[2−14]「に基づいて」の意味
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
[2−15]「及び」、「又は」
本明細書において、「A及びB」でも「A又はB」でも実施可能な構成については、一方の表現で記載された構成を、他方の表現で記載された構成として用いてもよい。例えば「A及びB」と記載されている場合、他の記載との不整合が生じず実施可能であれば、「A又はB」として用いてもよい。
例えば、上述した入力見込み領域特定部104が「文字の大きさ及び文字が並ぶ向き」に応じて入力見込み領域を特定する、という構成は、入力見込み領域特定部104が「文字の大きさ又は文字が並ぶ向き」に応じて入力見込み領域を特定する構成としてもよい。その場合、入力見込み領域特定部104が入力許可領域の「文字の大きさ及び文字が並ぶ向きのうちいずれか選択した方」を用いる場合だけでなく、単に「文字の大きさ」を用いる場合も、単に「文字が並ぶ向き」を用いる場合も含まれる。
また、例えば入力見込み領域特定部104が「文字の大きさ」に応じて入力見込み領域を特定する構成は、「文字の大きさ」以外のものも合わせて用いる構成を排除するものではない。そのため、入力見込み領域特定部104が「文字の大きさ」に応じて入力見込み領域を特定する構成には、入力見込み領域特定部104が「文字の大きさ及び文字が並ぶ向き」に応じて入力見込み領域を特定するも含まれる。このように、「A又はB」という記載には、「A及びB」という実施態様もそれが実施可能である限り含まれるものとする。
[2−16]態様のバリエーション等
本明細書で説明した各実施例は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、当該所定の情報の通知を行わない)ことによって行われてもよい。
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施例に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
10…手書き入力装置、101…指示位置特定部、102…手書き画像表示制御部、103…文字認識部、104…入力見込み領域特定部、105…操作用画像表示制御部、106…操作受付部、107…処理部、111…移動履歴記憶部、112…死角領域特定部、113…左右判定部。

Claims (1)

  1. ーザがペンで指示している静電容量方式のタッチスクリーンの表示面上の位置である指示位置を特定する指示位置特定部と、
    特定された前記指示位置の移動履歴に基づき、前記表示面のうち今後指示されることが見込まれる位置を含む第1領域を特定する第1領域特定部と、
    前記ユーザが前記指示に右手及び左手のどちらを用いているかを、前記表示面から所定の距離以内に前記ペンが存在する棒状の領域の長手方向の傾きに基づいて判定する判定部と、
    ユーザの操作を受け付ける操作用画像を、特定された前記第1領域以外の第2領域に表示させる表示制御部であって、前記判定部の判定結果に応じて前記操作用画像を表示させる位置を変化させる表示制御部と
    を備える情報処理装置。
JP2016177871A 2016-09-12 2016-09-12 情報処理装置 Active JP6696868B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016177871A JP6696868B2 (ja) 2016-09-12 2016-09-12 情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016177871A JP6696868B2 (ja) 2016-09-12 2016-09-12 情報処理装置

Publications (2)

Publication Number Publication Date
JP2018045311A JP2018045311A (ja) 2018-03-22
JP6696868B2 true JP6696868B2 (ja) 2020-05-20

Family

ID=61693120

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016177871A Active JP6696868B2 (ja) 2016-09-12 2016-09-12 情報処理装置

Country Status (1)

Country Link
JP (1) JP6696868B2 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008084136A (ja) * 2006-09-28 2008-04-10 Kyocera Corp 携帯電子機器
JP2015114976A (ja) * 2013-12-13 2015-06-22 株式会社東芝 電子機器及び方法
JP6392036B2 (ja) * 2014-09-03 2018-09-19 株式会社東芝 電子機器および方法
CN107077284B (zh) * 2014-09-26 2020-07-14 夏普株式会社 把持方式判断装置
JP6464504B6 (ja) * 2014-10-01 2019-03-13 Dynabook株式会社 電子機器、処理方法およびプログラム

Also Published As

Publication number Publication date
JP2018045311A (ja) 2018-03-22

Similar Documents

Publication Publication Date Title
US9207858B2 (en) Method and apparatus for drawing and erasing calligraphic ink objects on a display surface
WO2017185575A1 (zh) 一种触摸屏轨迹识别方法及装置
JP6807840B2 (ja) 幾何学的形状を認識するためのシステムおよび方法
US9423908B2 (en) Distinguishing between touch gestures and handwriting
WO2014147722A1 (ja) 電子機器、方法及びプログラム
JP2008134918A (ja) 画像処理装置及び画像処理決定方法
KR20220061985A (ko) 그래픽 객체를 선택하기 위한 방법 및 대응하는 디바이스
US10031667B2 (en) Terminal device, display control method, and non-transitory computer-readable recording medium
JP2010102395A (ja) 画像処理装置、画像処理方法およびプログラム
US20190196712A1 (en) Systems and Methods for Facilitating Data Entry into Small Screen Electronic Devices
US20150205483A1 (en) Object operation system, recording medium recorded with object operation control program, and object operation control method
CN109101173B (zh) 屏幕布局控制方法、装置、设备及计算机可读存储介质
JP7508766B2 (ja) 入力装置、入力方法、プログラム、入力システム
CN105700727A (zh) 与透明层以下的应用层的交互方法
US10162501B2 (en) Terminal device, display control method, and non-transitory computer-readable recording medium
JP2024111215A (ja) 入力装置、入力方法、プログラム、入力システム
JP6036163B2 (ja) 情報処理装置及びプログラム
JP7456287B2 (ja) 表示装置、プログラム、表示方法
JP6696868B2 (ja) 情報処理装置
JP5735126B2 (ja) システムおよび筆跡検索方法
CN111008080A (zh) 信息处理方法、装置、终端设备及存储介质
WO2018159414A1 (ja) 端末装置及び操作制御プログラム
CN110162257A (zh) 多触点触控方法、装置、设备及计算机可读存储介质
JP2015219724A (ja) 電子機器
JP2015035046A (ja) 情報処理装置、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200225

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200423

R150 Certificate of patent or registration of utility model

Ref document number: 6696868

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250