JP7098799B1 - 情報処理装置、情報処理システム、及び制御方法 - Google Patents

情報処理装置、情報処理システム、及び制御方法 Download PDF

Info

Publication number
JP7098799B1
JP7098799B1 JP2021113535A JP2021113535A JP7098799B1 JP 7098799 B1 JP7098799 B1 JP 7098799B1 JP 2021113535 A JP2021113535 A JP 2021113535A JP 2021113535 A JP2021113535 A JP 2021113535A JP 7098799 B1 JP7098799 B1 JP 7098799B1
Authority
JP
Japan
Prior art keywords
screen
position data
processing
unit
detection position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021113535A
Other languages
English (en)
Other versions
JP2023009888A (ja
Inventor
▲強▼ 要
良太 野村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2021113535A priority Critical patent/JP7098799B1/ja
Priority to EP22175959.0A priority patent/EP4116805B1/en
Priority to US17/837,292 priority patent/US11556243B1/en
Priority to CN202210793284.9A priority patent/CN115599281A/zh
Application granted granted Critical
Publication of JP7098799B1 publication Critical patent/JP7098799B1/ja
Publication of JP2023009888A publication Critical patent/JP2023009888A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04182Filtering of noise external to the device and not generated by digitiser components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/0418Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186Touch location disambiguation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

【課題】描画品質の向上と、入力レスポンスの向上とを適切に行う。【解決手段】情報処理装置は、表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部と、操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理部と、前記入力処理部が出力した前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理部とを備える。【選択図】図2

Description

本発明は、情報処理装置、情報処理システム、及び制御方法に関する。
近年、パーソナルコンピュータなどの情報処理装置では、手書き入力を行う入力デバイスを備えるものがある。このような入力デバイスでは、入力に対する表示の遅延を低減するために、予測した入力を表示する技術が知られている(例えば、特許文献1を参照)。
米国特許第9529525号明細書
ところで、手書き入力において、入力に対する表示の遅延を示す入力レスポンスの他に、描画した線の滑らかさ示す描画品質が、重要な要素である。しかしながら、描画品質を向上しようとすると、描画した線を滑らかにするために処理量が増加して、入力に対する表示の遅延が大きくなるため入力レスポンスが低下する。そのため、従来の情報処理装置では、入力レスポンスと描画品質との両方を満足させることが困難であった。
本発明は、上記問題を解決すべくなされたもので、その目的は、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる情報処理装置、情報処理システム、及び制御方法を提供することにある。
上記問題を解決するために、本発明の一態様は、表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部と、操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理部と、前記入力処理部が出力した前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理部とを備える情報処理装置である。
また、本発明の一態様は、上記の情報処理装置において、前記描画の状況には、前記操作媒体の前記画面上の移動速度が含まれ、前記入力処理部は、前記移動速度が、第1閾値以下である場合に、前記ノイズ除去処理と前記予測処理とのうちの前記ノイズ除去処理を選択して実行し、前記移動速度が、第2閾値より大きい場合に、前記ノイズ除去処理と前記予測処理とのうちの前記予測処理を選択して実行するようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記第1閾値と前記第2閾値が等しく、前記入力処理部は、前記移動速度が、前記第1閾値以下である場合に、前記ノイズ除去処理と前記予測処理とのうちの前記ノイズ除去処理を選択して実行し、前記移動速度が、前記第1閾値より大きく、前記第1閾値より大きい第3閾値以下である場合に、前記ノイズ除去処理と前記予測処理とのうちの前記予測処理を選択して実行し、前記移動速度が、前記第3閾値より大きい場合に、前記ノイズ除去処理と前記予測処理とのいずれも選択せずに、前記タッチセンサ部によって検出された最新の検出位置データを、そのまま出力するようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記第2閾値は、前記第1閾値より大きく、前記入力処理部は、前記移動速度が、前記第1閾値以下である場合に、前記ノイズ除去処理と前記予測処理とのうちの前記ノイズ除去処理を選択して実行し、前記移動速度が、前記第1閾値より大きく、前記第2閾値以下である場合に、前記ノイズ除去処理と前記予測処理との両方を選択して実行し、前記移動速度が、前記第2閾値より大きい場合に、前記ノイズ除去処理と前記予測処理とのうちの前記予測処理を選択して実行するようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、前記描画の状況には、前記操作媒体の前記画面上の移動加速度、前記操作媒体の前記画面上の移動角度の変化、及び描画形状のうちの少なくとも1つが含まれるようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、OS(オペレーティングシステム)に基づく処理を実行するメイン制御部を備え、前記メイン制御部は、前記入力処理部と、前記表示処理部とを含み、前記入力処理部は、前記OSに付加されたデバイスドライバによって実現されるようにしてもよい。
また、本発明の一態様は、上記の情報処理装置において、OS(オペレーティングシステム)に基づく処理を実行するメイン制御部と、前記メイン制御部とは異なる組込み制御部とを備え、前記入力処理部は、前記組込み制御部に含まれ、前記表示処理部は、前記メイン制御部に含まれ、前記入力処理部は、前記処理結果の検出位置データを、前記メイン制御部に出力するようにしてもよい。
また、本発明の一態様は、表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部と、プログラムを一時的に記憶するメモリと、前記メモリに記憶された前記プログラムを実行するプロセッサとを備え、前記プロセッサは、前記メモリに記憶された前記プログラムを実行することにより、操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理と、前記入力処理により出力された前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理とを行う情報処理装置である。
また、本発明の一態様は、表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部と、操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理部と、前記入力処理部が出力した前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理部とを備える情報処理システムである。
また、本発明の一態様は、表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部とを備える情報処理装置の制御方法であって、入力処理部が、操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理ステップと、表示処理部が、前記入力処理ステップによって出力された前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理ステップとを含む制御方法である。
本発明の上記態様によれば、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる。
第1の実施形態によるノートPCの主要なハードウェア構成の一例を示す図である。 第1の実施形態によるノートPCの機能構成の一例を示すブロック図である。 第1の実施形態におけるノイズ除去処理の一例を示す第1の図である。 第1の実施形態におけるノイズ除去処理の一例を示す第2の図である。 第1の実施形態における予測処理の一例を示す図である。 第1の実施形態によるノートPCのペン入力処理の一例を示すフローチャートである。 第1の実施形態によるノートPCのペン入力処理の変形例を示すフローチャートである。 第2の実施形態によるノートPCの機能構成の一例を示すブロック図である。 第3の実施形態によるPCシステムの主要なハードウェア構成の一例を示す図である。
以下、本発明の一実施形態による情報処理装置、情報処理システム、及び制御方法について、図面を参照して説明する。
[第1の実施形態]
図1は、第1の実施形態によるノートPC1(ノートブック型パーソナルコンピュータ)の主要なハードウェア構成の一例を示す図である。なお、本実施形態において、情報処理装置の一例として、ノートPC1について説明する。
図1に示すように、ノートPC1は、CPU11と、メインメモリ12と、ビデオサブシステム13と、表示部14と、チップセット21と、BIOSメモリ22と、HDD23と、USBコネクタ24と、オーディオシステム25と、WLANカード26と、エンベデッドコントローラ31と、キー入力部32と、ポインティングデバイス33と、電源回路34と、タッチセンサ部35とを備える。
CPU(Central Processing Unit)11は、プログラム制御により種々の演算処理を実行し、ノートPC1全体を制御する。
メインメモリ12は、CPU11の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ12は、例えば、複数個のDRAM(Dynamic Random Access Memory)チップで構成される。この実行プログラムには、OS(Operating System:オペレーティングシステム)、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種サービス/ユーティリティ、アプリケーションプログラム等が含まれる。
ビデオサブシステム13は、画像表示に関連する機能を実現するためのサブシステムであり、ビデオコントローラを含んでいる。このビデオコントローラは、CPU11からの描画命令を処理し、処理した描画情報をビデオメモリに書き込むとともに、ビデオメモリからこの描画情報を読み出して、表示部14に描画データ(表示データ)として出力する。
表示部14は、例えば、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイであり、ノートPC1のメイン画面として、ビデオサブシステム13から出力された描画データ(表示データ)に基づく表示画面を表示する。
チップセット21は、USB(Universal Serial Bus)、シリアルATA(AT Attachment)、SPI(Serial Peripheral Interface)バス、PCI(Peripheral Component Interconnect)バス、PCI-Expressバス、及びLPC(Low Pin Count)バスなどのコントローラを備えており複数のデバイスが接続される。図1では、デバイスの例示として、BIOSメモリ22と、HDD23と、USBコネクタ24と、オーディオシステム25と、WLANカード26と、エンベデッドコントローラ31とが、チップセット21に接続されている。
BIOS(Basic Input Output System)メモリ22は、例えば、EEPROM(Electrically Erasable Programmable Read Only Memory)やフラッシュROMなどの電気的に書き換え可能な不揮発性メモリで構成される。BIOSメモリ22は、BIOS、及びエンベデッドコントローラ31などを制御するためのシステムファームウェアなどを記憶する。
HDD(Hard Disk Drive)23(不揮発性記憶装置の一例)は、OS、各種ドライバ、各種サービス/ユーティリティ、アプリケーションプログラム、及び各種データを記憶する。
USBコネクタ24は、USBを利用した周辺機器類を接続するためのコネクタである。
オーディオシステム25は、音データの記録、再生、出力を行う。
WLAN(Wireless Local Area Network)カード26は、ワイヤレス(無線)LANにより、ネットワークに接続して、データ通信を行う。
エンベデッドコントローラ31(組込み制御部の一例)は、ノートPC1のシステム状態に関わらず、各種デバイス(周辺装置やセンサ等)を監視し制御するワンチップマイコン(One-Chip Microcomputer)である。また、エンベデッドコントローラ31は、電源回路34を制御する電源管理機能を有している。なお、エンベデッドコントローラ31は、不図示のCPU、ROM、RAMなどで構成されるとともに、複数チャネルのA/D入力端子、D/A出力端子、タイマ、及びデジタル入出力端子を備えている。エンベデッドコントローラ31には、それらの入出力端子を介して、例えば、キー入力部32、ポインティングデバイス33、電源回路34、及びタッチセンサ部35などが接続されており、エンベデッドコントローラ31は、これらの動作を制御する。
キー入力部32は、例えば、キーボードやタッチパネルなどの入力デバイスであり、利用者からのキー入力を受け付ける。また、ポインティングデバイス33は、マウスやタッチパッドなどの入力デバイスであり、主に表示画面上の位置の指定や、操作ボタンなどの操作対象(オブジェクト)の指定又は選択などを受け付ける。
電源回路34は、例えば、DC/DCコンバータ、充放電ユニット、電池ユニット、AC/DCアダプタなどを含んでおり、AC/DCアダプタ、又は電池ユニットから供給される直流電圧を、ノートPC1を動作させるために必要な複数の電圧に変換する。また、電源回路34は、エンベデッドコントローラ31からの制御に基づいて、ノートPC1の各部に電力を供給する。
なお、本実施形態において、上述したCPU11及びチップセット21は、メイン制御部10に対応する。メイン制御部10は、OS(例えば、Windows(登録商標))に基づく処理を実行する。
また、表示部14と、タッチセンサ部35とは、タッチスクリーン20に対応する。
タッチセンサ部35は、例えば、タッチパネルなどの入力デバイスであり、表示部14と重ねて配置されている。タッチセンサ部35は、表示部14の画面上に配置され、表示部14の画面上における物体との接触を検出する。タッチセンサ部35は、例えば、ペンなどの操作媒体が画面上に接触することで、表示部14の画面上の位置を示す検出位置データと、操作媒体が画面上に接触した接触圧力を検出する。
次に、図2を参照して、本実施形態によるノートPC1の機能構成について説明する。
図2は、本実施形態によるノートPC1の機能構成の一例を示すブロック図である。
図2に示すように、ノートPC1は、メイン制御部10と、タッチスクリーン20と、エンベデッドコントローラ(EC)31と、メイン記憶部40とを備える。なお、図2において、ノートPC1の構成として、本実施形態の発明に関する主要な機能構成のみを記載している。
メイン記憶部40は、メインメモリ12、又はHDD23などにより実現される記憶部であり、ノートPC1が利用する各種情報を記憶する。メイン記憶部40は、例えば、後述するペン入力ドライバ110やアプリケーション130による処理に用いるワークデータ、及びペン入力設定部120の設定情報などを記憶する。
エンベデッドコントローラ31は、メイン制御部10とは異なる組込み制御部である。エンベデッドコントローラ31は、ペンなどの操作媒体が表示部14の画面上に接触することで、タッチセンサ部35によって所定の検出間隔で検出された画面上の複数の検出位置データを取得し、取得した複数の検出位置データをペン入力バッファ部311に記憶させる。また、エンベデッドコントローラ31は、ペン入力バッファ部311に記憶している検出位置データを後述するメイン制御部10のペン入力ドライバ110の要求に応じて、ペン入力ドライバ110に出力する。
また、エンベデッドコントローラ31は、ペン入力バッファ部311を備える。
ペン入力バッファ部311は、例えば、エンベデッドコントローラ31内のRAMにより構成され、タッチスクリーン20のタッチセンサ部35が所定の検出間隔で検出した検出位置データを時系列に記憶する。ペン入力バッファ部311は、例えば、位置検出データである表示部14の画面上の2次元座標データと、接触圧力とを対応付けて記憶する。
メイン制御部10は、CPU11及びチップセット21が、メインメモリ12が記憶するプログラムを実行することで実現される機能部であり、OSに基づく各種処理を実行する。メイン制御部10は、例えば、エンベデッドコントローラ31が出力した検出位置データに基づいて、ペンなどの操作媒体が画面上に接触して移動した画面上の移動軌跡を、表示部14に表示させる。また、メイン制御部10は、ペン入力ドライバ110と、ペン入力設定部120と、アプリケーション130とを備える。
ペン入力ドライバ110(入力処理部の一例)は、CPU11とチップセット21とにより実現される機能部であり、タッチスクリーン20によるペン入力処理(手書き入力処理)を制御する。ペン入力ドライバ110は、エンベデッドコントローラ31から、タッチセンサ部35が検出した表示部14の画面上の検出位置データを取得し、アプリケーション130に出力する。ペン入力ドライバ110は、OS(例えば、Windows(登録商標))に付加されたデバイスドライバである。
また、ペン入力ドライバ110は、予測処理と、ノイズ除去処理とを、検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する。ここで、描画の状況とは、例えば、ペンの移動速度(例えば、複数の検出位置データによる平均速度など)、移動速度の変化(移動加速度など)、画面上の移動角度の変化、及び描画形状(曲線、直線、文字など)、等である。ペン入力ドライバ110は、ノイズ除去処理部111と、予測処理部112と、選択処理部113とを備える。
ノイズ除去処理部111は、タッチセンサ部35によって検出された検出位置データを、ノイズ除去して平滑化(滑らかに)するノイズ除去処理(スムージング処理)を実行する。ノイズ除去処理部111は、ペン入力バッファ部311が記憶する検出位置データに対して、図3、及び図4に示すようなノイズ除去処理を実行する。
図3及び図4は、本実施形態におけるノイズ除去処理の一例を示す図である。
図3に示すように、ノイズ除去処理部111は、タッチスクリーン20により検出された検出位置データDI1を、ノイズ除去処理を実行して、検出位置データDO1のような検出位置データを出力する。ノイズ除去処理部111は、例えば、カルマンフィルタを用いてノイズ除去処理を実行する。
具体的に、ノイズ除去処理部111は、図4に示すような処理により、ノイズ除去処理を実行する。図4において、P(N)は、最新(N番目)の検出位置データであり、S(N)は、カルマンフィルタを用いたN番目の検出位置データの推定値である。ノイズ除去処理部111は、カルマンフィルタを用いて、過去の検出位置データに基づいて、N番目の検出位置データの推定値S(N)を生成し、P(N)とS(N)とにより、下記の式(1)により、ノイズ除去した検出位置データPnr(N)を生成する。
Figure 0007098799000002
ここで、変数wは、“0”以上“1”以下の値(0≦w≦1)であり、動的に更新されるパラメータである。変数wは、検出位置データP(N)(検出値)と検出位置データの推定値S(N)との重み付け加算(加重和)に使用される。
図2の説明に戻り、予測処理部112は、タッチセンサ部35によって所定の検出間隔で検出された画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理を実行する。予測処理部112は、ペン入力バッファ部311が記憶する検出位置データに基づいて、図5に示すような予測処理を実行する。
図5は、本実施形態における予測処理の一例を示す図である。
図5に示すように、予測処理部112は、過去の複数の検出位置データDI2に基づいて、次回の検出位置データDO2を予測する。予測処理部112は、既存の予測手法を用いて、過去の複数の検出位置データDI2に基づいて、次回の検出位置データDO2を予測する。
再び、図2の説明に戻り、選択処理部113は、検出位置データによる描画の状況に応じて、予測処理部112による予測処理と、ノイズ除去処理部111によるノイズ除去処理と、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する。描画の状況には、例えば、ペン(操作媒体)の画面上の移動速度が含まれる。
ここで、まず、選択処理部113による移動速度の算出処理について説明する。
選択処理部113は、移動速度を以下のように算出する。例えば、1つ前の検出位置データを座標(XN-1,YN-1)とし、最新の検出位置データを座標(X,Y)とした場合、選択処理部113は、下記の式(2)により、X軸方向、及びY軸方向のそれぞれの移動速度を算出する。
Figure 0007098799000003
次に、選択処理部113は、X軸方向、及びY軸方向のそれぞれの移動速度に基づいて、下記の式(3)により、移動速度を算出する。
Figure 0007098799000004
選択処理部113は、式(2)及び式(3)により算出した移動速度に基づいて、検出位置データに対する処理を選択する。
なお、選択処理部113は、所定の数の移動速度値の移動平均値を、移動速度として用いてもよい。
具体的に、選択処理部113は、移動速度が、所定の閾値以下(第1閾値以下)である場合に、ノイズ除去処理と予測処理とのうちのノイズ除去処理を選択して実行する。また、選択処理部113は、移動速度が、所定の閾値(第2閾値)より大きい場合に、ノイズ除去処理と予測処理とのうちの予測処理を選択して実行する。
なお、本実施形態では、上述した第1閾値と第2閾値とが等しい例を説明する。この場合、例えば、選択処理部113は、移動速度が、所定の閾値v1以下(第1閾値以下)である場合に、ノイズ除去処理と予測処理とのうちのノイズ除去処理を選択して実行する。また、選択処理部113は、例えば、移動速度が、所定の閾値v1(第1閾値)より大きく、第1閾値より大きい所定の閾値v2以下(第3閾値以下)である場合に、ノイズ除去処理と予測処理とのうちの予測処理を選択して実行する。また、選択処理部113は、移動速度が、所定の閾値v2(第3閾値)より大きい場合に、ノイズ除去処理と予測処理とのいずれも選択せずに、タッチセンサ部35によって検出された最新の検出位置データを、そのまま出力する。
ペン入力設定部120は、CPU11とチップセット21とにより実現される機能部である。ペン入力設定部120は、利用者からの変更要求に応じて、例えば、上述した位置検出データの予測処理、及びノイズ除去処理の設定(例えば、どちらの処理を選択するのか(許可や無効)、及び予測処理やノイズ除去処理のパラメータやレベル設定など)の変更を行う。
アプリケーション130は、CPU11とチップセット21とにより実現される機能部である。アプリケーション130は、OS上で実行されるアプリケーションであり、例えば、タッチスクリーン20を利用したペン入力処理(手書き入力処理)を実行するアプリケーションである。
アプリケーション130は、ペン入力ドライバ110を介して、エンベデッドコントローラ31が出力した表示部14の検出位置データを取得し、取得した検出位置データに基づいて、ペンなどの操作媒体が画面上に接触して移動した画面上の移動軌跡を、表示部14に表示させる。アプリケーション130は、表示処理部131を備える。
表示処理部131は、ペン入力ドライバ110が出力した検出位置データに基づいて、ペンなどの操作媒体が画面上に接触して移動した画面上の移動軌跡を、表示部14に表示させる。
次に、図面を参照して、本実施形態によるノートPC1の動作について説明する。
図6は、本実施形態によるノートPC1のペン入力処理の一例を示すフローチャートである。
図6において、ノートPC1は、まず、ペンの接触が、表示部14の画面上(タッチセンサ部35のパネル上)にあるか否かを判定する(ステップS101)。ノートPC1のエンベデッドコントローラ31は、タッチセンサ部35にペンの接触があるか否かを判定する。エンベデッドコントローラ31は、タッチセンサ部35にペンの接触がある場合(ステップS101:YES)に、処理をステップS102に進める。また、エンベデッドコントローラ31は、タッチセンサ部35にペンの接触がない場合(ステップS101:NO)に、処理をステップS101に戻す。
ステップS102において、エンベデッドコントローラ31は、位置データを取得する。エンベデッドコントローラ31は、タッチセンサ部35が検出した検出位置データを取得し、ペン入力バッファ部311に記憶させる。また、エンベデッドコントローラ31は、タッチセンサ部35によって検出位置データが検出されたことを示すイベント情報を、メイン制御部10のペン入力ドライバ110に出力する。
次に、ノートPC1のペン入力ドライバ110は、移動速度|v|を算出する(ステップS103)。ペン入力ドライバ110の選択処理部113は、エンベデッドコントローラ31のペン入力バッファ部311が記憶する検出位置データを取得し、上述した式(2)及び式(3)を用いて、移動速度|v|を算出する。
次に、ペン入力ドライバ110の選択処理部113は、移動速度vが“0”より大きく、所定の閾値v1以下である(0<v≦v1)か否かを判定する(ステップS104)。選択処理部113は、移動速度vが“0”より大きく、所定の閾値v1以下である場合(ステップS104:YES)に、処理をステップS105に進める。また、選択処理部113は、移動速度vが“0”より大きく、所定の閾値v1以下でない場合(ステップS104:NO)に、処理をステップS106に進める。
ステップS105において、ペン入力ドライバ110は、ノイズ除去処理を実行する。ペン入力ドライバ110の選択処理部113は、ノイズ除去処理部111に、検出位置データに対して、図4に示すようなノイズ除去処理を実行させ、図3のノイズ除去処理後の検出位置データDO1のような検出位置データを生成する。ステップS105の処理後に、ペン入力ドライバ110は、処理をステップS108に進める。
また、ステップS106において、選択処理部113は、移動速度vが所定の閾値v1より大きく、所定の閾値v2以下である(v1<v≦v2)か否かを判定する。選択処理部113は、移動速度vが所定の閾値v1より大きく、所定の閾値v2以下である場合(ステップS106:YES)に、処理をステップS107に進める。また、選択処理部113は、移動速度vが所定の閾値v1より大きく、所定の閾値v2以下でない場合(ステップS106:NO)に、処理をステップS109に進める。
ステップS107において、ペン入力ドライバ110は、予測処理を実行する。ペン入力ドライバ110の選択処理部113は、予測処理部112に、検出位置データに対して、図5に示すような予測処理を実行させ、予測した検出位置データDO2を生成する。ステップS107の処理後に、ペン入力ドライバ110は、処理をステップS108に進める。
ステップS108において、ペン入力ドライバ110は、処理結果の検出位置データを出力する。すなわち、ペン入力ドライバ110の選択処理部113は、処理結果の検出位置データを、OSを介してアプリケーション130に出力する。ステップS108の処理後に、ペン入力ドライバ110は、処理をステップS101に戻す。
また、ステップS109において、ペン入力ドライバ110は、最新の検出位置データをそのまま出力する。すなわち、ペン入力ドライバ110の選択処理部113は、ペン入力バッファ部311から取得した検出位置データを、予測処理及びノイズ除去処理のいずれも実行せずにそのまま、OSを介してアプリケーション130に出力する。ステップS109の処理後に、ペン入力ドライバ110は、処理をステップS101に戻す。
次に、図7を参照して、本実施形態によるノートPC1のペン入力処理の変形例について説明する。
図7は、本実施形態によるノートPC1のペン入力処理の変形例を示すフローチャートである。
図7に示す変形例では、上述した第2閾値が、第1閾値より大きい場合の一例であり、ペン入力ドライバ110の選択処理部113は、移動速度が、所定の閾値v12以下(第1閾値以下)である場合に、ノイズ除去処理と予測処理とのうちのノイズ除去処理を選択して実行する。また、選択処理部113は、移動速度が、所定の閾値v12(第1閾値)より大きく、所定の閾値v22以下(第2閾値以下)である場合に、ノイズ除去処理と予測処理との両方を選択して実行する。また、選択処理部113は、移動速度が、所定の閾値v22(第2閾値)より大きい場合に、ノイズ除去処理と予測処理とのうちの予測処理を選択して実行する。
図7において、ステップS201からステップS203までの処理は、上述した図6に示すステップS101からステップS103までの処理と同様であるため、ここではその説明を省略する。
ステップS204において、ペン入力ドライバ110の選択処理部113は、移動速度vが“0”より大きく、所定の閾値v12以下である(0<v≦v12)か否かを判定する。選択処理部113は、移動速度vが“0”より大きく、所定の閾値v12以下である場合(ステップS204:YES)に、処理をステップS205に進める。また、選択処理部113は、移動速度vが“0”より大きく、所定の閾値v12以下でない場合(ステップS204:NO)に、処理をステップS206に進める。
ステップS205において、ペン入力ドライバ110は、ノイズ除去処理を実行する。ペン入力ドライバ110の選択処理部113は、ノイズ除去処理部111に、検出位置データに対して、図4に示すようなノイズ除去処理を実行させ、図3のノイズ除去処理後の検出位置データDO1のような検出位置データを生成する。ステップS205の処理後に、ペン入力ドライバ110は、処理をステップS210に進める。
また、ステップS206において、選択処理部113は、移動速度vが所定の閾値v12より大きく、所定の閾値v22以下である(v12<v≦v22)か否かを判定する。選択処理部113は、移動速度vが所定の閾値v12より大きく、所定の閾値v22以下である場合(ステップS206:YES)に、処理をステップS207に進める。また、選択処理部113は、移動速度vが所定の閾値v12より大きく、所定の閾値v22以下でない場合(ステップS206:NO)に、処理をステップS209に進める。
ステップS207において、ノイズ除去処理を実行する。ペン入力ドライバ110の選択処理部113は、ノイズ除去処理部111に、検出位置データに対して、ノイズ除去処理を実行させ、ノイズ除去処理後の検出位置データを生成する。
次に、ペン入力ドライバ110は、予測処理を実行する(ステップS208)。ペン入力ドライバ110の選択処理部113は、予測処理部112に、検出位置データに対して、図5に示すような予測処理を実行させ、予測した検出位置データDO2を生成する。ステップS208の処理後に、ペン入力ドライバ110は、処理をステップS210に進める。
ステップS209において、ペン入力ドライバ110は、予測処理を実行する。選択処理部113は、予測処理部112に、検出位置データに対して、予測処理を実行させ、予測した検出位置データを生成する。ステップS209の処理後に、ペン入力ドライバ110は、処理をステップS210に進める。
ステップS210において、ペン入力ドライバ110は、処理結果の検出位置データを出力する。すなわち、ペン入力ドライバ110の選択処理部113は、処理結果の検出位置データを、OSを介してアプリケーション130に出力する。ステップS210の処理後に、ペン入力ドライバ110は、処理をステップS201に戻す。
以上説明したように、本実施形態によるノートPC1(情報処理装置)は、表示部14と、タッチセンサ部35と、ペン入力ドライバ110(入力処理部)と、表示処理部131とを備える。タッチセンサ部35は、表示部14の画面上に配置され、画面上における物体との接触を検出する。ペン入力ドライバ110は、予測処理と、ノイズ除去処理とを、検出位置データによる描画の状況(例えば、ペンの移動速度など)に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する。ここで、予測処理は、操作媒体が画面上に接触することで、タッチセンサ部35によって所定の検出間隔で検出された画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する処理である。また、ノイズ除去処理は、タッチセンサ部35によって検出された検出位置データを、ノイズ除去して滑らかにする処理である。表示処理部131は、ペン入力ドライバ110が出力した検出位置データに基づいて、操作媒体が画面上に接触して移動した画面上の移動軌跡を、表示部14に表示させる。
これにより、本実施形態によるノートPC1は、描画の状況(例えば、ペンの移動速度など)に応じて、予測処理と、ノイズ除去処理とを選択的に実行しするため、手書き入力において、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる。すなわち、本実施形態によるノートPC1は、予測処理とノイズ除去処理とを選択的に実行しすることにより、手書き入力において、描画品質の向上と、入力レスポンスの向上とを適切に両立させることができる。
また、本実施形態では、描画の状況には、操作媒体の画面上の移動速度が含まれる。ペン入力ドライバ110は、移動速度が、第1閾値以下(例えば、所定の閾値v1以下)である場合に、ノイズ除去処理と予測処理とのうちのノイズ除去処理を選択して実行する。また、ペン入力ドライバ110は、移動速度が、第2閾値(例えば、所定の閾値v1)より大きい場合に、ノイズ除去処理と予測処理とのうちの予測処理を選択して実行する。
これにより、本実施形態によるノートPC1は、例えば、入力レスポンスが問題にならずに、描画品質が問題になる移動速度が遅い場合(移動速度が、第1閾値以下(例えば、所定の閾値v1以下)である場合)に、ノイズ除去処理を選択して実行する。また、本実施形態によるノートPC1は、例えば、描画品質が問題にならずに、入力レスポンスが問題になる、移動速度が速い場合(移動速度が、第2閾値(例えば、所定の閾値v1)より大きい場合)に、予測処理を選択して実行する。そのため、本実施形態によるノートPC1は、描画品質の向上と、入力レスポンスの向上とを適切に選択して行うことができる。
なお、一般に、ペン入力による移動速度が遅いと、入力レスポンスが遅くなることはなく、描画線のふらつきが目立つため、ノイズ除去処理がより重要になる。また、ペン入力による移動速度が速いと、描画線のふらつきが目立たずに、入力レスポンスが遅延が目立つため、予測処理がより重要になる。そのため、本実施形態によるノートPC1は、上述したように、移動速度が速い場合に、予測処理を選択して実行し、移動速度が遅い場合に、ノイズ除去処理を選択して実行するため、描画品質の向上と、入力レスポンスの向上とを適切に選択して行うことができる。
また、本実施形態では、上述した第1閾値と第2閾値が等しい。ペン入力ドライバ110は、移動速度が、第1閾値以下(所定の閾値v1以下)である場合に、ノイズ除去処理と予測処理とのうちのノイズ除去処理を選択して実行する。また、ペン入力ドライバ110は、移動速度が、第1閾値(所定の閾値v1)より大きく、第1閾値(所定の閾値v1)より大きい第3閾値以下(所定の閾値v2以下)である場合に、ノイズ除去処理と予測処理とのうちの予測処理を選択して実行する。また、ペン入力ドライバ110は、移動速度が、第3閾値(所定の閾値v2)より大きい場合に、ノイズ除去処理と予測処理とのいずれも選択せずに、タッチセンサ部35によって検出された最新の検出位置データを、そのまま出力する。
これにより、本実施形態によるノートPC1は、移動速度に応じて、描画品質の向上と、入力レスポンスの向上とをより適切に選択して行うことができる。
また、本実施形態では、描画の状況には、操作媒体の画面上の移動加速度、所定の時間間隔における移動距離、操作媒体の画面上の移動角度の変化、及び描画形状(直線、曲線、文字など)のうちの少なくとも1つが含まれる。
これにより、本実施形態によるノートPC1は、描画の状況に応じて、描画品質の向上と、入力レスポンスの向上とをより適切に選択して行うことができる。
また、本実施形態によるノートPC1は、OS(例えば、Windows(登録商標))に基づく処理を実行するメイン制御部10を備える。メイン制御部10は、ペン入力ドライバ110と、表示処理部131とを含む。そして、ペン入力ドライバ110は、OSに付加されたデバイスドライバによって実現される。
これにより、本実施形態によるノートPC1は、手書き入力において、OS上で実行されるアプリケーション130に依存せずに、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる。
また、本実施形態による変形れでは、上述した第2閾値(所定の閾値v22)は、第1閾値(所定の閾値v12)より大きい。ペン入力ドライバ110は、移動速度が、第1閾値以下(所定の閾値v12以下)である場合に、ノイズ除去処理と予測処理とのうちのノイズ除去処理を選択して実行する。また、ペン入力ドライバ110は、移動速度が、第1閾値(所定の閾値v12)より大きく、第2閾値以下(所定の閾値v22以下)である場合に、ノイズ除去処理と予測処理との両方を選択して実行する。また、ペン入力ドライバ110は、移動速度が、第2閾値(所定の閾値v22)より大きい場合に、ノイズ除去処理と予測処理とのうちの予測処理を選択して実行する。
これにより、本実施形態によるノートPC1は、移動速度に応じて、描画品質の向上と、入力レスポンスの向上とをより適切に選択して行うことができる。
また、本実施形態による制御方法は、表示部14と、表示部14の画面上に配置され、画面上における物体との接触を検出するタッチセンサ部35とを備えるノートPC1の制御方法であって、入力処理ステップと、表示処理ステップとを含む。入力処理ステップにおいて、ペン入力ドライバ110が、上述した予測処理とノイズ除去処理とを、検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する。表示処理ステップにおいて、表示処理部131が、入力処理ステップによって出力された検出位置データに基づいて、操作媒体が画面上に接触して移動した画面上の移動軌跡を、表示部14に表示させる。
これにより、本実施形態による制御方法は、上述したノートPC1と同様の効果を奏し、手書き入力において、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる。
なお、本実施形態によるノートPC1(情報処理装置)は、以下の形態であってもよい。本実施形態によるノートPC1(情報処理装置)は、表示部14と、表示部14の画面上に配置され、画面上における物体との接触を検出するタッチセンサ部35と、プログラムを一時的に記憶するメモリ(例えば、メインメモリ12)と、メモリ(例えば、メインメモリ12)に記憶されたプログラムを実行するプロセッサ(例えば、CPU11及びチップセット21)とを備える。このプロセッサは、メモリに記憶されたプログラムを実行することにより、入力処理と、表示処理とを行う。ここで、入力処理は、上述した予測処理と、ノイズ除去処理とを、検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する処理である。また、表示処理は、入力処理により出力された検出位置データに基づいて、操作媒体が画面上に接触して移動した画面上の移動軌跡を、表示部14に表示させる処理である。
これにより、本実施形態によるノートPC1は、手書き入力において、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる。
[第2の実施形態]
次に、図面を参照して、第2の実施形態によるノートPC1aについて説明する。
図8は、第2の実施形態によるノートPC1aの機能構成の一例を示すブロック図である。なお、本実施形態によるノートPC1aの主要なハード構成は、上述した図1に示す第1の実施形態と同様であるため、ここではその説明を省略する。
また、図8において、上述した図2と同様の構成には同一の符号を付与してもの説明を省略する。
本実施形態では、第1の実施形態において、ペン入力ドライバ110が実行していた、ノイズ除去処理、予測処理、及びこれらの処理の選択処理を、エンベデッドコントローラ31aが実行する変形例について説明する。
図8に示すように、ノートPC1aは、メイン制御部10aと、タッチスクリーン20と、エンベデッドコントローラ(EC)31aと、メイン記憶部40とを備える。なお、図8において、ノートPC1aの構成として、本実施形態の発明に関する主要な機能構成のみを記載している。
エンベデッドコントローラ31aは、ペン入力バッファ部311と、ペン入力処理部320とを備える。
ペン入力処理部320(入力処理部の一例)は、第1の実施形態におけるノイズ除去処理部111、予測処理部112、及び選択処理部113の機能を、ペン入力ドライバ110から、エンベデッドコントローラ31aに移動した機能部である。ペン入力処理部320は、エンベデッドコントローラ31a内部のCPU及びメモリに、メモリが記憶するプログラムを実行させることで実現される機能部である。ペン入力処理部320は、ノイズ除去処理部321と、予測処理部322と、選択処理部323とを備える。
ノイズ除去処理部321と、予測処理部322と、選択処理部323とのそれぞれは、第1の実施形態におけるノイズ除去処理部111と、予測処理部112と、選択処理部113とのそれぞれに対応する。すなわち、ノイズ除去処理部321と、予測処理部322と、選択処理部323とのそれぞれは、第1の実施形態におけるノイズ除去処理部111と、予測処理部112と、選択処理部113とのそれぞれと同様の処理を実行するため、ここではその説明を省略する。
ペン入力処理部320(の選択処理部323)は、選択して実行されたノイズ除去処理部111及び予測処理部112の処理結果の検出位置データを、メイン制御部10aに出力する。
メイン制御部10aは、CPU11及びチップセット21が、メインメモリ12が記憶するプログラムを実行することで実現される機能部であり、OSに基づく各種処理を実行する。メイン制御部10aは、ペン入力ドライバ110aと、ペン入力設定部120と、アプリケーション130とを備える。
ペン入力ドライバ110aは、CPU11とチップセット21とにより実現される機能部であり、タッチスクリーン20によるペン入力処理(手書き入力処理)を制御する。ペン入力ドライバ110aは、エンベデッドコントローラ31aから、ペン入力処理部320による処理後に検出位置データを取得し、アプリケーション130に出力する。ペン入力ドライバ110aは、OS(例えば、Windows(登録商標))に付加されたデバイスドライバである。
以上説明したように、本実施形態によるノートPC1aは、OSに基づく処理を実行するメイン制御部10aと、メイン制御部10aとは異なる組込み制御部であるエンベデッドコントローラ31aとを備えている。ペン入力処理部320(入力処理部)は、エンベデッドコントローラ31a(組込み制御部)に含まれる。ペン入力処理部320(入力処理部)は、予測処理と、ノイズ除去処理とを、検出位置データによる描画の状況(例えば、ペンの移動速度など)に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データをメイン制御部10aに出力する。なお、表示処理部131は、メイン制御部10aに含まれる。表示処理部131は、ペン入力処理部320がペン入力ドライバ110aを介して出力した検出位置データに基づいて、操作媒体が画面上に接触して移動した画面上の移動軌跡を、表示部14に表示させる。
これにより、本実施形態によるノートPC1aは、手書き入力において、OS上で実行されるデバイスドライバ(ペン入力ドライバ110a)及びアプリケーション130に依存せずに、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる。
[第3の実施形態]
次に、図面を参照して、第3の実施形態によるPCシステム100について説明する。
上述した第1及び第2の実施形態では、ノートPC1(1a)の内部に、タッチスクリーン20を備えて、ペン入力などの手書き入力を行う場合について説明したが、第3の実施形態では、タッチスクリーン52を有する外付けのペンタブレット50と、ノートPC1bとを備えたPCシステム100によりペン入力などの手書き入力を行う場合の変形例について説明する。
図9は、本実施形態によるPCシステム100の主要なハードウェア構成の一例を示す図である。
図9に示すように、PCシステム100(情報処理システムの一例)は、ノートPC1bと、ペンタブレット50とを備える。
なお、図9において、図1と同一の構成には同一の符号を付与して、その説明を省略する。
ノートPC1b(情報処理装置の一例)は、タッチスクリーン20(タッチセンサ部35)を備えていない点を除いて、上述したノートPC1(1a)と同様のハード構成である。
ペンタブレット50は、ペン入力などの手書き入力が可能なタブレット端末であり、コントローラ51と、タッチスクリーン52とを備える。
コントローラ51(組込み制御部の一例)は、例えば、CPUを含むプロセッサであり、ペンタブレット50を統括的に制御する。コントローラ51は、ペン入力などの手書き入力の処理を行う場合に、上述するエンベデッドコントローラ31(31a)と同様の処理を実行する。すなわち、コントローラ51は、上述したペン入力バッファ部311及びペン入力処理部320と同様の機能を有するようにしてもよい。
また、コントローラ51は、USBコネクタ24を介して、チップセット21(メイン制御部10(10a))に接続される。コントローラ51は、USBインターフェースを用いて、タッチセンサ部35による検出位置データを、メイン制御部10(10a)に出力する。
タッチスクリーン52は、表示部521及びタッチセンサ部522を備え、上述したタッチスクリーン20と同様に機能する。本実施形態における表示部521及びタッチセンサ部522は、第1及び第2の実施形態の表示部14及びタッチセンサ部35に対応する。
表示部521は、例えば、HDMI(High-Definition Multimedia Interface(登録商標))やDP(Display Port)により、ビデオサブシステム13を介して、メイン制御部10(10a)に接続されている。メイン制御部10(10a)は、HDMI(登録商標)やDPにより、コントローラ51が出力した検出位置データに基づいて、操作媒体が表示部521の画面上に接触して移動した画面上の移動軌跡を、表示部521に表示させる。
次に、本実施形態によるPCシステム100の動作について説明する。
本実施形態では、第2の実施形態のエンベデッドコントローラ31aの代わりに、コントローラ51が、ペン入力処理部320と同様の機能を有し、ノイズ除去処理、予測処理、及びこれらの処理の選択処理を実行してもよいし、第1の実施形態と同様に、ペン入力ドライバ110が、ノイズ除去処理、予測処理、及びこれらの処理の選択処理を実行してもよい。なお、ノイズ除去処理、予測処理、及びこれらの処理の選択処理の詳細については、第1及び第2の実施形態と同様であるため、ここではその説明を省略する。
以上説明したように、本実施形態によるPCシステム100(情報処理システム)は、表示部521と、タッチセンサ部522と、入力処理部(ペン入力ドライバ110、又はコントローラ51)と、表示処理部131とを備える。タッチセンサ部522は、表示部521の画面上に配置され、画面上における物体との接触を検出する。入力処理部(ペン入力ドライバ110、又はコントローラ51)は、検出位置データによる描画の状況に応じて、予測処理と、ノイズ除去処理とを、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する。
これにより、本実施形態によるPCシステム100は、上述したノートPC1(1a)と同様の効果を奏し、手書き入力において、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる。また、本実施形態によるPCシステム100は、手書き入力において、アプリケーションに依存せずに、描画品質の向上と、入力レスポンスの向上とを適切に行うことができる。
なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の各実施形態において、情報処理装置がノートPC1(1a、1b)である例を説明したが、これに限定されるものではなく、例えば、タブレット端末装置、デスクトップPC、スマートフォンなどの他の情報処理装置であってもよい。また、情報処理システムは、ノートPC1bを備えたPCシステム100に限定されるものではなく、上記のような他の情報処理装置を備えるものであってもよい。
また、上記の各実施形態において、描画の状況の一例として、移動速度を用いる例を説明したが、これに限定されるものではなく、例えば、ペンの移動速度(例えば、複数の検出位置データによる平均速度など)、移動速度の変化(移動加速度など)、画面上の移動角度の変化、所定の時間間隔における移動距離、及び描画形状(曲線、直線、文字など)、であってもよい。
例えば、描画の状況が、移動速度の変化(移動加速度など)である場合には、入力処理部(ペン入力ドライバ110、ペン入力処理部320、又はコントローラ51)は、移動速度の変化が上昇している場合に、予測処理を選択し、移動速度の変化が減少している場合に、ノイズ除去処理を選択するようにしてもよい。
また、例えば、描画の状況が、画面上の移動角度の変化である場合には、入力処理部(ペン入力ドライバ110、ペン入力処理部320、又はコントローラ51)は、移動角度の変化が大きい場合に、ノイズ除去処理を選択し、移動角度の変化が小さい場合に、予測処理を選択するようにしてもよい。
また、例えば、描画の状況が、所定の時間間隔における移動距離である場合には、入力処理部(ペン入力ドライバ110、ペン入力処理部320、又はコントローラ51)は、移動距離が大きい場合に、予測処理を選択し、移動距離が小さい場合に、ノイズ除去処理を選択するようにしてもよい。
また、例えば、描画の状況が、描画形状(曲線、直線、文字など)である場合には、入力処理部(ペン入力ドライバ110、ペン入力処理部320、又はコントローラ51)は、直線の場合に、予測処理を選択し、曲線、又は文字の場合に、ノイズ除去処理を選択するようにしてもよい。
また、描画の状況は、ペンの移動速度、及び上述した各描画の状況を組み合わせて用いてもよい。
また、上記の各実施形態において、手書き入力の操作媒体の一例として、ペンを用いる例を説明したが、これに限定されるものではなく、例えば、利用者の指や、専用の電子ペンなどの他の操作媒体であってもよい。
また、上記の各実施形態において、ノイズ除去処理に、カルマンフィルタを用いる例を説明したが、これに限定されるものではなく、例えば、適応フィルタ(Adaptive filter)などの他の手法を用いてもよい。
また、上記の各実施形態において、本発明におけるノイズ除去処理、予測処理、及び選択処理は、ペン入力ドライバ110、エンベデッドコントローラ31aのペン入力処理部320、又はコントローラ51が実行する例を説明したが、これに限定されるものではなく、例えば、アプリケーション130において、これらの処理が実行されるようにしてもよい。
なお、上述したノートPC1(1a)及びPCシステム100が備える各構成は、内部に、コンピュータシステムを有している。そして、上述したノートPC1(1a)及びPCシステム100が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述したノートPC1(1a)及びPCシステム100が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやWAN、LAN、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、CD-ROM等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後にノートPC1(1a)及びPCシステム100が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
また、上述した機能の一部又は全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
1、1a、1b ノートPC
10、10a メイン制御部
20、52 タッチスクリーン
11 CPU
12 メインメモリ
13 ビデオサブシステム
14、521 表示部
21 チップセット
22 BIOSメモリ
23 HDD
24 USBコネクタ
25 オーディオシステム
26 WLANカード
31、31a エンベデッドコントローラ
32 キー入力部
33 ポインティングデバイス
34 電源回路
35、522 タッチセンサ部
40 メイン記憶部
50 ペンタブレット
51 コントローラ
100 PCシステム
110、110a ペン入力ドライバ
111、321 ノイズ除去処理部
112、322 予測処理部
113、323 選択処理部
120 ペン入力設定部
130 アプリケーション
131 表示処理部
311 ペン入力バッファ部
320 ペン入力処理部

Claims (10)

  1. 表示部と、
    前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部と、
    操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理部と、
    前記入力処理部が出力した前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理部と
    を備える情報処理装置。
  2. 前記描画の状況には、前記操作媒体の前記画面上の移動速度が含まれ、
    前記入力処理部は、
    前記移動速度が、第1閾値以下である場合に、前記ノイズ除去処理と前記予測処理とのうちの前記ノイズ除去処理を選択して実行し、
    前記移動速度が、第2閾値より大きい場合に、前記ノイズ除去処理と前記予測処理とのうちの前記予測処理を選択して実行する
    請求項1に記載の情報処理装置。
  3. 前記第1閾値と前記第2閾値が等しく、
    前記入力処理部は、
    前記移動速度が、前記第1閾値以下である場合に、前記ノイズ除去処理と前記予測処理とのうちの前記ノイズ除去処理を選択して実行し、
    前記移動速度が、前記第1閾値より大きく、前記第1閾値より大きい第3閾値以下である場合に、前記ノイズ除去処理と前記予測処理とのうちの前記予測処理を選択して実行し、
    前記移動速度が、前記第3閾値より大きい場合に、前記ノイズ除去処理と前記予測処理とのいずれも選択せずに、前記タッチセンサ部によって検出された最新の検出位置データを、そのまま出力する
    請求項2に記載の情報処理装置。
  4. 前記第2閾値は、前記第1閾値より大きく、
    前記入力処理部は、
    前記移動速度が、前記第1閾値以下である場合に、前記ノイズ除去処理と前記予測処理とのうちの前記ノイズ除去処理を選択して実行し、
    前記移動速度が、前記第1閾値より大きく、前記第2閾値以下である場合に、前記ノイズ除去処理と前記予測処理との両方を選択して実行し、
    前記移動速度が、前記第2閾値より大きい場合に、前記ノイズ除去処理と前記予測処理とのうちの前記予測処理を選択して実行する
    請求項2に記載の情報処理装置。
  5. 前記描画の状況には、前記操作媒体の前記画面上の移動加速度、前記操作媒体の前記画面上の移動角度の変化、及び描画形状のうちの少なくとも1つが含まれる
    請求項1に記載の情報処理装置。
  6. OS(オペレーティングシステム)に基づく処理を実行するメイン制御部を備え、
    前記メイン制御部は、前記入力処理部と、前記表示処理部とを含み、
    前記入力処理部は、前記OSに付加されたデバイスドライバによって実現される
    請求項1から請求項4のいずれか一項に記載の情報処理装置。
  7. OS(オペレーティングシステム)に基づく処理を実行するメイン制御部と、
    前記メイン制御部とは異なる組込み制御部と
    を備え、
    前記入力処理部は、前記組込み制御部に含まれ、
    前記表示処理部は、前記メイン制御部に含まれ、
    前記入力処理部は、前記処理結果の検出位置データを、前記メイン制御部に出力する
    請求項1から請求項4のいずれか一項に記載の情報処理装置。
  8. 表示部と、
    前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部と、
    プログラムを一時的に記憶するメモリと、
    前記メモリに記憶された前記プログラムを実行するプロセッサと
    を備え、
    前記プロセッサは、
    前記メモリに記憶された前記プログラムを実行することにより、
    操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理と、
    前記入力処理により出力された前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理と
    を行う情報処理装置。
  9. 表示部と、
    前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部と、
    操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理部と、
    前記入力処理部が出力した前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理部と
    を備える情報処理システム。
  10. 表示部と、前記表示部の画面上に配置され、前記画面上における物体との接触を検出するタッチセンサ部とを備える情報処理装置の制御方法であって、
    入力処理部が、操作媒体が前記画面上に接触することで、前記タッチセンサ部によって所定の検出間隔で検出された前記画面上の過去の複数の検出位置データに基づいて、次回の検出位置データを予測する予測処理と、前記タッチセンサ部によって検出された検出位置データを、ノイズ除去して滑らかにするノイズ除去処理とを、前記検出位置データによる描画の状況に応じて、選択的に実行し、選択的に実行した処理結果の検出位置データを出力する入力処理ステップと、
    表示処理部が、前記入力処理ステップによって出力された前記検出位置データに基づいて、前記操作媒体が前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理ステップと
    を含む制御方法。
JP2021113535A 2021-07-08 2021-07-08 情報処理装置、情報処理システム、及び制御方法 Active JP7098799B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021113535A JP7098799B1 (ja) 2021-07-08 2021-07-08 情報処理装置、情報処理システム、及び制御方法
EP22175959.0A EP4116805B1 (en) 2021-07-08 2022-05-27 Information processing apparatus, information processing system, and control method
US17/837,292 US11556243B1 (en) 2021-07-08 2022-06-10 Information processing apparatus, information processing system, and control method
CN202210793284.9A CN115599281A (zh) 2021-07-08 2022-07-07 信息处理装置、信息处理系统以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021113535A JP7098799B1 (ja) 2021-07-08 2021-07-08 情報処理装置、情報処理システム、及び制御方法

Publications (2)

Publication Number Publication Date
JP7098799B1 true JP7098799B1 (ja) 2022-07-11
JP2023009888A JP2023009888A (ja) 2023-01-20

Family

ID=82156564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021113535A Active JP7098799B1 (ja) 2021-07-08 2021-07-08 情報処理装置、情報処理システム、及び制御方法

Country Status (4)

Country Link
US (1) US11556243B1 (ja)
EP (1) EP4116805B1 (ja)
JP (1) JP7098799B1 (ja)
CN (1) CN115599281A (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005118215A (ja) * 2003-10-15 2005-05-12 Shima Seiki Mfg Ltd 刺繍データ作成装置と刺繍データの作成方法及び刺繍データの作成プログラム
JP2011253406A (ja) * 2010-06-03 2011-12-15 Seiko Epson Corp 情報処理装置、電子機器及びプログラム
US20180338065A1 (en) * 2017-05-19 2018-11-22 Microsoft Technology Licensing, Llc Adaptive Stylus Position Interpolation

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103034362B (zh) * 2011-09-30 2017-05-17 三星电子株式会社 移动终端中处理触摸输入的方法和设备
US20130271487A1 (en) * 2012-04-11 2013-10-17 Research In Motion Limited Position lag reduction for computer drawing
US9218094B1 (en) * 2012-06-21 2015-12-22 Parade Technologies, Ltd. Sense position prediction for touch sensing methods, circuits and systems
JP6034138B2 (ja) * 2012-11-01 2016-11-30 株式会社東芝 電子機器、筆跡表示方法およびプログラム
US9703473B2 (en) * 2013-01-24 2017-07-11 Facebook, Inc. Predicting touch input
US20160041689A1 (en) * 2013-03-15 2016-02-11 Sharp Kabushiki Kaisha Touch panel system
US9529525B2 (en) 2013-08-30 2016-12-27 Nvidia Corporation Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
US20150153888A1 (en) * 2013-12-02 2015-06-04 Sony Corporation Input system with parallel input data
WO2015118366A1 (en) * 2014-02-04 2015-08-13 Sony Corporation Predictive input system for touch and touchless displays
US9508166B2 (en) * 2014-09-15 2016-11-29 Microsoft Technology Licensing, Llc Smoothing and GPU-enabled rendering of digital ink
GB201618288D0 (en) * 2016-10-28 2016-12-14 Remarkable As Interactive displays

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005118215A (ja) * 2003-10-15 2005-05-12 Shima Seiki Mfg Ltd 刺繍データ作成装置と刺繍データの作成方法及び刺繍データの作成プログラム
JP2011253406A (ja) * 2010-06-03 2011-12-15 Seiko Epson Corp 情報処理装置、電子機器及びプログラム
US20180338065A1 (en) * 2017-05-19 2018-11-22 Microsoft Technology Licensing, Llc Adaptive Stylus Position Interpolation

Also Published As

Publication number Publication date
US20230011852A1 (en) 2023-01-12
US11556243B1 (en) 2023-01-17
EP4116805B1 (en) 2024-03-27
JP2023009888A (ja) 2023-01-20
CN115599281A (zh) 2023-01-13
EP4116805A1 (en) 2023-01-11

Similar Documents

Publication Publication Date Title
JP5789516B2 (ja) ジェスチャー検出ゾーン
WO2021164460A1 (zh) 触摸响应方法、装置、电子设备及存储介质
US11204653B2 (en) Method and device for handling event invocation using a stylus pen
CN111382129A (zh) 文件碎片整理方法、装置、存储介质和相关设备
US11768561B2 (en) Apparatus, system, and method for data smoothing
US9524099B2 (en) Information processing apparatus, non-transitory readable medium, and handwriting input method
JP7098799B1 (ja) 情報処理装置、情報処理システム、及び制御方法
KR20150024213A (ko) 윈도우 영역 조정 방법 및 그에 따른 전자 장치
JP6998436B1 (ja) 情報処理装置、情報処理システム、及び制御方法
CN107665027B (zh) 一种温度控制方法及移动终端
JP2021076959A (ja) 情報処理装置及び情報処理方法
JP7176067B1 (ja) 情報処理装置、及び制御方法
WO2018209464A1 (zh) 一种联系人列表控制方法和终端
EP4080337A1 (en) Information processing apparatus and control method
JP7265048B1 (ja) 情報処理装置、及び制御方法
JP7284844B1 (ja) 情報処理装置、及び制御方法
JP6944555B2 (ja) 情報処理装置及び情報処理方法
JP2011054213A (ja) 情報処理装置および制御方法
JP2023104111A (ja) 情報処理装置、及び制御方法
JP2023179072A (ja) 情報処理装置、及び制御方法
JP2021071959A (ja) 情報処理装置、及び制御方法
JP2023170349A (ja) 情報処理装置、情報処理システム、及び制御方法
JP2023162919A (ja) 情報処理装置
JP2020101907A (ja) 情報処理装置及びタッチパッド制御方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210708

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220629

R150 Certificate of patent or registration of utility model

Ref document number: 7098799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350