JP7393568B1 - 情報処理システム、及び制御方法 - Google Patents

情報処理システム、及び制御方法 Download PDF

Info

Publication number
JP7393568B1
JP7393568B1 JP2023000173A JP2023000173A JP7393568B1 JP 7393568 B1 JP7393568 B1 JP 7393568B1 JP 2023000173 A JP2023000173 A JP 2023000173A JP 2023000173 A JP2023000173 A JP 2023000173A JP 7393568 B1 JP7393568 B1 JP 7393568B1
Authority
JP
Japan
Prior art keywords
pen
image data
vibration
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023000173A
Other languages
English (en)
Other versions
JP2024096593A (ja
Inventor
圭一 吉冨
ゾシン ウー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Priority to JP2023000173A priority Critical patent/JP7393568B1/ja
Priority to US18/107,184 priority patent/US20230251112A1/en
Priority to EP23210519.7A priority patent/EP4398077A1/en
Application granted granted Critical
Publication of JP7393568B1 publication Critical patent/JP7393568B1/ja
Priority to US18/544,979 priority patent/US20240220039A1/en
Priority to CN202410005504.6A priority patent/CN118295518A/zh
Publication of JP2024096593A publication Critical patent/JP2024096593A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ペン入力の違和感を低減する。【解決手段】情報処理システムは、情報処理装置と、前記情報処理装置と通信可能なペンとを備え、前記情報処理装置は、前記ペンの移動軌跡を表示可能な表示部と、前記表示部の画面上における前記ペンの接触位置を検出するタッチセンサ部と、前記タッチセンサ部が検出した前記ペンの接触位置に基づいて、前記ペンの移動軌跡を、前記表示部に表示させる表示処理部と、前記移動軌跡を含む前記表示部が表示する画像データを前記ペンに送信する画像送信処理部と、前記タッチセンサ部が検出した前記ペンの接触位置を、前記ペンに送信する位置送信処理部とを備え、前記ペンは、振動波形信号に基づいて、振動を出力する振動発生器と、前記画像データの前記移動軌跡を含む描画物と、前記ペンの接触位置とが一致した場合に、前記振動波形信号に特定の波形信号を加算して、前記振動発生器に振動を出力させる振動制御部とを備える。【選択図】図３

Description

本発明は、情報処理システム、及び制御方法に関する。
近年、電子ペン、スマートペン、スタイラス、などとも呼ばれる入力デバイスであるペンと、当該ペンによる手書き入力が可能なタブレット端末などの情報処理装置とを備える情報処理システムが知られている（例えば、特許文献１を参照）。このような情報処理システムでは、ペンが、例えば、振動などを発生するアクチュエータなどを搭載するものがあり、このようなペンを用いて振動を発生させることで、実際に紙にペンで書き込んでいるような触感を再現しようとする試みが行われている。
特表２０１７－５３７３９５号公報
しかしながら、現実の紙とペンとでは複雑な振動が発生するが、上述のような従来の情報処理システムでは、触感の再現が不十分であった。例えば、ペンで描画した描画軌跡の上を、ペンがクロスする場合に、ペンの移動が引っかかる感触など変化が発生するが、従来の情報処理システムでは、ペンが描画軌跡をクロスする際のペン入力の感触に違和感を感じる場合があった。
本発明は、上記問題を解決すべくなされたもので、その目的は、ペン入力の違和感を低減することができる情報処理システム、及び制御方法を提供することにある。
上記問題を解決するために、本発明の一態様は、情報処理装置と、前記情報処理装置と通信可能なペンとを備える情報処理システムであって、前記情報処理装置は、前記ペンの移動軌跡を表示可能な表示部と、前記表示部の画面上における前記ペンの接触位置を検出するタッチセンサ部と、前記タッチセンサ部が検出した前記ペンの接触位置に基づいて、前記ペンが前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理部と、前記移動軌跡を含む前記表示部が表示する画像データを前記ペンに送信する画像送信処理部と、前記タッチセンサ部が検出した前記ペンの接触位置を、前記ペンに送信する位置送信処理部とを備え、前記ペンは、振動波形信号に基づいて、振動を出力する振動発生器と、前記画像データの前記移動軌跡を含む描画物と、前記ペンの接触位置とが一致した場合に、前記振動波形信号に特定の波形信号を加算して、前記振動発生器に振動を出力させる振動制御部とを備える情報処理システムである。
また、本発明の一態様は、上記の情報処理システムにおいて、前記画像送信処理部は、グレイスケールに変換した前記画像データを、前記ペンに送信し、前記振動制御部は、前記画像データにおいて、前記ペンの移動による通過区間の濃淡の階調値が閾値を黒側に超えた場合に、前記振動波形信号に前記特定の波形信号を加算して、前記振動発生器に振動を出力させてもよい。
また、本発明の一態様は、上記の情報処理システムにおいて、前記画像送信処理部は、定期的に、前記画像データを前記ペンに送信して、前記画像データを更新するようにしてもよい。
また、本発明の一態様は、上記の情報処理システムにおいて、前記画像送信処理部は、定期的に、前記ペンの接触位置の周辺を含む部分画像データを前記ペンに送信して、前記画像データを更新するようにしてもよい。
また、本発明の一態様は、上記の情報処理システムにおいて、前記ペンは、前記画像データを記憶する画像データ記憶部を備え、前記画像送信処理部は、前記画像データを前記ペンに送信して、前記画像データ記憶部に記憶させ、前記振動制御部は、前記画像データ記憶部から取得した前記画像データの前記描画物と、前記ペンの接触位置とが一致した場合に、前記振動波形信号に特定の波形信号を加算して、前記振動発生器に振動を出力させてもよい。
また、本発明の一態様は、上記の情報処理システムにおいて、ペンの移動軌跡を表示可能な表示部と、前記表示部の画面上における前記ペンの接触位置を検出するタッチセンサ部とを有する情報処理装置と、前記情報処理装置と通信可能であり、振動波形信号に基づいて、振動を出力する振動発生器を有するペンとを備える情報処理システムの制御方法であって、前記情報処理装置が、前記タッチセンサ部が検出した前記ペンの接触位置に基づいて、前記ペンが前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理ステップと、前記情報処理装置が、前記移動軌跡を含む前記表示部が表示する画像データを前記ペンに送信する画像送信処理ステップと、前記情報処理装置が、前記タッチセンサ部が検出した前記ペンの接触位置を、前記ペンに送信する位置送信処理ステップと、前記ペンが、前記画像データの前記移動軌跡を含む描画物と、前記ペンの接触位置とが一致した場合に、前記振動波形信号に特定の波形信号を加算して、前記振動発生器に振動を出力させる振動制御ステップとを含む制御方法である。
本発明によれば、ペン入力の違和感を低減することができる。
本実施形態による情報処理システムの一例を示す外観図である。 本実施形態による情報処理システムの主要なハードウェア構成の一例を示す図である。 本実施形態による情報処理システムの機能構成の一例を示すブロック図である。 本実施形態におけるタブレット端末の画像データの送信処理の一例を示すフローチャートである。 本実施形態における画像データの一例を示す図である。 本実施形態におけるペンの画像データの受信処理の一例を示すフローチャートである。 本実施形態におけるタブレット端末のペン入力処理の一例を示すフローチャートである。 本実施形態におけるペンの振動出力処理の一例を示すフローチャートである。 本実施形態による情報処理システムの振動出力処理の一例を説明する図である。
以下、本発明の一実施形態による情報処理システム、及び制御方法について、図面を参照して説明する。
図１は、本実施形態による情報処理システム１００の一例を示す外観図である。
図１に示すように、情報処理システム１００は、タブレット端末１と、ペン３０とを備える。なお、本実施形態において、情報処理装置の一例として、タブレット端末１について説明する。
タブレット端末１は、筐体ＣＳ１の片方の主面に、タッチスクリーン２０が設置されており、ペン３０を用いて、例えば、メモ帳、描画などのアプリケーションプログラムを実行させる。
タッチスクリーン２０は、表示部２１と、タッチセンサ部２２とを備え、表示部２１は、表示画面ＤＦに各種情報を表示する。
タッチセンサ部２２は、表示部２１に重ねて配置されており、ペン３０が、表示部２１の表示画面ＤＦに接触することを検出するとともに、ペン３０の接触位置を検出する。
なお、タッチスクリーン２０、表示部２１、及びタッチセンサ部２２の詳細については、後述する。
次に、図２を参照して、情報処理システム１００の主要なハードウェア構成について説明する。
図２は、本実施形態による情報処理システム１００の主要なハードウェア構成の一例を示す図である。
図２に示すように、情報処理システム１００は、タブレット端末１とペン３０とを備える。また、タブレット端末１は、プロセッサ１１と、メインメモリ１２と、フラッシュメモリ１３と、タッチスクリーン２０と、周辺デバイス２３と、オーディオシステム２４と、マイク２５と、スピーカ２６と、ベースバンドチップ２７と、無線部２８と、無線通信部２９とを備える。
プロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）を含むアプリケーションプロセッサである。プロセッサ１１は、タブレット端末１の全体を制御する。
メインメモリ１２は、プロセッサ１１の実行プログラムの読み込み領域として、又は、実行プログラムの処理データを書き込む作業領域として利用される書き込み可能メモリである。メインメモリ１２は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップで構成される。この実行プログラムには、ＯＳ（Operating System：オペレーティングシステム）、周辺機器類をハードウェア操作するための各種デバイスドライバ、各種サービス／ユーティリティ、アプリケーションプログラム（アプリケーションソフトウェア）、等が含まれる。
フラッシュメモリ１３は、例えば、フラッシュＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）であり、ＯＳ、各種ドライバ、各種サービス／ユーティリティ、アプリケーションプログラム（以下、アプリケーションということがある）、及び各種データを記憶する。
表示部２１は、例えば、液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイであり、プロセッサ１１から出力された描画データ（表示データ）に基づく表示画面を表示する。表示部２１は、例えば、ペン３０の移動軌跡（描画軌跡）を表示可能である。
タッチセンサ部２２は、表示部２１の画面上（表示画面ＤＦ上）におけるペン３０などの操作媒体の位置と、ペン３０の画面上への接触を検出する。タッチセンサ部２２は、表示部２１の画面上におけるペン３０の接触位置を検出する。
周辺デバイス２３は、例えば、ＷＬＡＮ（Wireless Local Area Network）モジュール、ＧＰＳ（Global Positioning System）モジュール、及び加速度センサなどのセンサ類、等である。
オーディオシステム２４は、例えば、オーディオＩＣ（Integrated Circuit）であり、音データの入力、記録、再生、出力を行う。オーディオシステム２４には、例えば、マイク２５と、スピーカ２６とが接続されている。オーディオシステム２４は、例えば、マイク２５が収音した音データを、プロセッサ１１又はベースバンドチップ２７に出力する。また、オーディオシステム２４は、例えば、プロセッサ１１又はベースバンドチップ２７から取得した音データを音信号に変換して、スピーカ２６に出力する。
マイク２５は、タブレット端末１の周辺の音を収音する。マイク２５は、例えば、他の端末と音声融和する際に、利用者の音声等の音を収音する。
スピーカ２６は、タブレット端末１の外部に、各種音を出力する。スピーカ２６は、例えば、他の端末と音声融和する際に、他の端末から受信した音を出力（放音）する。
ベースバンドチップ２７は、例えば、４Ｇ（第４世代移動通信システム）や５Ｇ（第４世代移動通信システム）などの無線通信を制御する専用ＩＣである。ベースバンドチップ２７は、例えば、無線部２８を用いて受信した音声データを、オーディオシステム２４を介して、スピーカ２６に出力させる。また、ベースバンドチップ２７は、例えば、マイク２５から収音した音データを、オーディオシステム２４を介して取得し、無線部２８を用いて、移動通信システムにより出力させる。また、ベースバンドチップ２７は、移動通信システムによるデータ通信の入出力データを、プロセッサ１１との間でデータ通信する。
無線部２８は、移動通信システムによる無線通信を行うための、アンテナを含む無線通信デバイスである。
無線通信部２９（第１無線通信部の一例）は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールであり、ペン３０との間で無線通信を行う。無線通信部２９は、例えば、後述する画像データやペン３０の接触位置情報を、ペン３０に送信する。
ペン３０は、ペン形状の操作媒体であり、例えば、タッチペン、スタイラスペンなどである。ペン３０は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により、タブレット端末１と通信可能である。ペン３０は、無線通信部３１と、ＤＡＣ（Digital Analog Converter）３２と、アンプ３３と、アクチュエータ３４と、メモリ３５と、ＭＣＵ３６とを備える。
無線通信部３１（第２無線通信部の一例）は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールであり、タブレット端末１とペンとの間で無線通信を行う。無線通信部３１は、タブレット端末１から、例えば、画像データ及びペン３０の接触位置情報を受信し、受信した画像データ及びペン３０の接触位置情報をＭＣＵ３６に供給する。
また、無線通信部３１は、例えば、センサ（不図示）によるペン３０の接触圧力の計測値を、タブレット端末１に送信する。すなわち、無線通信部３１は、無線通信部２９との間で、無線通信を行う。また、無線通信部３１は、例えば、アクチュエータ３４から出力する振動波形信号の情報を、タブレット端末１から受信する。
ＤＡＣ３２は、ＭＣＵ３６から出力された振動波形信号のデジタルデータをアナログ信号に変換して、後段のアンプ３３に出力する。ＭＣＵ３６から出力された振動波形信号は、ペン３０により、現実の紙とペンとの書き心地を再現するための振動用の波形信号であり、後述するペン３０が描画線を跨ぐ（クロスする）場合の特定の波形信号（例えば、パルス波形）を含む波形信号である。振動波形信号の詳細については、後述する。
アクチュエータ３４（振動発生器の一例）は、例えば、ピエゾ素子などの圧電振動子を用いて振動を発生する発生器であり、振動波形信号に基づいて、振動を出力する。アクチュエータ３４は、ＤＡＣ３２が出力する振動波形信号を、振動に変換して、ペン３０を振動させる。
メモリ３５は、例えば、ＲＡＭなどで構成され、ペン３０の制御プログラムの一部やＭＣＵ３６の処理データを記憶する。なお、メモリ３５は、ＲＡＭの他に、フラッシュメモリやＲＯＭなどを含んでいてもよい。
ＭＣＵ（Micro Controller Unit）３６は、ＣＰＵ、ＲＯＭやＲＡＭなどのメモリ、Ｉ／Ｏ関連などを備え、ペン３０を統括的に制御する。ＭＣＵ３６は、無線通信部３１が受信した画像データをメモリ３５に記憶させる。また、ＭＣＵ３６は、振動波形信号を生成して、ＤＡＣ３２及びアンプ３３を介して、振動波形信号をアクチュエータ３４に供給して、振動波形信号に基づく振動（又は音）をアクチュエータ３４に発生させる。
次に、図３を参照して、本実施形態による情報処理システム１００の機能構成について説明する。
図３は、本実施形態による情報処理システム１００の機能構成の一例を示すブロック図である。
図３に示すように、情報処理システム１００は、タブレット端末１とペン３０とを備え、タブレット端末１は、制御部１０と、タッチスクリーン２０と、記憶部４０と、無線通信部２９とを備える。
タッチスクリーン２０は、表示部２１と、タッチセンサ部２２とを備える。
タッチセンサ部２２は、ペン入力として、表示部２１の画面上におけるペン３０の接触位置を検出する。タッチセンサ部２２は、ペン３０の接触位置として、例えば、表示部２１の表示画面ＤＦ上の２次元座標を示す接触位置情報を検出する。タッチセンサ部２２は、接触位置情報を制御部１０に出力する。
記憶部４０は、例えば、メインメモリ１２又はフラッシュメモリ１３により実現される記憶部であり、画像データ記憶部４１と、ペン位置情報記憶部４２とを備える。
画像データ記憶部４１は、例えば、メインメモリ１２により実現される記憶部であり、表示画面ＤＦに表示されている画像をキャプチャした画像データを記憶する。なお、画像データには、表示画面ＤＦ全体の画像データ（全体画像データ）と、部分画像データとが含まれる。
ペン位置情報記憶部４２は、例えば、メインメモリ１２により実現される記憶部であり、タッチセンサ部２２が検出した接触位置情報をペン位置情報として記憶する。ペン位置情報記憶部４２は、例えば、時刻情報と、接触位置情報とを対応付けて記憶する。ペン位置情報記憶部４２が記憶するペン位置情報は、例えば、ペン３０の画面上の移動軌跡を、表示部２１に表示する際に利用される。
制御部１０は、例えば、プロセッサ１１がメインメモリ１２又はフラッシュメモリ１３が記憶するプログラムを実行することで実現される機能部であり、ＯＳ（例えば、Ａｎｄｒｏｉｄ（登録商標）など）に基づく各種処理を実行する。制御部１０は、入力処理部１０１と、表示処理部１０２と、ペン振動制御部１１０とを備える。
入力処理部１０１は、プロセッサ１１がメインメモリ１２又はフラッシュメモリ１３が記憶するプログラムを実行することで実現される機能部である。入力処理部１０１は、例えば、タッチセンサ部２２による入力を制御するデバイスドライバであり、タッチセンサ部２２の入力によって、表示部２１の画面上（表示画面ＤＦ上）におけるペン３０の位置や接触を検出する。入力処理部１０１は、検出したペン３０の接触位置情報（位置座標）、等をＯＳに出力する。入力処理部１０１が検出した接触位置情報は、例えば、ＯＳによって、ペン位置情報記憶部４２に記憶される。
表示処理部１０２は、プロセッサ１１がメインメモリ１２又はフラッシュメモリ１３が記憶するプログラムを実行することで実現される機能部である。表示処理部１０２は、タッチセンサ部２２が検出したペン３０の接触位置に基づいて、ペン３０が画面上に接触して移動した画面上の移動軌跡を、表示部２１に表示させる。すなわち、表示処理部１０２は、入力処理部１０１を介して検出したペン３０の接触位置情報に基づいて、ペン３０の移動軌跡を表示部２１に表示させる。表示処理部１０２は、例えば、ペン位置情報記憶部４２が記憶するペン位置情報に基づいて、ペン３０の移動軌跡を生成し、表示部２１に表示させる。
ペン振動制御部１１０は、プロセッサ１１がメインメモリ１２又はフラッシュメモリ１３が記憶するプログラムを実行することで実現される機能部であり、ペン３０の振動の制御を行う。ペン振動制御部１１０は、例えば、振動波形信号の指定のための指定情報を、無線通信部２９を介して、ペン３０に送信する。また、ペン振動制御部１１０は、表示画面ＤＦをキャプチャした画像データ及びペン３０の接触位置情報を、無線通信部２９を介して、ペン３０に送信する。なお、ペン振動制御部１１０は、アプリケーションによって実現されてもよいし、ＯＳ上に常駐する常駐プログラムによって実現されてもよい。
ペン振動制御部１１０は、画像送信処理部１１１と、位置送信処理部１１２とを備える。
画像送信処理部１１１は、プロセッサ１１により実現される機能部であり、ペン３０の移動軌跡を含む表示部２１が表示する画像データをペン３０に送信する。画像送信処理部１１１は、表示部２１の表示画面ＤＦに表示されている画像を定期的にキャプチャして画像データ（全体画像データ）を生成し、さらに、画像データをグレイスケールに変換する。画像送信処理部１１１は、グレイスケールに変換した画像データを、画像データ記憶部４１に記憶させる。
画像送信処理部１１１は、画像データ記憶部４１が記憶するグレイスケールに変換した画像データを無線通信部２９を介して、ペン３０に送信する。なお、画像送信処理部１１１は、定期的に、画像データをペン３０に送信して、ペン３０が記憶する画像データを更新する。
また、画像送信処理部１１１は、ペン３０が、表示部２１の画面に接触している場合に、ペン３０の周辺の画像をキャプチャして部分画像データを生成し、さらに、部分画像データをグレイスケールに変換する。画像送信処理部１１１は、グレイスケールに変換した部分画像データを、画像データ記憶部４１に記憶させる。
画像送信処理部１１１は、画像データ記憶部４１が記憶するグレイスケールに変換した部分画像データを無線通信部２９を介して、ペン３０に送信する。すなわち、画像送信処理部１１１は、定期的に、ペン３０の接触位置の周辺を含む部分画像データをペン３０に送信して、ペン３０が記憶する画像データを更新する。
位置送信処理部１１２は、プロセッサ１１により実現される機能部であり、タッチセンサ部２２が検出したペン３０の接触位置を、ペン３０に送信する。位置送信処理部１１２は、ペン３０が、表示部２１の画面に接触している場合に、例えば、タッチセンサ部２２が検出した最新の接触位置情報を、無線通信部２９を介して、ペン３０に送信する。
ペン３０は、無線通信部３１と、振動生成部５０と、ペン記憶部６０と、ペン制御部７０とを備える。
振動生成部５０は、ＤＡＣ３２と、アンプ３３と、アクチュエータ３４とにより実現される機能部であり、振動波形信号に基づく振動をペン３０から出力する。振動生成部５０は、ペン制御部７０から出力された振動波形信号のデータをＤＡＣ３２によりアナログ波形信号に変換し、振動波形信号をアンプ３３により増幅して、振動波形信号に基づく振動をアクチュエータ３４に出力させる。
ペン記憶部６０は、例えば、メモリ３５などにより実現される記憶部であり、ペン３０が利用する各種情報を記憶する。ペン記憶部６０は、振動波形記憶部６１と、画像データ記憶部６２とを備える。
振動波形記憶部６１は、メモリ３５（例えば、フラッシュメモリやＲＯＭなど）により実現される記憶部であり、振動波形信号を記憶する。振動波形記憶部６１は、例えば、振動波形信号の基本波形のデジタルデータ（基本波形データ）、及び後述する描画クロス用の特定の波形（パルス波形）のデジタルデータ、等を記憶する。なお、振動波形記憶部６１は、ペン振動制御部１１０から指定されるペン３０の種類に応じて、複数種類の振動波形信号の基本波形データを記憶していてもよい。
画像データ記憶部６２は、メモリ３５（例えば、ＲＡＭなど）により実現される記憶部であり、タブレット端末１から無線通信部３１を介して受信した画像データを記憶する。ここで、画像データ記憶部６２が記憶する画像データは、現在の表示部２１の画面上に表示されている画像に対応する全体画像データであり、ペン３０による描画物などを含む画像データである。
ペン制御部７０は、例えば、ＭＣＵ３６により実現される機能部であり、ペン３０を統括的に制御する。ペン制御部７０は、例えば、不図示のセンサにより検出したペン３０の先端部の接触圧力の計測値を示す圧力情報を、無線通信部３１を介してタブレット端末１に送信する。また、ペン制御部７０は、振動生成部５０によるペン３０の振動を制御する。ペン制御部７０は、振動制御部７１を備える。
振動制御部７１は、ＭＣＵ３６により実現される機能部であり、振動生成部５０によるペン３０の振動を制御する。振動制御部７１は、無線通信部３１を介してタブレット端末１から指定された振動波形信号を、振動生成部５０に送信して、ペン３０を振動させる。振動制御部７１は、ペン３０を振動させる際に、タブレット端末１から指定された基本波形データを、振動波形記憶部６１から取得し、基本波形データに基づく振動波形データを振動生成部５０に送信して、アクチュエータ３４に振動を出力させる。
また、振動制御部７１は、画像データの移動軌跡を含む描画物と、ペン３０の接触位置とが一致した場合に、振動波形信号に特定の波形信号を加算して、アクチュエータ３４に振動を出力させる。すなわち、振動制御部７１は、画像データ記憶部６２から取得した画像データの描画物と、タブレット端末１から受信したペン３０の接触位置とが一致した場合に、振動波形信号に特定の波形信号を加算して、アクチュエータ３４に振動を出力させる。ここで、振動波形信号の波形データ及び特定の波形信号の波形データは、振動波形記憶部６１が記憶している波形データを用いる。
振動制御部７１は、例えば、画像データにおいて、ペン３０の移動による通過区間の濃淡の階調値が閾値Ｔｈ１を黒側に超えた場合に、振動波形信号に特定の波形信号を加算して、アクチュエータ３４に振動を出力させる。また、振動制御部７１は、例えば、濃淡の階調値が急激に変化する箇所で、振動波形信号に特定の波形信号を加算してもよい。この場合、振動制御部７１は、ペン３０の移動による通過区間の濃淡の階調値の変化値（差分値）が、閾値以上である場合に、振動波形信号に特定の波形信号を加算するようにしてもよい。
次に、図面を参照して、本実施形態による情報処理システム１００の動作について説明する。
図４は、本実施形態におけるタブレット端末１の画像データの送信処理の一例を示すフローチャートである。
図４に示すように、タブレット端末１は、まず、画面にペン３０が接触しているか否かを判定する（ステップＳ１０１）。タブレット端末１の画像送信処理部１１１は、例えば、タッチセンサ部２２によるペン３０の接触の検出により、画面（表示画面ＤＦ）にペン３０が接触しているか否かを判定する。画像送信処理部１１１は、画面にペン３０が接触している場合（ステップＳ１０１：ＹＥＳ）に、処理をステップＳ１０５に進める。また、画像送信処理部１１１は、画面にペン３０が接触していない場合（ステップＳ１０１：ＮＯ）に、処理をステップＳ１０２に進める。
ステップＳ１０２において、画像送信処理部１１１は、画面全体をキャプチャして画像データを生成する。すなわち、画像送信処理部１１１は、表示画面ＤＦの全体をキャプチャして全体画像データを生成する。
次に、画像送信処理部１１１は、画像データをグレイスケールに変換する（ステップＳ１０３）。画像送信処理部１１１は、全体画像データを、白黒の濃色のグレイスケールに変換して、グレイスケールに変換した画像データを、画像データ記憶部４１に記憶させる。
次に、画像送信処理部１１１は、画像データをペン３０に送信する（ステップＳ１０４）。画像送信処理部１１１は、画像データ記憶部４１に記憶されているグレイスケールに変換した画像データ（全体画像データ）を、無線通信部２９を介して、無線通信によりペン３０に送信する。ステップＳ１０４の処理後に、画像送信処理部１１１は、処理をステップＳ１０１に戻す。
このように、画像送信処理部１１１は、定期的に、画像データを無線通信部２９を介して、無線通信によりペン３０に送信して、ペン３０の画像データ記憶部６２に記憶させる。
また、ステップＳ１０５において、画像送信処理部１１１は、ペン３０の周辺の差分情報をキャプチャして部分画像データを生成する。すなわち、画像送信処理部１１１は、ペン３０の周辺の変化した部分の部分画像データを生成する。
次に、画像送信処理部１１１は、部分画像データをグレイスケールに変換する（ステップＳ１０６）。画像送信処理部１１１は、部分画像データを、白黒の濃色のグレイスケールに変換して、グレイスケールに変換した部分画像データを、画像データ記憶部４１に記憶させる。
次に、画像送信処理部１１１は、部分画像データをペン３０に送信して画像データを更新する（ステップＳ１０７）。画像送信処理部１１１は、画像データ記憶部４１に記憶されているグレイスケールに変換した部分画像データを、部分画像データの位置情報を付加して、無線通信部２９を介して、無線通信によりペン３０に送信する。ステップＳ１０７の処理後に、画像送信処理部１１１は、処理をステップＳ１０１に戻す。
このように、画像送信処理部１１１は、画面にペン３０が接触している場合に、定期的に、部分画像データを無線通信部２９を介して、無線通信によりペン３０に送信して、ペン３０の画像データ記憶部６２が記憶する全体画像データを部分画像データにより更新させる。
次に、図５を参照して、本実施形態における画像データについて説明する。
図５は、本実施形態における画像データの一例を示す図である。
画像送信処理部１１１は、表示画面ＤＦをキャプチャして、図５に示すような画像データＧ１を生成する。
図５に示す例では、画像データＧ１には、描画物ＯＢ１として、ペン３０による手書きの“Ｌｏｖｅ ａｎｄ Ｐｅａｃｅ”という描画が含まれている。画像データＧ１は、例えば、表示画面ＤＦのサイズに対応したＢＭＰ（Bit MaP）データである。
次に、図６を参照して、画像データを受信する側のペン３０の処理について説明する。
図６は、本実施形態におけるペン３０の画像データの受信処理の一例を示すフローチャートである。
図６に示すように、ペン３０のペン制御部７０（振動制御部７１）は、画像データ又は部分画像データを受信したか否かを判定する（ステップＳ２０１）。ペン制御部７０は、無線通信部３１によりタブレット端末１から、画像データ又は部分画像データを受信したか否かを判定する。ペン制御部７０は、画像データ又は部分画像データを受信した場合（ステップＳ２０１：ＹＥＳ）に、処理をステップＳ２０２に進める。また、ペン制御部７０は、画像データ又は部分画像データを受信していない場合（ステップＳ２０１：ＮＯ）に、処理をステップＳ２０１に戻す。
ステップＳ２０２において、ペン制御部７０（振動制御部７１）は、受信した画像データが部分画像データであるか否かを判定する。ペン制御部７０は、受信した画像データが部分画像データである場合（ステップＳ２０２：ＹＥＳ）に、処理をステップＳ２０４に進める。また、ペン制御部７０は、受信した画像データが部分画像データでない場合（ステップＳ２０２：ＮＯ）に、処理をステップＳ２０３に進める。
ステップＳ２０３において、ペン制御部７０（振動制御部７１）は、画像データを画像データ記憶部６２に記憶させる。ペン制御部７０は、受信した全体画像データを、画像データ記憶部６２に記憶させて、画像データ（全体画像データ）を更新する。ステップＳ２０３の処理後に、ペン制御部７０は、処理をステップＳ２０１に戻す。
また、ステップＳ２０４において、ペン制御部７０（振動制御部７１）は、部分画像データにより画像データを更新して、画像データ記憶部６２に記憶させる。ペン制御部７０は、部分画像データに付与されている位置情報に基づいて、画像データ記憶部６２が記憶する画像データ（全体画像データ）の一部を置き換えて、画像データ（全体画像データ）を更新し、更新した画像データ（全体画像データ）を画像データ記憶部６２に記憶させる。
このように、ペン３０では、タブレット端末１から受信した画像データ（又は部分画像データ）により、画像データ記憶部６２が記憶する画像データ（全体画像データ）を定期的に更新する。
次に、図７を参照して、本実施形態におけるタブレット端末１のペン入力処理について説明する。
図７は、本実施形態におけるタブレット端末１のペン入力処理の一例を示すフローチャートである。
図７に示すように、タブレット端末１の入力処理部１０１は、ペン入力を検出したか否かを判定する（ステップＳ３０１）。入力処理部１０１は、タッチセンサ部２２によって、ペン入力が検出されたか否かを判定する。入力処理部１０１は、ペン入力を検出した場合（ステップＳ３０１：ＹＥＳ）に、処理をステップＳ３０２に進める。また、入力処理部１０１は、ペン入力を検出していない場合（ステップＳ３０１：ＮＯ）に、処理をステップＳ３０１に戻す。
ステップＳ３０２において、入力処理部１０１は、ペン３０の接触位置情報を取得する。入力処理部１０１は、タッチセンサ部２２から接触位置情報を取得し、ペン位置情報記憶部４２に記憶させる。
次に、タブレット端末１の位置送信処理部１１２は、ペン３０の接触位置情報をペン３０に送信する（ステップＳ３０３）。位置送信処理部１１２は、無線通信部２９を介して、無線通信によりペン３０の接触位置情報をペン３０に送信する。
次に、タブレット端末１の表示処理部１０２は、ペン３０の接触位置情報に基づいてペン３０の移動軌跡を表示部２１に表示する（ステップＳ３０４）。表示処理部１０２は、例えば、ペン位置情報記憶部４２が記憶しているペン３０の接触位置情報に基づいて、画面上のペン３０の移動軌跡を、表示部２１に表示させる。ステップＳ３０４の処理後に、表示処理部１０２は、処理をステップＳ３０１に戻す。
次に、図８を参照して、本実施形態におけるペン３０の振動出力処理について説明する。
図８は、本実施形態におけるペン３０の振動出力処理の一例を示すフローチャートである。
図８に示すように、ペン３０の振動制御部７１は、まず、ペン３０の接触位置情報を受信したか否かを判定する（ステップＳ４０１）。振動制御部７１は、無線通信部３１によってペン３０の接触位置情報を、タブレット端末１から受信したか否かを判定する。振動制御部７１は、ペン３０の接触位置情報を受信した場合（ステップＳ４０１：ＹＥＳ）に、処理をステップＳ４０２に進める。また、振動制御部７１は、ペン３０の接触位置情報を受信していない場合（ステップＳ４０１：ＮＯ）に、処理をステップＳ４０１に戻す。
ステップＳ４０２において、振動制御部７１は、ペン３０の通過区間の濃淡の階調値が閾値Ｔｈ１を黒側（濃側）に超えたか否かを判定する。振動制御部７１は、濃淡の階調値が閾値Ｔｈ１を黒側（濃側）に超えた場合（ステップＳ４０２：ＹＥＳ）に、処理をステップＳ４０３に進める。また、振動制御部７１は、濃淡の階調値が閾値Ｔｈ１を黒側（濃側）に超えていない場合（ステップＳ４０２：ＮＯ）に、処理をステップＳ４０４に進める。
ステップ４０３において、振動制御部７１は、振動波形信号に特定の波形信号を加算して、アクチュエータ３４から振動を出力する。振動制御部７１は、振動波形記憶部６１が記憶する、指定された基本波形データに基づく振動波形信号に、振動波形記憶部６１が記憶する特定の波形信号（パルス波形）を加算（重畳）して、振動生成部５０によりアクチュエータ３４から振動を出力させる。ステップＳ４０３の処理後に、振動制御部７１は、処理をステップＳ４０１に戻す。
また、ステップ４０４において、振動制御部７１は、通常の振動波形信号により、アクチュエータ３４から振動を出力する。振動制御部７１は、振動波形記憶部６１が記憶する、指定された基本波形データに基づく通常の振動波形信号を、振動生成部５０によりアクチュエータ３４から振動を出力させる。ステップＳ４０４の処理後に、振動制御部７１は、処理をステップＳ４０１に戻す。
次に、図９を参照して、本実施形態による情報処理システム１００の振動出力処理の具体例について説明する。
図９は、本実施形態による情報処理システム１００の振動出力処理の一例を説明する図である。
図９（ａ）は、表示画面ＤＦに、上述した図５に示す画像データＧ１を表示している状態において、ペン３０を画面に接触させて位置Ｐ０から位置Ｐ３に移動させた場合の一例を示している。
また、図９（ｂ）では、ペン３０を位置Ｐ０から位置Ｐ３に移動させた場合の通過区間における濃淡の階調値の変化を示している。図９（ｂ）において、グラフは、縦軸が、濃淡の階調値を示し、横軸が移動距離を示している。また、波形Ｗ１は、濃淡の階調値の変化を示している。
また、図９（ｃ）では、ペン３０がアクチュエータ３４に出力させる振動波形を示している。図９（ｃ）において、波形Ｗ２は、通常の振動波形を示し、波形Ｗ３は、追加する特定の振動波形（パルス波形）を示している。
図９に示す例では、画像データＧ１の描画物ＯＢ１である“Ｌｏｖｅ”の手書き描画の“ｏ”（オー）の上に、ペン３０を通過させて、インク線ＬＮ１を引いた場合の一例を示している。ここで、インク線ＬＮ１の位置Ｐ０から位置Ｐ３の間で、“ｏ”の描画線を、位置Ｐ１及び位置Ｐ２において、交差（クロス）する。
この場合、濃淡の階調値の変化は、図９（ｂ）の波形Ｗ１に示すように、位置Ｐ０から白色の階調値が継続されて、位置Ｐ１において、黒色の階調値に変化する。また、位置Ｐ１を通過後に、再び白色の階調値が継続されて、位置Ｐ２において、黒色の階調値に変化する。また、位置Ｐ１を通過後に、再び白色の階調値が継続される。
また、この場合、振動制御部７１は、図９（ｃ）の波形Ｗ２に示すように、位置Ｐ０から位置Ｐ１の間の期間、位置Ｐ１から位置Ｐ２の間の期間、及び位置Ｐ２から位置Ｐ３の間の期間において、波形Ｗ２の振動波形を、アクチュエータ３４に出力させる。また、振動制御部７１は、位置Ｐ１及び位置Ｐ２において、波形Ｗ１に示すように、階調値が、閾値Ｔｈ１を黒側に超えるため、波形Ｗ２に波形Ｗ３の特定の振動波形（パルス波形）を加算した波形を、アクチュエータ３４に出力させる。
以上説明したように、本実施形態による情報処理システム１００は、タブレット端末１（情報処理装置）と、タブレット端末１と通信可能なペン３０とを備える。タブレット端末１は、表示部２１と、タッチセンサ部２２と、表示処理部１０２と、画像送信処理部１１１と、位置送信処理部１１２とを備える。表示部２１は、ペン３０の移動軌跡（描画軌跡）を表示可能である。タッチセンサ部２２は、表示部２１の画面上におけるペン３０の接触位置を検出する。表示処理部１０２は、タッチセンサ部２２が検出したペン３０の接触位置に基づいて、ペン３０が画面上に接触して移動した画面上の移動軌跡を、表示部２１に表示させる。画像送信処理部１１１は、移動軌跡を含む表示部２１が表示する画像データをペン３０に送信する。位置送信処理部１１２は、タッチセンサ部２２が検出したペン３０の接触位置を、ペン３０に送信する。また、ペン３０は、アクチュエータ３４（振動発生器）と、振動制御部７１とを備える。アクチュエータ３４は、振動波形信号に基づいて、振動を出力する。振動制御部７１は、画像データの移動軌跡を含む描画物（例えば、図５に示す描画物ＯＢ１など）と、ペン３０の接触位置とが一致した場合に、振動波形信号に特定の波形信号を加算して、アクチュエータ３４に振動を出力させる。
これにより、本実施形態による情報処理システム１００は、画像データの描画物と、ペン３０の接触位置とが一致した場合に、振動波形信号に特定の波形信号を加算して、アクチュエータ３４に振動を出力させるため、例えば、ペン３０が描画軌跡をクロスする際に、適切な振動を出力することができる。よって、本実施形態による情報処理システム１００は、ペン３０が描画軌跡をクロスする際のペン入力の感触の違和感を低減することができる。
なお、本実施形態による情報処理システム１００では、ペン３０側の振動制御部７１が、ペン３０が描画軌跡をクロスするタイミングを判定して、振動波形信号に特定の波形信号を加算して、アクチュエータ３４に振動を出力させる。例えば、タブレット端末１側で、ペン３０が描画軌跡をクロスするタイミングを判定した場合には、タブレット端末１側で、ペン３０が描画軌跡をクロスするタイミングを判定した後に、振動波形信号を切り替える指示を、ペン３０に送信する必要がある。そのため、タブレット端末１側で、ペン３０が描画軌跡をクロスするタイミングを判定した場合には、振動波形信号を切り替えるまでに遅延（タイムラグ）が発生して、ペン３０が描画軌跡をクロスするタイミングに、振動波形信号を切り替えることは困難である。
これに対して、本実施形態による情報処理システム１００では、ペン３０側の振動制御部７１が、ペン３０が描画軌跡をクロスするタイミングを判定するため、振動波形信号を切り替えるまでの遅延（タイムラグ）を低減することができ、違和感を低減した振動をペン３０に発生することができる。
また、本実施形態では、画像送信処理部１１１は、グレイスケールに変換した画像データを、ペン３０に送信する。振動制御部７１は、画像データにおいて、ペン３０の移動による通過区間の濃淡の階調値が閾値Ｔｈ１を黒側に超えた場合に、振動波形信号（例えば、図９の波形Ｗ２）に特定の波形信号（例えば、図９の波形Ｗ３）を加算して、アクチュエータ３４に振動を出力させる（図９参照）。
これにより、本実施形態による情報処理システム１００は、濃淡の階調値が閾値Ｔｈ１を黒側に超えたことを判定することにより、描画物（例えば、図５に示す描画物ＯＢ１など）と、ペン３０の接触位置とが一致したこと（ペン３０が描画軌跡をクロスしたこと）を、簡単且つ適切に判定することができる。
また、本実施形態では、画像送信処理部１１１は、定期的に、画像データ（全体画像データ）をペン３０に送信して、画像データ（全体画像データ）を更新する。
これにより、本実施形態による情報処理システム１００は、定期的に、画像データ（全体画像データ）をペン３０に送信して、画像データ（全体画像データ）を更新することで、例えば、ペン３０が描画軌跡をクロスするタイミングをさらに適切に判定することができる。
また、本実施形態では、画像送信処理部１１１は、定期的に、ペン３０の接触位置の周辺を含む部分画像データをペン３０に送信して、画像データ（全体画像データ）を更新する。すなわち、画像送信処理部１１１は、表示部２１の表示画面ＤＦにペン３０が接触している場合に、ペン３０の接触位置の周辺を含む部分画像データをペン３０に送信して、画像データ（全体画像データ）を更新する。
これにより、本実施形態による情報処理システム１００は、定期的に、ペン３０の接触位置の周辺を含む部分画像データをペン３０に送信することで、画像データ（全体画像データ）を更新する処理負荷及び通信負荷を低減することができる。
なお、本実施形態による情報処理システム１００では、ペン３０の接触位置の周辺を含む部分画像データをペン３０に送信することで、例えば、ペン３０の描画線の太さが異なる場合などのように、ペン３０の種類が複数ある場合やスタンプなどを描画する場合などにおいて、画像データの更新をより適切に行うことができ、ペン入力の感触の違和感をより適切に低減することができる。
また、本実施形態では、ペン３０は、画像データを記憶する画像データ記憶部６２を備える。画像送信処理部１１１は、画像データをペン３０に送信して、画像データ記憶部６２に記憶させる。振動制御部７１は、画像データ記憶部６２から取得した画像データの描画物と、ペン３０の接触位置とが一致した場合に、振動波形信号に特定の波形信号を加算して、アクチュエータ３４に振動を出力させる。
これにより、本実施形態による情報処理システム１００は、画像データ記憶部６２を備えることにより、ペン３０に画像データを適切に保存することができるとともに、画像データの更新をより適切に行うことができ、ペン入力の感触の違和感をより適切に低減することができる。
また、本実施形態では、タブレット端末１が、無線通信部２９（第１無線通信部）を備え、ペン３０は、無線通信部３１（第２無線通信部）を備える。画像送信処理部１１１及び位置送信処理部１１２は、無線通信部２９（第１無線通信部）と無線通信部３１（第２無線通信部）との間の無線通信により、画像データ及び接触位置情報を、タブレット端末１からペン３０に送信する。
これにより、本実施形態による情報処理システム１００は、無線通信により、画像データ及び接触位置情報を、タブレット端末１からペン３０に送信するため、ペン３０を有線によりタブレット端末１と接続する必要がない。そのため、本実施形態による情報処理システム１００は、ペン３０の操作の自由度を高めることができ、ペン３０の使い勝手を向上させることができる。
また、本実施形態による制御方法は、ペン３０の移動軌跡を表示可能な表示部２１と、表示部２１の画面上におけるペン３０の接触位置を検出するタッチセンサ部２２とを有するタブレット端末１と、タブレット端末１と通信可能であり、振動波形信号に基づいて、振動を出力するアクチュエータ３４を有するペン３０とを備える情報処理システム１００の制御方法であって、表示処理ステップと、画像送信処理ステップと、位置送信処理ステップと、振動制御ステップとを含む。表示処理ステップにおいて、タブレット端末１が、タッチセンサ部２２が検出したペン３０の接触位置に基づいて、ペン３０が画面上に接触して移動した画面上の移動軌跡を、表示部２１に表示させる。画像送信処理ステップにおいて、タブレット端末１が、移動軌跡を含む表示部２１が表示する画像データをペン３０に送信する。位置送信処理ステップにおいて、タブレット端末１が、タッチセンサ部２２が検出したペン３０の接触位置を、ペン３０に送信する。振動制御ステップにおいて、ペン３０が、画像データの移動軌跡を含む描画物と、ペン３０の接触位置とが一致した場合に、振動波形信号に特定の波形信号を加算して、アクチュエータ３４に振動を出力させる。
これにより、本実施形態による制御方法は、上述した情報処理システム１００と同様の効果を奏し、ペン３０が描画軌跡をクロスする際のペン入力の感触の違和感を低減することができる。
なお、本発明は、上記の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
例えば、上記の実施形態において、情報処理装置が、タブレット端末１である例を説明したが、これに限定されるものではない。情報処理装置は、例えば、スマートフォンやタブレットモードを備えるノートブック型パーソナルコンピュータなどであってもよい。
また、上記の各実施形態において、使用するＯＳの一例として、Ａｎｄｒｏｉｄ（登録商標）を用いる例を説明したが、これに限定されるものではなく、例えば、ｉＯＳ（登録商標）などの他のＯＳに適用してもよい。
また、上記の各実施形態において、振動発生器が、アクチュエータ３４である例を説明したが、これに限定されるものではなく、例えば、音を出力するスピーカなどの他の機器であってもよい。また、振動発生器として、アクチュエータ３４とスピーカとを組み合わせて使用してもよい。
また、上記の各実施形態において、無線通信部２９及び無線通信部３１は、無線通信として、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いる例を説明したが、これに限定されるものではなく、他の方式の無線通信を用いてもよい。また、タブレット端末１とペン３０との間の通信は、無線通信の代わりに、有線通信を用いてもよい。
また、上記の各実施形態において、振動制御部７１は、濃淡の階調値が閾値Ｔｈ１を黒側に超えた場合に、特定の波形信号（パルス波形）を加算（重畳）する例を説明したが、これに限定されるものではなく、例えば、色の変化量に応じたレベルの特定の波形信号（パルス波形）を加算又は発生させるようにしてもよい。
なお、上述した情報処理システム１００が備える各構成は、内部に、コンピュータシステムを有している。そして、上述した情報処理システム１００が備える各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより上述した情報処理システム１００が備える各構成における処理を行ってもよい。ここで、「記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行する」とは、コンピュータシステムにプログラムをインストールすることを含む。ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、インターネットやＷＡＮ、ＬＡＮ、専用回線等の通信回線を含むネットワークを介して接続された複数のコンピュータ装置を含んでもよい。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。このように、プログラムを記憶した記録媒体は、ＣＤ－ＲＯＭ等の非一過性の記録媒体であってもよい。
また、記録媒体には、当該プログラムを配信するために配信サーバからアクセス可能な内部又は外部に設けられた記録媒体も含まれる。なお、プログラムを複数に分割し、それぞれ異なるタイミングでダウンロードした後に情報処理システム１００が備える各構成で合体される構成や、分割されたプログラムのそれぞれを配信する配信サーバが異なっていてもよい。さらに「コンピュータ読み取り可能な記録媒体」とは、ネットワークを介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、上述した機能の一部を実現するためのものであってもよい。さらに、上述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
また、上述した機能の一部又は全部を、ＬＳＩ（Large Scale Integration）等の集積回路として実現してもよい。上述した各機能は個別にプロセッサ化してもよいし、一部、又は全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、又は汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
１ タブレット端末
１０ 制御部
１１ プロセッサ
１２ メインメモリ
１３ フラッシュメモリ
２０ タッチスクリーン
２１ 表示部
２２ タッチセンサ部
２３ 周辺デバイス
２４ オーディオシステム
２５ マイク
２６ スピーカ
２７ ベースバンドチップ
２８ 無線部
２９、３１ 無線通信部
３０ ペン
３２ ＤＡＣ
３３ アンプ
３４ アクチュエータ
３５ メモリ
３６ ＭＣＵ
４０ 記憶部
４１、６２ 画像データ記憶部
４２ ペン位置情報記憶部
５０ 振動生成部
６０ ペン記憶部
６１ 振動波形記憶部
７０ ペン制御部
７１ 振動制御部
１００ 情報処理システム
１０１ 入力処理部
１０２ 表示処理部
１１０ ペン振動制御部
１１１ 画像送信処理部
１１２ 位置送信処理部

Claims (6)

  1. 情報処理装置と、前記情報処理装置と通信可能なペンとを備える情報処理システムであって、
    前記情報処理装置は、
    前記ペンの移動軌跡を表示可能な表示部と、
    前記表示部の画面上における前記ペンの接触位置を検出するタッチセンサ部と、
    前記タッチセンサ部が検出した前記ペンの接触位置に基づいて、前記ペンが前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理部と、
    前記移動軌跡を含む前記表示部が表示する画像データを前記ペンに送信する画像送信処理部と、
    前記タッチセンサ部が検出した前記ペンの接触位置を、前記ペンに送信する位置送信処理部と
    を備え、
    前記ペンは、
    振動波形信号に基づいて、振動を出力する振動発生器と、
    前記画像データの前記移動軌跡を含む描画物と、前記ペンの接触位置とが一致した場合に、前記振動波形信号に特定の波形信号を加算して、前記振動発生器に振動を出力させる振動制御部と
    を備える情報処理システム。
  2. 前記画像送信処理部は、グレイスケールに変換した前記画像データを、前記ペンに送信し、
    前記振動制御部は、前記画像データにおいて、前記ペンの移動による通過区間の濃淡の階調値が閾値を黒側に超えた場合に、前記振動波形信号に前記特定の波形信号を加算して、前記振動発生器に振動を出力させる
    請求項１に記載の情報処理システム。
  3. 前記画像送信処理部は、定期的に、前記画像データを前記ペンに送信して、前記画像データを更新する
    請求項１に記載の情報処理システム。
  4. 前記画像送信処理部は、定期的に、前記ペンの接触位置の周辺を含む部分画像データを前記ペンに送信して、前記画像データを更新する
    請求項１に記載の情報処理システム。
  5. 前記ペンは、前記画像データを記憶する画像データ記憶部を備え、
    前記画像送信処理部は、前記画像データを前記ペンに送信して、前記画像データ記憶部に記憶させ、
    前記振動制御部は、前記画像データ記憶部から取得した前記画像データの前記描画物と、前記ペンの接触位置とが一致した場合に、前記振動波形信号に特定の波形信号を加算して、前記振動発生器に振動を出力させる
    請求項１から請求項４のいずれか一項に記載の情報処理システム。
  6. ペンの移動軌跡を表示可能な表示部と、前記表示部の画面上における前記ペンの接触位置を検出するタッチセンサ部とを有する情報処理装置と、前記情報処理装置と通信可能であり、振動波形信号に基づいて、振動を出力する振動発生器を有するペンとを備える情報処理システムの制御方法であって、
    前記情報処理装置が、前記タッチセンサ部が検出した前記ペンの接触位置に基づいて、前記ペンが前記画面上に接触して移動した前記画面上の移動軌跡を、前記表示部に表示させる表示処理ステップと、
    前記情報処理装置が、前記移動軌跡を含む前記表示部が表示する画像データを前記ペンに送信する画像送信処理ステップと、
    前記情報処理装置が、前記タッチセンサ部が検出した前記ペンの接触位置を、前記ペンに送信する位置送信処理ステップと、
    前記ペンが、前記画像データの前記移動軌跡を含む描画物と、前記ペンの接触位置とが一致した場合に、前記振動波形信号に特定の波形信号を加算して、前記振動発生器に振動を出力させる振動制御ステップと
    を含む制御方法。
JP2023000173A 2022-02-10 2023-01-04 情報処理システム、及び制御方法 Active JP7393568B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2023000173A JP7393568B1 (ja) 2023-01-04 2023-01-04 情報処理システム、及び制御方法
US18/107,184 US20230251112A1 (en) 2022-02-10 2023-02-08 Position detection device
EP23210519.7A EP4398077A1 (en) 2023-01-04 2023-11-17 Information processing system and control method
US18/544,979 US20240220039A1 (en) 2023-01-04 2023-12-19 Information processing system and control method
CN202410005504.6A CN118295518A (zh) 2023-01-04 2024-01-03 信息处理系统以及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023000173A JP7393568B1 (ja) 2023-01-04 2023-01-04 情報処理システム、及び制御方法

Publications (2)

Publication Number Publication Date
JP7393568B1 true JP7393568B1 (ja) 2023-12-06
JP2024096593A JP2024096593A (ja) 2024-07-17

Family

ID=88839246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023000173A Active JP7393568B1 (ja) 2022-02-10 2023-01-04 情報処理システム、及び制御方法

Country Status (4)

Country Link
US (1) US20240220039A1 (ja)
EP (1) EP4398077A1 (ja)
JP (1) JP7393568B1 (ja)
CN (1) CN118295518A (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090135164A1 (en) 2007-11-26 2009-05-28 Ki Uk Kyung Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
US20180081456A1 (en) 2016-09-19 2018-03-22 Apple Inc. Multipurpose stylus with exchangeable modules
JP2018185823A (ja) 2012-11-20 2018-11-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プログラム可能な表面テクスチャによってモードまたは状態認識を提供するシステムおよび方法
JP2019169166A (ja) 2009-03-12 2019-10-03 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法
WO2023157556A1 (ja) 2022-02-21 2023-08-24 株式会社ワコム ペン及びペン位置検出装置を含むシステム、ペン位置検出装置、並びに、ペンに内蔵されるハプティクス素子を動作させる方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015114836A (ja) * 2013-12-11 2015-06-22 キヤノン株式会社 画像処理装置、触感制御方法及びプログラム
US11797090B2 (en) * 2021-05-13 2023-10-24 Microsoft Technology Licensing, Llc Stylus haptic output

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090135164A1 (en) 2007-11-26 2009-05-28 Ki Uk Kyung Pointing apparatus capable of providing haptic feedback, and haptic interaction system and method using the same
JP2019169166A (ja) 2009-03-12 2019-10-03 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ サーフェースベースの触覚効果を特徴とするインターフェースのためのシステム及び方法
JP2018185823A (ja) 2012-11-20 2018-11-22 イマージョン コーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ プログラム可能な表面テクスチャによってモードまたは状態認識を提供するシステムおよび方法
US20180081456A1 (en) 2016-09-19 2018-03-22 Apple Inc. Multipurpose stylus with exchangeable modules
WO2023157556A1 (ja) 2022-02-21 2023-08-24 株式会社ワコム ペン及びペン位置検出装置を含むシステム、ペン位置検出装置、並びに、ペンに内蔵されるハプティクス素子を動作させる方法

Also Published As

Publication number Publication date
JP2024096593A (ja) 2024-07-17
CN118295518A (zh) 2024-07-05
US20240220039A1 (en) 2024-07-04
EP4398077A1 (en) 2024-07-10

Similar Documents

Publication Publication Date Title
US10379809B2 (en) Method for providing a voice-speech service and mobile terminal implementing the same
CN103761044B (zh) 触摸事件模型编程接口
KR102389185B1 (ko) 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법
US9542727B2 (en) Reproducing device, setting changing method, and setting changing device
JP7293462B1 (ja) 情報処理システム、情報処理装置、及び制御方法
JP2012257076A (ja) 音制御装置、プログラム及び制御方法
KR20140047897A (ko) 터치 효과를 제공하기 위한 방법 및 그 전자 장치
WO2017173576A1 (zh) 一种显示方法及终端
JP2017521692A (ja) 音声制御映像表示装置及び映像表示装置の音声制御方法
JP4191736B2 (ja) 電界通信システム
CN116449980A (zh) 信息处理装置以及控制方法
US11449176B2 (en) Information processing system and method for avoiding execution of unintentional drawing operations
JP7393568B1 (ja) 情報処理システム、及び制御方法
EP3779668A1 (en) Electronic device and volume adjustment method of electronic device
KR20190021144A (ko) 메시지를 전송하는 전자 장치 및 그 동작 방법
KR20160143428A (ko) 펜 단말기 및 그 제어방법
JP6141887B2 (ja) 書き込まれた内容のための空間的に関係する注釈の表示
KR20150025646A (ko) 음원 생성 방법 및 그 전자 장치
JP2021176049A (ja) 情報処理装置、及び情報処理方法
US11989372B2 (en) Information processing apparatus and controlling method
JP7487385B1 (ja) 情報処理システム、ペン型入力デバイス、およびプログラム
JP7444939B1 (ja) 情報処理装置、及び制御方法
KR20160097467A (ko) 영상표시 장치의 음성제어 방법 및 음성제어 영상표시 장치
KR20230109050A (ko) 터치 입력을 처리하는 방법 및 그 전자 장치
KR20210121923A (ko) 백 그라운드 어플리케이션의 제어 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230104

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231124

R150 Certificate of patent or registration of utility model

Ref document number: 7393568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350