JP7487385B1 - 情報処理システム、ペン型入力デバイス、およびプログラム - Google Patents
情報処理システム、ペン型入力デバイス、およびプログラム Download PDFInfo
- Publication number
- JP7487385B1 JP7487385B1 JP2023090919A JP2023090919A JP7487385B1 JP 7487385 B1 JP7487385 B1 JP 7487385B1 JP 2023090919 A JP2023090919 A JP 2023090919A JP 2023090919 A JP2023090919 A JP 2023090919A JP 7487385 B1 JP7487385 B1 JP 7487385B1
- Authority
- JP
- Japan
- Prior art keywords
- pen
- input device
- unit
- type input
- vibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 91
- 230000004044 response Effects 0.000 claims abstract description 41
- 238000001514 detection method Methods 0.000 claims abstract description 8
- 230000035807 sensation Effects 0.000 abstract description 14
- 238000013500 data storage Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 238000013403 standard screening design Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
Description
そこで、本発明は、上記した課題を考慮して、ペン型入力デバイスを用いた入力にあたり、現実に筆記媒体に筆記しているときの感覚に近づくようにすることを目的とする。
図1は、本実施形態の情報処理システムの外観構成例を示している。同図に示されるように、本実施形態の情報処理システムは、情報処理装置100とペン型入力デバイス200とを有する。
ユーザは、ペン型入力デバイス200を把持し、ペン先をタッチパネル表示部102の表示面に接触させるようにして移動させることで、文字、絵、図形等の手書き入力の操作を行うようにされる。
また、ペン型入力デバイス200を用いた操作として、タッチパネル表示部102に表示されているユーザインターフェース画像に対するポインティング操作なども可能とされてよい。
ペン操作対応アプリケーションは、例えばペン型入力デバイス200のペン先をタッチパネル表示部102に対して接触させて行う文字入力、絵描き等の手書き入力操作に応じて、タッチパネル表示部102に文字や絵を表示したり、操作により描画された文字や絵をデータ化する処理などを実行可能とされてよい。
このように、ペン型入力デバイス200を用いて筆記操作が行われているときに、振動の発生とともに筆記音も出力されることで、実物の筆記具により筆記媒体に筆記しているときの感覚にさらに近づけることが可能となる。
まず、情報処理装置100の機能構成例について説明する。同図に示される情報処理装置100としての機能は、情報処理装置100としてのハードウェアが備えるCPU(Central Processing Unit)、GPU(Graphics Processing Unit)等がプログラムを実行することにより実現される。
同図の情報処理装置100は、通信部101、タッチパネル表示部102、制御部103、および記憶部104を備える。
アプリケーション対応処理部131は、パラメータ出力部1311を備える。ペン操作対応アプリケーションに対する操作としてペン型入力デバイス200による筆記操作が行われているとき、タッチパネル122からアプリケーション対応処理部131にペン操作情報が入力される。アプリケーション対応処理部131は、ペン操作情報が入力されたことに応じて、ペン型入力デバイス200に触覚・筆記音フィードバックの動作を行わせるためのフィードバックパラメータを出力する。通信部101は、出力されたフィードバックパラメータD1をペン型入力デバイス200に送信する。
図3は、パラメータ記憶部141が記憶するパラメータデータの一例を示している。同図においては、パラメータ記憶部141が筆記具種別ごとに応じて、パラメータデータとして、振動波形データと筆記音データとを記憶する例が示されている。
振動波形データは、ペン型入力デバイス200に所望の振動状態を発生させるように生成された振動波形を示すデータである。
現実においては、筆記媒体に筆記しているときに感じる触覚は筆記具の種別により異なる。パラメータ記憶部141が記憶する振動波形データのそれぞれは、対応の筆記具種別ごとの触覚を再現するように作成されたものである。
筆記設定データ記憶部142は、ペン操作対応アプリケーションにおいてペン型入力デバイス200による筆記操作に対応して設定された筆記具種別のデータ(筆記具種別データ)を含む設定データである。筆記設定データには、設定された筆記媒体を示すデータ(筆記媒体データ)も含まれてよい。
筆跡音データ記憶部251は、筆跡音データを記憶する。図4は、筆跡音データ記憶部251が記憶する筆跡音データの一例を示している。同図に示されるように、筆跡音データ記憶部251は、筆記具種別ごとに対応させて筆記音データを記憶する。
現実において、筆記媒体に筆記しているときに発せられる筆跡音は筆記具の種別により異なる。筆跡音データ記憶部251が記憶する筆跡音データのそれぞれは、対応の筆記具種別に対応して発せられる筆跡音を再現するように作成されたものである。
ステップS100:情報処理装置100においてタッチパネル122は、ペン型入力デバイス200による筆記操作に応じて指定された座標を検出し、検出した座標を示すペン操作情報を出力する。アプリケーション対応処理部131は、タッチパネル122から出力されたペン操作情報を取得する。
アプリケーション対応処理部131は、取得したペン操作情報に応じた筆跡を表示部121に描画する処理等を実行する。この際、パラメータ出力部1311は、例えば、ペン型入力デバイス200が検知した筆圧を示す筆圧データを受信している場合には、受信された筆圧データが示す筆圧に応じて筆跡の太さ等を変化させるように描画してよい。
例えば、筆記設定データ記憶部142が記憶する筆記設定データを参照して、現在において設定されている筆記具種別を判定する。パラメータ出力部1311は、判定した筆記具種別を示すデータ(筆記具種別データ)をパラメータデータの1つとして取得する。
また、パラメータ出力部1311は、判定した筆記具種別に対応してパラメータ記憶部141に記憶されている振動波形データをフィードバックパラメータとして取得する。
また、筆記設定データにおいて、ペン型入力デバイス200から出力される筆記音の音量を設定した筆記音量データが含まれている場合、パラメータ出力部1311は、筆記音量データが示す音量をパラメータデータの1つとして取得してよい。あるいは、パラメータ出力部1311は、ペン型入力デバイス200が送信した筆圧データが受信されている場合、受信された筆圧データが示す筆圧に応じて設定した筆記音量をパラメータデータとして取得してよい。
ステップS200:ペン型入力デバイス200において通信部201は、ステップS104により情報処理装置100から送信されたフィードバックパラメータD1を受信する。
これに対して、本実施形態の上記構成によれば、絵描き用アプリケーションが筆記に応じた音出力の機能を有していなくとも、APIによりペン操作対応アプリケーションからペン型入力デバイス200にフィードバックパラメータを送信可能とすることで、ペン型入力デバイス200にて、筆記音を出力させることができる。また、図4の処理によっては、ステップS202による振動部202の振動と、ステップS204による筆記音の出力とは、ステップS100にて取得された同じペン操作情報に対応して行われることから、同期したタイミングで行われる。具体的には、ペン型入力デバイス200にて振動が発生しているのと同じタイミングで筆記音が出力される。
また、この場合、情報処理装置100としては上記のAPIを適用すればよく、例えば大きなハードウェア、ソフトウェアの変更は不要となる。
また、本実施形態では、ペン型入力デバイス200にて筆記具種別ごとの筆跡音データを記憶したうえで、ペン操作対応アプリケーションにて設定された筆記具種別を示す筆記具データがフィードバックパラメータに含められている。このような構成により、ペン操作対応アプリケーションにて設定された筆記具種別に適合した筆跡音を出力させることができる。また、情報処理装置100に複数の異なるペン操作対応アプリケーションが実装されているような場合でも、ペン操作対応アプリケーションのそれぞれが上記構成を有することで、いずれのペン操作対応アプリケーションにも対応して、設定された筆記具種別に適合した筆跡音を出力させることができる。
また、ペン型入力デバイスによる筆記に応じて音を出力するようにされた絵描き用アプリケーションでは、筆記に応じた音を情報処理装置から出力することになる。これに対して、本実施形態では、ペン型入力デバイス200から筆記音が出力されることから、現実に筆記具により筆記しているときの感覚により近づけることが可能となる。
ペン型入力デバイス200は、受信したフィードバックパラメータに含まれる筆跡音データを利用して筆記音を出力させてよい。
続いて、第2実施形態について説明する。本実施形態の情報処理システムは、情報処理装置100にて筆記音を出力するように構成される。
本実施形態において、情報処理装置100の制御部103においては、音出力制御部132が備えられる。
また、情報処理装置100の記憶部104は、パラメータ記憶部141、筆記設定データ記憶部142に加えて、筆跡音データ記憶部143が備えられる。
また、情報処理装置100において音出力部105が備えられる。
音出力指示部243は、情報処理装置100の音出力制御部132に筆跡音の出力を指示する。
ステップS300~S304の処理は、図5のステップS100~S104と同様とされてよい。
ステップS400、S402の処理は、図5のステップS200、S202と同様でよい。
また、本実施形態におけるペン型入力デバイス200は、情報処理装置100から送信されたフィードバックパラメータに含まれていた筆記具種別データ(および筆記音量データ)を、音出力指示信号D2に含めて、情報処理装置100の音出力制御部132が音出力の制御に利用可能なデータとして返すようにされている。このような構成により、例えば複数の異なるペン操作対応アプリケーションが情報処理装置100にて導入されている環境のもとであっても、いずれのペン操作対応アプリケーションにも対応して、設定された筆記具種別に対応する適切な筆記音を出力させることができる。
続いて、第3実施形態について説明する。本実施形態の情報処理システムは、情報処理装置100にて筆記音を出力するように構成される。
本実施形態において、情報処理装置100の制御部103においては、音出力制御部132Aが備えられる。また、ペン型入力デバイス200において音出力指示部243は省略される。
ステップS500~S504の処理は、図7のステップS300~S304と同様とされてよい。ただし、ステップS504により送信されるフィードバックパラメータについては、振動波形データが含まれればよく、筆記音量データ等の筆記音の出力制御に関するデータは含まれなくともよい。
Claims (4)
- 情報処理装置とペン型入力デバイスとを備え、
前記情報処理装置は、
前記ペン型入力デバイスの接触を検出するセンサ部と、
振動波形データを記憶する第1記憶部と、
前記センサ部による前記接触の検出に応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータとして前記第1記憶部から取得した振動波形データを含むフィードバックパラメータを前記ペン型入力デバイスに送信するパラメータ出力部と、
を備え、
前記ペン型入力デバイスは、
振動部と、
受信されたフィードバックパラメータに含まれる振動波形データに基づいて、前記振動部を振動させる振動制御部と、
筆跡音データを記憶する第2記憶部と、
音出力部と、
前記パラメータ出力部によるフィードバックパラメータの出力に応じて、前記振動部の振動に応じたタイミングで、前記第2記憶部が記憶する筆跡音データに基づく音を前記音出力部から出力させる音出力制御部とを備える
情報処理システム。 - 前記フィードバックパラメータは、前記ペン型入力デバイスに対応して設定された筆記具種別を示す筆記具種別データを含み、
前記音出力部は、前記筆記具種別データが示す筆記具種別に対応する筆跡音を出力する
請求項1に記載の情報処理システム。 - ペン型入力デバイスの接触を検出したことに応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータとして第1記憶部から取得した振動波形データを含むフィードバックパラメータを前記ペン型入力デバイスに送信する情報処理装置であって、前記第1記憶部を備える情報処理装置と通信を行う通信部と、
振動部と、
受信されたフィードバックパラメータに含まれる振動波形データに基づいて、前記振動部を振動させる振動制御部と、
筆跡音データを記憶する第2記憶部と、
音出力部と、
フィードバックパラメータの受信に応じて、前記振動部の振動に応じたタイミングで、前記第2記憶部が記憶する筆跡音データに基づく音を前記音出力部から出力させる音出力制御部と
を備えるペン型入力デバイス。 - ペン型入力デバイスとしてのコンピュータを、
ペン型入力デバイスの接触を検出したことに応じて、少なくとも前記ペン型入力デバイスの振動を制御するためのパラメータとして第1記憶部から取得した振動波形データを含むフィードバックパラメータを前記ペン型入力デバイスに送信する情報処理装置であって、前記第1記憶部を備える情報処理装置と通信を行う通信部、
受信されたフィードバックパラメータに含まれる振動波形データに基づいて、前記ペン型入力デバイスが備える振動部を振動させる振動制御部、
フィードバックパラメータの受信に応じて、前記振動部の振動に応じたタイミングで、前記ペン型入力デバイスが備える第2記憶部が記憶する筆跡音データに基づく音を、前記ペン型入力デバイスが備える音出力部から出力させる音出力制御部
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023090919A JP7487385B1 (ja) | 2023-06-01 | 2023-06-01 | 情報処理システム、ペン型入力デバイス、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023090919A JP7487385B1 (ja) | 2023-06-01 | 2023-06-01 | 情報処理システム、ペン型入力デバイス、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP7487385B1 true JP7487385B1 (ja) | 2024-05-20 |
Family
ID=91082765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023090919A Active JP7487385B1 (ja) | 2023-06-01 | 2023-06-01 | 情報処理システム、ペン型入力デバイス、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7487385B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008078523A1 (ja) | 2006-12-25 | 2008-07-03 | Konica Minolta Holdings, Inc. | 手書き電子入力システム |
WO2014207989A1 (ja) | 2013-06-28 | 2014-12-31 | ソニー株式会社 | 下敷体 |
JP2020091780A (ja) | 2018-12-07 | 2020-06-11 | シャープ株式会社 | 筆記入力装置及び筆記入力システム |
JP2020204814A (ja) | 2019-06-14 | 2020-12-24 | 任天堂株式会社 | 情報処理プログラム |
-
2023
- 2023-06-01 JP JP2023090919A patent/JP7487385B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008078523A1 (ja) | 2006-12-25 | 2008-07-03 | Konica Minolta Holdings, Inc. | 手書き電子入力システム |
WO2014207989A1 (ja) | 2013-06-28 | 2014-12-31 | ソニー株式会社 | 下敷体 |
JP2020091780A (ja) | 2018-12-07 | 2020-06-11 | シャープ株式会社 | 筆記入力装置及び筆記入力システム |
JP2020204814A (ja) | 2019-06-14 | 2020-12-24 | 任天堂株式会社 | 情報処理プログラム |
Non-Patent Citations (1)
Title |
---|
大菅 誠弥,振動により筆記感覚を再現するペン型インタフェース,インタラクション2016論文集 [online],2016年02月24日,pp.773-775 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8944824B2 (en) | Multi-modal learning system | |
US20140340328A1 (en) | Drawing apparatus and drawing system | |
US10120446B2 (en) | Haptic input device | |
JP5093117B2 (ja) | 手書き電子入力システム | |
US8842100B2 (en) | Customer authoring tools for creating user-generated content for smart pen applications | |
JP2019061711A (ja) | 触覚ディスプレイパラメータの光学的伝送のためのシステム及び方法 | |
TW538365B (en) | Input system, electronic input apparatus, writing instrument for digitizer input, digitizer, method for inputting coordinates, method for transmitting coordinate information, and storage medium | |
US20130307829A1 (en) | Haptic-acoustic pen | |
US20030067450A1 (en) | Interactive system and method of interaction | |
JP2014222492A (ja) | 描画装置及び描画システム | |
US9329686B2 (en) | Haptic feedback method, haptic feedback apparatus, electronic device and stylus | |
JP2010529539A (ja) | マルチモーダルスマートペンのコンピューティングシステム | |
US20170220140A1 (en) | Digital Cursor Display Linked to a Smart Pen | |
WO2022166752A1 (zh) | 触控笔及控制方法 | |
WO2019038888A1 (ja) | 振動制御装置 | |
TW201441873A (zh) | 觸覺回饋的提供方法、系統與觸控筆 | |
JP4736605B2 (ja) | 表示装置、情報処理装置、及びその制御方法 | |
KR20110076283A (ko) | 사용자 입력 패턴에 따른 피드백 제공 방법 및 장치 | |
JP7487385B1 (ja) | 情報処理システム、ペン型入力デバイス、およびプログラム | |
JP7457863B1 (ja) | 情報処理システム | |
JP7404584B1 (ja) | 入力デバイス制御システムおよび入力デバイス制御方法 | |
US20150013529A1 (en) | Music user interface | |
KR101517738B1 (ko) | 음성제어 영상표시 장치 및 영상표시 장치의 음성제어 방법 | |
KR101682214B1 (ko) | 전자잉크 키보드 | |
JP7440683B1 (ja) | 入力デバイス及び情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230601 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20231003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240508 |