JP7212960B2 - 情報処理方法、電子機器およびパネル型電子機器 - Google Patents

情報処理方法、電子機器およびパネル型電子機器 Download PDF

Info

Publication number
JP7212960B2
JP7212960B2 JP2021036499A JP2021036499A JP7212960B2 JP 7212960 B2 JP7212960 B2 JP 7212960B2 JP 2021036499 A JP2021036499 A JP 2021036499A JP 2021036499 A JP2021036499 A JP 2021036499A JP 7212960 B2 JP7212960 B2 JP 7212960B2
Authority
JP
Japan
Prior art keywords
writing
electronic device
information
pen
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021036499A
Other languages
English (en)
Other versions
JP2021101246A (ja
Inventor
圭司 田谷
崇志 大坪
将城 大溝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2021101246A publication Critical patent/JP2021101246A/ja
Application granted granted Critical
Publication of JP7212960B2 publication Critical patent/JP7212960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/30Writer recognition; Reading and verifying signatures
    • G06V40/33Writer recognition; Reading and verifying signatures based only on signature image, e.g. static signature recognition
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/825Fostering virtual characters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B43WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43KIMPLEMENTS FOR WRITING OR DRAWING
    • B43K29/00Combinations of writing implements with other articles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B43WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43KIMPLEMENTS FOR WRITING OR DRAWING
    • B43K29/00Combinations of writing implements with other articles
    • B43K29/08Combinations of writing implements with other articles with measuring, computing or indicating devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383Signal control means within the pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B11/00Teaching hand-writing, shorthand, drawing, or painting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0384Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Position Input By Displaying (AREA)

Description

本発明は、情報処理方法、電子機器およびパネル型電子機器に関するものであり、特に文字を書いたり、絵を描いたりといった筆記動作に対応してソフトウェア上の画像等の情報を変化させる、またゲームができる情報処理方法、電子機器およびパネル型電子機器に関するものである。
特許文献1および2には、仮想の生物を育てるゲームが開示される。例えば、特許文献1に記載の画像表示装置では、電子式の手帳や電子ゲーム器等の電子機器で、動物や植物等、生物の成長過程を画像として表示している。また、特許文献2に記載の育成シミュレーション装置では、画面内の仮想生命体からの呼びかけや要求に対して遊戯者が応答して対応する処置を行うことにより、仮想生命体をしつけたり、成長させたりするようにしている。
特許文献3には、おもちゃの杖の動きを検出し、ソフトウェアなどに影響を与える技術が開示される。特許文献4には、ペンの動きを読み取り、サーバに伝える技術が開示される。
特許文献5および6には、筆跡を追跡する技術が開示される。すなわち、特許文献5では、筆記用具上の移動する光源からの光を、二次元筆記表面上の筆記用具の位置および経路の表示として伝える段階、2つまたはそれ以上のセンサで光を検知し、検知された光を表す信号のシーケンスを生成する段階、および画素未満の読取りの安定性を高める技術を適用する段階を含む方法が開示される。また、特許文献6では、電子ペンによる筆記情報から体動情報を抽出して解析する手段と、解析手段によって得られる回答状態と、電子ペンによって入力された回答結果と、質問に対する正解情報を少なくとも表示できる表示手段を有する電子添削システムが開示される。
特許文献7には、筆跡入力装置が開示される。すなわち、特許文献7で開示される筆跡入力装置では、入力ペンにより筆記すると、その筆跡がリアルタイムで検出されると共に、描画の通りにTVに表示される。
特許文献8には、手書きで文字を入力する事でゲームを進める事が出来る手書き文字入力ゲーム装置が開示される。この装置は、お手本となる文字を表示する手段と、ペン入力により手書き文字を入力しその内容を同時に表示する手段と、手書き文字のストロークを認識する手段と、入力された文字のストロークを判定する手段と、学習の難易度とお手本を記憶する手段と、判定された結果により表示手段にその結果及び、次の難易度のお手本を表示する進行手段で構成される。
特許文献9には、携帯手書き文字入力装置が開示される。この装置では、手書き文字をカメラにより読取り映像データとしてメモリに記憶し、記憶した映像データを赤外線により外部装置に発信している。
特許文献10には、対話型ペインティングゲームに関連するコントローラが開示される。このコントローラは、三次元空間におけるコントローラの位置情報を追跡するとともに位置情報を表すセンサー信号をコンピュータに送信するように構成されたセンサーと、コントローラに接続されたプロセッサから制御信号を受信するとハプティック効果をユーザに出力するように構成されたアクチュエータと、を備える。
また、特許文献11から14には、歯ブラシの動きを検知して歯磨きに関する支援を行う装置が開示される。
特開平7-160853号公報 特開平10-232595号公報 特表2006-521162号公報 特表2004-537342号公報 特開2009-187565号公報 特開2009-031614号公報 特開平7-248875号公報 特開2006-204853号公報 特開2002-041230号公報 特表2012-512724号公報 国際公開第WO2016/104442号 特開2017-060661号公報 特開2017-060662号公報 特開2009-240760号公報
勉強や絵を描く際には、鉛筆やシャープペンシル、ボールペンなどの筆記具が用いられる。このような筆記具を用いて知識の習得や技能を向上させる場合、モチベーションを高めることは重要である。
ここで、特許文献1や特許文献2に記載された技術のように、スマートフォンやパーソナルコンピュータ、ゲーム機などで、ソフトウェア上の動物や、仮想の生物、ペットなどを育てる育成ゲームというものが存在し、仮想の生物を卵から返したり、成長させたり、進化させたりということを楽しんでいる。また、特許文献3や特許文献4に記載された技術では、電子機器の動きを読み取っている。しかし、これらは、仮想の生物を育てるというゲーム性に特化しており、文字を書く、絵を描くといった役に立つ行為との結びつきはない。このため、文字の練習や勉強のモチベーションを上げる効果は期待できい。
また、特許文献5および6に記載の筆跡追跡や、特許文献7に記載の筆跡入力装置、特許文献9に記載の手書き文字入力装置では、筆跡の追跡はできるものの、文字の練習や勉強のモチベーションを高める効果には結びつかない。
また、特許文献8に記載の文字入力ゲーム装置では、お手本となる文字を入力することで入力された文字のストロークを判定しているが、決められたお手本に対する判定だけである。また、特許文献10に記載の対話型ペインティングゲームに関連するコントローラでは、ユーザに対してハブティック効果を出力するものである。また、特許文献11~14に記載の装置では、歯磨きに関する支援を行うものである。これらの技術では、文字を書くことや絵を描くといった各種の筆記動作と、学習や技能の向上といった勉強のモチベーションを高める効果とを十分に結びつけることはできない。
本発明では、筆記具を用いて文字や描画などの筆記動作を行う利用者が、モチベーション高く、楽しみながら学習や技能向上を図ることができる情報処理方法、電子機器およびパネル型電子機器を提供することを目的とする。
上記課題を解決するため、本発明の一態様は、使用者が筆記動作を行った際の筆記の加速度を検知する工程と、筆記の加速度が一定値を超え、その状態が一定時間連続した時間から、予め設定された特有の加速度の変化が生じた時間を区別してカウントすることで勉強をしているとみなす筆記動作の度数を得る工程と、度数に対応してキャラクタが発生する、卵から生まれる、動く、変化する、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、音や声で呼びかける、効果音を鳴らす、前記度数に対応して音楽を流す、度数をグラフとして出力する、度数における他の使用者との順位付けを出力する、の少なくともいずれかになるように出力手段に情報を出力する工程と、を備えた情報処理方法である。
このような構成によれば、使用者が筆記動作を行った際の加速度を検知し、この加速度に基づき得た度数に対応して出力手段に出力される情報が変化することになる。
また、本発明の一態様は、使用者が筆記動作を行った際の筆記の加速度を検知する検知部と、検知部で検知した筆記の加速度が一定値を超え、その状態が一定時間連続した時間から、予め設定された特有の加速度の変化が生じた時間を区別してカウントすることで勉強をしているとみなす筆記動作の度数を得る制御部と、度数に対応してキャラクタが発生する、卵から生まれる、動く、変化する、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、音や声で呼びかける、効果音を鳴らす、度数に対応して音楽を流す、度数をグラフとして出力する、度数における他の使用者との順位付けを出力する、の少なくともいずれかになるように出力手段に情報を出力する出力部と、を備えた電子機器である。
このような構成によれば、使用者が筆記動作を行った際の加速度を検知し、この加速度に基づき得た度数に対応して出力手段に出力される情報が変化することになる。
また、本発明の一態様は、表示部および検知部を有するパネル部と、スピーカと、使用者がパネル部に筆記動作を行った際に検知部で検知した情報に基づく筆記の加速度が一定値を超え、その状態が一定時間連続した時間から、予め設定された特有の加速度の変化が生じた時間を区別してカウントすることで勉強をしているとみなす筆記動作の度数を得る制御部と、を備え、制御部は、以下の(A)および(B)の少なくともいずれかを行う、パネル型電子機器である。
(A)前記度数に対応してキャラクタが発生する、卵から生まれる、動く、変化する、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、前記度数をグラフとして出力する、前記度数における他の使用者との順位付けを出力する、の少なくともいずれかになるように前記表示部に情報を表示させる。
(B)前記度数に対応して音や声で呼びかける、効果音を鳴らす、音楽を流す、の少なくともいずれかになるように前記スピーカに情報を出力させる。
このような構成によれば、使用者がパネル部に筆記動作を行った際に検知した情報に基づき筆記の加速度を検知し、この筆記の加速度に基づき得た度数に対応して表示部やスピーカから出力される情報が変化することになる。
また、本発明の一態様は、表示部および検知部を有するパネル部と、スピーカと、使用者がパネル部に筆記動作を行った際に検知部で検知した情報に基づく表示部上での筆記の座標変化から文字を書いていることを分析し、この分析結果から勉強をしているとみなす筆記動作の度数を得る制御部と、を備え、制御部は、以下の(A)および(B)の少なくともいずれかを行う、パネル型電子機器である。
(A)前記度数に対応してキャラクタが発生する、卵から生まれる、動く、変化する、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、前記度数をグラフとして出力する、前記度数における他の使用者との順位付けを出力する、の少なくともいずれかになるように前記表示部に情報を表示させる。
(B)前記度数に対応して音や声で呼びかける、効果音を鳴らす、音楽を流す、の少なくともいずれかになるように前記スピーカに情報を出力させる。
このような構成によれば、使用者がパネル部に筆記動作を行った際に検知した情報に基づき筆記の座標変化から文字を書いていることを分析し、この分析結果に基づき得た度数に対応して表示部やスピーカから出力される情報が変化することになる。
本発明によれば、筆記具を用いて文字や描画などの筆記動作を行う利用者が、モチベーション高く、楽しみながら学習や技能向上を図ることができる情報処理方法、電子機器およびパネル型電子機器を提供することが可能となる。
第1実施形態に係る電子機器を例示する模式図である。 第1実施形態に係る電子機器を例示するブロック図である。 本実施形態に係る情報処理方法の概略を示すフローチャートである。 本実施形態に係る情報処理方法の詳細例(その1)を示すフローチャートである。 本実施形態に係る情報処理方法の詳細例(その1)を示すフローチャートである。 本実施形態に係る情報処理方法の詳細例(その1)を示すフローチャートである。 本実施形態に係る情報処理方法の詳細例(その1)を示すフローチャートである。 (a)および(b)は、第1実施形態の他の構成例を示す模式図である。 第1実施形態の他の構成例を示す模式図である。 複数のペン型電子機器を利用する例を説明する模式図である。 2つのペン型電子機器が接近した場合の処理の一例を示すフローチャートである。 補助機器を例示する模式図である。 補助機器を例示するブロック図である。 発電機能を備えたペン型電子機器の構成を例示する模式図である。 第2実施形態に係る電子機器を例示する模式図である。 第2実施形態の他の構成例を示す模式図である。 第2実施形態の他の構成例を示す模式図である。 (a)および(b)は、第2実施形態の他の構成例を示す模式図である。 キャップ型電子機器を例示する模式図である。 第3実施形態に係る電子機器を例示する模式図である。 本実施形態に係る電子機器の動作の概略を示すフローチャートである。 複数のパネル型電子機器を利用する例を説明する模式図である。 第4実施形態の他の構成例を示す模式図である。 異なる形態の電子機器を利用する例を説明する模式図である。 (a)および(b)は、各電子機器同士の情報交換を例示する模式図である。 各電子機器同士の情報交換を例示する模式図である。 第5実施形態に係る情報処理方法を示すフローチャートである。 制限処理を例示するフローチャートである。 動きの判定処理を例示するフローチャートである。 動きの判定処理を例示するフローチャートである。 学習課目の判定処理を例示するフローチャートである。 グラフ表示の例を示す模式図である。 筆跡判別の例を示す模式図である。 情報共有の例を示す模式図である。 ランキング表示の例を示す模式図である。 情報集約の例を示す模式図である。 情報確認処理の例を示すフローチャートである。 実際の物への交換処理を例示するフローチャートである。 成長の様子を表示する例を示す模式図である。 コレクション表示の例を示す模式図である。 (a)および(b)は、筆記動作の区別を例示する模式図である。 電子機器の利用者の区別について例示する模式図である。 ペン型電子機器と文字情報との対応付けについて説明する模式図である。 ペン型電子機器と文字情報との対応付けについて説明するフローチャートである。 取得モードの切り替え例について示す模式図である。 正解判定処理の例を示すフローチャートである。 制限機能処理の例を示すフローチャートである。 ペン回し動作の採点例を示す模式図である。 スピーカを内蔵した電子機器の例を示す模式図である。 動画とペンの動きの紐付け処理の例を示すフローチャートである。 サインの判別処理の例を示すフローチャートである。
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。
(第1実施形態)
図1は、第1実施形態に係る電子機器を例示する模式図である。
図2は、第1実施形態に係る電子機器を例示するブロック図である。
本実施形態に係る電子機器は、シャープペンシルや、ボールペンなどのようなペン型電子機器1である。ペン型電子機器1は、筆記機能を有する本体10を備える。本体10には、ディスプレイ(表示部)2、情報処理部4、バッテリー5およびセンサ6が設けられる。
本体10の一端にはペン先10pが設けられ、利用者は本体10を持ってペン先10pで文字や絵を描くことができる。本体10の他端にはノック部3が設けられていてもよい。すなわち、ノック部3を押し込むことでペン先10pが突出するようになっていてもよい。
ディスプレイ2は、液晶や有機ELなどが用いられた表示部である。ディスプレイ2は、例えば本体10の他端寄り(本体10を手で持った際に隠れない位置)に配置されている。ディスプレイ2には、所定の画像や文字情報などが表示される。
情報処理部4は、制御部41、メモリ42、通信部43を含む。これらは1チップで構成されていてもよいし、別チップで構成されていてもよい。制御部41は例えばCPUであり、ここで実行されるプログラムによって各部を制御する。メモリ42は、ROMおよびRAMを含む。メモリ42には制御部で実行されるプログラムやディスプレイ2に表示するデータ(画像データおよび数値データの少なくともいずれか)などが記憶される。
通信部43は、外部機器(例えば、携帯端末7)との間で情報の入出力を行う部分である。通信部43は、情報を外部へ送信する送信部431および外部から送られた情報を受信する受信部432を備える。外部機器としては、携帯端末7のほか、例えばスマートフォン、タブレット型端末、ゲーム機、専用端末、パーソナルコンピュータが挙げられる。通信部43は、例えば無線通信手段(電波や光を用いた通信手段)である。無線通信手段としては、Bluetooth(登録商標)やWi-Fi(登録商標)、赤外線通信手段、電話回線が挙げられる。バッテリー5は例えば蓄電池であり、各部を駆動するための電力の供給原である。
センサ6は、本体10の動きを検知する部分である。センサ6としては、加速度センサ、傾きセンサ、回転軌道センサ、重力加速度センサ、ジャイロセンサ、慣性センサおよび圧力センサなどが挙げられる。また、センサ6は、ノック部3の操作を検知する手段を備えていてもよい。
本実施形態では、センサ6によって、使用者による筆記動作の度数を検知する。ここで、筆記動作の度数は、ペン型電子機器1による筆記の頻度、筆記の回数、筆記の量、文字の丁寧さ、筆記の速度、筆記の加速度、本体10の角度および筆記の際の圧力を示す値の少なくともいずれかである。また、センサ6によって、ペン型電子機器1の使用方法、動かし方に基づく値を検知してもよい。これらの度数は、センサ6からの出力値そのものであったり、出力値から演算して求められる値であったりする。筆記動作の度数を求める演算は、センサ6で行ってもよいし、制御部41や他の部分で行ってもよい。
例えば、筆記動作として、加速度センサの加速度が一定の値を超え、さらにその変化が一定回数を超えたときに「開始」であると判断し、加速度センサの加速度が一定の値以下であり、これが一定時間以上続いたとき「終了」であると判断する。その開始と終了が起こると、筆記の頻度は1回とカウントされ、その開始と終了が起こった回数が筆記の頻度となる。
筆記の回数は、加速度センサ、傾きセンサ、回転センサがそれぞれ変化を感じたときにカウントされる。筆記の量は、上記センサで検知した変化がどの程度の時間連続して起こったかによってカウントされる。
文字の丁寧さを判断する方法は、例えば、変化の周期が一様であること、ハネやトメといった動きが定期的に起こっていることで判別される。使用方法は、例えば、絵を描くのであれば、加速度の変化は比較的緩やかに起こる、漢字を書く場合は加速度の変化が短い周期で連続的に、また0°/90°に近い角度で繰り返し起こることによって、判別される。
動かし方は、例えば、加速度の変化、傾きの変化、回転方向の変化などによって検知される。また、これらの変化までの時間を随時測定することにより、ペン先10pが動いた距離、方向、周期、間隔、回転、傾きなどの情報を得ることができる。これらの少なくとも1つの情報を検知することで、ペン先10pの動かし方を検知することができる。
センサ6で検知した使用者の筆記動作の度数は、メモリ42に記憶されてもよいし、携帯端末7内に記憶されてもよいし、ネットワークを介してサーバに記憶されてもよい。本実施形態において、制御部41は、センサ6で検知した使用者の筆記動作の度数に対応して、メモリ42からデータ(画像データおよび数値データの少なくともいずれか)を選択し、選択したデータに基づく画像をディスプレイ2に表示させる制御を行う。
また、制御部41は、通信部43を介して携帯端末7に筆記動作の度数の情報を送信してもよい。携帯端末7ではアプリケーションソフトウェアが起動しており、ペン型電子機器1から無線通信等で送られた情報を受信した場合にその情報に対応した画像データ等を選択してディスプレイ8に表示する。この場合、画像データ等は携帯端末7内に記憶されたものでもよいし、ネットワーク(例えば、インターネット)を介してサーバからダウンロードしたものであってもよい。
上記構成のほか、本実施形態のペン型電子機器1は、図2に示す電源スイッチ205、画像処理部201、充電部208およびアンテナ209を備えている。電源スイッチ205によってペン型電子機器1の電源のON/OFFが行われる。画像処理部201は、制御部41の指示によってメモリ42から読み出された画像データを処理してディスプレイ2に送る。充電部208は、バッテリー5を充電するための回路やケーブル接続端子を有する。アンテナ209は通信部43に接続されており、外部機器との情報の送受信を行う。
(情報処理方法)
図3は、本実施形態に係る情報処理方法の概略を示すフローチャートである。
なお、ここではペン型電子機器1を用いた情報処理方法を例示するが、他の形態の電子機器であっても同様な情報処理方法を適用することができる。
先ず、ペン型電子機器1の動作を開始すると(ステップS1)、センサ6によって動きを検知したか否かの判断を行う(ステップS2)。動きを検知した場合には、センサ6によって検出した動きに基づき動きの情報を取得する(ステップS3)。動きの情報には、筆記動作の度数が含まれる。
次に、制御部41は、筆記動作の度数に対応したデータ(画像データおよび数値データの少なくともいずれか)の選択を行う。本実施形態では、一例として、ソフトウェア上での生き物、キャラクタ(以下、単に「キャラクタ等」とも言う。)の画像を変化させる(ステップS4)。すなわち、制御部41は、筆記動作の度数に対応して、ソフトウェア上でのキャラクタ等の画像データをメモリ42等から選択して、その画像データに基づく画像をディスプレイ2に表示させる。例えば、筆記動作の度数が高くなるほど、より成長したキャラクタ等の画像が表示される。これにより、筆記動作とともにキャラクタ等が成長していくような画像表示を得ることができる。また、制御部41は、筆記動作の度数に対応した数値データをメモリ42等から取得して、その数値データをグラフ化してディスプレイ2に表示するようにしてもよい。
次に、ペン型電子機器1を継続使用しているか否かの判断を行い(ステップS5)、継続している場合にはステップS2へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する(ステップS6)。
このような動作によって、ペン型電子機器1の使用や動きに関する情報を元に、例えば、キャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示や、グラフ表示を行うことができる。
ここで、本実施形態に係る情報処理方法の詳細例を説明する。
図4は、本実施形態に係る情報処理方法の詳細例(その1)を示すフローチャートである。
図4に示す情報処理方法の詳細例(その1)では、先ず、ペン型電子機器1の動作を開始すると(ステップS541)、センサ6によって動きを検知したか否かの判断を行う(ステップS542)。動きを検知した場合には、センサ6によって検知した動きに基づき動きの情報を取得し(ステップS543)、取得した動きの情報を蓄積する(ステップS544)。動きの情報は、ペン型電子機器1内のメモリ42に蓄積されてもよいし、ネットワークを介して外部の機器(携帯端末7、サーバ等)に蓄積されてもよい。
次に、蓄積された情報に基づき、動きの分析および判別を情報処理部4で行う(ステップS545)。この判別では、分析された筆記動作から、マークシート、英語など日本語以外の言語、丁寧な字であるかどうか、学習課目などを判別することを含む。
次に、情報の送信を行うか否かの判断を行う(ステップS546)。情報を送信する場合、ペン型電子機器1から携帯端末7へ情報(動きの情報や判別した情報)を送信する処理、または携帯端末7からネットワークを介してサーバへ情報を送信する処理を行う。
次に、情報を受信した機器(携帯端末7、サーバ等)で動きの分析および判別を行う(ステップS547)。情報を受信した機器においても、ステップS545と同様に、分析された筆記動作から、マークシート、英語など日本語以外の言語、丁寧な字であるかどうか、学習課目などを判別してもよい。また、情報を受信した機器において、ペン型電子機器1とは異なるアルゴリズムでペンの動きの分析および判別を行ってもよい。
次に、この判別した情報に基づいて、画像等を変化させるか否かの判断を行う(ステップS548)。すなわち、判別した情報が、画像等を変化させるための条件を満たしている場合には変化させると判断する。
次に、制御部41は、変化の判断に対応した処理を行う(ステップS549)。例えば、ソフトウェア上でのキャラクタ等の画像を変化させたり、数値データとしてのポイントを入手したり、アイテムを入手したり、グラフ表示したりする処理を行う。これにより、筆記動作とともにキャラクタ等が成長していくような画像表示が行われたり、筆記動作とともにポイントが上昇したり、アイテムを入手できたりする。
次に、ペン型電子機器1を継続使用しているか否かの判断を行い(ステップS550)、継続している場合にはステップS542へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する(ステップS551)。
図5は、本実施形態に係る情報処理方法の詳細例(その2)を示すフローチャートである。
図5に示す情報処理方法の詳細例(その2)では、図4に示す情報処理方法の詳細例(その1)の処理のうち、情報送信(ステップS546)および情報分析/判断(ステップS547)が省略されている。すなわち、詳細例(その2)の処理は、ペン型電子機器1の動作の開始(ステップS541)、動き検知(ステップS542)、動き情報取得(ステップS543)、動き情報蓄積(ステップS544)、情報分析/判別(ステップS545)、変化判断(ステップS548)、変化の判断に対応した処理(ステップS549)、継続判断(ステップS550)、処理終了(ステップS551)を有する。
図6は、本実施形態に係る情報処理方法の詳細例(その3)を示すフローチャートである。
図6に示す情報処理方法の詳細例(その3)では、図4に示す情報処理方法の詳細例(その1)の処理のうち、情報分析/判断(ステップS545)が省略されている。すなわち、詳細例(その3)の処理は、ペン型電子機器1の動作の開始(ステップS541)、動き検知(ステップS542)、動き情報取得(ステップS543)、動き情報蓄積(ステップS544)、情報送信(ステップS546)、情報分析/判別(ステップS547)、変化判断(ステップS548)、変化の判断に対応した処理(ステップS549)、継続判断(ステップS550)、処理終了(ステップS551)を有する。
図7は、本実施形態に係る情報処理方法の詳細例(その2)を示すフローチャートである。
図7に示す情報処理方法の詳細例(その4)では、図4に示す情報処理方法の詳細例(その1)の処理のうち、情報分析/判断(ステップS547)が省略されている。すなわち、詳細例(その4)の処理は、ペン型電子機器1の動作の開始(ステップS541)、動き検知(ステップS542)、動き情報取得(ステップS543)、動き情報蓄積(ステップS544)、情報分析/判別(ステップS545)、情報送信(ステップS546)、変化判断(ステップS548)、変化の判断に対応した処理(ステップS549)、継続判断(ステップS550)、処理終了(ステップS551)を有する。
(第1実施形態の他の構成例)
図8および図9は、第1実施形態の他の構成例を示す模式図である。
図8(a)に示すペン型電子機器1は、本体10にセンサ6と情報処理部4とが設けられた例である。すなわち、図8(a)に示すペン型電子機器1では、図1に示すようなディスプレイ2が設けられていない。ペン型電子機器1の本体10にディスプレイ2が設けられていなくても、携帯端末7などの外部機器の表示部に画像を表示させればよい。ペン型電子機器1にディスプレイ2が設けられていないことで、軽量化およびコストダウンを図ることができる。
図8(b)に示すペン型電子機器1は、バッテリー5に充電を行うための給電部15を備えている。給電部15としては、USBコネクタや無線給電部が用いられる。USBコネクタであれば有線によって給電を行い、無線給電部であれば非接触での給電が可能である。
図9に示すペン型電子機器1は、外部機器(例えば、携帯端末7)とケーブルCによって接続するためのインタフェース部16を備えている。すなわち、図9に示すペン型電子機器1は、ケーブルCを介して外部機器と情報の入出力を行う。したがって、図9に示すペン型電子機器1は、無線通信手段を備えていてもよいし、備えていなくてもよい。なお、このインタフェース部16は、バッテリー5の充電のための給電部15を兼用してもよい。
図10は、複数のペン型電子機器を利用する例を説明する模式図である。
図10に示すように、第1のペン型電子機器11と、第2のペン型電子機器12とを所定の距離まで接近させたり、互いに接触させたりするといった筆記動作以外の動作をセンサ6で検知した場合、ソフトウェア上でキャラクタ等同士が接近(接触)して、特定の動作が発生する。
例えば、第1のペン型電子機器11と第2のペン型電子機器12とを接触させて、その接触の加速度をセンサ6で検知すると、ソフトウェア上でキャラクタ等の卵や子供が生まれるような画像が表示される。卵や子供が生まれた後は、それぞれのペン型電子機器11、12を用いた筆記動作によって、その卵がふ化したり、キャラクタ等が子供から大きく成長していったりする画像の変化を生じさせる。
また、第1のペン型電子機器11と第2のペン型電子機器12との接近または接触によって、一方または双方に単独のキャラクタ等が発生する画像を表示させてもよい。
また、第1のペン型電子機器11と第2のペン型電子機器12との接近または接触によって、一方の機器の情報を他方の機器へ転送するようにしてもよい。
図11は、2つのペン型電子機器が接近した場合の処理の一例を示すフローチャートである。なお、このフローチャートに示す処理は、2つのペン型電子機器のうちの一方のプログラム処理である。また、接近には接触も含まれるものとする。
先ず、一方のペン型電子機器の制御部41によって、他方のペン型電子機器が接近したか否かを検出する(ステップS8)。接近を検知した場合、制御部41は接近した他方のペン型電子機器の情報を取得する(ステップS9)。
次に、制御部41は、接近した2つのペン型電子機器の相互のキャラクタ等の情報を把握する(ステップS10)。次いで、制御部41は、相互のキャラクタ等の情報に基づき、卵や子供の発生の判断を行う(ステップS11)。相互のキャラクタ等では卵や子供の発生が行われない場合には、ステップS15へ進む。一方、相互のキャラクタ等から卵や子供の発生が行われると判断した場合、制御部41は、情報の一部を引き継ぐか否かの判断を行う(ステップS12)。情報の一部の引き継ぎとは、例えばキャラクタ等から卵や子供が生まれる際に親のキャラクタ等の個性の一部を引き継ぐことを言う。
情報の一部を引き継ぐ場合には、情報の一部を引き継いだ新たなキャラクタ等(卵や子)の画像データを作成(または選択)し、ディスプレイ2に表示する(ステップS13)。一方、情報の一部を引き継がない場合には、情報の一部を引き継がない新たなキャラクタ等(卵や個)の画像データを生成(または選択)し、ディスプレイ2に表示する(ステップS14)。
次に、ペン型電子機器1を継続使用しているか否かの判断を行い(ステップS15)、継続している場合にはステップS2へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する(ステップS16)。
このような処理によって、2つのペン型電子機器11、12が接近した場合には、キャラクタ等の卵や子供が生まれたり、親のキャラクタ等の性格、性質の一部を引き継ぐ子供のキャラクタ等が誕生したりする画像がディスプレイ2や外部機器の表示部に表示されることになる。これにより、誕生したキャラクタ等の卵や子供について、ソフトウェア上で育成を行うことが可能になる。
また、ソフトウェア上のキャラクタ等を使い、ゲームをして遊んだり、他の生き物やキャラクタ等と戦ったり、といったことも可能になる。また、通信機能やインターネットを介して、他の人が育てた生き物やキャラクタ等同士を戦わせてもよいし、対戦ゲームを楽しむようにしてもよい。
また、他の例としては、第1のペン型電子機器11と第2のペン型電子機器12との接近または接触によって、双方のつながりを構築することもできる。構築されたつながりの情報をソフトウェアで引き継ぎ、例えば、お互いにメッセージ(励まし合うメッセージなど)を送る、キャラクタを行き来させる、勉強の時間やグラフを共有するなど、つながりに基づく様々な情報の共有を行うこともできる。
図12は、補助機器を例示する模式図である。
図12に示すように、本実施形態に係るペン型電子機器1は、専用の補助機器17に接続して使用するようにしてもよい。
補助機器17は、充電用端子18、ディスプレイ19を備える。ディスプレイ19はタッチパネルになっていてもよい。例えば、ペン型電子機器1は補助機器17の収納部17aに差し込まれ、充電用端子18と接続される。これにより、充電が行われる。
補助機器17のディスプレイ19には、接続したペン型電子機器1で保持されたキャラクタ等の画像が表示され、キャラクタ等の成長の様子を確認したり、ゲームを行ったりすることができる。ゲーム機能を有する場合には、ディスプレイ19のタッチパネルを利用したり、センサ(加速度センサ)20やキー23を設けておき、これらを利用したりしてもよい。
また、補助機器17は、ネットワーク(例えば、無線LANやインターネット)との接続や外部機器との接続を行う通信部21や、持ち運ぶ際に便利なバッテリー22を備えていてもよい。
図13は、補助機器を例示するブロック図である。補助機器17は、上記構成のほか、図13に示す画像処理部50、メモリ52、制御部53、電源スイッチ56、充電部59、給電部60およびアンテナ61を備えていてもよい。電源スイッチ56によって補助機器17のON/OFFが行われる。電源スイッチ56は、ペン型電子機器1が収納部17aに挿入された際にON、外された際にOFFになるよう動作してもよい。
画像処理部50は、制御部53の指示によってメモリ52から読み出された画像データを処理してディスプレイ19に送る。充電部59は、バッテリー22を充電するための回路やケーブル接続端子を有する。給電部60は、図12に示す充電用端子18に接続される。アンテナ61は通信部21に接続されており、外部機器との情報の送受信を行う。
図14は、発電機能を備えたペン型電子機器の構成を例示する模式図である。
すなわち、図14に示すペン型電子機器1は、発電部71を備えている。このペン型電子機器1の発電部71は、筆記動作や持ち運びの際の動き、本体10を振る、などの動きによって発電し、バッテリー5への充電を行っている。バッテリー5は、発電部71による発電で充電される。
(第2実施形態)
図15は、第2実施形態に係る電子機器を例示する模式図である。
本実施形態に係る電子機器は、シャープペンシルや、ボールペンなどのような筆記具84に装着するグリップ型電子機器81である。グリップ型電子機器81は、筆記具84の柄の部分に取り付け可能な本体80を備える。本体80には、センサ82およびメモリ83が設けられる。
センサ82としては、第1実施形態と同様に、加速度センサ、傾きセンサ、回転軌道センサ、重力加速度センサなどが挙げられる。使用者が筆記具84を用いて筆記動作を行った場合、筆記具84とともに移動する本体80の動きをセンサ82によって検知し、筆記動作の度数を得る。
筆記動作の度数は、筆記具84による筆記の頻度、筆記の回数、筆記の量および文字の丁寧さを示す値の少なくともいずれかである。また、センサ82によって、筆記具84の使用方法、動かし方に基づく値を検知してもよい。
センサ82で検知した使用者の筆記動作の度数は、メモリ83に記憶してもよい。メモリ83に記憶した筆記動作の度数に関する情報などは、図示しない通信部(送信部)を介して外部機器に送信してもよいし、ケーブルを介して外部機器に転送してもよい。外部機器では、転送された筆記動作の度数に関する情報に基づいて画像を選択して表示する。グリップ型電子機器81は、図示しない通信部(受信部)によって外部から送られる情報を受信する機能を備えていてもよい。
このようなグリップ型電子機器81によれば、利用者が普段使用している筆記具84にグリップ型電子機器81を装着して筆記動作を行うことで、この筆記動作に関する情報をセンサ82で検知して、筆記動作の度数に対応した画像の表示、画像の変化が実行される。例えば、筆記動作の度数に対応して、ソフトウェア上のキャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示を行うことができる。
また、本実施形態においても、第1実施形態と同様に、複数のグリップ型電子機器81を接近(接触)させて際の特定の動作を発生させてもよい。
(第2実施形態の他の構成例)
図16~図18は、第2実施形態の他の構成例を示す模式図である。
図16に示すグリップ型電子機器81は、本体80にディスプレイ87が設けられた構成を有する。本体80にディスプレイ87が設けられていることで、ソフトウェア上のキャラクタ等の画像を手元のグリップ型電子機器81で確認することができる。
すなわち、グリップ型電子機器81のセンサ82で検知した筆記動作の度数に基づき、例えば、キャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像を本体80のディスプレイ87で確認することができる。
また、本体80には、センサ82のほか、バッテリー88、通信部90および給電部91が設けられていてもよい。バッテリー88は例えば蓄電池であり、各部を駆動するための電力の供給原である。通信部90は、外部機器(例えば、携帯端末14)との間で情報の入出力を行う部分(送信部および受信部)である。給電部91としては、USBコネクタや無線給電部が用いられ、給電部91を介して外部から取り込んだ電力によってバッテリー88の充電を行う。
図17に示すグリップ型電子機器81は、外部機器(例えば、携帯端末14)とケーブルCによって接続するためのインタフェース部92を備えている。これにより、グリップ型電子機器81は、ケーブルCを介して外部機器と情報の入出力を行う。なお、このインタフェース部92は、バッテリー88の充電のための給電部91を兼用してもよい。
図18(a)は、補助機器を例示する模式図である。
図18(a)に示すように、本実施形態に係るグリップ型電子機器81は、専用の補助機器93に接続して使用されてもよい。
補助機器93は、充電用端子94、ディスプレイ19を備える。ディスプレイ19はタッチパネルになっていてもよい。例えば、グリップ型電子機器81は、筆記具84に取り付けられた状態で補助機器93の収納位置に差し込まれ、充電用端子94と接続される。これにより、充電が行われる。
補助機器93のディスプレイ19には、接続したグリップ型電子機器81で保持されたキャラクタ等の画像が表示され、キャラクタ等の成長の様子を確認したり、ゲームを行ったりすることができる。ゲーム機能を有する場合には、ディスプレイ19のタッチパネルを利用したり、センサ(加速度センサ)20やキー23を設けておき、これらを利用したりしてもよい。また、通信部21や、持ち運ぶ際に便利なバッテリー22を備えていてもよい。
図18(b)は、発電機能を備えたグリップ型電子機器の構成を例示する模式図である。
すなわち、図18(b)に示すグリップ型電子機器81は、発電部95を備えている。このグリップ型電子機器81の発電部95は、筆記動作や持ち運びの際の動き、本体80を振る、などの動きによって発電し、バッテリー88への充電を行っている。バッテリー88は、発電部95による発電で充電される。
図19は、キャップ型電子機器を例示する模式図である。
図15~図18に示す例では、筆記具84に装着するグリップ型電子機器81を説明したが、図19に示すように、筆記具84に装着するキャップ型電子機器85であってもよい。キャップ型電子機器85は、筆記具84を使用する際に筆記具84の柄に差し込むように装着される。また、筆記具84を使用しないときは、筆記具84の先端(ペン先10p側)に差し込んで、ペンキャップとして用いられる。
(第3実施形態)
図20は、第3実施形態に係る電子機器を例示する模式図である。
本実施形態に係る電子機器は、タッチパネル等の検知部を有するパネル型電子機器100である。パネル型電子機器100は、パネル部105と、制御部110と、メモリ120とを備える。
パネル部105には画像等を表示する表示部と、表示部上で接触した位置(座標)を検知する検知部106が設けられる。すなわち、パネル部105はタッチパネルである。パネル部105の上にスタイラスペン等の筆記具101の先端を接触させて筆記動作を行うと、検知部106によって筆跡が検知される。制御部110は、検知部106で検知した筆跡を判別し、度数をカウントする。
メモリ120は画像データ等を記憶している。メモリ120は、パネル型電子機器100の本体内に設けられていてもよいし、外部機器に設けられていてもよい。メモリ120が外部機器に設けられている場合には、通信手段(ネットワークやケーブル等)を介してメモリ120から必要な画像データ等をパネル型電子機器100に転送すればよい。
パネル型電子機器100において、制御部110は、検知部106で検知した筆跡に基づく筆記の度数を検知する。筆跡に基づく筆記の度数は、パネル部105の検知部106で検知した座標およびその移動から、筆跡の加速度、方向、回転軌道などを求め、これらの値から得た筆記の頻度、筆記の回数、筆記の量および文字の丁寧さを示す値の少なくともいずれかである。また、検知部106によって、筆記具101の使用方法、動かし方に基づく値、筆記の際の圧力を検知してもよい。また、書いた文字や絵の内容自体を記録してもよいし、それを分析して使用してもよい。
制御部110は、検知部106で検知した筆跡に基づき筆記の度数に対応してメモリ120から画像データを選択し、選択した画像データに基づく画像をパネル部105の表示部へ表示させる制御を行う。
図21は、本実施形態に係る電子機器の動作の概略を示すフローチャートである。
本実施形態に係る電子機器の例であるパネル型電子機器100の動作を開始すると(ステップS101)、先ず、パネル部105の検知部106によって筆跡(軌跡)を検知したか否かの判断を行う(ステップS102)。筆跡を検知した場合には、検知部106によって検出した軌跡に基づき軌跡の情報を取得する(ステップS103)。軌跡の情報は、筆記の度数である。
次に、制御部110は、筆記の度数に対応した画像データの選択を行う。本実施形態では、一例として、ソフトウェア上でのキャラクタ等の画像を変化させる(ステップS104)。すなわち、制御部110は、筆記の度数に対応して、ソフトウェア上でのキャラクタ等の画像データをメモリ120から選択して、その画像データに基づく画像をパネル部105の表示部に表示させる。例えば、筆記の度数が高くなるほど、成長したキャラクタ等の画像が表示される。これにより、筆記動作とともにキャラクタ等が成長していくような画像表示を得ることができる。また、制御部110は、筆記の度数に対応した数値データをメモリ42等から取得して、その数値データをグラフ化してディスプレイ2に表示するようにしてもよい。
次に、パネル型電子機器100を継続使用しているか否かの判断を行い(ステップS105)、継続している場合にはステップS102へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する(ステップS106)。
このようなパネル型電子機器100の動作によって、パネル部105の上に筆記具101で筆記動作を行うと、この筆記動作に関する情報を検知部106で検知して、筆記の度数に対応した画像の表示、画像の変化が実行される。例えば、筆記の度数に対応して、ソフトウェア上のキャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示を行うことができる。
図22は、複数のパネル型電子機器を利用する例を説明する模式図である。
図22に示すように、第1のパネル型電子機器102と、第2のパネル型電子機器103とを所定の距離まで接近させたり、互いに接触させたりするといった筆記動作以外の動作をした場合、ソフトウェア上でキャラクタ等同士が接近(接触)して、特定の動作が発生する。
例えば、第1のパネル型電子機器102と第2のパネル型電子機器103とを接触させると、ソフトウェア上でキャラクタ等の卵や子供が生まれるような画像が表示される。卵や子供が生まれた後は、それぞれのパネル型電子機器102、103を用いた筆記動作によって、その卵がふ化したり、キャラクタ等が子供から大きく成長していったりする画像の変化を生じさせる。
また、第1のパネル型電子機器102と第2のパネル型電子機器103との接近または接触によって、一方または双方に単独のキャラクタ等が発生する画像を表示させてもよい。
また、第1のパネル型電子機器102と第2のパネル型電子機器103との接近または接触によって、一方の機器の情報を他方の機器へ転送するようにしてもよい。
(第4実施形態の他の構成例)
図23は、第4実施形態の他の構成例を示す模式図である。
このパネル型電子機器152は、ノートなどの筆記用紙151の下に敷く下敷き型になっている。パネル型電子機器152は、下敷きとして利用可能な平坦なプレート部150と、プレート部150に設けられたセンサ155と、メモリ156と、制御部157とを備える。
センサ155は、プレート部150を下敷きとして筆記用紙151の下に敷いた状態で利用者が筆記具153で筆記を行った場合、筆圧等を検知して筆跡に対応した座標を検出する。
メモリ156は画像データ等を記憶している。メモリ156は、パネル型電子機器152のプレート部150内に設けられていてもよいし、外部機器に設けられていてもよい。メモリ156が外部機器に設けられている場合には、通信手段(ネットワークやケーブル等)を介してメモリ156から必要な画像データ等をパネル型電子機器152に転送すればよい。
制御部157は、センサ155で検知した筆跡に基づく筆記の度数を検知する。筆跡に基づく筆記の度数は、センサ155で検知した座標およびその移動から、筆跡の加速度、方向、回転軌道、筆記の際の圧力などを求め、これらの値から得た筆記の頻度、筆記の回数、筆記の量および文字の丁寧さを示す値の少なくともいずれかである。また、センサ155によって、筆記具153の使用方法、動かし方に基づく値を検知してもよい。
制御部157は、検知した筆跡に基づき筆記の度数に対応してメモリ156から画像データを選択する。制御部157によって選択された画像データは外部機器に転送され、外部機器の表示部に表示される。
なお、制御部157は、検知した筆跡に基づく筆記の度数をメモリ156に記憶しておき、パネル型電子機器152が外部機器と接続(ネットワークやケーブルで接続)された段階でメモリ156に記憶した筆記の度数を外部機器へ転送するようにしてもよい。外部機器では、転送された筆記の度数から対応する画像データを選択して、外部機器の表示部に表示させる処理を行う。
このようなパネル型電子機器152によって、利用者はプレート部150を筆記用紙151の下に敷いて下敷きとし、筆記具153によって筆記動作を行う。筆記動作を行うと、この筆記動作に関する情報をセンサ155で検知して、筆記の度数に対応した画像の表示、画像の変化が外部機器で実行される。例えば、筆記の度数に対応して、ソフトウェア上のキャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示を行うことができる。
また、プレート部150には磁力などの情報のみを持たせ、筆記具153としてペン型電子機器1を用いてよい。この場合、プレート部150の磁力などの情報を利用してプレート部150とペン型電子機器1との位置関係を読み取り、ペン型電子機器1の筆記情報を取得して上記説明した各種処理、通信を行うようにしてもよい。
なお、本実施形態においても、前記の実施形態と同様に、複数のパネル型電子機器152を接近(接触)させて際の特定の動作を発生させてもよい。また、パネル型電子機器100、152では筆記具101、153を用いて筆記を行っているが、指でなぞって筆記を行ってもよい。
図24は、異なる形態の電子機器を利用する例を説明する模式図である。
上記説明したペン型電子機器1や、グリップ型電子機器81、パネル型電子機器100といった各形態の電子機器は、それぞれ個別に動作している。すなわち、各電子機器のそれぞれにおいて実行されるソフトウェアは、使用頻度、使用回数、使用量、使用方法、どういった動かし方をしたかという情報を元に、ソフトウェア上のキャラクタ等が、卵からかえる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする機能を有する。
各電子機器はネットワークを介してサーバ161に接続可能であり、お互いに対戦型のゲームを楽しむことができるようになっていてもよい。各電子機器におけるソフトウェア上のキャラクタ等がより成長し、より強ければソフトウェア上のゲームを有利に進めることができるようになる。また、他の生き物と戦うといった時にも有利になる。また、インターネットを介して、他の人が育てた生き物やキャラクタ等同士が戦う、対戦ゲームを楽しむといった時にも有利に進めることができる。
図25および図26は、各電子機器同士の情報交換を例示する模式図である。
図25(a)には同じ形態の電子機器(例えば、ペン型電子機器1)が接近した場合の情報交換の例が示され、図25(b)には異なる形態の電子機器(例えば、ペン型電子機器1とグリップ型電子機器81)が接近した場合の情報交換の例が示される。
例えば、2つの電子機器が接近することで、ソフトウェア上でキャラクタ等が接触したり、近づいたりなど、画面表示において特定の動作が行われ、ソフトウェア上で卵や子供を産む、といった画面表示が行われる。それにより、また、次のキャラクタ等を育成することが可能となる。
図26には、各電子機器同士が直接接近しなくてもネットワークを介して情報交換を行う例が示される。例えば、ペン型電子機器1を携帯端末7からインターネットに接続されたサーバ161と接続し、通信回線を介して他の電子機器と仮想的に接触させるようにする。これにより、携帯端末7の画面には、仮想的に接触した各電子機器のキャラクタ等が表示される。図26に示す例では、携帯端末7の画面に、ペン型電子機器1のソフトウェア上のキャラクタ162と、ネットワークを介して仮想的に接触した他の電子機器のソフトウェア上のキャラクタ163とが表示される。画面にはこれらのキャラクタ162、163が出会ったような画面表示がなされる。
そして、携帯端末7の画面上において2つのキャラクタ162、163から新たなキャラクタの卵や子供が誕生する様子が表示される。新たなキャラクタの卵や子供は、親の特徴を引き継ぐような設定にしてもよい。
(第5実施形態)
ペン型電子機器1や、グリップ型電子機器81、パネル型電子機器100によって使用や動きに関する情報や筆跡(軌跡)の情報は、直接的にソフトウェア上のキャラクタ等の育成ではなく、ポイントとして付与されてもよい。
そのポイントは、デジタル情報や、電子マネー、提携会社のポイントと交換が可能となっていてもよい。また、そのポイントをソフトウェア上のキャラクタ等の育成や、キャラクタ等に関係する住む家や、家具に交換できるようになっていてもよい。さらに、キャラクタ等の成長を助けるソフトウェア上の栄養剤や食料に交換できてもよい。
上記、デジタル情報の例を挙げると、音楽、映画などや、ゲーム、パズルなどである。
また、ポイントによってゲームが出来る時間が開放されるなどの機能であってもよい。
さらに、ペン型電子機器1で手紙や電子的なメッセージを書き、その書いた手紙や電子的なメッセージと一緒にソフトウェア上のキャラクタ等の画像データやポイントを送る機能を持っていてもよい。
図27は、第5実施形態に係る情報処理方法を示すフローチャートである。
この情報処理方法は、制御部41で実行されるプログラム処理によって実現される。
ペン型電子機器1、グリップ型電子機器81、パネル型電子機器100はネットワークを介してサーバ161に接続されている。
先ず、処理を開始すると(ステップS201)、動き/使用を検知したか否かを判断する(ステップS202)。動き/使用を検知した場合、動き/使用の情報を取得する(ステップS203)。動き/使用の情報は、筆記の度数である。次に、取得した動き/使用の情報に基づくポイントを入手する(ステップS204)。ポイントは使用者毎にサーバ161で管理される。
次に、ポイントを使用するか否かの判断を行い(ステップS205)、使用する場合には使用するポイントに応じて生き物やキャラクタ、家具、映画などのデジタル情報を入手する(ステップS206)。この処理は、例えばサーバ161で実行されるプログラム処理によって、使用者が選択したポイントと、そのポイントに対応した対価とを交換するための処理である。
次に、継続使用しているか否かの判断を行い(ステップS207)、継続している場合にはステップS202へ戻り、以降の処理を繰り返す。また、継続使用していない場合には、動作を終了する(ステップS208)。
ソフトウェア上のキャラクタ等やポイントを、購入した電子機器にあらかじめ付与しておくようにしてもよい。
また、これらのソフトウェア上のキャラクタ等自体や、成長の度合い、ポイントなどは、時間や、日にち、時期によって、重み付けを変化させることもできる。これにより、決まった時間に勉強をする習慣をつける、早めに夏休みの宿題を終わらせるなどといった行動の習慣づけができる。
また、電子機器同士や、ソフトウェア上のキャラクタ等同士を、友達や特定の人とリンクさせておくことで、同じ日や同じ時刻など、特定の条件で使うと、ポイントが多くもらえるなど、特典を付けてもよい。こうすることで、一体感が生まれ、勉強などの動機付けになる。
また、パズルを解くとポイントやソフトウェア上のキャラクタ等がもらえるようにしてもよい。また、テストを解く、文字や絵の練習をするとポイントやソフトウェア上のキャラクタ等がもらえるようにしてもよい。
また、その際、電子機器からの電子的な使用の情報だけではなく、書いた字や描いた絵を郵送もしくは電子化された状態で送ってもよい。その際、丁寧な字や上手な絵だと、より多くのソフトウェア上のキャラクタ等やポイントがもらえるという特典を付与してもおい。
また、これらの電子機器とソフトウェアは、キャラクタ等を交換したり、譲渡したりする機能を持っていてもよい。同様に、得られたポイントを交換したり、譲渡したりする機能を持っていてもよい。
これらの電子機器や、ソフトウェアは、事業主だけではなく、第三者(サードパティー)やユーザが参入可能な仕組みを持つ。例えば、下記のようなものである。
(1)ソフトウェア上のキャラクタ等やゲームを、第三者(サードパティー)、もしくはユーザが登録できる。これによって、ユーザや第三者が作ったソフトウェア上のキャラクタ等を楽しんだり、ゲームを多くの人が楽しんだりすることができるようになる。
(2)ソフトウェア上のキャラクタ等、ゲームを作った第三者やユーザに金銭やポイントが与えられる。
(3)ペン型やグリップ型、パネル型の電子機器は、筆記部などペンの外装を含まない、中身の電子装置のみの構成をとることができる。これにより、外観に自由度を持たせたペン型やグリップ型の電子機器を、第三者が作成可能となる。
(4)上記説明したポイント等の重み付け変更を行う仕組みを持つ。
これらの電子機器やソフトウェアについて、第三者(サードパティー)が参入可能で、かつ、セキュリティなど制限をかけることができる仕組みを持っていてもよい。例えば、下記のようなものである。
すなわち、ペン型やグリップ型、下敷き型の電子機器がセキュリティ機能や個体識別機能を持ち、ソフトウェアと対応することによってのみ動作する。これにより、ペン型の電子機器のみ、ソフトウェアのみを単独で使用することを防ぐ。また、不正使用などを防ぐことも可能である。
図28は、制限処理を例示するフローチャートである。
先ず、電子機器に埋め込まれた情報を取得し(ステップS251)、埋め込まれた情報の送信を行う(ステップS252)。一方、ソフトウェアの情報を取得する(ステップS253)。次に、電子機器に埋め込まれた情報とソフトウェアの情報との比較を行い(ステップS254)、許可するか否かの判断を行う(ステップS255)。許可しない場合には動き/使用情報の拒否/不使用となり(ステップS366)、許可する場合には動き/使用情報の許可/使用となる(ステップS257)。
また、第三者が、ソフトウェア上のキャラクタ等や、ゲームなどをソフトウェアに登録する仕組みを持ち、登録の際に審査を行う仕組みを持っていてもよい。また、登録の際に課金する場合は、その一部を事業者が受け取る仕組みを作ってもよい。
また、事業主が、ソフトウェア上のキャラクタ等自体や、ゲームの内容をチェックすることが可能な仕組みを持っていてもよい。
また、本実施形態に係る電子機器は、マークシート、英語など日本語以外の言語、丁寧な字であるかどうかなどを判別するようにしてもよい。いくつか例を挙げると、マークシートであれば、ある一定の範囲を塗りつぶすなどの動作を識別する。丁寧な字かどうかは、動きのスピードや等間隔な動きで、判別する。また、英語かどうかは、漢字とは異なり短い間隔や短い周期で横にずれていくことで判別する。
図29および図30は動きの判定処理を例示するフローチャートである。
この判定処理は、制御部41で実行されるプログラム処理によって実現される。
図29では、動き/使用情報の取得(ステップS301~S302)から動きの判定を行い(ステップS303)、Case(a)では「マークシートで使用」という情報を付加し(ステップS304)、Case(b)では「英語で使用」という情報を付加し(ステップS305)、Case(c)では「絵を描いている」という情報を付加する(ステップS306)。また、図30では、図29と同様に、動き/使用情報の取得(ステップS301~S302)から動きの判定を行い(ステップS303)、Case(d)では「丁寧な字」であると判定し(ステップS308)、Case(e)では「雑な字」であると判定する(ステップS309)。
判別の手法としては、A.I.(Artificial Intelligence)、マシーンラーニング、ディープラーニングなどが挙げられる。これにより、より正確に使用情報の判別が可能になる。そして、この判別結果を学習記録やゲームのデータとして使うこともできる。
これらの判別された情報を、動きや使用の情報に付加する場合もある。その場合は、その付加情報に与えるポイントを変えたり、育成のスピードを変えたりということを行ってもよい。
また、本実施形態に係る電子機器で取得した情報は、学習課目の判定に利用することもできる。
図31は、学習課目の判定処理を例示するフローチャートである。
この判定処理は、制御部41で実行されるプログラム処理によって実現される。
すなわち、図31に示すように、先ず、動き/使用情報の取得(ステップS501~S502)から動きの判定を行い(ステップS503)、Case(a)では「英語の勉強をした」という情報を付加し(ステップS504)、Case(b)では「理科の勉強をした」という情報を付加し(ステップS505)、Case(c)では「数学/算数の勉強をした」という情報を付加する(ステップS506)。
判定の手法としては、A.I.、マシーンラーニング、ディープラーニングなどが挙げられる。これにより、課目ごとの特有な筆記動作に基づき、より正確に学習課目の判別が可能になる。そして、この判別結果を学習記録やゲームのデータとして使うこともできる。
上記のように、筆記動作に基づき判別した筆記の内容の種類(マークシート、英語、絵、丁寧な字、雑な字、学習課目など)は筆記種類である。本実施形態に係る電子機器の記憶部であるメモリ42や、外部機器(携帯端末7やサーバ161)は、筆記動作の度数をもとにして割り出した時間(筆記時間)、および制御部41で判別した筆記種類を記憶する。制御部41は、記憶部に記憶された筆記時間および筆記種類に基づき、グラフ化および順位付けの少なくともいずれかを行うようにしてもよい。
図32は、グラフ表示の例を示す模式図である。
すなわち、本実施形態に係る電子機器(例えば、ペン型電子機器1)で取得した情報(筆記時間など)や、判別した筆記種類(学習課目の情報など)をもとに、学習時間や学習課目、集中した時間、丁寧な文字を書いた時間などの少なくとも1つをグラフ化する。図32の例では、携帯端末7のディスプレイ8にグラフが表示される。グラフは、時間ごとの学習記録であってもよいし、日にちごと、月ごとなどの学習の記録であってもよい。また、本実施形態に係る電子機器を使わずに行った学習などは手作業で入力できるようにしておいてもよい。
また、本実施形態に係る電子機器で取得した情報で、文字自体を判別することが可能である。
図33は、筆跡判別の例を示す模式図である。
例えば、本実施形態に係る電子機器(例えば、ペン型電子機器1)で紙400の上に「あ」と書いた場合、ペン自体や、それを送信した電子デバイス(例えば、携帯端末7)、もしくはクラウド上のコンピュータで「あ」と判別することができる。この判別は、特定のルールベースや、A.I.、マシーンラーニング、ディープラーニングなどによって行ってもよい。また、文字の識別だけではなく、筆跡を含めて完全に再現してもよい。
本実施形態に係る電子機器(例えば、ペン型電子機器1)から取得した情報、それを分析した情報、また、上記のように手作業で入力した情報は、無線通信(ネットワーク)を通じて各種デバイスで共有できるようにしてもよい。一例を挙げると、共有するのは、事前に登録した友達や親などである。
図34は、情報共有の例を示す模式図である。
例えば、本実施形態に係る電子機器(例えば、ペン型電子機器1)で取得した情報は、無線通信を介して携帯端末7に送られ、この携帯端末7からネットワークの基地局600を経由して友人や親の携帯端末14で共有される。共有される情報としては、スマートフォン、タブレット、ゲーム機といった端末やWeb上、また本実施形態に係る電子機器、ペン形状のデバイスなどから通知される情報(メッセージや案内など)を含む。
本実施形態に係る電子機器(例えば、ペン型電子機器1)から取得した情報、それを分析した情報、また、上記のように手作業で入力した情報をもとに、順位づけ、ランキング付けを行ってもよい。
図35は、ランキング表示の例を示す模式図である。
この例では、携帯端末7のディスプレイ8にランキングが表示される。ランキング表示は、ネットワークを介して得られた友達とのランキングであってもよいし、全国の人たちとのランキングであってもよいし、自分自身の過去の記録とのランキングであってもよい。
本実施形態に係る電子機器(例えば、ペン型電子機器1)から取得した情報、それを分析した情報、また、上記のように手作業で入力した情報は、ネットワークを介して集約されてもよい。
図36は、情報集約の例を示す模式図である。
本実施形態に係る電子機器(例えば、ペン型電子機器1)で取得した情報は、無線通信を介して携帯端末7に送られ、この携帯端末7からネットワークの基地局600を経由して特定の端末500へ送られる。特定の端末500へ送られた情報は集約され、統計情報として確認することができる。
このように集約された情報は、例えば学習塾や親の端末500によって確認することができる。学習塾や親は、本実施形態に係る電子機器を持っていなくても、あらかじめその電子機器、もしくは電子機器を登録しているユーザを登録しておくことで、情報を参照することができる。
図37は、情報確認処理の例を示すフローチャートである。
先ず、処理を開始すると(ステップS511)、本実施形態に係る電子機器(例えば、ペン型電子機器1)またはユーザの検出を行う(ステップS512)。検出された場合には、ペンまたはユーザの登録を行う(ステップS513)。次に、追加の登録があるか否かを判断し(ステップS514)、追加がある場合にはステップS512へ戻り、以降の処理を繰り返す。追加の登録がない場合には、登録されたペンまたはユーザの情報の確認を行う(ステップS515)。
また、ネットワークを介して繋がった人は、互いにフィードバックを送り合うことができるようにしてもよい。例えば、友達や、親、学習塾などが、何らかの意思表示を示すボタンを押してくれるなどである。その意思表示を示すボタンを押すことで、本実施形態に係る電子機器のユーザにそのことが示される。その意思表示によって、育成ゲーム上でメリットが得られるようにしてもよい。例えば、得られた意思表示の数が所定値を超えた場合にアイテムを得られるようにしてもよいし、ゲーム上において、意思表示が得たユーザと意思表示を送ったユーザとで一緒に敵を倒せるようにしてもよい。
また、これらのソフトウェア上のキャラクタ等の育成や、それを使ったゲームは無料の部分と、有料の部分、そのどちらか、もしくは両方を有する。
無料の部分と、有料の部分のどちらも混在する場合、課金する(お金を支払う)と、メリットを受けることができる。
メリットの一例を挙げると下記のようなものがある。
(1)卵を早くかえすことができる。
(2)複数の卵をかえすことができる。
(3)キャラクタ等が早く育つ。
(4)複数の卵やキャラクタ等が育てられる。
(5)ポイントがもらえる。
(6)ポイントのもらえる割合が増える。
ソフトウェア上において自分で育てたキャラクタ等は、その情報を、インターネットを通じてなど、何らかの方法で外部へ送信することで、玩具や文房具などの実際の物となって手元に届くようにしてもよい。玩具とは、一例を挙げると、ぬいぐるみなどであり、ソフトウェア上で育てた愛着のあるキャラクタ等が、ソフトウェアでなく、実際のものとして手元に届くようにしてもよい。また、文房具とは、一例を挙げると、そのキャラクタ等がプリントされた筆箱やペンなどである。それ以外にも、日用品や自転車など乗り物など、製品の種類は問わない。
図38は、実際の物への交換処理を例示するフローチャートである。
処理を開始すると(ステップS311)、ソフトウェア上のキャラクタ等の選択を行い(ステップS312)、次に現実の商品の選択を行う(ステップS313)。次いで、代金の支払い処理を行う(ステップS314)。
次に、選択された商品が既成のものであるか否かを判断する(ステップS315)。既成の商品があれば、その商品の配送を行う(ステップS317)。既成の商品がない場合には、その商品を作成し(ステップS316)、配送する(ステップS317)。
また、ソフトウェア上では、もてる卵の個数や、キャラクタ等の数、同時に育成できるキャラクタ等の数などには、なんらか制限を与えてもよい。これにより、早く卵からかえそう、生き物を育成しようというモチベーションが生まれる。また、課金することにより、その上限を増やすことができるようにすれば、課金のモチベーションが生まれる。
また、ソフトウェア上のキャラクタ等が卵からかえる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、同時に育成できるキャラクタ等の数などは、ポイント制によって変わるようにしてもよい。ペン型やグリップ型の電子機器やタッチ式のディスプレイ、感圧式の下敷きの使用頻度、使用回数、使用量、使用方法、どういった動かし方をしたかという情報や、軌跡の情報をポイント換算して、それぞれがどういう風に使うかを決めることができる。例えば、卵からかえすことにポイントを使う、性格を良くするためにポイントを使うなどを決めることができる。また、課金することによってポイントを買うことができるようにしておけば、課金へのモチベーションが上がる。
ペン型やグリップ型の電子機器に設けられたディスプレイや、補助機器や携帯端末(スマートフォン、タブレット等)のディスプレイでは、ソフトウェア上のキャラクタ等の変化の様子を参照することができる。
図39は、成長の様子を表示する例を示す模式図である。この例ではペン型電子機器1のディスプレイ2に表示されているが、他の電子機器のディスプレイであっても同様である。ここでは、ディスプレイ2に卵からかえる、キャラクタ等が成長する、進化するなどの変化の様子が所定の時間間隔で順次表示される。また、所定のボタン操作によって変化の様子が順次表示されるようにしてもよい。
また、電子機器等にソフトウェア上のキャラクタ等を保存し、コレクションしている様子を確認することができる機能を備えていてもよい。図40は、コレクション表示の例を示す模式図である。この例では、保存されているキャラクタ等の画像が携帯端末204のディスプレイ211に一覧表示されている。
ソフトウェア上のキャラクタ等自体や、卵、成長するためのポイントなどは、鉛筆やシャープペンシルの芯のような文房具や、問題集や教科書などの書籍など実際の物につけて販売することも可能である。また、文房具や書籍だけでなく、食品や日用品などと合わせて販売してもよい。実際の物に付けて販売する場合、その物自体には、パスワードやバーコードなどを付けておき、ペン型の電子機器や、グリップ型の電子機器、スマートフォンやタブレット、専用の端末などに読み込ませることでソフトウェア上に反映させるようにすればよい。
また、問題を解いてその答えを入れて正解した場合にキャラクタ等自体やポイントなどが付与されるようにしてもよい。
ペン型電子機器1は、個別に電源スイッチを持たず、ペンの芯などをだし入れするためのノック部3や、ペン型電子機器1自体を振ることによって、電源が入る機能を持たせてもよい。また、一定時間、加速度の変化や、ノック、クリックなどの動きがない場合には、自動的に電源が切れる機能を持たせておいてもよい。
図41(a)および(b)は、筆記動作の区別を例示する模式図である。
本実施形態に係る電子機器において、制御部41は、筆記している動作と、そうでない動作との区別が行われる。制御部41は、一例として、次のようにして筆記動作の区別を行う。
先ず、図41(a)に示すように、制御部41は、センサ6による検出値から、一定の平面SFを検出する。例えば、センサ6によって読み取った3次元座標の3点(P1,P2およびP3)、または3点以上の点を繋ぐと平面になるという原理を利用して、平面SFを検出する。
そして、センサ6の検出値によってペン先10pの座標がこの平面SF上にある場合には筆記動作であると区別する。また、図41(b)に示すように、ペン先10pの座標がこの平面SFから一定の距離D以内にある場合も筆記動作であると区別する。
一方、ペン先10pの座標が、検出した平面SFと異なる3次元方向の動きとなり、一定の距離Dを超えて離れた場合、その動きは筆記動作として扱わないと判断する。特定の3次元方向の距離Dは、例えば10cmである。
また、一定周期、一定方向、一定距離の同じ動作が長距離、長時間入った場合には、筆記動作として扱わないと判断してもよい。長距離としては例えば10cmであり、長時間としては例えば5秒である。
例えば、文字を書くのではなく、あまり意味を持たない円をグルグルといくつも描く場合はポイント入手やキャラクタの育成が可能となる筆記動作とは扱わない。これは、加速度の変化が少なく、その状態が一定時間続くことから判別される。また、加速度のベクトルが一定方向を向いている場合や、上下にペンを繰り返し動かす場合も、加速度のベクトルの変化が、決まった間隔で続くことになる。この場合も、筆記動作として扱わない。
同じ電子機器を複数の人が使用し、人ごとにソフトウェア上のキャラクタ等や、ポイントを区別する場合、例えば次のように行われる。
(1)図42は、電子機器の利用者の区別について例示する模式図である。図42に示すペン型電子機器301のように、識別用ノック部302を設けておく。例えば、多機能ボールペン(多色ボールペン)のように、ペンのお尻のノックする部分を複数設けておいたり、ペンの一部を回転させたりすることになどよって、利用者(人物/個人)の区別を行う。
(2)文字を書いたり、絵を描いたりした時に、その動きのクセ、文字のクセによって利用者(人物/個人)の区別を行う。ここで、「クセ」とは、文字を書いたり絵を描いたりする際のペンを移動速度、動かす間隔、周期、筆跡などであり、いずれも個人特有の変化のパターンを有する情報である。センサ6で検出した動きに関する値から、制御部41によって上記「クセ」に相当する情報を演算し、予め登録されている個人の「クセ」の情報との類似度判定やパターンマッチングを行う。これにより、利用者(人物/個人)の区別を行う。
また、ペン型やグリップ型、パネル型の電子機器では、特定の動きや、特定の軌跡を判別することによって、ソフトウェアの動きを制御する機能を持たせてもよい。一例を挙げると、特定の動きをした時だけにロックが解除され、使用した情報を蓄積、または送信できるようになるなどである。
また、ある特定パターン(パスワード)などをなぞることにより、ソフトウェア上のキャラクタ等を入手、育成、成長させる、またはポイントを入手可能になってもよい。
また、特定の動き(例えば、予め登録した電子機器の振り方)をすることにより、利用者(人物/個人)の識別を行うようにしてもよい。
図43は、ペン型電子機器と文字情報との対応付けについて説明する模式図である。
図44は、ペン型電子機器と文字情報との対応付けについて説明するフローチャートである。
本実施形態に係るペン型電子機器1を用いることで、センサ6で検知した筆記動作から自動的に文字や記号の電子情報(テキストデータ)を得ることができる。
すなわち、ペン型電子機器1を使用して文字や記号を書いた際、センサ6で検出した動きの情報を蓄積しておく。そして、この情報とテキストデータとの対応付けをすることで、ペン型電子機器1で筆記動作を行った際に、その筆記動作と対応した文字や記号のテキストデータを検出して、テキストデータへの変換を行う。
筆記動作とテキストデータとの対応付けを行いやすくするため、図43に示すように、用紙等に開始マーク351と終了マーク352とを入れておき、上からトレースするための文字を設けておく。利用者が、開始マーク351をペン型電子機器1でトレースすることで、検出を開始する。
開始マーク351をトレースした後、利用者はペン型電子機器1で予め設けられた文字353を順番にトレースする。例えば、一番目の文字として「あ」が設けられ、これをトレースしたとする。この際のセンサ6による検出値は、「あ」のテキストデータと対応付けされる。同様に、複数の文字についてトレースしていくことで、センサ6の検出値とテキストデータとの対応付けの情報が蓄積される。利用者が終了マーク352をトレースした段階で、データ蓄積を終了する。
データ蓄積および文字判別の処理を図44に沿って説明する。
この処理は、制御部で実行されるプログラム処理によって実現される。
先ず、処理を開始し(ステップS351)、開始マークを検出すると(ステップS352)、センサ6によって筆記動作の動き/使用情報を取得する(ステップS353)。この動作を、終了マークを検出するまで繰り返す(ステップS354)。
終了マークを検出した後、センサ6によって取得した筆記動作の動き/使用情報をサーバ161等に送信する(ステップS355)。次に、送信した筆記動作の動き/使用情報と、開始マークと終了マークとに挟まれた筆記されるべき文字の情報(テキストデータ)との対応付けを行い(ステップS356、S357)、この対応付けした情報の蓄積を行う(ステップS358)。
筆記動作の動き/使用情報と、テキストデータとの対応付けの情報が蓄積されることで、ペン型電子機器1を用いて筆記動作を行った際のセンサ6の情報から、文字のテキストデータを判別することが可能となる(ステップS359)。
このような利用方法によって、本実施形態に係るペン型電子機器1にOCR(Optical Character Recognition)のような機能を持たせることができる。例えば、漢字練習帳のような文字が薄くかかれたノートを利用し、ペン型電子機器1を用いた文字の筆記動作の動きの情報(センサ6による検出値)と、予め分かっているテキストデータとの対応付けの情報を蓄積していく。この対応付けの情報をデータベースとして利用し、ペン型電子機器1を用いた筆記動作から、その筆記動作に対応したテキストデータを得ることが可能となる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いたソフトウェアに関して、それを用いた育成ゲームは、他の電子機器や、他者とのつながり(ソフトウェア上への登録など)によってメリットを受けることができる。例を挙げると、次のようなものが考えられる。
(1)同一の時刻もしくは、前後1時間以内など近い時刻に勉強すると、早く仮想の生き物が育つ、仮想の敵との戦いに有利になる。
(2)登録をしておくと、ソフトウェア上の仮想の敵との戦いの時に協力してもらえる。
(3)登録の有無、登録人数などにより定期的にポイントやアイテムが入手できる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いたソフトウェアに関して、それを用いた育成ゲームは、特定の環境下で起動する機能を持たせることができる。
例えば、スマートフォンのカメラで学習用のノートを判別した場合、その上で仮想現実(AR:Augmented Reality)を用いたゲームを行うことができる。
または、ペン型電子機器1やスマートウォッチなどを読み取り、その電子機器に関係したゲームを行う、などである。
本実施形態に係る電子機器(例えば、ペン型電子機器1)で取得する情報に関して、その取得する周期は、常に同一周期でない場合も存在する。すなわち、制御部において、筆記の頻度、筆記の回数、筆記の量および文字の丁寧さ、筆記の速度、筆記の加速度、筆記の角度(ペンの角度)、筆記の角度および筆記の際の圧力の少なくともいずれかを含む筆記情報を取得する際、サンプリング周波数の異なる複数の取得モードを切り替えるようにしてもよい。例えば、一定時間あたり第1のサンプリング回数で筆記情報を取得する第1取得モードと、一定時間あたり第1のサンプリング回数よりも少ない第2のサンプリング回数で筆記情報を取得する第2取得モードとを切り替えるようにしてもよい。また、3つ以上の取得モードを切り替える場合には、第1取得モード、第2取得モード、…、第N取得モード(Nは自然数)を用意しておき、これらを切り替えるようにすればよい。
これにより、高頻度で情報を取得する期間と、低頻度で情報を取得する期間とが混在する状態となる。
図45は、取得モードの切り替え例について示す模式図である。
図45の横軸は時間、1本の縦線は1回の筆記情報の取得タイミングを示す。
高頻度で情報を取得するとき(第1取得モードM1)は、例えば、50Hz~5000Hz程度のサンプリング周波数が想定される。一方、低頻度で情報を取得するとき(第2取得モードM2)は、0.01Hz~50Hz程度のサンプリング周波数が想定される。この高頻度(第1取得モードM1)と低頻度(第2取得モードM2)とは、周期的に切り替えてもよいし、周期的ではなく、ランダム性をもたせて切り替えてもよい。
また、情報の取得自体は、一定間隔で行なっておき、情報を蓄積する、もしくはデータを送信するときに頻度を変えてもよい。
また、取得するデータの種類を時間ごとに変えてもよい。例えば、あるタイミングでは、X軸、Y軸、Z軸のすべての加速度データを取得し、他のタイミングでは、X軸とY軸のみ加速度データを取得する、などである。
これらの周期の変化は、例えば、高頻度の期間(第1取得モードM1)で学習課目や文字の判別を行い、低頻度(第2取得モードM2)で学習時間を計測する、といった使い分けが考えられる。
これにより、処理に必要な情報の取得と、データ量の削減との両立を図ることができる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いたソフトウェアに関して、蓄積された学習課目ごとの学習頻度や、学習量、学習スピード、集中力のデータなどを解析し、その解析されたデータから、より良い学習方法を提案する機能を持たせることができる。
例えば、国語の勉強時間が少なければ、国語の勉強を促す、集中力が切れてきたら、休憩を促すなどである。
また、この行為は、親や学習塾が入力してもよいし、A.I.などで自動的に判別するようにしてもよい。
学習記録は、成績の伸びとリンクさせることも可能である。その場合は、定期テストの結果などを、自らや保護者、学習塾が入力することを想定している。また、各問題の正解とリンクさせることも想定している。この場合は、自らや保護者、学習塾が入力する情報や、○印や×印などの情報を読み取る。マークシートを読み取るようにしてもよい。
図46は、正解判定処理の例を示すフローチャートである。
先ず、処理を開始すると(ステップS521)、センサ6で読み取った動きの情報を蓄積し(ステップS522)、動き情報の解析を行う(ステップS523)。
次に、正解の情報をデータベースから読み込み(ステップS524)、動きの情報の解析結果から得た情報と、正解の情報とを比較して、正解か否かの判定を行う(ステップS525)。
この判定で正解となった場合には、所定の価値を提供し(ステップS526)、次の処理へ進む(ステップS527)。例えば、正解であれば、育成スピードが速くなる、アイテムやポイントが多くもらえるなどである。一方、正解でなかった場合には、所定の価値の非提供または別の価値を提供し(ステップS528)、次の処理へ進む(ステップS529)。このような処理によって、学習記録と成績の伸びとをリンクさせることが可能となる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いたソフトウェアに関して、文字の丁寧さを、速度、角度、ペンの持ち方を識別する機能を持たせることができる。また、文字が丁寧な人、きれいな文字の人の情報を蓄積して、そのデータを機械学習などで分析し、それと比較することで、判別をすることも可能である。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いたソフトウェアに関して、電子機器で取得した情報(筆記時間、学習時間など)や、判別した筆記種類(マークシート、言語、学習課目、文字の丁寧さ、ランキングなどの情報)や、グラフ化した情報を利用して、なりたい職業や行きたい大学から逆算して、目標を設定する機能を持たせることができる。
例えば、東京大学生の高校時代の勉強量を把握し、それを目標として高校生が日々の勉強量の目標を設定できるなどである。また、例えば、プログラマーになりたいのであれば、数学や算数などの必要な情報の他に、プログラミングの教材の提供を行ってもよい。これらの目標となる指標は、ネットワークを介して送られてきてもいいし、自ら設定しても良い。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いたソフトウェアに関して、育成ゲームと、学習記録/学習記録の内容とを結びつける機能を持たせることができる。以下に一例を示す。
(1)ソフトウェア上の仮想の生き物に職業を持たせ、その職業に関連する課目の学習をすることで、その仮想の生き物が強くなる。
(2)ソフトウェア上の仮想の生き物に職業を持たせ、その職業に関連する課目の学習をしないと、その生き物が生まれない。
(3)ソフトウェア上の仮想の生き物が行くことができるソフトウェア上の仮想の場所は、特定の時間、学習しないと解放され、行くことができない。
(4)ソフトウェア上の仮想の生き物が行くことができるソフトウェア上の仮想の場所は、特定の課目を学習しないと行くことができない。
(5)ソフトウェア上の仮想の生き物が手に入れることができるアイテムは、学習した課目によって異なる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いたソフトウェアに関して、一定時間や、一定期間、一定の流れを終了すると、ソフトウェアを使えなくする、もしくは制限させる機能を持たせることができる。
図47は、制限機能処理の例を示すフローチャートである。
先ず、処理を開始すると(ステップS531)、本実施形態に係るソフトウェアの使用を許可する(ステップS532)。次に、制限の導入判断を行い(ステップS533)、制限が導入されるか否かの判断を行う。制限されない場合にはステップS532へ戻り、本実施形態に係るソフトウェアの使用を続ける。一方、制限される場合にはステップS534へ進み、ソフトウェアの使用の制限をかける。
なお、本実施形態に係るソフトウェアを一定時間や、一定期間、一定の流れを終了するまで使用した場合、スマートフォン自体、ゲーム機自体の使用を制限するようにしてもよい。制限としては、例えば、パスワードの入力を求めるなどである。
本実施形態に係る電子機器(例えば、ペン型電子機器1)のグリップ部分に心拍数モニターの素子をつけ、心拍数を計測するようにしてもよい。
すなわち、制御部は、筆記情報に加え、使用者の血流および心拍数の少なくともいずれかを含む生体情報を取得する。これにより、筆記情報および生体情報の少なくともいずれかを使い使用者の集中力を測定することができる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)で筆圧を取得できるようにしてもよい。そうすることで、文字を書いているかどうかを正確に判別することができ、また、書き始めと書き終わりも正確にわかるようになる。また、筆圧の強弱の情報も取得することができ、文字の丁寧さやより良い書き方をフィードバックすることにも役立てることができる。筆圧を取得する手段としては、センサ6として、例えば、ペン先10pに近い部分に圧力センサや、歪みセンサを配置しておくことが挙げられる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)で握りの強さを取得できるようにしてもよい。握りの強さをとるには、グリップの部分に、例えば、圧力センサなどを配置することが挙げられる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いて、使用者の集中力を判別できるようにしてもよい。また、判別した集中力を、本人や、親、学習塾などにフィードバックしてもよい。その情報を元に、学習の改善が可能になる。集中力の判別は、ペンの動きを解析してもよいし、上記のような心拍や筆圧、握りの強さの情報を用いてもよい。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いて、いわゆるペン回しの動作をした場合に、その動きを読み取って、技名を判別したり、採点したりする機能を持たせてもよい。
図48は、ペン回し動作の採点例を示す模式図である。
例えば、ペン型電子機器1のセンサ6として用いられる加速度センサ、重力加速度センサなどを用いれば、ペンがどの方向にどれだけの回数、どのような角度で回ったかを検出することができる。ペン型電子機器1や携帯端末7は、その情報を解析し、技名の判別を行い、そのうまさを採点する機能を有する。
本実施形態に係る電子機器の代用として、スマートウォッチや、指輪型デバイス、バンド型のデバイスを使用することもできる。この場合、ペンにつける場合と比較して、精度は劣るものの、既存の電子機器を利用することが可能となる。また、手首に巻く形状のデバイスでは、手の筋肉や筋の動きの情報を取得して、動作検知に用いることが可能である。また、手首に巻く形状のデバイスでは、同時に血流や心拍数を取得するセンサを設けることができる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)は、スピーカを内蔵していてもよい。
図49は、スピーカを内蔵した電子機器の例を示す模式図である。
例えば、ペン型電子機器1の本体10に、スピーカ9が内蔵されている。これによりスピーカ9から音や声、音楽などを流すことができるようになる。スピーカ9が内蔵されることで、ペン型電子機器1などの本実施形態に係る電子機器を使った時に、効果音を鳴らしたり、勉強のモチベーションを上げるために音楽を鳴らしたり、キャラクタから音や声などで呼びかけられたりすることができる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)は、ネットワークを介してサーバから配信される静止画や動画と、電子機器で取得したデータとを組み合わせる機能を有していてもよい。この機能は、ネットワークに接続されたサーバに持たせてもよい。
図50は、動画とペンの動きの紐付け処理の例を示すフローチャートである。
先ず、動画の配信を開始すると(ステップS561)、動画の位置および時刻情報を取得する(ステップS562)。一方、電子機器の例であるペン型電子機器1の動きが始まると(ステップS563)、ペンの動き、使用状態および時刻情報を取得する(ステップS564)。
次に、ステップS562で取得した動画の時刻と、ステップS564で取得したペンの動きの時刻とを対応付けして、動画およびペンの動きの情報を紐付けるようにする(ステップS565)。
次に、ペンの動きの解析(文字種、丁寧さなど)を行う(ステップS566)。そして、解析結果をコンテンツの改善などに役立てるため、動画配信の事業者へフィードバックしたり(ステップS567)、電子機器のユーザへの学習情報としてフィードバックしたり(ステップS568)、その他のフィードバックおこなったりする。
このような処理により、動画のうち、どの部分でペンが動き、文字が書かれているのか、といった動画とペンの動きとの関係を把握することができる。これによって、例えば、動画のどの部分で集中的に勉強しているか、逆に動画のどの部分は聞き流しているか、といった情報を得ることができる。この情報に基づき、例えば教育事業者は動画の改善を行うこともできる。
なお、本実施形態では、ペンの動きと動画との対応付けを行うことができることから、例えば、ペンの動きからジェスチャーを認識して、この認識したジェスチャーに応じて動画のコントロールを行うこともできる。例えば、ペンが一定時間動いていないと判断した場合には、動画を自動的に止める機能や、特定のペンのジェスチャーで動画の一時停止、早送り、早戻し、といった動作をコントロールする機能を持たせることができる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)は、リハビリテーションや認知症予防に用いることができる。例えば、ペンの動きを検知して解析した結果に基づき、本体10に振動を与えたり、音、光、画像などを出力したりして使用者にフィードバックを与える。また、看護師や介護士など、付き添い者が所有する端末に、ペン型電子機器1の使用者がどの程度文字を書いていたか、手がどのように動いていたか、といった情報を送ることで、ペンの動きとリハビリテーションや介護の状況との関係を把握させることができる。
本実施形態に係る電子機器(例えば、ペン型電子機器1)は、クレジットカードを使用した際など、本人確認のためにサインを行う場合に適用可能である。この際、本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いることで、サインを行う際のペンの動きを検知する。これにより、サインのなりすましの防止など、セキュリティを高めることができる。
図51は、サインの判別処理の例を示すフローチャートである。
先ず、事前サインの取得を行う(ステップS571)。この処理は、予め正しいサインの登録を行うため、本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いて利用者にサインを書いてもらう。
次に、サインの分析を行う(ステップS572)。すなわち、利用者がサインを書く際のペンの動きの情報を検出する。ペンの動きの情報は、文字の丁寧さ、筆記の速度、筆記の加速度、筆記の角度(ペンの角度)および筆記の際の圧力の少なくともいずれかを含む筆記情報である。この筆記情報は、利用者固有の情報と考えられる。そして、分析の結果を記憶する(ステップS573)。
次に、本人確認のためのサインの取得を行う(ステップS574)。すなわち、クレジットカードの利用の際など、本人確認のために本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いて利用者にサインを書いてもらう。
次に、サインの分析を行う(ステップS575)。この処理は、本人確認のためのサインを書いた際のペンの動きの情報を検出する。ペンの動きの情報は、ステップS573で記憶した筆記情報と同じである。
次に、サインの一致の判別を行う(ステップS576)。すなわち、ステップS573で記憶した正しいサインの筆記情報と、ステップS575で分析した本人確認のためのサインの筆記情報との一致度を求める。
そして、一致度が所定の値を超えている場合にはサインが一致しているとして認証OKとなり(ステップS577)、一致度が所定の値以下の場合にはサインが一致していないとして認証NGとする(ステップS578)。
本実施形態に係る電子機器(例えば、ペン型電子機器1)を用いたサインの判別処理においては、ペンの動きから得た筆記情報(筆記の方向、筆記の速度、筆記の加速度、文字の丁寧さ、筆記の角度(ペンの角度)および筆記の際の圧力の少なくともいずれかを含む筆記情報)を用いるため、筆跡照合よりも判別性が高くなる。例えば、他人のサインを真似るため、本人の筆記速度に比べてゆっくりと描くことが考えられる。また、ペンの角度、筆記の際の圧力も本人とは異なることが考えられる。本実施形態では、たとえ本人のサインと同じ形を描いたとしても、このような筆記情報を総合的に判断して本人のサインか否かを判断する。したがって、単なる筆跡照合に比べて高い精度で判別を行うことができる。
なお、筆記情報に基づく一致の判別(ステップS576)の処理は、A.I.、マシーンラーニング、ディープラーニングなどで行ってもよい。
ここで、本実施形態に係る電子機器の具体的な大きさの一例を示す。
ペン型電子機器1およびグリップ型電子機器81については、手に持って使う構成のため、次のような大きさ、重さであることが好ましい。一例を挙げると、長さ50cm以下、重さ1kg以下である。
また、ペン型電子機器1において、動きを感知するセンサ6を配置する位置は、ペン先10pの動きを感知しやすいように、本体10の中央部分よりも先端(ペン先10p側)に近い位置、または本体10の尻に近い位置(ペン先10pとは反対側)に配置されることが好ましい。一例を挙げると、センサ6は、本体10のペン先10pから5cm以内、または本体10の尻から5cm以内である。
上記のように、本実施形態に係る電子機器を利用することで、筆記動作の度数に対応して、ソフトウェア上のキャラクタ等が、卵から生まれる、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化するなど、なんらかの変化をする画像表示を行うことができる。
また、ソフトウェアや、ペン型、グリップ型の電子機器などで、文字の丁寧さやきれいさ、絵のうまさなどを判別し、その情報を用いて、ソフトウェア上のキャラクタ等の成長や性格、強さ、形態などに影響を与えるようにしてもよい。例えば、うまい絵をたくさん描くと、きれいな生物になる。丁寧な文字をたくさん書くと、優しい性格になる、などである。
また、卵からかえるキャラクタ等やキャラクタ等自体に影響を与えてもいい。例えば、絵を描いた場合には、ある種類や形態のキャラクタ等が生まれ、文字を書いた場合には、別の種類や形態のキャラクタ等が生まれる、などである。
また、ディスプレイ2に表示される画像としては、生き物やキャラクタだけでなく、車や飛行機などの乗り物や、ロボットや機械などの無生物、植物なども含まれる。また、実在の人物や、歴史上の人物であってもよい。
上記説明した実施形態に係る電子機器によれば、次のような作用効果を得られる。
(1)ペン型電子機器1、または鉛筆やシャープペンシル、ボールペンといった筆記用具に付けるにグリップ型電子機器81およびキャップ型電子機器85を用いることで、使用しているかどうか、使用頻度、使用回数、使用量、使用方法、どういった動きをセンサで検知することができる。これにより、そのセンサで読み取った情報を元に、ソフトウェア上のキャラクタ等が成長する。そのキャラクタ等の成長する様子は、ペンに付けられたディスプレイや、スマートフォン、ゲーム機、専用の端末などによって確認することができる。また、そのキャラクタ等を使ったゲームを行うことができる。
(2)同じ機能を持ったペン同士を近づける、接触させることなどによって、卵や子供が生まれ、また次のキャラクタ等の育成が可能となる。
(3)ペンと専用の端末やスマートフォンなどとの情報のやり取りは、有線もしくは無線の通信によって可能となる。
(4)上記(1)~(3)によってペンを使うことの動機につながり、さらには勉強や絵を描くと行ったことを動機づける効果を得る。また、どういった使い方をするかで、キャラクタ等の成長度合いや、成長の過程、性格、性質などが変わることで、真面目に勉強する、丁寧な文字をかく、などの動機となる。
なお、上記に本実施形態およびその適用例(変形例、具体例)を説明したが、本発明はこれらの例に限定されるものではない。例えば、本実施形態ではディスプレイ2に画像を表示しているが、画像の表示に代えて、または画像の表示とともに音や音声を出力してもよい。また、筆記動作の度数に対応して表示する画像としては、キャラクタ等のほかに、文字情報や数値情報を表示してもよい。例えば、同じ漢字を繰り返し筆記した場合、電子機器の動きから同じ漢字を筆記したことを認識し、その漢字の筆記回数をディスプレイ2に表示したり、音声で回数を出力したりしてもよい。また、前述の各実施形態またはその適用例(変形例、具体例)に対して、当業者が適宜、構成要素の追加、削除、設計変更を行ったものや、各実施形態の特徴を適宜組み合わせたものも、本発明の要旨を備えている限り、本発明の範囲に包含される。
本発明は、筆記具の他に、歯ブラシ、スプーン、フォーク、箸など、手に持って使用するものに好適に利用可能である。また、目覚まし時計など習慣化が必要なものにも本発明と同じシステムを適用することが可能である。また、実施形態で説明したソフトウェアは、コンピュータに実行させたり、記録媒体に記録されたり、ネットワークを介して配信されてもよい。また、上記で説明したソフトウェア、アプリケーションを、ペン型電子機器1やパネル型電子機器100などの電子機器を使わずに実現することも可能である。例えば、パーソナルコンピュータでタイピングしたことをペン型電子機器1等の加速度の入力情報の代わりに文字の情報として扱うようにしてもよいし、タブレット端末にスタイラスで記入した情報を、文字や絵の情報として扱うようにしてもよい。こうすることにより、パーソナルコンピュータやタブレットを使った学習でも、本実施形態と同様な効果を得ることができ、勉強のモチベーションを高めることが可能となる。
1…ペン型電子機器
2…ディスプレイ
3…ノック部
4…情報処理部
5…バッテリー
6…センサ
7…携帯端末
8…ディスプレイ
9…スピーカ
10…本体
10p…ペン先
11…第1のペン型電子機器
12…第2のペン型電子機器
14…携帯端末
15…給電部
16…インタフェース部
17…補助機器
17a…収納部
18…充電用端子
19…ディスプレイ
20…センサ
21…通信部
22…バッテリー
23…キー
41…制御部
42…メモリ
43…通信部
50…画像処理部
52…メモリ
53…制御部
56…電源スイッチ
59…充電部
60…給電部
61…アンテナ
71…発電部
80…本体
81…グリップ型電子機器
82…センサ
83…メモリ
84…筆記具
85…キャップ型電子機器
87…ディスプレイ
88…バッテリー
90…通信部
91…給電部
92…インタフェース部
93…補助機器
94…充電用端子
95…発電部
100…パネル型電子機器
101…筆記具
102…第1のパネル型電子機器
103…第2のパネル型電子機器
105…パネル部
106…検知部
110…制御部
120…メモリ
150…プレート部
151…筆記用紙
152…パネル型電子機器
153…筆記具
155…センサ
156…メモリ
157…制御部
161…サーバ
162…キャラクタ
163…キャラクタ
201…画像処理部
204…携帯端末
205…電源スイッチ
208…充電部
209…アンテナ
211…ディスプレイ
301…ペン型電子機器
302…識別用ノック部
351…開始マーク
352…終了マーク
353…文字
400…紙
500…端末
600…基地局
C…ケーブル
D…距離
SF…平面
P1,P2,P3…点

Claims (4)

  1. 使用者が筆記動作を行った際の筆記の加速度を検知する工程と、
    前記筆記の加速度が一定値を超え、その状態が一定時間連続した時間から、予め設定された特有の加速度の変化が生じた時間を区別してカウントすることで勉強をしているとみなす筆記動作の度数を得る工程と、
    前記度数に対応してキャラクタが発生する、卵から生まれる、動く、変化する、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、音や声で呼びかける、効果音を鳴らす、前記度数に対応して音楽を流す、前記度数をグラフとして出力する、前記度数における他の使用者との順位付けを出力する、の少なくともいずれかになるように出力手段に情報を出力する工程と、
    を備えた情報処理方法。
  2. 使用者が筆記動作を行った際の筆記の加速度を検知する検知部と、
    前記検知部で検知した前記筆記の加速度が一定値を超え、その状態が一定時間連続した時間から、予め設定された特有の加速度の変化が生じた時間を区別してカウントすることで勉強をしているとみなす筆記動作の度数を得る制御部と、
    前記度数に対応してキャラクタが発生する、卵から生まれる、動く、変化する、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、音や声で呼びかける、効果音を鳴らす、前記度数に対応して音楽を流す、前記度数をグラフとして出力する、前記度数における他の使用者との順位付けを出力する、の少なくともいずれかになるように出力手段に情報を出力する出力部と、
    を備えた電子機器。
  3. 表示部および検知部を有するパネル部と、
    スピーカと、
    使用者が前記パネル部に筆記動作を行った際に前記検知部で検知した情報に基づく筆記の加速度が一定値を超え、その状態が一定時間連続した時間から、予め設定された特有の加速度の変化が生じた時間を区別してカウントすることで勉強をしているとみなす筆記動作の度数を得る制御部と、
    を備え、
    前記制御部は、以下の(A)および(B)の少なくともいずれかを行う、パネル型電子機器。
    (A)前記度数に対応してキャラクタが発生する、卵から生まれる、動く、変化する、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、前記度数をグラフとして出力する、前記度数における他の使用者との順位付けを出力する、の少なくともいずれかになるように前記表示部に情報を表示させる。
    (B)前記度数に対応して音や声で呼びかける、効果音を鳴らす、音楽を流す、の少なくともいずれかになるように前記スピーカに情報を出力させる。
  4. 表示部および検知部を有するパネル部と、
    スピーカと、
    使用者が前記パネル部に筆記動作を行った際に前記検知部で検知した情報に基づく前記表示部上での筆記の座標変化から、予め設定された特有の座標変化が生じた時間を区別してカウントすることで文字を書いていることを分析し、この分析結果から勉強をしているとみなす筆記動作の度数を得る制御部と、
    を備え、
    前記制御部は、以下の(A)および(B)の少なくともいずれかを行う、パネル型電子機器。
    (A)前記度数に対応してキャラクタが発生する、卵から生まれる、動く、変化する、成長する、強くなる、長生きする、性格が変わる、性質が変わる、進化する、前記度数をグラフとして出力する、前記度数における他の使用者との順位付けを出力する、の少なくともいずれかになるように前記表示部に情報を表示させる。
    (B)前記度数に対応して音や声で呼びかける、効果音を鳴らす、音楽を流す、の少なくともいずれかになるように前記スピーカに情報を出力させる。
JP2021036499A 2017-03-13 2021-03-08 情報処理方法、電子機器およびパネル型電子機器 Active JP7212960B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017047237 2017-03-13
JP2017047237 2017-03-13
JP2019197032A JP6854019B2 (ja) 2017-03-13 2019-10-30 情報処理システムおよびアプリケーションソフトウェア

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019197032A Division JP6854019B2 (ja) 2017-03-13 2019-10-30 情報処理システムおよびアプリケーションソフトウェア

Publications (2)

Publication Number Publication Date
JP2021101246A JP2021101246A (ja) 2021-07-08
JP7212960B2 true JP7212960B2 (ja) 2023-01-26

Family

ID=63522086

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018548225A Active JP6612470B2 (ja) 2017-03-13 2018-03-12 電子機器および情報処理方法
JP2019197032A Active JP6854019B2 (ja) 2017-03-13 2019-10-30 情報処理システムおよびアプリケーションソフトウェア
JP2021036499A Active JP7212960B2 (ja) 2017-03-13 2021-03-08 情報処理方法、電子機器およびパネル型電子機器

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018548225A Active JP6612470B2 (ja) 2017-03-13 2018-03-12 電子機器および情報処理方法
JP2019197032A Active JP6854019B2 (ja) 2017-03-13 2019-10-30 情報処理システムおよびアプリケーションソフトウェア

Country Status (4)

Country Link
US (1) US11175754B2 (ja)
JP (3) JP6612470B2 (ja)
CN (2) CN115050106A (ja)
WO (1) WO2018168784A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3567597A1 (en) 2018-05-11 2019-11-13 Anoto Korea Corp. Method and apparatus of diagnostic test
JP2019211587A (ja) * 2018-06-04 2019-12-12 コクヨ株式会社 筆記行為評価システム
KR102207596B1 (ko) * 2018-12-13 2021-01-25 동의대학교 산학협력단 스터디 펜
JP7063928B2 (ja) * 2020-03-09 2022-05-09 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
WO2021205553A1 (ja) * 2020-04-07 2021-10-14 株式会社ソニー・インタラクティブエンタテインメント 操作装置及び操作システム
KR20220032343A (ko) * 2020-09-07 2022-03-15 삼성전자주식회사 전자 장치 및 전자 장치에서 인 에어 제스처를 처리하는 방법
JP7030231B1 (ja) * 2021-06-10 2022-03-04 株式会社バンダイ 知育玩具およびプログラム
US11545047B1 (en) * 2021-06-24 2023-01-03 Knowledge Ai Inc. Using biometric data intelligence for education management
WO2023199531A1 (ja) * 2022-04-13 2023-10-19 株式会社ワコム コンテンツ評価システム、方法、及びプログラム
JP2023176050A (ja) * 2022-05-31 2023-12-13 常雄 竹内 空間に文字を書くように器具を動かすことで、動きの軌跡を取得し、文字認識の後文字入力する方法
CN116795222B (zh) * 2023-06-20 2024-03-29 广东工业大学 一种基于OpenCV图像识别的数字毛笔

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062609A (ja) 2003-08-18 2005-03-10 Snk Playmore Corp 学習ゲームプログラム、評価ゲームプログラム、ゲーム機
JP2009031614A (ja) 2007-07-30 2009-02-12 Hitachi Ltd 電子添削システム
JP2013242434A (ja) 2012-05-21 2013-12-05 Sony Corp 情報処理装置、情報処理方法および情報処理システム

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2566945B1 (fr) * 1984-06-28 1987-04-24 Schwartz Didier Jouet educatif destine a stimuler l'ecriture et le graphisme par l'obtention d'un resultat sonore et visuel immediat au cours d'un trace sur papier libre
JPH01218899A (ja) * 1988-02-29 1989-09-01 Seiko Epson Corp 発電装置内蔵筆記用具
JP2848219B2 (ja) 1993-12-13 1999-01-20 カシオ計算機株式会社 画像表示装置及び画像表示方法
JPH07248875A (ja) 1994-03-08 1995-09-26 Yashima Denki Co Ltd 筆跡入力装置
JPH10222240A (ja) * 1997-02-04 1998-08-21 Canon Inc 電子ペン及び個人認証システム並びに個人認証方法
US6213871B1 (en) 1997-02-19 2001-04-10 Kabushiki Kaisha Bandai Nurturing simulation apparatus for virtual creatures
JPH11188180A (ja) * 1997-04-07 1999-07-13 Snk:Kk ゲームシステム
US6289124B1 (en) * 1998-04-27 2001-09-11 Sanyo Electric Co., Ltd. Method and system of handwritten-character recognition
AU1351001A (en) 1999-10-27 2001-05-08 Digital Ink, Inc. Tracking motion of a writing instrument
US7500917B2 (en) 2000-02-22 2009-03-10 Creative Kingdoms, Llc Magical wand and interactive play experience
JP2002041230A (ja) 2000-07-24 2002-02-08 Nec Yonezawa Ltd 携帯手書き文字入力装置と方法
SE0101250L (sv) 2001-04-06 2002-10-07 Anoto Ab Förfarande för genomförande av spel
US6703633B2 (en) * 2001-08-16 2004-03-09 Hewlett-Packard Development Company, L.P. Method and apparatus for authenticating a signature
JP2004061743A (ja) 2002-07-26 2004-02-26 Yasuhito Fujii 学習促進方法及び学習促進システム
KR100501721B1 (ko) 2003-03-19 2005-07-18 삼성전자주식회사 자계센서를 이용한 펜형 입력시스템 및 그 궤적 복원 방법
JP2006204853A (ja) 2005-01-27 2006-08-10 Tomotoshi Ichikawa 手書き文字入力ゲーム装置
JP4757176B2 (ja) * 2006-11-27 2011-08-24 株式会社文溪堂 採点入力デバイス、及び採点入力システム
JP5359210B2 (ja) 2008-03-14 2013-12-04 オムロンヘルスケア株式会社 電動歯ブラシ
WO2010071827A2 (en) * 2008-12-19 2010-06-24 Immersion Corporation Interactive painting game and associated controller
DE202010018601U1 (de) * 2009-02-18 2018-04-30 Google LLC (n.d.Ges.d. Staates Delaware) Automatisches Erfassen von Informationen, wie etwa Erfassen von Informationen unter Verwendung einer dokumentenerkennenden Vorrichtung
CN101576954A (zh) * 2009-06-10 2009-11-11 中兴通讯股份有限公司 书写笔画识别装置、移动终端及实现空间书写的方法
CN102346859B (zh) * 2010-07-26 2013-10-09 卡西欧计算机株式会社 文字识别装置
US20130035890A1 (en) * 2011-08-04 2013-02-07 Wang Jeen-Shing Moving trajectory calibration method and moving trajectory generation method
JP2013130678A (ja) * 2011-12-21 2013-07-04 Ricoh Co Ltd 手書き文字評価装置及びこれを備えた文字学習支援装置
US20140234809A1 (en) 2013-02-15 2014-08-21 Matthew Colvard Interactive learning system
DE102013214021A1 (de) * 2013-07-17 2015-01-22 Stabilo International Gmbh Stromersparnis
US9357493B1 (en) * 2014-11-14 2016-05-31 Amazon Technologies, Inc. Stylus power management using motion and orientation sensing
CN110731608B (zh) 2014-12-22 2022-10-04 太阳星光齿磨公司 刷牙辅助系统
CN105893338B (zh) * 2015-02-17 2021-07-09 北京三星通信技术研究有限公司 用于输入公式的方法、装置和电子设备
JP6551110B2 (ja) 2015-09-25 2019-07-31 サンスター株式会社 口腔ケアサポートシステム
JP6690166B2 (ja) 2015-09-25 2020-04-28 サンスター株式会社 歯ブラシモジュール、及び歯磨支援システム
KR102393683B1 (ko) * 2015-10-21 2022-05-04 삼성전자주식회사 센서를 포함하는 전자 장치 및 그의 동작 방법
CN106155313B (zh) * 2016-06-28 2019-03-12 努比亚技术有限公司 移动终端、字符输入系统及方法
JP6916506B2 (ja) 2016-07-08 2021-08-11 国立大学法人大阪大学 筆記装置及びコンピュータープログラム
US10599915B2 (en) * 2017-01-19 2020-03-24 International Business Machines Corporation Providing suggested content based on user detected gesture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062609A (ja) 2003-08-18 2005-03-10 Snk Playmore Corp 学習ゲームプログラム、評価ゲームプログラム、ゲーム機
JP2009031614A (ja) 2007-07-30 2009-02-12 Hitachi Ltd 電子添削システム
JP2013242434A (ja) 2012-05-21 2013-12-05 Sony Corp 情報処理装置、情報処理方法および情報処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
江木 啓訓 他1名,学習者センシングシステムのための筆記行為の検知手法,情報処理学会 インタラクション2012,2012年03月15日,PP.275-280,http://www.interaction-ipsj.org/archives/paper2012/data/Interaction2012/interactive/data/pdf/1EXB-24.pdf,[online],令和元年6月14日検索

Also Published As

Publication number Publication date
JP6612470B2 (ja) 2019-11-27
US20210132709A1 (en) 2021-05-06
JPWO2018168784A1 (ja) 2019-03-28
JP2021101246A (ja) 2021-07-08
CN110462710B (zh) 2022-06-28
CN110462710A (zh) 2019-11-15
US11175754B2 (en) 2021-11-16
JP6854019B2 (ja) 2021-04-07
CN115050106A (zh) 2022-09-13
JP2020038377A (ja) 2020-03-12
WO2018168784A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP7212960B2 (ja) 情報処理方法、電子機器およびパネル型電子機器
US20240030042A1 (en) Digital pen with enhanced educational and therapeutic feedback
McColl et al. Brian 2.1: A socially assistive robot for the elderly and cognitively impaired
CN102160366B (zh) 用于传送触觉消息的系统和方法
CN108460707B (zh) 一种学生的作业智能监管方法及其系统
Van den Hoven et al. Grasping gestures: Gesturing with physical artifacts
KR20160075333A (ko) 대상들과의 햅틱으로 인에이블되는 상호작용을 위한 시스템들 및 방법들
CN102999282B (zh) 基于实时笔画输入的数据对象逻辑控制系统及其方法
Bylieva et al. Virtual pet: trends of development
Wilmott et al. ‘I am he. I am he. Siri rules’: Work and play with the Apple Watch
KR101360980B1 (ko) 필기구형 전자 입력장치
CN114712862A (zh) 虚拟宠物交互方法、电子设备及计算机可读存储介质
CN107292221A (zh) 一种轨迹处理方法和装置、一种用于轨迹处理的装置
Cooney et al. Designing enjoyable motion-based play interactions with a small humanoid robot
CN112230777A (zh) 一种基于非接触式交互的认知训练系统
Hayler Incorporating technology: A phenomenological approach to the study of artefacts and the popular resistance to e-reading
Mehigan et al. Detecting learning style through biometric technology for mobile gbl
Riddall-Leech How to observe children
Lane et al. Enabling computer access: introduction to the test of mouse proficiency
JP2003340757A (ja) ロボット
Nácher Soler Kindertivity: Usability and communicability strategies for interactive surfaces and pre-kindergarten children
Álvarez et al. Exploring body language as narrative interface
CN104399248B (zh) Pad互动玩具及系统
Cottrell Supporting Self-Regulation with Deformable Controllers
Brown Help children to grasp it

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230106

R150 Certificate of patent or registration of utility model

Ref document number: 7212960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350