JP6417939B2 - 手書きシステム及びプログラム - Google Patents
手書きシステム及びプログラム Download PDFInfo
- Publication number
- JP6417939B2 JP6417939B2 JP2014266082A JP2014266082A JP6417939B2 JP 6417939 B2 JP6417939 B2 JP 6417939B2 JP 2014266082 A JP2014266082 A JP 2014266082A JP 2014266082 A JP2014266082 A JP 2014266082A JP 6417939 B2 JP6417939 B2 JP 6417939B2
- Authority
- JP
- Japan
- Prior art keywords
- acceleration
- coordinate
- pointing tool
- change amount
- shielding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- User Interface Of Digital Computer (AREA)
Description
本発明は、光学式の座標検出手段を備えた電子黒板等の手書きシステム及びそのシステムに使用するプログラムに関する。
近年、会議室等で利用されているホワイトボードを電子化した電子黒板が普及している。
この電子黒板において、指示具から発光（放射）される光を、電子黒板の周辺（例えば、電子黒板の両隅２箇所）に設置した受光センサで検知し、三角測量により指示具の座標を検知する技術が知られている。
この電子黒板において、指示具から発光（放射）される光を、電子黒板の周辺（例えば、電子黒板の両隅２箇所）に設置した受光センサで検知し、三角測量により指示具の座標を検知する技術が知られている。
このような指示具の座標を検知する技術を備えた電子黒板では、指示具と受光センサの間に遮蔽が発生した場合（例えば、電子黒板に手をついてしまった場合等）に、指示具の座標を検知する精度が低くなるという問題があることも知られている。
この問題を解決するための対策として、例えば、特許文献１には、対象領域において複数の画像情報を取得し、その画像情報に基づく予測処理を実行し、指示具が遮蔽された場合であっても、指示具の座標位置を追跡する入力システムが記載されている。
但し、特許文献１に記載の入力システムでは、画像情報のみに基づいて予測処理を実行することから、指示具の座標を検知する精度が低くなるという問題がある。
但し、特許文献１に記載の入力システムでは、画像情報のみに基づいて予測処理を実行することから、指示具の座標を検知する精度が低くなるという問題がある。
本発明は、前記従来の問題に鑑みてなされたものであって、その目的は、光学式の座標検出手段を備えた電子黒板等の手書きシステムにおいて、指示具と受光センサの間に遮蔽が発生した場合であっても、指示具の座標検知精度を向上させることである。
本発明は、電子黒板と、前記電子黒板に文字又は図形を入力する発光方式の入力装置である指示具と、前記指示具から発光される光を受光する２個以上の受光センサと、前記受光センサで検知した受光情報に基づき指示具の座標を算出する座標算出手段と、前記指示具と前記受光センサの間に遮蔽が発生しているか否かを判定する遮蔽判定手段と、前記座標算出手段で算出した座標に基づき、前記指示具で入力された文字又は図形を前記電子黒板に表示するように制御する表示制御手段と、を有する手書きシステムであって、前記指示具の筆圧を計測する筆圧計測手段と、前記指示具の加速度を計測する加速度計測手段と、前記筆圧計測手段により計測した筆圧の時間変化量を算出する筆圧変化量算出手段と、前記加速度計測手段により計測した加速度の時間変化量を算出する加速度変化量算出手段と、前記遮蔽判定手段により遮蔽が発生していると判定したときに、前記筆圧変化量算出手段により算出した筆圧の時間変化量及び前記加速度変化量算出手段により算出した加速度の時間変化量から、前記指示具の座標位置を予測する座標予測手段と、前記座標予測手段により予測した座標に基づき、前記指示具の座標位置を補正する座標補正手段と、を有する手書きシステムに関する。
本発明によれば、光学式の座標検出手段を備えた電子黒板等の手書きシステムにおいて、指示具と受光センサの間に遮蔽が発生した場合であっても、指示具の座標検知精度を向上させることができる。
以下、本発明をその実施形態である手書きシステム１について図面を参照して説明する。
図１は、本発明の実施形態に係る手書きシステム１の概略ブロック図である。
図１の手書きシステム１は、図示のように、主にコンピュータ１０、ディスプレイ２０、指示具３０、及びディスプレイ２０の各隅に設置される受光センサ４０（４０ａ〜４０ｄ）から構成される。
また、コンピュータ１０には、付加的な要素として、ＰＣ（Personal Computer）６０が接続される。
なお、図１の５０（５０ａ〜５０ｄ）は、周辺発光部である。
図１は、本発明の実施形態に係る手書きシステム１の概略ブロック図である。
図１の手書きシステム１は、図示のように、主にコンピュータ１０、ディスプレイ２０、指示具３０、及びディスプレイ２０の各隅に設置される受光センサ４０（４０ａ〜４０ｄ）から構成される。
また、コンピュータ１０には、付加的な要素として、ＰＣ（Personal Computer）６０が接続される。
なお、図１の５０（５０ａ〜５０ｄ）は、周辺発光部である。
コンピュータ１０には、座標検出等に対応したアプリケーションがインストールされており、ユーザが指示具３０で描画した場合に受光センサ４０からの信号に基づき、指示具３０の位置座標を算出する。
例えば、ユーザが、ディスプレイ２０に表示したメニュー画面から「線の描画」を選択し、発光部を有する電子ペン等の指示具３０でディスプレイ２０に図形を描画した場合、コンピュータ１０は、指示具３０の発光部から放射される光（即ち、受光センサ４０からの信号）に基づいて、指示具３０がディスプレイ２０に接触している位置をリアルタイムで解析し、その解析結果から時系列で座標位置を算出する。
その後に、コンピュータ１０は、時系列で生成した座標位置を線分で結線し、ディスプレイ２０に表示するように制御する。
例えば、ユーザが、ディスプレイ２０に表示したメニュー画面から「線の描画」を選択し、発光部を有する電子ペン等の指示具３０でディスプレイ２０に図形を描画した場合、コンピュータ１０は、指示具３０の発光部から放射される光（即ち、受光センサ４０からの信号）に基づいて、指示具３０がディスプレイ２０に接触している位置をリアルタイムで解析し、その解析結果から時系列で座標位置を算出する。
その後に、コンピュータ１０は、時系列で生成した座標位置を線分で結線し、ディスプレイ２０に表示するように制御する。
図１は、ユーザがディスプレイ２０において指示具３０を三角形の形状に描画した例を示しており、この場合、コンピュータ１０は、三角形を構成する座標位置を時系列で生成し、１つのストロークとして記憶する。
ここで、ストロークとは、指示具３０の座標が検出されてから、検出が終了するまでの連続したフレームに対応する指示具３０の座標の集合のことである。
ここで、ストロークとは、指示具３０の座標が検出されてから、検出が終了するまでの連続したフレームに対応する指示具３０の座標の集合のことである。
その後に、コンピュータ１０は、算出した位置座標に基づき、描画した三角形をディスプレイ２０に表示するように制御する。
なお、図１では、ＰＣ６０から映像データ（即ち、太陽及び山を被写対象とする映像データ）が出力されていることから、コンピュータ１０は、ディスプレイ２０に、その映像データを重畳して表示するように制御している。
ディスプレイ２０は、ユーザにより手書き入力された文字、図形等、及びＰＣ６０から出力される映像データ等を表示するための表示装置である。
なお、図１では、ＰＣ６０から映像データ（即ち、太陽及び山を被写対象とする映像データ）が出力されていることから、コンピュータ１０は、ディスプレイ２０に、その映像データを重畳して表示するように制御している。
ディスプレイ２０は、ユーザにより手書き入力された文字、図形等、及びＰＣ６０から出力される映像データ等を表示するための表示装置である。
指示具３０は、発光方式の入力装置である。
また、詳細は図３において後述するが、手書きシステム１の指示具３０は、筆圧計測部、加速度計測部及び計測情報送信部を備え、計測した筆圧及び加速度に関する情報を、計測情報送信部よりコンピュータ１０に送信する。
コンピュータ１０は、指示具３０と受光センサ４０の間に遮蔽が発生した場合に、指示具３０の計測情報送信部より送信された計測情報に基づき、文字、図形等の座標を予測し、補正する。
受光センサ４０は、受光素子を備え、例えば、図１に示すように矩形のディスプレイ２０を囲む４隅部に配置されており、指示具３０から発光（放射）される光を検知する。
また、詳細は図３において後述するが、手書きシステム１の指示具３０は、筆圧計測部、加速度計測部及び計測情報送信部を備え、計測した筆圧及び加速度に関する情報を、計測情報送信部よりコンピュータ１０に送信する。
コンピュータ１０は、指示具３０と受光センサ４０の間に遮蔽が発生した場合に、指示具３０の計測情報送信部より送信された計測情報に基づき、文字、図形等の座標を予測し、補正する。
受光センサ４０は、受光素子を備え、例えば、図１に示すように矩形のディスプレイ２０を囲む４隅部に配置されており、指示具３０から発光（放射）される光を検知する。
図２は、本発明の実施形態に係る手書きシステムのコンピュータ１０のハードウェア構成図である。
コンピュータ１０は、情報処理装置であり、図２に示すように、アドレスバス、データバス等のバスラインを介して電気的に接続される、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＳＳＤ（Solid State Drive）１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１０７、ＧＰＵ（Graphics Processing Unit）１０８、ディスプレイコントローラ１０９、センサコントローラ１１０、指示具コントローラ１１１、及びアプリケーション１１２を備える。
コンピュータ１０は、情報処理装置であり、図２に示すように、アドレスバス、データバス等のバスラインを介して電気的に接続される、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＳＳＤ（Solid State Drive）１０４、ネットワークコントローラ１０５、外部記憶コントローラ１０６、キャプチャデバイス１０７、ＧＰＵ（Graphics Processing Unit）１０８、ディスプレイコントローラ１０９、センサコントローラ１１０、指示具コントローラ１１１、及びアプリケーション１１２を備える。
ＣＰＵ１０１は、コンピュータ１０全体を制御する制御部であり、例えば、アプリケーション１１２等を実行する。
ＲＯＭ１０２は、起動時にＣＰＵ１０１が実行するプログラム（ＩＰＬ（Initial Program Loader）等）を記憶する。
ＲＡＭ１０３は、ＣＰＵ１０１がアプリケーション１１２を実行する際のワークエリアとして使用される。
ＲＯＭ１０２は、起動時にＣＰＵ１０１が実行するプログラム（ＩＰＬ（Initial Program Loader）等）を記憶する。
ＲＡＭ１０３は、ＣＰＵ１０１がアプリケーション１１２を実行する際のワークエリアとして使用される。
ＳＳＤ１０４は、アプリケーション１１２、また各種データを記憶する不揮発性メモリである。
ネットワークコントローラ１０５は、ネットワークを介してサーバ等と通信する際に通信プロトコルに基づく処理を実行する。
ここで、ネットワークとは、例えば、ＬＡＮ（Local Area Network）又は複数のＬＡＮが接続されたＷＡＮ（Wide Area Network）等である。
ネットワークコントローラ１０５は、ネットワークを介してサーバ等と通信する際に通信プロトコルに基づく処理を実行する。
ここで、ネットワークとは、例えば、ＬＡＮ（Local Area Network）又は複数のＬＡＮが接続されたＷＡＮ（Wide Area Network）等である。
外部記憶コントローラ１０６は、着脱可能な外部メモリ１１３に対してデータの書き込み、また外部メモリ１１３からデータの読み出しを実行する。
なお、着脱可能な外部メモリ１１３として、例えば、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤカード等を使用することができる。
なお、着脱可能な外部メモリ１１３として、例えば、ＵＳＢ（Universal Serial Bus）メモリ、ＳＤカード等を使用することができる。
キャプチャデバイス１０７は、コンピュータ１０に接続されるＰＣ６０が表示部に表示している映像を取り込む（キャプチャする）。
ＧＰＵ１０８は、ディスプレイ２０の各ピクセルの画素値を演算するグラフィック用のプロセッサである。
ディスプレイコントローラ１０９は、ＧＰＵ１０８が生成した画像をディスプレイ２０に出力する。
センサコントローラ１１０は、受光センサ４０と接続され、指示具３０の発光部から放射される光に基づき三角測量方式による座標の算出を実行する。
ＧＰＵ１０８は、ディスプレイ２０の各ピクセルの画素値を演算するグラフィック用のプロセッサである。
ディスプレイコントローラ１０９は、ＧＰＵ１０８が生成した画像をディスプレイ２０に出力する。
センサコントローラ１１０は、受光センサ４０と接続され、指示具３０の発光部から放射される光に基づき三角測量方式による座標の算出を実行する。
指示具コントローラ１１１は、指示具３０からの計測情報を受信する通信手段であり、指示具３０とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信規格で接続される。
なお、ＣＰＵ１０１は、アプリケーション１１２を、外部メモリ１１３から読み出すことで、またネットワークコントローラ１０５により所定のサーバからダウンロードすることで、実行することができる。また、アプリケーション１１２は、外部メモリ等において、圧縮された状態で記憶させておいてもよい。
なお、ＣＰＵ１０１は、アプリケーション１１２を、外部メモリ１１３から読み出すことで、またネットワークコントローラ１０５により所定のサーバからダウンロードすることで、実行することができる。また、アプリケーション１１２は、外部メモリ等において、圧縮された状態で記憶させておいてもよい。
図３は、本発明の実施形態に係る手書きシステムの指示具３０の機能ブロック図である。
指示具３０は、図３に示すように、筆圧計測部３０１、加速度計測部３０２、及び計測した筆圧及び加速度に関する情報をコンピュータ１０に送信する計測情報送信部３０３を備える。
指示具３０は、図３に示すように、筆圧計測部３０１、加速度計測部３０２、及び計測した筆圧及び加速度に関する情報をコンピュータ１０に送信する計測情報送信部３０３を備える。
筆圧計測部３０１は、主に筆圧センサ等で構成され、指示具３０の先端部における筆圧を計測する。
加速度計測部３０２は、主に加速度センサ等で構成され、指示具３０の先端部における加速度を計測する。
計測情報送信部３０３は、筆圧計測部３０１により計測された筆圧及び加速度計測部３０２により計測された加速度に関する情報（即ち、計測情報）を、前述のように、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信規格に準拠させて、コンピュータ１０の計測情報受信部１５１（図４）に送信する。
加速度計測部３０２は、主に加速度センサ等で構成され、指示具３０の先端部における加速度を計測する。
計測情報送信部３０３は、筆圧計測部３０１により計測された筆圧及び加速度計測部３０２により計測された加速度に関する情報（即ち、計測情報）を、前述のように、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信規格に準拠させて、コンピュータ１０の計測情報受信部１５１（図４）に送信する。
図４は、本発明の実施形態に係る手書きシステムのコンピュータ１０の機能ブロック図である。
コンピュータ１０は、図４に示すように、計測情報受信部１５１、筆圧変化量算出部１５２、加速度変化量算出部１５３、座標算出部１５４、フレーム判定部１５５、遮蔽判定部１５６、座標予測部１５７、座標補正部１５８、遮蔽距離算出部１５９、遮蔽時間計測部１６０、及び表示制御部１６１を備える。
コンピュータ１０は、図４に示すように、計測情報受信部１５１、筆圧変化量算出部１５２、加速度変化量算出部１５３、座標算出部１５４、フレーム判定部１５５、遮蔽判定部１５６、座標予測部１５７、座標補正部１５８、遮蔽距離算出部１５９、遮蔽時間計測部１６０、及び表示制御部１６１を備える。
計測情報受信部１５１は、指示具３０の計測情報送信部３０３（図３）から送信される、筆圧に関する情報を受信する筆圧情報受信部と加速度に関する情報を受信する加速度情報受信部から構成される。
筆圧変化量算出部１５２は、計測情報受信部１５１（筆圧情報受信部）により受信された筆圧情報に基づき、筆圧の時間変化量を算出する。
また、加速度変化量算出部１５３は、計測情報受信部１５１（加速度情報受信部）により受信された加速度情報に基づき、加速度の時間変化量を算出する。
筆圧変化量算出部１５２は、計測情報受信部１５１（筆圧情報受信部）により受信された筆圧情報に基づき、筆圧の時間変化量を算出する。
また、加速度変化量算出部１５３は、計測情報受信部１５１（加速度情報受信部）により受信された加速度情報に基づき、加速度の時間変化量を算出する。
座標算出部１５４は、受光センサ４０により取得された画像に基づき、指示具３０の座標を算出する。
フレーム判定部１５５は、遮蔽判定処理の対象とするフレームを判定する。
遮蔽判定部１５６は、指示具３０と受光センサ４０の間に遮蔽が発生しているか否かを判定する。
フレーム判定部１５５は、遮蔽判定処理の対象とするフレームを判定する。
遮蔽判定部１５６は、指示具３０と受光センサ４０の間に遮蔽が発生しているか否かを判定する。
座標予測部１５７は、筆圧変化量算出部１５２により算出された筆圧の時間変化量、加速度変化量算出部１５３により算出された加速度の時間変化量、また座標算出部１５４による座標の算出結果に基づき、指示具３０の座標を予測する。
また、座標予測部１５７は、座標算出部１５４により算出した座標の時間変化から、描画方向を特定する描画方向特定手段としても機能する。
また、座標予測部１５７は、座標算出部１５４により算出した座標の時間変化から、描画方向を特定する描画方向特定手段としても機能する。
座標補正部１５８は、座標予測部１５７による予測結果に基づき、指示具３０の座標を補正する。
遮蔽距離算出部１５９は、遮蔽判定部１５６により遮蔽が生じていると判定した部分の座標間距離（長さ）を算出する。
遮蔽時間計測部１６０は、遮蔽が発生してから１ストロークが終了するまでの時間を計測する。
表示制御部１６１は、座標補正部１５８により補正された座標に基づき、文字、図形等に関するデータを生成し、ディスプレイ２０に表示するように制御する。
遮蔽距離算出部１５９は、遮蔽判定部１５６により遮蔽が生じていると判定した部分の座標間距離（長さ）を算出する。
遮蔽時間計測部１６０は、遮蔽が発生してから１ストロークが終了するまでの時間を計測する。
表示制御部１６１は、座標補正部１５８により補正された座標に基づき、文字、図形等に関するデータを生成し、ディスプレイ２０に表示するように制御する。
なお、以上の各部のうち、筆圧計測部３０１、加速度計測部３０２、筆圧変化量算出部１５２、加速度変化量算出部１５３、座標算出部１５４、遮蔽判定部１５６、座標予測部１５７、座標補正部１５８、表示制御部１６１は、コンピュータ１０にプログラムを読み取らせることにより生成される機能実現手段である。
図５は、本発明の実施形態に係る手書きシステム１の表示処理に関するフロー図である。
ユーザがディスプレイ２０に文字、図形等を描画すると、受光センサ４０ａは画像ＯＬを、また受光センサ４０ｂは画像ＯＲを取得する（Ｓ１０１）。
なお、受光センサ４０により取得される画像は、１次元であっても、２次元であってもよい。
ユーザがディスプレイ２０に文字、図形等を描画すると、受光センサ４０ａは画像ＯＬを、また受光センサ４０ｂは画像ＯＲを取得する（Ｓ１０１）。
なお、受光センサ４０により取得される画像は、１次元であっても、２次元であってもよい。
座標算出部１５４は、受光センサ４０により取得された画像ＯＬから指示具３０の特徴量ＦＬ、また画像ＯＲから指示具３０の特徴量ＦＲを算出する（Ｓ１０２）。
具体的には、座標算出部１５４は、ラベリング処理により画像から発光領域を切り出し、その発光領域の重心の位置（即ち、高輝度な箇所の重心の位置）、及びその重心の数を特徴量として算出する。
ここで、発光領域の重心の位置は、ステップＳ１０３において後述するように座標算出部１５４における角度の算出処理に、また発光領域の重心の数はステップＳ１０６において後述するように遮蔽判定部１５６における遮蔽判定処理で用いられる。
なお、本実施形態に係る手書きシステムでは、発光方式の指示具３０を使用しているが、光遮断方式の指示具を使用する場合には、ラベリング処理により画像から遮断領域を切り出し、その遮断領域の重心の位置（即ち、低輝度な箇所の重心の位置）、及びその重心の数を特徴量として算出する。
具体的には、座標算出部１５４は、ラベリング処理により画像から発光領域を切り出し、その発光領域の重心の位置（即ち、高輝度な箇所の重心の位置）、及びその重心の数を特徴量として算出する。
ここで、発光領域の重心の位置は、ステップＳ１０３において後述するように座標算出部１５４における角度の算出処理に、また発光領域の重心の数はステップＳ１０６において後述するように遮蔽判定部１５６における遮蔽判定処理で用いられる。
なお、本実施形態に係る手書きシステムでは、発光方式の指示具３０を使用しているが、光遮断方式の指示具を使用する場合には、ラベリング処理により画像から遮断領域を切り出し、その遮断領域の重心の位置（即ち、低輝度な箇所の重心の位置）、及びその重心の数を特徴量として算出する。
座標算出部１５４は、特徴量ＦＬから角度θＬ（受光センサ４０ａと指示具３０を結ぶ線分がディスプレイ２０の水平方向に対してなす角度）、また特徴量ＦＲから角度θＲ（受光センサ４０ｂと指示具３０を結ぶ線分がディスプレイ２０の水平方向に対してなす角度）を算出する（Ｓ１０３）。
具体的には、座標算出部１５４は、画像の全画角内における重心の位置と角度を示す参照用テーブルを予め作成し、その参照用テーブルを参照することで、角度θＬ及び角度θＲを算出する。
具体的には、座標算出部１５４は、画像の全画角内における重心の位置と角度を示す参照用テーブルを予め作成し、その参照用テーブルを参照することで、角度θＬ及び角度θＲを算出する。
座標算出部１５４は、算出した角度θＬ及び角度θＲから指示具３０の座標を算出する（Ｓ１０４）。
座標の算出には、公知の三角測量を用いればよい。
フレーム判定部１５５は、受光センサ４０により取得された画像ＯＬ及び画像ＯＲが遮蔽判定の対象となる画像（フレーム）であるか否かを判定する（Ｓ１０５）。
なお、フレーム判定部１５５におけるフレーム判定処理（Ｓ１０５）は、図６を用いて後述する。
座標の算出には、公知の三角測量を用いればよい。
フレーム判定部１５５は、受光センサ４０により取得された画像ＯＬ及び画像ＯＲが遮蔽判定の対象となる画像（フレーム）であるか否かを判定する（Ｓ１０５）。
なお、フレーム判定部１５５におけるフレーム判定処理（Ｓ１０５）は、図６を用いて後述する。
遮蔽判定部１５６は、座標算出部１５４において算出した、発光領域の重心の数から遮蔽の有無を判定する（Ｓ１０６）。
遮蔽判定部１５６は、遮蔽が有ると最初に判定したときに、それまでに算出した座標をＲＡＭ１０３に記憶する。
なお、遮蔽判定部１５６における遮蔽判定処理（Ｓ１０６）は、図７を用いて後述する。
遮蔽判定部１５６は、遮蔽が有ると最初に判定したときに、それまでに算出した座標をＲＡＭ１０３に記憶する。
なお、遮蔽判定部１５６における遮蔽判定処理（Ｓ１０６）は、図７を用いて後述する。
また、計測情報受信部１５１は、受光センサ４０により画像を取得した時刻と同時刻に筆圧計測部３０１で計測した筆圧を筆圧情報として受信する（Ｓ１０７）。
筆圧変化量算出部１５２は、計測情報受信部１５１により受信（取得）した筆圧情報に基づき、筆圧の時間変化量を算出する（Ｓ１０８）。
筆圧変化量算出部１５２は、計測情報受信部１５１により受信（取得）した筆圧情報に基づき、筆圧の時間変化量を算出する（Ｓ１０８）。
計測情報受信部１５１は、さらに、受光センサ４０により画像を取得した時刻と同時刻に加速度計測部３０２で計測した加速度を加速度情報として受信する（Ｓ１０９）。
加速度変化量算出部１５３は、計測情報受信部１５１により受信（取得）した加速度情報に基づき、加速度の時間変化量を算出する（Ｓ１１０）。
なお、筆圧情報を取得してから筆圧の時間変化量を算出するまでの処理（Ｓ１０７、Ｓ１０８）と、加速度情報を取得してから加速度の時間変化量を算出するまでの処理（Ｓ１０９、Ｓ１１０）に関して、実行する順序の先後は問わず、また同時に実行してもよい。
加速度変化量算出部１５３は、計測情報受信部１５１により受信（取得）した加速度情報に基づき、加速度の時間変化量を算出する（Ｓ１１０）。
なお、筆圧情報を取得してから筆圧の時間変化量を算出するまでの処理（Ｓ１０７、Ｓ１０８）と、加速度情報を取得してから加速度の時間変化量を算出するまでの処理（Ｓ１０９、Ｓ１１０）に関して、実行する順序の先後は問わず、また同時に実行してもよい。
座標予測部１５７は、遮蔽判定部１５６において遮蔽が有ると判定した場合、ＲＡＭ１０３に記憶した指示具３０の座標、並びに筆圧変化量算出部１５２により算出した筆圧の時間変化量及び加速度変化量算出部１５３により算出した加速度の時間変化量から、指示具３０の座標を予測する（Ｓ１１１）。
座標補正部１５８は、座標予測部１５７による予測結果に基づき、座標算出部１５４により算出した座標を補正する（Ｓ１１２）。
表示制御部１６１は、座標補正部１５８により補正した座標に基づき、ディスプレイ２０上に文字、図形等を表示させる（Ｓ１１３）。
なお、座標予測部１５７におけるステップＳ１１１の処理、また座標補正部１５８におけるステップＳ１１２の処理は、図８から図１４を用いて後述する。
表示制御部１６１は、座標補正部１５８により補正した座標に基づき、ディスプレイ２０上に文字、図形等を表示させる（Ｓ１１３）。
なお、座標予測部１５７におけるステップＳ１１１の処理、また座標補正部１５８におけるステップＳ１１２の処理は、図８から図１４を用いて後述する。
図６は、本発明の実施形態に係る手書きシステム１のフレームの判定処理に関するフロー図である。
フレーム判定部１５５は、受光センサ４０から出力される各フレームのフレーム番号Ｎが１より大きいか否かを判定する（Ｓ２０１）。
フレーム判定部１５５は、受光センサ４０から出力される各フレームのフレーム番号Ｎが１より大きいか否かを判定する（Ｓ２０１）。
ここで、フレーム番号Ｎは受光センサ４０を起動した後、何フレーム目の画像であるかを示す変数である。
フレーム判定部１５５は、フレーム番号Ｎが１より大きければ遮蔽判定処理（図７）に移行させ、それ以外の場合（即ち、フレーム番号Ｎ＝１）であれば、フレームの判定処理を終了する。
フレーム判定部１５５は、フレーム番号Ｎが１より大きければ遮蔽判定処理（図７）に移行させ、それ以外の場合（即ち、フレーム番号Ｎ＝１）であれば、フレームの判定処理を終了する。
図７は、本発明の実施形態に係る手書きシステム１の遮蔽判定処理に関するフロー図である。
遮蔽判定部１５６は、受光センサ４０ａにより取得したフレーム番号Ｎの画像ＯＬＮの重心の数と、受光センサ４０ｂにより取得したフレーム番号Ｎの画像ＯＲＮの重心の数を比較する（Ｓ３０１）。
ここで、遮蔽判定部１５６は、画像ＯＬＮの重心の数と画像ＯＲＮの重心の数が等しくない場合、重心の数が少ない画像の受光センサ４０と指示具３０の間に、遮蔽が生じていると判定する。また、逆に、遮蔽判定部は、画像ＯＬＮの重心の数と画像ＯＲＮの重心の数が等しい場合、受光センサ４０と指示具３０の間に、遮蔽は生じていないと判定する。
遮蔽判定部１５６は、受光センサ４０ａにより取得したフレーム番号Ｎの画像ＯＬＮの重心の数と、受光センサ４０ｂにより取得したフレーム番号Ｎの画像ＯＲＮの重心の数を比較する（Ｓ３０１）。
ここで、遮蔽判定部１５６は、画像ＯＬＮの重心の数と画像ＯＲＮの重心の数が等しくない場合、重心の数が少ない画像の受光センサ４０と指示具３０の間に、遮蔽が生じていると判定する。また、逆に、遮蔽判定部は、画像ＯＬＮの重心の数と画像ＯＲＮの重心の数が等しい場合、受光センサ４０と指示具３０の間に、遮蔽は生じていないと判定する。
遮蔽判定部１５６は、重心の数を比較した結果、重心の数が等しくないと判定すると（即ち、遮蔽が有りと判定すると）（Ｓ３０１ Ｙｅｓ（遮蔽有り））、遮蔽回数が０であるか否かを判定する（Ｓ３０２）。
また、遮蔽判定部１５６は、重心の数を比較した結果、重心の数が等しいと判定すると（即ち、遮蔽が無いと判定すると）（Ｓ３０１ Ｎｏ（遮蔽無し））、座標の予測及び補正処理（図８）に処理を移行させる。
ここで、遮蔽が無い場合であっても、座標の予測及び補正処理に移行させる理由は、遮蔽が無いと判定される画像の直前までの画像の取得時に遮蔽が生じている場合があり、その場合、遮蔽前後の画像から指示具３０の座標を予測し、補正する必要があるからである。
また、遮蔽判定部１５６は、重心の数を比較した結果、重心の数が等しいと判定すると（即ち、遮蔽が無いと判定すると）（Ｓ３０１ Ｎｏ（遮蔽無し））、座標の予測及び補正処理（図８）に処理を移行させる。
ここで、遮蔽が無い場合であっても、座標の予測及び補正処理に移行させる理由は、遮蔽が無いと判定される画像の直前までの画像の取得時に遮蔽が生じている場合があり、その場合、遮蔽前後の画像から指示具３０の座標を予測し、補正する必要があるからである。
遮蔽判定部１５６は、ステップＳ３０２において遮蔽回数が０であると判定すると（Ｓ３０２ Ｙｅｓ）、フレーム番号Ｎ−１までの１ストロークに対応する座標を保存する（Ｓ３０３）。
遮蔽判定部１５６は、座標を保存した後に、遮蔽回数をインクリメントする（Ｓ３０４）。
また、遮蔽判定部１５６は、ステップＳ３０２において遮蔽回数が０ではないと判定すると（Ｓ３０２ Ｎｏ）、遮蔽回数をインクリメントして（Ｓ３０５）、座標の予測及び補正処理（図８）に処理を移行させる。
遮蔽判定部１５６は、座標を保存した後に、遮蔽回数をインクリメントする（Ｓ３０４）。
また、遮蔽判定部１５６は、ステップＳ３０２において遮蔽回数が０ではないと判定すると（Ｓ３０２ Ｎｏ）、遮蔽回数をインクリメントして（Ｓ３０５）、座標の予測及び補正処理（図８）に処理を移行させる。
図８は、本発明の実施形態に係る手書きシステム１の座標の予測及び座標の補正に関する処理の手順を示すフロー図である。
座標予測部１５７は、遮蔽回数が「０」であるか否かを判定し（Ｓ４０１）、遮蔽回数が「０」ではない場合に（Ｓ４０１ Ｙｅｓ）、座標の予測及び補正に関する処理を開始する。
なお、座標予測部１５７は、遮蔽回数が「０」である場合、指示具３０の座標の予測処理を実行することなく、表示制御部１６１の表示処理に処理を移行させる。
座標予測部１５７は、遮蔽回数が「０」であるか否かを判定し（Ｓ４０１）、遮蔽回数が「０」ではない場合に（Ｓ４０１ Ｙｅｓ）、座標の予測及び補正に関する処理を開始する。
なお、座標予測部１５７は、遮蔽回数が「０」である場合、指示具３０の座標の予測処理を実行することなく、表示制御部１６１の表示処理に処理を移行させる。
座標予測部１５７は、計測情報受信部１５１において受信された筆圧情報より、１ストロークが終了しているか否かを判定する（Ｓ４０２）。
座標予測部１５７は、１ストロークが終了するまで（Ｓ４０２ Ｙｅｓ）、筆圧情報を監視する。
なお、座標予測部１５７は、筆圧情報が所定の値から「０」になると、１ストロークが終了したものと判定する。
座標予測部１５７は、１ストロークが終了するまで（Ｓ４０２ Ｙｅｓ）、筆圧情報を監視する。
なお、座標予測部１５７は、筆圧情報が所定の値から「０」になると、１ストロークが終了したものと判定する。
座標予測部１５７は、次に、１ストロークが遮蔽された状態で終了するか否かを判定する（Ｓ４０３）。
座標予測部１５７は、１ストロークが遮蔽されていない状態で終了したものと判定すると（即ち、１ストロークの途中に遮蔽が生じたものと判定すると）（Ｓ４０３ Ｎｏ）、遮蔽前後の画像から指示具３０の座標位置を予測する（Ｓ４０４）。
座標予測部１５７は、１ストロークが遮蔽されていない状態で終了したものと判定すると（即ち、１ストロークの途中に遮蔽が生じたものと判定すると）（Ｓ４０３ Ｎｏ）、遮蔽前後の画像から指示具３０の座標位置を予測する（Ｓ４０４）。
座標補正部１５８は、予測した座標位置に基づき、指示具３０の座標を補正する（Ｓ４０５）。
表示制御部１６１は、補正された指示具３０の座標に基づき、遮蔽発生時における文字、図形等の一部をマーキングして表示する（Ｓ４０６）。
表示制御部１６１は、補正された指示具３０の座標に基づき、遮蔽発生時における文字、図形等の一部をマーキングして表示する（Ｓ４０６）。
表示制御部１６１は、遮蔽距離算出部１５９において算出された遮蔽部分の座標間距離（遮蔽前後の座標間距離）が所定の閾値よりも大きいか否かを判定する（Ｓ４０７）。
表示制御部１６１は、遮蔽部分の座標間距離が所定の閾値よりも大きいと判定すると（Ｓ４０７ Ｙｅｓ）、マーキング内容に問題がないか否かに関して、ユーザに対して確認画面を表示する（Ｓ４０８）。
表示制御部１６１は、遮蔽部分の座標間距離が所定の閾値よりも大きいと判定すると（Ｓ４０７ Ｙｅｓ）、マーキング内容に問題がないか否かに関して、ユーザに対して確認画面を表示する（Ｓ４０８）。
ユーザが表示された確認画面において「ＯＫ」を選択すると（Ｓ４０９ 「ＯＫ」）、表示制御部１６１はマーキング内容を継続して表示し、遮蔽判定部１５６は遮蔽回数を「０」にリセットする（Ｓ４１１）。
また、ユーザが表示された確認画面において「ＮＧ」を選択すると（Ｓ４０９ 「ＮＧ」）、表示制御部１６１は、マーキング内容を消去し、ユーザに再度、筆記するように指示する（Ｓ４１０）。
遮蔽判定部１５６は、表示制御部１６１によりマーキング内容を消去すると（Ｓ４１０）、遮蔽回数を「０」にリセットする（Ｓ４１１）。
また、ユーザが表示された確認画面において「ＮＧ」を選択すると（Ｓ４０９ 「ＮＧ」）、表示制御部１６１は、マーキング内容を消去し、ユーザに再度、筆記するように指示する（Ｓ４１０）。
遮蔽判定部１５６は、表示制御部１６１によりマーキング内容を消去すると（Ｓ４１０）、遮蔽回数を「０」にリセットする（Ｓ４１１）。
また、ステップＳ４０３において、座標予測部１５７は、１ストロークが遮蔽された状態で終了したものと判定すると（Ｓ４０３ Ｙｅｓ）、指示具３０の筆圧及び加速度に関する変化量から指示具３０の座標位置を予測する（Ｓ４１２）。
座標補正部１５８は、予測した座標位置に基づき、指示具３０の座標を補正する（Ｓ４１３）。
表示制御部１６１は、補正された指示具３０の座標に基づき、遮蔽発生時における文字、図形等の一部をマーキングして表示する（Ｓ４１４）。
表示制御部１６１は、補正された指示具３０の座標に基づき、遮蔽発生時における文字、図形等の一部をマーキングして表示する（Ｓ４１４）。
表示制御部１６１は、遮蔽時間計測部１６０において計測された遮蔽時間（即ち、遮蔽が発生してからストロークが終了するまでの時間）が、所定の閾値よりも長いか否かを判定する（Ｓ４１５）。
表示制御部１６１は、遮蔽時間が所定の閾値よりも長いと判定すると（Ｓ４１５ Ｙｅｓ）、マーキング内容に問題がないか否かに関して、ユーザに対して確認画面を表示する（Ｓ４１６）。
表示制御部１６１は、遮蔽時間が所定の閾値よりも長いと判定すると（Ｓ４１５ Ｙｅｓ）、マーキング内容に問題がないか否かに関して、ユーザに対して確認画面を表示する（Ｓ４１６）。
ユーザが表示された確認画面において「ＯＫ」を選択すると（Ｓ４１７ 「ＯＫ」）、表示制御部１６１はマーキング内容を継続して表示し、遮蔽判定部１５６は遮蔽回数を「０」にリセットする（Ｓ４１９）。
また、ユーザが表示された確認画面において「ＮＧ」を選択すると（Ｓ４１７ 「ＮＧ」）、表示制御部１６１は、マーキング内容を消去し、ユーザに再度、筆記するように指示する（Ｓ４１８）。
遮蔽判定部１５６は、表示制御部１６１によりマーキング内容を消去すると（Ｓ４１８）、遮蔽回数を「０」にリセットする（Ｓ４１９）。
また、ユーザが表示された確認画面において「ＮＧ」を選択すると（Ｓ４１７ 「ＮＧ」）、表示制御部１６１は、マーキング内容を消去し、ユーザに再度、筆記するように指示する（Ｓ４１８）。
遮蔽判定部１５６は、表示制御部１６１によりマーキング内容を消去すると（Ｓ４１８）、遮蔽回数を「０」にリセットする（Ｓ４１９）。
図９は、遮蔽前後の画像から指示具３０の座標を予測及び補正する場合を例示している。
即ち、１ストロークの途中に遮蔽が生じた場合に、指示具３０の座標を予測及び補正する場合を例示しており、図８のステップＳ４０４からステップＳ４１１までの処理に該当する。
即ち、１ストロークの途中に遮蔽が生じた場合に、指示具３０の座標を予測及び補正する場合を例示しており、図８のステップＳ４０４からステップＳ４１１までの処理に該当する。
図９では、漢数字の「三」を筆記した場合であって、かつ受光センサ４０により取得される画像に遮蔽が生じる場合を例示している。
図９において、遮蔽が生じている箇所を点線部分で、また遮蔽が生じたことで一時的に記憶する、指示具３０の座標位置を四角で囲むことにより示している。
図９において、遮蔽が生じている箇所を点線部分で、また遮蔽が生じたことで一時的に記憶する、指示具３０の座標位置を四角で囲むことにより示している。
図９では、３つ目のストロークの途中で遮蔽が生じ、その後に遮蔽が無くなることから、手書きシステム１は、遮蔽前後の画像から指示具３０の座標を予測及び補正する。
具体的には、遮蔽発生時の指示具３０の座標を、遮蔽が開始されたときに記憶した指示具３０の座標と遮蔽が無くなったときに算出される指示具３０の座標（即ち、遮蔽前後の指示具３０の座標）から、ｎ次の多項式を用いた最小二乗法で予測し、補正する。
具体的には、遮蔽発生時の指示具３０の座標を、遮蔽が開始されたときに記憶した指示具３０の座標と遮蔽が無くなったときに算出される指示具３０の座標（即ち、遮蔽前後の指示具３０の座標）から、ｎ次の多項式を用いた最小二乗法で予測し、補正する。
次に、図１０から図１４を用いて、１ストロークが遮蔽された状態で終了する場合に、遮蔽前の画像から指示具３０の座標を予測及び補正する処理について説明する。
なお、この処理は、図８のステップＳ４１２からステップＳ４１９までの処理に該当する。
なお、この処理は、図８のステップＳ４１２からステップＳ４１９までの処理に該当する。
図１０は、遮蔽前の画像から指示具３０の座標を予測及び補正する例として、文字の終筆（即ち、「とめ」、「はね」、「はらい」）を示している。
図１０において、図１０Ａは指示具３０の座標の予測及び補正処理を実行する前、図１０Ｂは指示具３０の座標の予測及び補正処理を実行した後を示している。
図１０において、図１０Ａは指示具３０の座標の予測及び補正処理を実行する前、図１０Ｂは指示具３０の座標の予測及び補正処理を実行した後を示している。
なお、図１０では、文字の終筆を例示しているが、文字以外の図形にも適用することができる。例えば、線分を筆記している途中で遮蔽が生じ、ストロークが終了する場合、終筆の「とめ」と同様に対応し、指示具３０の座標を予測及び補正することで、線分を表示させることができる。
また、図１０Ａでは、図９と同様に、遮蔽が生じている箇所を点線部分で、また遮蔽が生じたことで一時的に記憶する、指示具３０の座標位置を四角で囲むことにより示している。
また、図１０Ａでは、図９と同様に、遮蔽が生じている箇所を点線部分で、また遮蔽が生じたことで一時的に記憶する、指示具３０の座標位置を四角で囲むことにより示している。
座標予測部１５７は、図１０Ａにおいて四角で囲まれた座標、並びに遮蔽前後の指示具３０の筆圧及び加速度の時間変化量から、遮蔽時における指示具３０の座標を予測する。
ここで、座標予測部１５７は、事前にＳＳＤ１０４等に保持している筆圧及び加速度の時間変化量と、筆圧変化量算出部１５２により算出した筆圧の時間変化量及び加速度変化量算出部１５３により算出した加速度の時間変化量とを照合することにより、指示具３０の座標位置を予測する。
ここで、座標予測部１５７は、事前にＳＳＤ１０４等に保持している筆圧及び加速度の時間変化量と、筆圧変化量算出部１５２により算出した筆圧の時間変化量及び加速度変化量算出部１５３により算出した加速度の時間変化量とを照合することにより、指示具３０の座標位置を予測する。
以下、座標の予測及び補正処理を説明するが、その前に、終筆（「とめ」、「はね」、「はらい」）に関する筆記上の一般的な特徴を、主に筆圧及び加速度の観点から説明する。
「とめ」を筆記する場合、図１０Ｂに示すように、終点において指示具３０を停止させることから、筆圧は終点にかけて上昇又は維持され、また加速度は終点にかけて低下又は維持されることになる。
「はね」を筆記する場合、図１０Ｂに示すように、途中点（即ち、はねる直前）において指示具３０を一時的に停止させ、そこから終点にかけてはねる必要があることから、筆圧は途中点まで上昇又は維持され、その後に低下することとなる。また、加速度は途中点まで低下又は維持され、その後に上昇することとなる。
「はらい」を筆記する場合、図１０Ｂに示すように、終点にかけてはらう必要があることから、筆圧は終点にかけて低下し、また加速度は終点にかけて上昇することとなる。
次に、上記で説明した終筆、即ち「とめ」、「はね」、「はらい」の筆記上の特徴に関して、図１１を用いて筆圧の時間変化量を、また図１２を用いて加速度の時間変化量をグラフ化して説明する。
「とめ」を筆記する場合、図１０Ｂに示すように、終点において指示具３０を停止させることから、筆圧は終点にかけて上昇又は維持され、また加速度は終点にかけて低下又は維持されることになる。
「はね」を筆記する場合、図１０Ｂに示すように、途中点（即ち、はねる直前）において指示具３０を一時的に停止させ、そこから終点にかけてはねる必要があることから、筆圧は途中点まで上昇又は維持され、その後に低下することとなる。また、加速度は途中点まで低下又は維持され、その後に上昇することとなる。
「はらい」を筆記する場合、図１０Ｂに示すように、終点にかけてはらう必要があることから、筆圧は終点にかけて低下し、また加速度は終点にかけて上昇することとなる。
次に、上記で説明した終筆、即ち「とめ」、「はね」、「はらい」の筆記上の特徴に関して、図１１を用いて筆圧の時間変化量を、また図１２を用いて加速度の時間変化量をグラフ化して説明する。
図１１は、筆圧変化量算出部により算出した筆圧の時間変化量を示す図である。
図１１では、「とめ」、「はね」及び「はらい」に関する筆圧の時間変化量を示している。
図１１において、横軸に時間、また縦軸に筆圧を示している。
図１１では、「とめ」、「はね」及び「はらい」に関する筆圧の時間変化量を示している。
図１１において、横軸に時間、また縦軸に筆圧を示している。
「とめ」の場合、図１１Ａに示すように、筆圧は時間の経過に伴って上昇又は維持される。
「はね」の場合、図１１Ｂに示すように、筆圧は途中点まで上昇又はある程度維持され、その後に低下することとなる。
「はらい」の場合、図１１Ｃに示すように、筆圧は時間の経過に伴って低下することとなる。
「はね」の場合、図１１Ｂに示すように、筆圧は途中点まで上昇又はある程度維持され、その後に低下することとなる。
「はらい」の場合、図１１Ｃに示すように、筆圧は時間の経過に伴って低下することとなる。
図１２は、加速度変化量算出部により算出した加速度の時間変化量を示す図である。
図１２では、「とめ」、「はね」及び「はらい」に関する加速度の時間変化量を示している。
図１２において、横軸に時間、また縦軸に加速度を示している。
図１２では、「とめ」、「はね」及び「はらい」に関する加速度の時間変化量を示している。
図１２において、横軸に時間、また縦軸に加速度を示している。
「とめ」の場合、図１２Ａに示すように、加速度は時間の経過に伴って低下又は維持される。
「はね」の場合、図１２Ｂに示すように、加速度は途中点まで低下又は維持され、その後に上昇する。
「はらい」の場合、図１２Ｃに示すように、加速度は上昇する。
「はね」の場合、図１２Ｂに示すように、加速度は途中点まで低下又は維持され、その後に上昇する。
「はらい」の場合、図１２Ｃに示すように、加速度は上昇する。
座標予測部１５７は、図１１に示す筆圧の時間変化量及び図１２に示す加速度の時間変化量から、「とめ」、「はね」、「はらい」のいずれかを判定し、座標を予測する。
なお、終筆の「とめ」、「はね」に関して、筆圧及び加速度の時間変化量は途中まで同様の特徴を有するが、その後に相違するため、座標予測部１５７は、「とめ」、「はね」を判別（予測）することができる。
また、座標予測部１５７は、筆圧及び加速度の時間変化量から指示具３０の座標を予測する上で、図１１、図１２に示すグラフの傾きを利用することができ、その傾きに所定の閾値を設定することもできる。
例えば、座標予測部１５７は、加速度の時間変化量の傾きが所定の範囲（閾値）内で上昇しているときに、「はらい」と判定する。
なお、終筆の「とめ」、「はね」に関して、筆圧及び加速度の時間変化量は途中まで同様の特徴を有するが、その後に相違するため、座標予測部１５７は、「とめ」、「はね」を判別（予測）することができる。
また、座標予測部１５７は、筆圧及び加速度の時間変化量から指示具３０の座標を予測する上で、図１１、図１２に示すグラフの傾きを利用することができ、その傾きに所定の閾値を設定することもできる。
例えば、座標予測部１５７は、加速度の時間変化量の傾きが所定の範囲（閾値）内で上昇しているときに、「はらい」と判定する。
座標補正部１５８は、予測した座標に基づき、座標を補正する。
図１３は、筆圧及び加速度の時間変化量に基づく、終筆の判定（座標の予測）及び座標の補正について説明する図である。
図１３は、筆圧及び加速度の時間変化量に基づく、終筆の判定（座標の予測）及び座標の補正について説明する図である。
座標予測部１５７は、筆圧が上昇又は維持され、また加速度が低下又は維持される場合に、「とめ」と判定する。
この場合、座標補正部は、「とめ」の筆記上の特徴を踏まえ、太く（筆圧をある程度高くして）、短く補正する。
座標予測部は１５８、筆圧が途中点まで上昇又は維持され、その後に低下し、また加速度が途中点まで低下又は維持され、その後に上昇する場合に、「はね」と判定する。
この場合、座用補正部は、「はね」の筆記上の特徴を踏まえ、途中点まで太く（筆圧をある程度高くして）、短く、終点まで細く（筆圧をある程度低くして）、長く補正する。
座標予測部は、筆圧が終点にかけて低下し、また加速度が上昇する場合に、「はらい」と判定する。
この場合、座標補正部は、「はらい」の筆記上の特徴を踏まえ、細く（筆圧を低くして）、長く補正する。
この場合、座標補正部は、「とめ」の筆記上の特徴を踏まえ、太く（筆圧をある程度高くして）、短く補正する。
座標予測部は１５８、筆圧が途中点まで上昇又は維持され、その後に低下し、また加速度が途中点まで低下又は維持され、その後に上昇する場合に、「はね」と判定する。
この場合、座用補正部は、「はね」の筆記上の特徴を踏まえ、途中点まで太く（筆圧をある程度高くして）、短く、終点まで細く（筆圧をある程度低くして）、長く補正する。
座標予測部は、筆圧が終点にかけて低下し、また加速度が上昇する場合に、「はらい」と判定する。
この場合、座標補正部は、「はらい」の筆記上の特徴を踏まえ、細く（筆圧を低くして）、長く補正する。
なお、「とめ」、「はね」、「はらい」のいずれにも該当しない場合には、中間値を設定する。中間値は、「とめ」、「はね」、「はらい」の補正をする上で、例えば、太く又は細くする場合にその中間となる値である。
また、本発明の実施形態に係る手書きシステムでは、加速度センサとして、加速度の方向を計測しない（即ち、スカラー量のみ計測する）安価なものを実装することを想定している。
この場合、座標予測部１５８は、指示具３０の筆圧及び加速度の時間変化量より、「とめ」、「はらい」に関しては問題なく指示具３０の座標を予測することができるが、「はね」に関しては、どの方向にはねているのか予測することができない。
そこで、「はね」に関して、図１４を用いて、どの方向にはねているのか予測する方法を説明する。
また、本発明の実施形態に係る手書きシステムでは、加速度センサとして、加速度の方向を計測しない（即ち、スカラー量のみ計測する）安価なものを実装することを想定している。
この場合、座標予測部１５８は、指示具３０の筆圧及び加速度の時間変化量より、「とめ」、「はらい」に関しては問題なく指示具３０の座標を予測することができるが、「はね」に関しては、どの方向にはねているのか予測することができない。
そこで、「はね」に関して、図１４を用いて、どの方向にはねているのか予測する方法を説明する。
図１４は、「はね」の特性及び「はね」のはねる方向の予測方法について説明する図である。
「はね」には、図１４に示すように、以下の特性がある。
図１４Ａは、左下方向に描画され、その後に「はね」動作に入る場合を示しており、左上方向にはねる。
図１４Ｂは、真下方向に描画され、その後に「はね」動作に入る場合を示しており、左上方向にはねる。
図１４Ｃは、右下方向に描画され、その後に「はね」動作に入る場合を示しており、右上方向にはねる。
図１４Ｄは、真横方向に描画され、その後に「はね」動作に入る場合を示しており、真上方向にはねる。
「はね」には、図１４に示すように、以下の特性がある。
図１４Ａは、左下方向に描画され、その後に「はね」動作に入る場合を示しており、左上方向にはねる。
図１４Ｂは、真下方向に描画され、その後に「はね」動作に入る場合を示しており、左上方向にはねる。
図１４Ｃは、右下方向に描画され、その後に「はね」動作に入る場合を示しており、右上方向にはねる。
図１４Ｄは、真横方向に描画され、その後に「はね」動作に入る場合を示しており、真上方向にはねる。
座標予測部１５７は、指示具３０の筆圧及び加速度の時間変化量、並びに図１４に示す特性（即ち、「はね」動作の直前の描画方向（座標位置の時間変化））に基づき、はねる方向を予測する。
座標予測の具体的な処理として、線形予測フィルタ等の処理速度に負荷がかからない程度の軽い処理を選択することも可能であり、指示具３０の筆圧及び加速度の時間変化量、並びに描画方向を入力し、予め用紙したテーブル等を参照することで、補正する文字の長さ、太さ、はねる方向を一意に決定する。
座標予測の具体的な処理として、線形予測フィルタ等の処理速度に負荷がかからない程度の軽い処理を選択することも可能であり、指示具３０の筆圧及び加速度の時間変化量、並びに描画方向を入力し、予め用紙したテーブル等を参照することで、補正する文字の長さ、太さ、はねる方向を一意に決定する。
上記で例示した「とめ」、「はね」及び「はらい」に関して、記載内容はあくまで一般的なユーザの特徴、また一般的な文字の特徴に基づき記載された内容であることから、各々のユーザの文字や図形の記載上の特徴を事前に登録することで、そのユーザに応じて文字や図形の判定処理（座標位置の予測処理、補正処理）を実行することもできる。
以上、説明したように、本発明の実施形態に係る、光学式の座標検出手段を備えた電子黒板等の手書きシステムによれば、指示具と受光センサの間に遮蔽が発生した場合であっても、指示具の座標検知精度を向上させることができる。
なお、本発明の目的は、指示具と受光センサ付の電子黒板等を備えた手書きシステムの機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システム又は装置に供給し、そのシステム又は装置のコンピュータ（即ち、ＣＰＵ、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor））が記録媒体に格納されたプログラムコードを実行することによっても達成することが可能である。
この場合、記録媒体から読み出されたプログラムコード自体が指示具と受光センサ付の電子黒板等を備えた手書きシステムの機能を実現することになり、そのプログラムコード又はそのプログラムを記憶した記録媒体は本発明を構成することになる。
プログラムコードを供給するための記録媒体としては、ＦＤ（Floppy Disk）、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ、ＲＯＭなどの光記録媒体、磁気記録媒体、光磁気記録媒体、半導体記録媒体を使用することができる。
この場合、記録媒体から読み出されたプログラムコード自体が指示具と受光センサ付の電子黒板等を備えた手書きシステムの機能を実現することになり、そのプログラムコード又はそのプログラムを記憶した記録媒体は本発明を構成することになる。
プログラムコードを供給するための記録媒体としては、ＦＤ（Floppy Disk）、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリ、ＲＯＭなどの光記録媒体、磁気記録媒体、光磁気記録媒体、半導体記録媒体を使用することができる。
また、コンピュータが読み出したプログラムコードを実行することにより、手書きシステムの機能が実現されるだけでなく、そのプログラムコードの命令に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって手書きシステムの機能が実現される場合も含まれることは言うまでもない。
また、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述の画像表示システムの機能が実現される場合も含まれることは言うまでもない。
また、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述の画像表示システムの機能が実現される場合も含まれることは言うまでもない。
１…手書きシステム、１０…コンピュータ、２０…ディスプレイ、３０…指示具、４０（４０ａ〜４０ｄ）…受光センサ、５０（５０ａ〜５０ｄ）…周辺発光部。
Claims (7)
- 電子黒板と、前記電子黒板に文字又は図形を入力する発光方式の入力装置である指示具と、前記指示具から発光される光を受光する２個以上の受光センサと、前記受光センサで検知した受光情報に基づき指示具の座標を算出する座標算出手段と、前記指示具と前記受光センサの間に遮蔽が発生しているか否かを判定する遮蔽判定手段と、前記座標算出手段で算出した座標に基づき、前記指示具で入力された文字又は図形を前記電子黒板に表示するように制御する表示制御手段と、を有する手書きシステムであって、
前記指示具の筆圧を計測する筆圧計測手段と、
前記指示具の加速度を計測する加速度計測手段と、
前記筆圧計測手段により計測した筆圧の時間変化量を算出する筆圧変化量算出手段と、
前記加速度計測手段により計測した加速度の時間変化量を算出する加速度変化量算出手段と、
前記遮蔽判定手段により遮蔽が発生していると判定したときに、前記筆圧変化量算出手段により算出した筆圧の時間変化量及び前記加速度変化量算出手段により算出した加速度の時間変化量から、前記指示具の座標位置を予測する座標予測手段と、
前記座標予測手段により予測した座標に基づき、前記指示具の座標位置を補正する座標補正手段と、
を有する手書きシステム。 - 請求項１に記載された手書きシステムにおいて、
前記電子黒板に、前記指示具で所定の文字又は図形を筆記したときの筆圧及び加速度の時間変化量を、文字又は図形毎に記憶する記憶手段を有し、
前記座標予測手段が、前記記憶手段に記憶した筆圧及び加速度の時間変化量と、前記筆圧変化量算出手段により算出した筆圧の時間変化量及び前記加速度変化量算出手段により算出した加速度の時間変化量とを照合することで、前記指示具の座標位置を予測する手書きシステム。 - 請求項２に記載された手書きシステムにおいて、
前記座標予測手段が、前記記憶手段に記憶した筆圧及び加速度の時間変化量に所定の範囲を設定し、前記筆圧変化量算出手段により算出した筆圧の時間変化量及び前記加速度変化量算出手段により算出した加速度の時間変化量が前記所定の範囲以内にあるか否かを判定することで、前記指示具の座標位置を予測する手書きシステム。 - 請求項３に記載された手書きシステムにおいて、
前記記憶手段に記憶する、筆圧及び加速度の時間変化量を、ユーザ毎に設定可能な手書きシステム。 - 請求項１ないし４のいずれかに記載された手書きシステムにおいて、
前記座標算出手段により算出された座標の時間変化から、指示具の描画方向を特定する描画方向特定手段を有し、
前記座標予測手段が、前記描画方向特定手段により特定された指示具の描画方向から、前記指示具の座標位置を予測する手書きシステム。 - 請求項５に記載された手書きシステムにおいて、
前記描画方向特定手段が前記指示具の描画方向を少なくとも２つ以上の方向に特定する手書きシステム。 - コンピュータを、請求項１に記載された手書きシステムの各手段として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014266082A JP6417939B2 (ja) | 2014-12-26 | 2014-12-26 | 手書きシステム及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014266082A JP6417939B2 (ja) | 2014-12-26 | 2014-12-26 | 手書きシステム及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016126476A JP2016126476A (ja) | 2016-07-11 |
| JP6417939B2 true JP6417939B2 (ja) | 2018-11-07 |
Family
ID=56357935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014266082A Active JP6417939B2 (ja) | 2014-12-26 | 2014-12-26 | 手書きシステム及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6417939B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102537133B1 (ko) * | 2016-07-21 | 2023-05-30 | 삼성전자주식회사 | 좌표 예측을 통한 좌표 출력 지연시간 감소 방법 |
| WO2020133227A1 (zh) * | 2018-12-28 | 2020-07-02 | 深圳市柔宇科技有限公司 | 笔迹数据处理方法、输入设备和手写系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06175777A (ja) * | 1992-12-03 | 1994-06-24 | Matsushita Electric Ind Co Ltd | 毛筆書体形成装置および毛筆書体形成方法 |
| JPH09114577A (ja) * | 1995-10-18 | 1997-05-02 | Canon Inc | 座標入力方法及びその装置 |
| JP3696365B2 (ja) * | 1996-11-15 | 2005-09-14 | 株式会社リコー | ペン型入力装置 |
| JPH11296292A (ja) * | 1998-04-13 | 1999-10-29 | Ricoh Co Ltd | ペン型入力装置及び文字認識方法 |
| JP4112878B2 (ja) * | 2002-03-01 | 2008-07-02 | 株式会社リコー | 座標検出装置 |
| AU2009253801A1 (en) * | 2008-06-05 | 2009-12-10 | Smart Technologies Ulc | Multiple pointer ambiguity and occlusion resolution |
| US20110241988A1 (en) * | 2010-04-01 | 2011-10-06 | Smart Technologies Ulc | Interactive input system and information input method therefor |
| JP2012138049A (ja) * | 2010-12-28 | 2012-07-19 | Nec Casio Mobile Communications Ltd | 情報端末、文字入力方法、及びプログラム |
-
2014
- 2014-12-26 JP JP2014266082A patent/JP6417939B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016126476A (ja) | 2016-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9880673B2 (en) | Multi-touch input information processing apparatus, method, and storage medium | |
| JP2010055510A (ja) | 情報処理装置及び情報処理方法 | |
| JP5389241B1 (ja) | 電子機器および手書き文書処理方法 | |
| US20150301713A1 (en) | Portable device | |
| US20140247218A1 (en) | Modifying key size on a touch screen based on fingertip location | |
| JP4858375B2 (ja) | 情報処理装置及びプログラム | |
| JP2016162032A (ja) | 表示装置、表示制御方法およびプログラム | |
| JP2015212927A (ja) | 入力操作検出装置、入力操作検出装置を備えた画像表示装置及びプロジェクタシステム | |
| JP6417939B2 (ja) | 手書きシステム及びプログラム | |
| US20160370861A1 (en) | Input device and input control method | |
| US9524099B2 (en) | Information processing apparatus, non-transitory readable medium, and handwriting input method | |
| JP6229554B2 (ja) | 検出装置および検出方法 | |
| US10073586B2 (en) | Method and system for mouse pointer to automatically follow cursor | |
| EP3032380A1 (en) | Image projection apparatus, and system employing interactive input-output capability | |
| US9483125B2 (en) | Position information obtaining device and method, and image display system | |
| US9721353B2 (en) | Optical positional information detection apparatus and object association method | |
| CN111886567B (zh) | 操作输入装置、操作输入方法及计算机可读的记录介质 | |
| JP2018005543A (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
| JP6065433B2 (ja) | 投影装置、投影システム、プログラム | |
| US20140201687A1 (en) | Information processing apparatus and method of controlling information processing apparatus | |
| JP2016018428A (ja) | 電子機器、方法及びプログラム | |
| JP2016024518A (ja) | 座標検出システム、座標検出方法、情報処理装置及びプログラム | |
| JP2015207260A (ja) | 座標入力システム、座標入力システムにおける発光強度制御方法、情報処理装置及びプログラム | |
| JP6248723B2 (ja) | 座標検知システム、座標検知方法、情報処理装置及びプログラム | |
| EP3059664A1 (en) | A method for controlling a device by gestures and a system for controlling a device by gestures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180815 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180924 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6417939 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |