JP5848230B2 - 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート - Google Patents
手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート Download PDFInfo
- Publication number
- JP5848230B2 JP5848230B2 JP2012248444A JP2012248444A JP5848230B2 JP 5848230 B2 JP5848230 B2 JP 5848230B2 JP 2012248444 A JP2012248444 A JP 2012248444A JP 2012248444 A JP2012248444 A JP 2012248444A JP 5848230 B2 JP5848230 B2 JP 5848230B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- handwriting input
- output system
- dot pattern
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明にかかる手書き入出力システムは、少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体と、該書き込み領域の該ドットパターンを撮像して、送信する撮像手段と、該撮像手段により撮像・送信された該ドットパターンの画像データを記憶して、該画像データをコード解析することにより、該座標情報および該コード情報からなる軌跡情報を求めるドットパターン解析手段と、解析された該座標情報の変化に基づき、該書き込み領域面においてトレースされた、文字および/または図形の該軌跡情報を認識する軌跡認識手段と、認識された認識情報に基づいた処理命令と該軌跡情報を情報処理手段に対し送信する処理命令手段とを備えたことを特徴とする。
<手書き入力シート>
本発明にかかる手書き入力シートは、少なくとも一部、または複数の領域に座標情報および、コード情報が繰り返し定義されたドットパターンが形成された書き込み領域を備えた媒体からなることを特徴とする。
<情報入力システム>
本発明にかかる情報入力システムは、一面側からの赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の一面側に設けられ、赤外線を拡散反射する特性を有する材料からなる、少なくとも一部、または複数の領域に座標情報および/またはコード情報が繰り返し定義されたドットパターンのドットが配置されたドットパターン層と、該ドットパターン層の、該赤外線反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層とが積層されている情報入力補助シート、すなわちグリッドシートと、少なくとも媒体面の一部に、該ドットパターンのドットが赤外線を吸収する特性を有する材料で形成された媒体と、該ドットパターンを撮像して、送信する撮像手段と、該媒体面の該ドットパターンを該撮像手段により撮像・送信された該ドットパターンの画像データでは、明度が周辺とは低く撮像されるドット部、または、該グリッドシートの該ドットパターンを該撮像手段により撮像・送信された該ドットパターンの画像データでは、明度が周辺とは高く撮像されるドット部を、所定の判定方法により判定し、該ドットパターンの画像データを記憶素子に記憶して、コード解析することにより、該座標情報および/または該コード情報を入力するドットパターン解析手段とからなることを特徴とする。
<情報入力補助シート>
本発明にかかる情報入力補助シートは、一面側からの赤外線を反射すると共に、可視光を透過する特性を有する赤外線反射層と、該赤外線反射層の一面側に設けられ、赤外線を拡散反射する特性を有する材料からなる、少なくとも一部、または複数の領域に座標情報および/またはコード情報が繰り返し定義されたドットパターンのドットが配置されたドットパターン層と、該ドットパターン層の、該赤外線反射層と反対側に設けられ、赤外線および可視光を透過する特性を有する保護層と、が積層されていることを特徴する。
た前記指示用突起部または前記ペン先が前記書き込み領域面に触れる位置の座標情報と前記コード情報からなり、前記ドットパターン解析手段により、前記ドットパターンに定義された座標情報を基に補間計算して求められることが好ましい。
図1は、本発明にかかる手書き入出力システム1の使用状態の一例を示す外観図である。同図によれば、媒体2にスキャナ3を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ6に表示される。これは、スキャナ3が、書き込んだ軌跡上のドットパターンを撮像して、コンピュータ4が解析する(必要に応じてサーバ5にアクセスする)ことにより、実現する。ただし、コンピュータ4がスキャナ3に内蔵されていてもよい。
以下に、本発明にかかる手書き入出力システム1において用いるドットパターンについて、図8〜15を用いて説明する。
図8〜図15は本発明にかかる手書き入出力システム1において媒体2に形成されるドットパターンの一例であるGRID1を示す説明図である。
なお、撮像手段であるスキャナ3を媒体面に近づけて、または触れてドットパターンを撮像する場合は、キードット102、情報ドット103または基準格子点ドット104のドットの径は、見栄えと、紙質に対する印刷の精度、撮像部7の解像度および最適なデジタル化を考慮して、隣り合う基準格子点ドット104の間隔の6〜16%(基準格子点ドットの間隔が0.5mmの場合は0.03〜0.08mm)程度が望ましい。ただし撮像手段であるスキャナ3の撮影口の大きさにより、撮像領域内に所定のドットパターンが撮像されるよう形成される必要があり、1ブロックのドットパターンの配置サイズおよびドットの径を適切に定めることは勿論である。さらに、撮像面積に対する必要な情報量と、各種ドット102,103,104の誤認を考慮して基準格子点ドット104の間隔は縦・横0.3〜0.5mm前後が望ましい。基準格子点ドット104および情報ドット103との誤認を考慮して、キードット102のずれは格子間隔の20〜25%前後が望ましい。
次に、ドットパターンの他の形態であるディレクションドットについて図14を用いて説明する。
図15は、本発明にかかる手書き入出力システム1において媒体2に形成されるドットパターンのフォーマットについて説明する図である。
<撮像部>
図16〜28は、本発明にかかる手書き入出力システム1に用いる撮像部7を説明する図である。
同図(b)は時間毎のLED34の発光タイミングを示す図である。LED34は所定のタイミング毎に瞬間的に所定強度、発光して、媒体2を露光する。C−MOSセンサ35は媒体2からの反射光を撮像し、画像データとしてドットパターン解析部8へ送信する。
また、ペン型スキャナ31は、筆記具としてのペン37が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、ペン型スキャナ31の外周は、45度まで傾斜可能になるように形成されている。この場合、ペン37の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン37の印字の際の筆跡や移動距離等を正確に解析することも可能となる。また、後述するオフセット補正により、筆跡をさらに正確に解析することが可能である。
図17(a)に示すように、ペン型スキャナ31において、撮像部7が撮像するドットパターンが定義するXY座標値と、ペン37が実際に書き込む軌跡上のドットパターンが定義するXY座標値は異なる。さらに、軌跡上のドットパターンが定義するXY座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
図19に書き込み領域の一例を示す。
(X×L+L/2, Y×L+L/2)となる。
なお、図21のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの中心点と原点を一致させると、
(X×L, Y×L)となる。
((X−Xn0)×L,(Y−Yn0)×L) となる。
<撮像中心Cのドットパターン座標系におけるXY座標値〔Xc,Yc〕の算出>
図23を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うブロックの中心間隔を構成するピクセル数Mを求める。ブロックの中心間隔は、ブロックの一辺の長さLに等しいので、Lに対する撮像画像の1ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、
k=L/Mとなる。
CP=k×uとなる。
〔Xc,Yc〕=〔Xp−CP×sinθ', Yp+CP×cosθ'〕
が求まる。
図24のように、書き込み領域座標系における撮像中心Cの座標値を(xc,yc)、ペン先の媒体面における座標値をQ(xq,yq)とする。図25のように、点Cと点Qのx座標値、y座標値の差分を、それぞれΔxq、Δyqとすると、
Δxq =xq −xc
Δyq=yq−yc
が求まる。
Δxq およびΔyqは、
Δxq =−s×sinθ
Δyq=s×cosθ
となる。
xq =xc −s×sinθ
yq=yc+s×cosθ
となる。
図27のように、ペン型スキャナ31が紙面に対し傾いている場合、前述の撮像中心Cからペン先Qまでの距離が変化する。
xq' =xc −s'×sinθ
yq'=yc+s'×cosθ
となる。
s'=s/cosα
であるので、これを当該式に代入すると、
xq' =xc −s'×sinθ/ cosα
yq'=yc+s'×cosθ/ cosα
となる。
なお、図28のように、ペン先が格納されると、ΔLだけペン型スキャナ31が紙面に近づくがsおよびs'には影響を及ぼすものではなく、計算式は同一となる。
ペンの傾きαを検出するには、ペン本体に傾きセンサなどの傾き計測手段を設けても良い。
図29〜42は、本発明にかかる手書き入出力システム1に用いる媒体2を説明する図である。
(複数の書き込み領域が設けられる場合に関して)
第1の例は、図34に示すように、複数の書き込み領域毎に、異なるドットパターン座標系によるXY座標値と書き込み領域を特定するコード値とを定義したドットパターンが形成される場合である。
第2の例は、図36に示すように、所定領域全面に1つのドットパターン座標系によるXY座標値を定義したドットパターンが形成され、書き込み領域のドットパターンにはXY座標と共にコード値も定義されている場合である。
第3の例は、図37に示すように、書き込み領域の中に、さらに書き込み領域を入れ込む場合である。
第4の例は、図38に示すように、所定領域全面に1つのドットパターン座標系を定め、書き込み領域にはこの座標系でのXY座標値と書き込み領域を特定するコード値を定義したドットパターンが形成される場合である。
本発明の手書き入出力システム1においては、手書き入力を行い、情報処理部11において手書き入力を反映させたものを印刷して、再度手書き入力を行うこともできる。
また、媒体2にはバンクガイド38(幅狭の凸部)または点字39をさらに設けてもよい。
ドットパターン解析部8は、前述のGRID1におけるドットパターンを用いた情報の入出力方法に従い、画像データをコード解析することにより、ドットパターンが定義するXY座標情報およびコード情報を求める。
軌跡認識部9は、軌跡情報の変化に基づき、媒体上に書き込まれた文字、図形を認識する。
本発明にかかる手書き入出力システム1は計時部15をさらに備えてもよい。計時部15は時間情報を検出する機能を持つ。
(1)撮像部7が書き込み領域面に触れて描かれた筆歴の順番とする。
本発明にかかる手書き入出力システム1は角度測定部16・角度変化認識部17をさらに備えてもよい。角度測定部16・角度変化認識部17は撮像部7の媒体面に対する傾きを測定・認識する。
本発明にかかる手書き入出力システム1は回転角読み取り部18・回転角変化認識部19をさらに備えてもよい。回転角読み取り部18・回転角変化認識部19は撮像部7の撮像光軸を概ね鉛直状に立て、回転させたときの回転角を読み取り・認識する。
本発明にかかる手書き入出力システム1において、撮像部7を書き込み領域にタッチする動作(タッチ動作)と、書き込み領域に触れた状態から跳ねる動作(跳ねる動作)の判別方法を図48に説明する。
処理命令部10は、軌跡認識部9が認識した情報に基づく処理命令を、軌跡情報とともに情報処理部11に対して送信する。
情報処理部11は、本発明にかかる手書き入出力システム1が行う処理命令を受けて、各種の処理を実行する。
本発明にかかる手書き入出力システム1は、必要に応じて各種の情報を記録したサーバ5にアクセスしてもよい。
サーバ5には、たとえば軌跡認識用の情報を記憶することができる。一般的なOCR(光学的文字読取装置)で採用されているように複数の文字および図形にXY座標パターンが定義づけられて記憶されている。
サーバ5には軌跡認識用の情報以外にも、音声、文書、画像、動画、アプリケーション、その他の様々な情報を記憶することができることは説明するまでもない。たとえば手書き入出力用アプリケーションを記憶することができる。すなわち、情報処理部11が手書き入出力用アプリケーションを持たないとき、サーバ内を検索して、サーバ上の手書き入出力用アプリケーションを実行することができる。ただし、サーバ上の手書き入出力用アプリケーションを優先して実行してもよい。
以下に、本発明にかかる手書き入出力システム1において実行される、手書き入出力用アプリケーションについて説明する。
以下、本発明にかかる手書き入出力システム1における、書き込み操作について説明する。
図49は本文の文字を手書き入力する第一のオペレーションを説明するイメージ図である。
図50に示すように、第二のオペレーションはコメントの文字を手書き入力するオペレーションである。なお、同図では説明の便宜を図るためにコメント部分を破線により囲んでいるが、実際に破線を書き込む必要はない。
第三のオペレーションは手書き入力した文字を編集するオペレーションである。
以下に、各オペレーションの階層関係について説明する。
図59に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、右回転させることにより、処理命令部10は入力した文字および文書構成の結果(ファイル内容の変更結果)を保存することを情報処理部11に命令する。撮像部7本体が、編集履歴を記録できる機能を有している場合は、上記文書構成の結果を情報処理部11に送信する。
図61に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、右回転させ、そのまま所定の時間内(例:1秒以内)に所定回転角度(例:10度以上)左回転させることにより、処理命令部10は情報処理部11に対して手書き入出力用アプリケーションを起動することを命令する。
以下に、図63を用いて、オペレーションの切り替えをする第一の方法を説明する。
以下に、オペレーションの切り替えをする第二の方法を説明する。
以下に、オペレーションの切り替えをする第三の方法を説明する。
情報処理部11が所定の処理を実行するか否かを決定するときにおいて、図65(a)に示すように、撮像部7を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内(例:1秒以内)にもう一度媒体面をタッチしたとき、処理命令部10は情報処理部11に対して処理の実行を決定することを命令する。
以上の構成は媒体2に書き込み履歴を残すことを前提とするものであるが、本発明にかかる手書き入出力システム1は媒体2に書き込み履歴を残すことなく、ディスプレイ6を見ながら手書き入力を行ってもよいことは先にも述べたとおりである。
本発明は手書き入出力システムであるが、手書き入力を補助する方法として音声認識および音声ガイドをすることができるものとしてもよい。
音声収録部20は、図66に示すように、中央処理装置(MPU)40を中心に構成されている。すなわち、中央処理装置(MPU)40の制御によって、マイク41から入力された音声情報は、アンプ42を介してA/Dコンバータ43、圧縮回路44によって処理され、デジタル音声情報として、記録される。
音声認識部21は、録音した音声情報を対応するテキスト情報に変換し、処理命令部10は情報処理部11に対して、テキスト情報に基づく処理命令をテキスト情報と共に送信する。
本発明に係る手書き入出力システム1が、手書き入力に代えて音声収録を行う場合、所定の操作を行なうことにより音声収録モードへの切り替えを行う必要がある。以下に、音声収録モードへの切り替え方法を説明する。
音声収録モードへ切り替える第一の方法としては、撮像部7が音声収録モードへの切り替えを意味する特定の記号を書き込む(なぞる、描く)ことにより、音声収録モードへ切り替える方法がある。軌跡認識部9が音声収録モードへの切り替えを意味する特定の記号の軌跡を認識して、音声収録部20に送信することにより(または処理命令部10を介して送信することにより)、音声収録部20は音声収録を開始する。
音声収録モードへ切り替える第二の方法としては、図67に示すように、撮像部7を媒体面の書き込み領域に触れた状態で跳ねる動作をすることにより、音声収録モードへ切り替える方法がある。
音声収録モードへ切り替える第三の方法としては、音声収録部20に所定の音声を収録し、音声認識部21が所定の音声を認識することにより、音声収録モードへ切り替える方法がある。
音声出力部22は処理命令部10からの指示に応じて所定の音声ファイルを再生する。音声ファイルは予めデジタル化されて記憶されているものがA/Dコンバータ42、アンプ42を介してスピーカ45またはイヤホン46より出力される。
本発明にかかる手書き入出力システム1においては、コード情報を利用することにより、手書き入力を行うユーザに対して音声ガイドを行ってもよい。
図68〜図72は、本発明にかかる手書き入出力システム1において、情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。このグリッドシートは、透明なシート上にドットパターンが形成されたものであって、モニタ面上に重ねて貼り付けることでタッチパネルとしての機能を発揮するものである。
なお、同図に示したグリッドシートにおいては、赤外線反射層または赤外線拡散反射層の一面側と他面側のドットパターン層では、異なる座標値および/またはコード値がパターン化されていてもよい。
前述したように、グリッドシートにおいて赤外線拡散反射層を設けないでおくと、シート表面では鏡面反射するため、撮像素子の中心周辺に赤外線反射光が入射しない領域ができてしまい、図69(b)のような黒目が中央に位置するような目玉現象が生じる。そのため、拡散反射層を設ける必要がありコスト高になってしまう。
そこで、拡散反射層を設けないグリッドシートの場合に、拡散反射素材(拡散反射インク)によってドットパターンの形成を行う方法を用いる。この方法よれば、拡散反射素材で形成されたドットは、図73(a)に示すように、赤外線をあらゆる方向に拡散反射するため、このドットに入光した赤外線は必ず撮像素子に入射される。したがって、図73(b)のように、撮影画像には、ドットパターンが黒い目玉領域内に白ドットとして検出されることになる。
通常の媒体面上に印刷された従来の黒ドットを判別することができ、かつ、拡散反射層を設けないグリッドシート状に印刷された前述の白ドットも認識することができるアルゴリズムについて説明する。
は、下式により得られる。
(数式)
ただ、この方法では、全てのピクセルにおいて白黒反転計算を行う必要があり、余計な計算時間を要する問題がある。
(数式)ΔBL(i、j)=BL(i+4、j)−BL(i、j)
用いる閾値をφ(φ>0)とする。なお、明度を8ビット(ブライトレベル0~255)で表現している場合、明部領域ではφ=25~50程度、暗部領域では、φ=8~16が適切である。このように、ドット部分との、明暗の少ない暗部領域と明暗の大きな明部領域の閾値をダイナミックに変更することにより、さらにドットを正確に判定できる。
ここで、ΔBL(i、j)が閾値φに対し、ΔBL(i、j)<−φであれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)>φであれば、i+3の位置のピクセルでドットが終わったと判断する。
グリッドシートを用いて白ドットをスキャナで読み取る場合には、黒目の大きさをより大きくして、ドットパターンの検出範囲を広げなければならない。
そこで、黒目がより大きくなるようなスキャナの形状を説明する。
スキャナで媒体面に接している間、常に媒体面上のコードを読み取っていると、例えば、ユーザが意図せずに読み取り位置を微妙にずらしてしまった場合などに、ユーザの意図とは異なるコードを読み取って、異なるコンテンツを再生してしまう。このような状態を排除したい場合は、1度目と異なるコードを読み取っても無視する設定にすればよい。ただし、手書き入力のようにスキャナで媒体面上をなぞる場合は、次々に読み取られるコード(座標値)を入力しなければならない。したがって、エラーは無視して、次に新たな座標値を読み取ったときは、常に正常入力として処理すればよい。さらに、スキャナの僅かな移動による読み取りエラーが生じた場合、1度エラーが起こると、次に読み取った同一コードを1度目に読み取ったコードとして入力されるように設定されている場合、同じコンテンツを何度でもスタートしてしまう(「ハロー、ハロー、ハロー・・・」のような再生が起こってしまう)現象が起こり、適正なオペレーションができない。
<撮像素子の残像特性について>
なお、図17(c)に示した素子の電荷にあっては、同図(c)に示すほかに、所定時間tkにおける撮像素子12の残像の消え方がより緩やかとなるものでもよい。
以上説明した限りでは、書き込み領域とはいずれも矩形であったが、本発明のようにコード情報を用いて書き込み領域を特定する場合、図78に示すように書き込み領域の形状は、例えば多角形、円形、楕円形、ハート形、星形、あるいはイラストとドットパターンを重畳印刷する場合、当該イラストの実在線に沿った形状など、どのようなものであっても、同様の解析効率を発揮することができる。
自動的な操作判別を行なうもう一つの方法を説明する。
2 媒体
3 スキャナ
4 コンピュータ
5 サーバ
6 ディスプレイ
7 撮像部
8 ドットパターン解析部
9 軌跡認識部
10 処理命令部
11 情報処理部
12 撮像素子
13 照射部
14 光制御部
15 計時部
16 角度測定部
17 角度変化認識部
18 回転角読み取り部
19 回転角変化認識部
20 音声収録部
21 音声認識部
22 音声出力部
23 送信部
24 送信ボタン
25 再送信ボタン
26 マイク
27 音声再生ボタン
28 指示用突起部
29 ペン
30 ペン格納ボタン
31 ペン型スキャナ
32 ライトガイド
33 レンズ
34 LED
35 C−MOSセンサ
36 PCB
37 ペン
38 バンクガイド
39 点字
40 中央処理装置(MPU)
41 マイク
42 アンプ
43 A/Dコンバータ
44 圧縮回路
45 スピーカ
46 イヤホン
Claims (41)
- 可視光を透過する特性を有し、一面側からの赤外線を拡散反射する赤外線拡散反射層と、該赤外線拡散反射層の一面側に設けられ、前記一面側の少なくとも一部の書き込み領域に、座標情報および操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)を定義するコード情報が繰り返し定義されたドットパターンが赤外線吸収特性材料で印刷されたドットパターン層と、からなる情報入力補助シートと、
赤外線を照射する照射手段を備え、該照射手段により該情報入力補助シートの該ドットパターンを照射し、反射光を撮像する撮像手段と、
前記撮像手段により撮像された前記ドットパターンをコード解析することにより、コード情報および、座標情報からなる軌跡情報を求めるドットパターン解析手段と、
前記軌跡情報を処理する情報処理手段と、
を備えた手書き入出力システム。
- 前記手書き入出力システムは、ディスプレイをさらに備え、
前記情報入力補助シートは、前記ディスプレイ上に貼付される、
請求項1に記載の手書き入出力システム。
- 前記手書き入出力システムは、文書および/または画像が印刷された印刷物をさらに備え、
前記情報入力補助シートは、前記印刷物に重ねて用いられる、
請求項1に記載の手書き入出力システム。
- 前記情報入力補助シートは、
少なくとも一部、または複数の領域に、前記書き込み領域に関連するテキスト、グラフィック、写真がさらに形成された
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記情報入力補助シートは、
前記書き込み領域内および/または前記書き込み領域とは異なる領域に、前記書き込み領域を特定する特定情報および/または操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)を定義するコード情報を繰り返し形成する前記ドットパターンと、該コード情報を意味するアイコンと、が重畳して形成された
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記アイコンは、
貼付可能なシール、付箋紙、その他の媒体面上に前記ドットパターンと重畳して形成された
ことを特徴とする請求項5に記載の手書き入出力システム。
- 前記情報入力補助シートを第1の媒体として、該第1の媒体面および/または前記書き込み領域面を特定するためのコード情報を繰り返し定義したドットパターンを形成した第2の媒体をさらに備え、
該第2の媒体に形成したコード情報を、前記撮像手段で読み取ることにより、前記第1の媒体面上の印刷情報および/または前記書き込み領域面に描かれた前記軌跡情報、および/または該軌跡情報に関連した情報を出力する
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記第2の媒体は、
貼付可能なシール、付箋紙等、またはカード状の形態を有している
ことを特徴とする請求項7に記載の手書き入出力システム。
- 前記撮像手段は、
指示用突起部をさらに備え、
前記書き込み領域面に、該指示用突起部でなぞった文字および/または図形をトレースする際、該指示用突起部近傍の軌跡上の前記ドットパターンを撮像し、
前記ドットパターン解析手段は、
該撮像手段により撮像された該ドットパターンをコード解析して前記座標情報からなる軌跡情報を求める
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記撮像手段は、
少なくとも1つのペン先をさらに備え、
前記書き込み領域面に、該ペン先で描いた文字および/または図形をトレースする際、
該ペン先近傍の軌跡上の前記ドットパターンを撮像し、
前記ドットパターン解析手段は、
該撮像手段により撮像された該ドットパターンをコード解析して前記座標情報からなる軌跡情報を求める
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記指示用突起部は、
少なくとも一つのペン先と、
該指示用突起部内に該ペン先を格納する格納スペースと、
該ペン先の格納/取出しを制御するボタンと、をさらに備えた該指示用突起部である
ことを特徴とする請求項9に記載の手書き入出力システム。
- 前記撮像手段は、
消去手段をさらに備え、
該撮像手段は、前記書き込み領域面に、該消去手段でなぞった領域の該消去手段近傍の軌跡上のドットパターンを撮像し、
該消去手段は、
前記書き込み領域面に描かれた文字および/または図形を消去する、および/または該消去手段でなぞった領域の軌跡情報を消去することを特徴とする請求項1に記載の手書き入出力システム。
- 前記解析手段により解析された該座標情報の変化に基づき、前記書き込み領域面においてトレースされた、文字および/または図形の軌跡情報を認識する軌跡認識手段をさらに設けた、
請求項1記載の手書き入出力システム。
- 前記軌跡認識手段は、
前記ドットパターン解析手段がコード解析して得た前記座標情報を、
該書き込み領域面になぞるか、または描いた文字および/または図形の軌跡と、一致または近似するように補正する
ことを特徴とする請求項13記載の手書き入出力システム。
- 前記軌跡認識手段は、
計時手段をさらに備え、
該計時手段は、前記撮像手段が前記書き込み領域面に触れた時間および離れた時間を計時し、
該撮像手段が該書き込み領域面に触れて描かれた軌跡の順番と触れている時間を記録し、前記情報処理手段に送信することを特徴とする請求項13に記載の手書き入出力システム。
- 前記計時手段は、
前記撮像手段が前記書き込み領域面に触れ、前記ドットパターン解析手段が前記軌跡情報を求めた時間を記録し、前記情報処理手段に送信することを特徴とする請求項15に記載の手書き入出力システム。
- 前記情報処理手段は、
前記コード情報および/または前記軌跡情報に基づき、前記書き込み領域を特定する特定情報および/または操作指示(プログラムの起動、コマンドの入力、データの入出力・検索、検索対象の指定等)を一意に入力可能であることを特徴とする請求項1に記載の手書き入出力システム。
- 前記軌跡認識手段は、
さらに前記コード情報に基づき、
前記書き込み領域に書き込む内容に関する、
予め分類された文字および/または図形情報パターンを参照し、
前記軌跡情報を高精度で認識する
ことを特徴とする請求項13に記載の手書き入出力システム。
- 前記軌跡認識手段は、さらに解析された前記座標情報の変化に基づき、該文字および/または該図形、もしくは、1または複数の該文字からなる語句、の意味情報を、前記コード情報に対応する予め定義された意味情報コードテーブル(辞書)を参照し、意味情報コードに変換し、
該意味情報コードと、該意味情報に基づいた前記処理命令と、を前記情報処理手段で処理する
ことを特徴とする請求項13に記載の手書き入出力システム。
- 前記情報処理手段は、
前記軌跡認識手段による前記軌跡情報の認識結果を、
文書および/または図形として入力させる第一のオペレーションを実行する、
ことを特徴とする請求項13に記載の手書き入出力システム。
- 前記情報処理手段は、
前記軌跡認識手段による前記軌跡情報の認識結果を、
コメントとして入力させる第二のオペレーションを実行する、
ことを特徴とする請求項13に記載の手書き入出力システム。
- 前記情報処理手段は、
前記軌跡認識手段による前記軌跡情報の認識結果を、
文書および/または図形、および/またはコメントを編集する編集記号とし、
該編集記号に基づいて文書および/または図形、および/またはコメントを編集させる第三のオペレーションを実行する、
ことを特徴とする請求項13に記載の手書き入出力システム。
- 少なくとも前記媒体面に接触した前記撮像手段の撮像光軸が、該媒体面の鉛直線に対して倒されることにより成される傾きおよび倒される方向を測定する角度測定手段と、
該撮像手段が該媒体面に接触した際に測定された、該傾きおよび該方向を基準として、
該撮像手段を倒す動作、すなわちグリッドティルト動作による、該傾きおよび/または該方向の、所定の変化を解析する角度変化認識手段と
をさらに備え、
前記情報処理手段は、
該解析の結果に基づき、予め定められた処理命令を実行することを特徴とする請求項1に記載の手書き入出力システム。
- 前記情報入力補助シートは、前記書き込み領域の方向に対して、所定の角度で配置された前記ドットパターンが該書き込み領域に形成され、
前記角度測定手段および前記角度変化認識手段は、前記撮像手段が該書き込み領域面に接触した際に読み取られた該ドットパターンの方向を基に、該書き込み領域の方向に対して、倒される方向および/または前記傾きの、所定の変化を解析する
ことを特徴とする請求項23に記載の手書き入出力システム。
- 前記情報処理手段は、
前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第一の所定方向に倒されたものと前記角度変化認識手段が認識したときは、
前記軌跡情報を、
文書および/または図形として入力させる第一のオペレーションを実行する、
ことを特徴とする請求項23または24に記載の手書き入出力システム。
- 前記情報処理手段は、
前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第二の所定方向に倒されたものと前記角度変化認識手段が認識したときは、
前記軌跡情報を、
コメントとして入力させる第二のオペレーションを実行する、
ことを特徴とする請求項23または24に記載の手書き入出力システム。
- 前記情報処理手段は、
前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第三の所定方向に倒されたものと前記角度変化認識手段が認識したときは、
前記軌跡情報を、
文書および/またはコメントを編集する編集記号とし、
該編集記号に基づいて文書および/または図形、および/またはコメントを編集させる第三のオペレーションを実行する、
ことを特徴とする請求項23または24に記載の手書き入出力システム。
- 前記情報処理手段は、
前記撮像手段が前記グリッドティルト動作により前記撮像手段または前記書き込み領域の上向き方向に対して、第四の所定方向に倒されたものと前記角度変化認識手段が認識したときは、
前記第三のオペレーションを終了する、
ことを特徴とする請求項27に記載の手書き入出力システム。
- 前記情報処理手段は、
所定の処理を実行するか否かを決定するときにおいて、
前記撮像手段が前記情報入力補助シートに所定時間内に一度だけタッチしたものと、前記ドットパターン解析手段が認識したときは、
該所定の処理を実行しないことを決定し、
前記撮像手段が情報入力補助シートに対して一度タッチし、所定時間内にさらに媒体面にタッチしたものと、該ドットパターン解析手段が認識したときは、
該所定の処理の実行を決定する
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記手書き入出力システムは、
前記書き込み領域面に対して、前記撮像手段の撮像光軸を概ね鉛直状に立て、該書き込み領域面に接触した際に読み取られた前記ドットパターンの方向と、該撮像手段のアングルとで成される回転角を読み取る回転角読み取り手段と、
該撮像手段が該媒体面に接触した際に測定された該回転角を基準として、
該撮像手段を回転する動作、すなわちグリッドターン動作による、該撮像光軸が所定の回転方向に回転されることにより、該回転角の所定の変化を解析する回転角変化認識手段と
をさらに備え、
前記情報処理手段は、
該解析の結果に基づき、予め定められた処理命令を実行する
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記情報処理手段は、
前記撮像手段が第一の所定方向に回転したものと前記回転角変化認識手段が認識したときは、
実行中のアプリケーションにおけるファイル内容の変更結果を保存し、
該撮像手段が該第一の所定方向とは反対方向の第二の所定方向に回転したものと該回転角変化認識手段が認識したときは、
実行中のアプリケーションにおけるファイル内容の変更をキャンセルする
ことを特徴とする請求項30に記載の手書き入出力システム。
- 前記情報処理手段は、
前記撮像手段が第一の所定方向に回転し、さらに所定時間内に該第一の所定方向とは反対方向の第二の所定方向に回転したものと前記回転角変化認識手段が認識したときは、
手書き入出力用アプリケーションを起動し、
該撮像手段が該第二の所定方向に回転し、さらに所定時間内に該第一の所定方向に回転したものと該回転角度変化認識手段が認識したときは、
該手書き入出力用アプリケーションを終了する
ことを特徴とする請求項30に記載の手書き入出力システム。
- 前記手書き入出力システムは、
前記撮像手段で前記書き込み領域を撮像して前記ドットパターン解析手段により座標情報およびコード情報を求めた後に、所定の操作により該撮像手段で該書き込み領域に文字をなぞるか、または描く代わりに音声を収録する音声収録手段と、
前記コード情報に対応する予め定義された音声認識情報テーブル(辞書)を参照し、収録された音声を認識し文字情報に変換し情報処理手段に対し送信する音声認識手段と、をさらに備えた
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記所定の操作は、
前記撮像手段で前記書き込み領域に音声入力を意味する記号をなぞるか、または描くことにより行う
ことを特徴とする請求項33に記載の手書き入出力システム。
- 前記所定の操作は、
前記書き込み領域に前記撮像手段を触れて跳ねる動作により行う
ことを特徴とする請求項33に記載の手書き入出力システム。
- 前記所定の操作は、
前記音声収録手段に所定の言葉を収録し、前記音声認識手段により該所定の言葉を認識することにより行う
ことを特徴とする請求項33に記載の手書き入出力システム。
- 前記情報入力補助シートは、
該情報入力補助シートにおける前記コード情報に予め音声ガイドの指示情報が定義され、
前記手書き入出力システムは、
該書き込み領域に書き込む内容を該音声ガイドにより解説する音声出力手段をさらに備えた
ことを特徴とする請求項1に記載の手書き入出力システム。
- 前記コード情報は、さらに、前記書き込み領域を特定する特定情報を定義する
ことを特徴とする請求項1記載の手書き入出力システム。
- 請求項1記載の手書き入出力システムに用いる情報入力補助シート。
- 前記ドットパターン層は第一のドットパターン層であり、
前記赤外線拡散反射層の前記一面側の反対面側には、さらに第二のドットパターン層が設けられており、
前記赤外線拡散反射層は、さらに前記反対面側の赤外線を拡散反射する特性を有する、
請求項39記載の情報入力補助シート。
- 前記ドットパターン層のさらに外面には、赤外線光および可視光を透過する特性を有する保護層が設けられている請求項39または40に記載の情報入力補助シート。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012248444A JP5848230B2 (ja) | 2012-11-12 | 2012-11-12 | 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012248444A JP5848230B2 (ja) | 2012-11-12 | 2012-11-12 | 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010540364A Division JP5527215B2 (ja) | 2008-11-25 | 2009-11-25 | 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート |
Related Child Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014148431A Division JP6267074B2 (ja) | 2014-07-22 | 2014-07-22 | 手書き入出力システムおよび光学読取装置 |
JP2014149305A Division JP2014220006A (ja) | 2014-07-22 | 2014-07-22 | 手書き入出力システムおよび光学読取装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013033548A JP2013033548A (ja) | 2013-02-14 |
JP5848230B2 true JP5848230B2 (ja) | 2016-01-27 |
Family
ID=47789302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012248444A Active JP5848230B2 (ja) | 2012-11-12 | 2012-11-12 | 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5848230B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110036189A (zh) * | 2016-12-05 | 2019-07-19 | 日立汽车系统株式会社 | 控制装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102022772B1 (ko) * | 2017-09-25 | 2019-09-18 | 이준택 | 문자 인식용 영상 획득 |
CN111078180B (zh) * | 2019-06-09 | 2024-02-23 | 广东小天才科技有限公司 | 一种点读模式下的报读速度控制方法及电子设备 |
CN110955355A (zh) * | 2019-11-29 | 2020-04-03 | 随锐科技集团股份有限公司 | 电子白板的文件处理方法及装置、计算机可读存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06208654A (ja) * | 1993-01-08 | 1994-07-26 | Hitachi Software Eng Co Ltd | ペン入力図形編集システム |
JP2003256137A (ja) * | 2002-02-28 | 2003-09-10 | Kokuyo Co Ltd | ディスプレイ、透明シート |
JP4810918B2 (ja) * | 2005-08-01 | 2011-11-09 | 富士ゼロックス株式会社 | コードパターン画像生成装置及び方法、コードパターン画像読取装置及び方法、及びコードパターン画像媒体 |
JP2007109118A (ja) * | 2005-10-17 | 2007-04-26 | Hitachi Ltd | 入力指示処理装置および入力指示処理プログラム |
JP5036166B2 (ja) * | 2005-11-14 | 2012-09-26 | アノト アクティエボラーク | 手書き入力システム並びにこれに適用される電子ペン装置及び位置座標符号化媒体 |
JP4042065B1 (ja) * | 2006-03-10 | 2008-02-06 | 健治 吉田 | 情報処理装置への入力処理システム |
RU2457532C2 (ru) * | 2006-03-10 | 2012-07-27 | Кенджи Йошида | Система обработки ввода для устройства обработки информации |
JP4129841B1 (ja) * | 2007-08-09 | 2008-08-06 | 健治 吉田 | 情報入力補助シート、情報入力補助シートを用いた情報処理システムおよび情報入力補助シートを用いた印刷関連情報出力システム |
JP4308306B2 (ja) * | 2008-05-14 | 2009-08-05 | 健治 吉田 | 印刷出力制御手段 |
JP5544609B2 (ja) * | 2012-10-29 | 2014-07-09 | 健治 吉田 | 手書き入出力システム |
-
2012
- 2012-11-12 JP JP2012248444A patent/JP5848230B2/ja active Active
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110036189A (zh) * | 2016-12-05 | 2019-07-19 | 日立汽车系统株式会社 | 控制装置 |
DE112017005344T5 (de) | 2016-12-05 | 2019-08-08 | Hitachi Automotive Systems, Ltd. | Steuereinrichtung |
US11079730B2 (en) | 2016-12-05 | 2021-08-03 | Hitachi Automotive Systems, Ltd. | Control device comprising a processor and an IC |
Also Published As
Publication number | Publication date |
---|---|
JP2013033548A (ja) | 2013-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5527215B2 (ja) | 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート | |
JP4243642B2 (ja) | キャリブレーション方法および情報入力補助シート | |
JP5848230B2 (ja) | 手書き入出力システム、手書き入力シート、情報入力システム、情報入力補助シート | |
JP6197290B2 (ja) | コンピュータ装置、再生システム、及びプログラム | |
JP5544609B2 (ja) | 手書き入出力システム | |
WO2012008469A1 (ja) | ストリームドットを用いた情報入力補助シートおよび情報処理システム | |
JP5358759B2 (ja) | 光学読み取り装置 | |
JP6056263B2 (ja) | 端末装置、電子ペンシステム及びプログラム | |
JP2012022418A (ja) | ストリームドットを用いた手書き入力シートおよび手書き入出力システム | |
JP6267074B2 (ja) | 手書き入出力システムおよび光学読取装置 | |
JP2014220006A (ja) | 手書き入出力システムおよび光学読取装置 | |
JP6857867B2 (ja) | 手書き入力シート | |
JP2019036324A (ja) | 手書き入力シート | |
JP2014157621A (ja) | 手書き入出力システム | |
JP6019716B2 (ja) | コンピュータ装置、プログラム及び情報処理システム | |
JP6244647B2 (ja) | コンピュータ装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130704 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130712 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140203 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140422 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140722 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20140730 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141001 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20141107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5848230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |