JP4031268B2 - コンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法 - Google Patents
コンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法 Download PDFInfo
- Publication number
- JP4031268B2 JP4031268B2 JP2002064291A JP2002064291A JP4031268B2 JP 4031268 B2 JP4031268 B2 JP 4031268B2 JP 2002064291 A JP2002064291 A JP 2002064291A JP 2002064291 A JP2002064291 A JP 2002064291A JP 4031268 B2 JP4031268 B2 JP 4031268B2
- Authority
- JP
- Japan
- Prior art keywords
- symbol
- information
- document
- computer input
- medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【発明の属する技術分野】
本発明は、コンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法に関し、例えばコンピュータを用いて印刷されたものの再入力システムなど、コンピュータシステムにおけるユーザーインターフェイスとしての機能を備えたコンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法に関する。
【0002】
【従来の技術】
一般に、電子化された文書はディスプレイ上で表示されるため視認性に問題がある。また可搬性にも問題があるので、印刷して閲覧あるいは持ち運ぶことが多い。ここでこの文書に加筆などを行う場合、この印刷された文書、すなわちその印刷物である紙の書面に対して加筆などを行うことになる。
【0003】
【発明が解決しようとする課題】
しかしながら、上記したようにこうした印刷物に加筆などを行う場合、電子的な原文書とは何らリンクされておらず、後で原文書を電子的に編集しなおす必要がある。
【0004】
本発明は、こうした状況に鑑みてなされたものであり、印刷された文書に加筆すると電子的な原文書に自動的に反映されるシステムを提供することを目的とする。端的にいえば紙ベースのタブレットシステムである。このようなシステムのためにはまず、紙面上でのペンの座標を取得する必要があるが、特開昭61−296421では光学的に機械読み取り可能なコードを紙面上にマトリクス上に並べ、それを読むことによって座標値を得ている。特開平7−141104にも類似の特許が出願されている。一方、紙面にファイル情報(ファイル名とか)をバーコードで印刷しておいて、タブレット上で加筆する際に紙面上のバーコードを読みとって文書の編集を行う例もある(特開平7−244657)。
【0005】
上記目的は換言すると以下の通りである。
すなわち、紙等の媒体上へ筆記した時、筆記軌跡を取得するための筆記具(コンピュータ入力装置)において、筆記時に筆記可能な文書あるいは場所を判定する機能を持った筆記具(コンピュータ入力装置)を提供することである。
【0006】
また、上記筆記具(コンピュータ入力装置)を用いて、電子文書が印刷してある紙等の媒体上へ筆記したとき、原文書へ加筆情報を反映させるためのシステムを提供することである。
【0007】
【課題を解決するための手段】
かかる目的を達成するために、本発明は以下の特徴を有する。請求項1記載の発明は、座標情報及び/又は文書情報を表すシンボルが記録された媒体から前記シンボルを光学的に読み取る手段と、該シンボルをデコードする手段と、読み取った画像中における該シンボルの位置、向き、歪量のうち少なくとも1つを検出する手段と、該シンボルの位置情報、向き情報、歪情報の少なくとも1つとシンボルをデコードしたものとにより、画像中の所定の点に対する前記媒体上の位置を演算する手段と、を有するコンピュータ入力装置であって、筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する手段と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段とを有することを特徴とする。
【0008】
請求項2記載の発明は、座標情報及び/又は文書情報を表す第一のシンボルと複数からなる第二のシンボルが記録された媒体から前記第一のシンボルと前記第二のシンボルを光学的に読み取る手段と、第一のシンボルをデコードする手段と、第一のシンボルと第二のシンボルの位置を検出する手段と、それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する前記媒体上の位置を演算する手段と、を有するコンピュータ入力装置であって、筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する手段と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段とを有することを特徴とする。
【0009】
請求項3記載の発明は、座標情報及び/又は文書情報を表す複数のシンボルを光学的に読み取る手段と、それぞれのシンボルをデコードする手段と、読み取った画像中におけるそれぞれのシンボルの位置を検出する手段と、それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する手段または方法と、筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する手段と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段とを有することを特徴とする。
【0010】
請求項4記載の発明は、筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、光学的に読み取られた座標情報及び/又は文書情報を表すシンボルをデコードする工程と、読み取った画像中における該シンボルの位置、向き、歪量のうち少なくとも1つを検出する工程と、該シンボルの位置情報、向き情報、歪情報の少なくとも1つとシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程とを有することを特徴とする。
【0011】
請求項5記載の発明は、筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、光学的に読み取られた座標情報及び/又は文書情報を表す第一のシンボルをデコードする工程と、光学的に読み取られた第一のシンボルと光学的に読み取られた第二のシンボルの位置を検出する工程と、それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程とを有することを特徴とする。
【0012】
請求項6記載の発明は、筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、光学的に読み取られた座標情報及び/又は文書情報を表す複数のシンボルのそれぞれをデコードする工程と、読み取った画像中におけるそれぞれのシンボルの位置を検出する工程と、それぞれのシンボルの位置情報とデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程とを有することを特徴とする。
【0013】
請求項7記載の発明は、上記したシンボルが人間にとって不可視であることを特徴とする。
【0014】
請求項8記載の発明は、上記したシンボルが人間にとって不可視であることを特徴とする。
【0015】
請求項9記載の発明は、印刷媒体上に文書の論理的な位置情報あるいは文書の論理的な位置情報と文書を識別する情報を光学的に読み取り可能なシンボルで印刷する装置と、請求項1または請求項2または請求項3または請求項7に記載のコンピュータ入力装置と、該装置により得られたシンボルのデコード結果が筆記可能かどうかを判定する手段を有する装置とその判定結果により座標情報を原文書に付加する装置とを有することを特徴とする。
【0016】
請求項10記載の発明は、文書を印刷する際に、印刷媒体上の座標あるいは座標と文書ならびにページを識別する情報を光学的読み取り可能なシンボルで印刷する工程と、請求項4または請求項5または請求項6または請求項8に記載のコンピュータ入力方法と、該方法により得られたシンボルのデコード結果が筆記可能かどうかを判定する工程とその判定結果により座標情報を原文書に付加する工程とを有することを特徴とする。
【0017】
【発明の実施の形態】
次に、本発明に係るコンピュータ入力装置(座標入力装置)、コンピュータ入力方法(座標入力方法)、コンピュータ入力システム(文書入力システム)、及び該システムにおける入力方法を図面を用いて詳細に説明する。
【0018】
図1は、本発明の実施形態としてのコンピュータ入力システムにおける文書などについて示す図である。図1の1は人間が視覚的に読み取り可能な状態で文書が記録された媒体であり、一般には紙、布、プラスチック等であり、シート状のことが多い。図1の2は人間が読み取り可能な文書そのものであり、字、図、表などである。図1の3は機械が光学的に読み取り可能なシンボルであり、詳しくは後述するが、一般にはバーコード、2次元コード等である。図1の1と図1の2は図1上では煩雑になるため一部のみ取り出して互いに重ならないように表記しているが、実際には任意の位置、大きさ、数量で印刷することができる。
【0019】
さて、簡単のため図1の2のシンボルの部分のみを図示した例が図2である。1は印刷された媒体例えば紙である。この例ではシンボル2をマトリクス上に並べている。さらにシンボルは媒体中のシンボルの座標を意味するものがエンコードされでいる。左上のシンボル3は「0101」がエンコードされ、シンボル4は「0102」、シンボル5は「0201」、またシンボル6は「0202」とエンコードされている。あるいは他の例としてシンボル3の部分が「aa」、シンボル4の部分が「ab」、シンボル5の部分が「ba」、シンボル6の部分が「bb 」とエンコードされていてもよい。これらのように複数のシンボルが一意的に識別できるならば何でも良く、また配置にも特に制約はないが、図2のように、規則的にエンコードし、かつ規則的にシンボルを配置したほうがより好ましい。より具体的に例をあげると、紙面の左上を原点とし、右および下方向にX軸およびY軸をとる。ここで(10mm、10mm)の位置に「0101」のシンボルの中心がくるように配置し、(10mm、20mm)の位置には「0102」のシンボル、(20mm、10mm)の位置に「0201」のシンボルを配置する。また図2では光学的に機械読み取り可能なシンボルとしてDataMatrixコードを模したもの挙げているが、同様なコードは他にもいくつか公知であり、例えばCodeOne、AztecCode、MaxiCode、QRCode等がある。また1次元のバーコードであっても構わない。あるいはエンコードされている情報が媒体上の物理的な位置を意味するものではなく、文書の論理的な位置を意味するもの、例えば第1章第2節第5段落第6文字目といったことを意味する「01020506」のようなものでも構わない。また、シンボルは記録体のなるべく広い範囲に記録することが望ましいが、必ずしも全面に記録する必要はない。例えば、プリンタで印刷する場合、紙面の周囲は印字できない範囲である場合が多い。このようなとき、このような部分に必ずしも印刷する必要はない。
【0020】
さて、上述した図2の例では座標情報のみがエンコードされていたが、これに加えて文書を一意的に識別する情報もエンコードし記録したほうがより好ましい。文書を一意的に識別する情報には例えばファイル名、ドライブ名+ディレクトリ名+ファイル名、あるいはURL等がある。また、単純な連番にしておいて実際のファイル名との対応は別にテーブルを用いてもよい。どの範囲をエンコードするかは使用者の都合で定めれば良い。このエンコードしたシンボルは図2の1の記録媒体に、座標情報を表すシンボルとは別に配置しても良いが、ここの座標を表すシンボルに同時にエンコードすることもできる。例えば、図2の3を「c:\MyFile\Patent.doc 0101 」、図2の4を「c:\MyFile\Patent.doc 0102 」のように、文書を表す情報+座標を表す情報の両方を1つのシンボルにエンコードしても良い。2次元コードの場合、この程度の情報量は数ミリ角ぐらいのサイズになるので、十分エンコード可能である。あるいは、ファイル名などは長くなりがちであるので、これを数字のようなものに置き換えてエンコードし、対応関係はコンピュータ上の例えばデータベース等に格納してもよい。
【0021】
請求項1記載の発明は、このような媒体に筆記したときに自動的に筆記軌跡が得られる座標入力装置(コンピュータ入力装置)である。これを図3に示す。また、ブロック図を図7に示す。図3の1はペン本体ある。ペン先は必要であれば、筆記可能なもの例えばボールペンやシャープペンシル等とすることもできる。図3の2は記録媒体上(例えば紙面)の画像を読み取る装置で例えばCCD+レンズ(あるいはCMOSイメージセンサ+レンズ等)である。必要であれば照明を設ければ良い。図3の4は記録媒体である。図7の9は筆記軌跡を得る部分であり、図7の10については後述する。図3では図示を省略しているが、読み取ったシンボルをデコードする装置、読み取った画像上におけるシンボルの位置、向き、歪を検出する装置を図7の1に示す。さらに図3では電源(図7の4)や外部とのインターフェイス部分(図7の3)は図示を省略している。また、図7の2は記憶装置であり、読み取った画像を一時的に保存する装置である。インターフェイス部(図7の3)は外部のコンピュータ等とのインターフェイスをとる部分で、RS232C、イーサーネット、ブルートゥース、USB 、IrDA等よく知られたインターフェイスである。さらに、望ましくは、ペン先の部分が筆記面に接触しているかどうかの装置を設けたほうが良い。これも公知であるので詳述は省略するが、ペン先部分をペン軸に沿った方向に可動とし、ペン先が筆記面に接触することによりペン先部分が移動し、それを機械的にあるいは導電性の変化等により検出する方法は既にタブレットのペン等で良く知られている。なお、前述の画像を処理する装置は必ずしもペンの内部にある必要はなく、外部に別途設けても良いし、外部の汎用計算機(パソコン等)で処理を行わせても良い。
【0022】
図4はこの画像読取装置で図2のような媒体を読み取った画像例である。撮影範囲を、シンボルの少なくとも倍以上にしておけば、少なくとも1つのシンボルは画像上に入る。実際には隣接のシンボルも画像上に入るが簡単のため省略する。また、図3に示すように記録媒体と撮像面は必ずしも正対していないので、このような歪を持った画像が得られる。ここで、例えば図4の2を読み取り、市販のデコーダーを用いて「0102」と得られれば、少なくとも座標入力装置(コンピュータ入力装置)は図4の3の四角の大きさの精度で位置を検出することができる。このようなものは既に提案されているが(特開昭61−296421号公報)、これでは解像度が数ミリ〜1cmと非常に低く実用上は問題がある。あるいは解像度を高くするためにシンボルを小さくするためには、プリンタや画像読取装置の精度を向上させる必要があり、かつ大量のシンボルを用いるため印刷のコストがかかり現実的ではない。そこで本発明では、図4の画像を処理してこの画像内のシンボルの位置、向き、歪を検出する。シンボルは既にさまざまなものが公知である上にこのようなシンボルの位置等を検出する画像処理装置は市販されており、特に検出原理を知らなくても容易に検出することができるので詳述は省略する。この画像で2次元コードをデコードすると例えば「0102」と得られる。シンボルの印刷位置は既知であるので、例えば「0102」のシンボルの中心が紙面の左上から(10mm、20mm)と得られる。一方、シンボルのサイズも既知であるので、例えば 5mmであるとすると、シンボルの4角の紙面座標における位置もそれぞれ(7.5 mm、17.5mm)、(7.5 mm、22.5mm)、(12.5mm、17.5mm)、(12.5mm、22.5mm)にあると求めることができる。一方、前述のように画像上のシンボルの4角の座標が得られている。これらの対応する点の関係式は次式で与えられることがすでにわかっている。
【0023】
【数1】
【0024】
上記数式で添え字rは紙面座標、sは画像座標である。この式は未知数が8個あるので、前述のように4点対応点があれば係数(射影変換係数)がすべて求まる。次に、この係数と式を用いれば、画像上の任意の点に対する紙面上の座標を求めることができる。したがって、カメラのついたペン先に対応する紙面上の座標を求めることができる。なお、ペン先に対する画像上の点は、ペンとカメラの位置関係から求めることもできるし、画像上にペン先が写っている場合は実測してもよい。いずれの場合もペンとカメラの位置関係は固定であるので、容易に求めることができる。このような座標入力装置(コンピュータ入力装置)を用い、ペン先位置の検出を連続的に行えば、ペン先の移動軌跡を求めることができる(下記手順1)。前述のとおり、ペン先が筆記面に接触しているかどうかを判定する装置がついているならば、筆記軌跡を求めることができる。筆記軌跡データはペン内部の記憶装置に記憶させてもよいし、外部とのインターフェイスを通して、リアルタイムに取り出しても良い。
【0025】
〔手順1〕
▲1▼2次元コードのエンコード結果→2次元コードの中心の紙面座標
▲2▼2次元コードの中心の紙面座標→2次元コードの4角の紙面座標
▲3▼2次元コードの4角の画像座標+紙面座標→射影変換係数
▲4▼ペン先画像座標+射影変換係数→ペン先紙面座標
【0026】
さて、より好ましい形態は前述のとおり、紙等の記録媒体上に文書を一意的に識別するコードを付加したものである。座標を表すシンボルとは別に文書情報を表すシンボルを付加する場合、まず、座標入力装置(コンピュータ入力装置)の画像読取装置を用いて、文書情報を読み取り、その後筆記動作を行う。そうすると、座標入力装置(コンピュータ入力装置)には、例えば、「c:\MyDocument\Patent.doc」「10,10 」「10,11 」「10,12.5 」「11,14 」・・・のように文書名+筆記座標列と入力される。あるいは、筆記動作後に文書情報を読み取っても同様である。また、座標を表すシンボルに文書を識別する情報を付加してある場合、座標入力装置(コンピュータ入力装置)には、たとえば、「c:\MyDocument\Patent.doc,10,10」「c:\MyDocument\Patent.doc,10,11」「c:\MyDocument\Patent.doc,10,12.5」「c:\MyDocument\Patent.doc,11,14」のように入力される。なお、ペン先が筆記面から離れたときにはそのようなセパレータデータを挿入すればよい。
【0027】
ここで、筆記時にその文書またはその場所に対して筆記可能かどうかの判定をし、さらに使用者に知らせる。例えば書込み禁止文書など文書管理上その文書に加筆できない(させたくない)場合、あるいは例えばある特定のフォームに筆記をする場合、記入箇所以外に筆記しようとするなど、筆記が不適切な場合がある。このようなときはたとえ紙面に実際に筆記したとしても、それは原文書に反映されなかったり、反映されたとしてもその後の文書処理上意味を成さないので、このような場合、筆記時に判定をし使用者に知らせる(図7の10)。そのためには、まず筆記可能あるいは逆に筆記不可能な文書の識別情報(例えば特定の文書に筆記できない場合)、座標情報(例えば用紙の端など特定の座標に筆記できない場合)、あるいはその組み合わせたもの(例えばある文書のある部分は筆記できない場合)を筆記具に登録する必要がある。図7の5は登録するためには記憶部、6はインターフェース部、7は登録動作部である。具体的には、電子的な原文書の存在するコンピュータと通信をして、筆記可能あるいは筆記不可能な文書識別情報や座標情報を記憶部に記憶させるものである。次に筆記時に筆記可能あるいは不可能かを判定部(図7の8)で判定する。通信部は図7の3のインターフェイス部と兼用でもよい。さらに、判定結果を筆記者に知らせたほうがより好ましい形態となる。筆記者に例えば筆記不可能という警告を発するには例えば音や光(LED の点滅等)、あるいは振動といった方法で知らせるのが構造上簡便である。これらの警告は従来の技術で容易に実現可能なものである。
【0028】
また、上記した手順による実施例をさらに説明すると、以下のようになる。
入力装置には、たとえば、「c:\MyDocument\Patent.doc,10,10」「c:\MyDocument\Patent.doc,10,11」「c:\MyDocument\Patent.doc,10,12.5」「c:\MyDocument\Patent.doc,11,14」のように入力される。なお、ペン先が筆記面から離れたときにはそのようなセパレータデータを挿入すればよい。
【0029】
ここで、筆記時にその文書またはその場所に対して筆記可能かどうかの判定をし、さらに使用者に知らせる。例えば書込み禁止文書など文書管理上その文書に加筆できない(させたくない)場合、あるいは例えばある特定のフォームに筆記をする場合、記入箇所以外に筆記しようとするなど、筆記が不適切な場合がある。このようなときはたとえ紙面に実際に筆記したとしても、それは原文書に反映されなかったり、反映されたとしてもその後の文書処理上意味を成さないので、このような場合、筆記時に判定をし使用者に知らせる(図7の10)。そのためには、まず筆記可能あるいは逆に筆記不可能な文書の識別情報(例えば特定の文書に筆記できない場合)、座標情報(例えば用紙の端など特定の座標に筆記できない場合)、あるいはその組み合わせたもの(例えばある文書のある部分は筆記できない場合)を筆記具に登録する必要がある。図7の5は登録するためには記憶部、6はインターフェース部、7は登録動作部である。具体的には、電子的な原文書の存在するコンピュータと通信をして、筆記可能あるいは筆記不可能な文書識別情報や座標情報を記憶部に記憶させるものである。次に筆記時に筆記可能あるいは不可能かを判定部(図7の8)で判定する。通信部は図7の3のインターフェイス部と兼用でもよい。さらに、判定結果を筆記者に知らせたほうがより好ましい形態となる。筆記者に例えば筆記不可能という警告を発するには例えば音や光(LED の点滅等)、あるいは振動といった方法で知らせるのが構造上簡便である。これらの警告は従来の技術で容易に実現可能なものである。
【0030】
図7の8の判定部とは実質的(物理的)にはCPU+ソフトウエアである。図7の6の通信部は原文書が保存してあるもの(例えば文書管理サーバーやPCなど)との通信を行う部分で、RS-232C 、USB 、LAN 、BlueTooth 等の汎用的なインターフェイスである。このインターフェイスを通じて書き込み制限がある文書名やエリアをサーバーから取得する。この情報は一旦図7の5の記憶部(例えばメモリ)に保存する。筆記を行うと原文書識別子(ファイル名など)や座標が得られるので、これを図7の8の判定部で、図7の5に記憶されているものと比較する。メモリ上には複数の文書名が登録されていることがあるが、その場合は逐一比較を行う。この比較動作はソフトウエアで実現可能である。上記比較動作により仮に一致した場合、図7の7の動作部で筆記者に対して警告を行う。
なお、上述した説明では、書き込み制限がある文書名等を一旦メモリに保存しているが、保存せずに、筆記時にサーバーに問い合わせをする構成であってもよい。
【0031】
また、上述した説明に補足すると、図7の1、図7の7、図7の8はCPU+ソフトウエアでも実現できる(図8の9、10)。また、図7の2と図7の5はCPU に接続されたメモリ(図8の2)で、図7の3、図7の6もCPU に接続されたインターフェース(I/O )で実現することもできる(請求項4)。
【0032】
図5は請求項2の座標検出例である。座標(+文書識別情報)がエンコードされた2次元コードの間に四角の第二のシンボルを配置している。図4のように2次元コードだけの場合、歪量の計算に2次元コードの角を用いていたが、元来2次元コードはこのような用途に用いられるものではないので、角のマトリクスにドットがない場合等十分な精度が得られない場合がある。そこで、図5では歪検出用に第二のシンボルを配置している。これはデータをエンコードする必要がないので検出しやすい形がよく、図5では四角であるが円形でもよい。これはテンプレートマッチング手法を用いてその画面上における座標(以下特徴点とする)を検出することができる。また、実際には画面上には四角が他にも存在するので、抽出された第二のシンボルが必ずしも2次元コードに隣接のものが得られるとは限らず、もう1ブロック離れた位置のものが検出されることがあり、どの点が抽出されるかはその時々によって異なる。しかし、カメラと紙面の距離が一定なので、4角の画像座標系における間隔もほぼ一定となる。したがって、各特徴点や2次元コードがそれぞれどのブロックにあるか判定できる。2次元コードや第二のシンボルの配置はあらかじめ決められているので、これに対する紙面座座標を求める手順は以下のようになる。
【0033】
〔手順2〕
▲1▼2次元コードのエンコード結果→2次元コードの紙面座標
▲2▼2次元コードの画像座標と特徴点1〜4の画像座標の位置関係+2次元コードの紙面座標
→特徴点1〜特徴点4の紙面座標
▲3▼特徴点1〜特徴点4の画像座標+紙面座標→射影変換係数
▲4▼ペン先画像座標+射影変換係数→ペン先紙面座標
【0034】
ここで、射影変換係数を求めるのは前述のとおりである。また、筆記時にその文書またはその場所に対して筆記可能かどうかの判定し使用者に知らせる構成も請求項1とまったく同様な構成(図7)で実現することができる。また、この構成は請求項1と同様にソフトウエアでも実現することができる(請求項5)。
図6には請求項3の実施例をあげる。座標(+文書識別情報)がエンコードされた2次元コードを少なくとも4個抽出し、エンコード結果とシンボルの中心座標を得る。図5の例と同様、2次元コードの角は十分な精度が得られない場合があるので、この例では4個のシンボルの中心座標を用いて射影変換係数を求める。以下に手順を示す。
【0035】
〔手順3〕
▲1▼2次元コード1〜4のエンコード結果→2次元コード1〜4の紙面座標
▲2▼2次元コード1〜4の画像座標+紙面座標→射影変換係数
▲3▼ペン先画像座標+射影変換係数→ペン先紙面座標
【0036】
図5の場合は第二のシンボルの紙面座標を求めるのにそれぞれの位置関係を判定する必要があったが(手順2の▲2▼)、図6の場合、シンボルをエンコードすることによって紙面座標が得られるので、これを省略することができる。ただし、この実施例の場合、より広範囲で2次元コードをエンコードする必要があるので、光学系がより高価なものが要求されるという欠点がある。
【0037】
なお、上述した実施例では、射影変換係数を求めるために特徴点4個用いてきた。この中で1個を2次元コードの中心座標で代用することもできるし、逆に5個以上の点を用い、最小二乗法を用いてより高い精度で変換係数を求めることもできる。また、筆記時にその文書またはその場所に対して筆記可能かどうかの判定し使用者に知らせる構成も請求項1とまったく同様な構成(図7)で実現することができる。また、この構成は請求項1と同様にソフトウエアでも実現することができる(請求項6)。
【0038】
さて、請求項1または請求項2または請求項3において、図1の1と図1の2のインクの吸光波長あるいは発光波長を互いに重ならないようにし、図1の1の文書を人間が読み取り可能な波長域に、図1の2のシンボルを人間にとって読み取り不可能な波長域で印刷した場合、図1の1と図1の2は重ねて印刷しかつ独立して読み取ることができるのでより好ましい(請求項7)。不可視のインクには例えば日立マクセルのステルスインクがあり、特にこれは熱転写プリンタ用のインクリボンも市販されている。これは人間にはほとんど見えず、赤外領域ではCCD などの撮像素子には感度があるので機械読み取り可能である。一方、逆に赤外領域では透明な黒色インクも市販されているので、これらのインクを用いて市販の熱転写方式プリンタを用いれば、人間にとって可視の文書と機械にとって可視のシンボルとをプリンタで印刷することが容易に実現できる。
【0039】
同様に請求項3または請求項4または請求項5の構成においても人間にとって不可視のインクを用いればより利便性が増す(請求項8)。
【0040】
上述したいずれの場合(実施例)でも、原文書を一意的に識別できかつ筆記軌跡が求まるので、これらの情報を原文書に自動的に付加するのは容易である(請求項9、請求項10)。文書名等から電子的な原文書を読み出し、その文書に軌跡を付加すれば良い。外部機器より軌跡情報を得て、原文書に付加するような電子文書編集方法は容易に構築することができるし、また市販のいわゆるワードプロセスソフトでもマクロ機能を用いれば容易に実現できる。なお、画像を電子的なものに変換する装置やその画像のシンボルのデコード、位置検出、歪み検出、ペン先位置検出、記憶の各装置/方法は、画像入力装置内にあってもよいし、別の装置内にあってもよいし、コンピュータ等の文書編集装置内のどこにあってもかまわない。また、原文書への筆記軌跡の付加は必ずしもリアルタイムに行う必要もなく、例えば、画像入力装置内のメモリに一旦蓄え、後で画像入力装置を文書編集装置と接続し、そのとき、原文書へ筆記軌跡を付加してもよい。このとき、いきなり原文書への筆記軌跡付加を行うのではなく、操作者に確認を求めてから行うほうがより望ましい。さらに、原文書も操作者が選択可能であるほうが望ましく、このときはシンボルに原文書の識別情報がない場合でも適用可能である。
【0041】
なお、上述した各実施形態は、本発明の好適な実施形態であり、本発明の主旨を逸脱しない範囲内において、種々変形して実施することが可能である。
【0042】
【発明の効果】
以上の説明により明らかなように、本発明のコンピュータ入力装置によれば、ペン(入力装置)に設けられた撮影装置により、撮影された光学的に機械読み取り可能なシンボルをデコードしかつ位置、傾き、歪みを検出することでペン先の筆記面における座標を精度よく検出することができる。かつ、筆記不可能な箇所に筆記しようとしたときの判定を行うことができるので、作業効率を高めることができる。
【0043】
また、第2のシンボルを用いることにより、より精度よくペン先の筆記面における座標を検出することができる。
【0044】
また、シンボルを複数個用いることにより、より精度よくペン先の筆記面における座標を検出することができる。
【0045】
また、シンボルを不可視とすることでより見やすくすることができる。
【0046】
また、本発明のコンピュータ入力方法によれば、上記した本発明のコンピュータ入力装置による各効果と同様の効果が得られる。
【0047】
また、本発明のコンピュータ入力システムによれば、上記した本発明のコンピュータ入力装置またはコンピュータ入力方法による各効果と同様の効果に加え、電子文書を印刷した際、印刷された紙等へ筆記するだけで、電子的な原文書に自動的に反映されるシステムを構築することができる。かつ、筆記不可能な箇所に筆記しようとしたときの判定を行うことができるので、作業効率を高めることができる。
【図面の簡単な説明】
【図1】本発明の実施形態としてのコンピュータ入力システムにおける文書などについて示す図である。
【図2】図1の2のシンボルの部分のみを例示した図である。
【図3】本発明の実施形態としてのコンピュータ入力装置により自動的に筆記軌跡を得ている状態を示す図である。
【図4】本発明の画像読取装置(コンピュータ入力装置)で図2のような媒体を読み取った場合の画像例を示す図である。
【図5】本発明の実施形態としてのコンピュータ入力システムでの文書における座標検出例を示す図である。
【図6】請求項3記載のコンピュータ入力装置の実施例について説明するための図である。
【図7】本発明の実施形態としてのコンピュータ入力装置の構成例を示すブロック図である。
【図8】本発明の実施形態としてのコンピュータ入力装置をCPU+ソフトウエアで実現する場合の構成例を示すブロック図である。
【図9】手順1を示すフローチャートである。
【図10】手順2を示すフローチャートである。
【図11】手順3を示すフローチャートである。
【符号の説明】
図7−1 歪み位置等検出部
図7−2 画像記憶部
図7−3 (外部との)I/F
図7−4 電源
図7−5 記憶部
図7−6 I/F
図7−7 動作部(警告部)
図7−8 判断部(判定部)
図7−9 筆記軌跡を得る部分
図7−10 筆記時(入力時)に判定をして使用者に知らせる部分
図8−1 CPU
図8−2 プログラム(HDDに格納されたプログラム)
図8−3 メモリ(RAMなど)
図8−4 電源
Claims (10)
- 座標情報及び/又は文書情報を表すシンボルが記録された媒体から前記シンボルを光学的に読み取る手段と、
該シンボルをデコードする手段と、
読み取った画像中における該シンボルの位置、向き、歪量のうち少なくとも1つを検出する手段と、
該シンボルの位置情報、向き情報、歪情報の少なくとも1つとシンボルをデコードしたものとにより、画像中の所定の点に対する前記媒体上の位置を演算する手段と、を有するコンピュータ入力装置であって、
筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する手段と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段と、
を有することを特徴とするコンピュータ入力装置。 - 座標情報及び/又は文書情報を表す第一のシンボルと複数からなる第二のシンボルが記録された媒体から前記第一のシンボルと前記第二のシンボルを光学的に読み取る手段と、
第一のシンボルをデコードする手段と、
第一のシンボルと第二のシンボルの位置を検出する手段と、
それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する前記媒体上の位置を演算する手段と、を有するコンピュータ入力装置であって、
筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する手段と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段と、
を有することを特徴とするコンピュータ入力装置。 - 座標情報及び/又は文書情報を表す複数のシンボルを光学的に読み取る手段と、それぞれのシンボルをデコードする手段と、
読み取った画像中におけるそれぞれのシンボルの位置を検出する手段と
それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する手段または方法と、
筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する手段と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶する手段に記憶された情報と対比することにより、筆記可能かどうかを判定する手段と、
を有することを特徴とするコンピュータ入力装置。 - 筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、
光学的に読み取られた座標情報及び/又は文書情報を表すシンボルをデコードする工程と、
読み取った画像中における該シンボルの位置、向き、歪量のうち少なくとも1つを検出する工程と、
該シンボルの位置情報、向き情報、歪情報の少なくとも1つとシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情 報と対比することにより、筆記可能かどうかを判定する工程と、
を有することを特徴とするコンピュータ入力方法。 - 筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、
光学的に読み取られた座標情報及び/又は文書情報を表す第一のシンボルをデコードする工程と、
光学的に読み取られた第一のシンボルと光学的に読み取られた第二のシンボルの位置を検出する工程と、
それぞれのシンボルの位置情報とシンボルをデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程と、
を有することを特徴とするコンピュータ入力方法。 - 筆記可能な座標情報及び/又は文書情報、或いは、筆記不可能な座標情報及び/又は文書情報を予め記憶する記憶部を備えたコンピュータ入力装置におけるコンピュータ入力方法であって、
光学的に読み取られた座標情報及び/又は文書情報を表す複数のシンボルのそれぞれをデコードする工程と、
読み取った画像中におけるそれぞれのシンボルの位置を検出する工程と、
それぞれのシンボルの位置情報とデコードしたものとにより、画像中の所定の点に対する媒体上の位置を演算する工程と、
前記媒体に対する筆記時に、前記シンボルのデコード結果を前記記憶部に記憶された情報と対比することにより、筆記可能かどうかを判定する工程と、
を有することを特徴とするコンピュータ入力方法。 - 前記シンボルは人間にとって不可視であることを特徴とする請求項1から3の何れか1項に記載のコンピュータ入力装置。
- 前記シンボルは人間にとって不可視であることを特徴とする請求項4から6の何れか1項に記載のコンピュータ入力方法。
- 印刷媒体上に文書の論理的な位置情報あるいは文書の論理的な位置情報と文書を識別する情報を光学的に読み取り可能なシンボルで印刷する装置と、請求項1または請求項2または請求項3または請求項7に記載のコンピュータ入力装置と、該装置により得られたシンボルのデコード結果が筆記可能かどうかを判定する手段を有する装置とその判定結果により座標情報を原文書に付加する装置とを有することを特徴とするコンピュータ入力システム。
- 文書を印刷する際に、印刷媒体上の座標あるいは座標と文書ならびにページを識別する情報を光学的読み取り可能なシンボルで印刷する工程と、請求項4または請求項5または請求項6または請求項8に記載のコンピュータ入力方法と、該方法により得られたシンボルのデコード結果が筆記可能かどうかを判定する工程とその判定結果により座標情報を原文書に付加する工程とを有することを特徴とするコンピュータ入力システムにおける入力方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002064291A JP4031268B2 (ja) | 2002-03-08 | 2002-03-08 | コンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002064291A JP4031268B2 (ja) | 2002-03-08 | 2002-03-08 | コンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003263267A JP2003263267A (ja) | 2003-09-19 |
JP4031268B2 true JP4031268B2 (ja) | 2008-01-09 |
Family
ID=29197153
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002064291A Expired - Fee Related JP4031268B2 (ja) | 2002-03-08 | 2002-03-08 | コンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4031268B2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7142197B2 (en) * | 2002-10-31 | 2006-11-28 | Microsoft Corporation | Universal computing device |
US7581171B2 (en) * | 2004-01-06 | 2009-08-25 | Microsoft Corporation | Positionally encoded document image analysis and labeling |
JP4550460B2 (ja) * | 2004-03-30 | 2010-09-22 | シャープ株式会社 | コンテンツ表現制御装置およびコンテンツ表現制御プログラム |
JP4340900B2 (ja) * | 2004-12-24 | 2009-10-07 | 富士ゼロックス株式会社 | 画像情報処理システム、画像情報処理装置、画像情報処理方法、画像情報処理プログラム、記憶媒体 |
JP4340901B2 (ja) * | 2004-12-24 | 2009-10-07 | 富士ゼロックス株式会社 | 画像情報処理システム、画像情報処理装置、画像情報処理方法、画像情報処理プログラム、記憶媒体 |
JP2006277565A (ja) * | 2005-03-30 | 2006-10-12 | Hitachi Maxell Ltd | 予約システム |
JP2006277564A (ja) * | 2005-03-30 | 2006-10-12 | Hitachi Maxell Ltd | 予約システム |
JP5720182B2 (ja) | 2010-11-01 | 2015-05-20 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP5732861B2 (ja) | 2011-01-14 | 2015-06-10 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP5732866B2 (ja) | 2011-01-20 | 2015-06-10 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
CN104778491B (zh) * | 2014-10-13 | 2017-11-07 | 刘整 | 用于信息处理的图像码及生成与解析其的装置与方法 |
-
2002
- 2002-03-08 JP JP2002064291A patent/JP4031268B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003263267A (ja) | 2003-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4317334B2 (ja) | 画像形成装置及び文書管理システム | |
EP1866735B1 (en) | Combined detection of position-coding pattern and bar codes | |
CN101398838B (zh) | 手写信息管理系统和手写信息管理方法 | |
JP4986186B2 (ja) | X及びy座標データが分割されてそれぞれのタグのそれぞれの半分に入れられたタグを含む符号化パターン | |
JP4031268B2 (ja) | コンピュータ入力装置、方法、コンピュータ入力システム、及び該システムにおける入力方法 | |
US7600693B2 (en) | Information code including redundant information providing copy protection | |
WO2003107265A1 (en) | Position-coding pattern | |
JP2000293303A (ja) | 座標入力装置、情報処理システムおよび媒体 | |
SE516109C2 (sv) | Förfarande, system och datorprogram för dokumenthantering med hjälp av positionskodningsmönster | |
US8418052B2 (en) | Processing of documents | |
JP4198392B2 (ja) | 2次元コード読取装置、画像入力装置、2次元コード読み取り方法、画像入力方法、そのプログラム、及びそのプログラムを記録した記録媒体 | |
KR20130139225A (ko) | 광학 펜을 이용한 절대 위치와 기타 정보용 도트 코드 패턴, 도트 코드 프린팅 방법, 및 도트 코드 읽는 방법 | |
JP3980798B2 (ja) | 筆記情報入力システム | |
JP2003150585A (ja) | 文書管理装置 | |
JP4738668B2 (ja) | 文書管理装置、文書管理方法及びその文書管理装置での処理をコンピュータに行なわせるためのプログラムを格納した記憶媒体 | |
CN1413322A (zh) | 借记卡购物 | |
JP4962233B2 (ja) | 画像生成装置、文書管理システム、文書管理プログラム | |
JP2002215319A (ja) | 座標入力装置 | |
JP2004295905A (ja) | 座標入力装置、情報処理システムおよび媒体 | |
JP4765894B2 (ja) | 画像生成装置、情報読み取り装置および記録媒体 | |
JP2007276253A (ja) | 印刷装置、パブリシャおよび印刷方法 | |
JP4691055B2 (ja) | 筆記入力装置 | |
JP2005275599A (ja) | 手書き出力装置、手書き出力方法及びプログラム | |
JP2006107124A (ja) | タブレット及び情報読み取り方法 | |
JP2005078508A (ja) | 2次元コード読取装置、印刷装置、加筆情報入力装置及び加筆情報管理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050125 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070918 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071018 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101026 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111026 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121026 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131026 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |