以下、本発明の実施の形態について、図面を用いて説明する。
<システム全体の構成の説明>
図1は、本発明にかかる手書き入出力システム1の使用状態の一例を示す外観図である。同図によれば、媒体2にスキャナ3を用いて書き込みをすると、書き込んだとおりの文書がディスプレイ6に表示される。これは、スキャナ3が、書き込んだ軌跡上のドットパターンを撮像して、コンピュータ4が解析する(必要に応じてサーバ5にアクセスする)ことにより、実現する。ただし、コンピュータ4がスキャナ3に内蔵されていてもよい。
図2は、本発明にかかる手書き入出力システム1の、第一の実施例の構成を示すブロック図である。
この手書き入出力システム1は少なくとも、媒体2(手書き入力シート)、撮像部7(撮像手段)、ドットパターン解析部8(ドットパターン解析手段)、軌跡認識部9(軌跡認識手段)、処理命令部10(処理命令手段)、を備えることにより情報処理部11に対して各種の命令を行い、必要に応じて各種サーバ5にアクセスする。
図3は、本発明にかかる手書き出入力システム1の第二の実施例の構成を示すブロック図である。第二の実施例では、第一の実施例が備える構成に加えて、撮像素子12、照射部13、光制御部14をさらに備える。
ここで、同図中の破線で示すように、撮像素子12と照射部13は撮像部7と一体であり、光制御部14はドットパターン解析部8と一体である。
図4は、本発明にかかる手書き入出力システム1の第三の実施例の構成を示すブロック図である。第三の実施例では、第一の実施例が備える構成に加えて、計時部15をさらに備える。
ここで、同図中の破線で示すように、計時部15は軌跡認識部9と一体である。
図5は、本発明にかかる手書き入出力システム1の第四の実施例の構成を示すブロック図である。第四の実施例では、第一の実施例が備える構成に加えて、角度測定部16、角度変化認識部17をさらに備える。
ここで、同図中の破線で示すように、角度測定部16と角度変化認識部17はドットパターン解析部8と一体である。
図6は、本発明にかかる手書き入出力システム1の第五の実施例の構成を示すブロック図である。第五の実施例では、第一の実施例が備える構成に加えて、回転角読み取り部18、回転角変化認識部19をさらに備える。
ここで、同図中の破線で示すように、回転角読み取り部18と回転角変化認識部19はドットパターン解析部8と一体である。
図7は、本発明にかかる手書き入出力システム1の第六の実施例の構成を示すブロック図である。第禄の実施例では、第一の実施例が備える構成に加えて、音声収録部20、音声認識部21、音声出力部22をさらに備える。
<ドットパターン>
以下に、本発明にかかる手書き入出力システム1において用いるドットパターンについて、図8〜15を用いて説明する。
<ドットパターンの説明GRID1>
図8〜図15は本発明にかかる手書き入出力システム1において媒体2に形成されるドットパターンの一例であるGRID1を示す説明図である。
なお、これらの図において、縦横方向の格子線は説明の便宜のために付したものであり実際の印刷面には存在していない。ドットパターン101を構成するキードット102、情報ドット103、基準格子点ドット104等は撮像手段であるスキャナ3が赤外線照射手段を有している場合、当該赤外光を吸収する不可視インクまたはカーボンインクで印刷されていることが望ましい。
図8はドットパターン101の情報ドットおよびそれに定義されたデータのビット表示の一例を示す拡大図である。図9(a)、(b)はキードット102を中心に配置した情報ドット103を示す説明図である。
ドットパターンを用いた情報入出力方法は、ドットパターン101の生成と、そのドットパターン101の認識と、このドットパターン101から情報およびプログラムを出力する手段とからなる。すなわち、ドットパターン101をスキャナ3に内蔵する撮像部7により画像データとして取り込み、まず、基準格子点ドット104を抽出し、次に本来基準格子点ドット104がある位置にドットが打たれていないことによってキードット102を抽出し、次に情報ドット103を抽出することによりデジタル化して情報領域を抽出して情報の数値化を図り、その数値情報より、このドットパターン101から情報およびプログラムを出力させる。たとえば、このドットパターン101から音声等の情報やプログラムを、情報出力装置、パーソナルコンピュータ、PDAまたは携帯電話等に出力させる。
ドットパターン101の生成は、ドットコード生成アルゴリズムにより、数値情報を認識させるために微細なドット、すなわち、キードット102、情報ドット103、基準格子点ドット104を所定の規則に則って配列する。図8に示すように、情報を表すドットパターン101のブロックは、キードット102を基準に5×5の基準格子点ドット104を配置し、4点の基準格子点ドット104に囲まれた中心の仮想格子点5の周囲に情報ドット103を配置する。このブロックには任意の数値情報が定義される。なお、図8の図示例では、ドットパターン101のブロック(太線枠内)を4個並列させた状態を示している。なお、ドットパターン101は4ブロックに限定されず、上下・左右方向に、何度でも繰り返して配置されてもよいことは勿論である。
基準格子点ドット104は、撮像部7でこのドットパターン101を画像データとして取り込む際に、その撮像部7のレンズの歪みや斜めからの撮像、紙面の伸縮、媒体表面の湾曲、印刷時の歪みを矯正することができる。具体的には歪んだ4点の基準格子点ドット104を元の正方形に変換する補正用の関数(Xn,Yn)=f(Xn’,Yn’)を求め、その同一の関数で情報ドット103を補正して、正しい情報ドット103のベクトルを求める。
ドットパターン101に基準格子点ドット104を配置してあると、このドットパターン101を撮像部7で取り込んだ画像データは、撮像部7が原因する歪みを補正するので、歪み率の高いレンズを付けた普及型のカメラでドットパターン101の画像データを取り込むときにも正確に認識することができる。また、ドットパターン101の面に対して撮像部7を傾けて読み取っても、そのドットパターン101を正確に認識することができる。
キードット102は、図8に示すように、ブロックの四隅の角部にある4個の基準格子点ドット104を一定方向にずらして配置したドットである。このキードット102は、情報ドット103を表す1ブロック分のドットパターン101の代表点である。たとえば、ドットパターン101のブロックの四隅の角部にある基準格子点ドット104を上方に0.1mmずらしたものである。ただし、この数値はこれに限定されずに、ドットパターン101のブロックの大小に応じて可変し得るものである。
情報ドット103は種々の情報を認識させるドットである。この情報ドット103は、キードット102を代表点にして、その周辺に配置すると共に、4点の基準格子点ドット104で囲まれた中心を仮想格子点5にして、これを始点としてベクトルにより表現した終点に配置したものである。たとえば、この情報ドット103は、基準格子点ドット104に囲まれ、図9(a)に示すように、その仮想格子点5から0.1mm離れたドットは、ベクトルで表現される方向と長さを有するために、時計方向に45度ずつ回転させて8方向に配置し、3ビットを表現する。したがって、1ブロックのドットパターン101で3ビット×16個=201ビットを表現することができる。
図9(b)は、図3のドットパターンにおいて、1個の格子毎に2ビットを有する情報ドット103の定義の方法であり、+方向および×方向にドットをずらして各2ビットの情報を定義している。これにより、本来48ビットの情報を定義できるが、用途によって分割して32ビット毎にデータを与えることができる。+方向および×方向の組み合わせによって最大216(約65000)通りのドットパターンフォーマットが実現できる。
なお、これに限定されずに、16方向に配置して4ビットを表現することも可能であり、種々変更できることは勿論である。
キードット102、情報ドット103または基準格子点ドット104のドットの径は、見栄えと、紙質に対する印刷の精度、撮像部7の解像度および最適なデジタル化を考慮して、0.05mm程度が望ましい。
また、撮像面積に対する必要な情報量と、各種ドット102,103,104の誤認を考慮して基準格子点ドット104の間隔は縦・横0.5mm前後が望ましい。基準格子点ドット104および情報ドット103との誤認を考慮して、キードット102のずれは格子間隔の20%前後が望ましい。
この情報ドット103と、4点の基準格子点ドット104で囲まれた仮想格子点との間隔は、隣接する仮想格子点5間の距離の15〜30%程度の間隔であることが望ましい。情報ドット103と仮想格子点5間の距離がこの間隔より近いと、ドット同士が大きな塊と視認されやすく、ドットパターン101として見苦しくなるからである。逆に、情報ドット103と仮想格子点5間の距離がこの間隔より遠いと、隣接するいずれの仮想格子点5を中心にしてベクトル方向性を持たせた情報ドット103であるかの認定が困難になるためである。
図8に示すように、1個のドットパターンは、4×4個のブロック領域で構成されたドットパターンであり、各ブロック内には2ビットの情報ドット103が配置されている。この情報ドット103のドットコードフォーマットの一例を示したものが図9である。
図10に示すように、1個のドットパターン中には、パリティチェック、コード値、X座標、Y座標が記録されている。なお、フォーマットの詳細については後述する。
図11は情報ドット103およびそこに定義されたデータのビット表示の例であり、他の形態を示すものである。
また、情報ドット103について基準格子点ドット104で囲まれた仮想格子点5から長・短の2種類を使用し、ベクトル方向を8方向とすると、4ビットを表現することができる。このとき、長い方が隣接する仮想格子点5間の距離の25〜30%程度、短い方は15〜20%程度が望ましい。ただし、長・短の情報ドット103の中心間隔は、これらのドットの径より長くなることが望ましい。
4点の基準格子点ドット104で囲まれた情報ドット103は、見栄えを考慮し、1ドットが望ましい。しかし、見栄えを無視し、情報量を多くしたい場合は、1ベクトル毎に、1ビットを割り当て、情報ドット103を複数のドットで表現することにより、多量の情報を有することができる。たとえば、同心円8方向のベクトルでは、4点の格子ドット4に囲まれた情報ドット103で28の情報を表現でき、1ブロックの情報ドット16個で2128となる。
図12は情報ドットおよびそこに定義されたデータのビット表示の例であり、(a)はドットを2個、(b)はドットを4個および(c)はドットを5個配置したものを示すものである。
図13はドットパターン101の変形例を示すものであり、(a)は情報ドット6個配置型、(b)は情報ドット9個配置型、(c)は情報ドット12個配置型、(d)は情報ドット1036個配置型の概略図である。
図8に示すドットパターン101は、1ブロックに16個(4×4)の情報ドット103を配置した例を示している。しかし、この情報ドット103は1ブロックに16個配置することに限定されずに、種々変更することができる。たとえば、必要とする情報量の大小または撮像部7の解像度に応じて、情報ドット103を1ブロックに6個(2×3)配置したもの(a)、情報ドット103を1ブロックに9個(3×3)配置したもの(b)、情報ドット103を1ブロックに12個(3×4)配置したもの(c)、または情報ドット103を1ブロックに36個配置したもの(d)がある。
<ドットパターンの説明ディレクションドット>
次に、ドットパターンの他の形態であるディレクションドットについて図14を用いて説明する。
本ドットパターンは、ブロックの形状によって、ドットパターンの方向を定義したものである。図14(a)において、まず基準点201a〜201eが配置されている。この基準点201a〜201eを結ぶ線によってブロックの向きを示す形状(ここでは上方を向いた5角形)が定義されている。そして、この基準点に基づいて仮想基準点201f、201g、201hが配置され、この仮想基準点を始点として方向と長さを有するベクトル終点に情報ドット203が配置されている。このように、同図では、ブロックの向きを基準点の配置の仕方によって定義することができる。そしてブロックの向きが定義されるディレクションドットによって、ブロック全体の大きさも定義されることになる。また、このブロックは、上下・左右方向に、何度でも繰り返して配置されてもよいことは勿論である。
なお、図14(a)においては、基準点201a〜201eと情報ドット203は全て同一形状のもので説明したが、基準点201a〜201eを情報ドット203よりも大きな形状としてもよい。また、この基準点201a〜201eと情報ドット203とは識別可能であればいかなる形状としてもよく、三角形、四角形それ以上の多角形であってもよい。
図14(b)は、ブロックの仮想格子点上に情報ドットがあるか否かによって、情報を定義したものである。
なお、図14(c)は、図14(a)に示したブロックを縦横方向に2個ずつ連結したものである。
本発明にかかる手書き入出力システム1において媒体2に形成するドットパターンはGRID1に限らず、XY座標情報およびコード情報を定義したものであればよいものとする。
たとえば、特許第3766678号(GRID2)、特許第3858051号(GRID3)、特許第3858052号(GRID4)を用いることができる。
<ドットパターンのフォーマットの説明>
図15は、本発明にかかる手書き入出力システム1において媒体2に形成されるドットパターンのフォーマットについて説明する図である。
同図(c)に示すように、ドットパターンは、4×4個のブロック領域で構成されたドットパターンであり、このブロック内でC1−0〜C31−30に区画されている。各領域のドットコードフォーマットを示したものが(a)および(b)である。
同図(a)は、ページコードとX座標とY座標が登録されているフォーマットである。ページコードとは、媒体2が冊子状になっている場合等において、媒体2のページ数を意味するものであり、X座標およびY座標は、それぞれ、媒体上における位置(座標値)を意味するものである。これにより、ユーザがスキャナ3で媒体2を読み取ると、その媒体のページ数および読み取った箇所の座標位置が一度の読み取り操作で同時に認識される。
同図(b)は、ページコードとアクションコードとX座標とY座標が登録されているフォーマットである。アクションコードとは、操作指示を意味するものである。例えば、「拡大」「縮小」等の操作を意味するもので、主に後述するアイコン領域に用いられるドットパターンに含まれている。
このように、本発明のドットパターンは、ページコードやアクションコード等、種々のコード情報とXY座標を一つのフォーマットに登録することができる。また、その他にも、XY座標のみ、あるいはコード情報のみを登録することもでき、柔軟性に富んだフォーマットが可能である。
<撮像部>
図16〜28は、本発明にかかる手書き入出力システム1に用いる撮像部7を説明する図である。
なお、撮像部7は人が手に持つのに適した大きさ、形状であることが好ましく、中でも図16のようにペン型の形状をしていることが最も好ましい。
同図(a)はペン型の形状をした撮像部7の最も基本的な実施形態を示す図である。かかる実施形態においては、指示用突起部23、送信部24が設けられており、図示しないC−MOSセンサ等が概ねペンの軸線上に内蔵されている。送信部24は撮像部7が赤外線通信、無線通信等の方法を用いて他の部材に信号を送信するためのものであり、説明の便宜を図るため図示したが、実際には必ずしも外観上見える位置に設ける必要はない。
同図(b)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、ユーザによる操作を受け付ける2つのボタンが設けられている。かかる2つのボタンは送信ボタン25と、再送信ボタン26であり、ユーザは撮像部7から他の部材に信号を送るようボタン操作により指示することができる。ここで、再送信ボタン26とは、送信ボタン25による信号の送信が遮蔽物の存在等により受信先の部材へ送信することができなかった場合に同じ信号を再度送信するのに用いる。
同図(c)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、ユーザによる音声入力を受け付けるマイク27と、音声再生ボタン28がさらに設けられている。マイク27は、後述する音声認識に用いる音声を収録するために用い、音声再生ボタン28は、後述する音声ガイドを再生するために用いる。
同図(d)はペン型の形状をした撮像部7の他の実施形態を示す図である。かかる実施形態においては、指示用突起部23の内部空間にペン29が格納されており、ペン格納ボタン30を押すことにより、ペン29が出る。
図17(a)本発明にかかる手書き入出力システム1を構成する撮像部7の実施例の一つであるペン型スキャナ31の先端部を示す断面図である。かかるペン型スキャナ31は、内部に中空部が形成され、その先端に開口部を有するライトガイド32と、このライトガイド32の開口部を臨む位置に配置されたレンズ33と、このレンズ33と同一面上に配置され、ドットパターンが形成された媒体面に所定波長の光を照射する光源としてのLED34(照射部13)と、レンズ33から後退した位置に配置されたC−MOSセンサ35(撮像素子12)と、さらに後退した位置にPCB36とそれに設置される図示しないCPUとを備えている。ライトガイド32の中空部は、レンズ33から開口部に向かって次第に大径となるテーパ状に形成されている。ここで、CPUは先述のドットパターン解析部8、軌跡認識部9、処理命令部10、情報処理部11、のいずれかまたは全ての役割を持つ。
ライトガイド32は、透明または乳白色の樹脂製であり、その内部が導光路として機能する。LED34からの照射光は、ライトガイド32の内部を進行し、前記開口部より媒体2に対して照射される。ライトガイド32が乳白色の樹脂製である場合は、LED34からの照射光は、ライトガイド32内を進行する際、適度に拡散されるので、開口部から媒体2を照射する光をより均一にすることが出来る。
<LEDの発光タイミングの制御>
同図(b)は時間毎のLED34の発光タイミングを示す図である。LED34は所定のタイミング毎に瞬間的に所定強度、発光して、媒体2を露光する。C−MOSセンサ35は媒体2からの反射光を撮像し、画像データとしてドットパターン解析部8へ送信する。
同図(c)は時間毎のC−MOSセンサ35の素子の反応状態を示す図である。C−MOSセンサ35の素子にはLED34が所定強度、発光して媒体2を露光した瞬間の媒体2の残像が焼き付けられる。ここで、所定時間tk
とは撮像素子12の残像が消えるまでの時間内で、ドットパターン解析部8による解析可能な残像状態を保持するのに必要とする時間を示している。
LED34が発光していた時間ftが所定の時間α以下である場合、同図(d)に示すとおり、C−MOSセンサ35の素子にはドットの残像がぼけることなく焼き付けられるため、この残像を画像データとしてドットパターン解析部8へ送信する。この場合、送信は素子に残像が残っている時間tlの間に行う。
一方、LED34が発光していた時間ftが所定の時間αを大きく超える場合、同図(e)に示すとおり、C−MOSセンサ35の素子にはドットの残像がぼけて焼き付けられ、正しい数値を読み取ることができない。
かかる撮像方法は、C−MOSセンサを用いる場合において特に有効であるが、上記の撮像方法に代えて、CCDカメラを用いても問題はない。
図18により、本発明にかかる手書き入出力システム1に用いる、光制御部14およびドットパターン解析部8の働きについて説明する。
同図(a)は光制御部14によるLED34の発光タイミング、および撮像素子12によりドットパターンを撮像して記憶素子に送信するタイミング、およびドットパターン解析部8による画像データの解析タイミングの第一のパターンを説明する時系列である。第一のパターンにおいては、発光ftn、撮像rtn、解析atnが順に行われ、解析atnが終了すると、所定時間tsが経過するまで次の発光ftn+1は行われない。ここで、所定時間tsとは撮像素子12がドットパターンの撮像・送信・解析に必要とする時間の予想値のうち、最大の値を予想撮像・送信・解析時間として定義したものである。
同図(b)は光制御部14によるLED34の発光タイミング、および撮像素子12によるドットパターンの撮像・送信タイミング、およびドットパターン解析部8による画像データの解析タイミングの第二のパターンを説明する時系列である。第二のパターンにおいては、解析atnが終了すると、光制御部14は解析の終了を検知して、直ちに次の発光ftn+1行われ、次のドットパターンの撮像rtn+1、解析atn+1が行われる。
同図(c)は光制御部14によるLED34の発光タイミング、および撮像素子12によるドットパターンの撮像・送信タイミング、およびドットパターン解析部8による画像データの解析タイミングの第三のパターンを説明する時系列である。第三のパターンにおいては、タスク処理または光制御部14およびドットパターン解析部8を複数備えることにより、解析atn−1と同時に次の解析のためのドットパターンの撮像rtnを行い、解析atn−1が終了すると直ちに発光ftn+1が行われ、続いて既に撮像rtnにおいて撮像された画像データの解析atnが行われる。なお、さらに、発光ftn+1と同時に解析atnを開始してもよいが、LED34の発光時間は極めて短いため、LED34が発光してからドットパターン解析部8が画像データの解析を終えるまでの合計時間には殆ど変化がない。
<ペンの装着>
また、ペン型スキャナ31は、筆記具としてのペン37が装着されている。通常ペン等の筆記具で印字する際は、傾斜させた状態で用いるため、ペン型スキャナ31の外周は、45度まで傾斜可能になるように形成されている。この場合、ペン37の先端近傍の媒体面を撮像することにより、撮像中心から離れた位置のペン37の印字の際の筆跡や移動距離等を正確に解析することも可能となる。また、後述するオフセット補正により、筆跡をさらに正確に解析することが可能である。
筆記具としてのペン37は、種々の方法により格納して、媒体上に筆跡を残さないようにすることも可能である。格納する方法は、一般的なボールペンなどのペンにおいて用いられている技術をそのまま利用できる。たとえば、ノック式、回転式による格納方法を採用してもよいし、キャップを被せてもよい。
また、一般的な三色ボールペンのようにペンを換えられるようにすることもできる。この場合、色の異なるペン同士を換えるだけでなく、ペンに代えて消しゴムや修正液が使えるようにしてもよい。
さらに、ペン37に代えて指示用突起部23(スタイラスペン)を設け、指示用突起部23の筆跡近傍を撮像するものとしてもよい。指示用突起部23内に格納スペースを設けてペン37を格納して、指示用突起部としても使用してよい。
<オフセット補正>
図17(a)に示すように、ペン型スキャナ31において、撮像部7が撮像するドットパターンが定義するXY座標値と、ペン37が実際に書き込む軌跡上のドットパターンが定義するXY座標値は異なる。さらに、軌跡上のドットパターンが定義するXY座標値は、媒体面上の書き込み領域におけるxy座標値に変換して、書き込み入力や操作指示を行う必要がある。
本発明にかかる手書き入出力システム1においては、撮像部7が撮像するドットパターンのXY座標値を、ペン37が実際に書き込む軌跡上のドットパターンを補正する方法と、ドットパターン座標系のXY座標値から書き込み領域座標系のxy座標値への変換方法を以下に説明する。
<書き込み領域の座標系とドットパターンの座標系の関係>
図19に書き込み領域の一例を示す。
書き込み領域座標系は左下隅を(0,0)とする。書き込み領域のxy座標値は、mm表示とする。例えば、(16,40)の座標位置であれば、書き込み領域の左下隅から右へ16mm、上へ40mm移動した位置を示す。
書き込み領域内には、ドットパターン座標系のXY座標値を1組定義したドットパターンのブロックが連続して形成されている。XY座標値は、ブロックの中心点の位置を示す。ドットパターン座標系の座標値を書き込み領域座標系の座標値と区別するため、〔X,Y〕と表す。
書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの左下隅と原点(0,0)を一致させると、ドットパターン座標系におけるXY座標値は、図20のように、どの書き込み領域でも左下隅が〔-0.5,-0.5〕となるようにドットパターンが形成される。この場合は、各書き込み領域に形成されたドットパターンには、固有のコード値を定義して各書き込み領域を特定する。互いに特定する必要のない場合は、同一のコード値を定義してもよい。
また、図22のように、紙面全面にXY座標値を定義したドットパターンを形成し、書き込み領域には、上記XY座標値の他、固有のコード値を定義する。この場合、書き込み領域の左下隅のXY座標値は、〔Xn0,Yn0〕(nは書き込み領域を特定する番号)となる。
次に、各ブロックの一辺をLmmとすると、XY座標値は以下のように書き込み領域座標系に変換する。
図20のように、原点(0,0)のXY座標値を〔-0.5,-0.5〕としてドットパターンを形成した場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域座標系では、
(X×L+L/2, Y×L+L/2)となる。
なお、図21のように、書き込み領域の左下隅を座標系の原点(0,0)とし、〔0,0〕を定義したドットパターンのブロックの中心点と原点を一致させると、
(X×L, Y×L)となる。
なお、図21の例における書き込み領域座標系とドットパターン座標系との関係は、図19の拡大図部分の例と同じである。
図22のように、書き込み領域の左下隅のXY座標値が〔Xn0,Yn0〕となる場合、ドットパターン座標系での座標〔X,Y〕は、書き込み領域n座標系では、
((X−Xn0)×L,(Y−Yn0)×L) となる。
<撮像中心Cのドットパターン座標系におけるXY座標値〔Xc,Yc〕の算出>
図23を用いて、撮像中心CのXY座標値〔Xc,Yc〕の算出方法を説明する。
撮像画像を所定の解像度のフレームバッファに一時記憶し、画像解析することにより、隣り合うブロックの中心間隔を構成するピクセル数Mを求める。ブロックの中心間隔は、ブロックの一辺の長さLに等しいので、Lに対する撮像画像の1ピクセル当たりのサイズを、ドットパターン座標系での値kとすると、
k=L/Mとなる。
同じく画像解析により、撮像中心Cから最も近いブロック中心P〔Xp,Yp〕と、撮像中心Cとの間隔を構成するピクセル数uが求まる。撮像中心Cから、撮像中心から最も近いブロック中心Pまでの距離CPは、
CP=k×uとなる。
次に、ドットパターンの向き(書き込み領域の向き)が書き込み領域の上方向になるようにドットパターンが紙面に形成されている場合、ドットパターンの向きとPCベクトルとのなす角をθ'(左回転を正の方向とする)とすると、
〔Xc,Yc〕=〔Xp−CP×sinθ', Yp+CP×cosθ'〕
が求まる。
<ペン先の書き込み領域座標系におけるxy座標値Q(xq,yq)の算出(ペンが紙面に対し垂直な場合)>
図24のように、書き込み領域座標系における撮像中心Cの座標値を(xc,yc)、ペン先の媒体面における座標値をQ(xq,yq)とする。図25のように、点Cと点Qのx座標値、y座標値の差分を、それぞれΔxq、Δyqとすると、
Δxq =xq −xc
Δyq=yq−yc
が求まる。
ドットパターンの向きが書き込み領域上方向になるように、ドットパターンが形成されている場合に、撮像中心Cを始点とし、ペン先を終点とするCQベクトルの向きをペン型スキャナ31の向きとする。
ドットパターンの向きとペン型スキャナ31の向きのなす角をθ(左回転を正の方向とする)とする。
また、図26のように、ペン型スキャナ31が紙面に対し垂直な状態での、撮像中心Cからペン先Qまでの距離をsとすると、
Δxq およびΔyqは、
Δxq =−s×sinθ
Δyq=s×cosθ
となる。
従って、xqおよびyqは、
xq =xc −s×sinθ
yq=yc+s×cosθ
となる。
<ペン先の書き込み領域座標系におけるxy座標値Q'(xq',yq')の算出(ペンが紙面に対し傾いている場合)>
図27のように、ペン型スキャナ31が紙面に対し傾いている場合、前述の撮像中心Cからペン先Qまでの距離が変化する。
ペン型スキャナ31本体の紙面の法線方向からの傾き(以下、「ペンの傾き」という。)をαとしたときの、撮像中心からペン先までの距離をs'とすると、前記の式はs→s'と置き換えられ、
xq' =xc −s'×sinθ
yq'=yc+s'×cosθ
となる。
また、
s'=s/cosα
であるので、これを当該式に代入すると、
xq' =xc −s'×sinθ/ cosα
yq'=yc+s'×cosθ/ cosα
となる。
<ペン先がペン本体に収納された状態で利用する場合の撮像中心からペン先までの距離>
なお、図28のように、ペン先が格納されると、ΔLだけペン型スキャナ31が紙面に近づくがsおよびs'には影響を及ぼすものではなく、計算式は同一となる。
<ペンの傾きαの算出方法>
ペンの傾きαを検出するには、ペン本体に傾きセンサなどの傾き計測手段を設けても良い。
または、撮像画像の所定複数p箇所の明るさBLi,j=1,pを求め、最も明るい箇所と最も暗い箇所の明るさの差ΔBLを用いて関係式α=f(ΔBL)からペンの傾きαを求めることもできる。
α=f(BLi,j=1,p)のようにBLi,jをパラメータとして、フーリエ関数やsin関数を用いてαを求めることもできる。
また、ΔBLとαを対応させるテーブルを予め作成し、αを算定してもよい。なお、ペンを傾けた方向は、BLi,j=1,pの最も暗い箇所から、最も明るい箇所の方向を計測することにより求まる。
<媒体2>
図29〜42は、本発明にかかる手書き入出力システム1に用いる媒体2を説明する図である。
図29は、表面全体にドットパターンを印刷(形成)して書き込み領域とした媒体2を示す図である。
かかるドットパターンはXY座標値およびページコードを定義している。ここで、ページコードとはコード情報を用いて、媒体を特定をするコードを意味する。
図30は、ページコードおよびXY座標値を定義したドットパターンが印刷された領域内に、アクションコードをさらに定義した別のドットパターンが印刷された媒体2を示す図である。
ここで、アクションコードとはコード情報を用いて、特定した媒体への手書き入力に対して情報処理部11に所定の操作(特にアプリケーションの操作)を命令するコードを意味する。これにより、セキュリティ性を高め、誤操作を低減することができる。
本媒体は、複数枚が組になっており、シート毎に異なるページコードが割り当てられている。ページコードはたとえば1ページ目は「01」、2ページ目は「02」、3ページ目は「03」である。
アクションコードを定義したドットパターンが印刷された領域には、かかるアクションコードがどのような意味を持つものであるかユーザに説明するためのテキスト、グラフィック、写真、アイコンを重畳して印刷することができる。たとえば「開始」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションの起動を命令する。「中止」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによる入力結果の破棄(キャンセル)を命令し、または、情報処理部11が所定の処理を実行するか否かを決定するときにおいて、情報処理部11に対して処理の実行を中止することを命令する。「保存」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部に対して手書き入出力用アプリケーションによる入力結果の保存を命令する。「終了」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションの終了を命令する。
図31は、XY座標値およびページコードを定義したドットパターンが印刷された領域と、アクションコードおよびページコードを定義したドットパターンが印刷された領域が分かれている媒体2を示す図である。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
図32は、XY座標値およびページコードを定義したドットパターンが印刷された第一の媒体と、アクションコードのみを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体を示す図である。この場合、媒体のどの頁でも、手書き入力に対する各種命令を実行できる。なお、書き込み領域とアイコンとを別体に設ける場合、図32のように、ペーパーコントローラとする場合の他、シール、付箋紙、カードとして、他の媒体に貼付してもよい。
なお、「本文入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、本文となる文字または図形の入力を命令する。「コメント入力」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、コメントとなる文字または図形の入力を命令する。「編集」というというテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11に対して手書き入出力用アプリケーションによるオペレーションにおいて、文字または図形の編集を命令する(すなわち、手書き入出力用アプリケーション以外のアプリケーションにより作成された文書、画像等のファイルを編集することも可能である。)。「決定」というテキストアイコンが重畳して印刷された領域のアクションコードは、情報処理部11が所定の処理を実行するか否かを決定するときにおいて、情報処理部11に対して処理の実行を決定することを命令する。
図33は、XY座標値およびページコードAを定義したドットパターンが印刷された第一の媒体と、アクションコードおよびページコードAを定義したドットパターンが印刷されたペーパーコントローラである第二の媒体が一つの冊子となったものを示す図である。
この場合、書き込み領域には各ページ同一のXY座標が登録されたドットパターンが印刷されていてもよい。なぜなら、書き込み操作を行う際には、アクションコードおよびページコードが登録されたコントローラ領域のアイコンを使用すれば、書き込み領域を特定できるからである。つまり、XY座標値を変更することなく書き込み領域の位置、ページを変更することが可能ともいえる。この場合、媒体のどの頁を対象にするかを選択することなく、ページコードにより特定した頁に対してのみ各種命令を実行することができる。これにより、セキュリティ性を高め、誤操作を低減することができる。
上記の他、書き込み領域全体に、情報処理部に対して手書き入出力用アプリケーションの起動を命令するアクションコードを定義したドットパターンを印刷してもよい。この場合、媒体面において書き込みが行われると自動的に手書き入出力用アプリケーションが起動するようになる。
また、媒体上の書き込み領域は一つに限らず、複数定義することも可能である。
(複数の書き込み領域が設けられる場合に関して)
以下、図34〜38を用いて、複数の書き込み領域が設けられる場合に関して、4つの例を用いて説明する。
<第1の例>
第1の例は、図34に示すように、複数の書き込み領域毎に、異なるドットパターン座標系によるXY座標値と書き込み領域を特定するコード値とを定義したドットパターンが形成される場合である。
この図では、それぞれの書き込み領域ごとに、ドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値m、nを定義したドットパターンが形成されている。
コード値は複数の情報を定義することにより、書き込み領域のみならずページ番号を分類する分類番号などを含めることができる。
ページ番号が含まれると、どのページのどの書き込み領域なのかを判別でき、書き込み領域で情報や処理命令、択一などの選択項目があり、共通のコードとして処理する場合では、定義されたページ番号や、選択項目を特定する情報を合わせてコード値として定義できる。
なお、図35に示すように、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。この図では、コード値をn1、n2、n3、n4としている。これにより、1つの書き込み領域内に複数の選択項目を設定できる。
この第1の例では、各領域の左下隅が常に0(原点)となるので扱いがしやすいという利点がある。
<第2の例>
第2の例は、図36に示すように、所定領域全面に1つのドットパターン座標系によるXY座標値を定義したドットパターンが形成され、書き込み領域のドットパターンにはXY座標と共にコード値も定義されている場合である。
この図では、所定領域の左下隅を原点とする1つのドットパターン座標系でXY座標値を定義したドットパターンが、所定の領域全面に形成されている。この所定の領域内にある、二つの書き込み領域はそれぞれ、左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nとが定義されている。
コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
なお、書き込み領域以外のドットパターンが形成された領域には書き込みはできないようになっている。
第2の例によれば、XY座標値を読み取ることで、書き込み領域が、所定領域内のどこにレイアウトされているかが容易にわかる。
<第3の例>
第3の例は、図37に示すように、書き込み領域の中に、さらに書き込み領域を入れ込む場合である。
この図では、所定領域の左下隅を原点とする1つのドットパターン座標系でのXY座標値と、書き込み領域を特定するコード値Lとを定義したドットパターンが、所定の領域全面に形成されている。この所定の書き込み領域内にある、二つの書き込み領域は、それぞれ、左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nが定義されている。
この例によれば、文章や図形を自由に書きこむ大きな書き込み領域内に、選択項目欄などの小さな書き込み領域を配置することが容易になる。
仮に、これを第1の例によって実現しようとすると、書き込み領域内にさらに書き込み領域を形成する際、穴の空いた書き込み領域を設ける必要があり、ドットパターンの形成が複雑な作業となる。
さらに、1つの座標系で、書き込み領域内に書き込み領域を形成できれば、入力モードを変更することにより、書き込み領域内の書き込み領域を無視して、書き込み作業を行うことができるように設定することが可能となる。例えば、書き込み領域内の書き込み領域に書き込みを行う場合は、入力モードを切り替えるか、特定の記号を描いた場合に限り、有効となるような設定を設けてもよい。
なお、コード値は第1の例と同様に、書き込み領域内において、領域を分割して異なるコード値を定義することもできる。
この例においては、XY座標値を読み取ることで、書き込み領域がどこにレイアウトされているかが容易にわかる。
<第4の例>
第4の例は、図38に示すように、所定領域全面に1つのドットパターン座標系を定め、書き込み領域にはこの座標系でのXY座標値と書き込み領域を特定するコード値を定義したドットパターンが形成される場合である。
この図では、所定の領域内に左下隅を原点とする1つの座標系を定め、この領域内にある、二つの書き込み領域に、それぞれ左下隅が〔Xm0,Ym0〕、〔Xn0,Yn0〕であるXY座標値と、書き込み領域を特定するコード値m、nとが定義されたドットパターンが形成されている。
この例では、第2の例とは異なり、書き込み領域以外の範囲にはドットパターンは形成されていない。
この例では、グラフィック、テキストなどの印刷物の版下と、ドットパターンの版下がある場合、印刷物の版下の座標系に合わせて自動的に書き込み領域の範囲を、マスクを配置することによってレイアウトするマスク処理をしてドットパターンの版下を作成することが可能となり、容易にドットパターンを発行することが出来る。
また、ドットパターンを読み取ったとき、XY座標値を読み取ることで、書き込み領域が所定の領域内のどこにレイアウトされているかが分かるため、例えば紙面上のどこに配置すれば広告効果が高いかなどのリサーチに用いることが可能となる。
なお、以上の説明では全て、ドットパターン座標系を用いて説明をしたが、ドットパターン座標系から変換された書き込み領域座標系であっても同様であることは当然である。
図39は、媒体上に複数の書き込み領域を定義した具体例である書類を示す図である。
同図(a)はかかる書類において、各書き込み領域にXY座標値の原点および書き込み領域の特定を命令する特定コードが定義されたものを示す図である。
同図(a)においては「氏名」の書き込み領域内に「フリガナ」の書き込み領域が、「住所」の書き込み領域内に「郵便番号」の書き込み領域が、「周辺の地図」の書き込み領域内に「徒歩(の時間)」、「電車(の利用時間)」、「バス(の利用時間)」の書き込み領域が定義されている。
また、「性別」の書き込み領域は「男」と「女」の書き込み領域に、「生年月日」の書き込み領域は「年」、「月」、「日」の書き込み領域にそれぞれ分割されている。
このような書き込み領域のレイアウトは、それぞれに異なった特定コードを割り当てることにより可能となる。
同図(b)はかかる書類において、各書き込み領域にはXY座標値の原点が定義されず、書き込み領域の特定を命令する特定コードのみが定義されたものを示す図である。
このような構成にすることにより、書き込み情報の媒体面全体での位置を特定することができる。
詳細は後述するが、各書き込み領域には、書き込まれる文字または図形を分類することで
図40は、図39の書類に実際に手書き入力を行った状態を示す図である。
同図(a)は実際に手書き入力を行った図39(a)の書類を示す図である。
同図(b)は、同図(a)の手書き入力を受けて、情報処理部11が行った処理の結果をディスプレイ6上に表示し、または印刷により出力した状態を示す図である。
詳細は後述するが、本発明にかかる手書き入出力システム1は、手書き入力した文字および図形をいくつかの方法により認識することにより、同図(b)のような出力を行う。
<ドットパターンを新たに印刷する>
本発明の手書き入出力システム1においては、手書き入力を行い、情報処理部11において手書き入力を反映させたものを印刷して、再度手書き入力を行うこともできる。
図41(a)は、軌跡認識部9が認識した軌跡情報と、ドットパターンを重畳して印刷した媒体2を示す図である。図示はしないが、図41(a)に示す媒体2には、最初に手書き入力を行った媒体2に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。
図41(b)には、情報処理部11が行った処理の結果を、ドットパターンを重畳して印刷した媒体2を示す図である。図示はしないが、図41(b)に示す媒体2には、最初に手書き入力を行った媒体2に印刷されたドットパターンとは異なるドットパターンを新たに印刷してもよい。この場合、XY座標は同一で、ページコードのみを変更して印刷してもよい。
<点字・バンク>
また、媒体2にはバンクガイド38(幅狭の凸部)または点字39をさらに設けてもよい。
図42は、書き込み領域の外周にバンクガイド38を設け、書き込み領域にはドットパターンとともに点字39の突起を設けたものである。このようにバンクガイド38を設けることにより視覚障害を持つユーザが手書き入出力を使用するときも書き込み領域の位置がわかり、点字39とドットパターンを同じ領域に設けておくことにより、視覚障害を持つユーザが手書き入出力を使用するときにも健常者と同様の入力効率を保つことができる。
<ドットパターン解析部>
ドットパターン解析部8は、前述のGRID1におけるドットパターンを用いた情報の入出力方法に従い、画像データをコード解析することにより、ドットパターンが定義するXY座標情報およびコード情報を求める。
本発明にかかる手書き入出力システム1においては、ユーザが撮像部7により媒体上に書き込んだ(トレースした)軌跡をドットパターン解析部8が順次コード解析するため、XY座標情報およびコード情報はこの軌跡を表すものである(軌跡情報)。
<軌跡認識部>
軌跡認識部9は、軌跡情報の変化に基づき、媒体上に書き込まれた文字、図形を認識する。
軌跡認識の方法は、一般的なOCR(光学的文字読取装置)のように、文字、図形をグラフィックとして考え、データベース内の文字、図形のXY座標のパターンを参照することにより行う方法である。
ここで、本発明においては特に、コード情報によって書き込み領域に書き込む内容を予め指示しておくことができる。すなわち、予め分類された文字および/または図形情報パターンテーブルを参照することで、軌跡情報を高精度で認識することが可能である。具体例としては、予めアラビア数字のみを記載することを指示しておけば、軌跡認識部9はアラビア数字のテーブルのみを参照するため認識率は高まる。認識ができない場合は、通常通りデータベース内の全ての文字、図形を参照すればよい。
さらに、上記の軌跡認識を行った上で、書き込み領域に書き込まれた文字および/または図形、もしくは1または複数の文字からなる語句の、意味情報を、コード情報に対応する予め定義された意味情報コードテーブル(辞書)を参照することで、意味情報コードに変換することもできる。すなわち、軌跡認識部9はたとえば「東京都文京区」という書き込みがされた場合、「東」「京」「都」文」「京」「区」と、まず一文字ずつパターン認識を行うが、さらに、意味情報コードテーブル(辞書)を参照して、「東京都」に予め対応するものとして定義された意味情報コードと、「文京区」に予め対応するものとして定義された意味情報コードに変換することにより、情報処理部は「東京都」「文京区」という地名が入力されたものと認識することができる。
また、意味情報コードテーブル(辞書)を参照することは、文字のパターン認識を補助することにもなる。たとえば「東京」の「東」の文字をユーザが汚く書いたために、ユーザが「東」と書いたのか「車」と書いたのか軌跡認識部9が認識することが困難である場合、意味情報コードテーブルにおいて「東京」という熟語が定義されており、「車京」という熟語が定義されていなければ(「車京」という熟語は通常存在しない)、ユーザは「東」という文字を書いたものとして軌跡認識部9は認識をすることができる。
<計時部>
本発明にかかる手書き入出力システム1は計時部15をさらに備えてもよい。計時部15は時間情報を検出する機能を持つ。
ここで、時間情報は、
(1)撮像部7が書き込み領域面に触れて描かれた筆歴の順番とする。
(2)撮像部7が書き込み領域面に触れて、離れるまでの時間の集合とし、書き始めてから、撮像部7が離れている時間を無視する。つまり、撮像部7が離れている時間を省き、(1)の始まりと、終わりの時間から、手書き入力時間とその順番を記述する。これにより、文字を書く時間が分かり、文字認識の精度向上と、対象者の文字入力速度がわかる。
(3)撮像部7が書き込み領域面に触れる、離れるの、全ての時間を記録することにより、アンケートや、商品の選択などに、どれくらい時間を要したかがわかり、通常時との比較を行うことにより、難易性や思考状態、書き手の性格、年齢、性別などを把握できる。
(4)また、ペンの移動速度を把握することにより、文字のハネや書きづらさを解析でき、さらに書き手の心理状態や健康状態を推測することもできる。
<角度測定部・角度変化認識部>
本発明にかかる手書き入出力システム1は角度測定部16・角度変化認識部17をさらに備えてもよい。角度測定部16・角度変化認識部17は撮像部7の媒体面に対する傾きを測定・認識する。
角度測定・角度変化認識の方法は、既に述べたペンの傾きαの算出方法をそのまま用いることができる。この場合、撮像部7がペンを備えなくとも傾きを測定・認識することは可能である。また、図43〜47に示すように、特願2005−267565号(PCT/SG2006/000267)にかかる情報出力装置の発明において開示されている傾きの算出方法を用いることができる。ただし、これら以外の方法を用いてもよい。
なお、傾きの測定・認識の基準となる撮像部7の媒体面に対する角度変化の認識は、撮像部7を媒体面に対して鉛直状に立てたときの角度のみならず、撮像部7が媒体面に触れた際の角度を基準とすることができるものとする。
<回転角読み取り部・回転角変化認識部>
本発明にかかる手書き入出力システム1は回転角読み取り部18・回転角変化認識部19をさらに備えてもよい。回転角読み取り部18・回転角変化認識部19は撮像部7の撮像光軸を概ね鉛直状に立て、回転させたときの回転角を読み取り・認識する。
なお、ドットパターンの向きと撮像部7の向きの為す角度を求める方法はオフセット補正の項で既に説明しているが、この方法はペンの有無にかかわらず、回転角の読み取り・認識方法に利用できる。すなわち、ドットパターンの向きは常に一定であるため、撮像部7を媒体面に対して鉛直上に立てて最初に撮像したときのドットパターンの向きと撮像部7の向きの為す角度θ1と所定の時間経過後のドットパターンの向きと撮像部7の向きの為す角度θ2(左回転を正の方向とする)との差を回転角として読み取り・認識することができる。
<タッチ動作と跳ねる動作の判別方法>
本発明にかかる手書き入出力システム1において、撮像部7を書き込み領域にタッチする動作(タッチ動作)と、書き込み領域に触れた状態から跳ねる動作(跳ねる動作)の判別方法を図48に説明する。
同図(a)に示すように、撮像部7を書き込み領域にタッチする場合、撮像部7が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる。そして、撮像部7を書き込み領域から離すとLED34からの照射光が媒体面に反射しなくなるためC−MOSセンサ35はLED34からの照射光(媒体面からの反射光)を検知せず、同図(c)に示すように、ドットパターンを撮像することができない。
同図(b)に示すように、撮像部7を書き込み領域に触れた状態から跳ねる場合、撮像部7が書き込み領域にタッチした瞬間は、書き込み領域のドットパターンを撮像することができる、つまりここまでは書き込み領域にタッチする動作と同様である。そして、撮像部7を書き込み領域に触れた状態から跳ねると、撮像部7の先端は依然として所定時間書き込み領域へ向いていることにより、LED34からの照射光は媒体面に反射するため、C−MOSセンサ35は媒体面上のドットパターンを一応撮像するが、撮像部7の移動速度が速いことから、同図(d)に示すように、ドットパターンがぼやけて解析することはできない。
すなわち、撮像部7が書き込み領域をタッチしてドットパターンを撮像し、解析した瞬間を基準時として、所定時間経過後(例:0.2秒後)に撮像した画像データを解析して、ドットパターンを撮像しない(反射光を検知しない)ときは、撮像部7はタッチ動作をしたものとして、処理命令部10は情報処理部11に対して、タッチ動作と対応するものとして予め定義づけられた処理命令を送信する。ドットパターンを撮像するが(反射光を検知するが)、ドットパターンがぼやけて解析することができないときは、撮像部7は跳ねる動作をしたものとして、処理命令部10は情報処理部11に対して、跳ねる動作と対応するものとして予め定義づけられた処理命令を送信する。なお、同図(e)に示すように、ドットパターンを解析することができるときは、通常の手書き入力動作に他ならない。
<処理命令部>
処理命令部10は、軌跡認識部9が認識した情報に基づく処理命令を、軌跡情報とともに情報処理部11に対して送信する。
既に説明した、媒体面に印刷したドットパターンが定義する、ページコードに基づく頁を特定する命令、特定コードに基づくある書き込み領域を特定する命令、アクションコードに基づく種々の命令は、処理命令部10が実際に情報処理部11に対して行う。
また、処理命令部10は、詳細は後述するが、手書き入出力用アプリケーションにおける各種のオペレーションの実行を情報処理部11に対して命令する。
さらに、角度測定部16・角度変化認識部17による測定・認識結果、および回転角読み取り部18・回転角変化認識部19による読み取り・認識結果に基づく予め定められた処理命令を情報処理部11に対して命令する。
<情報処理部>
情報処理部11は、本発明にかかる手書き入出力システム1が行う処理命令を受けて、各種の処理を実行する。
<サーバ>
本発明にかかる手書き入出力システム1は、必要に応じて各種の情報を記録したサーバ5にアクセスしてもよい。
<軌跡認識用サーバ>
サーバ5には、たとえば軌跡認識用の情報を記憶することができる。一般的なOCR(光学的文字読取装置)で採用されているように複数の文字および図形にXY座標パターンが定義づけられて記憶されている。
また、文字および図形には、これらを分類するための分類コードが定義づけられて記憶されている。
さらに、文字および図形には、意味情報コードテーブル(辞書)を参照することにより、1または複数の文字からなる語句または図形、もしくはこれらの組み合わせを出力するための意味情報コードが定義づけられて記憶されている。
本発明にかかる手書き入出力システム1においては、XY座標情報のみならずコード情報を用いて書き込み領域を特定することができるため、書き込み領域の量(数)が膨大であっても、容易に管理することができる。特に、誰もが利用できる共有のグローバルサーバに書き込み情報を記憶する場合に極めて有効である。
<その他のサーバ>
サーバ5には軌跡認識用の情報以外にも、音声、文書、画像、動画、アプリケーション、その他の様々な情報を記憶することができることは説明するまでもない。たとえば手書き入出力用アプリケーションを記憶することができる。すなわち、情報処理部11が手書き入出力用アプリケーションを持たないとき、サーバ内を検索して、サーバ上の手書き入出力用アプリケーションを実行することができる。ただし、サーバ上の手書き入出力用アプリケーションを優先して実行してもよい。
なお、サーバ5に代えて、他の情報処理部11の手書き入出力用アプリケーションを実行してもよい。
当然ながら、サーバ5は上記の実施例以外にも形態を種々変更して実施することができるものとする。
<手書き入出力用アプリケーション>
以下に、本発明にかかる手書き入出力システム1において実行される、手書き入出力用アプリケーションについて説明する。
かかるアプリケーションは各種のオペレーションを実行することにより媒体面への書き込みをコンピュータ上でも反映させるシステムである。
媒体面への書き込みは処理命令部10が情報処理部11に対してリアルタイムに命令することにより、処理結果が表示されるディスプレイ6を見ながら行ってもよいし、ディスプレイ6を見ずに書き込みを行い、書き込み後に処理命令部10が情報処理部11に対して命令してもよいものとする。
<書き込み操作>
以下、本発明にかかる手書き入出力システム1における、書き込み操作について説明する。
書き込み操作は、入力しようとする文字または図形を、撮像部7を用いて媒体面の書き込み領域に書き込むことにより行う。
撮像部7は、撮像部7が媒体面を移動している間、所定の時間間隔において書き込み領域に重畳的に印刷されたドットパターンを撮像する。後の手順は既に説明したとおりである。
以下、手書き入出力システム1が実行する各オペレーションについて説明する。
<文字および図形の認識方法>
図49は本文の文字を手書き入力する第一のオペレーションを説明するイメージ図である。
同図(a)のように、撮像部7を用いて書き込み領域に文字を書くと、
同図(b)のように、撮像部7は軌跡上のドットパターンを順次撮像して、ドットパターン解析部8はXY座標情報とコード情報からなる軌跡情報を取得する。
なお、説明の便宜のため同図(b)においては軌跡上のドットパターンの撮像位置の間隔は広くとってあるが、実際にはもっと狭い。
同図(c)のように、軌跡情報に基づいて認識を行った結果に基づいて、情報処理部11は第一のオペレーションを実行し、ディスプレイ6に結果を出力する。
同図(d)のように、図形を認識する場合も、文字を認識する場合と何ら認識方法に変化はなく、同図(e)のように認識結果がディスプレイ6上には表示される。
ただし、文字および図形の認識を行わず、ドットパターン解析部8が求めたXY座標情報をそのまま入出力してもよい。この場合、本発明にかかる手書き入出力システム1はペンタブレットとして機能する。
<第二のオペレーション>
図50に示すように、第二のオペレーションはコメントの文字を手書き入力するオペレーションである。なお、同図では説明の便宜を図るためにコメント部分を破線により囲んでいるが、実際に破線を書き込む必要はない。
文字または図形の認識方法は第一のオペレーションの方法と同一である。
第二のオペレーションにおいて入力されたコメントの文字は、情報処理部11においても本文とは別のコメントとして認識される。
コメントは図51のように、行間に記入したものが情報処理部11においてそのまま反映されてもよいが、図52のように、本文中のコメントを挿入したい部分を下線により指定することによって、情報処理部11において本文の脇にコメントが列挙されるようにしてもよい。
<第三のオペレーション>
第三のオペレーションは手書き入力した文字を編集するオペレーションである。
各編集は、情報処理部11において編集記号としてあらかじめ定義される文字または図形を、撮像部7を用いて書き込むことにより行う。
文字または図形の認識方法は第一のオペレーションの方法と同一である。
図53は本発明の第三のオペレーションである編集操作において用いる編集記号を説明する図である。
1つの閉じた領域を形成する線は領域内の文字または図形を選択する編集記号を意味する。
領域を閉じない括弧状の二組の線は二組の線の間の文字または図形を選択する編集記号を意味する。
レ点はカット&ペースト時にカットの対象を指定する編集記号を意味する。
二重線は削除(消去)の編集記号を意味する。
「トル」は削除(消去)の編集記号を意味する。
「イキ」は編集記号「トル」の取り消しの編集記号を意味する。
三往復以上のジグザグ線は編集の取り消しの編集記号を意味する。
双方向の矢印は選択した文字または図形同士を入れ替える編集記号を意味する。
一方向のみの矢印はペースト先を直接指定する編集記号を意味する。
文字(A)、(B)、(C)...は選択した文字または図形をフラグ付けした状態でコピー(カット)し、離れた位置にあるペースト先を指定する編集記号を意味する。
ただし、上記以外の編集記号を定義してもよいことはいうまでもない。
図54は第三のオペレーションを実行する前の媒体2を示す図である。媒体2には第一のオペレーションを実行して手書き入力された文書または手書き入力した結果、印刷された文書が記入されている。
図55は第三のオペレーションにおける媒体2上での編集状態を説明する図である。
同図(a)のように、領域を閉じる線を書き込むときには、手書き入出力用アプリケーションにおいては線により閉じた領域内を一個の編集対象として認識する。
同図(b)のように、領域を閉じない括弧状の線を書き込むときには、後の領域において同図(c)のように、対応する括弧閉じ状の線を描くことにより間の領域を一個の編集対象として手書き入出力用アプリケーションにおいては認識する。特に、編集対象が数行にまたがる場合に用いる。
同図(d)のように、編集対象を選択した状態において編集対象を示す線上に「トル」を描くときには、手書き入出力用アプリケーションにおいては編集対象の文字を削除する。
同図(e)のように、編集対象を選択した状態において編集対象から所定の位置までを指定する矢印を描くときには、手書き入出力用アプリケーションにおいては編集対象を指定した領域にカット&ペーストまたはコピー&ペーストする。ここで、ペースト先は文字と文字の間(もしくは行頭または行末)に挿入するだけでなく、同図(f)のように、ペースト先を編集対象とすることで元の文字を削除して上書きすることも可能である。
この場合、同図(g)のように、コピー元の編集対象を示す線上に削除の編集記号であるレ点を描き加えたときにはカット&ペーストとして手書き入出力用アプリケーションにおいては処理され、カットしたもとの対象は削除される。同図(h)のように、レ点を描き加えないときにはコピー&ペーストとして手書き入出力用アプリケーションにおいては処理される。
同図(i)のように、編集対象に(A)、(B)といったフラグとなる編集記号を描き加えると、編集対象は(A)、(B)というフラグを付けた状態でコピーされ、以後は任意に何度でもペーストが可能でなる。さらに、同図(j)のように、ページが異なるなど、離れた位置にもペーストすることが可能である。
同図(k)のように、文字の上に二重線を引くと、手書き入出力用アプリケーションにおいては二重線を引いた文字を削除する。
同図(l)のように、2つの編集対象を双方向の矢印の編集記号で結ぶと、手書き入出力用アプリケーションにおいては編集対象同士を入れ替える。
図56は第三のオペレーションにおける各編集を媒体2上で行った結果を手書き入出力用アプリケーションにおいてにおいて反映させた文章を示す図である。
図57は、図60に示す第三のオペレーションの編集を行った後に、編集を取り消して編集前の状態に戻す操作を説明する図である。
同図(a)のように、一度編集記号であるレ点を付して削除した領域に打ち消しの編集記号であるジグザグ線を加えると、手書き入出力用アプリケーションにおいては一度削除した領域について、削除を取り消して領域が元に戻る。
同図(b)のように、一度編集記号である(A)マークを付してコピー&ペーストを行ったところの、ペースト先を指定する編集記号である矢印部分にジグザグ線を加えると、手書き入出力用アプリケーションにおいてはコピー&ペーストをして文字を挿入する前の状態に戻される。
図58は、第三のオペレーションにおける編集の取り消しを媒体2上で行った結果を手書き入出力用アプリケーションにおいて反映させた文章を示す図である。
<各オペレーションの階層関係>
以下に、各オペレーションの階層関係について説明する。
各オペレーションは、第三のオペレーションを第一および第二のオペレーションと並列するオペレーションとしてもよい。
この場合、第三のオペレーション時においては本文の文字およびコメントの文字を同時に編集する。
一方、第三のオペレーションは第一のオペレーションおよび第二のオペレーションにそれぞれ従属するサブオペレーションとしてもよい。
この場合、第一のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においては本文の文字のみを編集し、第二のオペレーションに従属するサブオペレーションとしての第三のオペレーション時においてはコメントの文字のみを編集する。
当然ながら、本発明にかかる手書き入出力システム1は上記第一から第三のオペレーション以外にも、必要に応じて種々のオペレーションを実行できるものとして変更実施することができる。
<コンピュータへの保存>
図59に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、右回転させることにより、処理命令部10は入力した文字および文書構成の結果(ファイル内容の変更結果)を保存することを情報処理部11に命令する。撮像部7本体が、編集履歴を記録できる機能を有している場合は、上記文書構成の結果を情報処理部11に送信する。
図60に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、左回転させることにより、処理命令部10は入力した文字および文書構成の結果を破棄する(ファイル内容の変更をキャンセルする)ことを情報処理部11に命令する。
撮像部7の回転の認識には、先述の回転角読み取り・回転角変化認識の方法を利用する。
<アプリケーションの起動・終了>
図61に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、右回転させ、そのまま所定の時間内(例:1秒以内)に所定回転角度(例:10度以上)左回転させることにより、処理命令部10は情報処理部11に対して手書き入出力用アプリケーションを起動することを命令する。
図62に示すように、撮像部7を媒体面上にタッチしたまま所定回転角度(例:10度以上)、左回転させ、そのまま所定の時間内(例:1秒以内)に所定回転角度(例:10度以上)右回転させることにより、処理命令部10は情報処理部11に対して手書き入出力用アプリケーションを終了することを命令する。
<オペレーションの切り替え動作−方法1>
以下に、図63を用いて、オペレーションの切り替えをする第一の方法を説明する。
この方法では、先述の角度測定・角度変化認識の方法を利用する。
同図(a)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の左側に倒すことにより、処理命令部10は本文を手書き入力する第一のオペレーションを開始することを情報処理部11に命令する。
同図(b)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の右側に倒すことにより、処理命令部10はコメントを手書き入力する第二のオペレーションを開始することを情報処理部11に命令する。
同図(c)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の上側に倒すことにより、処理命令部10は本文およびコメントを編集する第三のオペレーションを開始することを情報処理部11に命令する。
同図(d)に示すように、撮像部7を媒体面に立てて、媒体面と撮像部7のなす角度を基準として、所定の角度(例:15度以上)だけ、媒体面の下側に倒すことにより、処理命令部10は現在実行しているオペレーションを終了して、予め設定する通常時(起動時)のオペレーションを開始することを情報処理部11に命令する。
なお、図64はオペレーションの切り替えをする第一の方法の説明を補足する、真上から見た平面図である。
<オペレーションの切り替え動作−方法2>
以下に、オペレーションの切り替えをする第二の方法を説明する。
オペレーションの切り替えは撮像部7本体に設けたボタンなどの入力手段によって行うものとしてもよい。
また、撮像部7以外にもマウス、キーボード等の外部入力手段によりオペレーションの切り替えを行うものとしてもよい。
<オペレーションの切り替え動作−方法3>
以下に、オペレーションの切り替えをする第三の方法を説明する。
内部に複数のペン先を格納して切り替えることができる実施態様の撮像部7においては、ペン先の切り替え動作と連動してオペレーションを切り替えるものとしてもよい。
この場合、オペレーション毎に色分けが可能となるため媒体上においても各オペレーションの見分けがつきやすくなる。
また、ペン先に代えて消しゴムまたは修正液を装着する場合は、情報処理部11においても書き込みではなく、文字または図形を消去するようにしてもよい。
<決定・取り消し>
情報処理部11が所定の処理を実行するか否かを決定するときにおいて、図65(a)に示すように、撮像部7を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内(例:1秒以内)にもう一度媒体面をタッチしたとき、処理命令部10は情報処理部11に対して処理の実行を決定することを命令する。
同図(b)に示すように、撮像部7を媒体面に鉛直状に立てて、一度媒体面をタッチした後、所定の時間内(例:1秒以内)にタッチがされないとき、処理命令部10は情報処理部11に対して処理の実行を中止することを命令する。
<他の使用方法>
以上の構成は媒体2に書き込み履歴を残すことを前提とするものであるが、本発明にかかる手書き入出力システム1は媒体2に書き込み履歴を残すことなく、ディスプレイ6を見ながら手書き入力を行ってもよいことは先にも述べたとおりである。
<音声認識>
本発明は手書き入出力システムであるが、手書き入力を補助する方法として音声認識および音声ガイドをすることができるものとしてもよい。
<音声収録部>
音声収録部20は、図66に示すように、中央処理装置(MPU)40を中心に構成されている。すなわち、中央処理装置(MPU)40の制御によって、マイク41から入力された音声情報は、アンプ42を介してA/Dコンバータ43、圧縮回路44によって処理され、デジタル音声情報として、記録される。
<音声認識部>
音声認識部21は、録音した音声情報を対応するテキスト情報に変換し、処理命令部10は情報処理部11に対して、テキスト情報に基づく処理命令をテキスト情報と共に送信する。
ここで、音声認識に前後して、分類コードを定義したドットパターンを撮像しておくことにより、音声認識の精度を高めることが可能である。すなわち、データベースを検索してテキスト情報を出力する際に全てのテキスト情報を参照することなく、分類コードに対応した音声認識情報テーブル内のテキスト情報を参照することにより、音声認識の精度が高まる。
たとえば、「上野」と発声した場合、それが地名の上野なのか人名の上野なのかを把握することは難しいが、「住所」を意味する分類コードが撮像された後に「上野」という発声が音声情報として入力された場合、住所入力のカテゴリコードとともに「上野」の音声情報が情報処理部11に送信される。
<音声収録モードへの切り替え>
本発明に係る手書き入出力システム1が、手書き入力に代えて音声収録を行う場合、所定の操作を行なうことにより音声収録モードへの切り替えを行う必要がある。以下に、音声収録モードへの切り替え方法を説明する。
<特定の記号をなぞる>
音声収録モードへ切り替える第一の方法としては、撮像部7が音声収録モードへの切り替えを意味する特定の記号を書き込む(なぞる、描く)ことにより、音声収録モードへ切り替える方法がある。軌跡認識部9が音声収録モードへの切り替えを意味する特定の記号の軌跡を認識して、音声収録部20に送信することにより(または処理命令部10を介して送信することにより)、音声収録部20は音声収録を開始する。
<ペンを跳ねる>
音声収録モードへ切り替える第二の方法としては、図67に示すように、撮像部7を媒体面の書き込み領域に触れた状態で跳ねる動作をすることにより、音声収録モードへ切り替える方法がある。
<音声認識による切り替え>
音声収録モードへ切り替える第三の方法としては、音声収録部20に所定の音声を収録し、音声認識部21が所定の音声を認識することにより、音声収録モードへ切り替える方法がある。
処理命令部10は、上記各種の方法による操作が行われた場合、情報処理部11に対して、手書き入出力用アプリケーションにおいて手書き入力に代えて、音声入力を行うことを命令する。
<音声出力部>
音声出力部22は処理命令部10からの指示に応じて所定の音声ファイルを再生する。音声ファイルは予めデジタル化されて記憶されているものがA/Dコンバータ42、アンプ42を介してスピーカ45またはイヤホン46より出力される。
<音声ガイド>
本発明にかかる手書き入出力システム1においては、コード情報を利用することにより、手書き入力を行うユーザに対して音声ガイドを行ってもよい。
すなわち、書き込み領域に印刷されたドットパターンに、情報処理部11に対して音声の再生を命令する音声ガイドコードが定義づけられていることにより、手書き入力を開始する(撮像部7がドットパターンを撮像する)と、音声ガイドコードに予め対応付けられて記憶された音声ファイルが音声出力部22により再生される。
ただし、音声ガイドコードおよび対応する音声ファイルは、音声ガイド以外に用いても当然よいものとする。
<グリッドシート>
図68〜図72は、本発明にかかる手書き入出力システム1において、情報入力補助シートであるグリッドシートをディスプレイに装着して用いる実施例について示した説明図である。このグリッドシートは、透明なシート上にドットパターンが形成されたものであって、モニタ面上に重ねて貼り付けることでタッチパネルとしての機能を発揮するものである。
特願2007−230776号(PCT/JP2008/002188)に開示されているグリッドシートを媒体2として用いることにより、媒体をディスプレイ6のモニタ面上に貼り付けてタッチパネルとすることができる。ただし、グリッドシート以外の手段を採用してもよい。
また、グリッドシートを媒体2として用いる他に、グリッドシートを媒体2に重ねて用いてもよい。このような使用法は、第一に手書き入出力用ではない媒体に印刷(記載)された文書または画像を、本発明にかかる手書き入出力システム1を用いて編集したい場合、第二に撮像部7をモニタ面上に押し当てることにユーザが抵抗を感じる場合において、特に有効である。
図68〜図69は、グリッドシートをディスプレイ6に装着して用いる実施例について示した説明図である。
図68は、情報処理装置である汎用的なコンピュータシステムに、グリッドシートを用いた図である。本実施例では、パソコン等の液晶ディスプレイ(LCD)やCRT(ブラウン管)などのディスプレイ画面上に、グリッドシートを貼付する。グリッドシートは、透明フィルムで形成されており、ドットパターンが印刷されている。このドットパターンは、詳細は後述するが、XY座標値および/またはコード値を所定のアルゴリズムでパターン化したものである。コンピュータ本体には、ドットパターン読取手段であるスキャナが接続されている。ユーザは、透視した画面の指示に従って、スキャナでグリッドシートをタッチする。スキャナは、ドットパターンを読み込み、USBケーブルを介してパーソナルコンピュータに送信し、パーソナルコンピュータの中央処理装置(CPU)は、ドットパターンを解析しグリッドシート上のXY座標値を求め、更にディスプレイ上のxy座標値に変換し、座標値の情報からタッチパネル形式の入力が可能となる。
これによれば、本シートによってタッチパネル形式の入力が可能となり、安価で利便性に優れたタッチパネルを提供することが可能となる。また、インターネットのサイトを閲覧しているときに、リンク情報が設定されていない情報であっても、関連情報を検索して参照することも可能となる。
なお、図68では情報処理装置としてパーソナルコンピュータを用いたが、本発明はこれに限らず、情報処理装置は、パーソナルコンピュータ、PDA、テレビ受信装置、フロントおよびリアプロジェクタ、ゲーム装置、カラオケ装置、携帯電話端末装置、POS端末装置、ATM、KIOSK端末、カーナビ、パチンコ、時計、スマートフォン等であってもよい。これらにおいては、タッチパネル形式の入力デバイスとしてディスプレイまたはスクリーンの表示画面上にグリッドシートが配置される。
図69は、図68で説明したグリッドシートの内部構造について示した断面図である。
同図(a)は、スキャナで、グリッドシートをタッチしている状態を示した縦断面図である。
同図に示すように、グリッドシートは、表示装置側から、赤外線反射層、ドットパターン層、保護用透明シート(保護層)が積層された構造となっている。
赤外線反射層は、ビニール、エンビペット、ポリプロピレン等、可視光線を透過する材料で生成された蒸着用透明シートに、赤外線反射材料が蒸着された構成となっている。赤外線反射層は、スキャナの赤外線照射手段から照射し保護用透明シートを透過した赤外線を、スキャナに対して反射させるとともに、可視光を透過させる。それとともに、表示装置からの赤外線を遮断する。これにより、スキャナの赤外線照射手段から照射された赤外線光のみを照射光とすることができ、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
ドットパターン層には、カーボンインク等の赤外線吸収特性材料からなるドットを後述するような所定の規則に則って配列したドットパターンが印刷されている。
保護用透明シートは、ビニール、エンビペット、ポリプロピレン等、可視光線および赤外線を透過する材料で生成されている。ドットパターンを繰り返しスキャナでタッチすると、ドットが磨耗し、正確にドットパターンを読み取れなくなるという問題が生じる。そこで、保護用透明シートを設けることにより、ドットの磨耗と汚れを防ぎ、シートを長期間使用することが可能となる。
スキャナには、赤外線照射手段であるIR−LEDと、その反射光の所定波長成分をカットするIRフィルター、および撮像素子であるC−MOSセンサ、およびレンズが内蔵されている。スキャナは、グリッドシートに照射した照射光の反射光を撮影する。上述したように、ドットパターンは赤外線を吸収する特性を有するインクで印刷されているため、C−MOSセンサでの撮像画像では、ドットの部分のみ黒く撮影されることとなる。
この場合、赤外線反射層で鏡面反射された反射層は、同図に示すように、レンズに反射光が入射されず、同図(b)に示すように、中央が真っ黒な状態で撮影されてしまう。そのため、ドットパターンを漏れなく撮影することができない。したがって、赤外線を拡散反射させてレンズに入射させる必要がある。すなわち、図70(a)に示すように、ドットパターン印刷層と赤外線反射層との間に、赤外線拡散層を設ける。この赤外線拡散層は、透明または半透明の材質で形成されている。これによって、同図(b)に示すようにIR−LEDから照射された赤外線は、赤外線反射層で鏡面反射し、赤外線拡散層で拡散し、全ての撮影領域の反射光がレンズに入射する。
なお、同図においては、グリッドシートに赤外線拡散層を設けたが、本発明はこれに限らず、スキャナの撮影口に赤外線拡散材料によるフィルターを設けてもよい。
図71は、グリッドシートの種々の構造を示した断面図である。
同図(a)は、赤外線を反射するとともに、可視光を透過する特性を有する赤外線反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドットが形成されている部分(以下、ドット部という)で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、ドット部を除いてドットパターン層を透過する。
同図(b)は、赤外線反射層とドットパターン層との間には、可視光を透過するとともに前記赤外線を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散層で拡散した後、赤外線反射層で鏡面反射し、再び赤外線拡散層で拡散してドット部を除いてドットパターン層を透過する。
同図(c)は、ドットパターン層の一面側、すなわち、赤外線反射層の逆側には、可視光を透過するとともに赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まず赤外線拡散層で拡散した後、ドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線反射層で鏡面反射し、再びドット部を除いてドットパターン層を透過して赤外線拡散層で拡散する。
同図(d)は、一面側からの赤外線を拡散反射するとともに、可視光を透過する特性を有する赤外線拡散反射層と、ドットパターン層と、からなるグリッドシートである。図に示すように、赤外線照射手段から照射した赤外線は、まずドットパターン層のドット部で吸収され、それ以外の領域では透過する。次に透過した赤外線は赤外線拡散反射層で拡散反射し、ドット部を除いてドットパターン層を透過する。
同図(e)は、同図(a)で示したグリッドシートのドットパターン層側の外面に、赤外線光および可視光を透過する特性を有する保護層が設けられているグリッドシートである。このような保護層を設けることにより、ドットの磨耗や汚れを防ぎ、シートを長期間使用することが可能となる。
なお、保護層は、同図(a)のみでなく、(b)〜(d)で示したグリッドシートのドットパターン層側外面に設けられていてもよい。
同図(f)は、同図(a)で示したグリッドシートにおいて、ドットパターン層と反対側からの赤外線も反射する特性を有しているグリッドシートである。このような特性を有することにより、本発明のグリッドシートを装着したディスプレイ画面やスクリーンからの赤外線を遮断し、赤外線照射手段から照射された赤外線光のみを照射光とすることができる。そのため、明るく鮮明なドットパターンのみを撮影でき、ドットコードを正確に解析できる。
なお、同図(a)のみでなく、(b)〜(e)で示したグリッドシートにおいて、ドットパターン層と反対側(他面側)からの赤外線も反射する特性を有していてもよい。
同図(g)は、同図(a)で示したグリッドシートにおいて、赤外線反射層の反ドットパターン層側には、粘着層が設けられているグリッドシートである。粘着層は、取り外し可能な材質で生成されている。当該粘着層は、グリッドシートを表示装置や媒体に貼り付けて使用する場合にのみ必要であり、後述するように、印刷物上に載せたり、はさんだりして使用する場合には必要がない。このような粘着層を設けることにより、グリッドシートをディスプレイ等に容易に貼り付けることが可能となる。
なお、粘着層は、同図(a)のみでなく、(b)〜(e)で示したグリッドシートの、赤外線反射層の反ドットパターン層側に設けられていてもよい。
図72は、グリッドシートの他の実施例を示したものである。本実施例においては、シートの両面にドットパターン層を設けたことを特徴とする。
同図(a)は、それぞれの面への赤外線をそれぞれの方向に反射するとともに、可視光を透過する特性を有する赤外線反射層と、赤外線反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。これによって、シートを両面で利用することができるため、利便性が向上する。
同図(b)は、赤外線反射層とそれぞれの面のドットパターン層との間には、可視光を透過するとともにそれぞれの方向からの赤外線光を拡散させる赤外線拡散層が設けられているグリッドシートである。
同図(c)は、赤外線反射層とそれぞれの面のドットパターン層のさらに外面に赤外線拡散層が設けられているグリッドシートである。
同図(d)は、赤外線拡散反射層と、赤外線拡散反射層の両面に設けられたドットパターン層と、からなるグリッドシートである。
同図(e)は、同図(a)で示したグリッドシートの外面両面に、それぞれの方向からの赤外線光および可視光を透過する特性を有する保護層が設けられている情報入力補助シートである。
なお、保護層は、同図(a)のみでなく、(b)〜(d)で示したグリッドシートの外面両面に設けられていてもよい。
同図(f)は、同図(a)で示したグリッドシートにおいて、赤外線反射層のそれぞれの反ドットパターン層側、すなわち、グリッドシートの外面両面に、粘着層が設けられているグリッドシートである。
なお、粘着層は、同図(a)のみでなく、(b)〜(e)で示したグリッドシートの外面両面に設けられていてもよい。
同図(a)〜(f)のグリッドシートにおける各層の説明および反射についての説明は前述したものと同様であるので、ここでは説明を省略する。
なお、同図に示したグリッドシートにおいては、赤外線反射層または赤外線拡散反射層の一面側と他面側のドットパターン層では、異なる座標値および/またはコード値がパターン化されていてもよい。
また、図71〜72に示したグリッドシートにおいては、ドットパターン層またはその他の層に、赤外線透過材料または赤外線反射材料からなるインクでテキスト、イラスト、写真等が重畳印刷されていてもよい。
<グリッドシートに関する課題>
前述したように、グリッドシートにおいて赤外線拡散反射層を設けないでおくと、シート表面では鏡面反射するため、撮像素子の中心周辺に赤外線反射光が入射しない領域ができてしまい、図69(b)のような黒目が中央に位置するような目玉現象が生じる。そのため、拡散反射層を設ける必要がありコスト高になってしまう。
<課題解決手段>
そこで、拡散反射層を設けないグリッドシートの場合に、拡散反射素材(拡散反射インク)によってドットパターンの形成を行う方法を用いる。この方法よれば、拡散反射素材で形成されたドットは、図73(a)に示すように、赤外線をあらゆる方向に拡散反射するため、このドットに入光した赤外線は必ず撮像素子に入射される。したがって、図73(b)のように、撮影画像には、ドットパターンが黒い目玉領域内に白ドットとして検出されることになる。
<白ドットと黒ドットの判別方法について>
通常の媒体面上に印刷された従来の黒ドットを判別することができ、かつ、拡散反射層を設けないグリッドシート状に印刷された前述の白ドットも認識することができるアルゴリズムについて説明する。
(数式)(i、j)=255−BL(i、j)
ただ、この方法では、全てのピクセルにおいて白黒反転計算を行う必要があり、余計な計算時間を要する問題がある。
そこで、この方法によらず、黒ドット用の閾値を変更して目玉領域内の白ドットを解析するアルゴリズムで判別する方法を具体的に説明する。
まず、黒ドット判別の解析アルゴリズムを、図74(a)を用いて説明する。このアルゴリズムは、行単位で行うスキャンラインアルゴリズムであり、左端から始まり右方向に、所定間隔だけ離れたピクセル同士の明度の差分を求め、その差分が所定の正・負の閾値を上回るもしくは下回るかの判定をし、負の閾値を下回った場合に右側のピクセルをドットと判定し、そのピクセルからドットが始まったと判定する。また、正の閾値を上回った場合に同じく右側のピクセルがドットでないことを判定し、その手前のピクセルまででドットが終わったと判定する。ところが、絶対量の閾値でドットを判定すると、スキャナを斜めにして撮像した画像では明暗が生じ、暗部の明度の低下が顕著となり、暗部領域のドットを判定できなくなる。しかし、前述のように2点間の明度の差分を判定する閾値を用いることで暗部領域の画像でも正確にドットを判定できる。
ここで、隣接するピクセル同士の明度の差分ではなく、所定間隔だけ離れたピクセル同士の差分を用いる理由は、ドットの輪郭がぼけて撮像された画像などでは輪郭周辺の明度の変化が少ないため、差分を取るピクセル間が近すぎると差分が小さく閾値を上回らない値となり、ドットを判別できなくなるためである。
例えば、この所定の間隔を「4」とした場合、j行目のピクセル番号iとピクセル番号i+4同士の差分をΔBL(i、j)とすると、その求め方は下式となる。
(数式)ΔBL(i、j)=BL(i+4、j)−BL(i、j)
用いる閾値をφ(φ>0)とする。なお、明度を8ビット(ブライトレベル0~255)で表現している場合、明部領域ではφ=25~50程度、暗部領域では、φ=8~16が適切である。このように、ドット部分との、明暗の少ない暗部領域と明暗の大きな明部領域の閾値をダイナミックに変更することにより、さらにドットを正確に判定できる。
ここで、ΔBL(i、j)が閾値φに対し、ΔBL(i、j)<−φであれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)>φであれば、i+3の位置のピクセルでドットが終わったと判断する。
白ドットの位置の解析アルゴリズムでは、この閾値判定を逆にする。
すなわち、ΔBL(i、j)が同じ閾値φに対し、ΔBL(i、j)>φとなれば、i+4の位置のピクセルからドットが始まったと判断する。ΔBL(i、j)<−φとなれば、i+3の位置のピクセルでドットが終わったと判断する。
この方法を用いれば、全てのピクセルにおいて白黒反転させることなく、簡単に白ドットの位置の判定が可能となる。
<目玉を大きくするペンスキャナの形状>
グリッドシートを用いて白ドットをスキャナで読み取る場合には、黒目の大きさをより大きくして、ドットパターンの検出範囲を広げなければならない。
そこで、黒目がより大きくなるようなスキャナの形状を説明する。
図75に示すように、撮影開口部の口端内周囲から発した赤外線がグリッドシート上で鏡面反射して撮像素子に入光可能な光路を想定し、この光路よりも外側にライトガイドを設け赤外線を媒体面全体に均一に照射する。これにより、ライトガイドから発した赤外線がグリッドシート上で鏡面反射し、撮影された画像の多くの領域を黒目となるようにすることができる。この際、余分な赤外線がグリッドシート上で鏡面反射して撮像素子に入射しないように図に示す位置に遮光部を設ける必要がある。なお、構造上、スキャナを傾けた場合は黒目領域が少なくなるが、撮影領域が拡大し、撮像される白ドットの数が増えるので問題なくドットコードが解析できる。
<媒体に接しているか否かの判定方法>
スキャナで媒体面に接している間、常に媒体面上のコードを読み取っていると、例えば、ユーザが意図せずに読み取り位置を微妙にずらしてしまった場合などに、ユーザの意図とは異なるコードを読み取って、異なるコンテンツを再生してしまう。このような状態を排除したい場合は、1度目と異なるコードを読み取っても無視する設定にすればよい。ただし、手書き入力のようにスキャナで媒体面上をなぞる場合は、次々に読み取られるコード(座標値)を入力しなければならない。したがって、エラーは無視して、次に新たな座標値を読み取ったときは、常に正常入力として処理すればよい。さらに、スキャナの僅かな移動による読み取りエラーが生じた場合、1度エラーが起こると、次に読み取った同一コードを1度目に読み取ったコードとして入力されるように設定されている場合、同じコンテンツを何度でもスタートしてしまう(「ハロー、ハロー、ハロー・・・」のような再生が起こってしまう)現象が起こり、適正なオペレーションができない。
そこで、スキャナが媒体面に接しているかどうかの判定を行い、スキャナが媒体面から離されない限り、次に読み取られる同一コードを無視して(異なるコードも無視してもよい)、スキャナが媒体面に接して1度目に読み取ったコードに対応するコンテンツや命令の実行を継続させる必要がある。もちろん、スキャナを媒体面から一旦離して、再度媒体面に接した場合は、継続実行中のコンテンツや命令を終了し、新たに読み取られたコード(同一コードでも、異なるコードでも)に対応するコンテンツや命令の実行を開始するのはいうまでもない。なお、媒体面に接してもコードを読み取ることができない場合は、実行は継続される。
この方法を用いる場合、媒体面に配置された黒ドットのみを対象とするのであれば、単純に読取画像の中心部の明度を測定して、明るければペンが媒体面に接している、暗ければペンが媒体面に接していないと判定するだけで行える。なお、中心部の明度のみを測定する理由は、中心部はスキャナを傾けても明度の低下が少なく判定に影響がでないことと、測定領域を中心部のみとすることにより測定時間を最小限に抑えられるからである。
しかし、黒ドットも読み取れ、かつ、白ドットも読み取れるスキャナにおいては、白ドットを読み取るときは、読取画像の中心部が暗くなっているため、ペンが媒体面に接していないと判定されてしまう。
そこで、黒ドットも読み取れ、かつ、白ドットも読み取れるスキャナが、通常媒体面(印刷媒体面など)とグリッドシート面の何れか、もしくは何れにも接していないか、を判定する方法を、図76を用いて説明する。
まず、撮像素子により画像を取得する(S10)。
取得された画像中心部が明るいか否かを測定し(S20)、中心部が明るければスキャナが通常媒体面に接していると判定する(S25)。画像中心部の明るいか否かの測定は、画像中心部の明度が所定の閾値を上回るか否かで判定する。
中心部が明るいと判定されなかった場合、画像に白ドットを探索する(S30)。白ドットが検出された場合はグリッドシートに接していると判定する(S35)。
白ドットがあると判定されなかった場合は、スキャナが媒体面にタッチしていないと判定する(S40)。
S25,S35,S40の判定後、解析が終了する。
このS30における、暗部領域から白ドットを探索するには、図77に示すように、撮影画像の中心のピクセルから、渦巻き状に周辺のピクセルが白ドットであるかを所定領域内(必ず所定量のドットが存在する最小領域)で判定する。
上記において、S25で通常媒体面に接していると判定されたときは、黒ドットの解析(従来アルゴリズム)を開始する。S35でグリッドシートに接していると判定されたときは、白ドットの解析(新アルゴリズム)を開始する。