JP4212863B2 - 帳票記入内容テキスト化システム及び自動車整備帳票 - Google Patents
帳票記入内容テキスト化システム及び自動車整備帳票 Download PDFInfo
- Publication number
- JP4212863B2 JP4212863B2 JP2002294193A JP2002294193A JP4212863B2 JP 4212863 B2 JP4212863 B2 JP 4212863B2 JP 2002294193 A JP2002294193 A JP 2002294193A JP 2002294193 A JP2002294193 A JP 2002294193A JP 4212863 B2 JP4212863 B2 JP 4212863B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- text
- entry
- electronic pen
- printed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、電子ペンを利用して専用帳票に記入された内容を文字認識することなくテキストデータに変換する帳票記入内容テキスト化システムに関する。
【０００２】
【従来の技術】
例えば、自動車整備工場において、各整備員が自動車を整備するごとにその記録を取る際に利用される自動車整備帳票がある。従来、各整備員は、自動車整備をするたびに、整備作業日、作業担当者、お客様名、整備記録などの必要事項をボールペンなどを利用して手書きで当該帳票へ記入していた。当該帳票に記入された情報は、顧客管理などの二次的利用を可能にするためにテキストデータ化される場合が多いが、その場合には、オペレータがその内容をキーボードを利用して入力し、テキストデータ化する必要があった。例えば、整備員が整備帳票に記入した内容から、オペレータが、「６月２１日 作業者２５０番 お客様３３８番 右フロントタイヤ交換とオイル交換」などと、端末装置を使用して文字をキーボードを利用して入力しなければならず、非常に煩わしかった。
【０００３】
一方、手書きの文字をテキスト化する手法としては、文字認識システム（ＯＣＲシステム）も知られている。ＯＣＲシステムでは、利用者がペンで帳票上に記入した手書き文字をスキャナなどの光学機器で読み取って電子データ化し、さらに文字認識ソフトウェアによりテキストデータに変換する処理を行う。
【０００４】
【発明が解決しようとする課題】
しかし、従来のＯＣＲシステムは、手書きした文字を１００％の精度で認識することは不可能であり、利用者が帳票に記入した情報を正確にテキスト化することはできなかった。
【０００５】
このような状況において、テキスト化に伴う煩わしさを解消するため、近年登場した、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイス（以下、本明細書では「電子ペン」と呼ぶ。）、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が注目を集めいている。
【０００６】
アノトペンは、所定のドットパターンが印刷された専用ペーパーとペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、Bluetooth対応の通信ユニットを搭載している。利用者が専用ペーパー上にアノトペンで文字などを書くと、ペンの移動に伴って小型カメラが専用紙上のドットパターンを検出し、利用者が書き込んだ文字などの入力データが取得される。この入力データが、Bluetooth対応の通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。
【０００７】
しかしながら、このアノトペンを利用すれば、利用者が帳票に記載した内容を直接にイメージデータとして取得することは可能となり、帳票の内容をスキャナ等の光学機器で読み取る手間は省けるものの、テキスト化については文字認識システムを利用しなければならず、やはり１００％の精度でテキスト化することは不可能であった。
【０００８】
本発明は、以上の点に鑑みてなされたものであり、帳票に記入された内容を文字認識することなくテキストデータに変換することができるテキスト化システムを提供することを課題とする。
【０００９】
【課題を解決するための手段】
本発明の１つの観点では、帳票記入内容テキスト化システムは、記入欄を有する帳票に記入された内容を文字認識することなくテキストデータに変換する帳票記入内容テキスト化システムであって、所定のドットパターンが印刷された帳票から光学的に前記ドットパターンを読み取ることによって、利用者が当該帳票に記入した内容に対応する記入データを取得し当該データを端末装置に送信する電子ペンと、前記電子ペンから送信された記入データを受信しネットワークを介してサーバに送信する前記端末装置と、前記端末装置から送信された記入データを受信し、当該記入データから利用者が前記帳票のどの位置に記入をしたのかを表す位置データと利用者が当該位置にどのようなマークを記入したのかを表すストロークデータとを取得し、変換テーブルを参照して、前記帳票の記入欄ごとに前記位置データと前記ストロークデータのマークとに対応づけられているテキストデータを読み出し、前記記入データを当該テキストデータに変換するサーバと、を備える。
【００１０】
上記の帳票記入内容テキスト化システムによれば、利用者は帳票上に電子ペンにより必要事項を記入する。電子ペンは、記入事項に対応するストローク情報や位置情報などの記入データを生成し、サーバに供給する。サーバにおいては、まず、記入データ中から位置情報とストロークデータとを取得し、変換テーブルを参照して、当該位置情報及びストロークデータのマークごとに予め用意されているテキストデータと対応させることで、当該位置情報及びストロークデータをテキスト化していく。つまり、利用者が帳票に何を書いたかではなく、帳票の何処の位置にどのような筆跡を残したかによって、当該位置とストロークのマークとの組み合わせごとに予め用意されているテキストデータに変換していく。その結果、文字認識（何を書いたかの認識）をする必要はないので、１００％の精度でテキスト化することができる。また、テキスト化するために位置情報だけでなくストロークデータをも利用することにより、より複雑多様なテキスト変換が可能となる。
【００１１】
上記の帳票記入内容テキスト化システムの一態様では、前記帳票には、模式的な自動車の絵が印刷されており、前記サーバの前記変換テーブルには、前記帳票における前記自動車の絵の各パーツごとに、その位置データとストロークのマークに対応して、自動車整備内容を示すテキストデータが設定されており、前記サーバは、前記変換テーブルを参照し、前記記入データから取得された位置データとストロークデータのマークに基づき、前記記入データを読み出した自動車整備内容のテキストデータに変換する。
【００１２】
この態様では、自動車の絵における各パーツごとに様々なマークに対応づけてテキストデータを用意しておくことにより、利用者は帳票に印刷された模式的な自動車の絵に簡単なマークを記入するのみで、その整備内容をテキスト化することができる。
【００１３】
本発明の他の観点では、電子ペンにより読み取り可能なドットパターンと、パーツが規定された模式的な自動車の絵とが印刷されており、前記パーツ内に印刷されたドットパターンは、その位置データと当該位置に前記電子ペンにより記入されるストロークのマークとに対応して自動車整備内容のテキストデータが関連付けされている自動車整備帳票が提供される。
【００１４】
上記の自動車整備帳票によれば、自動車整備帳票に印刷されているパーツが規定された模式的な自動車の絵に対して利用者がマークを記入すると、各パーツごとの当該マークに対応する自動車整備内容のテキストデータを特定することができる。よって、電子ペンを利用して、自動車整備内容のテキストデータを正確に取得することが可能となる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【００１８】
［電子ペン］
まず始めに、電子ペンについて説明する。図１は電子ペンの使用形態を模式的に示す図であり、図２は電子ペンの構造を示す機能ブロック図である。図１に示すように、電子ペン１０は、ドットパターンがプリントされた帳票２０と組み合わせて使用される。電子ペン１０は、通常のインクペンと同様のペン先部１７を備えており、利用者は通常のインクペンと同様に帳票２０上に文字などを書くことになる。
【００１９】
図２に示すように、電子ペン１０は、その内部にプロセッサ１１、メモリ１２、Bluetoothトランシーバ１３、バッテリー１４、赤外線ＬＥＤ１５、カメラ１６及び圧力センサ１８を備える。また、電子ペン１０は通常のインクペンと同様の構成要素としてインクカートリッジ（図示せず）などを有する。
【００２０】
電子ペン１０は、ペン先部１７により帳票２０上に描かれたインクの軌跡をデータ化するのではなく、帳票２０上で電子ペン１０が移動した軌跡座標をデータ化する。赤外線ＬＥＤ１５が帳票２０上のペン先部１７近傍を照明しつつ、カメラ１６が帳票２０にプリントされているドットパターンを読み取り、データ化する。つまり、電子ペン１０は帳票２０上で利用者が電子ペン１０を移動させることにより生じるストロークを画像データ又はベクトルデータとして取得することができる。
【００２１】
圧力センサ１８は、利用者が電子ペン１０により帳票上に文字などを書く際にペン先部１７に与えられる圧力、即ち筆圧を検出し、プロセッサ１１へ供給する。プロセッサ１１は、圧力センサ１８から与えられる筆圧データに基づいて、赤外線ＬＥＤ１５及びカメラ１６のスイッチオン／オフの切換を行う。即ち、利用者が電子ペン１０で帳票２０上に文字などを書くと、ペン先部１７には筆圧がかかる。よって、所定値以上の筆圧が検出されたときに、利用者が記述を開始したと判定して、赤外線ＬＥＤ１５及びカメラ１６を作動する。
【００２２】
カメラ１６は専用ペーパー２０上のドットパターンを読み取り、そのパターンデータをプロセッサ１１に供給する。プロセッサ１１は、供給されたドットパターンから、帳票上でのＸ，Ｙ座標を算出する。
【００２３】
プロセッサ１１は、利用者の記述が行われる間に、筆圧の配列データ及びＸ，Ｙ座標データを取得し、タイムスタンプ（時間情報）と関連付けてメモリ１２に記憶していく。よって、メモリ１２内には利用者の記述内容に対応するデータが時系列で記憶されていく。メモリ１２の容量は例えば１Ｍバイト程度とすることができる。
【００２４】
利用者により送信指示がなされるまでは、取得された全てのデータはメモリ１２内に保持される。そして、利用者が送信指示を行うと、Bluetoothトランシーバ１３により、電子ペン１０と所定距離内にある端末装置２５へメモリ１２内のデータが送信される。基本的には、一度送信指示がなされると、電子ペン１０はメモリ１２内に記憶していた全てのデータを端末装置２５へ送信するため、メモリ１２内はクリアされる。よって、送信後にもう一度同じ情報を端末装置２５へ送信したい場合には、利用者は帳票２０上に再度記述を行う必要がある。なお、この場合、利用者は帳票２０上にインクペンで書かれた文字などをなぞればよいことになる。
【００２５】
電子ペン１０自体は、送信ボタンなどの機能ボタンを備えておらず、送信指示その他の指示は、利用者が帳票２０上の所定位置に設けられた専用ボックスを電子ペン１０でチェックすることにより実行される。専用ボックスの位置座標には、予め送信指示が対応付けられており、プロセッサ１１は専用ボックスの位置座標を受信すると、Bluetoothトランシーバ１３にメモリ１２内のデータを供給し、端末装置２５への送信を行わせる。なお、電子ペン１０はディスプレイやボタンなどを持たないが、データの送信完了を電子ペンの振動により示すことができる。
【００２６】
バッテリー１４は電子ペン１０内の各要素に電源供給するためのものであり、例えば電子ペンのキャップ（図示せず）により電子ペン１０自体の電源のオン／オフを行うことができる。
【００２７】
このように、電子ペン１０は利用者が帳票２０上に記述した文字などに対応する座標データ及び筆圧データを取得して近傍の端末装置２５へ送信する機能を有するが、電子ペン１０のペン先部１７は通常のインクペンとなっているため、帳票２０上に記述した内容はオリジナルの原本として残るという特徴がある。即ち、紙の原本に対して記述するのと同時に、その内容を座標データなどの形態でリアルタイムに電子化することができる。
【００２８】
なお、上記の例では、電子ペン１０から端末装置２５へのデータ送信をBluetoothの無線伝送により行う例を挙げているが、その代わりに例えばケーブルを使用した有線によるデータ伝送や、電子ペン１０と端末装置２５の一部に設けられた端子などの接触によるデータ伝送など、各種の方法で電子ペン１０から端末装置２５へのデータ伝送を行うことが可能である。
【００２９】
なお、電子ペン１０の標準機能によれば、電子ペン１０により得られるデータは、原則として座標データ又はベクトルデータの形態であり、テキストデータではない。但し、電子ペン１０は標準機能として、帳票２０上に設けられた専用エリアに記述することにより、英数字に限りテキスト化する機能は備えている。なお、端末装置２５などにおいて、電子ペン１０から送信された座標データやベクトルデータから、文字認識アプリケーションを利用してテキストデータを得ることはもちろん可能である。
【００３０】
また、電子ペン１０内には、ペン自体及びその所有者に関するプロパティ情報（ペン情報及びペン所有者情報）を保持することができ、アプリケーションから参照することができる。ペン情報としては、バッテリーレベル、ペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのＩＤなどを保持できる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、空きメモリ容量、名前、住所、ファックス／電話番号、携帯電話番号などを保持することができる。
【００３１】
次に、電子ペンにより利用者が記述した内容のＸ，Ｙデータを取得する方法について説明する。前述のように帳票２０には、所定のドットパターンが印刷されている。電子ペン１０のカメラ１６は、利用者が帳票２０上に記述したインクの軌跡を読み取るのではなく、帳票２０上のドットパターンを読み取る。実際、図１に示すように、赤外線ＬＥＤ１５による照明領域及びカメラ１６の撮影領域（照明領域内に位置する）は、ペン先部１７が帳票２０に接触する位置とはずれている。
【００３２】
ドットパターンはカーボンを含む専用インキなどで印刷されており、カメラ１６はその専用インキによるパターンのみを認識することができる。専用インキ以外のインキ（カーボンを含まない）により、帳票上に罫線や枠などを印刷しても、電子ペンはそれらを認識することはない。よって、各種帳票を作成する際は、専用インキ以外のインキで入力枠や罫線、注意書きなどを印刷する。
【００３３】
ドットパターンは、図３に例示するように、各ドットの位置がデータに対応付けされている。図３の例では、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右にシフトすることにより、０〜３の２ビット情報を表示した例である。このようにして表現された情報の組み合わせにより、帳票上の位置座標が決定される。図４（ａ）に例示するように、縦横２mmの範囲内に３６個のドットが格子状に配置され、これらのドットにより示されるデータの配列（図４（ｂ））が、その専用ペーパー上の位置座標と対応付けされている。よって、電子ペン１０のカメラ１６が図４（ａ）に示すようなドットパターンを撮影すると、プロセッサ１１はカメラ１６から入力されるドットパターンのデータに基づいて図４（ｂ）に示すデータ配列を取得し、それに対応する帳票上の位置座標（即ち、そのドットパターンがその帳票上のどの位置にあるのか）をリアルタイムで算出する。なお、ドットパターンを認識する最小単位は２mm×２mmであり、カメラ１６は毎秒１００回程度の撮影を行う。
【００３４】
次に、帳票について説明する。帳票の構造の一例を図５に示す。図示のように、帳票２０は、台紙３０上にドットパターン３２が印刷され、その上に罫線などの図案３４が印刷されている。台紙３０は通常は紙であり、ドットパターン３２は前述のようにカーボンを含んだ専用インキにより印刷される。また、通常のインキなどにより図案３４が印刷される。ドットパターンと図案とは同時に印刷してもよいし、いずれかを先に印刷してもよい。
【００３５】
図案３４の例を図６に示す。図６は、ある帳票２０の例であり、複数の記入欄３８や送信ボックス３９が印刷されている。図６には明確に図示されていないが、実際にはドットパターンが帳票３６の全面に印刷されており、その上に記入欄３８や送信ボックス３９が通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、従来からある帳票と同様に、電子ペン１０を使用して必要事項を帳票２０の各記入欄３８に記入すればよい。
【００３６】
帳票２０上の領域は大きく２種類の領域に分けることができる。１つは記入エリアであり、電子ペン１０による記述内容をそのまま情報として取り扱うエリアである。図６の例では複数の記入欄３８がこれに該当する。もう１つは機能エレメントであり、対応するエリア内を電子ペン１０でチェックした際に、予めそのエリアに対して定義されているアクション、指示などを実行するようになっている。図６の例における送信ボックス３９がこれに該当する。
【００３７】
送信ボックス３９は前述したように電子ペン１０内に記憶されているデータを近傍の端末装置２５へ送信するための指示を行う際に使用される。利用者が送信ボックス３９内に電子ペン１０でチェックを入れると、電子ペン１０が送信ボックス内のドットパターンを読み取る。当該パターンは送信指示に対応付けられており、電子ペン１０内のプロセッサ１１はBluetoothトランシーバ１３にメモリ１２内の記憶データの送信命令を発する。
【００３８】
ドットパターンの割り当ては、通常、アプリケーション（用紙の種類）毎に行われる。即ち、ある申込書内のドットパターンは１枚の用紙の中で重複することはないが、同一の申込書には全て同じドットパターンが印刷されている。よって、利用者が電子ペン１０で必要事項を入力すると、その入力事項がその帳票のどの項目に対するものであるかを、帳票上の座標データから特定することができる。
【００３９】
このように、ドットパターンを印刷した帳票上に所定の図案を印刷することにより、各種帳票が作成できる。利用者は電子ペン１０を使用して通常の要領で必要事項を記入すれば、その電子データが自動的に取得される。
【００４０】
なお、上記の例では、ドットパターンは専用ペーパー上にカーボンを含むインキにより印刷されているが、プリンタ及びカーボンを含むインクを使用してドットパターンを通常の紙上にプリントすることも可能である。さらに、専用ペーパー上の図案も印刷ではなく、プリンタにより形成することも可能である。ドットパターンをプリンタにより紙上に形成する場合には、１枚１枚に異なるドットパターンを形成することが可能である。よって、形成されたドットパターンの違いにより、それらの用紙１枚１枚を識別し、区別することが可能となる。
【００４１】
なお、本明細書においては、「印刷」の語は、通常の印刷のみならず、プリンタによるプリントも含む概念とする。
【００４２】
次に、電子ペンにより取得したデータの送信処理について説明する。前述のように、電子ペン１０の通信機能はBluetoothによるものであり、帳票２０に入力したデータを取り扱う（テキスト化する）サーバに対して電子ペン１０から直接的にデータを送信することはできない。よって、電子ペン１０により取得したデータは、端末装置２５からサーバへ送信される。
【００４３】
その際の処理を図２を参照して説明する。電子ペン１０が取得したデータは、主として利用者が入力した事項のデータであるが、通常はそのデータの送信先であるサーバがどこであるかの情報は含まれていない。その代わりに、その専用ペーパーに関するアプリケーションやサービスを特定する情報が専用ペーパー上のドットパターンに含まれており、利用者の入力作業中に専用ペーパーからその情報が取得されている。よって、電子ペン１０から入力データを受け取った端末装置２５は、まず、問い合わせサーバ２６に対して、その専用ペーパーに対して入力されたデータをどのサービスサーバ２７へ送信すべきかの問い合わせを行う。問い合わせサーバ２６は、専用ペーパー毎に、対応するサービスサーバの情報を有しており、端末装置２５からの問い合わせに応じて、当該専用ペーパーに関するサービスなどを行うサービスサーバ２７の情報（ＵＲＬなど）を端末装置２５へ回答する。それから、端末装置２５は、電子ペンから取得した入力データをそのサービスサーバ２７へ送信することになる。
【００４４】
なお、上記の例では端末装置２５、問い合わせサーバ２６及びサービスサーバ２７が別個に構成されているが、これらの幾つか又は全てを１つの装置として構成することも可能である。
【００４５】
［手続システムの構成］
次に、本発明の帳票記入内容テキスト化システムの実施形態として、自動車整備工場において、各整備員が自動車を整備するごとにその記録を帳票に記入する場合を例に挙げて、当該システムを説明する。
【００４６】
図７に、電子ペンを利用した帳票記入内容テキスト化システムの概略構成を示す。各整備員（利用者）は前述の電子ペン１０を使用して、自動車整備帳票４（以下、単に「帳票」とする場合がある。）に対して入力を行う。自動車整備帳票４は、図５及び６を参照して説明した電子ペン専用の構成を有する帳票からなる。自動車整備帳票４に対して記入された内容は、電子ペン１０により記入データとして取得され、Bluetooth通信により端末装置２５へ送信される。記入データは端末装置２５からネットワーク２を介して、サーバ３へ送信される。サーバ３は、整備員が作成した自動車整備帳票を受け付け、その内容をテキスト化するサーバであり、後述するテキストデータなどを保管するためのデータベース８を備えている。
【００４７】
このシステムを利用する手続の概要について説明すると、まず、整備員は電子ペン１０を用いて、電子ペン専用の構成を有する自動車整備帳票４に整備記録、その他必要事項を記入する。ここで、自動車整備帳票４は後述するように本実施形態のテキスト化システムに対応した構成を有している。整備員が電子ペン１０を利用して帳票に対して必要事項を記入すると、それに対応する記入データ（座標データの集合）が電子ペン１０から端末装置２５へ送信され、端末装置２５はその記入データをサーバ３へ送信する。サーバ３は、受信した記入データに含まれる位置データに基づき、これに対応するテキスト化処理を行って、整備員が自動車整備帳票４に記入した内容のテキストデータを取得する。そして、サーバ３は、記入内容のテキストデータを、その自動車整備帳票４に対応する電子フォームに埋め込むなどの必要な処理を行う。
【００４８】
［帳票の構成］
次に、自動車整備帳票４の構成について説明する。図８に、本実施形態の帳票記入内容テキスト化システムで使用される帳票の構成を模式的に示す。まず、図８に示す自動車整備帳票４は、先に図５を参照して説明した電子ペン専用の構成を有している。即ち、台紙３０上に、電子ペン１０が認識可能なインキにより所定のドットパターン３２が印刷され、さらに電子ペン１０が認識不能なインキにより帳票としての図案３４が印刷されている。
【００４９】
図８は、図案３４の例を示す。図８に示す自動車整備帳票４は上記の自動車整備帳票であり、利用者が前記電子ペンを用いて前記文字又は図形上に筆跡を残した場合に、本実施形態のテキスト化システムによって変換されるテキストデータに関連する文字または図形が印刷されている。
【００５０】
具体的に説明すると、例えば、当該自動車整備帳票４は、記入事項として整備作業日欄８１を含む。整備作業日欄８１には、整備作業を行った月（例えば１月なら「Jan」、２月なら「Feb」など）を示す文字８２と、及び整備作業を行った日（例えば１日なら「１」、２日なら「２」）を示す文字８３とが、それぞれ電子ペンによっては読み取り不能なインキにより印刷されている。なお、整備作業を行った日を示す文字８３は、図８に示すようにカレンダーに見立てて印刷されている。そして、これらそれぞれの文字８２、８３が印刷されている領域の位置データに対応したテキストデータがサーバ（もしくはこれに備えられるデータベース）に記録されている。
【００５１】
従って、整備員は整備作業を行った日の月日を記入する場合には、電子ペンを用いてそれぞれに対応する文字上にチェックマーク等の筆跡を残せばよい。この際、整備員は、本実施形態のシステムによって変換されるであろうテキストデータを前記印刷文字８２、８３から容易に推測することができるとともに、第三者が当該自動車整備帳票を後から見た場合であっても整備作業日を確認することができるので非常に便利である。つまり、例えば、「Ｊｕｎ」たる文字の上と「２１」たる文字の上にそれぞれチェックマーク等の筆跡が残っているので、本実施形態のシステムによって、「６月２１日」とテキスト化されることが容易に推測でき、第三者も確認可能である。
【００５２】
また、当該自動車整備帳票４は、記入事項として整備員番号欄８４、及びお客様番号欄８５を含む。このようないわゆるＩＤ番号を記入する場合には、図８に示すように、ＩＤ入力欄８６を自動車整備帳票４上に予め印刷しておく。図８において、各数字に対応するチェックボックスが自動車整備帳票４上に印刷される。各枠に対応する数値は、そのチェックボックス内のドットパターンが示すデータと対応付けられている。即ち、最上段のチェックボックスは整備員番号（お客様番号も同じ）の百の位の数字に対応しており、当該最上段の最も左のチェックマーク内のドットパターンは整備員番号の百の位がゼロであることを示す。そのようなドットパターンと、整備員番号の桁数及び数字のテキスト化情報とは、相互に対応付けられてサーバ３（もしくはこれに備えられるデータベース８）に記録されている。よって、整備員は、整備員番号欄８４およびお客様番号欄８５の対応するチェックボックスに電子ペン１０でチェックマーク等の筆跡を残せば、その後、本実施形態のシステムによって「整備員２５０番 お客様３３８番」とテキスト化される。通常のマークシートでは、楕円形などの記入欄を正確に塗りつぶす必要があるが、電子ペンを利用したＩＤ入力欄では、チェックボックス内にチェックマークを記入するだけで、カメラがドットパターンを認識するので、容易に入力を行うことができる。
【００５３】
さらにまた、当該自動車整備帳票４は、記入事項として整備記録欄８７を含む。図８に示すように当該整備記録欄には、模式的に示された自動車の絵８９が印刷されている。そして、当該自動車の絵８９には各パーツ（例えばタイヤ９０〜９３、ライト９４〜９５、エンジン９６など）が印刷されており、そして、これらそれぞれのパーツ９０〜９６が印刷されている領域の位置データに対応したテキストデータがサーバ（もしくはこれに備えられるデータベース）に記録されている。
【００５４】
従って、整備員は整備記録を記入する場合には、電子ペンを用いて自らが整備したパーツに対応する領域にチェックマーク等の筆跡を残せばよい。つまり、例えば、右フロントタイヤを交換し、さらにエンジンオイルを交換した場合には、自動車の絵８９における右フロントタイヤ９１上と、エンジン９６上にそれぞれチェックマーク等の筆跡を残せば、その後、本実施形態のシステムによって、「右フロントタイヤ交換とオイル交換」とテキスト化される。帳票に印刷されている各パーツの領域の位置データごとにテキストデータを対応づけることにより、帳票にデザイン性を持たせることができるとともに、帳票のデザインの自由度を増すことができる。さらに、電子ペンによりサーバに送信される記入データからストロークデータ（筆跡の形状に関するベクトルデータ）をも取得すれば、例えば同じ右フロントタイヤに筆跡がある場合（つまり位置データが同一の場合）であっても、その筆跡がチェックマークの形状か、丸印の形状かによって、これらのストロークデータは異なることになる。従って、当該ストロークデータに対応づけられたテキストデータを予めサーバ（もしくはこれに備えられたデータベース）に用意しておくことにより、位置データとストロークデータの組み合わせに対応したテキストデータに変換することもできる。
【００５５】
［帳票記入内容テキスト化システムの機能］
次に、本実施形態によるテキスト化システムの機能構成について図９を参照して説明する。図９において、利用者（整備員）による記入データを電子ペン１０から受信する端末装置２５は、記入データ送受信機能２５ａを有する。記入データ送受信機能２５ａは、電子ペン１０から記入データをＢｌｕｅｔｏｏｔｈ通信により受信し、さらにそれをネットワーク２を介してサーバ３へ送信する機能である。なお、記入データ送受信機能２５ａは、予め用意されたプログラムを端末装置２５が実行することにより実現される。
【００５６】
一方、サーバ３は、本実施形態によるテキスト化システムとして必要な機能構成要素として、データ受信機能５１、位置データ・ストロークデータ取得機能５２、テキスト変換機能５３を備える。なお、これら各機能は、サーバ３が予め用意されたプログラムを実行することにより実現される。また、サーバ３は、位置データ、およびストロークデータに対応させるためのテキストデータ５４を記憶している。なお、テキストデータはサーバ３ではなく、データベース８に格納してもよい。
【００５７】
データ受信機能５１は、ネットワーク２などを通じて端末装置２５から送信される記入データを受信する。
【００５８】
位置データ・ストロークデータ取得機能５２は、データ受信機能５１により受信した記入データ中から、帳票中のどの位置に記入がされているのかに関する位置データと、どのような形状の筆跡が残されているのかに関するストロークデータを取得する。
【００５９】
テキスト変換機能５３は、予めサーバが有するテキストデータと、位置データおよびストロークデータとを対応づけて、記入データをテキストデータに変換する機能である。テキストデータ５４は、自動車整備帳票４上に設けられた各入力欄８１〜８６、９１〜９６に対応付けて記憶されているので、サーバ３は、端末装置２５から受信した位置データに対応するテキストデータを取得することができる。
【００６０】
［テキスト化処理］
次に、本実施形態のテキスト化システムにおけるサーバ３によって実行されるテキスト化処理の流れについて説明する。
【００６１】
図１０はテキスト化処理のフローチャートである。まず、整備員は電子ペン１０と自動車整備帳票４を使用して、整備記録を自動車整備帳票４上に記入する。そしてさらに利用者は、整備記録の記入を完了すると、自動車整備帳票４の送信ボックス３９をチェックし、端末装置２５を介して記入データをサーバ３へ送信する。つまり、整備員が自動車整備帳票４の送信チェックボックスをチェックすると、その時点で電子ペン１０のメモリ１２に蓄積されていたストロークデータが、１枚の自動車整備帳票４に対する記入データとして端末装置２５へ送信される。端末装置２５は、この記入データを、ネットワーク２を介してサーバ３へ送信する。
【００６２】
サーバ３は、記入データを端末装置２５から受信すると（ステップＳ１）、まず位置データ・ストロークデータ取得機能５２により、受信した記入データから筆跡に関する位置データおよびストロークデータを取得する（ステップＳ２）。
【００６３】
次に、テキスト変換機能５３は、位置データおよびストロークデータを取得できたか否かにより、取得した位置データおよびストロークデータに対応づけてテキスト変換処理を行う。具体的に説明すると、例えば図８に示した自動車整備帳票における整備作業日欄をテキスト化処理する場合においては、まず、「Jan」と印刷されている領域に対応する位置データを取得したか否かを判断し（ステップＳ３）、当該領域に対応する位置データを取得した場合には、当該領域の位置データに対応するテキスト「１月」を変数に代入する（ステップＳ４）。一方当該領域に対応する位置データを取得しない場合には、新たに「Feb」と印刷されている領域に対応する位置データを取得したか否かを判断し（ステップＳ５）、当該領域に対応する位置データを取得した場合には、当該領域の位置データに対応するテキスト「２月」を変数に代入する（ステップＳ６）。この動作を「Dec」（１２月）まで繰り返すことにより整備作業月のテキスト化を行うことができる。
【００６４】
基本的には、上記整備作業月のテキスト化と同様の処理が自動車整備帳票の記入事項のすべての領域（例えば、整備作業日のテキスト化、整備員番号、お客様番号のテキスト化など）に対して行われる。
【００６５】
また、整備記録欄のテキスト化処理においては、例えば、「右フロントタイヤ」の絵が印刷されている領域に対応する位置データを取得したか否かを判断し（ステップＳ２０）、当該領域に対応する位置データを取得した場合には、さらに当該領域に対応するストロークデータが「チェックマーク」のストロークデータか否かを判断する（ステップＳ２１）。このストロークデータが「チェックマーク」である場合には、前記位置データとストロークデータに対応するテキスト、例えば「右フロントタイヤ交換」たるテキストを変数に代入する（ステップＳ２２）。一方、「チェックマーク」のストロークデータでない場合には、続いて「×印」のストロークデータか否かを判断する（ステップＳ２３）。そして、このストロークデータが「×印」のストロークデータである場合には、前記位置データとストロークデータに対応するテキスト「例えば右フロントタイヤ空気圧調整」たるテキストを変数に代入する（ステップＳ２４）。この処理が自動車の絵における各パーツごとに繰り返される。
【００６６】
このように、自動車の絵における各パーツごとに様々なマークに対応づけてテキストデータを用意しておくことにより、整備員は帳票に簡単なマークを記入するのみで、その整備内容をテキスト化することができる。そして、当該処理を帳票のすべての領域に対して行うことにより、例えば図８に示す自動車整備帳票は、「６月２１日 整備員２５０番 お客様３３８番 右フロントタイヤ交換、オイル交換」たるテキストに変換することができる。
【００６７】
【発明の効果】
以上説明したように、本発明の帳票記入内容テキスト化システムによれば、電子ペンを使用して記入した記入データを文字認識することなく、当該位置データやストロークデータを用いてテキスト化することができる。よって、文字認識ソフト（ＯＣＲ）を用いた場合に比べて帳票内容のテキスト化をより正確に行うことができる。
【００６８】
また、本発明の帳票によれば、利用者は必要事項を視覚的、感覚的に容易に記入することができ、さらにそれがそのままテキスト化されることから記入時間を短縮することができる。
【図面の簡単な説明】
【図１】電子ペンの使用形態を模式的に示す図である。
【図２】電子ペンの構造を示すブロック図である。
【図３】帳票にプリントされたドットパターンによる情報の表現方法を説明する図である。
【図４】ドットパターン及びそれに対応する情報の例を示す図である。
【図５】帳票の構造を示す図である。
【図６】帳票の例を示す図である。
【図７】本実施形態の帳票記入内容テキスト化システムを自動車整備作業に適用した場合の概略構成を示す図である。
【図８】図７に示すテキスト化システムで使用される自動車整備帳票の例を示す図である。
【図９】本実施形態の帳票記入内容テキスト化システムの機能構成を示す図である。
【図１０】本実施形態の帳票記入内容テキスト化システムのサーバにおけるテキスト化処理のフローチャートである。
【符号の説明】
２ ネットワーク
３ サーバ
４ 帳票
８ データベース
１０ 電子ペン
１１ プロセッサ
１２ メモリ
１３ トランシーバ
１４ バッテリー
１５ ＬＥＤ
１６ カメラ
１７ ペン先部
２５ 端末装置
５１ データ受信機能
５２ 位置データ・ストロークデータ取得機能
５３ テキスト変換機能
【発明の属する技術分野】
本発明は、電子ペンを利用して専用帳票に記入された内容を文字認識することなくテキストデータに変換する帳票記入内容テキスト化システムに関する。
【０００２】
【従来の技術】
例えば、自動車整備工場において、各整備員が自動車を整備するごとにその記録を取る際に利用される自動車整備帳票がある。従来、各整備員は、自動車整備をするたびに、整備作業日、作業担当者、お客様名、整備記録などの必要事項をボールペンなどを利用して手書きで当該帳票へ記入していた。当該帳票に記入された情報は、顧客管理などの二次的利用を可能にするためにテキストデータ化される場合が多いが、その場合には、オペレータがその内容をキーボードを利用して入力し、テキストデータ化する必要があった。例えば、整備員が整備帳票に記入した内容から、オペレータが、「６月２１日 作業者２５０番 お客様３３８番 右フロントタイヤ交換とオイル交換」などと、端末装置を使用して文字をキーボードを利用して入力しなければならず、非常に煩わしかった。
【０００３】
一方、手書きの文字をテキスト化する手法としては、文字認識システム（ＯＣＲシステム）も知られている。ＯＣＲシステムでは、利用者がペンで帳票上に記入した手書き文字をスキャナなどの光学機器で読み取って電子データ化し、さらに文字認識ソフトウェアによりテキストデータに変換する処理を行う。
【０００４】
【発明が解決しようとする課題】
しかし、従来のＯＣＲシステムは、手書きした文字を１００％の精度で認識することは不可能であり、利用者が帳票に記入した情報を正確にテキスト化することはできなかった。
【０００５】
このような状況において、テキスト化に伴う煩わしさを解消するため、近年登場した、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイス（以下、本明細書では「電子ペン」と呼ぶ。）、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が注目を集めいている。
【０００６】
アノトペンは、所定のドットパターンが印刷された専用ペーパーとペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、Bluetooth対応の通信ユニットを搭載している。利用者が専用ペーパー上にアノトペンで文字などを書くと、ペンの移動に伴って小型カメラが専用紙上のドットパターンを検出し、利用者が書き込んだ文字などの入力データが取得される。この入力データが、Bluetooth対応の通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。
【０００７】
しかしながら、このアノトペンを利用すれば、利用者が帳票に記載した内容を直接にイメージデータとして取得することは可能となり、帳票の内容をスキャナ等の光学機器で読み取る手間は省けるものの、テキスト化については文字認識システムを利用しなければならず、やはり１００％の精度でテキスト化することは不可能であった。
【０００８】
本発明は、以上の点に鑑みてなされたものであり、帳票に記入された内容を文字認識することなくテキストデータに変換することができるテキスト化システムを提供することを課題とする。
【０００９】
【課題を解決するための手段】
本発明の１つの観点では、帳票記入内容テキスト化システムは、記入欄を有する帳票に記入された内容を文字認識することなくテキストデータに変換する帳票記入内容テキスト化システムであって、所定のドットパターンが印刷された帳票から光学的に前記ドットパターンを読み取ることによって、利用者が当該帳票に記入した内容に対応する記入データを取得し当該データを端末装置に送信する電子ペンと、前記電子ペンから送信された記入データを受信しネットワークを介してサーバに送信する前記端末装置と、前記端末装置から送信された記入データを受信し、当該記入データから利用者が前記帳票のどの位置に記入をしたのかを表す位置データと利用者が当該位置にどのようなマークを記入したのかを表すストロークデータとを取得し、変換テーブルを参照して、前記帳票の記入欄ごとに前記位置データと前記ストロークデータのマークとに対応づけられているテキストデータを読み出し、前記記入データを当該テキストデータに変換するサーバと、を備える。
【００１０】
上記の帳票記入内容テキスト化システムによれば、利用者は帳票上に電子ペンにより必要事項を記入する。電子ペンは、記入事項に対応するストローク情報や位置情報などの記入データを生成し、サーバに供給する。サーバにおいては、まず、記入データ中から位置情報とストロークデータとを取得し、変換テーブルを参照して、当該位置情報及びストロークデータのマークごとに予め用意されているテキストデータと対応させることで、当該位置情報及びストロークデータをテキスト化していく。つまり、利用者が帳票に何を書いたかではなく、帳票の何処の位置にどのような筆跡を残したかによって、当該位置とストロークのマークとの組み合わせごとに予め用意されているテキストデータに変換していく。その結果、文字認識（何を書いたかの認識）をする必要はないので、１００％の精度でテキスト化することができる。また、テキスト化するために位置情報だけでなくストロークデータをも利用することにより、より複雑多様なテキスト変換が可能となる。
【００１１】
上記の帳票記入内容テキスト化システムの一態様では、前記帳票には、模式的な自動車の絵が印刷されており、前記サーバの前記変換テーブルには、前記帳票における前記自動車の絵の各パーツごとに、その位置データとストロークのマークに対応して、自動車整備内容を示すテキストデータが設定されており、前記サーバは、前記変換テーブルを参照し、前記記入データから取得された位置データとストロークデータのマークに基づき、前記記入データを読み出した自動車整備内容のテキストデータに変換する。
【００１２】
この態様では、自動車の絵における各パーツごとに様々なマークに対応づけてテキストデータを用意しておくことにより、利用者は帳票に印刷された模式的な自動車の絵に簡単なマークを記入するのみで、その整備内容をテキスト化することができる。
【００１３】
本発明の他の観点では、電子ペンにより読み取り可能なドットパターンと、パーツが規定された模式的な自動車の絵とが印刷されており、前記パーツ内に印刷されたドットパターンは、その位置データと当該位置に前記電子ペンにより記入されるストロークのマークとに対応して自動車整備内容のテキストデータが関連付けされている自動車整備帳票が提供される。
【００１４】
上記の自動車整備帳票によれば、自動車整備帳票に印刷されているパーツが規定された模式的な自動車の絵に対して利用者がマークを記入すると、各パーツごとの当該マークに対応する自動車整備内容のテキストデータを特定することができる。よって、電子ペンを利用して、自動車整備内容のテキストデータを正確に取得することが可能となる。
【００１７】
【発明の実施の形態】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【００１８】
［電子ペン］
まず始めに、電子ペンについて説明する。図１は電子ペンの使用形態を模式的に示す図であり、図２は電子ペンの構造を示す機能ブロック図である。図１に示すように、電子ペン１０は、ドットパターンがプリントされた帳票２０と組み合わせて使用される。電子ペン１０は、通常のインクペンと同様のペン先部１７を備えており、利用者は通常のインクペンと同様に帳票２０上に文字などを書くことになる。
【００１９】
図２に示すように、電子ペン１０は、その内部にプロセッサ１１、メモリ１２、Bluetoothトランシーバ１３、バッテリー１４、赤外線ＬＥＤ１５、カメラ１６及び圧力センサ１８を備える。また、電子ペン１０は通常のインクペンと同様の構成要素としてインクカートリッジ（図示せず）などを有する。
【００２０】
電子ペン１０は、ペン先部１７により帳票２０上に描かれたインクの軌跡をデータ化するのではなく、帳票２０上で電子ペン１０が移動した軌跡座標をデータ化する。赤外線ＬＥＤ１５が帳票２０上のペン先部１７近傍を照明しつつ、カメラ１６が帳票２０にプリントされているドットパターンを読み取り、データ化する。つまり、電子ペン１０は帳票２０上で利用者が電子ペン１０を移動させることにより生じるストロークを画像データ又はベクトルデータとして取得することができる。
【００２１】
圧力センサ１８は、利用者が電子ペン１０により帳票上に文字などを書く際にペン先部１７に与えられる圧力、即ち筆圧を検出し、プロセッサ１１へ供給する。プロセッサ１１は、圧力センサ１８から与えられる筆圧データに基づいて、赤外線ＬＥＤ１５及びカメラ１６のスイッチオン／オフの切換を行う。即ち、利用者が電子ペン１０で帳票２０上に文字などを書くと、ペン先部１７には筆圧がかかる。よって、所定値以上の筆圧が検出されたときに、利用者が記述を開始したと判定して、赤外線ＬＥＤ１５及びカメラ１６を作動する。
【００２２】
カメラ１６は専用ペーパー２０上のドットパターンを読み取り、そのパターンデータをプロセッサ１１に供給する。プロセッサ１１は、供給されたドットパターンから、帳票上でのＸ，Ｙ座標を算出する。
【００２３】
プロセッサ１１は、利用者の記述が行われる間に、筆圧の配列データ及びＸ，Ｙ座標データを取得し、タイムスタンプ（時間情報）と関連付けてメモリ１２に記憶していく。よって、メモリ１２内には利用者の記述内容に対応するデータが時系列で記憶されていく。メモリ１２の容量は例えば１Ｍバイト程度とすることができる。
【００２４】
利用者により送信指示がなされるまでは、取得された全てのデータはメモリ１２内に保持される。そして、利用者が送信指示を行うと、Bluetoothトランシーバ１３により、電子ペン１０と所定距離内にある端末装置２５へメモリ１２内のデータが送信される。基本的には、一度送信指示がなされると、電子ペン１０はメモリ１２内に記憶していた全てのデータを端末装置２５へ送信するため、メモリ１２内はクリアされる。よって、送信後にもう一度同じ情報を端末装置２５へ送信したい場合には、利用者は帳票２０上に再度記述を行う必要がある。なお、この場合、利用者は帳票２０上にインクペンで書かれた文字などをなぞればよいことになる。
【００２５】
電子ペン１０自体は、送信ボタンなどの機能ボタンを備えておらず、送信指示その他の指示は、利用者が帳票２０上の所定位置に設けられた専用ボックスを電子ペン１０でチェックすることにより実行される。専用ボックスの位置座標には、予め送信指示が対応付けられており、プロセッサ１１は専用ボックスの位置座標を受信すると、Bluetoothトランシーバ１３にメモリ１２内のデータを供給し、端末装置２５への送信を行わせる。なお、電子ペン１０はディスプレイやボタンなどを持たないが、データの送信完了を電子ペンの振動により示すことができる。
【００２６】
バッテリー１４は電子ペン１０内の各要素に電源供給するためのものであり、例えば電子ペンのキャップ（図示せず）により電子ペン１０自体の電源のオン／オフを行うことができる。
【００２７】
このように、電子ペン１０は利用者が帳票２０上に記述した文字などに対応する座標データ及び筆圧データを取得して近傍の端末装置２５へ送信する機能を有するが、電子ペン１０のペン先部１７は通常のインクペンとなっているため、帳票２０上に記述した内容はオリジナルの原本として残るという特徴がある。即ち、紙の原本に対して記述するのと同時に、その内容を座標データなどの形態でリアルタイムに電子化することができる。
【００２８】
なお、上記の例では、電子ペン１０から端末装置２５へのデータ送信をBluetoothの無線伝送により行う例を挙げているが、その代わりに例えばケーブルを使用した有線によるデータ伝送や、電子ペン１０と端末装置２５の一部に設けられた端子などの接触によるデータ伝送など、各種の方法で電子ペン１０から端末装置２５へのデータ伝送を行うことが可能である。
【００２９】
なお、電子ペン１０の標準機能によれば、電子ペン１０により得られるデータは、原則として座標データ又はベクトルデータの形態であり、テキストデータではない。但し、電子ペン１０は標準機能として、帳票２０上に設けられた専用エリアに記述することにより、英数字に限りテキスト化する機能は備えている。なお、端末装置２５などにおいて、電子ペン１０から送信された座標データやベクトルデータから、文字認識アプリケーションを利用してテキストデータを得ることはもちろん可能である。
【００３０】
また、電子ペン１０内には、ペン自体及びその所有者に関するプロパティ情報（ペン情報及びペン所有者情報）を保持することができ、アプリケーションから参照することができる。ペン情報としては、バッテリーレベル、ペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのＩＤなどを保持できる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、空きメモリ容量、名前、住所、ファックス／電話番号、携帯電話番号などを保持することができる。
【００３１】
次に、電子ペンにより利用者が記述した内容のＸ，Ｙデータを取得する方法について説明する。前述のように帳票２０には、所定のドットパターンが印刷されている。電子ペン１０のカメラ１６は、利用者が帳票２０上に記述したインクの軌跡を読み取るのではなく、帳票２０上のドットパターンを読み取る。実際、図１に示すように、赤外線ＬＥＤ１５による照明領域及びカメラ１６の撮影領域（照明領域内に位置する）は、ペン先部１７が帳票２０に接触する位置とはずれている。
【００３２】
ドットパターンはカーボンを含む専用インキなどで印刷されており、カメラ１６はその専用インキによるパターンのみを認識することができる。専用インキ以外のインキ（カーボンを含まない）により、帳票上に罫線や枠などを印刷しても、電子ペンはそれらを認識することはない。よって、各種帳票を作成する際は、専用インキ以外のインキで入力枠や罫線、注意書きなどを印刷する。
【００３３】
ドットパターンは、図３に例示するように、各ドットの位置がデータに対応付けされている。図３の例では、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右にシフトすることにより、０〜３の２ビット情報を表示した例である。このようにして表現された情報の組み合わせにより、帳票上の位置座標が決定される。図４（ａ）に例示するように、縦横２mmの範囲内に３６個のドットが格子状に配置され、これらのドットにより示されるデータの配列（図４（ｂ））が、その専用ペーパー上の位置座標と対応付けされている。よって、電子ペン１０のカメラ１６が図４（ａ）に示すようなドットパターンを撮影すると、プロセッサ１１はカメラ１６から入力されるドットパターンのデータに基づいて図４（ｂ）に示すデータ配列を取得し、それに対応する帳票上の位置座標（即ち、そのドットパターンがその帳票上のどの位置にあるのか）をリアルタイムで算出する。なお、ドットパターンを認識する最小単位は２mm×２mmであり、カメラ１６は毎秒１００回程度の撮影を行う。
【００３４】
次に、帳票について説明する。帳票の構造の一例を図５に示す。図示のように、帳票２０は、台紙３０上にドットパターン３２が印刷され、その上に罫線などの図案３４が印刷されている。台紙３０は通常は紙であり、ドットパターン３２は前述のようにカーボンを含んだ専用インキにより印刷される。また、通常のインキなどにより図案３４が印刷される。ドットパターンと図案とは同時に印刷してもよいし、いずれかを先に印刷してもよい。
【００３５】
図案３４の例を図６に示す。図６は、ある帳票２０の例であり、複数の記入欄３８や送信ボックス３９が印刷されている。図６には明確に図示されていないが、実際にはドットパターンが帳票３６の全面に印刷されており、その上に記入欄３８や送信ボックス３９が通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、従来からある帳票と同様に、電子ペン１０を使用して必要事項を帳票２０の各記入欄３８に記入すればよい。
【００３６】
帳票２０上の領域は大きく２種類の領域に分けることができる。１つは記入エリアであり、電子ペン１０による記述内容をそのまま情報として取り扱うエリアである。図６の例では複数の記入欄３８がこれに該当する。もう１つは機能エレメントであり、対応するエリア内を電子ペン１０でチェックした際に、予めそのエリアに対して定義されているアクション、指示などを実行するようになっている。図６の例における送信ボックス３９がこれに該当する。
【００３７】
送信ボックス３９は前述したように電子ペン１０内に記憶されているデータを近傍の端末装置２５へ送信するための指示を行う際に使用される。利用者が送信ボックス３９内に電子ペン１０でチェックを入れると、電子ペン１０が送信ボックス内のドットパターンを読み取る。当該パターンは送信指示に対応付けられており、電子ペン１０内のプロセッサ１１はBluetoothトランシーバ１３にメモリ１２内の記憶データの送信命令を発する。
【００３８】
ドットパターンの割り当ては、通常、アプリケーション（用紙の種類）毎に行われる。即ち、ある申込書内のドットパターンは１枚の用紙の中で重複することはないが、同一の申込書には全て同じドットパターンが印刷されている。よって、利用者が電子ペン１０で必要事項を入力すると、その入力事項がその帳票のどの項目に対するものであるかを、帳票上の座標データから特定することができる。
【００３９】
このように、ドットパターンを印刷した帳票上に所定の図案を印刷することにより、各種帳票が作成できる。利用者は電子ペン１０を使用して通常の要領で必要事項を記入すれば、その電子データが自動的に取得される。
【００４０】
なお、上記の例では、ドットパターンは専用ペーパー上にカーボンを含むインキにより印刷されているが、プリンタ及びカーボンを含むインクを使用してドットパターンを通常の紙上にプリントすることも可能である。さらに、専用ペーパー上の図案も印刷ではなく、プリンタにより形成することも可能である。ドットパターンをプリンタにより紙上に形成する場合には、１枚１枚に異なるドットパターンを形成することが可能である。よって、形成されたドットパターンの違いにより、それらの用紙１枚１枚を識別し、区別することが可能となる。
【００４１】
なお、本明細書においては、「印刷」の語は、通常の印刷のみならず、プリンタによるプリントも含む概念とする。
【００４２】
次に、電子ペンにより取得したデータの送信処理について説明する。前述のように、電子ペン１０の通信機能はBluetoothによるものであり、帳票２０に入力したデータを取り扱う（テキスト化する）サーバに対して電子ペン１０から直接的にデータを送信することはできない。よって、電子ペン１０により取得したデータは、端末装置２５からサーバへ送信される。
【００４３】
その際の処理を図２を参照して説明する。電子ペン１０が取得したデータは、主として利用者が入力した事項のデータであるが、通常はそのデータの送信先であるサーバがどこであるかの情報は含まれていない。その代わりに、その専用ペーパーに関するアプリケーションやサービスを特定する情報が専用ペーパー上のドットパターンに含まれており、利用者の入力作業中に専用ペーパーからその情報が取得されている。よって、電子ペン１０から入力データを受け取った端末装置２５は、まず、問い合わせサーバ２６に対して、その専用ペーパーに対して入力されたデータをどのサービスサーバ２７へ送信すべきかの問い合わせを行う。問い合わせサーバ２６は、専用ペーパー毎に、対応するサービスサーバの情報を有しており、端末装置２５からの問い合わせに応じて、当該専用ペーパーに関するサービスなどを行うサービスサーバ２７の情報（ＵＲＬなど）を端末装置２５へ回答する。それから、端末装置２５は、電子ペンから取得した入力データをそのサービスサーバ２７へ送信することになる。
【００４４】
なお、上記の例では端末装置２５、問い合わせサーバ２６及びサービスサーバ２７が別個に構成されているが、これらの幾つか又は全てを１つの装置として構成することも可能である。
【００４５】
［手続システムの構成］
次に、本発明の帳票記入内容テキスト化システムの実施形態として、自動車整備工場において、各整備員が自動車を整備するごとにその記録を帳票に記入する場合を例に挙げて、当該システムを説明する。
【００４６】
図７に、電子ペンを利用した帳票記入内容テキスト化システムの概略構成を示す。各整備員（利用者）は前述の電子ペン１０を使用して、自動車整備帳票４（以下、単に「帳票」とする場合がある。）に対して入力を行う。自動車整備帳票４は、図５及び６を参照して説明した電子ペン専用の構成を有する帳票からなる。自動車整備帳票４に対して記入された内容は、電子ペン１０により記入データとして取得され、Bluetooth通信により端末装置２５へ送信される。記入データは端末装置２５からネットワーク２を介して、サーバ３へ送信される。サーバ３は、整備員が作成した自動車整備帳票を受け付け、その内容をテキスト化するサーバであり、後述するテキストデータなどを保管するためのデータベース８を備えている。
【００４７】
このシステムを利用する手続の概要について説明すると、まず、整備員は電子ペン１０を用いて、電子ペン専用の構成を有する自動車整備帳票４に整備記録、その他必要事項を記入する。ここで、自動車整備帳票４は後述するように本実施形態のテキスト化システムに対応した構成を有している。整備員が電子ペン１０を利用して帳票に対して必要事項を記入すると、それに対応する記入データ（座標データの集合）が電子ペン１０から端末装置２５へ送信され、端末装置２５はその記入データをサーバ３へ送信する。サーバ３は、受信した記入データに含まれる位置データに基づき、これに対応するテキスト化処理を行って、整備員が自動車整備帳票４に記入した内容のテキストデータを取得する。そして、サーバ３は、記入内容のテキストデータを、その自動車整備帳票４に対応する電子フォームに埋め込むなどの必要な処理を行う。
【００４８】
［帳票の構成］
次に、自動車整備帳票４の構成について説明する。図８に、本実施形態の帳票記入内容テキスト化システムで使用される帳票の構成を模式的に示す。まず、図８に示す自動車整備帳票４は、先に図５を参照して説明した電子ペン専用の構成を有している。即ち、台紙３０上に、電子ペン１０が認識可能なインキにより所定のドットパターン３２が印刷され、さらに電子ペン１０が認識不能なインキにより帳票としての図案３４が印刷されている。
【００４９】
図８は、図案３４の例を示す。図８に示す自動車整備帳票４は上記の自動車整備帳票であり、利用者が前記電子ペンを用いて前記文字又は図形上に筆跡を残した場合に、本実施形態のテキスト化システムによって変換されるテキストデータに関連する文字または図形が印刷されている。
【００５０】
具体的に説明すると、例えば、当該自動車整備帳票４は、記入事項として整備作業日欄８１を含む。整備作業日欄８１には、整備作業を行った月（例えば１月なら「Jan」、２月なら「Feb」など）を示す文字８２と、及び整備作業を行った日（例えば１日なら「１」、２日なら「２」）を示す文字８３とが、それぞれ電子ペンによっては読み取り不能なインキにより印刷されている。なお、整備作業を行った日を示す文字８３は、図８に示すようにカレンダーに見立てて印刷されている。そして、これらそれぞれの文字８２、８３が印刷されている領域の位置データに対応したテキストデータがサーバ（もしくはこれに備えられるデータベース）に記録されている。
【００５１】
従って、整備員は整備作業を行った日の月日を記入する場合には、電子ペンを用いてそれぞれに対応する文字上にチェックマーク等の筆跡を残せばよい。この際、整備員は、本実施形態のシステムによって変換されるであろうテキストデータを前記印刷文字８２、８３から容易に推測することができるとともに、第三者が当該自動車整備帳票を後から見た場合であっても整備作業日を確認することができるので非常に便利である。つまり、例えば、「Ｊｕｎ」たる文字の上と「２１」たる文字の上にそれぞれチェックマーク等の筆跡が残っているので、本実施形態のシステムによって、「６月２１日」とテキスト化されることが容易に推測でき、第三者も確認可能である。
【００５２】
また、当該自動車整備帳票４は、記入事項として整備員番号欄８４、及びお客様番号欄８５を含む。このようないわゆるＩＤ番号を記入する場合には、図８に示すように、ＩＤ入力欄８６を自動車整備帳票４上に予め印刷しておく。図８において、各数字に対応するチェックボックスが自動車整備帳票４上に印刷される。各枠に対応する数値は、そのチェックボックス内のドットパターンが示すデータと対応付けられている。即ち、最上段のチェックボックスは整備員番号（お客様番号も同じ）の百の位の数字に対応しており、当該最上段の最も左のチェックマーク内のドットパターンは整備員番号の百の位がゼロであることを示す。そのようなドットパターンと、整備員番号の桁数及び数字のテキスト化情報とは、相互に対応付けられてサーバ３（もしくはこれに備えられるデータベース８）に記録されている。よって、整備員は、整備員番号欄８４およびお客様番号欄８５の対応するチェックボックスに電子ペン１０でチェックマーク等の筆跡を残せば、その後、本実施形態のシステムによって「整備員２５０番 お客様３３８番」とテキスト化される。通常のマークシートでは、楕円形などの記入欄を正確に塗りつぶす必要があるが、電子ペンを利用したＩＤ入力欄では、チェックボックス内にチェックマークを記入するだけで、カメラがドットパターンを認識するので、容易に入力を行うことができる。
【００５３】
さらにまた、当該自動車整備帳票４は、記入事項として整備記録欄８７を含む。図８に示すように当該整備記録欄には、模式的に示された自動車の絵８９が印刷されている。そして、当該自動車の絵８９には各パーツ（例えばタイヤ９０〜９３、ライト９４〜９５、エンジン９６など）が印刷されており、そして、これらそれぞれのパーツ９０〜９６が印刷されている領域の位置データに対応したテキストデータがサーバ（もしくはこれに備えられるデータベース）に記録されている。
【００５４】
従って、整備員は整備記録を記入する場合には、電子ペンを用いて自らが整備したパーツに対応する領域にチェックマーク等の筆跡を残せばよい。つまり、例えば、右フロントタイヤを交換し、さらにエンジンオイルを交換した場合には、自動車の絵８９における右フロントタイヤ９１上と、エンジン９６上にそれぞれチェックマーク等の筆跡を残せば、その後、本実施形態のシステムによって、「右フロントタイヤ交換とオイル交換」とテキスト化される。帳票に印刷されている各パーツの領域の位置データごとにテキストデータを対応づけることにより、帳票にデザイン性を持たせることができるとともに、帳票のデザインの自由度を増すことができる。さらに、電子ペンによりサーバに送信される記入データからストロークデータ（筆跡の形状に関するベクトルデータ）をも取得すれば、例えば同じ右フロントタイヤに筆跡がある場合（つまり位置データが同一の場合）であっても、その筆跡がチェックマークの形状か、丸印の形状かによって、これらのストロークデータは異なることになる。従って、当該ストロークデータに対応づけられたテキストデータを予めサーバ（もしくはこれに備えられたデータベース）に用意しておくことにより、位置データとストロークデータの組み合わせに対応したテキストデータに変換することもできる。
【００５５】
［帳票記入内容テキスト化システムの機能］
次に、本実施形態によるテキスト化システムの機能構成について図９を参照して説明する。図９において、利用者（整備員）による記入データを電子ペン１０から受信する端末装置２５は、記入データ送受信機能２５ａを有する。記入データ送受信機能２５ａは、電子ペン１０から記入データをＢｌｕｅｔｏｏｔｈ通信により受信し、さらにそれをネットワーク２を介してサーバ３へ送信する機能である。なお、記入データ送受信機能２５ａは、予め用意されたプログラムを端末装置２５が実行することにより実現される。
【００５６】
一方、サーバ３は、本実施形態によるテキスト化システムとして必要な機能構成要素として、データ受信機能５１、位置データ・ストロークデータ取得機能５２、テキスト変換機能５３を備える。なお、これら各機能は、サーバ３が予め用意されたプログラムを実行することにより実現される。また、サーバ３は、位置データ、およびストロークデータに対応させるためのテキストデータ５４を記憶している。なお、テキストデータはサーバ３ではなく、データベース８に格納してもよい。
【００５７】
データ受信機能５１は、ネットワーク２などを通じて端末装置２５から送信される記入データを受信する。
【００５８】
位置データ・ストロークデータ取得機能５２は、データ受信機能５１により受信した記入データ中から、帳票中のどの位置に記入がされているのかに関する位置データと、どのような形状の筆跡が残されているのかに関するストロークデータを取得する。
【００５９】
テキスト変換機能５３は、予めサーバが有するテキストデータと、位置データおよびストロークデータとを対応づけて、記入データをテキストデータに変換する機能である。テキストデータ５４は、自動車整備帳票４上に設けられた各入力欄８１〜８６、９１〜９６に対応付けて記憶されているので、サーバ３は、端末装置２５から受信した位置データに対応するテキストデータを取得することができる。
【００６０】
［テキスト化処理］
次に、本実施形態のテキスト化システムにおけるサーバ３によって実行されるテキスト化処理の流れについて説明する。
【００６１】
図１０はテキスト化処理のフローチャートである。まず、整備員は電子ペン１０と自動車整備帳票４を使用して、整備記録を自動車整備帳票４上に記入する。そしてさらに利用者は、整備記録の記入を完了すると、自動車整備帳票４の送信ボックス３９をチェックし、端末装置２５を介して記入データをサーバ３へ送信する。つまり、整備員が自動車整備帳票４の送信チェックボックスをチェックすると、その時点で電子ペン１０のメモリ１２に蓄積されていたストロークデータが、１枚の自動車整備帳票４に対する記入データとして端末装置２５へ送信される。端末装置２５は、この記入データを、ネットワーク２を介してサーバ３へ送信する。
【００６２】
サーバ３は、記入データを端末装置２５から受信すると（ステップＳ１）、まず位置データ・ストロークデータ取得機能５２により、受信した記入データから筆跡に関する位置データおよびストロークデータを取得する（ステップＳ２）。
【００６３】
次に、テキスト変換機能５３は、位置データおよびストロークデータを取得できたか否かにより、取得した位置データおよびストロークデータに対応づけてテキスト変換処理を行う。具体的に説明すると、例えば図８に示した自動車整備帳票における整備作業日欄をテキスト化処理する場合においては、まず、「Jan」と印刷されている領域に対応する位置データを取得したか否かを判断し（ステップＳ３）、当該領域に対応する位置データを取得した場合には、当該領域の位置データに対応するテキスト「１月」を変数に代入する（ステップＳ４）。一方当該領域に対応する位置データを取得しない場合には、新たに「Feb」と印刷されている領域に対応する位置データを取得したか否かを判断し（ステップＳ５）、当該領域に対応する位置データを取得した場合には、当該領域の位置データに対応するテキスト「２月」を変数に代入する（ステップＳ６）。この動作を「Dec」（１２月）まで繰り返すことにより整備作業月のテキスト化を行うことができる。
【００６４】
基本的には、上記整備作業月のテキスト化と同様の処理が自動車整備帳票の記入事項のすべての領域（例えば、整備作業日のテキスト化、整備員番号、お客様番号のテキスト化など）に対して行われる。
【００６５】
また、整備記録欄のテキスト化処理においては、例えば、「右フロントタイヤ」の絵が印刷されている領域に対応する位置データを取得したか否かを判断し（ステップＳ２０）、当該領域に対応する位置データを取得した場合には、さらに当該領域に対応するストロークデータが「チェックマーク」のストロークデータか否かを判断する（ステップＳ２１）。このストロークデータが「チェックマーク」である場合には、前記位置データとストロークデータに対応するテキスト、例えば「右フロントタイヤ交換」たるテキストを変数に代入する（ステップＳ２２）。一方、「チェックマーク」のストロークデータでない場合には、続いて「×印」のストロークデータか否かを判断する（ステップＳ２３）。そして、このストロークデータが「×印」のストロークデータである場合には、前記位置データとストロークデータに対応するテキスト「例えば右フロントタイヤ空気圧調整」たるテキストを変数に代入する（ステップＳ２４）。この処理が自動車の絵における各パーツごとに繰り返される。
【００６６】
このように、自動車の絵における各パーツごとに様々なマークに対応づけてテキストデータを用意しておくことにより、整備員は帳票に簡単なマークを記入するのみで、その整備内容をテキスト化することができる。そして、当該処理を帳票のすべての領域に対して行うことにより、例えば図８に示す自動車整備帳票は、「６月２１日 整備員２５０番 お客様３３８番 右フロントタイヤ交換、オイル交換」たるテキストに変換することができる。
【００６７】
【発明の効果】
以上説明したように、本発明の帳票記入内容テキスト化システムによれば、電子ペンを使用して記入した記入データを文字認識することなく、当該位置データやストロークデータを用いてテキスト化することができる。よって、文字認識ソフト（ＯＣＲ）を用いた場合に比べて帳票内容のテキスト化をより正確に行うことができる。
【００６８】
また、本発明の帳票によれば、利用者は必要事項を視覚的、感覚的に容易に記入することができ、さらにそれがそのままテキスト化されることから記入時間を短縮することができる。
【図面の簡単な説明】
【図１】電子ペンの使用形態を模式的に示す図である。
【図２】電子ペンの構造を示すブロック図である。
【図３】帳票にプリントされたドットパターンによる情報の表現方法を説明する図である。
【図４】ドットパターン及びそれに対応する情報の例を示す図である。
【図５】帳票の構造を示す図である。
【図６】帳票の例を示す図である。
【図７】本実施形態の帳票記入内容テキスト化システムを自動車整備作業に適用した場合の概略構成を示す図である。
【図８】図７に示すテキスト化システムで使用される自動車整備帳票の例を示す図である。
【図９】本実施形態の帳票記入内容テキスト化システムの機能構成を示す図である。
【図１０】本実施形態の帳票記入内容テキスト化システムのサーバにおけるテキスト化処理のフローチャートである。
【符号の説明】
２ ネットワーク
３ サーバ
４ 帳票
８ データベース
１０ 電子ペン
１１ プロセッサ
１２ メモリ
１３ トランシーバ
１４ バッテリー
１５ ＬＥＤ
１６ カメラ
１７ ペン先部
２５ 端末装置
５１ データ受信機能
５２ 位置データ・ストロークデータ取得機能
５３ テキスト変換機能
Claims (3)
- 記入欄を有する帳票に記入された内容を文字認識することなくテキストデータに変換する帳票記入内容テキスト化システムであって、
所定のドットパターンが印刷された帳票から光学的に前記ドットパターンを読み取ることによって、利用者が当該帳票に記入した内容に対応する記入データを取得し当該データを端末装置に送信する電子ペンと、
前記電子ペンから送信された記入データを受信しネットワークを介してサーバに送信する前記端末装置と、
前記端末装置から送信された記入データを受信し、当該記入データから利用者が前記帳票のどの位置に記入をしたのかを表す位置データと利用者が当該位置にどのようなマークを記入したのかを表すストロークデータとを取得し、変換テーブルを参照して、前記帳票の記入欄ごとに前記位置データと前記ストロークデータのマークとに対応づけられているテキストデータを読み出し、前記記入データを当該テキストデータに変換するサーバと、
を備えることを特徴とする帳票記入内容テキスト化システム。 - 前記帳票には、模式的な自動車の絵が印刷されており、
前記サーバの前記変換テーブルには、前記帳票における前記自動車の絵の各パーツごとに、その位置データとストロークのマークに対応して、自動車整備内容を示すテキストデータが設定されており、
前記サーバは、前記変換テーブルを参照し、前記記入データから取得された位置データとストロークデータのマークに基づき、前記記入データを読み出した自動車整備内容のテキストデータに変換することを特徴とする請求項１に記載の帳票記入内容テキスト化システム。 - 電子ペンにより読み取り可能なドットパターンと、パーツが規定された模式的な自動車の絵とが印刷されており、前記パーツ内に印刷されたドットパターンは、その位置データと当該位置に前記電子ペンにより記入されるストロークのマークとに対応して自動車整備内容のテキストデータが関連付けされていることを特徴とする自動車整備帳票。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002294193A JP4212863B2 (ja) | 2002-10-07 | 2002-10-07 | 帳票記入内容テキスト化システム及び自動車整備帳票 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002294193A JP4212863B2 (ja) | 2002-10-07 | 2002-10-07 | 帳票記入内容テキスト化システム及び自動車整備帳票 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004127199A JP2004127199A (ja) | 2004-04-22 |
| JP4212863B2 true JP4212863B2 (ja) | 2009-01-21 |
Family
ID=32284862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002294193A Expired - Fee Related JP4212863B2 (ja) | 2002-10-07 | 2002-10-07 | 帳票記入内容テキスト化システム及び自動車整備帳票 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4212863B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006146772A (ja) * | 2004-11-24 | 2006-06-08 | Dainippon Printing Co Ltd | 処理装置及びプログラム |
| JP4340901B2 (ja) * | 2004-12-24 | 2009-10-07 | 富士ゼロックス株式会社 | 画像情報処理システム、画像情報処理装置、画像情報処理方法、画像情報処理プログラム、記憶媒体 |
| JP4340900B2 (ja) * | 2004-12-24 | 2009-10-07 | 富士ゼロックス株式会社 | 画像情報処理システム、画像情報処理装置、画像情報処理方法、画像情報処理プログラム、記憶媒体 |
| JP5040071B2 (ja) * | 2005-06-01 | 2012-10-03 | 大日本印刷株式会社 | 勤務情報管理システム |
| KR100807778B1 (ko) | 2007-01-25 | 2008-02-28 | (주)셈투유 | 학습 보조 장치 |
| KR101125618B1 (ko) | 2009-12-31 | 2012-04-12 | (주)셈투유 | 다국어 기능을 갖는 학습 보조 장치 |
-
2002
- 2002-10-07 JP JP2002294193A patent/JP4212863B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004127199A (ja) | 2004-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4137566B2 (ja) | 電子ペン、帳票処理システム及び単位データ分割処理プログラム | |
| JP2004127197A (ja) | 受付システム、受付システムの端末装置、入力チェックプログラム、及び電子ペン用帳票 | |
| JP4770332B2 (ja) | 電子ペン用カード申込書 | |
| JP4212863B2 (ja) | 帳票記入内容テキスト化システム及び自動車整備帳票 | |
| JP4752565B2 (ja) | 電子ペン用帳票製造方法 | |
| JP4220206B2 (ja) | 手続システム及びそのサーバ装置、並びにコンピュータプログラム | |
| JP2004259009A (ja) | 電子ペン用帳票、電子ペン用帳票作成装置および汎用処理システム | |
| JP4276826B2 (ja) | 電子ペン用帳票、確認用データ提供システム、サーバ装置及び確認用データ取得プログラム | |
| JP4008753B2 (ja) | 電子ペン用帳票 | |
| JP4802801B2 (ja) | 電子ペン用帳票製造システム、サーバ、プログラム及び特定方法 | |
| JP3902163B2 (ja) | 関連帳票判定システム、電子ペン及びプログラム | |
| JP2004094419A (ja) | 電子ペン用用紙 | |
| JP4629303B2 (ja) | 計算処理システム、計算処理システムのサーバ装置、計算処理プログラム、及び電子ペン用帳票 | |
| JP4984590B2 (ja) | 電子ペン用帳票製造システム及びプログラム | |
| JP4802984B2 (ja) | 処理装置及びプログラム | |
| JP4087204B2 (ja) | 計算システム、計算プログラム及び計算帳票 | |
| JP2007066158A (ja) | サーバ、制御プログラム及び集計システム | |
| JP4362323B2 (ja) | 電子フォーム設計システム及びプログラム | |
| JP4725402B2 (ja) | 処理装置、プログラム及び電子ペン用複写帳票 | |
| JP4198964B2 (ja) | 帳票バージョン認識システム及び帳票バージョン認識処理プログラム、並びに、電子ペン用帳票 | |
| JP2005037990A (ja) | 項目特定システム及びプログラム | |
| JP4451075B2 (ja) | 訂正処理システムにおける訂正方法 | |
| JP4689491B2 (ja) | サーバ、利用者端末、処理システム及びプログラム | |
| JP4338571B2 (ja) | 動画作成システム及びプログラム | |
| JP4811228B2 (ja) | 処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080325 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081007 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081029 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111107 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121107 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131107 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |