JP4888428B2 - 電子筆記具及びプログラム - Google Patents
電子筆記具及びプログラム Download PDFInfo
- Publication number
- JP4888428B2 JP4888428B2 JP2008067650A JP2008067650A JP4888428B2 JP 4888428 B2 JP4888428 B2 JP 4888428B2 JP 2008067650 A JP2008067650 A JP 2008067650A JP 2008067650 A JP2008067650 A JP 2008067650A JP 4888428 B2 JP4888428 B2 JP 4888428B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- writing
- code image
- medium
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
また、特許文献2には、マウス機能モードと入力機能モードからなる入力ユニットの構成であって、画像を記録する画像記録装置と、前記画像を処理する信号処理装置とを備え、前記マウス機能モードと前記入力機能モードを実現するものにおいて、 前記入力ユニットの構成が、前記信号処理装置によって前記画像の1つで所定の位置符号化パターンが検出されると、前記入力機能モードから前記マウス機能モードに切り替えるよう構成されていることを特徴とする、入力ユニットの構成が開示されている。
請求項2に記載の発明は、前記条件変更部は、前記指定状態の場合の前記照射条件として、前記筆記状態の場合よりも、前記照射部による単位時間当たりの照射回数を減らし、かつ、前記媒体への照射範囲を広くすることを特徴とする請求項1に記載の電子筆記具である。
請求項3に記載の発明は、前記条件変更部は、前記指定状態の場合の前記復号条件として、前記筆記状態の場合よりも、復号の精度を高めることを特徴とする請求項1又は2に記載の電子筆記具である。
請求項4に記載の発明は、前記条件変更部は、前記筆記状態の場合の前記復号条件として、前記指定状態の場合よりも、復号の処理速度を速くすることを特徴とする請求項1又は2に記載の電子筆記具である。
請求項5に記載の発明は、前記光電変換部による出力を記憶する記憶部を更に含み、前記条件変更部は、前記筆記状態の場合の前記復号条件として、前記光電変換部による出力を前記記憶部に記憶し、かつ、当該記憶部に記憶されている当該出力を取得して復号することを特徴とする請求項1ないし4のいずれか1項に記載の電子筆記具である。
請求項6に記載の発明は、前記条件変更部は、前記筆記状態の場合の前記復号条件として復号の途中で中断し、かつ、復号途中のデータを外部へ送信することを特徴とする請求項1ないし5のいずれか1項に記載の電子筆記具である。
請求項8に記載の発明は、前記位置情報取得部により取得される位置情報を外部に送信する送信部を更に含み、前記条件変更部は、前記判断部による判断を基に前記送信部の送信条件を変更することを特徴とする請求項7に記載の電子筆記具である。
請求項9に記載の発明は、前記位置情報取得部により取得された前記位置情報を記憶する記憶部を更に含み、前記条件変更部は、前記判断部による判断を基に前記記憶部の記憶条件を変更することを特徴とする請求項8に記載の電子筆記具である。
請求項10に記載の発明は、前記条件変更部は、前記判断部により前記筆記状態であると判断されたときに、前記記憶条件として前記符号画像取得部により取得された前記符号画像を記憶し、かつ、前記位置情報取得条件として前記記憶部に記憶されている当該符号画像を基に位置情報を取得することを特徴とする請求項9に記載の電子筆記具である。
請求項11に記載の発明は、前記条件変更部は、前記判断部により前記筆記状態であると判断されたときに、前記記憶条件として前記位置情報取得部により取得された前記位置情報を記憶し、かつ、前記送信条件として当該記憶部に記憶されている当該位置情報を送信することを特徴とする請求項9に記載の電子筆記具である。
請求項12に記載の発明は、前記符号画像取得部により取得された前記符合画像及び前記位置情報取得部により取得された前記位置情報を外部に送信する送信部を更に含み、前記条件変更部は、前記判断部による判断を基に前記符号画像又は前記位置情報を送信する送信条件を変更することを特徴とする請求項7に記載の電子筆記具である。
請求項13に記載の発明は、前記送信部は、前記判断部による判断を外部に送信することを特徴とする請求項8ないし12のいずれか1項に記載の電子筆記具である。
請求項2によれば、指定状態の場合の照射部の照射条件を変更することで本発明を適用しない場合よりも消費電力を低減することが可能になる。
請求項3によれば、指定状態の場合の復号部の復号条件を変更することで本発明を適用しない場合よりも消費電力を低減することが可能になる。
請求項4によれば、指定状態の場合の復号部の復号条件を変更することで本発明を適用しない場合よりも消費電力を低減することが可能になる。
請求項5によれば、筆記状態の場合の復号部の復号条件を変更することで本発明を適用しない場合よりも消費電力を低減することが可能になる。
請求項6によれば、筆記状態の場合の復号部の復号条件を変更することで本発明を適用しない場合よりも消費電力を低減することが可能になる。
請求項7によれば、筆記状態と指定状態との間で電子筆記具の動作状態を変更することで本発明を適用しない場合に比べて消費電力を低減することが可能になる。
請求項8によれば、筆記状態と指定状態との間で送信部の送信条件を変更することで本発明を適用しない場合に比べて消費電力を低減することが可能になる。
請求項9によれば、筆記状態と指定状態との間で記憶部の記憶条件を変更することで
本発明を適用しない場合に比べて消費電力を低減することが可能になる。
請求項10によれば、筆記状態の場合の記憶部の記憶条件及び位置情報取得部の位置情報取得条件を変更することで本発明を適用しない場合よりも消費電力を低減することが可能になる。
請求項11によれば、筆記状態の場合の記憶部の記憶条件及び送信部の送信条件を変更することで本発明を適用しない場合よりも消費電力を低減することが可能になる。
請求項12によれば、筆記状態と指定状態との間で送信部の送信条件を変更することで本発明を適用しない場合に比べて消費電力を低減することが可能になる。
請求項13によれば、電子筆記具の動作状態に連携して外部の機器を動作させることが可能になる。
請求項14によれば、筆記状態と指定状態との間で電子筆記具の動作状態を変更することで本発明を適用しない場合に比べて消費電力を低減することが可能になる。
請求項15によれば、筆記状態と指定状態との間で電子筆記具の動作状態を変更することで本発明を適用しない場合に比べて消費電力を低減することが可能になる。
まず、本実施の形態における情報管理システムの全体構成について説明する。
図1は、本実施の形態の情報管理システムの構成の一例を示す図である。図1に示すように、この情報管理システムは、端末装置10と、情報管理装置の一例としての文書サーバ20と、情報管理装置の一例としての識別情報サーバ30と、画像形成装置40と、端末装置50とがネットワーク80に接続されることにより構成されている。また、端末装置50には、デジタルペン60が通信装置70を介して接続されている。
ここでの符号画像とは、識別情報および位置情報を符号化して得られる識別符号および位置符号を画像化したものである。識別情報とは、媒体を一意に特定するための情報であり、本実施の形態では識別情報サーバ30が発行する。また、位置情報は、媒体上の座標位置を特定するための情報であり、本実施の形態では文書サーバ20が生成する。
そして、文書画像と符号画像とが印刷された媒体に対し、ユーザがデジタルペン60を用いて筆記(手書き)すると、デジタルペン60は符号画像に含まれる情報の一例である位置情報に基づいて手書き情報(筆跡情報)を生成する。またそれと同時に、デジタルペン60は符号画像に含まれる情報の一例である識別情報を認識する。そして、認識された識別情報と筆跡情報とは、外部装置の一例である端末装置50を介して文書サーバ20に送られる。識別情報と筆跡情報とを受け取った文書サーバ20は、識別情報に基づいて媒体に印刷された電子文書を特定し、この特定された電子文書と筆跡情報とを関連付けて記憶する。
また、デジタルペン60には、筆跡情報を生成する代わりに、符号画像に含まれる位置情報と識別情報とを所定情報にリンクするための参照情報とする機能が設定されている。例えば、端末装置50に対して所定のウェブブラウザプログラムを開いて所定のウェブアドレス等にリンクさせるコマンドを生成させるための情報として位置情報および識別情報を用いる。その場合には、端末装置50は、位置情報と識別情報とに基づき所定のウェブアドレスにリンクし、所定情報を取得する。
また、本明細書において、「媒体」は、画像を印刷可能な媒体であれば、その材質は問わない。代表例は紙であるが、OHPシート等といったプラスチックシートや金属板等であっても構わない。
さらに、本明細書では、電子文書、媒体、さらにはデジタルペン60やユーザについて、それぞれを一意に識別するための識別情報を用いて処理を行うが、単に「識別情報」という場合には、媒体に関する識別情報を意味するものとする。すなわち、本実施の形態では、媒体に固有に付与される媒体識別情報の一例として、この識別情報を用いる。
端末装置10は、文書サーバ20に対して電子文書の印刷を要求するコンピュータ装置である。ここで、端末装置10としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
文書サーバ20は、電子文書を記憶し管理するコンピュータ装置である。また、端末装置10から電子文書の印刷要求があると、電子文書の画像と、識別情報および位置情報を表す符号画像とを生成し、これらを合成した合成画像を媒体に印刷する印刷命令を画像形成装置40に対して出力する。ここで、文書サーバ20としては、例えば、パーソナルコンピュータやワークステーション、その他のコンピュータが用いられる。
画像形成装置40は、媒体に画像を印刷し、印刷文書として出力する装置である。この画像形成装置40は、単体のプリンタや印刷機であってもよいし、他にスキャナや通信の機能を備えた所謂「複合機」であってもよい。ここで、画像形成装置40における画像形成方式としては、例えば、電子写真方式を用いるとよいが、その他の方式を用いてもよい。
また、端末装置50は、デジタルペン60から送られた位置情報と識別情報とに基づいて所定情報にリンクするコンピュータ装置でもある。端末装置50は、例えば、位置情報および識別情報から所定のウェブブラウザプログラムを開いて所定のウェブアドレス等にリンクさせるコマンドを生成する。そして、位置情報と識別情報とに基づき所定のウェブアドレスにリンクし、所定情報を取得する。
端末装置50は、デジタルペン60と例えばUSB(Universal Serial Bus)ケーブルで接続され、デジタルペン60との間で通信を行う。そして、デジタルペン60から識別情報、および筆跡情報または位置情報を取得する。ここで、デジタルペン60と端末装置50との間の通信の方式としては、USBケーブル等の有線方式の他に、Bluetooth(登録商標)、赤外線通信機能等の無線方式を用いてもよい。
まず、文書サーバ20の構成について説明する。
図2は、文書サーバ20の機能構成の一例を示すブロック図である。図2に示すように、文書サーバ20は、受信部21、識別情報取得部22、電子文書管理部23、筆跡情報管理部24及び文書/筆跡情報記憶部25を備える。また、文書サーバ20は、識別符号生成部27a、位置符号生成部27b、符号配置部27c、パターン画像記憶部27d及び符号画像生成部27eを備える。さらに、文書サーバ20は、文書画像生成部26、画像合成部28及び送信部29を備える。
識別情報取得部22は、受信部21から文書IDおよび印刷設定を取得し、これを送信部29に渡して識別情報の発行要求の送信を指示し、これを文書画像生成部26に渡して文書画像の生成を指示する。また、受信部21から媒体の識別情報を取得し、これを識別符号生成部27aに渡して識別符号の生成を指示する。
文書/筆跡情報記憶部25は、電子文書管理部23によって管理される電子文書と、筆跡情報管理部24によって管理される筆跡情報と、を記憶する。ここで、本実施の形態では、識別情報と電子文書と筆跡情報とを関連付けて記憶する記憶手段の一例として、文書/筆跡情報記憶部25を設けている。
位置符号生成部27bは、媒体上の座標位置を示す位置情報を符号化して位置符号を生成する。
符号配置部27cは、識別符号生成部27aにて生成された識別符号や、位置符号生成部27bにて生成された位置符号等を所定のレイアウト(後段の図3参照)に従って2次元平面に配置し2次元の符号配列を生成する。
パターン画像記憶部27dは、符号配列に格納される各符号の符号値に対応するパターン画像を記憶する。
符号画像生成部27eは、符号配置部27cが生成した2次元の符号配列を参照し、各符号値に対応したパターン画像を選択して符号画像を生成する。
画像合成部28は、符号画像生成部27eが生成した符号画像と、文書画像生成部26が生成した文書画像とを合成し、合成画像を生成する。
送信部29は、識別情報サーバ30に対して識別情報の発行要求を送信する。また、画像形成装置40に対して媒体に対する画像の印刷命令を送信する。さらに、筆跡情報の表示が指示された際には、識別情報サーバ30に対して識別情報と筆跡情報とを送信する。
図3は、符号画像を構成する画像等の一例を示す図である。まず、符号画像を構成する単位パターンについて説明する。図3の(a)は、単位パターンの一例を示すものである。
単位パターンとは、情報埋め込みの最小単位である。図3の(a)では、黒塗りの領域と斜線の領域をドット配置可能な領域とし、その間にある白色の領域をドット配置不可能な領域としている。そして、ドット配置可能な領域のうち、黒塗りの領域にドットが配置され、斜線の領域にはドットが配置されていないことを示している。すなわち、図3の(a)は、ドットを配置可能な9箇所の中から選択した2箇所(黒塗りの領域)にドットを配置することで単位パターンを構成した例を示すものである。ここで、9箇所の中から2箇所を選択する組み合わせは36(=9C2)通りなので、単位パターンは、36種類存在する。このうち、4種類の単位パターンは、同期パターンとして使用される。同期パターンとは、画像の回転を検出したり、識別符号および位置符号の相対的な位置を特定したりするためのパターンである。特に、画像の回転を検出する必要があることから、4種類の同期パターンとしては、そのうちの1つの同期パターンを90度回転するとそのうちの別の同期パターンになるようなものが選ばれる。また、この4種類の単位パターンを除く32種類の単位パターンは、識別符号および位置符号を表現する情報パターンとして使用され、5ビットの情報が表現される。
図3の(b)のレイアウトでは、符号ブロックの左上の1つの単位ブロックに、同期符号が配置されている。また、同期符号が配置された単位ブロックの右側の4つの単位ブロックにX位置符号が配置され、同期符号が配置された単位ブロックの下側の4つの単位ブロックにY位置符号が配置されている。さらに、これらの位置符号が配置された単位ブロックに囲まれた16(=4×4)個の単位ブロックに識別符号が配置されている。
識別情報を符号化する場合、識別情報を構成するビット列は、RS符号化を行うために複数のブロックに分割される。符号化には、いくつかの方法があるが、本実施の形態では、RS符号化が適している。RS符号は多値の符号法であり、この場合、単位ブロックで表現される値がRS符号の多値に対応するからである。例えば、1つの単位ブロックで5ビットの情報を表現する場合、60ビットの識別情報は、ブロック長が5ビットの12個のブロックに分割される。そして、2ブロックの誤りを訂正可能なRS符号を採用したとすると、符号長は16ブロックとなり、図3の(b)の符号ブロックにおける識別符号が配置される単位ブロックに収まることになる。なお、符号化方式はRS符号に限定するものでなく、その他の符号化方式、例えば、BCH符号等を使用してもよい。
位置情報の符号化には、擬似乱数系列の一種であるM系列符号が使用される。ここで、M系列とは、ある長さのシフトレジスタとフィードバックによって生成される符号系列とのうち、その周期が最長になる系列をいう。Kをシフトレジスタの段数とすると、M系列の系列長は2K−1となる。このM系列から取り出した任意の連続したKビットは、同じM系列中の他の位置に現れない性質を持つ。そこで、この性質を利用して位置情報を符号化する。
ところで、本実施の形態では、符号化すべき位置情報の長さから、必要なM系列の次数を求め、M系列を生成している。しかしながら、符号化する位置情報の長さが予め分かっている場合は、M系列を毎回生成する必要はない。すなわち、固定のM系列を予め生成しておき、それをメモリ等に格納しておけばよい。
例えば、系列長8191のM系列(K=13)を使用したとする。この場合、位置符号も5ビット単位で埋め込むため、系列長8191のM系列から5ビットずつ取り出してブロック化する。
図4は、識別情報サーバ30の機能構成の一例を示すブロック図である。図4に示すように、識別情報サーバ30は、受信部31、識別情報管理部32、識別情報記憶部33、表示情報生成部34及び送信部39を備える。
受信部31は、文書サーバ20から識別情報の発行要求を受信する。また、受信部31は、印刷文書に対する筆記が行われた際には、媒体の識別情報と筆跡情報とを端末装置50から受信する。ここで、本実施の形態では、端末装置50から媒体の識別情報と筆跡情報とを受信し、さらに筆跡情報の表示が指示された際に、文書サーバ20から媒体の識別情報と筆跡情報とを受信する受信手段の一例として、受信部31を設けている。
識別情報記憶部33は、識別情報を、その使用/未使用の状態、それが付与された媒体に印刷された電子文書の文書ID、それが付与された媒体に電子文書が印刷された際の印刷設定を関連付けて記憶するデータベースである。
表示情報生成部34は、筆跡情報の表示が指示された際に、文書サーバ20から取得した情報に基づいて、筆跡情報を表示するための表示情報を生成する。この表示情報としては、例えば、端末装置50で表示するイメージを生成する元となるデータを生成する。
図5は、デジタルペン60の構成を説明する図である。図5に示すように、デジタルペン60は、本体筐体68内部に、媒体に筆記を行う筆記部の一例としてのペンチップ64と、ペン全体の動作を制御する制御部61と、媒体上に赤外光を照射する照射部の一例としての赤外LED(Light Emitting Diode)62と、媒体からの反射光を検知することによって符号画像を読み取って符号画像を取得する符号画像取得部の一例及び光電変換部の一例としての赤外CMOS(Complementary Metal Oxide Semiconductor)63と、識別情報や筆跡情報、位置情報等を記憶したり赤外CMOS63による出力を記憶したりする記憶部の一例としての情報メモリ65と、外部装置と通信する通信部66と、を備えている。さらには、デジタルペン60は、デジタルペン60の各部を駆動するための電力を供給する充電可能なバッテリ67を備えている。
また、デジタルペン60は、外部に対して所定の情報を表示するための表示部Hを備えている。この表示部Hとしては、例えば青色や赤色等を発光するLEDで構成することが考えられる。
そして、赤外LED62、赤外CMOS63、情報メモリ65、通信部66、さらにはキャップスイッチSW1、筆圧検知スイッチSW2、ユーザスイッチSW3及び表示部Hは、制御部61に接続されている。
なお、赤外LED62を、互いに異なる波長の赤外光を出射する複数のLEDで構成することも考えられる。また、赤外LED62を、赤外光の照射方向が互いに異なる複数のLEDで構成することも考えられる。また、赤外LED62を、発光量を調整可能な1つのLEDで構成することも考えられる。
同図に示すように、赤外CMOS63は、赤外CMOSチップ631と、赤外CMOSチップ631と電気的に接続されるリードフレーム632と、これら赤外CMOSチップ631及びリードフレーム632とを樹脂モールドにて一体化するパッケージ部633とを備えている。
赤外CMOSチップ631には多数のフォトトランジスタ(光電変換素子)が縦方向及び横方向にマトリクス状に配列されている。そして、赤外CMOSチップ631では、受光データの出力をセル毎に選択する、所謂XYアドレス方式によって受光データの出力を行う。このため、赤外CMOS63は、ランダムアクセスの一機能である注視(ブロックアクセス)や解像度可変(スキップアクセス又はサブサンプリング)を行うことが可能である。すなわち、赤外CMOS63での読み取り範囲(撮像範囲)や解像度を変更することが可能である。具体的には、赤外CMOS63は、CMOS制御部617の制御により、各セルによる全受光データのうち、例えば第1受光領域634に設けられたセルの受光データや、例えば第1受光領域634よりも狭い第2受光領域635に設けられたセルの受光データが、任意に選択され出力される。また、赤外CMOSチップ631は、CMOS制御部617の制御により、セルによって構成される全ラインの受光データや、例えば1ラインおきに間引きを行った半分のラインの受光データが任意に選択され出力される。この場合において、前者の出力解像度が例えば600dpiであるとすると、後者の受光データの出力解像度は、前者の出力解像度の半分すなわち300dpiとなる。また、赤外CMOS63は、CMOS制御部617の制御により、隣り合う複数のセル例えば4つのセルを1画素の信号として出力する。
図7は、制御部61の機能構成の一例を示すブロック図である。同図に示すように、制御部61は、赤外CMOS63にて読み取った符号画像を処理し、また、情報メモリ65に一時的に格納した符号画像を読み出して処理する画像処理部611と、画像処理部611での処理結果から識別情報および位置情報を取得し、さらには筆跡情報を生成するデータ処理部612と、データ処理部612にて取得・生成された識別情報と筆跡情報または位置情報とを情報メモリ65または通信部66に出力する送信部の一例としての出力部613と、を備えている。付言すると、画像処理部611は、赤外CMOS63にて読み取った符号画像を画像処理することなく出力部613または情報メモリ65に送るように動作制御部616により制御される。また、データ処理部612は、処理途中の情報を出力部613に送るように動作制御部616により制御される。そして、出力部613は、そのように送られた画像処理部611又はデータ処理部612からの情報を情報メモリまたは通信部66に出力するように動作制御部616により制御される。
また、制御部61は、駆動信号を送信して赤外LED62を駆動する条件変更部の一例としての照明駆動部614と、動作制御部616からの指示を受けて所定周期の画像取込信号を生成して赤外CMOS63に送信することにより赤外CMOS63を制御する条件変更部の一例としてのCMOS制御部617と、を備えている。
画像処理部611及びデータ処理部612は、媒体に印刷された符号画像から所定の情報を取得する情報取得手段として機能する。
画像取得部611aは、赤外CMOS63により印刷文書から読み取られた符号画像をフレーム単位で取得する。また、必要に応じて、符号画像に含まれるノイズを除去する。
ドット配列生成部611bは、符号画像におけるドットの位置を参照して、1フレーム毎のドット配列を生成する。すなわち、2次元の配列上で、例えば、ドットがある位置に「1」を、ドットがない位置に「0」を記憶することにより、画像として検出したドットをデジタルデータに置き換える。そして、この2次元の配列をドット配列として出力する。
符号配列生成部612aは、ドット配列上で、符号ブロック内の単位パターンに対応するブロックを検出する。具体的には、単位パターンが配置されるブロックと同じ形状および大きさの枠をドット配列上で動かし、枠内のドット数が均等になる位置で枠を固定する。例えば、図3の(a)の単位パターンを用いる場合であれば、3ドット×3ドットに対応する大きさの枠を動かし、枠内に含まれるドット数が2となる位置で枠を固定する。そして、その枠で区切られた各ブロック内のドット位置から定まる符号値を格納した符号配列を生成する。また、この符号配列が生成されると、予め定められた同期符号の符号値を検索することによって、同期符号の位置が特定される。
位置情報取得部612cは、符号配列から同期符号の位置を基準にして位置符号を検出する。そして、位置符号からM系列の部分系列を取り出し、画像生成時に使用したM系列におけるこの部分系列の位置を参照し、この位置を同期符号によるオフセットで補正した値を位置情報として取得する。なお、オフセットで補正するのは、位置符号の間に同期符号が配置されているためである。
ここで、動作モードの「参照モード」での動作例としては、端末装置50に対して例えば所定のウェブブラウザプログラムを開いて特定情報が保存・記述されたウェブアドレス等にリンクさせるコマンドを生成させるための参照情報として、位置情報取得部612cにて取得した位置情報および識別情報取得部612bにて取得された識別情報を用いる。なお、「参照モード」において、位置情報および識別情報のいずれか一方だけを用いるように構成してもよい。
そのため、筆跡情報生成部612dは、「筆記モード」が設定されている場合に動作する。それに対して、「参照モード」が設定されている場合には、筆跡情報生成部612dは機能を停止し、位置情報取得部612cが取得した位置情報が出力部613に直接出力される。
その場合の「筆記モード」または「参照モード」のいずれが設定されているかは、動作制御部616からの制御信号によりデータ処理部612が知ることとなる。
なお、「筆記モード」および「参照モード」の双方において筆跡情報生成部612dを動作させ、位置情報から筆跡情報を生成してもよい。その際には、「筆記モード」が設定されている場合には筆跡情報はペンチップ64先端の軌跡を連結した筆跡情報としてそのまま使用される。また、「参照モード」が設定されている場合には筆跡情報は参照情報として使用される。
その場合に、画像処理部611等への電力供給の再開は、動作制御部616がキャップスイッチSW1、筆圧検知スイッチSW2およびユーザスイッチSW3からのオン/オフ状態に関する情報に基づき行う。
また、出力部613は、情報メモリ65から識別情報および筆跡情報を読み出し、通信部66に出力する。また、出力部613は、動作制御部616が設定した動作モードの情報を通信部66に出力する。動作モードの情報は、通信装置70を介して端末装置50に送信され、端末装置50では、デジタルペン60の動作モードに応じて表示したりアプリケーションを起動したりする。
なお、出力部613は、識別情報と、筆跡情報または位置情報とのいずれか一方を情報メモリ65または通信部66に出力するように構成してもよい。
画像処理部611では、画像取得部611aがこの読み取った符号画像を取得する。その際に、符号画像にノイズが含まれていれば、これを除去する。引き続いて、ドット配列生成部611bが、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、生成されたドット配列はデータ処理部612に送られる。
また、位置情報取得部612cが、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報を取得する。そして、「筆記モード」が設定されている場合には、位置情報取得部612cにて取得された位置情報は、筆跡情報生成部612dに送られ、筆跡情報生成部612dが、位置情報を連結して筆跡情報をフレーム毎に生成する。筆跡情報生成部612dにて生成された筆跡情報は、出力部613に送られる。一方、「参照モード」が設定されている場合には、位置情報取得部612cにて取得された位置情報は、そのまま出力部613に送られる。
また、「参照モード」が設定されている場合には、出力部613は、識別情報取得部612bが取得した識別情報と、位置情報取得部612cが取得した位置情報とを通信部66に出力する。識別情報および位置情報が通信部66に送られた場合には、識別情報および位置情報は情報メモリ65に記憶されることなく、通信装置70を介して端末装置50にそのまま送信される。
図8は、キャップスイッチSW1、筆圧検知スイッチSW2およびユーザスイッチSW3を説明する図であり、(a)はデジタルペン60にキャップ69が装着されていない状態、(b)はキャップ69が装着されている状態を示している。また、図9は、キャップ69の構造を説明する図であり、キャップ69がデジタルペン60に装着されている状態をキャップスイッチSW1の正面から見ているものである。
まず、デジタルペン60の側面部に配置されたキャップスイッチSW1は、図8の(a)に示すように、デジタルペン60にキャップ69が装着されていない場合には、デジタルペン60の側面から突出した状態に設定される。また、図8の(b)に示すように、キャップ69が装着された場合には、キャップ69の内周面により押されることで、キャップスイッチSW1はデジタルペン60の内部に収容された状態に設定される。ただし、図9に示すように、キャップ69の内周面の所定位置には溝部69cが形成されている。そのため、溝部69cがキャップスイッチSW1の配置位置に一致するようにキャップ69が装着された場合には、図8の(a)に示すキャップ69が装着されていない場合と同様に、デジタルペン60の側面から突出した状態に設定される。このように、デジタルペン60は、媒体に接触する部分として、筆記部の一例であるペンチップ64の場合(同図の(a)参照)又は指定部の一例であるペンチップカバー69b(同図の(b)参照)を選択することができるように構成されており、媒体に接触する部分を変えることができるように構成されている。
その場合に、図9に示すように、キャップ69の溝部69cは、キャップ69の円周方向に関して光透過窓69aの配置位置と一致する位置に形成されている。そのため、光透過窓69aと本体開口68aとが一致するようにキャップ69が装着された場合には、溝部69cがキャップスイッチSW1の配置位置に一致することとなり、キャップスイッチSW1はデジタルペン60の側面から突出した状態に設定される。すなわち、キャップ69が装着された場合でも媒体に印刷された符号画像を読み取ることができる状態に設定された際には、キャップスイッチSW1はデジタルペン60の側面から突出した状態に設定される。
一方、ペンチップ64は不図示の付勢バネによって筆圧検知スイッチSW2とは反対側に常時付勢されている。そのため、図8の(a)に示すキャップ69が装着されていない場合において、デジタルペン60による筆記動作が行われていない状態では、ペンチップ64は付勢バネによって本体筐体68から突出するような所定位置に設定される。そのため、筆記動作が行われていない状態では、筆圧検知スイッチSW2はペンチップ64からの圧力(筆圧)を受けないこととなる。その場合には、筆圧検知スイッチSW2は、動作制御部616に対してオフ状態にあることを表す信号「0」を出力する。
一方、キャップ69が装着された状態でデジタルペン60の先端部を媒体に押圧させない場合には、ペンチップ64はペンチップカバー69bからの押圧力を受けないので、付勢バネによって本体筐体68から突出するような所定位置に設定される。そのため、その場合には、筆圧検知スイッチSW2は、動作制御部616に対してオフ状態にあることを表す信号「0」を出力する。
一方、所定時間のオン状態が継続しない場合や、操作入力が行われていない状態にある場合には、動作制御部616に対してオフ状態であることを表す信号「0」を出力する。
図10は、各スイッチのオン/オフ状態と動作モードとの関係の一例を示す図である。まず同図において、キャップスイッチSW1がオフ状態(「0」)にある場合、すなわち、キャップ69が装着されていない(非装着の)場合、または溝部69cがキャップスイッチSW1の配置位置に一致するようにキャップ69が装着された場合について述べる。この場合に、筆圧検知スイッチSW2がオン状態(「1」)にある場合には、デジタルペン60は、ペンチップ64による筆記が行われているか、または溝部69cをキャップスイッチSW1と一致させたキャップ69の装着状態で媒体の符号画像が読み取られている状態にある。
そこで、この場合には、動作制御部616はユーザスイッチSW3の状態に基づき動作モードを設定する。すなわち、ユーザスイッチSW3がオフ状態(「0」)にある場合には、ユーザはペンチップ64による筆記についての筆記情報を生成して端末装置50に送信することを意図しているとして、動作制御部616は「筆記モード」を設定する。また、ユーザスイッチSW3がオン状態(「1」)にある場合には、ペンチップ64による筆記が行われているか、またはキャップ69の装着状態で媒体の符号画像が読み取られているかに拘わらず、ユーザは識別情報および位置情報を所定の情報にリンクするための参照情報として用いることを意図しているとして、動作制御部616は「参照モード」を設定する。
次に、ドット配列生成部611b、符号配列生成部612a、識別情報取得部612b及び位置情報取得部612cによりデコード(復号)が行われ、デコード結果として、ドキュメントID、X座標及びY座標を取得する。具体的に説明すると、ドット配列生成部611bが、符号画像に含まれるドット位置をデジタルデータ化し、ドット配列を生成する。そして、符号配列生成部612aが、ドット配列からブロックを検出し、ブロックごとの符号値を格納した符号配列を生成する。そして、符号配列において、同期符号の位置を特定する。その後、識別情報取得部612bが、同期符号の位置に基づいて識別符号を検出し、これを復号して識別情報(図中ではドキュメントIDと表示)を取得する。また、位置情報取得部612cが、同期符号の位置に基づいて位置符号を検出し、これを復号して位置情報(図中ではX座標及びY座標と表示)を取得し、筆跡情報生成部612dが、位置情報を連結して筆記情報としての筆記データを生成する。
こうして取得した識別情報及び筆跡データは、出力部613を介して通信部66に送信され、その後、通信部66により、通信装置70および端末装置50を介して識別情報サーバ30へ送信される。
同図に示すように、制御部61は、機能モジュールとして、デジタルペン60の動作制御を行うに際して予め定められた動作制御プログラム(ファームウェア)に従ってデジタル演算処理を実行する演算手段の一例としてのCPU(Central Processing Unit)101と、CPU101の作業用メモリ等として用いられるRAM(Random Access Memory)102と、CPU101により実行される処理プログラムや処理プログラムにて用いられる設定値等のデータ等が格納されるROM(Read Only Memory)103と、を備えている。また、制御部61は、書き換え可能で電源供給が途絶えた場合にもデータを保持できるEEROM(Electrically Erasable Read-Only Memory)やフラッシュメモリ等の不揮発性メモリ104と、制御部61に接続される各部との信号の入出力を制御するインターフェース部105と、を備えている。
また、外部記憶装置106には、制御部61により実行される動作制御プログラムが格納されており、制御部61がこの処理プログラムを読み込むことによって、デジタルペン60に関する動作制御が実行される。
図13は、動作モード変更の検出の際の第1の実施の形態に係る処理手順を示すフローチャートである。
同図に示すフローチャートでは、ユーザの操作に対応した信号を出力するキャップスイッチSW1、筆圧検知スイッチSW2及びユーザスイッチSW3のオン/オフ状態に基づき、動作制御部616は、動作モードの変更を検出し(ステップ101)、変更された動作モードが参照モードか否かを判断する(ステップ102)。すなわち、動作制御部616は、ユーザがデジタルペン60を用いて筆記として書いたのかリンクとして書いたのかをキャップスイッチSW1、筆圧検知スイッチSW2及びユーザスイッチSW3により判断する。なお、参照モードか筆記モードかの判断結果は、表示部Hに表示される。
かかるステップ103及びステップ107での動作状態の変更としては、撮影条件(符号画像取得条件)、デコード条件(位置情報取得条件)、送信条件及び記憶条件についての設定変更を行う。撮影条件としては、赤外LED62による照明範囲であり、また、赤外CMOS63による撮像範囲、解像度及びフレームレートである。デコード条件としては、画像処理部611及びデータ処理部612によるデコードの処理精度と処理速度である。送信条件としては、出力部613による出力制御である。記憶条件としては、情報メモリ65への記憶及び読み出しについての制御である。
本実施の形態では、そのような状況に対応するために、デジタルペン60で筆記モードと参照モードとによって処理を切り換えることで不要な電流の消費を抑え、処理装置も必要最小限とすることができ、サイズやコストを抑えつつも長時間の使用が可能な構成を提案するものである。
また、動作制御部616は、デコード条件として、処理速度よりも精度を優先したデコード処理に設定する。すなわち、動作制御部616は、画像処理部611及びデータ処理部612に対し、高精度なデコード処理を指示して、デコードの精度を高める。これにより、デジタルペン60によるユーザの指示情報を確実に読み取ることが可能になる。
また、動作制御部616は、送信条件及び記憶条件として、出力部613に対し、デコード結果(識別情報及び位置情報)を情報メモリ65に記憶することなくデコード結果の送信を直ちに行うように指示する(逐次送信の指示)。これにより、リアルタイムのフィードバックが可能になり、ユーザビリティ向上を図ることが可能になる。なお、参照モードでのデコード結果は、例えば情報メモリ65に既に筆記モードのデコード結果が記憶されていたとしても、速やかに送信されるように制御するのが好ましい。
また、動作制御部616は、デコード条件として、精度よりも処理速度を優先したデコード処理に設定して、デコードの処理速度を高める。すなわち、動作制御部616は、画像処理部611及びデータ処理部612に対し、精度を落とした高速のデコード処理を指示する。
また、動作制御部616は、送信条件及び記憶条件として、出力部613に対し、デコード結果をいったん情報メモリ65に記憶し、所定のタイミングで情報メモリ65から読み出し、記憶した順番にまとめて送信を行うように指示する。ここにいう所定のタイミングとしては、例えばデコード処理がすべて完了した時点や、情報メモリ65の記憶容量が残り少なくなった時点等が考えられる。
ここにいうデコード補正とは、各フレーム毎の筆跡情報生成時の誤差やユーザの筆記操作時の手振れ等を補正するために、筆跡情報座標位置を中心とする周辺の数個の筆跡情報を抽出し、抽出した複数の筆跡情報における位置座標を平均化した移動平均値を各筆跡情報における座標位置とする処理である。
図14は、動作モード変更の検出の際の第2の実施の形態に係る処理手順を示すフローチャートである。同図に示すフローチャートは、図13に示すフローチャートと共通する部分があるので、それらの説明については省略することがある。具体的には、図14のステップ201〜204は、図13のステップ101〜104にそれぞれ対応し、図14のステップ205〜210は、図13のステップ106〜111にそれぞれ対応する。
本実施の形態では、動作制御部616が、動作モードの変更を検出し(ステップ201)、変更された動作モードが参照モードであると判断すると(ステップ202)、デコード条件についての設定を行わない。この場合には、赤外CMOS63により撮像されると(ステップ204)、その画像をデコード処理することなく出力部613から外部への送信が行われる(ステップ205)。すなわち、デコード処理は、デジタルペン60ではなくて端末装置50で行われる。参照モードの場合には、撮影される画像は1枚ないし数枚であり、画像データ量は多くないことから、通常の通信方法が採用されているのであれば、そのまま転送しても問題がない。更に説明すると、デコード処理をデジタルペン60で行うよりも、デジタルペン60よりも処理能力が高い端末装置50で行う方が高精度に行うことが可能になり、デコード処理によるデジタルペン60のバッテリ67の消費を抑制することが可能になる。
Claims (15)
- 符号画像が印刷された媒体に筆記を行う筆記部と、
前記媒体に筆記を行わずに当該媒体上の位置を指し示すために用いる指定部と、
前記媒体に光を照射する照射部と、
前記照射部にて照射された光に対する前記媒体からの反射光を受光すると共に光電変換して前記符号画像を出力するための複数の光電変換素子からなる光電変換部と、
前記光電変換部により出力された前記符号画像を復号する復号部と、
前記筆記部での筆記により取得する前記符号画像により前記媒体上での筆跡を示す筆跡情報を取り出す筆記状態の場合と前記指定部により指し示された位置に対応する当該符号画像を取得して当該符号画像により当該媒体上での位置を示す位置情報を取り出す指定状態の場合とによって前記照射部による前記媒体への照射条件と前記光電変換部の出力条件と前記復号部の復号条件の少なくとも一つ以上を変更する条件変更部と、
を含み、
前記条件変更部は、前記指定状態の場合の前記出力条件として、前記筆記状態の場合よりも、前記光電変換部の単位時間当たりの出力回数を減らし、かつ、前記光電変換後に出力をする前記光電変換素子の数を多くすることを特徴とする電子筆記具。 - 前記条件変更部は、前記指定状態の場合の前記照射条件として、前記筆記状態の場合よりも、前記照射部による単位時間当たりの照射回数を減らし、かつ、前記媒体への照射範囲を広くすることを特徴とする請求項1に記載の電子筆記具。
- 前記条件変更部は、前記指定状態の場合の前記復号条件として、前記筆記状態の場合よりも、復号の精度を高めることを特徴とする請求項1又は2に記載の電子筆記具。
- 前記条件変更部は、前記筆記状態の場合の前記復号条件として、前記指定状態の場合よりも、復号の処理速度を速くすることを特徴とする請求項1又は2に記載の電子筆記具。
- 前記光電変換部による出力を記憶する記憶部を更に含み、
前記条件変更部は、前記筆記状態の場合の前記復号条件として、前記光電変換部による出力を前記記憶部に記憶し、かつ、当該記憶部に記憶されている当該出力を取得して復号することを特徴とする請求項1ないし4のいずれか1項に記載の電子筆記具。 - 前記条件変更部は、前記筆記状態の場合の前記復号条件として復号の途中で中断し、かつ、復号途中のデータを外部へ送信することを特徴とする請求項1ないし5のいずれか1項に記載の電子筆記具。
- 符号画像が印刷された媒体に筆記を行う筆記部と、
前記媒体に筆記を行わずに当該媒体上の位置を指し示すために用いる指定部と、
前記筆記部による筆記及び前記指定部による指定の際に前記媒体から読み取られた前記符合画像を取得する符号画像取得部と、
前記符号画像取得部により取得された前記符号画像から前記媒体上での位置を示す位置情報を取得する位置情報取得部と、
ユーザによる操作を基に、前記筆記部での筆記により取得する前記符号画像により前記媒体上での筆跡を示す筆跡情報を取り出す筆記状態であるか前記指定部により指し示された位置に対応する当該符号画像を取得して当該符号画像により当該媒体上での位置を示す位置情報を取り出す指定状態であるかの判断をする判断部と、
前記判断部による判断を基に前記符号画像取得部による符号画像取得条件と前記位置情報取得部による位置情報取得条件の少なくとも一つを変更する条件変更部と、
を含む電子筆記具。 - 前記位置情報取得部により取得される位置情報を外部に送信する送信部を更に含み、
前記条件変更部は、前記判断部による判断を基に前記送信部の送信条件を変更することを特徴とする請求項7に記載の電子筆記具。 - 前記位置情報取得部により取得された前記位置情報を記憶する記憶部を更に含み、
前記条件変更部は、前記判断部による判断を基に前記記憶部の記憶条件を変更することを特徴とする請求項8に記載の電子筆記具。 - 前記条件変更部は、前記判断部により前記筆記状態であると判断されたときに、前記記憶条件として前記符号画像取得部により取得された前記符号画像を記憶し、かつ、前記位置情報取得条件として前記記憶部に記憶されている当該符号画像を基に位置情報を取得することを特徴とする請求項9に記載の電子筆記具。
- 前記条件変更部は、前記判断部により前記筆記状態であると判断されたときに、前記記憶条件として前記位置情報取得部により取得された前記位置情報を記憶し、かつ、前記送信条件として当該記憶部に記憶されている当該位置情報を送信することを特徴とする請求項9に記載の電子筆記具。
- 前記符号画像取得部により取得された前記符合画像及び前記位置情報取得部により取得された前記位置情報を外部に送信する送信部を更に含み、
前記条件変更部は、前記判断部による判断を基に前記符号画像又は前記位置情報を送信する送信条件を変更する請求項7に記載の電子筆記具。 - 前記送信部は、前記判断部による判断を外部に送信することを特徴とする請求項8ないし12のいずれか1項に記載の電子筆記具。
- 符号画像が印刷された媒体に筆記を行う筆記部と、当該媒体に筆記を行わずに当該媒体上の位置を指し示すために用いる指定部と、を備える電子筆記具のコンピュータに、
前記媒体に照射する光を制御する照射制御機能と、
前記照射制御機能による制御により照射された光に対する前記媒体からの反射光を受光すると共に光電変換して前記符号画像を出力するための複数の光電変換素子を制御する光電変換制御機能と、
前記光電変換制御機能により出力された前記符号画像を復号する復号機能と、
筆記により取得する前記符号画像により前記媒体上での筆跡を示す筆跡情報を取り出す筆記状態の場合と前記指定部により指し示された位置に対応する当該符号画像を取得して当該符号画像により当該媒体上での位置を示す位置情報を取り出す指定状態の場合とによって前記照射制御機能による前記媒体への照射条件と前記光電変換制御機能の出力条件と前記復号機能の復号条件の少なくとも一つ以上を変更する条件変更機能と、
を実現させるプログラム。 - 符号画像が印刷された媒体に筆記を行う筆記部と、当該媒体に筆記を行わずに当該媒体上の位置を指し示すために用いる指定部と、を備える電子筆記具のコンピュータに、
前記筆記部による筆記及び前記指定部による指示の際に前記媒体から読み取られた前記符合画像を取得する符号画像取得機能と、
前記符号画像取得機能により取得された前記符号画像から前記媒体上での位置を示す位置情報を取得する位置情報取得機能と、
ユーザによる操作を基に、前記筆記部での筆記により取得する前記符号画像により前記媒体上での筆跡を示す筆跡情報を取り出す筆記状態であるか前記指定部により指し示された位置に対応する当該符号画像を取得して当該符号画像により当該媒体上での位置を示す位置情報を取り出す指定状態であるかの判断をする判断機能と、
前記判断機能による判断を基に前記符号画像取得機能による符号画像取得条件と前記位置情報取得機能による位置情報取得条件の少なくとも一つを変更する条件変更機能と、
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008067650A JP4888428B2 (ja) | 2008-03-17 | 2008-03-17 | 電子筆記具及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008067650A JP4888428B2 (ja) | 2008-03-17 | 2008-03-17 | 電子筆記具及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009223631A JP2009223631A (ja) | 2009-10-01 |
JP4888428B2 true JP4888428B2 (ja) | 2012-02-29 |
Family
ID=41240332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008067650A Active JP4888428B2 (ja) | 2008-03-17 | 2008-03-17 | 電子筆記具及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4888428B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5533273B2 (ja) * | 2010-05-31 | 2014-06-25 | ブラザー工業株式会社 | 電子筆記具及び電子筆記システム |
JP5776448B2 (ja) * | 2011-08-30 | 2015-09-09 | 富士ゼロックス株式会社 | 情報処理装置、撮像装置及びプログラム |
CN112506360A (zh) * | 2020-11-21 | 2021-03-16 | 陈颖 | 一种常规纸质书写作业或试卷的智能识别及批改方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4821716B2 (ja) * | 2007-06-27 | 2011-11-24 | 富士ゼロックス株式会社 | 電子筆記具、キャップ、コンピュータシステム |
-
2008
- 2008-03-17 JP JP2008067650A patent/JP4888428B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2009223631A (ja) | 2009-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101960412B (zh) | 用于数字记录信息的数字笔和方法 | |
JP4973310B2 (ja) | 電子筆記具、コンピュータシステム | |
AU758036B2 (en) | Input unit, method for using the same and input system | |
JP5228889B2 (ja) | 読取装置 | |
CN1855013A (zh) | 用于识别数据输入终止的系统和方法 | |
JP4888428B2 (ja) | 電子筆記具及びプログラム | |
CN103488279A (zh) | 可根据环境颜色变换色彩的输入系统、装置与方法 | |
JP2009181514A (ja) | 筆跡情報生成装置、プログラムおよび筆跡情報管理システム | |
JP2009181507A (ja) | 電子筆記具 | |
KR101512082B1 (ko) | 전자펜의 모드 전환시스템 및 방법 | |
JP2009181521A (ja) | 筆跡情報生成装置、プログラムおよび筆跡情報管理システム | |
US20110037700A1 (en) | Computer accessory device | |
JP5186935B2 (ja) | 筆跡情報管理システムおよび筆跡情報生成装置 | |
JP2009237808A (ja) | 電子筆記具、画像読み取り装置及びプログラム | |
JP5130930B2 (ja) | 電子筆記具 | |
JP2009237769A (ja) | 筆跡情報生成装置および筆跡情報管理システム | |
JP5181700B2 (ja) | 筆跡情報生成装置、プログラムおよび筆跡情報管理システム | |
JP2010141525A (ja) | 読取装置 | |
JP2009237825A (ja) | 筆跡情報生成装置および筆跡情報管理システム | |
JP2009181516A (ja) | 筆跡情報生成装置、プログラムおよび筆跡情報管理システム | |
JP2010160744A (ja) | 読取装置 | |
US20240005117A1 (en) | Systems and Methods for Encoding Hardware-Calculated Metadata into Raw Images for Transfer and Storage and Imaging Devices | |
US10242240B1 (en) | Decoded imaging engine using standard un-decoded engine interface | |
JP4475275B2 (ja) | 画像読取装置、及び、画像読取方法、並びに、スイープ型指紋読取装置 | |
JP2014035557A (ja) | 電子ペンおよび電子ペン入力システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101028 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20101102 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101221 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110823 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110930 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20111025 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111128 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4888428 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |