JP5030692B2 - システム - Google Patents

システム Download PDF

Info

Publication number
JP5030692B2
JP5030692B2 JP2007183398A JP2007183398A JP5030692B2 JP 5030692 B2 JP5030692 B2 JP 5030692B2 JP 2007183398 A JP2007183398 A JP 2007183398A JP 2007183398 A JP2007183398 A JP 2007183398A JP 5030692 B2 JP5030692 B2 JP 5030692B2
Authority
JP
Japan
Prior art keywords
metadata
image data
user
plug
queue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007183398A
Other languages
English (en)
Other versions
JP2009021861A (ja
JP2009021861A5 (ja
Inventor
隆 阿久津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2007183398A priority Critical patent/JP5030692B2/ja
Publication of JP2009021861A publication Critical patent/JP2009021861A/ja
Publication of JP2009021861A5 publication Critical patent/JP2009021861A5/ja
Application granted granted Critical
Publication of JP5030692B2 publication Critical patent/JP5030692B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Facsimiles In General (AREA)

Description

本発明は、原稿の画像データを生成するスキャナ装置等に関し、特に、画像データからメタデータを生成するスキャナ装置、クライアントサーバシステム、スキャナジョブの校正方法、プログラム及び記憶媒体に関する。
図13は、スキャナ装置でスキャンした画像データを、ネットワークを介して端末に配信するスキャナシステムの概略構成図を示す。このようなスキャナシステムでは、スキャナ装置によるスキャン結果を端末の画面上などで確認しないとスキャン条件が適切であったかどうかや画質等を確認できないという問題がある。そこで、この点に関し、スキャン実行後、画像データを端末に送信する前に、ユーザに事前確認させる技術が提案されている(例えば、特許文献1参照。)。
特許文献1記載の技術は、印刷機能付きスキャナ装置を用いて、スキャンジョブに含まれる情報を含む校正シートを印刷する。ユーザはこの校正シートにより画質とスキャン条件をチェックして画像データを承諾するか否かを選択でき、承諾を選択すると画像データがネットワークを介して送信される。
特開2005−260934号公報
しかしながら、特許文献1記載のスキャン方法では次のような問題がある。
a)まず、スキャナ装置が印刷機能を持っているとは限らないので、印刷機能のないスキャナ装置では校正シートを印刷することができない。また、印刷機能を持っていても、校正シートを印刷すること自体、電力や用紙の無駄を生じさせる。
b)校正シートの紙面生成等にソフトウェアが必要となるので、その実行のための処理能力を備えたコンピュータを有していなければ実現できず、かかるコンピュータを新たに搭載すればコスト高をもたらす。
c)文書配信サーバは、複数のスキャナ装置からのスキャンジョブを処理するため、特許文献1のようなスタンドアロン構成(すべての処理を自分で行なう)では、スキャンジョブのキューイングと優先処理が実現できない。
d)特許文献1では、ユーザが承諾を選択しない場合、スキャン条件等を変更して再度スキャンする必要があるが、再スキャンでは訂正できない問題を解決できない。例えば、画像データから文字を抽出するOCR(光学文字認識)技術などは、原稿やスキャニング・パラメータを変更しても読み取り精度が改善されない場合がある。
したがって、特許文献1記載の技術によるメリットは、端末に送信する前に「再スキャンの実行/ジョブのキャンセルが選択できる」ことのみであり、画像データを修正するには再度スキャンする必要があり、さらに言えば、再スキャンで修正可能な箇所しか訂正できない。また、特許文献1記載の技術のように画像データの修正のために再度スキャンするのではユーザにとって面倒である。
本発明は、上記課題に鑑み、再度スキャンすることなく、スキャンされた画像データの加工結果をユーザがチェック可能なスキャナ装置、クライアントサーバシステム、スキャナジョブの校正方法、プログラム、及び、記憶媒体、を提供することを目的とする。
上記課題に鑑み、本発明は、複合機とサーバがネットワークを介して接続されたシステムにおいて、前記サーバは、前記複合機から受信した前記画像データを記憶する画像データ記憶手段と、前記画像データからメタデータを生成するメタデータ生成手段と、前記メタデータを記憶する中間データ記憶手段と、情報処理装置から前記メタデータの確認要求を受け付けた場合、前記中間データ記憶手段に記憶した前記メタデータを前記情報処理装置に送信するメタデータ送信手段と、該情報処理装置から修正後の前記メタデータを受信した場合、前記中間データ記憶手段に記憶されている前記メタデータを修正し、前記画像データ記憶手段に記憶された前記画像データと共に外部のコンピュータに配信する配信手段と、を有することを特徴とする。
また、本発明の一形態において、当該システムはさらに前記複合機と通信可能な情報処理装置を有し、前記情報処理装置は、前記メタデータの生成、画像データのデータフォーマットの変換、並びに、画像データ及び前記メタデータの電子メールによる送信、を前記サーバが行うか否かを各処理毎に設定し、ユーザIDに対応づけられた処理フローを生成する処理フロー設定手段を有する、ことを特徴とする。
また、本発明の一形態において、前記画像データ記憶手段は、前記メタデータの抽出対象となる前記画像データが記憶される第1のキューと、前記メタデータの抽出対象とならない前記画像データが記憶される第2のキューを有し、前記メタデータ生成手段は、前記第1のキューに前記画像データが記憶されている場合、前記配信手段が前記第2のキューに記憶された前記第1のキューの前記画像データよりも古い前記画像データを配信するよりも先に、前記第1のキューの前記画像データから前記メタデータを生成する、ことを特徴とする。
本発明によれば、複合機においてメタデータを修正できるので、再スキャンする必要がない。本発明によれば、画像データとメタデータをユーザのPCに取り込むことができる。
また、本発明の一形態において、前記複合機は、前記メタデータ生成手段を有し、前記メタデータ生成手段を構成する複数のプラグインには、予め前記メタデータを表示するか否かが設定されている、ことを特徴とする。
本発明によれば、ユーザが特別な操作しなくてもメタデータが表示されるので、ユーザによるフロー設計が容易になる。
また、本発明の一形態において、前記複合機は、ユーザの操作を受け付けて前記メタデータを表示するか否かを決定する、ことを特徴とする。
本発明によれば、メタデータを生成しても表示することなく、配信までの処理を短期化することができる。
また、本発明の一形態において、 前記複合機は、ユーザの操作を受け付けて前記メタデータを表示するか否かを決定する、ことを特徴とする。
本発明によれば、ユーザは生成したいメタデータを任意に選択でき、さらに、表示する(チェックする)メタデータを任意に選択することができる。
また、本発明の一形態において、前記メタデータ生成手段は、生成する前記メタデータが予め設定されている複数のプラグインにより構成されており、前記プラグインは、表示した生成可能な前記メタデータの一覧から、ユーザによる選択を受け付けた前記メタデータを生成し、前記メタデータを表示する、ことを特徴とする。
再度スキャンすることなく、スキャンされた画像データの加工結果をユーザがチェック可能な複合機、システム、及び、プログラム、を提供することができる。
以下、本発明を実施するための最良の形態について図面を参照しながら説明する。
図1は、スキャナ装置100がネットワーク103を介して文書管理サーバ200と接続されたスキャナシステム50の概略構成図を示す。
本実施例のスキャナ装置100は、原稿をスキャンして得られた画像データからメタデータを生成すると共に表示部に表示して、ユーザがスキャナ装置100にてメタデータを修正できることを特徴とする。メタデータは例えば、画像データにOCR(Optical Character Reader)を施し、中間データとして得られたテキストデータから抽出された文書名である。すなわち、中間データのテキストデータから抽出した一部(又は全部であってもよい)のテキストデータがメタデータである。なお、以下では、画像データとメタデータのように一回のスキャンに伴うデータをまとめてスキャンデータという場合がある。
複数のスキャナ装置100は、主にスキャナ機能を提供する装置であってもよいし、複写機能、ファクシミリ機能を備えている装置でもよく、また、デジタル複合機(MFP)であってもよい。スキャナ装置100でスキャンした画像データ及び生成されたメタデータは、文書管理サーバ200に送信される。文書管理サーバ200は、これらを蓄積して管理したりさらにユーザのPC(パーソナルコンピュータ)104に配信する。
スキャナ装置100は、単体でもメタデータの生成、修正及び配信の処理を完結できるが、ネットワーク103に接続された外部コンピュータ101と外部コンピュータ102がこれらの処理を支援することができる。ネットワーク103は、LAN、WAN、インターネット等のであり、TCP/IPなど所定のプロトコルで接続されている。
〔スキャナ装置100がメタデータを生成する構成〕
図2は、スキャナ装置100の機能ブロック図の一例を示す。スキャナ装置100は、スキャナエンジン11と演算装置16等がバスを介して接続されている。スキャナエンジン11は、主走査方向に光電変換素子が1列に並んだラインセンサが副走査方向に原稿をスキャンして各画素を所定の輝度階調で表すデジタルデータに変換する。操作部12は、ユーザからの操作を入力するキーボード、ポインティングデバイス、表示部14と兼用されたタッチパネル等である。NIC(Network Interface Card)13は、所定のプロトコルでネットワーク103に接続するためのインターフェースであり、例えばLANカードである。表示部14は、液晶ディスプレイ等で構成されたユーザインターフェースであり、スキャン条件、動作状況、操作メニュー、エラーメッセージ等を表示する。そして本実施例では、表示部14にメタデータを表示することを特徴とする。
記憶装置15はハードディスクドライブ、フラッシュメモリ等、不揮発性メモリであり、画像データ、OS、プログラム、ファイル等を記憶している。本実施例では、メタデータ生成プログラム17P、メタデータ表示制御プログラム18P、メタデータ修正プログラム19P、配信プログラム21P及び管理ツールプログラム30Pを記憶していると共に、各種のプラグインプログラム20Pを記憶している。これらのプログラムは記憶媒体9に記憶して配布されたり、また、ネットワーク103を介してダウンロードされる。
演算装置16は、OS、種々のプログラム、などを記憶装置15からロードして実行して種々の機能を提供すると共に、スキャナ装置100が行う処理を統括的に制御する。本実施例では、メタデータ生成プログラム17Pを演算装置16が実行することでメタデータ生成部17が実現され、メタデータ表示制御プログラム18Pを演算装置16が実行することでメタデータ表示制御部18が実現され、メタデータ修正プログラム19Pを演算装置16が実行することでメタデータ修正部19が実現され、配信プログラム21Pを演算装置16が実行することで配信部21、が実現される。また、プラグインプログラム20Pを演算装置16が実行することでプラグイン20が実現される。
なお、プラグインプログラム20Pを実行することで実現されるプラグイン20は複数ある。これらについては後述するが、プラグイン20は、例えば、OCR処理して文書名を抽出する機能、画像データのフォーマット(tiff、Jpeg、Gif等)からPDF(Portable Document File)に変換する機能、画像データを電子メールに添付して送信する機能、画像データとメタデータを文書管理サーバ200に登録する機能、配信する機能、等である。これらのプラグイン20は、後述する管理ツール部プログラム30Pを用いてユーザがカスタマイズできるようになっている。
メタデータ生成部17は、スキャナエンジン11が生成した画像データからメタデータを生成する。メタデータ生成部17は、例えば、OCRにより画像データに含まれる文字を認識し、中間データとしてのテキストデータから所定の文字列を抽出しメタデータとする。例えば、文書名をメタデータとする場合、最初のスキャン頁のうち「文字サイズが他より大きい文字列、中央にセンタリングされている」等の特徴のある文字列をメタデータとする。また、例えば、原稿32の「キーワード」をメタデータとする場合、文書内に何度も登場する名詞をメタデータとする。
また、原稿32のうちユーザが指定した箇所、又は、ユーザが読み取り位置を指定したその位置にあるテキストデータをメタデータとすることができる。
また、原稿32をOCR処理するのでなく、帳票識別(罫線による枠組みを認識)してメタデータを生成してもよい。原稿32が帳票である場合、帳票に書き込まれた全ての情報がメタデータとなりうるし、帳票のうちユーザが指定した箇所(例えば、記入者名、社員コード)をメタデータに指定することができる。
このように、メタデータの内容は適宜設定できるものであり、メタデータ生成部17は設定されたメタデータ及びその特徴に基づきメタデータを生成する。生成したメタデータに付与する名称(例えば文書名)は、商品名や伝票番号などユーザが識別しやすい適切な名称を付けることができる。なお、メタデータを文書名とした場合は、通常、メタデータは1つであるし、キーワードとした場合は、メタデータが複数となることがあるように、メタデータの数は複数ページに及ぶ場合がある1つの原稿32に対し1以上である。
メタデータ表示制御部18はメタデータを表示部14に表示し、メタデータ修正部19はユーザが修正したメタデータにより修正前のメタデータを上書き保存する。配信部21は、メタデータ及び画像データを文書管理サーバ200やユーザのPC104に配信する。
なお、メタデータ生成部17、メタデータ表示制御部18、メタデータ修正部19及び配信部21をプラグイン20により実現してもよい。例えば、OCRを実行するプラグイン20と所定の文字列を抽出するプラグイン20を、演算装置16が呼び出すことでメタデータ生成部17を実現することができる。
また、プラグイン20が生成したメタデータを表示するか否かは、予めプラグイン20に設定されている。したがって、あるプラグイン20により生成されたメタデータは必ず表示部14に表示されユーザが確認することができ、また、あるプラグイン20により生成されたメタデータは表示部14に表示されることなく配信される。
また、メタデータを表示部14に表示するか否かをユーザが設定してもよい。例えば、ユーザは操作部12からメタデータを表示及び修正するか否かを設定する設定モードを呼び出し、メタデータを表示しないように設定することで、生成されたメタデータを表示しないように設定することができる。
同様にして、プラグイン20が生成するメタデータ(文書名なのか、キーワードなのか)はプラグイン毎に設定されていてもよいし、ユーザがスキャナ装置100に直接的又は関節的に設定してもよい。プラグイン毎に設定されている場合、起動するプラグイン20により生成されるメタデータも自動的に決定され、ユーザが設定する場合は所望のメタデータを生成できる。
〔外部コンピュータ101がメタデータを生成する構成〕
メタデータ生成部17をスキャナ装置100が実行するのでなく、別の外部コンピュータ101により実現されてもよい。図3は、スキャナ装置100とネットワーク103を介して接続された外部コンピュータ101の機能ブロック図の一例を示す。外部コンピュータ101は、RAM41、ROM42、キーボードなどの入力装置43、NIC44、ディスプレイの表示を制御する表示制御部45、記憶装置46及びCPU47を有する。そして、CPU47が記憶装置46に記憶されたメタデータ生成プログラム17Pを実行することで、メタデータ生成部17が実現される。なお、図3のような形態でも、メタデータ生成部17をプラグイン20により実現できる。
外部コンピュータ101のメタデータ生成部17は、ネットワーク103を介して画像データを受信し、メタデータを生成する。生成されたメタデータはネットワーク103を介してスキャナ装置100に送信され、ユーザにて修正された後、外部コンピュータ101に送信される。そして、外部コンピュータ101が文書管理サーバ200に画像データとメタデータを配信する。
なお、外部コンピュータ101ではメタデータの生成のみを実行し、ユーザによる修正、画像データ及びメタデータの配信はスキャナ装置100にて実行してもよい。
〔スキャナ装置100等の処理フローのカスタマイズ〕
スキャナ装置100又は外部コンピュータ101の処理はメタデータの生成だけであるとは限らず、また、複数の処理が可能であってもそれを固定すると各ユーザの嗜好に対応できず好ましくない。そこで、本実施例では、スキャナ装置100又は外部コンピュータ101の処理フローをカスタマイズできるようになっている。図1では、カスタマイズするため外部コンピュータ102がスキャナ装置100に接続されているが、これはPC104又は外部コンピュータ101と兼用してもよい。
図4は、スキャナ装置100とネットワーク103を介して接続された外部コンピュータ102の機能ブロック図の一例を示す。なお、図4において図3と同一構成には同一の符号を付しその説明は省略する。
カスタマイズの機能は、管理ツールプログラム30PをCPU47が実行して実現される管理ツール部30により提供される。管理ツールプログラム30Pは、スキャナ装置100の記憶装置15又は記憶装置46に記憶されており、スキャナ装置100の記憶装置15に記憶されている場合は、外部コンピュータ102にダウンロードされてから実行される。
管理ツール部30は、スキャン装置100の記憶装置46に記憶されているプラグインプログラム20Pの一覧を取得し、どのプラグインプログラム20を使用するか、また、その順番などをユーザが決定することを支援する。
管理ツール部30について説明する。図5(a)は、外部コンピュータ102と接続されたディスプレイに表示される管理ツール部30が表示するGUI(Graphical User Interface)の一例を示す。メタデータ生成部17や種々の機能をプラグイン20により実現することで、スキャン装置100の処理手順や機能を固定化することなく、ユーザがカスタマイズしやすくすることができる。
ユーザが管理ツールプログラム30Pを記憶装置15からダウンロードしたり、記憶装置46の管理ツールプログラム30Pを起動すると、図5のような現在のスキャナ装置100の処理手順が表示される。「文書名抽出」ボックス33は、画像データから文書名を抽出する機能を意味する。この機能を実現するプラグインプログラム(例えば文書名抽出プログラム)20Pは、画像データの先頭ページにOCRを実行し、文書名に相応しいと思われる文字列を自動抽出する。また、抽出された文字列を、「文書名」という名前の付いたメタデータとして記憶装置15に格納する。
上述のように、プラグイン毎に生成するメタデータが予め設定されている場合、「文書名抽出」ボックス33の他に、例えば「商品番号」「発注個数」を生成するプラグイン20を「文書名抽出」ボックス33に続けて配置する処理フローを作成することができる。
図5(b)は、生成するメタデータと表示するメタデータをユーザがそれぞれ選択する表示画面の一例を示す。例えば、管理ツール部30は、スキャナ装置100又は外部コンピュータ101に導入されている全てのプラグイン20から、それぞれのプラグイン20が生成できるメタデータの一覧を作成し表示する。ユーザは生成したいメタデータのチェックボックスにチェックを入れることで選択する。これにより、管理ツール部30は、「生成」にチェックされたプラグイン20を処理フローに反映させる。
また、ユーザは表示するメタデータを選択することができる。ここで、「商品番号」はバーコードにて読み取られるので誤認識の可能性がなく、「文書名」と「発注個数」はOCRにより認識されるので誤認識の可能性があるとすると、ユーザがメタデータが正しく生成されたか否かをスキャナ装置100で確認したいのは、「文書名」と「発注個数」だけである。図5(b)に示すように、ユーザは表示したいメタデータのチェックボックスにチェックを入れることで選択する。管理ツール部30は「表示」にチェックされたメタデータのみを表示するよう処理フロー上に設定する。
「文書管理へ登録」ボックス34は、文書管理サーバ200へ画像データとメタデータを登録する機能を意味する。この機能を実現するプラグインプログラム(例えば文書登録プログラム)20Pは、文書管理サーバ200(例えばソフトウェアのデータベース、さらに配信機能を備えていてもよい)へ、画像データとメタデータを登録する。
「PDF変換」ボックス35は、画像データをPDFフォーマットに変換する機能を意味する。この機能を実現するプラグインプログラム(例えばPDF変換プログラム)20Pは、画像データ(スキャナ装置100が生成するTIFFやJPEGフォーマット)を、PDFというフォーマットのデータに変換する。
「メール」ボックス36は、画像データをメール本文に添付して送信する機能を意味する。この機能を実現するプラグインプログラム(例えばメールプログラム)20Pは、画像データをメール本文に添付して送信する。図5の処理手順では、PDFに変換された画像データがメールに添付される。
このように、スキャン装置101は、機能の異なるプラグイン20を提供することができる。
1.メタデータの生成に関与するプラグイン
2.画像データを加工するプラグイン
3.画像データやメタデータを、配信先へ転送するプラグイン
ユーザは、スキャナ装置100がプラグインプログラム20Pにて提供する機能をカスタマイズできる。例えば、マウスにより各ボックスを選択し、ドラッグすることで配置を変更したり、選択後削除することで不要な機能を省略できる。
処理フローはユーザ毎に定義できる。管理ツール部30は、ユーザの所定の操作により処理フローを外部コンピュータ102からスキャン装置100に送信する。スキャン装置100の演算装置16は、受信した処理フローを例えばユーザIDに対応づけて記憶装置15に記憶する。したがって、スキャン装置100は、記憶している処理フローに従いプラグイン20を起動して処理すればよいことになる。
〔メタデータ、メタデータの修正例〕
続いて、本実施例のメタデータ校正方法の手順を説明する。ここでは、スキャナ装置100がメタデータを生成するものとする。図6は、メタデータの校正に伴い表示部14に表示されるメタデータの遷移を示す遷移図である。
St10:スキャナ装置100は待機状態で、スキャンするユーザのために「原稿をセットしてください」と表示している。ユーザがスタートキー31を操作すると、演算装置16がスキャナエンジン11を制御して、原稿32の読み取りを開始する。なお、スタートキー31にはLEDが内蔵されていて、動作状態に応じて点灯色が変化する。
St20:この結果、演算装置16は表示部14に「原稿を読み取り中です」と表示する。また、原稿の読み取り中はスタートキー31の点灯色が変わり、スタートキー31を操作できなくなる。読み取りが終了すると読み取られた画像データは記憶装置15に記憶される。
St30:読み取りが終了すると、演算装置16はメタデータ生成部17を起動するか、起動しているメタデータ生成部17を読み出し、メタデータ生成部17が記憶装置15の画像データからメタデータを生成する。これにより、演算装置16は表示部14に「メタデータを生成中です」と表示する。この間もスタートキー31は操作できないままである。
St40:メタデータの生成が終了すると、演算装置16はメタデータ表示制御部18にメタデータの表示を要求する。図では表示部14に「××報店書」と表示されている。図ではメタデータを原稿32の文書名とした。なお、メタデータが生成されるとスタートキー31を操作可能となる。
St50:メタデータが表示された状態、又は、例えば修正モードへ切り替える操作をユーザが入力すると、ユーザがメタデータを修正することができる。演算装置16はメタデータ修正部19を起動して、メタデータ修正部19は例えばソフトウェアキーボードを表示部14に表示したり、画数や文字形状の類似した別の候補文字を表示する。ユーザが表示されたメタデータを入力して修正したり候補文字から選択すると、メタデータ修正部19は記憶装置15に記憶しているメタデータを修正する(上書きする)。メタデータの修正が終了すると、ユーザはスタートキー31を操作する。
St60:ユーザがスタートキー31を操作すると、演算装置16は配信部21に、NIC13により配信先(例えば、文書管理サーバ200)のアドレスに、画像データと修正されたメタデータを送信する。送信が完了すると、演算装置16は表示部14に「文書を送信しました。」と表示する。タッチパネルに表示された「確認」にユーザが触れたり、一定時間が過ぎたりすると、演算装置16はSt10の状態に戻り、次のスキャン操作の待機状態となる。
〔シーケンス〕
図6で説明したように、メタデータを生成する(文書名を抽出してよい)のは、St30〜40の間である。また、実際に文書を配信するのは、St50〜60の間である。
演算装置16は、フロー全体を定義する処理フローを参照して、どのプラグイン20が、どの状態の時に実行すべきかを判断し、一連の処理を制御する。演算装置16は、スキャンが実行されると、ユーザID等で指定される処理すべきフロー図を記憶装置15から読み出し、メタデータ生成部17に、スキャナ装置100が生成した画像データからメタデータを生成するよう要求する。また、処理フローに必要なプラグインプログラム20Pを実行して、処理フローを準備する。
図7は、処理フローに従いスキャン装置100が画像データを加工する手順のシーケンス図を示す。概略を説明する。
演算装置16は、「メタデータ生成モード」と「配信モード」の2つのモードで処理を実行する。このモード毎に画像データ又はメタデータを記憶しておくキュー(先入れ先出しの記憶手段)を用意している。
まず、演算装置16は、「メタデータ生成モード」で処理を実行する。現在どのモードで実行中かは、各プラグイン20にプログラム間通信等で通知される。各プラグイン20は、「メタデータ生成モード」で処理すべき役割があるか否かを把握しているか、処理すべきモードでは演算装置16により活性化されるので、モードに応じて処理の是非を適宜判断する。例えば、「メタデータ生成モード」では、文書管理サーバ200へ登録するプラグイン20、メール送信するプラグイン20は処理をしない(スルーする)。
図7に従って説明する。なお、スキャナ装置100及び外部コンピュータ101は、当初「メタデータ生成モード」である。スキャナ装置100はユーザの操作に基づき原稿32をスキャンする(S10)。画像データは演算装置16に転送され(S11)、演算装置16は画像データを記憶装置15に記憶させる(S12)。この間、表示部14は図6のSt10、St20のメッセージが表示される。
ついで、演算装置16は、記憶装置15から処理フローを読み出す(S13)。演算装置16はメタデータ生成モードのまま、処理フローの実行を所定のプラグイン20に要求する(S14)。メタデータを生成するプラグイン20(又はメタデータ生成部17)は、画像データからメタデータを生成する(S15)。この間、表示部14は図6のSt30のようになる。そして、メタデータ生成部17はメタデータを記憶装置15に記憶する(S16)。
ついで、メタデータ表示制御部18は、メタデータを記憶装置15から読み出し(S18)、表示部14に表示する(S19)。これにより、表示部14は図6のSt40のようにメタデータが表示される。
ユーザは表示されたメタデータをチェックして、修正の必要があれば操作部12によりメタデータを修正する(S21)。メタデータ修正部19は、修正後のメタデータを取得し(S22)、記憶装置15のメタデータを上書き保存する(S23)。これにより、記憶装置15のメタデータが修正されたことになる。
ついで、演算装置16はモードを「配信モード」に切り替え(S24)、以降の処理を実行する。文書管理サーバ200に登録するプラグイン20は、配信処理を実行するため(S25)、画像データとメタデータを記憶装置15から読み出す(S26)。そして、予め指定された文書管理サーバ200へ画像データとメタデータを送信する。
処理が完了すると、演算装置16に通知され(S27)、表示部14の表示を次のスキャンを待機する待機状態に変更する(S28)。
なお、「配信モード」では、メタデータを生成するプラグイン20は処理をスルーする。また、図7では不図示であるが、PDFに変換するプラグイン20やメール送信するプラグイン20は、処理フローに定義されていれば「配信モード」で処理をスルーせずに、それぞれの処理を実行する。
本実施例によれば、メタデータをスキャナ装置100から直接修正できるので、再スキャンすることなく正確なメタデータを画像データに添付して文書管理サーバ200に送信することができる。
複数のスキャナ装置100と接続された外部コンピュータ101によりメタデータを生成するスキャナシステム50について説明する。
図1及び図3に示すように、外部コンピュータ101には複数のスキャナ装置100が接続されうる。外部コンピュータ101がメタデータを生成する場合、複数のスキャナ装置100から沢山のジョブ(画像データ)が投入される。このため、画像データの投入スピードが外部コンピュータ101の処理能力を超えたり、又は、時間的に重複してメタデータの生成要求がある場合がある。
このような構成のスキャナシステム50では、外部コンピュータ101が一般にキュー(順番待ち行列)という記憶方法で記憶し、画像データはその記憶方法でスプールされる。スプールされたジョブは、古いものから順に取り出され実行される。
本実施例では、ユーザがメタデータの生成をスキャナ装置100の前で待っている(St40の画面が出るのを待っている)ことを想定しているので、キューに大量のジョブがすでにスプールされている場合に、さらに画像データをキューにスプールすると、ユーザが長い間待たされてしまうという問題がある。
そこで、本実施例では、「メタデータ生成モード」の画像データを格納するキューMと、「配信モード」の画像データを格納するキューHを、それぞれ設ける。なお、それぞれのキューM,Hは、物理的に2つ以上のキューを使ってもよいし、1つのキューにそれぞれのモードを識別する機構を設ける場合など、キューそのものの実現方法は問わない。すわわち、論理的に別体とされた2つのキューを設ける。
そして、メタデータ生成部17は、「メタデータ生成モード」の画像データを格納するキューMを優先的に処理する。これは、メタデータ生成をまつ画像データよりも古い、先に実行されるべき配信モードの画像データ及びメタデータがキューHに残っていても、キューMの画像データからメタデータを優先的に生成すること意味する。なお、PDFへの変換、メール生成は「配信モード」の処理なので、これらよりもメタデータの生成が優先される。
図8は、メタデータ生成部17が優先的にメタデータを生成する処理の手順を示すフローチャート図である。図8のフローチャート図は、キューM又はキューHに画像データがスプールされている場合に繰り返し実行される。
まず、メタデータ生成部17は、キューMに画像データが格納されているか否かを判定する(S100)。キューMに画像データが格納されている場合(S100のYes)、メタデータ生成部17は最も古くスプールされた画像データを記憶装置46から読み出してメタデータを生成する(S110)。
キューMに画像データが格納されていない場合(S100のNo)、配信部21はキューHに画像データ及びメタデータが格納されているか否かを判定する(S120)。キューHに画像データ及びメタデータが格納されている場合(S120のYes)、配信部21は最も古くスプールされた画像データ及びメタデータを記憶装置46から読み出して配信する(S130)。
このように、配信処理する前に、必ず、メタデータを生成すべき画像データがキューMに格納されているか否かを判定し、格納されている場合はメタデータの生成を優先するので、配信処理よりも優先的に外部コンピュータ101の資源を使用して処理でき、ユーザがスキャナ装置100の前で待機する時間を最小にすることができる。
図9は、処理フローに従い外部コンピュータ101が画像データを加工する手順のシーケンス図を示す。なお、図9において図7と同一ステップには同一の符号を付し、その説明は簡単に行う。
スキャナ装置100はユーザの操作に基づき原稿32をスキャンする(S10)。画像データはCPU47に転送され(S11)、CPU47は画像データを記憶装置15のキューMに記憶させる(S12)。
ついで、CPU47は、記憶装置15から処理フローを読み出す(S13)。CPU47はメタデータ生成モードのまま、処理フローの実行を所定のプラグイン20に要求する(S14)。メタデータを生成するプラグイン20(又はメタデータ生成部17)は、キューMから画像データを読み出す(S14−2)。
図8に従い、このときキューMにメタデータ生成待ちの画像データがなければ、配信モードになりキューHからメタデータと画像データを読み出す(S16)。
プラグイン20は、画像データからメタデータを生成し(S15)、プラグイン20はメタデータを記憶装置15に記憶する(S16)。
ついで、メタデータ表示制御部18は、メタデータを表示部14に表示する(S19)。 ユーザは表示されたメタデータをチェックして、修正の必要があれば操作部12によりメタデータを修正する(S21)。
プラグイン20(又はメタデータ修正部19)は、修正後のメタデータを取得し(S22)、キューMから画像データを読み出す(S22−2)。そして、読み出した画像データと修正後のメタデータをキューHにスプールする(S23)。
ついで、CPU47はモードを「配信モード」に切り替え(S24)、以降の処理を実行する。文書管理サーバ200に登録するプラグイン20は、配信処理を実行するため(S25)、画像データとメタデータをキューHから読み出す(S26)。そして、予め指定された文書管理サーバ200へ画像データとメタデータを送信する。
処理が完了すると、CPU47に通知され(S27)、表示部14の表示を次のスキャンを待機する待機状態に変更する(S28)。
本実施例のスキャナシステム50によれば、外部コンピュータ101には複数のスキャナ装置100が接続されていて画像データが集中するような場合にも、外部コンピュータ101が配信処理よりもメタデータの生成を優先するので、ユーザがスキャナ装置100で待機する時間を最小限にすることができる。
実施例2では、メタデータを優先的に生成することでユーザの待機時間を最小にしたが、複数のスキャナ装置100において重複した時間帯に画像データが生成されるような場合には、メタデータの生成に遅延が生じ、ユーザの待機時間が長期化するおそれがある。そこで、本実施例では、メタデータの修正をスキャナ装置100でないコンピュータ等で行えるようにすることで、ユーザがスキャナ装置100の前で待機する時間を短縮する。
ユーザによるメタデータの確認、修正作業は、原稿32の再スキャンを伴わないため、表示部14にメタデータが表示されるか否かに関わらず、ユーザがスキャナ装置100の近くで待機する必要はない。メタデータを入手できれば、ユーザは修正の必要性を判断でき、修正の必要があれば修正の後、ネットワーク103を介してスキャナ装置100に送信すればよい。したがって、ユーザが使っているPC104、外部コンピュータ102等においてメタデータを確認・修正でき、配信指示ができればよい。
図10は、本実施例における文書管理サーバ200の機能ブロック図を示す。図10において図3の外部コンピュータ101と同一構成部分には同一の符号を付しその説明は省略する。本実施例の文書管理サーバ200は、記憶装置46に確認待ちプール40を記憶している。確認待ちプール40は、メタデータの生成が完了したスキャンジョブに対応づけて画像データ及びメタデータを記憶するデータベースである。なお、本実施例では確認待ちプール40を文書管理サーバ200が記憶しているが、スキャナ装置100が記憶していてもよく、外部コンピュータ101、102が記憶していてもよい。
また、本実施例では文書管理サーバ200がメタデータを生成するので、文書管理サーバ200がメタデータ生成プログラム17P、メタデータ修正部プログラム19Pを記憶している。
本実施例では、ユーザがPC104からスキャン装置101にアクセスし、確認待ちプール40のメタデータをPC104に表示する。ユーザはメタデータを見て必要であれば修正して、修正後のメタデータを文書管理サーバ200に送信する。文書管理サーバ200は、修正後のメタデータを確認待ちプール40に格納すると共に、配信待ちのキューHにスプールする。したがって、本実施例のスキャナシステム50では、ユーザがスキャナ装置100の前でメタデータの表示を待つ必要がない。
本実施例では、ユーザがPC104から、Webブラウザ(Microsoft社のIE(登録商標)など)を使って、メタデータの確認・修正や、配信指示を行う。電子メールによりメタデータを送受信してもよい。
文書管理サーバ200の記憶装置46には、キューMからメタデータを生成して確認待ちプール40に格納するプール格納プログラム51P、メタデータをPC104の表示装置に表示する表示画面や修正画面を生成するメタデータ表示画面生成プログラム52P、が記憶されている。文書管理サーバ200のCPU47は、プール格納プログラム51Pを実行することでプール格納部51を実現し、メタデータ表示画面生成プログラム52Pを実行することでメタデータ表示画面生成部52を実現する。
ユーザがWebブラウザを介して文書管理サーバ200にアクセスする場合、メタデータ表示画面生成部52はHTML(HyperText Markup Language)により記述された表示画面情報を生成する。GUI情報のひな形は予め記憶装置46に格納されているので、メタデータ等を埋め込むことでユーザ毎に表示画面情報を生成できる。
表示画面情報には、ユーザ操作(メタデータの選択など)に応答するため JavaScript などが埋め込まれている。主要なウェブブラウザのほとんどにJavaScriptの実行エンジンが搭載されているので、HTMLにJavaScriptのプログラムを埋め込むことで、HTMLの動的書き換えや入力フォームの自動補完などを容易に行うことができる。なお、これら文書管理サーバ200とWebブラウザの間の仕組みは、現在多数の代替技術が存在するため、具体的手段は本実施例に限定されるものではない。
図11は、PC104からアクセスされた文書管理サーバ200がメタデータを更新する処理のシーケンス図を示す。なお、各種キューはスキャナ装置100、外部コンピュータ101,文書管理サーバ200のいずれに設定されてもよいが、ここでは文書管理サーバ200に設定されているとする。
ユーザはスキャナ装置100にて原稿32をスキャンさせる(S51)。この時点でユーザはスキャナ装置100から離れることができる。スキャナ装置100は文書管理サーバ200に画像データを送信する(S52)。文書管理サーバ200は、スキャナ装置100から送信された画像データをキューMにスプールする(S53)。スプールできた場合には、スキャナ装置100にその旨を通知し(スプールできなかった場合は再送信を要求する)、スキャナ装置100は次のスキャンジョブを待機する(S54)。
ついで、文書管理サーバ200のメタデータ生成部17は、キューMから画像データを読み出し(S56)、OCR処理等によりメタデータを生成する(S57)。プール格納部51は生成したメタデータを確認待ちプール40に格納する(S58)。
ここで、ユーザがWebブラウザを使って文書管理サーバ200にアクセスすると、メタデータ表示画面生成部52が起動する(S59)。メタデータ表示画面生成部52は、確認待ちプール40に格納された確認待ちのメタデータの一覧を抽出する。なお、メタデータが短いテキストデータであれば全てのメタデータを生成すればよい。
そして、メタデータ表示画面生成部52は、メタデータの一覧表示画面を生成し(S61)、Webブラウザに送信する(S62)。一覧表示画面は、ユーザにとって自己のメタデータがどれかを確認できるよう構成される。図12(a)はWebブラウザが表示した一覧表示画面の一例を示す。セキュリティを考慮するとユーザ104のメタデータのみを表示することが好適である。
ユーザは図12(a)のような画面から修正する必要のあるメタデータを例えばJobIDにより選択する(S63)。例えば、メタデータやJobIDをクリックすると、JobIDが文書管理サーバ200に送信される。
メタデータ表示画面生成部52は、管理待ちプール40から選択されたメタデータを読み出す(S64)。そして、当該メタデータを含む修正用画面を生成し(S65)、修正用画面をWebブラウザに送信する(S66)。
図12(b)はWebブラウザが表示した修正用画面の一例を示す。ユーザは修正前のメタデータを確認して、修正欄に修正後のメタデータをテキストデータで入力する。ユーザが送信ボタンをクリックすると、修正後のメタデータが文書管理サーバ200に送信される(S67)。なお、修正後のメタデータの送信は、画像データとメタデータの配信指示を兼ねる。
文書管理サーバ200のメタデータ修正部19は、キューMのメタデータを修正後のメタデータで上書き保存する(S68)。配信部21は、画像データ及びメタデータ(スキャンジョブの全データ)をキューMから読み出し(S69)、今度はキューHにスプールする(S70)。
本実施例によれば、ユーザはスキャナ装置100の前でメタデータの表示を待つ必要がなく、自らのPC104で所望の時にメタデータを修正することができる。また、本実施例のようにPC104でメタデータを修正する場合でも、必ずPC104で修正しなければならないわけではなく、スキャナ装置100にて並行してメタデータを表示してもよい。ユーザはメタデータがすぐに表示されればその場で修正すればよいし、時間がかかるようであれば、PC104でメタデータを修正することができる。
以上説明したように、本実施形態のスキャナ装置100等によれば、ユーザがスキャンしたその場でメタデータを修正することができる。また、外部コンピュータ101でメタデータを生成する場合において、複数のスキャナ装置100が接続されていても、配信よりメタデータの生成を優先するので、ユーザの待ち時間を短縮できる。また、ユーザのPC104でメタデータを修正する場合は、スキャナ装置100の前で待機する必要がない。
スキャナ装置がネットワークを介して文書管理サーバと接続されたスキャナシステムの概略構成図である。 スキャナ装置の機能ブロック図の一例である。 スキャナ装置とネットワークを介して接続された外部コンピュータの機能ブロック図の一例である。 スキャナ装置とネットワークを介して接続された外部コンピュータの機能ブロック図の一例である。 外部コンピュータと接続されたディスプレイに表示される管理ツール部が表示するGUIの一例である。 メタデータの校正に伴い表示部に表示されるメタデータの遷移を示す遷移図である。 処理フローに従いスキャン装置が画像データを加工する手順のシーケンス図である。 メタデータ生成部が優先的にメタデータを生成する処理の手順を示すフローチャート図である。 処理フローに従い外部コンピュータが画像データを加工する手順のシーケンス図である。 文書管理サーバの機能ブロック図の一例である。 PCからアクセスされた文書管理サーバがメタデータを更新する処理のシーケンス図である。 Webブラウザが表示した一覧表示画面の一例である。 スキャナ装置でスキャンした画像データを、ネットワークを介して端末に配信するスキャナシステムの概略構成図である(従来図)。
符号の説明
9 記憶媒体
11 スキャナエンジン
12 操作部
13、44 NIC
14 表示部
15、46 記憶装置
16 演算装置
17 メタデータ生成部
18 メタデータ表示制御部
19 メタデータ修正部
20 プラグイン
21 配信部
30 管理ツール部
40 確認待ちプール
50 スキャナシステム
100 スキャナ装置
101、102 外部コンピュータ
103 ネットワーク
104 PC(パーソナルコンピュータ)
200 文書管理サーバ

Claims (6)

  1. 複合機とサーバがネットワークを介して接続されたシステムにおいて、
    前記サーバは、
    前記複合機から受信した画像データを記憶する画像データ記憶手段と、
    前記画像データからメタデータを生成するメタデータ生成手段と、
    前記メタデータを記憶する中間データ記憶手段と、
    情報処理装置から前記メタデータの確認要求を受け付けた場合、前記中間データ記憶手段に記憶した前記メタデータを前記情報処理装置に送信するメタデータ送信手段と、
    該情報処理装置から修正後の前記メタデータを受信した場合、前記中間データ記憶手段に記憶されている前記メタデータを修正し、前記画像データ記憶手段に記憶された前記画像データと共に外部のコンピュータに配信する配信手段と、
    を有することを特徴とするシステム。
  2. 当該システムはさらに前記複合機と通信可能な情報処理装置を有し、
    前記情報処理装置は、
    前記メタデータの生成、前記画像データのデータフォーマットの変換、並びに、前記画像データ及び前記メタデータの電子メールによる送信、を前記サーバが行うか否かを各処理毎に設定し、ユーザIDに対応づけられた処理フローを生成する処理フロー設定手段を有する、
    ことを特徴とする請求項1記載のシステム。
  3. 前記画像データ記憶手段は、前記メタデータの抽出対象となる前記画像データが記憶される第1のキューと、前記メタデータの抽出対象とならない前記画像データが記憶される第2のキューを有し、
    前記メタデータ生成手段は、前記第1のキューに前記画像データが記憶されている場合、前記配信手段が前記第2のキューに記憶された前記第1のキューの前記画像データよりも古い前記画像データを配信するよりも先に、前記第1のキューの前記画像データから前記メタデータを生成する、
    ことを特徴とする請求項1記載のシステム。
  4. 前記複合機は、前記メタデータ生成手段を有し
    前記メタデータ生成手段を構成する複数のプラグインには、予め前記メタデータを表示するか否かが設定されている、
    ことを特徴とする請求項1〜3いずれか1項記載のシステム
  5. 前記プラグインは、ユーザの操作を受け付けて前記メタデータを表示するか否かを決定する、
    ことを特徴とする請求項4記載のシステム。
  6. 前記メタデータ生成手段は、生成する前記メタデータが予め設定されている複数のプラグインにより構成されており、
    前記プラグインは、表示した生成可能な前記メタデータの一覧から、ユーザによる選択を受け付けた前記メタデータを生成し、前記メタデータを表示する、
    ことを特徴とする請求項5記載のシステム。
JP2007183398A 2007-07-12 2007-07-12 システム Expired - Fee Related JP5030692B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007183398A JP5030692B2 (ja) 2007-07-12 2007-07-12 システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007183398A JP5030692B2 (ja) 2007-07-12 2007-07-12 システム

Publications (3)

Publication Number Publication Date
JP2009021861A JP2009021861A (ja) 2009-01-29
JP2009021861A5 JP2009021861A5 (ja) 2010-04-22
JP5030692B2 true JP5030692B2 (ja) 2012-09-19

Family

ID=40361085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007183398A Expired - Fee Related JP5030692B2 (ja) 2007-07-12 2007-07-12 システム

Country Status (1)

Country Link
JP (1) JP5030692B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5747434B2 (ja) 2009-08-21 2015-07-15 株式会社リコー 画像形成装置、画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体
JP2011086142A (ja) * 2009-10-16 2011-04-28 Ricoh Co Ltd 画像形成装置及びプログラム操作方法
JP6024346B2 (ja) * 2012-09-28 2016-11-16 ブラザー工業株式会社 情報処理装置、通信システムおよび画像処理装置
JP2013232228A (ja) * 2013-07-24 2013-11-14 Ricoh Co Ltd 情報処理装置、処理フロー実行システム、処理フロー実行方法、プログラム及び記憶媒体
JP6478778B2 (ja) * 2015-04-15 2019-03-06 三菱電機株式会社 プリント端末およびプリントシステム
JP2018072985A (ja) * 2016-10-26 2018-05-10 富士通株式会社 イメージスキャンシステム、イメージスキャナ、情報取得方法及び情報取得プログラム
JP2019079554A (ja) * 2019-01-04 2019-05-23 富士通株式会社 イメージスキャンシステム、イメージスキャナ、情報取得方法及び情報取得プログラム
CN115457557B (zh) * 2022-09-21 2024-03-05 惠州市学之友电子有限公司 一种扫描式翻译笔控制方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162106A (ja) * 1992-11-24 1994-06-10 Seiko Epson Corp 電子ファイリングシステム
JPH06162107A (ja) * 1992-11-24 1994-06-10 Seiko Epson Corp 電子ファイリングシステム

Also Published As

Publication number Publication date
JP2009021861A (ja) 2009-01-29

Similar Documents

Publication Publication Date Title
JP5030692B2 (ja) システム
JP5763904B2 (ja) プリントシステム、印刷方法、プリントサーバおよびその制御方法、並びにプログラム
JP4115375B2 (ja) データ処理装置およびデータ処理方法
JP4939046B2 (ja) 画像処理装置およびその制御方法
US8582162B2 (en) Information processing apparatus, output method, and storage medium
US8472050B2 (en) File transmission apparatus, method and file version management system
US20070139233A1 (en) Character string processing apparatus, character string processing method, and image-forming apparatus
US9025172B2 (en) Printing setting apparatus, computer readable recording medium, and image forming system for generating printing setting information described in one data format included in plural types of data formats and submitting a printing job to an image forming apparatus capable of executing a printing job based on printing setting information described in the plural types of data formats
US20110302512A1 (en) Information transmission apparatus, control method of information transmission apparatus, and recording medium storing computer program
JP6720795B2 (ja) 機器、情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2000270148A (ja) 画像読取方法およびシステム
US7694137B2 (en) Image processing system and authentication method of the same
JP2002269017A (ja) データ送信装置、データ送信方法、データ送信プログラムおよびデータ送信プログラムを記録したコンピュータ読み取り可能な記録媒体
KR20210122147A (ko) 문자열을 취득하기 위한 정보 처리 장치
JP5064994B2 (ja) 画像処理装置、及びその制御方法、プログラム
WO2013108377A9 (ja) デバイス、情報処理装置、情報処理システム、制御方法、及びプログラム
US20030195952A1 (en) Digital transmitter device configuration
JP2008211747A (ja) 画像処理装置、サーバ装置、タスク処理方法、記憶媒体、プログラム
JP5274203B2 (ja) データ処理装置、方法、プログラム、並びに、データ処理システム
JP2018098538A (ja) ジョブ実行装置、ジョブ実行システム、及びジョブ実行方法
JP4352884B2 (ja) サービス連携処理システム及びサービス処理装置
JP2017135497A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
JP2011044791A (ja) 画像処理装置、及びその制御方法
JP5332699B2 (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム及び記憶媒体
US9363393B2 (en) Conversion device configured to send conversion device access information to information processing device in order to cause information processing device to receive converted data

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100309

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120229

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120529

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120626

R150 Certificate of patent or registration of utility model

Ref document number: 5030692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150706

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees