JP4137096B2 - 画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体 - Google Patents

画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体 Download PDF

Info

Publication number
JP4137096B2
JP4137096B2 JP2005204874A JP2005204874A JP4137096B2 JP 4137096 B2 JP4137096 B2 JP 4137096B2 JP 2005204874 A JP2005204874 A JP 2005204874A JP 2005204874 A JP2005204874 A JP 2005204874A JP 4137096 B2 JP4137096 B2 JP 4137096B2
Authority
JP
Japan
Prior art keywords
image data
history information
image
search
output form
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005204874A
Other languages
English (en)
Other versions
JP2007028011A (ja
Inventor
友典 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2005204874A priority Critical patent/JP4137096B2/ja
Priority to US11/457,354 priority patent/US7783136B2/en
Publication of JP2007028011A publication Critical patent/JP2007028011A/ja
Application granted granted Critical
Publication of JP4137096B2 publication Critical patent/JP4137096B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2166Intermediate information storage for mass storage, e.g. in document filing systems
    • H04N1/2179Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries
    • H04N1/2187Interfaces allowing access to a plurality of users, e.g. connection to electronic image libraries with image input from a plurality of different locations or from a non-central location, e.g. from one or more users
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32122Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate device, e.g. in a memory or on a display separate from image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00344Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a management, maintenance, service or repair apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3202Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of communication or activity log or report

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Facsimiles In General (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体に関し、特に、デジタル複写装置を備える画像データ検索システムの使用管理機能に関する。
近年、デジタル複写機の普及拡大に伴って、単に原稿の複写機能を備えるデジタル複写機に加えて、ファクシミリや電子メールの送受信機能、クライアントPCから受信した印刷データに対する画像形成機能といった、汎用の画像処理装置としての新たな機能を備えるデジタル複写機が提供されている。
このようなデジタル複写機においては、処理される入力情報も原稿台上に載置される紙原稿のみならず、他のOA機器から伝送される画像データにまで拡大しており、その情報の種類や内容も多岐にわたっている。
このような状況下において、機密画像データなどの画像形成や送信による情報漏洩が非常に大きな問題となっている。このような問題への対策として、従来、原稿の複写や送信などの際に読み取った画像データをすべて記録装置に蓄積しておく複写装置が存在する。
このような従来の複写装置としては、通常の複写処理と同時に画像データをモニタ表示することができるデジタル複写装置がある(例えば、特許文献1参照)。また、画像データを圧縮変換して縮小印字に適した画像データに変換し、これを記録装置に蓄積するセキュリティ機能付複写装置がある(例えば、特許文献2参照)。
これら従来の複写装置において、管理者は、情報漏洩した原稿がどの複写装置で読み取られたかを蓄積された画像データを確認することによって調べることができ、これによって、いつ、どこで、どのような原稿が処理をされたかを追跡することができる。
特開平06−268791号公報 特開平07−212602号公報
しかしながら、上述のような従来の複写装置においては、読み取った画像データすべてを記録装置に蓄積しておくため、その蓄積画像データは膨大な量となる。このため、情報漏洩が発生した場合に、いつ、どこで、どのような処理をされたかを追跡するためには管理者が画像データを逐一確認する必要があり、非常に多くの時間を必要としていた。
また、従来の複写装置においては、OCR処理を用いて生成したテキストデータと蓄積データを比較することにより漏洩ドキュメントに合致する蓄積データを記録装置から検出することは可能である。しかしながら、写真やグラフィック画像といった文字以外の漏洩データの場合はOCR処理を用いることができず、管理者が蓄積画像データを逐一目視確認する必要がある。このため、従来の複写装置においては、蓄積データから所望のデータを検出することが困難であった。
さらに、デジタル複写機が入力画像データに対して拡大・縮小や、縮小レイアウト(入力された画像データを縮小処理して、出力画像の1ページ中に縮小された入力画像の複数ページを配置する処理)、拡大レイアウト(入力された画像データを拡大処理して複数ページに分割して出力する処理)、製本印刷、画像シフト等の処理を行い、オリジナルの原稿から画像の変更を行って印字する場合、出力形態が異なることから、原稿画像データと印字画像データとで画像の配置が異なったものになる。このような場合には、オリジナルの原稿画像データを記憶しているだけ、若しくは、印字画像データを記録しているだけでは、印字画像データからオリジナルの原稿画像データに該当する画像データを的確に検出することは困難であった。
本発明の目的は、さまざまな出力形態を設定可能な画像形成装置において画像データが、いつ、どこで、どのような処理をされたかを容易且つ確実に検出することができる画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体を提供することにある。
上記目的を解決するために、請求項1記載の画像データ検索システムは、画像処理装置を備える画像データ検索システムであって、前記画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納手段と、少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納手段に格納された画像データに関連付けて記録する履歴情報記録手段と、前記画像データ格納手段に格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索手段と、前記履歴情報記録手段に記録された履歴情報から、前記画像データ格納手段に格納された画像データに対応する履歴情報を検出する履歴情報検出手段とを有し、前記画像データ検索手段は、前記履歴情報検出手段により検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納手段に格納された画像データの検索方法を変更することを特徴とする。
請求項10記載の画像データ検索装置は、画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納手段と、少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納手段に格納された画像データに関連付けて記録する履歴情報記録手段と、前記画像データ格納手段に格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索手段と、前記履歴情報記録手段に記録された履歴情報から、前記画像データ格納手段に格納された画像データに対応する履歴情報を検出する履歴情報検出手段とを有し、前記画像データ検索手段は、前記履歴情報検出手段により検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納手段に格納された画像データの検索方法を変更することを特徴とする。
請求項11記載の画像データ検索方法は、画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納工程と、少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納工程において格納された画像データに関連付けて記録する履歴情報記録工程と、前記画像データ格納工程において格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索工程と、前記履歴情報記録工程において記録された履歴情報から、前記画像データ格納工程において格納された画像データに対応する履歴情報を検出する履歴情報検出工程とを有し、前記画像データ検索工程は、前記履歴情報検出工程において検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納工程において格納された画像データの検索方法を変更することを特徴とする。
請求項12記載の画像データ検索方法をコンピュータに実行させるコンピュータプログラムは、画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納モジュールと、少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納モジュールにより格納された画像データに関連付けて記録する履歴情報記録モジュールと、前記画像データ格納モジュールにより格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索モジュールと、前記履歴情報記録モジュールにより記録された履歴情報から、前記画像データ格納モジュールにより格納された画像データに対応する履歴情報を検出する履歴情報検出モジュールとを有し、前記画像データ検索モジュールは、前記履歴情報検出モジュールにより検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納モジュールにより格納された画像データの検索方法を変更することを特徴とする。
請求項13記載の画像データ検索方法をコンピュータに実行させるコンピュータプログラムを格納したコンピュータ読出し可能な記憶媒体は、画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納モジュールと、少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納モジュールにより格納された画像データに関連付けて記録する履歴情報記録モジュールと、前記画像データ格納モジュールにより格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索モジュールと、前記履歴情報記録モジュールにより記録された履歴情報から、前記画像データ格納モジュールにより格納された画像データに対応する履歴情報を検出する履歴情報検出モジュールとを有し、前記画像データ検索モジュールは、前記履歴情報検出モジュールにより検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納モジュールにより格納された画像データの検索方法を変更することを特徴とする。
本発明によれば、画像処理装置が実行したジョブに関わる画像データを格納し、少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記格納された画像データに関連付けて記録する。前記格納された画像データから所望の画像データに合致する画像データを検索する。また、前記記録された履歴情報から、前記格納された画像データに対応する履歴情報を検出し、前記検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて格納された画像データの検索方法を変更する。このため、オリジナルの原稿の画像データに対して拡大・縮小や、縮小/拡大レイアウト、製本印刷、画像シフト等のジョブを行い、オリジナルの原稿から画像の変更を行って印字して、原稿の画像データと印字物の画像データとが異なったものになる場合でも、履歴情報として記録した各ジョブにおける画像データの出力形態を示す情報に基づいて、出力形態を示す情報を含む履歴情報に関連付けて格納された画像データを検索する検索方法を変更することにより、所望の画像に合致する画像データを格納された画像データから検索することができる。これにより、画像データが原稿画像データ又は印字画像データであっても、所望の画像としての原稿画像又は印字画像に合致する画像データを格納された画像データから的確に検索することができ、検索の高速化及び正確さを向上させることができる。加えて、ユーザが類似画像データと漏洩ドキュメントを照らし合わせて、逐一肉眼で合致するか否かの確認をするデータ検査作業を行わなくても、検出された履歴情報を確認することにより誰がその操作を行ったかを検出することができるようになり、漏洩ドキュメントの追跡作業の負担を軽減することができる。従って、画像データが、いつ、どこで、どのような処理をされたかを容易且つ確実に検出することができる。
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、本発明の実施の形態に係る画像データ検索システムの基本的なシステム構成を示す図である。
図1に示すように、本実施の形態に係る画像データ検索システム1000は、画像処理装置である複写機1001と、ファクシミリ1002と、検索サーバ1003と、クライアントコンピュータ1004と、ストレージサーバ1005と、履歴管理サーバ1006とを備える。
画像処理装置としての複写機1001は、デジタル複写機であり、原稿書類をスキャンすることにより原稿書類を画像データに変換し、記録紙(用紙)に印刷することができる。また、複写機1001は複写機能のみでなく、外部のホストコンピュータからの印刷データを印字出力するプリント機能やファクシミリ送受信機能等を有する、いわゆるデジタル複合機としての機能も有している。
ファクシミリ1002は、複写機1001が読み取ったデータを、公衆回線1008を介して受信しプリントするファクシミリ装置である。
ストレージサーバ1005は、複写機1001が読み取った全ての画像データを蓄積する監査用の記憶装置である。
履歴管理サーバ1006は、図7で後述するように、複写機1001における複写や送信ジョブの履歴情報等を履歴レコード(履歴情報)として記録するための履歴管理サーバである。出力形態は、拡大・縮小設定、フィニッシング設定、レイアウト設定、及びカラー設定等によって変更することができる。拡大・縮小設定によって、記録紙1面(1ページ)に原稿画像の所望の面数(ページ数)を割り付けて印字することができる。フィニッシング設定によって、パンチやステイプル等の後処理の設定を行うことができる。レイアウト設定によって、製本出力等の印字画像のレイアウトの設定を行うことができる。また、カラー設定によって、原稿画像のカラー/モノクロ情報の入力や印字画像のカラー/モノクロの設定を行うことができる。また、上記履歴レコードには、この履歴レコードに対応する画像データのストレージサーバ1005における蓄積場所を特定するための情報が記録されている。
検索サーバ1003は、後述するように、ストレージサーバ1005に蓄積されている画像データから所望の画像データを検索する検索サーバである。
クライアントコンピュータ1004は、検索サーバ1003に接続しており、検索サーバ1003の検索結果の画像データや履歴レコードをダウンロードして表示するコンピュータである。
画像データ検索システム1000において、複写機1001、検索サーバ1003、クライアントコンピュータ1004、ストレージサーバ1005、及び履歴管理サーバ1006は、各々、イーサネット(登録商標)1007に接続されており、ネットワークが形成されている。
尚、図1の画像データ検索システム1000においては、検索サーバ1003、ストレージサーバ1005、履歴管理サーバ1006を夫々別個のサーバとしているが、これらのサーバは、各サーバの機能を満たす1つのサーバとして構成してもよいし、これらサーバの少なくとも1つ以上の機能が複写機1001内に統合されてもよい。また、画像データ検索システム1000におけるネットワークはイーサネット(登録商標)1007によって構成されるネットワークに限定されるものではなく、他のプロトコルによって構成されるネットワークや無線LANによって構成されるものでもよい。
図2は、図1における複写機1001の概略構成を示す断面図を示す。
図2において、200は、原稿自動送り装置(以下、DFと称する。)であり、複数枚の原稿を自動的に1枚ずつ給紙して、各原稿の表面又は裏面を原稿台201上に順次セットすることができる。その具体的構成は既に公知であるため、詳細な説明は省略する。第2図に示すように、DF200上には、複写機1001によって読み取るための所望の枚数の原稿が載置される。DF200にセットされた原稿は、DF200によって1枚ずつ給紙されて原稿台201上に載置される。
202は、例えばハロゲンランプから構成される原稿照明ランプであり、原稿台201に載置された原稿を露光する。203、204、及び205は走査ミラーであり、図示しない光学走査ユニットに収容され、往復動しながら原稿からの反射光をCCDユニット206に導く。
CCDユニット206は、CCDに原稿からの反射光を結像させる結像レンズ207、CCDから構成される撮像素子208、撮像素子208を駆動するCCDドライバ209等から構成されている。撮像素子208からの画像信号出力は、例えば8ビットのデジタルデータに変換された後、コントローラユニット3000に入力される。
また、図2において、210は感光ドラムであり、画像形成に備えて前露光ランプ212によって除電される。213は帯電器であり、感光ドラム210を一様に帯電させる。214は露光手段であり、例えば半導体レーザー等で構成され、画像処理や装置全体の制御を行うコントローラユニット3000で処理された画像データに基づいて感光ドラム210を露光し、静電潜像を形成する。215は現像器で黒色の現像剤(トナー)が収容されている。219は転写前帯電器であり、感光ドラム210上に現像されたトナー像を用紙に転写する前に感光ドラム210に高電圧を印加する。
220、222、及び224は給紙ユニットであり、給紙ユニット220,222,224の記録紙は、給紙ローラ221,223,225の駆動によって夫々装置内へ給送される。給送された記録紙は、レジストローラ226の配設位置で一旦停止し、感光ドラム210に形成された画像との書き出しタイミングがとられて再給送される。
227は転写帯電器であり、感光ドラム210に現像されたトナー像を給送される記録紙に転写する。228は分離帯電器であり、転写動作が終了した後に記録紙を感光ドラム210から分離する。211はクリーナーであり、転写されずに感光ドラム210上に残ったトナーを回収する。
229は搬送ベルトであり、230は定着器であり、搬送ベルト229は転写プロセスが終了した後に記録紙を定着器230に搬送し、定着器230は、例えば熱によって転写画像を記録紙に定着させる。231はフラッパであり、定着プロセスが終了した後に記録紙の搬送パスを切換えて、コピーを終了して記録紙を機外に排紙するか、コピーを終了せずに中間トレイ237の配置方向に記録紙を搬送する。233〜236は給送ローラであり、一度定着プロセスが終了した後に記録紙を中間トレイ237に反転又は非反転して給送する。中間トレイ237の記録紙の反転によって多重コピーが、非反転によって両面コピーが行われる。
238は再給送ローラであり、中間トレイ237に載置された記録紙を再度、レジストローラ236の配設位置まで搬送する。232はステイプルソータであり、コピーされた記録紙の丁合及びステイプル綴じを行う。
コントローラユニット3000には、図3で後述するように、マイクロコンピュータや、画像処理部等を備えており、操作パネル5000(UI)からの指示に従って、前述の画像形成動作を行う。
図3は、図1における複写機1001に実装されるシステムのブロック図である。
図3に示すように、複写機1001は、コントローラユニット3000と、ユーザが複写機1001に対して種々の操作を行うための操作部5000と、画像入力デバイスであるスキャナ3070と、画像出力デバイスであるプリンタ3095とを備える。コントローラユニット3000はスキャナ3070及びプリンタ3095と接続している。
コントローラユニット3000は、LAN3011や公衆回線(WAN)3051と接続することで、画像データやデバイスデータを外部装置との間において入出力するためのコントローラである。
コントローラユニット3000において、CPU3001は複写機1001の構成要素全体を制御するコントローラである。RAM3002はCPU3001が動作するためのシステムワークメモリであり、画像データを一時記憶するための画像メモリでもある。ROM3003はブートROMであり、システムのブートプログラムが格納されている。HDD3004はハードディスクドライブで、システムソフトウェアや画像データを格納する。
操作部I/F3006は、タッチパネルを有した操作部5000とコントローラユニット3000とのインターフェース部であり、操作部5000の供える図示しない表示部に表示する画像データを操作部5000に対して出力する。また、操作部I/F3006は、操作部5000における所定の操作によって画像データ検索システム1000のユーザが入力した情報をCPU3001に送信をする。ネットワークI/F3010はLAN3011に接続し、各種情報の入出力を行う。モデム3050は公衆回線3051に接続し、各種情報の入出力を行う。
コントローラユニット3000において、上記各構成要素がシステムバス3007上に配置される。また、システムバス3007上にはイメージバスI/F3005が配置される。イメージバスI/F3005は、システムバス3007と画像データを高速で転送する画像バス3008とを接続し、データ構造を変換するバスブリッジである。画像バス3008は、PCIバス又はIEEE1394から構成される。
画像バス3008上には、ラスターイメージプロセッサ(RIP)3060、デバイスI/F3020、スキャナ画像処理部3080、プリンタ画像処理部3090、画像回転部3030、及び画像圧縮部3040が配置される。
ラスターイメージプロセッサ3060はPDLコードをビットマップイメージに展開する。デバイスI/F部3020は、画像入出力デバイスであるスキャナ3070やプリンタ3095とコントローラユニット3000を接続し、画像データの同期系/非同期系の変換を行う。スキャナ画像処理部3080は入力画像データに対し補正や加工、編集を行う。プリンタ画像処理部3090は、プリント出力画像データに応じてプリンタ3095の各種設定値の補正や、プリント出力画像データに対して解像度の変換等を行う。画像回転部3030は画像データの回転を行う。画像圧縮部3040は、多値画像データに対ししてはJPEGの圧縮伸長処理を、2値画像データはJBIGやMMR、MHの圧縮伸張処理を行う。
ICカードスロット3100は、ICカードメディアが挿入可能であり、ICカードメディアが挿入された後に操作部5000を介して適切なPIN(Personal Identifier Number)コードが入力されることにより、暗号・復号化に用いる鍵の入出力を可能にする。暗号・復号処理部3110はICカードスロット3100に記憶させた鍵を用いてデータの暗号化・複合化処理を行うハードウェアアクセラレータボードである。OCR・OMR処理部3111は画像データに含まれる文字情報や2次元バーコード情報を解読して文字コード化する処理を行う。
図4は、複写機1001が実行する画像データのストレージサーバ1005への書き込み動作、及び履歴レコードの履歴管理サーバ1006への書き込み動作を説明する図である。
図4において、イーサネット(登録商標)1007を介する複写機1001からストレージサーバ1005への画像データ格納には、HTTP(Hyper Text Transfer Protocol)、FTP(File Transfer Protocol)、又はSMB(Server Message Block)を利用しているものとする。しかしながら、イーサネット(登録商標)1007を介する複写機1001からストレージサーバ1005への画像データ格納に使用するプロトコルは上述のプロトコルに限るものではなく、その他の既存のデータ転送可能なプロトコルであればよい。また、イーサネット(登録商標)1007を介する複写機1001からストレージサーバ1005への画像データの送信あるいはストレージサーバにおける画像データの格納においては、必要に応じて画像データに対して暗号処理を施してもよい。
図4においては、複写機1001によりオリジナルの原稿4001を読み取り、記録紙1ページに原稿4001の4ページ分を縮小して割り付けて印字する4in1縮小レイアウトの出力形態が後述する拡大・縮小レイアウト設定によって指定されているものとする。
図4に示すように、上述の設定により、複写機1001は原稿4001を読み取ると、印字結果として出力原稿4002を出力する。この際、複写機1001は読み取ったオリジナルの原稿4001の画像データ4011を全てストレージサーバ1005へ格納する。ストレージサーバ1005には、図4に示すように、複写機1001によって読み取られた他の原稿の画像データ4021が蓄積されている。
また、複写機1001は、ストレージサーバ1005へ画像データ4011を格納するタイミングで、履歴管理サーバ1006へ履歴レコード4012の書き込みを行う。履歴レコード4012としては、図7で後述するように、例えば、ジョブを実行したユーザのユーザ名、当該ユーザの複写機1001の使用日付、ジョブの出力形態の情報、原稿及び印字画像のカラー設定情報、及び図6で後述するジョブ種別等が記載される。図4においては、ユーザ名としてAAAA、使用日付として200X/X/X、出力形態として4in1プリント、原稿及び印字画像のカラー設定情報として白黒原稿を白黒印字したことを示す、白黒→白黒が夫々示されている。
また、図4に示すように、履歴レコード4012は対応する画像データ4011に関連付けられて履歴管理サーバ1006に記録されており、履歴レコード4012には、例えば、対応する画像データ4011のストレージサーバ1005における格納位置を示す情報、例えばURI(Uniform Resource Locator)が記載されている。これによって、履歴管理サーバ1006には、画像データ4021に対応する履歴レコード4022が互いに関連付けられて記録されることになる。また、履歴管理サーバ1006の履歴レコード4012と、ストレージサーバ1005の画像データ4021とを関連付ける情報は上述のURIに限らず、画像データ4021のパスを記述したものでもよい。あるいは、当該ジョブにユニークなIDを履歴レコード4012と画像データ4021に付与することによって相互の関連付けを実現することもできる。
また、本実施形態において、図4における複写機1001から履歴管理サーバ1006への履歴レコードの書き込みにはUNIX(登録商標)で一般に用いられているsyslogを利用しているものとする。しかしながら、複写機1001から履歴管理サーバ1006への履歴レコードの書き込みはsyslogを利用するものに限らず、他の既存のロギングプロトコルを利用するものであってもよい。
尚、本実施の形態に係る画像データ検索システム1000においては、複写機1001、ストレージサーバ1005、及び履歴管理サーバ1006は夫々別体の構成となっているが、いずれか、又は全てが組み合わされている構成であってもよい。また、本実施の形態に係る画像データ検索システム1000においては、ストレージサーバ1005、及び履歴管理サーバ1006へアクセスするために必要な設定情報は複写機1001のシステム管理者のみが設定可能なように保護されているものとする。
次いで、複写機1001の操作部5000について図5を参照して説明する。図5は、操作部5000の概略構成を示す図である。
複写機1001は、コピー機能、ファクシミリ機能、及びパーソナルボックス機能を有しており、ユーザが操作部5000において所定の操作を行うことにより、これらの複数の機能から必要な機能を選択することができる。
図5に示すように、操作部5000は、テンキー5001と、コピースタートキー5002と、タッチパネル5003と、コピーモードキー5004と、ファックスモードキー5005と、パーソナルボックスキー5006と、リセットキー5007とを備える。
操作部5000において、ユーザは、テンキー5001を操作することによりコピー枚数やその他の必要な数値設定を行うことができ、コピースタートキー5002を押下することによりコピースタートを指示することができる。タッチパネル5003は、液晶ディスプレイとタッチパネルシートとから構成されており、液晶上に各種のキーを表示する。ユーザは、タッチパネル5003に表示されたキーを指で押下することにより複写機1001に所望の操作を実行させることができる。
また、ユーザは、コピーモードキー5004を押下することによって、複写機1001の備える複数の機能の中からコピー機能を利用するコピーモードを選択することができる。また、ファックスモードキー5005を押下することにより、複数の機能の中からファクシミリ通信機能を利用するファクシミリモードを選択することができ、パーソナルボックスキー5006を押下することにより、複数の機能の中からパーソナルボックス機能を利用するパーソナルボックスモードを選択することができる。
ユーザは、リセットキー5007を押下することにより、各種の設定をリセットすることができる。また、ユーザは、スタンバイ中にリセットキー5007を押下することにより、動作モードを所定の標準モードに復帰させることができる。
図5に示すように、タッチパネル5003には、拡張機能キー郡5008が表示される。拡張機能キー群5008は、複写機1001のコピー処理によってプリントアウトされる印字画像の様々な出力形態を設定するためのキーである。図5においては、拡張機能キー群5008として、記録紙1面に原稿画像の何面分を割り付け印字するかを指定するための拡大・縮小レイアウト設定キーや、パンチ又はステイプル等の後処理を指定するためのフィニッシング設定キー等が表示されている。図5に示す拡張機能キー5008の内容は一例であり、拡張機能キーはこれらの設定キーに限定されるものではない。尚、本発明に直接関係しないその他キーについては、説明を省略する。
操作部5000において、ユーザがコピーモードキー5004を押下して複写機1001の備える複数の機能からコピー機能を選択し、コピースタートキー5002を押下すと、複写機1001のスキャナ3070の図示しないリーダ部が動作する。リーダ部の動作により、原稿が読み取られて画像データが生成され、この画像データがプリンタ3095へ転送される。そして、プリンタ3095において、転送されてきた画像データが記録紙に印刷されて設定した出力形態の印字画像がプリントアウトされる。
次いで、上述の構成を有する画像データ検索システム1000において実行される画像データ格納・履歴レコード記録処理について図6を参照して説明する。
図6は、画像データ検索システム1000が実行する画像データ格納・履歴レコード記録処理のフローチャートである。
本処理は、複写機1001において読み取った原稿の画像データを全てストレージサーバ1005に格納し、この画像データのストレージサーバ1005における格納場所を示すURI(Uniform Resource Identifier)と、格納された画像データに含まれるテキストデータ等を履歴コードとして履歴管理サーバ1006に記録する処理である。尚、本処理においては、後述するように、生成した画像データを一旦複写機1001内部のHDD3004に蓄積しておき、任意のタイミングでストレージサーバ1005へ画像データを転送するようにしているが、ストレージサーバ1005への画像データの転送を原稿の読み取りが完了次第行なってもよいし、また他の任意のタイミングで行ってもよい。
本処理は、ユーザが原稿をスキャナ3070のDF200又は原稿台201上に載置し、操作部5000において所定の操作を行うことにより、コピー又はファックス送信等の所望のジョブを選択して、所望の目的に応じて部数設定やフィニッシング設定などを行った後、ジョブ実行開始を指示することにより開始する。
図6に示すように、まず、スキャナ3070により原稿の画像を読み取って画像データを生成し、生成した画像データをページ毎にHD3004に逐次記録する(ステップS6001)。最終ページまで原稿の読み取りが完了した後、HD3004に記録された画像データをストレージサーバ1005へ格納する(ステップS6002)。ストレージサーバ1005への格納は、複数ページの画像データを個別に格納する形態でもよく、複数ページ画像データを1つのデータに結合してから格納する形態でもよい。
ストレージサーバ1005への画像データの格納処理が終了すると、ステップS6002における格納処理が成功したか否かを判別する(ステップS6003)。ステップS6002における格納処理が失敗した場合は、操作部5000のタッチパネル5003に異常が発生した旨を表示し(ステップS6015)、本処理を終了する。これにより、本処理は異常終了される。一方、ステップS6002における格納処理が成功した場合は、本処理開始前に設定された実行ジョブのジョブ種別を示すジョブ種別情報を履歴レコードに設定する(ステップS6004)。本実施の形態において、ジョブ種別情報とは、コピー、ファクス、及びスキャン等の機能種別を表す情報である。
次いで、実行ジョブの出力形態を示す情報である出力形態情報を履歴レコードに設定する(ステップS6005)。本実施の形態において、出力形態は、拡大・縮小設定、拡大レイアウト設定、縮小レイアウト設定、フィニッシング設定、白黒・カラー入力設定や白黒・カラー出力設定のカラー設定、及び両面印刷設定等の設定を表すものである。
次いで、ユーザ認証があったか否かを判別する(ステップS6006)。ユーザの認証は、例えば、本フローチャート開始前に複写機1001のICカードスロット3100にユーザのIDカード等が挿入された場合に、HDD3004に予め登録されているユーザ情報とIDカードのユーザ情報を比較してユーザを識別したり、IDカードのユーザ情報からユーザを確認したりして実行される。上述のように、ユーザの認証が実行された場合は、ステップS6006においてユーザ認証ありとなり、ユーザの認証が実行されなかった場合は、ステップS6006においてユーザ認証なしとなる。また、ユーザ認証において識別、確認されたユーザの情報は、HDD3004等に記録される。なおユーザ認証方法は、上述したようなICカードを用いた方法に限るものではなく、操作部5000上でユーザIDとパスワードを入力する方法でもよく、生体認証を用いた方法でもよい。
ステップS6006において、ユーザ認証ありと判定された場合には、ユーザ認証において得られたユーザ情報、例えばユーザ名やユーザIDの情報を履歴レコードに設定し(ステップS6007)、ステップS6008の処理に進む。一方、ステップS6006において、ユーザ認証なしと判定された場合には、そのままステップS6008の処理へ進む。
S6008においては、S6002においてストレージサーバ1005に格納した画像データのURIを履歴レコードに設定する。次いで、ステップS6001において、OCR/OMR処理部3111を用いてHDD3004に記録された画像データからテキストデータを抽出する(ステップS6009)。そして、ステップS6009において抽出したテキストデータを履歴レコードに設定し(ステップS6010)、ステップS6004,S6005,S6007,S6008,S6010によって作成された履歴レコードを履歴管理サーバ1006に書き込む(ステップS6011)。
次いで、履歴管理サーバ1006への履歴レコードの記録処理が終了した後に、ステップS6011における記録処理が成功したか否かを判別する(ステップS6012)。ステップS6011における記録処理が成功した場合は、ユーザが本処理前に指定したジョブを実行し(ステップS6013)、本処理を終了する。これにより、本処理は正常終了される。一方、ステップS6011における記録処理が失敗した場合は、ステップS6002において格納した画像データを削除する(ステップS6014)。次いで、ステップS6015に進み、上述のように、操作部5000のタッチパネル5003に異常が発生した旨を表示して、本処理を終了する。これにより、本処理は異常終了される。
図7は、図6の処理によって履歴管理サーバ1006に記録された履歴レコードの内容を示す図である。
図7に示すように、履歴レコードは、日時7001、使用デバイスアドレス7002、文書名7003、文書種類7004、ユーザ名7005、ページ数7006、部数7007、出力形態7008,7009、サイズ7010、元原稿種別7011、画像データ格納URI7012、及びテキストデータ7013の各情報から構成されている。
日時7001は履歴レコード書き込みが発生した日時を示す。使用デバイスアドレス7002はジョブを実行したデバイスのIPアドレス又はホスト名を示す。文書名7003は履歴レコード書き込みを行った文書名を示す。本実施の形態において、コピーモードの場合の文書名は複写機1001が自動的に生成するユニークな番号に基づいて付与するものとする。ファックスモードの場合は受付番号を文書名として付与するものとする。クライアントPCからの印刷においては、その印刷対象のファイル名を文書名として付与するものとする。パーソナルボックスモードにおいては、パーソナルボックス内の文書に付与された文書名をそのまま用いるものとする。文書種類7004はコピー、ファクス、スキャン等の機能種別を表す。ユーザ名7005はジョブを実行したユーザを識別可能な文字列から構成されるユーザ名、又は数値から構成されるユーザIDを示す。ページ数7006は原稿のページ数を示す。部数7007はジョブ実行時の印字部数を示す。出力形態7008,7009は拡大レイアウト、縮小レイアウト設定や、パンチ又はステイプル等のフィニッシング設定等によって設定された出力形態を表す。
サイズ7010は印字用紙サイズを表す。元原稿種別7011はカラー・白黒といった元原稿の種別を表す。画像データ格納URI7012は格納している画像データのURIを示す。このURIにアクセスすることにより読み込んだ原稿の画像データにアクセスすることが可能となる。テキストデータ7013は読み込んだ画像データに対してOCR/OMR処理部3111を用いて抽出したテキストデータを示す。
このように、履歴レコードには多様な項目が設定されており、システム管理者は、履歴管理サーバ1006に記録された履歴レコードから、対応する画像データの多様な監視情報を得ることができる。
図8は、画像データ検出システム1000において実行される画像データ検出処理を説明する図である。
本処理は、検索サーバ1003を利用して、所望の画像データである検索画像データをストレージサーバ1005から検出する処理である。
図8に示すように、まず、管理者権限を持つユーザがクライアントコンピュータ1004から検索サーバ1003へアクセスする。
次いで、複写機1001によっていつ、どこで、どのように、誰によって利用されたかを知りたい所望の画像、例えば漏洩された情報が記載された漏洩ドキュメント原稿8001を、複写機1001のスキャナ3070を用いて読み取る。ここで、複写機1001は、読み取った画像を検索サーバ1003へ送信し検索を指示する機能を有しており、複写機1001の操作部5000への所定の操作によってその機能を実行するものとする。そして、読み取った原稿の画像データである検索画像データ8002を生成し、生成した検索画像データ8002をページ毎にHDD3004に記録する。
次いで、複写機1001は、生成した検索画像データ8002を検索サーバ1003に送信する。検索サーバ1003は、ストレージサーバ1005を検索し、複写機1001から受信した検索画像データ8002とストレージサーバ1005に上記図6の処理によって蓄積されている画像データ8100を比較して、受信した検索画像データ8002に合致する画像データを検出する処理を行う。この検出処理においては、公知のパターンマッチング技術やレイアウトマッチング技術を用いて検索画像データ8002に合致する画像データの検出を行う。
この検出処理において、検索サーバ1003は履歴管理サーバ1006を検索して、画像データ8100に対応する履歴レコード8200を取得し、取得した履歴レコード8200に記載されている出力形態情報に応じて合致する画像データを検出する処理の方法を変更する。
具体的には、図8に示すように、画像データ8101に対応する履歴レコード8201の記載情報から、画像データ8101は4in1の出力形態によって印刷が実行された4ページの原稿画像データであることが分かる。このため、複写機1001から送られてきた検索画像データ8002とストレージサーバ1005に蓄積されている画像データ8001のパターンマッチング処理において、画像データ8101と比較される画像データは、検索画像データ8002が4in1の出力形態に変換される前の画像領域から抽出する。
具体的には、検索画像データ8002が画像データ8101と同様の4in1の出力形態に変換された画像データであると認識して、4in1の出力形態への割り付け前の原稿画像データの領域を示すように検索画像データ8002を4つに分割する。そして、分割された各領域の画像を抽出する(図8における検索画像データ8002の網掛けされていない各領域)。そして、検索画像データ8002から抽出された各画像データについて、画像データ8101の各原稿画像データと順次合致する画像データの検出処理を行う。
この検出処理によって、検索画像データ8002から抽出された各画像データが、画像データ8101の各原稿画像データと夫々合致する場合は、漏洩ドキュメント原稿8001の画像データである検索画像データ8002と画像データ8101とが一致することになる。尚、上述の処理は、ストレージサーバ1005に格納されている画像データ8001の各画像データ(画像データ8101,8102)に対して順次行う。
図8においては、この検出処理において画像データ8101と複写機1001から送られてきた検索画像データ8002は一致することになる。この場合、検索サーバ1003から検索画像データ8002に一致する画像データ8101と、この画像データ8101に対応する履歴レコード8201とがクライアントコンピュータ1004にダウンロードされる。このようにして、画像データ検索システム1000において所望の画像データが検索される。
これにより、ユーザは、検索された所望の検索画像データに一致する画像データと、この画像データに対応する履歴レコードの情報から、検索画像データが、複写機1001によっていつ、どこで、どのように、誰によって利用されたかを容易且つ確実に知ることができる。
尚、図8の処理において、漏洩ドキュメント原稿が、原稿8001のようにオリジナルの原稿に対してレイアウト変更がなされたものではなく、レイアウト変更がなされていない原稿であった場合は、その画像データがそのままの状態で検出処理されることになる。
尚、本発明の実施の形態においては、パターンマッチング処理とレイアウトマッチング処理に基づいて検出処理を行なうものに限るものではなく、公知の種々の画像認識技術を用いることができる。
次いで、本実施の形態に係る画像データ検索システム1000の他の実施例について説明する。
本実施例においては、複写機1001が読み込んだオリジナルの原稿画像データをストレージサーバ1005に蓄積せずに、複写機1001によってレイアウト変更がなされた後にプリントアウトされた出力画像と一致する印字画像データをストレージサーバ1005に蓄積する。ユーザは、複写機1001において、オリジナルの原稿の画像データに対して拡大・縮小や、縮小/拡大レイアウト、製本印刷、画像シフト等の処理を行うことにより、オリジナルの原稿データのレイアウトを変更することができる。
図9は、複写機1001が実行する画像データのストレージサーバ1005への書き込み動作、及び履歴レコードの履歴管理サーバ1006への書き込み動作の他の実施例を説明する図である。
図9において、イーサネット(登録商標)1007を介する複写機1001からストレージサーバ1005への画像データ格納には、上記第1の実施の形態と同様に、HTTP(Hyper Text Transfer Protocol)、FTP(File Transfer Protocol)、又はSMB(Server Message Block)を利用しているものとする。しかしながら、イーサネット(登録商標)1007を介する複写機1001からストレージサーバ1005への画像データ格納に使用するプロトコルは上述のプロトコルに限るものではなく、その他の既存のデータ転送可能なプロトコルであればよい。また、イーサネット(登録商標)1007を介する複写機1001からストレージサーバ1005への画像データ格納においては、必要に応じて画像データに対して暗号処理を施してもよい。
図9においては、複写機1001によりオリジナルの原稿4001を読み取り、記録紙1ページに原稿4001の4ページ分を割り付けて印字する4in1縮小レイアウトの出力形態が拡大・縮小設定によって指定されているものとする。
図9に示すように、上述の設定により、複写機1001は原稿4001を読み取ると、印字結果として出力原稿4002を出力する。この際、複写機1001は原稿4001が4in1の出力形態に縮小レイアウトされた画像データ9011を生成してストレージサーバ1005へ格納する。
また、複写機1001は、ストレージサーバ1005へ画像データ9011を格納するタイミングで、履歴管理サーバ1006へ履歴レコード9012の書き込みを行う。履歴レコード9012としては、例えば、ジョブを実行したユーザのユーザ名、当該ユーザの複写機1001の使用日付、ジョブの出力形態の情報、原稿及び印字画像のカラー設定情報、及びジョブ種別等が記載される。図9においては、ユーザ名としてAAAA、使用日付として200X/X/X、出力形態として4in1プリント、原稿及び印字画像のカラー設定情報として白黒原稿を白黒印字したことを示す、白黒→白黒が夫々示されている。
また、図9に示すように、履歴レコード9012は対応する画像データ9011に関連付けられて履歴管理サーバ1006に記録されており、履歴レコード9012には、例えば、対応する画像データのストレージサーバ1005における位置を示す情報が記載されている。
また、図9における複写機1001から履歴管理サーバ1006への履歴レコードの書き込みには、上記実施例と同様に、syslogを利用しているものとする。しかしながら、複写機1001から履歴管理サーバ1006への履歴レコードの書き込みはsyslogを利用するものに限らず、他の既存のロギングプロトコルを利用するものであってもよい。
尚、本実施例においても、画像データ検索システム1000において、複写機1001、ストレージサーバ1005、及び履歴管理サーバ1006は夫々別体の構成となっているが、いずれか、又は全てが組み合わされている構成であってもよい。また、画像データ検索システム1000においては、ストレージサーバ1005、及び履歴管理サーバ1006へアクセスするために必要な設定情報は複写機1001のシステム管理者のみが設定可能なように保護されている。
図10は、画像データ検出システム1000において実行される画像データ検出処理の他の実施例を説明する図である。
本処理は、検索サーバ1003を利用して、所望の画像データである検索画像データをストレージサーバ1005から検出する処理である。
図10に示すように、まず、管理者権限を持つユーザがクライアントコンピュータ1004から検索サーバ1003へアクセスする。
次いで、複写機1001によっていつ、どこで、どのように、誰によって利用されたかを知りたい所望の画像、例えば漏洩された情報が記載された漏洩ドキュメント原稿10001を、複写機1001のスキャナ3070を用いて読み取る。そして、読み取った原稿の画像データである検索画像データ10002を生成し、HDD3004に記録する。検索画像データ10002が複数ページ存在する場合は、生成した検索画像データ10002をページ毎にHDD3004に逐次記録する。
次いで、複写機1001は、生成した検索画像データ10002を検索サーバ1003へ送信する。ここでユーザの操作により、複写機1001から検索サーバへ送信される画像データはレイアウト変更されていない画像であることを示す情報も送信してもよい。検索サーバ1003は、ストレージサーバ1005を検索し、複写機1001から受信した検索画像データ10002とストレージサーバ1005に上記図9の動作によって蓄積されている画像データ9011を比較して、受信した検索画像データ10002に合致する画像データを検出する処理を行う。この検出処理においては、パターンマッチング処理によって検索画像データ10002に合致する画像データの検出を行う。
この検出処理において、検索サーバ1003は履歴管理サーバ1006を検索して、画像データ9011に対応する履歴レコード9012を取得し、取得した履歴レコード9012に記載されている出力形態情報に応じて画像データのパターンマッチング処理を変更する。
具体的には、図10に示すように、画像データ9011に対応する履歴レコード9012の記載情報から、検索画像データ10002は4in1の出力形態によって印刷が実行されてプリントアウトされた印字画像と一致する印字画像データであることが分かる。このため、複写機1001から送られてきた検索画像データ10002とストレージサーバ1005に蓄積されている画像データ9011のパターンマッチング処理において、上記図8とは逆に、検索画像データ10002と比較する画像データは、画像データ9011が4in1の出力形態に変換される前の画像領域から抽出する。
具体的には、画像データ9011を履歴レコード9012に示された4in1の出力形態に変換される前の、割り付け前の原稿画像データの領域を示すように4つに分割する。そして、分割された各領域の画像を抽出する(図10における画像データ9011の網掛けされていない各領域)。そして、画像データ9011から抽出された各画像データについて、検索画像データ10002と順次パターンマッチングを行う。
このパターンマッチングによって、画像データ9011から抽出された画像データのいずれかが、検索画像データ10002と合致する場合は、漏洩ドキュメント原稿10001の画像データである検索画像データ10002と画像データ9011の原稿画像データとが一致することになる。
図10においては、このパターンマッチング処理において、ストレージサーバ1005に蓄積された画像データ9011のレイアウト変更前の原稿画像データの1つと複写機1001から送られてきた検索画像データ10002は一致することになる。この場合、検索サーバ1003から検索画像データ10002に一致する画像データ9011と、この画像データ9011に対応する履歴レコード9012とがクライアントコンピュータ1004にダウンロードされる。このようにして、画像データ検索システム1000において所望の画像データが検索される。
これにより、ユーザは、所望の検索画像データが複写機1001においてレイアウトが変更されてプリントアウトされており、このレイアウト変更後の出力画像と一致する印字画像データがストレージデバイス1005に蓄積されている場合であっても、検索された所望の検索画像データとレイアウト変更前の原稿が一致する画像データと、この画像データに対応する履歴レコードの情報から、所望の検索画像データが、複写機1001によっていつ、どこで、どのように、誰によって利用されたかを容易且つ確実に知ることができる。
また、図10に示すように、検索したい所望の画像が漏洩ドキュメント原稿10011のようにレイアウト変更後の印字画像データである場合は、上述の場合と同様に、複写機1001のスキャナ3070を用いて原稿10011を読み取る。そして、読み取って原稿10011の画像データである検索画像データ10012を生成し、生成した検索画像データ10012を検索サーバ1003に送信する。
ストレージサーバ1005に蓄積されている画像データ9011はレイアウト変更後の画像データであるため、この場合、画像データ10012と画像データ9011はそのままの状態でパターンマッチング処理が行われる。ここで、複写機1001が漏洩ドキュメント原稿10011を読み取って検索サーバへ送信する際に、ユーザの操作によりレイアウト変更された(例えば、4in1である)ことを示す情報を付加してもよい。
このパターンマッチング処理において、ストレージサーバ1005に蓄積されている画像データ9011と複写機1001から送信されてきた検索画像データ10012は一致することになる。この場合、検索サーバ1003から検索画像データ10012に一致する画像データ9011と、この画像データ9011に対応する履歴レコード9012とがクライアントコンピュータ1004にダウンロードされる。このようにして、画像データ検索システムにおいて所望の画像データが検索される。このように、画像データ検索システムにおいて所望の画像データが検索される。
これにより、ユーザは、所望の検索画像データが複写機1001においてレイアウトが変更されてプリントアウトされており、このレイアウト変更後の出力画像と一致する印字画像データがストレージデバイス1005に蓄積されている場合であっても、検索された所望の検索画像データと一致する画像データと、この画像データに対応する履歴レコードの情報から、所望の検索画像データが、複写機1001によっていつ、どこで、どのように、誰によって利用されたかを容易且つ確実に知ることができる。
尚、本実施例においても、パターンマッチング処理は上述のものに限るものではなく、公知の種々のパターンマッチング処理を用いることができる。
上述のように、本発明の実施の形態に係る画像検索システム1000によれば、使用画像データとして、原稿画像データ又は複写機1001によってレイアウト変更がなされた印字画像データを複写機1001によって読み込み、画像データを生成する。そして、生成した画像データをストレージサーバ1005に格納する。また、このストレージサーバ1005における使用画像データの格納場所を示す情報、ジョブを実行したユーザのユーザ名や、当該ユーザの複写機1001の使用日付や、ジョブの出力形態の情報、原稿及び印字画像のカラー設定情報、及びジョブ種別情報等のジョブの履歴情報を記録して履歴レコードを生成し、この履歴レコードを履歴管理サーバ1006に記録する。
そして、ユーザが、複写機1001によっていつ、どこで、どのように、誰によって利用されたかを知りたい所望の画像を複写機1001を用いて読み取ると、その画像の画像データである検索画像データが生成され、検索サーバ1003に送信される。検索サーバ1003は、ストレージサーバ1005を検索して格納されている使用画像データから検索画像データに合致する画像データをパターンマッチングにより検出する。このとき、検索サーバ1003は、履歴管理サーバ1006を検索して記録されている履歴レコードから、パターンマッチングにおいて検索画像データと比較されるストレージサーバ1005の使用画像データに対応する履歴レコードを検出して、この検出した履歴レコードに記録された出力形態を示す情報に応じてパターンマッチングの抽出対象の領域を変更する。
このため、オリジナルの原稿の画像に対して拡大・縮小や、縮小/拡大レイアウト、製本印刷、画像シフト等の処理を行い、オリジナルの原稿から画像のレイアウトの変更を行って印字して、原稿の画像データと印字物の画像データとが異なったものになる場合において、ストレージサーバ1005に使用画像データとして原稿画像データが格納され、検出画像データがレイアウト変更後の印字画像データとされた場合でも、または、ストレージサーバ1005に使用画像データとしてレイアウト変更後の印字画像データが格納され、検出画像データがレイアウト変更前の原稿画像データとされた場合でも、履歴レコードの出力形態情報に応じてパターンマッチングの抽出対象領域を変更して、検出画像データに合致する画像データを使用画像データから検出する。
これにより、使用画像データがレイアウト変更前の原稿画像データ又はレイアウト変更後の印字画像データであっても、検出画像データとしての原稿画像データ又は印字画像データに合致する使用画像データを的確に検出することができ、検索の高速化及び正確さを向上させることができる。
加えて、ユーザが類似画像データと漏洩ドキュメントを照らし合わせて、逐一肉眼で合致するか否かの確認をするデータ検査作業を行わなくても、検出された履歴レコードを確認することにより誰がその操作を行ったかを検出することができるようになり、漏洩ドキュメントの追跡作業の負担を軽減することができる。従って、多様な監視条件によって、使用画像データが、いつ、どこで、どのような処理をされたかを容易且つ確実に検出することができる。
尚、本実施の形態にかかる画像データ検索システムは、ストレージサーバ1005、及び履歴管理サーバ1006を1つ備えるものとしたが、複数備えるものであってもよい。
また、本実施形態において、画像処理装置としてデジタル複写機である複写機1001を例示したが、画像処理装置は単機能のプリンタでもよい。この場合、外部のホストコンピュータから受信したユーザ情報と印刷データと出力形態を指定する情報に基づいて印刷データを画像データに変換し、指定された出力形態に基づいた出力処理を行う。そして、ホストコンピュータから受信した情報に基づき履歴レコードを生成し、履歴サーバ1006へ書き込みを行い、指定された出力形態に基づいて出力処理が施された画像データをストレージサーバ1005へ書き込む。
また、本発明の目的は、前述した実施の形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施の形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
本発明の実施の形態に係る画像データ検索システムの基本的なシステム構成を示す図である。 図1における複写機の概略構成を示す断面図を示す。 図1における複写機に実装されるシステムのブロック図である。 図1における複写機が実行する画像データのストレージサーバへの書き込み動作、及び履歴レコードの履歴管理サーバへの書き込み動作を説明する図である。 図3の複写機の操作部の概略構成を示す図である。 図1の画像データ検索システムが実行する画像データ格納・履歴レコード記録処理のフローチャートである。 図6の処理によって履歴管理サーバに記録された履歴レコードの内容を示す図である。 画像データ検出システムにおいて実行される画像データ検出処理を説明する図である。 図1における複写機が実行する画像データのストレージサーバへの書き込み動作、及び履歴レコードの履歴管理サーバへの書き込み動作の他の実施例を説明する図である。 画像データ検出システムにおいて実行される画像データ検出処理の他の実施例を説明する図である。
符号の説明
1000 画像データ検索システム
1001 複写機
1002 ファクシミリ
1003 検索サーバ
1004 クライアントコンピュータ
1005 ストレージサーバ
1006 履歴管理サーバ
1007 イーサネット(登録商標)

Claims (13)

  1. 画像処理装置を備える画像データ検索システムであって、
    前記画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納手段と、
    少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納手段に格納された画像データに関連付けて記録する履歴情報記録手段と、
    前記画像データ格納手段に格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索手段と、
    前記履歴情報記録手段に記録された履歴情報から、前記画像データ格納手段に格納された画像データに対応する履歴情報を検出する履歴情報検出手段とを有し、
    前記画像データ検索手段は、前記履歴情報検出手段により検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納手段に格納された画像データの検索方法を変更することを特徴とする画像データ検索システム。
  2. 前記画像データ検索手段は、前記履歴情報検出手段により検出された履歴情報に記録された出力形態を示す情報に基づいて、前記格納手段に格納された画像データの領域を変更して検索を行なうことを特徴とする請求項1に記載の画像データ検索システム。
  3. 前記画像データ検索手段は、前記履歴情報検出手段により検出された履歴情報に記録された出力形態を示す情報に基づいて、前記所望の画像データの領域を変更して検索を行なうことを特徴とする請求項1に記載の画像データ検索システム。
  4. 前記出力形態を示す情報は前記画像処理装置の設定情報であって、拡大・縮小設定情報、フィニッシング設定情報、レイアウト設定情報、原稿の色情報、及び印字色設定情報の少なくとも1つを含むことを特徴とする請求項1乃至3のいずれか1項に記載の画像データ検索システム。
  5. 前記画像処理装置を操作するユーザを認証する認証手段を更に備え、
    前記履歴情報記録手段は前記認証手段の認証結果に基づいて前記画像処理装置のジョブの実行を指示したユーザ情報を前記履歴情報として記録することを特徴とする請求項1乃至4のいずれか1項に記載の画像データ検索システム。
  6. 前記画像データは前記画像処理装置が有する画像読取手段によって読み取られた原稿の画像データであることを特徴とする請求項1乃至5のいずれか1項に記載の画像データ検索システム。
  7. 前記画像処理装置は、前記出力形態を示す情報に基づいて前記画像データを処理する画像処理手段を有し、
    前記画像データは前記画像処理装置が有する画像読取手段によって読み取られた原稿の画像データ及び前記画像処理手段によって画像処理された前記原稿の画像データのいずれか一方であることを特徴とする請求項1乃至5のいずれか1項に記載の画像データ検索システム。
  8. 前記所望の画像データは前記画像処理装置の前記画像読取手段によって読み取られた画像データであることを特徴とする請求項1乃至7のいずれか1項に記載の画像データ検索システム。
  9. 前記所望の画像データは前記画像処理装置の前記画像読取手段によって読み取られた画像データ及び前記画像処理手段によって画像処理された画像データのいずれか一方であることを特徴とする請求項1乃至8のいずれか1項に記載の画像データ検索システム。
  10. 画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納手段と、
    少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納手段に格納された画像データに関連付けて記録する履歴情報記録手段と、
    前記画像データ格納手段に格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索手段と、
    前記履歴情報記録手段に記録された履歴情報から、前記画像データ格納手段に格納された画像データに対応する履歴情報を検出する履歴情報検出手段とを有し、
    前記画像データ検索手段は、前記履歴情報検出手段により検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納手段に格納された画像データの検索方法を変更することを特徴とする画像データ検索装置。
  11. 画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納工程と、
    少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納工程において格納された画像データに関連付けて記録する履歴情報記録工程と、
    前記画像データ格納工程において格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索工程と、
    前記履歴情報記録工程において記録された履歴情報から、前記画像データ格納工程において格納された画像データに対応する履歴情報を検出する履歴情報検出工程とを有し、
    前記画像データ検索工程は、前記履歴情報検出工程において検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納工程において格納された画像データの検索方法を変更することを特徴とする画像データ検索方法。
  12. 画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納モジュールと、
    少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納モジュールにより格納された画像データに関連付けて記録する履歴情報記録モジュールと、
    前記画像データ格納モジュールにより格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索モジュールと、
    前記履歴情報記録モジュールにより記録された履歴情報から、前記画像データ格納モジュールにより格納された画像データに対応する履歴情報を検出する履歴情報検出モジュールとを有し、
    前記画像データ検索モジュールは、前記履歴情報検出モジュールにより検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納モジュールにより格納された画像データの検索方法を変更することを特徴とする画像データ検索方法をコンピュータに実行させるコンピュータプログラム。
  13. 画像処理装置が実行したジョブに関わる画像データを格納する画像データ格納モジュールと、
    少なくとも前記ジョブにおける画像データの出力形態を示す情報を含む情報を履歴情報として、前記画像データ格納モジュールにより格納された画像データに関連付けて記録する履歴情報記録モジュールと、
    前記画像データ格納モジュールにより格納された画像データから所望の画像データに合致する画像データを検索する画像データ検索モジュールと、
    前記履歴情報記録モジュールにより記録された履歴情報から、前記画像データ格納モジュールにより格納された画像データに対応する履歴情報を検出する履歴情報検出モジュールとを有し、
    前記画像データ検索モジュールは、前記履歴情報検出モジュールにより検出された履歴情報に記録された出力形態を示す情報に基づいて、前記出力形態を示す情報を含む履歴情報に関連付けて前記画像データ格納モジュールにより格納された画像データの検索方法を変更することを特徴とする画像データ検索方法をコンピュータに実行させるコンピュータプログラムを格納したコンピュータ読出し可能な記憶媒体。
JP2005204874A 2005-07-13 2005-07-13 画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体 Expired - Fee Related JP4137096B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005204874A JP4137096B2 (ja) 2005-07-13 2005-07-13 画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体
US11/457,354 US7783136B2 (en) 2005-07-13 2006-07-13 Image data searching with changing search method based on image data output form

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005204874A JP4137096B2 (ja) 2005-07-13 2005-07-13 画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2007028011A JP2007028011A (ja) 2007-02-01
JP4137096B2 true JP4137096B2 (ja) 2008-08-20

Family

ID=37661399

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005204874A Expired - Fee Related JP4137096B2 (ja) 2005-07-13 2005-07-13 画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体

Country Status (2)

Country Link
US (1) US7783136B2 (ja)
JP (1) JP4137096B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6947182B1 (en) * 1999-07-26 2005-09-20 Canon Kabushiki Kaisha Network system and control method of the same
US20060248103A1 (en) * 2005-04-29 2006-11-02 Cisco Technology, Inc. Method of detecting memory leaks in software applications
JP4626610B2 (ja) * 2006-12-20 2011-02-09 富士ゼロックス株式会社 画像処理装置、画像処理システム、画像処理プログラム、画像処理方法
JP2008206043A (ja) * 2007-02-22 2008-09-04 Fuji Xerox Co Ltd 画像処理装置、画像処理システム及び画像処理プログラム
JP4355815B2 (ja) * 2007-04-04 2009-11-04 シャープ株式会社 画像処理装置
JP4914278B2 (ja) * 2007-04-16 2012-04-11 富士フイルム株式会社 画像処理装置、方法およびプログラム
US8107121B2 (en) * 2007-11-02 2012-01-31 Ricoh Company, Ltd. Image processing device, image processing method, and recording method for managing log of output image data
CN101783848B (zh) * 2009-01-20 2013-03-27 京瓷办公信息系统株式会社 图像形成系统
JP5630984B2 (ja) * 2009-10-21 2014-11-26 キヤノン株式会社 画像入出力装置及び画像入出力方法
JP2011129054A (ja) * 2009-12-21 2011-06-30 Ricoh Co Ltd 印刷ジョブ管理装置、印刷ジョブ管理システム、印刷ジョブ管理方法、及び印刷ジョブ管理プログラム
JP5765098B2 (ja) * 2011-07-06 2015-08-19 コニカミノルタ株式会社 情報処理プログラム、情報処理方法、および、情報処理装置
JP2014182653A (ja) * 2013-03-19 2014-09-29 Canon Inc ログ管理システム、ログ管理方法、画像形成装置およびその制御方法、並びにプログラム
JP6907614B2 (ja) * 2017-03-13 2021-07-21 株式会社リコー ファクシミリ装置及び情報処理プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3142902B2 (ja) 1991-07-31 2001-03-07 キヤノン株式会社 画像記憶装置および画像検索方法
US5991466A (en) 1991-07-31 1999-11-23 Canon Kabushiki Kaisha Image retrieving apparatus
JP3332449B2 (ja) 1993-03-10 2002-10-07 キヤノン株式会社 画像記録装置および画像記録制御方法
JP3356230B2 (ja) 1994-01-20 2002-12-16 株式会社リコー セキュリティ機能付複写装置
JP3863862B2 (ja) 2003-05-29 2006-12-27 京セラ株式会社 画像形成装置、画像送信元特定方法及び画像送信元特定プログラム
US7986423B2 (en) * 2004-05-14 2011-07-26 Samsung Electronics Co., Ltd. Image reprinting apparatus and method
JP4641414B2 (ja) * 2004-12-07 2011-03-02 キヤノン株式会社 文書画像検索装置、文書画像検索方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
US20070013962A1 (en) 2007-01-18
US7783136B2 (en) 2010-08-24
JP2007028011A (ja) 2007-02-01

Similar Documents

Publication Publication Date Title
JP4137096B2 (ja) 画像データ検索システム、画像データ検索装置、画像データ検索方法、コンピュータプログラム、及び記憶媒体
CN100439113C (zh) 图像处理装置、打印装置及图像处理方法
US7680865B2 (en) Image processing apparatus and image processing method
JP4789516B2 (ja) 文書変換装置、文書変換方法並びに記憶媒体
US8073257B2 (en) Information processing system, information processing method, image processing apparatus, program, and recording medium
US8661159B2 (en) Image forming apparatus and information processing method to access uniform resource identifiers
JP2007168382A (ja) 印刷装置、印刷システム、印刷方法、及びそのプログラム、記憶媒体
US7756884B2 (en) Information processing apparatus, information processing method, and program
JP5300206B2 (ja) 情報処理装置、機能制限方法、記憶媒体及びプログラム
US20090219572A1 (en) Image forming apparatus and information processing method
US8189219B2 (en) Image processing system, information processing apparatus, image processing apparatus, and image processing method
US7903273B2 (en) Image processing apparatus, image processing method applied to the same, image processing program for implementing the method, and storage medium storing the program
JP2006323456A (ja) 画像処理装置および画像処理システムおよびデータ処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
US20080010612A1 (en) Information processing apparatus, information processing system, control method thereof, program, and storage medium
JP2007280223A (ja) 画像形成装置及び情報処理方法
JP2000215131A (ja) 情報処理装置、ネットワ―クシステム、情報管理方法、及び記憶媒体
JP2006168261A (ja) 画像形成装置およびデータ処理方法およびコンピュータが読み取り可能なプログラムを格納した記憶媒体およびプログラム
JP2006184722A (ja) 自己診断機能を備えた画像形成装置
JP2000137798A (ja) 画像入出力装置、画像入出力方法および画像処理システム
JP2007037016A (ja) チェーシング機能付きデジタル複写機
JP2006243999A (ja) 画像形成装置
JP2006041623A (ja) 画像処理装置およびその方法
JP4912211B2 (ja) 画像処理装置、その制御方法、プログラム及び記憶媒体
US20070229909A1 (en) Information processing apparatus, information processing system, control method, program, and storage medium
JP2007088603A (ja) 画像処理装置、画像システム及び画像処理方法

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080410

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080513

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080603

R150 Certificate of patent or registration of utility model

Ref document number: 4137096

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees