JP5173566B2 - 画像処理装置及びその制御方法、プログラム - Google Patents

Description

本発明は、入力画像データを処理して保存する画像処理装置及びその制御方法、プログラムに関するものである。

従来より、ＰＤＬプリント画像、スキャン画像、ＦＡＸ受信画像等の複数の入力部を介して入力された画像から、目的の画像を一意に検索するための技術が開発されている（特許文献１参照）。
特開２００４−２１５０６７号公報

しかしながら、上述した従来技術では、最近のＰＤＦ（Ｐｏｒｔａｂｌｅ Ｄｏｃｕｍｅｎｔ Ｆｏｒｍａｔ）やＸＰＳ（ＸＭＬ Ｐａｐｅｒ Ｓｐｅｃｉｆｉｃａｔｉｏｎ）等の電子文書に含まれる実際には印刷されない情報は検索できなかった。また、スキャンデータの文字以外の画像や、ユーザがＰＤＬ画像やスキャン画像に付加した情報も検索することができなかった。

本発明の上記の課題を解決するためになされたものであり、検索機能及び検索効率を向上させることができる画像処理装置及びその制御方法、プログラムを提供することを目的とする。

上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
入力画像データを処理して保存する画像処理装置であって、
前記入力画像データをベクタデータに変換する変換手段と、
前記入力画像データの種別を判定する判定手段と、
１）前記判定手段で判定した結果、前記入力画像データが第一のデータの種別の場合、前記入力画像データの前記ベクタデータへの変換処理において前記入力画像データから、検索に利用できる情報を抽出し、その後の前記画像処理装置のアイドルタイムに前記ベクタデータから検索に利用できる情報を更に抽出し、２）前記判定手段で判定した結果、前記入力画像データが第二のデータの種別の場合、前記入力画像データに像域分離をすることで検索に利用できる情報を抽出する抽出手段と、
前記抽出手段で抽出した情報の種類が、印刷される文字情報である基本付加情報、印刷されない文字情報である応用付加情報、ビットマップデータに含まれる画像の特徴を示す画像情報である画像付加情報のいずれであるかを判定して、その種類に応じた種類別の判定された付加情報と、前記ベクタデータとを関連付けて保持する保持手段と、
前記付加情報を検索するための検索条件として、検索用キーワードと前記付加情報の種類として前記基本付加情報、前記応用付加情報及び前記画像情報の少なくとも１つの指定を入力する入力手段と、
前記入力手段から入力された検索条件に合致する、指定された種類の前記付加情報を、前記保持手段から検索する検索手段と、
前記検索手段で検索された付加情報に関連付けられているベクタデータのファイル名を、検索結果として表示する表示手段と
を有する。

また、好ましくは、前記ベクタデータをビットマップデータに展開する展開手段を更に有し、
前記抽出手段は、
ＰＤＬデータに含まれる文字情報を抽出する文字情報抽出手段と、
前記ビットマップデータに含まれる文字画像を認識して、文字情報を抽出する文字認識手段と、
前記ビットマップデータに含まれる画像の特徴を示す画像情報を抽出する画像情報抽出手段と
を有する。

また、好ましくは、前記判定手段の判定の結果、前記入力画像データがＰＤＬデータである場合、前記抽出手段は、
前記ＰＤＬデータを前記変換手段によって前記ベクタデータに変換する過程で、前記文字情報抽出手段によって前記ＰＤＬデータに含まれる文字情報を抽出し、
前記画像情報抽出手段によって前記ビットマップデータに含まれる画像の特徴を示す画像情報を抽出し、
前記過程で、前記文字情報抽出手段から文字情報が抽出されない場合には、前記文字認識手段によって前記ビットマップデータに含まれる文字画像を認識して、文字情報を抽出する。

また、好ましくは、前記判定手段の判定の結果、入力画像データがビットマップデータであるスキャンデータである場合、前記抽出手段は、
前記文字認識手段によって前記ビットマップデータであるスキャンデータに含まれる文字画像を認識して、文字情報を抽出し、
前記画像情報抽出手段によって前記ビットマップデータであるスキャンデータに含まれる画像の特徴を示す画像情報を抽出する。

また、好ましくは、前記検索に利用できる情報とは、前記ベクタデータでは可視化されない、前記入力画像データに含まれる情報を含む。

上記の目的を達成するための本発明による画像処理装置の制御方法は以下の構成を備える。即ち、
入力画像データを処理して保存する画像処理装置の制御方法であって、
変換手段が、前記入力画像データをベクタデータに変換する変換工程と、
判定手段が、前記入力画像データの種別を判定する判定工程と、
抽出手段が、１）前記判定工程で判定した結果、前記入力画像データが第一のデータの種別の場合、前記入力画像データの前記ベクタデータへの変換処理において、前記入力画像データから、検索に利用できる情報を抽出し、その後の前記画像処理装置のアイドルタイムに前記ベクタデータから検索に利用できる情報を更に抽出し、２）前記判定工程で判定した結果、前記入力画像データが第二のデータの種別の場合、前記入力画像データに像域分離をすることで検索に利用できる情報を抽出する抽出工程と、
保持手段が、前記抽出工程で抽出した情報の種類が、印刷される文字情報である基本付加情報、印刷されない文字情報である応用付加情報、ビットマップデータに含まれる画像の特徴を示す画像情報である画像付加情報のいずれであるかを判定して、その種類に応じた種類別の判定された付加情報と、前記ベクタデータとを関連付けて記憶媒体に保持する保持工程と、
入力手段が、前記付加情報を検索するための検索条件として、検索用キーワードと前記付加情報の種類として前記基本付加情報、前記応用付加情報及び前記画像情報の少なくとも１つの指定を入力する入力工程と、
検索手段が、前記入力工程から入力された検索条件に合致する、指定された種類の前記付加情報を、前記記憶媒体から検索する検索工程と、
表示手段が、前記検索工程で検索された付加情報に関連付けられているベクタデータのファイル名を、検索結果として表示する表示工程と
を有する。

上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
入力画像データを処理して保存する画像処理装置の制御をコンピュータに実行させるための、コンピュータ可読媒体に記憶されたプログラムであって、
前記入力画像データをベクタデータに変換する変換工程と、
前記入力画像データの種別を判定する判定工程と、
１）前記判定工程で判定した結果、前記入力画像データが第一のデータの種別の場合、前記入力画像データの前記ベクタデータへの変換処理において、前記入力画像データから、検索に利用できる情報を抽出し、その後の前記画像処理装置のアイドルタイムに前記ベクタデータから検索に利用できる情報を更に抽出し、２）前記判定工程で判定した結果、前記入力画像データが第二のデータの種別の場合、前記入力画像データに像域分離をすることで検索に利用できる情報を抽出する抽出工程と、
前記抽出工程で抽出した情報の種類が、印刷される文字情報である基本付加情報、印刷されない文字情報である応用付加情報、ビットマップデータに含まれる画像の特徴を示す画像情報である画像付加情報のいずれであるかを判定して、その種類に応じた種類別の判定された付加情報と、前記ベクタデータとを関連付けて記憶媒体に保持する保持工程と、
前記付加情報を検索するための検索条件として、検索用キーワードと前記付加情報の種類として前記基本付加情報、前記応用付加情報及び前記画像情報の少なくとも１つの指定を入力する入力工程と、
前記入力工程から入力された検索条件に合致する、指定された種類の前記付加情報を、前記記憶媒体から検索する検索工程と、
前記検索工程で検索された付加情報に関連付けられているベクタデータのファイル名を、検索結果として表示する表示工程と
をコンピュータに実行させる。

本発明によれば、検索機能及び検索効率を向上させることができる画像処理装置及びその制御方法、プログラムを提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

＜実施形態１＞
本発明の実施形態を適用するに好適な画像処理装置として機能する、」マルチファンクションペリフェラル（以下、ＭＦＰ）の構成について、図１を用いて説明する。

図１は本発明の実施形態１の画像処理装置の構成を示す図である。

ＭＦＰ１００は、主に、原稿露光（スキャナ）部１０１、レーザ露光部１０２、感光ドラム等を備える作像部１０３、定着部１０４、給紙／搬送部１０５及び、これらを制御するプリンタ制御部１０６から構成される。

原稿露光部１０１は、原稿台に置かれた原稿に対して、照明を当てて原稿画像を光学的に読み取り、その読取画像を電気信号に変換して画像データを作成する。レーザ露光部１０２は、作成された画像データに応じて変調された光線（レーザ光等）を等角速度で回転する回転多面鏡（ポリゴンミラー）に入射させ、反射走査光として感光ドラムに照射する。

作像部１０３は、感光ドラムを回転駆動し、帯電器によって帯電させ、レーザ露光部１０２によって感光ドラム上に形成された潜像をトナーによって現像化し、そのトナー像をシート（印刷用紙）に転写する。その際、作像部１０３は、転写されずに感光ドラム上に残った微小トナーを回収する一連の電子写真プロセスを実行して作像する。

その後、作像部１０３は、シートが転写ドラムの所定位置に巻きつき、４回転する間に、４色のトナーを持つそれぞれの現像ユニット（現像ステーション）が入れ替わりで順次、電子写真プロセスを繰り返し実行する。４回転の後、４色（マゼンタ（Ｍ）、シアン（Ｃ）、イエロー（Ｙ）、ブラック（Ｋ））のフルカラートナー像を転写されたシートは、転写ドラムを離れ、定着部１０４へ搬送される。

尚、実施形態１の作像部１０３は、カラー印刷が可能なカラーＭＦＰの場合の構成を示しており、モノクロ印刷を行うモノクロＭＦＰの場合は、構成されるトナーがブラック（Ｋ）のみとなり、電子写真プロセスも１回に短縮される。

定着部１０４は、ローラやベルトの組み合わせによって構成される搬送機構と、熱源（ハロゲンヒータ等）を内蔵している。そして、定着部１０４は、この搬送機構と熱源を利用して、作像部１０３によってトナー像が転写されたシート上のトナーを、熱と圧力によって溶解、定着させる。

給紙／搬送部１０５は、シートカセットやペーパーデッキに代表されるシート収納庫を一つ以上持っており、プリンタ制御部１０６の指示に応じてシート収納庫に収納された複数のシートの中から一枚分離し、作像部１０３及び定着部１０４へ搬送する。シートは作像部１０３の転写ドラムに巻きつけられ、４回転した後に定着部１０４へ搬送される。４回転する間に、ＹＭＣＫ各色のトナー像がシートに転写される。また、シートの両面に画像形成する場合は、給紙／搬送部１０５は、定着部１０４を通過したシートを再度作像部１０３へ搬送する搬送経路を通るように制御する。

プリンタ制御部１０６は、ＭＦＰ１００全体を制御するＭＦＰ制御部１０７と通信して、その指示に応じて制御を実行する。これと共に、プリンタ制御部１０６は、原稿露光部１０１、レーザ露光部１０２、作像部１０３、定着部１０４、給紙／搬送部１０５の状態を管理しながら、全体が調和を保って円滑に動作できるよう指示を行う。

次に、ＭＦＰ１００のＭＦＰ制御部１０７である、コントロールユニット（コントローラ）の詳細構成について、図２を用いて説明する。

図２は本発明の実施形態１のＭＦＰのコントローラの一構成例を示すブロック図である。

図２において、コントローラ２００は、画像入力デバイスであるスキャナ２０１及び画像出力デバイスであるプリンタエンジン２０２と接続し、画像データの読取やプリント出力のための制御を行う。また、コントローラ２００は、ＬＡＮ１０及び公衆回線２０４と接続することで、画像情報やデバイス情報をＬＡＮ１０経由で入出力するための制御を行う。

ＣＰＵ２０５は、ＭＦＰ１００全体を制御するための中央処理装置である。ＲＡＭ２０６は、ＣＰＵ２０５が動作するためのシステムワークメモリであり、入力された画像データを一時記憶するための画像メモリでもある。さらに、ＲＯＭ２０７は、ブートＲＯＭであり、システムのブートプログラムが格納されている。

ＨＤＤ２０８は、ハードディスクドライブであり、各種処理のためのシステムソフトウェア及び入力された画像データ等を格納する。操作部Ｉ／Ｆ２０９は、画像データ等を表示可能な表示画面を有する操作部２１０に対するインタフェース部であり、操作部２１０に対して操作画面データを出力する。また、操作部Ｉ／Ｆ２０９は、操作部２１０から操作者が入力した情報をＣＰＵ２０５に伝える役割をする。

ネットワークＩ／Ｆ２１１は、例えば、ＬＡＮカード等で実現され、ＬＡＮ１０に接続して外部装置との間で情報の入出力を行う。さらにまた、モデム２１２は、公衆回線２０４に接続して外部装置との間で情報の入出力を行う。

以上のユニットがシステムバス２１３上に配置されている。

イメージバスＩ／Ｆ２１４は、システムバス２１３と、画像データを高速で転送する画像バス２１５とを接続するためのインタフェースであり、データ構造を変換するバスブリッジである。画像バス２１５上には、ラスタイメージプロセッサ２１６、デバイスＩ／Ｆ２１７、スキャナ画像処理部２１８、プリンタ画像処理部２１９、画像編集処理部２２０、領域分割処理部２２１、カラーマネージメントモジュール（ＣＭＭ）２３０が接続される。

ラスタイメージプロセッサ（ＲＩＰ）２１６は、ベクタデータをビットマップデータに展開する。デバイスＩ／Ｆ２１７は、スキャナ２０１及びプリンタエンジン２０２と、コントローラ２００とを接続し、画像データの同期系／非同期系の変換を行う。

また、スキャナ画像処理部２１８は、スキャナ２０１から入力した画像データに対して、補正、加工、編集等の各種画像処理を行う。プリンタ画像処理部２１９は、プリント出力する画像データに対して、プリンタエンジン２０２に応じた補正、解像度変換等の各種画像処理を行う。画像編集処理部２２０は、画像データの回転や、画像データの圧縮伸長処理等の各種画像処理を行う。

領域分割処理部２２１は、入力されたビットマップデータを解析して、それに含まれるオブジェクトの塊毎の領域に分割し、各領域の属性を判定して分類する処理を行う。属性としては、文字、画像、図形等の種類がある。

ここで、領域分割の一例について、図３を用いて説明する。

図３は本発明の実施形態１の入力画像に対する領域分割の一例を示す図である。

入力画像４１に対する領域分割処理を実行すると、例えば、領域分割結果４２が得られる。領域分割結果４２において、点線で囲まれる部分が画像の解析結果によって得られるオブジェクトの１単位を表し、各オブジェクトに対して付されている文字列がその属性の種類（ここでは、文字、図形、画像）を表している。

属性毎に分類された領域の内、文字属性の領域は、ＯＣＲ処理より文字認識処理され、文字列に変換される。つまり、この文字列は、入力画像４１で示される文字画像「ＦＩＳＨ」や「およぎます。」に対応する。

一方、属性毎に分類された領域内、画像属性の領域は、画像情報抽出処理を通して画像情報に変換される。画像情報とは、画像の特徴を現す文字列であり、例えば、「魚」や「海」等の文字列である。画像情報抽出には、画像特徴量（画像を構成するピクセルの周波数や濃度等）検出や顔認識等の一般的な画像処理技術を用いることができる。

ＣＭＭ２３０は、画像データに対して、プロファイルやキャリブレーションデータに基づく色変換処理（色空間変換処理ともいう）を施す専用ハードウェアモジュールである。ここで、プロファイルとは、例えば、機器に依存した色空間で表現したカラー画像データを機器に依存しない色空間（例えば、Ｌａｂ等）に変換するための関数情報である。また、キャリブレーションデータとは、ＭＦＰ１００におけるスキャナ２０１やプリンタエンジン２０２の色再現特性を修正するためのデータである。

次に、ＭＦＰ１００の動作を制御するコントローラソフトウェアの構成について、図４を用いて説明する。

図４は本発明の実施形態１のＭＦＰの動作を制御するコントローラソフトウェアの構成を示すブロック図である。

プリンタＩ／Ｆ１２００は、外部との入出力を行う。プロトコル制御部１１０１は、ネットワークプロトコルを解析・送信することによって外部との通信を行う。ベクタデータ生成部１１０２は、ビットマップデータから解像度に依存しない描画記述であるベクタデータを生成する。

ＰＤＬ解析部１１０３は、例えば、プリンタＩ／Ｆ１２００を介して入力したＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）データを解析し、より処理しやすい形式（ベクタ形式）のベクタデータに変換する。ＰＤＬ解析部１１０３において生成されたベクタデータは、データ描画部として機能するＲＩＰ部１１０４に渡されて処理される。ＲＩＰ部１１０４は、ベクタデータをビットマップデータに展開し、展開されたビットマップデータはページメモリ１１０５に逐次描画される。

ページメモリ１１０５は、ＲＩＰ部１１０４が展開するビットマップデータを一次的に保持する揮発性のメモリである。パネル入出力制御部１０２０は、操作部２１０からの入出力を制御する。

ドキュメント記憶部１０３０は、入力文書データをジョブ単位にベクタデータを包含するデータファイルとして保持し、例えば、ハードディスク等の二次記憶装置によって実現される。入力文書データのデータファイルを保持しておけば、ユーザが好きな時に取り出して繰り返し出力することができる。このように、再利用を目的として画像出力装置の二次記憶装置（ドキュメント記憶部１０３０）に、入力データをファイル形式で保持する機能をボックス機能、ファイルシステムをボックスと呼ぶ。

スキャン制御部１５００は、スキャナ２０１から入力した画像データ（スキャンデータ）に対して、補正、加工、編集等の各種処理を行う。印刷制御部１３００は、ページメモリ１１０５の内容をビデオ信号に変換処理し、プリンタエンジン部１４００へ転送を行なう。プリンタエンジン部１４００は、受信したビデオ信号を記録紙に永久可視画像形成するための印刷機構部である。

次に、実施形態１における「ＰＤＬデータ」と、ＰＤＬデータの「印刷結果」、ＰＤＬデータを印刷用データに変換した「ベクタデータ」と、そのベクタデータに関連付けられた「付加情報」の構成について、図５を用いて説明する。

図５は本発明の実施形態１の入力画像データがＰＤＬデータの場合に生成されるベクタデータと付加情報の構成例を示す図である。

ＰＤＬデータ５１は、文書の一部を「タグ」と呼ばれる特別な文字列で囲うことにより、文章の構造（見出しやハイパーリンク等）や修飾情報（文字の大きさや組版の状態等）を記述するマークアップ言語で構成される。

＜文書＞タグに囲まれた文書内には、
最初の＜グラフィック描画＞で「ＦＩＳＨ」を描画し、
次の＜グラフィック描画＞で「☆」を描画し、
次の＜テキスト描画＞で「およぎます。」を描画し、
最後の＜イメージ描画＞で「魚の画像」を描画する、という指示がある。

ＰＤＬデータ５１を解釈して得られる描画結果が、描画結果５２である。

ＰＤＬデータ５１を解釈して生成される印刷用データであるベクタデータと、ＰＤＬデータ５１の解釈中に得られる付加情報とを関連付けて保存したものが、保存データ５３である。

ベクタデータから付加情報にリンクが貼られ関連付けが行われる。また、付加情報からは、付加情報の実体に対するリンクが貼られ、付加情報の終端を示す情報でリンクは途切れる。

ここでは、ＰＤＬデータ５１を解釈中に抽出できる文字列「およぎます。」が付加情報として保存データ５３に保存されている。

次に、実施形態１における「スキャンデータ」と、スキャンデータを領域分割して印刷用データに変換した「ベクタデータ」と、そのベクタデータに関連付けられた「付加情報」の構成について、図６を用いて説明する。

図６は本発明の実施形態１の入力画像データがスキャンデータの場合に生成されるベクタデータと付加情報の構成例を示す図である。

スキャンデータ６１を、領域分割すると図３で示す領域分割結果４２が得られるが、ここから文字属性領域の文字列を抽出（文字情報抽出）すると、保存データ６２のようなベクタデータと付加情報の関連付けが構成される。リンク構成は、図５の保存データ５３と同様である。

ここで、図５のＰＤＬデータ５１の場合、保存データ５３の付加情報は「およぎます。」だけであるが、スキャンデータ６１では「およぎます。」の他に「ＦＩＳＨ」も付加情報に加えられている。

さらに、画像属性領域の画像情報を抽出（画像情報抽出）すると、保存データ６３のようなベクタデータと付加情報の関連付けが構成される。リンク構成は、図５の保存データ５３、図６の保存データ６２と同様である。

ここでは、画像の特徴を現す画像情報として、保存データ６２に対して、「魚」、「海」が付加情報に追加されている。

次に、実施形態１のＭＦＰ１００のコントローラ２００が実行する処理について、図７を用いて説明する。

図７は本発明の実施形態１のＭＦＰのコントローラが実行する処理を示すフローチャートである。

ステップＳ１０１において、コントローラ２００は、入力画像データの種別を判定する。ここでは、コントローラ２００は、入力画像データがＰＤＬデータであるかスキャンデータであるかを判定する。入力画像データがＰＤＬデータである場合、ステップＳ１０２に進む。一方、入力画像データがスキャンデータである場合、ステップＳ１１３に進む。

ステップＳ１０２において、コントローラ２００は、ＰＤＬデータを解釈して印刷用のベクタデータを生成する。

ステップＳ１０３において、コントローラ２００は、ＰＤＬデータを解釈しながらＰＤＬデータに含まれる文字列を抽出し、抽出した文字列をベクタデータの付加情報に追加する。

ステップＳ１０４において、コントローラ２００は、ベクタデータ生成終了（ベクタ形式の印刷用データに変換する過程）までにステップＳ１０３における文字列の抽出ができたかどうかを判定する。文字列を抽出できた場合（ステップＳ１０４でＹＥＳ）、ステップＳ１０５に進む。一方、文字列を抽出できなかった場合（ステップＳ１０４でＮＯ）、ステップＳ１０７に進む。

ステップＳ１０５において、コントローラ２００は、ベクタデータと付加情報を関連付けて、ドキュメント記憶部１０３０に確保されているボックスに保存する。

ステップＳ１０６において、コントローラ２００は、処理すべきことが何もないアイドルタイムかどうかを判定する。アイドルタイムである場合（ステップＳ１０６でＹＥＳ）、ステップＳ１０７に進む。一方、アイドルタイムでない場合（ステップＳ１０６でＮＯ）、ステップＳ１１８に進み、その他の処理を行う。

ステップＳ１０７において、コントローラ２００は、保存したベクタデータをＲＩＰ部１１０４によってビットマップデータを生成し、生成されたビットマップデータに対して領域分割を行う。

ステップＳ１０８において、コントローラ２００は、領域分割の結果、文字属性領域の文字情報をベクタデータの付加情報に追加する。

ステップＳ１０９において、コントローラ２００は、ベクタデータと付加情報を関連付けて、ドキュメント記憶部１０３０に確保されているボックスに保存する。

ステップＳ１１０において、コントローラ２００は、処理すべきことが何もないアイドルタイムかどうかを判定する。アイドルタイムである場合（ステップＳ１１０でＹＥＳ）、ステップＳ１１１へ進む。一方、アイドルタイムでない場合（ステップＳ１１０でＮＯ）、ステップＳ１１９に進み、その他の処理を行う。

ステップＳ１１１において、コントローラ２００は、領域分割の結果、画像属性領域の画像特徴量を算出し、それを画像情報としてベクタデータの付加情報に追加する。

ステップＳ１１２において、コントローラ２００は、ベクタデータと付加情報を関連付けて、ドキュメント記憶部１０３０に確保されているボックスに保存する。

ステップＳ１０１において、入力画像データがスキャンデータである場合、ステップＳ１１３において、コントローラ２００は、ビットマップデータであるスキャンデータに対して領域分割を行い、印刷用のベクタデータを生成する。

ステップＳ１１４において、コントローラ２００は、領域分割の結果、文字属性領域の文字情報をベクタデータの付加情報に追加する。

ステップＳ１１５において、コントローラ２００は、ベクタデータと付加情報を関連付けて、ドキュメント記憶部１０３０に確保されているボックスに保存する。

以上説明したように、実施形態１によれば、電子文書フォーマットに含まれる印刷される文字はもちろん、実際には印刷されない情報やスキャン画像の文字や画像までも検索することができる。このように、効率的な検索処理を実現することができる。

＜実施形態２＞
実施形態１においては、抽出した文字情報や画像情報を区別することなくひとつの付加情報に保存する構成としているが、これに限定されない。実施形態２では、抽出した情報毎に区別して付加情報に保存する構成について説明する。

実施形態２における「ＰＤＬデータ」と、ＰＤＬデータの「印刷結果」と、ＰＤＬデータを印刷用データに変換した「ベクタデータ」と、そのベクタデータに関連付けられた「付加情報」の構成について、図８を用いて説明する。

図８は本発明の実施形態２の入力画像データがＰＤＬデータの場合に生成されるベクタデータと付加情報の構成例を示す図である。

ＰＤＬデータ７１は、実施形態１の図５のＰＤＬデータ５１と同様、マークアップ言語で構成される。

＜文書＞タグに囲まれた文書内には
最初に文書＜タイトル＞である「絵本」が含まれ、
次に＜作成者＞の「太郎」が含まれる。

これらは実際には印刷されない情報である。

その後に＜グラフィック描画＞で「ＦＩＳＨ」を描画し、
次の＜グラフィック描画＞で「☆」を描画し、
次の＜テキスト描画＞で「およぎます。」を描画し、
次の＜イメージ描画＞で「魚の画像」を描画する、という指示がある。

さらに、＜コメント＞として「さんま」が含まれるが、これも「絵本」、「太郎」と同様に実際には印刷されない情報である。

ＰＤＬデータ７１を解釈して得られる描画結果が、描画結果７２である。描画結果７２から明らかなように、ＰＤＬデータ７１中の「絵本」、「太郎」、「さんま」等の文字列は描画されない。

ＰＤＬデータ７１を解釈して生成される印刷用データであるベクタデータと、ＰＤＬデータ７１の解釈中に得られる付加情報とを関連付けて保存したものが、保存データ７３である。

ベクタデータから付加情報にリンクが貼られ、関連付けが行われる。また、付加情報は、「基本付加情報」、「応用付加情報」及び「画像付加情報」から構成され、ベクタデータから順々にリンクされている。各付加情報には実体に対するリンクが貼られ、それぞれ付加情報の終端を示す情報でリンクは途切れる。

ここでは、ＰＤＬデータ７１を解釈中に抽出できる文字列で、かつ実際に印刷する文字列「およぎます。」が基本付加情報として保存データ７３に保存されている。

また、ＰＤＬデータ７１を解釈中に抽出できるが、実際には印刷しない文字列「絵本」、「太郎」及び「さんま」が応用付加情報として保存データ７３に保存されている。

保存データ７４は、保存データ７３のベクタデータをビットマップデータに展開し、さらに展開したビットマップデータを領域分割して、文字情報、画像情報を抽出した結果、生成されるベクタデータと付加情報の構成である。

図６の保存データ６３と同様に、文字情報として「およぎます。」と「ＦＩＳＨ」が抽出されるが、これらは実際に印刷する情報として基本付加情報に保存されている。また、画像情報としては「魚」、「海」が抽出され、画像付加情報に保存されている。

このような構成することで、例えば、「印刷されている情報だけを検索したい」、「画像は検索対象外にしたい」というユーザの要望に容易に応えることができ、検索の利便性と検索パフォーマンスの向上を期待できる。

次に、実施形態２のＭＦＰ１００のコントローラ２００が実行する処理について、図９を用いて説明する。尚、図９では、付加情報の保存する方法以外は、実施形態１の図７のフローチャートで示す処理と同様の処理となるので、これについては省略し、図９では、付加情報の保存処理について説明する。

図９は本発明の実施形態２の付加情報の保存処理を示すフローチャートである。

ステップＳ２０１において、コントローラ２００は、入力画像データから抽出した情報が実際に印刷される文字情報であるかどうかを判定する。印刷される文字情報である場合（ステップＳ２０１でＹＥＳ）、ステップＳ２０２に進む。一方、印刷される文字情報でない場合（ステップＳ２０１でＮＯ）、ステップＳ２０３に進む。

ステップＳ２０２において、コントローラ２００は、文字情報を基本付加情報に追加する。

ステップＳ２０３おいて、コントローラ２００は、入力画像データから抽出した情報が実際に印刷されない文字情報であるかどうかを判定する。印刷されない文字情報である場合（ステップＳ２０３でＹＥＳ）、ステップＳ２０４に進む。一方、印刷されない文字情報でない場合（ステップＳ２０３でＮＯ）、ステップＳ２０５に進む。

ステップＳ２０４において、コントローラ２００は、文字情報を応用付加情報に追加する。

ステップＳ２０５おいて、コントローラ２００は、入力画像データから抽出した情報が画像情報であるかどうかを判定する。画像情報である場合（ステップＳ２０５でＹＥＳ）、ステップＳ２０６に進む。一方、画像情報でない場合（ステップＳ２０５でＮＯ）、ステップＳ２０７に進む。

ステップＳ２０６において、コントローラ２００は、画像情報を画像付加情報に追加する。

ステップＳ２０７において、コントローラ２００は、ベクタデータと各種付加情報（基本付加情報、応用付加情報、画像付加情報を含む種類別の付加情報）を関連付けて、ドキュメント記憶部１０３０に確保されているボックスに保存する。

次に、ボックスに保存されたベクタデータと付加情報に対して、コントローラ２００が実行する検索処理について、図１０を用いて説明する。

図１０は本発明の実施形態２の検索処理を示すフローチャートである。

尚、検索処理は、例えば、検索用の操作パネルからの指示に基づいて実行される。

ここで、検索用の操作パネルの一例について、図１１を用いて説明する。

図１１は本発明の実施形態２の検索用の操作パネルの一例を示す図である。

操作パネル９１は、検索用キーワード（検索条件）を入力する入力ウィンドウ９２と、検索対象を「基本情報」、「応用情報」及び「画像情報」から選択するトグルスイッチ９３〜９５を備える。また、検索条件に合致する検索結果（例えば、付加情報に関連付けられているベクタデータのファイル名）を表示するウィンドウ９７、検索の進行具合を示すステータスバー９６、検索結果をスライドして見るためのスライドバー９８を備えている。

更に、検索実行を指示するＯＫボタン９９ａ、検索のキャンセルを指示するキャンセルボタン９９ｂを備えている。そして、操作パネル９１において、各種入力及び設定をした後、ＯＫボタン９９ａが押下されると、図１０の検索処理が実行される。

ステップＳ３０１において、コントローラ２００は、検索用キーワードが操作パネルより入力されたか判定する。入力された場合（ステップＳ３０１でＹＥＳ）、ステップＳ３０２に進む。一方、入力されない場合（ステップＳ３０１でＮＯ）、入力されるまで待機する。

ステップＳ３０２において、コントローラ２００は、ユーザが検索対象に指定した付加情報を判定する。

ステップＳ３０３〜ステップＳ３１２の処理を、コントローラ２００は、ドキュメント記憶部１０３０に確保されているボックス中の全てのベクタデータに対して行う。

ステップＳ３０４において、ユーザが指定した検索対象毎に処理を分岐する。

検索対象が「基本付加情報」の場合は、ステップＳ３０９に進み、コントローラ２００は、基本付加情報を検索する。「応用付加情報」の場合は、ステップＳ３１０に進み、コントローラ２００は、応用付加情報を検索する。「画像付加情報」の場合は、ステップＳ３０５に進む。

ステップＳ３０５において、コントローラ２００は、ベクタデータに関連付けられた画像付加情報がないかどうか判定する。画像付加情報がない場合（ステップＳ３０５でＹＥＳ）、ステップＳ３０６に進む。一方、画像付加情報がある場合（ステップＳ３０５でＮＯ）、ステップＳ３０８に進む。

ステップＳ３０６において、コントローラ２００は、ベクタデータからビットマップデータを生成し、領域分割を行う。

ステップＳ３０７において、コントローラ２００は、領域分割の結果、画像属性領域の画像特徴量を算出し、それを画像情報としてベクタデータの画像付加情報に追加する。

ステップＳ３０８において、コントローラ２００は、画像付加情報を検索する。

ステップＳ３１１において、コントローラ２００は、ユーザが指定した検索対象の付加情報を全て検索したかどうか判定する。全て検索した場合（ステップＳ３１１でＹＥＳ）、ステップＳ３１２に進む。一方、全て検索していない場合（ステップＳ３１１でＮＯ）、つまり、未検索の付加情報が残っている場合、ステップＳ３０４に戻り、残りの付加情報について検索を行う。

ステップＳ３１２において、コントローラ２００は、ボックスに保存される全てのベクタデータに対して検索が終了したらステップＳ３１３の処理に進む。

ステップＳ３１４において、コントローラ２００は、検索結果を操作パネル上に表示する。

以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、付加情報を種類別に分類した上で、ベクタデータと関連付けて保持することで、よりきめの細かい検索処理を実現することができる。

尚、実施形態１や２では、入力画像データから印刷用データに変換した場合の、印刷用データでは可視化されない、入力画像データに含まれる情報（不可視情報）を、特に、検索対象（検索に利用できる）情報としているが、これに限定されない。検索に有効な情報であれば、印刷用データで可視化される情報を積極的に検索対象情報としても良い。

以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスクがある。また、更に、記録媒体としては、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、その接続先のホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。

本発明の実施形態１の画像処理装置の構成を示す図である。 本発明の実施形態１のＭＦＰのコントローラの一構成例を示すブロック図である。 本発明の実施形態１の入力画像に対する領域分割の一例を示す図である。 本発明の実施形態１のＭＦＰの動作を制御するコントローラソフトウェアの構成を示すブロック図である。 本発明の実施形態１の入力画像データがＰＤＬデータの場合に生成されるベクタデータと付加情報の構成例を示す図である。 本発明の実施形態１の入力画像データがスキャンデータの場合に生成されるベクタデータと付加情報の構成例を示す図である。 本発明の実施形態１のＭＦＰのコントローラが実行する処理を示すフローチャートである。 本発明の実施形態２の入力画像データがＰＤＬデータの場合に生成されるベクタデータと付加情報の構成例を示す図である。 本発明の実施形態２の付加情報の保存処理を示すフローチャートである。 本発明の実施形態２の検索処理を示すフローチャートである。 本発明の実施形態２の検索用の操作パネルの一例を示す図である。

符号の説明

２００ コントロールユニット
２０１ スキャナ
２０２ プリンタエンジン
２１０ 操作部
１１０１ プロトコル制御部
１１０２ ベクタデータ生成部
１１０３ ＰＤＬ解析部部
１１０４ ＲＩＰ部
１１０５ ページメモリ
１０２０ パネル入出力制御部
１０３０ ドキュメント記憶部
１２００ プリンタＩ／Ｆ
１３００ 印刷制御部
１４００ プリンタエンジン部
１５００ スキャン制御部

Claims (7)

1. 入力画像データを処理して保存する画像処理装置であって、
   前記入力画像データをベクタデータに変換する変換手段と、
   前記入力画像データの種別を判定する判定手段と、
   １）前記判定手段で判定した結果、前記入力画像データが第一のデータの種別の場合、前記入力画像データの前記ベクタデータへの変換処理において前記入力画像データから、検索に利用できる情報を抽出し、その後の前記画像処理装置のアイドルタイムに前記ベクタデータから検索に利用できる情報を更に抽出し、２）前記判定手段で判定した結果、前記入力画像データが第二のデータの種別の場合、前記入力画像データに像域分離をすることで検索に利用できる情報を抽出する抽出手段と、
   前記抽出手段で抽出した情報の種類が、印刷される文字情報である基本付加情報、印刷されない文字情報である応用付加情報、ビットマップデータに含まれる画像の特徴を示す画像情報である画像付加情報のいずれであるかを判定して、その種類に応じた種類別の判定された付加情報と、前記ベクタデータとを関連付けて保持する保持手段と、
   前記付加情報を検索するための検索条件として、検索用キーワードと前記付加情報の種類として前記基本付加情報、前記応用付加情報及び前記画像情報の少なくとも１つの指定を入力する入力手段と、
   前記入力手段から入力された検索条件に合致する、指定された種類の前記付加情報を、前記保持手段から検索する検索手段と、
   前記検索手段で検索された付加情報に関連付けられているベクタデータのファイル名を、検索結果として表示する表示手段と
   を有することを特徴とする画像処理装置。
2. 前記ベクタデータをビットマップデータに展開する展開手段を更に有し、
   前記抽出手段は、
   ＰＤＬデータに含まれる文字情報を抽出する文字情報抽出手段と、
   前記ビットマップデータに含まれる文字画像を認識して、文字情報を抽出する文字認識手段と、
   前記ビットマップデータに含まれる画像の特徴を示す画像情報を抽出する画像情報抽出手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記判定手段の判定の結果、前記入力画像データがＰＤＬデータである場合、前記抽出手段は、
   前記ＰＤＬデータを前記変換手段によって前記ベクタデータに変換する過程で、前記文字情報抽出手段によって前記ＰＤＬデータに含まれる文字情報を抽出し、
   前記画像情報抽出手段によって前記ビットマップデータに含まれる画像の特徴を示す画像情報を抽出し、
   前記過程で、前記文字情報抽出手段から文字情報が抽出されない場合には、前記文字認識手段によって前記ビットマップデータに含まれる文字画像を認識して、文字情報を抽出する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段の判定の結果、入力画像データがビットマップデータであるスキャンデータである場合、前記抽出手段は、
   前記文字認識手段によって前記ビットマップデータであるスキャンデータに含まれる文字画像を認識して、文字情報を抽出し、
   前記画像情報抽出手段によって前記ビットマップデータであるスキャンデータに含まれる画像の特徴を示す画像情報を抽出する
   ことを特徴とする請求項２の画像処理装置。
5. 前記検索に利用できる情報とは、前記ベクタデータでは可視化されない、前記入力画像データに含まれる情報を含む
   ことを特徴とする請求項１に記載の画像処理装置。
6. 入力画像データを処理して保存する画像処理装置の制御方法であって、
   変換手段が、前記入力画像データをベクタデータに変換する変換工程と、
   判定手段が、前記入力画像データの種別を判定する判定工程と、
   抽出手段が、１）前記判定工程で判定した結果、前記入力画像データが第一のデータの種別の場合、前記入力画像データの前記ベクタデータへの変換処理において、前記入力画像データから、検索に利用できる情報を抽出し、その後の前記画像処理装置のアイドルタイムに前記ベクタデータから検索に利用できる情報を更に抽出し、２）前記判定工程で判定した結果、前記入力画像データが第二のデータの種別の場合、前記入力画像データに像域分離をすることで検索に利用できる情報を抽出する抽出工程と、
   保持手段が、前記抽出工程で抽出した情報の種類が、印刷される文字情報である基本付加情報、印刷されない文字情報である応用付加情報、ビットマップデータに含まれる画像の特徴を示す画像情報である画像付加情報のいずれであるかを判定して、その種類に応じた種類別の判定された付加情報と、前記ベクタデータとを関連付けて記憶媒体に保持する保持工程と、
   入力手段が、前記付加情報を検索するための検索条件として、検索用キーワードと前記付加情報の種類として前記基本付加情報、前記応用付加情報及び前記画像情報の少なくとも１つの指定を入力する入力工程と、
   検索手段が、前記入力工程から入力された検索条件に合致する、指定された種類の前記付加情報を、前記記憶媒体から検索する検索工程と、
   表示手段が、前記検索工程で検索された付加情報に関連付けられているベクタデータのファイル名を、検索結果として表示する表示工程と
   を有することを特徴とする画像処理装置の制御方法。
7. 入力画像データを処理して保存する画像処理装置の制御をコンピュータに実行させるための、コンピュータ可読媒体に記憶されたプログラムであって、
   前記入力画像データをベクタデータに変換する変換工程と、
   前記入力画像データの種別を判定する判定工程と、
   １）前記判定工程で判定した結果、前記入力画像データが第一のデータの種別の場合、前記入力画像データの前記ベクタデータへの変換処理において、前記入力画像データから、検索に利用できる情報を抽出し、その後の前記画像処理装置のアイドルタイムに前記ベクタデータから検索に利用できる情報を更に抽出し、２）前記判定工程で判定した結果、前記入力画像データが第二のデータの種別の場合、前記入力画像データに像域分離をすることで検索に利用できる情報を抽出する抽出工程と、
   前記抽出工程で抽出した情報の種類が、印刷される文字情報である基本付加情報、印刷されない文字情報である応用付加情報、ビットマップデータに含まれる画像の特徴を示す画像情報である画像付加情報のいずれであるかを判定して、その種類に応じた種類別の判定された付加情報と、前記ベクタデータとを関連付けて記憶媒体に保持する保持工程と、
   前記付加情報を検索するための検索条件として、検索用キーワードと前記付加情報の種類として前記基本付加情報、前記応用付加情報及び前記画像情報の少なくとも１つの指定を入力する入力工程と、
   前記入力工程から入力された検索条件に合致する、指定された種類の前記付加情報を、前記記憶媒体から検索する検索工程と、
   前記検索工程で検索された付加情報に関連付けられているベクタデータのファイル名を、検索結果として表示する表示工程と
   をコンピュータに実行させることを特徴とするプログラム。

Images