JP4960796B2 - 画像処理装置、画像処理方法ならびにそのプログラム及び記憶媒体 - Google Patents

Description

本発明は、原稿を読み取って得られる画像データや、印刷データ等の入力データから、オブジェクトの分離を行い、得られたオブジェクトデータに対して、検索、編集機能を用いて別文書に転用する画像処理装置及び画像処理方法に関する。

近年の複写機は、内部処理のデジタル化によって、目覚しいスピードで多機能化が進んでいる。基本的な機能を挙げるだけでも、原稿を複写するコピー機能、ホストコンピュータで作成した文書のプリントが可能なＰＤＬ機能がある。また、ネットワークを介して原稿を複写機外部に送るＳＥＮＤ機能や、コピー機能またはＰＤＬ機能によって生成される原稿画像を複写機内部に保存し再利用を可能とするＢＯＸ機能がある。さらに、ＢＯＸ機能によって複写機内部に保存した原稿画像を用いた合成や製本といった編集機能など、数え切れないほどの機能を有している。

一方で、画像の品質に対する要求も高く、原稿の高い再現性を求めるあまり、複写機内部の画像処理解像度は６００ｄｐｉから１２００ｄｐｉ、２４００ｄｐｉへと、また信号のビット数は８ｂｉｔから１０ｂｉｔ、１２ｂｉｔへと増加の一途を辿っている。これにより膨れ上がった情報量を持つ内部処理用のビットマップデータを記憶するためのメモリやストレージの追加、および高性能なＣＰＵへの置き換えなどによって、機器のコストや開発のコストの増加が無視できない状況になっている。

こうした中で、編集機能を利用するにあたり、読み取った原稿をオブジェクト単位に領域分割し、原稿に含まれる各オブジェクトを、例えばＴＥＸＴ、ＧＲＡＰＨＩＣ、ＩＭＡＧＥといった属性毎に分けている。ＴＥＸＴ、ＧＲＡＰＨＩＣの属性を有するオブジェクトに関してはベクトル化を行ってベクトルデータに変換し、ＩＭＡＧＥの属性を有するオブジェクトに関してはＪＰＥＧに変換した上で、編集機能を利用するといった技術がある（例えば、特許文献１参照）。これにより、非常に情報量の多い高解像度、多ビット数のビットマップデータを扱わなくても画像を高画質に再現することができる。また、編集や変形が容易なベクトルデータを用いることで、コストの低下と操作性の向上が期待できるため、さらに画質の向上と利便性の向上を図ることができる。

また、検索機能においては、フォルダ等にデータをカテゴリ分けしてデータを管理し、カテゴリ選択と検索内容を入力して、所望のデータを効率的に検索できる技術がある（例えば、特許文献２参照）。

特開２００５−１５９５１７号公報 特開２００６−１３９３８２号公報

しかしながら、上述した従来技術では、読み取った原稿をオブジェクト単位に分割し、適応的にベクトルデータもしくＪＰＥＧに変換して、オブジェクトの検索実行後、編集を行うことになる。このような場合、編集を行う際に必要なオブジェクトをそろえるために何度もオブジェクト検索を実行する必要がある。

また、記憶されたオブジェクトが増加するとそれにつれて検索処理にかかる時間が増すため、利用者にとっては非効率であるといった問題があった。

本発明に係る画像処理装置は、入力画像に含まれるオブジェクトを抽出し、オブジェクトのデータを記憶装置に保存できる画像処理装置において、関連性を有する複数のオブジェクトを関連付けるオブジェクト関連情報を記憶する手段と、関連性を有する複数のオブジェクトを対象とするグループレベルと、１つのオブジェクトを対象とするオブジェクトレベルとを少なくとも含む複数の検索種別から、ユーザ指示に基づいて１つの検索種別を選択する選択手段と、オブジェクトを特定するための情報を入力する入力手段と、前記選択手段により選択された検索種別に応じて、前記記憶装置に保存されたオブジェクトのデータと前記オブジェクト関連情報を検索することにより、前記入力手段で入力された情報に対応するオブジェクトを特定する検索手段と、前記検索手段により特定された１つまたは複数のオブジェクトを出力する手段とを有することを特徴とする。

なお、本明細書において、画像処理装置とは、専用の画像処理装置や画像形成装置の他、本発明に係る処理を実行可能な汎用の情報処理装置を含むものとする。

本発明によれば、オブジェクト分離時に得られるオブジェクトの名称、位置、大きさ等から、オブジェクトデータ間の関連性を検知し、関連するオブジェクトを１つのグループとみなし、自動でグループ情報を生成することが可能になる。このグループ情報を利用することにより、オブジェクトの検索処理の処理スピードが向上し、かつ、利用者がオブジェクトの検索を行う場合の利便性を向上させることができる。

［第１の実施形態］
以下、本発明の第１の実施形態について図面を用いて詳細に説明する。
図１は本発明の第１の実施形態における画像処理システムの構成を示すブロック図である。

この画像処理システムは、オフィス１０がインターネット等のネットワーク１０４に接続された環境で実現する。

オフィス１０内に構築されたＬＡＮ１０７には、複数種類の機能（複写機能、印刷機能、送信機能等）を実現する複合機であるＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００が接続されている。さらに、ＭＦＰ１００を利用するクライアントＰＣ１０２、データベース１０５、及びプロキシサーバ１０３が接続されている。また、オフィス１０内のＬＡＮ１０７は、それぞれのオフィスのプロキシサーバ１０３を介してネットワーク１０４に接続されている。

なお、図１に示した構成は一例であり、オフィス１０は複数存在してもよい。ネットワーク１０４は、各種通信ネットワークのいずれかまたは組み合わせで、データの送受信が可能であれば良い。各種通信ネットワークとしては、ＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等が挙げられる。

また、クライアントＰＣ１０２として示される各種端末はそれぞれ、汎用コンピュータに搭載される標準的な構成要素を有している。その構成要素として、ＣＰＵ、ＲＡＭ、ＲＯＭ、ハードディスク、外部記憶装置、ネットワークインタフェース、ディスプレイ、キーボード、マウス等がある。

次に、ＭＦＰ１００の詳細構成について、図２を用いて説明する。
図２は本発明の第１の実施形態であるＭＦＰの詳細構成を示すブロック図である。

同図において、オートドキュメントフィーダ（ＡＤＦ）を含む画像読取部２０１では、束状のあるいは１枚の原稿画像に光源（不図示）からの光を照射し、レンズを介して原稿反射像が固体撮像素子上に結像される。こうして固体撮像素子から出力されるビットマップ状の画像読取信号が所定解像度（６００ｄｐｉ等）のビットマップデータとして取得される。

また、ＭＦＰ１００は、画像読取信号に対応する画像を印刷部２０３で記録媒体に印刷する複写機能を有する。原稿画像を１つ複写する場合には、この画像読取信号をデータ処理部２０６で画像処理して記録信号を生成する。印刷部２０３はこの記録信号に従って記録媒体上に印刷を行う。一方、原稿画像を複数複写する場合には、記憶部２０２に一旦一ページ分の記録信号を記憶保持させた後、これを印刷部２０３に順次出力して記録媒体上に印刷させる。

また、ネットワークＩ／Ｆ２０５を介する通信機能においては、画像読取部２０１から得られるビットマップデータを後述する処理によってオブジェクトデータに変換してデータベース１０５に送信する。また、データベース１０５に保存されているオブジェクトデータを再利用のため受信する。さらに、ＸＰＳやＰＤＦ等のベクトルデータファイル形式の画像ファイルへと変換してクライアントＰＣ１０２に転送する。

また、印刷部２０３による印刷機能においては、例えば、クライアントＰＣ１０２から出力された印刷データは、ネットワークＩＦ２０５経由でデータ処理部２０６が受信する。データ処理部２０６は、その印刷データを印刷部２０３で印刷可能とする記録信号に変換した後印刷部２０３に送り、印刷部２０３によって印刷媒体上に画像を形成する。

ＭＦＰ１００への操作者の指示は、ＭＦＰ１００に装備された入力部２０４から行われ、これらの指示に対応する動作はデータ処理部２０６内の制御部（不図示）で制御される。また、操作入力の状態表示及び処理中の画像データの表示は、表示部２０７で行われる。

また、記憶部２０２は、後述する処理によって得られるオブジェクトデータを記憶する記憶領域と、後述する複数のオブジェクトデータを関連付ける情報を保存する領域が確保される。また、データ処理部において各種画像処理の際に利用される画像処理用バッファが確保される。さらに、そのオブジェクトデータに基づく画像編集を行う場合にオブジェクトデータをコピーしたデータを画像編集用データとして記憶する画像編集用バッファが確保されている。

［処理概要］
次に、本実施形態における画像処理システムで実行される処理全体の概要を、図３を用いて説明する。

図３は、本処理全体の概要を示すフローチャートである。このフローチャートは、例えば、送信処理（ＦＡＸ送信・Ｅ−ｍａｉｌ送信）や印刷処理・コピー処理などがユーザにより指示されるのに応じて実行される。なお、処理対象となる原稿の画像は、スキャナを介してスキャン入力されたり、他のクライアントＰＣからネットワークを介してＰＤＬの形式で入力されたりする。

まず、ステップＳ３０１で、入力がスキャンジョブの場合は、ＭＦＰ１００の画像読取部２０１で原稿をビットマップ状に走査して読み取り、例えば、６００ｄｐｉ−８ビットの画像信号を得る。この画像信号をデータ処理部２０６で所定の前処理を施し、記憶部２０２に１ページ分の画像データ（ビットマップデータ）として保存する。入力がページ記述言語（以下、ＰＤＬ）で記述されたＰＤＬデータの場合は、ＰＤＬの状態で１ページ分の画像データ（ベクトルデータ）を保存する。

次に、スキャンジョブの場合には、ステップＳ３０２で“ＳＣＡＮ”と判定され、処理はステップＳ３０３に移行する。ステップＳ３０３では、データ処理部２０６において、ブロックセレクション（ＢＳ）を行ってコンテンツ分離処理を行う。具体的には、記憶部２０２に格納された処理対象の画像信号を、まず、文字／線画部分とハーフトーン画像部分とに領域分割する。文字／線画部分は更に段落として纏まっているブロック毎に、あるいは線で構成された表、図形毎に分離し、これをオブジェクトとする。

一方、ハーフトーン画像部分は、矩形に分離されたブロックの画像部分、背景部分等の、いわゆるブロック毎に独立したオブジェクト（ブロック）に分離する。

なお、本実施形態では、属性の例として、ＴＥＸＴ（文字）、ＧＲＡＰＨＩＣ（細線、図形、表）、ＩＭＡＧＥ（画像）を挙げるが、属性の種類はこれに限定されるものではない。用途や目的に応じて、他の種類の属性を使用することも可能であるし、また、すべての属性を使用する必要もない。このように、ブロックセレクション処理（領域分割処理）では、入力画像を属性ごとの領域（ブロック）に分割する処理が行われる。

次に、ステップＳ３０４で、分離したオブジェクト毎にベクトル化処理を行う。このベクトル化処理では、まず、ＴＥＸＴ属性と判定されたオブジェクトにたいしてＯＣＲで文字認識を行い、さらに、文字のサイズ、スタイル、字体（フォント）を認識し、原稿を走査して得られる文字に対応した、可視的に忠実なフォントデータに変換する。一方、ＧＲＡＰＨＩＣ属性の線で構成される表、図形のオブジェクトは、アウトライン化する。また、ＩＭＡＧＥ属性の画像のオブジェクトに対しては、イメージデータとして個別のＪＰＥＧ圧縮を行う。なお、本実施形態では、テキストオブジェクト（テキスト領域）をベクトル化処理を行った結果、文字認識結果の文字コード・フォントデータ（フォントのベクトルデータ）・フォントサイズ・スタイルで表現するものとしたが、これに限るものではない。例えば、文字画像の輪郭（アウトライン）を抽出し、当該輪郭に基づいてベクトルデータを生成するようにしても構わない。

これらの各種オブジェクトに対するベクトル化処理は、各オブジェクトの属性情報に基づいて行い、ＭＦＰ１００内で利用できる後述のメタデータと画像情報とで構成されるフォーマットのオブジェクトデータとして記憶する。

一方、入力がＰＤＬデータの場合には、ステップＳ３０２で“ＰＤＬ”と判定され、処理はステップＳ３０５に移行する。ステップＳ３０５では、入力されたＰＤＬデータを、オブジェクト毎に後述するオブジェクトデータにフォーマット変換して記憶する。この際、ＰＤＬデータに含まれる属性データ（例えば、ＴＥＸＴ、ＧＲＡＰＨＩＣ、ＩＭＡＧＥなど）やメタデータも同様に変換して記憶する。ここで言うメタデータとは、オブジェクトの特徴や名称などのオブジェクトに関する情報と、複数のオブジェクトを結びつけるオブジェクト関連情報を示すものである。

次に、ステップＳ３０６で、オブジェクト毎に画像解析や文書解析を行って、ステップＳ３０４やステップＳ３０５で生成したメタデータの修正や、新たな情報の追加を行う。 まず、ＳＣＡＮジョブとＰＤＬジョブとで生成される属性情報に違いがあるため、本実施形態ではＴＥＸＴ、ＧＲＡＰＨＩＣ、ＩＭＡＧＥの３属性にし、同様の画像データである場合には以降の処理に違いがないようにする。さらに、オブジェクトの属性がＴＥＸＴである場合には、文書解析の結果から文書の要約を行いメタデータに追加する。属性情報がＧＲＡＰＨＩＣの場合には、画像解析を行って名称、図表や線画などより詳細な情報を抽出しメタデータに追加する。属性情報がＩＭＡＧＥの場合には、画像解析や類似画像検索等を行って名称、人物画や風景画といったより詳細な情報を抽出しメタデータに追加する。ただし、ここでメタデータに追加する情報は一例であって、これに限定されるものではなく、各オブジェクトに関する情報であれば何を追加しても良い。

次に、ステップＳ３０７で、上記ステップＳ３０６までの処理で得られたオブジェクトデータを記憶部２０２にスプールすると同時に、記憶部２０２または、データベース１０５に再利用可能な状態で保存される。なお、オブジェクトデータは必ずしも登録する必要はなく、例えば、記憶部２０２に重複もしくは類似するオブジェクトデータが登録済みであれば登録しないなど、他の判定処理によって登録するか否かを決定しても良い。

次に、ステップＳ３０８で、後述する送信処理、印刷処理が行われる。なお、記憶部２０２やデータベース１０５にオブジェクトデータを登録する処理が指定されていたのであれば、送信処理、印刷処理は行わず、ここで処理は終了する。

［送信処理］
次に、本実施形態における画像処理システムで実行される送信処理の概要を、図４を用いて説明する。

図４は、本実施形態における送信処理の概要を示すフローチャートである。

まず、ステップＳ４０１で、記憶部２０２にスプールされているオブジェクトデータを読み出す。

次に、ステップＳ４０２で、このオブジェクトデータが持つレイアウト情報に基づいて印刷情報となる文書を構築する。

次に、ステップＳ４０３で、構築した文書情報を任意の外部フォーマットに変換して、ネットワークＩ／Ｆ２０５より送信先へ送出する。ここで言う外部フォーマットとしては、例えば、ビットマップ形式であるＴＩＦＦ、ＪＰＥＧ、及びベクトル形式であるＰＤＦ、ＸＰＳが挙げられる。

［印刷処理］
次に、本実施形態における画像処理システムで実行される印刷処理の概要を、図５を用いて説明する。
図５は、本実施形態における印刷処理の概要を示すフローチャートである。

まず、ステップＳ５０１で、記憶部２０２にスプールされているオブジェクトデータを読み出す。

次に、ステップＳ５０２で、上記オブジェクトデータが持つレイアウト情報に基づいて印刷データとなる文書を構築する。

次に、ステップＳ５０３で、上記印刷データを印刷部２０３で印刷可能とする記録信号に変換した後、印刷部２０３に与え、印刷部２０３によって印刷媒体上に画像を形成する。

［オブジェクトデータとメタデータ］
ここで、オブジェクトデータとメタデータについて、図６と図７を用いて説明する。
図６は、本実施形態におけるオブジェクトデータの構造の一例を示す図である。

オブジェクトデータ６０１は、ヘッダー６０２と、メタデータ６０３と、レイアウトデータ６０４と、画像データ６０５とで構成される。
ヘッダー６０２は、オブジェクトデータの幅や高さなどオブジェクトの大きさや、ビットマップもしくはベクターといったデータ形式などを格納する。
メタデータ６０３は、オブジェクトの属性や、検索・編集のための情報及びオブジェクトＩＤなどオブジェクトデータに関わる情報を格納する。
レイアウトデータ６０４は、原稿内における自らの位置を示す情報を格納する。
画像データ６０５は、オブジェクトの実データであってヘッダーに示されるビットマップ形式またはベクター形式で表される。

次に、図７を参照しさらに詳細に説明する。
図７は、本実施形態における記憶部２０２に登録またはスプールされたオブジェクトデータと、関連するメタデータの一例を表した図である。

記憶部２０２には、出力イメージ７０１に対し、ステップＳ３０３のブロックセレクション処理により分離された各オブジェクトデータ７０２、７０３、７０４が登録される。このとき、各オブジェクトデータはメタデータ７１２、７１３、７１４が付与されて登録される。メタデータ７１２、７１３、７１４には、それぞれオブジェクトＩＤと、オブジェクトデータの属性、オブジェクトデータの名称、描画位置及び大きさ等のレイアウト情報がある。なお、オブジェクトＩＤは、全てのオブジェクトデータに対して一意である。

［機能選択］
次に、図面を用いて本実施形態のＭＦＰ１００における機能選択操作と対応する動作について説明する。

図８の操作画面８００は、本実施形態のＭＦＰ１００の基本操作画面である。本実施形態で実現される各種機能の選択は、この操作画面８００の例では、拡張機能キー８０１内にあるものとする。

拡張機能キー８０１を押下すると、操作画面８００は、拡張機能としてＭＦＰ１００で用意されている各種機能を選択可能とする図９の拡張機能操作画面９００に切り替わる。

図９の拡張機能操作画面９００において、編集レイアウトキー９０１を押下すると編集レイアウト画面９０２が表示される。

編集レイアウト画面９０２の原稿読込キー９０３は、原稿の読込みを行うためのキーであり、原稿読込キー９０３を押下すると前述した図３のフローチャートに示す処理を行って、プレビュー画面９０４に読込結果を表示する。このときプレビュー画面９０４には、図３の処理によってオブジェクト分離されベクトル化された前述のオブジェクトデータが、レイアウトデータ６０４に基づいて再構成されて表示される。なお、原稿読込キーを押下せずに以下の処理を行っても構わない。

編集レイアウト画面９０２において、オブジェクトリスト画面９０５は、記憶部２０２、データベース１０５に登録されたオブジェクトデータの情報として、オブジェクトＩＤを一覧表示する。また、編集レイアウト画面９０２において、オブジェクトプレビュー画面９０６は、オブジェクトリスト画面９０５で任意に選択されたオブジェクトがプレビュー表示される。この画面は、記憶部２０２に登録またはスプールされたオブジェクトデータの画像データ６０５を描画して、その内容を確認するための画面である。なお、オブジェクトリスト画面において、一覧表示するオブジェクトデータの情報は、オブジェクトＩＤに限定するものではなく、メタデータ６０３の一部や画像データ６０５であっても良い。

また、登録されているオブジェクトデータに対して後述するオブジェクト検索を行うことによって、検索されたオブジェクトデータ（および、そのオブジェクトに関連付けられたデータ）のみを表示させることができる。オブジェクト検索は、オブジェクト検索キー９２０を押下することにより、一例として示す図１０のオブジェクト検索画面１００２（詳細は後述する）が表示され、検索を行うことができる。

オブジェクトリスト画面９０５で選択された任意のオブジェクトデータは、貼付ボタン９０７を押下することによって、貼付処理が行われる。その結果はプレビュー画面９０４に表示される。また、貼り付けたオブジェクトデータ、および文書内のオブジェクトデータは、プレビュー画面でユーザによりオブジェクトデータが選択された後、消去ボタン９０８が押下されると文書内から消去される。

また、移動ボタン９０９は、プレビュー画面に表示されている任意のオブジェクトデータが選択された後、ユーザによる押下に応じて、任意の位置にオブジェクトデータを移動させるためのボタンである。

また、プリントボタン９１３が押下された場合、プレビュー画面９０６に表示されているオブジェクトデータから前記印刷処理を行う。

［グループ情報の生成］
次に、本実施形態における、オブジェクトデータ間の関係（関連性）を検出する方法について、図１２、図１３を用いて詳細に説明する。

図１２は、本実施形態におけるグループ情報生成処理のフローチャートである。図１３は、予め読み込みを行った原稿の出力イメージ７０１と、予め読み込みを行って記憶部２０２に保存されたオブジェクトデータのメタデータの一例である。

出力イメージ７０１はオブジェクト７０２，７０３，７０４で構成されている。ステップＳ１２０１では、オブジェクト７０２がイメージオブジェクトかどうかを判定する。ここでイメージオブジェクトであると判定されると、ステップＳ１２０２でオブジェクト７０２のメタデータ１３０２の属性情報を読み込む。このとき出力イメージ７０１のオブジェクト７０２の属性はイメージである。なお、ステップＳ１２０１で最初に判定されるオブジェクトがイメージオブジェクトでない場合、ステップＳ１２０８に移行し、そこで同じページにオブジェクトが存在するか否か判定され、あればステップＳ１２０１へとループする。

次に、ステップＳ１２０２に次いでステップＳ１２０３にて、同じページに含まれるオブジェクトが他にも存在するか否かが調べられる。出力イメージ７０１には、オブジェクト７０３、７０４が存在する。したがって、同じページにオブジェクトがあると判定され、ステップＳ１２０４でオブジェクト７０２のメタデータ１３０２からそのオブジェクトの名称と、描画位置、大きさなどのレイアウト情報とが読み出される。ここでオブジェクト７０２の名称は“ＭＦＰ”、描画位置は（５００，５００）、大きさは１３００×１０００である。

次いで、ステップＳ１２０５でオブジェクト７０３のメタデータ１３０３の属性情報を読み込み、このオブジェクト７０３が文字オブジェクトか否かを判定する。オブジェクト７０３の属性は文字ではないので、ステップＳ１２０３へとループし、ステップＳ１２０３にて、同じページに含まれるオブジェクトが他にも存在するか否かを調べられる。このときオブジェクト７０４が存在するので、ステップＳ１２０４にてさらにオブジェクト７０４のメタデータ１３０４の属性情報を読み込む。このときオブジェクト７０４の属性は文字であるので、ステップ１２０４では、メタデータ１３０４からそのオブジェクトの名称と描画位置、大きさなどのレイアウト情報が読み出される。ここでオブジェクト７０４の名称は“ｉｍａｇｅＲｕｎｎｅｒ”、描画位置５００×１５００、大きさ１３００×５００である。

次いで、ステップＳ１２０５およびＳ１２０６で、文字オブジェクトがイメージの近くにあってかつその名称がイメージオブジェクトの名称と関連するかを調べる。オブジェクトが近いかどうかについては、以下にその判定条件の一例を示す。

イメージオブジェクトの幅をimgWd、高さをimgHt、描画位置をimgX,imgY、
文字オブジェクトの幅をtxtWd、高さをtxtHt、描画位置をtxtX,txtY、閾値をαとすると、
imgY-(txtY+txtHt)<α and imgX<txtX and imgX+imgWd>txtX
または、
imgY-(txtY+txtHt)<α and imgX<txtX+txtWd and imgX+imgWd>txtX+txtWd
(imgY+imgHt)-txtY<α and imgX<txtX and imgX+imgWd>txtX
または、
(imgY+imgHt)-txtY<α and imgX<txtX+txtWd and imgX+imgWd>txtX+txtWd
imgX-(txtX+txtWd)<α and imgY<txtY and imgY+imgHt>txtY
または、
imgX-(txtX+txtWd)<α and imgY<txtY+txtHt and imgY+imgHt>txtY+txtHt
(imgX+imgWd)-txtX<α and imgY<txtY and imgY+imgHt>txtY
または、
(imgX+imgWd)-txtX<α and imgY<txtY+txtHt and imgY+imgHt>txtY+txtHt

これらの条件は、オブジェクトを囲む矩形の４辺に接するラインの値またはある閾値を設定し、その範囲内にあるかどうかを調べている。

検出の結果、オブジェクト７０２とオブジェクト７０４は上記条件に該当し、かつ名称も関連があると判断される。なお、名称の関連性については、名称の一部または全部が共通することなどにより判定することができるが、関連性のある文字列を紐付けした関連性を判定するためのテーブルを別途設けて判定することもできる。上記例では、オブジェクト７０２の名称“ＭＦＰ”とオブジェクト７０４の名称“ｉｍａｇｅＲｕｎｎｅｒ”は関連性があるとしている。なお、関連性がない場合は、ステップＳ１２０３へとループする。

次いで、ステップＳ１２０７で、グループ情報となるメタデータ１３１１を生成する。すでにメタデータ１３１１がある場合は、これに情報を追加する。このグループ情報には、グループを示すオブジェクトＩＤと、関連する全てのオブジェクトＩＤ等が含まれる。

同様にイメージオブジェクトであるオブジェクト７０３に対しても検出処理が行われるが、関連するオブジェクトが存在しないためグループ情報は生成されない。

［検索処理の詳細］
次に、本実施形態における、検索処理の詳細を、図１０、図１１、図１４、図１５を用いて詳細に説明する。

図１０、図１１は、記憶部２０２に登録またはスプールされたオブジェクトデータを検索するためのＵＩの一例である。

図１０の拡張機能操作画面９００において、オブジェクト検索キー９２０を押下するとオブジェクト検索画面１００１が表示される。

オブジェクト検索画面１００１の検索入力バー１０１０は、オブジェクトデータを検索するための文字列を入力する領域である。検索入力バー１０１０に検索文字列を入力し、実行バー１０１１を押下することでオブジェクトデータの検索が実行される。検索文字列としては、オブジェクトの名称等の、オブジェクトデータまたはそのメタデータに含まれ当該オブジェクトを特定できる文字列を指定することができる。また、オブジェクトデータの検索実行を行う前に、レベルバー１０１２にて検索種別として検索レベルを指定することができる。レベルバー１０１２にカーソルが移動するとジョブ・ページレベルバー１０１３、グループレベルバー１０１４、オブジェクトレベルバー１０１５が表示され、カーソルを移動することによっていずれかを１つを選択できる。選択したレベルによって後述するオブジェクト検索処理により検索が実行される。なお、ジョブ・ページレベルはジョブまたはページに含まれるオブジェクトを対象とするものであり、グループレベルは関連性を有する複数のオブジェクトを対象とするものであり、オブジェクトレベルは１つのオブジェクトを対象とするものである。

図１１の表示レベルバー１０２１を押下するとジョブ・ページレベルバー１１０１、グループレベルバー１１０２、オブジェクトレベルバー１１０３が表示され、カーソルを移動することによって後述する検索結果表示レベル切り替え処理により表示が切り替わる。

［オブジェクト検索］
図１４は、オブジェクト検索処理のフローチャートである。
はじめに、ステップＳ１４０１で図１０に示す検索画面１００１を表示する。
ステップＳ１４０２で、ユーザの操作によりレベルバー１０１２にカーソルが移動され、ジョブ・ページレベルバー１０１３が選択されたのを検知すると、ステップＳ１４０３で検索方法としてジョブ・ページレベル検索指定を保持する。また、ジョブ・ページレベルバー１０１３ではなくグループレベルバー１０１４が選択される（Ｓ１４０５）と、ステップＳ１４０６で検索方法としてグループレベル検索指定を保持する。

一方、ジョブ・ページレベルバー１０１３、グループレベルバー１０１４のいずれでもなく、オブジェクトレベルバー１０１５が選択されると、ステップＳ１４０７で検索方法としてオブジェクトレベル検索指定を保持する。

次いで、ステップＳ１４０８で、ユーザの操作により検索実行バー１０１１が押下されたことを検知すると、ステップＳ１４０９で、保持されている検索方法を読み出す。
次いで、ステップＳ１４１０で、先にステップＳ１４０９で読み出した検索方法がジョブ・ページと判定された場合、ステップＳ１４１１でオブジェクトＩＤに”ＪＯＢ”が含まれているメタデータ（例えば、図１３の１３１２）の名称を読み出す。

ステップＳ１４１２でこの名称が検索入力バー１０１０に入力された文字列に該当すると判定した場合、Ｓ１４１３でそのジョブ・ページのイメージを検索結果画面１００２に表示すると共に、Ｓ１４１４でメタデータ内の名称を検索結果画面１００２に表示する。そして、ステップＳ１４１５へ移行する。一方、ステップＳ１４１２で、その名称が検索入力バー１０１０に入力された文字列に該当しないと判定した場合にも、ステップＳ１４１５へ移行する。さらにステップＳ１４１５で未判定のジョブ・ページが存在するか調べ、存在する場合は、ステップＳ１４１１へとループする。

また、ステップＳ１４０９で読み出した検索方法が、ステップＳ１４２０でジョブ・ページではなくグループと判定した場合は、ステップＳ１４２１でオブジェクトＩＤに”ＧＲ”が含まれているメタデータの名称を読み出す。次いで、ステップＳ１４２２で、この名称が検索バー１０１０で入力された文字列に該当すると判定した場合、ステップＳ１４２３でそのグループに属するイメージ１０２０を検索結果画面１００２に表示する。また、その際、ステップＳ１４２４でメタデータ内の名称１０２２を検索結果画面１００２に表示する。そして、ステップＳ１４２５へ移行する。一方、ステップＳ１４２２で、その名称が検索入力バー１０１０に入力された文字列に該当しないと判定した場合にも、ステップＳ１４２５へ移行し、さらにグループが存在するか調べ、存在する場合は、ステップＳ１４２１へとループする。

また、ステップＳ１４０９で読み出した検索方法が、ステップＳ１４２０でジョブ・ページでもグループでもなくオブジェクトであると判定した場合は、ステップＳ１４３１でオブジェクトＩＤに”ＯＢＪ”が含まれているメタデータの名称を読み出す。次いでステップＳ１４３２で、この名称が検索入力バー１０１０で入力された文字列に該当すると判定した場合、Ｓ１４３３でそのオブジェクトのイメージを検索結果画面１００２に表示する共にＳ１４３４でメタデータ内の名称を検索結果画面１００２に表示する。そして、ステップＳ１４３５へ移行する。一方、ステップＳ１４３２で、その名称が検索入力バー１０１０に入力された文字列に該当しないと判定した場合にも、ステップＳ１４３５へ移行し、さらにオブジェクトが存在するか調べる。そして他のオブジェクトが存在する場合は、ステップＳ１４３１へとループする。

［検索結果表示レベル切り替え］
図１５は、検索結果表示レベル切り替えのフローチャートである。
はじめに、ステップＳ１５０１で表示レベルが選択されたことを検知すると、選択された表示レベルがジョブ・ページレベルで、かつ既に表示されている検索結果がグループレベルで検索されたか判定する（Ｓ１５０２、Ｓ１５０３）。これらの判定がＹｅｓの場合、ステップＳ１５０５でグループが属するジョブ・ページのイメージを検索結果画面１００２に表示する。一方、オブジェクトレベルで検索されていた場合、ステップＳ１５０４でオブジェクトが属するジョブ・ページのイメージを検索結果画面１００２に表示する。またステップＳ１５０６で、ステップＳ１５０４またはＳ１５０５でのイメージの表示に加え、ジョブ・ページのメタデータの情報を検索結果画面１００２に表示する。

一方、選択された表示レベルがジョブ・ページレベルではなくグループレベルで、かつ既に表示されている検索結果がジョブ・ページレベルで検索されていた場合（Ｓ１５０７、Ｓ１５０８の各判定でＹｅｓの場合）、ステップＳ１５０９に移行する。ステップＳ１５０９では、ジョブ・ページに含まれるグループのイメージを検索結果画面１００２に表示する。一方、オブジェクトレベルで検索されていた場合には、ステップＳ１５１０でオブジェクトが属するグループのイメージを検索結果画面１００２に表示する。さらにステップＳ１５１１にて、Ｓ１５０９またはＳ１５１０でのイメージの表示に加え、グループのメタデータの情報を検索結果画面１００２に表示する。

他方、選択された表示レベルがジョブ・ページレベルでもグループレベルでもなくオブジェクトレベルであって、かつ既に表示されている検索結果がジョブ・ページレベルで検索された場合（Ｓ１５１２の判定でＹｅｓの場合）、ステップＳ１５１３に移行する。ステップＳ１５１３では、ジョブ・ページに含まれるオブジェクトのイメージを検索結果画面１００２に表示する。一方、グループレベルで検索されていた場合、ステップＳ１５１４で、グループに含まれるオブジェクトのイメージを検索結果画面１００２に表示する。さらにステップＳ１５１５で、Ｓ１５１３またはＳ１５１４でのイメージの表示に加え、オブジェクトのメタデータの情報を検索結果画面１００２に表示する。

以上のようにして、表示レベルの切り替えに応じて、検索結果の表示内容を変更することができる。

［第２の実施形態］
以下、本発明の第２の実施の形態について図面を用いて詳細に説明する。
図１６は、第２の実施形態におけるグループ情報生成処理のフローチャートである。図１７は、予め読み込みを行った原稿の出力イメージ１７０１の一例である。図１８は、図１７の出力イメージ１７０１を予め読み込んで記憶部２０２に保存されたオブジェクトデータのメタデータの一例である。なお、他の構成や処理内容は前述の第１の実施形態と同様であるため、共通する部分についてその詳細な説明は省略する。

本実施形態では、グループ情報の生成時において、グループの判定にオブジェクト領域の包含関係を用いる。ここで、図１６の出力イメージ１７０１は、オブジェクト１７０２，１７０３，１７０４，１７０５で構成されている。

はじめにオブジェクト１７０２のメタデータ１８０２の属性情報を読み込んで、グラフィックオブジェクトかどうかを判定する（Ｓ１６０１）。出力イメージ１７０１のオブジェクト１７０２の属性はイメージであるので、処理はＳ１６０８に移行する。そしてステップＳ１６０８で、同じページにオブジェクトが存在するか判定される。このとき別のオブジェクトが存在するのでステップＳ１６０１へとループし、別のオブジェクトについて同様の処理を行う。

次に、オブジェクト１７０５が調べられるとすると、このオブジェクト１７０５の属性はグラフィックであるので、次のステップＳ１６０２で、それが閉領域の枠線かどうかを調べる。閉領域の枠線かどうかはベクトル化されたオブジェクトの各点を調べれば容易に判断できる。オブジェクト１７０５が閉領域の枠線であると判定されると、ステップＳ１６０３でオブジェクト１７０５のメタデータ１８０５からそのオブジェクトの名称と、描画位置、大きさなどのレイアウト情報を読み出す。オブジェクト１７０５の描画位置は（４５０，４５０）、大きさは１５００×１５００である。

次いで、ステップＳ１６０４で同じページに含まれるオブジェクトが他にもあるかをさらに調べる。出力イメージ１７０１ではオブジェクト１７０２、１７０３、１７０４が存在する。ステップＳ１６０５でオブジェクト１７０２のメタデータ１８０２の描画位置、大きさを読み込む。

次いで、ステップＳ１６０６で、オブジェクト１７０２がオブジェクト１７０５の領域内に含まれているかどうかを判定する。オブジェクト１７０２は、オブジェクト１７０５の領域内に含まれているので、処理はステップＳ１６０７へ移行する。ステップＳ１６０７では、グループ情報となるメタデータ１８０７が生成され、このグループ情報には、枠線と枠線内のオブジェクト（ここではオブジェクト１７０２）のオブジェクトＩＤが追加・登録される。一方、ステップＳ１６０６の判定で領域内のオブジェクトでないと判定される場合は、ステップＳ１６０４へとループし、同じページの他のオブジェクト（ここでは１７０３、１７０４）に対しても同様の処理を行う。最終的に、領域外のオブジェクト１７０３を除いて、オブジェクト１７０２、１７０４、１７０５のオブジェクトＩＤがグループ情報に登録される。なお、グループ情報には、グループを示すオブジェクトＩＤ（この例ではＧＲ００００１）とその名称、およびグループとして関連する全てのオブジェクトのオブジェクトＩＤが含まれる。

［その他の実施形態］
本発明は、さらに、複数の機器（例えばコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用することも、一つの機器からなる装置（複合機、プリンタ、ファクシミリ装置など）に適用することも可能である。

また本発明の目的は、上述した実施形態で示したフローチャートの手順を実現するプログラムコードを記憶した記憶媒体から、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が、そのプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになる。そのため、このプログラムコード及びプログラムコードを記憶／記録したコンピュータ読み取り可能な記憶媒体も本発明の一つを構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、前述した実施形態の機能は、コンピュータが、読み出したプログラムを実行することによって実現される。また、このプログラムの実行とは、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行う場合も含まれる。

さらに、前述した実施形態の機能は、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットによっても実現することもできる。この場合、まず、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行う。こうした機能拡張ボードや機能拡張ユニットによる処理によっても前述した実施形態の機能が実現される。

本発明の第１の実施形態における画像処理システムの構成を示すブロック図である。 本発明の第１の実施形態であるＭＦＰの詳細構成を示すブロック図である。 同実施形態の画像処理システムで実行する処理全体の概要を示すフローチャートである。 同実施形態の送信処理の概要を示すフローチャートである。 同実施形態の印刷処理の概要を示すフローチャートである。 同実施形態のオブジェクトデータの構造の一例を示す図である。 同実施形態の登録またはスプールされたオブジェクトデータと、関連するメタデータの一例を表した図である。 同実施形態の操作画面の一例を示す図である。 同実施形態の拡張機能操作画面の一例を示す図である。 同実施形態における検索画面の一例を示す図である。 同実施形態における検索画面の一例を示す図である。 同実施形態におけるグループ情報生成処理のフローチャートである。 同実施形態において予め読み込みを行った原稿の出力イメージと、登録またはスプールされたオブジェクトデータのメタデータを例示する図である。 同実施形態における検索処理のフローチャートである。 同実施形態における検索表示切り替え処理のフローチャートである。 本発明の第２の実施形態におけるグループ情報生成処理のフローチャートである。 同実施形態における原稿（出力イメージ）の一例を示す図である。 同実施形態における登録またはスプールされたオブジェクトデータのメタデータを例示する図である。

符号の説明

１０ オフィス
１００ ＭＦＰ
１０２ クライアントＰＣ
１０３ プロキシサーバ
１０４ ネットワーク
１０５ データベース
１０７ ＬＡＮ
２０１ 画像読取部
２０２ 記憶部
２０３ 印刷部
２０４ 入力部
２０５ ネットワークＩ／Ｆ
２０６ データ処理部
２０７ 表示部

Claims (11)

1. 入力画像に含まれるオブジェクトを抽出し、オブジェクトのデータを記憶装置に保存できる画像処理装置において、
   関連性を有する複数のオブジェクトを関連付けるオブジェクト関連情報を記憶する手段と、
   関連性を有する複数のオブジェクトを対象とするグループレベルと、１つのオブジェクトを対象とするオブジェクトレベルとを少なくとも含む複数の検索種別から、ユーザ指示に基づいて１つの検索種別を選択する選択手段と、
   オブジェクトを特定するための情報を入力する入力手段と、
   前記選択手段により選択された検索種別に応じて、前記記憶装置に保存されたオブジェクトのデータと前記オブジェクト関連情報を検索することにより、前記入力手段で入力された情報に対応するオブジェクトを特定する検索手段と、
   前記検索手段により特定された１つまたは複数のオブジェクトを出力する手段と
   を有することを特徴とする画像処理装置。
2. 前記複数のオブジェクトの関連性を検知する検知手段をさらに有し、
   前記オブジェクト関連情報を記憶する手段は、前記検知手段により検知した関連性を有する複数のオブジェクトを関連付けるオブジェクト関連情報を生成し、前記オブジェクト関連情報を記憶することを特徴とする請求項１に記載の画像処理装置。
3. 前記検知手段は、オブジェクトの名称、大きさ、位置によって前記関連性を検知することを特徴とする請求項２に記載の画像処理装置。
4. 前記検知手段は、各オブジェクトの領域の包含関係によって前記関連性を検知することを特徴とする請求項２に記載の画像処理装置。
5. 前記オブジェクト関連情報は、少なくとも関連するオブジェクトを特定するための情報を含むことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記選択手段は、ジョブまたはページに含まれるオブジェクトを対象とするジョブ・ページレベルと、関連性を有する複数のオブジェクトを対象とする前記グループレベルと、１つのオブジェクトを対象とする前記オブジェクトレベルとからなる複数の検索種別から１つの検索種別を選択することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 前記特定された１つまたは複数のオブジェクトを出力する手段は、前記特定された１つまたは複数のオブジェクトを表示する表示手段であることを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
8. 前記表示手段は、表示レベルを変更する手段を有し、前記表示レベルの変更に応じて表示の内容を変更することを特徴とする請求項７に記載の画像処理装置。
9. 入力画像に含まれるオブジェクトを抽出し、オブジェクトのデータを記憶装置に保存できる画像処理装置のデータ処理部により実行される画像処理方法であって、
   関連性を有する複数のオブジェクトを関連付けるオブジェクト関連情報を記憶するステップと、
   関連性を有する複数のオブジェクトを対象とするグループレベルと、１つのオブジェクトを対象とするオブジェクトレベルとを少なくとも含む複数の検索種別から、ユーザ指示に基づいて１つの検索種別の選択を受ける選択ステップと、
   オブジェクトを特定するための情報の入力を受ける入力ステップと、
   前記選択ステップで選択された検索種別に応じて、前記記憶装置に保存されたオブジェクトのデータと前記オブジェクト関連情報を検索することにより、前記入力ステップで入力された情報に対応するオブジェクトを特定する検索ステップと、
   前記検索ステップにより特定された１つまたは複数のオブジェクトを出力するステップと
   を含むことを特徴とする画像処理方法。
10. 請求項９に記載の方法をコンピュータに実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記録したコンピュータ読み取り可能な記憶媒体。

Images