JP4854491B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、入力された画像から抽出したコンテンツデータを、検索キーワードにより検索が可能となるように格納する画像処理装置及びその制御方法に関するものである。

部分画像データ（コンテンツ）をファイルサーバ等のストレージに格納した後、必要に応じて検索キーワードを用いて検索し、これらをプリンタ等で印刷することで、ユーザ所望のプリント出力を得る画像処理システムが考えられている（例えば、特許文献１）。このようなシステムでは、ストレージに格納されるデータの量が増加するに従い、必要なデータを見つけるためのキーワードをどのように付与しておくかが重要となってくる。
特開２００４−３１８１８７4号公報

一方、文書画像をスキャンして当該文書内に含まれるコンテンツを再利用できるようにすることが考えられる。しかしながら、一つの文書の中には大量のコンテンツが含まれているため、各コンテンツ毎に適当な検索キーワードを人手で付加していかなければならないとすると、ユーザにとっては利便性が悪い。したがって、このようなシステムでは、機械によって自動的に検索キーワードを付加していく構成となっていることが望ましい。

つまり、コンテンツごとのデータを作成・格納する際に、適当なキーワードを該データに自動的に付加したうえで、ストレージに格納するように構成することが望ましい。

しかしながら、機械によって自動的に付加されるキーワードの質は、機械自体がコンテンツの内容を理解していない現状では、常に満足のいくレベルになるとは限らない。

このため、このようなシステムにおいてデータの検索精度を向上させるためには、一度付加されたキーワードの修正や追加あるいは削除等の編集が容易に行えるように構成しておくことが重要である。

しかしながら、検索キーワードの編集を無制限に許可することとすると、データのコピー許可や配布制限等の属性データ（画像データの処理制限に関する情報）までも改変されてしまうこととなる。その結果、情報セキュリティを守ることができなくなるという問題がある。

本発明は上記課題に鑑みてなされたものであり、文書内のコンテンツを抽出し、検索キーワードにより検索可能に格納する画像処理装置において、検索精度の向上と情報セキュリティの保持を両立させることを目的とする。

上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得手段と、
前記画像データからキーワードを抽出する抽出手段と、
前記抽出手段で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定手段と、
前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納する格納手段と、を備え、
前記設定手段は、前記抽出手段で抽出したキーワードが、透かし情報、地紋情報、バーコード情報、紙紋情報の少なくともいずれかから抽出されたキーワードである場合、修正否を設定することを特徴とする。

本発明によれば、文書内のコンテンツをベクトル化し、検索キーワードにより検索可能に格納する画像処理装置において、検索精度の向上と情報セキュリティの保持を両立させることが可能となる。

［第１の実施形態］
１．画像処理システムの構成
以下、本発明の実施形態を図面を用いて説明する。図１は本発明の一実施形態にかかる画像処理装置（ＭＦＰ１００）を備える画像処理システムの構成を示す図である。同図に示すように、本実施形態では、オフィス１０とオフィス２０とがインターネット１０４で接続された環境において本発明の一実施形態にかかる画像処理装置（ＭＦＰ１００）が接続されているものとする。

オフィス１０内に構築されたＬＡＮ１０７には、ＭＦＰ１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ１０２、文書管理サーバ１０６、データベース１０５、およびプロキシ（ｐｒｏｘｙ）サーバ１０３が接続されている。ＬＡＮ１０７とオフィス２０内のＬＡＮ１０８とはプロキシサーバ１０３を介してインターネット１０４により接続されている。また、ＬＡＮ１０８には、文書管理サーバ１１１およびデータベース１１０が接続されている。

ＭＦＰ１００は本実施形態において文書の画像読み取り処理と、読み取った画像読み取り信号に対する画像処理を担当する。マネージメントＰＣは通常のＰＣであり、内部に画像記憶部、画像処理部、表示部、入力部を有するが、その一部はＭＦＰ１００に一体化して構成されている。なお、マネージメントＰＣ１０１の機能は全てＭＦＰ１００に組み込まれた形で実現されてもよい。

２．ＭＦＰ１００の構成
図２はＭＦＰ１００の構成図である。図２において、２１０は画像読み取り部であり、オートドキュメントフィーダ（以降ＡＤＦと記す）を含む。画像読み取り部２１０は束状の或いは１枚の文書を図示しない光源で照射し、文書反射像をレンズで固体撮像素子上に結像し、固体撮像素子からラスター状の画像読み取り信号を６００ＤＰＩの密度のイメージ情報（ビットマップ画像）として得る。通常の複写機能はこのビットマップ画像をデータ処理装置２１５で印刷用の画像データへ変換し、複数枚複写の場合には記憶装置２１１に一旦１ページ分の画像データを記憶保持した後、記録装置２１２に出力して紙上に順次印刷出力する。

一方、クライアントＰＣ１０２等から印刷出力される印刷データは、ＬＡＮ１０７からネットワークＩ／Ｆ２１４を経て、データ処理装置２１５で印刷可能な画像データに変換された後、記録装置２１２で紙上に印刷出力される。

ＭＦＰ１００へのユーザの指示はＭＦＰ１００に装備されたキー操作部等の入力装置２１３とマネージメントＰＣ１０１に接続されたキーボード、マウス等の入力装置とから行われ、これら一連の動作はデータ処理装置２１５内の図示しない制御部で制御される。

データ処理装置２１５はＣＰＵ、ＲＯＭ、ＲＡＭ、ならびに本実施形態に係る制御プログラムおよびデータを備える。

一方、操作入力の状態表示及び処理中の画像データの表示は表示装置２１６で行われる。なお、記憶装置２１１はマネージメントＰＣ１０１からも制御され、これらＭＦＰ１００とマネージメントＰＣ１０１とのデータの授受及び制御はネットワークＩ／Ｆ２１７および直結したＬＡＮ１０９を介して行われる。

３．ＭＦＰ１００における処理の全体概要
次にＭＦＰ１００において実行される処理の全体概要を図３を用いて説明する。

図３（Ａ）は、ＭＦＰ１００における電子ファイル取得・格納処理の全体フローを示す図であり、図３（Ｂ）は、電子ファイル検索・出力処理の全体フローを示す図である。

図３（Ａ）において、ステップＳ３０１ではイメージ情報入力処理を実行する。具体的には、ＭＦＰ１００の画像読み取り部２１０を動作させ１枚ごとに文書をラスター状に走査し、６００ＤＰＩ−８ビットのビットマップ画像を得る。そして該ビットマップ画像に対してデータ処理装置２１５が前処理を施し、記憶装置２１１に１ページごとの画像データとして格納する。

ステップＳ３０２では、ブロックセレクション処理（領域分割処理）を実行する。具体的には、ステップＳ３０１において格納された１ページごとの画像データを先ず、文字／線画部分やハーフトーンの画像部分等、領域ごとに分離する。そして、文字／線画部分については更に段落で塊として纏まっている文字ブロック毎に、或いは、線や表等の図形ブロック毎に分離し各々オブジェクト化する。一方、写真や図画等のハーフトーンの画像部分は、矩形に分離された写真ブロック、図画ブロック毎に独立したオブジェクトに分割する。更に、オブジェクト化された各ブロックについての情報を一覧にまとめることでブロック情報を生成する。このように、属性毎の領域（ブロック）に分割することを、ここではブロックセレクション処理と呼ぶこととする。

ステップＳ３０３では、ステップＳ３０２で分割されたオブジェクトのそれぞれをコンテンツとして扱うコンテンツ分離処理を実行する。そして、ステップＳ３０４では、各コンテンツのうち、文字部分に関してＯＣＲをかけることでテキストデータを取得する。

更に、ステップＳ３０５では、当該文書中に電子透かしや２次元バーコード等を用いてデータが記録されていれば、これを当該ページに対する属性データとして検出する。この属性データを埋め込む手法は限定されるものではないが、例えば、不可視の電子透かしを用いたり、可視の２次元バーコードやウォーターマークなどを用いて文書中に記録したりしておくことが可能である。例えば、不可視の電子透かしの手法としては、文字と文字の間隔を微小に変化させることで情報を埋め込む手法や、ハーフトーンの画像部分にイエロードットを打つことで情報を埋め込む手法などを用いることができる。

ステップＳ３０６では画像データからベクトルデータへの変換処理（ベクトル化処理）を行う。先ず、ステップＳ３０４でＯＣＲをかけることで得られたテキストデータに対しては、更に文字のサイズ、スタイル、字体を認識し、文書をラスター走査して得られた文字に可視的に忠実なフォントデータに変換する。一方、線や表等の図形ブロックに対してはアウトライン化してベクトルデータへ変換する。また、写真、図画ブロックに対しては個別のＪＰＥＧファイルとして処理する。

ステップＳ３０７では、コンテンツ整合処理を行う。具体的には、ステップＳ３０２のブロックセレクション処理にて分離された各オブジェクトについて、前後ページにまたがるコンテンツの結合等を行い、意味のある（セマンティックな）コンテンツごとにまとめる。例えば、本文の文字領域の場合、文章の途中で次の段組や次のページに改行されることがあるが、このような場合、意味的に繋がりがあるかどうか形態素解析や構文解析を行うことで、１つの文章として結合すべきかどうか判断する。

ステップＳ３０８では、ステップＳ３０２で生成されたブロック情報と、ステップＳ３０４で取得されたテキストデータと、ステップＳ３０５で検出された属性データとを用いて検索キーワードを作成する。

ステップＳ３０９では、コンテンツ整合処理がなされたベクトルデータを電子ファイルとして記憶装置２１１に格納する。このとき、ステップＳ３０８で生成された検索キーワードを該電子ファイルの一部として、ベクトルデータと対応付けて保存する。（例えば、ｒｔｆ（リッチテキストフォーマット）やPDFやXMLなどのフォーマットに変換して、電子ファイルとして記憶装置２１１に格納する）。

このようにコンテンツ単位でベクトル化された画像データは、以降、ステップＳ３０９でベクトルデータと対応付けて格納された検索キーワードを用いて電子ファイルとして検索することが出来る。

次に、図３（Ｂ）の電子ファイル検索・出力処理について説明する。ステップＳ３１１において検索キーワードが入力されると、ステップＳ３１２では、当該検索キーワードに基づいて、記憶装置２１１内に格納された電子ファイルを検索する。

ステップＳ３１３では、検索された電子ファイルに基づいて、ユーザが所望の集約処理を行い、ステップＳ３１４において、該集約後の電子ファイルを印刷出力する。

ステップＳ３１４における印刷処理が完了すると、ステップＳ３１５では、検索キーワードの修正が必要か否かをユーザの指示に基づいて判定する。

ステップＳ３１５において、検索キーワードの修正が必要であると判定された場合には、ステップＳ３１６に進み、検索キーワード修正処理を実行する。一方、検索キーワードの修正が必要でないと判定された場合には、処理を終了する。

このように、ＭＦＰ１００には、検索キーワードの修正機能が備えられており、ユーザが検索キーワードを修正することが可能であるため、検索精度の向上が期待できる。

４．電子ファイル取得・格納処理の詳細
以下、上述の電子ファイル取得・格納処理の各ステップの詳細について説明する。

４．１ ブロックセレクション処理
まず、ステップＳ３０２で示すブロックセレクション処理の詳細について説明する。

ブロックセレクション処理では、図３のステップＳ３０１を介して取得された１ページごとの画像データ（例えば、図４の（Ａ）参照）を、各ブロック毎の塊として認識する。そして、該ブロック各々について文字／図画／写真／線／表等の領域属性毎のブロックに分割する（図４の（Ｂ）参照）。

ブロックセレクション処理の具体例を以下に説明する。まず、画像データを白黒に二値化し、輪郭線追跡を行って黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡を行い白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。

このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なるブロックを持つ領域へ分類していく。例えば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とする。更に、近接する文字が整列良くグループ化可能な部分を文字ブロック、扁平な画素塊を線ブロックとする。更に、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表ブロック、不定形の画素塊が散在しているブロックを写真ブロック、それ以外の任意形状の画素塊を図画ブロック、などとする。

ブロックセレクション処理で得られた各ブロックに対するブロック情報の一例を図５に示す。これらのブロック毎のブロック情報は検索の為の検索キーワードとして用いられる。なお、ＯＣＲ情報は、ステップＳ３０４で取得される。

４．２ 属性データ検出処理
次に、ステップＳ３０５で示す属性データの検出処理の詳細について説明する。

図６は画像データ中に含まれる２次元バーコード（例えば、ＱＲコード（商標））を復号して、データ文字列を属性データ（処理制限に関する情報）として出力する過程を示すフローチャートである。図７は、２次元バーコードの付加された文書の一例を示す図である。

属性データの検出処理では、まず、記憶装置２１１に保存された画像データについて、先に説明したブロックセレクション処理の結果から所定のＱＲコード７０３の位置を検出する（ステップＳ６０１）。ＱＲコードの位置検出パターンは、ＱＲコードの４隅のうち３隅に配置される同一の位置検出要素パターンから構成される。

次に、位置検出パターンに隣接する形式情報を復元し、ＱＲコードに適用されている誤り訂正レベルおよびマスクパターンを得る（ステップＳ６０２)。

続いてステップＳ６０３においてＱＲコードの型番を決定した後、形式情報で得られたマスクパターンを使って符号化領域ビットパターンをＸＯＲ演算することによってマスク処理を解除する（ステップＳ６０４)。

ステップＳ６０５では、モデルに対応する配置規則に従い、シンボルキャラクタを読み取り、メッセージのデータ及び誤り訂正コード語を復元する。

ステップＳ６０６では、復元されたコード上に、誤りがあるかどうかの検出を行い、誤りが検出された場合には、ステップＳ６０７に分岐し、これを訂正する。

ステップＳ６０８では、誤り訂正されたデータのモード指示子および文字数指示子に基づいて、データコード語をセグメントに分割する。

最後に、仕様モードに基づいてデータ文字列を復号し、結果を出力する(ステップＳ６０９)。

なお、ＱＲコード内に組み込まれたデータ文字列は、そのページの属性データを表わしており、例えば、コピーの可禁や配布制限等、処理制限に関する情報で構成される。

なお、ここでは属性データがＱＲコードにより付与された文書７０１を一例として説明したが、本発明は特にこれに限定されない。例えば、直接文字列で属性データが記録される場合は所定のルールに従った文字列のブロックを先のブロックセレクション処理で検出し、該属性データを示す文字列の各文字を文字認識することで、属性データを得るようにしてもよい。

また、図７の文書７０１の文字ブロック７０２、或いは７０４の文字列に対して隣接する文字と文字の間隔に視認し難い程度の変調を加え、該文字間隔の変化を利用して情報を埋め込むことによっても属性データを付与できる。このような不可視の透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出して復号すれば、属性データとして得ることができる。また、図画７０５の中に不可視の電子透かしとして属性データを付加することも可能である。

４．３ ベクトル化処理
次に、図３のステップＳ３０６で示すベクトル化処理について詳説する。まず、ＯＣＲをかけることで得られたテキストデータに対しては各文字に対して文字認識処理を行う。

４．３．１ 文字認識処理
文字認識は、文字単位で切り出された画像データに対し、パターンマッチングの一手法を用いて認識を行い、対応する文字コードを得るものである。この文字認識処理は、切り出された画像データから得られる特徴を数十次元の数値列に変換した観測特徴ベクトルと、あらかじめ字種毎に求められている辞書特徴ベクトルとを比較し、最も距離の近い字種を認識結果として文字コードを出力する処理である。特徴ベクトルの抽出には種々の公知手法があり、たとえば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントする方法が挙げられる。

なお、ブロックセレクション処理（ステップＳ３０２）で抽出された文字ブロックに対して文字認識を行う場合は、まず該当ブロックに対し横書き、縦書きの判定を行い、各々対応する方向に行を切り出し、その後文字を切り出して文字画像データを得る。横書き、縦書きについては、該当ブロック内で画素値に対する水平／垂直の射影を取り、水平射影の分散が大きい場合は横書きブロックと、垂直射影の分散が大きい場合は縦書きブロックと判断すればよい。文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、さらに切り出された行に対する垂直方向の射影から、文字を切り出すことで行う。縦書きの文字ブロックに対しては、水平と垂直を逆にすればよい。尚、この時文字のサイズが検出できる。

４．３．２ フォント認識処理
文字認識の際に用いる、字種数分の辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意し、マッチングの際に文字コードとともにフォント種を出力することで、文字のフォント情報が認識できる。

４．３．３ 文字のベクトル化処理
前記文字認識処理およびフォント認識処理によって得られた、文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインフォントデータと組み合わせることにより、テキストデータをベクトルデータに変換する。なお、文書がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。

以上の処理により、テキストデータに対応する画像データをほぼ形状、大きさ、色が忠実なベクトルデータに変換できる。

４．３．４ 文字以外の部分のベクトル化
ブロックセレクション処理（ステップＳ３０２）で、線、表ブロックとされたブロックを対象に、ブロック中で抽出された有意な色の画素塊の輪郭をベクトルデータに変換する。具体的には、輪郭をなす画素の点列を角と看倣される点で区切って、各区間を部分的な直線あるいは曲線で近似する。角とは曲率が極大となる点であり、曲率が極大となる点は、図８に図示するように、任意点Ｐiに対し左右ｋ個の離れた点Ｐi−ｋ、Ｐi＋ｋの間に弦を引いたとき、この弦とＰiの距離が極大となる点として求められる。さらに、Ｐi−ｋ、Ｐi＋ｋ間の弦の長さ／弧の長さをＲとし、Ｒの値が閾値以下である点を角とみなすことができる。角によって分割された後の各区間は、直線は点列に対する最小二乗法など、曲線は３次スプライン関数などを用いてベクトル化することができる。

また、対象が内輪郭を持つ場合、ブロックセレクション処理で抽出した白画素輪郭の点列を用いて、同様に部分的直線あるいは曲線で近似する。

以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。文書がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。

さらに、図９に示す様に、ある区間で外輪郭と、内輪郭あるいは別の外輪郭が近接している場合、２つの輪郭線をひとまとめにし、太さを持った線として表現することができる。具体的には、ある輪郭の各点Ｐiから別輪郭上で最短距離となる点Ｑiまで線を引き、各距離ＰＱiが平均的に一定長以下の場合、注目区間はＰＱi中点を点列として直線あるいは曲線で近似し、その太さはＰＱiの平均値とする。線や線の集合体である表罫線は、前記のような太さを持つ線の集合として効率よくベクトル表現することができる。

尚、文字ブロックに対する文字認識処理を用いた上記ベクトル化では、該文字認識処理の結果、辞書からの距離が最も近い文字を認識結果として用いることとしたが、この距離が所定値以上の場合は、必ずしも本来の文字に一致しない。このため、形状が類似する文字に誤認識している場合が多い。従って、本実施形態では、この様な文字に対しては、上記した様に、一般的な線画と同じように扱い、該文字画像の輪郭に基づいてアウトライン化する。この結果、従来、文字認識処理で誤認識を起こしていた文字に対しても、誤った文字にベクトル化されず、可視的に画像データに忠実なアウトライン化によるベクトル化を行うことができる。

また、図画、写真と判定されたブロックに対しては本実施形態では、ベクトル化出来ない為、画像データのまま、ＪＰＥＧ等で圧縮することとする。

４．４ コンテンツ整合処理
続いて図３のステップＳ３０７で示されるコンテンツ整合処理の詳細について説明する。

図１０は、ベクトルデータをコンテンツ毎にグループ化するまでの処理の流れを示すフローチャートを示している。まず、各ベクトルデータの始点、終点を算出する（ステップＳ１００１）。次に各ベクトルデータの始点、終点情報を用いて、図形のオブジェクトを検出する（ステップＳ１００２）。図形のオブジェクトの検出とは、区分線が構成している閉図形を検出することである。検出に際しては、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用し、検出を行う。次に図形のオブジェクト内に存在する他の図形のオブジェクト、もしくは区分線をグループ化し、一つのコンテンツとする（ステップＳ１００３）。また、図形のオブジェクト内に他の図形のオブジェクト、区分線が存在しない場合は図形のオブジェクトを１つのコンテンツとする。

図１１は、図形のオブジェクトを検出するフローチャートを示している。先ず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形構成ベクトルを抽出する（ステップＳ１１０１）。次に閉図形構成ベクトルの中から該ベクトルの始点を開始点とし、時計回りに順にベクトルを追っていく。開始点に戻るまで行い、通過したベクトルを全て一つの図形のオブジェクトを構成する閉図形としてグループ化する（ステップＳ１１０２）。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。最後に、ステップＳ１１０１で除去された不要ベクトルのうち、ステップＳ１１０２で閉図形としてグループ化されたベクトルに接合しているものを検出し１つのコンテンツとしてグループ化する（ステップＳ１１０３）。

以上によって図形のオブジェクトを個別にキーワード検索可能な個別のコンテンツとして扱うことが可能になる。

また、文字領域のオブジェクトに関しては、先に説明したように、形態素解析や構文解析などを行うことで、意味的に繋がりがあるかどうか判断して、１つの文章として結合すべきかどうか決定するのが望ましい。

４．５ 検索キーワード作成処理
図１２を用い、図３のステップＳ３０８に示される検索キーワード作成処理について詳細を説明する。

まず検索キーワード作成処理の対象となるデータは、コンテンツ分離処理（ステップＳ３０３）、ベクトル化処理（ステップＳ３０６）、コンテンツ整合処理（ステップＳ３０７）を経て得たコンテンツのベクトルデータである。なお、図画・写真コンテンツの場合は画像データである。つまり、それ自体で意味のある（セマンティックな）ベクトルデータである。

本実施形態では、ステップＳ１２０１、Ｓ１２０３、Ｓ１２０５、Ｓ１２０７に示す４種類の検索キーワードを機械によって自動で作成している。

ステップＳ１２０１では、文書内の各コンテンツのうち、文字部分に関してＯＣＲをかけることで得られたテキストデータから検索キーワードを抽出し、対応するベクトルデータに付加する。なお、ステップＳ１２０１は、文書の本文内に含まれるコンテンツを対象としている。具体的には、その画像データが文字ブロックのみからなる場合には、その文字そのものから、線や表等の図形ブロックが含まれる場合には、近傍のタイトルや、図形ブロック内のテキストデータから検索キーワードを抽出する。

ステップＳ１２０２では、ステップＳ１２０１において付加された検索キーワードに対して修正可／不可の設定を行う。ここでは修正可に設定する。

ステップＳ１２０３では、文書の表紙に含まれる文字部分に関してＯＣＲをかけることで得られたテキストデータから検索キーワードを抽出し、該文書内に含まれるコンテンツに対応するベクトルデータ全てに付加する。具体的には、文書の表紙から文書名、作者、作成日などの作成情報を検索キーワードとして抽出し、文書内に含まれるコンテンツのデータに付加する。かかる検索キーワードを抽出することにより、各ベクトルデータを文書名や作者、作成日などの作成情報に基づいて検索することが可能となる。

ステップＳ１２０４では、ステップＳ１２０３において抽出された検索キーワードに対して修正可／不可の設定を行う。ここでは修正可に設定する。

ステップＳ１２０５では、２次元バーコードや透かし等を用いて埋め込まれている属性データを、検索キーワードとして文書内に含まれるコンテンツに対応するベクトルデータ全てに付加する。ただし、属性データは、他の検索キーワードとは区別して付加される。なお、属性データとしては上述のようなＱＲコードのほか、電子透かし情報、あるいは、紙紋情報、地紋情報なども含まれる。なお、ページ単位でコピー禁止や配布制限が制御されている場合を考慮し、当該２次元バーコード（透かし）が含まれている同一ページ内のデータに限って付加するようにしてもよい。また、２次元バーコード（透かし）が含まれているページが表紙である場合は全ページのコンテンツのデータに付加し、表紙以外のページである場合は各ページ内のコンテンツのデータに対してのみ付加するように切り替えてもよい。

ステップＳ１２０６では、ステップＳ１２０５において抽出された検索キーワードに対して修正可／不可の設定を行う。ここでは修正不可に設定する。これは、コピー禁止や配布制限などのような処理制限に関する属性データが変更されないようにするための処置である。なお、処理制限に係るデータでないと判断できる場合は、修正可と設定するようにしてもよい。

ステップＳ１２０７では、同一ページの他のコンテンツのみに含まれる検索キーワード（属性データ）をコピーして自コンテンツに対応するベクトルデータに検索キーワードとして付加する。なお、ここでは、同一ページの全コンテンツに対応するベクトルデータに検索キーワード（属性データ）をコピーすることとしている。

ステップＳ１２０８では、ステップＳ１２０７において抽出された検索キーワードに対して修正可／不可の設定を行う。ここでは修正可に設定する。

なお、上記ステップＳ１２０２、Ｓ１２０４、Ｓ１２０６、Ｓ１２０８における修正可／不可の設定は、それぞれ検索キーワードの「編集権」を設定する処理である。かかる処理を実行することにより、ＭＦＰ１００では、各コンテンツごとに分離されたベクトルデータに適当な検索キーワードを自動付加することができるだけでなく、更に、その検索キーワードに対する編集権も付加することができる。

このように、ＭＦＰ１００では、検索キーワードの抽出元に応じて編集権を設定することができるよう構成されている。

なお、ステップＳ１２０２、Ｓ１２０４、Ｓ１２０６、Ｓ１２０８において修正可能と設定された検索キーワードは、図３（Ｂ）の電子ファイル検索・出力処理を実行した際に、ユーザによって適宜修正可能な検索キーワードである。一方、ステップＳ１２０２、１２０４、１２０６、１２０８において修正不可と設定された検索キーワードは、ユーザによって修正することが制限された検索キーワードである。上述のように、コピー禁止や配布制限などのような処理制限に関する情報である属性データなどが改ざん防止を目的として、修正不可と設定される。このような修正不可設定されたデータは、システム管理者などの特別の権限を有するユーザ以外は修正できなくなる
なお、図１２のフローチャートでは、検索キーワードの４つに区分（ステップＳ１２０１、１２０３、１２０５、１２０７）し、各区分ごとに一括して編集権を設定する構成としたが、本発明は特にこれに限られない。例えば、検索キーワードごとに設定できるように構成してもよい。

４．６ 電子ファイル格納処理
図１３は図３のステップＳ３０９に示される電子ファイル格納処理により格納される電子ファイル（コンテンツごとのベクトルデータに対して検索キーワード及び修正可／不可設定等が付加されたファイル）の構造を示した図である。

１３０１は電子ファイルヘッダであり、１３０２は検索キーワード個数を格納する検索データヘッダである。１３０９は属性データ個数を格納する属性データヘッダである。１３１４はベクトルデータヘッダである。

個々の検索キーワードは、検索キーワードの修正可／不可を示す修正フラグを格納する検索キーワード修正フラグヘッダ１３０３、１３０５、１３０７と、検索キーワード１３０４、１３０６、１３０８とから構成される。

ここで検索キーワード修正フラグヘッダ内の修正フラグが修正可の場合はそのヘッダが指す検索キーワードを修正できるように制御し、逆に修正フラグが修正不可の場合はそのヘッダが指す検索キーワードを修正できないように制御する。

同様に、個々の属性データは、属性データの修正可／不可を示す修正フラグを格納する属性データ修正フラグヘッダ１３１０、１３１２と、属性データ１３１１、１３１３とから構成される。検索キーワードと同様に、属性データ修正フラグヘッダ内の修正フラグによって、そのヘッダが指す属性データの修正可／不可を制御する。

最後に、ベクトルデータは、ベクトルデータの種類等を格納するベクトルデータヘッダ１３１４と、ベクトルデータ１３１５とから構成される。ベクトルデータについても、検索キーワードや属性データと同様な修正の可／不可を制御する場合には、ベクトルデータヘッダにその修正フラグを格納することで制御することが可能となる。

５．電子ファイル検索・出力処理の詳細
次に、電子ファイル検索・出力処理の詳細について説明する。なお、電子ファイル検索・出力処理のうち、検索キーワード修正処理以外の処理については、従来の処理と同様であるため、ここでは、検索キーワード修正処理について詳説する。

図１４は検索キーワード修正処理（ステップＳ３１６）の流れを示すフローチャートである。

ステップＳ１４０１では、検索キーワード修正の対象となる電子ファイルを選択する。ステップＳ１４０２では、電子ファイルヘッダ（１３０１）が指す検索データヘッダ（１３０２）を読み、検索キーワードが存在するかをチェックする。

ステップＳ１４０２において検索キーワードが無いと判断された場合には、検索キーワード修正処理は終了する。一方、検索キーワードがあると判断された場合には、ステップＳ１４０３に進み、ユーザが修正しようとする検索キーワードの検索キーワード修正フラグヘッダ（１３０３）にアクセスし、修正可／不可をチェックする。

ステップＳ１４０３において、修正可であったと判定された場合には、ステップＳ１４０４に進み、検索キーワードの修正を受け付ける。一方、修正不可であったと判定された場合には、ステップＳ１４０５に進む。

ステップＳ１４０５では、ユーザが修正しようとする検索キーワードが他にもあると判定された場合には、ステップＳ１４０６に進み、該他の検索キーワードを取得し、ステップＳ１４０３に戻る。一方、ステップＳ１４０５において、修正しようとする検索キーワードが他にないと判定された場合には、検索キーワード修正処理を終了する。

６．ユーザインタフェース
次に、ＭＦＰ１００における、上記電子ファイル検索・出力処理実行時のユーザインタフェースについて説明する。

図１５は、ＭＦＰ１００における電子ファイル検索・出力処理において、表示装置２１６に表示されるユーザインタフェースの一例を示す図である。

図１５の（Ａ）は、検索キーワード入力処理（ステップＳ３１１）における画面の一例である。１５００は検索ウィンドウであり、入力欄１５０１には検索キーワード（属性データも含む）が入力される。１５０２は検索ボタンであり、入力欄１５０１に検索キーワードが入力された状態で該検索ボタン１５０２が押下されることにより、電子ファイルの検索処理（ステップＳ３１２）が開始される。

図１５の（Ｂ）は、電子ファイル検索処理（ステップＳ３１２）が実行されることにより表示された画面の一例である。１５１０はリスト表示ウィンドウであり、検索処理の結果、適合した電子ファイルがリスト表示される。リスト１５１１には、適合度１５１２、種類１５１３、ファイル名称１５１４が含まれる。また、リスト１５１１に表示された電子ファイルのうち、（ステップＳ１４０１において）ユーザにより選択された電子ファイルについては、サムネイル表示欄１５１０に電子ファイルの内容が表示される。なお、リスト１５１１に表示された電子ファイルの選択は、選択ボタン１５１５を押下することにより、可能となる。

１５１６は修正ボタンであり、該修正ボタン１５１６が押下されることにより、リスト１５１１に表示された電子ファイルのうち、選択された電子ファイルについての修正処理が開始される。

なお、選択された電子ファイルについて、「編集権」（修正可）が設定されていなかった場合には、修正ボタン１５１６は押下できないように構成されている。つまり、選択ボタン１５１５が押下されると、ユーザにより選択された電子ファイルが検索キーワードを有しているか否か、ならびに「編集権」が付加されているか否かの判定を開始する（ステップＳ１４０２、１４０３）。検索キーワードを有しており、かつ「編集権」が付加されていると判定された場合には、修正ボタン１５１６を押下可能に制御する。一方、付加されていないと判定された場合には、修正ボタン１５１６を押下不可能に制御する。

修正ボタン１５１６が押下されると、選択された電子ファイルについての修正が可能となる（ステップＳ１４０４）。図１５の（Ｃ）は、検索キーワード修正処理（ステップＳ１４０４）が実行されることより表示される画面の一例である。１５２０は検索キーワード修正ウィンドウであり、検索キーワード一覧１５２１には、選択された電子ファイルについて付加された検索キーワードの一覧が表示される。

ユーザは検索キーワード一覧１５２１の中から、所望の検索キーワードを選択し、修正キーワード入力欄１５２２に修正キーワードを入力することにより、当該検索キーワードを修正する。

ＯＫボタン１５２３が押下されると、修正キーワード入力欄１５２２に入力された修正キーワードが反映され、処理が終了される（ステップＳ１４０５）。一方、キャンセルボタン１５２４が押下されると、修正キーワード入力欄１５２２に入力された修正キーワードは反映されることなく、処理が終了される（ステップＳ１４０５）。

以上の説明から明らかなように、本実施形態にかかる画像処理装置によれば、文書を構成するコンテンツごとにベクトルデータを生成し、検索キーワードを用いて検索可能に格納することができる。

また、ベクトルデータを格納するに際して、検索キーワードごとに編集権（修正可／不可）を設定することができる。

これにより、所望の検索結果が得られず、検索キーワードを修正する場合であっても、無制限に修正が行われないように制御することが可能となり、検索精度の向上と情報セキュリティの保持を両立させることが可能となる。

［第２の実施形態］
上記第１の実施形態では、生成された電子ファイルをＭＦＰ１００内の記憶装置２１１に格納することとしたが本発明は特にこれに限定されない。例えば、ＬＡＮ１０７を介して、オフィス１０内のデータベース１０５に格納するようにしてもよい。また、インターネット１０４を介して、オフィス２０のデータベース１０５に格納するようにしてもよい。なお、この場合、電子ファイル検索・出力処理では、記憶装置２１１のみならず、データベース１０５も検索処理の対象となる。

また、上記第１の実施形態では、画像読み取り部２１０により読み取られた文書に含まれるコンテンツを、ベクトル化する対象としたが本発明は特にこれに限定されない。たとえば、オフィス１０内の文書管理サーバ１０６やオフィス２０内の文書管理サーバ１０６内に格納されている文書に含まれるコンテンツを、ベクトル化する対象としてもよい。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。

本発明の一実施形態にかかる画像処理装置を備える画像処理システムの構成を示す図である。 本発明の一実施形態にかかる画像処理装置（ＭＦＰ１００）の構成を示す図である。 ＭＦＰ１００における全体処理の流れを示すフローチャートである。 ブロックセレクション処理を説明するための図である。 ブロックセレクション処理により取得されたブロック情報の一例を示す図である。 画像データ中に付加された２次元バーコードを復号して、データ文字列を出力する流れを示すフローチャートである。 ２次元バーコードが付加された文書の一例を示す図である。 文字以外のブロックのベクトル化処理を説明するための図である。 文字以外のブロックのベクトル化処理を説明するための図である。 ベクトルデータを図形オブジェクトごとにグループ化するまでの処理の流れを示す図である。 図形要素を検出するための処理の流れを示すフローチャートである。 検索キーワード作成処理の流れを示すフローチャートである。 電子ファイル格納処理により格納される電子ファイルの構造を示す図である。 検索キーワード修正処理の流れを示すフローチャートである。 ＭＦＰ１００における、電子ファイル検索・出力処理のためのユーザインタフェースを示す図である。

Claims (15)

1. 画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得手段と、
   前記画像データからキーワードを抽出する抽出手段と、
   前記抽出手段で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定手段と、
   前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納する格納手段と、を備え、
   前記設定手段は、前記抽出手段で抽出したキーワードが、透かし情報、地紋情報、バーコード情報、紙紋情報の少なくともいずれかから抽出されたキーワードである場合、修正否を設定することを特徴とする画像処理装置。
2. 画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得手段と、
   前記画像データからキーワードを抽出する抽出手段と、
   前記抽出手段で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定手段と、
   前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納する格納手段と、を備え、
   前記設定手段は、前記抽出手段で抽出したキーワードが、文書の表紙から抽出されたキーワードである場合、修正可を設定することを特徴とする画像処理装置。
3. 画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得手段と、
   前記画像データからキーワードを抽出する抽出手段と、
   前記抽出手段で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定手段と、
   前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納する格納手段と、を備え、
   前記設定手段は、前記キーワードが、同一ページの他のコンテンツから抽出されたキーワードである場合、修正可を設定することを特徴とする画像処理装置。
4. 画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得手段と、
   前記画像データからキーワードを抽出する抽出手段と、
   前記抽出手段で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定手段と、
   前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納する格納手段と、を備え、
   前記設定手段は、前記抽出手段で前記画像データ内に含まれる第１の種類のコンテンツから抽出されたキーワードに対しては修正可を設定し、前記抽出手段で前記画像データ内に含まれる第２の種類のコンテンツから抽出されたキーワードに対しては修正否を設定することを特徴とする画像処理装置。
5. 前記第１の種類のコンテンツから抽出されたキーワードは、前記画像データ内に含まれる文字画像を文字認識処理することにより抽出されたキーワードと、前記画像データを構成する文書の表紙から抽出されたキーワードと、前記画像データの同一ページの他のコンテンツから抽出されたキーワードとのうちの少なくともいずれかであり、
   前記第２の種類のコンテンツから抽出されたキーワードは、前記画像データ内に含まれる透かし情報、地紋情報、バーコード情報、紙紋情報の少なくともいずれかから抽出されたキーワードであることを特徴とする請求項４に記載の画像処理装置。
6. 前記コンテンツのデータに対応付けられているキーワードを修正する修正手段を更に備え、
   前記修正手段は、当該コンテンツデータに対応付けられている前記修正可否設定に応じて、当該キーワードを修正可能にするか修正不可能にするか制御することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記コンテンツ取得手段は、前記コンテンツをベクトルデータ化し、当該得られたコンテンツのベクトルデータを前記コンテンツのデータとして取得することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記設定手段は、前記抽出手段で抽出したキーワードが、文字画像を文字認識処理することにより抽出されたキーワードである場合、修正可を設定することを特徴とする請求項１に記載の画像処理装置。
9. 前記コンテンツ取得手段で取得されるコンテンツのデータは、前記画像データをオブジェクトごとに分割し、当該分割されたオブジェクトをコンテンツごとにまとめることにより得られるデータであることを特徴とする請求項１に記載の画像処理装置。
10. 画像処理装置の画像処理方法であって、
    取得手段が、画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得工程と、
    抽出手段が、前記画像データからキーワードを抽出する抽出工程と、
    設定手段が、前記抽出工程で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定工程と、
    格納制御手段が、前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納手段に格納する格納工程と、を備え、
    前記設定工程では、前記抽出工程で抽出したキーワードが、透かし情報、地紋情報、バーコード情報、紙紋情報の少なくともいずれかから抽出されたキーワードである場合、修正否を設定することを特徴とする、画像処理装置の画像処理方法。
11. 画像処理装置の画像処理方法であって、
    取得手段が、画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得工程と、
    抽出手段が、前記画像データからキーワードを抽出する抽出工程と、
    設定手段が、前記抽出工程で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定工程と、
    格納制御手段が、前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納手段に格納する格納工程と、を備え、
    前記設定工程では、前記抽出工程で抽出したキーワードが、文書の表紙から抽出されたキーワードである場合、修正可を設定することを特徴とする、画像処理装置の画像処理方法。
12. 画像処理装置の画像処理方法であって、
    取得手段が、画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得工程と、
    抽出手段が、前記画像データからキーワードを抽出する抽出工程と、
    設定手段が、前記抽出工程で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定工程と、
    格納制御手段が、前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納手段に格納する格納工程と、を備え、
    前記設定工程では、前記キーワードが、同一ページの他のコンテンツから抽出されたキーワードである場合、修正可を設定することを特徴とする、画像処理装置の画像処理方法。
13. 画像処理装置の画像処理方法であって、
    取得手段が、画像データ内に含まれるコンテンツのデータを取得するコンテンツ取得工程と、
    抽出手段が、前記画像データからキーワードを抽出する抽出工程と、
    設定手段が、前記抽出工程で抽出したキーワードがどのようにして抽出されたキーワードであるかに応じて、当該キーワードの修正可否を設定する設定工程と、
    格納制御手段が、前記コンテンツのデータと前記キーワードと前記修正可否設定とを対応付けて格納手段に格納する格納工程と、を備え、
    前記設定工程では、前記抽出工程で前記画像データ内に含まれる第１の種類のコンテンツから抽出されたキーワードに対しては修正可を設定し、前記抽出工程で前記画像データ内に含まれる第２の種類のコンテンツから抽出されたキーワードに対しては修正否を設定することを特徴とする、画像処理装置の画像処理方法。
14. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
15. コンピュータを、請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images