JP4708888B2 - 画像処理装置、画像処理方法及びコンピュータプログラム - Google Patents

Description

本発明は画像処理装置、画像処理方法及びコンピュータプログラムに関し、例えば紙文書を電子化保存しその一部を電子文書の編集に利用するために用いて好適な技術に関する。

近年、スキャナの普及により文書の電子化が進んでいる。しかし電子化された文書をフルカラービットマップ形式で保存しようとすると、例えば。Ａ４サイズの場合では３００dpi約２４Ｍバイトにもなり、必要な保存領域が膨大になる。また、このような大容量のデータは、電子的に送信するのにも適していない。

そのようなフルカラー画像は圧縮することが通常行われており、その圧縮方式としてJPEGが知られている。JPEGは写真などの自然画像を圧縮するには非常に効果も高く、画質も良い。しかし一方で、文字部などの高周波部分をJPEG圧縮すると、モスキートノイズと呼ばれる画像劣化が発生し、圧縮率も悪い。一般に利用される文書には、１ページに文字と画像の両方が含まれていることが多く、JPEGによる圧縮で画質と圧縮率を両立することは難しかった。

そこで前記の問題を解決するために、領域分割を行い、文字領域を抜いた下地部分のJPEG圧縮と、色情報付き文字領域部分のMMR圧縮を作成し、解凍時は白部分はJPEG画像を透過し、黒部分は代表文字色を載せて表現する方法があった。たとえば、特許文献１に開示される画像処理装置によれば、紙文書をスキャンして得た画像から、文字領域は解像度を落とさずに二値化して非可逆圧縮、下地は解像度を落として高い圧縮率のJPEG圧縮を施したデータが作成された。これにより、カラー情報を保ちながら、文字などの可読性は失われずに大幅にサイズが削減された、送信や保存に好適な電子化文書を得ることが可能だった。

一方、コンピュータの普及により、ワードプロセッサーのような文書編集アプケーションを用いて文書の作成、編集をする作業が一般に広く行われるようになっている。前述のように電子化され保存された文書も、閲覧されるだけではなく、それらをまるごと、あるいは一部を別文書に挿入、さらには編集加工するなどして利用したいという需要も高まっている。

このような要求の一部に応えるものとして、たとえば特許文献２にて公開される画像処理装置では、スキャンした文書のイメージデータから、当該文書に対応するオリジナル文書ファイルをデータベース等から検索して特定し、実際に印刷や再利用などはこのオリジナル文書ファイルに対しておこなうことで画質や編集性の高い利用が可能になっていた。

特開２００２−７７６３３号公報 特開２００４−２６５３８４号公報

しかしながら、スキャンにより電子化された文書は、前述のとおり保存効率を良くするために圧縮が施されているために、別文書の作成に利用する場合には、圧縮による画像の劣化が問題になる。
前記、特許文献１に開示される画像処理装置によって電子化された文書であれば、文字の領域であれば解像度を落とさず可逆の圧縮を施されたデータを保持しているために、劣化を気にせずに当該領域の画像を抽出して利用することが可能だった。しかし、文字以外の領域は下地領域として高圧縮が施されているために、利用の際に画質が劣化する問題は避けられなかった。

また、特許文献２に開示される画像処理装置では、スキャンされた文書が検索で得られたオリジナル文書ファイルにより置き替えられることになるため、そのデータ量は必ずしも小さくならず、電子化した文書を送信したり保存したりする場合の効率が良いとは限らないという問題があった。

加えて、前記ワードプロセッサーのような文書編集アプリケーションによる文書作成をおこなう環境では、再利用に好適な写真や図面などは個別のデータとしてデータベースに登録されている可能性もある。これらのデータを引用して新規に作成された文書が文書ファイルとしてデータベースに登録されていない場合、前記画像処理装置でスキャンしても目的部分に対して本来はデータベース内に存在する筈のオリジナルデータを取得することはできなかった。

以上の課題、すなわち、スキャン画像から生成された、送信や保存効率の高いデータであって、かつこのデータを文書編集などに利用する際には、目的部分に対するオリジナルデータを容易に取得することを可能にする技術が求められていた。

本発明は前述の問題点にかんがみ、オリジナルデータを容易に取得することができるようにすることを目的としている。

本発明の画像処理装置は、画像を構成するデータを蓄積する画像データ蓄積手段と、紙文書の内容を光電変換により前記画像へと変換する画像読取手段と、前記画像読取手段によって変換された読取画像を領域の特性により領域分割する分割手段と、前記分割手段によって領域分割された読取画像の各部分を領域として特定する領域特定手段と、前記分割手段によって領域分割された読取画像を圧縮して圧縮データを生成する画像圧縮手段と、前記領域特定手段で特定された特定領域に対し前記画像データ蓄積手段から類似する画像データを検索する画像データ検索手段と、前記領域特定手段で特定された特定領域に対応する前記圧縮データの部分に前記画像データ検索手段による検索の結果を付加する情報付加手段と、を有することを特徴とする。
本発明の画像処理方法は、画像を構成するデータを蓄積する画像データ蓄積手段と、紙文書の内容を光電変換により前記画像へと変換する画像読取手段と、を有する画像処理装置が実行する画像処理方法であって、前記画像読取手段によって変換された読取画像を領域の特性により領域分割する分割工程と、前記分割工程において領域分割された読取画像の各部分を領域として特定する領域特定工程と、前記領域分割された読取画像を圧縮して圧縮データを生成する画像圧縮工程と、前記領域特定工程において特定された特定領域に対し類似する画像データを検索する画像データ検索工程と、前記領域特定工程において特定された特定領域に対応する前記圧縮データの部分に前記画像データ検索工程における検索の結果を付加する情報付加工程と、を有することを特徴とする。
本発明のコンピュータプログラムは、前記画像処理方法の各工程をコンピュータに実行させることを特徴とする。

本発明によれば、ユーザーが紙の原稿をスキャンして、そのデータを自分のＰＣなどのコンピュータ装置へと送信し、同装置内に保存する。この送信データは、送信効率や保存効率が良くするために高圧縮を施す。また、この送信データには更に、内包する図や写真などの各領域に対し、それらに関連する画像の所在や編集可能か否か等の情報が記述される。その結果、たとえばスキャンした紙原稿の生成に利用したオリジナルデータがデータベースから取得可能な場合、前記情報を用いてこのデータを取得することで、送信データ自体から画像を抽出するよりも、文書編集に好適な画質や編集性を備えたデータを利用することができる。

特に、この情報が送信データに記述されていることの効果としては、利用する時点で検索をおこなわなくてもよいので利用時の作業効率が向上することがある。また、高圧縮を施された送信データ中の画像を用いた検索は、情報量劣化の為は高精度の検索がおこなえないおそれがあるので、予め記述してある本情報のほうが信頼の高い情報として利用可能であるという点がある。

さらに、前記情報が編集可能か否かの情報を含むことの効果として、利用の際に選択領域に対する代替データとして編集可能なものが有るか否かをユーザーが直ちに知ることができるので、文書編集などの作業効率が向上する。

（第１の実施の形態）
図２は、本実施の形態を構成する画像検索システムを示す図である。
２０１は紙原稿を光電変換して画像データとするスキャナ部２１１、スキャンされた画像データに圧縮などの処理を施した送信データを作成する送信データ作成部２１２、画像データベースへの検索などにより入力画像に関連する画像データの情報を得て送信データに前記情報を追加する関連画像情報追加部２１４、送信データを２０１外部に送信する送信部２１３を備える画像処理装置である。

２０２は写真や図面などのデータが保存されている画像データベースである。ここでいう画像とは、いわゆるラスタ画像のほか、ベクトルパスの描画コマンド群によって構成されるデータ、たとえばSVG形式やその他のアプリケーション形式のデータを含み、しかしデータ形式にかかわらず画像特徴量の形式で検索が可能である。

２０３は汎用のコンピュータ装置であり、２０１から送信された送信データを受信する受信部２３１、受信データを保存するメモリあるいはハードディスクなどの保存部２３２、画像データベース２０２から必要な画像データを取得する画像検索部２３３を備え、アプリケーション実行部２３４はそれらのデータを利用するプログラムを実行する。なお、２０１、２０２、２０３はＬＡＮやインターネットなどの有線あるいは無線ネットワーク２０４で接続されている。

図２の装置群を用いて実行される本実施の形態に沿った処理の概略を、以下に２つのステップに分けて説明する。なお各ステップに関する詳細な説明は後述する。
第１は送信のステップで、ユーザーが紙の原稿を画像処理装置２０１でスキャンして、そのデータを自分のＰＣであるコンピュータ装置２０３へと送信し、同装置内に保管するステップである。その際送信されるデータは、送信時の効率や保存効率を良くするために、スキャン画像に対して極めて高い圧縮率で圧縮を施されるものとする。

ここでユーザーがスキャンする紙原稿は、コンピュータ装置２０３あるいはＬＡＮ上の他のコンピュータで作成して電子文書をプリントアウトしたものであり、更にこの電子文書は画像データベースに蓄積された写真や図などを一部引用して作成されたものであるとする。

このことを考慮して、本ステップでは、スキャンした紙原稿に対して生成される送信されるデータに対し、中に含まれる写真や図など画像部分に対し、データベースからそれらに類似する画像の情報を取得し、その情報を画像部分毎に、関連する画像の情報として付加する工程を含む。

第２は利用のステップで、ユーザーが先に保存したデータの一部を利用してあらたなデータを作成するステップである。たとえば、文書編集機能を有するアプリケーションをコンピュータ装置２０３で実行し、保存したデータに含まれる写真や図、あるいは文字の部分を選択的に抽出し、編集中の文書に挿入しようとするような場合である。

ここで、選択領域に対し保存データから抽出可能な画像データは、高圧縮を施された情報であるために品質が低い。度かつ可逆圧縮されたものであるが、写真や図などの部分の画像は解像度を落として非可逆高圧縮を施されたものであるため品質が低い。

したがって、先のステップで想定したように、当該部分のオリジナルデータに相当するデータが画像データベース２０２より取得することが可能であれば、保存データから抽出されるデータよりも、画質や再編集可能性などユーザーの文書編集に対しより望ましいデータとなる。したがって本ステップは、前記保存データに含まれる、関連する画像の情報を利用して、当該部分対する画像データをデータベースより取得する工程を含む。

以上の２ステップの処理について、以下にそれぞれの詳細を説明する。
まずは送信のステップとして、ユーザーが紙の原稿を画像処理装置２０１でスキャンして、その内容を自分のＰＣであるコンピュータ装置２０３へ送信する動作について、図３のフローチャートを用いて説明する。

図３の左側は、画像処理装置２０１の動作を示すフローチャートである。
ステップＳ３０１では、ユーザーが２０１に対して、スキャンしたデータの送信先を非図示のＵＩなどを用いて指定する。ここではコンピュータ装置２０３を指定したものとする。

ステップＳ３０２では、ユーザーがスキャナ部２１１が置かれた紙の原稿を公知の光電変換処理によって電子的な画像データに変換する。ステップＳ３０３では、送信データ作成部２１２が画像データに圧縮や特徴量抽出などの所定処理を施した送信データを作成する。

ステップＳ３０４では、関連画像情報追加部が、送信データが持つ画像データの特徴量を用いて、画像データベース２０２に対する検索処理をおこない、その結果得られた情報を送信データへと付加する。なお、本ステップＳ３０３およびステップＳ３０４処理の詳細については後で説明する。ステップＳ３０５ではステップＳ３０３で作成された送信データを送信部２１３がステップＳ３０１で指示された送信先へと送信する。

図３の右側はコンピュータ装置２０３の動作を示すフローチャートである。
ステップＳ３０６では、ステップＳ３０５で送信されたデータを受信部２３１が受信する。ステップＳ３０７では、受信したデータを保存部２３２へと保存する。

次に、図３のステップＳ３０３およびステップＳ３０４における処理について詳細に説明する。
図１は、送信データ作成部２１２および関連画像情報追加部２１４の構成を表すブロック図である。
１０１は文字領域検出部、１０２は文字領域画像作成部、１０３は文字部塗りつぶし部、１０４は文字色抽出部、１０５は文字領域画像圧縮部、１０６は下地画像圧縮部、１０７は画像領域検出部、１０８は画像特徴量生成部、１０９は関連画像情報取得部である。

これらの動作について図５のフローチャートを用いて説明する。
ステップＳ５０１では、文字領域検出部１０１が入力された多値画像１１０中の文字領域を検出して複数の文字領域座標１２１を作成する。

文字領域の検出には、公知の領域分割技術を用いることができる。領域分割技術とは１ページぶんの画像データを文字／図画／写真／線／表等の属性を持つ領域へと分割する処理である。

領域分割技術の実施例としては、USP５６８０４７８ "Method and Apparatus forcharacter recognition"(Shin-Ywan Wangら/CanonK.K.) がある。以下にその実施内容を簡単に説明する。

まず入力多値画像を二値化して白黒画像を作成する。二値化の方式としては公知の方式を用いる。次に、この白黒画像に対して８連結の黒画素輪郭追跡をおこなって黒画素の塊を抽出する。ここで面積の大きい黒画素の塊についてはその内部から４連結の白画素輪郭追跡をおこなって白画素の塊を抽出し、さらに一定面積以上の白画素の塊の内部からは再び黒画素輪郭追跡をおこなって黒画素の塊を抽出する。続いて、得られた黒画素の塊を大きさや形状、密度などで分類し、必要であればグループ化して文字／図画／写真／線／表など異なる属性を持つ領域へ分類していく。

例えば、縦横比が１に近く、大きさが定められた範囲のものを文字相当の画素塊とし、そのような文字相当の画素塊が互いに近接して整列良くグループ化が可能な部分を文字領域と判定する。それらを除いた黒画素塊のうち、一定以上扁平な画素塊は単独で線領域と、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域と、不定形の画素塊が散在している部分をグループ化した領域を写真領域と、それ以外の任意形状の画素塊が占める領域を図領域と、それぞれ判定していく。

図６は領域分割に対する入力多値画像(左)とその分割結果(右)の例を示す図である。
この領域分割によって得られた文字領域から文字領域座標１２１を作成する。ステップＳ５０２では、画像領域検出部１０７が入力の多値画像１１０中の写真領域や図領域などの画像領域を検出して複数の画像領域座標１２５を作成する。

画像領域の検出はステップＳ５０１でおこなった領域分割処理の結果を利用することができる。すなわち領域分割処理の結果から得られる写真および図の領域を画像領域とみなして画像領域座標１２５を作成する。ステップＳ５０３では、画像特徴量生成部１０８が前記画像領域座標１２５と多値画像１１０から各画像の画像特徴量として画像特徴量コード１１３を作成する。

画像特徴量は、画像から抽出される色のヒストグラム、色の構造、エッジのヒストグラム、テクスチャなど様々な方式があるが、その抽出目的は、前記画像データベース２０２より画像データを検索することにあるので、画像データベース２０２にて使用されている、あらかじめ定められた方式に従って求めることとなる。

ここでは、画像データベース２０２で使用される画像特徴量の１例として、エッジヒストグラムについて説明する。エッジヒストグラムとは、画像を４×４の格子状にブロック分割し、その各ブロックから垂直エッジ、水平エッジ、角度４５度のエッジ、角度１３５度のエッジ、および方向性のないエッジの５種類についてそのエッジ量を抽出して得られた、合計４×４×５=８０のエッジ量からなる特徴量ベクトルである。エッジ量とは、各ブロックの総ピクセル数に対するエッジを表すピクセル数の合を量子化したもので、具体的には１ブロックを統計上十分数な小領域へと分割し、各小領域内の輝度分布から前記５種エッジに対応するフィルタを用いて得ることができる。なお、画像データベース２０２で用いられる特徴量に従って、他の方法の画像特徴量を用いたり、複数の画像特徴量を組み合せる形で抽出したりしてもよい。

ステップＳ５０４では、文字領域画像作成部１０２が文字領域座標１２１と多値画像１１０から、文字領域画像１１１を作成する。具体的には、多値画像１１０中の各文字領域範囲に対し、公知の二値化手法をおこなって二値画像を取得する。二値画像内の画素値は文字線にあたる画素が１、それ以外が０とする。

ステップＳ５０５では、文字色抽出部１０４が前記文字領域画像１１１の文字線部画素と原画像を参照しながら文字線部分の文字領域代表色１２３を算出する。文字色抽出は、対応する文字領域画像１１１の文字線に対し細線化を施した細線化二値画像を作成し、その細線化二値画像上で１の画素に対応する多値画像１１０上の画素値の平均値をその領域の文字色とする。もし得られる画素値のばらつきが大きい場合は、文字領域を文字単位に分割してその各々に文字色を割りあてるようにしてもよい。

ステップＳ５０６では、文字部塗りつぶし部１０３が文字領域画像１１１の黒画素に対応する多値原画１１０上の画素を、その周辺の色と同等の色で塗りつぶして下地画像１１２を作成する。

文字部の塗りつぶしは次のようにしておこなう。まず対象の文字領域画像１１１を１画素ぶん太らせた二値画像を作成する。これは例えば二値画像である文字領域画像１１１からそれぞれ１dotずつ上、左、右、下にずらした４つの画像を作成し、もとの画像と合せて５つの画像を各画素ORをとって重ねあわせればよい。二値画像上で０にあたる画素に対し、多値画像１１０上での平均画素値を求める。この平均画素値で多値画像１１０上の文字部画素、すなわち太らせた二値画像で１にあたる画素を塗りつぶすことで、文字周辺の色のにじんだ画素を含めて塗りつぶされることになり、より平坦度合の高い下地画像１１２が得られる。

ステップＳ５０７では、文字領域画像圧縮部１０５は複数の文字領域画像１１１を圧縮して複数の圧縮コードＡ１２２を作成する。ここでは、MMRにより二値の文字領域画像を各々圧縮して圧縮コードＡ１２２を作成するものとする。

ステップＳ５０８では、下地画像圧縮部１０６は下地画像１１２を圧縮して圧縮コードＢ１２４を作成する。ここでは、下地画像１１２を半分の解像度になるように間引いたうえで、JPEGを用いて圧縮コードＢ１２４を作成するものとする。なお、目標とする圧縮率に応じ３３%、２５%など、解像度の変換率は変化させてもよい。

ステップＳ５０９では、関連画像情報取得部１０９が前記複数の画像領域１２５に対応する画像それぞれに関連する画像の情報をデータベース２０２から取得し、関連画像情報コード１２６を作成する。

ここでは、前記複数の画像領域座標１２５のそれぞれに対応する画像特徴量コード１１３を用いて、画像データベース２０２に対する検索をおこない、登録画像中で同特徴量のマッチングで得られる類似度の高いものを選出する。１つ以上の画像データが候補として選出された場合、それぞれ画像データに関する情報を取得して関連画像情報とする。具体的には、画像データの所在情報、特徴量マッチングの類似度、また画像データが編集可能であるか、すなわち登録画像データから、その画像を構成するパスなどの描画コマンドデータが取得できるか否かなどを取得する。

ステップＳ５１０では文字座標領域１２１〜関連画像情報コード１２６のデータを合わせたものを送信データ１２０とする。ここでは送信データの形式として、PDFを用いるものとし、圧縮コードＡ１２２および圧縮コードＢ１２４を描画データとして記述、その他の情報、すなわち画像や文字の領域情報や、それらの領域に関連する画像の情報は、メタデータとしてXMLオブジェクト形式で記述するものとする。しかしもちろんPDF以外の形式、たとえば描画データをSVG方式で記述し、全体としてXML形式をなすようにしてもよい。あるいは、すべてバイナリで記述してもよい。

メタデータ記述の具体例を図８に示す。８０１は文字の領域、８０２は画像の領域についての記述の例である。各領域は位置情報として左上のx座標値、y座標値、幅、高さを持つ。また８０２には、前記領域に関連する画像の情報群８０３が記述される。８０３は画像データベースより検索された、前記領域に類似する画像の情報であり、それぞれの所在を示すURL情報、類似度の値、そのデータが編集可能であるか否かを記述している。なお前記は１例であり、全く別の形式で記述してもよい。

次に、保存されたデータを利用するステップについて、図４のフローチャートを用いて説明する。
ステップＳ４０１では、ユーザーの指示に基づいて、保存部２３２に保存されているデータを読み出す。

ステップＳ４０２では、データが表わすスキャンページのどの部分を抽出するかを、ユーザーがコンピュータ装置２０３に接続された非図示のディスプレイおよびマウスやキーボードなどの手段を用いて領域指定する。

図７はこの領域指定をおこなうＵＩ画面の例である。７０１はページ画像であり、データ１２０からページを再構成するように展開して作られた画像である。具体的には、圧縮コードＢ１２４を展開した画像の上に、圧縮コードＡ１２２を展開して得られた文字画像を文字領域座標１２１を基に描画することで、例のようなページの画像７０１が得られる。

また、７０２〜７０４はユーザーが選択可能な領域を示す枠である。７０２、７０５は文字領域座標１２１に対応する文字領域の指定枠、７０３は図領域、７０４は写真領域で、いずれも画像領域座標１２５に対応する画像領域の指定枠であり、ユーザーはマウスやキーボードなどを用いた一般的GUI操作により、７０２〜７０５の枠のいずれかを選択することで、抽出対象の領域を指定することができる。

図４に戻って、ステップＳ４０３では、ステップＳ４０２で指定された領域が画像領域であると判断されれば、ステップＳ４０４に進む。それ以外の場合と判断されればステップＳ４１１に進む。

ステップＳ４０４では、指定された画像領域が、当該領域に関連する画像の情報を保持しているか否をチェックし、このチェックの結果、保持している場合はステップＳ４０５に進む。ステップＳ４０４のチェックの結果、いない場合はステップＳ４１０に進む。

ステップＳ４０５では、指定領域に関連する画像の情報があることをユーザーに告知する。ステップＳ４０６では、指定領域に対する出力データとして、前記関連する画像のうちひとつを選択し、選択された関連画像をデータベースから取得して出力するか、あるいは元々保存データに含まれる画像部分のデータを出力するかを判断する。関連画像を取得して出力すると判断した場合はステップＳ４０７に、保存データ中の画像部をデータとして出力すると判断した場合はステップＳ４１０に進む。

図９は、ステップＳ４０５およびステップＳ４０６に関するユーザーインターフェース画面の例である。画面９０１は指定領域に対し、保存データが図８の例中８０３のような３つの関連画像を有している場合の告知画面の例である。画面９０２は図８中８０３の各関連画像それぞれに関する情報を候補として提示しユーザーに選択を促す画面の例である。画面９０２は画面９０１にてボタン９１０を指示した場合に表示される。
図１０は、ステップＳ４０５およびステップＳ４０６に関する別のユーザーインターフェースの例を示す図である。画面１００１は、指定領域が保有する関連画像情報において、編集可能なデータがある場合に表示される告知画面の例である。このように、複数の選択候補がある場合、最も利用に適した情報を自動的に選択し、その利用の有無を問うようなインターフェースであってもよい。

ステップＳ４０７では、ステップＳ４０６で選択された関連画像をデータベースから取得する。具体的には、選択された関連画像に対応する所在情報に記されるデータベースのアドレスを元に取得対象の画像データを要求し取得する。

ステップＳ４０８では、取得した画像のデータを本当に出力するか否かを判断する。この判断の結果、肯定したと判断した場合はステップＳ４０９に進む。また、否定したと判断した場合はステップＳ４０６に戻って選択をやりなおす。

図１１は、ステップＳ４０８でユーザーに提示される確認画面の例を示す図である。
図１１において、確認画面１１０１で「はい」が押下されると、肯定したと判断される。一方「いいえ」が押下されると、否定したと判断される。

ステップＳ４０９では、取得した画像データを、抽出対象の画像データとして出力し終了する。ステップＳ４１０では、下地画像から指定領域の部分を切り出した画像データを、抽出対象の画像データとして出力し終了する。ステップＳ４１１では、文字部の情報である圧縮コードＡ１２２を展開して得た画像データから、指定領域に対応するものを、抽出対象の画像データとして出力し終了する。

以上ステップＳ４０９〜Ｓ４１１のいずれかにより出力された画像データは、ユーザーが文書編集をおこなう別のアプリケーションにおいて使用することができる。たとえば、Windows(登録商標）に於けるクリップボード機能を利用する場合、前記画像データをクリップボードへとコピーすることで、ユーザーは任意のアプリケーションでそのデータを利用することができるようになる。

特に、データベースより取得した画像データが描画コマンドなどからなるデータを含む場合、このデータを文書編集のアプリケーションで編集加工の用途により好適に利用することが可能になる。

（本発明に係る他の実施の形態）
前述した本発明の実施の形態における画像処理装置を構成する各手段、並びに画像処理方法の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施の形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施の形態の機能を実現するソフトウェアのプログラム（実施の形態では図４、５に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザーに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザーに配布し、所定の条件をクリアしたユーザーに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施の形態の機能が実現される。

本発明の実施の形態における送信データ作成部分を説明するブロック図である。 本発明の実施の形態の装置構成を示す図である。 本発明の実施の形態の画像処理装置の一般動作を示すフローチャートである。 本発明の実施の形態における画像処理装置の利用時動作を示すフローチャートである。 本発明の実施の形態における画像処理装置の作成時動作を示すフローチャートである。 本発明の実施の形態における文書画像の文字および画像その他領域検出結果の例を示す図である。 本発明の実施の形態における利用時ユーザーインターフェース画面の例を示す図である。 本発明の実施の形態における送信データの例を示す図である。 本発明の実施の形態における利用時ユーザーインターフェース画面の例を示す図である。 本発明の実施の形態における利用時ユーザーインターフェース画面の例を示す図である。 本発明の実施の形態における利用時ユーザーインターフェース画面の例を示す図である。

符号の説明

１０１ 文字領域検出部
１０２ 文字領域画像作成部
１０３ 文字部塗りつぶし部
１０４ 文字色抽出部
１０５ 文字領域画像圧縮部
１０６ 下地画像圧縮部
１０７ 画像領域検出部
１０８ 画像特徴量生成部
１０９ 関連画像情報取得部
１１０ 多値画像
１１１ 文字領域画像
１１２ 下地画像
１１３ 画像特徴コード
１２１ 文字座標コード
１２２ 圧縮コードＡ
１２３ 文字領域代表色
１２４ 圧縮コードＢ
１２５ 画像領域座標
１２６ 関連画像情報コード

Claims (12)

1. 画像を構成するデータを蓄積する画像データ蓄積手段と、
   紙文書の内容を光電変換により前記画像へと変換する画像読取手段と、
   前記画像読取手段によって変換された読取画像を領域の特性により領域分割する分割手段と、
   前記分割手段によって領域分割された読取画像の各部分を領域として特定する領域特定手段と、
   前記分割手段によって領域分割された読取画像を圧縮して圧縮データを生成する画像圧縮手段と、
   前記領域特定手段で特定された特定領域に対し前記画像データ蓄積手段から類似する画像データを検索する画像データ検索手段と、
   前記領域特定手段で特定された特定領域に対応する前記圧縮データの部分に前記画像データ検索手段による検索の結果を付加する情報付加手段と、
   を有することを特徴とする画像処理装置。
2. 前記画像圧縮手段で圧縮された圧縮データに対し、ユーザーにより指定された領域の画像データを抽出する抽出手段と、
   前記抽出手段によって抽出された画像データの指定領域に前記情報付加手段により付加された情報が存在する場合に、前記ユーザーに通知する通知手段と、を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記画像データ検索手段は、前記読取画像の特定領域内の特徴量と、前記画像データ蓄積手段に蓄積された前記画像データの特徴量とのマッチングにより行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記画像を構成するデータは、非圧縮ラスタ画像と、圧縮ラスタ画像と、画像を描画する命令群とを含むことを特徴とする請求項１に記載の画像処理装置。
5. 前記読取画像の特定領域内の特徴量は、画像データから算出された画像特徴量であることを特徴とする請求項３に記載の画像処理装置。
6. 前記情報付加手段により付加される情報は、前記画像データ検索手段による検索結果に含まれる画像データの所在情報を列挙するものであることを特徴とする請求項１に記載の画像処理装置。
7. 前記情報付加手段により付加される情報は、前記画像データ検索手段による検索結果に含まれる画像データが編集可能か否かに関する情報を含むことを特徴とする請求項６に記載の画像処理装置。
8. 前記通知手段は、前記指定領域に対応する前記情報付加手段で付加された画像数を通知することを特徴とする請求項２に記載の画像処理装置。
9. 前記通知手段は、前記指定領域に対応する前記情報付加手段で付加された情報中に編集可能な画像データが含まれるか否かを通知することを特徴とする請求項２に記載の画像処理装置。
10. 前記画像圧縮手段で圧縮された圧縮データを、ネットワークを経由して他の装置へと送信する送信手段を有することを特徴とする請求項１に記載の画像処理装置。
11. 画像を構成するデータを蓄積する画像データ蓄積手段と、紙文書の内容を光電変換により前記画像へと変換する画像読取手段と、を有する画像処理装置が実行する画像処理方法であって、
    前記画像読取手段によって変換された読取画像を領域の特性により領域分割する分割工程と、
    前記分割工程において領域分割された読取画像の各部分を領域として特定する領域特定工程と、
    前記領域分割された読取画像を圧縮して圧縮データを生成する画像圧縮工程と、
    前記領域特定工程において特定された特定領域に対し類似する画像データを検索する画像データ検索工程と、
    前記領域特定工程において特定された特定領域に対応する前記圧縮データの部分に前記画像データ検索工程における検索の結果を付加する情報付加工程と、
    を有することを特徴とする画像処理方法。
12. 請求項１１に記載の画像処理方法の各工程をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images