JP4323856B2 - 画像処理方法 - Google Patents
画像処理方法 Download PDFInfo
- Publication number
- JP4323856B2 JP4323856B2 JP2003121075A JP2003121075A JP4323856B2 JP 4323856 B2 JP4323856 B2 JP 4323856B2 JP 2003121075 A JP2003121075 A JP 2003121075A JP 2003121075 A JP2003121075 A JP 2003121075A JP 4323856 B2 JP4323856 B2 JP 4323856B2
- Authority
- JP
- Japan
- Prior art keywords
- data file
- specific area
- image
- output
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明が属する技術分野】
本発明は画像処理方法に関する。
【０００２】
【従来の技術】
近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでいる。
【０００３】
[第１従来例]
ペーパーレス化の方法には、例えば、バインダ等で蓄積された紙文書をスキャナ等で読み取り、画像のラスターデータまたはその符号化データ（以下これらを総称してイメージデータという。）として、ポータブルドキュメントフォーマット（ＰＤＦフォーマット）等のコンパクトなファイルに変換して、画像記憶手段に格納するものがある（例えば特許文献１）。
【０００４】
[第２従来例]
ペーパーレス化の方法の第２は、機能が拡張された記録装置、ＭＦＰ（マルチファンクション複合機）を用い、画像記憶装置に文字や画像のオリジナルデータファイルを格納しておき、オリジナルデータファイルを印刷して紙文書に記録する際に、オリジナルデータファイルが存在する画像記憶装置内のポインタ情報を、紙文書の表紙や印刷情報中に付加情報として記録するものがある（例えば特許文献２）。これによって、ポインタ情報から直ちにオリジナルデータファイルにアクセスし、オリジナルデータファイルの編集、印刷等の再利用が可能であり、紙文書保有量を削減し得る。
【０００５】
【特許文献１】
特開２００１−３５８８６３号公報
【特許文献２】
特開平１０−２８５３７８号公報
【０００６】
【発明が解決しようとする課題】
第１従来例は、スキャナで読み取った画像をコンパクトな情報量のＰＤＦファイルとして保存可能であるが、プリントされた文書から保存されているファイルを検索することができず、保存されている文書を再利用することは難しかった。
【０００７】
第２従来例は、オリジナルデータファイルへのポインタ情報を持たない文書ファイルの場合は、オリジナルデータファイルを検索することができない。
【０００８】
本発明はこのような従来の問題点を解消すべく創案されたもので、紙文書やイメージデータの形態で保存された情報の再利用を容易にするために、入力された画像をベクトルデータに変換することを目的とする。また、更に、ベクトルデータの変換を効率的に行うことを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る画像処理方法は、画像処理装置の特定領域指定手段が、ユーザからの指示に基づいて、入力画像の特定領域を指定する特定領域指定ステップと、前記画像処理装置のベクトル化手段が、前記特定領域指定ステップで指定された特定領域のイメージをベクトルデータに変換するベクトル化ステップと、前記画像処理装置の検索手段が、前記ベクトル化ステップで変換された前記特定領域のベクトルデータに基づいて、データベースから前記特定領域の情報を含むオリジナルデータファイルを検索する検索ステップと、前記画像処理装置の判定手段が、前記検索ステップで検索されたオリジナルデータファイルが、ラスターデータのファイルであるか、ベクトルデータのファイルであるかを判定する判定ステップと、前記画像処理装置の出力手段が、前記判定ステップで前記オリジナルデータファイルがラスターデータのファイルであると判定した場合は、前記ベクトル化ステップで変換された前記特定領域のベクトルデータを用いて出力用データファイルを出力し、前記判定ステップで前記オリジナルデータファイルがベクトルデータのファイルであると判定した場合は、前記オリジナルデータファイルを用いて出力用データファイルを出力する出力ステップとを備える。
【００１０】
【発明の実施の形態】
[第１実施形態]
次に本発明に係る画像処理方法の第１実施形態を図面に基づいて説明する。
【００１１】
図１は、本発明に係る画像処理方法の第１実施形態を実施する画像処理システムを示すブロック図、図２は、図１におけるＭＦＰを示すブロック図、図３は、本発明に係る画像処理方法の第１実施形態を示すフローチャ−ト、図４は、図３の画像処理方法により処理される原稿と処理結果の画像を示す図、図５は、ブロックセレクション処理で得られるブロック情報および入力ファイル情報を示す表、図６は、原稿の画像からポインタ情報を抽出する処理を示すフローチャート、図７は、ポインタ情報を含む原稿の画像を示す図、図８は、図３の文字領域のベクトル化の処理を示すフローチャート、図９は、図３のファイル検索の処理を示すフローチャート、図１０は、ベクトル化の処理における角抽出の処理を示す図、図１１は、ベクトル化の処理における輪郭線まとめの処理を示す図、図１２は、図３のベクトル化で生成されたベクトルデータのグループ化の処理を示すフローチャート、図１３は、図１２の処理でグループ化されたベクトルデータに対する図形要素検出の処理を示すフローチャート、図１４は、ベクトル化処理結果のデータを示すマップ、図１５は、図３のアプリデータ変換の処理を示すフローチャート、図１６は、図１５の文書構造ツリー生成の処理を示すフローチャート、図１７は、文書構造ツリー生成処理の対象となる文書を示す図、図１８は、図１６の処理によって生成される文書構造ツリーを示す図、図１９は、本発明に係る画像処理方法の第２実施形態における特定領域指定の処理を示す図、図２０は、本発明に係る画像処理方法の第３実施形態における特定領域指定の処理を示す図である。
【００１２】
[画像処理システム]
図１において、本発明に係る画像処理方法の第１実施形態を実施する画像処理システムは、オフィス１０とオフィス２０とをインターネット１０４で接続した環境において使用される。
【００１３】
オフィス１０内に構築されたＬＡＮ１０７には、記録装置としてのＭＦＰ（マルチファンクション複合機）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ（外部記憶手段）１０２、文書管理サーバ１０６、文書管理サーバ１０６のためのデータベース１０５が接続されている。
【００１４】
オフィス２０内にはＬＡＮ１０８が構築され、ＬＡＮ１０８には文書管理サーバ１０６、および文書管理サーバ１０６のためのデータベース１０５が接続されている。
【００１５】
ＬＡＮ１０７、１０８にはプロキシサーバ１０３が接続され、ＬＡＮ１０７、１０８はプロキシサーバ１０３を介してインターネットに接続される。
【００１６】
ＭＦＰ１００は原稿から読み取った入力画像に対する画像処理の一部を担当し、処理結果としての画像データはＬＡＮ１０９を通じてマネージメントＰＣ１０１に入力される。マネージメントＰＣ１０１は、画像記憶手段、画像処理手段、表示手段、入力手段等を含む通常のコンピュータであり、機能的にはこれら構成要素の一部がＭＦＰ１００と一体化して、画像処理システムの構成要素となっている。なお、本実施形態では、マネージメントＰＣにおいて、下記に記載の検索処理などが実行されるものとするが、マネージメントＰＣで行われる処理をＭＦＰで実行するようにしても構わない。
【００１７】
さらにＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。
【００１８】
[ＭＦＰ]
図２において、ＭＦＰ１００は、図示しないオートドキュメントフィーダ（ＡＤＦ）を有する画像読み取り部１１０を備え、画像読み取り部１１０は束状の或いは1枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度（例えば６００ｄｐｉ）および所定濃度レベル（例えば８ビット）の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなる画像データが構成される。
【００１９】
ＭＦＰ１００は、記憶装置１１１および記録装置１１２を有し、通常の複写機能を実行する際には、イメージデータをデータ処理装置１１５によって画像処理して記録信号に変換する。複数枚複写の場合には、１頁分の記録信号を一旦記憶装置１１１に記憶保持した後、記録装置１１２に順次出力して、記録紙上に記録画像を形成する。
【００２０】
ＭＦＰ１００は、ＬＡＮ１０７との接続のためのネットワークＩＦ１１４を有し、クライアントＰＣ１０２が出力したイメージデータを、記録装置１１２によって記録し得る。クライアントＰＣ１０２から出力されたイメージデータはＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理装置１１５で記録可能な記録信号に変換された後、ＭＦＰ１００において、記録紙上に記録画像として記録される。
【００２１】
ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力装置１１３）、あるいはマネージメントＰＣ１０１の入力装置（キーボード、ポインティングデバイス等）を通じて操作される。これらの操作のために、データ処理装置１１５は内部の制御部（図示せず。）によって所定の制御を実行する。
【００２２】
ＭＦＰ１００は表示装置１１６を有し、操作入力の状態と、処理すべきイメージデータとを、表示装置１１６によって表示し得る。
【００２３】
記憶装置１１１はネットワークＩＦ１１７を介して、マネージメントＰＣ１０１から直接制御し得る。ＬＡＮ１０９は、ＭＦＰ１００とマネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。
【００２４】
[画像処理方法の全体の流れ]
本発明に係る画像処理方法の第１実施形態は図３の各ステップにより実行される。
【００２５】
ステップＳ３０１：ＭＦＰ１００の画像読み取り部１１０を動作させて、1枚の原稿をラスター状に走査し、所定解像度および所定濃度レベルの、画像読み取り信号を取得する。画像読み取り信号はデータ処理部１１５によって前処理され、入力画像の１頁分のイメージデータとして、記憶装置１１１に保存される。次にステップＳ３０２に進む。
【００２６】
ステップＳ３０２（ブロックセレクション（領域分割）ステップ）：マネージメントＰＣ１０１によって、記憶装置１１１に格納されたイメージデータの領域を、文字あるいは線画を含む文字・線画領域と、ハーフトーンの写真領域、不定形の画像領域その他に分ける。さらに文字・線画領域について、主に文字を含む文字領域と、主に表、図形等を含む線画領域とを分離し、線画領域は表領域と図形領域に分離する。なお、本実施形態では連結画素を検知し、該連結画素の外接矩形領域の形状・サイズ・画素密度等を用いて、属性毎の領域に分割するものとするが、その他の領域分割手法を用いても構わない。
【００２７】
文字領域については、文字段落ごとの纏まった塊をブロックとして矩形ブロック（文字領域矩形ブロック）にセグメント化し、線画領域では、表、図形等の個々のオブジェクト（表領域矩形ブロック、線画領域矩形ブロック）ごとに矩形ブロックにセグメント化する。
【００２８】
ハーフトーンで表現される写真領域は、画像領域矩形ブロック、背景領域矩形ブロック等のオブジェクトごとに、矩形ブロックにセグメント化する。
【００２９】
これらの矩形ブロックの情報を「領域分割情報」という。
【００３０】
ステップＳ３０３：ブロックセレクションステップで得られた領域分割情報と入力画像とを合成して、ＭＦＰ１００の表示装置１１６における操作画面上に表示する。
【００３１】
表示装置１１６に表示される操作画面の一例を図４に示す。
【００３２】
操作画面には、左半部に入力画像そのものが画像４１として表示され、右半部に矩形ブロックにより領域分割情報を示す画像４２が表示される。
【００３３】
画像４２では、入力画像を簡略表示するとともに、各矩形ブロックを矩形で示す。
【００３４】
矩形ブロックの概念の理解を容易にするため、各矩形ブロックには、その属性を示す、ＴＥＸＴ、ＰＩＣＴＵＲＥ、ＬＩＮＥ、ＴＡＢＬＥの表示が付されているが、実際には属性情報は表示されず、分割された矩形領域が枠線として表示される。
【００３５】
ＴＥＸＴ、ＰＩＣＴＵＲＥ、ＬＩＮＥ、ＴＡＢＬＥは文字領域矩形ブロック、図面領域矩形ブロック、線図形領域矩形ブロック、表領域矩形ブロックの属性表示であり、写真領域矩形ブロックを示すＰＨＯＴＯ、その他の属性表示が用いられる。
【００３６】
なお、図４では入力画像と領域分割情報を左右に並べて表示しているが、これらを重ねて入力画像上に分割された矩形ブロックを表示する等、多様な表示形態が可能である。
【００３７】
ステップＳ３０４（特定領域指定ステップ）：ステップＳ３０３で表示された領域分割情報について、ベクトル化の対象とすべき矩形ブロックを特定領域として指定する。
【００３８】
特定領域の指定方法としては、例えば、ユーザがポインティングデバイス（図示せず。）を用いて、画像４２中の１個または複数の矩形ブロックを指示することによって行う。なお操作画面１１６をタッチパネルとし、ユーザが所望の矩形ブロックを指で指示する方法等、種々の方法を採用し得る。
【００３９】
ステップＳ３０５：ステップＳ３０４で指定された特定領域をイメージデータとして切り出し、切り出されたイメージデータに対して以下の処理を行う。
【００４０】
ステップＳ３０６：特定領域にオリジナルデータファイルのポインタ情報が埋め込まれているか否かの判定を行うため、ＯＣＲ、ＯＭＲ処理を行う。
【００４１】
原稿画像中に付加情報として記録された２次元バーコード、あるいはＵＲＬに該当するオブジェクトを検出し、ＯＣＲによってＵＲＬを文字認識し、ＯＭＲによって２次元バーコードを解読して入力画像のオリジナルデータファイルが格納されている記憶装置内のポインタ情報を検出する。
【００４２】
ポインタ情報を付加する手段は２次元バーコードに限定されるものではなく、隣接文字列間隔の変化として情報を埋め込む方法、ハーフトーンの画像に埋め込む方法等、直接視認されない、いわゆる電子透かしによる方法等がある。
【００４３】
ステップＳ３０７（ポインタ情報抽出ステップ）：ステップＳ３０６におけるＯＣＲ、ＯＭＲ、もしくは電子透かしの情報から、ポインタ情報を抽出する。
【００４４】
ステップＳ３０８：ポインタ情報が取得されたか否か判断する。ポインタ情報が取得されたときは、オリジナルデータファイルに直接アクセスすべく、ステップＳ３１４に分岐する。
【００４５】
オリジナルデータファイルは、電子ファイルの形態で、図１のクライアントＰＣ１０２のハードディスク内、文書管理サーバ１０６内のデータベース１０５内、ＭＦＰ１００に設けられた記憶装置１１１等に格納されており、ステップＳ３０８で得られたアドレス情報（ポインタ情報）に従ってこれらの記憶装置内を検索する。
【００４６】
ステップＳ３０９（ベクトル化ステップ）：ポインタ情報が抽出されなかった場合、ベクトル化処理に移り、ベクトル化処理により各特定領域のイメージデータをベクトルデータに変換する。
【００４７】
ベクトル化の方法は、以下（ａ）〜（ｆ）等が存在する。
（ａ）特定領域が文字領域のとき、さらにＯＣＲによる文字画像のコード変換を行ったり、あるいは文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。
（ｂ）特定領域が文字領域であり、かつＯＣＲによる認識が不可能であったとき、文字の輪郭を追跡し、輪郭情報（アウトライン）を線分のつながりとして表現する形式に変換する。
（ｃ）特定領域が図形領域のとき、図形オブジェクトの輪郭を追跡し、輪郭情報を線分のつながりとして表現する形式に変換する。
（ｄ）ｂ、ｃの線分形式のアウトライン情報をベジエ関数などでフィッティングして、関数情報に変換する。
（ｅ）ｃの図形オブジェクトの輪郭情報から、図形の形状を認識し、円、矩形、多角形、等の図形定義情報に変換する。
（ｆ）特定領域が図形領域であって、特定領域の表形式のオブジェクトの場合、罫線や枠線を認識し、所定のフォーマットの帳票フォーマット情報に変換する。
【００４８】
以上の方法以外に、イメージデータをコード情報、図形情報、関数情報等のコマンド定義形の情報に置きかえる種々のベクトル化処理が考えられる。
【００４９】
ステップＳ３１０（ファイル検索ステップ）：ポインタ情報が抽出されなかったとき、ステップＳ３０４（特定領域指定ステップ）で指定した特定領域の情報を含むデータファイルあるいはそのオリジナルデータファイルを、マネージメントＰＣ１０１やクライアントＰＣ１０２上のローカルハードディスクおよび文書管理サーバ１０６上のデータベース１０５において検索する。
【００５０】
ファイル検索においては、ステップ３０９（ベクトル化ステップ）で生成されたベクトルデータのうち、文字領域矩形ブロックに対して行ったＯＣＲの結果から重要単語を抽出し、重要単語を含む文書を全文検索により抽出する。
【００５１】
あるいは各ベクトルデータから、矩形や特殊図形の有無、表形式データの有無、それぞれの位置関係や配列、といった情報からレイアウト情報を取得し、いわゆるレイアウト検索を行う。
【００５２】
ステップＳ３１１：検索の結果類似度の高いデータファイルが抽出された場合、抽出結果としての候補データファイルを操作画面１１６においてサムネイル等で表示する。候補データファイルが複数抽出されたとき等、操作者による選択が必要な場合、操作者は入力操作によって候補データファイルの中からオリジナルデータファイルの特定を行う。なお、候補データファイルが1個で類似度が高い場合、ステップＳ３１２をバイパスして自動的にステップＳ３１２にジャンプするようにしてもよい。
【００５３】
ステップＳ３１２：ステップＳ３１１で抽出されたオリジナルデータファイルがラスターデータファイルあるいは、ＢＭＰ、ｔｉｆｆに代表される、ラスターデータを符号化したイメージデータファイルであるかどうかを判定する。抽出されたデータファイルがイメージデータファイルのときは、このデータファイルは、ステップＳ３０１で入力されたイメージデータと同様のデータ形態であるので、ステップＳ３１３において、ステップＳ３０９で得たベクトルデータをそのまま使用してアプリケーションデータ形式に変換する。
【００５４】
抽出されたデータファイルが、文字コードやベクトルデータ等、再利用が容易なデータファイルであったときはステップＳ３１４において、データファイルを取得する。
【００５５】
また、ステップＳ３１１でオリジナルデータファイルが選択されなかった場合、ステップＳ３１３に進んで、ステップＳ３０９で得たベクトルデータを使用してアプリケーションデータ形式に変換する。
【００５６】
ステップＳ３１３：ステップＳ３０９で得たベクトルデータを使用して、アプリケーションデータ形式に変換し、出力する。通常、データ形式は使用するアプリケーションに依存し、目的に応じたファイル形式に変換する必要がある。
【００５７】
編集等再利用可能なアプリケーションデータ形式とは、ワードプロセッサ、表計算ソフトウエア等のアプリケーションソフトウエアであり、例えば、マイクロソフト・コーポレーションのワードプロセッサＷＯＲＤ（登録商標）や表計算アプリケーションソフトウエアＥＸＣＥＬ（登録商標）などがある。これらのアプリケーションはそれぞれ使用する目的が異なっており、目的に応じたファイル形式が定義され、その形式でファイル（データ）を保存する。
【００５８】
より汎用的なファイル形式としては、マイクロソフト・コーポレーションのＲＴＦ（リッチ・テキスト・ファイル）形式、近年使用されるようになったＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）形式、あるいは単純にテキストデータのみを扱うプレーンテキスト形式、などが知られており、これらは対応するアプリケーションにおいて共通に使用可能である。
【００５９】
ステップＳ３１４：ステップＳ３０７でポインタ情報が取得されたときは、そのポインタ情報に基づいてオリジナルデータファイルを取得する。
【００６０】
なお、本実施形態では、ユーザにより指定された特定領域をベクトルデータに変換し、それ以外の領域については入力画像のイメージデータとし、両者を合成して上記のようなアプリケーションデータ形式に変換する。このとき、特定領域の入力画像における位置情報を保存して入力画像全体を再現できるようにする。
【００６１】
以上の構成により、ユーザが希望する領域のみがベクトルデータに変換され、編集等再利用が容易になる。また画像領域等、ベクトル化すべきでない領域を誤ってベクトル化する事故を防止できる。
【００６２】
次に図３の主要なステップについて詳細に説明する。
【００６３】
[ブロックセレクションステップ]
ステップＳ３０２（ブロックセレクションステップ）においては、図４右半部の画像４２に示すように、入力画像を属性ごとに矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字(ＴＥＸＴ)/図面(ＰＩＣＴＵＲＥ)/線画(Ｌｉｎｅ)/表(Ｔａｂｌｅ)／写真（ＰＨＯＴＯ）等がある。
【００６４】
ブロックセレクションステップにおいては、まず入力画像を白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。
【００６５】
さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。
【００６６】
画素塊の大きさは、例えば画素塊の面積によって評価される。
【００６７】
このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。
【００６８】
例えば、縦横比が1に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとし、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。
【００６９】
また扁平な画素塊を線画領域矩形ブロック、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊を表領域矩形ブロック、不定形の画素塊が散在している領域を写真領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。
【００７０】
ブロックセレクションステップでは、このようにして生成された矩形ブロックのそれぞれについて、図５に示す、属性等のブロック情報および入力ファイル情報を生成する。
【００７１】
図５において、ブロック情報には各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜５の数値で与えられ、１は文字領域矩形ブロック、２は図面領域矩形ブロック、３は表領域矩形ブロック、４は線画領域矩形ブロック、５は写真領域矩形ブロックを示す。座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は入力画像におけるポインタ情報の有無を示す。
【００７２】
さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎが含まれる。
【００７３】
これらの矩形ブロックごとのブロック情報は、特定領域でのベクトル化に利用される。またブロック情報によって、特定領域とその他の領域を合成する際の相対位置関係を特定でき、入力画像のレイアウトを損なわずにベクトル化領域とラスターデータ領域を合成することが可能となる。
【００７４】
[ポインタ情報抽出ステップ]
ステップＳ３０７（ポインタ情報抽出ステップ）は図６の各ステップによって実行される。図７は、ポインタ情報抽出ステップの処理対象となる原稿３１０を示し、原稿３１０はデータ処理装置１１５内のページメモリ（図示せず。）に格納される。原稿３１０には、文字領域矩形ブロック３１２、３１３、図面領域矩形ブロック３１４、２次元バーコード（ＱＲコード）のシンボル３１１が記録されている。
【００７５】
ステップＳ７０１：まず、記憶装置１１１のページメモリに格納された原稿３１０の入力画像をＣＰＵ(図示せず。)で走査して、ブロックセレクションステップの処理結果から、２次元バーコードシンボル３１１の位置を検出する。
【００７６】
ＱＲコードシンボルは、４隅のうちの３隅に、特定の位置検出要素パターンが設けられ、位置検出要素パターンを検出することにより、ＱＲコードシンボルを検出し得る。
【００７７】
ステップＳ７０２：次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る。
【００７８】
ステップＳ７０３：次にシンボルの型番（モデル）を決定する。
【００７９】
ステップＳ７０４：ステップＳ７０２の形式情報から得られたマスクパターンを使って、ＱＲコードのシンボルの符号化領域ビットパターンをＸＯＲ演算し、ＱＲコードのシンボルのマスク処理を解除する。
【００８０】
ステップＳ７０５：ステップＳ７０３で得られたモデルに基づいて配置規則を取得し、この配置規則に基づいて、シンボルキャラクタを読取り、メッセージのデータ及び誤り訂正コード語を復元する。
【００８１】
ステップＳ７０６：復元されたメッセージについて、誤り訂正コード語に基づいて、誤りがあるかどうかの検出を行う。誤りが検出されたときは、訂正のためにステップＳ７０７に分岐する。
【００８２】
ステップＳ７０７：復元されたメッセージを訂正する。
【００８３】
ステップＳ７０８：誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割し、データコード語を復元する。
【００８４】
ステップＳ７０９：検出された仕様モードに基づいてデータコード文字を復号し、結果を出力する。
【００８５】
２次元バーコードに組み込まれたデータは、オリジナルデータファイルのポインタ情報を表しており、例えばファイルサーバー名およびファイル名からなるパス情報で構成される。あるいは、対応するファイルへのＵＲＬ等で構成される。
【００８６】
本実施形態ではポインタ情報を２次元バーコードの形で付与した原稿３１０について説明したが、種々のポインタ情報の記録形態を採用し得る。
【００８７】
例えば、所定のルールに従った文字列によってポインタ情報を直接文字列で記録し、ブロックセレクションステップによって文字列の矩形ブロックを検出してもよい。検出された文字列を認識することによりポインタ情報を取得し得る。
【００８８】
あるいは文字領域矩形ブロック３１２や文字領域矩形ブロック３１３において、隣接文字列の間隔に視認し難い程度の変調を加え、該文字列間隔変調の情報によってポインタ情報を表現し得る。このような透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出することによって検出でき、ポインタ情報を取得し得る。また図面領域矩形ブロック３１４の中に電子透かしとしてポインタ情報を付加する事も可能である。
【００８９】
以上のようなポインタ情報抽出に関しても、本実施形態のようにベクトル化すべき特定領域を指定することにより、迅速かつ確実にポインタ情報を取得し得る。すなわち、バーコード、電子透かし等が埋め込まれている矩形ブロックをユーザが指定することで、効率のよいポインタ情報抽出を行うことが可能である。
【００９０】
逆に特定領域の指定を行わない場合は、入力画像全体からバーコード、電子透かし等の位置を探索して抽出する処理を行わなければならず、全体のパフォーマンスを著しく損なう。
【００９１】
[ポインタ情報による電子ファイル検索]
図３のステップＳ３１４における、ポインタ情報による電子ファイル検索は以下のように実行される。
【００９２】
まずポインタ情報に含まれるアドレスに基づいて、ファイルサーバを特定し、ファイルサーバに対して、アドレスを転送する。ファイルサーバには、クライアントＰＣ１０２、データベース１０５を内蔵する文書管理サーバ１０６、記憶装置１１１を内蔵するＭＦＰ１００の全てが含まれる。アドレスは、ＵＲＬや、サーバ名およびファイル名よりなるパス情報である。
【００９３】
アドレスを受信したファイルサーバは、このアドレスに基づいてオリジナルデータファイルを検索する。このファイル検索によってオリジナルデータファイルを抽出できたときは、ファイルのアドレスをＭＦＰ１００に通知し、ユーザがオリジナルデータファイルの取得を希望するときはオリジナルデータファイルをＭＦＰ１００に転送する。一方、ファイルサーバにおいてファイルを抽出できなかったときはその旨をＭＦＰ１００に通知する。
【００９４】
[ベクトル化ステップ]
ステップＳ３１０（ベクトル化ステップ）は図８の各ステップによって実行される。ベクトル化ステップは、ステップＳ３０９において特定領域中にポインタ情報が抽出されなかった場合に、当該特定領域内のイメージデータをベクトル化する処理である。
【００９５】
ステップＳ９０１：特定領域が文字領域矩形ブロックであるか否か判断し、文字領域矩形ブロックであればステップＳ９０２以下のステップに進み、パターンマッチングの一手法を用いて認識を行い、対応する文字コードを得る。特定領域が文字領域矩形ブロックでないときは、ステップＳ９１２に移行する。
【００９６】
ステップＳ９０２：特定領域に対し横書き、縦書きの判定（組み方向判定）をおこなうために、特定領域内で画素値に対する水平・垂直の射影を取る。
【００９７】
ステップＳ９０３：ステップＳ９０２の射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判断する。
【００９８】
ステップＳ９０４：ステップＳ９０３の評価結果に基づき、組み方向を判定し、行の切り出しを行い、その後文字を切り出して文字画像を得る。
【００９９】
文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出された行に対する垂直方向の射影から、文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行う。行、文字切り出しに際して、文字のサイズも検出し得る。
【０１００】
ステップＳ９０５：ステップＳ９０４で切り出された各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。
【０１０１】
ステップＳ９０６：ステップＳ９０５で得られた観測特徴ベクトルと、あらかじめ字種ごとに求められている辞書特徴ベクトルとを比較し、観測特徴ベクトルと辞書特徴ベクトルとの距離を算出する。
【０１０２】
ステップＳ９０７：ステップＳ９０６で算出された距離を評価し、最も距離の近い字種を認識結果とする。
【０１０３】
ステップＳ９０８：ステップＳ９０７における距離評価において、最短距離が所定値よりも大きいか否か判断する。距離が所定値以上の場合は、辞書特徴ベクトルにおいて、形状が類似する他の文字に誤認識している可能性が高い。そこで距離が所定値以上の場合は、ステップＳ９０７の認識結果を採用せず、ステップＳ９１１の処置に進む。距離が所定値より小のときは、ステップＳ９０７の認識結果を採用し、ステップ９０９に進む。
【０１０４】
ステップＳ９０９（フォント認識ステップ）：文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておき、パターンマッチングの際に、文字コードとともにフォント種を出力することで、文字フォントを認識し得る。
【０１０５】
ステップＳ９１０：文字認識およびフォント認識よって得られた文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
【０１０６】
ステップＳ９１１：文字を一般的な線画と同様に扱い、該文字をアウトライン化する。すなわち誤認識を起こす可能性の高い文字については、可視的にイメージデータに忠実なアウトラインのベクトルデータを生成する。
【０１０７】
ステップＳ９１２：特定領域が文字領域矩形ブロックでないときは、画像の輪郭に基づいてベクトル化の処理を実行する。
【０１０８】
以上の処理により、文字領域矩形ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。
【０１０９】
[文字領域以外の領域のベクトル化]
ステップＳ９１２の文字領域矩形ブロック以外の領域、すなわち図面領域矩形ブロック、線画領域矩形ブロック、表領域矩形ブロック等と判断されたときは、特定領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。
【０１１０】
文字領域以外の領域のベクトル化においては、まず線画等を直線および／または曲線の組み合わせとして表現するために、曲線を複数の区間（画素列）に区切る「角」を検出する。角とは曲率が極大となる点であり、図１０の曲線上の画素Ｐｉが角か否かの判断は以下のように行う。
【０１１１】
すなわち、Ｐｉを起点とし、曲線に沿ってＰｉから両方向に所定画素（ｋ個とする。）ずつ離れた画素Ｐｉ−ｋ、Ｐｉ＋ｋを線分Ｌで結ぶ。画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の距離をｄ１、線分Ｌと画素Ｐｉとの距離をｄ２、曲線の画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の弧の長さをＡとするとき、ｄ２が極大となるとき、あるいは比（ｄ１／Ａ）が閾値以下となるときに画素Ｐｉを角と判断する。
【０１１２】
角によって分割された画素列を、直線あるいは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は３次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。
【０１１３】
さらにベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判断し、内輪郭が存在するときはその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭をベクトル化する。
【０１１４】
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
【０１１５】
図１１に示すように、ある注目区間で外輪郭ＰＲｊと、内輪郭ＰＲｊ＋１あるいは別の外輪郭が近接している場合、２個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭Ｐｊ＋１の各画素Ｐｉから輪郭ＰＲｊ上で最短距離となる画素Ｑｉまでの距離ＰｉＱｉを算出し、ＰＱｉのばらつきがわずかである場合には、注目区間を画素Ｐｉ、Ｑｉの中点Ｍｉの点列に沿った直線または曲線で近似し得る。近似直線、近似曲線の太さは、例えば距離ＰｉＱｉの平均値とする。
【０１１６】
線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル表現することができる。
【０１１７】
輪郭まとめの処理の後、全体の処理を終了する。
【０１１８】
なお写真領域矩形ブロックについては、ベクトル化せず、イメージデータのままとする。
【０１１９】
[図形認識]
以上の線図形等のアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。
【０１２０】
図１２の各ステップは、ベクトルデータを図形オブジェクトごとにグループ化する処理を示す。
【０１２１】
ステップＳ１４０１：まず各ベクトルデータの始点、終点を算出する。
【０１２２】
ステップＳ１４０２（図形要素検出）：ステップＳ１４０１で求められた始点、終点情報を用いて、図形要素を検出する。図形要素とは、区分線が構成している閉図形であり、検出に際しては、始点、終端となっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用する。
【０１２３】
ステップＳ１４０３：次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。
【０１２４】
[図形要素の検出]
ステップＳ１４０２（図形要素検出）の処理は、図１３の各ステップによって実行される。
【０１２５】
ステップＳ１５０１：まず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形を構成するベクトルを抽出する。
【０１２６】
ステップＳ１５０２：次に閉図形を構成するベクトルについて、いずれかのベクトルの端点（始点または終点）を開始点とし、一定方向、例えば時計回りに、順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを１まわりして開始点に戻ったとき、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。
【０１２７】
ステップＳ１５０３：最後に、ステップＳ１５０１で除去された不要ベクトルのうち、ステップＳ１５０２で閉図形としてグループ化されたベクトルに端点が近接しているベクトルを検出し、一つの図形要素としてグループ化する。
【０１２８】
以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱う事が可能になる。
【０１２９】
以上のベクトル化処理は、通常、入力画像全体に対して行う必要性は低く、ユーザが指定した特定領域のみをベクトル化だけに対して行えば充分な場合が多い。
【０１３０】
ユーザが指定する特定領域のみに対してベクトル化処理を行うことにより、処理のパフォーマンスを向上し、かつユーザが所望する部分のみを効率よくベクトル化して、次のステップの検索処理に利用したり、もしくはイメージ情報のうちの必要な部分だけの再編集や再利用をする効果を提供することが可能になる。
【０１３１】
[ファイル検索処理]
次に、図３のステップＳ３１１で示すファイル検索処理の詳細について図５、図９を参照しつつ説明する。
【０１３２】
ここでは、ステップＳ３０２の結果、抽出された各矩形ブロック及び入力画像データが、図５に示すブロック情報および入力ファイル情報を備えるものとし、かつ特定領域内のベクトル化情報を保持しているものとする。
【０１３３】
図５では、ブロック１〜ブロック６の６個の矩形ブロックについて、属性、座標、幅、高さ、ＯＣＲ情報有無がブロック情報として記録され、属性は、文字、画像、表、線画、写真その他に分類されている。また入力ファイル情報のブロック総数は、入力画像中の全ブロック数であり、図６では、ブロック総数Ｎは６である。
【０１３４】
ブロック情報では、例えば、矩形ブロックは座標Ｘの小さい順に配列され、座標Ｘが同一の矩形ブロックは座標Ｙの小さい順に配列される。これらの情報を使用して、データベース内から、入力画像に類似したファイルのレイアウト検索の処理は、図９の各ステップによって実行される。ここで、データベースファイルは、図６と同様の情報を備えることを前提とする。フローチャートの流れは、ブロック情報および入力ファイル情報と、データベース中のファイルとを順次比較するものである。
【０１３５】
ステップＳ１１０１：後述する類似率などの初期化を行う。
【０１３６】
ステップＳ１１０２：次に、入力画像におけるブロック総数Ｎとの差が所定値以内、すなわちデータベース内のデータファイルにおいて、Ｎ−ΔＮ＜ｎ＜Ｎ＋ΔＮなるｎ個のブロック総数を持つデータファイルであるか判断する。条件に合致するデータファイルが検索抽出されたときにはステップＳ１１０３に移行して当該検索抽出されたデータファイル内の矩形ブロックの情報と入力画像内のブロックとを順次比較していく。一方、ブロック総数の差が大きいときはステップＳ１１１６にジャンプする。矩形ブロックの情報比較においては、ステップＳ１１０３〜Ｓ１１０９によって、属性類似率、サイズ類似率、ＯＣＲ類似率をそれぞれ算出し、これら類似率に基づいてステップＳ１１１１において、該比較対象のデータファイルの総合類似率を算出する。
【０１３７】
ステップＳ１１０３：入力画像のブロック属性と、ステップＳ１１０２で抽出されたデータベースファイルのブロック属性を比較する。ブロック属性が一致したときはステップＳ１１０４に進み、ブロック属性が一致しなかったときは、ステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１３８】
ステップＳ１１０４：ステップＳ１１０３で比較された、ブロック情報の属性について属性類似率を更新する。属性類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、｛（属性一致ブロック数）／（総ブロック数）｝に基づいて算出するものとする。
【０１３９】
ステップＳ１１０５：入力画像のブロック情報のサイズ（幅Ｗ、高さＨ）と、ステップＳ１１０２で抽出されたデータベースファイルのサイズ（幅ｗ、高さｈ）を比較する。サイズの差が所定範囲、すなわちＷ−ΔＷ＜ｗ＜Ｗ＋ΔＷでありかつＨ−ΔＨ＜ｈ＜Ｈ＋ΔＨであるか否か判断する。所定範囲内のときはステップＳ１１０６に進み、所定範囲内でなかったときはステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１４０】
ステップＳ１１０６：ステップＳ１１０５で比較されたブロック情報のサイズについてサイズ類似率を更新する。サイズ類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、｛１−（サイズ差）／（入力イメージデータの該ブロックサイズ）｝で各ブロックのサイズ類似率を求めて、更に、該データファイルについてサイズ類似度の平均値を求めることにより算出するものとする。
【０１４１】
ステップＳ１１０７：入力画像のブロック情報、およびステップＳ１１０２で抽出されたデータファイルのブロック情報にＯＣＲ情報が「有」か否かを判断する。両者がＯＣＲ情報「有」であったときはステップＳ１１０８に進み、ＯＣＲ情報「無」のときはステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１４２】
ステップＳ１１０８：入力画像のブロック情報のＯＣＲ情報と、ステップＳ１１０２で抽出されたデータファイルのＯＣＲ情報を比較する。
【０１４３】
ステップＳ１１０９：ステップＳ１１０８で比較されたＯＣＲ情報についてＯＣＲ情報類似率を算出する。ＯＣＲ情報類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、各ブロックの認識結果文字同士を比較し、認識結果の一致率を求めるなどして求めることとする。
【０１４４】
ステップＳ１１１０：入力画像に含まれる全てのブロックについて、当該データファイルの各ブロックとの比較処理が終了したか否かを判断する。全ての矩形ブロックの処理が終了したときはステップＳ１１１１に進み、未処理の矩形ブロックが残っているときはステップＳ１１１５を経て、次のブロックの比較処理を行うためにステップＳ１１０３に戻る。
【０１４５】
ステップＳ１１１１：属性類似率、サイズ類似率、ＯＣＲ類似率に基づいて総合類似率を算出する。総合類似率の算出方法は、例えば、各類似率に所定の重み付けを行って、和をとることにより算出される。
【０１４６】
ステップＳ１１１２：総合類似率が予め設定された閾値Ｔｈより高いか否か判断する。総合類似率が閾値Ｔｈより高ければステップＳ１１１３に進み、総合類似率が閾値Ｔｈより高くないときはステップＳ１１１４に進む。
【０１４７】
ステップＳ１１１３：ステップＳ１１１２で総合類似率が閾値より高いと判断されたデータベースのデータファイルを類似候補として保存する。
【０１４８】
ステップＳ１１１４：データベースの全てのデータファイルについて処理が終了したか否か判断する。全てのデータベースファイルの処理が終了したときはそのまま処理を終了し、未処理のデータベースファイルが残っているときはステップＳ１１１６を経てステップＳ１１０１に戻る。
【０１４９】
ステップＳ１１１５：データファイルの個々のブロック情報と、入力画像のブロック情報の全てを比較するように、比較対象のブロックを次のブロックに進める。
【０１５０】
ステップＳ１１１６：データベースの各データファイルが順次比較されるように、次のデータファイルを比較対象にする。
【０１５１】
図９の各ステップにおいて、Ｎ、Ｗ、Ｈは、入力画像のブロック総数、各ブロック幅、各ブロック高さであり、ΔＮ、ΔＷ、ΔＨは、入力画像のブロック情報を基準とした許容範囲示す。ｎ、ｗ、ｈは、データベースファイルのブロック総数、各ブロック幅、各ブロック高さである。
【０１５２】
なお、不図示ではあるが、ステップＳ１１０５にてサイズ比較時に、座標Ｘ、座標Ｙの位置情報の比較などを行ってもよい。
【０１５３】
以上、検索の結果、総合類似度が閾値Ｔｈより高く、候補として保存されたデータベースファイル（ステップＳ１１１３）をサムネイル等で表示（ステップ３１２）する。複数候補の中から操作者が候補を選択すべきときには、操作者の入力操作よってファイルの特定を行う。
【０１５４】
以上の処理において、ユーザが指定した特定領域に対してステップＳ３１０で生成されたベクトル化情報が保有され、ファイル検索処理（図３のステップＳ３１１、図９）に利用可能なベクトル化情報としてはＯＣＲによる文字コード情報や縦書き／横書きといったレイアウト情報、図形認識（図１３）による図形の個数や配置、フォント認識（図８）による文書中の文字に使われているフォント情報等がある。
【０１５５】
本発明ではブロックセレクションステップによって得られたレイアウト情報に加えて、ユーザが着目する特定領域の詳細なベクトル化情報を、データベースファイル検索における類似度算出に利用し得るので、検索の精度を向上し得る。またデータベースファイル検索において、特定領域のベクトル化情報の重みを高め、ユーザが着目した部分を重視した類似度が求められるので、ユーザの希望に沿った検索結果が得られることになる。
【０１５６】
[アプリデータへの変換処理]
図３のブロックセレクションステップ（ステップＳ３０２）の後、ベクトル化（ステップＳ３１０）した結果のデータを用いて、ステップＳ３１４のアプリデータへの変換処理を実行する。ステップＳ３１０のベクトル化処理結果は図１４に示す中間データの形式、いわゆるドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる形式で保存されている。
【０１５７】
図１４において、ＤＡＯＦは、ヘッダ１６０１、レイアウト記述データ部１６０２、文字認識記述データ部１６０３、表記述データ部１６０４、画像記述データ部１６０５よりなる。
【０１５８】
ヘッダ１６０１には、処理対象の入力画像に関する情報が保持される。
【０１５９】
レイアウト記述データ部１６０２には、入力画像中の矩形ブロックの属性ＴＥＸ（文字）、ＴＩＴＬＥ（タイトル）、
ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥ（線画）、ＰＩＣＴＵＲＥ（図面）、ＦＲＡＭＥ（枠）、ＴＡＢＬＥ（表）、ＰＨＯＴＯ（写真）等の情報と、これら属性が認識された各矩形ブロックの位置情報が保持される。
【０１６０】
文字認識記述データ部１６０３には、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡＰＴＩＯＮ等の文字領域矩形ブロックのうち、ユーザにより指定された領域について、文字認識して得られる文字認識結果が保持される。
【０１６１】
表記述データ部１６０４には、表領域矩形ブロックＴＡＢＬＥの表構造の詳細が格納される。
【０１６２】
画像記述データ部１６０５には、図面領域矩形ブロックＰＩＣＴＵＲＥや線画領域矩形ブロックＬＩＮＥ等のブロックにおけるイメージデータが、入力画像データから切り出して保持される。
【０１６３】
ベクトル化処理を指示された特定領域においては、ブロックに対しては、画像記述データ部１６０５には、ベクトル化処理により得られたブロックの内部構造や、画像の形状や文字コード等あらわすデータの集合が保持される。
【０１６４】
一方、ベクトル化処理の対象ではない、特定領域以外の矩形ブロックでは、入力画像データそのものが保持される。
【０１６５】
アプリデータへの変換処理は図１５の各ステップにより実行される。
【０１６６】
ステップＳ１７０１：ＤＡＯＦ形式のデータを入力する。
【０１６７】
ステップＳ１７０２：アプリデータの元となる文書構造ツリー生成を行う。
【０１６８】
ステップＳ１７０３：文書構造ツリーを元に、ＤＡＯＦ内の実データを取得し、実際のアプリデータを生成する。
【０１６９】
ステップＳ１７０３の文書構造ツリー生成処理は図１６の各ステップにより実行される。図１６の処理における全体制御の基本ルールとして、処理の流れはミクロブロック（単一矩形ブロック）からマクロブロック（矩形ブロックの集合体）へ移行する。以後「矩形ブロック」は、ミクロブロックおよびマクロブロック両者を意味するものとする。
【０１７０】
ステップＳ１８０１：矩形ブロック単位で、縦方向の関連性に基づいて、矩形ブロックを再グループ化する。図１６の処理は繰り返し実行されることがあるが、処理開始直後はミクロブロック単位での判定となる。
【０１７１】
ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどの特徴によって定義される。また、距離、幅、高さなどの情報はＤＡＯＦを参照し、抽出する。
【０１７２】
図１７の入力画像では、最上部で、矩形ブロックＴ１、Ｔ２が横方向に並列されている。矩形ブロックＴ１、Ｔ２の下には横方向セパレータＳ１が存在し、横方向セパレータＳ１の下に矩形ブロックＴ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７が存在する。
【０１７３】
矩形ブロックＴ３、Ｔ４、Ｔ５は、横方向セパレータＳ１下側の領域における左半部において上から下に、縦方向に配列され、矩形ブロックＴ６、Ｔ７は、横方向セパレータＳ１下側の領域における右半部において上下に配列されている。
【０１７４】
ステップＳ１８０１の縦方向の関連性に基づくグルーピングの処理を実行する。これによって、矩形ブロックＴ３、Ｔ４、Ｔ５が１個のグループ（矩形ブロック）Ｖ１にまとめられ、矩形ブロックＴ６、Ｔ７が１個のグループ（矩形ブロック）Ｖ２にまとめられる。グループＶ１、Ｖ２は同一階層となる。
【０１７５】
ステップＳ１８０２：縦方向のセパレータの有無をチェックする。セパレータは、ＤＡＯＦ中でライン属性を持つオブジェクトであり、アプリケーションソフトウエア中で明示的にブロックを分割する機能をもつ。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として左右に分割する。図１７では縦方向のセパレータは存在しない。
【０１７６】
ステップＳ１８０３：縦方向のグループ高さの合計が入力画像の高さに等しくなったか否か判断する。すなわち縦方向（例えば上から下へ。）に処理対象の領域を移動しながら、横方向のグルーピングを行うとき、入力画像全体の処理が終了したときには、グループ高さ合計が入力画像高さになることを利用し、処理の終了判断を行う。グルーピングが終了したときはそのまま処理終了し、グルーピングが終了していなかったときはステップＳ１８０４に進む。
【０１７７】
ステップＳ１８０４：横方向の関連位に基づくグルーピングの処理を実行する。これによって、矩形ブロックＴ１、Ｔ２が１個のグループ（矩形ブロック）Ｈ１にまとめられ、矩形ブロックＶ１、Ｖ２が１個のグループ（矩形ブロック）Ｈ２にまとめられる。グループＨ１、Ｈ２は同一階層となる。ここでも、処理開始直後はミクロブロック単位での判定となる。
【０１７８】
ステップＳ１８０５：横方向のセパレータの有無をチェックする。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として上下に分割する。図１７では横方向のセパレータＳ１が存在する。
【０１７９】
以上の処理結果は図１８のツリーとして登録される。
【０１８０】
図１８において、入力画像Ｖ０は、最上位階層にグループＨ１、Ｈ２、セパレータＳ１を有し、グループＨ１には第２階層の矩形ブロックＴ１、Ｔ２が属する。
【０１８１】
グループＨ２には、第２階層のグループＶ１、Ｖ２が属し、グループＶ１には、第３階層の矩形ブロックＴ３、Ｔ４、Ｔ５が属し、グループＶ２には、第３階層の矩形ブロックＴ６、Ｔ７が属する。
【０１８２】
ステップＳ１８０６：横方向のグループ長合計が入力画像の幅に等しくなったか否か判断する。これによって横方向のグルーピングに関する終了判断を行う。横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成の処理を終了する。横方向のグループ長がページ幅となっていないときは、ステップＳ１８０１に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
【０１８３】
図１７、図１８のツリー構造の段階で、横方向の分割幅がページ幅になっているので、そのまま処理を終了し、最後にページ全体を表す最上位階層のＶ０を文書構造ツリーに付加する。
【０１８４】
文書構造ツリーが完成した後、その情報を元にステップＳ１７０３においてアプリデータの生成を行う。
【０１８５】
図１７、図１８に基づくアプリデータによる、アプリケーションソフトウエアの処理の例は以下のとおりである。
【０１８６】
まず、グループＨ１が横方向に２個の矩形ブロックＴ１、Ｔ２を有するので、２カラムとし、Ｔ１のＤＡＯＦを参照し、その内部情報（文字認識結果の文章、画像等）を出力する。その後、カラムを変え、Ｔ２の内部情報を出力し、続いてセパレータＳ１を出力する。
【０１８７】
次グループＨ２の処理に移る。グループＨ２は横方向に２個の矩形ブロックＶ１、Ｖ２を有するので、２カラムとして出力する。グループＶ１については、矩形ブロックＴ３、Ｔ４、Ｔ５の順にその内部情報を出力し、その後カラムを変え、グループＶ２の矩形ブロックＴ６、Ｔ７の内部情報を出力する。
【０１８８】
以上によりアプリデータへの変換処理が実行される。
【０１８９】
[第２実施形態]
第１実施形態では、ユーザがベクトル化対象とする特定領域を指定する際に、ＢＳ（ブロックセレクション処理）によって自動的に生成された矩形ブロックのうちの１個もしくは複数を、入力手段等により指定したが、本発明がこれに限定されないことはいうまでもない。
【０１９０】
図１９に示すように、ＢＳ（ブロックセレクション処理）による矩形ブロックを生成せず、入力画像そのものをＭＦＰ１００の操作部画面に表示し、ユーザが希望する領域を開始座標、終了座標によって指定してもよい。例えば開始座標Ｓ１、終了座標Ｅ１により特定領域Ｂ１を指定し、開始座標Ｓ２、終了座標Ｅ２により特定領域Ｂ２を指定する。開始座標、終了座標の指定方法としては、操作画面をタッチパネルとして、このタッチパネルで行う方法、数値キー等により座標を入力する方法等がある。
【０１９１】
[第３実施形態]
特定領域の指定方法を、ＭＦＰ１００において実行せず、原稿上にラインマーカ等により直接記載することも可能である。
【０１９２】
図２０に示すように、所定色のラインマーカにより、原稿に特定領域に対応した矩形ＲＣ１、ＲＣ２を書き込む。ＭＦＰは矩形ＲＣ１、ＲＣ２をスキャンして検出し、検出された画素の配置から特定領域を生成する。矩形ＲＣ１、ＲＣ２の検出は、周知の手法により実行可能である。
【０１９３】
なお以上の実施形態においては、画像読み取り装置１１０等から入力された入力画像の処理について説明したが、記憶媒体に格納されたラスターデータあるいはその符号化データよりなるイメージデータ、通信手段によって供給されたイメージデータ等、入力画像以外のイメージデータについても、本発明は有効である。
【０１９４】
本発明に係る画像処理方法を実施する手段は図１、図２に記載した画像処理システムに限定されるものではなく、専用の画像処理装置、汎用コンピュータ等種々の手段を採用し得る。
【０１９５】
汎用コンピュータにおいて実行する際には、画像処理方法の各ステップを汎用コンピュータに実行させるためプログラムコードを含むコンピュータ実行可能なプログラムを、汎用コンピュータに読み込ませる。
【０１９６】
汎用コンピュータが画像処理を実行するためのプログラムは、汎用コンピュータに内蔵されたＲＯＭや、汎用コンピュータが読み取り得る記憶媒体から読み込まれ、あるいはネットワークを通じてサーバ等から読み込まれる。
【０１９７】
また本発明の趣旨と範囲は、本発明の特定の説明と図に限定されるものではなく、本願特許請求の範囲に述べられた内容の様々な修正および変更に及ぶことは当業者にとって理解されるであろう。
【０１９８】
本発明の実施態様の例を以下に示す。
【０１９９】
［実施態様１］ 入力画像の特定領域を指定する特定領域指定ステップと、前記指定された特定領域のイメージをベクトルデータに変換するベクトル化ステップとを備えた画像処理方法。
【０２００】
［実施態様２］ 前記入力画像を、属性毎の領域に分割する領域分割ステップを更に備え、
前記特定領域指定手段は、前記領域分割ステップで分割された領域のうち、ユーザにより指定された領域を前記特定領域として指定することを特徴とする実施態様１に記載の画像処理方法。
【０２０１】
[実施態様３] 前記特定領域指定手段は、前記領域分割ステップで分割された領域を示す情報と前記入力画像とを表示し、前記表示された領域のうち、ユーザにより指定された領域を前記特定領域として指定することを特徴とする実施態様２に記載の画像処理方法。
【０２０２】
[実施態様４] 前記特定領域のイメージデータをベクトル化したデータに基づいて、データベースに登録されているオリジナルデータファイルから同一もしくは近似した内容のオリジナルデータファイルを抽出することを特徴とする実施態様１記載の画像処理方法。
【０２０３】
[実施態様５] 前記特定領域のイメージデータをベクトル化したベクトルデータと、前記入力画像における前記特定領域以外の領域のイメージデータを合成して画像データファイルを生成することを特徴とする実施態様１に記載の画像処理方法。
【０２０４】
[実施態様６] ベクトル化された特定領域のベクトルデータと前記特定領域以外の領域のイメージデータとに基づいて、アプリケーションソフトウエアで扱えるデータ形式に変換するアプリデータ変換ステップをさらに含むことを特徴とする実施態様１に記載の画像処理方法。
【０２０５】
[実施態様７] 原稿をスキャンすることによって得られた前記入力画像を入力する画像入力ステップを更に有することを特徴とする実施態様１に記載の画像処理方法。
【０２０６】
[実施態様８] 前記ベクトル化ステップは、入力画像のイメージデータをコード情報、図形情報、関数情報等のコマンド定義形のデータに変換するステップを含むことを特徴とする実施態様１に記載の画像処理方法。
【０２０７】
［実施態様９］ 入力画像の特定領域を指定する特定領域指定手段と、前記指定された特定領域のイメージデータをベクトルデータに変換するベクトル化手段とを備えた画像処理システム。
【０２０８】
[実施態様１０] 実施態様１乃至８のいずれかに記載の画像処理方法の各ステップを汎用コンピュータに実行させるためのプログラムコードを含むコンピュータ実行可能なプログラム。
【０２０９】
[実施態様１１] 実施態様１３記載のコンピュータ実行可能なプログラムが格納されたコンピュータ読み取り可能な記憶媒体。
【０２１０】
【発明の効果】
本発明によれば、紙文書やイメージデータの形態で保存された情報の再利用を容易にするために、入力された画像をベクトルデータに変換することができ、また、ベクトルデータの変換を効率的に行うことができる。
【図面の簡単な説明】
【図１】 本発明に係る画像処理方法の第１実施形態を実施する画像処理システムを示すブロック図である。
【図２】 図１におけるＭＦＰを示すブロック図である。
【図３】 本発明に係る画像処理方法の第１実施形態を示すフローチャ−トである。
【図４】 図３の画像処理方法により処理される原稿と処理結果の画像を示す図である。
【図５】 ブロックセレクション処理で得られるブロック情報および入力ファイル情報を示す表である。
【図６】 原稿の画像からポインタ情報を抽出する処理を示すフローチャートである。
【図７】 ポインタ情報を含む原稿の画像を示す図である。
【図８】 図３の文字領域のベクトル化の処理を示すフローチャートである。
【図９】 図３のファイル検索の処理を示すフローチャートである。
【図１０】 ベクトル化の処理における角抽出の処理を示す図である。
【図１１】 ベクトル化の処理における輪郭線まとめの処理を示す図である。
【図１２】 図３のベクトル化で生成されたベクトルデータのグループ化の処理を示すフローチャートである。
【図１３】 図１２の処理でグループ化されたベクトルデータに対する図形要素検出の処理を示すフローチャートである。
【図１４】 ベクトル化処理結果のデータを示すマップである。
【図１５】 図３のアプリデータ変換の処理を示すフローチャートである。
【図１６】 図１５の文書構造ツリー生成の処理を示すフローチャートである。
【図１７】 文書構造ツリー生成処理の対象となる文書を示す図である。
【図１８】 図１６の処理によって生成される文書構造ツリーを示す図である。
【図１９】 本発明に係る画像処理方法の第２実施形態における特定領域指定の処理を示す図である。
【図２０】 本発明に係る画像処理方法の第３実施形態における特定領域指定の処理を示す図である。
【符号の説明】
１００ ＭＦＰ
１０５ データベース
１０６ 文書管理サーバ
１１０ 画像読み取り装置
１１１ 記憶装置
１１２ 記憶装置
１１５ データ処理装置
【発明が属する技術分野】
本発明は画像処理方法に関する。
【０００２】
【従来の技術】
近年、環境問題が叫ばれる中、オフィスでのペーパーレス化が急速に進んでいる。
【０００３】
[第１従来例]
ペーパーレス化の方法には、例えば、バインダ等で蓄積された紙文書をスキャナ等で読み取り、画像のラスターデータまたはその符号化データ（以下これらを総称してイメージデータという。）として、ポータブルドキュメントフォーマット（ＰＤＦフォーマット）等のコンパクトなファイルに変換して、画像記憶手段に格納するものがある（例えば特許文献１）。
【０００４】
[第２従来例]
ペーパーレス化の方法の第２は、機能が拡張された記録装置、ＭＦＰ（マルチファンクション複合機）を用い、画像記憶装置に文字や画像のオリジナルデータファイルを格納しておき、オリジナルデータファイルを印刷して紙文書に記録する際に、オリジナルデータファイルが存在する画像記憶装置内のポインタ情報を、紙文書の表紙や印刷情報中に付加情報として記録するものがある（例えば特許文献２）。これによって、ポインタ情報から直ちにオリジナルデータファイルにアクセスし、オリジナルデータファイルの編集、印刷等の再利用が可能であり、紙文書保有量を削減し得る。
【０００５】
【特許文献１】
特開２００１−３５８８６３号公報
【特許文献２】
特開平１０−２８５３７８号公報
【０００６】
【発明が解決しようとする課題】
第１従来例は、スキャナで読み取った画像をコンパクトな情報量のＰＤＦファイルとして保存可能であるが、プリントされた文書から保存されているファイルを検索することができず、保存されている文書を再利用することは難しかった。
【０００７】
第２従来例は、オリジナルデータファイルへのポインタ情報を持たない文書ファイルの場合は、オリジナルデータファイルを検索することができない。
【０００８】
本発明はこのような従来の問題点を解消すべく創案されたもので、紙文書やイメージデータの形態で保存された情報の再利用を容易にするために、入力された画像をベクトルデータに変換することを目的とする。また、更に、ベクトルデータの変換を効率的に行うことを目的とする。
【０００９】
【課題を解決するための手段】
本発明に係る画像処理方法は、画像処理装置の特定領域指定手段が、ユーザからの指示に基づいて、入力画像の特定領域を指定する特定領域指定ステップと、前記画像処理装置のベクトル化手段が、前記特定領域指定ステップで指定された特定領域のイメージをベクトルデータに変換するベクトル化ステップと、前記画像処理装置の検索手段が、前記ベクトル化ステップで変換された前記特定領域のベクトルデータに基づいて、データベースから前記特定領域の情報を含むオリジナルデータファイルを検索する検索ステップと、前記画像処理装置の判定手段が、前記検索ステップで検索されたオリジナルデータファイルが、ラスターデータのファイルであるか、ベクトルデータのファイルであるかを判定する判定ステップと、前記画像処理装置の出力手段が、前記判定ステップで前記オリジナルデータファイルがラスターデータのファイルであると判定した場合は、前記ベクトル化ステップで変換された前記特定領域のベクトルデータを用いて出力用データファイルを出力し、前記判定ステップで前記オリジナルデータファイルがベクトルデータのファイルであると判定した場合は、前記オリジナルデータファイルを用いて出力用データファイルを出力する出力ステップとを備える。
【００１０】
【発明の実施の形態】
[第１実施形態]
次に本発明に係る画像処理方法の第１実施形態を図面に基づいて説明する。
【００１１】
図１は、本発明に係る画像処理方法の第１実施形態を実施する画像処理システムを示すブロック図、図２は、図１におけるＭＦＰを示すブロック図、図３は、本発明に係る画像処理方法の第１実施形態を示すフローチャ−ト、図４は、図３の画像処理方法により処理される原稿と処理結果の画像を示す図、図５は、ブロックセレクション処理で得られるブロック情報および入力ファイル情報を示す表、図６は、原稿の画像からポインタ情報を抽出する処理を示すフローチャート、図７は、ポインタ情報を含む原稿の画像を示す図、図８は、図３の文字領域のベクトル化の処理を示すフローチャート、図９は、図３のファイル検索の処理を示すフローチャート、図１０は、ベクトル化の処理における角抽出の処理を示す図、図１１は、ベクトル化の処理における輪郭線まとめの処理を示す図、図１２は、図３のベクトル化で生成されたベクトルデータのグループ化の処理を示すフローチャート、図１３は、図１２の処理でグループ化されたベクトルデータに対する図形要素検出の処理を示すフローチャート、図１４は、ベクトル化処理結果のデータを示すマップ、図１５は、図３のアプリデータ変換の処理を示すフローチャート、図１６は、図１５の文書構造ツリー生成の処理を示すフローチャート、図１７は、文書構造ツリー生成処理の対象となる文書を示す図、図１８は、図１６の処理によって生成される文書構造ツリーを示す図、図１９は、本発明に係る画像処理方法の第２実施形態における特定領域指定の処理を示す図、図２０は、本発明に係る画像処理方法の第３実施形態における特定領域指定の処理を示す図である。
【００１２】
[画像処理システム]
図１において、本発明に係る画像処理方法の第１実施形態を実施する画像処理システムは、オフィス１０とオフィス２０とをインターネット１０４で接続した環境において使用される。
【００１３】
オフィス１０内に構築されたＬＡＮ１０７には、記録装置としてのＭＦＰ（マルチファンクション複合機）１００、ＭＦＰ１００を制御するマネージメントＰＣ１０１、クライアントＰＣ（外部記憶手段）１０２、文書管理サーバ１０６、文書管理サーバ１０６のためのデータベース１０５が接続されている。
【００１４】
オフィス２０内にはＬＡＮ１０８が構築され、ＬＡＮ１０８には文書管理サーバ１０６、および文書管理サーバ１０６のためのデータベース１０５が接続されている。
【００１５】
ＬＡＮ１０７、１０８にはプロキシサーバ１０３が接続され、ＬＡＮ１０７、１０８はプロキシサーバ１０３を介してインターネットに接続される。
【００１６】
ＭＦＰ１００は原稿から読み取った入力画像に対する画像処理の一部を担当し、処理結果としての画像データはＬＡＮ１０９を通じてマネージメントＰＣ１０１に入力される。マネージメントＰＣ１０１は、画像記憶手段、画像処理手段、表示手段、入力手段等を含む通常のコンピュータであり、機能的にはこれら構成要素の一部がＭＦＰ１００と一体化して、画像処理システムの構成要素となっている。なお、本実施形態では、マネージメントＰＣにおいて、下記に記載の検索処理などが実行されるものとするが、マネージメントＰＣで行われる処理をＭＦＰで実行するようにしても構わない。
【００１７】
さらにＭＦＰ１００は、ＬＡＮ１０９によってマネージメントＰＣ１０１に直接接続されている。
【００１８】
[ＭＦＰ]
図２において、ＭＦＰ１００は、図示しないオートドキュメントフィーダ（ＡＤＦ）を有する画像読み取り部１１０を備え、画像読み取り部１１０は束状の或いは1枚の原稿の画像を光源で照射し、反射画像をレンズで固体撮像素子上に結像する。固体撮像素子は所定解像度（例えば６００ｄｐｉ）および所定濃度レベル（例えば８ビット）の画像読み取り信号を生成し、画像読み取り信号からラスターデータよりなる画像データが構成される。
【００１９】
ＭＦＰ１００は、記憶装置１１１および記録装置１１２を有し、通常の複写機能を実行する際には、イメージデータをデータ処理装置１１５によって画像処理して記録信号に変換する。複数枚複写の場合には、１頁分の記録信号を一旦記憶装置１１１に記憶保持した後、記録装置１１２に順次出力して、記録紙上に記録画像を形成する。
【００２０】
ＭＦＰ１００は、ＬＡＮ１０７との接続のためのネットワークＩＦ１１４を有し、クライアントＰＣ１０２が出力したイメージデータを、記録装置１１２によって記録し得る。クライアントＰＣ１０２から出力されたイメージデータはＬＡＮ１０７からネットワークＩＦ１１４を経てデータ処理装置１１５で記録可能な記録信号に変換された後、ＭＦＰ１００において、記録紙上に記録画像として記録される。
【００２１】
ＭＦＰ１００は、ＭＦＰ１００に設けられたキー操作部（入力装置１１３）、あるいはマネージメントＰＣ１０１の入力装置（キーボード、ポインティングデバイス等）を通じて操作される。これらの操作のために、データ処理装置１１５は内部の制御部（図示せず。）によって所定の制御を実行する。
【００２２】
ＭＦＰ１００は表示装置１１６を有し、操作入力の状態と、処理すべきイメージデータとを、表示装置１１６によって表示し得る。
【００２３】
記憶装置１１１はネットワークＩＦ１１７を介して、マネージメントＰＣ１０１から直接制御し得る。ＬＡＮ１０９は、ＭＦＰ１００とマネージメントＰＣ１０１との間のデータの授受、制御信号授受に用いられる。
【００２４】
[画像処理方法の全体の流れ]
本発明に係る画像処理方法の第１実施形態は図３の各ステップにより実行される。
【００２５】
ステップＳ３０１：ＭＦＰ１００の画像読み取り部１１０を動作させて、1枚の原稿をラスター状に走査し、所定解像度および所定濃度レベルの、画像読み取り信号を取得する。画像読み取り信号はデータ処理部１１５によって前処理され、入力画像の１頁分のイメージデータとして、記憶装置１１１に保存される。次にステップＳ３０２に進む。
【００２６】
ステップＳ３０２（ブロックセレクション（領域分割）ステップ）：マネージメントＰＣ１０１によって、記憶装置１１１に格納されたイメージデータの領域を、文字あるいは線画を含む文字・線画領域と、ハーフトーンの写真領域、不定形の画像領域その他に分ける。さらに文字・線画領域について、主に文字を含む文字領域と、主に表、図形等を含む線画領域とを分離し、線画領域は表領域と図形領域に分離する。なお、本実施形態では連結画素を検知し、該連結画素の外接矩形領域の形状・サイズ・画素密度等を用いて、属性毎の領域に分割するものとするが、その他の領域分割手法を用いても構わない。
【００２７】
文字領域については、文字段落ごとの纏まった塊をブロックとして矩形ブロック（文字領域矩形ブロック）にセグメント化し、線画領域では、表、図形等の個々のオブジェクト（表領域矩形ブロック、線画領域矩形ブロック）ごとに矩形ブロックにセグメント化する。
【００２８】
ハーフトーンで表現される写真領域は、画像領域矩形ブロック、背景領域矩形ブロック等のオブジェクトごとに、矩形ブロックにセグメント化する。
【００２９】
これらの矩形ブロックの情報を「領域分割情報」という。
【００３０】
ステップＳ３０３：ブロックセレクションステップで得られた領域分割情報と入力画像とを合成して、ＭＦＰ１００の表示装置１１６における操作画面上に表示する。
【００３１】
表示装置１１６に表示される操作画面の一例を図４に示す。
【００３２】
操作画面には、左半部に入力画像そのものが画像４１として表示され、右半部に矩形ブロックにより領域分割情報を示す画像４２が表示される。
【００３３】
画像４２では、入力画像を簡略表示するとともに、各矩形ブロックを矩形で示す。
【００３４】
矩形ブロックの概念の理解を容易にするため、各矩形ブロックには、その属性を示す、ＴＥＸＴ、ＰＩＣＴＵＲＥ、ＬＩＮＥ、ＴＡＢＬＥの表示が付されているが、実際には属性情報は表示されず、分割された矩形領域が枠線として表示される。
【００３５】
ＴＥＸＴ、ＰＩＣＴＵＲＥ、ＬＩＮＥ、ＴＡＢＬＥは文字領域矩形ブロック、図面領域矩形ブロック、線図形領域矩形ブロック、表領域矩形ブロックの属性表示であり、写真領域矩形ブロックを示すＰＨＯＴＯ、その他の属性表示が用いられる。
【００３６】
なお、図４では入力画像と領域分割情報を左右に並べて表示しているが、これらを重ねて入力画像上に分割された矩形ブロックを表示する等、多様な表示形態が可能である。
【００３７】
ステップＳ３０４（特定領域指定ステップ）：ステップＳ３０３で表示された領域分割情報について、ベクトル化の対象とすべき矩形ブロックを特定領域として指定する。
【００３８】
特定領域の指定方法としては、例えば、ユーザがポインティングデバイス（図示せず。）を用いて、画像４２中の１個または複数の矩形ブロックを指示することによって行う。なお操作画面１１６をタッチパネルとし、ユーザが所望の矩形ブロックを指で指示する方法等、種々の方法を採用し得る。
【００３９】
ステップＳ３０５：ステップＳ３０４で指定された特定領域をイメージデータとして切り出し、切り出されたイメージデータに対して以下の処理を行う。
【００４０】
ステップＳ３０６：特定領域にオリジナルデータファイルのポインタ情報が埋め込まれているか否かの判定を行うため、ＯＣＲ、ＯＭＲ処理を行う。
【００４１】
原稿画像中に付加情報として記録された２次元バーコード、あるいはＵＲＬに該当するオブジェクトを検出し、ＯＣＲによってＵＲＬを文字認識し、ＯＭＲによって２次元バーコードを解読して入力画像のオリジナルデータファイルが格納されている記憶装置内のポインタ情報を検出する。
【００４２】
ポインタ情報を付加する手段は２次元バーコードに限定されるものではなく、隣接文字列間隔の変化として情報を埋め込む方法、ハーフトーンの画像に埋め込む方法等、直接視認されない、いわゆる電子透かしによる方法等がある。
【００４３】
ステップＳ３０７（ポインタ情報抽出ステップ）：ステップＳ３０６におけるＯＣＲ、ＯＭＲ、もしくは電子透かしの情報から、ポインタ情報を抽出する。
【００４４】
ステップＳ３０８：ポインタ情報が取得されたか否か判断する。ポインタ情報が取得されたときは、オリジナルデータファイルに直接アクセスすべく、ステップＳ３１４に分岐する。
【００４５】
オリジナルデータファイルは、電子ファイルの形態で、図１のクライアントＰＣ１０２のハードディスク内、文書管理サーバ１０６内のデータベース１０５内、ＭＦＰ１００に設けられた記憶装置１１１等に格納されており、ステップＳ３０８で得られたアドレス情報（ポインタ情報）に従ってこれらの記憶装置内を検索する。
【００４６】
ステップＳ３０９（ベクトル化ステップ）：ポインタ情報が抽出されなかった場合、ベクトル化処理に移り、ベクトル化処理により各特定領域のイメージデータをベクトルデータに変換する。
【００４７】
ベクトル化の方法は、以下（ａ）〜（ｆ）等が存在する。
（ａ）特定領域が文字領域のとき、さらにＯＣＲによる文字画像のコード変換を行ったり、あるいは文字のサイズ、スタイル、字体を認識し、原稿を走査して得られた文字に可視的に忠実なフォントデータに変換する。
（ｂ）特定領域が文字領域であり、かつＯＣＲによる認識が不可能であったとき、文字の輪郭を追跡し、輪郭情報（アウトライン）を線分のつながりとして表現する形式に変換する。
（ｃ）特定領域が図形領域のとき、図形オブジェクトの輪郭を追跡し、輪郭情報を線分のつながりとして表現する形式に変換する。
（ｄ）ｂ、ｃの線分形式のアウトライン情報をベジエ関数などでフィッティングして、関数情報に変換する。
（ｅ）ｃの図形オブジェクトの輪郭情報から、図形の形状を認識し、円、矩形、多角形、等の図形定義情報に変換する。
（ｆ）特定領域が図形領域であって、特定領域の表形式のオブジェクトの場合、罫線や枠線を認識し、所定のフォーマットの帳票フォーマット情報に変換する。
【００４８】
以上の方法以外に、イメージデータをコード情報、図形情報、関数情報等のコマンド定義形の情報に置きかえる種々のベクトル化処理が考えられる。
【００４９】
ステップＳ３１０（ファイル検索ステップ）：ポインタ情報が抽出されなかったとき、ステップＳ３０４（特定領域指定ステップ）で指定した特定領域の情報を含むデータファイルあるいはそのオリジナルデータファイルを、マネージメントＰＣ１０１やクライアントＰＣ１０２上のローカルハードディスクおよび文書管理サーバ１０６上のデータベース１０５において検索する。
【００５０】
ファイル検索においては、ステップ３０９（ベクトル化ステップ）で生成されたベクトルデータのうち、文字領域矩形ブロックに対して行ったＯＣＲの結果から重要単語を抽出し、重要単語を含む文書を全文検索により抽出する。
【００５１】
あるいは各ベクトルデータから、矩形や特殊図形の有無、表形式データの有無、それぞれの位置関係や配列、といった情報からレイアウト情報を取得し、いわゆるレイアウト検索を行う。
【００５２】
ステップＳ３１１：検索の結果類似度の高いデータファイルが抽出された場合、抽出結果としての候補データファイルを操作画面１１６においてサムネイル等で表示する。候補データファイルが複数抽出されたとき等、操作者による選択が必要な場合、操作者は入力操作によって候補データファイルの中からオリジナルデータファイルの特定を行う。なお、候補データファイルが1個で類似度が高い場合、ステップＳ３１２をバイパスして自動的にステップＳ３１２にジャンプするようにしてもよい。
【００５３】
ステップＳ３１２：ステップＳ３１１で抽出されたオリジナルデータファイルがラスターデータファイルあるいは、ＢＭＰ、ｔｉｆｆに代表される、ラスターデータを符号化したイメージデータファイルであるかどうかを判定する。抽出されたデータファイルがイメージデータファイルのときは、このデータファイルは、ステップＳ３０１で入力されたイメージデータと同様のデータ形態であるので、ステップＳ３１３において、ステップＳ３０９で得たベクトルデータをそのまま使用してアプリケーションデータ形式に変換する。
【００５４】
抽出されたデータファイルが、文字コードやベクトルデータ等、再利用が容易なデータファイルであったときはステップＳ３１４において、データファイルを取得する。
【００５５】
また、ステップＳ３１１でオリジナルデータファイルが選択されなかった場合、ステップＳ３１３に進んで、ステップＳ３０９で得たベクトルデータを使用してアプリケーションデータ形式に変換する。
【００５６】
ステップＳ３１３：ステップＳ３０９で得たベクトルデータを使用して、アプリケーションデータ形式に変換し、出力する。通常、データ形式は使用するアプリケーションに依存し、目的に応じたファイル形式に変換する必要がある。
【００５７】
編集等再利用可能なアプリケーションデータ形式とは、ワードプロセッサ、表計算ソフトウエア等のアプリケーションソフトウエアであり、例えば、マイクロソフト・コーポレーションのワードプロセッサＷＯＲＤ（登録商標）や表計算アプリケーションソフトウエアＥＸＣＥＬ（登録商標）などがある。これらのアプリケーションはそれぞれ使用する目的が異なっており、目的に応じたファイル形式が定義され、その形式でファイル（データ）を保存する。
【００５８】
より汎用的なファイル形式としては、マイクロソフト・コーポレーションのＲＴＦ（リッチ・テキスト・ファイル）形式、近年使用されるようになったＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）形式、あるいは単純にテキストデータのみを扱うプレーンテキスト形式、などが知られており、これらは対応するアプリケーションにおいて共通に使用可能である。
【００５９】
ステップＳ３１４：ステップＳ３０７でポインタ情報が取得されたときは、そのポインタ情報に基づいてオリジナルデータファイルを取得する。
【００６０】
なお、本実施形態では、ユーザにより指定された特定領域をベクトルデータに変換し、それ以外の領域については入力画像のイメージデータとし、両者を合成して上記のようなアプリケーションデータ形式に変換する。このとき、特定領域の入力画像における位置情報を保存して入力画像全体を再現できるようにする。
【００６１】
以上の構成により、ユーザが希望する領域のみがベクトルデータに変換され、編集等再利用が容易になる。また画像領域等、ベクトル化すべきでない領域を誤ってベクトル化する事故を防止できる。
【００６２】
次に図３の主要なステップについて詳細に説明する。
【００６３】
[ブロックセレクションステップ]
ステップＳ３０２（ブロックセレクションステップ）においては、図４右半部の画像４２に示すように、入力画像を属性ごとに矩形ブロックに分割する。前述のように、矩形ブロックの属性としては、文字(ＴＥＸＴ)/図面(ＰＩＣＴＵＲＥ)/線画(Ｌｉｎｅ)/表(Ｔａｂｌｅ)／写真（ＰＨＯＴＯ）等がある。
【００６４】
ブロックセレクションステップにおいては、まず入力画像を白黒に２値化し、黒画素輪郭で囲まれる画素塊を抽出する。
【００６５】
さらに、このように抽出された黒画素塊の大きさを評価し、大きさが所定値以上の黒画素塊の内部にある白画素塊に対する輪郭追跡を行う。白画素塊に対する大きさ評価、内部黒画素塊の追跡というように、内部の画素塊が所定値以上である限り、再帰的に内部画素塊の抽出、輪郭追跡を行う。
【００６６】
画素塊の大きさは、例えば画素塊の面積によって評価される。
【００６７】
このようにして得られた画素塊に外接する矩形ブロックを生成し、矩形ブロックの大きさ、形状に基づき属性を判定する。
【００６８】
例えば、縦横比が1に近く、大きさが一定の範囲の矩形ブロックは文字領域矩形ブロックの可能性がある文字相当ブロックとし、近接する文字相当ブロックが規則正しく整列しているときに、これら文字相当ブロックを纏めた新たな矩形ブロックを生成し、新たな矩形ブロックを文字領域矩形ブロックとする。
【００６９】
また扁平な画素塊を線画領域矩形ブロック、一定大きさ以上でかつ四角形の白画素塊を整列よく内包する黒画素塊を表領域矩形ブロック、不定形の画素塊が散在している領域を写真領域矩形ブロック、それ以外の不定形の画素塊を写真領域矩形ブロックとする。
【００７０】
ブロックセレクションステップでは、このようにして生成された矩形ブロックのそれぞれについて、図５に示す、属性等のブロック情報および入力ファイル情報を生成する。
【００７１】
図５において、ブロック情報には各ブロックの属性、位置の座標Ｘ、座標Ｙ、幅Ｗ、高さＨ、ＯＣＲ情報が含まれる。属性は１〜５の数値で与えられ、１は文字領域矩形ブロック、２は図面領域矩形ブロック、３は表領域矩形ブロック、４は線画領域矩形ブロック、５は写真領域矩形ブロックを示す。座標Ｘ、座標Ｙは入力画像における各矩形ブロックの始点のＸ、Ｙ座標（左上角の座標）である。幅Ｗ、高さＨは矩形ブロックのＸ座標方向の幅、Ｙ座標方向の高さである。ＯＣＲ情報は入力画像におけるポインタ情報の有無を示す。
【００７２】
さらに入力ファイル情報として矩形ブロックの個数を示すブロック総数Ｎが含まれる。
【００７３】
これらの矩形ブロックごとのブロック情報は、特定領域でのベクトル化に利用される。またブロック情報によって、特定領域とその他の領域を合成する際の相対位置関係を特定でき、入力画像のレイアウトを損なわずにベクトル化領域とラスターデータ領域を合成することが可能となる。
【００７４】
[ポインタ情報抽出ステップ]
ステップＳ３０７（ポインタ情報抽出ステップ）は図６の各ステップによって実行される。図７は、ポインタ情報抽出ステップの処理対象となる原稿３１０を示し、原稿３１０はデータ処理装置１１５内のページメモリ（図示せず。）に格納される。原稿３１０には、文字領域矩形ブロック３１２、３１３、図面領域矩形ブロック３１４、２次元バーコード（ＱＲコード）のシンボル３１１が記録されている。
【００７５】
ステップＳ７０１：まず、記憶装置１１１のページメモリに格納された原稿３１０の入力画像をＣＰＵ(図示せず。)で走査して、ブロックセレクションステップの処理結果から、２次元バーコードシンボル３１１の位置を検出する。
【００７６】
ＱＲコードシンボルは、４隅のうちの３隅に、特定の位置検出要素パターンが設けられ、位置検出要素パターンを検出することにより、ＱＲコードシンボルを検出し得る。
【００７７】
ステップＳ７０２：次に、位置検出パターンに隣接する形式情報を復元し、シンボルに適用されている誤り訂正レベルおよびマスクパターンを得る。
【００７８】
ステップＳ７０３：次にシンボルの型番（モデル）を決定する。
【００７９】
ステップＳ７０４：ステップＳ７０２の形式情報から得られたマスクパターンを使って、ＱＲコードのシンボルの符号化領域ビットパターンをＸＯＲ演算し、ＱＲコードのシンボルのマスク処理を解除する。
【００８０】
ステップＳ７０５：ステップＳ７０３で得られたモデルに基づいて配置規則を取得し、この配置規則に基づいて、シンボルキャラクタを読取り、メッセージのデータ及び誤り訂正コード語を復元する。
【００８１】
ステップＳ７０６：復元されたメッセージについて、誤り訂正コード語に基づいて、誤りがあるかどうかの検出を行う。誤りが検出されたときは、訂正のためにステップＳ７０７に分岐する。
【００８２】
ステップＳ７０７：復元されたメッセージを訂正する。
【００８３】
ステップＳ７０８：誤り訂正されたデータより、モード指示子および文字数指示子に基づいて、データコード語をセグメントに分割し、データコード語を復元する。
【００８４】
ステップＳ７０９：検出された仕様モードに基づいてデータコード文字を復号し、結果を出力する。
【００８５】
２次元バーコードに組み込まれたデータは、オリジナルデータファイルのポインタ情報を表しており、例えばファイルサーバー名およびファイル名からなるパス情報で構成される。あるいは、対応するファイルへのＵＲＬ等で構成される。
【００８６】
本実施形態ではポインタ情報を２次元バーコードの形で付与した原稿３１０について説明したが、種々のポインタ情報の記録形態を採用し得る。
【００８７】
例えば、所定のルールに従った文字列によってポインタ情報を直接文字列で記録し、ブロックセレクションステップによって文字列の矩形ブロックを検出してもよい。検出された文字列を認識することによりポインタ情報を取得し得る。
【００８８】
あるいは文字領域矩形ブロック３１２や文字領域矩形ブロック３１３において、隣接文字列の間隔に視認し難い程度の変調を加え、該文字列間隔変調の情報によってポインタ情報を表現し得る。このような透かし情報は、後述する文字認識処理を行う際に各文字の間隔を検出することによって検出でき、ポインタ情報を取得し得る。また図面領域矩形ブロック３１４の中に電子透かしとしてポインタ情報を付加する事も可能である。
【００８９】
以上のようなポインタ情報抽出に関しても、本実施形態のようにベクトル化すべき特定領域を指定することにより、迅速かつ確実にポインタ情報を取得し得る。すなわち、バーコード、電子透かし等が埋め込まれている矩形ブロックをユーザが指定することで、効率のよいポインタ情報抽出を行うことが可能である。
【００９０】
逆に特定領域の指定を行わない場合は、入力画像全体からバーコード、電子透かし等の位置を探索して抽出する処理を行わなければならず、全体のパフォーマンスを著しく損なう。
【００９１】
[ポインタ情報による電子ファイル検索]
図３のステップＳ３１４における、ポインタ情報による電子ファイル検索は以下のように実行される。
【００９２】
まずポインタ情報に含まれるアドレスに基づいて、ファイルサーバを特定し、ファイルサーバに対して、アドレスを転送する。ファイルサーバには、クライアントＰＣ１０２、データベース１０５を内蔵する文書管理サーバ１０６、記憶装置１１１を内蔵するＭＦＰ１００の全てが含まれる。アドレスは、ＵＲＬや、サーバ名およびファイル名よりなるパス情報である。
【００９３】
アドレスを受信したファイルサーバは、このアドレスに基づいてオリジナルデータファイルを検索する。このファイル検索によってオリジナルデータファイルを抽出できたときは、ファイルのアドレスをＭＦＰ１００に通知し、ユーザがオリジナルデータファイルの取得を希望するときはオリジナルデータファイルをＭＦＰ１００に転送する。一方、ファイルサーバにおいてファイルを抽出できなかったときはその旨をＭＦＰ１００に通知する。
【００９４】
[ベクトル化ステップ]
ステップＳ３１０（ベクトル化ステップ）は図８の各ステップによって実行される。ベクトル化ステップは、ステップＳ３０９において特定領域中にポインタ情報が抽出されなかった場合に、当該特定領域内のイメージデータをベクトル化する処理である。
【００９５】
ステップＳ９０１：特定領域が文字領域矩形ブロックであるか否か判断し、文字領域矩形ブロックであればステップＳ９０２以下のステップに進み、パターンマッチングの一手法を用いて認識を行い、対応する文字コードを得る。特定領域が文字領域矩形ブロックでないときは、ステップＳ９１２に移行する。
【００９６】
ステップＳ９０２：特定領域に対し横書き、縦書きの判定（組み方向判定）をおこなうために、特定領域内で画素値に対する水平・垂直の射影を取る。
【００９７】
ステップＳ９０３：ステップＳ９０２の射影の分散を評価する。水平射影の分散が大きい場合は横書き、垂直射影の分散が大きい場合は縦書きと判断する。
【００９８】
ステップＳ９０４：ステップＳ９０３の評価結果に基づき、組み方向を判定し、行の切り出しを行い、その後文字を切り出して文字画像を得る。
【００９９】
文字列および文字への分解は、横書きならば水平方向の射影を利用して行を切り出し、切り出された行に対する垂直方向の射影から、文字を切り出す。縦書きの文字領域に対しては、水平と垂直について逆の処理を行う。行、文字切り出しに際して、文字のサイズも検出し得る。
【０１００】
ステップＳ９０５：ステップＳ９０４で切り出された各文字について、文字画像から得られる特徴を数十次元の数値列に変換した観測特徴ベクトルを生成する。特徴ベクトルの抽出には種々の公知手法があり、例えば、文字をメッシュ状に分割し、各メッシュ内の文字線を方向別に線素としてカウントしたメッシュ数次元ベクトルを特徴ベクトルとする方法がある。
【０１０１】
ステップＳ９０６：ステップＳ９０５で得られた観測特徴ベクトルと、あらかじめ字種ごとに求められている辞書特徴ベクトルとを比較し、観測特徴ベクトルと辞書特徴ベクトルとの距離を算出する。
【０１０２】
ステップＳ９０７：ステップＳ９０６で算出された距離を評価し、最も距離の近い字種を認識結果とする。
【０１０３】
ステップＳ９０８：ステップＳ９０７における距離評価において、最短距離が所定値よりも大きいか否か判断する。距離が所定値以上の場合は、辞書特徴ベクトルにおいて、形状が類似する他の文字に誤認識している可能性が高い。そこで距離が所定値以上の場合は、ステップＳ９０７の認識結果を採用せず、ステップＳ９１１の処置に進む。距離が所定値より小のときは、ステップＳ９０７の認識結果を採用し、ステップ９０９に進む。
【０１０４】
ステップＳ９０９（フォント認識ステップ）：文字認識の際に用いる、字種数ぶんの辞書特徴ベクトルを、文字形状種すなわちフォント種に対して複数用意しておき、パターンマッチングの際に、文字コードとともにフォント種を出力することで、文字フォントを認識し得る。
【０１０５】
ステップＳ９１０：文字認識およびフォント認識よって得られた文字コードおよびフォント情報を用いて、各々あらかじめ用意されたアウトラインデータを用いて、各文字をベクトルデータに変換する。なお、入力画像がカラーの場合は、カラー画像から各文字の色を抽出してベクトルデータとともに記録する。
【０１０６】
ステップＳ９１１：文字を一般的な線画と同様に扱い、該文字をアウトライン化する。すなわち誤認識を起こす可能性の高い文字については、可視的にイメージデータに忠実なアウトラインのベクトルデータを生成する。
【０１０７】
ステップＳ９１２：特定領域が文字領域矩形ブロックでないときは、画像の輪郭に基づいてベクトル化の処理を実行する。
【０１０８】
以上の処理により、文字領域矩形ブロックに属するイメージ情報をほぼ形状、大きさ、色が忠実なベクトルデータに変換出来る。
【０１０９】
[文字領域以外の領域のベクトル化]
ステップＳ９１２の文字領域矩形ブロック以外の領域、すなわち図面領域矩形ブロック、線画領域矩形ブロック、表領域矩形ブロック等と判断されたときは、特定領域内で抽出された黒画素塊の輪郭をベクトルデータに変換する。
【０１１０】
文字領域以外の領域のベクトル化においては、まず線画等を直線および／または曲線の組み合わせとして表現するために、曲線を複数の区間（画素列）に区切る「角」を検出する。角とは曲率が極大となる点であり、図１０の曲線上の画素Ｐｉが角か否かの判断は以下のように行う。
【０１１１】
すなわち、Ｐｉを起点とし、曲線に沿ってＰｉから両方向に所定画素（ｋ個とする。）ずつ離れた画素Ｐｉ−ｋ、Ｐｉ＋ｋを線分Ｌで結ぶ。画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の距離をｄ１、線分Ｌと画素Ｐｉとの距離をｄ２、曲線の画素Ｐｉ−ｋ、Ｐｉ＋ｋ間の弧の長さをＡとするとき、ｄ２が極大となるとき、あるいは比（ｄ１／Ａ）が閾値以下となるときに画素Ｐｉを角と判断する。
【０１１２】
角によって分割された画素列を、直線あるいは曲線で近似する。直線への近似は最小二乗法等により実行し、曲線への近似は３次スプライン関数などを用いる。画素列を分割する角の画素は近似直線あるいは近似直線における、始端または終端となる。
【０１１３】
さらにベクトル化された輪郭内に白画素塊の内輪郭が存在するか否かを判断し、内輪郭が存在するときはその輪郭をベクトル化し、内輪郭の内輪郭というように、再帰的に反転画素の内輪郭をベクトル化する。
【０１１４】
以上のように、輪郭の区分線近似を用いれば、任意形状の図形のアウトラインをベクトル化することができる。元原稿がカラーの場合は、カラー画像から図形の色を抽出してベクトルデータとともに記録する。
【０１１５】
図１１に示すように、ある注目区間で外輪郭ＰＲｊと、内輪郭ＰＲｊ＋１あるいは別の外輪郭が近接している場合、２個あるいは複数の輪郭線をひとまとめにし、太さを持った線として表現することができる。例えば、輪郭Ｐｊ＋１の各画素Ｐｉから輪郭ＰＲｊ上で最短距離となる画素Ｑｉまでの距離ＰｉＱｉを算出し、ＰＱｉのばらつきがわずかである場合には、注目区間を画素Ｐｉ、Ｑｉの中点Ｍｉの点列に沿った直線または曲線で近似し得る。近似直線、近似曲線の太さは、例えば距離ＰｉＱｉの平均値とする。
【０１１６】
線や線の集合体である表罫線は、太さを持つ線の集合とすることにより、効率よくベクトル表現することができる。
【０１１７】
輪郭まとめの処理の後、全体の処理を終了する。
【０１１８】
なお写真領域矩形ブロックについては、ベクトル化せず、イメージデータのままとする。
【０１１９】
[図形認識]
以上の線図形等のアウトラインをベクトル化した後、ベクトル化された区分線を図形オブジェクトごとにグループ化する。
【０１２０】
図１２の各ステップは、ベクトルデータを図形オブジェクトごとにグループ化する処理を示す。
【０１２１】
ステップＳ１４０１：まず各ベクトルデータの始点、終点を算出する。
【０１２２】
ステップＳ１４０２（図形要素検出）：ステップＳ１４０１で求められた始点、終点情報を用いて、図形要素を検出する。図形要素とは、区分線が構成している閉図形であり、検出に際しては、始点、終端となっている共通の角の画素においてベクトルを連結する。すなわち、閉形状を構成する各ベクトルはその両端にそれぞれ連結するベクトルを有しているという原理を応用する。
【０１２３】
ステップＳ１４０３：次に図形要素内に存在する他の図形要素、もしくは区分線をグループ化し、一つの図形オブジェクトとする。また、図形要素内に他の図形要素、区分線が存在しない場合は図形要素を図形オブジェクトとする。
【０１２４】
[図形要素の検出]
ステップＳ１４０２（図形要素検出）の処理は、図１３の各ステップによって実行される。
【０１２５】
ステップＳ１５０１：まず、ベクトルデータより両端に連結していない不要なベクトルを除去し、閉図形を構成するベクトルを抽出する。
【０１２６】
ステップＳ１５０２：次に閉図形を構成するベクトルについて、いずれかのベクトルの端点（始点または終点）を開始点とし、一定方向、例えば時計回りに、順にベクトルを探索する。すなわち、他端点において他のベクトルの端点を探索し、所定距離内の最近接端点を連結ベクトルの端点とする。閉図形を構成するベクトルを１まわりして開始点に戻ったとき、通過したベクトルを全て一つの図形要素を構成する閉図形としてグループ化する。また、閉図形内部にある閉図形構成ベクトルも全てグループ化する。さらにまだグループ化されていないベクトルの始点を開始点とし、同様の処理を繰り返す。
【０１２７】
ステップＳ１５０３：最後に、ステップＳ１５０１で除去された不要ベクトルのうち、ステップＳ１５０２で閉図形としてグループ化されたベクトルに端点が近接しているベクトルを検出し、一つの図形要素としてグループ化する。
【０１２８】
以上の処理によって図形ブロックを、再利用可能な個別の図形オブジェクトとして扱う事が可能になる。
【０１２９】
以上のベクトル化処理は、通常、入力画像全体に対して行う必要性は低く、ユーザが指定した特定領域のみをベクトル化だけに対して行えば充分な場合が多い。
【０１３０】
ユーザが指定する特定領域のみに対してベクトル化処理を行うことにより、処理のパフォーマンスを向上し、かつユーザが所望する部分のみを効率よくベクトル化して、次のステップの検索処理に利用したり、もしくはイメージ情報のうちの必要な部分だけの再編集や再利用をする効果を提供することが可能になる。
【０１３１】
[ファイル検索処理]
次に、図３のステップＳ３１１で示すファイル検索処理の詳細について図５、図９を参照しつつ説明する。
【０１３２】
ここでは、ステップＳ３０２の結果、抽出された各矩形ブロック及び入力画像データが、図５に示すブロック情報および入力ファイル情報を備えるものとし、かつ特定領域内のベクトル化情報を保持しているものとする。
【０１３３】
図５では、ブロック１〜ブロック６の６個の矩形ブロックについて、属性、座標、幅、高さ、ＯＣＲ情報有無がブロック情報として記録され、属性は、文字、画像、表、線画、写真その他に分類されている。また入力ファイル情報のブロック総数は、入力画像中の全ブロック数であり、図６では、ブロック総数Ｎは６である。
【０１３４】
ブロック情報では、例えば、矩形ブロックは座標Ｘの小さい順に配列され、座標Ｘが同一の矩形ブロックは座標Ｙの小さい順に配列される。これらの情報を使用して、データベース内から、入力画像に類似したファイルのレイアウト検索の処理は、図９の各ステップによって実行される。ここで、データベースファイルは、図６と同様の情報を備えることを前提とする。フローチャートの流れは、ブロック情報および入力ファイル情報と、データベース中のファイルとを順次比較するものである。
【０１３５】
ステップＳ１１０１：後述する類似率などの初期化を行う。
【０１３６】
ステップＳ１１０２：次に、入力画像におけるブロック総数Ｎとの差が所定値以内、すなわちデータベース内のデータファイルにおいて、Ｎ−ΔＮ＜ｎ＜Ｎ＋ΔＮなるｎ個のブロック総数を持つデータファイルであるか判断する。条件に合致するデータファイルが検索抽出されたときにはステップＳ１１０３に移行して当該検索抽出されたデータファイル内の矩形ブロックの情報と入力画像内のブロックとを順次比較していく。一方、ブロック総数の差が大きいときはステップＳ１１１６にジャンプする。矩形ブロックの情報比較においては、ステップＳ１１０３〜Ｓ１１０９によって、属性類似率、サイズ類似率、ＯＣＲ類似率をそれぞれ算出し、これら類似率に基づいてステップＳ１１１１において、該比較対象のデータファイルの総合類似率を算出する。
【０１３７】
ステップＳ１１０３：入力画像のブロック属性と、ステップＳ１１０２で抽出されたデータベースファイルのブロック属性を比較する。ブロック属性が一致したときはステップＳ１１０４に進み、ブロック属性が一致しなかったときは、ステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１３８】
ステップＳ１１０４：ステップＳ１１０３で比較された、ブロック情報の属性について属性類似率を更新する。属性類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、｛（属性一致ブロック数）／（総ブロック数）｝に基づいて算出するものとする。
【０１３９】
ステップＳ１１０５：入力画像のブロック情報のサイズ（幅Ｗ、高さＨ）と、ステップＳ１１０２で抽出されたデータベースファイルのサイズ（幅ｗ、高さｈ）を比較する。サイズの差が所定範囲、すなわちＷ−ΔＷ＜ｗ＜Ｗ＋ΔＷでありかつＨ−ΔＨ＜ｈ＜Ｈ＋ΔＨであるか否か判断する。所定範囲内のときはステップＳ１１０６に進み、所定範囲内でなかったときはステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１４０】
ステップＳ１１０６：ステップＳ１１０５で比較されたブロック情報のサイズについてサイズ類似率を更新する。サイズ類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、｛１−（サイズ差）／（入力イメージデータの該ブロックサイズ）｝で各ブロックのサイズ類似率を求めて、更に、該データファイルについてサイズ類似度の平均値を求めることにより算出するものとする。
【０１４１】
ステップＳ１１０７：入力画像のブロック情報、およびステップＳ１１０２で抽出されたデータファイルのブロック情報にＯＣＲ情報が「有」か否かを判断する。両者がＯＣＲ情報「有」であったときはステップＳ１１０８に進み、ＯＣＲ情報「無」のときはステップＳ１１１０に進み、入力画像の全ブロックについての比較が終了したか判断する。
【０１４２】
ステップＳ１１０８：入力画像のブロック情報のＯＣＲ情報と、ステップＳ１１０２で抽出されたデータファイルのＯＣＲ情報を比較する。
【０１４３】
ステップＳ１１０９：ステップＳ１１０８で比較されたＯＣＲ情報についてＯＣＲ情報類似率を算出する。ＯＣＲ情報類似率の算出方法は、任意の方法を用いることが可能であるが、例えば、各ブロックの認識結果文字同士を比較し、認識結果の一致率を求めるなどして求めることとする。
【０１４４】
ステップＳ１１１０：入力画像に含まれる全てのブロックについて、当該データファイルの各ブロックとの比較処理が終了したか否かを判断する。全ての矩形ブロックの処理が終了したときはステップＳ１１１１に進み、未処理の矩形ブロックが残っているときはステップＳ１１１５を経て、次のブロックの比較処理を行うためにステップＳ１１０３に戻る。
【０１４５】
ステップＳ１１１１：属性類似率、サイズ類似率、ＯＣＲ類似率に基づいて総合類似率を算出する。総合類似率の算出方法は、例えば、各類似率に所定の重み付けを行って、和をとることにより算出される。
【０１４６】
ステップＳ１１１２：総合類似率が予め設定された閾値Ｔｈより高いか否か判断する。総合類似率が閾値Ｔｈより高ければステップＳ１１１３に進み、総合類似率が閾値Ｔｈより高くないときはステップＳ１１１４に進む。
【０１４７】
ステップＳ１１１３：ステップＳ１１１２で総合類似率が閾値より高いと判断されたデータベースのデータファイルを類似候補として保存する。
【０１４８】
ステップＳ１１１４：データベースの全てのデータファイルについて処理が終了したか否か判断する。全てのデータベースファイルの処理が終了したときはそのまま処理を終了し、未処理のデータベースファイルが残っているときはステップＳ１１１６を経てステップＳ１１０１に戻る。
【０１４９】
ステップＳ１１１５：データファイルの個々のブロック情報と、入力画像のブロック情報の全てを比較するように、比較対象のブロックを次のブロックに進める。
【０１５０】
ステップＳ１１１６：データベースの各データファイルが順次比較されるように、次のデータファイルを比較対象にする。
【０１５１】
図９の各ステップにおいて、Ｎ、Ｗ、Ｈは、入力画像のブロック総数、各ブロック幅、各ブロック高さであり、ΔＮ、ΔＷ、ΔＨは、入力画像のブロック情報を基準とした許容範囲示す。ｎ、ｗ、ｈは、データベースファイルのブロック総数、各ブロック幅、各ブロック高さである。
【０１５２】
なお、不図示ではあるが、ステップＳ１１０５にてサイズ比較時に、座標Ｘ、座標Ｙの位置情報の比較などを行ってもよい。
【０１５３】
以上、検索の結果、総合類似度が閾値Ｔｈより高く、候補として保存されたデータベースファイル（ステップＳ１１１３）をサムネイル等で表示（ステップ３１２）する。複数候補の中から操作者が候補を選択すべきときには、操作者の入力操作よってファイルの特定を行う。
【０１５４】
以上の処理において、ユーザが指定した特定領域に対してステップＳ３１０で生成されたベクトル化情報が保有され、ファイル検索処理（図３のステップＳ３１１、図９）に利用可能なベクトル化情報としてはＯＣＲによる文字コード情報や縦書き／横書きといったレイアウト情報、図形認識（図１３）による図形の個数や配置、フォント認識（図８）による文書中の文字に使われているフォント情報等がある。
【０１５５】
本発明ではブロックセレクションステップによって得られたレイアウト情報に加えて、ユーザが着目する特定領域の詳細なベクトル化情報を、データベースファイル検索における類似度算出に利用し得るので、検索の精度を向上し得る。またデータベースファイル検索において、特定領域のベクトル化情報の重みを高め、ユーザが着目した部分を重視した類似度が求められるので、ユーザの希望に沿った検索結果が得られることになる。
【０１５６】
[アプリデータへの変換処理]
図３のブロックセレクションステップ（ステップＳ３０２）の後、ベクトル化（ステップＳ３１０）した結果のデータを用いて、ステップＳ３１４のアプリデータへの変換処理を実行する。ステップＳ３１０のベクトル化処理結果は図１４に示す中間データの形式、いわゆるドキュメント・アナリシス・アウトプット・フォーマット（ＤＡＯＦ）と呼ばれる形式で保存されている。
【０１５７】
図１４において、ＤＡＯＦは、ヘッダ１６０１、レイアウト記述データ部１６０２、文字認識記述データ部１６０３、表記述データ部１６０４、画像記述データ部１６０５よりなる。
【０１５８】
ヘッダ１６０１には、処理対象の入力画像に関する情報が保持される。
【０１５９】
レイアウト記述データ部１６０２には、入力画像中の矩形ブロックの属性ＴＥＸ（文字）、ＴＩＴＬＥ（タイトル）、
ＣＡＰＴＩＯＮ（キャプション）、ＬＩＮＥ（線画）、ＰＩＣＴＵＲＥ（図面）、ＦＲＡＭＥ（枠）、ＴＡＢＬＥ（表）、ＰＨＯＴＯ（写真）等の情報と、これら属性が認識された各矩形ブロックの位置情報が保持される。
【０１６０】
文字認識記述データ部１６０３には、ＴＥＸＴ、ＴＩＴＬＥ、ＣＡＰＴＩＯＮ等の文字領域矩形ブロックのうち、ユーザにより指定された領域について、文字認識して得られる文字認識結果が保持される。
【０１６１】
表記述データ部１６０４には、表領域矩形ブロックＴＡＢＬＥの表構造の詳細が格納される。
【０１６２】
画像記述データ部１６０５には、図面領域矩形ブロックＰＩＣＴＵＲＥや線画領域矩形ブロックＬＩＮＥ等のブロックにおけるイメージデータが、入力画像データから切り出して保持される。
【０１６３】
ベクトル化処理を指示された特定領域においては、ブロックに対しては、画像記述データ部１６０５には、ベクトル化処理により得られたブロックの内部構造や、画像の形状や文字コード等あらわすデータの集合が保持される。
【０１６４】
一方、ベクトル化処理の対象ではない、特定領域以外の矩形ブロックでは、入力画像データそのものが保持される。
【０１６５】
アプリデータへの変換処理は図１５の各ステップにより実行される。
【０１６６】
ステップＳ１７０１：ＤＡＯＦ形式のデータを入力する。
【０１６７】
ステップＳ１７０２：アプリデータの元となる文書構造ツリー生成を行う。
【０１６８】
ステップＳ１７０３：文書構造ツリーを元に、ＤＡＯＦ内の実データを取得し、実際のアプリデータを生成する。
【０１６９】
ステップＳ１７０３の文書構造ツリー生成処理は図１６の各ステップにより実行される。図１６の処理における全体制御の基本ルールとして、処理の流れはミクロブロック（単一矩形ブロック）からマクロブロック（矩形ブロックの集合体）へ移行する。以後「矩形ブロック」は、ミクロブロックおよびマクロブロック両者を意味するものとする。
【０１７０】
ステップＳ１８０１：矩形ブロック単位で、縦方向の関連性に基づいて、矩形ブロックを再グループ化する。図１６の処理は繰り返し実行されることがあるが、処理開始直後はミクロブロック単位での判定となる。
【０１７１】
ここで、関連性とは、距離が近い、ブロック幅（横方向の場合は高さ）がほぼ同一であることなどの特徴によって定義される。また、距離、幅、高さなどの情報はＤＡＯＦを参照し、抽出する。
【０１７２】
図１７の入力画像では、最上部で、矩形ブロックＴ１、Ｔ２が横方向に並列されている。矩形ブロックＴ１、Ｔ２の下には横方向セパレータＳ１が存在し、横方向セパレータＳ１の下に矩形ブロックＴ３、Ｔ４、Ｔ５、Ｔ６、Ｔ７が存在する。
【０１７３】
矩形ブロックＴ３、Ｔ４、Ｔ５は、横方向セパレータＳ１下側の領域における左半部において上から下に、縦方向に配列され、矩形ブロックＴ６、Ｔ７は、横方向セパレータＳ１下側の領域における右半部において上下に配列されている。
【０１７４】
ステップＳ１８０１の縦方向の関連性に基づくグルーピングの処理を実行する。これによって、矩形ブロックＴ３、Ｔ４、Ｔ５が１個のグループ（矩形ブロック）Ｖ１にまとめられ、矩形ブロックＴ６、Ｔ７が１個のグループ（矩形ブロック）Ｖ２にまとめられる。グループＶ１、Ｖ２は同一階層となる。
【０１７５】
ステップＳ１８０２：縦方向のセパレータの有無をチェックする。セパレータは、ＤＡＯＦ中でライン属性を持つオブジェクトであり、アプリケーションソフトウエア中で明示的にブロックを分割する機能をもつ。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として左右に分割する。図１７では縦方向のセパレータは存在しない。
【０１７６】
ステップＳ１８０３：縦方向のグループ高さの合計が入力画像の高さに等しくなったか否か判断する。すなわち縦方向（例えば上から下へ。）に処理対象の領域を移動しながら、横方向のグルーピングを行うとき、入力画像全体の処理が終了したときには、グループ高さ合計が入力画像高さになることを利用し、処理の終了判断を行う。グルーピングが終了したときはそのまま処理終了し、グルーピングが終了していなかったときはステップＳ１８０４に進む。
【０１７７】
ステップＳ１８０４：横方向の関連位に基づくグルーピングの処理を実行する。これによって、矩形ブロックＴ１、Ｔ２が１個のグループ（矩形ブロック）Ｈ１にまとめられ、矩形ブロックＶ１、Ｖ２が１個のグループ（矩形ブロック）Ｈ２にまとめられる。グループＨ１、Ｈ２は同一階層となる。ここでも、処理開始直後はミクロブロック単位での判定となる。
【０１７８】
ステップＳ１８０５：横方向のセパレータの有無をチェックする。セパレータを検出すると、処理対象の階層において、入力画像の領域を、セパレータを境界として上下に分割する。図１７では横方向のセパレータＳ１が存在する。
【０１７９】
以上の処理結果は図１８のツリーとして登録される。
【０１８０】
図１８において、入力画像Ｖ０は、最上位階層にグループＨ１、Ｈ２、セパレータＳ１を有し、グループＨ１には第２階層の矩形ブロックＴ１、Ｔ２が属する。
【０１８１】
グループＨ２には、第２階層のグループＶ１、Ｖ２が属し、グループＶ１には、第３階層の矩形ブロックＴ３、Ｔ４、Ｔ５が属し、グループＶ２には、第３階層の矩形ブロックＴ６、Ｔ７が属する。
【０１８２】
ステップＳ１８０６：横方向のグループ長合計が入力画像の幅に等しくなったか否か判断する。これによって横方向のグルーピングに関する終了判断を行う。横方向のグループ長がページ幅となっている場合は、文書構造ツリー生成の処理を終了する。横方向のグループ長がページ幅となっていないときは、ステップＳ１８０１に戻り、再びもう一段上の階層で、縦方向の関連性チェックから繰り返す。
【０１８３】
図１７、図１８のツリー構造の段階で、横方向の分割幅がページ幅になっているので、そのまま処理を終了し、最後にページ全体を表す最上位階層のＶ０を文書構造ツリーに付加する。
【０１８４】
文書構造ツリーが完成した後、その情報を元にステップＳ１７０３においてアプリデータの生成を行う。
【０１８５】
図１７、図１８に基づくアプリデータによる、アプリケーションソフトウエアの処理の例は以下のとおりである。
【０１８６】
まず、グループＨ１が横方向に２個の矩形ブロックＴ１、Ｔ２を有するので、２カラムとし、Ｔ１のＤＡＯＦを参照し、その内部情報（文字認識結果の文章、画像等）を出力する。その後、カラムを変え、Ｔ２の内部情報を出力し、続いてセパレータＳ１を出力する。
【０１８７】
次グループＨ２の処理に移る。グループＨ２は横方向に２個の矩形ブロックＶ１、Ｖ２を有するので、２カラムとして出力する。グループＶ１については、矩形ブロックＴ３、Ｔ４、Ｔ５の順にその内部情報を出力し、その後カラムを変え、グループＶ２の矩形ブロックＴ６、Ｔ７の内部情報を出力する。
【０１８８】
以上によりアプリデータへの変換処理が実行される。
【０１８９】
[第２実施形態]
第１実施形態では、ユーザがベクトル化対象とする特定領域を指定する際に、ＢＳ（ブロックセレクション処理）によって自動的に生成された矩形ブロックのうちの１個もしくは複数を、入力手段等により指定したが、本発明がこれに限定されないことはいうまでもない。
【０１９０】
図１９に示すように、ＢＳ（ブロックセレクション処理）による矩形ブロックを生成せず、入力画像そのものをＭＦＰ１００の操作部画面に表示し、ユーザが希望する領域を開始座標、終了座標によって指定してもよい。例えば開始座標Ｓ１、終了座標Ｅ１により特定領域Ｂ１を指定し、開始座標Ｓ２、終了座標Ｅ２により特定領域Ｂ２を指定する。開始座標、終了座標の指定方法としては、操作画面をタッチパネルとして、このタッチパネルで行う方法、数値キー等により座標を入力する方法等がある。
【０１９１】
[第３実施形態]
特定領域の指定方法を、ＭＦＰ１００において実行せず、原稿上にラインマーカ等により直接記載することも可能である。
【０１９２】
図２０に示すように、所定色のラインマーカにより、原稿に特定領域に対応した矩形ＲＣ１、ＲＣ２を書き込む。ＭＦＰは矩形ＲＣ１、ＲＣ２をスキャンして検出し、検出された画素の配置から特定領域を生成する。矩形ＲＣ１、ＲＣ２の検出は、周知の手法により実行可能である。
【０１９３】
なお以上の実施形態においては、画像読み取り装置１１０等から入力された入力画像の処理について説明したが、記憶媒体に格納されたラスターデータあるいはその符号化データよりなるイメージデータ、通信手段によって供給されたイメージデータ等、入力画像以外のイメージデータについても、本発明は有効である。
【０１９４】
本発明に係る画像処理方法を実施する手段は図１、図２に記載した画像処理システムに限定されるものではなく、専用の画像処理装置、汎用コンピュータ等種々の手段を採用し得る。
【０１９５】
汎用コンピュータにおいて実行する際には、画像処理方法の各ステップを汎用コンピュータに実行させるためプログラムコードを含むコンピュータ実行可能なプログラムを、汎用コンピュータに読み込ませる。
【０１９６】
汎用コンピュータが画像処理を実行するためのプログラムは、汎用コンピュータに内蔵されたＲＯＭや、汎用コンピュータが読み取り得る記憶媒体から読み込まれ、あるいはネットワークを通じてサーバ等から読み込まれる。
【０１９７】
また本発明の趣旨と範囲は、本発明の特定の説明と図に限定されるものではなく、本願特許請求の範囲に述べられた内容の様々な修正および変更に及ぶことは当業者にとって理解されるであろう。
【０１９８】
本発明の実施態様の例を以下に示す。
【０１９９】
［実施態様１］ 入力画像の特定領域を指定する特定領域指定ステップと、前記指定された特定領域のイメージをベクトルデータに変換するベクトル化ステップとを備えた画像処理方法。
【０２００】
［実施態様２］ 前記入力画像を、属性毎の領域に分割する領域分割ステップを更に備え、
前記特定領域指定手段は、前記領域分割ステップで分割された領域のうち、ユーザにより指定された領域を前記特定領域として指定することを特徴とする実施態様１に記載の画像処理方法。
【０２０１】
[実施態様３] 前記特定領域指定手段は、前記領域分割ステップで分割された領域を示す情報と前記入力画像とを表示し、前記表示された領域のうち、ユーザにより指定された領域を前記特定領域として指定することを特徴とする実施態様２に記載の画像処理方法。
【０２０２】
[実施態様４] 前記特定領域のイメージデータをベクトル化したデータに基づいて、データベースに登録されているオリジナルデータファイルから同一もしくは近似した内容のオリジナルデータファイルを抽出することを特徴とする実施態様１記載の画像処理方法。
【０２０３】
[実施態様５] 前記特定領域のイメージデータをベクトル化したベクトルデータと、前記入力画像における前記特定領域以外の領域のイメージデータを合成して画像データファイルを生成することを特徴とする実施態様１に記載の画像処理方法。
【０２０４】
[実施態様６] ベクトル化された特定領域のベクトルデータと前記特定領域以外の領域のイメージデータとに基づいて、アプリケーションソフトウエアで扱えるデータ形式に変換するアプリデータ変換ステップをさらに含むことを特徴とする実施態様１に記載の画像処理方法。
【０２０５】
[実施態様７] 原稿をスキャンすることによって得られた前記入力画像を入力する画像入力ステップを更に有することを特徴とする実施態様１に記載の画像処理方法。
【０２０６】
[実施態様８] 前記ベクトル化ステップは、入力画像のイメージデータをコード情報、図形情報、関数情報等のコマンド定義形のデータに変換するステップを含むことを特徴とする実施態様１に記載の画像処理方法。
【０２０７】
［実施態様９］ 入力画像の特定領域を指定する特定領域指定手段と、前記指定された特定領域のイメージデータをベクトルデータに変換するベクトル化手段とを備えた画像処理システム。
【０２０８】
[実施態様１０] 実施態様１乃至８のいずれかに記載の画像処理方法の各ステップを汎用コンピュータに実行させるためのプログラムコードを含むコンピュータ実行可能なプログラム。
【０２０９】
[実施態様１１] 実施態様１３記載のコンピュータ実行可能なプログラムが格納されたコンピュータ読み取り可能な記憶媒体。
【０２１０】
【発明の効果】
本発明によれば、紙文書やイメージデータの形態で保存された情報の再利用を容易にするために、入力された画像をベクトルデータに変換することができ、また、ベクトルデータの変換を効率的に行うことができる。
【図面の簡単な説明】
【図１】 本発明に係る画像処理方法の第１実施形態を実施する画像処理システムを示すブロック図である。
【図２】 図１におけるＭＦＰを示すブロック図である。
【図３】 本発明に係る画像処理方法の第１実施形態を示すフローチャ−トである。
【図４】 図３の画像処理方法により処理される原稿と処理結果の画像を示す図である。
【図５】 ブロックセレクション処理で得られるブロック情報および入力ファイル情報を示す表である。
【図６】 原稿の画像からポインタ情報を抽出する処理を示すフローチャートである。
【図７】 ポインタ情報を含む原稿の画像を示す図である。
【図８】 図３の文字領域のベクトル化の処理を示すフローチャートである。
【図９】 図３のファイル検索の処理を示すフローチャートである。
【図１０】 ベクトル化の処理における角抽出の処理を示す図である。
【図１１】 ベクトル化の処理における輪郭線まとめの処理を示す図である。
【図１２】 図３のベクトル化で生成されたベクトルデータのグループ化の処理を示すフローチャートである。
【図１３】 図１２の処理でグループ化されたベクトルデータに対する図形要素検出の処理を示すフローチャートである。
【図１４】 ベクトル化処理結果のデータを示すマップである。
【図１５】 図３のアプリデータ変換の処理を示すフローチャートである。
【図１６】 図１５の文書構造ツリー生成の処理を示すフローチャートである。
【図１７】 文書構造ツリー生成処理の対象となる文書を示す図である。
【図１８】 図１６の処理によって生成される文書構造ツリーを示す図である。
【図１９】 本発明に係る画像処理方法の第２実施形態における特定領域指定の処理を示す図である。
【図２０】 本発明に係る画像処理方法の第３実施形態における特定領域指定の処理を示す図である。
【符号の説明】
１００ ＭＦＰ
１０５ データベース
１０６ 文書管理サーバ
１１０ 画像読み取り装置
１１１ 記憶装置
１１２ 記憶装置
１１５ データ処理装置
Claims (8)
- 画像処理装置の特定領域指定手段が、ユーザからの指示に基づいて、入力画像の特定領域を指定する特定領域指定ステップと、
前記画像処理装置のベクトル化手段が、前記特定領域指定ステップで指定された特定領域のイメージをベクトルデータに変換するベクトル化ステップと、
前記画像処理装置の検索手段が、前記ベクトル化ステップで変換された前記特定領域のベクトルデータに基づいて、データベースから前記特定領域の情報を含むオリジナルデータファイルを検索する検索ステップと、
前記画像処理装置の判定手段が、前記検索ステップで検索されたオリジナルデータファイルが、ラスターデータのファイルであるか、ベクトルデータのファイルであるかを判定する判定ステップと、
前記画像処理装置の出力手段が、前記判定ステップで前記オリジナルデータファイルがラスターデータのファイルであると判定した場合は、前記ベクトル化ステップで変換された前記特定領域のベクトルデータを用いて出力用データファイルを出力し、前記判定ステップで前記オリジナルデータファイルがベクトルデータのファイルであると判定した場合は、前記オリジナルデータファイルを用いて出力用データファイルを出力する出力ステップと
を備えることを特徴とする画像処理方法。 - 前記出力ステップでは、前記判定ステップで前記オリジナルデータファイルがラスターデータのファイルであると判定した場合は、前記ベクトル化ステップで変換された前記特定領域のベクトルデータと、前記入力画像における前記特定領域以外の領域のイメージデータとを合成して出力用データファイルを生成し、当該生成した出力用データファイルを出力することを特徴とする請求項１に記載の画像処理方法。
- 前記出力ステップでは、前記判定ステップで前記オリジナルデータファイルがラスターデータのファイルであると判定した場合は、前記ベクトル化ステップで変換された前記特定領域のベクトルデータと、前記入力画像における前記特定領域以外の領域のイメージデータとを合成し、更に、アプリケーションソフトウエアで扱えるデータ形式に変換することで前記出力用データファイルを生成し、当該生成した出力用データファイルを出力することを特徴とする請求項１に記載の画像処理方法。
- 前記判定ステップでは、前記検索ステップで検索されたオリジナルデータファイルが、ラスターデータのファイルであるか、ベクトルデータまたは文字コードで構成されるファイルであるかを判定し、
前記出力ステップでは、前記判定ステップで前記オリジナルデータファイルがラスターデータのファイルであると判定した場合は、前記ベクトル化ステップで変換された前記特定領域のベクトルデータを用いて出力用データファイルを出力し、前記判定ステップで前記オリジナルデータファイルがベクトルデータまたは文字コードで構成されるファイルであると判定した場合は、前記オリジナルデータファイルを用いて出力用データファイルを出力することを特徴とする請求項１に記載の画像処理方法。 - 前記画像処理装置の領域分割手段が、前記入力画像を、属性毎の領域に分割する領域分割ステップを更に備え、
前記特定領域指定ステップでは、前記領域分割ステップで分割された領域のうち、ユーザにより指定された領域を前記特定領域として指定することを特徴とする請求項１乃至４のいずれかに記載の画像処理方法。 - 前記画像処理装置の画像入力手段が、原稿をスキャンすることによって得られた前記入力画像を入力する画像入力ステップを更に備え、
前記特定領域指定ステップでは、前記画像入力ステップでスキャンした原稿に所定色のマーカーで記載されていた領域を検出し、当該検出した領域を前記特定領域として指定することを特徴とする請求項１乃至４のいずれかに記載の画像処理方法。 - ユーザからの指示に基づいて、入力画像の特定領域を指定する特定領域指定手段と、
前記特定領域指定手段で指定された特定領域のイメージをベクトルデータに変換するベクトル化手段と、
前記ベクトル化手段で変換された前記特定領域のベクトルデータに基づいて、データベースから前記特定領域の情報を含むオリジナルデータファイルを検索する検索手段と、
前記検索手段で検索されたオリジナルデータファイルが、ラスターデータのファイルであるか、ベクトルデータのファイルであるかを判定する判定手段と、
前記判定手段で前記オリジナルデータファイルがラスターデータのファイルであると判定した場合は、前記ベクトル化手段で変換された前記特定領域のベクトルデータを用いて出力用データファイルを出力し、前記判定手段で前記オリジナルデータファイルがベクトルデータのファイルであると判定した場合は、前記オリジナルデータファイルを用いて出力用データファイルを出力する出力手段と
を備えることを特徴とする画像処理装置。 - コンピュータを、
ユーザからの指示に基づいて、入力画像の特定領域を指定する特定領域指定手段、
前記特定領域指定手段で指定された特定領域のイメージをベクトルデータに変換するベクトル化手段、
前記ベクトル化手段で変換された前記特定領域のベクトルデータに基づいて、データベースから前記特定領域の情報を含むオリジナルデータファイルを検索する検索手段、
前記検索手段で検索されたオリジナルデータファイルが、ラスターデータのファイルであるか、ベクトルデータのファイルであるかを判定する判定手段、
前記判定手段で前記オリジナルデータファイルがラスターデータのファイルであると判定した場合は、前記ベクトル化手段で変換された前記特定領域のベクトルデータを用いて出力用データファイルを出力し、前記判定手段で前記オリジナルデータファイルがベクトルデータのファイルであると判定した場合は、前記オリジナルデータファイルを用いて出力用データファイルを出力する出力手段、
として機能させるためのコンピュータ実行可能なコンピュータプログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003121075A JP4323856B2 (ja) | 2003-04-25 | 2003-04-25 | 画像処理方法 |
| US10/775,177 US7391917B2 (en) | 2003-02-13 | 2004-02-11 | Image processing method |
| EP04250777A EP1447767A3 (en) | 2003-02-13 | 2004-02-13 | Image document administration method |
| CNB2004100959058A CN100419782C (zh) | 2003-02-13 | 2004-02-13 | 图象处理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003121075A JP4323856B2 (ja) | 2003-04-25 | 2003-04-25 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004326490A JP2004326490A (ja) | 2004-11-18 |
| JP4323856B2 true JP4323856B2 (ja) | 2009-09-02 |
Family
ID=33499743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003121075A Expired - Fee Related JP4323856B2 (ja) | 2003-02-13 | 2003-04-25 | 画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4323856B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5132416B2 (ja) | 2008-05-08 | 2013-01-30 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
| JP5089482B2 (ja) | 2008-05-12 | 2012-12-05 | キヤノン株式会社 | 情報処理装置、データ処理方法およびプログラム |
| JP2010057017A (ja) | 2008-08-29 | 2010-03-11 | Konica Minolta Business Technologies Inc | 画像処理装置および画像処理方法 |
| CN109584335B (zh) * | 2018-11-16 | 2023-07-07 | 金蝶软件（中国）有限公司 | 图形填充方法、装置、计算机设备和存储介质 |
-
2003
- 2003-04-25 JP JP2003121075A patent/JP4323856B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004326490A (ja) | 2004-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4546291B2 (ja) | 画像処理装置およびその制御方法 | |
| JP4181892B2 (ja) | 画像処理方法 | |
| US7681121B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP4251629B2 (ja) | 画像処理システム及び情報処理装置、並びに制御方法及びコンピュータプログラム及びコンピュータ可読記憶媒体 | |
| JP4681863B2 (ja) | 画像処理装置、および、その制御方法 | |
| US7551753B2 (en) | Image processing apparatus and method therefor | |
| JP4557765B2 (ja) | 画像処理装置およびその方法 | |
| JP2004326491A (ja) | 画像処理方法 | |
| US8520006B2 (en) | Image processing apparatus and method, and program | |
| JP4854491B2 (ja) | 画像処理装置及びその制御方法 | |
| JP4510535B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
| JP2009193356A (ja) | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 | |
| JP2006268352A (ja) | 画像処理装置およびその方法 | |
| JP4227432B2 (ja) | 画像処理方法 | |
| JP2008028716A (ja) | 画像処理方法及び装置 | |
| JP4323856B2 (ja) | 画像処理方法 | |
| JP2007129557A (ja) | 画像処理システム | |
| JP2005149097A (ja) | 画像処理システム及び画像処理方法 | |
| JP2004334340A (ja) | 画像処理方法及び装置 | |
| JP2007074140A (ja) | 画像処理装置及びその制御方法、画像処理システム | |
| JP2006134042A (ja) | 画像処理システム | |
| JP4310176B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2004355315A (ja) | 画像処理方法 | |
| JP2006146486A (ja) | 画像処理装置 | |
| JP2008084127A (ja) | 画像形成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060330 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060606 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090123 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090519 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090605 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130612 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |