JP6662108B2 - 画像変換プログラム及び画像変換装置並びに画像変換方法 - Google Patents

Description

本発明は、画像変換プログラム及び画像変換装置並びに画像変換方法に関し、特に、イメージデータから構造化データを生成する画像変換プログラム及び画像変換装置並びに画像変換方法に関する。

近年、省資源化のために、用紙に印刷した原稿をスキャナなどで読み取ってイメージデータに変換して保存することが行われている。また、イメージデータでは、原稿の中の特定のオブジェクトの検索や原稿の再編集ができないことから、イメージデータをベクターデータ（ベクトルデータとも言う。）に変換し、ベクターデータを保存することも行われている。しかしながら、イメージデータをベクターデータに変換（ベクター変換若しくはベクタライズと言う。）する過程で誤認識が生じる恐れがある。

このような誤認識が生じた場合の対処方法として、例えば、下記特許文献１には、原稿を読み取って得られる原稿画像の画像処理を行う画像処理装置であって、原稿を読み取る読取手段と、前記読取手段で読み取られた原稿画像をベクトルデータに変換する第１変換手段と、前記ベクトルデータをイメージデータに変換する第２変換手段と、前記原稿画像の第１イメージデータと、前記第２変換手段で生成された第２イメージデータとを比較する比較手段と、前記比較手段の比較結果に基づいて、前記原稿画像に対応する電子ファイルとして、前記第１イメージデータあるいは前記ベクトルデータのどちらかを選択する選択手段とを備える画像処理装置が開示されている。

特開２００５−１５７４５０号公報

上記特許文献１では、原稿の元のイメージデータと変換後のイメージデータとの比較結果に基づいて、原稿全体をイメージデータで保存するかベクターデータで保存するかを選択しているが、イメージデータで保存された場合にはテキスト情報やグラフィックス情報が欠損してしまうため、原稿の検索性や再編集性が失われてしまう。

また、別の方法として、ベクタライズ過程で誤認識している可能性のある部分のみをイメージデータで置き換える方法も考えられるが、この方法では、所定の領域内でベクターデータとラスターデータとが混在することになるため、原稿の視認性が悪化する恐れがある。

本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、元の原稿の再現性を確保しつつ、原稿の検索性や再編集性を維持し、かつ、原稿の視認性の悪化を抑制した構造化データを生成することができる画像変換プログラム及び画像変換装置並びに画像変換方法を提供することにある。

本発明の一側面は、ベクタライズ処理とラスタライズ処理とが実行可能な装置で動作する画像変換プログラムであって、前記装置に、画像読取部に原稿を読み取らせた第１の画像データ又は撮像部に原稿を撮像させた第１の画像データを取得する第１処理、前記第１の画像データに対して前記ベクタライズ処理を行って、構造化データに変換する第２処理、前記構造化データを解析して、オブジェクト情報を取得する第３処理、前記構造化データに対して前記ラスタライズ処理を行って、第２の画像データに再変換する第４処理、前記第１の画像データと前記第２の画像データとを比較して、差異部分を抽出する第５処理、前記オブジェクト情報に基づいて、前記差異部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域を特定する第６処理、前記第１の画像データから、前記オブジェクト領域に対応する画像情報を取得する第７処理、前記取得した画像情報を用いて前記構造化データを更新し、更新後の前記構造化データを出力する第８処理、を実行させることを特徴とする。

本発明の一側面の画像変換装置は、画像読取部又は撮像部と、前記画像読取部が原稿を読み取った第１の画像データ又は前記撮像部が原稿を撮像した第１の画像データを取得するデータ取得部と、前記第１の画像データに対してベクタライズ処理を行って、構造化データに変換するベクタライズ処理部と、前記構造化データを解析して、オブジェクト情報を取得する解析部と、前記構造化データに対してラスタライズ処理を行って、第２の画像データに再変換するラスタライズ処理部と、前記第１の画像データと前記第２の画像データとを比較して、差異部分を抽出する比較部と、前記オブジェクト情報に基づいて、前記差異部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域を特定し、前記第１の画像データから、前記オブジェクト領域に対応する画像情報を取得し、前記取得した画像情報を用いて前記構造化データを更新し、更新後の前記構造化データを出力するデータ更新部と、を備えることを特徴とする。

本発明の一側面は、ベクタライズ処理とラスタライズ処理とが実行可能な制御装置と画像読取部又は撮像部を備える装置とを含むシステムにおける画像変換方法であって、前記制御装置は、前記画像読取部に原稿を読み取らせた第１の画像データ又は前記撮像部に原稿を撮像させた第１の画像データを取得する第１処理と、前記第１の画像データに対して前記ベクタライズ処理を行って、構造化データに変換する第２処理と、前記構造化データを解析して、オブジェクト情報を取得する第３処理と、前記構造化データに対して前記ラスタライズ処理を行って、第２の画像データに再変換する第４処理と、前記第１の画像データと前記第２の画像データとを比較して、差異部分を抽出する第５処理と、前記オブジェクト情報に基づいて、前記差異部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域を特定する第６処理と、前記第１の画像データから、前記オブジェクト領域に対応する画像情報を取得する第７処理と、前記取得した画像情報を用いて前記構造化データを更新し、更新後の前記構造化データを出力する第８処理と、を実行することを特徴とする。

本発明の画像変換プログラム及び画像変換装置並びに画像変換方法によれば、元の原稿の再現性を確保しつつ、原稿の検索性や再編集性を維持し、かつ、原稿の視認性の悪化を抑制した構造化データを生成することができる。

その理由は、画像変換装置（画像変換プログラム）は、画像読取部に原稿を読み取らせた第１の画像データ又は撮像部に原稿を撮像させた第１の画像データを取得し、第１の画像データに対してベクタライズ処理を行って構造化データに変換し、構造化データを解析してオブジェクト情報を取得し、構造化データに対してラスタライズ処理を行って第２の画像データに再変換し、第１の画像データと第２の画像データとを比較して差異部分を抽出し、オブジェクト情報に基づいて、差異部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域を特定し、第１の画像データからオブジェクト領域に対応する画像情報を取得し、取得した画像情報を用いて構造化データを更新し、更新後の構造化データを出力するからである。

本発明の一実施例に係る画像変換システムの一例を示す模式図である。 本発明の一実施例に係る画像変換システムの他の例を示す模式図である。 本発明の一実施例に係る画像変換システムの他の例を示す模式図である。 本発明の一実施例に係る画像変換システムの他の例を示す模式図である。 本発明の一実施例に係る画像変換システムの他の例を示す模式図である。 本発明の一実施例に係る画像変換システムの他の例を示す模式図である。 本発明の一実施例に係る画像変換装置の構成を示すブロック図である。 本発明の一実施例に係る画像形成装置の構成を示すブロック図である。 本発明の一実施例に係る画像変換装置の動作を示すフローチャート図である。 本発明の一実施例に係る入力画像の一例である。 本発明の一実施例に係る構造化データの文書作成アプリケーションによる表示画像の一例である。 本発明の一実施例に係るテキストオブジェクトから文字列を認識する様子を説明する図である。 本発明の一実施例に係るグラフィックスオブジェクトから図形を認識する様子を説明する図である。 図１１の構造化データのオブジェクト領域の分類例を示す図である。 本発明の一実施例に係る構造化データのラスタライズ結果を示す図である。 本発明の一実施例に係る図形１の比較結果の一例である。 本発明の一実施例に係る図形１の比較結果を画素レベルで示す図である。 本発明の一実施例に係る更新対象のオブジェクト領域の特定処理を説明する図であり、（ａ）は差異部分を示す図、（ｂ）は差異部分に配置されるオブジェクトの位置を示す図、（ｃ）は更新対象のオブジェクト領域を示す図である。 本発明の一実施例に係る更新後の構造化データの文書作成アプリケーションによる表示画像の一例である。 本発明の一実施例に係る入力画像の他の例である。 図２０の構造化データのオブジェクト領域の分類例を示す図である。

背景技術で示したように、用紙に印刷した原稿をスキャナなどで読み取ってイメージデータに変換し、イメージデータをベクターデータに変換して保存することが行われているが、イメージデータをベクターデータに変換するベクタライズ過程で誤認識が生じる場合がある。この問題に対して、特許文献１では、元のイメージデータと変換後のイメージデータとの比較結果に基づいて、原稿全体をイメージデータで保存するかベクターデータで保存するかを選択しているが、イメージデータで保存された場合には、原稿の検索性や再編集性が失われてしまう。また、ベクタライズ過程で誤認識している部分のみをイメージデータで置き換える方法もあるが、この方法では、所定の領域内でベクターデータとラスターデータとが混在するため、原稿の視認性が悪化する恐れがある。

そこで、本発明の一実施の形態では、入力されたイメージデータをベクタライズして構造化データに変換し、構造化データをラスタライズしてイメージデータに再度変換し、入力されたイメージデータと変換されたイメージデータとを比較して差異部分を抽出し、当該差異部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域を特定し、特定したオブジェクト領域全体を入力されたイメージデータを用いて更新する（構造化データの特定したオブジェクト領域をイメージデータで置き換えるか、構造化データの特定したオブジェクト領域をイメージデータで上書きする指示データを作成する）ようにする。

このように、入力されたイメージデータのベクタライズ過程で誤変換された部分だけでなく、当該部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域全体を入力されたイメージデータで更新することにより、元の原稿の再現性を確保しつつ、原稿の検索性や再編集性を維持し、かつ、原稿の視認性の悪化を抑制した構造化データを生成することができる。

上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る画像変換プログラム及び画像変換装置並びに画像変換方法について、図１乃至図２１を参照して説明する。図１乃至図６は、本実施例の画像変換システムの一例を示す模式図であり、図７は、画像変換装置の構成を示すブロック図、図８は、画像形成装置の構成を示すブロック図である。また、図９は、本実施例の画像変換装置の動作を示すフローチャート図であり、図１０乃至図２１は、本実施例の画像変換方法を説明する図である。

図１に示すように、本実施例の画像変換システム１０は、ベクタライズ処理とラスタライズ処理とが実行可能な画像変換装置２０と、用紙に印刷された原稿からイメージデータを読み取る画像読取部を備えるＭＦＰ（Multi-Functional Peripherals）などの画像形成装置３０と、で構成される。これらは、IEEE1394、Parallelなどを用いて接続、若しくは、イーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等のネットワークを介して接続されている。

なお、図１では、画像変換システム１０を画像変換装置２０と画像形成装置３０とで構成したが、図２に示すように、画像変換システム１０を画像変換装置２０とスキャナなどの画像読取装置４０とで構成してもよい。また、用紙に印刷された原稿をカメラなどで撮像してイメージデータを取得する場合は、図３に示すように、画像変換システム１０を画像変換装置２０と撮像装置５０とで構成してもよい。また、画像形成装置３０や画像読取装置４０、撮像装置５０が、ベクタライズ処理及びラスタライズ処理が実行可能な場合は、図４乃至図６に示すように、画像変換システム１０を画像形成装置３０や画像読取装置４０、撮像装置５０単独で構成（すなわち、画像形成装置３０や画像読取装置４０、撮像装置５０を画像変換装置として機能させる構成）としてもよい。以下、図１の構成を前提にして各装置について詳細に説明する。

［画像変換装置］
画像変換装置２０は、パーソナルコンピュータなどのコンピュータ装置、画像形成装置３０や画像読取装置４０、撮像装置５０を制御する制御装置、スマートフォンやタブレットなどの携帯端末などであり、図７（ａ）に示すように、制御部２１、記憶部２５、ネットワークＩ／Ｆ部２６、表示部２７、操作部２８などで構成される。

制御部２１は、ＣＰＵ（Central Processing Unit）２２とＲＯＭ（Read Only Memory）２３やＲＡＭ（Random Access Memory）２４などのメモリとで構成され、ＣＰＵ２２は、ＲＯＭ２３や記憶部２５に記憶した制御プログラム（構造化データを表示可能な文書表示アプリケーションを含む。）をＲＡＭ２４に展開して実行することにより、画像変換装置２０全体の動作を制御する。また、上記制御部２１は、図７（ｂ）に示すように、データ取得部２１ａ、ベクタライズ処理部２１ｂ、解析部２１ｃ、ラスタライズ処理部２１ｄ、比較部２１ｅ、データ更新部２１ｆなどとして機能する。

データ取得部２１ａは、画像形成装置３０から画像読取部３８が原稿をスキャンして得たイメージデータ（第１の画像データ）を入力画像として取得する。なお、図２のシステム構成の場合は、画像読取装置４０が原稿をスキャンして得たイメージデータを取得し、図３のシステム構成の場合は、撮像装置５０が原稿を撮像して得たイメージデータを取得する。

ベクタライズ処理部２１ｂは、取得した入力画像に対して、公知の領域判別処理を実施し、入力画像をテキスト領域とグラフィックス領域とイメージ領域とに分類した後、公知のベクタライズ処理を実施して、ベクターデータに変換する。具体的には、テキスト領域は、公知のＯＣＲ（Optical Character Recognition）処理を実施してテキストコードに変換し、グラフィックス領域は、図形の描画コマンドに変換する。そして、ベクタライズ処理部２１ｂは、ベクタライズ処理の結果に基づいて、ベクターデータを文書表示アプリケーションで表示可能な構造化データに変換する。なお、文書表示アプリケーションは、例えば、Microsoft（登録商標）のWord（登録商標）、Excel（登録商標）、PowerPoint（登録商標）、Adobe（登録商標）のAcrobat（登録商標）などである。また、構造化データとは、ＰＤＦ（Portable Document Format）やＯＤＦ（OpenDocument Format）、ＯＯＸＭＬ（Office Open XML）のフォーマットなどで記述されたデータであり、オブジェクト毎に属性を記述したデータである。

解析部２１ｃは、構造化データを解析し、オブジェクト情報を取得する。具体的には、構造化データに含まれるオブジェクトの属性及び描画位置の情報を取得すると共に、オブジェクトの相互関係に基づいて、各々の属性のオブジェクトの描画領域を分割したオブジェクト領域を設定する。具体的には、テキスト領域に対しては、テキストコードからスペースやカンマ、ピリオドなどの位置を特定し、特定した位置から文字列を認識し、各々の文字列の位置情報を取得する。そして、認識した文字列の位置関係（上下の位置情報、左右のオブジェクトの種別）からテキスト領域を設定する。また、グラフィックス領域に対しては、描画コマンドから図形を認識し、各々の図形の位置情報を取得する。そして、認識した各々の図形の連結性や接近性などからグラフィックス領域を設定する。

ラスタライズ処理部２１ｄは、ＲＩＰ（Raster Image Processor）により、ベクタライズ処理部２１ｂによって生成された構造化データに対して、公知のラスタライズ処理を行って、イメージデータ（第２の画像データ）に再変換する。

比較部２１ｅは、入力されたイメージデータ（第１の画像データ）と再変換されたイメージデータ（第２の画像データ）とを比較し、差異部分を抽出する。このイメージデータの比較は、解析部２１ｃが設定したオブジェクト領域毎に画素単位で比較し、差異がある画素の数（若しくは、当該オブジェクト領域の全画素数に対する差異がある画素の数の割合）が所定の閾値を超える部分がある場合、その部分を差異部分として抽出する。なお、上記閾値は、オブジェクトの属性に応じて異なる値に設定してもよい。また、比較部２１ｅは、必要に応じて、入力されたイメージデータと再変換されたイメージデータとの比較結果（差異部分を明示する画像）を表示部２７に表示させ、差異部分に対して後述する構造化データの更新を行うか否かの選択操作を受け付ける。

データ更新部２１ｆは、差異部分が抽出されたか否かを判断し、差異部分が抽出された場合は、オブジェクト情報に基づいて、差異部分に配置されるオブジェクトが属するオブジェクト領域を特定し、入力画像から、特定したオブジェクト領域に対応する画像情報を取得し、取得した画像情報を用いて構造化データを更新し、更新後の構造化データを出力（例えば、記憶部２５などに保存）する。具体的には、構造化データの特定したオブジェクト領域を、当該オブジェクト領域に対応する入力画像に置き換えたり、構造化データの特定したオブジェクト領域に、当該オブジェクト領域に対応する入力画像を上書きする指示データを作成したりする。また、データ更新部２１ｆは、必要に応じて、特定したオブジェクト領域を入力画像で更新した結果（更新後の構造化データを文書表示アプリケーションで表示した表示画像）を表示部２７に表示させ、構造化データの更新を採用するか否かの選択操作を受け付ける。

なお、データ取得部２１ａ、ベクタライズ処理部２１ｂ、解析部２１ｃ、ラスタライズ処理部２１ｄ、比較部２１ｅ、データ更新部２１ｆは、ハードウェアとして構成してもよいし、制御部２１を、データ取得部２１ａ、ベクタライズ処理部２１ｂ、解析部２１ｃ、ラスタライズ処理部２１ｄ、比較部２１ｅ、データ更新部２１ｆとして機能させる画像変換プログラムとして構成し、当該画像変換プログラムをＣＰＵ２２に実行させるようにしてもよい。

記憶部２５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ２２が各部を制御するためのプログラム、自装置の処理機能に関する情報、入力されたイメージデータ、ベクタライズ処理部２１ｂが変換した構造化データ、ラスタライズ処理部２１ｄが構造化データから再変換したイメージデータ、比較部２１ｅの比較結果、データ更新部２１ｆが更新した構造化データなどを記憶する。

ネットワークＩ／Ｆ部２６は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、画像変換装置２０を画像形成装置３０に接続し、画像形成装置３０からイメージデータを取得する。

表示部２７は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electroluminescence）表示装置などで構成され、比較部２１ｅの比較結果（差異部分を明示する画像）、データ更新部２１ｆの更新結果（更新後の構造化データを文書表示アプリケーションで表示した表示画像）などを表示する。

操作部２８は、マウスやキーボードなどで構成され、比較部２１ｅの比較結果に対する選択操作、データ更新部２１ｆの更新結果に対する選択操作などを可能にする。

［画像形成装置］
画像形成装置３０は、ＭＦＰなどであり、図８に示すように、制御部３１、記憶部３５、ネットワークＩ／Ｆ部３６、表示操作部３７、画像読取部３８、印刷処理部３９などで構成される。

制御部３１は、ＣＰＵ３２とＲＯＭ３３やＲＡＭ３４などのメモリとで構成され、ＣＰＵ３２は、ＲＯＭ３３や記憶部３５に記憶した制御プログラムをＲＡＭ３４に展開して実行することにより、画像形成装置３０全体の動作を制御する。

記憶部３５は、ＨＤＤやＳＳＤなどで構成され、ＣＰＵ３２が各部を制御するためのプログラム、自装置の処理機能に関する情報、画像読取部３８が読み取ったイメージデータなどを記憶する。

ネットワークＩ／Ｆ部３６は、ＮＩＣやモデムなどで構成され、画像形成装置３０を画像変換装置２０に接続し、画像変換装置２０にイメージデータなどを送信する。

表示操作部３７は、表示部上に透明電極が格子状に配置された感圧式の操作部（タッチセンサ）を設けたタッチパネルなどであり、印刷処理に関する各種画面を表示し、印刷に関する各種操作を可能にする。

画像読取部３８は、原稿台上に載置された原稿からイメージデータを光学的に読み取る部分であり、原稿を走査する光源と、原稿で反射された光を電気信号に変換するＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサと、イメージセンサから出力される電気信号をＡ／Ｄ変換するＡ／Ｄ変換器等により構成される。

印刷処理部３９は、印刷処理を実行する印刷エンジンである。具体的には、帯電装置により帯電された感光体ドラムに露光装置から画像に応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を転写ベルトに１次転写し、転写ベルトから用紙に２次転写し、更に定着装置で用紙上のトナー像を定着させる処理を行う。
［画像読取装置］
画像読取装置４０は、画像読取部を備えるスキャナなどであり、画像読取部は、画像形成装置３０の画像読取部３８と同様に、原稿台上に載置された原稿からイメージデータを光学的に読み取る。具体的には、原稿を走査する光源と、原稿で反射された光を電気信号に変換するＣＣＤやＣＭＯＳ等のイメージセンサと、電気信号をＡ／Ｄ変換するＡ／Ｄ変換器等により構成される。
［撮像装置］
撮像装置５０は、撮像部を備えるデジタルカメラなどであり、撮像部は、原稿を撮像してイメージデータを光学的に読み取る。具体的には、レンズやファインダなどの光学系と、ＣＣＤやＣＭＯＳ等のイメージセンサと、イメージセンサから出力される電気信号をＡ／Ｄ変換するＡ／Ｄ変換器等により構成される。

なお、図１乃至図８は、本実施例の画像変換システム１０の一例であり、その構成は適宜変更可能である。例えば、図７では、画像変換装置２０の制御部２１をデータ取得部２１ａ、ベクタライズ処理部２１ｂ、解析部２１ｃ、ラスタライズ処理部２１ｄ、比較部２１ｅ、データ更新部２１ｆとして機能させる場合を示したが、画像形成装置３０の制御部３１（若しくは画像読取装置４０や撮像装置５０の制御部）を、データ取得部、ベクタライズ処理部、解析部、ラスタライズ処理部、比較部、データ更新部として機能させる（画像形成装置３０や画像読取装置４０、撮像装置５０にデータ取得部、ベクタライズ処理部、解析部、ラスタライズ処理部、比較部、データ更新部を設ける）構成としてもよい。

以下、図１の構成の画像変換システム１０の画像変換装置２０を用いた画像変換方法について説明する。ＣＰＵ２２は、ＲＯＭ２３又は記憶部２５に記憶した画像変換プログラムをＲＡＭ２４に展開して実行することにより、図９のフローチャート図に示す各ステップの処理を実行する。

まず、制御部２１（データ取得部２１ａ）は、ネットワークＩ／Ｆ部２６を介して、画像形成装置３０の画像読取部３８や画像読取装置４０が原稿をスキャンして得たイメージデータや、撮像装置５０が原稿を撮像して得たイメージデータを入力画像として取得する（Ｓ１０１）。図１０は、入力画像６０の一例であり、この入力画像６０には、テキストオブジェクトとグラフィックスオブジェクトとイメージオブジェクトとが含まれている。

次に、制御部２１（ベクタライズ処理部２１ｂ）は、入力画像に対して領域判別処理を実施して、図１０に示すように、入力画像をテキスト領域６０ａとグラフィックス領域６０ｂとイメージ領域６０ｃとに分類した後、ベクタライズ処理を実施してベクターデータに変換する（Ｓ１０２）。具体的には、テキスト領域６０ａと判断された領域は、公知のＯＣＲ処理を実施してテキストコードに変換する。また、グラフィックス領域６０ｂと判断された領域は、図形の描画コマンドに変換する。

次に、制御部２１（ベクタライズ処理部２１ｂ）は、ベクタライズ処理の結果に基づいて、ベクターデータを文書表示アプリケーションで表示可能な構造化データに変換する（Ｓ１０３）。構造化データは、上述したように、ＰＤＦやＯＤＦ、ＯＯＸＭＬのフォーマットで記述されたデータである。図１１に、構造化データの表示画像６１（文書表示アプリケーションで表示した時の表示結果）を示す。この例では、太い破線で囲んだ２箇所がベクタライズ過程で誤変換されており、「Ｂ＆Ｗ」の文字が「ＢＢＷ」に、楕円の図形が正円に誤変換されている。

次に、制御部２１（解析部２１ｃ）は、構造化データを解析し、オブジェクト情報を取得する（Ｓ１０４）。具体的には、構造化データに含まれるオブジェクトの属性及び描画位置の情報を取得すると共に、オブジェクトの相互関係に基づいて、各々の属性のオブジェクトの描画領域を分割したオブジェクト領域（テキスト領域やグラフィックス領域）を設定する。このオブジェクト領域は、後述するデータ更新にて入力画像に置き換える範囲を規定する（更新対象となる）領域である。

図１２は、テキスト領域の設定例を示している。例えば、図１２（ａ）の文章を例にして説明すると、ＯＣＲ処理により各文字はテキストコードに変換される。次に、スペースやカンマ、ピリオドの位置などから文字列を認識する。図１２（ｂ）は、文字列を認識した結果である。この例では、９つの文字列が認識されている。そして、認識した各文字列の位置関係（上下の位置情報、左右のオブジェクトの種別）から更新対象となるテキスト領域（例えば、行毎のテキスト領域）を設定する。

図１３は、グラフィックス領域の設定例を示している。例えば、図１３（ａ）の図形を例にして説明すると、この図形は、図１１の構造化データの表示画像６１の左下のオブジェクトであり、図１３（ｂ）に示すように図形１〜図形５の５つの図形で表現されている。そして、各々の図形の連結性／接近性から更新対象となるグラフィックス領域（ここでは、５つの図形を含むグラフィックス領域）を設定する。

図１４は、図１１の構造化データの表示画像６１をオブジェクト領域で分類した図である。この例では、１２個のテキスト領域（Text１〜Text１２）と１個のイメージ領域（Image１）と２個のグラフィックス領域（Graphics１〜Graphics２）とに分類されている。なお、図１４の分類は一例であり、適宜変更可能である。例えば、図１４では、テキストオブジェクトを行毎に分類しているが、テキストオブジェクトを段落毎に分類し、Text１〜Text７、Text８〜Text１２を各々１つのテキスト領域としたり、ピリオドまでを１つのテキスト領域としたりしてもよい。

次に、制御部２１（ラスタライズ処理部２１ｄ）は、構造化データに対してラスタライズ処理を行って画像化し、イメージデータ（第２の画像データ）に再変換する（Ｓ１０５）。図１５は、構造化データのラスタライズ結果６２を示す図である。基本的に見た目は図１１の構造化データの表示画像６１（文書表示アプリケーションで表示した時の表示結果）と同様である。

次に、制御部２１（比較部２１ｅ）は、図１０の入力画像６０（第１の画像データ）と、図１５の構造化データのラスタライズ結果６２（第２の画像データ）とを比較し、差異部分を抽出する（Ｓ１０６）。このイメージデータの比較は、図１４に示すオブジェクト領域毎に行う。

図１６は、図１３の図形１に着目した比較結果を示しており、図１０の入力画像６０と図１５の構造化データのラスタライズ結果６２とを比較すると図１６のような重ね合わせになる。図１７は、図１６を画素単位で比較した図である。この例では、太い実線の四角が図１５における図形１（正円）を構成する画素で、ハッチング部分が図１０における図形１（楕円）の横曲線を構成する画素である。図１７の例では、１００個の画素で正円が構成されており、横曲線と交差する画素を一致画素とすると、１３画素が一致し、横曲線と交差していない画素を不一致画素とすると、８７画素が一致しない。その結果、正円を構成する画素に対しては、不一致率は８７％となる。ここで、全画素に対する不一致画素の割合の閾値を２０％とすると、この領域の割合は閾値を超えるため差異部分と判定される。なお、ここでは全画素に対する不一致画素の割合と閾値とを比較したが、不一致画素の数と閾値とを比較してもよい。また、これらの閾値はオブジェクトの属性に応じて個別に設定可能である。

次に、制御部２１（データ更新部２１ｆ）は、差異部分が抽出されたかを判断する（Ｓ１０７）。差異部分が抽出されなかった場合は、制御部２１（データ更新部２１ｆ）は、構造化データをそのまま出力（例えば、記憶部２５などに保存）する（Ｓ１１１）。一方、差異部分が抽出された場合は、制御部２１（データ更新部２１ｆ）は、差異部分に配置されるオブジェクトが属するオブジェクト領域を特定する（Ｓ１０８）。図１８は、オブジェクト領域の特定処理を説明する図であり、図１８（ａ）は、抽出された差異部分を示し、図１８（ｂ）は、抽出された差異部分に配置されるオブジェクトの位置を示している。図１８（ｂ）の位置から、上記オブジェクトが属するオブジェクト領域を特定する。図１８（ｃ）は、特定したオブジェクト領域（Text９、Graphics１）をハッチングで示している。

次に、制御部２１（データ更新部２１ｆ）は、入力画像から、特定したオブジェクト領域に対応する画像情報を取得し（Ｓ１０９）、取得した画像情報を用いて構造化データを更新する（Ｓ１１０）。図１９は、特定したオブジェクト領域（Text９、Graphics１）を入力画像の画像情報に置き替えた更新後の構造化データの表示画像６３（文書表示アプリケーションで表示した時の表示結果）の一例である。ここでは、構造化データの更新部分を分かりやすくするために、入力画像の画像情報に置き替えた部分を太線で強調表示している。その後、制御部２１（データ更新部２１ｆ）は、更新した構造化データを出力（例えば、記憶部２５などに保存）する（Ｓ１１１）。

このように、入力されたイメージデータのベクタライズ処理で誤変換された部分だけでなく、当該部分に配置されるオブジェクトが属するオブジェクト領域全体を入力されたイメージデータで更新して、関連領域を同一の属性のオブジェクトで統一することにより、元の原稿の再現性を確保しつつ、原稿の検索性や再編集性を維持し、かつ、原稿の視認性の悪化を抑制した構造化データを生成することができる。

なお、上記フローでは、画像変換プログラムが、構造化データのオブジェクト領域を自動的に入力画像に置き換えたが、制御部２１（比較部２１ｅ）は、比較結果（差異部分を明示する画像）を表示部２７に表示させ、差異部分に対して構造化データの更新を行うか否かをユーザに選択させたり（選択操作を受け付けたり）、制御部２１（データ更新部２１ｆ）は、更新結果（更新後の構造化データを文書表示アプリケーションで表示した表示画像）を表示部２７に表示して、構造化データの更新を採用するか否かをユーザに選択させたり（選択操作を受け付けたり）してもよい。

また、更新対象のオブジェクト領域の特定において、イメージ領域に含まれる文字列がテキスト領域と判断された場合には、テキスト領域を含むイメージ領域全体を入力画像で置き換えることも可能である。図２０は、イメージ領域にテキスト領域（「bizhub PRESS C8000」の文字列）が含まれる入力画像の一例であり、図２１は、この入力画像をベクタライズして変換した構造化データをオブジェクト領域で分類した図である。この例では、Text８とText９のエリア（テキスト領域）がImage１のエリア（イメージ領域）に包含されているため、Text８又はText９から差異部分が抽出された場合、構造化データ中のImage１を置き換えて構造化データを更新することができる。

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。

例えば、上記実施例では、テキストオブジェクトとグラフィックスオブジェクトとイメージオブジェクトを含む原稿やテキストオブジェクトとイメージオブジェクトを含む原稿を例にして説明したが、少なくともテキストオブジェクト又はグラフィックスオブジェクトを含む原稿に対して本発明の画像変換方法を同様に適用することができる。

また、上記実施例では、更新した構造化データを画像変換装置２０の記憶部２５などに保存する場合を示したが、更新した構造化データは画像変換装置２０に接続される外部の記憶装置（クラウドのサーバなど）に保存してもよい。

本発明は、イメージデータから構造化データを生成する画像変換プログラム及び当該画像変換プログラムを記録した記録媒体並びに当該画像変換プログラムが動作する画像変換装置並びに当該画像変換装置を含む画像変換システムにおける画像変換方法に利用可能である。

１０ 画像変換システム
２０ 画像変換装置
２１ 制御部
２１ａ データ取得部
２１ｂ ベクタライズ処理部
２１ｃ 解析部
２１ｄ ラスタライズ処理部
２１ｅ 比較部
２１ｆ データ更新部
２２ ＣＰＵ
２３ ＲＯＭ
２４ ＲＡＭ
２５ 記憶部
２６ ネットワークＩ／Ｆ部
２７ 表示部
２８ 操作部
３０ 画像形成装置
３１ 制御部
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ 記憶部
３６ ネットワークＩ／Ｆ部
３７ 表示操作部
３８ 画像読取部
３９ 印刷処理部
４０ 画像読取装置
５０ 撮像装置
６０、７０ 入力画像
６０ａ テキスト領域
６０ｂ グラフィックス領域
６０ｃ イメージ領域
６１ 構造化データの表示画像
６２ 構造化データのラスタライズ結果
６３ 更新後の構造化データの表示画像

Claims (23)

1. ベクタライズ処理とラスタライズ処理とが実行可能な装置で動作する画像変換プログラムであって、
   前記装置に、
   画像読取部に原稿を読み取らせた第１の画像データ又は撮像部に原稿を撮像させた第１の画像データを取得する第１処理、
   前記第１の画像データに対して前記ベクタライズ処理を行って、構造化データに変換する第２処理、
   前記構造化データを解析して、オブジェクト情報を取得する第３処理、
   前記構造化データに対して前記ラスタライズ処理を行って、第２の画像データに再変換する第４処理、
   前記第１の画像データと前記第２の画像データとを比較して、差異部分を抽出する第５処理、
   前記オブジェクト情報に基づいて、前記差異部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域を特定する第６処理、
   前記第１の画像データから、前記オブジェクト領域に対応する画像情報を取得する第７処理、
   前記取得した画像情報を用いて前記構造化データを更新し、更新後の前記構造化データを出力する第８処理、を実行させる、
   ことを特徴とする画像変換プログラム。
2. 前記第３処理では、前記構造化データに含まれるオブジェクトの属性及び描画位置、各々の属性のオブジェクトの描画領域を分割したオブジェクト領域の情報を取得する、
   ことを特徴とする請求項１に記載の画像変換プログラム。
3. 前記第３処理では、前記構造化データに含まれるオブジェクトの相互関係に基づいて、前記オブジェクト領域を設定する、
   ことを特徴とする請求項２に記載の画像変換プログラム。
4. 前記第５処理では、前記オブジェクト領域毎に、差異がある画素の数又は割合が予め定められた閾値を超える部分を抽出する、
   ことを特徴とする請求項２又は３に記載の画像変換プログラム。
5. 前記第５処理では、前記オブジェクトの属性に応じて、前記閾値を設定する、
   ことを特徴とする請求項４に記載の画像変換プログラム。
6. 前記第６処理では、前記差異部分がテキスト領域であり、前記テキスト領域がイメージ領域に包含されている場合は、前記イメージ領域を前記オブジェクト領域として特定する、
   ことを特徴とする請求項２乃至５のいずれか一に記載の画像変換プログラム。
7. 前記第５処理では、前記差異部分を明示する画像を表示部に表示させ、前記構造化データを更新するか否かの選択操作を受け付ける、
   ことを特徴とする請求項１乃至６のいずれか一に記載の画像変換プログラム。
8. 前記第８処理では、更新後の前記構造化データの表示画像を表示部に表示させ、前記構造化データの更新を採用するか否かの選択操作を受け付ける、
   ことを特徴とする請求項１乃至７のいずれか一に記載の画像変換プログラム。
9. 前記構造化データは、ＰＤＦ（Portable Document Format）、ＯＤＦ（OpenDocument Format）、又は、ＯＯＸＭＬ（Office Open XML）のフォーマットで記述されたデータである、
   ことを特徴とする請求項１乃至８のいずれか一に記載の画像変換プログラム。
10. 画像読取部又は撮像部と、
    前記画像読取部が原稿を読み取った第１の画像データ又は前記撮像部が原稿を撮像した第１の画像データを取得するデータ取得部と、
    前記第１の画像データに対してベクタライズ処理を行って、構造化データに変換するベクタライズ処理部と、
    前記構造化データを解析して、オブジェクト情報を取得する解析部と、
    前記構造化データに対してラスタライズ処理を行って、第２の画像データに再変換するラスタライズ処理部と、
    前記第１の画像データと前記第２の画像データとを比較して、差異部分を抽出する比較部と、
    前記オブジェクト情報に基づいて、前記差異部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域を特定し、前記第１の画像データから、前記オブジェクト領域に対応する画像情報を取得し、前記取得した画像情報を用いて前記構造化データを更新し、更新後の前記構造化データを出力するデータ更新部と、を備える、
    ことを特徴とする画像変換装置。
11. 前記解析部は、前記構造化データに含まれるオブジェクトの属性及び描画位置、各々の属性のオブジェクトの描画領域を分割したオブジェクト領域の情報を取得する、
    ことを特徴とする請求項１０に記載の画像変換装置。
12. 前記解析部は、前記構造化データに含まれるオブジェクトの相互関係に基づいて、前記オブジェクト領域を設定する、
    ことを特徴とする請求項１１に記載の画像変換装置。
13. 前記比較部は、前記オブジェクト領域毎に、差異がある画素の数又は割合が予め定められた閾値を超える部分を抽出する、
    ことを特徴とする請求項１１又は１２に記載の画像変換装置。
14. 前記比較部は、前記オブジェクトの属性に応じて、前記閾値を設定する、
    ことを特徴とする請求項１３に記載の画像変換装置。
15. 前記データ更新部は、前記差異部分がテキスト領域であり、前記テキスト領域がイメージ領域に包含されている場合は、前記イメージ領域を前記オブジェクト領域として特定する、
    ことを特徴とする請求項１１乃至１４のいずれか一に記載の画像変換装置。
16. 前記構造化データは、ＰＤＦ（Portable Document Format）、ＯＤＦ（OpenDocument Format）、又は、ＯＯＸＭＬ（Office Open XML）のフォーマットで記述されたデータである、
    ことを特徴とする請求項１０乃至１５のいずれか一に記載の画像変換装置。
17. ベクタライズ処理とラスタライズ処理とが実行可能な制御装置と画像読取部又は撮像部を備える装置とを含むシステムにおける画像変換方法であって、
    前記制御装置は、
    前記画像読取部に原稿を読み取らせた第１の画像データ又は前記撮像部に原稿を撮像させた第１の画像データを取得する第１処理と、
    前記第１の画像データに対して前記ベクタライズ処理を行って、構造化データに変換する第２処理と、
    前記構造化データを解析して、オブジェクト情報を取得する第３処理と、
    前記構造化データに対して前記ラスタライズ処理を行って、第２の画像データに再変換する第４処理と、
    前記第１の画像データと前記第２の画像データとを比較して、差異部分を抽出する第５処理と、
    前記オブジェクト情報に基づいて、前記差異部分に配置されるオブジェクトが属する所定範囲のオブジェクト領域を特定する第６処理と、
    前記第１の画像データから、前記オブジェクト領域に対応する画像情報を取得する第７処理と、
    前記取得した画像情報を用いて前記構造化データを更新し、更新後の前記構造化データを出力する第８処理と、を実行する、
    ことを特徴とする画像変換方法。
18. 前記第３処理では、前記構造化データに含まれるオブジェクトの属性及び描画位置、各々の属性のオブジェクトの描画領域を分割したオブジェクト領域の情報を取得する、
    ことを特徴とする請求項１７に記載の画像変換方法。
19. 前記第３処理では、前記構造化データに含まれるオブジェクトの相互関係に基づいて、前記オブジェクト領域を設定する、
    ことを特徴とする請求項１８に記載の画像変換方法。
20. 前記第５処理では、前記オブジェクト領域毎に、差異がある画素の数又は割合が予め定められた閾値を超える部分を抽出する、
    ことを特徴とする請求項１８又は１９に記載の画像変換方法。
21. 前記第５処理では、前記オブジェクトの属性に応じて、前記閾値を設定する、
    ことを特徴とする請求項２０に記載の画像変換方法。
22. 前記第６処理では、前記差異部分がテキスト領域であり、前記テキスト領域がイメージ領域に包含されている場合は、前記イメージ領域を前記オブジェクト領域として特定する、
    ことを特徴とする請求項１８乃至２１のいずれか一に記載の画像変換方法。
23. 前記構造化データは、ＰＤＦ（Portable Document Format）、ＯＤＦ（OpenDocument Format）、又は、ＯＯＸＭＬ（Office Open XML）のフォーマットで記述されたデータである、
    ことを特徴とする請求項１７乃至２２のいずれか一に記載の画像変換方法。

Images