JP6474161B2

JP6474161B2 - 画像処理装置、画像処理方法および画像処理プログラム

Info

Publication number: JP6474161B2
Application number: JP2016036176A
Authority: JP
Inventors: 浩章島
Original assignee: Skycom Corp
Current assignee: Skycom Corp
Priority date: 2016-02-26
Filing date: 2016-02-26
Publication date: 2019-02-27
Anticipated expiration: 2036-02-26
Also published as: JP2017153040A

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来、領収書や契約書、証明書面等の重要文書は、紙である原本をファイリングし保存することが原則であった。しかし、近年では管理の効率化や省力化を図るため、また電子データでの管理を認める法律の整備に伴い電子データで管理されることが多くなっている。重要文書の電子データでの管理は、紙での管理より容易ではあるが、年々増え続けていくデータを管理するシステムが必要であるとともに、通信ネットワークや記憶領域の負荷を軽減するためにデータ量を低減する必要がある。このような課題に対応する技術として、紙文書をスキャナで読み取り、読み取ったスキャン画像に対し、ユーザが設定したスキャン条件の解像度、色数、色合い等で画像処理を施し、設定された所定の画像フォーマット形式に変換する技術が開示される（特許文献１参照）。

特開２００８−２８８６８６号公報

しかしながら、特許文献１に記載された技術は、ユーザが設定したスキャン条件によって画像処理される技術であるため、領収書やパスポートのように様々な形式や文字の大きさ、色使いである文書を大量に適切に読取ることは、ユーザに多大な作業負担を与えてしまうという問題があった。

本発明は、上記に鑑みてなされたものであって、ユーザに作業負担を掛けることなく、文字を含む画像データのデータ量を低減することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上述した課題を解決するために、本発明では、画像データに対し文字認識することによって認識された第１のテキストデータを抽出し、画像データの解像度を変更した変換画像データを生成し、変換画像データを文字認識することによって認識された第２のテキストデータを抽出し、第１のテキストデータと第２のテキストデータとを対比し、第１のテキストデータに対し第２のテキストデータが一致しない割合を示す不一致度が所定の範囲内であるか否かを判断し、不一致度が所定の範囲内であると判断した場合に、画像データを変換画像データに置き換えることを特徴とする。

上記のように構成した本発明によれば、ユーザに作業負担を掛けることなく、文字を含む画像データのデータ量を低減することができるという効果を奏する。

本実施例にかかるＰＤＦファイル生成システム１０の構成を示すブロック図である。レイアウトテンプレート記憶部１１０のデータ構成の一例を示す説明図である。サーバ１００および情報端末装置２００が実行するＰＤＦファイル生成処理手順を示すフローチャートである。画像データの変換と文字認識の一例を示す説明図である。

以下、添付図面を参照し、本発明にかかる画像処理装置、画像処理方法および画像処理プログラムの実施例を説明する。なお、以下の説明は、実施の形態の一例であり、本発明は、これらの実施例に限定されるものではない。

まず、実施例にかかるＰＤＦファイル生成システム１０の概要について説明する。図１は、本実施例にかかるＰＤＦファイル生成システム１０の構成を示すブロック図である。図１に示すように、ＰＤＦファイル生成システム１０は、サーバ１００と情報端末装置２００とを備え、サーバ１００と情報端末装置２００は、ネットワーク１を介して相互に通信可能に接続する。ネットワーク１は、有線または無線を問わず、インターネット、イントラネット、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）、移動体通信網等の任意の種類の通信ネットワークである。

サーバ１００は、所定のレイアウトテンプレートに従い画像データを含むＰＤＦ（Portable Document Format）ファイルを生成する。サーバ１００の機能、構成について説明する。サーバ１００は、レイアウトテンプレート記憶部１１０、送受信部１０１、文字認識部１０２、画像変換部１０３、置換判断部１０４、画像置換部１０５、ＰＤＦファイル生成部１０６を備える。

図２は、レイアウトテンプレート記憶部１１０のデータ構成の一例を示す説明図である。レイアウトテンプレート記憶部１１０は、情報端末装置２００から送信されたデータからＰＤＦファイルを生成する際に必要となるレイアウトに関する情報であるレイアウトテンプレートをフォーマット種別ごとに記憶する。例えば、レイアウトテンプレートは、フォーマット種別ごとに、画像データの配置位置である座標、解像度、標題等を記憶する。

送受信部１０１は、情報端末装置２００との間で様々なデータを送受信する。具体的には、送受信部１０１は、情報端末装置２００で入力したフォーマット種別と画像データを受信し、ＰＤＦファイルを情報端末装置２００に送信する。

文字認識部１０２は、画像データに対しＯＣＲ（Optical Character Recognition）技術を用いて文字認識を行い、画像データからテキストデータを抽出する。

画像変換部１０３は、画像データの解像度を変更し解像度の異なる画像データを生成する。具体的には、画像変換部１０３は、画像データの画素数を間引くこと（ダウンサンプリング）によって解像度（すなわち単位長さあたりの画素数）を変更した画像データを生成する。ダウンサンプリングの方式には、バイリニア法、ニアレストネイバー法、バイキュービック法があるが、その他の既知の方法を用いてもよい。

置換判断部１０４は、画像変換部１０３によって変換した画像データ（以下、変換画像データという）を、情報端末装置２００から送信された画像データ（以下、元画像データという）に置き換えるか否かを判断する。具体的には、置換判断部１０４は、元画像データを文字認識し生成したテキストデータと、変換画像データを文字認識し生成したテキストデータとを対比し、元画像データのテキストデータと変換画像データのテキストデータとが一致しない文字の全文字に対する割合を示す不一致度を算出し、不一致度が所定の範囲内か否かを判断する。

画像置換部１０５は、置換判断部１０４によって不一致度が所定の範囲内であると判断した場合に、元画像データと変換画像データを置き換える。

ＰＤＦファイル生成部１０６は、レイアウトテンプレート記憶部１１０に記憶したレイアウトテンプレートに従い、画像置換部１０５によって置換された画像データを含むＰＤＦファイルを生成する。

情報端末装置２００は、画像データとフォーマット種別をサーバ１００に送信し、ＰＤＦファイルを受信する。情報端末装置２００は、スマートフォン、タブレット型コンピュータ、パーソナルコンピュータ、ゲーム機等であり、ウェブブラウザを備える。

上述のように構成されたＰＤＦファイル生成システム１０で実行するＰＤＦファイル生成処理について説明する。図３は、サーバ１００および情報端末装置２００が実行するＰＤＦファイル生成処理手順を示すフローチャートである。

情報端末装置２００は、画像データとフォーマット種別をサーバ１００に送信する（ステップＳ３０１）。画像データは、カメラ機能で撮像した、領収書等の文字の画像を含むデータであり、情報端末装置２００に内蔵するカメラ機能で撮像したデータでも、デジタルカメラ等で撮像し情報端末装置２００に読込んだデータでもよい。

サーバ１００の送受信部１０１は、画像データとフォーマット種別を受信する（ステップＳ３０２）。文字認識部１０２は、画像データに対しＯＣＲ技術を用いて文字を認識しテキストデータを抽出する。（ステップＳ３０３）。図４は、画像データの変換と文字認識の一例を示す説明図である。図４に示す例では、解像度６００ｐｐｉ（pixel per inch）の元画像データを文字認識することによって“あいうえおかきくけこさしすせそ・・・
”の文字が認識される。

画像変換部１０３は、元画像データの解像度を変更した変換画像データを生成する（ステップＳ３０４）。図４に示す例では、元画像データをダウンサンプリングすることにより、解像度４８０ｐｐｉの変換画像データ１に変換する。文字認識部１０２は、変換画像データに対しＯＣＲ技術を用いて文字を認識しテキストデータを抽出する。（ステップＳ３０５）。図４に示す例では、変換画像データ１を文字認識することによって“あいうえそかきくけこさしつせそ・・・
”の文字が認識され、元画像データの“お”が“そ”に、元画像データの“す”が“つ”に認識された。

置換判断部１０４は、画像データのテキストデータと変換画像データのテキストデータを対比し、不一致度を算出する（ステップＳ３０６）。図４に示す例では、変換画像データ１の不一致度は１８％と算出される。なお、元画像データの文字を同一の文字と認識しない場合に限らず、文字として認識されない場合も一致していない文字と判断し、不一致度を算出する。

置換判断部１０４は、不一致度が所定の範囲内であるか否かを判断する（ステップＳ３０７）。
例えば、所定の範囲が“２０％以上２５％未満”の場合は、変換画像データ１の不一致度は“１８％”であることから、所定の範囲内ではないと判断される。不一致度が所定の範囲内でないと判断した場合（ステップＳ３０７：Ｎｏ）、ステップＳ３０４に進み、元画像データに対し解像度をさらに変更した変換画像データを生成し、処理を実行する。図４に示す例では、元画像データを解像度３８４ｐｐｉに変換し変換画像データ２を生成する。

不一致度が所定の範囲内であると判断した場合（ステップＳ３０７：Ｙｅｓ）、画像置換部１０５は、元画像データを変換画像データに置き換える（ステップＳ３０８）。図４に示す例では、変換画像データ２は、不一致度が“２３％”で所定の範囲内であると判断されるため、元画像データを変換画像データ２に置き換える。

ＰＤＦファイル生成部１０６は、画像データを含むＰＤＦファイルを生成する（ステップＳ３０９）。具体的には、ＰＤＦファイル生成部１０６は、フォーマット種別に対応するレイアウトテンプレートをレイアウトテンプレート記憶部１１０から取得し、取得したレイアウトテンプレートに基づき画像データを含むＰＤＦファイルを生成する。送受信部１０１は、ＰＤＦファイルを情報端末装置２００に送信する（ステップＳ３１０）。情報端末装置２００は、ＰＤＦファイルを受信する（ステップＳ３１１）。

このように、元画像データを、元画像データと対比し所定の範囲内の不一致度である、解像度を落とした変換画像データに置き換えることによって、人間の視覚での文字判別可能であり、かつ、データ量を抑えた画像データを得ることができる。これは、人間の視覚が解像度の低い画像の文字であっても脳内で補完することによって文字を判別できることを利用したものである。

また、画像データを含むＰＤＦファイルを生成することによって画像データのデータ形式を問わず、広く普及しているＰＤＦリーダによって画像の内容を確認することができ、管理を容易にすることができる。

上述した実施例では、情報端末装置２００から送信された画像データに対し文字認識処理を実行したが、文字認識処理を実行する前に、画像データを整形する処理を実行してもよい。画像データを整形する処理とは、画像データがスマートフォンのカメラ機能等で撮像されたデータである場合、対象の形状通りに撮像されず、前後左右において多少歪んで撮像される場合が多いため、本来は長方形であるが台形等に歪んだ領収書やパスポート等の画像データを書面の端部を検出し長方形に整形する処理である。

また、ＰＤＦファイル生成部１０６でＰＤＦファイルを生成した後、ＰＤＦファイルに電子署名やタイムスタンプを付与する処理を加えてもよい。これにより、撮像した画像データやＰＤＦファイルに含まれるデータの改ざんを検知することが可能となり、ＰＤＦファイルの信頼性を向上させることができる。

また、文字認識部１０２によって画像データを文字認識する前に、画像データの文字領域を特定する処理を実行したうえで、その領域の画像を文字認識してもよい。これにより、パスポートのような文字のみではなく写真等を含む画像データの場合であっても、より適切な解像度で画像データを変換することができる。さらに、特定した画像データの文字領域のみの解像度を変更した画像データを生成し置き換えてもよい。

上述した実施例のサーバ１００および情報端末装置２００は、装置全体の制御を行うＣＰＵ（Central Processing Unit）等の制御装置と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶装置と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disc）ドライブ装置等の外部記憶装置と、外部のコンピュータと通信を行う通信制御装置と、これらを接続するバスとを備えており、通常のコンピュータを利用したハードウェア構成となっている。ＣＰＵがプログラムをＨＤＤから読み出しＲＡＭに展開し、動作させることによって、上述した機能や処理を実現する。各記憶部は、ＲＡＭ上に構成するほか、ＨＤＤ、光ディスク、メモリカードなどの一般的に利用されているあらゆる記憶媒体によって構成することができる。

また、サーバ１００、情報端末装置２００で動作する、上述した機能や処理を実現するプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読取り可能な記録媒体に記録して提供することもでき、ネットワーク経由でダウンロードさせることにより提供することもできる。

上述した機能や処理を実現するプログラムは、ＡＰＩ（Application Programming Interface）、ＳａａＳ（Software as a Service）、クラウドコンピューティングという利用形態で提供してもよい。

また、図示したサーバ１００、情報端末装置２００の構成要素は、必ずしも物理的に図示のように構成されている必要はない。すなわち、これらの装置の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分割、統合、入替え、変形または削除して構成することができる。

１…ネットワーク、１０…ＰＤＦファイル生成システム、１００…サーバ、１０１…送受信部、１０２…文字認識部、１０３…画像変換部、１０４…置換判断部、１０５…画像置換部、１０６…ＰＤＦファイル生成部、１１０…レイアウトテンプレート記憶部、２００…情報端末装置

Claims

画像データに対し文字認識することによって認識された第１のテキストデータを抽出する文字認識手段と、
前記画像データの解像度を変更した変換画像データを生成する画像変換手段と、を備え、
前記文字認識手段は、前記変換画像データを文字認識することによって認識された第２のテキストデータを抽出し、
前記第１のテキストデータと前記第２のテキストデータとを対比し、前記第１のテキストデータに対し前記第２のテキストデータが一致しない割合を示す不一致度が所定の範囲内であるか否かを判断する置換判断手段と、
前記置換判断手段によって前記不一致度が所定の範囲内であると判断した場合に、前記画像データを前記変換画像データに置き換える画像置換手段と、
を備えることを特徴とする画像処理装置。
前記置換判断手段によって前記不一致度が所定の範囲内でないと判断された場合に、前記画像変換手段は、さらに前記画像データの解像度を変更した変換画像データを生成し、
前記文字認識手段は、生成された前記変換画像データを文字認識することによって認識された第２のテキストデータを抽出し、
前記置換判断手段は、前記第１のテキストデータと前記第２のテキストデータとを対比し、前記不一致度が所定の範囲内であるか否かを判断することを、前記不一致度が所定の範囲内であると判断されるまで繰り返すこと、を特徴とする請求項１に記載の画像処理装置。
前記文字認識手段によって文字認識を実行する前に、前記画像データを整形する画像整形手段、をさらに備えることを特徴とする請求項１または請求項２に記載の画像処理装置。
前記画像置換手段によって置き換えられた前記画像データを含むＰＤＦファイルを生成するＰＤＦファイル生成手段、をさらに備えることを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
画像処理装置によって実行される画像処理方法であって、
画像データに対し文字認識することによって認識された第１のテキストデータを抽出する文字認識ステップと、
前記画像データの解像度を変更した変換画像データを生成する画像変換ステップと、を含み、
前記文字認識ステップは、前記変換画像データを文字認識することによって認識された第２のテキストデータを抽出し、
前記第１のテキストデータと前記第２のテキストデータとを対比し、前記第１のテキストデータに対し前記第２のテキストデータが一致しない割合を示す不一致度が所定の範囲内であるか否かを判断する置換判断ステップと、
前記置換判断ステップによって前記不一致度が所定の範囲内であると判断した場合に、前記画像データを前記変換画像データに置き換える画像置換ステップと、
を含むことを特徴とする画像処理方法。
画像処理装置に、
画像データに対し文字認識することによって認識された第１のテキストデータを抽出する文字認識ステップと、
前記画像データの解像度を変更した変換画像データを生成する画像変換ステップと、を含み、
前記文字認識ステップは、前記変換画像データを文字認識することによって認識された第２のテキストデータを抽出し、
前記第１のテキストデータと前記第２のテキストデータとを対比し、前記第１のテキストデータに対し前記第２のテキストデータが一致しない割合を示す不一致度が所定の範囲内であるか否かを判断する置換判断ステップと、
前記置換判断ステップによって前記不一致度が所定の範囲内であると判断した場合に、前記画像データを前記変換画像データに置き換える画像置換ステップと、
を実行させることを特徴とする画像処理プログラム。