JP6539844B2 - 証憑イメージ取得方法およびこれを用いた会計処理システム - Google Patents

Description

本発明は、原始証憑を電子画像化して利用する証憑イメージ取得方法およびこれを用いた会計処理システムに関し、特に、会計事務所やその顧問先企業などで会計入力の基となる原始証憑を撮像して仕訳処理に利用しやすい形態に加工する技術に関する。

一般に、公認会計士事務所や税理士事務所（以下単に「会計事務所」と称す。）では、顧問先から会計処理の元となるレシートや領収書等の原始証憑類を受け取って当該顧問先の会計処理を行う。このとき、原始証憑（以下、単に「証憑」または「レシート」とも称す。）をスキャナやスマートフォンのカメラで電子データ化して会計事務所に受け渡すやり方がある。この原始証憑の画像化データは後に会計事務所の職員が参照して会計データを入力したり、ＯＣＲ処理による自動読み取りに用いられるため、原始証憑のカメラ画像またはスキャン画像はこれらの用途に適したものであることが望ましい。

顧問先においては、各種取引で多数のレシート等の証憑が発生し、会計入力に際して証憑を参照することが必要となる。また、会計入力には複式簿記の知識や税法の知識を必要とするので、顧問先で会計入力を行なわず、会計事務所に多数のレシート等の証憑を送付等して、会計事務所で会計入力を行なうことが多い。このため、会計事務所では、それぞれの顧問先毎に大量のレシート等の証憑を管理しなければならず、時には紛失する等、工数や保管場所、リスクなどの面で問題が多かった。

そこで、顧問先において、証憑の撮影またはスキャンを行い、電子化されたレシート等の証憑画像を、会計事務所に送信するか、会計事務所の職員が顧問先に出向いて取得することが有効となる。ここで、証憑の撮影またはスキャンに際しては、デジカメやモバイル機器等のカメラで撮影したり、フラットベットタイプのスキャナやハンディタイプのスキャナを用いることが考えられる。ハンディタイプのスキャナの場合、１枚１枚の読取りに時間がかかり、フラットベットタイプのスキャナでは大量のレシートを重ならないように盤面に載せて、カバーを閉じる際に風で飛ばされて位置がずれないような配慮が必要だったり、デジカメやモバイル機器等の写真撮影によれば、撮影自体は素早くできるが、複数枚の切出しが困難であったり、レシート等の証憑画像が台形に歪んだりして、プロ用途としては、画像の品質の面で問題があった。

より具体的には、例えば、会計処理用に原始証憑をスマートフォンで撮像するアプリケーション（以下、単に「アプリ」とも称す。）の仕様として、図１３に示すように、カメラ画面上に縦横のガイド線を表示させ、レシートの縦横の縁をこれらのガイド線に沿うように配置して撮像するように求めるものがある。これによるとレシートをカメラに正対させて撮像することができるが、撮像に手間や時間がかかり、また机上に置いたレシートを真上から撮像するため濃い影がかかり見づらくなってしまうことがあった。また、レシートをガイド線に揃えて（正対させて）撮影しなくてはならず、斜め方向から撮った画像の読み取りが困難になることがあった。さらに、一度に複数枚のレシートを撮像することはできず、使い勝手が悪いものであった。

別の仕様として、図１４に示すように、フラットベッドスキャナにレシートを並べて取り込めるようにした技術がある。この場合、一度に複数枚を並べて取り込み、１枚１枚に切り出して個々のレシートの傾きも補正することができるが、レシートを取り込む際にレシートと蓋の間に濃い色のシートを挟んで背景を暗色にしなければならず、手間がかかるものであった。逆にこれを怠ると少なくとも白地のレシートでは背景との境界が分からずデータとして取り込みが困難であった。

デジタルカメラで撮像した画像から原始証憑のような紙の部分を切り出す手法として、例えば特公平０８−０１２６９５号公報に記載されている技術がある（特許文献１）。これは撮像した画像データを走査して輝度が切り替わるエッジを抽出して背景領域を除外することにより目的の文書部分を抽出するようにするものである。

特公平０８−０１２６９５号公報

本発明が解決しようとする課題は、デジタルカメラやスマートフォンないし各種のスキャナ装置で原始証憑を電子イメージ化して会計処理に用いるシステムにおいて、スキャニングや撮像によって証憑を読み取って、電子化された証憑画像からレシート等の証憑部分を切り出す技術に関し、特にデジタルカメラやスマートフォンにて撮影した際において、撮像者の使い勝手を向上するとともに、会計処理に役立つ高品質な切り出し画像を得られるようにすることである。

この課題において、フラットベッドスキャナではないデジタルカメラやスマートフォンで２以上の原始証憑を撮像した場合でも個別の原始証憑を切り出せるようにすることが望まれる。また、フラットベッドスキャナのように暗色のシートを挟んで背景色を暗くできないカメラ画像でもすべての原始証憑をきちんと切り出せるようにすることが望まれる。さらに、デジタルカメラやスマートフォンで斜め方向から撮像した場合でも画像内の原始証憑を正面から撮像したように補正して、見易くデジタル処理の精度が高い証憑イメージを得ることが望まれる。

上記目的を達成するため、本発明は、１枚以上のレシートや領収書などの原始証憑を、デジタルカメラや携帯端末のカメラで撮像した画像データや、スキャナー装置で取り込んだ画像データを読み取る会計処理システムにおいて、前記画像データから証憑部分を抽出する証憑イメージ切り出し手段と、切り出した証憑イメージの傾きや歪みを補正して矩形に整形する整形手段と、整形した証憑イメージを保存する証憑イメージ登録手段とを具え、前記証憑イメージ切り出し手段は、通常モードではレシート抽出閾値の第１のセットを用いて画像データから証憑イメージの切り出しを試行し、前記第１のセットを用いて前記画像データ証憑イメージを切り出しできない場合に、レシート抽出閾値の変動幅を変えたレシート抽出閾値の第２のセットを用いて画像データから証憑イメージの切り出しを試行することを特徴とする。

また、前記整形手段は、前記切り出した証憑イメージの中心を定め、前記証憑イメージの各部分を前記中心からの距離に応じて伸縮することにより、当該証憑イメージを矩形に整形することが望ましい。

本発明では、例えばレシートを机上に置いて任意の方向からデジタルカメラやスマートフォンで撮像しても、画像内でレシートの傾きや歪みを補正することにより高品質な切り出し画像データを生成して仕訳データと紐付けできるため、会計ファイルの確認や監査を行う際の、プロ用途の高品質のデータを提供することができる。また、わざわざレシートをガイド線に合わせたり背景色を暗色としなくても、垂直に正対して撮像したようなレシート画像に補正できるため、例えば顧問先の人間が簡単に撮った画像データを高品質なプロ用途として使用することができる。さらに、顧問先による元帳の参照の際に高品質なレシート画像を提供できるため、会計事務所の顧問先に対するサービス品質の向上も同時に達成することができる。

図１は、本発明にかかる会計処理システムの全体概要を説明するための概略図である。 図２は、本発明にかかる会計処理システムの機能ブロック図である。 図３は、本発明の会計処理装置の動作の全体処理を説明するフローチャートである。 図４は、レシート抽出処理部によるレシート抽出処理を説明するフローチャートである。 図４−２は、ポインティング操作による領域指定処理フローである。 図５は、レシート抽出処理に用いられる閾値参照テーブルの例を示す図である。 図６は、レシート抽出処理の概略イメージを説明するための図である。 図７は、サーバー１００の台形補正処理部により実施される台形補正処理を説明するためのフローチャートである。 図８は、台形補正処理（菱形補正含む）の概念を説明するための図である。 図９は、仕訳処理管理テーブルの一実施例を示す図である。 図１０は、証憑イメージ紐付け管理テーブルの一実施例を示す図である。 図１１は、本発明の会計処理装置およびその機能を実現するためのシステム構成例を示す図である。 図１２は、本発明の会計処理装置およびその機能を実現するためのシステム構成例を示す図である。 図１３は、従来の証憑イメージ取り込み方法を示す図である。 図１４は、従来の複数の証憑イメージ取り込み方法を示す図である。

本発明を実施するための形態について、添付の図面を参照しながら以下に詳細に説明する。図１は、本発明にかかる会計処理システムの全体概要を説明するための概略図である。本発明はレシートや領収書などの原始証憑１０を、被写体を撮影して画像データとして保存することができるデジタルカメラ、デジタルビデオ（無線機能で画像をアップロードできる機能や、メモリ装置を介する場合を含む）、カメラ付き携帯電話、カメラ付きスマートフォン、カメラ付きモバイル端末、カメラ付きタブレット端末などで撮像し、個々の証憑を抽出して傾きや撮像角度による歪みを補正して、会計事務所で参照するのに十分に高品質な証憑イメージを作成し、これを仕訳入力画面上に表示させて入力した仕訳データと紐付けて保存するものである。

図１の全体概要図を参照すると、スマートフォン等のモバイル端末でレシート等の原始証憑１０を撮像した画像データが、例えばネットワークを介してサーバー１００に送信される。このデータの授受はインターネット通信に限らず、ＬＡＮやＵＳＢケーブルを介した有線、無線、あるいはメモリスティック等の記憶媒体を介してもよい。サーバー１００は受け取った画像データについて個々のレシートの切り出し処理、抽出した個々のレシートの傾き補正、および撮像角度による台形／菱形化の歪み補正を行って、仕訳入力の際に参照するのに十分に明確な証憑イメージを作成して証憑イメージ格納領域１１０に保存する。この証憑イメージは、例えば会計事務所職員のコンピュータなどの端末装置２００から呼び出され、仕訳入力アプリ１２０に表示させて仕訳入力を行い、作成された仕訳データが当該証憑イメージと紐付けられて保存される。

また、仕訳入力の際に参照された証憑イメージは、仕訳データと関連付けられているので、監査業務などで仕訳データを確認する際に、会計事務所端末あるいは顧問先端末にて、仕訳データと共に参照可能となる。このため、仕訳データを会計ファイルとして一纏めにして出力して、証憑イメージとセットで記録媒体に格納し、かかる記録媒体を顧問先に提供し、顧問先で仕訳データを証憑イメージと共に確認することもできる。このように、会計事務所が利用する際や、顧問先企業に税務会計サービスの一環として提供する場合など、プロ用途として高品質な証憑イメージを利用することが可能となる。

図２は、本発明にかかる会計処理システムの機能ブロック図である。原始証憑１０はカメラ機能付モバイル機器やその他の読取装置（スキャナ等）１１で撮像されて、例えば会計事務所に設置されたサーバー１００に取り込まれる。ここで、図２に示すサーバー１００の構成要素は必ずしも単体のサーバー装置にすべて集約されている必要はなく、同じ場所や遠隔の場所にある複数のサーバー装置やパーソナルコンピュータ端末にその機能の一部が分散されていてもよい。サーバー１００は、キーボードやマウス等の入力部と、ディスプレイ等の表示部と、インターネット等のネットワークに接続するための通信部と、ＵＳＢポートや可搬型記憶ドライブ等の出力部と、サーバー１００の各種制御を司る制御部１０５と、各種データが格納される記憶部１０８とを具える。なお、図１、図２のサーバー１００は、サーバー装置である必要はなく、各手段を備えていれば足り、例えば、単体のＰＣ端末等の装置であってもよい。

制御部１０５の機能別要素としては、読取処理部、レシート抽出処理部、斜め補正処理部、台形補正処理部、仕訳処理部、および証憑データ紐付け処理部がある。これらの機能は記憶部１０８に格納された１のプログラムあるいは複数のプログラムモジュールを制御部１０５で読み出して展開することにより実現される。

記憶部１０８は少なくとも、撮像されたままの（未加工の）証憑画像データを格納するレシートデータ格納領域１０６と、証憑イメージ管理テーブルと、整形した証憑イメージが格納される証憑イメージ格納領域１１０と、証憑に基づいて作成される仕訳データが格納される仕訳データ格納領域１１２と、レシート抽出処理に用いる抽出閾値などのデータが登録されたレシート抽出処理管理領域１１４と、仕訳処理管理領域１１６と、証憑イメージ紐付け格納領域１１８とを具える。なお、本発明の実施例は図２に示す形態のものに限られず、一部の要素がなくても、また他の要素を具えてもよい。

図３は、本発明の会計処理システムで実施される証憑イメージ取得方法の全体処理を説明するフローチャートである。最初に、スマートフォン等のモバイル端末で原始証憑（レシート）が撮像される（Ｓ１−１）。この場合、図１３に示すようにレシートをガイド線に沿うようにモバイル機器を正対させて撮像する必要はなく、また図１４に示すようにフラットベッドスキャナにレシートを伏せた上から暗色のシートを被せる必要もない。利用者は机に並べた１または複数のレシートを、例えばスマートフォンのカメラ機能を用いて斜めの俯瞰位置から撮像することができる。この場合、撮像したレシートは画像グリッドに対して斜めであったり、複数のレシートが互いに違う角度で散点していたり、複数のレシートの端が一部重なっていたり、レシートを斜め方向から撮ったことによりレシートが台形や菱形に撮像されていたりする場合がある。本発明は、これらのような場合でも個々のレシートを切り出して斜め補正や歪み補正を加えて高品質な証憑イメージを得るものである。なお、例えばスマートフォンを用いる場合において、撮像はスマートフォンに予め実装されているカメラアプリを用いてもよいが、専用のアプリを用いて、撮像者の情報や、どの顧問先に関するレシートかなどが画像データに紐付けられるようにしてもよい。画像データは個別にあるいは纏めて、通信ネットワークや記憶媒体を介してサーバー１００に送られる。このデータはサーバー１００のレシートデータ格納領域１０６に格納される。

サーバー１００が受け取った画像データについて、制御部１０５のレシート抽出処理部が、画像データに含まれる１または複数のレシートの抽出を行う（Ｓ１−２）。ここで、画像に含まれるレシート等の紙の抽出処理自体はラスタスキャン方式（横一列に順次スキャンして境界を検出する方式）やエッジ抽出方式（濃度の変化点を微分処理などによって検出する方式）など様々な方式が知られているが、一実施例ではモバイル端末等の画面上にエッジ抽出処理の過程がユーザに表示され、レシートがうまく抽出できない場合にユーザがポインティング操作をすることにより、抽出閾値をダイナミックに変動させて背景色との境界がはっきりしないレシートでも抽出できるようにする。この処理を図４を用いて説明する。もちろん、下記で説明する処理や閾値をダイナミックに変動させるテーブルの利用は、エッジ抽出方式だけでなく、ラスタスキャン方式でもそのまま利用することができる。

図４は、レシート抽出処理部によるレシート抽出処理を説明するフローチャートである。本発明によるレシート抽出処理では、ユーザが画像内のポインティング操作を行った場合に、確実にエッジがあることを前提として、レシート抽出閾値のレベルの変動幅が大きくなるようにして検出する。最初に画像データの２値化処理を行い（Ｓ２−１−１）、ユーザによる画像データ内のポインティング操作があったか否かを確認する（Ｓ２−１−２）。これはスマートフォンの場合は画像内のタップ操作を検出したり、ラップトップコンピュータの場合は画像内のクリック操作を検出したりすることで行われる。なお、２値化は必須の処理ではなく、モノクロの多値化でもよいし、カラーの多値化でもよく、要するに数値データ化すればよく、その中で最もシンプルな２値化を例にしたに過ぎない。

ここで、サーバー１００のレシート抽出処理管理領域１１４には、図５（ａ）、（ｂ）に一実施例を示すような、ポインティング操作をした場合等用の閾値参照テーブル（図５（ａ））と、ポインティング操作をしない場合の閾値参照テーブル（図５（ｂ））が登録されており、レシート抽出処理部はポインティング操作が無い場合（Ｓ２−１−２のＮ）、対応する図５（ｂ）のテーブルをロードして（Ｓ２−１−４）、レシート抽出閾値の初期設定を行う（Ｓ２−１−５）。ここで通常モードとは、ポインティング操作をしない場合や最初に試行する場合などを指し、拡張モードとは、ポインティング操作をした場合や２回目以降に試行する場合にレシート抽出処理の閾値をダイナミックに変動させたい場合を指す。レシート抽出処理では、通常モードにおいて図５（ｂ）の変動幅の小さい閾値参照テーブルを用い、この通常モードで用いるテーブルを便宜上、レシート抽出閾値の第１のセットと呼び、拡張モードにおいて図５（ａ）の変動幅の大きい閾値参照テーブルを用いるので、このテーブルを便宜上、レシート抽出閾値の第２のセットと呼ぶ。

ポインティング操作をした場合等用の閾値参照テーブル（図５（ａ））は、エッジ抽出が不十分でレシートをうまく抽出できなかった場合に、ユーザが抽出できなかったレシートを把握した上で、レシートの内側路ポインティング操作をした場合の他、エッジ抽出が不十分でうまく抽出できなかったかどうかを自動判定した場合において、エッジ抽出の閾値をダイナミックに変動させる場合の閾値のテーブルである。前述のように、ユーザが画像内のポインティング操作を行った場合に、確実にエッジがあることを前提として、レシート抽出閾値のレベルの変動幅が大きくなるようにして検出する際に用いるテーブルである。かかるテーブルを用いる趣旨は、最初から閾値のレベルの変動幅が大きなものを用いると、影や汚れ等の余計なものがエッジとして抽出されたりするので、はじめは、閾値のレベルの変動の幅の小さいものを用いて慎重な検出を行ない、一方で、ポインティング操作をされた場合は、確かにレシートが存在するので、思い切って、閾値のレベルの変動幅が大きなものを用いることができるということによるものである。

他方、ユーザによる画像データ内のポインティング操作があった場合（Ｓ２−１−２のＹ）、（Ｓ２−１−３）のサブルーチンにジャンプする。かかるサブルーチンでは、主に、閾値ないし閾値の変動幅が通常の閾値設定では不十分で、うまく切り出せないレシートが残っている場合において、ポインティング操作をした場合の閾値設定、および、エッジ抽出自体は成功しているがレシートが部分的に重なっていて、一部が他のレシートの背後に隠れたレシートの切出しに失敗した場合において、ポインティング操作で重なりがあると判定した場合の切出し処理を行なう。

図４−２は、ポインティング操作による領域指定を行なった際のサブルーチンの処理の詳細フローである。まず、エッジ抽出自体は成功しているが、レシートの一部が他のレシートの背後に隠れたレシートの切出しに失敗した場合は、矩形領域の一部が欠落したレシート画像が抽出されているので、抽出したエッジの態様を把握して、矩形領域の一部が欠けているかどうかを判定する（Ｓ２−２−１）。これは例えば、矩形の頂点４つのうち、３つが抽出できており、残る１つの頂点が抽出できないで場合、換言すると、矩形領域の四辺の線分のうち、二辺が完全に抽出でき、残る二辺の一部が、推定される同じ頂点の付近で欠けている場合であるかどうかを判定する。その上で、矩形領域の一部が欠けていると判定した場合には（Ｓ２−２−１のＹ）、欠けた領域が、すでに切出しに成功したレシート画像の領域内にあるかどうかを判定し、領域内にある場合には、レシートの重なりによって、背後にあるレシート画像の一部が欠けたことが確定する（Ｓ２−２−２のＹ、Ｓ２−２−３）。この場合、すでにエッジ抽出により線分の抽出それ自体には成功しているので、欠けている線分を延長して隠れている頂点を推定し、推定した頂点から取得済みの他の頂点に線分を延長して（Ｓ２−２−４）、レシート画像データの切出しを行なう（Ｓ２−２−５）。

一方、切り出せないが矩形領域が欠けていない場合、例えば、エッジ抽出が不十分でレシートの外郭を把握することができないためにユーザによりポインティング操作された場合や、エッジ抽出が不十分で一枚もレシートを抽出できない場合、あるいは、エッジ抽出が不十分であるが、ある程度レシート画像の輪郭が把握できる場合に（Ｓ２−２−１のＮ）、エッジ抽出の閾値をダイナミックに変動させるための（レシートの内側に対するポインティング操作をした場合等用の）閾値参照テーブルをロードする（Ｓ２−２−６）。

以上の処理を経て、本サブルーチンを終了すると、図４のＳ２−１−３−Ａのステップに戻り、本サブルーチンで、重なり判定を経て、レシート画像の抽出が完了している場合には、レシート抽出処理を終了する（Ｓ２−１−３−ＡのＹ）。他方、エッジ抽出自体はできたもののレシート同士が重なったことでレシート画像の切出しに失敗したのではなく、エッジ抽出が不十分でレシート画像の切出しができなかった場合には（Ｓ２−１−３−ＡのＮ）、ロードしたエッジ抽出の閾値をダイナミックに変動させるための閾値の設定を行なう（Ｓ２−１−５）。

図４に例示するように、エッジ抽出の微分処理（行列演算等を利用した微分処理等）に用いる例えばＰｒｅｗｉｔｔオペレータ等のマトリックス（行列）内の個々の数値がレベル毎に異なり、高いレベルのものほど小さな変化を検出するように設定されている。そういう点で、マトリックス（行列）内の個々の数値には、エッジ抽出の閾値の意味合いが含まれていることになる。なお、各数値の意義はエッジ抽出の閾値だけでなく、どの程度のノイズ処理を行なうかの閾値としての意味合いを持たせることもできる。微分処理は、レシート画像などの証憑イメージを２値化ないし多値化して生成した数値データを元に、所定の領域のビット列（数値のマトリックス（行列））に対して、（閾値の意味合いを含めた）Ｐｒｅｗｉｔｔオペレータ等のマトリックス（行列）を適用した行列計算によるが、微分処理の行列計算自体は一般的に知られた処理のため、詳細は省略する。図５の閾値参照テーブルに示すように、ポインティング操作があった場合には、ポインティング操作がない場合よりレベル毎の閾値の変動幅が大きく設定される。なお、本発明はエッジ検出に用いるのはＰｒｅｗｉｔｔオペレータに限らず、Ｓｏｂｅｌオペレータや他のオペレータを用いてもよい。

レシート抽出処理部は、最初は初期設定である第１レベルに対応する抽出閾値を用いてｘ方向微分処理、ｘ方向特徴抽出処理、ｙ方向微分処理、ｙ方向特徴抽出処理を行って（Ｓ２−１−７〜Ｓ２−１−９）、レシートの輪郭が抽出できるかを判定する（Ｓ−１−１０）。抽出できたら画像データからレシート部分を切り出す（Ｓ２−１−１２）。一方、レシートが抽出できない場合、レシート抽出閾値のレベルを上げて再試行する（Ｓ２−１−１１）。図５の実施例ではポインティング操作の有無の場合毎にそれぞれ第１レベル〜第３レベルの３段階の抽出閾値が設定されており、ポインティング操作があった場合のレベルの変動幅がポインティング操作がない場合の２〜３倍に設定されている。切り出しが成功したレシートはユーザが確認できるように画像内で強調表示あるいはレシート自体を個別表示するようにしてもよい。

この処理の概略イメージを図６を用いて説明する。図６（ａ）に示すように、画像データ内に比較的輪郭のはっきりしたレシートが存在し、ポインティング操作がない場合には、変化幅が少ない抽出閾値のセット（図５（ａ））を用いてエッジ抽出が試行され、第３段階であるレベル５でレシートの切り出し処理に成功している。これに対し、図６（ｂ）の例では、画像データ内に通常の処理では切り出せないレシートがあり、これに気づいたユーザが画像データの領域内のポインティング操作（タップ操作）を行うと、エッジ抽出閾値の施行毎の変化幅が大きくなり（図５（ｂ））、通常（ポインティング操作なし）の処理では抽出できなかったレシートの切り出しが可能となる。

なお、レシート抽出処理部は、画像データ内に複数のレシートが存在する場合にはすべてのレシートを抽出する。画像データ内で複数のレシートを抽出する技術は公知であるためその詳細は省略するが、本発明では上述したように切り出しが成功したレシートが分かるようにユーザに表示され、画像内に未だ切り出されていないレシートがある場合にはポインティング操作を行うことにより抽出閾値を大幅に変えて再試行するようにしている。

また、レシート抽出処理部は、例えば図１に示すように画像データ内で２枚以上のレシートの一部が重なっていたり、あるいはレシートの一部が画像データからはみ出していたりする場合でも切り出し可能である。これは、レシート抽出処理においてレシート画像のいずれかの頂点や四辺が明確に認識できない場合に、一部が他のレシートと重なって現れていないか画像外にあると仮定して、レシートの３つの頂点と３辺の方向を特定し、認識できない部分について認識できた辺を延長させてその交点を頂点と推定する。ここで推定した頂点までブランクのレシート画像を合成することにより、一部が認識できなくても四角形のレシート画像として切り出すことができる。

さらに、別の実施例ではユーザが抽出したいレシートの内側領域にポインティング操作を行うようにして、レシート抽出処理部がポインティングされた場所から外側へとエッジ検出処理を進めるようにしてもよい。すなわち、ポインティングされた場所を囲むように矩形のレシートの枠が存在するとの前提でエッジ抽出を行うと、エッジ抽出処理の範囲を狭めて迅速かつ精度の高い切り出し処理を行うことができる。

図３の全体処理フローに戻り、残っているシートがあるかどうかを判定する（ないし、切出しできない場合の判定を行なう）。例えば、エッジ抽出が不十分で、ある程度のレベルでエッジを線分として抽出したが、四つの辺を全て抽出できず、３辺だけが抽出できた場合や、あるいは、エッジ抽出それ自体は成功したもののレシート同士が重なって、背後にあるレシートの頂点の一つが抽出できないような状態（図１参照）かどうかを、判定することで行なわれる。また、上記以外の判定処理としては、切出しできずに残っているレシートがある場合に、（上記のようなプログラム処理による自動判定は行なわずに）ユーザが画面でその状況を確認し、マウス等で残っているレシートをポインティング操作（スマートフォンであればタップ操作）することで判定するようにしてもよい。なお、残っているレシートがあるかどうかは、切出しが成功した部分のレシート画像の周囲を強調表示したり、色付きの線で表示したりすることで区別表示することで、この区別表示がされていないレシート、すなわち残っているレシートを操作者が認識可能とすることができる。

そして、画像データ内に抽出可能なすべてのレシートの切り出しが終了したら（Ｓ１−３）、切り出されたレシート画像（複数ある場合は各々）について斜め補正処理（Ｓ１−４）および台形補正処理（Ｓ１−５）の処理を行なう。斜め補正処理（Ｓ１−４）は、切り出されたレシートの縁の角度を検出して、例えばレシートの底辺がｙ軸に平行となるように全体を傾けることにより行われる。このとき、例えば切り出したレシート画像の向きを整えるために、簡易なＯＣＲ処理を行って文字を所定の割合以上正常に読み出せるかを確認するようにしてもよい。正常に読み出せなければレシートが違う向きであるとして、例えば９０度づつ画像を回転させて試行する。いずれかの角度で所定割合以上文字が正常に読み出せれば正しい向きであるとして確定させる。さらに、後の仕訳入力の際に入力担当者が多数の証憑イメージを処理するのに見易くするために、読み出された文字の大きさを判定して所望の文字フォント（大きさ）となるようにイメージ全体を拡大縮小するようにしてもよい。

次に、斜め補正されたレシート画像について、台形補正処理が行われる（Ｓ−１−５）。これは、斜め方向からカメラで撮像すると、レシートのカメラに近い部分が大きく、カメラから遠い部分が小さく表示されるため、後の自動読み取り精度の向上や仕訳入力時に会計担当者に見易くするために、レシートをカメラに正対させて撮像した画像のように補正する処理である。この処理を図７、８を用いて説明する。

図７は、サーバー１００の台形補正処理部により実施される台形補正処理を説明するためのフローチャートである。なお、この処理は台形補正と称するが、台形の他にもレシートを斜めに撮ることにより証憑イメージが菱形や平行四辺形となっている場合にも補正可能である。平行四辺形から、矩形に変換する外形を確定し、中心点（ないし重心点）を求め、中心点からの位置と補正後の外形に応じた各部位の伸張／縮小処理を行なうことに置き換えればよいからである。台形補正処理部は、斜め補正された証憑イメージをロードして（Ｓ５−１）、証憑イメージの４つの頂点を探し（Ｓ５−２）、各頂点の座標と、証憑イメージの上辺と底辺の長さを求める（Ｓ５−３）。これらのデータから、証憑イメージの四辺形に歪みがあるかを判定する（Ｓ５−４）。これは、斜め補正（図３：Ｓ１−４）されたことにより証憑イメージの底辺がｙ軸と平行であるとして、例えば各側辺がｘ軸とほぼ平行であるか、あるいは上辺がｙ軸とほぼ平行であるかを判定することにより行うことができる。歪みがなければカメラをレシートにほぼ正対させて撮像した証憑イメージであり、十分な品質の証票イメージであるとして処理を終了する。

証憑イメージに台形や菱形等の歪みがある場合、証憑イメージの四辺形の重心を算出し（Ｓ５−５）、証憑イメージの各部分について重心点からの距離に基づいて伸縮補正を行う。このイメージを図８に示す。図８に示すように、台形補正は証憑イメージの各画素部分について、重心点からのｘ軸、ｙ軸の位置に応じて当該部分を伸縮させる（Ｓ５−６〜８）。ｙ軸要素については、重心より手前側の部分は重心からのｙ軸距離に応じて縮小し、重心より奥側の部分は重心からのｙ軸距離に応じて拡大する。ｘ軸要素については、重心点を通る線上の横幅を補正後の横幅に設定し、それより大きいｘ軸部分を設定された横幅との差に応じて縮小し、それより小さいｘ軸部分を設定された横幅との差に応じて拡大する。これを輪郭のみならずレシート内の画素についてすべて行うことで、レシートに記載された文字の歪みも補正される。このようにして台形補正を行った証憑イメージは、証憑イメージ格納領域に保存される（Ｓ５−９、図３：Ｓ１−６）。なお、この実施例では証憑イメージの重心を求めてそこからの距離に基づいて伸縮するようにしているが、重心ではなく証憑イメージのｘ軸、ｙ軸の中央値、あるいはこの中心点と重心点を加味した証憑イメージの中心に近い点からの距離に基づいて伸縮するようにしてもよい。要するに、特定の位置を基準にして、その基準の位置より手前にある部分は小さく、基準の位置より奥にある部分は大きくなるように補正すればよい。

再び図３の全体処理フローに戻ると、補正された証憑イメージに基づいて、会計事務所の職員、あるいは遠隔のオペレータ（例えば在宅で業務を行う会計事務所職員や顧問先で仕訳入力する担当者）が仕訳入力処理を行う。これは例えば担当者が端末装置２００を操作してサーバー１００の証憑イメージ格納領域へアクセスして仕訳入力の基となる証憑イメージを読み出し、図１に示すような仕訳入力アプリ１２０上に表示させる（Ｓ１−７）。この仕訳入力アプリ１２０は、例えば画面の左側に証憑イメージを表示させ、担当者がこれを見ながら仕訳入力を行うことができる（Ｓ１−８）。このように、本願発明によれば、会計ファイルの確認や監査を行う際の、プロ用途としての高品質のレシート画像等の証憑イメージを確認しながら仕訳データの入力、および入力済みの仕訳データの確認をすることができる。このとき、仕訳入力アプリ１２０は、読み出した証票イメージにＯＣＲ処理を行い、日付や合計金額、その他必要な情報を自動的に仕訳入力画面の入力情報として反映させる構成としてもよい。このような２画面式の仕訳入力アプリ１２０は本願出願人によりいくつか特許出願されており、その詳細は本明細書中では省略する。このようにして生成された仕訳データの格納テーブルの一例を図９に示す。各仕訳レコードには少なくとも仕訳データＩＤと顧問先ＩＤが含められる。

次に、サーバー１００の証憑データ紐付け処理部が、作成された仕訳データと対応する証憑イメージの紐付けを行う（Ｓ１−９）。これは、例えば上述した２画面式の仕訳入力アプリ１２０で仕訳データを保存する際に、表示している証憑イメージと保存する仕訳データを関連付けて図１０に示すようなテーブルに登録することにより実施される。図１０に示すテーブルを参照すると、証憑イメージに関するレシート登録先メモリアドレスと、仕訳データの登録先メモリアドレスがレシート毎に登録される。これは１枚のレシートで複数の仕訳が生じるときは仕訳毎に登録してもよく、その場合は仕訳ＩＤとレシート登録先メモリアドレスが関連付けてテーブル管理される。これにより、後に仕訳データの参照や修正のために表示させる際に、同時に対応する証憑イメージを呼び出して表示させることができる（Ｓ１−１０〜１１）。

図１１、１２は、上述した会計処理装置およびその機能を実現するためのシステム構成例を示す図である。上述したように、本発明は、原始証憑を顧問先で撮像し、あるいは会計事務所に送ってもらって会計事務所で撮像して画像データ化し、それに対して斜め補正や台形補正を行って高品質な証憑イメージを作成し、これに基づいて顧問先や会計事務所や在宅担当者のもとで仕訳入力を行ってイメージと紐付け管理を行うものであり、各要素が一箇所に設置されている必要はなく、ネットワークを介して様々な構成を採用することができる。考えられる構成例として、以下に説明するものがある。

図１１（ａ）では、スキャナ等の読み取り装置１１が顧問先や会計事務所のコンピュータ２００に接続されており、サーバー１００が会計事務所その他の遠隔地に配置されている。原始証憑１０を読み取り装置１１で読み取り、サーバー１００の記憶部１０８に格納される。例えばサーバー装置で斜め補正や台形補正された証憑イメージが別の端末装置（例えば会計事務所の職員のコンピュータ端末や、在宅入力者のコンピュータ端末）から読み出され仕訳入力が行われる。ここで、サーバー１００に送られた画像データからのレシートの切り出しや補正処理はネットワークで接続されたいずれかの端末装置２００が担当してもよい。なお、この構成において読み取り装置１１はデジタルカメラであり、端末装置２００に接続して画像データを取り込んでサーバー１００に送信してもよい。

図１１（ｂ）は、スマートフォンやカメラ機能付モバイル機器など、サーバー１００に直接データを送信することができるデバイス１１で原始証憑１０の画像データを取得する例である。その他の構成は図１１（ａ）と同様である。図１１（ｃ）は、スマートフォンやカメラ機能付モバイル機器などの端末装置１１で原始証憑１０を取得し、そのまま当該端末装置１１の記憶領域内に格納する例である。保存された証憑イメージは他の端末装置２００に送って仕訳入力や補正処理等を行うことができる。

図１２（ａ）は、読み取り装置１１が端末装置２００に接続されており、そこからネットワークを介してクラウド上で格納および補正処理が行われる例である。クラウド内では１または複数のサーバーや仮想マシンなどが互いに通信することにより見かけ上サーバー１００として機能し、証憑データの整形や保存を行うことができる。図１２（ｂ）では、クラウド内の１のサーバーまたは仮想マシン１００ａが画像処理を行い（すなわち制御部１０５を有し）、別のサーバーまたは仮想マシン１００ｂの記憶部に証憑イメージや仕訳データが格納される（すなわち記憶部１０８を有する）。

以上、本発明の数々の実施形態および実施例について詳細に説明したが、本発明の技術的範囲は上記の実施形態ないし実施例に限定されるものではなく、本発明は添付の特許請求の範囲を逸脱することなく様々な変形例、変更例として実現することができ、このような変形例、変更例はすべて本発明の技術的範囲に属すると解されるべきである。

本発明は、会計事務所や顧問先企業などで会計ソフトを利用するコンピューターシステムや、会計事務所で仕訳入力を行う場合に用いられる会計処理システムに利用することができる。

１０ 原始証憑
１１ 読み取り装置
１００ サーバー
２００ 端末装置
１０５ 制御部
１０８ 記憶部
１２０ 仕訳入力アプリ

Claims (7)

1. １枚以上のレシートや領収書などの原始証憑を、デジタルカメラや携帯端末のカメラで撮像した画像データや、スキャナー装置で取り込んだ画像データを読み取る会計処理システムにおいて、
   前記画像データから証憑部分を抽出する証憑イメージ切り出し手段と、
   切り出した証憑イメージの傾きや歪みを補正して矩形に整形する整形手段と、
   整形した証憑イメージを保存する証憑イメージ登録手段とを具え、
   前記証憑イメージ切り出し手段は、通常モードではレシート抽出閾値の第１のセットを用いて画像データから証憑イメージの切り出しを試行し、
   前記第１のセットを用いて前記画像データから証憑イメージを切り出しできない場合に、レシート抽出閾値の変動幅を変えたレシート抽出閾値の第２のセットを用いて画像データから証憑イメージの切り出しを試行することを特徴とする会計処理システム。
2. 請求項１に記載の会計処理システムにおいて、前記証憑イメージ切り出し手段は、ユーザによる前記画像データ内の領域のポインティング操作があった場合に、レシート抽出閾値の変動幅を変えた第２のセットを用いて画像データから証憑イメージの切り出しを試行することを特徴とする会計処理システム。
3. 請求項１または２に記載の会計処理システムにおいて、さらに、前記切り出され整形された証憑イメージに対応する仕訳データを入力する入力手段と、ここで入力された仕訳データを当該仕訳データと紐付けて格納する仕訳データ格納領域と、前記仕訳データの参照指示があった場合に紐付けられた証憑イメージを呼び出して表示する参照表示手段とを具えることを特徴とする会計処理システム。
4. 請求項３に記載の会計処理システムにおいて、前記仕訳データを入力する入力手段は、前記証憑イメージと仕訳データ入力画面を同時に表示して、ユーザが前記証憑イメージを見ながら仕訳入力できるようにすることを特徴とする会計処理システム。
5. 請求項１乃至４のいずれかに記載の会計処理システムにおいて、前記整形手段は、前記切り出した証憑イメージの中心を定め、前記証憑イメージの各部分を前記中心からの距離に応じて伸縮することにより、当該証憑イメージを矩形に整形することを特徴とする会計処理システム。
6. １枚以上のレシートや領収書などの原始証憑を、デジタルカメラや携帯端末のカメラで撮像した画像データや、スキャナー装置で取り込んだ画像データを仕訳処理に利用するために加工する方法において、画像処理手段が、
   前記画像データから証憑部分を抽出する証憑イメージ切り出しステップと、
   切り出した証憑イメージの傾きや歪みを補正して矩形に整形する整形ステップと、
   整形した証憑イメージを保存する証憑イメージ登録ステップとを具え、
   前記証憑イメージ切り出しステップは、通常モードではレシート抽出閾値の第１のセットを用いて画像データから証憑イメージの切り出しを試行し、
   前記第１のセットを用いて前記画像データから証憑イメージを切り出しできない場合に、レシート抽出閾値の変動幅を変えたレシート抽出閾値の第２のセットを用いて画像データから証憑イメージの切り出しを試行することを特徴とする証憑イメージ取得方法。
7. 請求項６の証憑イメージ取得方法において、前記整形ステップは、前記切り出した証憑イメージの中心を定め、前記証憑イメージの各部分を前記中心からの距離に応じて伸縮することにより、当該証憑イメージを矩形に整形するステップを含むことを特徴とする証憑イメージ取得方法。

Images