JPWO2017208367A1 - 画像処理装置、画像処理方法、および、プログラム - Google Patents

Abstract

帳票領域を含む撮影画像の撮影画像データを取得し、撮影画像に含まれるエッジを検出し、エッジに基づくエッジ直線を取得し、エッジに基づいて、レイアウトを基準とした帳票領域の補正量を算出し、矩形を構成するエッジ直線のうち最も外側にあるエッジ直線を選定直線として選定し、補正量および選定直線に基づいて、帳票領域の輪郭を構成する基準直線を取得し、基準直線に基づいて、帳票領域の帳票座標を特定する。

Description

本発明は、画像処理装置、画像処理方法、および、プログラムに関する。

従来から、撮影対象物の画像を取得する技術が開示されている。

ここで、複雑な背景において撮影対象物を精度良く検出する技術が開示されている（特許文献１を参照）。

また、レンズの焦点距離と頂点位置とから射影パラメータを算出し、射影パラメータを用いて撮影対象物の画像の画像変換を行う技術が開示されている（特許文献２を参照）。

また、背景色を白にして読み取るスキャナの場合に、全ブロックを包含する矩形の最上端かつ最左端位置を帳票の原点として書式データを作成することで、帳票の左上端を原点とすることはできないが、背景色が白でも同一書式の帳票の原点を一意に定めることができる技術が開示されている（特許文献３を参照）。

特開２０１３−１０６１６０号公報 特開２００５−１２２３２０号公報 特開２００２−２０３２０６号公報

しかしながら、従来の画像処理装置（特許文献１等）においては、カメラの焦点距離等のハード情報がなければ、同一色の背景において対象物の輪郭を検出できないという問題点を有していた。

本発明は、上記問題点に鑑みてなされたもので、帳票領域と背景領域とが同一色または類似色であっても、カメラデバイスの焦点距離およびイメージセンササイズ等のデバイス固有のハード情報を必要とせずに、帳票のレイアウトに基づいて、撮影画像から帳票領域のクロップ精度を向上させることができる画像処理装置、画像処理方法、および、プログラムを提供することを目的とする。

このような目的を達成するため、本発明に係る画像処理装置は、帳票のレイアウトのレイアウトデータを記憶するレイアウトデータ記憶手段と、帳票領域を含む撮影画像の撮影画像データを取得する撮影画像取得手段と、前記撮影画像に含まれるエッジを検出するエッジ検出手段と、前記エッジに基づくエッジ直線を取得する直線取得手段と、前記エッジに基づいて、前記レイアウトを基準とした前記帳票領域の補正量を算出する補正量算出手段と、矩形を構成する前記エッジ直線のうち最も外側にある前記エッジ直線を選定直線として選定し、前記補正量および前記選定直線に基づいて、前記帳票領域の輪郭を構成する基準直線を取得する基準直線取得手段と、前記基準直線に基づいて、前記帳票領域の帳票座標を特定する帳票特定手段と、を備えたことを特徴とする。

また、本発明に係る画像処理方法は、帳票領域を含む撮影画像の撮影画像データを取得する撮影画像取得ステップと、前記撮影画像に含まれるエッジを検出するエッジ検出ステップと、前記エッジに基づくエッジ直線を取得する直線取得ステップと、前記エッジ、および、記憶された帳票のレイアウトのレイアウトデータに基づいて、前記レイアウトを基準とした前記帳票領域の補正量を算出する補正量算出ステップと、矩形を構成する前記エッジ直線のうち最も外側にある前記エッジ直線を選定直線として選定し、前記補正量および前記選定直線に基づいて、前記帳票領域の輪郭を構成する基準直線を取得する基準直線取得ステップと、前記基準直線に基づいて、前記帳票領域の帳票座標を特定する帳票特定ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、帳票領域を含む撮影画像の撮影画像データを取得する撮影画像取得ステップと、前記撮影画像に含まれるエッジを検出するエッジ検出ステップと、前記エッジに基づくエッジ直線を取得する直線取得ステップと、前記エッジ、および、記憶された帳票のレイアウトのレイアウトデータに基づいて、前記レイアウトを基準とした前記帳票領域の補正量を算出する補正量算出ステップと、矩形を構成する前記エッジ直線のうち最も外側にある前記エッジ直線を選定直線として選定し、前記補正量および前記選定直線に基づいて、前記帳票領域の輪郭を構成する基準直線を取得する基準直線取得ステップと、前記基準直線に基づいて、前記帳票領域の帳票座標を特定する帳票特定ステップと、をコンピュータに実行させることを特徴とする。

この発明によれば、対象物と同一色または類似色の背景においても対象物の画像を精度良く検出することができる。

図１は、本実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図３は、本実施形態の画像処理装置における処理の一例を示すフローチャートである。 図４は、本実施形態におけるレイアウトデータの一例を示す図である。 図５は、本実施形態における射影変換前の帳票領域の一例を示す図である。 図６は、本実施形態におけるエッジの関係性を示す図である。 図７は、本実施形態におけるエッジの関係性を示す図である。 図８は、本実施形態における平行直線の一例を示す図である。 図９は、本実施形態における選定候補直線の一例を示す図である。

以下に、本発明に係る画像処理装置、画像処理方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

［本実施形態の構成］
以下、本発明の実施形態に係る画像処理装置１００の構成の一例について図１を参照して説明し、その後、本実施形態の処理等について詳細に説明する。図１は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。

但し、以下に示す実施形態は、本発明の技術思想を具体化するための画像処理装置１００を例示するものであって、本発明をこの画像処理装置１００に特定することを意図するものではなく、請求の範囲に含まれるその他の実施形態の画像処理装置１００にも等しく適用し得るものである。

また、本実施形態で例示する画像処理装置１００における機能分散の形態は以下に限られず、同様の効果や機能を奏し得る範囲において、任意の単位で機能的または物理的に分散・統合して構成することができる。

ここで、画像処理装置１００は、例えば、タブレット端末、携帯電話、スマートフォン、ＰＨＳ、ＰＤＡ、ノート型のパーソナルコンピュータ、または、メガネ型もしくは時計型などのウェアラブルコンピュータ等の可搬性を有する携帯型の情報処理装置（モバイル端末）であってもよい。

まず、図１に示すように、画像処理装置１００は、概略的に、制御部１０２と記憶部１０６と撮影部１１０と入出力部１１２とセンサ部１１４と通信部１１６とを備えて構成される。

なお、図１において、画像処理装置１００は、筐体内に撮影部１１０を備えたモバイル端末として示しているが、筐体内に撮影部１１０を備えておらず、外部の撮影装置から撮影画像データを受信する構成（例えば、デスクトップ型のパーソナルコンピュータ等）であってもよい。

ここで、図１では省略しているが、本実施形態において、更に、入出力部１１２と制御部１０２とを接続する入出力インターフェース部（図示せず）を備えていてもよい。これら画像処理装置１００の各部は任意の通信路を介して通信可能に接続されている。

ここで、通信部１１６は、有線通信および／または無線通信（ＷｉＦｉ等）によりＩＰデータを送受信するためのネットワークインターフェース（ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）等）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、または、赤外線通信等によって無線通信を行うインターフェースであってもよい。

ここで、画像処理装置１００は、通信部１１６を用いて、ネットワークを介して外部装置と通信可能に接続されていてもよい。

また、センサ部１１４は、物理量を検出して別媒体の信号（デジタル信号）に変換する。ここで、センサ部１１４は、近接センサ、方角センサ、磁場センサ、直線加速センサ、輝度センサ、ジャイロセンサ、圧力センサ、重力センサ、加速度センサ、気圧センサ、および／または、温度センサ等を含んでいてもよい。

また、入出力部１１２は、データの入出力（Ｉ／Ｏ）を行う。ここで、入出力部１１２は、例えば、キー入力部、タッチパネル、コントロールパッド（例えば、タッチパッド、および、ゲームパッド等）、マウス、キーボード、および／または、マイク等であってもよい。

また、入出力部１１２は、アプリケーション等の表示画面を表示する表示部（例えば、液晶または有機ＥＬ等から構成されるディスプレイ、モニタ、または、タッチパネル等）であってもよい。

また、入出力部１１２は、音声情報を音声として出力する音声出力部（例えば、スピーカ等）であってもよい。また、入出力部（タッチパネル）１１２は、物理的接触を検出し、信号（デジタル信号）に変換するセンサ部１１４を含んでいてもよい。

また、撮影部１１０は、被写体（例えば、帳票等）を静止画撮影することで、静止画の画像データを取得する。例えば、撮影部１１０は、撮影画像データを取得してもよい。

また、撮影部１１０は、被写体を連続画像撮影（動画撮影）することで、連続（動画）の画像データ（フレーム）を取得してもよい。例えば、撮影部１１０は、映像データを取得してもよい。また、撮影部１１０は、アンシラリデータを取得してもよい。

ここで、フレームは、非圧縮の画像データであってもよい。また、フレームは、高解像度の画像データであってもよい。ここで、高解像度とは、フルハイビジョン、４Ｋ解像度、または、スーパーハイビジョン（８Ｋ解像度）等であってもよい。

また、撮影部１１０は、２４ｆｐｓまたは３０ｆｐｓ等で動画撮影してもよい。ここで、撮影部１１０は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、および／または、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えたカメラ等であってもよい。

記憶部１０６は、ストレージ手段であり、例えばＲＡＭ・ＲＯＭ等のメモリ、ハードディスクのような固定ディスク装置、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、および／または、光ディスク等を用いることができる。

また、記憶部１０６は、各種のデータベース、テーブル、バッファ、および／または、ファイル（レイアウトデータファイル１０６ａ、および、画像データファイル１０６ｂ等）を格納する。ここで、記憶部１０６には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）に命令を与え各種処理を行うためのコンピュータプログラム等が記録されていてもよい。

これら記憶部１０６の各構成要素のうち、レイアウトデータファイル１０６ａは、帳票のレイアウトのレイアウトデータを記憶する。ここで、レイアウトデータは、帳票中の罫線、文字、写真および／または図形等の配置に関する位置データ等であってもよい。

ここで、帳票は、運転免許証を含む各種免許証、各種身分証明書、または、健康保険証等の規定帳票であってもよい。

また、画像データファイル１０６ｂは、画像データ（フレーム等）を記憶する。ここで、画像データファイル１０６ｂは、撮影画像データ、および／または、帳票画像データを記憶していてもよい。

また、制御部１０２は、画像処理装置１００を統括的に制御するＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、および／または、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍｉｎｇ Ｇａｔｅ Ａｒｒａｙ）等を含む有形のコントローラ、または、制御回路から構成されてもよい。

また、制御部１０２は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。

ここで、制御部１０２は、機能概念的に、撮影画像取得部１０２ａ、エッジ検出部１０２ｂ、直線取得部１０２ｃ、矩形検出部１０２ｄ、補正量算出部１０２ｅ、基準直線取得部１０２ｆ、帳票特定部１０２ｇ、および、帳票画像取得部１０２ｈを備える。

撮影画像取得部１０２ａは、撮影画像の撮影画像データを取得する。ここで、撮影画像取得部１０２ａは、帳票領域を含む撮影画像の撮影画像データを取得してもよい。ここで、帳票領域は、射影変換前の領域であってもよい。

また、撮影画像取得部１０２ａは、撮影部１１０または外部の撮影装置の撮影による撮影画像データを取得してもよい。また、撮影画像取得部１０２ａは、撮影部１１０による静止画撮影を制御して、撮影画像データを取得してもよい。

また、撮影画像取得部１０２ａは、撮影部１１０による連続画像撮影または動画撮影を制御して、１コマに相当する撮影画像データ（フレーム）を取得してもよい。

エッジ検出部１０２ｂは、撮影画像に含まれるエッジを検出する。ここで、エッジ検出部１０２ｂは、キャニー法を用いて撮影画像に含まれるエッジを検出してもよい。

例えば、エッジ検出部１０２ｂは、撮影画像をガウシアンフィルタで平滑化し、エッジ強度と勾配方向（４方向に量子化）とを計算し、細線化処理を行い、ヒステリシス閾処理によるエッジ抽出を行うことで、エッジを検出してもよい。

また、エッジ検出部１０２ｂは、撮影画像のピラミッド構造化を行い、隣接階調差によるエッジ抽出を行い、ノイズ除去（ラベリングおよび／または背景除去等）を行い、エッジ補正（欠けの結合等）を行うことで、エッジを検出してもよい。

直線取得部１０２ｃは、エッジに基づくエッジ直線を取得する。ここで、直線取得部１０２ｃは、エッジ直線により構成される矩形である読取矩形の辺と平行な、エッジ直線を平行直線として取得してもよい。

また、直線取得部１０２ｃは、エッジに対するハフ変換により直線候補を算出し、最小二乗法による直線候補の補正によりエッジ直線を取得してもよい。

例えば、直線取得部１０２ｃは、エッジに対するハフ変換による直線候補を算出し、最小二乗法による直線候補の補正を行い、エッジ直線の情報（例えば、始点、終点、および、ハフ変換における投票数）を取得してもよい。

矩形検出部１０２ｄは、エッジ直線により構成される矩形である読取矩形を検出する。

例えば、矩形検出部１０２ｄは、取得されたエッジ直線群（水平方向、および、垂直方向）が構成する矩形候補を算出し、矩形候補を大きさでソートして、読取矩形を検出してもよい。

補正量算出部１０２ｅは、エッジに基づいて、帳票のレイアウトを基準とした帳票領域の補正量を算出する。ここで、補正量算出部１０２ｅは、エッジの長さの比率に基づいて、帳票のレイアウトを基準とした帳票領域の補正量を算出してもよい。

基準直線取得部１０２ｆは、矩形を構成するエッジ直線のうち最も外側にあるエッジ直線を選定直線として選定し、補正量および選定直線に基づいて、帳票領域の輪郭を構成する基準直線を取得する。

ここで、基準直線取得部１０２ｆは、レイアウトデータファイル１０６ａに記憶されたレイアウトデータおよび読取矩形に基づく閾値を満たす、最も外側にある平行直線を選定直線として選定し、撮影画像において選定直線の内側に他のエッジ直線である内側直線があり、且つ、選定直線と内側直線との間が補正量に基づく距離となる場合、補正量に従って選定直線の外側にある基準直線を取得してもよい。

また、基準直線取得部１０２ｆは、レイアウトデータファイル１０６ａに記憶されたレイアウトデータおよび読取矩形に基づく閾値を満たす、最も外側にある平行直線を選定直線として選定し、撮影画像において選定直線の内側に他のエッジ直線である内側直線が無い場合、または、内側直線があるが、選定直線と内側直線との間が補正量に基づく距離とならない場合、撮影画像において当該選定直線の対辺をなす選定直線の内側に他のエッジ直線である対辺内側直線があり、且つ、対辺をなす選定直線と対辺内側直線との間が補正量に基づく距離となる場合、補正量に従って選定直線の外側にある基準直線を取得してもよい。

帳票特定部１０２ｇは、基準直線に基づいて、帳票領域の帳票座標を特定する。ここで、帳票特定部１０２ｇは、基準直線の交点座標を算出することにより、帳票領域の帳票座標を特定してもよい。

帳票画像取得部１０２ｈは、帳票座標に基づいて、撮影画像から帳票領域をクロップ処理することで、帳票画像データを取得する。ここで、帳票画像取得部１０２ｈは、更に、取得した帳票画像データを画像データファイル１０６ｂに格納してもよい。

［本実施形態の処理］
上述した構成の画像処理装置１００（モバイル端末）で実行される処理の一例について、図２から図９を参照して、本実施形態におけるクロップ処理の一例について説明する。図２は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。

図２に示すように、まず、撮影画像取得部１０２ａは、撮影部１１０により撮影された射影変換前の帳票領域を含む撮影画像の撮影画像データを取得する（ステップＳＡ−１）。

そして、エッジ検出部１０２ｂは、撮影画像に含まれるエッジを検出する（ステップＳＡ−２）。

そして、直線取得部１０２ｃは、エッジ検出部１０２ｂにより検出されたエッジに対するハフ変換により直線候補を算出し、最小二乗法による直線候補の補正によりエッジ直線を取得する（ステップＳＡ−３）。

そして、矩形検出部１０２ｄは、直線取得部１０２ｃにより取得されたエッジ直線により構成される矩形である読取矩形を検出する（ステップＳＡ−４）。

そして、制御部１０２は、矩形補正処理を行う（ステップＳＡ−５）。

［矩形補正処理］
ここで、図３から図９を参照して、本実施形態における矩形補正処理の一例について説明する。図３は、本実施形態の画像処理装置１００における処理の一例を示すフローチャートである。

図３に示すように、まず、補正量算出部１０２ｅは、エッジ検出部１０２ｂにより検出されたエッジの長さの比率、および、レイアウトデータファイル１０６ａに記憶されたレイアウトデータに基づいて、帳票のレイアウトを基準とした帳票領域の補正量を算出する（ステップＳＢ−１）。

ここで、図４から図７を参照して、本実施形態における補正量算出処理の一例について説明する。図４は、本実施形態におけるレイアウトデータの一例を示す図である。図５は、本実施形態における射影変換前の帳票領域の一例を示す図である。図６および図７は、本実施形態におけるエッジの関係性を示す図である。

図４に示すように、本実施形態において、レイアウトデータファイル１０６ａには、運転免許証のレイアウトデータが記憶されていてもよい。ここで、運転免許証のレイアウトデータは、罫線の長さ、および、罫線間の長さ等を含んでいてもよい。

例えば、運転免許証のレイアウトデータは、罫線間の長さ（ｄｎ）について、「ｄ１＝ｄ３＝ｄ４＝ｄ５」および「ｄ０：ｄ１：ｄ２＝７９．６：３：４」等のデータを含んでいてもよい。

そして、図５から図７に示すように、本実施形態においては、レイアウトデータファイル１０６ａに記憶された運転免許証のレイアウトデータから基準となる補正量を、射影変換を加味して算出してもよい。

ここで、本実施形態においては、図６および図７に示すように、光路長による縮小および射影平面による縮小を考慮して、撮影部１１０を斜めに傾けた角度αに基づいて、図５に示す射影変換前の帳票領域のエッジの長さ（ｌｎ）を用いて、「台形の上底となるエッジの長さ（ｌ１）と下底となるエッジの長さ（ｌ２）との比」≒ｃｏｓαとして補正量を算出してもよい。

これにより、本実施形態においては、図５に示すｄ１０≒（ｌ１／ｌ２）^２＊ｄ３０と近似して求めてもよい。また、本実施形態においては、図５に示すｌ３≒ｌ１と近似して求めてもよい。

このように、本実施形態においては、検出したエッジの特徴を捉えて、補正量を決定してもよい。

図３に戻り、直線取得部１０２ｃは、矩形検出部１０２ｄにより検出された読取矩形の辺と平行な、エッジ直線を平行直線として取得（選定）する（ステップＳＢ−２）。ここで、平行直線は、読取矩形の辺との角度が±１度以内の角度となるエッジ直線を含んでいてもよい。

ここで、図８を参照して、本実施形態における直線選定処理の一例について説明する。図８は、本実施形態における平行直線の一例を示す図である。

図８に示すように、本実施形態においては、検出したエッジ直線群の中から、検出した読取矩形の各辺と平行な直線を選定してもよい。このように、本実施形態においては、検出した読取矩形に基づいて、検出したエッジ直線群から平行直線を選定してもよい。

図３に戻り、基準直線取得部１０２ｆは、レイアウトデータファイル１０６ａに記憶されたレイアウトデータおよび読取矩形に基づく閾値を満たす、最も外側にある平行直線を選定直線として選定し、補正量に従って選定直線の外側にある、帳票領域の輪郭を構成する基準直線を取得する（ステップＳＢ−３）。

ここで、図９を参照して、本実施形態におけるレイアウト判定処理の一例について説明する。図９は、本実施形態における選定候補直線の一例を示す図である。

図９に示すように、本実施形態においては、まず、読取矩形を構成する四つの平行直線を選定直線の初期値（長辺を構成する選定候補直線Ｌ’（Ｌ’１およびＬ’２）、ならびに、短辺を構成する選定候補直線Ｓ’（Ｓ’１およびＳ’２））として取得する。

そして、本実施形態においては、選定候補直線Ｌ’１および選定候補直線Ｌ’２に対して、閾値（例えば、レイアウトデータに基づく帳票の短辺の１／４の長さ等）以内の外側に平行直線があれば、値を更新（選定候補直線Ｌ’とする平行直線を変更）することで、選定直線Ｌ１および選定直線Ｌ２を選定する。

そして、本実施形態においては、選定直線Ｌ１に対し、内側に他のエッジ直線である内側直線があり、且つ、選定直線Ｌ１と内側直線との間が補正量に基づく距離（例えば、実距離の１／２以上３／２以下の長さ等）となるか否かを判定することで、選定直線の関係性からレイアウトを判定する。

そして、本実施形態においては、選定直線Ｌ１が判定を満たす場合に、後段処理に移行させる。

一方で、本実施形態においては、選定直線Ｌ１が判定を満たさない場合、対辺である選定直線Ｌ２に対し、内側に他のエッジ直線である対辺内側直線があり、且つ、選定直線Ｌ２と対辺内側直線との間が補正量に基づく距離となるか否かを判定する。

そして、本実施形態においては、選定直線Ｌ２が判定を満たす場合、選定直線Ｌ１について判定を満たすものとして、後段処理に移行させてもよい。

そして、本実施形態においては、選定直線Ｓ（Ｓ１およびＳ２）に対し、内側に他のエッジ直線である内側直線があり、且つ、選定直線Ｓと内側直線との間が補正量に基づく距離となるか否かを判定する。

そして、本実施形態においては、選定直線Ｓが判定を満たす場合、補正量に従って選定直線Ｌおよび選定直線Ｓの外側にある基準直線を取得する。このように、本実施形態においては、補正量を基にレイアウトを判定してもよい。

図３に戻り、帳票特定部１０２ｇは、基準直線取得部１０２ｆにより取得された基準直線の交点座標を算出することにより、帳票領域の帳票座標を特定し（ステップＳＢ−４）、処理を終了する。

すなわち、帳票特定部１０２ｇは、レイアウト判定結果である基準直線を基に４点座標を算出してもよい。

図２に戻り、帳票画像取得部１０２ｈは、帳票特定部１０２ｇにより特定された帳票座標に基づいて、撮影画像から帳票領域をクロップ処理することで、帳票画像データを取得し、帳票画像データを画像データファイル１０６ｂに格納し（ステップＳＡ−６）、処理を終了する。

このように、本実施形態においては、スマートフォンまたはデジタルカメラ等のカメラを備えたモバイル端末において、同一色背景または類似色背景においても精度良く対象物の画像データを切り出すことができる。

また、本実施形態においては、窓口業務において、顧客から借用する身分証明証をモバイル端末でその場で撮影することで、顧客へ安心感を与えることができるため、窓口業務における個人認証に有用である。

ここで、身分証明証を撮影する際、身分証明証が置かれるテーブルは多様であり、身分証明証と同一色である場合もある。また、使用するモバイル端末の種類も多様であり、カメラパラメータが機種によって異なる、または、公開されていない場合もある。

しかしながら、本実施形態においては、背景およびカメラパラメータに関係なく、身分証明証が運転免許証（１０１４ｄｏｔ×６３４ｄｏｔ＠３００ｄｐｉ）の場合、斜めから１０度程度であれば精度良く運転免許証の輪郭を検出することができる。

従来から、対象物の位置を検出する方法として、エッジ検出を用いた手法、および、レイアウトを用いた手法があった。

しかしながら、従来は、エッジ検出を用いた手法においては、対象物と背景との間に階調差が少ない同一色背景または類似色背景にて、境界を見つけることができなかった。

また、レイアウトを用いた手法においては、斜めからの撮影を考慮する場合、焦点距離およびイメージセンササイズ等のカメラデバイスの情報が必要であった。

そこで、本実施形態においては、罫線によるレイアウト判別ができる原稿（例えば、運転免許証等）に対して、エッジ検出、直線検出および矩形検出を行うことで、原稿の輪郭となる矩形を検出している。

この際に、本実施形態においては、検出した原稿の輪郭内側に他のエッジを検出することで、背景と媒体との境界を正しく認識してもよい。

これにより、本実施形態においては、レイアウトを判別するための補正量を近似的に算出することで、従来必要であったカメラデバイスの情報を必要とせずに、原稿の輪郭を求めることができる。

また、本実施形態においては、補正量と選定した直線群とを用いてレイアウトを判定することで、帳票領域を特定することができる。

［他の実施形態］
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。

例えば、画像処理装置１００は、スタンドアローンの形態で処理を行ってもよく、クライアント端末（画像処理装置１００とは別筐体である）からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。

また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。

このほか、明細書中および図面中で示した処理手順、制御手順、具体的名称、各処理の登録データもしくは検索条件等のパラメータを含む情報、画面例、または、データベース構成については、特記する場合を除いて任意に変更することができる。

また、画像処理装置１００に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。

例えば、画像処理装置１００の各装置が備える処理機能、特に制御部１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵおよび当該ＣＰＵにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。

なお、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて画像処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤＤなどの記憶部１０６などには、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）と協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。

また、このコンピュータプログラムは、画像処理装置１００に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。

また、本発明に係るプログラムを、コンピュータに読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、ＵＳＢメモリ、ＳＤカード、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、および、Ｂｌｕ−ｒａｙ（登録商標）Ｄｉｓｃ等の任意の「可搬用の物理媒体」を含むものとする。

また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳに代表される別個のプログラムと協働してその機能を達成するものも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。

記憶部１０６に格納される各種のデータベース等は、ＲＡＭもしくはＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および／または、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および／または、ウェブページ用ファイル等を格納してもよい。

また、画像処理装置１００は、既知のパーソナルコンピュータ等の情報処理装置として構成してもよく、また、該情報処理装置に任意の周辺装置を接続して構成してもよい。また、画像処理装置１００は、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。

更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。

以上のように、画像処理装置、画像処理方法、および、プログラムは、産業上の多くの分野、特にカメラで読み込んだ画像を扱う画像処理分野で実施することができ、極めて有用である。

１００ 画像処理装置
１０２ 制御部
１０２ａ 撮影画像取得部
１０２ｂ エッジ検出部
１０２ｃ 直線取得部
１０２ｄ 矩形検出部
１０２ｅ 補正量算出部
１０２ｆ 基準直線取得部
１０２ｇ 帳票特定部
１０２ｈ 帳票画像取得部
１０６ 記憶部
１０６ａ レイアウトデータファイル
１０６ｂ 画像データファイル
１１０ 撮影部
１１２ 入出力部
１１４ センサ部
１１６ 通信部

Claims (19)

1. 帳票のレイアウトのレイアウトデータを記憶するレイアウトデータ記憶手段と、
   帳票領域を含む撮影画像の撮影画像データを取得する撮影画像取得手段と、
   前記撮影画像に含まれるエッジを検出するエッジ検出手段と、
   前記エッジに基づくエッジ直線を取得する直線取得手段と、
   前記エッジに基づいて、前記レイアウトを基準とした前記帳票領域の補正量を算出する補正量算出手段と、
   矩形を構成する前記エッジ直線のうち最も外側にある前記エッジ直線を選定直線として選定し、前記補正量および前記選定直線に基づいて、前記帳票領域の輪郭を構成する基準直線を取得する基準直線取得手段と、
   前記基準直線に基づいて、前記帳票領域の帳票座標を特定する帳票特定手段と、
   を備えたことを特徴とする、画像処理装置。
2. 前記補正量算出手段は、
   前記エッジの長さの比率に基づいて、前記レイアウトを基準とした前記帳票領域の前記補正量を算出する、請求項１に記載の画像処理装置。
3. 前記帳票領域は、
   射影変換前の領域である、請求項１または２に記載の画像処理装置。
4. 前記エッジ直線により構成される矩形である読取矩形を検出する矩形検出手段、
   を更に備え、
   前記直線取得手段は、
   前記読取矩形の辺と平行な、前記エッジ直線を平行直線として取得する、請求項１から３のいずれか一つに記載の画像処理装置。
5. 前記基準直線取得手段は、
   前記レイアウトデータおよび前記読取矩形に基づく閾値を満たす、最も外側にある前記平行直線を前記選定直線として選定し、前記撮影画像において前記選定直線の内側に他の前記エッジ直線である内側直線があり、且つ、前記選定直線と前記内側直線との間が前記補正量に基づく距離となる場合、前記補正量に従って前記選定直線の外側にある前記基準直線を取得する、請求項４に記載の画像処理装置。
6. 前記基準直線取得手段は、
   前記レイアウトデータおよび前記読取矩形に基づく閾値を満たす、最も外側にある前記平行直線を前記選定直線として選定し、前記撮影画像において前記選定直線の内側に他の前記エッジ直線である内側直線が無い場合、または、前記内側直線があるが、前記選定直線と前記内側直線との間が前記補正量に基づく距離とならない場合、前記撮影画像において当該選定直線の対辺をなす前記選定直線の内側に他の前記エッジ直線である対辺内側直線があり、且つ、前記対辺をなす選定直線と前記対辺内側直線との間が前記補正量に基づく距離となる場合、前記補正量に従って前記選定直線の外側にある前記基準直線を取得する、請求項４に記載の画像処理装置。
7. 前記帳票特定手段は、
   前記基準直線の交点座標を算出することにより、前記帳票領域の前記帳票座標を特定する、請求項１から６のいずれか一つに記載の画像処理装置。
8. 前記帳票座標に基づいて、前記撮影画像から前記帳票領域をクロップ処理することで、帳票画像データを取得する帳票画像取得手段、
   を更に備えた、請求項１から７のいずれか一つに記載の画像処理装置。
9. 前記直線取得手段は、
   前記エッジに対するハフ変換により直線候補を算出し、最小二乗法による前記直線候補の補正により前記エッジ直線を取得する、請求項１から８のいずれか一つに記載の画像処理装置。
10. 帳票領域を含む撮影画像の撮影画像データを取得する撮影画像取得ステップと、
    前記撮影画像に含まれるエッジを検出するエッジ検出ステップと、
    前記エッジに基づくエッジ直線を取得する直線取得ステップと、
    前記エッジ、および、記憶された帳票のレイアウトのレイアウトデータに基づいて、前記レイアウトを基準とした前記帳票領域の補正量を算出する補正量算出ステップと、
    矩形を構成する前記エッジ直線のうち最も外側にある前記エッジ直線を選定直線として選定し、前記補正量および前記選定直線に基づいて、前記帳票領域の輪郭を構成する基準直線を取得する基準直線取得ステップと、
    前記基準直線に基づいて、前記帳票領域の帳票座標を特定する帳票特定ステップと、
    を含むことを特徴とする、画像処理方法。
11. 前記補正量算出ステップにて、
    前記エッジの長さの比率に基づいて、前記レイアウトを基準とした前記帳票領域の前記補正量を算出する、請求項１０に記載の画像処理方法。
12. 前記帳票領域は、
    射影変換前の領域である、請求項１０または１１に記載の画像処理方法。
13. 前記エッジ直線により構成される矩形である読取矩形を検出する矩形検出ステップ、
    を更に含む、
    前記直線取得ステップにて、
    前記読取矩形の辺と平行な、前記エッジ直線を平行直線として取得する、請求項１０から１２のいずれか一つに記載の画像処理方法。
14. 前記基準直線取得ステップにて、
    前記レイアウトデータおよび前記読取矩形に基づく閾値を満たす、最も外側にある前記平行直線を前記選定直線として選定し、前記撮影画像において前記選定直線の内側に他の前記エッジ直線である内側直線があり、且つ、前記選定直線と前記内側直線との間が前記補正量に基づく距離となる場合、前記補正量に従って前記選定直線の外側にある前記基準直線を取得する、請求項１３に記載の画像処理方法。
15. 前記基準直線取得ステップにて、
    前記レイアウトデータおよび前記読取矩形に基づく閾値を満たす、最も外側にある前記平行直線を前記選定直線として選定し、前記撮影画像において前記選定直線の内側に他の前記エッジ直線である内側直線が無い場合、または、前記内側直線があるが、前記選定直線と前記内側直線との間が前記補正量に基づく距離とならない場合、前記撮影画像において当該選定直線の対辺をなす前記選定直線の内側に他の前記エッジ直線である対辺内側直線があり、且つ、前記対辺をなす選定直線と前記対辺内側直線との間が前記補正量に基づく距離となる場合、前記補正量に従って前記選定直線の外側にある前記基準直線を取得する、請求項１３に記載の画像処理方法。
16. 前記帳票特定ステップにて、
    前記基準直線の交点座標を算出することにより、前記帳票領域の前記帳票座標を特定する、請求項１０から１５のいずれか一つに記載の画像処理方法。
17. 前記帳票座標に基づいて、前記撮影画像から前記帳票領域をクロップ処理することで、帳票画像データを取得する帳票画像取得ステップ、
    を更に含む、請求項１０から１６のいずれか一つに記載の画像処理方法。
18. 前記直線取得ステップにて、
    前記エッジに対するハフ変換により直線候補を算出し、最小二乗法による前記直線候補の補正により前記エッジ直線を取得する、請求項１０から１７のいずれか一つに記載の画像処理方法。
19. 帳票領域を含む撮影画像の撮影画像データを取得する撮影画像取得ステップと、
    前記撮影画像に含まれるエッジを検出するエッジ検出ステップと、
    前記エッジに基づくエッジ直線を取得する直線取得ステップと、
    前記エッジ、および、記憶された帳票のレイアウトのレイアウトデータに基づいて、前記レイアウトを基準とした前記帳票領域の補正量を算出する補正量算出ステップと、
    矩形を構成する前記エッジ直線のうち最も外側にある前記エッジ直線を選定直線として選定し、前記補正量および前記選定直線に基づいて、前記帳票領域の輪郭を構成する基準直線を取得する基準直線取得ステップと、
    前記基準直線に基づいて、前記帳票領域の帳票座標を特定する帳票特定ステップと、
    をコンピュータに実行させるためのプログラム。

Images