JP7842650B2 - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法、及びコンピュータプログラムに関する。

特許文献１には、書面の外形輪郭を検出可能な画像処理装置が記載されている。詳細には、画像処理装置では、撮像装置等から、書面が映った画像が取得される。その後、４本の仮想直線が画像の各頂点を始点として中心へと平行移動させられる。各仮想直線は、画像において直交し合う２辺に対して所定角度傾斜している。画像処理装置では更に、各仮想直線と、外形輪郭との交点が取得され、各交点に基づいて書面の外形輪郭の隅が取得される。

特許第４９１８１６７号公報

しかしながら、特許文献１の画像処理装置では、書面全体が画像に映っていなければ、書面の隅を検出することが難しいという問題点がある。詳細には、複数人での対話では書面が参照される場合がある。書面の隅を画像処理装置により検出する場合、各人は、書面上に手が置かないように注意を払う必要がある。他にも、撮像装置の画角内に書面全域が入るように画像処理装置の位置を調整したり、書面の隅が折れていないように注意を払ったりする必要がある。

本開示は、上記状況に鑑みてなされたものであり、書面全体が画像に映っていない場合であっても書面の隅を検出できる可能な技術を提供することにある。

本開示の一局面に係る画像処理装置は、領域特定部と、特徴点特定部と、判定部と、隅特定部とを備える。前記領域特定部は、背景及び書面を含む画像から、前記書面を表す第１領域と、前記書面及び前記背景以外の物体を表す第２領域とを特定する。前記特徴点特定部は、前記第１領域及び前記第２領域に基づいて、前記書面の隅である点、前記第１領域の外縁において前記第２領域の外縁と接する点、及び前記第１領域の外縁において前記画像の外縁と接する点のいずれかを少なくとも含む複数の特徴点を特定する。前記判定部は、前記複数の特徴点のうち、隣り合う２つの前記特徴点が前記書面における同一辺上にあるか否かを判定する。前記隅特定部は、前記同一辺上にあると判定された前記隣り合う２つの特徴点に基づいて、前記書面の４隅を特定する。

本開示の他の局面に係る画像処理方法は、背景及び書面を含む画像から、前記書面を表す第１領域と、前記書面及び前記背景以外の物体を表す第２領域とを特定するステップと、前記第１領域及び前記第２領域に基づいて、前記書面の隅である点、前記第１領域の外縁において前記第２領域の外縁と接する点、及び前記第１領域の外縁において前記画像の外縁と接する点のいずれかである複数の特徴点を特定するステップと、前記複数の特徴点のうち、隣り合う２つの前記特徴点が前記書面の辺上にあるか否かを判定するステップと、前記辺上にあると判定された前記隣り合う２つの特徴点に基づいて、前記書面の４隅を特定するステップとを含む。

本開示の更に他の局面に係るコンピュータプログラムは、コンピュータに、背景及び書面を含む画像から、前記書面を表す第１領域と、前記書面及び前記背景以外の物体を表す第２領域とを特定するステップと、前記第１領域及び前記第２領域に基づいて、前記書面の隅である点、前記第１領域の外縁において前記第２領域の外縁と接する点、及び前記第１領域の外縁において前記画像の外縁と接する点のいずれかである複数の特徴点を特定するステップと、前記複数の特徴点のうち、隣り合う２つの前記特徴点が前記書面の辺上にあるか否かを判定するステップと、前記辺上にあると判定された前記隣り合う２つの特徴点に基づいて、前記書面の４隅を特定するステップとを実行させる。

本開示によれば、書面全体が画像に映っていない場合であっても書面の隅を検出できる可能な技術を提供することができる。

本開示の一実施形態に係る情報処理装置を示す図である。 図１に示される情報処理装置の詳細な構成を示す図である。 図２に示される処理部のブロック構成を示す図である。 図１に示されるサーバ装置の詳細な構成を示す図である。 図３に示される処理部の処理手順を示すメインフローチャートである。 第１状況及び第２状況で撮影された処理前画像データが表す画像を示す図である。 図５に示されるステップＳ１０２の詳細な処理手順を示すフローチャートである。

本開示の実施形態について、図面を参照しながら説明する。なお、図中、同一又は相当部分については同一の参照符号を付して説明を繰り返さない。

図１は、本開示の一実施形態に係る情報処理装置１００を示す図である。図１に示されるように、情報処理装置１００は、通信ネットワーク２００を介してサーバ装置３００とデータ通信可能である。通信ネットワーク２００は、インターネット、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、又は無線ＬＡＮである。通信ネットワーク２００は、インターネット、有線ＬＡＮ、及び無線ＬＡＮから選ばれた２つ以上の組み合わせでもよい。

図２は、図１に示される情報処理装置１００の詳細な構成を示す図である。図２に示されるように、情報処理装置１００は、撮像部１２と、表示部１３と、コネクタ部１４と、通信インタフェース部１５とを更に備える。なお、以下、「通信インタフェース部」を「通信ＩＦ部」と記載する。

画像処理装置１１は、例えば、パーソナルコンピュータの本体装置である。画像処理装置１１は、記憶部１１１と、処理部１１２とを備える。

記憶部１１１は、例えば、非一時的コンピュータ読取可能な記憶媒体である。詳細には、記憶部１１１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び／又はフラッシュメモリを含む。記憶部１１１は、画像処理プログラム１１３を記憶する。画像処理プログラム１１３は、処理部１１２の処理手順を規定する。また、画像処理プログラム１１３は、本開示における「コンピュータプログラム」の一例である。画像処理プログラム１１３は、単一のプログラムであってもよいし、複数のプログラムモジュールの集まりであってもよい。

処理部１１２は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はマイクロコンピュータである。処理部１１２は、画像処理プログラム１１３を実行することにより、画像取得部１１２Ａ、特定部１１２Ｂ、変形部１１２Ｃ、文字認識部１１２Ｄ、及び合成部１１２Ｅとして機能する。その結果、処理部１１２は、撮像部１２と、表示部１３と、コネクタ部１４に接続可能な記憶媒体１６と、通信ＩＦ部１５とを制御する。画像処理プログラム１１３の処理手順及び各部の制御については、後で詳説される。

撮像部１２は、カメラ等の撮像装置である。撮像部１２は、自身の画角内の画像を撮影して、撮影した画像を示す画像データを生成する。なお、撮像部１２は、通信ケーブル又は無線リンクを介して画像処理装置１１へと画像データを送信可能である。

表示部１３は、液晶ディスプレイ等の表示装置である。表示部１３は、各種画像を画面に表示する。表示部１３は、通信ケーブル等を介して画像処理装置１１と通信可能である。

コネクタ部１４及び通信ＩＦ部１５は、画像処理装置１１に設けられる。

コネクタ部１４は、記憶媒体１６が接続可能なレセプタクルである。詳細には、記憶媒体１６は、例えばＵＳＢメモリである。記憶媒体１６は、様々なデータを記憶可能である。

通信ＩＦ部１５は、通信ネットワーク２００（図１参照）を通じてサーバ装置３００とデータ通信可能なインタフェースである。詳細には、通信ＩＦ部１５は、サーバ装置３００を送信先とするリクエストデータを通信ネットワーク２００に送出する。実施形態では、リクエストデータは、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による物体認識処理（以下、単に「物体認識処理」と記載する。）を要求するための情報である。リクエストデータは、物体認識処理の対象となる画像データを含む。通信ＩＦ部１５は更に、情報処理装置１００を送信先とするレスポンスデータを、通信ネットワーク２００から受信する。

図４は、図１に示されるサーバ装置３００の詳細な構成を示す図である。図４に示されるように、サーバ装置３００は、通信ＩＦ部３１と、記憶部３２と、処理部３３とを記憶する。

通信ＩＦ部３１は、通信ネットワーク２００を通じて情報処理装置１００とデータ通信可能なインタフェース等である。通信ＩＦ部３１は、サーバ装置３００を送信先とするリクエストデータを通信ネットワーク２００から受信する。通信ＩＦ部３１は、情報処理装置１００を送信先とするレスポンスデータを通信ネットワーク２００へ送出する。

記憶部３２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及び／又はフラッシュメモリを含む。記憶部３２は、物体モデルデータベース３２１を記憶する。以下、「物体モデルデータベース」を「物体モデルＤＢ」と記載する。

処理部３３は、例えばＣＰＵ又はマイクロコンピュータである。処理部３３は、物体認識処理のために機械学習を実行する。即ち、処理部３３は、画像データを取得する。画像データは、様々な物体を含む画像を示す。処理部３３は、画像データが示す画像に含まれる各物体の局所特徴量を抽出する。処理部３３は、局所特徴量と、物体を示す識別情報とを、互いに紐づけした状態で物体モデルＤＢ３２１に登録する。

処理部３３は、通信ＩＦ部３１を通じて、情報処理装置１００からのリクエストデータを受信する場合がある。処理部３３は、リクエストデータの受信をトリガとして、物体認識処理を開始する。詳細には、処理部３３は、受信したリクエストデータに含まれる画像データから局所特徴量を抽出する。処理部３３は、抽出した局所特徴量に基づいて、物体モデルＤＢ３２１を検索することにより、画像データが示す画像に映っている物体を認識する。なお、物体認識処理としては、例えばパノプティックセグメンテーションを用いることができる。パノプティックセグメンテーションでは、画像を構成する全画素に、物体を識別可能なラベルが個別的に割り当てられる。また、数えることが可能な物体に関しては、Ｄｅｔｅｃｔｒｏｎ２等を用いることで、画素ごとに物体が区別される。

物体認識処理が終了したことに応じて、処理部３３は、レスポンスデータを生成する。レスポンスデータは、認識した物体を示す情報を含む。また、レスポンスデータの送信先は、情報処理装置１００と指定される。処理部３３は、作成したレスポンスデータを、通信ＩＦ部３１を通じて通信ネットワーク２００に送出する。

実施形態では、情報処理装置１００は、対話で参照される書面を電子化するために用いられる。書面は、折り目、切れ目及びカール等が無い状態では、矩形形状である。例えば、薬局では、薬剤師は、患者向けの書面を参照して、患者に対し服薬指導等を実施する。書面としては帳票が例示される。帳票の主面には、処方された医薬品の説明等が記載されている。情報処理装置１００を薬局で用いる場合、画像処理装置１１及び表示部１３は、服薬指導時等に帳票が載置されるカウンター又はテーブルに設置される。撮像部１２は、カウンター又はテーブル上の帳票を撮影可能に設置される。

図５は、図３に示される処理部１１２のメインフローチャートである。図５に示されるように、処理部１１２の処理は、ステップＳ１０１～Ｓ１０６を含む。

ステップＳ１０１は、画像取得処理である。ステップＳ１０１で、処理部１１２は、画像取得部１１２Ａとして機能し、撮像部１２から画像データ（以下、「処理前画像データ」と記載する。）を取得する。処理前画像データは、背景及び書面（帳票）を含む画像を示す。処理部１１２が撮像部１２からの処理前画像データを処理対象とすることにより、対話中に書面を電子化することが容易となる。なお、記憶媒体１６に記憶された処理前画像データを処理対象とする場合、記憶媒体１６から処理部１１２への処理前画像データの転送が必要となるため、対話中に書面を電子化することが容易ではない。

ステップＳ１０２は、特定処理である。ステップＳ１０２で、処理部１１２は、特定部１１２Ｂとして機能し、処理前画像データが示す画像（以下、「処理前画像」と記載する。）を構成する全画素から、書面領域を特定する。書面領域は、書面を構成する画素の領域である。また、書面領域は、本開示における「第１領域」の一例である。処理部１１２は更に、処理前画像における書面の４隅を示す画素位置を特定する。

ステップＳ１０３は、変形処理である。ステップＳ１０３で、処理部１１２は、変形部１１２Ｃとして機能し、書面の４隅を示す画素位置に基づいて、書面領域を矩形に変形した矩形画像を生成する。

ステップＳ１０４は、文字認識処理である。ステップＳ１０４で、処理部１１２は、文字認識部１１２Ｄとして機能し、書面領域を対象に文字認識処理を実行する。文字認識処理により、処理部１１２は、書面領域に含まれる各文字を、予め定められた文字コードで示す文字データに変換する。

ステップＳ１０５は、合成処理である。ステップＳ１０５で、処理部１１２は、合成部１１２Ｅとして機能し、文字認識部１１２Ｄの認識結果を矩形画像に合成する。認識結果は、文字認識部１１２Ｄにより変換された文字データである。詳細には、矩形画像において、文字認識処理前の各文字がレイアウトされていた領域に認識結果が合成される。

ステップＳ１０１～Ｓ１０５の結果、処理後画像データが生成される。処理後画像データは、認識結果が書面領域上に合成された矩形画像を示す。ステップＳ１０５の次に、ステップＳ１０６が実行される。ステップＳ１０６は、表示処理である。ステップＳ１０６で、処理部１１２は、処理後画像データに基づいて、認識結果が合成された矩形画像を表示部１３に表示させる。なお、処理後画像データは、保存処理又は印刷処理等の対象にもなる。保存処理では、処理部１１２は、処理後画像データを記憶部１１１に保存する。印刷処理では、処理部１１２は、処理後画像データに基づく矩形画像を、図示しないプリンタに印刷させる。

ところで、対話中、書面は、例えば第１状況、第２状況及び第３状況に置かれることがある。第１状況では、書面は、撮像部１２の画角から外れる。第２状況では、書面上に手が置かれる。第３状況では、書面の隅に折り目が付いている。

図６は、第１状況及び第２状況で撮影された処理前画像データが表す画像、即ち、処理前画像４００を示す図である。処理前画像４００は、フルカラー画像等であり、二次元の画像座標系における座標値ごとに画素値を有する。図６に示されるように、処理前画像４００は、書面４１と、背景４２と、不要物４３とを含む。

書面４１は、対話で参照される書面である。背景４２は、書面４１が載置される面である。詳細には、背景４２は、カウンター又はテーブル等である。不要物４３は、処理前画像４００において書面４１及び背景４２以外の物体である。実施形態では、物体は、人体を含む概念である。図６の例では、不要物４３は、書面４１上に置かれた手である。なお、処理前画像４００には、不要物４３が映っていない場合もある。また、不要物４３は、本開示における「書面及び背景以外の物体」の一例である。

図３中には、第１状況に関連して破線４１１が示されている。破線４１１は、書面４１において撮像部１２（図２参照）の画角から外れた部分を示している。実施形態では、画角は、処理前画像４００の外縁４１４で囲まれる範囲である。図６には更に、第２状況に関連して不要物４３が示されている。不要物４３により、書面４１の一部が処理前画像４００には映らない。なお、図６には、第３状況に関連する折り目は示されていない。第３状況では、折り目による折り返しにより、書面４１の一部は、処理前画像４００には映らない。

画像処理装置１１は、第１状況、第２状況、及び第３状況等のように、処理前画像４００に書面４１の主面全域が映らない状況であっても、下記の特定処理により、書面４１の４隅を特定できる。

図７は、図５に示される特定処理（ステップＳ１０２）の詳細な処理手順を示すフローチャートである。図７に示されるように、処理部１１２による特定処理は、ステップＳ２０１～Ｓ２０５を含む。以下、図６及び図７を参照して、特定処理について詳説する。

ステップＳ２０１は、領域特定処理である。ステップＳ２０１を実行する処理部１１２は、本開示における「領域特定部」の一例である。ステップＳ２０１で、処理部１１２は、処理前画像４００から、書面領域４１２と不要物領域４３１とを特定する。書面領域４１２は、書面４１を表す画素が分布する領域である。不要物領域４３１は、不要物４３を表す画素が分布する領域である。書面領域４１２及び不要物領域４３１は、本開示における「第１領域」及び「第２領域」の一例である。

詳細には、処理部１１２は、ステップＳ２０１でまず、不要物領域４３１を特定するために、肌色領域の特定処理を実行する。肌色領域の特定処理では、処理部１１２は、処理前画像４００を構成する全画素の中から、第１特定範囲に含まれる画素を不要物領域４３１として特定する。第１特定範囲は、肌色として予め定められる画素値の範囲である。肌色領域の特定処理により、不要物領域４３１が特定可能であるため、情報処理装置１００に追加のデバイスが不要となる。

処理部１１２は、ステップＳ２０１で更に、処理前画像を構成する全画素から、不要物領域４３１に含まれる画素を除いた画素群を、処理対象の画素群として決定する。処理部１１２は、処理対象の画素群の中から、第２特定範囲に含まれる画素を特定する。第２特定範囲は、書面領域４１２の色として予め定められる画素値の範囲である。書面領域４１２の色は、例えば白である。処理部１１２は、第２特定範囲に含まれる画素群を、書面領域４１２として特定する。なお、書面４１には、文字及び／又は写真が記録されている。しかし、書面４１の４隅を特定するには、書面領域４１２の外縁４１３を特定できれば足りる。従って、処理部１１２は、外縁４１３より内側に記録される文字又は写真を無視してもよい。

ステップＳ２０２は、基準点決定処理である。ステップＳ２０２を実行する処理部１１２は、本開示における「基準点決定部」の一例である。ステップＳ２０２で、処理部１１２は、書面領域４１２の外縁４１３における複数の特徴点Ｐ１を求める。詳細には、処理部１１２は、書面領域４１２を構成する全画素を対象に２値画像を生成する。処理部１１２は更に、２値画像に対して凸包処理を実行した後に、Ｄｏｕｇｌａｓ－Ｐｅｕｃｋｅｒアルゴリズムを適用する。これにより、処理部１１２は、外縁４１３における複数の特徴点Ｐ１を取得する。図６には、６個の特徴点Ｐ１が例示されている。

処理部１１２は、取得した複数の特徴点Ｐ１に基づいて、基準点Ｐ２を決定する。従って、書面領域４１２の全画素に基づいて決定する場合と比較して演算量を低減することができる。基準点Ｐ２は、後述の判定処理（ステップＳ２０４）で必要となる周方向θの基準となる点である。詳細には、基準点Ｐ２は、複数の特徴点Ｐ１を頂点とする多角形に内包される。基準点Ｐ２としては、複数の特徴点Ｐ１の重心が例示される。基準点Ｐ２の他の例は、下記の通りである。複数の特徴点Ｐ１の各々は、画像座標系における座標値を有する。座標値は、ｘ座標値及びｙ座標値の組み合わせである。この場合、基準点Ｐ２のｘ座標値は、複数の特徴点Ｐ１の各ｘ座標値の平均値である。基準点Ｐ２のｙ座標値は、複数の特徴点Ｐ１の各ｙ座標値の平均値である。

ステップＳ２０３は、特徴点特定処理である。ステップＳ２０３を実行する処理部１１２は、本開示における「特徴点特定部」の一例である。ステップＳ２０３で、処理部１１２は、書面領域４１２及び不要物領域４３１に基づいて、複数の特徴点Ｐ１が第１特徴点Ｐ１１、第２特徴点Ｐ１２、及び第３特徴点Ｐ１３のいずれであるのかを特定する。第１特徴点Ｐ１１は、書面４１の隅を示す点である。第２特徴点Ｐ１２は、書面領域４１２の外縁４１３において不要物領域４３１と接する点である。第３特徴点Ｐ１３は、外縁４１３において処理前画像４００の外縁４１４と接する点である。

ステップＳ２０４は、判定処理である。ステップＳ２０４を実行する処理部１１２は、本開示における「判定部」の一例である。ステップＳ２０４で、処理部１１２は、複数の特徴点Ｐ１の中から１つの特徴点Ｐ１を「注目特徴点」として選択する。処理部１１２は更に、注目特徴点を基準として、画像座標系において周方向θの一方側に隣り合う特徴点Ｐ１を「近傍特徴点」として選択する。周方向θは、画像座標系を規定する２つの座標軸に直交し、且つ基準点Ｐ２を通過するする軸に対する周方向である。

「注目特徴点」及び「近傍特徴点」は、本開示における「隣り合う２つの特徴点」の一例である。

次に、処理部１１２は、注目特徴点及び近傍特徴点が書面４１における同一辺上にあるか否かを判定する。詳細には、処理部１１２はまず、注目特徴点が第１条件を満たすか否かを判定する。第１条件は、注目特徴点が第１特徴点Ｐ１１であることである。第１条件を満たす場合、注目特徴点及び近傍特徴点が書面４１における同一辺上にあると判定する。

注目特徴点が第１条件を満たさない場合、処理部１１２は、注目特徴点及び近傍特徴点が第２条件を満たすか否かを判定する。第２条件は、注目特徴点及び近傍特徴点の各々が第２特徴点Ｐ１２であることである。第２条件を満たす場合、注目特徴点及び近傍特徴点が書面４１における同一辺上にないと判定する。

第２条件を満たさない場合、処理部１１２は更に、注目特徴点及び近傍特徴点が第３条件を満たすか否かを判定する。第３条件は、注目特徴点及び近傍特徴点の各々が第３特徴点Ｐ１３であることである。第３条件を満たす場合、注目特徴点及び近傍特徴点が書面４１における同一辺上にないと判定する。

第３条件を満たさない場合、処理部１１２は更に、注目特徴点及び近傍特徴点が第４条件を満たすか否かを判定する。第４条件は、注目特徴点及び近傍特徴点の間のユークリッド距離が第１閾値以下であることである。第４条件を満たす場合、注目特徴点及び近傍特徴点が書面４１における同一辺上にないと判定する。

なお、第４条件は、第５条件に変更されてもよい。第５条件は、注目特徴点、基準点Ｐ２及び近傍特徴点を順に線分で結んで形成される角度が第２閾値以下であることである。

第５条件を採用した場合、第４条件の場合と比較して、同一辺上にあるかないかの判定精度が向上する。詳細には、書面４１から撮像部１２までのユークリッド距離は、撮像部１２の設置位置により大きく変わりうる。しかし、注目特徴点、基準点Ｐ２及び近傍特徴点から構成される角度は、撮像部１２の設置位置により大きく変わらないからである。一方、第４条件を採用した場合、第５条件の場合と比較して、同一辺上にあるかないかの判定が簡素化される。

処理部１１２は、第２条件、第３条件及び第４条件のいずれも満たさない場合、注目特徴点及び近傍特徴点が書面４１における同一辺上にあると判定する。ステップＳ２０４によれば、書面４１における各辺上にある注目特徴点及び近傍特徴点が判定される。

ステップＳ２０５は、隅特定処理である。ステップＳ２０５を実行する処理部１１２は、本開示における「隅特定部」の一例である。ステップＳ２０５で、処理部１１２は、同一辺上にあると判定された注目特徴点及び近傍特徴点に基づいて、書面４１の４隅を特定する。詳細には、処理部１１２は、ステップＳ２０５において判定された注目特徴点及び近傍特徴点の全組み合わせの中から１組を、第１特徴点組として選択する。処理部１１２は更に、注目特徴点及び近傍特徴点の全組み合わせの中から第２特徴点組を選択する。第２特徴点組は、第１特徴点組を基準として周方向θの一方側における隣に位置する、注目特徴点及び近傍特徴点の組みである。処理部１１２は、第１特徴点組における注目特徴点及び近傍特徴点を通過する直線と、第２特徴点組における注目特徴点及び近傍特徴点を通過する直線との交点を、書面４１の４隅の１つとして求める。

図７に示される特定処理によれば、基準点決定処理（ステップＳ２０２）で、複数の特徴点Ｐ１が求められる。また、特徴点特定処理（ステップＳ２０３）で、複数の特徴点Ｐ１が、第１特徴点Ｐ１１、第２特徴点Ｐ１２、及び第３特徴点Ｐ１３のいずれであるのかが特定される。また、判定処理（ステップＳ２０４）で、複数の特徴点Ｐ１のうち、隣り合う２つの特徴点Ｐ１が書面４１における同一辺上にあるか否かが、第１条件乃至第４条件に基づいて判定される。その結果、書面４１の主面全域が処理前画像４００に映っていない場合であっても、隅特定処理（ステップＳ２０５）で、書面４１の４隅が検出される。

以上、図面を参照して本開示の実施形態について説明した。ただし、本開示は、上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲で種々の態様において実施できる。また、上記の実施形態に開示される複数の構成要素は適宜改変可能である。例えば、ある実施形態に示される全構成要素のうちのある構成要素を別の実施形態の構成要素に追加してもよく、又は、ある実施形態に示される全構成要素のうちのいくつかの構成要素を実施形態から削除してもよい。

また、図面は、発明の理解を容易にするために、それぞれの構成要素を主体に模式的に示しており、図示された各構成要素の厚さ、長さ、個数、間隔等は、図面作成の都合上から実際とは異なる場合もある。また、上記の実施形態で示す各構成要素の構成は一例であって、特に限定されるものではなく、本発明の効果から実質的に逸脱しない範囲で種々の変更が可能であることは言うまでもない。

（１）実施形態では、画像処理装置１１は、撮像部１２から取得した画像データを処理対象として、図５及び図７に示される処理を実行していた。しかし、これに限らず、画像処理装置１１は、記憶媒体１６に記憶された画像データを処理対象として、図５及び図７に示される処理を実行してもよい。

（２）実施形態では、画像処理装置１１は、領域特定処理（ステップＳ２０１）で、肌色領域の特定処理により、不要物４３としての手を表す画素が分布する不要物領域４３１を特定していた。しかし、不要物４３は、手以外にも、例えば筆記具のような様々な物体も含む。

様々な不要物４３を表す画素が分布する不要物領域４３１を特定するために、処理部１２２は、領域特定処理（ステップＳ２０１）において、リクエストデータをサーバ装置３００に送信する。リクエストデータは、ステップＳ１０１で取得した処理前画像データを含む。サーバ装置３００において、処理部３３は、ＡＩによる物体認識処理により、処理前画像データが示す処理前画像４００を構成する全画素にラベルを割り当てる。処理部３３は、画素ごとのラベルを含むレスポンスデータを情報処理装置１００に送信する。

画像処理装置１１において、処理部１１２は、レスポンスデータに含まれる各ラベルに基づいて、処理前画像４００において書面領域４１２に含まれる画素と、不要物領域４３１に含まれる画素とを特定する。詳細には、複数の不要物４３ごとに不要物領域４３１が特定される。ＡＩによる物体認識処理により、様々な不要物４３ごとに不要物領域４３１が特定可能となる。例えば距離センサにより不要物領域４３１が特定する場合には、紙片や定規のような薄い不要物４３を検出することが難しい。しかし、ＡＩによる物体認識処理によれば、薄い不要物４３も検出可能である。

なお、ＡＩによる物体認識処理は、画像処理装置１１における処理部１１２で実行されてもよい。

（３）実施形態では、処理部１１２は、注目特徴点と、注目特徴点に対して周方向θの一方側において隣り合う近傍特徴点とに基づいて、判定処理（ステップＳ２０４）を実行していた。しかし、これに加えて、処理部１１２は更に、注目特徴点と、注目特徴点に対して周方向θの他方側において隣り合う近傍特徴点とに基づいて判定処理を実行してもよい。他にも、処理部１１２は、注目特徴点と、注目特徴点に対して周方向θの一方側において近接する複数の近傍特徴点とに基づいて、判定処理を実行してもよい。

本発明は、各種書面（帳票や名刺）の管理用のコンピュータプログラム、及びこれを実行可能なコンピュータ装置等に適用できる。

１００ 情報処理装置
１１ 画像処理装置
１１１ 記憶部
１１２ 処理部
１１２Ａ 画像取得部
１１２Ｂ 特定部
１１２Ｃ 変形部
１１２Ｄ 文字認識部
１１２Ｅ 合成部
１１３ 画像処理プログラム
１２ 撮像部
１３ 表示部
３００ サーバ装置
３１ 通信ＩＦ部
３２ 記憶部
３３ 処理部

Claims (10)

1. 背景及び書面を含む画像から、前記書面を表す第１領域と、前記書面及び前記背景以外の物体を表す第２領域とを特定する領域特定部と、
   前記第１領域及び前記第２領域に基づいて、前記書面の隅である点、前記第１領域の外縁において前記第２領域の外縁と接する点、及び前記第１領域の外縁において前記画像の外縁と接する点のいずれかを少なくとも含む複数の特徴点を特定する特徴点特定部と、
   前記複数の特徴点のうち、隣り合う２つの前記特徴点が前記書面における同一辺上にあるか否かを判定する判定部と、
   前記同一辺上にあると判定された前記隣り合う２つの特徴点に基づいて、前記書面の４隅を特定する隅特定部と
   を備える、画像処理装置。
2. 前記複数の特徴点に基づいて基準点を決定する基準点決定部を備え、
   前記判定部は、前記基準点に基づいて、前記複数の特徴点の中から前記隣り合う２つの特徴点を特定し、前記隣り合う２つの特徴点が前記書面における同一辺上にあるか否かを判定する、請求項１に記載の画像処理装置。
3. 前記判定部は、前記隣り合う２つの特徴点の間の距離が第１閾値以上である場合、前記隣り合う２つの特徴点が前記同一辺上にあると判定する、請求項１又は請求項２に記載の画像処理装置。
4. 前記判定部は、前記隣り合う２つの特徴点の一方と、前記基準点と、前記隣り合う２つの特徴点の他方とで特定される角度が第２閾値以上である場合、前記隣り合う２つの特徴点が前記同一辺上にあると判定する、請求項２に記載の画像処理装置。
5. 前記書面の４隅に基づいて、前記第１領域を矩形に変形した矩形画像を生成する変形部を備える、請求項１又は請求項２に記載の画像処理装置。
6. 前記第１領域に対して文字認識処理を行う文字認識部と、
   前記文字認識部の認識結果を前記矩形画像に合成する合成部と
   を備える、請求項５に記載の画像処理装置。
7. 前記合成部により前記認識結果が合成された前記矩形画像を表示部に表示させる、請求項６に記載の画像処理装置。
8. 前記画像は、撮像装置により撮影される、請求項１又は請求項２に記載の画像処理装置。
9. コンピュータが、背景及び書面を含む画像から、前記書面を表す第１領域と、前記書面及び前記背景以外の物体を表す第２領域とを特定するステップと、
   前記コンピュータが、前記第１領域及び前記第２領域に基づいて、前記書面の隅である点、前記第１領域の外縁において前記第２領域の外縁と接する点、及び前記第１領域の外縁において前記画像の外縁と接する点のいずれかである複数の特徴点を特定するステップと、
   前記コンピュータが、前記複数の特徴点のうち、隣り合う２つの前記特徴点が前記書面の辺上にあるか否かを判定するステップと、
   前記コンピュータが、前記辺上にあると判定された前記隣り合う２つの特徴点に基づいて、前記書面の４隅を特定するステップと
   を含む、画像処理方法。
10. コンピュータに、
    背景及び書面を含む画像から、前記書面を表す第１領域と、前記書面及び前記背景以外の物体を表す第２領域とを特定するステップと、
    前記第１領域及び前記第２領域に基づいて、前記書面の隅である点、前記第１領域の外縁において前記第２領域の外縁と接する点、及び前記第１領域の外縁において前記画像の外縁と接する点のいずれかである複数の特徴点を特定するステップと、
    前記複数の特徴点のうち、隣り合う２つの前記特徴点が前記書面の辺上にあるか否かを判定するステップと、
    前記辺上にあると判定された前記隣り合う２つの特徴点に基づいて、前記書面の４隅を特定するステップと
    を実行させる、コンピュータプログラム。