JP6188052B2 - 情報システム及びサーバー - Google Patents

Description

本発明は、撮像部により撮像された画像に応じて情報を生成する情報システム及びサーバーに関し、特に、最終的な画像認識に先立って、認識が比較的容易な別の対象を検出し、該対象の形状から画像を補正するとともに、該対象を基準とすることで認識対象だけを個別に抽出することで、画像認識精度を高め、認識結果に関連した情報を生成・適用する情報システム及びサーバーに関する。

画像から文字やバーコードを認識する装置は、配布や提示が容易な媒体に記載されたアナログ情報からデジタル情報に変換させることが可能であり、利用者の利便性を向上させることができる。

しかし、情報の読み取りに携帯端末を利用する場合は、利用者の撮影の仕方が認識精度に影響される。認識精度を向上させる装置を実現する技術としては、以下のようなものが公開されている。

特許文献１では、画像にウェーブレット変換を行ってエッジを抽出し、抽出したエッジの中から高周波強度が所定値以上のエッジを選別し、選別したエッジに対してハフ変換を行って直線を抽出し、抽出した直線の中から基準線を特定し、特定の向きの直線が所定数以上含まれる領域を候補領域として特定し、候補領域に対してパターンマッチングを行ってコードを検出するコード検出装置が開示されている。

特許文献２では、バーコードの各バーの輪郭位置のノイズ除去を制限するとともに、複数の読取線からバーコードのバー及びスペースの配置を読み取り、バー及びスペースの本来の配列から生じた情報を有効に活用して、バーコードの認識率を向上させる装置が開示されている。

特許文献３では、帳票の罫線を検出し、黒画素を囲む最小矩形を切り出すことによって文字列を抽出する。抽出された文字列から罫線の傾きに沿って各文字を切り出し、切り出された各文字を認識する。

特開2008-282339号公報 特開2009-157532号公報 特開2007-328830号公報

特許文献１のコード検出装置および特許文献２のバーコード認識率向上装置、特許文献３の帳票認識装置では、撮像系に起因するノイズを除去しているが、利用者の撮像スキルに起因するノイズは対応できないという課題がある。また、奥行き方向の歪みには対応できないという問題がある。

本発明の目的は、上記従来技術の課題を解決し、撮像した画像から情報を高速かつ高精度に認識し、関連情報を生成情報システムを提供することにある。

本発明はまた、上記認識等の処理を担うサーバーを提供することを目的とする。

上記目的を達成するため、本発明は、撮像対象を撮像して撮像画像を得る撮像部を有する情報システムであって、前記撮像画像において、第一認識対象の形状及び位置を認識する第一認識部と、前記認識された形状及び位置に基づいて前記撮像画像の歪みを補正した補正画像を得る補正部と、前記補正画像上における前記認識された形状及び位置に対して、所定の相対配置情報を適用することで、第二認識対象の領域と、当該領域に記載された情報と、を抽出する第二認識部と、前記記載された情報に応じた情報を生成する生成部と、を備えることを特徴とする。

また、本発明は、撮像対象を撮像して撮像画像を得る撮像部と、所定情報を適用する適用部と、を備える情報端末装置より前記撮像画像を受け取り、前記所定情報を生成するサーバーであって、前記撮像画像において、第一認識対象の形状及び位置を認識する第一認識部と、前記認識された形状及び位置に基づいて前記撮像画像の歪みを補正した補正画像を得る補正部と、前記補正画像上における前記認識された形状及び位置に対して、所定の相対配置情報を適用することで、第二認識対象の領域と、当該領域に記載された情報と、を抽出する第二認識部と、前記記載された情報に応じた情報を前記所定情報として生成し、前記情報端末装置に送信する生成部と、を備えることを特徴とする。

本発明によれば、撮像対象を撮像部で撮像することで撮像対象に記載の情報を読み取ることができる。また、第一認識対象の認識結果を利用して補正画像を得て、当該補正画像上の第二認識対象から情報を読み取るので、高精度な読み取りが可能である。さらに、当該読み取り結果に応じた情報の生成も可能となり、利用者の便宜を図ることができる。

一実施形態に係る情報端末装置（または情報システム）の機能ブロック図である。 本発明の一実施形態に係る処理の概要を説明するための図である。 第二認識部による処理に関し、特に、切り出しに利用する相対配置座標について説明するための図である。 第二認識部で文字を認識する際に利用可能な、多数決の処理を説明するための図である。 第一認識部の処理のフローチャートである。 撮像対象の例として、ネットワークと接続する無線LANアクセスポイントにおけるラベルを示す図である。 撮像対象の例として、ネットワークと接続する無線LANアクセスポイントにおけるラベルを示す図である。 図６の例を拡張したラベルの例を示す図である。 図７の例を拡張したラベルの例を示す図である。

以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯端末を利用し、第一認識部の認識対象をバーコード等の平面コード、第二認識部の認識対象を文字列とした場合について説明する。しかし、本発明の情報端末装置は、携帯端末に限られるものではなく、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、デスクトップ型、ラップトップ型又はその他のコンピュータなどでもよい。また、当該装置の一部分がサーバー等として構成されたシステムであってもよい。また、同等ないし類似の手法で所定の情報を読み取ることが可能であれば、認識対象もバーコード、文字列に限られるものではない。

図１は、本発明の一実施形態に係る情報端末装置1の機能ブロック図である。情報端末装置1は、撮像部2、第一認識部3、補正部4、第二認識部5、生成部6及び適用部7を備える。また、図2は、本発明の一実施形態に係る処理の概要を説明するための図である。なお、第一認識部3、補正部4及び第二認識部5の全てまたは一部分は、当該図1のように情報端末装置1に備わる形の代わりに、別途のサーバーに備わる構成を取ってもよい。

すなわち、以下では情報端末装置1として説明するが、これは単独の端末として構成されるのではなく、上記各部2〜7を分担して備えた端末及び1つ以上のサーバーからなる情報システム1であってもよい。この場合、一例として、撮像部2及び適用部7が端末に備わり、第一認識部3、補正部4、第二認識部5及び生成部6が1つ以上のサーバーに備わっていてもよいし、当該サーバーの任意の一部分の機能が端末側に備わっていてもよい。端末とサーバーの間(またサーバー同士の間)では以下説明する処理に対応する情報の授受がネットワーク経由にてなされることとなる。

撮像部2は、撮像対象を撮像して、その撮影画像を第一認識部3へ出力する。撮像対象には第一認識部3の認識対象と第二認識部5の認識対象が含まれる。撮像部2としては携帯端末に標準装備されるデジタルカメラを用いることができる。

図2の(1)には、当該両認識部3及び5における認識対象が含まれた撮像対象の撮像画像の例が示されている。撮像対象はラベルL1であって、撮像部2との位置関係によって撮像画像上に空間的な傾きをもって撮影されている。第一認識部3の認識対象O11及びO12は当該ラベルL1上に配置されたバーコード等であり、第二認識部5の認識対象O21、O22及びO23は当該ラベルL1上に配置された文字列等である。

なお、ラベルL1自体は必ずしも必要ではない。また、当該両認識部3及び5における認識対象をその個数を含めて具体的に何とするかに関しては、予め設定しておく。第二認識部5における認識対象は、第一認識部3の認識対象を平面コードとして構成して当該コード内にその情報を埋め込んでおいてもよいし、第一認識部3の認識対象自体と直接対応付けられた形でその情報を情報端末装置1にて保持しておいてもよい。

第一認識部3は、撮像部2で撮像された画像から所定の認識対象（例えば図2の(1)のO11及びO12）を認識し、認識対象の位置情報および形状情報を取得する。形状情報は例えば、認識対象がn角形である旨の情報であり、位置情報は当該n角形の各頂点座標である。認識対象を識別できる情報が含まれている場合はさらに、内容情報として取得する。

例えば、認識対象がバーコード等の平面コードの場合は、公知のバーコード読み取り技術によって第一認識部3を実現することができ、バーコード自体の認識の際にその位置情報及び形状情報を取得すると共に、バーコードに埋め込まれた内容情報を取得してもよい。第一認識部3において認識された当該情報は、補正部4及び第二認識部5へ出力される。第一認識部3での処理の詳細は後述する。

補正部4は、第一認識部3で検出された位置情報及び形状情報から画像の歪みを補正し、第二認識部5で処理するのに適した画像を生成する。補正部4において補正された画像は第二認識部5へ出力する。補正部4での処理の詳細は後述する。

例えば図2の(2)では、(1)の傾いて撮影され歪んでいる撮像画像に対して、当該補正部4によって傾き起因の歪みが補正されている。第二認識部5にて処理する文字列などの認識対象O21〜O23は、当該補正により正面から見た状態となり、認識処理が容易となる。

第二認識部5は、補正部4で補正された画像から認識対象（例えば図2の(2)のO21〜O23）を認識する。この際、以下詳細を説明するように、（A）認識対象を補正画像内から切り出してから、（B）OCR等の認識処理を実施する。図3は、第二認識部5による当該切り出しの処理（A）を説明するための図である。予め当該処理(A)によって認識対象以外を排除することで、処理対象画像に対して直接、当該OCR等の処理(B)を適用した場合よりも高精度に認識可能になるという効果がある。

まず、処理(A)として、第一認識部3の認識対象を基準として相対的な位置情報により、補正画像内より第二認識部5は認識対象領域を個別に切り出す。相対的位置情報は、何センチメートルなど絶対量で表現するのではなく、第一認識部3の認識対象の大きさの倍数または該対象の辺長の倍数として相対的に表現することで、入力画像の解像度に依存せず第二認識部5の認識対象領域の抽出が可能となる。

例えば、図3に示すような相対的配置情報を利用することで、補正画像内において、第一認識部3で認識された対象O100より、第二認識部5で認識する対象O200の領域を切り出すことができる。すなわち、対象O100は補正画像内において横l_x及び縦l_yのサイズを有する矩形として得られており、一頂点を原点Oとしてそれぞれx軸及びy軸を補正画像内に定義することができる。当該相対的配置情報の取得については、第一認識部3の詳細説明にて後述する。

当該座標系において、所定定数p、q、a及びbによって、対象O200の相対的位置を、点P(pl_x, ql_y)を原点Oに最も近い頂点として有し、横al_x及び縦bl_yのサイズを有する矩形として与えることができる。さらに、図3に描く状態から点Pを中心として矢印で示すように所定角θ回転した位置を対象O200の相対的位置としてもよい。（図3の例はθ=0°に相当する。）こうして、相対的位置情報を当該所定定数p、q、a及びb（並びに所定角θ）として与えることができる。

なお、第一認識部3及び／又は第二認識部5の認識対象が矩形ではないその他の形状である場合も、当該形状内に矩形を定義する所定点を設けておくことで、上記説明した矩形の場合と同様に実施することが可能である。

次に第二認識部5は、処理(B)として、当該切り出された認識対象を認識する。第二認識部5の認識対象が文字列の場合、OCR（光学文字認識）等の既存手法を利用できる。この際、認識精度の向上を図るべく予め、切り出しが文字単位、文節単位又は行単位でなされるよう、各単位に対応する複数の認識対象の相対的位置情報をそれぞれ定めておき、当該単位毎に認識してもよい。すなわち、図3の認識対象O200は、当該各単位毎に複数それぞれ定めておいてもよい。

また、切り出される領域間において同一の文字列の存在が既知の場合、すなわち、具体的に同一の文字列が何であるかは未知であるが、複数領域における文字列が同一となる旨は既知である場合、それぞれの認識結果に齟齬が生じたとき文字毎の多数決により認識精度を向上させることもできる。

図4に、当該多数決の処理を示す。(1)が、第二認識部5が上記の前処理(A)にて予め切り出す文字領域の例であり、図示するような相対的位置関係にある6つの領域O201〜O402に対し、認識処理(B)を実施した結果がそれぞれ(2)に示すR201〜R402である。

ここで、(1)における3つの領域O201、O301及びO401に関して、同一の文字列で構成されることが既知である場合、それぞれ対応する(2)の結果R201、R301及びR401において、結果R401の文字列「abcd−1254」における「5」の箇所のみ齟齬が生じている旨を多数決により検出可能である。従って、多数決によって自動で当該結果R401を、その他の結果R201及びR301と同一となるように、R410へと補正することができる。

あるいは同様に、文字毎や単語毎の信頼度に応じて結果を補正してもよい。例えば、当該箇所が単語である旨などの情報が既知の前提にて、OCR処理において認識結果をさらに、周知技術に係る所定の辞書及び／又は文法構造と照らし合わせて、信頼度を求めることにより、綴りに誤りがあって低信頼度の単語"forword"を本来の"forward"へと補正する等してもよい。

生成部6は、第二認識部5から出力された認識結果から関連情報を生成する。関連情報は適用部へ出力する。適用部7は、生成部6で生成された関連情報を適用または提示する。

以下、第一認識部3の処理の詳細を説明する。図5は、第一認識部3の処理のフローチャートである。対象i及び手段jとそれらの順番とを予め適宜設定しておくことにより、当該フローチャートに従って種々の実施形態が可能である。

第一認識部3では、傾きや露光などの撮像画像の状態によって検出不能となる場合も考慮して、複数(少なくとも1つ)の検出対象i（i＝1, 2, ..., n）の各々に対し、複数(少なくとも1つ)の手段j（j=1, 2, ..., j[i]）での検出を順次試みる。当該対象i及び手段jはその順序を含めて予め設定されている。

具体例については後述するが、手段jは、対象iの認識手法と、当該手法におけるパラメータと、によって特定することができる。例えば、ある対象iについて、認識手法Ａをパラメータa1、a2及びa3で順次実施し、次いで認識手法Bをパラメータb1及びb2で順次実施することで、5つの手段jが順次実施される。当該対象i及び手段jを指定するカウンタを初期値1に設定後、図5のフローは開始される。

ステップS1では当該カウンタ( i, j)に応じた対象iに対する検出手段jが実施され、ステップS2へ進む。ステップS2では、当該検出が適切になされたかの判定がなされ、適切になされたのであれば、手段のカウンタjを初期値1にリセットすると共にステップS3へ進む。一方、ステップS2にて検出が不適切であったと判定された場合は、ステップS4に進んで手段jのカウンタを増分してからステップS1に戻り、当該対象iにつき次の手段j+1での検出が再度試みられる。

なお、ステップS2での判定手法の具体例は、対象i及び手段jの具体例と共に後述する。なおまた、ステップS2では適切に検出されなかった判定がなされたが、当該対象iにつき用意されている全ての検出手段jが実施され尽くした場合も、カウンタjを初期値1にリセットすると共にステップS3へ進む。

ステップS3では、必要となる対象iが検出されたかの判定がなされ、検出されているのであれば当該フローは終了し、検出されていなければステップS5に進んで対象のカウンタiを増分してからステップS1に戻る。対象iが複数ある場合、いずれか1つのみでも検出された場合にフローを終了するようにしてもよいし、所定の複数が検出された場合に終了するようにしてもよい。なお、全ての対象i及び手段jにつき検出処理S1及び判定処理S2が実施され尽くしたが、当該ステップS3における終了条件を満たさなかった場合も、エラーとしてフローは終了する。

以下、対象i及び手段jの各実施形態を説明する。各実施形態において、第一認識部3が取得した形状情報および位置情報は補正部4へ出力し、第二認識部5の認識対象の相対座標情報は第二認識部5へ出力する。

第一実施形態では、第一認識部3の認識対象iをバーコードやQR コード（登録商標）等の周知の平面コードや、模様のある画像等とし、手段jとして、第一認識部3はそれぞれに適した周知の認識手法(パラメータを含む)を適用することで図5のステップS1及びS2を実現し、形状情報および位置情報として認識対象iの4隅の座標を取得する。なお、場所が既知であれば隅でなくともよく、後段の補正部4の処理のためには４点以上の座標があればよい。

一般的な画像であれば、SIFT特徴量などで認識すると共に、当該既知の画像より予め抽出した特徴量とその画像上での既知の位置との情報より、4隅の座標(あるいは４点以上の座標)が取得可能である。特殊な画像として例えば、画像は正方形状などからなる周知のAR(拡張現実)マーカであって、対応する周知の認識手法が適用されてもよい。

平面コードには、第二認識部5の認識対象の相対座標（図３で説明した相対配置の情報）を紐付ける情報を埋め込んでおき、該情報を利用することで第二認識部5の認識対象の相対座標を取得してもよい。

例えば、平面コードに一意なIDを埋め込んでおき、情報端末装置1内又は別途のサーバーのDB（データベース）に問い合わせることで、ID に紐付けられた第二認識部5の認識対象の相対座標を取得することができる。すなわち、当該紐付ける情報とは、IDの形式によって、相対座標の所在をデータベース上の参照箇所として記載したものである。あるいは、相対座標の情報を平面コードに直接埋め込んでおき、読み取るようにしてもよい。

第一認識部3の認識対象が画像(上記平面コードとは異なるその他の画像)の場合は、予め利用する複数の所定の画像を用意しておき、各画像に一意なIDを割り振って画像の特徴量及び第二認識部5の認識対象の相対座標と共に、情報端末装置1内又は別途のサーバーのDBに登録しておく。第一認識部3が抽出した特徴量を用いて当該用意されたDBに問い合わせることで、上記平面コードの場合と同様に、ID に紐付けられた第二認識部5の認識対象の相対座標を取得することができる。

第二実施形態では、第一認識部3の認識対象iを、枠やラベル境界等のn角形(n > 3) にしても良い。当該nの値及びn角形の形状（凹凸の有無、アスペクト比、各辺の長さの比、各頂点の角度の比、などに関して、所定値を与えられていてもよいし、所定範囲内にある旨のみ既知であってもよい）が、予め既知となる。

第一認識部3では図5のステップS1の手段jとして複数の認識手法、パラメータを用意して適用する。ステップS2では、当該ステップS1にて検出された領域(認識対象iの候補となる領域)の特徴量と当該認識対象iにおける所定の特徴量とを比較して、所定閾値判定にて一致すると判定された場合は適切に検出された旨の判定をし、認識された情報（当該n角形の各座標）を出力する。

ステップS2にて一致しない場合は検出が不適切な旨の判定が下され、ステップS4及びS1が実施され、認識手法又はパラメータ（手段j）を変えながら適切に検出された判定が得られるまで認識処理が繰り返される。こうして、枠やラベルのような特徴の少ない認識対象であっても、あるいは、撮影条件が変動したとしても、ロバストな認識が可能となる。なお、用意された全ての手段jが適用され、どの組み合わせでも認識できなかった場合は認識対象が存在しないか、正しく撮像できていないと判断する。

ステップS2における特徴量にはアスペクト比、サイズ、頂点数、外接多角形の充填率の全て又はいずれか1つ以上の所定の組み合わせを利用できる。

認識手法としては、第一認識部3の認識対象iが含まれる撮像画像における輝度差を利用する。例えば、グレースケールに変換後、モルフォロジーで整形した上で、領域分割する。モルフォロジーの適用範囲を大きく設定することで、細かな変化を低減させ後段の領域分割を容易とする。パラメータとしては、モルフォロジーの適用範囲の大きさ、領域分割の基点および分割数等が利用でき、ステップS1の各手段jを予め用意することができる。

別の認識手法としては、グレースケールに変換後、閾値処理で整形した上で、領域分割する。閾値処理により第一認識部3の認識対象が影響を受けない輝度範囲を排除し後段の領域分割が容易となる。パラメータとしては、閾値、領域分割の基点および分割数等が利用できる。

上記いずれの認識手法の場合も、領域分割はWatershed やFlood?ll 等の既存の手法を利用できる。また、検出された領域は境界を単純形状に近似した上で、境界点列を包含する外接多角形(m角形とすると、当該mは予め既知のnとは必ずしも一致しない)を形成し、前記特徴量を抽出する。例えば前記特徴量のうち、外接多角形の充填率は、当該境界点列で形成される領域の面積を当該外接多角形の面積で割ることによって得られる。

なお、第二実施形態においても、第一認識部3が実際に認識した認識対象i自体をIDとすることで、第一実施形態の場合と同様に、情報端末装置1内又は別途のサーバーのDBに予め登録されている当該IDに対応する第二認識部5の認識対象の相対座標を取得することができる。第二認識部5は、当該取得された相対座標を用いて同様に処理を実施することが可能である。

以上、対象i及び手段jの第一及び第二実施形態を説明した。図5のフローにおける対象iの設定順は、第一又は第二実施形態のいずれかのみから選択して設定してもよいが、第一実施形態のものを1つ以上設定した後に第二実施形態のものを1つ以上設定することが好ましい。この場合例えば、平面コードが不適切な露光条件などによって検出不能であった場合でも、少なくともラベルは検出される、といったことが可能となる。

次に、補正部4の詳細を説明する。ここで、形状情報(n角形である旨の情報)及び位置情報として、撮像画像より第一認識部3が認識して算出したn個の座標を(x'_j, y'_j) (1≦j≦n)とし、第一認識部3が当該認識した対象iに関して予め既知である頂点座標を(x_j, y_j) (1≦j≦n)とする。補正部4はまず、予め設定した変換式において当該両者が一致するような変換係数a_k (1≦k≦m, m≦2n)を求める。

変換式が以下の(式1),(式2)の射影変換を利用するとき、m＝2nでは2n元連立方程式として解くことができる。m＜2nでは最小二乗法で解くこともできる。

補正部4はさらに、当該得られた変換係数による変換を、撮像画像の全体又は第二認識部5の認識対象を含む部分画像に適用することで、撮像時に生じた歪みを補正する。

なお、部分画像に適用する際は、当該得られた変換係数による変換の逆変換を、第一認識部3が認識した対象iの上記予め既知である頂点座標(x_j, y_j)の座標系における第二認識部5の認識対象位置を対象として適用することで、撮像画像内における部分画像を予め求めておく。

なお、第一認識部3の認識対象が第一実施形態の平面コード等で、あらかじめ頂点間の対応を含んだ形状情報として与えられている場合は、座標(x'_j, y'_j)と座標(x_j, y_j)との対応関係は既知である。すなわち、画像から認識された座標(x'_j, y'_j)の各々が4隅のうちのいずれであるかは既知である。

一方、第一認識部3の認識対象が枠やラベル等であって、形状は既知であるが頂点間の対応が未知である場合は、対応関係を推定する。すなわち、画像から認識された座標(x'_j, y'_j)がいずれの頂点であるかを推定する。具体的には、対応関係の取り得る組み合わせ毎に第一認識部3の認識対象を実際に補正し、当該補正してみた結果のうち、第一認識部3の認識対象との類似度が最大となる組み合わせを、本来の対応関係を表すものとして選択する。選択された組み合わせで改めて画像全体又は第二認識部5の認識対象を含む部分画像に変換を適用し、撮像時に生じた歪みを補正する。

なお、枠やラベルがn角形であれば、当該n頂点の並び順は枠やラベルの配置された平面内で回転させても変わらないという制約によって、対応関係の取り得る組み合わせはn通り存在する。また、類似度に関しては、第一認識部3の認識対象のアスペクト比や形状に基づいて定義しておくことができる。

以下、図６〜図９にそれぞれ、本発明における撮像対象の例として、ネットワークと接続するアクセスポイントの筐体に記載ないし貼付のラベルを示し、対応する好適な実施形態についても説明する。当該図６〜図９では全て、(1)ラベルの実例と、当該実例に対応するために予め既知としておく、(2)第一認識部3及び第二認識部5のそれぞれにおける認識対象の配置の情報と、を並べて描いている。

図６では、撮像対象のラベルに第一認識部3の認識対象のバーコードと、第二認識部5の認識対象の文字列と、が含まれている。当該文字列にはSSID(サービスセット識別子)及びパスワードが含まれている。(2)の配置の情報では、ラベル全体L10内において1次元コードO10と、SSID1及びパスワード1のO211〜SSID3及びパスワード3のO213が与えられている。

図6の場合、情報端末装置1が当該SSIDで特定される無線LANのアクセスポイントに対して当該パスワードで接続するための接続設定情報を、第二認識部5による当該各文字列の認識結果に基づいて生成部6が生成し、適用部7が情報端末装置1に当該接続設定情報を適用して、接続可能な状態となるよう構成されていてもよい。当該例ではSSID及びパスワードの組が3つ存在するので、いずれの構成で接続するかに関しては情報端末装置1のユーザが選択可能なように、接続設定情報の生成及び適用がなされてもよい。図７〜図９の例に関しても同様である。

同様に、図７の場合、撮像対象のラベルに第一認識部3の認識対象の2次元コードの例であるQRコード（登録商標）と、第二認識部5の認識対象の文字列(図６と同内容)と、が含まれている。(2)の配置の情報では、ラベル全体L20内において、2次元コードO110と、SSID1及びパスワード1のO221〜SSID3及びパスワード3のO223が与えられている。

図６及び図７の例においては、第一認識部3が平面コード(1次元コードO10又は2次元コードO110)を認識し、その形状情報と位置情報から少なくとも第二認識部5の認識対象（SSID及びパスワードの文字列）を含む画像領域を補正し、文字列を認識する単位毎に部分画像領域を切り出す。

図６及び図７では、SSID及びパスワードの組ごとに3つの領域が切り出される例が示されているが、さらに当該組内においてSSID及びパスワードをそれぞれ個別に切り出すよう設定しておいてもよい。あるいは、さらに細分化された単位で切り出しがなされるよう設定しておいてもよい。

補正部4による画像領域の補正の際の基準には、前記第一実施形態に従い、平面コード(1次元コードO10又は2次元コードO110)を利用することができる。また、前記第二実施形態に従い、ラベル(L11又はL21)の境界を領域分割などの手段で切り出して、補正の基準とすることもできる。ラベル境界は枠として構成されていてもよい。

平面コードのサイズやラベル境界の縦横の長さの比を予め設定しておく、又は平面コードに情報として埋め込んでおくことで、画像を補正するための座標として利用でき、また、抽出の成否を判定する特徴量としても利用できる。

なお、平面コードには所定量の情報を埋め込み可能であるが、平面コードそのものよりも、枠等として構成されるラベル境界の方が面積が広いため、補正の精度が高くなり、第二認識部5の精度を向上させるのには適している。従って、前記第一及び第二実施形態を変形的に併用して、第二認識部5での認識対象の相対座標等の情報は平面コードから読み取り、画像の補正はラベル境界によって実施するようにしてもよい。

追加的な実施形態として、第二認識部5の認識対象である文字の領域も、認識処理がなされる際の所定単位（文字単位、文節単位又は行単位など）毎に枠で囲んでおくようにしてもよい。この場合、補正部4で補正された画像上において、第一認識部3の得た相対座標の近傍にある当該枠を、検出対象の文字列などが含まれたより正確な領域として検出することで、対応する枠内を対象として認識処理をより正確に実施することが可能となる。

面積を広げる観点では、複数の平面コードを利用することもできる。図８及び図９に、それぞれ図６及び図７における単一利用の場合を拡張した例として、複数利用の例を示す。

図８の撮像対象には第一認識部3の認識対象として複数の1次元コードが含まれており、図６では１個の1次元コードO10のみであった(1次元コード[A]とする)のに対して、2個目の1次元コードO100(1次元コード[B]とする)が追加されており、ラベル全体もL11へと拡張されている。図８にて第二認識部5の認識対象としての文字列は、図６の例と同様である。

図９の撮像対象には第一認識部3の認識対象として複数の2次元コードが含まれており、図７では1個の2次元コードO110のみであった(2次元コード[A]とする)のに対して、2個目の2次元コードO111(2次元コード[B]とする)が追加されており、ラベル全体もL21へと拡張されている。図９にて第二認識部5の認識対象として文字列は、図７の例と同様である。

図８及び図９の例では、複数の平面コードが第二認識部5の認識対象である文字列を挟むように配置されているので、当該挟み込む構成によるより広い面積を利用して、より正確に画像の補正及び切り出しを実施することができる。

すなわち、第一認識部3が当該複数の平面コードを認識した後、図８の場合、1次元コード[A](領域O10)の下端と1次元コード[B](領域O100)の上端の座標を、位置情報および形状情報として利用することで画像の補正と切り出しを行う。また、図９の場合、2次元コード[A](領域O110)の左端と2次元コード[B](領域O111)の右端の座標を、位置情報および形状情報として利用することで画像の補正と切り出しを行う。

この際、図８及び図９のそれぞれの場合において、コードの長さとコード間の距離の比(文字列を挟み込む矩形領域のアスペクト比)を予め設定しておく、またはいずれかのコードに埋め込んでおくことで、画像を補正するための座標として利用することができる。

なお、図６〜図９の例では全て、第一認識部3の認識対象である平面コードに対して、第二認識部5の認識対象である文字列を、十分近くとみなせる所定範囲以内に配置している。従って、当該範囲を考慮せずに文字列が平面コードの遠くに配置された場合と比べて、平面コードによって補正画像を得た際に、第二認識部5の認識対象に不必要な誤差を生ずることなく、適切な補正がなされる。

なお、本発明にて当該認識、生成及び適用される情報については、以上のような無線LANの設定以外にも、種々の実施形態が可能である。例えば、情報端末装置1において実行されることでユーザに各種のサービスを提供するための、所定のアプリケーションにおける初期設定の情報を、無線LAN設定の場合と同様にして認識し、情報端末装置1に自動設定することが可能である。ユーザは煩雑なマニュアル設定を行う必要がなくなる。

さらに、別の実施形態として、撮像対象を文字が描かれた看板や標識とし、該文字を翻訳、表示するようにしてもよい。すなわち、第一認識部3が看板や標識の枠を認識し、第二認識部5が文字を認識し、生成部6が文字を他の言語に翻訳し、適用部7が認識された形状情報及び位置情報に応じて翻訳された文字を変形させると共に、変形された翻訳文字を撮像対象に重ね合わせ表示するようにしてもよい。当該重ね合わせる際に、拡張現実の手法を利用してもよい。

1…情報端末装置、2…撮像部、3…第一認識部、4…補正部、5…第二認識部、6…生成部、7…適用部

Claims (17)

1. 撮像対象を撮像して撮像画像を得る撮像部を有する情報システムであって、
   前記撮像画像において、第一認識対象の形状及び位置を認識する第一認識部と、
   前記認識された形状及び位置に基づいて前記撮像画像の歪みを補正した補正画像を得る補正部と、
   前記補正画像上における前記認識された形状及び位置に対して、所定の相対配置情報を適用することで、第二認識対象の領域と、当該領域に記載された情報と、を抽出する第二認識部と、
   前記記載された情報に応じた情報を生成する生成部と、を備え、
   前記第一認識部は、前記第一認識対象のうちの１種として、多角形を認識し、認識手法及びそのパラメータで特定される複数の手段を順次適用することで当該多角形の候補となる領域を検出すると共に、当該検出された領域の形状に関連する特徴量と当該多角形における既知の形状に関連する特徴量との比較に基づいて当該検出が適切になされたかを判定し、当該適切になされた判定が得られるまで前記複数の手段を順次適用することを継続することを特徴とする情報システム。
2. 前記所定の相対配置情報は、前記第一認識対象において読み取り可能に予め埋め込まれた情報に記載され、若しくは当該埋め込まれた情報にその所在が記載され、当該埋め込まれた情報を前記第一認識部が読み取る、又は、前記所定の相対配置情報が前記認識された第一認識対象に対応付けられている、ことを特徴とする請求項１に記載の情報システム。
3. 前記所定の相対配置情報は、平面コードとして構成される前記第一認識対象において読み取り可能に予め埋め込まれた情報に記載され、又は当該埋め込まれた情報にその所在が記載されていることを特徴とする請求項２に記載の情報システム。
4. 前記所在は、前記情報システムに備わるデータベースにおける参照箇所として記載されていることを特徴とする請求項２または３に記載の情報システム。
5. 前記第一認識部は、前記形状及び位置を、前記第一認識対象における４点以上の座標として取得することを特徴とする請求項１ないし４のいずれかに記載の情報システム。
6. 前記第一認識部は、前記検出が適切になされたかを判定するのに、前記特徴量としてアスペクト比、サイズ、頂点数及び外接多角形の充填率のうち、少なくとも１つからなる組み合わせを利用することを特徴とする請求項１ないし５のいずれかに記載の情報システム。
7. 前記第一認識部が適用する複数の手段における認識手法に、前記撮像画像における輝度差を利用することで、グレースケール画像に変換後のモルフォロジー処理又は閾値処理による整形後に領域分割することで、前記多角形を認識する手法が含まれることを特徴とする請求項１ないし６のいずれかに記載の情報システム。
8. 前記領域分割して前記多角形を認識する手法におけるパラメータが、モルフォロジー処理における適用範囲の大きさ、閾値処理における閾値、又は領域分割における基点若しくは分割数、のうち少なくとも１つを含むことを特徴とする請求項７に記載の情報システム。
9. 前記第一認識部は、前記複数の手段を順次適用することで前記多角形の候補となる領域を検出し、当該検出された領域の境界を単純形状に近似した上で、境界点列を包含する外接多角形を形成し、当該外接多角形の特徴量と前記既知の特徴量とを比較することを特徴とする請求項１ないし８のいずれかに記載の情報システム。
10. 前記補正部は、前記認識された形状及び位置における座標と、前記第一認識対象を所定平面上に配置した際の所定座標と、を所定変換式で一致させる際の変換係数を求め、当該変換係数による当該所定変換式を前記撮像画像に適用することで、前記補正画像を得ることを特徴とする請求項１ないし９のいずれかに記載の情報システム。
11. 前記補正部は、前記座標同士の対応関係が未知である場合に、前記第一認識対象の所定形状における座標の配置関係を考慮して、取り得る対応関係の各々につき前記変換係数を求めて前記補正画像を得て、当該補正画像内における前記第一認識対象の形状が前記所定平面上に配置した際の所定座標における形状に最も類似している対応関係を、本来の対応関係として選択することを特徴とする請求項１０に記載の情報システム。
12. 前記第二認識部は、前記補正画像より、前記第二認識対象の領域を所定単位ごとに切り出してから、当該所定単位ごとに記載された情報を抽出することを特徴とする請求項１ないし１１のいずれかに記載の情報システム。
13. 前記第二認識対象には文字が記載され、前記所定単位が文字、文節又は行ごとの単位であることを特徴とする請求項１２に記載の情報システム。
14. 前記第二認識対象には文字が記載され、
    前記第二認識部は、
    複数の所定領域において同一文字列の存在が既知である場合に、当該複数の所定領域からそれぞれ前記切り出して抽出した文字列の中に齟齬がある際に、同一文字列の存在に基づいて当該抽出結果を修正する、及び／又は、
    前記抽出した文字において、文字毎若しくは単語毎の信頼度を求めて、当該信頼度に応じて当該抽出結果を修正する、ことを特徴とする請求項１３に記載の情報システム。
15. 前記所定の相対配置情報は、前記第一認識対象を基準として定められる座標上において与えられていることを特徴とする請求項１ないし１４のいずれかに記載の情報システム。
16. 前記第二認識対象には所定アクセスポイントへの無線LAN接続のための情報が記載され、
    前記生成部は情報端末装置を前記所定アクセスポイントへ無線LAN接続するための接続設定情報を生成し、
    さらに、前記接続設定情報を前記情報端末装置に適用する適用部を備えることを特徴とする請求項１ないし１５のいずれかに記載の情報システム。
17. 撮像対象を撮像して撮像画像を得る撮像部と、
    所定情報を適用する適用部と、を備える情報端末装置より前記撮像画像を受け取り、前記所定情報を生成するサーバーであって、
    前記撮像画像において、第一認識対象の形状及び位置を認識する第一認識部と、
    前記認識された形状及び位置に基づいて前記撮像画像の歪みを補正した補正画像を得る補正部と、
    前記補正画像上における前記認識された形状及び位置に対して、所定の相対配置情報を適用することで、第二認識対象の領域と、当該領域に記載された情報と、を抽出する第二認識部と、
    前記記載された情報に応じた情報を前記所定情報として生成し、前記情報端末装置に送信する生成部と、を備え、
    前記第一認識部は、前記第一認識対象のうちの１種として、多角形を認識し、認識手法及びそのパラメータで特定される複数の手段を順次適用することで当該多角形の候補となる領域を検出すると共に、当該検出された領域の形状に関連する特徴量と当該多角形における既知の形状に関連する特徴量との比較に基づいて当該検出が適切になされたかを判定し、当該適切になされた判定が得られるまで前記複数の手段を順次適用することを継続することを特徴とするサーバー。