JP6157068B2 - 情報処理装置及びその制御方法 - Google Patents

Description

本発明は、対象物を読み取る技術に関する。

近年では読み取り台に上向きに原稿を置き、読み取り台を上から撮像する撮像装置を用いて、原稿を読み取る情報処理装置が提案されている。このような情報処理装置においては、原稿がロール紙で印刷した文書や製本された文書の場合、原稿に歪みがある状態で撮像されてしまうことがある。
特許文献１では、原稿を撮像する際に、原稿上に投光パターンを投射した状態と投射しない状態の２つの撮像画像を得る。そして、撮像された投光パターンが歪んでいる程度に基づいて、投光パターンを投射しない状態で撮像した撮像画像に対して画像処理を行うことにより、歪みのない原稿の画像へ修正する技術が開示されている。

特開２００３−８８４１号

しかし、原稿の歪みの状態によっては、文書中の文字が大きく変形した状態で撮像され、特許文献１のように撮像後の画像に対して画像処理を行っても、文字情報の認識が難しい場合がある。
本発明では、このような事情を鑑みてなされたものであり、読み取り対象面が歪んでいる対象物を、撮像部を用いて適正に読み取るためのユーザインタフェースを提供することを目的とする。

上述の問題点を解決するため、本発明は、読み取り台に読み取り対象面を上向きにして置かれた対象物を、撮像部を用いて読み取る情報処理装置であって、前記読み取り対象面が歪んでいるか否かを、前記対象物毎に判定する判定手段と、前記判定手段によって前記読み取り対象面が歪んでいると判定された対象物上で、前記歪みを修正するために押さえる位置の候補を、ユーザに通知する通知手段と、前記読み取り対象面に含まれる情報を認識する認識手段と前記ユーザが、前記読み取り対象面上で、前記歪みを修正するために押さえることができる第１の領域を設定する設定手段と、前記読み取り対象面の周囲のうち、前記読み取り台の上面からの距離が他より離れている部分を検出する検出手段を備え、前記設定手段は、さらに、前記撮像部と前記読み取り対象面に含まれる読み取り対象情報が存在する位置との位置関係に基づいて、前記読み取り対象面上に第２の領域を設定し、前記設定手段は、前記読み取り対象面上の、前記検出手段が検出した部分から所定の距離の範囲のうち、前記第２の領域との重複部分を除いた範囲を前記第１の領域として設定し、前記通知手段は、前記読み取り対象面において、前記設定手段が設定した前記第１の領域の内部に、前記認識手段が認識する情報が存在する領域の位置に基づいて、前記歪みを修正するために押さえる位置の候補を決定し、前記ユーザに通知することを特徴とする。

本発明によれば、読み取り対象面が歪んでいる対象物を、撮像部を用いて適正に読み取るためのユーザインタフェースを提供することができる。

情報処理装置の外観と構成の一例を示す図 読み取り台上に複数の対象物が上向きに置かれた状況の一例を示す図 対象物を読み取る処理の流れの一例を示すフローチャート 読み取り対象面が歪んでいる対象物の一例を示す図 対象物の一例であるレシートを示す図 文字領域と認識したデータの再利用法の一例を示す図 第１の領域を設定する処理の一例を示すフローチャート 第１の領域と通知オブジェクトの一例を示す図 通知オブジェクトをユーザが押さえた状態を示す図 第１の領域を設定する処理の一例を示すフローチャート 第２の領域の例を示す図 第２の領域を除いた第１の領域と通知オブジェクトの一例を示す図 通知オブジェクトをユーザが押さえた状態を示す図 第１の領域を設定する処理の一例を示すフローチャート 第１の領域と通知オブジェクトの一例を示す図 第１の領域を設定する処理の一例を示すフローチャート 対象物の移動を指示する通知オブジェクトが投影された読み取り台の一例を示す図

以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施形態では、本発明を特定の状況に対応したアプリケーションの一機能として説明しているが、あくまで例示であり、本発明の範囲を限定する趣旨のものではない。

＜第１の実施形態＞
本実施形態では、読み取り台に上向きに並べられた対象物から情報を読み取り、認識した情報を再利用したデータを生成する例を示す。この際、本実施形態では、対象物における読み取り対象面が歪んでいるか否かを判定する。読み取り対象面が歪んでいる場合には、正確な読み取りが行えないため、ユーザに対して、前記歪みを修正するために押さえるべき対象物上の位置の候補を通知する。これにより、本実施形態の情報処理装置は、ユーザに対して、読み取り台上面に沿わせるように押さえる処置を促す。情報処理装置で扱う対象物の一例としては、レシートや領収書等、紙に印刷された文書、布製の服飾品や、他の立体構造物が相当する。

図１（ａ）は、本実施形態における情報処理装置１００のハードウェア構成図である。同図において、ＣＰＵ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、各種処理のための演算や論理判断などを行い、システムバス１０８に接続された各構成要素を制御する。ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、後述するフローチャートに示す各種処理手順を含むＣＰＵによる制御のためのプログラムデータを格納する。ＲＡＭ１０３（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。記憶装置１０４はハードディスクや外部に接続された記憶装置などからなり、本実施形態に係る電子データなどの各種データやプログラムを記憶する。ＣＰＵ１０１は、ＲＯＭ１０２もしくは記憶装置１０４に記憶された処理ステップやプログラムを読み出して実行する。これらの処理ステップやプログラムは、ディスクデバイスを始めとする記憶媒体から読み出されたり、ネットワーク通信によって取得されたりして、ＲＯＭ１０２もしくは記憶装置１０４に記憶されることができる。その際ＣＰＵ１０１がコントローラとして機能する。本実施形態において、ＣＰＵ１０１は、図３、図７、図１０、図１４、図１６などのフローチャートに示された工程を実行することで、後述する情報処理装置１００の各機能部として動作する。撮像装置１０５は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。投影装置１０６は後述する読み取り台１２０に電子データやユーザインタフェース部品を含む映像を投影する。本実施形態では説明の簡略化のため、撮像装置１０５の位置と撮像画角と、投影装置１０６の位置と投影画角が固定の場合を例にして説明する。なお、本実施形態では、撮像装置１０５及び投影装置１０６は、情報処理装置１００内に構成されるが、有線あるいは無線のインターフェースによって接続された外部装置でも良い。

図１（ｂ）は、本実施形態における情報処理装置１００の機能構成を表す図である。同図において、撮像部１１１は、カメラやビデオカメラ等の撮像装置１０５であって、読み取り台で上向きに置かれた対象物を上方から撮像する。また、本実施形態の撮像部１１１は、読み取り台の上面全体を撮像範囲に含む。

本実施形態では、後述する各機能部は、ＣＰＵ１０１がＲＯＭ１０２に格納された各プログラムをＲＡＭ１０３に展開し実行することでその機能を実現する。ただし、本発明は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。

検出部１１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ（以下、ＣＰＵ等）によって構成され、複数の対象物の検出し、対象物及び対象物に含まれる情報が存在する領域の、読み取り台上における位置を示す情報を取得する。ここで、対象物に含まれる情報とは、文字や画像など対象物の読み取り対象面に記載されている情報である。

認識部１１３は、ＣＰＵ等から構成され、読み取りを行う対象物を決定し、撮像部１１１に撮像させた画像を読み取るとともに、読み取った対象物に含まれる情報を認識する。例えば、対象物が紙に印刷された文書である場合には、撮像部１１１によって、紙の大きさに合わせた範囲のみを高解像度で撮像した画像を、文書ファイルとして読み取るとともに、文書内容の文字認識を行う。

保持部１１４は、ＲＡＭ１０３に相当し、情報処理装置１００が対象物を読み取った情報を保持する。認識部１１３が、撮像部１１１を用いて撮像した画像に基づく電子ファイルと、認識した情報の蓄積データである。なお、電子ファイルを保持するか否かは、ユーザにより設定可能としてもよい。認識した情報の蓄積データは、対象物の種類毎に分類されて蓄積される。

判定部１１５は、ＣＰＵ１０１等から構成され、検出部１１２に検出された対象物毎に、読み取り対象面が歪んでいるか否かを判定する。本実施形態では、読み取り対象面が、読み取り台の上面に対して平行であるか否かを判定し、読み取り台の上面に対して平行ではない場合に、読み取り対象面が歪んでいると判定する。判定部１１５によって、読み取り対象面が歪んでいると判定された対象物は、すなわち、その状態では読み取り対象面上の情報を正確に認識することが困難であることを意味する。

設定部１１６は、ＣＰＵ等から構成され、判定部１１５による判定により、読み取り対象面が歪んでいると判定された対象物上に、ユーザが読み取り対象面の歪みを修正するために押さえることができる第１の領域を設定する。本実施形態では、読み取り対象面の周囲のうち、読み取り台から離れている部分の位置と、読み取り対象面に含まれる情報が存在する位置とに基づいて、前記第１の領域が設定される。

通知部１１７は、ＣＰＵ１０１等から構成され、情報処理装置１００を操作するユーザに通知される内容を制御する。本実施形態では、判定部１１５によって読み取り対象面が歪んでいると判定された対象物上において、設定部１１６が設定した第１の領域の内部に、歪みを修正するために押さえる位置の候補を決定して、ユーザに通知する。通知を行うために、本実施形態では、読み取り台上面や対象物上に表示させる投影画像を生成し、投影部１１８に出力する。例えば、通知オブジェクトを投影させるための投影画像や、後述する生成部１１９によって生成された電子データを生成する。本実施形態では、通知オブジェクトとは、ユーザが、読み取り対象面の歪みを修正するために押さえる位置の候補を明示するためのユーザインタフェースを構成する画像や文字である。

投影部１１８は、投影装置１０６に相当し、通知部１１７によって生成された投影画像を、読み取り台上面、及び読み取り台上に上向きに置かれた対象物上に投影する。

生成部１１９は、ＣＰＵ等から構成され、保持部１１４に保持されている蓄積データに基づいて、表計算やグラフ化などを行い、電子データを生成して保持部１１４に保持する。また、生成された電子データは、投影部１１８によって読み取り台上に投影することができる。

ここで図１（ｃ）は、本実施形態における情報処理装置１００の外観の一例を示す図である。本実施形態では、読み取り台１２０に対し、撮像装置１０５は上部に設置され、読み取り台１２０に上向きに置かれた対象物１２１を俯瞰撮像し、上に向いた読み取り対象面を読み取り、情報を認識する。また、投影装置１０６も同様に、読み取り台１２０の上面あるいは対象物１２１上に、ユーザインタフェースを構成する画像や情報処理装置１００が生成した電子データ等を含む投影画像を投影する。本実施形態では、撮像装置１０５と投影装置１０６は同一の筐体で構成される。ただし、撮像装置１０５の設置位置と撮像画角、および投影装置１０６の位置と投影画角の情報を情報処理装置が予め把握していれば、それぞれ別の場所に設置されてもよい。また、本実施形態では、投影装置１０６が読み取り台の上面に投影を行うことによって、ユーザに対する通知を行うが、これに限らず、一般的なディスプレイなどの表示装置を構成しても良い。

以下では、本実施形態を実現する環境の一例として、読み取り台に上向きに置かれたレシートを撮影し、撮影したレシートの内容を認識して集計結果を表示するアプリケーションが実行する処理を説明する。なお、読み取り対象として読み取り台に置く対象物の一例としてレシートのほかに、本などにも適用可能である。

図２は、読み取り台上に複数の対象物が上向きに置かれた状況の一例を示している。読み取り台１２０には、レシート２０２、２０３、２０４、２０５が載置されている。ユーザは、読み取り台１２０上に、レシートを自由に配置することができる。ここでは、レシート２０２、２０３、２０４、２０５の紙面は読み取り台の上面に対して歪んでおり、それぞれのレシートに対して順次読み取り処理を行う例を説明していく。なお、図２では、読み取り対象面が歪んでいるレシートの形状を四角形で表現している。

図３は、本実施形態の情報処理装置が実行する、レシート等の対象物を読み取る処理の流れの一例を示すフローチャートである。

まず、ステップＳ３０１では、撮像部１１１が、読み取り台上を撮像する。本実施形態では、撮像部１１１は、ステップＳ３０１以降、一定の周期で読み取り台上の撮像を繰り返し、続く処理ステップにおいて、各機能部は、撮像部１１１が撮像した最新の撮像画像に基づいて処理を実行する。なお、ここでは撮像部１１１が動画を撮像する例を示す。各機能部は動画の最新のフレームを取得して後述する各処理を行う。

次に、ステップＳ３０２において、検出部１１２が、撮像部１１１が撮像した画像を基に対象物を検出し、その位置情報を取得する。検出方法には、例えば、次のような方法がある。まず、撮像部１１１より得られた撮像画像を、ＳｏｂｅｌやＬａｐｌａｃｉａｎフィルタといった公知のエッジ強調手法により対象物の四辺に該当する画素を際立たせる。そして、ハフ変換や最小近似法などの公知の直線抽出手法を用いて四辺を示す位置情報を求める。撮像装置１０５の画角と読み取り台１２０の相対位置が固定であれば、撮像画像中の位置から読み取り台１２０と対象物の相対位置から読み取り台の上面における座標情報を得ることができる。なおこの方法は一例であり、赤外線カメラを用いて、赤外線照射によって読み取り台１２０と文書の赤外線反射率の違いから求めてもよいし、超音波センサなどの専用のセンサを用いてもよい。

次に、ステップＳ３０３では、判定部１１５が、ステップＳ３０３で取得した対象物の位置情報を基に、読み取り処理の対象物を１つ選択する。本実施形態では、どのレシートが選択されているかをユーザに提示する方法として、図２（ｂ）のように、投影部１１８が対象となるレシートにスポットライトを当てる。その他、選択状態を示すオブジェクトを表示したり、音声を再生したりすることなどにより、選択状態にあるレシートをユーザに知らせても構わない。

ステップＳ３０４では、判定部１１５が、選択した対象物の読み取り対象面が歪んでいるか否かを判定する。ここでは、一例として、投影部１１８が直線や格子などのある一定のパターンをレシート上に投影し、その状態を撮像部１１１によって撮像した画像を利用する方法を説明する。

図４は、読み取り対象面が歪んでいるレシートの一例を示す図であり、図４（ａ）（ｂ）は、投影部１１８がレシートに対して直線パターンを投影した状態を、投影部１１８による投影とは異なる角度から見た様子を示す。図４（ａ）のように文書の端に投影したパターンが連続している場合は、レシートの紙面は読み取り台の上面に対して平行である、すなわち歪んではいないとみなすことができる。一方で、図４（ｂ）のように、レシートの端に投影したパターンを撮像した場合に、一部が不連続であったり、弧を描くように見えたりする場合は、紙面は読み取り台の上面に対して平行ではない、すなわち歪みがあるとみなすことができる。本実施形態の判定部１１５が、このように直線パターンを投影した場合に、直線ではないように見えることを検知することで、対象物の読み取り対象面が、読み取り台上面に対して平行であるか否かを判定する。読み取り対象面が、読み取り台上面に対して歪んでいると判定された場合（ステップＳ３０４でＹＥＳ）には、処理はステップＳ３０５に進む。一方、読み取り台上面に対して歪んでいない場合（ステップＳ３０４でＮＯ）には、処理はステップＳ３０８に進む。

ステップＳ３０５では、検出部１１２が、読み取り対象面に含まれる情報が存在する領域を検出する。本実施形態では、検出部１１２は、レシートの紙面から文字が存在する領域を検出し、文字領域の境界を読み取り台の上面における座標情報として取得する。ただし、ステップＳ３０５では、レシートの紙面内から、文字コンテンツがありそうな領域を抽出できればよい。

図５は対象物の一例であるレシートの状態を示す。ステップＳ３０５において、検出部１１２は、図５（ｂ）のように、紙面が歪んだレシートが撮像された場合、レシート内部に文字認識が困難な程度で変形している文字領域があったとしても、まずは文字らしいコンテンツが存在すると推定する。このような技術として、公開公報 特開２００９−１２３２０６号が知られている。この技術では、入力画像からエッジ画像を生成し、エッジ画像から連結画素塊（Ｃｏｎｎｅｃｔｅｄ Ｃｏｍｐｏｎｅｎｔ：以後ＣＣと言う。）を生成する。生成したＣＣの大きさなどの特徴量から、文字らしいと推定されるＣＣの座標情報を候補としてハフ変換した結果、直線に並ぶ候補ＣＣ群を文字領域と判定する。ただし、文字コンテンツの存在を推定する方法は、これに限らない。例えば、ステップＳ３０２で検出したレシートを、読み取り台の全体を撮像した画像から切り出し、切り出した画像を二値化した画像、もしくは、エッジを抽出した画像を生成し、レシート内部に存在する画素塊を何らかの文字コンテンツが存在する領域としてもよい。図５（ｃ）において、点線で囲まれた領域は、ステップＳ３０５の処理によって、図５（ｂ）の撮影画像から推定された文字領域を示している。また、図６（ａ）は、図２（ａ）で示した読み取り台１２０上のレシート２０２〜２０５について、それぞれステップＳ３０５の処理によって文字領域を抽出した結果である。

ステップＳ３０６では、対象物上に第１の領域を設定する処理が実行される。第１の領域を設定する処理の詳細は後述する。

ステップＳ３０７では、通知部１１７が、設定部１１６に設定された第１の領域の位置に基づいて、ユーザが読み取り対象面の歪みを修正するために、指などで押さえるべき位置の候補を示す通知オブジェクトを投影部１１８に投影させる。本実施形態では、ステップＳ３０７において投影される通知オブジェクトは、ユーザが指などで押さえるべき位置の候補を明示する。従って、ユーザがレシートのどの部分を指などで押さえれば良いかを容易に把握でき、通知オブジェクトによって明示された位置を指で押さえることで、レシートの歪みを修正できる。

次に、ステップＳ３０８において、認識部１１３が、撮像部１１１が撮像した画像に基づいて、読み取り対象面に含まれる情報の認識が可能か否かを判定する。本実施形態の認識部１１３は、まずステップＳ３０３と同様、判定部１１５に紙面が歪んでいるか否かを判定する処理を再度実行させ、結果を取得する。さらに、認識部１１３は、撮像部１１１が撮像した画像について、認識すべき情報が存在する領域（レシートの文字領域）にユーザの指が写り込んでいないかを判定する。また例えば、ステップＳ３０５で実行された、読み取り対象面上の情報が存在する位置の検出処理を再度実行し、検出される情報が存在する領域の形状が変化した場合に、情報を読み取り可能であるかと判定してもよい。情報の認識が可能であると判定された場合（ステップＳ３０８でＹＥＳ）には、処理はステップＳ３０８に進む。一方、情報の認識が可能ではないと判定された場合（ステップＳ３０８でＮＯ）には、そうでない場合はステップＳ３０７で投影した通知オブジェクトを引き続き投影し、ステップＳ３０８の判定処理を繰り返し実行する。

ステップＳ３０９では、認識部１１３が、対象物の読み取りを実行する。本実施形態では、まず撮像部１１１を用い、読み取り対象面部分を高解像度で撮像した画像を撮像する。

ステップＳ３１０では、認識部１１３が、撮像画像を元に読み取り対象面に含まれる情報を認識し、認識した情報を保持部１１４に保持する。この際、認識部１１３は、撮像された画像に対し、必要に応じて画像の修正処理等を行い、ステップＳ３０５で検出された文字領域を解析して記載されている文字情報を認識する。そして、読み取り対象物の種類ごとに情報を管理して、保持する。例えば、同じ店で発行されたレシートから読み取られた情報や、同じ品目に対する費用を示す情報は関連付けられて保持される。なお、ステップＳ３０９において撮像部１１１が撮像した画像を、独立した電子データとして保持しても良い。

ステップＳ３１１では、現在読み取り対象として選択されている対象物の読み取りが完了した旨を、ユーザに知らせるＵＩを提示する。たとえば、図２（ｃ）は、レシート２０２の読み取りが完了し、レシート２０４が選択対象となった様子を表している。そのほか、音声で読み取りが完了した旨をユーザに知らせても構わない。

ステップＳ３１２では、認識部１１３が、ステップＳ３０２において検出された全ての対象物の読み取りが完了したかを判定する。全ての対象物の読み取りが完了したと判定された場合（ステップＳ３１２でＹＥＳ）には、ステップＳ３１３に進む。一方、全ての対象物の読み込みが完了していないと判定された場合（ステップＳ３１２でＮＯ）には、ステップＳ３０３に戻って処理を繰り返す。

ステップＳ３１３では、生成部１１９が、保持部１１４に保持されている情報に基づいて、電子データを生成する。本実施形態では、レシートから読み取った数値情報に基づいて、予め定められた条件に基づく表計算を行い、表データとグラフデータを生成する。

ステップＳ３１４では、通知部１１７が、生成部１１９に生成された電子データを読み取り台上に投影するための投影画像を生成し、投影部１１８に投影させる。例えば、図６（ｂ）は、読み取り台１２０のレシートをすべて読み込んだ結果や以前の集計結果を合わせ、表やグラフを作成し、投影部１１８を用いて読み取り台１２０上に投影している。

以上、本実施形態における対象物の読み取り処理の基本的な流れを説明した。なお、本実施形態では、ステップＳ３０１以降の処理は一定の周期で繰り返される。また、本実施形態では、複数の対象物が検出された場合には、そのうち１つを順次選択して読み取り処理を実行したが、各対象物に対する処理が順次実行されるか、並列に実行されるかは限定されない。

ここで、図７は、上述したフローチャートのステップＳ３０６において実行される、第１の領域を設定する処理の一例を示すフローチャートである。以下、図７を参照して第１の領域設定処理を説明する。

対象物の読み取り対象面が、読み取り台の上面に対して平行でない場合、その対象物において、読み取り台上から比較的離れている箇所を、読み取り台上に沿わせるように押さえることにより、簡易的に読み取り対象面の状態を修正できる。本実施形態では、読み取り対象となる面の周囲のうち、読み取り台の上面からの距離が他より離れている部分を検出して、検出された部分の周辺を押さえることをユーザに促すような通知オブジェクトを投影する。

まず、ステップＳ７０１において、判定部１１５は、処理対象として選択されている対象物の浮上辺を検出する。浮上辺とは、読み取り対象物の、読み取り対象となる面の周囲のうち、読み取り台の上面からの距離が他より離れている部分を意味する。本実施形態では、対象物を、レシートを一例として説明しているため、浮上辺は、矩形のレシート紙面を囲む四辺のうち、読み取り台の上面から浮いている辺に相当する。本実施形態では、浮上辺を検出した際には、その対辺は、読み取り台上面から離れているか否かに関わらず、浮上辺として検出する。これは、ユーザが紙面の片側を押さえることにより、その反対側が新たに読み取り台から浮いてしまうことを避けるためである。本実施形態では、ステップＳ３０４において、対象物上に投影した直線パターンが不連続であった場合に、読み取り対象面が読み取り台の上面に対して平行ではないと判定している。従って判定部１１５は、投影した直線パターンが不連続となった位置を撮像部１１１による撮像画像から検出し、最も不連続性が高い位置に基づき、レシートの紙面を囲む４辺から浮上辺を検出する。

具体的に検出される浮上辺の例を、図４（ｃ）〜（ｄ）を参照して説明する。例えば、読み取り対象物が、ロール紙に印刷を施したレシートである場合、想定される歪みは図４の（ｃ）、（ｄ）、（ｅ）の３種類のいずれかに当てはまる場合が多い。

図４（ｃ）は、紙面の中央が読み取り台上面から離れる形（∩型）に歪んだレシートの側面図と平面図である。この例では、読み取り台上面から離れている辺ａと辺ｃとが浮上辺として検出される。また、図４（ｄ）は、紙面の両端が読み取り台の上面から離れる形（Ｕ型）に歪んだレシートの側面図と平面図である。この例では読み取り台上面から離れている辺ｂと辺ｄとが浮上辺として検出される。図４（ｅ）は、図４（ｄ）の変形例である。この例では、浮上辺である辺ｂをユーザが押さえることによって、辺ｄが読み取り台から浮き上がってしまう。従って、図４（ｅ）の場合にも、浮上辺ｂだけでなく、その辺の対辺にあたる辺ｄも検出したこととする。 ここで、図６（ａ）に示されるレシート２０２〜２０５の例では、以下のように浮上辺が検出される。なお、図６（ａ）においては、浮上辺が太線で表現される。
レシート２０２の浮上辺（ｂ，ｄ）
レシート２０３の浮上辺（ａ，ｃ）
レシート２０４の浮上辺（ａ，ｃ）
レシート２０５の浮上辺（ａ，ｃ）

次に、ステップＳ７０２では、設定部１１６が、読み取り対象面上で、検出された浮上辺から所定の距離以内の範囲を第１の領域として設定する。設定部１１６は、検出された浮上辺から所定の距離以内の範囲を示す境界を、読み取り台上面での位置を示す座標情報を決定する。

ステップＳ７０３では、検出部１１２が、ステップＳ７０２で設定された第１の領域内に、ステップＳ３０５で検出した情報が存在する領域が含まれているか否かを、読み取り台上面での位置を示す座標情報を基に判定する。第１の領域内に、情報が存在すると判定された場合（ステップＳ７０３でＹＥＳ）には、処理はステップＳ７０４に進む。一方、第１の領域内に情報は存在しないと判定された場合（ステップＳ７０３でＮＯ）には、第１の領域設定処理を終了し、メインの対象物を読み取る処理に戻る。

ステップ７０４では、設定部１１６が、第１の領域から、情報が存在する領域を除外する。従って、本実施形態では、第１の領域からステップＳ３０５で検出されていた文字領域を除いた領域が、第１の領域であるとして、その境界を示す座標情報が決定される。設定部１１６は、決定した座標情報を判定部１１５に通知し、処理はメインの対象物を読み取る処理に戻る。以上が、本実施形態の情報処理装置が実行する第１の領域を設定する処理の流れである。

図８は、第１の領域が設定されたレシートの例を示す。図８（ａ）〜（ｃ）は、図６（ａ）のレシート２０２を示している。上述したように、レシート２０２では、辺ｂと辺ｄとが、浮上辺として検出されている場合の例である。図８（ａ）では、浮上辺ｂから所定の距離以内の範囲であって、かつ、文字領域を除外した領域８０１と、浮上辺ｄから所定の距離以内の範囲であって、かつ、文字領域を除外した領域８０２とが第１の領域として設定される。ただし、ステップＳ７０４において、第１の領域から、認識部１１３の認識対象である情報が存在する領域を除外する際には、複数の情報領域をグループ化して１つの領域とみなしてもよい。例えば、図８（ｂ）では、レシート内に存在している複数の文字領域を、１つの領域に統合し、全体の外接矩形を除外した領域８０３と領域８０４とが第１の領域として設定される（ステップＳ３０６）。

図８（ｃ）は、ユーザは、設定された第１の領域に、通知オブジェクトを投影した様子を示す。ここでは、浮上辺である辺周囲を強調する通知オブジェクト８０５、８０６を投影している。さらに、読み取り台上に文字による「（通知オブジェクト）を押さえてください」という指示を投影することで、ユーザに、行うべき処置を解り易く通知している。ユーザは、通知オブジェクトによって明示された領域内を、１箇所ずつ指で押さえることで、レシートの歪みを修正することができる。なお、通知オブジェクトは図８（ｃ）の例に限らない。例えば、設定された第１の領域の境界を明示するように、第１の領域の形に沿った図形などを投影してもよい。この場合、図８（ｂ）のように、領域８０３と領域８０４の形に沿った図形がレシート上に投影されることで、ユーザに、押さえる位置の候補を通知することができる。また、第１の領域内に具体的な指示を説明する文字や、丸印や矢印などのアイコンを投影することもできる。

以上説明したように、本実施形態では、読み取り台に置かれた対象物を、撮像部を用いて上方から読み取る際に、対象物における読み取り対象面が歪んでいるか否かを判定する。そして、読み取り対象面が歪んでいると判定された対象物上で、歪みを修正するために押さえるべき位置の候補を、ユーザに通知する。その際、ユーザが、読み取り対象面に含まれる情報の撮影を阻害せずに、対象物の読み取り台上面から離れている部分を押さえることができる第１の領域を特定し、その位置に基づいて、通知する位置の候補を定める。従ってユーザは、通知された指示に従って対象物を押さえるだけで、対象物を読み取りに適した状態に修正することができる。また、本実施形態では、認識した情報を蓄積し、蓄積された情報に基づいて電子データを生成することができるため、読み取り処理と同時に、レシートや帳票などのデータ管理や、電子データの編集作業を行う事ができる。

なお、本実施形態では、読み取り対象面に含まれる情報を、レシートに記載された文字を例として説明した。もし、対象物が文字以外のコンテンツを含む場合には、文字領域以外に、写真領域、線画領域等も認識し、それら各領域を除外した領域から、上記第１の領域を設定しても良い文字領域、写真領域、線画領域を抽出する文書画像解析技術としては、ＵＳＰ５６８０４７８が知られている。

＜第１の実施形態の変形例１＞
変形例１では、さらに撮像部１１１と読み取り対象物、及び読み取り対象面に含まれる情報との位置関係を考慮して、ユーザが撮像部１１１による撮像を阻害しないように第１の領域を設定する例を説明する。例えば、図９に示すように、撮像装置１０５が存在する方向から、レシート上の第１の領域９０１をユーザが指を差し出した場合に、指が文字領域９０２の撮像を阻害してしまうことを防ぐことができる。

変形例１に係る情報処理装置の外観、ハードウェアおよび機能構成は第１の実施形態と同様である。ただし、変形例１の設定部１１６は、さらに読み取り対象物上に、第２の領域を設定する。ここで、変形例１の第２の領域とは、前記撮像部と、読み取り対象面上で情報が存在する領域の間に存在する領域である。第２の領域内に物体が存在した場合、撮像画像に基づいて認識部１１３による認識処理を行いたい情報が、撮像部１１１の視野内に含まれなくなってしまう可能性が高くなる。

また、変形例１においても、対象物を読み取る処理は、図３のフローチャートに従って実行される。ただし、変形例１のステップＳ３０６においては、図１０に示すフローチャートに従って、第１の領域を設定する処理が実行される。

図１０において、図７と同番号が付されているステップでは、第１の実施形態と同様の内容の処理が実行されるため、詳細な説明を省略し、第１の実施形態と異なる点を中心に説明する。

変形例１では、ステップＳ７０３において、ＮＯの判定がなされた後、及びステップＳ７０４において、設定部１１６が第１の領域から、読み取り対象面上で情報が存在する領域を除外する処理を行った後は、ステップＳ１００１に進む。

ステップＳ１００１では、設定部１１６が、第２の領域を設定する。変形例１では、まず、読み取り対象面において、検出部１１２が検出した情報が存在する領域全体の外接矩形の角４点と、撮像装置１０５の撮像素子の中心をそれぞれ結んだ直線４本の位置情報を算出する。そして、４本の直線のうち、撮像素子側の中心角が最も大きくなるように選択した２本と、情報が存在する領域全体の外接矩形を構成する少なくとも１本の辺とで囲まれた領域を、第２の領域として設定し、その境界を示す座標情報を決定する。

ここで、図１１は、ステップＳ１００１で設定される第２の領域の例を４つ示す。図１１においては、読み取り対象面に含まれる情報全体の外接矩形１１０１の角の４点と、撮像装置１０５の撮像素子の中央の点１１０２とを結ぶ直線が算出され、そのうち、点１１０２側の中心角が最も大きくなる２本の直線（太線１１０３）が選択される。すなわち、４本の直線のうち最も外側となる２本が選択され、選択された２本の直線と外接矩形１１０１の少なくとも１本の辺とで囲まれた領域１１０４（斜線部）が、第２の領域として設定される。

次に、ステップＳ１００２では、判定部１１５が、ステップＳ１００１以前に設定された第１の領域と、ステップＳ１００１で設定された第２の領域とに重複する部分があるか否かを判定する。第１の領域と第２の領域に重複する部分があると判定された場合（ステップＳ１００２でＹＥＳ）には、処理はステップＳ１００３に進む。一方、第１の領域と第２の領域は重複しないと判定された場合（ステップＳ１００２でＮＯ）には、第１の領域設定処理を終了し、メインの対象物を読み取る処理に戻る。

ステップＳ１００３では、設定部１１６が、第１の領域から、第２の領域との重複部分を除外する。従って、変形例１では、第１の領域からステップＳ３０５で検出されていた文字領域と、ステップＳ１００１で設定された第２の領域との重複部分を除いた領域が、第１の領域であるとして、その境界を示す座標情報が決定される。設定部１１６は、決定した座標情報を判定部１１５に通知し、処理はメインの対象物を読み取る処理に戻る。

以降の処理は、第１の実施形態に準じる。変形例１においても、ステップＳ３０７において投影される通知オブジェクトは、ユーザがレシートのどの部分を押さえれば良いかを容易に把握することができるように、ユーザが押さえるべき位置を明示する。ユーザは、通知オブジェクトによって明示された位置を指で押さえることで、レシートの歪みを修正することができる。

ここで、図１２は、第２の領域との重複部分を除いた第１の領域と、投影する通知オブジェクトの一例を示す。図１２（ａ）は、図２（ａ）で示した読み取り台１２０のレシート２０２〜２０５に対し、それぞれの第２の領域との重複部分を除いた第１の領域を設定した例を示している。変形例１の処理により、以下のように第１の領域が設定される。
レシート２０２の第１の領域（領域１２０１，領域１２０２）
レシート２０３の第１の領域（領域１２０３，領域１２０４）
レシート２０４の第１の領域（領域１２０５，領域１２０６，領域１２０７）
レシート２０５の第１の領域（領域１２０８，領域１２０９，領域１２１０）

変形例１では、ステップＳ３０７において、設定された第２の領域自体をユーザに明示する通知オブジェクトを投影しても構わない。例えば、図１２（ｂ）のように、処理対象として選択されているレシートの第２の領域に、ＮＧゾーンとして明示する通知オブジェクト１２１１を投影する。また、図１２（ｃ）の矢印１２１２や、指マーク１２１３は、ユーザが第２の領域に進入せず美、第１の領域を押さえるために推奨される指の方向を指示している。このように、第２の領域に指が進入し難い方向から指を置くことを促す方法もある。

以上説明したように、変形例１では、撮像部１１１と、読み取り対象面上で情報が存在する領域の位置関係を考慮して、ユーザが読み取り対象面の歪みを修正するために押さえる位置の候補を決定する。これにより、対象面を押さえるユーザの指が、撮像部１１１による読み取り対象面上の情報の撮像を阻害してしまうことを防ぐことができる。従ってユーザは、通知された指示に従って対象物を押さえるだけで、対象物を読み取りに適した状態に修正することができる。

＜第１の実施形態の変形例２＞
変形例２では、さらにユーザの位置を考慮して、ユーザが撮像部１１１による撮像を阻害しないように第１の領域を設定する例を説明する。これにより、例えば図１３に示すように、ユーザの位置が撮像装置に近く、ユーザの手が、読み取り対象面に含まれる情報の撮像を阻害しやすい状況において、適切な通知オブジェクトを投影することができる。

変形例２に係る情報処理装置１００の外観、ハードウェアおよび機能構成は第１の実施形態の変形例１と同様である。ただし、変形例２の撮像部１１１は、読み取り台の上面とその周囲までを撮像範囲に含む。そして、検出部１１２は、撮像部１１１による撮像画像に基づき、読み取り台から所定の距離以内に存在するユーザの位置を検出することができる。この際、検出部１１２は、対象物、ユーザを検出する際には、撮像範囲全体を座標平面とした座標情報によってそれぞれの位置情報を決定する。変形例２では、設定部１１６も、同様に、撮像範囲全体を座標平面とした座標情報によって、第１の領域及び第２の領域の境界を示す位置情報を決定する。

変形例２においても、対象物を読み取る処理は、図３のフローチャートに従って実行される。ただし、変形例２のステップＳ３０６においては、図１４に示すフローチャートに従って、第１の領域を設定する処理が実行される。

図１４において、図７及び図１０と同番号が付されているステップでは、第１の実施形態及びその変形例１と同様の内容の処理が実行されるため、詳細な説明を省略し、第１の実施形態及びその変形例１と異なる点を中心に説明する。

変形例２では、ステップＳ１００２において、ＮＯの判定がなされた後、及びステップＳ１００３において、設定部１１６が第１の領域から第２の領域との重複部分を除外する処理を行った
後は、ステップＳ１４０１に進む。

ステップＳ１４０１では、検出部１１２が、情報処理装置を操作するユーザの位置を特定する。本実施形態の検出部１１２は、撮像部１１１による撮像画像に基づいて、読み取り台周辺における動体を検知することで、人がいる範囲を検知し、その中央の１点をユーザがいる位置としてその座標を特定する。ただし、ユーザの位置を特定する方法はこれに限らず、赤外線カメラやその他のセンサを用いてもよい。

ステップＳ１４０２では、判定部１１５が、特定したユーザの位置と、ステップＳ１４０１以前に設定された第１の領域の間に、ステップＳ１００１で設定された第２の領域が存在するか否かを判定する。本実施形態では、読み取り対象面上に設定された第１の領域それぞれについて、最もユーザの位置を示す座標との距離が近い点を特定する。そして、特定した点とユーザの位置を示す座標とを結ぶ直線が、第２の領域を横断する場合に、ユーザの位置と第１の領域の間に第２の領域が存在すると判定する。ユーザの位置と第１の領域の間に第２の領域が存在すると判定された場合（ステップＳ１４０２でＹＥＳ）には、処理はステップＳ１４０３に進む。ただし、処理対象となっている対象物の読み取り対象面上に、第１の領域が複数設定されている場合には、少なくとも一部の第１の領域とユーザの位置との間に、少なくとも第２の領域の一部が挟まれるように存在していれば、ＹＥＳとの判定がなされる。一方、ユーザの位置と第１の領域の間に第２の領域が存在しないと判定された場合（ステップＳ１４０２でＮＯ）には、第１の領域設定処理を終了し、メインの対象物を読み取る処理にリターンする。

ステップＳ１４０３では、設定部１１６が、読み取り対象面上に設定された少なくとも１つの第１の領域のうち、ユーザの位置と第２の領域の間に存在する第１の領域を除外した範囲を、第１の領域として設定する。設定部１１６は、決定した座標情報を判定部１１５に通知し、処理はメインの対象物を読み取る処理にリターンする。

ここで、図１５は、同じレシートを同じ位置にある撮像装置１０５で読み取る場合に、ユーザの位置に応じて、第１の領域が変化することを示す図である。図１５（ａ）及び（ｂ）では、いずれも辺ａと辺ｃが浮上辺である。図１５（ａ）では、ユーザの位置１５０１は撮像装置１０５よりも紙面に向かって左側のため、レシートの辺ｄ側から浮上辺を押さえれば、ユーザは、読み取り対象面上の情報の撮像を阻害しない。従って、変形例２の処理により、辺ｂ側の第１の領域は除外され、ユーザは辺ｄ側から浮上辺を押さえるように促される。一方、図１５（ｂ）では、ユーザの位置１５０２は撮像装置よりも紙面に向かって右側のため、辺ｄ側を押さえようとすると、手が第２の領域を横断してしまう。従って、図１５（ｂ）では、変形例２の処理により、辺ｄ側の第１の領域は除外され、ユーザは辺ｂ側から浮上辺を押さえるように促される。

以上説明したように、変形例２では、撮像部１１１と、読み取り対象面に含まれる情報が存在する領域の位置関係に加えて、ユーザの位置を考慮して、歪んだ読み取り対象面上で、ユーザが歪みを修正するために押さえる位置の候補を決定する。例えば、撮像装置が天井に設置されていたり、情報処理装置に埋め込まれていたりする場合、ユーザは撮像装置の位置を認識することが困難な場合がある。このような場合においても、変形例２では、情報処理装置がユーザの位置を考慮して、読み取り対象面において、ユーザが押さえる位置の候補を通知する。これにより、ユーザは、撮像装置の位置を気にする必要がなく、通知された指示に従って対象物を押さえるだけで、対象物を読み取りに適した状態に修正することができる。

＜第１の実施形態の変形例３＞
変形例３では、第１の実施形態とその変形例に従い先に設定された第１の領域の一部を除外する処理を行った結果、ユーザが読み取り対象面を修正するために押さえる位置の候補がなくなった場合に、対象物を移動させる操作をユーザに促す例を説明する。

変形例３に係る情報処理装置の外観、ハードウェアおよび機能構成は、第１の実施形態及びその変形例と同様である。

また、変形例３においても、対象物を読み取る処理は、図３のフローチャートに従って実行される。ただし、変形例２のステップＳ３０６においては、図１６に示すフローチャートに従って、第１の領域を設定する処理が実行される。

図１６において、図７及び図１０、図１４と同番号が付されているステップでは、第１の実施形態及びその変形例１と同様の内容の処理が実行されるため、詳細な説明を省略し、第１の実施形態及びその変形例１と異なる点を中心に説明する。

変形例２では、ステップＳ１４０２において、ＮＯの判定がなされた後、及びステップＳ１４０３において、設定部１１６が、第１の領域から第２の領域との重複部分を除外する処理を行った後、ステップＳ１６０１に進む。

ステップＳ１６０１において、判定部１１５が、処理対象として選択されている対象物において、１つの浮上辺に、少なくとも１つの第１の領域が接触しているか否かを判定する。ステップＳ７０２において、設定部１１６は、浮上辺から所定の距離以内の範囲を第１の領域に設定しているため、通常は、第１の領域は浮上辺に接触している。しかしステップＳ７０４、ステップＳ１００３、ステップＳ１４０３の少なくとも１つの処理を実行したことにより、第１の領域が浮上辺の近辺に存在しなくなる可能性がある。従ってステップＳ１６０１の処理では、現在の第１の領域に、浮上辺を押さえる効果があるか否かを判定している。１つの浮上辺に少なくとも１つの第１の領域が接触していると判定された場合（ステップＳ１６０１でＹＥＳ）には、第１の領域設定処理は終了し、メインの対象物を読み取る処理にリターンする。一方、１つの浮上辺に少なくとも１つの第１の領域が接触していない、すなわちいずれの第１の領域とも接触しない浮上辺があると判定された場合（ステップＳ１４０２でＮＯ）には、ステップＳ１６０２に進む。

ステップＳ１６０２では、通知部１１７が、読み取り対象として選択されている対象物の移動を指示する通知オブジェクトを投影するための投影画像を生成し、投影部１１８に投影させる。ここで移動とは、対象物の位置を変えたり、向きを回転させたりすることをいう。そして、ステップＳ７０１に戻り、第１の領域を設定する処理を繰り返す。本実施形態では、ステップＳ１６０２における処理のあと、ユーザが対象物を移動させるための所定時間待機して、ステップＳ７０１に戻るものとのする。

ここで、図１７は、ステップＳ１６０２において、対象物の移動を指示する通知オブジェクトが投影された読み取り台の一例を示す。図１７は、図１２（ａ）で示した読み取り台１２０と同じである。図１２（ａ）のレシート２０３では、ユーザの位置が２００２であっため、辺ｃ近辺のある第１の領域１２０４は除外されてしまい、浮上辺である辺ｃに接触する第１の領域が存在しなくなる。従って、変形例３では、例えば図１７（ａ）のように、レシート２０３の歪みの修正が困難であること、あるいは読み取りが不可能であることを文字情報で示す。また、例えば図１７（ｂ）のように、レシート２０３を回転させることを促す矢印を示すことで、ユーザへ指示を明示する。

以上説明したように変形例３では、読み取り対象面上の情報の撮像を阻害せずに、読み取り対象面が歪んでいる対象物を押さえることができる位置の候補が、読み取り対象面上になければ、ユーザに対してまず対象物の移動を促す。これにより、ユーザは、通知された指示に従うだけで、対象物を読み取りに適した状態に修正することができる。

＜その他の実施形態＞
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ可読の記憶媒体を、システムあるいは装置に供給することによっても、達成される。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによって、達成してもよい。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本実施形態を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の情報処理装置として動作する。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれる。

Claims (13)

1. 読み取り台に読み取り対象面を上向きにして置かれた対象物を、撮像部を用いて読み取る情報処理装置であって、
   前記読み取り対象面が歪んでいるか否かを、前記対象物のそれぞれについて判定する判定手段と、
   前記判定手段によって前記読み取り対象面が歪んでいると判定された対象物上の位置の何処かを、該対象物を押さえて前記歪みを修正する場合に押さえる位置の候補としてユーザに通知する通知手段と、
   前記読み取り対象面に含まれる情報を認識する認識手段と
   前記ユーザが、前記読み取り対象面上で、前記歪みを修正するために押さえることができる第１の領域を設定する設定手段と、
   前記読み取り対象面の周囲のうち、前記読み取り台の上面からの距離が他より離れている部分を検出する検出手段を備え、
   前記設定手段は、さらに、前記撮像部と前記読み取り対象面に含まれる読み取り対象情報が存在する位置との位置関係に基づいて、前記読み取り対象面上に第２の領域を設定し、
   前記設定手段は、前記読み取り対象面上の、前記検出手段が検出した部分から所定の距離の範囲のうち、前記第２の領域との重複部分を除いた範囲を前記第１の領域として設定し、
   前記通知手段は、前記読み取り対象面において、前記設定手段が設定した前記第１の領域の内部に、前記認識手段が認識する情報が存在する領域の位置に基づいて、前記歪みを修正するために押さえる位置の候補を決定し、前記ユーザに通知することを特徴とする情報処理装置。
2. 前記設定手段は、前記検出手段が検出した部分から所定の距離の範囲で、かつ、前記読み取り対象面に含まれる読み取り対象情報が存在する領域を除外した領域を、前記第１の領域として設定し、さらに、既に設定された前記第１の領域の中から、前記第２の領域との重複部分を除いた範囲を最終的な第１の領域として設定することを特徴とする請求項１に記載の情報処理装置。
3. 前記第２の領域は、前記撮像部と前記情報が存在する位置との間に存在する領域であることを特徴とする請求項１に記載の情報処理装置。
4. 前記情報処理装置を操作するユーザの位置を検知する検知手段を更に備え、
   前記設定手段は、前記検知手段が検知したユーザの位置に基づいて、前記第１の領域を設定することを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記情報処理装置を操作するユーザの位置を検知する検知手段を更に備え、
   前記設定手段は、前記検出手段が検出した部分から所定の範囲で、かつ、前記読み取り対象面に含まれる読み取り対象情報が存在する領域を除外した領域のうち、前記検知手段が検知した位置にいるユーザが、前記第２の領域に進入せずに押さえることができる領域を、前記第１の領域として設定することを特徴とする請求項１に記載の情報処理装置。
6. 前記通知手段は、前記設定手段によって設定された第１の領域内に、前記ユーザが、前記歪みを修正するために押さえる位置の候補を示す通知オブジェクトを投影することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記通知オブジェクトは、前記第１の領域の境界を明示することを特徴とする請求項６に記載の情報処理装置。
8. 前記通知手段は、前記設定手段によって設定された第１の領域内に、前記ユーザが、前記歪みを修正するために押さえる位置の候補を示す通知オブジェクトを投影し、前記通知オブジェクトは、前記ユーザが前記第２の領域に進入せずに、前記第１の領域を押さえることができる方向を明示することを特徴とする請求項５に記載の情報処理装置。
9. 前記通知手段は、前記読み取り対象面の周囲のうち、前記読み取り台の上面からの距離が他より離れている部分の位置と、前記読み取り対象面に含まれる読み取り対象情報が存在する領域と、前記撮像部の位置と、前記情報処理装置を操作するユーザの位置の少なくともいずれかに基づいて、ユーザが、前記歪みを修正するために押さえる位置の候補を決定し、前記ユーザに通知することを特徴とする請求項１に記載の情報処理装置。
10. 前記判定手段は、前記対象物の読み取り対象面が、前記読み取り台の上面に対して平行ではない場合に、前記読み取り対象面が歪んでいると判定することを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記認識手段が認識した情報を含むデータを生成する生成手段を更に備え、
    前記通知手段は、前記生成手段によって生成されたデータを前記読み取り台上に投影することを特徴とする請求項１に記載の情報処理装置。
12. コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至１１のいずれか１項に記載された情報処理装置として動作させるためのプログラム。
13. 読み取り台に読み取り対象面を上向きにして置かれた対象物を、撮像部を用いて読み取る情報処理装置の制御方法であって、
    判定手段により、前記読み取り対象面が歪んでいるか否かを、前記対象物のそれぞれについて判定する判定工程と、
    通知手段により、前記判定工程において前記読み取り対象面が歪んでいると判定された対象物上の位置の何処かを、該対象物を押さえて前記歪みを修正する場合に押さえる位置の候補としてユーザに通知する通知工程と、
    認識手段により、前記読み取り対象面に含まれる情報を認識する認識工程と
    設定手段により、前記ユーザが、前記読み取り対象面上で、前記歪みを修正するために押さえることができる第１の領域を設定する設定工程と、
    検出手段により、前記読み取り対象面の周囲のうち、前記読み取り台の上面からの距離が他より離れている部分を検出する検出工程を有し、
    前記設定工程では、さらに、前記撮像部と前記読み取り対象面に含まれる読み取り対象情報が存在する位置との位置関係に基づいて、前記読み取り対象面上に第２の領域を設定し、
    前記設定工程では、前記読み取り対象面上の、前記検出工程で検出された部分から所定の距離の範囲のうち、前記第２の領域との重複部分を除いた範囲を前記第１の領域として設定し、
    前記通知工程では、前記読み取り対象面において、前記設定手段が設定した前記第１の領域の内部に、前記認識工程で認識された情報が存在する領域の位置に基づいて、前記歪みを修正するために押さえる位置の候補を決定し、前記ユーザに通知することを特徴とする情報処理装置の制御方法。

Images