JP5602927B2 - 撮像対象物、画像処理プログラム、及び画像処理方法 - Google Patents

Description

本発明は、コンパクトデジカメや携帯電話のカメラ機能を用いてドキュメントを撮像する技術に適用して有効な技術である。

コンパクトなデジタルカメラ、携帯電話やスマートフォンに搭載されたデジタルカメラは、数百万画素以上の高精度撮影が可能になってきており、風景や人物等の撮影のみならず、紙製のドキュメント、メモや名刺等を撮影するために用いられることが多くなってきている。

代表的なスマートフォンであるアップル社のｉＰｈｏｎｅ（アップル社が許諾を受けたアイホン社の登録商標）では、搭載されたカメラで撮影した紙媒体の表面画像を読み込んで、連続的な画素の変化から当該紙媒体のエッジを認識して、斜め方向から撮影しているために台形状態となっているエッジを方形に補正（台形補正）して、紙媒体をあたかも接写方式のドキュメントスキャナで読み込んだような画像に仕上げる、スキャナアプリと呼ばれるアプリケーションが数種類知られている。

一方、上記のようなカメラで撮影したドキュメントの画像を補正する技術としては、特開２０１０−１３０１８１号公報（特許文献１）がある。この特許文献１では、請求項７および段落００４７に記載されているように、パーソナルコンピュータ（本体ＰＣＢ）のキーボードの両側に沿ってマーカーとしての赤線ＲＬを設けておき、撮像画像の画面側縁との傾き角を補正パラメータとして台形補正する技術が示されている。

特開２０１０−１３０１８１号公報

前記特許文献１は、パーソナルコンピュータ（本体ＰＣＢ）の両側に設けられた斜め方向に撮影される赤線ＲＬのマーカーを基準に台形補正を行うため、台形補正の自動化ができるという利点はあるものの、パーソナルコンピュータ（本体ＰＣＢ）の前に置かれたドキュメントが、パーソナルコンピュータ（本体ＰＣＢ）に対して正確な位置に置いておかないと、正確な台形補正ができない問題点があった。つまり、ドキュメント（ＤＣＭ）が僅かでも斜め方向に傾いて置かれてしまっている場合、傾いたままの撮像画像に台形補正を施したとしても、画像として再現されたドキュメント（ＤＣＭ）が変形してしまい、違和感のあるものになってしまう可能性が高かった。

さらに、前述のドキュメントのエッジ部分を認識して台形補正を行う従来技術を併用したとしても、複雑な補正計算を行う必要がある上に、ドキュメントがその用紙色と同系色の机の上に載置されていたり、角部がステープラーの針によって破砕されたり折り曲がっていると、エッジ部分の認識率が低くなり、正確なドキュメントの再現ができない場合が多かった。

本発明はこのような点に鑑みてなされたものであり、ドキュメントの置き方やカメラの位置に影響されずに、かつ用紙の色や角部の破砕があったとしても、画像補整が可能でドキュメントの再現性が高い撮像技術を提供することを課題とする。

本発明は、前記課題を解決するために、以下の手段を採用した。

より詳細には、本発明の画像処理システムは、少なくとも２箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物と、当該撮像対象物を撮像する撮像手段と、当該撮像手段が撮像した原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される、画像処理システム。

本発明によれば、撮像対象物としてのドキュメントやメモそのものに位置決め用シンボル（シンボルコード）を設けているため、ドキュメントの置き方やカメラの位置に影響されずに、かつ用紙の色や角部の破砕があったとしても、画像補整が可能で再現性の高いドキュメント画像を得ることができる。多値化された図形からなるシンボルコードとは、換言すると、現出部と非現出部とを有するシンボルコードである。なお、位置決めシンボルは、２箇所以上あれば外形を認識することができ、３箇所あれば画像の座標を求めることが可能となる。但し、撮像時の歪み対策として頂点検出用セルを設けることが好ましい。位置決めシンボルが４箇所であれば撮像時に歪んでも外形がわかるが方向がわからなくなることから方向決めシンボルを設けることが好ましい。

また、本発明の画像処理システムにおいて、前記撮像対象物には、前記第一範囲の所定位置に当該第一範囲の方向を認識するための方向認識用シンボルと、前記第一範囲内または第一範囲とは別領域として設けられた第二範囲を有し、前記画像取得手段又は画像データ保存手段には、予め照合用文字情報が記憶されており、当該画像取得手段が、前記方向認識用シンボルを基準に前記第一範囲の方向を認識し、認識した方向情報に基づいて前記第二範囲を検出し、当該第二範囲に描かれた画像と前記文字情報とを照合し、当該画像が文字であること認識したときに、当該文字を前記第一範囲から読み取った画像データの関連情報として保存するようにしてもよい。

本発明によれば、第一範囲から読み取られる画像データに対して、関連情報として第二範囲に記載された文字を文字情報として認識して記憶しておくことができるため、当該文字情報を画像データのインデックスとして使用でき、画像データの検索性を高めることができる。第一範囲の所定位置とは、例えば、第一範囲の上部や位置決めシンボルの内の一つである。関連情報とは、例えば日付である。

また、本発明において、前記照合用文字情報は、英文字と数字とのうち少なくとも何れか一方とすることができる。第二範囲に記載された文字の認識を英数字に限定することによって認識率を高め、処理を高速化することができる。

また、本発明の画像処理システムにおいて、前記撮像手段は、前記撮像対象物を読み取り、読み取った画像から前記位置決めシンボルを少なくとも３箇所検出したらその撮像画像を前記画像取得手段に引き渡すようにしてもよい。撮像手段が少なくとも３箇所の位置決めシンボルを検出することで画像の座標を求めることが可能となり、撮像画像データを画像処理手段に引き渡すことにより、自動シャッターを実現できる。その結果、ユーザの余計な操作なしに最適なタイミングで画像データの取得が可能になる。

また、本発明の画像処理システムにおいて、撮像対象物上の前記第一範囲は、矩形状を呈し、当該矩形の４頂点に夫々前記位置決め用シンボルが配設されており、前記画像取得
手段は、予め記憶されていた各位置決め用シンボル間の基準距離を読み出して、撮像画像における前記各位置決め用シンボル間の距離が前記あらかじめ記憶された各位置決め用シンボル間の基準距離と一致するか否かを照合し、一致しない場合は、撮像された画像における各位置決め用シンボルの距離を前記各位置決め用シンボル間の基準距離に一致するように撮像された画像を補正するようにしてもよい。

本発明によれば、ドキュメント、メモ等の撮像対象物そのものに位置決め用シンボルが設けられており、この位置決め用シンボルを基準に画像補正（台形補正）処理を行うため、用紙のエッジの認識を行う場合に比べて、撮像対処物の置き方（方向、位置やその場所）に左右されることなく画像データの取得範囲を確実に認識することが可能となる。

また、本発明の画像処理システムにおいて、前記撮像対象物の表面は、電子的に複写すると所定の位置に、他の位置とは異なる形状で設けられた禁止シンボルが現出する印刷処理が施されており、前記撮像対象物を撮像した前記撮像手段は、撮像画像中に前記禁止シンボルを認識したときには、当該撮像画像を前記画像取得手段に引き渡す処理を実行しないようにしてもよい。

本発明によれば、電子的に複写した（コピーした）撮像対象物を撮像手段で撮像しようとしても、画像取得手段による画像処理が行われないため、不正な電子複写（コピー）を防止することができる。

また、本発明は、本発明の画像処理システムで用いられる撮像対象物として特定することができる。すなわち、本発明は、上述した画像処理システムの撮像対象物であって、少なくとも２箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する。

本発明の撮像対象物によれば、少なくとも２カ所（たとえば左上と右下）に、特殊な形状の位置決め用シンボルを設定することで、第一範囲に記載された手書き文字等の図形と明らかに区別するとともに、その範囲を確定することが容易になる。位置決め用シンボルには、ＱＲコード（商標登録第４０７５０６６号）で用いられる決め用シンボルと同様のものを用いてもよい。

また、本発明の撮像対象物において、前記多値化された図形からなるシンボルコードは、現出部と非現出部とを有し、前記非現出部は、前記撮像手段から得られた撮像画像では可視化されない異なる模様を有する背景部と潜像部とを有し、当該読取対象物を電子的に複写し、当該複写物を印刷すると、背景部と潜像部とが現出した複写物が可視化された状態で再現されてもよい。

本発明によれば、位置決めシンボルの図形中に撮像手段では可視化されず、電子複写（コピー機によるコピー）によって可視的に現出する背景部と潜像部を設けておくことによって、複製された撮像対象物の不正使用を防止できる。すなわち、電子複写（コピー機によるコピー）を用いて複写された撮像対象物を撮像した場合には、位置決めシンボルの背景部と潜像部が現出することにより、位置決めシンボルの図形そのものが異なった形状のものとして撮像手段に認識されてしまうことになる。そのため、撮像手段は位置決めシンボルを特定することができずに画像取得手段に引き渡すことができなくなる。

また、本発明は、位置決め用シンボルが形成された領域を除く所定の箇所に、撮像手段から得られた撮像画像では可視化されない異なる模様を有する背景部と潜像部とを有し、当該読取対象物を電子的に複写し、当該複写物を印刷すると、背景部と潜像部とが現出した禁止シンボルが可視化された状態で再現されるようにしてもよい。所定の箇所に撮像手
段では可視化されず、電子複写（コピー機によるコピー）によって可視的に現出する背景部と潜像部を設けておくことによって、複製された撮像対象物の不正使用を防止できる。すなわち、撮像手段が可視的に現出する背景部と潜像部、すなわち禁止シンボルを検出したときには、撮像画像データを画像取得手段に引き渡さないようにすることで、不正使用を防止できる。

また、本発明は、少なくとも２箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルが配設され、撮像対象物としての用紙の上に載置される透明シートと、当該撮像対象物を撮像する撮像手段と、当該撮像手段が前記透明シートを介して撮像した用紙表面の原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される画像処理システムとしてもよい。

また、本発明は、撮像対象物としての用紙の上に貼付され、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルからなる２以上のシール片と、当該撮像対象物を撮像する撮像手段と、当該撮像手段が撮像した用紙表面の原画像データから前記シール片の位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成される画像処理システムとしてもよい。位置決め用シンボルを透明シートに配設し、又は位置決め用シンボルをシール片によって構成することで、撮像対象物としてのドキュメントやメモが位置決め用シンボルを有しない場合でも、画像補整が可能となる。

また、本発明は、画像処理方法として特定することもできる。すなわち、本発明は、少なくとも２箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物の表面を撮像手段で撮像して、その原画像データを画像取得手段で処理し、画像データ保存手段に登録する画像処理システムにおいて、前記撮像手段が、少なくとも前記２カ所の所定位置の位置決めシンボルが含まれるように前記撮像対象物を撮像するステップと、前記画像取得手段が、撮像された原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識ステップと、当該第一範囲にある画像データのみを切り出して切出画像データとして取得するステップと、前記画像データ保存手段に前記切出画像をデータを保存するステップとからなる画像処理方法である。

また、本発明は、画像処理プログラムとして特定することもできる。すなわち、本発明は、少なくとも２箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物の表面を撮像手段で撮像して、その原画像データを画像取得手段で処理し、画像データ保存手段に登録する画像処理システムで実行可能な画像処理プログラムであって、前記撮像手段が、少なくとも前記２カ所の所定位置の位置決めシンボルが含まれるように前記撮像対象物を撮像するステップと、前記画像取得手段が、撮像された原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識ステップと、当該第一範囲にある画像データのみを切り出して切出画像データとして取得するステップと、前記画像データ保存手段に前記切出画像をデータを保存するステップとからなる画像処理システムで実行可能な画像処理プログラムである。

また、本発明は、撮像手段によって撮像され、その画像データを画像取得手段で処理し
、データ保存手段に保存する画像処理システムで用いられる撮像対象物であって、前記撮像対象物の撮像範囲を確定するために少なくとも２箇所の所定位置に設けられた、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルと、前記位置決めシンボルを基準にして所定の位置に設けられ、前記画像取得手段に画像データの切り出しを行わせるための第一範囲とからなる画像処理システムで用いられる撮像対象物としてもよい。

更に、本発明の撮像対象物において、前記撮像対象物には、前記第一範囲の所定位置に当該第一範囲の方向を認識するための方向認識用シンボルと、前記第一範囲内または第一範囲とは別領域として設けられ、前記方向認識用シンボルとの位置関係でその方向が認識されるとともに、前記画像データ保存手段に予め記憶されている照合用文字情報と照合するための文字が記載される第二範囲が設けられていてもよい。

更に、本発明は、少なくとも２箇所の所定位置に、多値化された図形からなるシンボルコードにより形成された位置決め用シンボルを有する撮像対象物と、当該撮像対象物を撮像する撮像手段と、撮像手段により撮像した原画像データをネットワークを介して送信する送信手段と、前記ネットワークを介して原画像データを受信する画像処理サーバにおいて、当該撮像手段が撮像した原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得する画像取得手段と、当該画像取得手段が取得した切出画像をデータを保存する画像データ保存手段と、により構成されるネットワークを介した画像処理システムとして特定することもできる。

本発明によれば、ドキュメントの置き方やカメラの位置に影響されずに、かつ用紙の色や角部の破砕があったとしても、画像補整が可能でドキュメントの再現性が高い撮像技術を提供することができる。

実施形態における撮像対象物としてのメモ用紙を示す図（１） 実施形態における撮像対象物としてのメモ用紙を示す図（２） 実施形態における撮像対象物としてのメモ用紙を示す図（３） 実施形態に用いるカメラ付きスマートフォンの構成図 実施形態をネットワークで利用した場合の説明図 実施形態の処理の一例を示すフロー図 実施形態における撮影状態と、位置決めマークが印刷された透明プレートを示す図 実施形態における撮像対象物としてのメモ用紙を示す図（４） 実施形態に用いる位置決めマークを印刷したシールを示す図 実施形態の処理の他の例を示すフロー図

（実施形態１）
本発明を図に基づいて説明する。図１は、本実施形態におけるメモ用紙（撮像対象物）（ＤＯＣ）の表面の構成を示している。同図に示すように、このメモ用紙（ＤＯＣ）は、上部に設けられた綴じ代（ＵＳ）と、用紙本体とで構成されている。用紙本体の上方には綴じ代（ＵＳ）に沿って同図水平方向ミシン目（ＭＬ）が設けられていて、メモ用紙本体を切り取ることができるようになっていてもよい。

メモ用紙本体の表面には、四隅近傍に位置決めシンボル（Ｍ１〜Ｍ４）が印刷されてい
る。４個の位置決めシンボルのうち、左上（Ｍ１）、左下（Ｍ２）および右下（Ｍ３）の位置決めシンボルは、本発明の多値化された図形からなるシンボルコードに対応するものであり、四角形状の太線形状の線図（現出部）の内部に白紙の地色部分の領域（非現出部）で囲まれた塗り潰し印刷の四角形（現出部）が配置されている。この太線形状は、汎用の筆記具（鉛筆、ボールペン、サインペン）よりも太線で印刷するようにして、後述の第一範囲に記述された筆記具の筆跡とは明確に区別されるようにすることが好ましい。なお、位置決めシンボルは、カラーコードとしてもよい。

用紙本体の右上には前記位置決めシンボルとは異なる形状の方向決めシンボル（Ｍ４）が印刷されている。方向決めシンボル（Ｍ４）は、本発明の多値化された図形からなるシンボルコードに対応するものであり、前記左上（Ｍ１）、左下（Ｍ２）および右下（Ｍ３）の位置決めシンボルとは異なる形状である。このように、４個のシンボルのうち１個だけその形状を異なる形状とすることによって、カメラ（ＣＡＭ）で査定したときに、メモ用紙（ＤＯＣ）の正方向を検出することができるようになっている。

前記４個の位置決めシンボル（Ｍ１〜Ｍ４）に囲まれた領域は、第一範囲（ＡＲ１）として、ユーザが手書きの文字、図形、記号、絵等を描画できるようになっている。そしてこの第一範囲（ＡＲ１）が原画像データとしてイメージ読み込みがされる。

なお、この例では、第一範囲（ＡＲ１）を４個の位置決めシンボル（Ｍ１〜Ｍ４）に囲まれた部分として認識されるようにしたが、位置決めシンボルは必ずしも４個配置する必要はなく、図３に示すように、左上（Ｍ６）と右下（Ｍ７）だけに配置してもよい。すなわち、左上の位置決めマーカ（Ｍ６）と右下の位置決めマーカ（Ｍ７）を結んだ線を対角線とする矩形領域を第一範囲（ＡＲ１）と認識してもよい。

また、上記の説明では、４個の位置決めシンボル（Ｍ１〜Ｍ４）のうち、右上のシンボルの形状を変更して方向決めシンボルとしたが、この方向決めシンボルは位置決めシンボル（Ｍ１〜Ｍ４）の他に、図１、図２のＭ５で示すように別の部位に印刷してもよい。

更に、位置決めシンボル（Ｍ１）と位置決めシンボル（Ｍ２）の相対的な位置関係から第二範囲（ＡＲ２）を認識してもよい。位置決めシンボル同士の相対的な位置関係に代えて、位置決めシンボルと方向決めシンボルとの相対的な位置関係から第二範囲（ＡＲ２）を認識してもよい。また、図３に示す例では、綴じ代（ＵＳ）を基準として第二範囲（ＡＲ２）を認識してもよい。

図１において、第一範囲（ＡＲ１）の方向決めシンボル（Ｍ４）の直近左側領域には、第二範囲（ＡＲ２）が設けられている。この第二範囲（ＡＲ２）は、方向決めシンボルの高さと同じ高さを有しており、方向決めシンボル（Ｍ４）の左端側辺が第二範囲の右端側辺と一致しているため、カメラ（ＣＡＭ）で撮像した原画像データから方向決めシンボル（Ｍ４）を検出できれば、第二範囲も検出できるようになっている。

第二範囲には、図１では詳細が示されていないが、図３に示すように、７セグメントを構成する直線片からなる記入ガイドが薄色で印刷されている。すなわち７セグメントを構成する記入ガイド部分上を筆記具でなぞることによって夫々のセグメントで０〜９までの数字を電光掲示板の数字表示のように記述することができる。

このように７セグメントの記入ガイドを設けることによって、記入された数字の認識率を高めることが可能となっている。なお、７セグメントの記入ガイドを設けて記入された数字の認識が容易になる例で説明したが、これに限らず、１文字ずつの枠を薄色で印刷して、この枠内に記入された数字や英文字を文字認識できるようにしてもよい。つまり、こ
の第二範囲（ＡＲ２）に記入した文字（英数字）をカメラ（ＣＡＭ）で読み取り、メモリ（ＭＥＭ）に記憶されている文字パターン（照合用文字情報）と比較することで、文字認識を行うことができる。

図２に示すように、用紙メモ（ＤＯＣ）の方向決めシンボル（Ｍ４）の直下部分には、禁止シンボル（ＡＳ１）が設けられている。この禁止シンボルは可視的に認識できない印刷、たとえば地紋印刷が施されており、コピー装置等で電子的に複写されたときに可視的な禁止シンボルとして現れるようになっている。なお、禁止シンボルは、第一範囲（ＡＲ１）内の所定位置にあればよく、例えば図２に示すように、左下の位置決めシンボル（Ｍ２）の直上位置に配置されていてもよい。

また、地紋印刷を現出化（可視化）させることによって、プログラムによって積極的に禁止シンボルとして認識させてもよい。このようにメモ用紙（ＤＯＣ）上に禁止シンボルが存在することを認識した段階で、中央処理装置（ＣＰＵ）はプログラムに基づいて、画像処理を中止して、ディスプレイ（ＤＩＳＰ）上に「この用紙は正規の用紙ではありません」等の表示を行ってもよい。

次に、図４を用いて本実施形態に用いるカメラ付きスマートフォン（ＭＰ）のハードウエア構成を説明する。このスマートフォン（ＭＰ）は、たとえばアップル社のｉＰｈｏｎｅ（アイホン社から許諾を受けた登録商標）である。

本体にはホームボタン（ＢＴＮ）が設けられており、ディスプレイ（ＤＩＳＰ）に表示されるアイコンやメニューをホーム画面に復帰させたり、カメラ（ＣＡＭ）のシャッターとして機能させるようになっている。

スマートフォン（ＭＰ）内部は、中央処理装置（ＣＰＵ）を中心にメインメモリ（ＭＭ）、バス（ＢＵＳ）を介して接続されたメモリユニット（ＭＥＭ）、通信インターフェース（ＴＩＦ）、カメラ（ＣＡＭ）、前述のボタン（ＢＴＮ）、タッチパネル（ＴＰＮ）とディスプレイ（ＤＩＳＰ）が一体化されたタッチパネルディスプレイ、スピーカ（ＳＰＫ）を有している。

通信インターフェース（ＴＩＦ）は、図５に示すように、無線電話回線を通じて基地局（ＢＳ）を経由して汎用のネットワーク（ＮＷ）に接続可能となっている。また、この通信インターフェース（ＴＩＦ）は、無線ＬＡＮのアクセスポイント（ＡＰ）と通信可能となっており、いずれかの通信手段を経由してネットワークへの接続が可能となっている。

メモリユニット（ＭＥＭ）には、オペレーティングシステム（ＯＳ）とともに、画像処理アプリケーションプログラム（ＡＰＬ）、原画像データや文字情報を保持するためのユーザデータエリア（ＵＤＴ）が設けられている。

本実施形態において前述のメモ用紙（ＤＯＣ）の撮像およびその画像処理は、メモリユニット（ＭＥＭ）の画像処理アプリケーションプログラム（ＡＰＬ）をバス（ＢＵＳ）およびメインメモリ（ＭＭ）を介して中央処理装置（ＣＰＵ）が読み込んで順次実行することによって実現される。この処理を図６の処理フローに基づいて説明する。

まず、ユーザのタッチパネル（ＴＰＮ）のタッチ操作によって本画像処理アプリケーションプログラム（ＡＰＬ）が選択・起動されると（ステップ６０１）、カメラ（ＣＡＭ）の機能が作動状態となり、撮像対象物であるメモ用紙（ＤＯＣ）が撮影されて、この撮影画像に対して、中央処理装置（ＣＰＵ）がプログラムに基づいて読み込んで図２で説明した禁止シンボルの有無を判定する（ステップ６０３）。この禁止シンボルの判定は、メモ
リユニットに記録された基準となる禁止シンボルの画像データを読み出して、カメラ（ＣＡＭ）からの原画像データと比較することによって行う。

ここで、禁止シンボルが検出された場合には、その後の処理を行わずにステップ６０２に戻る。なお、このとき禁止シンボルを検出したことをユーザに通知するための、前述のように、ディスプレイ（ＤＩＳＰ）上に「この用紙は正規の用紙ではありません」等の表示を行ってもよい。

禁止シンボルが検出されなかったときには、中央処理装置（ＣＰＵ）は原画像データから位置決めシンボルを探し出す（ステップ６０４）。この位置決めシンボルの検索も、メモリユニットに記録された基準となる位置決めシンボルの画像データを読み出して、カメラ（ＣＡＭ）からの原画像データと比較することによって行う。

位置決めシンボルを検出したときには、その段階での原画像データをメモリユニット（ＭＥＭ）に保存する（ステップ６０５）。このときの当該原画像データの採用を決定することを通知するためのシャッター音をスピーカ（ＳＰＫ）から出力させてもよい。また、ステップ６０４において位置決めシンボルを認識しない場合でも、ユーザのボタン（ＢＴＮ）操作によってシャッター音を発生させて（ステップ６１１）その時点での原画像データをメモリユニット（ＭＥＭ）に保存するとともに位置決めシンボルの検索を続けてもよい（ステップ６１２）。この場合も、一定時間に位置決めシンボルを検出できなかった場合には当該原画像データをそのまま保持するか、ステップ６０２に復帰させて再度撮影させるかを選択させるようにしてもよい（ステップ６１３）。

ステップ６０５で原画像データを保持したときは、位置決めシンボルの数をカウントする（ステップ６０６）ここで、３個の位置決めシンボルだけが検出されたときには、この３個の位置から残りの１個の位置決めシンボルを推定して、擬似的に４個目の位置決めシンボルを追加設定する（ステップ６１０）。

４個すべての位置決めシンボル（Ｍ１〜Ｍ４）が確定したときには、この４個の位置決めシンボルの外縁同士を結ぶ４本の仮想線を設定し、この仮想線で囲まれる部分を第一範囲として画像切り出しを行う（ステップ６０７）。

次に、切出画像について、４辺の位置と距離をあらかじめメモリユニットに記憶されている基準位置・距離と整合させるように台形補正を行い（ステップ６０８）、補正後の画像をメモ用紙（ＤＯＣ）の再現画像としてメモリユニット（ＭＥＭ）に保存する（ステップ６０９）。

なお、図６では、禁止シンボルが（ＡＳ１）、用紙メモ（ＤＯＣ）の方向決めシンボル（Ｍ４）の直下部分や左下の位置決めシンボル（Ｍ２）の直上位置に配置されている場合の処理について説明した。ここで、禁止シンボルは、図２に示すように、位置決めシンボル（たとえばＭ３）の非現出部（白地部分）に地紋印刷により設けられていてもよい。また、禁止シンボルは、別の位置決めシンボル（たとえばＭ３）の非現出部（白地部分）に地紋印刷により設けられていてもよい。このように位置決めシンボル（Ｍ３）と禁止シンボル（ＡＳ３）とを重畳印刷しておくことにより、本メモ用紙（ＤＯＣ）がコピー装置等で電子的に複写されると、この複写物の位置決めシンボル（Ｍ３）は形状が異なったものになってしまうため、カメラ（ＣＡＭ）で読み取った後の画像処理において、中央処理装置（ＣＰＵ）はプログラムによって位置決めシンボル（Ｍ３）として認識しない処理を行う。これによって、第一範囲の原画像データの処理を行わないようにしてもよい。

上記のように、禁止シンボルを位置決めシンボルの非現出部（白地部分）に地紋印刷に
より設ける場合、禁止シンボルを認識する必要がない。そこで、撮像及び画像処理は、図１０に示す処理フローにより行うことができる。図１０に示す処理は、図６における禁止シンボルの有無を判定する処理（ステップ６０３）を行わずに位置決めシンボルを探し出す処理（ステップ１００４）が行われる点で、図６に示す処理フローと異なる。なお、図１０の各ステップの符号の末尾２桁の数字と図６の各ステップの符号の末尾２桁の数字は対応しており、末尾２桁の数字が同じステップは同様の処理が行われるものとする。

なお、上述の処理フローでは、４個の位置決めシンボルの全てを用いて台形補正を行った例で説明したが、これに限らず図３で説明したように、左上の位置決めシンボル（Ｍ６）と右下の位置決めシンボル（Ｍ７）のみを基準にして台形補正を実行してもよい。この場合にはステップ６０６において２個の位置決めシンボルのみを検出すればよい。また、残りの２つの位置決めシンボルはその位置を推定して擬似位置決めシンボルを設定してもよい。

以上の説明では、スマートフォン（ＭＰ）で全ての処理を行う場合で説明したが、処理の一部をネットワーク（ＮＷ）を介して接続されたサーバ（ＳＶ）に実行させてもよい。

たとえば、カメラ（ＣＡＭ）によりメモ用紙（ＤＯＣ）の撮影を行った後、原画像データを一旦メモリユニット（ＭＥＭ）に保存するとともに、通信インターフェース（ＴＩＦ）およびネットワーク（ＮＷ）を介してサーバ（ＳＶ）に送信する。

前記原画像データを受信したサーバ（ＳＶ）ではサーバに格納した画像処理プログラムに基づいて、原画像データから前記位置決めシンボルを検出し、当該位置決めシンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとしてサーバ（ＳＶ）に保存するようにしてもよい。

サーバ（ＳＶ）に保存した画像データは、スマートフォン（ＭＰ）からネットワーク（ＮＷ）を介してアクセスできるようにしてもよい。

以上の説明では、メモ用紙（ＤＯＣ）そのものに位置決めシンボルや方向決めシンボルを直接印刷した例で説明したが、これに限らず、透明のプラスチックシート（ＰＬ）に位置決めシンボルや方向決めシンボルを印刷または印刷したシールを貼付しておき、このプラスチックシート（ＰＬ）をメモ用紙（ＤＯＣ）の上に被せた状態にして、カメラ（ＣＡＭ）でプラスチックシートを透過させてメモ用紙（ＤＯＣ）の表面を撮像してもよい。

また、図９に示すように位置決めシンボルや方向決めシンボルを印刷したプラスチックフィルムからなるシール（ＳＬ）として提供し、このシール（ＳＬ）の裏面に粘着面を設けておき、汎用のメモ用紙やレポート用紙に貼付してもよい。

なお、上記の説明では撮像対象物は、メモ用紙（ＤＯＣ）として説明したが、Ａ４サイズ程度のレポート用紙、白紙、印刷済みのドキュメントから名刺あるいは名刺サイズのメモ用紙等、位置決めシンボルや方向決めシンボルが設定できるものであればいかなる大きさのものであってもよい。

本発明は、カメラを用いて非接写によるドキュメント撮影を行う画像処理分野に利用できる。

ＤＯＣ 撮像対象物（メモ用紙）
ＡＲ１ 第一範囲
ＡＲ２ 第二範囲
ＵＳ 綴じ代
Ｍ１〜Ｍ４、Ｍ６、Ｍ７ 位置決めシンボル（Ｍ４は方向決めシンボル）
Ｍ５ 方向決めシンボル
ＡＳ１〜ＡＳ３ 禁止シンボル
ＭＰ スマートフォン
ＣＡＭ カメラ
ＰＬ プラスチックシート
ＳＬ シール
ＣＰＵ 中央処理装置
ＭＭ メインメモリ
ＢＵＳ バス
ＭＥＭ メモリユニット
ＯＳ オペレーティングシステム
ＡＰＬ 画像処理プログラム
ＵＤＴ ユーザデータエリア
ＴＩＦ 通信インターフェース
ＢＴＮ ホームボタン
ＴＰＮ タッチパネル
ＤＩＳＰ ディスプレイパネル
ＳＰＫ スピーカ
ＢＳ 基地局
ＡＰ アクセスポイント

Claims (11)

1. 所定位置に配された所定の図形により形成された位置決め用シンボルを有する撮像対象物を撮像する撮像手段と、当該撮像手段が撮像した原画像データから前記位置決め用シンボルを検出し、検出された前記位置決め用シンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得し、検出された前記位置決め用シンボル間の距離に基づいて当該切出画像データを補正する画像取得手段と、当該画像取得手段が取得した切出画像データを保存する画像データ保存手段と、を備え、検出された前記位置決め用シンボルのそれぞれの相対的な位置関係から所定の領域を抽出し、これを第二範囲として認識し、当該第二範囲に手書きされた像が有する所定の情報を前記第一範囲から読み取った画像データの関連情報として保存する画像処理システムで用いられる撮像対象物であって、
   四角形の撮像対象物と、
   前記撮像対象物の四隅近傍にそれぞれ配された前記位置決め用シンボルとを備え、
   前記位置決め用シンボルは、前記用紙本体の地色と異なる色値からなる現出部と、当該現出部の色値と比べて前記撮像対象物の地色に近い色値からなる非現出部とを有し、前記現出部は、２つのＬ字状の現出部を含み、前記非現出部は、前記２つのＬ字状の現出部に挟まれた領域からなり、
   前記第二範囲は、四隅近傍にそれぞれ配された各位置決め用シンボルを各頂点とする仮想矩形の外周に少なくともその一部が接触するように位置し、複数のマス目状を形成するように線分が配されている、
   撮像対象物。
2. 前記第二範囲は、前記所定の情報として、文字や図形の記入が可能である、請求項１に記載の撮像対象物。
3. 前記位置決め用シンボルは、各位置決め用シンボル間の距離が前記画像取得手段にあらかじめ記憶された各位置決め用シンボル間の基準距離と一致するように配され、
   前記撮像対象物は、前記位置決め用シンボルによって画定される第一範囲を更に備える、請求項１又は２に記載の撮像対象物。
4. 前記線分は、前記現出部よりも薄色で印刷されている、請求項１から請求項３の何れか１項に記載の撮像対象物。
5. 前記第二範囲は、７セグメントの記入ガイドからなる、請求項１から４の何れか１項に記載の撮像対象物。
6. 前記撮像対象物は、電子的に複写すると所定の位置に、他の位置とは異なる形状で設けられた禁止シンボルが現出する印刷処理が施されている、請求項１から５の何れか１項に記載の撮像対象物。
7. 前記非現出部は、前記撮像手段では可視化されず電子複写によって可視的に現出する異なる模様を有する背景部と潜像部とを有する、請求項１から６の何れか１項に記載の撮像対象物。
8. 前記位置決め用シンボルが形成された領域を除く所定の箇所に、前記撮像手段では可視化されず電子複写によって可視的に現出する異なる模様を有する背景部と潜像部とを有する、請求項１から６の何れか１項に記載の撮像対象物。
9. 所定位置に配された所定の図形により形成された位置決め用シンボルを有する撮像対象
   物を撮像し、当該撮像した原画像データから前記位置決め用シンボルを検出し、検出された前記位置決め用シンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得し、検出された前記位置決め用シンボル間の距離に基づいて当該切出画像データを補正し、前記取得した切出画像データを保存し、検出された前記位置決め用シンボルのそれぞれの相対的な位置関係から所定の領域を抽出し、これを第二範囲として認識し、当該第二範囲に手書きされた像が有する所定の情報を前記第一範囲から読み取った画像データの関連情報として保存する画像処理方法で用いられる撮像対象物であって、
   前記撮像対象物は、四角形であり、
   前記撮像対象物の四隅近傍にそれぞれ配された前記位置決め用シンボルを備え、
   前記位置決め用シンボルは、前記用紙本体の地色と異なる色値からなる現出部と、当該現出部の色値と比べて前記撮像対象物の地色に近い色値からなる非現出部とを有し、前記現出部は、２つのＬ字状の現出部を含み、前記非現出部は、前記２つのＬ字状の現出部に挟まれた領域からなり、
   前記第二範囲は、四隅近傍にそれぞれ配された各位置決め用シンボルを各頂点とする仮想矩形の外周に少なくともその一部が接触するように位置し、複数のマス目状を形成するように線分が配されている、
   撮像対象物。
10. 所定位置に配された所定の図形により形成された位置決め用シンボルを有する撮像対象物を撮像する撮像手段と、当該撮像手段が撮像した原画像データから前記位置決め用シンボルを検出し、検出された前記位置決め用シンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得し、検出された前記位置決め用シンボル間の距離に基づいて当該切出画像データを補正する画像取得手段と、当該画像取得手段が取得した切出画像データを保存する画像データ保存手段と、を備え、検出された前記位置決め用シンボルのそれぞれの相対的な位置関係から所定の領域を抽出し、これを第二範囲として認識し、当該第二範囲に手書きされた像が有する所定の情報を前記第一範囲から読み取った画像データの関連情報として保存する画像処理システムで実行可能な画像処理プログラムであって、
    前記撮像対象物は、四角形であり、
    前記撮像対象物の四隅近傍にそれぞれ配された前記位置決め用シンボルを備え、
    前記位置決め用シンボルは、前記用紙本体の地色と異なる色値からなる現出部と、当該現出部の色値と比べて前記撮像対象物の地色に近い色値からなる非現出部とを有し、前記現出部は、２つのＬ字状の現出部を含み、前記非現出部は、前記２つのＬ字状の現出部に挟まれた領域からなり、
    前記第二範囲は、四隅近傍にそれぞれ配された各位置決め用シンボルを各頂点とする仮想矩形の外周に少なくともその一部が接触するように位置し、複数のマス目状を形成するように線分が配され、
    演算装置に、
    前記撮像手段によって撮像された、少なくとも前記２カ所の所定位置の位置決め用シンボルを含む前記撮像対象物の原画像データから前記位置決め用シンボルを検出するステップと、
    当該位置決め用シンボルを基準に算出された所定領域を第一範囲として認識するステップと、
    当該第一範囲にある画像データを切り出して切出画像データとして取得するステップと、
    前記画像データ保存手段に前記切出画像データを保存するステップと、
    を実行させる画像処理プログラム。
11. 所定位置に配された所定の図形により形成された位置決め用シンボルを有する撮像対象
    物を撮像する撮像手段と、当該撮像手段が撮像した原画像データから前記位置決め用シンボルを検出し、検出された前記位置決め用シンボルを基準に算出された所定領域を第一範囲として認識し、当該第一範囲にある画像データのみを切り出して切出画像データとして取得し、検出された前記位置決め用シンボル間の距離に基づいて当該切出画像データを補正する画像取得手段と、当該画像取得手段が取得した切出画像データを保存する画像データ保存手段と、を備え、検出された前記位置決め用シンボルのそれぞれの相対的な位置関係から所定の領域を抽出し、これを第二範囲として認識し、当該第二範囲に手書きされた像が有する所定の情報を前記第一範囲から読み取った画像データの関連情報として保存する画像処理システムで実行可能な画像処理方法であって、
    前記撮像対象物は、四角形であり、
    前記撮像対象物の四隅近傍にそれぞれ配された前記位置決め用シンボルを備え、
    前記位置決め用シンボルは、前記用紙本体の地色と異なる色値からなる現出部と、当該現出部の色値と比べて前記撮像対象物の地色に近い色値からなる非現出部とを有し、前記現出部は、２つのＬ字状の現出部を含み、前記非現出部は、前記２つのＬ字状の現出部に挟まれた領域からなり、
    前記第二範囲は、四隅近傍にそれぞれ配された各位置決め用シンボルを各頂点とする仮想矩形の外周に少なくともその一部が接触するように位置し、複数のマス目状を形成するように線分が配され、
    演算装置が、
    前記撮像手段によって撮像された、少なくとも前記２カ所の所定位置の位置決め用シンボルを含む前記撮像対象物の原画像データから前記位置決め用シンボルを検出するステップと、
    当該位置決め用シンボルを基準に算出された所定領域を第一範囲として認識するステップと、
    当該第一範囲にある画像データを切り出して切出画像データとして取得するステップと、
    前記画像データ保存手段に前記切出画像データを保存するステップと、
    を含む処理を実行する画像処理方法。

Images