JP6759057B2 - 画像読み取り装置及び画像読み取り方法 - Google Patents

Description

本発明は、テキストが含まれる原稿画像を読み取る画像読み取り装置及び画像読み取り方法に関する。

従来の、特許文献１においては、デジタルカメラは、撮影した画像から画像サブブロックの輝度ヒストグラムパラメータと色相ヒストグラムパラメータを抽出する。そして、撮影された原稿の種類と背景色を判別し、原稿の視認性を向上させるための画像処理を最適化する。

また、従来の、特許文献２においては、書籍の湾曲歪を補正して撮影する際に、被写体の距離を二次元方向で多点側距し、側距データに基づいて湾曲歪を補正する。

また、従来の、特許文献３においては、原稿と背景の画像を取得し、画像内の被写体の輪郭を抽出し、それらの輪郭から原稿とみなされる四辺形候補を抽出する。そして、変換行列を用いて、抽出した原稿の四辺形候補を長方形に修正する。また、この結果を用いてより高精度な文字認識を可能にする。

しかしながら、特許文献１〜３は、原稿の照り返しや歪によって発生する撮影原稿画像の品質劣化を撮影時に推定して、撮影原稿画像が一定の品質（テキスト可読性）を満たすような撮影条件を算出して原稿の撮影を支援するものではない。

また、従来製品においては、スキャンしたいノート・ポストイット・名刺・レシートなどの原稿にカメラを向けると、原稿を自動的に認識して撮影し、撮影した原稿画像のトリミングや回転も自動で行う。また、カメラで撮影した台形の原稿画像を長方形に補正する。名刺撮影時には、画面下部に「画面内に原稿を収めてください。明るさが対照的な位置においてください」と表示される。名刺をスキャンした際には、ＯＣＲ（光学文字認識）技術で、名刺の情報をテキスト化し、検索等に用いることができる。

特開２００５−２６０６５７号公報 特開２０１３−９３７０４号公報 ＵＳ８８９７５６５号公報

しかしながら、上記従来製品は、撮影時に撮影原稿画像の品質を判定し、撮影原稿画像が一定の品質（テキスト可読性）を満たすような撮影条件を原稿の三次元形状を用いて推定して、ユーザの撮影（カメラの位置・向き）を支援することは出来ない。また、異なる撮影状況（原稿の形状、文字の歪、照明の影響等）に対応して、撮影原稿画像が一定の品質を満たすように、動的に適切な撮影条件を推定して撮影を支援することは出来ない。

本発明は、テキストが含まれる原稿を読み取る際に、テキストの可読性を確保するために、原稿の適切な撮影を支援することを目的とする。

上記課題を解決するために、本発明における画像読み取り装置は、原稿を撮影して撮影画像を作成する撮像手段と、光源に関する撮影環境を測定する撮影環境測定手段と、少なくとも原稿のサイズを含む原稿属性を判定する原稿属性判定手段と、原稿の三次元形状を算出する形状算出手段と、原稿の三次元形状を平面に投影して原稿投影平面を作成する平面作成手段と、撮影画像を原稿投影平面に投影した二次元の原稿画像を作成する画像作成手段と、二次元の原稿画像内の文書画像を解析して背景領域や文字領域を抽出する文書画像解析手段と、抽出した文字領域から文字ブロックを作成する文字ブロック作成手段と、各文字ブロック内の文字列を入力文字列としてテキスト解析して、文字列の文法的なつながりの強さを算出し、文字列中のつながりの強さが一定値以下の部位を不連続部位として抽出するテキスト解析手段と、文字列中で抽出した不連続部位の、二次元の原稿画像内の位置、及び、実原稿上の位置と向きを算出する特定手段と、二次元の原稿画像内の全ての文字列から抽出した不連続部位の割合が一定値以下ならば、二次元の原稿画像にテキスト可読性が有ると判定し、二次元の原稿画像内の全ての文字列から抽出した不連続部位の割合が一定値より大ならば、二次元の原稿画像にテキスト可読性が無いと判定する可読性判定手段と、二次元の原稿画像にテキスト可読性が無いと判定されたならば、不連続部位の発生原因が原稿の傾きや歪によるものであるか否か、又は、光源光の原稿からの一次反射によるものであるか否かを判定する原因判定手段と、不連続部位の発生原因を取り除く撮影条件を原稿の三次元形状と撮影環境から算出する撮影条件算出手段と、算出した撮影条件に基づいてユーザの撮影を支援する撮影支援手段と、を具備する。

本発明は、テキストが含まれる原稿を読み取る際に、テキストの可読性を確保するために、原稿の適切な撮影を支援することが出来る。

画像処理システムの構成図である。 カメラ１００の外観図である。 ユーザがカメラ１００を画像読み取り装置として使用している図である。 画像読み取り処理の流れ図である。 原稿の三次元形状の算出方法の一例を説明する図である。 原稿投影平面の作成方法を説明する図である。 二次元原稿画像の作成方法を説明する図である。 撮影条件、撮影条件の算出、及び、撮影支援を説明する図である。 原稿の図である。 撮影条件Ａで撮影した撮影原稿画像ＩｍｇＭＳＡの図（Ａ）、撮影条件Ａで撮影した撮影原稿画像ＩｍｇＭＳＡから作成した二次元原稿画像Ｉｍｇ２ＤＭＳＡの図（Ｂ）である。 二次元原稿画像Ｉｍｇ２ＤＭＳＡに対して文書画像処理を行い、背景領域、文字領域、その他画像領域等に分割した図（Ｃ）、二次元原稿画像Ｉｍｇ２ＤＭＳＡから抽出した文字領域ＳＡ１〜ＳＡ２５の図（Ｄ）である。 二次元原稿画像Ｉｍｇ２ＤＭＳＡから抽出した文字ブロックＢＡ１〜ＢＡ９の図（Ｅ）、文字ブロックＢＡ１内に存在する文字列の図（Ｆ）である。 テキスト解析処理の流れ図である。 形態素辞書の図である。 形態素接続辞書の図である。 入力文字列に対して生成された形態素ラティスの図である。 形態素ラティスに形態素間の接続のしやすさを付与した図である。 形態素ラティス内の最適経路を求める図である。 最適経路内の不連続部位を示す図である。 文字ブロックＢＡ１内の不連続部位ＢＥＲ１〜ＢＥＲ６を示す図（Ａ）、二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の不連続部位ＡＥＲ１〜ＡＥＲ２７を示す図（Ｂ）である。 撮影条件算出処理Ｃの流れ図である。 撮影条件Ｂで撮影した撮影原稿画像ＩｍｇＭＳＢの図（Ａ）、撮影条件Ｂで撮影した撮影原稿画像ＩｍｇＭＳＢから作成した二次元原稿画像Ｉｍｇ２ＤＭＳＢの図（Ｂ）である。 二次元原稿画像Ｉｍｇ２ＤＭＳＢから抽出した文字ブロックＢＢ１〜ＢＢ５の図（Ｃ）、文字ブロックＢＢ１内に存在する文字列の図（Ｄ）である。 カメラ１００の他の例を示す外観図（Ａ）、連続撮影による原稿の撮影を説明する図（Ｂ）である。 二次元原稿画像の作成方法を説明する図である。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施形態１）
（画像処理システムの概要）
本実施形態の画像読み取り装置、および、本実施形態の画像読み取り装置とプリンタとから構成される画像処理システムの概要について説明する。本画像処理システムでは、画像読み取り装置として機能するカメラで原稿を撮影するとともに原稿の三次元形状を求め、原稿の三次元形状を用いて撮影した原稿画像を平面に投影して二次元原稿画像を作成する。次に二次元原稿画像が品質条件を満たすかどうかを判定する。

二次元原稿画像が品質条件を満たすかどうかの判定は次のように行う。文字列をテキスト解析して、文字列の文法的なつながりの強さを算出し、つながりの強さが一定値以下の部位を不連続部位として抽出する。そして、文字列中の不連続部位の割合が一定値以下ならば、文字列はテキスト可読性が有るものとする。また、二次元原稿画像内で抽出した全ての文字列中の不連続部位の割合が一定値以下ならば、二次元原稿画像はテキスト可読性が有るものとする。そして、二次元原稿画像にテキスト可読性が有るとき、二次元原稿画像は品質条件を満たすものとする。

二次元原稿画像が品質条件を満たしていれば、文字色・背景色等を補正した補正原稿画像を作成し、補正原稿画像をプリンタに送信して印刷する。二次元原稿画像が品質条件を満たしていなければ、品質条件を満たすような撮影条件を推定し、推定した撮影条件に基づいて原稿の撮影におけるユーザによるカメラ操作を支援する。

ここで、二次元原稿画像が品質条件を満たすような撮影条件の推定は、次のように行う。まず、二次元原稿画像内での（抽出した文字列の）不連続部位に対応する実原稿上の位置を求める。そして、不連続部位の発生原因が原稿の歪や傾きによるものか、または、光源の照り返しによるものかを判定する。そして、不連続部位が発生しないようなカメラの位置・向きを原稿の三次元形状を用いて算出する。

（画像処理システムの構成図）
図１は、本実施形態の画像読み取り装置として機能するカメラ１００と、プリンタ２００とから構成される画像処理システムの構成図である。

本実施形態の画像読み取り装置として機能するカメラ１００は、原稿読み取りモード設定部１０１、撮影環境測定部１０２、原稿認識部１０３、原稿属性判定部１０４、被写体三次元形状算出部１０５、二次元原稿画像作成部１０６を具備する。

また、カメラ１００は、全表面撮影判定部１０７、文書画像解析部１０８、原稿照り返し判定部１０９、原稿歪判定部１１０、フォント辞書１１１、文字認識部１１２、言語解析辞書１１３、テキスト解析部１１４、テキスト可読性判定部１１５を具備する。

また、カメラ１００は、撮像部１１６、撮影原稿情報記憶部１１７、撮影・補正パラメータ記憶部１１８、制御部１１９、ＲＯＭ１２０、ＲＡＭ１２１、表示部１２２、操作部１２３、カメラ位置・向き検出部１２４、補正原稿画像作成部１２５を具備する。

また、カメラ１００は、画像品質推定部１２６、撮影条件算出部１２７、撮影支援部１２８、印刷設定部１２９、通信部１３０を具備する。

原稿読み取りモード設定部１０１において、ユーザがカメラ１００を原稿読み取りモードに設定すると、カメラ１００は通常の写真撮影モードから原稿読み取りモードに移行する。撮影環境測定部１０２では、光源（照明）等の環境を計測する。

原稿認識部１０３では、カメラ１００に映っている被写体が原稿かどうかを判定する。

原稿属性判定部１０４では、被写体が原稿ならばサイズや種類等の原稿属性を判定する。ここで、原稿属性は、少なくとも原稿のサイズ（Ａ４，Ｂ５等）を含む。

被写体三次元形状算出部１０５では、一般に三次元の被写体として存在する原稿の三次元形状を算出する。

二次元原稿画像作成部１０６では、撮影した原稿画像と、計測した原稿の三次元形状と、原稿の三次元形状を平面に投影した原稿投影平面とを用いて、二次元原稿画像を生成する。

全表面撮影判定部１０７では、原稿の全表面が撮影されたかどうかを判定する。

文書画像解析部１０８では、二次元原稿画像内の背景領域、文字領域、その他の画像領域等の解析を行う。

原稿歪判定部１１０では、原稿の傾きや歪を判定する。

フォント辞書１１１には、各種文字フォントのデータが記憶されている。

文字認識部１１２では、二次元原稿画像内の文字を認識する。

言語解析辞書１１３には、形態素辞書、形態素接続辞書、文法規則等が記憶されている。

テキスト解析部１１４では、言語解析辞書１１３内のデータを用いて入力文字列の解析を行う。

テキスト可読性判定部１１５では、二次元原稿画像内で抽出した文字列をテキスト解析部１１４においてテキスト解析した結果、二次元原稿画像にテキスト可読性が有るかどうかを判定する。

撮像部１１６は、図２（Ａ）に示すように、左右の２つの撮像ユニット（右撮像ユニット１１６Ｒと左撮像ユニット１１６Ｌ）からなり、ステレオ画像を撮影して、被写体の画像データとともに被写体の三次元形状を獲得する。また、撮像部１１６は、撮影環境測定部１０２、原稿認識部１０３、被写体三次元形状算出部１０５の機能の一部または全部を備えていても良い。

撮影原稿情報記憶部１１７には、撮影した原稿の元画像が記憶される。

撮影・補正パラメータ記憶部１１８には、撮影時の撮影パラメータ（位置、向き、時刻、ズーム、露光等）と、撮影した原稿の元画像から補正原稿画像を作成する際に用いた補正パラメータが、撮影した原稿の元画像に対応付けて記憶される。

カメラ位置・向き検出部１２４では、カメラ１００の位置や向きが検出される。ここで、カメラ１００の位置や向きの検出は、ＧＰＳ・各種センサー・アンテナ等によって行う。また、カメラ１００の位置や向きの検出は、撮影した画像内を認識・解析することによって、被写体との相対的な位置関係を算出することによって行っても良い。

補正原稿画像作成部１２５では、二次元原稿画像内の文字や直線の歪や、照り返しの影響等を補正した補正原稿画像を作成する。

画像品質推定部１２６では、作成した補正原稿画像が印刷時や表示時における一定の品質条件（テキスト可読性、文字歪や照り返しの影響）を満たしているかどうかを推定する。

撮影条件算出部１２７では、一定以上の品質条件（テキスト可読性）を持つ原稿画像を撮影するためのカメラ１００の撮影条件（位置、向き、ズーム、露光等）を算出する。

撮影支援部１２８では、算出した撮影条件を満たすように、ユーザによるカメラ１００の操作を支援する。

印刷設定部１２９では、補正原稿画像をプリンタ２００に送信して印刷する際の印刷条件（用紙サイズ、倍率、枚数等）を設定する。

通信部１３０では、印刷指定された補正原稿画像を設定した印刷条件とともにプリンタ２００に送信する。

プリンタ２００は、プリンタ属性記憶部２０１、印刷部２０２、通信部２０３を具備する。プリンタ属性記憶部２０１には、プリンタ２００の各種属性が記憶されており、カメラ１００で作成した補正原稿画像の印刷時に必要なプリンタ属性がカメラ１００に送られる。通信部２０２では、印刷指定された補正原稿画像を印刷条件とともに、カメラ１００から受信する。

印刷部２０３では、カメラ１００から受信した補正原稿画像を印刷条件に従って印刷する。図２（Ａ）〜（Ｃ）は、カメラ１００の外観図である。図２（Ａ）はカメラ１００の表面図、図２（Ｂ）は裏面図、図２（Ｃ）は斜視図である。図に示すように、本カメラ１００は、右撮像ユニット１１６Ｒと左撮像ユニット１１６Ｌとを具備し、ステレオ画像を撮影して、被写体の画像データとともに被写体の三次元形状を獲得する。カメラ１００の裏面に設置された表示部１２２には、撮影中の画像や撮影支援情報等が表示される。また、カメラ１００の上部や裏面には、複数のボタン等からなる操作部１２３が設置されている。また、操作部１２３は、表示部１２２上にタッチパネルとして積層配置されていても良い。

図３は、本画像処理システムにおいて、ユーザがカメラ１００を画像読み取り装置として使用している図である。ここで、ユーザがカメラ１００で原稿ＭＳを撮影する際には、表示部１２２に撮影支援画面１２２Ｘが表示される。ここで、撮影支援画面１２２Ｘには、例えば、認識した原稿属性のナビゲーションＮＶ１や、カメラの移動方向のナビゲーションＮＶ２〜ＮＶ４等が表示される。

（画像読み取り処理の流れ図）
図４は、本実施形態の画像読み取り装置として機能するカメラ１００において行われる、画像読み取り処理の流れ図である。

ステップＳ３０１において、カメラを原稿読み取りモードに設定する。

ステップＳ３０２において、原稿読み取り処理を終了するかどうか判定する。ステップＳ３０２において、ＹＥＳならば原稿読み取り処理を終了し、ＮＯならばステップＳ３０３に移る。

ステップＳ３０３において、撮影環境を測定する。ここでは、例えば、撮影環境測定部１０２によって、光源（照明）の位置・方向・スペクトル等を測定する。ここでは、光源の位置や方向をマップに記憶しておいても良い。

ステップＳ３０４において、原稿を撮影する。原稿の撮影は、ユーザがカメラを操作して手動で行っても良いし、カメラの各種パラメータを制御して自動的に行っても良い。また、ここでは、後述する撮影条件算出処理Ａ（ステップＳ３０７）、撮影条件算出処理Ｂ（ステップＳ３１０）、撮影条件算出処理Ｃ（ステップＳ３１８）において算出した撮影条件に基づいて、ユーザの原稿の再撮影を支援する。

ステップＳ３０５において、サイズ等の原稿属性を判定する。

ステップＳ３０６において、原稿属性の判定の可否をユーザが判定する。ここでは、図３に示すように、表示部１２２の撮影支援画面１２２Ｘ内の原稿の原稿属性が、サイズ＝「Ａ４」であることが自動判定され、自動判定結果が撮影支援画面１２２Ｘに撮影支援情報ＮＶ１として表示される。ここで自動判定された原稿属性が「可」であるとユーザが判定すればステップＳ３０８に移り、自動判定された原稿属性が「否」であるとユーザが判定すればステップＳ３０７に移る。

ステップＳ３０７において、原稿属性を判定できる撮影条件を算出し（撮影条件算出処理Ａ）、ステップＳ３０２に移る。ここでは、例えば、形や大きさから原稿である確率が高いと判定した被写体にズームインしたり、距離を近づけたりするような撮影条件を算出する。そして、算出した撮影条件に基づいて、ユーザによるカメラの位置や向きの操作を支援して再撮影を行う（ステップＳ３０４）。また、ユーザが原稿属性を設定しても良い。

ステップＳ３０８において、被写体三次元形状算出部１０５によって、撮影した被写体（原稿）の三次元形状を算出する（原稿三次元形状算出）。撮影した原稿の三次元形状の算出方法の一例を、図５を用いて説明する。ここでは、左右の撮像ユニット１１６Ｒと１１６Ｌを具備したカメラ１００で、原稿ＭＳを撮影してステレオ法によって原稿三次元形状を算出する。まず、右撮像ユニット１１６Ｒで撮影した画像をＩｍｇＲ、左撮像ユニット１１６Ｌで撮影した画像をＩｍｇＬとし、画像ＩｍｇＲ内の原稿画像を右撮影原稿画像ＩｍｇＭＳＲ、画像ＩｍｇＬ内の原稿画像を左撮影原稿画像ＩｍｇＭＳＬとする。今、実原稿ＭＳ上の注目点Ｐに対応する、右撮影原稿画像ＩｍｇＭＳＲ内の注目点をＰＡとし、左撮影原稿画像ＩｍｇＭＳＬ内の注目点をＰＢとする。注目点ＰＡと注目点ＰＢとの対応付けは、右撮影原稿画像ＩｍｇＭＳＲ内および左撮影原稿画像ＩｍｇＭＳＬ内の特徴量の対応付け等によって行う。このとき、右撮像ユニット１１６Ｒと左撮像ユニット１１６Ｌとの間の距離が既知なので、カメラ１００に対する注目点Ｐの相対的な位置関係が算出することが可能である。このように、原稿ＭＳ上の複数の注目点のカメラ１００に対する相対的位置関係を求めることによって、原稿三次元形状３ＤＭＳを算出する。ここでは、原稿三次元形状３ＤＭＳは、複数のポリゴンＰＯＬ（ｉ）（ｉ＝１、２、・・・）によって形成される。また、各ｉに対して、ポリゴンＰＯＬ（ｉ）は、３つ以上の頂点Ａ（ｉ）、Ｂ（ｉ）、Ｃ（ｉ）、（Ｄ（ｉ）、・・・）によって形成される。また、ポリゴンＰＯＬ（ｉ）の向きは、法線ベクトルＮＰ（ｉ）によって特徴づけられる。ここでは、図５に示すように、原稿の三次元形状３ＤＭＳをポリゴンパッチによって表現しているが、曲面パッチやその他の方法を用いて原稿の三次元形状を表現しても良い。また、ここでは、ステレオ法によって原稿の三次元形状を算出しているが、他の方法で原稿の三次元形状を算出しても良い。以下では、右撮影原稿画像ＩｍｇＭＳＲを撮影原稿画像ＩｍｇＭＳとする。また、ここでは、撮影原稿画像ＩｍｇＭＳ上の任意の点ＰＡに対応する、原稿三次元形状３ＤＭＳ上の点ＰＡ１が得られる。

ステップＳ３０９において、原稿の全表面を撮影できたかどうかを判定する。以下の説明では、図５に示すように、カメラの位置をＰＣ、カメラの撮像部の（１つの）レンズの向きを特徴づける単位ベクトルをＮＣ、カメラの水平方向の傾きを特徴づける単位ベクトルをＨＣとする。ここでは、図５における、各ポリゴンＰＯＬ（ｉ）の法線ベクトルＮＰ（ｉ）と、カメラのレンズの向きＮＣとのなす角をθ（ｉ）としたとき、全てのｉ＝１、２、・・・に対して、例えば、１１０°＜θ（ｉ）が成り立つかどうかによって判定する。

ステップＳ３０９において、原稿の全表面が撮影されたと判定すれば、ステップＳ３１１に移る。ステップＳ３０９において、原稿の全表面が撮影されていないと判定すれば、ステップＳ３１０に移る。

ステップＳ３１０において、原稿の全表面を撮影できる撮影条件を算出（撮影条件算出処理Ｂ）し、ステップＳ３０２に移る。ここでは、例えば、全てのｉに対して、１３５°＜θ（ｉ）となるように、撮影条件（カメラの位置・向き）を算出する。そして、算出した撮影条件に基づいて、ユーザによるカメラの位置や向きの操作を支援して再撮影を行う（ステップＳ３０４）。

ステップＳ３１１において、原稿三次元形状を平面に投影した原稿投影平面を作成する（原稿投影平面作成）。図６を用いて、原稿投影平面の作成の一例を説明する。今、ポリゴンパッチで表現された原稿三次元形状３ＤＭＳにおいて、原稿の４つの頂点を、３ＤＡ、３ＤＢ、３ＤＣ、３ＤＤとし、これらに対応する原稿投影平面２ＤＰＴの４つの頂点を、それぞれ２ＤＡ、２ＤＢ、２ＤＣ、２ＤＤとする。また、原稿三次元形状３ＤＭＳの表面上の任意の点をＰＰ１とする。点ＰＰ１から、原稿三次元形状３ＤＭＳの表面を通って、原稿の下辺３ＤＡ−３ＤＢに達する最短の折れ線または曲線を求め、求めた折れ線または曲線が原稿の下辺３ＤＡ−３ＤＢに到達する点をＰＰ１Ｘとする。このときの、原稿の下辺３ＤＡ−３ＤＢに沿った折れ線または曲線３ＤＡ−ＰＰ１Ｘの長さをＰＸとする。また、点ＰＰ１から、原稿三次元形状３ＤＭＳの表面を通って、原稿の左辺３ＤＡ−３ＤＤに達する最短の折れ線または曲線を求め、求めた折れ線または曲線が原稿の左辺３ＤＡ−３ＤＤに到達する点をＰＰ１Ｙとする。このときの、原稿の左辺３ＤＡ−３ＤＤに沿った折れ線または曲線３ＤＡ−ＰＰ１Ｙの長さをＰＹとする。次に、原稿投影平面２ＤＰＴにおいて、頂点２ＤＡを原点Ｏと一致させ、頂点２ＤＡから頂点２ＤＢの方向にＸ軸をとり、頂点２ＤＡから頂点２ＤＤの方向にＹ軸をとって、Ｘ−Ｙ平面座標を定義する。すると、原稿三次元形状３ＤＭＳ上の点ＰＰ１に対応する、原稿投影平面２ＤＭＳ上の点ＰＰ２のＸ座標値はＰＸとなる。また、点ＰＰ１に対応する点ＰＰ２のＹ座標値はＰＹとなる。このように、原稿三次元形状３ＤＭＳの表面上の任意の点ＰＰ１に対応する、原稿投影平面２ＤＭＳ上の点ＰＰ２が求められる。また、ここでは、原稿三次元形状３ＤＭＳ上の任意の点ＰＡ１に対応する、原稿投影平面２ＤＭＳ上の点ＰＡ２が得られる。

ステップＳ３１２において、二次元原稿画像を作成する。図７を用いて、二次元原稿画像の作成の一例を説明する。ここでは、撮影原稿画像ＩｍｇＭＳ上の任意の点ＰＡの画素値を、二次元原稿画像Ｉｍｇ２ＤＭＳ上に投影する。まず、撮影原稿画像ＩｍｇＭＳ上の任意の点ＰＡに対応する原稿三次元形状を３ＤＭＳ上の点をＰＡ１とする（ステップＳ３０８）。次に、三次元原稿形状３ＤＭＳ上の点ＰＡ１に対応する原稿投射平面２ＤＰＴ上の点をＰＡ２（＝ＩＰＡ）とする（ステップＳ３１１）。そして、撮影原稿画像ＩｍｇＭＳ上の点ＰＡの画素値を、二次元原稿画像Ｉｍｇ２ＤＭＳ上の点ＩＰＡに投影する。

ステップＳ３１３において、二次元原稿画像Ｉｍｇ２ＤＭＳ内の画像を、背景（白紙）領域、文字領域、その他の画像領域等に分割する文書画像解析を行う。ここでの、文書画像解析は公知の方法で行う。例えば、図９に示す原稿ＭＳを、図８に示す撮影条件Ａで撮影（ステップＳ３０４）した結果、図１０（Ａ）に示す撮影原稿画像ＩｍｇＭＳＡが得られたとする。また、図１０（Ａ）の撮影原稿画像ＩｍｇＭＳＡに対して、ステップＳ３０５〜Ｓ３１２の処理を行った結果、図１０（Ｂ）のような二次元原稿画像Ｉｍｇ２ＤＭＳＡが得られたとする。図１０（Ｂ）において、ＡＨＺＭ１とＡＨＺＭ２は、原稿の傾きや歪の影響で一定以上の情報が欠落している部分であり、ＡＨＮＳは、照り返しの影響で一定以上の情報が欠落している部分である。このようにして得られた、図１０（Ｂ）に示す二次元原稿画像Ｉｍｇ２ＤＭＳＡに対して、文書画像解析を行う。まず、二次元原稿画像Ｉｍｇ２ＤＭＳＡに対して、極大白矩形の抽出等によって背景領域を抽出する。図１１（Ｃ）において、黒い部分が背景領域である。次に、背景領域以外の部分から、文字認識によって文字を抽出する。ここでは、文字認識における確信度が９５％以上のものを文字として抽出し、抽出された文字の部分を文字領域とする。図１１（Ｃ）において、白い部分が文字領域である。次に、背景領域と文字領域以外の部分を、その他の画像領域とする。図１１（Ｃ）において、灰色の部分が、その他の画像領域である。図１１（Ｄ）に、二次元原稿画像Ｉｍｇ２ＤＭＳＡから抽出した各文字領域ＳＡ１〜ＳＡ２５、および、各文字領域内の文字を示す。例えば、文字領域ＳＡ１には文字列“景］”（左記の］は隅付き括弧とする）が、文字領域ＳＡ２には文字列“メラを用いることで、より自由な状”が存在する。また、文書画像解析はここで述べた以外の如何なる方法で行っても良い。

ステップＳ３１４において、文字ブロックを作成する（文字ブロック作成）。まず、隣接している各文字領域を纏めて、文字ブロックを作成する。ここでは、図１１（Ｄ）に示す各文字領域ＳＡ１〜ＳＡ２５に対して、図１２（Ｅ）に示す文字ブロックＢＡ１〜ＢＡ９を作成する。例えば、文字領域ＳＡ１、ＳＡ２、ＳＡ３から文字ブロックＢＡ１が作成される。文字ブロックＢＡ１には、図１２（Ｆ）に示す文字列“景］（左記の］は隅付き括弧とする）（改行）メラを用いることで、より自由な状（改行）姿勢、操作等）で原稿のスキャン”が存在する。また、例えば、文字領域ＳＡ４、ＳＡ５、ＳＡ７からは、文字ブロックＢＡ２が作成される。

ステップＳ３１５において、各文字ブロック内の文字列のテキスト解析処理を行う。ここでは、各文字ブロック内の文字列を解析し、文字列の文法的なつながりの強さ算出する。テキスト解析処理（図１３）の詳細は後述する。

ステップＳ３１６において、テキスト解析処理（図１３）で抽出した不連続部位の実原稿上における位置・向きを算出する（不連続部位特定）。ここでは、例えば、図１２（Ｆ）に示す入力文字列に対して得られた不連続部位ＥＲ１〜ＥＲ６（図１９）の実原稿上における位置・向きを算出する。ここで、ダミーの形態素ＩＤ＝“ＮＤ１”上にある不連続部位ＥＲ０は、実原稿上には存在しない。図２０（Ａ）に、入力文字列中の不連続部位ＥＲ１〜ＥＲ６に対応する、文字ブロックＢＡ１内の位置を、それぞれ不連続部位ＢＥＲ１〜ＢＥＲ６で示す。また、図２０（Ｂ）に、入力文字列中の不連続部位ＥＲ１〜ＥＲ６の位置に対応する、二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の位置を、それぞれ不連続部位ＡＥＲ１〜ＡＥＲ６で示す。同様に、図１２（Ｅ）に示す文字ブロックＢＡ１〜ＢＡ９内に存在する全ての不連続部位に対応する二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の不連続部位を、図２０（Ｂ）のＡＥＲ１〜ＡＥＲ２７に示す。ここで、例えば、図２０（Ｂ）における、不連続部位ＡＲＥ５内に存在する点Ｐ２ＤＡ５を考える。ステップＳ３１２で述べたように、撮影原稿画像上の任意の点に対応する、原稿三次元形状上の点、及び、二次元原稿画像上の点が求められる。さらに、原稿三次元形状、及び、原稿とカメラとの相対的位置関係を用いて、これらの点に対応する実原稿上の点が求められる。従って、二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の点Ｐ２ＤＡ５（図１０（Ｂ））に対応する、撮影原稿画像ＩｍｇＭＳＡ上の点をＰＡ５（図１０（Ａ））が求められる。さらに、撮影原稿画像ＩｍｇＭＳＡ上の点ＰＡ５（図１０（Ａ））に対応する、実原稿ＭＳ上の点Ｐ５（図８）が求められる。また、原稿三次元形状、及び、原稿とカメラとの相対的位置関係を用いて、点Ｐ５における原稿ＭＳの法線ベクトルＮＰ５が求められる。同様に、不連続部位ＡＲＥ２３内に存在する点Ｐ２ＤＡ４（図２０（Ｂ））に対応する、実原稿ＭＳ上の点Ｐ４及び点Ｐ４における法線ベクトルＮＰ４（図８）が求められる。同様に、不連続部位ＡＲＥ２２内に存在する点Ｐ２ＤＡ６（図２０（Ｂ））に対応する、実原稿ＭＳ上の点Ｐ６及び点Ｐ６における法線ベクトルＮＰ６（図８）が求められる。

ステップＳ３１７において、二次元原稿画像にテキスト可読性の有無を判定する。また、二次元原稿画像に「テキスト可読性が有る」以外のときは、「テキスト可読性が無い」とする。ここでは、二次元原稿画像内の不連続部位の割合が一定値以下に場合は、「テキスト可読性が有る」と判定する。二次元原稿画像内の不連続部位の割合は、「二次元原稿画像内における、抽出された不連続部位の数／抽出された文字領域内の文字数」で表す。具体的には、テキスト解析処理（ステップＳ３１５４）で抽出した不連続部位の割合が０．０５以下であるかどうかを判定する。例えば、撮影条件Ａで得られた二次元原稿画像Ｉｍｇ２ＤＭＳＡに対しては、抽出された文字領域内の文字数は１４８個（図１１（Ｄ））であり、抽出された不連続部位の数は２７個（図２０（Ｂ））である。従って、このときは、二次元原稿画像Ｉｍｇ２ＤＭＳＡ内の不連続部位の割合＝２７／１４８＞０．０５となり、ステップＳ３１７においてＮＯと判定される。

ステップＳ３１７においてＹＥＳならば、ステップＳ３１８に移る。ステップＳ３１７においてＮＯならば、ステップＳ３１９に移る。

ステップＳ３１８において、不連続部位の発生原因を取り除く撮影条件の算出を行い（撮影条件算出処理Ｃ）、ステップＳ３０２に移る。撮影条件算出処理Ｃの詳細は後述する。

ステップＳ３１９において、二次元原稿画像から補正原稿画像を作成する。ここでは、フォント辞書１１１を用いて文字歪を補正したり、背景色や文字色を補正したりする。

ステップＳ３２０において、補正原稿画像に対応する元の撮影画像と、撮影パラメータ・補正パラメータを対応付けて記憶する。

ステップＳ３２１において、補正原稿画像と（ユーザが設定した）印刷パラメータとをプリンタに送信する。プリンタ側では、印刷パラメータと補正原稿画像を受信し、印刷パラメータに従って補正原稿画像を印刷する。

また、ステップＳ３０１〜Ｓ３２１の処理は、カメラ側で行っているが、これらの処理の幾つかをプリンタ側またはサーバ上で行っても良い。

また、ステップＳ３０５の原稿属性判定、または、ステップ３１３の文書画像解析において、コピー禁止原稿か否かを判定し、コピー―禁止原稿と判定した場合は、所定の処理を行うようにしても良い。

（テキスト解析処理の流れ図）
ステップＳ３１５のテキスト解析処理の一例を、図１３の流れ図を用いて詳細に説明する。ここでは、入力文字列から生成した形態素ラティスから、形態素の確からしさと形態素間の接続のしやすさを用いて形態素列の最適経路を求め、最適経路中の文字列の文法的なつながりの強さを算出する。また、入力文字列中の不連続部位の抽出を行う。

入力文字列として、図１２（Ｆ）に示す、“景］（左記の］は隅付き括弧とする）（改行）メラを用いることで、より自由な状（改行）姿勢、操作等）で原稿のスキャン”が与えられた場合について具体的に説明する。テキスト解析処理は、テキスト解析部１１４において、言語解析辞書１１３（図１）を用いて行われる。言語解析辞書１１３は、形態素辞書、形態素接続辞書、シソーラス、文法規則、統計データ等を具備する。

まず、ステップＳ３１５１において、入力文字列に対して形態素辞書を引き、形態素ラティスを生成する。図１４に、形態素辞書の一例を示す。形態素辞書は、見出し（形態素）、品詞等、（形態素の）確からしさからなる。ここで、確からしさは、０．０〜１．０の間の値をとり、未知語や出現頻度が極端に小さい形態素に対しては、０．１〜０．２のような小さい値をとる。入力文字列に対して形態素辞書を引いた結果は、図１６のようになる。各形態素にはＩＤ、見出し、品詞等、確からしさが付与される。ここで、例えばＩＤ＝“Ｎ１”の形態素は、見出し＝“景”、品詞等＝“名詞”、確からしさ＝１．０である。また、ＩＤ＝“Ｎ１０“の形態素は、見出し＝“る”、品詞等＝“上一段活用動詞の活用語尾（連体形）”、確からしさ＝１．０である。このとき、ＩＤ＝“Ｎ１”の形態素の確からしさが１．０であることをＷ（Ｎ１）＝１．０のように記述する。

ステップＳ３１５２において、図１６の隣り合う２つの形態素に対して、形態素接続辞書を引き、（形態素間の）接続のしやすさの値を付与する。図１５に、形態素接続辞書の一例を示す。図１５に示すように、形態素接続辞書には、形態素間（または品詞間等）の接続のしやすさが、０．０〜１．０の値で記憶されている。例えば、“を”（格助詞）と“用い”（他動詞：五段活用）との間の接続のしやすさは０．９である。また、例えば、“こ”（「粉」：名詞）と“と”（「戸」：名詞）との間の接続のしやすさは０．５である。また、形態素間の接続のしやすさの値は、形態素接続辞書に直接記憶しておいても良いし、形態素の品詞・意味素性・シソーラス等を用いて算出するようにしてもよい。図１７は、形態素ラティスに形態素間の接続のしやすさを付与したものである。図１７において、例えば、ＩＤ＝“Ｎ５”の形態素とＩＤ＝“Ｎ６”の形態素間の接続のしやすさは０．９であるが、以下ではこれをＣ（Ｎ５、Ｎ６）＝０．９のように記述する。同様に、Ｃ（Ｎ２０、Ｎ２３）＝０．２である。また、例えば、次の、規則１０１、規則１０２、・・・等の規則を優先順位に従って適用する。

規則１０１＝「見出し＝“［”（左記の[は隅付き括弧とする）と、見出し＝“］”（左記の］は隅付き括弧とする）とはペアとして文中に出現し、片方だけ出現するときは、他方をダミーとして文頭（または文末）に付加する」
規則１０２＝「規則１０１のとき、ペアとなっている形態素は接続のしやすさは０．１、ダミーの形態素の確からしさは０．１、ダミーの形態素のペア以外との接続のしやすさは０．０とする」
ここでは、文頭に、ＩＤ＝“ＮＤ１”見出し＝“［”（左記の[は隅付き括弧とする）、品詞等＝“記号”、確からしさ＝０．１の形態素を付加する。このとき、Ｃ（ＮＤ１，Ｎ１）＝０．０、Ｃ（ＮＤ１、Ｎ２）＝０．１である。

ステップＳ３１５３において、形態素ラティスの先頭から後方に辿ったときに通る、形態素および形態素間接続に対して、「経路評価値＝（形態素の）確からしさ×（形態素間の）接続のしやすさの積」が最大となる経路（＝最適経路）を求める。
以下では、ＩＤが“ＮＸ１”、“ＮＸ２”、・・・、“ＮＸｊ”の形態素を、“ＮＸ１”から“ＮＸｊ”まで順番に辿った時の経路をＲＯＯＴ（ＮＸ１−ＮＸ２−・・・−ＮＸｊ）のように記述する。また、このときの経路評価値をＥＶＡＬ（ＮＸ１−ＮＸ２−・・・−ＮＸｊ）のように記述する。このとき、ＥＶＡＬ（ＮＸ１−ＮＸ２−・・・−ＮＸｊ）＝Ｗ（ＮＸ１）Ｃ（ＮＸ１、ＮＸ２）Ｗ（ＮＸ２）・・・Ｗ（ＮＸｊ）のように計算できる。
また、“ＮＸｉ”から“ＮＸｊ”まで辿った時の複数の経路の中の経路評価値の最大値をＥＭＡＸ（ＮＸｉ，ＮＸｊ）と記述し、このときの最適経路をＢＲＯＯＴ（ＮＸｉ、ＮＸｊ）のように記述する。

図１８を用いて、最適経路を求める具体例を説明する。

まず、最初に、前方のＩＤ＝“ＮＤ１”、ＩＤ＝“Ｎ１”、ＩＤ＝“Ｎ２”の形態素について、最適経路ＢＲＯＯＴ（ＮＤ１、Ｎ２）を考える。各形態素の確からしさは、それぞれＷ（ＮＤ１）＝０．１、Ｗ（Ｎ１）＝１．０、Ｗ（Ｎ２）＝１．０である。また、形態素間の接続のしやすさは、それぞれＣ（ＮＤ１、Ｎ１）＝０．０、Ｃ（ＮＤ１、Ｎ２）＝０．１、Ｃ（Ｎ１、Ｎ２）＝０．９である。

このとき、ＲＯＯＴ（ＮＤ１−Ｎ１−Ｎ２）に対して、ＥＶＡＬ（ＮＤ１−Ｎ１−Ｎ２）＝Ｗ（ＮＤ１）Ｃ（ＮＤ１、Ｎ１）Ｗ（Ｎ１）Ｃ（Ｎ１、Ｎ２）Ｗ（Ｎ２）＝０．１×０．０×１．０×０．９×１．０＝０．０となる。

また、ＲＯＯＴ（ＮＤ１−Ｎ２）に対して、ＥＶＡＬ（ＮＤ１−Ｎ２）＝Ｗ（ＮＤ１）Ｃ（ＮＤ１、Ｎ２）Ｗ（Ｎ２）＝０．１×０．１×１．０＝０．０１となる。

従って、ＥＭＡＸ（ＮＤ１、Ｎ２）＝ＭＡＸ（ＥＶＡＬ（ＮＤ１−Ｎ１−Ｎ２）、ＥＶＡＬ（ＮＤ１−Ｎ２））＝ＥＶＡＬ（ＮＤ１−Ｎ２）＝０．０１となり、このときの最適経路はＢＲＯＯＴ（ＮＤ１、Ｎ２）＝ＲＯＯＴ（ＮＤ１−Ｎ２）である。

また、最適経路ＢＲＯＯＴ（ＮＤ１、Ｎ２）内の文法的なつながりの強さは、Ｗ（ＮＤ１）＝０．１、Ｃ（ＮＤ１、Ｎ２）＝０．１、Ｗ（Ｎ２）＝１．０によって表される。

同様に、最適経路を求める一例として、図１８における、ＩＤ＝“Ｎ５”からＩＤ＝“Ｎ１０までの形態素について、最適経路ＢＲＯＯＴ（Ｎ５、Ｎ１０）を考える。まず、ＩＤ＝“Ｎ５”からＩＤ＝“Ｎ１０までの全経路を抽出すると、下記のようになる。
ＲＯＯＴ（Ｎ５−Ｎ６−Ｎ９−Ｎ１０）
ＲＯＯＴ（Ｎ５−Ｎ７−Ｎ９−Ｎ１０）
ＲＯＯＴ（Ｎ５−Ｎ８−Ｎ１０）
次に、これらの各経路の経路評価値を求めると下記のようになる。
ＥＶＡＬ（Ｎ５−Ｎ６−Ｎ９−Ｎ１０）＝Ｗ（Ｎ５）Ｃ（Ｎ５、Ｎ６）Ｗ（Ｎ６）Ｃ（Ｎ６、Ｎ９）Ｗ（Ｎ９）Ｃ（Ｎ９、Ｎ１０）Ｗ（Ｎ１０）＝１．０×０．９×１．０×０．２×１．０×０．９×１．０
ＥＶＡＬ（Ｎ５−Ｎ７−Ｎ９−Ｎ１０）＝Ｗ（Ｎ５）Ｃ（Ｎ５、Ｎ７）Ｗ（Ｎ７）Ｃ（Ｎ７、Ｎ９）Ｗ（Ｎ９）Ｃ（Ｎ９、Ｎ１０）Ｗ（Ｎ１０）＝１．０×０．１×１．０×０．５×１．０×０．９×１．０
ＥＶＡＬ（Ｎ５−Ｎ８−Ｎ１０）＝Ｗ（Ｎ５）Ｃ（Ｎ５、Ｎ８）Ｗ（Ｎ８）Ｃ（Ｎ８、Ｎ１０）Ｗ（Ｎ１０）＝１．０×０．９×１．０×０．９×１．０
すると、ＥＭＡＸ（Ｎ５、Ｎ１０）＝ＥＶＡＬ（Ｎ５−Ｎ８−Ｎ１０）なので、ここでは、最適経路ＢＲＯＯＴ（ＮＤ５、Ｎ１０）＝ＲＯＯＴ（Ｎ５−Ｎ８−Ｎ１０）となる。

各文字（形態素）間の文法的なつながり具合は、最適経路、最適経路内の各形態素の確からしさ、最適経路内の形態素間の接続のしやすさで表される。図１８における、ＩＤ＝“ＮＤ１”〜“Ｎ３４までの形態素に対して、最適経路は以下のようになる。すなわち、ＢＲＯＯＴ（ＮＤ１、Ｎ３４）＝ＲＯＯＴ（ＮＤ１−Ｎ２−Ｎ３−Ｎ４−Ｎ５−Ｎ８−Ｎ１０−Ｎ１４−Ｎ１７−Ｎ１８−Ｎ２１−Ｎ２６−Ｎ２８−Ｎ２９−Ｎ３２−Ｎ３４）である。また、形態素の確からしさは、Ｗ（ＮＤ１）＝０．１、・・・Ｗ（Ｎ５）＝１．０・・・等である。また、形態素間の接続のしやすさはＣ（ＮＤ１、Ｎ２）＝０．１、・・・、Ｃ（Ｎ１８、Ｎ２１）＝０．９・・・等である。

次に、ステップＳ３１５４において、各文字ブロック内の文字列のつながりの強さが一定値以下の部位（不連続部位）を抽出する。ここでは、最適経路内で、形態素の確からしさＷ（Ｘ）≦０．５、または、形態素間の接続のしやすさＣ（Ｎｉ、Ｎｊ）≦０．５となっている部分を、不連続部位として抽出する。図１９に、最適経路内で抽出した不連続部位ＥＲ０〜ＥＲ６を示す。ここで、Ｃ（Ｎ２９，Ｎ３２）＝０．４のように、改行をはさんでいる場合は、改行の前後に、２か所の不連続部位ＥＲ５とＥＲ６が生じるものとする。

ここでは、テキスト解析処理の一例を述べたが、これ以外の方法で、文字列（または形態素）の文法的なつながり具合を算出してもよい。

（撮影条件算出処理Ｃの流れ図）
ステップＳ３１８の撮影条件算出処理Ｃを、図２１の流れ図を用いて詳細に説明する。
ここでは、例えば、図８において、撮影条件Ａで撮影した撮影原稿画像ＩｍｇＭＳＡのテキスト可読性が無いとき、テキスト可読性が有る撮影原稿画像ＩｍｇＭＳＢを撮影できるような撮影条件Ｂを算出する。前述したように、カメラの位置はＰＣ、カメラの撮像部の（１つの）レンズの向きを特徴づける単位ベクトルはＮＣ、カメラの水平方向の傾きを特徴づける単位ベクトルはＨＣである（図５）。これらの、ＰＣ、ＮＣ、ＨＣは、撮影条件によって変わる変数である。例えば、図８に示す撮影条件Ａでは、ＰＣ＝ＰＣＡ、ＮＣ＝ＮＣＡ、ＨＣ＝ＨＣＡである。また、図８に示す撮影条件Ｂでは、ＰＣ＝ＰＣＢ、ＮＣ＝ＮＣＢ、ＨＣ＝ＨＣＢである。

ステップＳ３１８１において、（撮影条件Ａにおいて）原稿の傾きや表面の歪（それによって生じる文字の歪）によって発生した不連続部位が有るかどうかを判定する（不連続部位発生原因判定）。例えば、入力文字列中の不連続部位ＥＲ５（図１９）について考えると、不連続部位ＥＲ５は、図２０（Ｂ）に示す二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の不連続部位ＡＥＲ５に対応する。さらに、不連続部位ＡＥＲ５内の点Ｐ２ＤＡ５は、図８に示す実原稿ＭＳ上の点Ｐ５に対応する。ここで、点Ｐ５における法線ベクトルＮＰ５と、（撮影条件Ａにおける）カメラの向きＮＣＡとのなす角をθＰ５Ａとする。このとき、例えばθＰ５Ａ≦１３５°ならば、不連続部位ＥＲ５の発生原因が、原稿の傾きや歪（それによって生じる文字の歪）によるものであると判定する。同様に、図２０（Ｂ）に示す二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の全ての不連続部位ＡＥＲ１〜ＡＥＲ２７に対して、原稿の傾きや表面の歪によって生じたものかどうかを判定する。

ステップＳ３１８１においてＹＥＳと判定されれば、ステップＳ３１８２に移る。ステップＳ３１８１においてＮＯと判定されれば、ステップＳ３１８３に移る。

ステップＳ３１８２において、原稿の傾きや表面の歪（それによって生じる文字の歪）の生じない撮影条件（条件１）を算出する。例えば、点Ｐ５（図８）と同様の、原稿の傾き（歪）によって生じる不連続部位に対応する原稿上の点を、全て又は幾つか抽出し、抽出したこれらの点をＰＫｊ（ｊ＝１、２、・・・）とする。また、点ＰＫｊにおける原稿上の法線ベクトルをＮＰＫｊ（ｊ＝１、２、・・・）とする。このとき、レンズの向きＮＣに対して、ＮＣとＮＰＫｊとのなす角をθＣＫｊとし、全てのｊに対して、（例えば）θＣＫｊ＞１３５°となるような、ＮＣのとりうる範囲を求める。次に、求めた各ＮＣの値に対して、原稿がカメラの画角に入るような、カメラの位置ＰＣのとりうる範囲を求める。このように求めたカメラの位置ＰＣとレンズの向きＮＣのとりうる範囲を（条件１）とする。

次に、ステップＳ３１８３において、（撮影条件Ａにおいて）原稿の照り返し（光源光の原稿表面における一次反射光）によって発生した不連続部位が有るかどうかを判定する（不連続部位発生原因判定）。例えば、図２０（Ｂ）に示す二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の不連続部位ＡＥＲ２２について考える。不連続部位ＡＥＲ２２内の点Ｐ２ＤＡ６は、図８に示す実原稿ＭＳ上の点Ｐ６に対応する。このとき、原稿上の点Ｐ６と、法線ベクトルＮＰ６と、光源の位置ＰＬ１（または光源方向）と、カメラの位置ＰＣＡ、レンズの向きＮＣＡとから、光源光の原稿表面（点Ｐ６）における一次反射光（ＤＬ１）が、レンズに入射するかどうかを判定できる。光源光の原稿表面（点Ｐ６）における一次反射光（ＤＬ１）が、レンズに入射すると判定した場合は、二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の不連続部位ＡＥＲ２２は、原稿の照り返しによるものであると判定する。同様に、図２０（Ｂ）に示す二次元原稿画像Ｉｍｇ２ＤＭＳＡ上の全ての不連続部位ＡＥＲ１〜ＡＥＲ２７に対して、原稿の照り返しによって生じたものかどうかを判定する。

ステップＳ３１８３においてＹＥＳと判定されれば、ステップＳ３１８４に移る。ステップＳ３１８３においてＮＯと判定されれば、ステップＳ３１８５に移る。

ステップＳ３１８４において、原稿の照り返しの生じない撮影条件（条件２）を算出する。例えば、点Ｐ６（図８）と同様の、原稿の照り返しによって生じる不連続部位に対応する原稿上の点を、全て又は幾つか抽出し、抽出したこれらの点をＰＴｊ（ｊ＝１、２、・・・）とする。また、点ＰＴｊにおける原稿上の法線ベクトルをＮＰＴｊ（ｊ＝１、２、・・・）とする。光源の位置ＰＬ１（または光源の方向）と、ＰＴｊとＮＰＴｊの値から、光源光の原稿表面の点ＰＴｊにおける一次反射光ＰＬ１ｊの経路が算出できる。全てのｊ（ｊ＝１、２、・・・）に対して、一次反射光ＰＬ１ｊの通過しない空間領域をＳＰＴとする。そして、カメラの位置ＰＣは、空間領域ＳＰＴ内に存在するようにする（条件２）とする。

ステップＳ３１８５において、（条件１）と（条件２）を同時に満たす撮影条件を算出する。ここでは、例えば、撮影条件Ｂ（図８）が算出される。また、原稿の位置や向きを変更することによって（条件１）と（条件２）を同時に満たす撮影条件を算出してもよい。

（画像読み取り装置の動作の説明）
本画像読み取り装置の動作の説明を行う。前述したように、まず、ユーザが撮影条件Ａ（図８）で原稿ＭＳ（図９）を撮影した結果、撮影原稿画像ＩｍｇＭＳＡ（図１０（Ａ））が得られる（ステップＳ３０４）。撮影原稿画像ＩｍｇＭＳＡから、原稿三次元形状３ＤＭＳが得られ（ステップＳ３０８）、また、二次元原稿画像Ｉｍｇ２ＤＭＳＡ（図１０（Ｂ））が得られる（ステップＳ３１２）。二次元原稿画像Ｉｍｇ２ＤＭＳＡの文書画像解析を行った結果、文字領域が抽出され（図１１（Ｃ）〜（Ｄ）、ステップＳ３１３）、隣接する文字領域が文字ブロック（図１２（Ｅ））にまとめられる（ステップＳ３１４）。各文字ブロック内の文字列のテキスト解析処理（図１３、ステップＳ３１５）を行って、文字列の文法的なつながりの強さを算出する（図１８）。文字列の文法的なつながりの強さから、文字列中の不連続部位を求め（ステップＳ３１５４）、不連続部位の実原稿上における位置・向きを算出する（ステップＳ３１６）。撮影条件Ａで得られた二次元原稿画像Ｉｍｇ２ＤＭＳＡに対しては、抽出された不連続部位の割合が一定値以上（＝テキスト可読性無し）と判定される（ステップＳ３１７）。撮影条件算出処理Ｃに移り新たな撮影条件Ｂ（図８）を算出する（ステップＳ３１８）。このとき、撮影条件Ａのカメラ１００の表示部１２２には、撮影支援画面１２２Ａを表示して、ユーザの撮影操作を支援する。ここでは、撮影支援画面１２２Ａに、ナビゲーションＮＶ５〜ＮＶ１４を表示して撮影を支援している（図８）。ナビゲーションＮＶ５には、認識した原稿属性が「原稿：Ａ４」と表示される。また、現在（撮影条件Ａ）のカメラの位置・向きはナビゲーションＮＶ６とＮＶ７で表示される。また、新たな撮影条件Ｂでのカメラの位置・向きは名ナビゲーションＮＶ１３とＮＶ１４で表示される。また、撮影条件Ａから撮影条件Ｂへの移行方法は、ナビゲーションＮＶ８〜ＮＶ１２で表示される。これらのナビゲーションは、音声等で提示しても良い。

ユーザがナビゲーションに従ってカメラを操作して、カメラを新たな撮影条件Ｂに移行させ、再度原稿を撮影する（ステップＳ３０４）。新たな撮影条件Ｂで撮影した撮影原稿画像ＩｍｇＭＳＢ（図２２（Ａ））から、二次元原稿画像Ｉｍｇ２ＤＭＳＢ（図２２（Ｂ））が作成され（ステップＳ３１２）る。ここで、実原稿上の点Ｐ４、Ｐ５、Ｐ６（図８）は、それぞれ、撮影原稿画像ＩｍｇＭＳＢ上の点ＰＢ４、ＰＢ５、ＰＢ６（図２２（Ａ））、及び、二次元原稿画像Ｉｍｇ２ＤＭＳＢ内の点Ｐ２ＤＢ４、Ｐ２ＤＢ５、Ｐ２ＤＢ６（図２２（Ｂ））に対応している。さらに、二次元原稿画像Ｉｍｇ２ＤＭＳＢに対して、文書画像解析を行い（ステップＳ３１３）、図２３（Ｃ）のような文字ブロックＢＢ１〜ＢＢ５が作成される（ステップＳ３１４）。図２３（Ｄ）に、文字ブロックＢＢ１内の文字列を示す。今、これらの文字ブロックＢＢ１〜ＢＢ５内の文字列を入力文字列として、テキスト解析処理（ステップＳ３１５）を行う。その結果、文字ブロックＢＢ１〜ＢＢ５内の文字列には不連続部位が存在しない（＝テキスト可読性有）と判定されたとする（ステップＳ３１７）。更に、その結果、二次元原稿画像Ｉｍｇ２ＤＭＳＢに対して、文字歪の補正や、背景色や文字色の補正を行った補正原稿画像が作成され（ステップＳ３１９）、作成された補正原稿画像が印刷パラメータとともにプリンタに送信される（ステップＳ３２１）。

（実施形態１効果）
本実施形態においては、ユーザはカメラで原稿を撮影することによって、原稿の読み取りを行い、読み取った原稿をプリンタに送信して印刷する。このとき、原稿の撮影を支援することで、テキスト可読性のある原稿画像を得ることが出来る。

（実施形態２）
本実施形態では、撮像部が一つのカメラで原稿を連続的に撮影し、複数の撮影原稿画像を複数の注目点（特徴点）の対応付けによって位置合わせして、二次元原稿画像を作成する例を述べる。ここでは、図２４（Ａ）に示すような、一つの撮像部１１６を具備するカメラ１００を操作して、図２４（Ｂ）のように原稿ＭＳを連続撮影する。図２４（Ｂ）に、撮影する原稿ＭＳと、連続撮影の時刻Ｔｊ（ｊ＝１、２、・・・、ｎ）におけるカメラ１００の位置・向き１００（Ｔｊ）を示す。今、図２５に示すように、各時刻Ｔｊで（異なる角度で）撮影した撮影原稿画像ＩｍｇＭＳ（Ｔｊ）が得られたとする。また、原稿の形状は、撮影時には変化しないものとする。このとき、一定数以上の（原稿上の）共通の注目点がそれぞれの撮影原稿画像ＩｍｇＭＳ（Ｔｊ）に写っていれば、それらの点の撮影原稿画像内における位置情報から各時刻Ｔｊのカメラの位置情報を求めることができる。また、同時に各注目点の位置情報を求めることができる。このようにして求めた各注目点の位置情報から、原稿三次元形状３ＤＭＳが得られる。次に、ステップＳ３１１の方法で、原稿投影平面２ＤＰＴを作成する。次に、ステップＳ３１２の方法で、各撮影原稿画像ＩｍｇＭＳ（Ｔｊ）に対して、二次元原稿画像Ｉｍｇ２ＤＭＳ（Ｔｊ）をそれぞれ作成する。今、ステップＳ３１５のテキスト解析処理の結果、二次元原稿画像Ｉｍｇ２ＤＭＳ（Ｔ１）内で品質不良領域（不連続部位の存在する領域）が、例えばＮＧ１になったとする。また、同様に、二次元原稿画像Ｉｍｇ２ＤＭＳ（Ｔ２）内の品質不良領域がＮＧ２になり、二次元原稿画像Ｉｍｇ２ＤＭＳ（Ｔ３）内の品質不良領域がＮＧ３とＮＧ４になったとする。また、二次元原稿画像Ｉｍｇ２ＤＭＳ（Ｔ１）内の注目点ＰＰＰ１（Ｔ１）と二次元原稿画像Ｉｍｇ２ＤＭＳ（Ｔ２）内の注目点ＰＰＰ１（Ｔ２）のように、複数の注目点の対応関係が得られているものとする。このとき、これらの注目点を用いて、各二次元原稿画像Ｉｍｇ２ＤＭＳ（Ｔｊ）内の品質不良領域ＮＧ１、ＮＧ２、・・・、を除いた部分を位置合わせして、品質不良領域のない一枚の二次元原稿画像Ｉｍｇ２ＤＭＳを作成する。このように作成した二次元原稿画像Ｉｍｇ２ＤＭＳを用いて、ステップＳ３１３以降の処理を行う。

また、本実施形態では、一定以上の品質（テキスト可読性）の二次元原稿画像が作成できる複数の撮影原稿画像が得られるまで、ユーザの撮影を支援しながら連続撮影してもよい。

また、複数の被写体（書籍の複数のページ、両面印刷、複数の原稿等）を読み取り指定した場合は、一枚の原稿又は１ページ毎に、一定以上の品質（テキスト可読性）を満たす情報が得られたかどうかを判定し、必要な情報が得られるように撮影を支援しても良い。

（実施形態２効果）
本実施形態においては、カメラで原稿を撮影して、一定以上の品質（テキスト可読性）を保持する原稿画像を得る際に、撮像部が一つのカメラで原稿の三次元形状を作成できる。

（その他の実施形態）
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

本発明によれば、カメラで原稿を撮影することで、ユーザが機器の前で場所や姿勢を束縛されたり、ユーザがスキャナの開閉操作をしたり、スキャナの所定の位置に原稿をセットしたりすることがなくなる。よって、より自由な状態（場所、姿勢、操作等）で原稿のスキャンを行う。これによって、原稿のスキャンやコピーの際に、ユーザビリティーの向上を図ることができる。また、このとき、カメラで撮影した原稿画像の、印刷時や閲覧時における一定以上の品質（テキスト可読性）を確保することができる。

１００ カメラ
１０１ 原稿読み取りモード設定部
１０２ 撮影環境測定部
１０３ 原稿認識部
１０４ 原稿属性判定部
１０５ 被写体三次元形状算出部
１０６ 二次元原稿画像作成部
１０７ 全表面撮影判定部
１０８ 文書画像解析部
１０９ 原稿照り返し判定部
１１０ 原稿歪判定部
１１１ フォント辞書
１１２ 文字認識部
１１３ 言語解析辞書
１１４ テキスト解析部
１１５ テキスト可読性判定部
１１６ 撮像部
１１６Ｒ 右撮像ユニット
１１６Ｌ 左撮像ユニット
１１７ 撮影原稿情報記憶部
１１８ 撮影・補正パラメータ記憶部
１１９ 制御部
１２０ ＲＯＭ、１２１：ＲＡＭ
１２２ 表示部
１２２Ｘ 撮影支援画面
１２２Ａ 撮影支援画面
１２３ 操作部
１２４ カメラ・位置向き検出部
１２５ 補正原稿画像作成部
１２６ 画像品質推定部
１２７ 撮影条件算出部
１２８ 撮影支援部
１２９ 印刷設定部
１３０ 通信部
２００ プリンタ
２０１ プリンタ属性記憶部
２０２ 通信部
２０３ 印刷部

Claims (11)

1. 原稿を撮影して撮影画像を作成する撮像手段と、
   光源に関する撮影環境を測定する撮影環境測定手段と、
   少なくとも原稿のサイズを含む原稿属性を判定する原稿属性判定手段と、
   原稿の三次元形状を算出する形状算出手段と、
   原稿の三次元形状を平面に投影して原稿投影平面を作成する平面作成手段と、
   撮影画像を原稿投影平面に投影した二次元の原稿画像を作成する画像作成手段と、
   二次元の原稿画像内の文書画像を解析して背景領域や文字領域を抽出する文書画像解析手段と、
   抽出した文字領域から文字ブロックを作成する文字ブロック作成手段と、
   各文字ブロック内の文字列を入力文字列としてテキスト解析して、文字列の文法的なつながりの強さを算出し、文字列中のつながりの強さが一定値以下の部位を不連続部位として抽出するテキスト解析手段と、
   文字列中で抽出した不連続部位の、二次元の原稿画像内の位置、及び、実原稿上の位置と向きを算出する特定手段と、
   二次元の原稿画像内の全ての文字列から抽出した不連続部位の割合が一定値以下ならば、二次元の原稿画像にテキスト可読性が有ると判定し、二次元の原稿画像内の全ての文字列から抽出した不連続部位の割合が一定値より大ならば、二次元の原稿画像にテキスト可読性が無いと判定する可読性判定手段と、
   二次元の原稿画像にテキスト可読性が無いと判定されたならば、不連続部位の発生原因が原稿の傾きや歪によるものであるか否か、又は、光源光の原稿からの一次反射によるものであるか否かを判定する原因判定手段と、
   不連続部位の発生原因を取り除く撮影条件を原稿の三次元形状と撮影環境から算出する撮影条件算出手段と、
   算出した撮影条件に基づいてユーザの撮影を支援する撮影支援手段とを具備することを特徴とする画像読み取り装置。
2. 原稿の三次元形状から、原稿の左辺および下辺に対応する曲線または折れ線を抽出し、
   原稿の三次元形状上の任意の注目点から、原稿の三次元形状の表面を通って、左辺および下辺に到達する、最短の曲線または折れ線の長さを算出し、
   下辺に到達する最短の曲線または折れ線の長さを、原稿の三次元形状上の注目点の、原稿投影平面におけるＸ座標値とし、
   左辺に到達する最短の曲線または折れ線の長さを、原稿の三次元形状上の注目点の、原稿投影平面におけるＹ座標値として、
   原稿の三次元形状を平面に投影して原稿投影平面を作成することを特徴とする請求項１記載の画像読み取り装置。
3. テキスト解析手段において、
   形態素の見出しと品詞と形態素の確からしさを記憶した形態素辞書と、
   形態素間の接続のしやすさを記憶した接続辞書とを具備し、
   形態素辞書を用いて入力文字列から各形態素に形態素の確からしさを付与した形態素ラティスを生成し、
   接続辞書を用いて形態素ラティスの隣接する形態素間に形態素間の接続のしやすさを付与し、
   形態素ラティスの前方から後方に辿る経路に対して形態素の確からしさと形態素間の接続のしやすさとの積からなる経路評価値を算出し、
   経路評価値が最大となる経路を求め、
   当該求められた経路、当該求められた経路内の各形態素の確からしさ、当該求められた経路内の形態素間の接続のしやすさ、を入力文字列のテキスト解析の結果とすることを特徴とする請求項１記載の画像読み取り装置。
4. 前記求められた経路において、当該求められた経路内の各形態素の確からしさが一定値以下の部位、又は、当該求められた経路内の形態素間の接続のしやすさが一定値以下の部位を、入力文字列中の不連続部位として抽出することを特徴とする請求項３記載の画像読み取り装置。
5. 原因判定手段において、
   撮像手段の向きと、不連続部位の実原稿上での法線ベクトルとのなす角が一定値以下ならば、不連続部位が原稿の傾きや歪によって発生したと判定し、
   光源の位置または方向、撮像手段の位置と向き、不連続部位の実原稿上での位置と法線ベクトルから、光源光の原稿表面における一次反射光が撮像手段に入射すると判定したならば、不連続部位の発生原因が光源光の原稿からの一次反射によるものであると判定することを特徴とする請求項１記載の画像読み取り装置。
6. 撮影条件算出手段において、
   不連続部位が原稿の傾きや歪によって発生したと判定したときは、
   全て又は幾つかの不連続部位の実原稿上での法線ベクトルと、撮像手段の向きとのなす角が一定値以上となる撮像手段の向きの取り得る範囲を算出し、算出した撮像手段の向きの各値に対して、原稿が撮像手段の画角に入るように撮像手段の位置の取り得る範囲を算出して、このときの撮像手段の位置と向きの取り得る範囲を第一の条件とし、
   不連続部位が光源光の原稿からの一次反射によって発生したと判定したときは、
   光源の位置または方向と、全て又は幾つかの不連続部位の実原稿上での位置と法線ベクトルとから、光源光の原稿上の不連続部位における一次反射光の経路を算出し、算出した一次反射光の通過しない空間領域を、撮像手段の位置の取り得る範囲とし、このときの撮像手段の位置の取り得る範囲を第二の条件として、
   第一の条件と第二の条件を同時に満たす撮像手段の位置と向きの取り得る範囲を新たな撮影条件として算出することを特徴とする請求項５記載の画像読み取り装置。
7. 撮像部を移動させながら形状の変化しない原稿を連続的に撮影して複数の撮影画像を作成し、
   複数の撮影画像に共通に存在する一定数以上の注目点の各撮影画像における位置情報から、各撮影画像を作成した撮像部の位置と、原稿の三次元形状とを算出することを特徴とする請求項１記載の画像読み取り装置。
8. 形状の変化しない原稿を撮影して作成した複数の二次元の原稿画像内に共通に存在する一定数以上の注目点を用いて、各二次元の原稿画像内で不連続部位の存在する領域を取り除いて、複数の二次元の原稿画像を位置合わせして、一枚の二次元の原稿画像を作成することを特徴とする請求項１記載の画像読み取り装置。
9. 原稿を撮影して撮影画像を作成する撮像手段と、
   原稿の三次元形状を算出する形状算出手段と、
   原稿の三次元形状を平面に投影して原稿投影平面を作成する平面作成手段と、
   撮影画像を原稿投影平面に投影した二次元の原稿画像を作成する画像作成手段と、
   二次元の原稿画像内の文書画像を解析して背景領域や文字領域を抽出する文書画像解析手段と、
   抽出した文字領域から文字ブロックを作成する文字ブロック作成手段と、
   各文字ブロック内の文字列を入力文字列としてテキスト解析して、文字列の文法的なつながりの強さを算出し、文字列中のつながりの強さが一定値以下の部位を不連続部位として抽出するテキスト解析手段と、
   文字列中で抽出した不連続部位の、二次元の原稿画像内の位置、及び、実原稿上の位置と向きを算出する特定手段と、
   二次元の原稿画像内の全ての文字列から抽出した不連続部位の割合から、二次元の原稿画像のテキスト可読性の有無を判定する可読性判定手段と、
   二次元の原稿画像にテキスト可読性が無いと判定されたならば、不連続部位の発生原因を判定する原因判定手段と、
   不連続部位の発生原因を取り除く撮影条件を原稿の三次元形状と撮影環境から算出する撮影条件算出手段と、
   算出した撮影条件に基づいてユーザの撮影を支援する撮影支援手段とを具備することを特徴とする画像読み取り装置。
10. 撮像手段が、原稿を撮影して撮影画像を作成する撮像工程と、
    撮影環境測定手段が、光源に関する撮影環境を測定する撮影環境測定工程と、
    原稿属性判定手段が、少なくとも原稿のサイズを含む原稿属性を判定する原稿属性判定工程と、
    形状算出手段が、原稿の三次元形状を算出する形状算出工程と、
    平面作成手段が、原稿の三次元形状を平面に投影して原稿投影平面を作成する平面作成工程と、
    画像作成手段が、撮影画像を原稿投影平面に投影した二次元の原稿画像を作成する画像作成工程と、
    文書画像解析手段が、二次元の原稿画像内の文書画像を解析して背景領域や文字領域を抽出する文書画像解析工程と、
    文字ブロック作成手段が、抽出した文字領域から文字ブロックを作成する文字ブロック作成工程と、
    テキスト解析手段が、各文字ブロック内の文字列を入力文字列としてテキスト解析して、文字列の文法的なつながりの強さを算出し、文字列中のつながりの強さが一定値以下の部位を不連続部位として抽出するテキスト解析工程と、
    特定手段が、文字列中で抽出した不連続部位の、二次元の原稿画像内の位置、及び、実原稿上の位置と向きを算出する特定工程と、
    可読性判定手段が、二次元の原稿画像内の全ての文字列から抽出した不連続部位の割合が一定値以下ならば、二次元の原稿画像にテキスト可読性が有ると判定し、二次元の原稿画像内の全ての文字列から抽出した不連続部位の割合が一定値より大ならば、二次元の原稿画像にテキスト可読性が無いと判定する可読性判定工程と、
    原因判定手段が、二次元の原稿画像にテキスト可読性が無いと判定されたならば、不連続部位の発生原因が原稿の傾きや歪によるものであるか否か、又は、光源光の原稿からの一次反射によるものであるか否かを判定する原因判定工程と、
    算出手段が、不連続部位の発生原因を取り除く撮影条件を原稿の三次元形状と撮影環境から算出する撮影条件算出工程と、
    撮影支援手段が、算出した撮影条件に基づいてユーザの撮影を支援する撮影支援工程とを具備することを特徴とする画像読み取り方法。
11. 撮像手段が、原稿を撮影して撮影画像を作成する撮像工程と、
    形状算出手段が、原稿の三次元形状を算出する形状算出工程と、
    平面作成手段が、原稿の三次元形状を平面に投影して原稿投影平面を作成する平面作成工程と、
    画像作成手段が、撮影画像を原稿投影平面に投影した二次元の原稿画像を作成する画像作成工程と、
    文書画像解析手段が、二次元の原稿画像内の文書画像を解析して背景領域や文字領域を抽出する文書画像解析工程と、
    文字ブロック作成手段が、抽出した文字領域から文字ブロックを作成する文字ブロック作成工程と、
    テキスト解析手段が、各文字ブロック内の文字列を入力文字列としてテキスト解析して、文字列の文法的なつながりの強さを算出し、文字列中のつながりの強さが一定値以下の部位を不連続部位として抽出するテキスト解析工程と、
    特定手段が、文字列中で抽出した不連続部位の、二次元の原稿画像の内の位置、及び、実原稿上の位置と向きを算出する特定工程と、
    可読性判定手段が、二次元の原稿画像内の全ての文字列から抽出した不連続部位の割合から、二次元の原稿画像のテキスト可読性の有無を判定する可読性判定工程と、
    原因判定手段が、二次元の原稿画像にテキスト可読性が無いと判定されたならば、不連続部位の発生原因を判定する原因判定工程と、
    撮影条件算出手段が、不連続部位の発生原因を取り除く撮影条件を原稿の三次元形状と撮影環境から算出する撮影条件算出工程と、
    撮影支援工程が、算出した撮影条件に基づいてユーザの撮影を支援する撮影支援工程とを具備することを特徴とする画像読み取り方法。

Images