JP6470595B2

JP6470595B2 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP6470595B2
Application number: JP2015046529A
Authority: JP
Inventors: 金津　知俊; 知俊金津
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-03-09
Filing date: 2015-03-09
Publication date: 2019-02-13
Anticipated expiration: 2035-03-09
Also published as: JP2016167715A

Description

本発明は、原稿を読み取る画像処理装置、画像処理方法、及びプログラムに関するものである。

現在普及している多くの読み取り装置は、原稿台上に下向きに置かれた原稿をスキャナで読み取る。一方近年では、原稿台上に上向きに原稿を置き、原稿台上部に取り付けられた撮像装置を用いて原稿を非接触で読み取る装置が提案されている。原稿が上向きで撮像装置が非接触であることから、ステープラなどで綴じられた複数枚綴りの原稿を、各葉に分離することなくユーザーが手でめくりながら、画像処理装置が各ページを連続で読み取ることができる。例えば、特許文献１には、複数枚綴じの原稿を手でめくりながら連続で読み取り、複数ページからなる電子文書へと変換することが可能な画像処理装置が開示されている。

特開２０１４−１５５０７３

しかし従来の方法では、ステープラなどで綴じられた複数枚綴り原稿の読み取り作業において、めくられたページにより撮像の対象ページの記載内容が隠れてしまうことがある。特に、ステープラの綴じ位置次第では、めくり方によってそれぞれ隠れてしまう記載内容の箇所や割合が異なり、１回の撮像では対象ページの全ての記載内容を撮像できないケースがある。

このようなケースでは、対象ページの全ての記載内容を読み取るために、異なるめくり方で対象ページを複数回撮像し、その結果得られた複数の画像の全てを対象ページの読み取り結果とする必要がある。ところが、隠れた記載内容が発生するか否かはページ毎の記載内容の位置及び綴じられ方によって異なるので、各ページに何回の撮像が必要であり何枚の撮像画像が対応するのかは必ずしも一定ではない。

そのため、従来の方法ではユーザーは隠れた記載内容を撮像し、撮像された画像と対象ページの画像との関連付けを意識しながら読み取り作業を行う必要があった。また、隠れた記載内容があったか否かは対象ページの撮像結果を確認しなければわからないので、作業中に対象ページの撮像結果を確認する手間が発生したり、確認を怠ったために記載内容の読み取り不足が読み取り作業後に発覚したりしていた。

本発明は、隠れた記載内容を補完した状態で対象ページの出力画像を生成することができる画像処理装置を提供することができる。

本発明に係る画像処理装置は、複数枚綴りの原稿のうち対象ページの画像を撮像する撮像手段と、前記対象ページの画像を第１の画像として取得する第１の取得手段と、前記第１の画像に欠損部がある場合に、前記欠損部に対応する補完画像の取得が必要であるか否かを判断する判断手段と、前記補完画像の取得が必要であると判断された場合に、前記撮像手段により前記対象ページが再撮像された第２の画像から前記補完画像を取得する第２の取得手段と、前記欠損部に前記補完画像を補完することにより前記対象ページの出力画像を生成する補完手段とを備える。

本発明は、隠れた記載内容を再撮像することにより、隠れた記載内容を補完した状態で対象ページの出力画像を生成することにより、対象ページを再撮像して隠れた記載内容を撮像した場合であってもページ単位で参照できる。また、ユーザーは、隠れた記載内容を撮像した画像と対象ページの画像との関連付けを意識しながら読み取り作業を行う必要がなくなる。

（ａ）本発明に係る画像処理装置の一例を示すブロック図である。（ｂ）本発明に係る画像処理装置の具体的な構成例を示すブロック図である。本発明に係る画像処理装置の外観及び使用態様の一例を示す図である。本発明に係る画像処理装置の動作の一例を示すフローチャートである。原稿をめくった状態における対象ページ以前のページと対象ページとの位置関係を示す図である。第１のめくり位置に対応するめくり方をした場合の撮像画像から検出される直線エッジの例である。第２のめくり位置に対応するめくり方をした場合の撮像画像から検出される直線エッジの例である。第２のめくり位置に対応するめくり方をした場合に歪み処理補正を施した後の撮像画像から検出される直線エッジの例である。補完画像の取得が必要であるか否かを判断する処理の一例を示すフローチャートである。重複部分を検出する処理の一例を示す図である。出力画像の一例を示す図である。電子文書データの一例を示す図である。本発明の他の実施形態に係る画像処理装置の一例を示すブロック図である。本発明のその他の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。ただし、本発明の実施形態は以下の実施形態に限定されるものではない。
図１（ａ）は、本発明に係る画像処理装置の一例を示すブロック図である。図１（ｂ）は、本発明に係る画像処理装置の具体的な構成例を示すブロック図である。図１（ａ）に示すように、画像処理装置１００は、撮像部１０１、ＵＩ（ユーザーインタフェース）部１０２、制御部１０３、記憶部１０４、及び通信部１０５を備える。また、制御部１０３は、第１の取得部１１０、判断部１１１、第２の取得部１１２、補完部１１３、補完モード切替部１１４、及び通知部１１５を備える。

撮像部１０１は、机や専用シートなどの読み取り台に置かれた原稿を撮像（撮影）して画像データを生成する。また、撮像部１０１は、複数枚綴りの原稿のうち対象ページの画像を撮像する。例えば、図１（ｂ）に示すように、撮像部１０１は、デジタルカメラやビデオカメラなどのカメラ１２０により構成される。

ＵＩ部１０２は、読み取り作業を行うユーザーから画像処理装置１００への指示を受け付け、画像処理装置１００からユーザーへの情報提供を行う。例えば、図１（ｂ）に示すように、ＵＩ部１０２は、指示受付手段としてボタンやセンサや音声入出力装置などの入出力装置１２１、及び情報提供手段としてプロジェクタ（投影部）やディスプレイなどの表示装置１２２により構成される。センサは、ユーザーのジェスチャーによる指示を受け付けるためのジェスチャー検知センサなどである。また、音声入出力装置は、ユーザーの音声による指示を受け付けたり、音声による情報を出力したりする。

制御部１０３は、画像処理装置１００を制御する。例えば、図１（ｂ）に示すように、制御部１０３は、ＣＰＵやＧＰＵなどの処理装置１２３により構成され、コンピュータープログラムに従って処理を実行する。

第１の取得部１１０は、対象ページの画像を第１の画像として取得する。判断部１１１は、第１の画像に欠損部がある場合に、欠損部に対応する補完画像の取得が必要であるか否かを判断する。第２の取得部１１２は、補完画像の取得が必要であると判断された場合に、撮像部１０１により対象ページが再撮像された第２の画像から補完画像を取得する。補完部１１３は、欠損部に補完画像を補完することにより対象ページの出力画像を生成する。

補完モード切替部１１４は、補完画像の取得が必要であると判断された場合に、欠損部に補完画像を補完する補完モードに切り替える。通知部１１５は、対象ページ、第１の画像、第２の画像、及び出力画像の少なくとも１つにおける欠損部及び補完画像の少なくとも１つの位置を通知する。

記憶部１０４は、画像処理装置１００の各手段として機能させるコンピュータープログラム、一時データ、及び画像データ（例えば、対象ページの画像データ、対象ページの出力画像データ、欠損部の画像データ、及び補完画像の画像データ）などを保持する。例えば、図１（ｂ）に示すように、記憶部１０４は、ＲＡＭなどのメモリやＨＤＤなどの記憶装置１２４により構成される。通信部１０５は、画像処理装置１００に接続されるコンピューターやサーバーなどと通信を行う。

図２は、本発明に係る画像処理装置の外観及び使用態様の一例を示す図である。図２に示すように、画像処理装置２００は、図１の撮像部１０１に相当するデジタルカメラ２０１、図１のＵＩ部１０２の指示受付手段に相当するジェスチャー検知センサ２０２、及びＵＩ部１０２の情報提示手段に相当するプロジェクタ２０３を備える。

画像処理装置２００は、机や専用シートなどの読み取り面（又は、読み取り台）２１０に設置される。デジタルカメラ２０１は、読み取り面２１０に置かれた原稿２２０を撮像（撮影）する。デジタルカメラ２０１は、原稿２２０の上側から原稿２２０の対象ページを撮像する。

図２では、原稿２２０は紙面の左上がステープラで綴じられた複数枚綴りの原稿であり、原稿２２０の１枚目（１葉目）２２１が紙面の左上方向にめくられて、２枚目（２葉目）２２２の表面が対象ページとして撮像される使用態様が示されている。画像処理装置２００は、複数枚綴りの原稿２２０をユーザーがめくりながら１ページずつ撮像し、全ページに対応する出力画像を電子文書として生成する。

情報提供手段であるプロジェクタ２０３は、読み取り面２１０に作業開始／終了のボタンや撮像ボタンなどの指示ＵＩ（指示マーク）を指示受付手段として投影してもよい。この場合、ユーザーが指示ＵＩに所定の時間接触していることなどを、デジタルカメラ２０１及びジェスチャー検知センサ２０２の少なくとも１つが検知し、指示ＵＩに対応する指示を出力する。

図２の画像処理装置２００には図１の各構成が一体化されているが、本発明に係る画像処理装置はこれに限定されず、複数の装置によって構成されてもよい。例えば、ボタン付リモコンやマウスなどの指示受付手段及び液晶ディスプレイなどの情報提供手段が、画像処理装置２００に外付けされて、ＵＩ部１０２を構成してもよい。

また、画像処理装置２００は、コンピューターに接続され、制御部１０３、記憶部１０４、及び通信部１０５は、当該コンピューターに備えられてもよい。また、記憶部１０４のうち、原稿２２０の読み取り結果を記憶する記憶部がイントラネットやインターネット上のサーバーに備えられ、通信部１０５を介した有線や無線通信によって、画像処理装置２００はサーバーの記憶部のデータを読み書きしてもよい。また、同様に制御部１０３の一部又は全てのコンピュータープログラムがイントラネットやインターネット上のサーバーで動作してもよい。

図３は、画像処理装置２００の動作の一例を示すフローチャートである。本例では、Ｍ枚（２≦Ｍ）がステープラで綴じられた原稿２２０を読み取り原稿とし、ユーザーが原稿２２０を読み取り面２１０に置いて、１枚１枚めくりながら各ページを撮像する読み取り作業を想定する。つまり、ステープラなどで綴じられた複数枚綴りの原稿２２０を、各葉に分離することなくユーザーが手でめくりながらデジタルカメラ（撮像部）２０１が対象ページの画像を撮像し、画像処理装置２００が各ページを連続で読み取る。

図３には、画像処理装置２００が原稿２２０の各ページを撮像して画像データを取得する動作、及び取得した画像データから各ページの出力画像データを生成し、読み取り結果である出力画像を電子文書として出力する動作の例が示されている。

図３に示すように、本発明に係る画像処理方法は、複数枚綴りの原稿のうち対象ページの画像を撮像する撮像工程（ステップＳ３０２又はＳ３０５）と、対象ページの画像を第１の画像として取得する第１の取得工程（ステップＳ３０３又はＳ３０６）を備える。また、本発明に係る画像処理方法は、第１の画像に欠損部がある場合に、欠損部に対応する補完画像の取得が必要であるか否かを判断する判断工程（ステップＳ３０７）を備える。

また、本発明に係る画像処理方法は、補完画像の取得が必要であると判断された場合に、対象ページが再撮像された第２の画像から補完画像を取得する第２の取得工程（ステップＳ３０９）を備える。また、本発明に係る画像処理方法は、欠損部に補完画像を補完することにより対象ページの出力画像を生成する補完工程（ステップＳ３１０−Ｓ３１２）を備える。

また、本発明に係るコンピュータープログラム（ソフトウェア）が、以下の処理を画像処理装置２００の各手段として機能させてもよい。この場合、コンピュータープログラムは、ネットワーク又は各種記憶装置を介してシステムあるいは装置に供給され、そのシステムあるいはコンピューター（ＣＰＵやＭＰＵなど）により読みだされて実行される。

ステップＳ３０１では、ユーザーが原稿２２０を読み取り面２１０に置き、ＵＩ部１０２を介して画像処理装置２００に読み取り作業の開始を指示する。本例では、プロジェクタ２０３が読み取り面２１０に指示受付手段として投影した作業開始ボタンをユーザーがタッチすることで、読み取り開始の指示が出力される。例えば、ジェスチャー検知センサ２０２が距離センサを備え、作業開始ボタンの投影範囲内における移動部（ユーザーの指など）と読み取り面２１０との距離が所定の閾値以下になった場合、ユーザーが作業開始ボタンにタッチしたことを距離センサが検知する。

これは一例であり、他の方法によりユーザーの作業に関する指示が検知及び出力されてもよい。ジェスチャー検知以外の方法、例えば、画像処理装置２００、読み取り面２１０、及びリモコンなどに設置されたボタンやマウス操作や音声入力によって作業開始の指示が検知及び出力されてもよい。また、重量や赤外線反射率の変化などにより読み取り面２１０上の物体を検知するセンサを画像処理装置２００が備え、原稿２２０が読み取り面２１０に置かれたことをセンサが検知し、読み取り作業の開始指示が出力されてもよい。

ステップＳ３０２では、画像処理装置２００のデジタルカメラ２０１が、原稿２２０の１枚目の表面（１ページ目）を撮像する。この場合、画像処理装置２００は、撮像ページのカウンタＮを“Ｎ＝１”とする。ステップＳ３０２における撮像は、ＵＩ部１０２を介したユーザーからの指示に基づいて行われてもよい。例えば、プロジェクタ２０３が読み取り面２１０に指示受付手段として投影した撮像ボタンを、ユーザーがタッチしたことを前述の方法で検知してもよいし、他の方法により撮像指示が検知及び出力されてもよい。

また、ジェスチャー検知センサ２０２が距離センサを備え、作業開始ボタンの投影範囲内における移動部（例えば、ユーザーの指）と読み取り面２１０との距離が所定の閾値以上になった場合、ユーザーが原稿２２０から手を離したことを距離センサが検知する。そして、手を離したことを検知してから所定時間経過した後に撮像指示が出力されてもよい。撮像された画像データは画像処理装置２００の記憶部１０４に保持される。

ステップＳ３０３では、画像処理装置２００が、ステップＳ３０２で取得した画像データから出力電子文書の１ページ目に対応する出力画像データを生成する。ステップＳ３０２の処理には、デジタルカメラ２０１の撮像画像から原稿２２０の読み取り対象である対象ページの範囲を特定する処理（対象ページ範囲特定処理）及び撮像された画像の形状や向きを判別して補正する処理（補正処理）が含まれる。これらの処理の他に、撮像時のムラやぼけを補正する画像処理が必要に応じて追加されてもよい。

対象ページ範囲特定処理及び補正処理により撮像画像より生成される対象ページの画像をページ画像（第１の画像）と呼ぶ。第１の取得部１１０が、対象ページの画像をページ画像（第１の画像）として取得する。１ページ目が原稿２２０の１枚目の表面である場合は欠損部がないものと想定されるので、１ページ目については、ページ画像（第１の画像）が１ページ目に対応する出力画像データとなる。ただし、１枚目の表面であっても欠損部がある場合は、補完部１１３が欠損部に補完画像を補完してもよい。

次に、対象ページ範囲特定処理及び補正処理について具体的に説明する。

（対象ページ範囲特定処理）
デジタルカメラ２０１の撮像可能範囲は、読み取り面２１０上で原稿２２０が占める範囲よりも広く設定されている。これは、原稿２２０の位置がずれた場合であっても原稿全体を撮像できるため、所定の位置に原稿２２０を厳密に置く必要がなくなり、ユーザーの負担が軽減されるからである。

一方、撮像範囲が広くなるため、撮像画像から読み取り対象である対象ページの範囲を特定する対象ページ範囲特定処理が必要になる。対象ページ範囲特定処理は、公知の技術（例えば、特許文献１に開示される方法）により行うことができる。具体的には、ハフ変換などで撮像画像から検出した直線エッジ群から、ページの４辺に相当する枠を選別することにより、対象ページの範囲が特定される。

（補正処理）
図２に示すように、デジタルカメラ２０１が原稿２２０の真上にない場合、撮像画像中の対象ページの形状は長方形ではなく、不等辺四角形状に歪んでいる。この歪み補正は、デジタルカメラ２０１と読み取り面２１０の位置関係から定まる固定値の行列式により各画素を座標変換し再配置することにより行われる。

例えば、画像処理装置２００は、プロジェクタ２０３から読み取り面２１０に４点を投影し、この４点を含む撮像画像に基づいてデジタルカメラ２０１と読み取り面２１０の位置関係を算出し、固定値を取得及び更新し、固定値の行列式を得る機能を備えてもよい。また、画像処理装置２００は、特許文献１に開示される逆透視変換演算により、撮像画像中から得られるページの４頂点の座標に基づいて撮像画像ごとに座標変換の行列パラメータを求める機能を備えてもよい。

更に、デジタルカメラ２０１の撮像画像の上下左右方向（撮像方向）は予め設定されているが、原稿２２０の紙面方向はデジタルカメラ２０１の撮像方向と一致せずに置かれる場合がある。この場合、撮像画像において紙面方向が撮像方向に対して回転（例えば、９０度単位で回転）している。

画像処理装置２００は、撮像方向に対する紙面方向の回転を公知の技術により判定し、必要に応じて撮像画像を逆回転（例えば、９０度単位で逆方向に回転）することにより、正置の対象ページの画像に補正する機能を備えてもよい。撮像方向に対する紙面方向の回転の判定は、公知の文字認識技術を用いて実現できる。具体的には、対象ページ内に記載された文字部分の画像を０度、９０度、１８０度、及び２７０度のそれぞれの向きに回転し、各画像の文字認識結果から最も文字らしい出力が得られた向きが正置の向きと判定される。

図３に戻り、ステップＳ３０４では、原稿２２０の読み取り作業の最終ページまで撮像が完了している否かが判断される。原稿２２０の読み取り作業の最終ページまで撮像が完了している場合（例えば、原稿２２０の綴り枚数のＭ枚目まで撮像が完了している場合）、ステップＳ３１４に進む。原稿２２０の読み取り作業の最終ページまで撮像が完了していない場合、ステップＳ３０５に進む。なお、原稿２２０の最終ページは任意のページであってもよい。

撮像されたページが最終ページか否かの判定は、様々な方法により実現可能である。例えば、プロジェクタ２０３が読み取り面２１０に指示受付手段として投影した作業終了ボタンをユーザーがタッチすることで読み取り終了の指示が出力され、撮像されたページが最終ページであると判定される。

また、原稿２２０の綴り枚数Ｍが既知である場合、撮像ページのカウンタＮと原稿２２０の綴り枚数Ｍとを比較することにより、撮像されたページが最終ページであると判定されてもよい。また、最終ページに特殊なマークや色が施され、それらを検出することにより撮像されたページが最終ページであると判定されてもよい。また、読み取り面２１０上の物体を検知するセンサを画像処理装置２００が備え、原稿２２０が読み取り面２１０から取り除かれたことをセンサが検知することにより、撮像されたページが最終ページであると判定されてもよい。

ステップＳ３０５では、原稿２２０のｍ枚目（ｍ葉目）が紙面の左上方向にめくられて、“ｍ＋１”枚目（“ｍ＋１”葉目）の表面（ｎページ目）が対象ページとしてデジタルカメラ２０１により撮像される。

例えば、図２の原稿２２０の１枚目（１葉目）２２１が紙面の左上方向にめくられて、２枚目（２葉目）２２２の表面（２ページ目）が対象ページとしてデジタルカメラ２０１により撮像される。このとき、撮像ページ数のカウンタＮがインクリメント（＋１）される。インクリメントした後のカウンタＮは“Ｎ＝ｎ”となる。これは、原稿２２０の１ページからｎページまでの対象ページが撮像済みであることを意味する。

図４は、原稿をめくった状態における対象ページ以前のページと対象ページとの位置関係を示す図である。図４の対象ページ４０１は、ステープラで綴じられた複数枚綴りの原稿２２０のｎページ（２≦ｎ）で、“Ｎ＝ｎ−１”以前のページがめくられている状態である。ステープラによる原稿綴じ位置４０２は、紙面の左上である。図４では、“Ｎ＝ｎ−１”以前のページが含まれる原稿２２０のｍ枚目のめくり方が２つ示されており、原稿２２０のｍ枚目の第１のめくり位置４１０及び第２のめくり位置４２０が破線で示されている。

第１のめくり位置４１０は、原稿２２０のｍ枚目が紙面の左上方向にめくられた状態である。なお、第１のめくり位置４１０は模式的に示したものであり、原稿２２０のｍ枚目が紙面の４５度左上方向にめくられた状態を示しているが、紙面の任意の角度でめくられてもよい。第２のめくり位置４２０は、原稿２２０のｍ枚目が紙面の上方向にめくられた状態である。

ステップＳ３０５における撮像は、ステップＳ３０２における撮像と同様に、撮像ボタンなどのＵＩ部１０２を用いたユーザーの撮像指示により行われればよい。また、ステップＳ３０５における撮像は、ユーザーのめくり動作の完了をジェスチャー検知センサが検知し、めくり動作が完了した状態で所定の時間が経過した後に行われてもよい。

なお、原稿の紙質などの原稿２２０の状態によっては、対象ページを読み取り面２１０で平面に保って良好な撮像画像を取得するために、原稿２２０のｍ枚目をめくった状態で指などにより保持する場合がある。そのため、原稿２２０から指などを離した状態ではなく、指などで原稿２２０を押さえた状態（静止状態）で所定の時間が経過したことにより、ジェスチャー検知センサがユーザーのめくり動作の完了を検知するのが好ましい。

ステップＳ３０６では、第１の取得部１１０が、対象ページの画像をｎページ目のページ画像（第１の画像）として取得する。このとき、ステップＳ３０３で説明した対象ページ範囲特定処理及び補正処理が行われる。ただし、ステップＳ３０３とは異なり、撮像画像中には、対象ページ（ｎページ目）だけではなく、ユーザーがめくった原稿２２０のｍ枚目のページが含まれている。

図５は、ステップＳ３０６における対象ページ範囲特定処理の処理中に得られる線分（直線エッジ）の例である。図５Ａは、図４の第１のめくり位置４１０に対応するめくり方をした場合の撮像画像から検出される直線エッジの例である。なお、図５Ａは補正処理前の段階なので、ページの形状が不等辺四角形状に歪んでいる。直線エッジ５０１〜５０４は、対象ページ（ｎページ目）の上下左右の４辺に対応する直線エッジである。直線エッジ５０５〜５０８は、ユーザーがめくった原稿２２０のｍ枚目の裏面の４辺に対応する直線エッジである。

なお、めくられた紙面が紙の弾性により湾曲して辺が曲線になり、直線エッジ５０５〜５０８が検出されない場合もあるが、対象ページ（ｎページ目）の上下左右の４辺に対応する直線エッジ５０１〜５０４が特定されればよいので、特に問題にならない。

直線エッジ５０９は、原稿２２０をめくった状態における対象ページ以外のページ（原稿２２０のｍ枚目の裏面）と対象ページ（ｎページ目）との重複部分５５０の直線エッジである。例えば、直線エッジ５０９は、ｎページと“ｎ−１”ページ以前のページの境界から検出される直線エッジである。

図５Ｂは、図４の第２のめくり位置４２０に対応するめくり方をした場合の撮像画像から検出される直線エッジの例である。なお、図５Ｂは補正処理前の段階なので、ページの形状の形状が不等辺四角形状に歪んでいる。直線エッジ５２１，５２２は、ｎページ目の紙面の右辺及び下辺に対応する直線エッジである。直線エッジ５２４，５２５は、原稿２２０のｍ枚目の裏面の上辺及び右辺に対応する直線エッジである。直線エッジ５２３は、ｎページ目の左辺と原稿２２０のｍ枚目の裏面の左辺とが繋がった状態で検出された直線エッジである。

直線エッジ５２６は、原稿２２０をめくった状態における対象ページ以外のページ（原稿２２０のｍ枚目の裏面）と対象ページ（ｎページ目）との重複部分５５１の直線エッジである。例えば、直線エッジ５２６は、ｎページと“ｎ−１”ページ以前のページの境界から検出される直線エッジであり、実際の両ページの辺ではない。このとき、ｎページ目の上辺と“ｎ−１”ページ以前のページの下辺は、直線エッジとして検出されない。

ステップＳ３０６の対象ページ範囲特定処理では、第１の取得部１１０が、図５のような直線エッジ群から、読み取り対象である対象ページ（ｎページ目）のページ範囲を示す４辺に相当する直線エッジを選出する処理が含まれる。具体的には、各直線エッジを延長してできる四辺形の組み合わせを全て生成し、その中から対象ページ（ｎページ目）の４辺に最も近いものが選出される。

例えば、歪み補正処理を施した四辺形の形状及び面積が紙面の形状及び面積に最も近い場合（例えば、四辺形の頂点における内角が９０度に最も近い場合、四辺形のアスペクト比が紙面のアスペクト比に最も近い場合、及び四辺形の面積が紙面の面積に最も近い場合など）、四辺形が対象ページ（ｎページ目）のページ範囲に相当すると判断される。

図５Ａでは、頂点５１０は、直線エッジ５０１，５０２，５０３，５０４の組合せによる四辺形の頂点である。また、頂点５１１は、直線エッジ５０１，５０２，５０３，５０９の組合せによる四辺形の頂点である。ここで紙面の頂点の内角を９０度とすると、頂点５１０の内角は頂点５１１の内角よりも９０度に近い。この場合、直線エッジ５０１，５０２，５０３，５０４の組合せによる四辺形は、直線エッジ５０１，５０２，５０３，５０９の組合せによる四辺形よりも対象ページ（ｎページ目）のページ範囲に近いと判断される。

同様に、直線エッジ５０５〜５０８の組合せによる四辺形が、原稿２２０をめくった状態における対象ページ以外のページ（原稿２２０のｍ枚目の裏面）のページ範囲に相当すると判断される。この場合、各直線エッジを延長してできる四辺形の組み合わせから、所定の条件に基づいて原稿２２０のｍ枚目の裏面の４辺に最も近いものが選出される。

例えば、原稿２２０のｍ枚目を紙面の左上方向にめくる場合、紙面の右下方向にある四辺形が対象ページのページ範囲に相当すると判断され、紙面の左上方向にある四辺形が原稿２２０のｍ枚目の裏面に相当すると判断されてもよい。

また、選出された四辺形内の直線エッジ数又は直線エッジ長さに基づいて、対象ページ及び原稿２２０のｍ枚目の裏面の位置が判断され、それぞれのページ範囲が特定されてもよい。例えば、原稿２２０の裏面が白紙である場合、選出された四辺形内の直線エッジ数又は直線エッジ長さを合計する。そして、直線エッジ数が多い又は直線エッジが長い四辺形が対象ページに相当し、直線エッジ数が少ない又は直線エッジが短い四辺形が原稿２２０のｍ枚目の裏面に相当すると判断されてもよい。

また、対象ページの位置が設定されている場合は、対象ページからの方向に基づいて、対象ページ及び原稿２２０のｍ枚目の裏面の位置が判断され、それぞれのページ範囲が特定されてもよい。

例えば、ステップＳ３０３における１ページ目の画像取得位置、ステップＳ３０６における“ｎ−１”ページ目の画像取得位置、及び１ページ目から“ｎ−１”ページ目までの画像取得位置の平均の少なくとも１つに基づいて、対象ページ（ｎページ目）の位置が設定され、対象ページからの方向に基づいて、原稿２２０のｍ枚目の裏面の位置が判断され、ページ範囲が特定されてもよい。

このように、対象ページ範囲特定処理では、第１の取得部１１０が、ハフ変換などで撮像画像から検出された直線エッジ群からページの４辺に相当する枠を選別することにより、対象ページ（ｎページ目）の範囲を特定する。そして、補正処理が施される。

なお、歪み補正処理に必要な座標変換のパラメータが既知である場合は、歪み補正処理が対象ページ範囲特定処理の前に施されてもよい。歪み補正処理後の撮像画像では、対象ページ及び対象ページ以外のページ（原稿２２０のｍ枚目の裏面）は原稿２２０の形状（例えば、長方形）であるので、直線エッジ群からページの４辺に相当する枠を選別することが容易になる。

図５Ｂに示すように、図４の第２のめくり位置４２０で撮像された場合、対象ページ（ｎページ目）の上辺に相当する直線エッジが検出されないため、対象ページの４辺の全てを直線エッジ群から選別することは困難となる。この場合、第１の取得部１１０は、歪み補正処理後の撮像画像の直線エッジから対象ページの３辺を検出し、残りの１辺を“ｎ−１”ページ目以前のページ画像から算出されるアスペクト比を用いることにより決定する。

図５Ｃは、図４の第２のめくり位置４２０に対応するめくり方をした場合に歪み処理補正を施した後の撮像画像から検出される直線エッジの例である。図５Ｃの直線エッジ５３１〜５３６は、図５Ｂの５２１〜５２６にそれぞれ対応している。即ち、直線エッジ５３１，５３２はｎページ目の右辺及び下辺に対応し、直線エッジ５３４，５３５は原稿２２０のｍ枚目の裏面の上辺及び右辺に対応する。

直線エッジ５３３は、ｎページ目の左辺と原稿２２０のｍ枚目の裏面の左辺とが繋がった状態で検出された直線エッジである。直線エッジ５３６は、原稿２２０をめくった状態における対象ページ以外のページ（原稿２２０のｍ枚目の裏面）と対象ページ（ｎページ目）との重複部分５５２の直線エッジである。

このとき、直線エッジ５３１，５３２，５３３が対象ページ（ｎページ目）を構成する３辺となる。そして、“ｎ−１”ページ目以前のページ画像から算出されるアスペクト比を用いて残る１辺に対応する直線５３７の位置が決定される。直線エッジ５３１，５３２，５３３及び直線５３７の４辺から構成される長方形が対象ページのページ範囲であると特定される。

ステップＳ３０７では、判断部１１１が、対象ページのページ画像（第１の画像）に欠損部がある場合に、欠損部に対応する補完画像の取得が必要であるか否かを判断する。例えば、判断部１１１は、ステップＳ３０６で生成したｎページ目のページ画像に原稿綴じによる欠損部（綴じ隠れ部分）が発生し、欠損部を補完する追加の補完撮像が必要であるか否かを判断する。補完画像の取得（補完撮像）が必要であると判断された場合は、ステップＳ３０８に進む。補完画像の取得（補完撮像）が不要であると判断された場合は、ステップＳ３１４に進む。

補完撮像が必要であると判断される例について図４を用いて説明する。対象ページ４０１には、記載内容である文字列４０３，４０４が記載されている。原稿綴じ位置４０２が紙面の左上にある場合、第１のめくり位置４１０では、文字列４０３の一部が対象ページ以外のページ（原稿２２０のｍ枚目の裏面）と対象ページ（ｎページ目）との重複部分４５０により隠れてしまう。一方、第２のめくり位置４２０では、文字列４０４の全てが重複部分４５１により隠れてしまう。

ここで、ステップＳ３０７における工程の詳細を図６のフローチャートを用いて説明する。図６のステップＳ６０１では、判断部１１１が、ステップＳ３０６で取得した対象ページのページ画像（第１の画像）から重複部分を検出する。対象ページに対する重複部分の面積比が所定の閾値ｘ％以上であればステップＳ６０２に進み、所定の閾値ｘ％未満であればステップＳ６０５に進む。ステップＳ６０５に進んだ場合は、補完画像の取得（補完撮像）が不要であると判断され、図６の処理が終了する。

図７は、重複部分を検出する処理の一例を示す図である。前述のように、図７の対象ページのページ画像７００の４辺（上辺７０１，右辺７０２，下辺７０３，左辺７０４）は、図４の第１のめくり位置４１０における対象ページの撮像画像の直線エッジから選別される。直線エッジ７０９は、原稿２２０をめくった状態における対象ページ以外のページ（原稿２２０のｍ枚目の裏面）と対象ページ（ｎページ目）との重複部分の直線エッジであり、ｎページと“ｎ−１”ページ以前のページの境界から検出される直線エッジである。

直線エッジ７０９の延長線と対象ページの上辺７０１及び左辺７０４により囲まれる三角形が重複部分として検出される。そして、重複部分の面積を対象ページの面積で割った面積比を所定の閾値ｘ％と比較することにより、判断部１１１は、重複部分を補完する追加の補完撮像が必要であるか否かを判断する。

なお、前述の重複部分検出方法は一例であって、他の方法により重複部分が検出されてもよい。撮像画像から抽出される紙面のテクスチャ、直線エッジの数や長さの合計、紙面上の識別マーク、及び紙面の高さの少なくとも１つから、判断部１１１が原稿２２０の表裏面を識別できる場合は、判断部１１１は対象ページ（表面）と原稿２２０のｍ枚目の裏面（裏面）の重複部分を検出することができる。

例えば、画像処理装置２００が距離センサを備えており、距離センサが読み取り面２１０上の物体の高さを検出する。読み取り作業の際に対象ページの紙面は読み取り面２１０上に沿って置かれているので、読み取り面２１０からの対象ページの紙面の高さは所定の閾値未満となる。一方、めくられた紙面は原稿綴じ部から湾曲して浮き上がるので、めくられた紙面の高さは所定の閾値以上となる。したがって、判断部１１１は、対象ページの紙面（表面）とめくられた紙面の裏面（裏面）を識別でき、表面と裏面の重複部分を検出することができる。

また、重複部分は紙面をめくることにより生じ、めくられた紙面の高さは所定の閾値以上となるので、判断部１１１は、距離センサを用いて、対象ページのページ範囲内において所定の閾値以上の高さが検出された部分を重複部分として検出することもできる。

距離センサの代わりに、プロジェクタ２０３が所定の間隔のストライプを紙面に投影し、撮像部２０１が撮像したストライプの間隔や形状に基づいて、判断部１１１が紙面の高さを算出してもよい。読み取り面２１０からの紙面の高さが高くなるほどストライプの間隔が短くなり、紙面をめくることにより紙面の湾曲が生じたときはストライプの形状が歪むので、ストライプの間隔や形状に基づいて判断部１１１が紙面の高さを算出することができる。

図６に戻り、ステップＳ６０２では、判断部１１１が、ステップＳ６０１で検出した重複部分の近傍にある文字列を抽出し、その文字列における欠損文字の有無及び欠損文字の数の少なくとも１つに基づいて欠損部（綴じ隠れ部分）を判定する。欠損文字がある場合又は欠損文字の数が所定の閾値以上である場合はステップＳ６０６に進み、欠損文字がない場合又は欠損文字の数が所定の閾値未満である場合はステップＳ６０３に進む。ステップＳ６０６に進んだ場合は、補完画像の取得（補完撮像）が必要であると判断され、図６の処理が終了する。

文字列における欠損文字を検出する処理の一例について図４を用いて説明する。図４の第１のめくり位置４１０における対象ページを撮像する場合、文字列４０３の１文字目は完全に重複部分に隠れ、２文字目は一部が重複部分に隠れている。

例えば、公知のＯＣＲ技術により、判断部１１１は、文字列４０３の２文字目の隠れを文字パターンの欠損部として判定することができる。ＯＣＲ技術は、予め登録された文字パターン辞書と入力文字パターンとを比較することにより文字を認識する。欠損がある文字パターンは文字パターン辞書との照合度が低下する。判断部１１１は、照合度に反比例する値を信頼度とし、信頼度が閾値未満である場合に、文字パターンに欠損部があると判断することができる。

この判断方法は一例であり、他の方法により欠損文字の有無が検出されてもよい。例えば、入力文字パターンの認識技術を複数用いて、特徴量や照合方式などによる認識技術の認識結果を比較し、判断部１１１は、共通の認識結果が得られない場合に、文字パターンに欠損部があると判断し、欠損文字を検出することができる。

また、判断部１１１は、文字パターンの欠損部の代わりに、対象ページの文字列や単語の解読度に基づいて文字列や単語に欠損文字があると判断してもよい。例えば、対象ページで用いられる単語や一般用語を記憶部１０４内の辞書に登録しておき、判断部１１１は、入力文字パターンの認識結果が辞書に登録された文字列や単語に一致しない場合に、文字列や単語に欠損文字があると判断してもよい。

ステップＳ６０３では、判断部１１１がステップＳ６０１で検出した重複部分による欠損項目の有無及び欠損項目の数の少なくとも１つに基づいて欠損部（綴じ隠れ部分）を判定する。欠損項目がある場合又は欠損項目の数が所定の閾値以上である場合はステップＳ６０６に進み、欠損項目がない場合又は欠損項目の数が所定の閾値未満である場合はステップＳ６０４に進む。ステップＳ６０６に進んだ場合は、補完画像の取得（補完撮像）が必要であると判断され、図６の処理が終了する。

例えば、対象ページに記載されているにもかかわらず、対象ページのページ画像から抽出できない項目（欠損項目）があるか否かを判断部１１１が判断し、抽出できない項目がある場合は欠損項目があると判断する。また、判断部１１１は、欠損項目が何であるかを特定する。判断部１１１は、対象ページに応じて予め設定された項目と対象ページのページ画像（第１の画像）から抽出された項目とを比較することにより欠損項目を抽出する。つまり、対象ページの項目が予め設定されていることが前提となる。

例えば、対象ページにおける項目の配置（レイアウト）及び項目の記載内容を予め設定したテンプレートが、画像処理装置２００内の記憶部１０４又は画像処理装置２００が参照可能な外部記憶装置に保持される。判断部１１１は、公知のＯＣＲ技術により対象ページのページ画像（第１の画像）から抽出した項目の配置及び項目の記載内容をテンプレートと比較することで、抽出できない項目がある場合は欠損項目があると判断する。

テンプレートは、対象ページにおける項目の配置に厳密に一致するものであっても、そうでなくてもよい。例えば、項目の配置が厳密に一致しなくてもよい例として、テンプレートには帳票種別と帳票種別に応じた項目の種類が定義され、項目の配置は任意である場合がある。原稿２２０の各ページが帳票の形式である場合、判断部１１１は、対象ページのページ画像（第1のページ画像）から抽出した文字列の認識結果により対象ページの帳票種別を判別する。そして、判断部１１１は、帳票種別に応じた項目が定義されたテンプレートを参照し、抽出できていない項目があるか否かを判定する。

ステップＳ６０４では、判断部１１１がユーザーから入力された指示に基づいて欠損部（綴じ隠れ部分）を判定する。補完画像の取得（補完撮像）が必要であるとの指示がユーザーから入力された場合はステップＳ６０６に進み、図６の処理が終了する。補完画像の取得（補完撮像）が不要であるとの指示がユーザーから入力された場合はステップＳ６０５に進み、図６の処理が終了する。この場合、ＵＩ部１０２の情報提示手段が、補完画像の取得（補完撮像）が必要であるか否かをユーザーに確認する情報を提示してもよい。

このように、判断部１１１は、原稿２２０をめくった状態における対象ページ以外のページと対象ページとの重複部分の面積（ステップＳ６０１）、重複部分による欠損文字の有無（ステップＳ６０２）、重複部分による欠損項目の有無（ステップＳ６０３）、及び入力された指示（ステップＳ６０４）の少なくとも１つに基づいて、補完画像の取得が必要であるか否かを判断する。

また、判断部１１１は、重複部分の有無、重複部分の数、重複部分の位置、欠損文字の数、欠損文字の位置、欠損項目の数、及び欠損項目の位置の少なくとも１つに基づいて、補完画像の取得が必要であるか否かを判断してもよい。したがって、図６のフローチャートは処理の一例であり、ステップＳ６０１〜Ｓ６０４の処理の全てが含まれなくても、ステップＳ６０１〜Ｓ６０４の処理が異なる順序で施されてもよい。

また、ステップＳ６０４と同様の指示が、ステップＳ６０１〜Ｓ６０３の処理毎に入力され、ステップＳ６０１〜Ｓ６０３における判断部１１１の検出や判定や判断の正誤をユーザーが確認できるようにしてもよい。また、画像処理装置２００は、ステップＳ６０１〜Ｓ６０３の処理毎に判断部１１１の検出や判定や判断の信頼度に関するスコアを算出し、スコアが所定の閾値未満である場合にユーザーからの指示が入力されるようにしてもよい。

図３に戻り、ステップＳ３０８では、補完画像の取得が必要であると判断された場合に、補完モード切替部１１４が、欠損部に補完画像を補完する補完モードに切り替え、画像処理装置２００は、補完モードを開始する。

ステップＳ３０８の補完モードの開始からステップＳ３１１の補完モードの終了まで、画像処理装置２００の通知部１１５が補完モードであることをユーザーに通知してもよい。例えば、通知部１１５は、プロジェクタ２０３により補完モードであることを示す情報（色や文字）を原稿２２０やその周辺に投影して通知してもよい。また、通知部１１５は、入出力装置１２１や表示装置１２２により補完モードであることを示す音声や色や文字などで通知してもよい。

また、ステップＳ３０８では、ステップＳ３０７で特定された欠損部（綴じ隠れ部分）の位置に基づいて、プロジェクタ２０３が、欠損部を強調する重畳投影を対象ページに行ってもよい。例えば、プロジェクタ２０３が、図４の重複部分４５０に対して強調色などを重畳投影してもよい。また、プロジェクタ２０３が、重複部分に隠れた図４の文字列４０３又は文字列４０３の２文字目に対して強調色などを重畳投影してもよい。

このように、プロジェクタ（投影部）２０３が、欠損部に対応する画像を対象ページに投影することにより、対象ページにおける欠損部の位置を通知してもよい。また、表示装置１２２により、通知部１１５は、対象ページ及びページ画像（第１の画像）の少なくとも１つにおける欠損部の位置をユーザーに通知してもよい。

ステップＳ３０９では、第２の取得部１１２が、撮像部１０１（デジタルカメラ２０１）により対象ページが再撮像された第２の画像から補完画像を取得する。例えば、デジタルカメラ２０１が、図４の第２のめくり位置４２０に対応するめくり方をした場合の対象ページ（ｎページ目）を再撮像する。第２の取得部１１２は、再撮像された対象ページ（ｎページ目）のページ画像（第２の画像）から補完画像を取得する。再撮像する回数は１回に限らず複数回になることもあることから、再撮像をｋ回（１≦ｋ）行った場合のｉ回目のページ画像（第２の画像）をページ画像（第２の画像）ｎ_ｉ（１≦ｉ≦ｋ）とする。

ステップＳ３１０では、補完部１１３が、欠損部に補完画像を補完する。そして、判断部１１１が、欠損部に対応する補完画像の再取得の要否に基づいて、欠損部の補完が完了したか否かを判断する。補完が完了した場合はステップＳ３１１に進む。補完が完了していない場合（即ち、更なる再撮像が必要な場合）はステップＳ３０９に戻り、第２の取得部１１２は、ページ画像（第２の画像）ｎ_ｉ＋１を取得する。このように、第２の取得部１１２は、補完モードの間にデジタルカメラ（撮像部）２０１により撮像された対象ページの画像を第２の画像として取得する。

ステップＳ３１０では、補完画像の再取得の要否を判断する場合、ページ画像（第２の画像）ｎ_ｉまでの補完画像により欠損部（綴じ隠れ部分）を補完したページ画像から、ステップＳ３０７における補完画像の取得の要否と同様の判断が用いられる。

判断部１１１が、原稿２２０をめくった状態における対象ページ以外のページ（原稿２２０のｍ枚目の裏面）と対象ページ（ｎページ目）との重複部分から補完部分を除いた後の重複部分の有無、重複部分の面積、重複部分の位置、重複部分による欠損文字の有無、欠損文字の数、欠損文字の位置、重複部分による欠損項目の有無、欠損項目の数、欠損項目の位置、及び入力された指示の少なくとも１つに基づいて、補完画像の再取得が必要であるか否かを判断すればよい。

例えば、１回目からｉ回目までの再撮像によるページ画像ｎ_１〜ｎ_ｉの補完画像により欠損部を補完した後、補完部分を除いた重複部分の面積比がゼロ又は所定の閾値未満である場合、判断部１１１は、補完が完了したと判断する。

また、対象ページから重複部分を除いた範囲を非重複部分とし、ページ画像ｎ_１〜ｎ_ｉにおける非重複部分の和集合が対象ページのページ画像（第１の画像）に対する面積比が所定の閾値以上である場合、判断部１１１は、補完が完了したと判断してもよい。また、距離センサや所定の間隔のストライプにより算出された紙面の高さ基づいて非重複部分を検出し、非重複部分の和集合が対象ページのページ画像（第１の画像）に対する面積比が所定の閾値以上である場合に、補完が完了したと判断されてもよい。

また、欠損文字により補完完了の判定を行う場合、非重複部分の文字が補完画像により欠損なく文字認識できたときに、判断部１１１は、補完が完了したと判断してもよい。また、欠損項目により補完完了の判定を行う場合、テンプレートの項目の全てを抽出できたときに、判断部１１１は、補完が完了したと判断してもよい。また、ＵＩ部１０２の情報提示手段が、補完画像の再取得（再撮像）が必要であるか否かをユーザーに確認する情報を提示してもよい。なお、これらの判断方法は一例であり、ステップＳ３０７における判断方法と異なる方法が用いられてもよい。

このように、判断部１１１は、補完後における欠損部に対する補完画像の面積比、補完後における欠損文字の有無、補完後における欠損文字の数、補完後における欠損文字の位置、補完後における欠損項目の有無、補完後における欠損項目の数、補完後における欠損項目の位置、及び入力された指示の少なくとも１つに基づいて、補完画像の再取得が不要であると判断する。

また、プロジェクタ２０３が、欠損部又は補完画像の位置を強調する重畳投影を対象ページに行ってもよい。このように、プロジェクタ（投影部）２０３が、欠損部及び補完画像の少なくとも１つに対応する画像を対象ページに投影することにより、対象ページにおける欠損部及び補完画像の少なくとも１つの位置を通知してもよい。また、表示装置１２２により、通知部１１５が、対象ページ、第１の画像、及び第２の画像の少なくとも１つにおける欠損部及び補完画像の少なくとも１つの位置をユーザーに通知してもよい。

また、再撮像１回目からｉ回目までのページ画像ｎ_１〜ｎ_ｉの補完画像により、欠損部が順次補完されるので、補完毎に欠損部の範囲がその都度更新される。プロジェクタ２０３は、更新された欠損部を強調する重畳投影を対象ページに行ってもよい。

ステップＳ３１１では、判断部１１１により補完画像の再取得が不要であると判断された場合、補完モード切替部１１４は補完モードを終了する。この場合、最終的な再撮像によるページ画像（第２の画像）は、ページ画像ｎ_ｋとなる。また、ステップＳ３０８と同様に、画像処理装置２００の通知部１１５が、入出力装置１２１や表示装置１２２により補完モードの終了をユーザーに通知してもよい。

ステップＳ３１２では、補完部１１３が、ページ画像ｎ_１〜ｎ_ｋの補完画像を欠損部に補完することにより対象ページの出力画像を生成する。

出力画像の一例について図８を用いて説明する。図８に示す出力画像８０５は、対象ページのページ画像（第１の画像）８０１の欠損部の画素を、再撮像によるページ画像（第２の画像）８０２から取得された補完画像８０４の画素で上書きして出力された画像である。

図８のページ画像８０１は、図４の第１のめくり位置４１０における対象ページ４０１を撮像した画像から生成されたページ画像（第１の画像）である。ページ画像８０２は、図４の第２のめくり位置４２０における対象ページ４０１を撮像した画像から生成されたページ画像（第２の画像）である。重複部分８０３は、図６のステップＳ６０１で検出された重複部分に対応する。

重複部分８０３に対応するページ画像（第２の画像）８０２の補完画像８０４の画素が抽出され、補完画像８０４の画素がページ画像（第１の画像）８０１の重複部分に上書きされることで、補完部１１３が、欠損部に補完画像８０４を補完する。このように、補完部１１３が、欠損部の画像データと補完画像８０４の画像データとを入れ替えることにより、出力画像８０５を生成する。

ページ画像（第１の画像）８０１とページ画像（第２の画像）８０２の左上頂点を原点とする画素座標により、重複部分８０３に対応する補完画像８０４の画素を抽出する。また、ページ画像に記載されている文字などの記載内容に関する画素を画素座標の規準にして、公知の画像重ね合せ技術によりページ画像８０１，８０２の位置合わせを行い、重複部分８０３に対応する補完画像８０４の画素を抽出してもよい。

また、補完部１１３は、ページ画像（第１の画像）８０１の欠損部の画像データにページ画像（第２の画像）８０２の補完画像８０４の画像データを重畳させることにより、対象ページの出力画像８０５を生成してもよい。この場合、ページ画像（第１の画像）８０１及び補完画像８０４の画像データは、層構造で保存される。

そして、出力画像８０５の表示や印刷の際には、ページ画像（第１の画像）８０１と補完画像８０４とを重ね合わせた１枚のページデータ（画像データ）が出力画像８０５として出力される。このように、２つ以上の画像データの層構造により対象ページを出力することができる電子文書形式としては、ＰＤＦ、ＸＰＳ、及びＳＶＧなどがある。

また、表示装置１２２により、通知部１１５が、出力画像８０５における欠損部及び補完画像８０４の少なくとも１つの位置をユーザーに通知してもよい。

また、補完画像８０４は、等倍又は縮小されたうえで、電子文書形式のページデータに関連付けられて保存されてもよい。そして、電子文書表示アプリケーションがページデータを表示し、補完画像８０４の位置がユーザーにより指定されたときに、関連付けられた補完画像８０４が表示されてもよい。これにより、出力画像８０５がどのような補完画像により補完されたのかを容易に確認することができる。この場合、記憶部１０４が、補完画像８０４及びページ画像（第２の画像）８０２の少なくとも１つを出力画像８０５に関連付けて記憶してもよい。

ステップＳ３１３では、画像処理装置２００が出力画像を出力する。ステップＳ３０７で補完画像の取得が不要であると判断された場合は、ステップＳ３０６で生成されたページ画像（第１の画像）が出力画像として出力される。また、ステップＳ３０７で補完画像の取得が必要であると判断された場合は、ステップＳ３１２で生成された出力画像が出力される。そして、ステップＳ３０４に戻り、“ｎ＋１”ページ以降の処理を繰り返す。

ステップＳ３１４では、原稿２２０の読み取り作業が完了した場合に、画像処理装置２００は、原稿２２０の読み取り作業の１ページから最終ページまでの対象ページの出力画像を電子文書化して、電子文書データを生成し、本処理の出力とする。生成された電子文書データは、記憶部１０４に保持されてもよいし、通信部１０５を介して外部記憶装置に保持されてもよい。

図９は、電子文書データの一例を示す図である。図９の記述９００は、２ページ分のページ画像を有する電子文書データの記述例である。記述９００は、ＳＶＧ形式を模したものであり、実際のデータとは異なる。また、実際に表示可能な電子文書を構成する際には、記述９００から参照される画像データの実体が必要となる。図９では、記述９００を解釈するアプリケーションは、識別子を伴うリンク先から画像データの実体を取得することができるものとし、画像データの実体の記載は省略している

図９の記述９０１は、電子文書の１ページ目に関する記述であり、リンク先にある１ページ目のページ画像の画像データ“ｐ１．ｊｐｇ”をページ範囲いっぱいに描画して表示する記述となっている。

記述９０２は、２ページ目に関する記述であり、２ページ目のページ画像の画像データ“ｐ２．ｊｐｇ”をページ範囲いっぱいに描画して表示する記述となっている。また、記述９０２は、紙面の左上頂点から６１８画素×６０９画素の範囲で、２ページ目のページ画像に補完画像の画素データ“ｐ２ｓ１．ｐｎｇ”を重畳して、２ページ目を表示する記述となっている。更に、記述９０２は、２ページ目を表示中に、紙面の左上頂点から６１８画素×６０９画素の範囲をマウスなどの指示デバイスでクリックすると、指定のスクリプトを実行する記述を含んでいる。

ここでは、記述９０３にて定義されるスクリプト“ｃｌｉｃｋ＿ｐ２ｓ１”が実行される。スクリプト“ｃｌｉｃｋ＿ｐ２ｓ１”が実行されると、２ページ目の補完画像の画像データ“ｐ２ｓ１＿ｏｒｉｇ．ｊｐｇ”が、別途開かれた表示ウィンドウ領域に表示される。

以上説明したように、本実施形態に係る画像処理装置では、原稿をめくった状態における対象ページ以外のページと対象ページとの重複部分により、対象ページに欠損部（綴じ隠れ部分）が発生していることを検知する。そして、画像処理装置は、欠損部に対応する補完画像の取得が必要であると判断された場合、補完モードを開始し、補完モードの開始をユーザーに通知する。補完モード中、欠損部を撮像するために原稿のめくり位置を変えた状態で、撮像部が対象ページの再撮像を行う。画像処理装置は、対象ページが再撮像された第２の画像から補完画像を取得する。

画像処理装置は、対象ページの画像データと補完画像の画像データとを組み合わせることにより、欠損部が補完されたか否かを判断し、欠損部が補完されていれば補完モードを終了する。このとき、対象ページの第１の画像における欠損部が補完画像で補完されるように組み合わされた１ページ分のデータとして、対象ページの出力画像が得られる。

この結果、ユーザーは、現在の撮像している画像が対象ページの第１の画像であるのか、補完画像であるのかを画像処理装置に指示する必要がなくなり、原稿を連続して撮像及び再撮像しながら読み取り作業を行うことができる。そして、再撮像の有無にかかわらず、読み取り作業の各ページがそれぞれ１ページ分の出力画像として利用することが可能な電子文書を取得することができる。

即ち、本発明に係る画像処理装置によれば、ステープラなどで綴じられた複数枚綴りの原稿を、各葉に分離することなくユーザーが手でめくりながら撮像部が対象ページの画像を撮像し、画像処理装置が各ページを連続で読み取ることができる。このとき、対象ページに欠損部（綴じ隠れ部分）がある場合に、欠損部を補完するためにめくり位置を変えて再撮影することにより対象ページの全記載内容を読み取る。

そして、再撮像を必要とする場合であっても、隠れた記載内容を補完した状態で対象ページの出力画像を生成することによりページ単位で参照することができる。この結果、読み取り作業の各ページがそれぞれ１ページ分の出力画像として利用することが可能な電子文書を取得することができる。また、画像処理装置が自動的に補完モードの開始／終了を行うので、ユーザーは、対象ページの画像と補完画像との関連付けを意識しながら読み取り作業を行う必要がなくなり、補完モードの終了後直ちに次の対象ページの撮像を開始することができる。

（その他の実施形態）
図１０Ａは、本発明の他の実施形態に係る画像処理装置の一例を示すブロック図である。図１０Ｂは、本発明のその他の実施形態に係る画像処理装置の動作の一例を示すフローチャートである。図１０では、本発明の実施の形態に係る画像処理装置１００，２００と異なる部分及び機能について主に説明し、その他の部分及び機能については前述の実施形態と共通しているため説明を省略する。例えば、画像処理装置３００は、図２の画像処理装置２００の構成を用いる。

図１０Ａに示すように、画像処理装置３００は、画像判定部１１６を更に備える。画像判定部１１６は、対象ページのページ画像（第１の画像）の後に撮像された画像と対象ページのページ画像（第１の画像）との一致度を算出する。そして、画像判定部１１６は、一致度が所定の閾値以上である場合に、対象ページのページ画像（第１の画像）の後に撮像された画像を、対象ページの再撮像によるページ画像（第２の画像）と判定する。

次に、画像処理装置３００の動作について説明する。図１０ＢのステップＳ１００１では、ユーザーが原稿２２０を読み取り面２１０に置き、ＵＩ部１０２を介して画像処理装置２００に読み取り作業の開始を指示する。また、ステップＳ１００１では、撮像ページのカウンタＮ及び撮像回数のカウンタＪを初期化（Ｎ＝１，Ｊ＝１）する。

ステップＳ１００２では、画像処理装置２００のデジタルカメラ２０１が、原稿２２０の１ページ目に対して１回目の撮像を行う。ステップＳ１００３では、第１の取得部１１０は、原稿２２０の１ページ目のページ画像を１回目の撮像画像から取得する。ページ画像を取得する処理は、図３のステップＳ３０３の処理と同様である。

ステップＳ１００４では、撮像回数のカウンタがインクリメント（＋１）される。ステップＳ１００５では、原稿２２０のｊ回目（Ｊ＝ｊ）の撮像を行う。

ステップＳ１００６では、ステップＳ１００５で撮像されたｊ回目の撮像画像が、既に撮像されたｎページ目（１＜ｎ）の再撮像による画像（第２の画像）であるか、あるいはｎページ目以外のページ（“ｎ＋１”ページ目）のページ画像であるかを判定する。即ち、ｎページ目のページ画像（第１の画像）の欠損部を補完するために対象ページが再撮像されたか、あるいは補完画像が不要であるとしてｎページ目以外のページが撮像されたかを、画像判定部１１６がｊ回目の撮像画像から判定する。

ｊ回目の撮像画像がｎページ目（１＜ｎ）の再撮像による画像であると判定された場合は、ステップＳ１００７に進む。ｊ回目の撮像画像がｎページ目以外のページの撮像による画像であると判定された場合は、ステップＳ１００８に進む。

１ページ目（Ｎ＝１）が原稿２２０の１枚目の表面である場合は欠損部がないものと想定されるので、１ページ目については、ページ画像（第１の画像）が１ページ目に対応する出力画像データとなる。ただし、１枚目の表面であっても欠損部がある場合は、補完部１１３が欠損部に補完画像を補完してもよい。この場合も、ステップＳ１００４〜Ｓ１００６を経由してステップＳ１００７かステップＳ１００８に進む。

ステップＳ１００６における判定処理の一例について説明する。ｎページ目のページ画像（第１の画像）に欠損部があるか否かが判断される。具体的には、図３のステップＳ３０７と同様の処理が施され、欠損部に対応する補完画像の取得が必要であるか否かが判断される。なお、ステップＳ１００７では、ステップＳ３０７における判断部１１１の検出や判定や判断の信頼度よりも低い信頼度により、ｎページ目のページ画像（第１の画像）に欠損部があるか否かが判断されてもよい。

次に、ｊ回目の撮像画像から対象ページのページ画像Ｐ_ｊが取得される。第１の画像を取得する処理は、図３のステップＳ３０６と同様の処理が施される。画像判定部１１６は、既に撮像されたｎページ目のページ画像（第１の画像）とページ画像Ｐ_ｊとを比較する。これらの画像が一致する部分のページ全体に対する割合が所定の閾値ａ％以上であり、かつこれらの画像が一致しない部分のページ全体に対する割合が所定の閾値ｂ％以上である場合、ｊ回目の撮像画像がｎページ目の再撮像による画像であると判定される。

ｎページ目のページ画像（第１の画像）とページ画像Ｐ_ｊとの一致／不一致は、これらの画像の大きさを統一し、画素単位あるいは所定の画素範囲単位で、これらの画像の画素値から算出される差分量に基づいて判定されてもよい。また、公知のＯＣＲ技術により、ｎページ目のページ画像（第１の画像）とページ画像Ｐ_ｊの画像に文字パターン抽出処理及び認識処理が施され、それぞれの記載内容及び位置に基づいて一致／不一致が判定されてもよい。

なお、原稿によってはｎページ目のページ画像とｎページ目以外のページ画像とが同一の記載内容及び位置である場合がある。このような場合は、他の判定処理が追加されてもよい。例えば、厚みのある原稿２２０では、めくられたページを読み取り面２１０上に平坦に押さえることができず、図４の原稿綴じ位置４０２付近がデジタルカメラ２０１の死角になる場合がある。このような場合は、ユーザーは原稿２２０の向きを変えて、原稿綴じ位置４０２付近がデジタルカメラ２０１の死角にならないようにして再撮像を行う。

したがって、補正処理を施す前のｊ回目の撮影画像の位置や向きが、ｎページ目のページ画像と比べて所定の閾値以上に変化している場合は、ｊ回目の撮像画像がｎページ目の再撮像による画像であると判定されてもよい。一方、ｊ回目の撮影画像の位置や向きが所定の閾値以上に変化していない場合は、ｎページ目のページ画像（第１の画像）とページ画像Ｐ_ｊとの一致度が高くても、ｊ回目の撮像画像がｎページ目の再撮像による画像ではないと判定されてもよい。

また、原稿２２０を押さえている状態の指などを撮像画から検知し、指などの数や位置の変化に基づいて、ｊ回目の撮像画像がｎページ目の再撮像による画像であるか、あるいはｎページ目以外のページが撮像されたかが判定されてもよい。

そして、欠損部があるか否かの判断部１１１による判断とｊ回目の撮像がｎページ目の再撮像であるか否かの画像判定部１１６による判定とを組み合わせて、欠損部に対応する補完画像の再取得の要否が判断部１１１により総合的に判断される。なお、欠損部があるか否かの判断又はｊ回目の撮像がｎページ目の再撮像であるか否かの判定の信頼度が所定の閾値未満である場合は、ＵＩ部１０２の情報提示手段が、補完画像の取得（補完撮像）が必要であるか否かをユーザーに確認する情報を提示してもよい。

図１０に戻り、ステップＳ１００６で補完撮像が必要であると判断された場合は、ステップＳ１００７に進み、補完部１１３は、ｎページ目のページ画像（第１の画像）の欠損部に、ｊ回目のページ画像（第２の画像）から取得された補完画像を補完する。欠損部に補完画像を補完する処理は、図３のステップＳ３１２の処理と同様である。そして、ステップＳ１００４に戻って以降の同様の処理を繰り返す。

一方、ステップＳ１００６で補完撮像が不要であると判断された場合は、ステップＳ１００８に進み、撮像ページのカウンタＮをインクリメント（＋１）する。

ステップＳ１００９では、第１の取得部１１０が、ステップＳ１００５で撮像されたｊ回目の撮像画像からｎページ目のページ画像を生成する。ステップＳ１００９の処理は、図３のステップＳ３０６の処理と同様である。

ステップＳ１０１０では、原稿２２０の読み取り作業の最終ページまで撮像が完了している否かが判断される。原稿２２０の読み取り作業の最終ページまで撮像が完了している場合（例えば、原稿２２０の綴り枚数のＭ枚目まで撮像が完了している場合）、ステップＳ１０１１に進む。原稿２２０の読み取り作業の最終ページまで撮像が完了していない場合、ステップＳ１００４に戻って以降の処理を繰り返す。

なお、最終ページの撮像が完了しているか否かは、ユーザーからの読み取り完了の指示により判断されてもよい。例えば、プロジェクタ２０３が指示受付手段として投影した読み取り完了ボタンをユーザーがタッチすることで、読み取り完了の指示が出力される。この場合、ユーザーが読み取り完了ボタンにタッチしたことを、ジェスチャー検知センサ２０２が検知する。

また、画像処理装置２００、読み取り面２１０、及びリモコンなどに設置されたボタンやマウス操作や音声入力によって読み取り完了の指示が検知及び出力されてもよい。また、デジタルカメラ２０１による撮像が所定の時間行われなかったことを検知して、読み取り完了の指示が出力されてもよい。また、重量や赤外線反射率の変化などにより読み取り面２１０上の物体を検知するセンサを画像処理装置２００が備え、原稿２２０が読み取り面２１０から取り除かれたことをセンサが検知し、読み取り完了の指示が出力されてもよい。

ステップＳ１０１１では、画像処理装置２００が、原稿２２０の読み取り作業の１ページから最終ページまでの対象ページの出力画像を電子文書化して、電子文書データを生成し、本処理の出力とする。生成された電子文書データは、記憶部１０４に保持されてもよいし、通信部１０５を介して外部記憶装置に保持されてもよい。なお、欠損部が補完画像で補完された場合も、ステップＳ１０１１では１ページ分のデータとして対象ページの出力画像が得られる。

以上説明したように、本実施形態に係る画像処理装置では、撮像部１０１の撮像が対象ページ（ｎページ目）の再撮像であるか否かを、画像判定部１１６が判定する。そして、撮像部１０１の撮像が対象ページ（ｎページ目）の再撮像であると判定された場合は、再撮像の画像ページから取得された補完画像を欠損部に補完する。

この結果、ユーザーは、現在の撮像が対象ページ（ｎページ目）の再撮像であるか否かを判断して画像処理装置に指示する必要がなくなり、対象ページの撮像及び再撮像を連続して行いながら読み取り作業をすることができる。そして、欠損部を補完したか否かにかかわらず、読み取り作業の１ページから最終ページまでの対象ページがそれぞれ連続したページとして電子文書化された電子文書データを得ることができる。

１００，２００，３００画像処理装置
１０１撮像部
１０２ＵＩ部
１０３制御部
１０４記憶部
１０５通信部
１１０第１の取得部
１１１判断部
１１２第２の取得部
１１３補完部
１１４補完モード切替部
１１５通知部
１１６画像判定部
１２０カメラ
１２１入出力装置
１２２表示装置
１２３処理装置
１２４記憶装置

Claims

複数枚綴りの原稿のうち対象ページの画像を撮像する撮像手段と、
前記対象ページの画像を第１の画像として取得する第１の取得手段と、
前記第１の画像に欠損部がある場合に、前記欠損部に対応する補完画像の取得が必要であるか否かを判断する判断手段と、
前記補完画像の取得が必要であると判断された場合に、前記撮像手段により前記対象ページが再撮像された第２の画像から前記補完画像を取得する第２の取得手段と、
前記欠損部に前記補完画像を補完することにより前記対象ページの出力画像を生成する補完手段と
を備えることを特徴とする画像処理装置。
前記判断手段は、前記原稿をめくった状態における前記対象ページ以外のページと前記対象ページとの重複部分の有無、前記重複部分の面積、前記重複部分の位置、前記重複部分による欠損文字の有無、前記欠損文字の数、前記欠損文字の位置、前記重複部分による欠損項目の有無、前記欠損項目の数、前記欠損項目の位置、及び入力された指示の少なくとも１つに基づいて、前記補完画像の取得が必要であるか否かを判断することを特徴とする請求項１に記載の画像処理装置。
前記判断手段は、前記対象ページに応じて予め設定された項目と前記第１の画像から抽出された項目とを比較することにより前記欠損項目を抽出することを特徴とする請求項２に記載の画像処理装置。
前記補完手段は、前記欠損部の画像データと前記補完画像の画像データとを入れ替えることにより、又は前記欠損部の画像データに前記補完画像の画像データを重畳させることにより、前記出力画像を生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
前記補完画像及び前記第２の画像の少なくとも１つを前記出力画像に関連付けて記憶する記憶手段を備えることを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
前記補完画像の取得が必要であると判断された場合に、前記欠損部に前記補完画像を補完する補完モードに切り替える補完モード切替手段を備え、
前記第２の取得手段は、前記補完モードの間に前記撮像手段により撮像された前記対象ページの画像を前記第２の画像として取得することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
前記判断手段は、補完後における前記欠損部に対する前記補完画像の面積比、補完後における欠損文字の有無、補完後における前記欠損文字の数、補完後における前記欠損文字の位置、補完後における欠損項目の有無、補完後における前記欠損項目の数、補完後における前記欠損項目の位置、及び入力された指示の少なくとも１つに基づいて、前記補完画像の再取得が不要であると判断し、
前記補完モード切替手段は、前記補完画像の再取得が不要であると判断された場合に、前記補完モードを終了することを特徴とする請求項６に記載の画像処理装置。
前記対象ページ、前記第１の画像、前記第２の画像、及び前記出力画像の少なくとも１つにおける前記欠損部及び前記補完画像の少なくとも１つの位置を通知する通知手段を備えることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
前記欠損部及び前記補完画像の少なくとも１つに対応する画像を前記対象ページに投影することにより、前記対象ページにおける前記欠損部及び前記補完画像の少なくとも１つの位置を通知する投影手段を備えることを特徴とする請求項１乃至８の何れか１項に記載の画像処理装置。
前記第１の画像の後に撮像された画像と前記第１の画像との一致度を算出し、前記一致度が所定の閾値以上である場合に、前記第１の画像の後に撮像された前記画像を前記第２の画像と判定する画像判定手段を備えることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
複数枚綴りの原稿のうち対象ページの画像を撮像する撮像工程と、
前記対象ページの画像を第１の画像として取得する第１の取得工程と、
前記第１の画像に欠損部がある場合に、前記欠損部に対応する補完画像の取得が必要であるか否かを判断する判断工程と、
前記補完画像の取得が必要であると判断された場合に、前記対象ページが再撮像された第２の画像から前記補完画像を取得する第２の取得工程と、
前記欠損部に前記補完画像を補完することにより前記対象ページの出力画像を生成する補完工程と
を備えることを特徴とする画像処理方法。
コンピューターを、請求項１乃至１０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータープログラム。