JP5231667B2 - 撮像装置、撮像装置における表示方法、撮像装置における画像処理方法、プログラムおよび記録媒体 - Google Patents
撮像装置、撮像装置における表示方法、撮像装置における画像処理方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP5231667B2 JP5231667B2 JP2012070181A JP2012070181A JP5231667B2 JP 5231667 B2 JP5231667 B2 JP 5231667B2 JP 2012070181 A JP2012070181 A JP 2012070181A JP 2012070181 A JP2012070181 A JP 2012070181A JP 5231667 B2 JP5231667 B2 JP 5231667B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- unit
- image
- imaging
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、画像取得の領域に関するものであり、特に、画像取得を助けるためのリアルタイムでの撮像キューを供給する方法およびシステムに関する。
デジタルカメラおよびカメラを備えた携帯端末の普及により、文書の画像あるいは文書を含む表示物（例えば、標識、ホワイトボード、黒板、ポスター、投影されたスライド、あるいはその他の文書を表示する物）を撮像する機会が増加している。このような文書が撮像された文書画像データは、従来の文書処理ワークフロー（例えば、印刷、文字認識処理（ＯＣＲ；optical character recognition）、圧縮、保存、あるいはその他の文書処
理ワークフロープロセス）に供給される。しかしながら、スキャナを用いて得られた文書画像データと違って、カメラ等の撮像手段により撮像された文書画像データは、撮像条件におけるネガティブな影響のために、限定された有用性を有する。ネガティブな影響とは、例えば、低光量、文書に対するカメラのセンサ面の過度の傾斜、カメラと文書との距離などである。画像取得時におけるアーチファクト（欠陥）の多くがその後の画像処理によって補正されるが、極端に低い品質の撮像画像については、画像処理だけでは、有用な情報に回復させることが困難である。そこで、有用で、より良い品質の画像を取得するために、ユーザによる画像取得を助けるためのリアルタイムの撮像キューをする提供する方法、システムおよび装置が望まれている。
理ワークフロープロセス）に供給される。しかしながら、スキャナを用いて得られた文書画像データと違って、カメラ等の撮像手段により撮像された文書画像データは、撮像条件におけるネガティブな影響のために、限定された有用性を有する。ネガティブな影響とは、例えば、低光量、文書に対するカメラのセンサ面の過度の傾斜、カメラと文書との距離などである。画像取得時におけるアーチファクト（欠陥）の多くがその後の画像処理によって補正されるが、極端に低い品質の撮像画像については、画像処理だけでは、有用な情報に回復させることが困難である。そこで、有用で、より良い品質の画像を取得するために、ユーザによる画像取得を助けるためのリアルタイムの撮像キューをする提供する方法、システムおよび装置が望まれている。
特許文献１には、撮像装置の姿勢を検知し、その検知結果に基づいて補正を行うことを示すアイコンや文字をプレビュー表示の妨げにならないように表示する技術が開示されている。
しかしながら、画像を撮像する際に注意すべき項目（撮像要素）としては、撮像装置の姿勢だけに限定されるものではない。例えば、露出（露光）や、撮像画像における撮像対象物の大きさ、コントラスト、ぼやけなども撮像要素となりうる。このような複数の撮像要素について特許文献１に記載の技術を適用すれば、撮像要素ごとに撮像条件を満たしているか否かの表示がされ、プレビュー画像を確認し難いという問題がある。
本発明は、上記課題を解決するためになされたものであり、複数の撮像要素の確認とともに、プレビュー画像の確認を行い易い撮像装置、撮像装置における表示方法、プログラムおよび記録媒体を提供することを目的とする。
本発明の撮像装置は、対象物を撮像する撮像手段と、上記撮像手段により撮像された画像であるプレビュー画像を表示する表示手段と、指定されたタイミングで上記表示手段に表示されているプレビュー画像を取込画像として取り込む取込画像決定部とを備える撮像装置において、上記対象物が矩形であり、上記プレビュー画像において、上記対象物と背景との四角形の境界線を検出する境界検出部と、画像の品質を示す複数の撮像要素の各々について、上記プレビュー画像から、当該撮像要素に対応する特徴量を抽出する撮像要素
抽出部と、撮像要素ごとに、当該撮像要素に対応する特徴量が当該撮像要素に対応する撮像条件を満たすか否かを判定する判定部と、上記表示手段において、上記プレビュー画像の上に上記境界線を重ねて表示させるとともに、上記判定部により撮像条件を満たしていないと判定された撮像要素について、上記判定部による判定結果を示すアイコンおよび文字列の少なくとも一方を上記プレビュー画像の上に重ねて表示させ、上記判定部により撮像条件を満たしていると判定された撮像要素については、上記判定部による判定結果を表示させない表示制御部とを備えることを特徴とする。
抽出部と、撮像要素ごとに、当該撮像要素に対応する特徴量が当該撮像要素に対応する撮像条件を満たすか否かを判定する判定部と、上記表示手段において、上記プレビュー画像の上に上記境界線を重ねて表示させるとともに、上記判定部により撮像条件を満たしていないと判定された撮像要素について、上記判定部による判定結果を示すアイコンおよび文字列の少なくとも一方を上記プレビュー画像の上に重ねて表示させ、上記判定部により撮像条件を満たしていると判定された撮像要素については、上記判定部による判定結果を表示させない表示制御部とを備えることを特徴とする。
また、本発明の表示方法は、対象物を撮像する撮像手段と、上記撮像手段により撮像された画像であるプレビュー画像を表示する表示手段と、指定されたタイミングで上記表示手段に表示されているプレビュー画像を取込画像として取り込む取込画像決定部とを備える撮像装置における表示方法であって、上記対象物が矩形であり、上記プレビュー画像において、上記対象物と背景との四角形の境界線を検出する境界検出ステップと、画像の品質を示す複数の撮像要素の各々について、上記プレビュー画像から、当該撮像要素に対応する特徴量を抽出する撮像要素抽出ステップと、撮像要素ごとに、当該撮像要素に対応する特徴量が当該撮像要素に対応する撮像条件を満たすか否かを判定する判定ステップと、上記表示手段において、上記プレビュー画像の上に上記境界線を重ねて表示させるとともに、撮像条件を満たしていないと判定された撮像要素について、上記判定ステップの判定結果を示すアイコンおよび文字列の少なくとも一方を上記プレビュー画像の上に重ねて表示させ、撮像条件を満たしていると判定された撮像要素については、上記判定ステップの判定結果を表示させない表示制御ステップとを含むことを特徴とする。
上記の構成によれば、複数の撮像要素について、判定結果を示すアイコンおよび文字列の少なくとも一方が表示される。そのため、複数の撮像要素についてユーザは判定結果を確認しながら撮像を行うことができる。また、撮像条件を満たさない撮像要素のみに対応する判定結果が表示される。そのため、プレビュー画像に重ねて表示されるアイコンや文字列の数が通常少なくて済み、プレビュー画像における対象物を確認しやすくなる。
また、本発明の撮像装置において、上記取込画像決定部は、上記複数の撮像要素の全てについて撮像条件を満たすと上記判定部により判定された場合を上記指定されたタイミングであると判断することが好ましい。
上記の構成によれば、取込画像決定部は、自動的に取込画像を決定することができる。そのため、ユーザがシャッタボタンを操作しなくても取込画像を決定できるので、シャッタボタンを操作することによる対象物のブレや対象物が撮像範囲からはみ出すことを防止できる。
また、本発明の撮像装置において、上記表示制御部は、上記判定結果の表示形態として、アイコンのみ、文字列のみ、アイコンおよび文字列、の何れかの選択指示を受け付け、受け付けた表示形態で上記判定結果を表示させることが好ましい。
上記の構成によれば、撮像装置の操作に慣れないときには、アイコンと文字列との両方を表示させ、操作に慣れてきた段階で、アイコンのみを表示させることができる。これにより、ユーザのレベルに合わせた表示を行うことができる。また、アイコンおよび文字列の一方のみを選択した場合には、プレビュー画像に重ねて表示される判定結果の領域が狭くなるため、ユーザがプレビュー画像を確認しやすくなる。
また、本発明の撮像装置において、上記表示制御部は、上記四角形の境界線の外側に上記判定結果を表示させることが好ましい。上記の構成によれば、ユーザは、プレビュー画像における対象物を確認しやすくなる。
また、本発明の撮像装置において、上記表示制御部は、複数の撮像要素の各々について、判定結果の表示のオンおよびオフの切替指示を受け付け、オンの指示を受けた撮像要素についてのみ上記判定結果を表示させることが好ましい。
上記の構成によれば、撮像条件を満たすことが難しいと思われる撮像要素についてだけ判定結果を表示させることができる。これにより、プレビュー画像をみながら、効率よく適切な画像を撮像することができる。
また、本発明の撮像装置は、上記取込画像における対象物の領域を特定する領域特定部と、上記領域特定部により特定された対象物の領域の位置に対する修正指示を受け付けたときに当該修正指示に従って対象物の領域の修正する領域修正部と、上記領域修正部による対象物の領域が修正されていない場合、上記取込画像と、上記領域特定部により特定された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されていないことを示す識別子とをクラウド・コンピュータに送信し、上記領域修正部による対象物の領域が修正された場合、上記取込画像と、上記領域修正部により修正された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されたことを示す識別子とをクラウド・コンピュータに送信する送信部と、上記クラウド・コンピュータにより画像処理が実行された取込画像を受信する受信部とを備えることが好ましい。
上記の構成によれば、撮像装置に高機能を付加することなく、良好な品質の画像データを得ることができる。
また、本発明の撮像装置において、上記送信部は、クラウド・コンピュータで実行される画像処理の内容を示す情報と、上記取込画像を取り込む際に撮像要素抽出部により抽出された特徴量とを、上記取込画像とともにクラウド・コンピュータに送信することが好ましい。
上記の構成によれば、クラウド・コンピュータで実行される画像処理の内容を撮像装置で特定することができる。また、クラウド・コンピュータが撮像要素の特徴量を利用することにより、クラウド・コンピュータの処理の負荷を低減できる。
なお、上記撮像装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより撮像装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。
本発明によれば、撮像手段により撮像された画像における輝度を背景の状況に応じて適切に補正することができるという効果を奏する。
本発明の実施形態は、撮像処理においてリアルタイムでフィードバックによるキューを提供する方法およびシステムに関するものである。本発明の一実施形態によれば、撮像条件に関連したキューを含むプレビュー画像が表示される。また、撮像要素に対応する特徴量が撮像条件の範囲内であるか否かを示すキューが表示されてもよい。もしくは、プレビュー画像から画像の特徴量が抽出され、当該特徴量により撮像要素に対応する特徴量が決定され、撮像条件の範囲内であるかが決定されてもよい。
本発明の前述および他の目的、特徴、効果は、図面とともに以下の説明を考慮することで容易に理解されるであろう。
本発明の一実施形態は、図面を参照することによってより理解されるであろう。図面では、類似する部材には、類似する番号が付けられている。上述した図面は、詳細な説明の一部として特別に援用される。
図面において図示され、説明されるように、本発明の実施形態は、異なる構成の幅広い変形例で変更または設定されてもよいことが十分に理解されるであろう。このように、本発明の方法およびシステムに係る実施形態の以下の詳細な説明は、本発明の目的を限定するものではなく、単に、本発明の好ましい一実施形態を代表するものにすぎない。
本発明の実施形態の構成は、ハードウェアによって実現されてもよいし、コンピュータシステムをプログラムするために使用され、各種の命令が格納されたコンピュータ読取可能な記録媒体を含む、ファームウェアおよび／またはコンピュータプログラムの製品によって実現されてもよい。ここで述べる実施形態は単にこれらの形態の一例にすぎず、当業者であれば、本発明の目的の範囲内で、様々な形態の構成を導き出してもよい。
デジタルカメラおよびカメラを備えた携帯端末の普及により、文書の画像あるいは文書を含む表示物（例えば、標識、ホワイトボード、黒板、ポスター、投影されたスライド、あるいはその他の文書を表示する物）を撮像する機会が増加している。このような文書が撮像された文書画像データは、従来の文書処理ワークフロー（例えば、印刷、文字認識処理（ＯＣＲ；optical character recognition）、圧縮、保存、あるいはその他の文書処
理ワークフロープロセス）に供給される。しかしながら、スキャナを用いて得られた文書画像データと違って、カメラ等の撮像手段により撮像された文書画像データは、撮像条件におけるネガティブな影響のために、限定された有用性を有する。ネガティブな影響とは、例えば、低光量、文書に対するカメラのセンサ面の過度の傾斜、カメラと文書との距離などである。画像取得時におけるアーチファクト（欠陥）の多くがその後の画像処理によって補正されるが、極端に低い品質の撮像画像については、画像処理だけでは、有用な情報に回復させることが困難である。そこで、有用で、より良い品質の画像を取得するために、ユーザによる画像取得を助けるためのリアルタイムの撮像キューをする提供する方法、システムおよび装置が望まれている。
理ワークフロープロセス）に供給される。しかしながら、スキャナを用いて得られた文書画像データと違って、カメラ等の撮像手段により撮像された文書画像データは、撮像条件におけるネガティブな影響のために、限定された有用性を有する。ネガティブな影響とは、例えば、低光量、文書に対するカメラのセンサ面の過度の傾斜、カメラと文書との距離などである。画像取得時におけるアーチファクト（欠陥）の多くがその後の画像処理によって補正されるが、極端に低い品質の撮像画像については、画像処理だけでは、有用な情報に回復させることが困難である。そこで、有用で、より良い品質の画像を取得するために、ユーザによる画像取得を助けるためのリアルタイムの撮像キューをする提供する方法、システムおよび装置が望まれている。
＜実施形態１＞
本発明の一実施形態について説明する。本実施形態では、プレビュー画像である１以上の画像フレームが処理され、矩形である撮像対象物と背景との境界を構成する境界エッジや、撮像要素（例えば、露光量など）が抽出される。また、抽出された撮像要素から、ユーザの撮像を助けるためのキュー（撮像キューという）が決定され、リアルタイムでユーザにフィードバックするように、当該キューがカメラの画面に表示される。キューは、例えば、露出、原稿サイズ、カメラの傾きなどの撮像要素に関連している。
本発明の一実施形態について説明する。本実施形態では、プレビュー画像である１以上の画像フレームが処理され、矩形である撮像対象物と背景との境界を構成する境界エッジや、撮像要素（例えば、露光量など）が抽出される。また、抽出された撮像要素から、ユーザの撮像を助けるためのキュー（撮像キューという）が決定され、リアルタイムでユーザにフィードバックするように、当該キューがカメラの画面に表示される。キューは、例えば、露出、原稿サイズ、カメラの傾きなどの撮像要素に関連している。
（携帯端末装置の構成）
図６は、本実施形態に係る、撮像機能を備えた携帯端末装置（撮像装置）の構成を示すブロック図である。図６に示されるように、携帯端末装置６は、撮像部（撮像手段）６１と、表示部６２と、入力部６３と、記憶部６４と、境界検出部６５と、撮像要素抽出部６６と、撮像品質判定部６７と、表示制御部６８と、取込画像決定部６９とを備えている。
図６は、本実施形態に係る、撮像機能を備えた携帯端末装置（撮像装置）の構成を示すブロック図である。図６に示されるように、携帯端末装置６は、撮像部（撮像手段）６１と、表示部６２と、入力部６３と、記憶部６４と、境界検出部６５と、撮像要素抽出部６６と、撮像品質判定部６７と、表示制御部６８と、取込画像決定部６９とを備えている。
本実施形態の携帯端末装置６は、文書あるいは文書を含む表示物（例えば、ホワイトボード、黒板、ポスター、投影されたスライド、あるいはその他の文書を表示する物）を撮像対象物として撮像する文書撮像モードを有している。ユーザは、文書撮像モードの有効／無効のいずれかに設定することができる。なお、このような撮像対象物は、文書が記載された面の法線方向からみたとき矩形である。
境界検出部６５、撮像要素抽出部６６、撮像品質判定部６７および表示制御部６８は、文書撮像モードが有効に設定されている場合に動作するブロックである。
撮像部６１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行い、撮像により得られた画像（プレビュー画像）を表示部６２に表示させる。これにより、ユーザは、プレビュー画像を見ながら、記憶部６４に画像データとして格納すべき取込画像を取り込むタイミングを決定することができる。
表示部６２は、例えば液晶ディスプレイなどにより構成されるものである。また，入力部６３は、複数のボタンを有しており、ユーザがデータの入力や撮像装置の操作等を行うためのものである。入力部６３は、画像データとして取り込む取込画像を決定するためのシャッタボタンを有している。記憶部６４は、取込画像を示す取込画像データなどの各種データを記憶するものである。
取込画像決定部６９は、入力部６３のシャッタボタンが押下されたタイミングで撮像部６１が撮像した画像を示す画像データを、取込画像データとして記憶部６４に保存する。
境界検出部６５は、撮像部６１により撮像され、表示部６２に表示されているプレビュー画像を示す画像データ（プレビュー画像データ）に基づいて、矩形の撮像対象物と背景との境界線を検出するものである。撮像対象物と背景との境界は濃度が急峻に変化するエ
ッジ画素で構成される。そこで、境界検出部６５は、エッジ画素に基づいて、境界線を検出する。なお、矩形の撮像対象物を撮像しているため、撮像対象物と背景との境界線は、四角形となり、当該四角形の上辺、左辺、右辺、下辺の各々を構成する上境界線、左境界線、右境界線、下境界線からなる。境界検出部６５は、これら４つの境界線を検出する。この検出方法の詳細については後述する。
ッジ画素で構成される。そこで、境界検出部６５は、エッジ画素に基づいて、境界線を検出する。なお、矩形の撮像対象物を撮像しているため、撮像対象物と背景との境界線は、四角形となり、当該四角形の上辺、左辺、右辺、下辺の各々を構成する上境界線、左境界線、右境界線、下境界線からなる。境界検出部６５は、これら４つの境界線を検出する。この検出方法の詳細については後述する。
撮像要素抽出部６６は、プレビュー画像データに基づいて、プレビュー画像の品質を示す複数の撮像要素の各々について、当該撮像要素の度合いを示す特徴量を抽出するものである。複数の撮像要素としては、例えば、露出、撮像対象物のサイズ（以下、原稿サイズという）、撮像対象物に対する撮像部６１の傾きによる幾何学的歪み、コントラスト、撮像部６１の動きによるぼやけ、などがある。なお、撮像要素に対応する特徴量の抽出例については後述する。
撮像品質判定部６７は、撮像要素ごとに、撮像要素抽出部６６により抽出された特徴量が予め定められた撮像条件を満たすか否かを判定し、その判定結果を表示制御部６８に出力するものである。
表示制御部６８は、プレビュー画像が表示されている表示部６２の画面を制御するものである。具体的には、表示制御部６８は、境界検出部６５により検出された境界線をプレビュー画像の上に重ねて表示するとともに、撮像要素ごとに撮像品質判定部６７の判断結果を示す判定結果情報（撮像キュー）を表示する。判定結果情報は、ユーザが品質の良い状態の画像を取り込みやすいように表示される情報である。
（携帯端末装置の処理の流れ）
本実施形態の処理の流れについて図１を参照しながら説明する。まず、撮像部６１は、撮像した画像であり、表示部６２に表示させるプレビュー画像（プレビューフレーム画像）を示すプレビュー画像データを生成する（１００）。そして、境界検出部６５が境界線を検出するとともに、撮像要素抽出部６６が撮像要素に対応する特徴量を抽出する（１０２）。撮像品質判定部６７は、この抽出処理の結果に基づいて撮像要素ごとに撮像条件を満たすか否かを判定する（１０４）。表示制御部６８は、その判定結果を用いて、判定結果情報（撮像キューなど）を決定する。そして、表示制御部６８は、プレビュー画像の上に、決定された１以上の判定結果情報を重ねて表示する（１０６）。その後、１００の処理に戻り、再度１００〜１０６の処理が繰り返される。このようにして、携帯端末装置６の表示部６２の画面に、判定結果情報（撮像キュー）を含むプレビュー画像が表示される。
本実施形態の処理の流れについて図１を参照しながら説明する。まず、撮像部６１は、撮像した画像であり、表示部６２に表示させるプレビュー画像（プレビューフレーム画像）を示すプレビュー画像データを生成する（１００）。そして、境界検出部６５が境界線を検出するとともに、撮像要素抽出部６６が撮像要素に対応する特徴量を抽出する（１０２）。撮像品質判定部６７は、この抽出処理の結果に基づいて撮像要素ごとに撮像条件を満たすか否かを判定する（１０４）。表示制御部６８は、その判定結果を用いて、判定結果情報（撮像キューなど）を決定する。そして、表示制御部６８は、プレビュー画像の上に、決定された１以上の判定結果情報を重ねて表示する（１０６）。その後、１００の処理に戻り、再度１００〜１０６の処理が繰り返される。このようにして、携帯端末装置６の表示部６２の画面に、判定結果情報（撮像キュー）を含むプレビュー画像が表示される。
（撮像要素の値の抽出処理）
次に、図２を参照して撮像要素（画像特徴）の度合いを示す特徴量の抽出処理について説明する。まず、撮像要素抽出部６６は、プレビュー画像データをダウンサンプリングして、低解像度の画像データに変換する（２００）。例えば、Ａｎｄｒｏｉｄ（登録商標）のオペレーティングシステムで動作するＧｏｏｇｌｅ（登録商標）Ｇ１スマートフォンの場合、４８０×３２０画素の解像度のプレビュー画像データを生成している。この場合、撮像要素抽出部６６は、ダウンサンプリングにより２４０×１６０画素の画像データを生成する。また、ダウンサンプリングされた画像データを、グレースケールの輝度データに変換してもよい（２０２）。そして、撮像要素抽出部６６は、撮像要素である露出に対応する特徴量として、輝度データから露光量Ｓを以下の式に従って算出する（２０４）。なお、Ｉ（ｘ，ｙ）は、画素位置（ｘ、ｙ）におけるグレースケールの画像の値（輝度値）を示している。
次に、図２を参照して撮像要素（画像特徴）の度合いを示す特徴量の抽出処理について説明する。まず、撮像要素抽出部６６は、プレビュー画像データをダウンサンプリングして、低解像度の画像データに変換する（２００）。例えば、Ａｎｄｒｏｉｄ（登録商標）のオペレーティングシステムで動作するＧｏｏｇｌｅ（登録商標）Ｇ１スマートフォンの場合、４８０×３２０画素の解像度のプレビュー画像データを生成している。この場合、撮像要素抽出部６６は、ダウンサンプリングにより２４０×１６０画素の画像データを生成する。また、ダウンサンプリングされた画像データを、グレースケールの輝度データに変換してもよい（２０２）。そして、撮像要素抽出部６６は、撮像要素である露出に対応する特徴量として、輝度データから露光量Ｓを以下の式に従って算出する（２０４）。なお、Ｉ（ｘ，ｙ）は、画素位置（ｘ、ｙ）におけるグレースケールの画像の値（輝度値）を示している。
また、露光量は、露出オーバーと露出アンダーとを検知するためのヒストグラム分析により決定されてもよい。
次に、撮像要素抽出部６６は、グレースケールの画像データを２値化する（２０６）。２値化データＡ（ｘ、ｙ）は、以下の式で示される。
ここで、ｔは閾値であり、Ａ（ｘ、ｙ）が１である画素は、撮像対象物である文書の領域であることを示している。本実施形態では、ｔ＝１００が設定される。文書などの撮像対象物は、用紙などの白地の物に文字が記載されていることが一般的である。そのため、撮像対象物を撮像した場合、撮像対象物の領域の輝度は高く、背景の領域の輝度は低くなる。よって、上記のように輝度により２値化することで、文書などの撮像対象物の領域と背景の領域とを概ね分離することができる。
次に、境界検出部６５は、ｘ方向の画像勾配とｙ方向の画像勾配とを２値化データＡ（ｘ、ｙ）から算出する（２０８）。画像勾配は、以下のように、３×３のＳｏｂｅｌフィルタを２値化データに適用することで算出される。ここで、Ｇｘは垂直方向の勾配画像データを示し、Ｇｙは水平方向の勾配画像データを示し、Ａは２値化データＡ（ｘ、ｙ）に対応する行列を示している。
次に、境界検出部６５は、垂直方向のエッジと水平方向のエッジとのラベル付けを行う（２１０）。本実施形態では、境界検出部６５は、各画素について、当該画素位置に対応する勾配画像データＧｘの値が、当該画素位置に対応する勾配画像データＧｙの値よりも大きい場合（Ｇｘ（ｘ、ｙ）＞Ｇｙ（ｘ、ｙ））、当該画素に対して垂直エッジのラベルを付ける。一方、Ｇｘ（ｘ、ｙ）＜Ｇｙ（ｘ、ｙ）である場合、当該画素には水平エッジのラベルを付ける。そして、境界検出部６５は、画素ごとにエッジのラベル（つまり、水平エッジまたは垂直エッジの何れかであるかを示すエッジ情報）が付けられたラベル画像データを生成し、格納する。
次に、境界検出部６５は、上境界、下境界、左境界、右境界のポイントセットを形成する（２１２）。本実施形態では、境界検出部６５は、ラベル画像データにおいて、水平ラインごとに、当該水平ラインにそって左から右に検索する。そして、境界検出部６５は、水平ラインごとに、最初に垂直エッジのラベルが付けられた画素座標に左境界ポイントセットを付け、最後に垂直エッジのラベルが付けられた画素座標に右境界ポイントセットを付ける。また、境界検出部６５は、ラベル画像データにおいて、垂直ラインごとに、当該垂直ラインにそって上から下に検索する。そして、境界検出部６５は、垂直ラインごとに、最初に水平エッジのラベルが付けられた画素座標に上境界ポイントセットを付け、最後に水平エッジのラベルが付けられた画素座標に下境界ポイントセットを付ける。
次に、境界検出部６５は、それぞれの境界ポイントセットに対して境界線のフィッティングを行う（２１４）。これにより、左境界線、右境界線、上境界線、下境界線が特定される。つまり、境界検出部６５は、左境界ポイントセットが付けられた画素群に近似する直線を左境界線、右境界ポイントセットが付けられた画素群に近似する直線を右境界線、上境界ポイントセットが付けられた画素群に近似する直線を上境界線、下境界ポイントセットが付けられた画素群に近似する直線を下境界線として特定する。なお、境界線のフィッティングは、最小二乗法を用いて行えばよい。
次に、撮像要素抽出部６６は、境界検出部６５が検出した境界線を基に、撮像要素の１つである、撮像対象物に対する撮像部６１の傾きによる幾何学的歪みに対する特徴量を求める。具体的には、撮像要素抽出部６６は、水平方向の消滅点と垂直方向の消滅点とを求める（２１６）。ここで、水平方向の消滅点とは、上境界線と下境界線との交点である。また、垂直方向の消滅点とは、左境界線と右境界線との交点である。そして、撮像要素抽出部６６は、幾何学的歪み（撮像部６１の傾き）に対する特徴量として、水平方向の消滅点と画像の中心との距離、および、垂直方向の消滅点と画像の中心との距離を算出する（２１８）。
次に、撮像要素抽出部６６は、撮像要素の１つである原稿サイズ（撮像対象物のサイズ）に対応する特徴量を求める（２２０）。本実施形態では、撮像要素抽出部６６は、２値化画像データＡ（ｘ，ｙ）において画素値「１」を有する画素数をカウントし、全画素数で割った値を、原稿サイズの特徴量として求める。当該原稿サイズの特徴量は、画像全体に対する文書の占める割合（パーセンテイジ）で示される。
なお、プレビュー画像データは、グレースケール変換の前にダウンサンプリングされなくてもよい。
また、撮像装置により撮像された生データがグレースケール画像である場合には、ダウンサンプリングされたプレビュー画像は、グレースケール変換されなくてもよい。
また、プレビュー画像は、ダウンサンプリング処理、または、グレースケール変換されなくてもよい。
また、撮像要素抽出部６６は、撮像要素の１つであるコントラストに対応する特徴量を算出してもよい。コントラストに対応する特徴量は、ヒストグラム分析により決定される。
また、撮像要素抽出部６６は、撮像要素の１つである撮像部６１（カメラ）の動きに対応する特徴量を求めても良い。カメラの動きに対応する特徴量は、センサ情報（例えば、加速度センサなど）により求めることができる。
また、撮像要素抽出部６６は、撮像要素の１つであるぼやけに対応する特徴量を算出してもよい。ぼやけに対応する特徴量は、公知のぼやけ測定技術に従ってプレビュー画像データから直接算出することができる。もしくは、撮像要素抽出部６６は、ぼやけに対応する特徴量を、撮像部６１の動きから算出してもよい。
（撮像品質の決定処理）
上記のようにしてプレビュー画像データから抽出された撮像要素に対応する特徴量を用いて、画像の品質が決定される。
上記のようにしてプレビュー画像データから抽出された撮像要素に対応する特徴量を用いて、画像の品質が決定される。
撮像品質判定部６７は、撮像要素抽出部６６により抽出された露光量Ｓを用いて、撮像要素である露出が適切であるか否かを決定する。撮像品質判定部６７は、図２に示されるようにして算出された露光量Ｓと、予め設定された露光閾値とを比較し、露光量Ｓが適切か否かを判定する。予め定められた露光閾値は、例えば、１５０００００であり、撮像品質判定部６７は、露光量Ｓが露光閾値よりも大きい場合に、露出が適切であると判定する。また、露光閾値は、状況に応じて変更されてもよい。例えば、露光閾値は、検知に用いる画像サイズや撮像デバイスのゲイン設定などの環境・条件に従って適応的に変化させてもよい。具体的には、検知に用いる画素数を１／２にした場合、露光閾値を７５００００に変更すればよい。
また、撮像品質判定部６７は、撮像要素抽出部６６により抽出された原稿サイズに対応する特徴量を用いて、撮像画像全体に対する撮像対象物のサイズ（原稿サイズ）が適切であるか否かを決定する。撮像品質判定部６７は、原稿サイズの特徴量と、サイズ閾値とを比較し、原稿サイズが適切である否かを判定する。例えば、撮像品質判定部６７は、原稿サイズの特徴量が５０％以上であれば、原稿サイズが適切であると判定する。
また、撮像品質判定部６７は、撮像要素抽出部６６により抽出された、消滅点と画像の中心との距離を用いて、撮像対象物に対する撮像部６１の傾きが適切であるか否かを決定する。撮像部６１（カメラ）のセンサ面が撮像対象物である文書の面と平行である場合、撮像部６１の光軸と、文書表面に対する法線とのなす角度が０となる。この場合、撮像画像において、撮像対象物と背景との四角形の境界線のうち互いに対向する２辺は略平行となる。一方、撮像部６１の光軸と文書表面に対する法線とのなす角度が大きくなると、当該対向する２辺は、徐々に平行からずれてきて、当該対向する２辺の交点（消滅点）が徐々に画像中心に近づく。図３は、この現象を示している。
図３の左側は、第１のカメラ位置からみたときの矩形の撮像対象物の遠近投影図を示す。上境界線３０２、下境界線３０４、左境界線３０６、および右境界線３０８によって囲まれた領域が撮像対象物を示す第１の領域３００となっている。左境界線３０６と右境界線３０８との交点を第１消滅点３１０としている。図３の右側は、第２のカメラ位置からみたときの同じ撮像対象物の遠近投影図を示している。第２のカメラ位置は、第１のカメラ位置よりも撮像部６１の傾き（撮像部６１の光軸に対する撮像対象物の文書の法線の傾き）が大きい位置である。上境界線３５２、下境界線３５４、左境界線３５６、および右境界線３５８によって囲まれた領域が撮像対象物を示す第２の領域３５０となっている。左境界線３５６と右境界線３５８との交点を第２消滅点３６０としている。第１の領域３００の左境界線３０６および右境界線３０８は、第２の領域３５０の左境界線３５６および右境界線３５８よりも、より平行になっている。また、第１消滅点３１０と画像中心との距離は、第２消滅点３６０と画像中心との距離よりも長くなっている。このように、消滅点の位置は、撮像部６１の傾きの大きさと相関している。
そこで、撮像部６１の傾きの限界値に対応する消滅点の位置が決定される。撮像部６１の傾きの限界値（傾き限界値）は、例えば、水平方向および垂直方向の各々について、＋
３０°〜−３０°である。傾き限界値に対応する消滅点の位置は、コンピュータにより算出される。もしくは、傾き限界値に対応する消滅点の位置は、経験的に決定されてもよい。傾き限界値に対応する消滅点と画像中心との距離は、撮像部６１の傾きが適切か否かを決定するための距離閾値として用いられる。水平方向の消滅点と画像中心との距離に対する水平方向の距離閾値は、例えば５００画素に設定され、垂直方向の消滅点と画像中心との距離に対する垂直方向の距離閾値は、例えば６００画素に設定される。水平方向の消滅点VanHと画像中心centerとの距離をｄ（VanH,center）、水平方向の傾き限界値に対応す
る距離閾値をＴＶＨ、垂直方向の消滅点VanVと画像中心centerとの距離をｄ（VanV,center）、垂直方向の傾き限界値に対応する距離閾値をＴＶｖ、とするとき、ｄ（VanH,center）＞ＴＶＨであり、かつ、ｄ（VanV,center）＞ＴＶＶであれば、撮像品質判定部６７は
、撮像部６１の傾きが適正であると判定する。
３０°〜−３０°である。傾き限界値に対応する消滅点の位置は、コンピュータにより算出される。もしくは、傾き限界値に対応する消滅点の位置は、経験的に決定されてもよい。傾き限界値に対応する消滅点と画像中心との距離は、撮像部６１の傾きが適切か否かを決定するための距離閾値として用いられる。水平方向の消滅点と画像中心との距離に対する水平方向の距離閾値は、例えば５００画素に設定され、垂直方向の消滅点と画像中心との距離に対する垂直方向の距離閾値は、例えば６００画素に設定される。水平方向の消滅点VanHと画像中心centerとの距離をｄ（VanH,center）、水平方向の傾き限界値に対応す
る距離閾値をＴＶＨ、垂直方向の消滅点VanVと画像中心centerとの距離をｄ（VanV,center）、垂直方向の傾き限界値に対応する距離閾値をＴＶｖ、とするとき、ｄ（VanH,center）＞ＴＶＨであり、かつ、ｄ（VanV,center）＞ＴＶＶであれば、撮像品質判定部６７は
、撮像部６１の傾きが適正であると判定する。
（判定結果情報の表示処理）
次に、表示制御部６８の処理について説明する。図１に示されるように、表示制御部６８は、撮像品質判定部６７による判定結果を示す判定結果情報（撮像キュー）を含むプレビュー画像を表示する。また、表示制御部６８は、上、下、左、右の境界線をプレビュー画像に重ねて表示する。
次に、表示制御部６８の処理について説明する。図１に示されるように、表示制御部６８は、撮像品質判定部６７による判定結果を示す判定結果情報（撮像キュー）を含むプレビュー画像を表示する。また、表示制御部６８は、上、下、左、右の境界線をプレビュー画像に重ねて表示する。
表示制御部６８は、撮像要素に対応する特徴量が撮像条件を満たすか否かを示すアイコンをプレビュー画像の上に表示させる。例えば、表示制御部６８は、撮像要素に対応する特徴量が撮像条件の範囲内である撮像要素のラベルの近傍に、緑色の星形状のアイコンを表示させる。一方、表示制御部６８は、撮像要素に対応する特徴量が撮像条件の範囲外である撮像要素のラベルの近傍に、オレンジ色の星形状のアイコンを表示させる。もしくは、撮像要素に対応する特徴量が撮像条件を満たすか否かを示す文字列をプレビュー画像の上に表示させてもよい。例えば、表示制御部６８は、撮像要素に対応する特徴量が撮像条件の範囲内である撮像要素のラベルの近傍に、「ＧＯＯＤ」を表示させ、撮像要素に対応する特徴量が撮像条件の範囲外である撮像要素のラベルの近傍に、「ＮＯ ＧＯＯＤ」を表示させる。当該文字列は、撮像要素に対応する特徴量が撮像条件を満たすか否かをより示すために色の属性を有していても良い。例えば、「ＧＯＯＤ」を緑色で表示し、「ＮＯ
ＧＯＯＤ」を赤色で表示してもよい。また、表示制御部６８は、撮像要素に対応する特徴量が撮像条件を満たすか否かを示すアイコンおよび文字列をプレビュー画像の上に表示してもよい。
ＧＯＯＤ」を赤色で表示してもよい。また、表示制御部６８は、撮像要素に対応する特徴量が撮像条件を満たすか否かを示すアイコンおよび文字列をプレビュー画像の上に表示してもよい。
図４は、表示部６２に表示されるプレビュー画像の一例を示す図である。表示制御部６８は、境界検出部６５により検知された、網目状の模様（クロスハッチ）で示される撮像対象物領域４０２と背景との四角形の境界線である境界線４０４，４０６，４０８，４１０を、プレビュー画像の上に重ねて表示する。さらに、表示制御部６８は、撮像要素ごとに、判定結果情報（撮像キュー）をプレビュー画像の上に表示する。ここでは、３つの撮像要素、つまり、「ＥＸＰＯＳＵＲＥ（露出）」「ＳＩＺＥ（原稿サイズ）」「ＴＩＬＴ（撮像部６１の傾き）」に対する判定を表示する例を示している。どの撮影要素に対する判定かをラベル４１２、４１４、４１６で表示し、各ラベル４１２、４１４、４１６の近傍には、各撮像要素に対応する特徴量が撮像条件を満たすか否かを示すアイコン４１８、４２０、４２２、および、文字列４２４、４２６、４２８が表示される。図では、撮像要素「ＥＸＰＯＳＵＲＥ（露出）」が撮像条件の範囲外であるため、範囲外を示す色のアイコン４１８と、範囲外を示す「ＮＯ ＧＯＯＤ」の文字列４２４とが表示され、当該アイコン４１８および文字列４２４を確認することで、ユーザは、撮像要素「ＥＸＰＯＳＵＲＥ（露出）」が撮像条件の範囲外であることを認識できる。また、撮像要素「ＳＩＺＥ（サイズ）」が撮像条件の範囲内であるため、範囲内を示す色のアイコン４２０と、範囲内を示す「ＧＯＯＤ」の文字列４２６とが表示され、当該アイコン４２０および文字列４２６を確認することで、ユーザは、撮像要素「ＳＩＺＥ（原稿サイズ）」が撮像条件を満た
していることを認識できる。また、撮像要素「ＴＩＬＴ（撮像部６１の傾き）」が撮像条件の範囲内であるため、範囲内を示す色のアイコン４２２と、範囲内を示す「ＧＯＯＤ」の文字列４２８とが表示され、当該アイコン４２２および文字列４２８を確認することで、ユーザは、撮像要素「ＴＩＬＴ（傾き）」が撮像条件を満たしていることを認識できる。図４に示される例では、ラベル４１２は撮像要素「ＥＸＰＯＳＵＲＥ（露出）」を表すラベルであり、アイコン４１８および文字列４２４が撮像要素「ＥＸＰＯＳＵＲＥ（露出）」に対する判定結果情報となる。あるいは、アイコン４１８および文字列４２４にラベル４１２を含めて判定結果情報とするようにしてもよい。
していることを認識できる。また、撮像要素「ＴＩＬＴ（撮像部６１の傾き）」が撮像条件の範囲内であるため、範囲内を示す色のアイコン４２２と、範囲内を示す「ＧＯＯＤ」の文字列４２８とが表示され、当該アイコン４２２および文字列４２８を確認することで、ユーザは、撮像要素「ＴＩＬＴ（傾き）」が撮像条件を満たしていることを認識できる。図４に示される例では、ラベル４１２は撮像要素「ＥＸＰＯＳＵＲＥ（露出）」を表すラベルであり、アイコン４１８および文字列４２４が撮像要素「ＥＸＰＯＳＵＲＥ（露出）」に対する判定結果情報となる。あるいは、アイコン４１８および文字列４２４にラベル４１２を含めて判定結果情報とするようにしてもよい。
上記では、ある撮像要素についてのみ説明したが、例えば、コントラスト、撮像部６１の動き、ぼやけなどの他の撮像要素についても同様である。
（変形例１−１）
上記の説明では、図４に示されるように、撮像条件を満たす撮像要素「ＳＩＺＥ（サイズ）」および「ＴＩＬＴ（撮像部６１の傾き）」についても、撮像条件を満たすか否かを示すアイコンおよび文字列を表示させるものとした。
上記の説明では、図４に示されるように、撮像条件を満たす撮像要素「ＳＩＺＥ（サイズ）」および「ＴＩＬＴ（撮像部６１の傾き）」についても、撮像条件を満たすか否かを示すアイコンおよび文字列を表示させるものとした。
しかしながら、表示制御部６８は、撮像条件を満たす撮像要素については、当該撮像要素に対する判定結果情報（つまり、当該撮像要素のラベル、撮像条件を満たすことを示すアイコンおよび文字列）を表示させないようにしてもよい。もしくは、表示制御部６８は、撮像条件を満たす撮像要素については、当該撮像要素に対する判定結果情報（つまり、当該撮像要素のラベル（撮像キュー）、撮像条件を満たすことを示すアイコンおよび文字列）を、予め定められた時間（例えば２秒）だけ表示させてもよい。
この場合、複数の撮像要素のうち、撮像条件を満たさない撮像要素についてのみ、当該撮像要素のラベルと、撮像条件を満たさないことを示すアイコンまたは文字列とが表示されることとなる。その結果、プレビュー画像の上に表示する判定結果情報（ラベル、アイコンまたは文字列）の数を減らすことができ、プレビュー画像における撮像対象物と判定結果とが重なる領域が小さくなり、撮像対象物を確認しやすくなる。
なお、撮像部６１は、プレビュー画像を所定のフレーム間隔で撮像している。そのため、プレビュー画像のフレームが変更されるたびに、撮像要素ごとに撮像条件を満たすか否かが判定され、撮像条件を満たさない撮像要素が存在する場合に当該撮像要素に対応する判定結果情報が表示されることとなる。
（変形例１−２）
表示制御部６８は、複数の撮像要素の各々について、判定結果情報の表示のオン／オフの切替指示を受け付けてもよい。表示制御部６８は、文書撮像モードによる撮像を開始する前に、撮像要素ごとに判定結果情報の表示のオン／オフを設定するための設定画面を表示し、ユーザから切替指示を受け付ける。そして、表示制御部６８は、判定結果情報の表示がオンに設定された撮像要素についてのみ、当該撮像要素を示すラベルと、撮像要素抽出部６６により抽出された当該撮像要素の特徴量が撮像条件を満たすか否かを示すアイコンおよび／または文字列とを表示させる。
表示制御部６８は、複数の撮像要素の各々について、判定結果情報の表示のオン／オフの切替指示を受け付けてもよい。表示制御部６８は、文書撮像モードによる撮像を開始する前に、撮像要素ごとに判定結果情報の表示のオン／オフを設定するための設定画面を表示し、ユーザから切替指示を受け付ける。そして、表示制御部６８は、判定結果情報の表示がオンに設定された撮像要素についてのみ、当該撮像要素を示すラベルと、撮像要素抽出部６６により抽出された当該撮像要素の特徴量が撮像条件を満たすか否かを示すアイコンおよび／または文字列とを表示させる。
また、表示部６２がタッチパネルである場合、表示制御部６８は、プレビュー画像上に表示されている判定結果情報の位置にタッチされたことを検出すると、当該位置に表示されている判定結果情報の表示をオンからオフに切り替えても良い。
本変形例によれば、撮像条件を満たすことが難しいと思われる撮像要素についてだけ判定結果情報を表示させることができる。これにより、プレビュー画像をみながら、効率よ
く適切な画像を撮像することができる。
く適切な画像を撮像することができる。
（変形例１−３）
表示制御部６８は、ユーザからの入力指示に従って、判定結果情報の表示形態を変更してもよい。この場合、表示制御部６８は、撮像条件を満たすか否かを示す情報として、（１）アイコンのみ、（２）文字列のみ、（３）アイコンおよび文字列、のいずれかの選択指示を受け付け、受け付けた選択指示に従って、アイコンおよび／または文字列を表示させる。
表示制御部６８は、ユーザからの入力指示に従って、判定結果情報の表示形態を変更してもよい。この場合、表示制御部６８は、撮像条件を満たすか否かを示す情報として、（１）アイコンのみ、（２）文字列のみ、（３）アイコンおよび文字列、のいずれかの選択指示を受け付け、受け付けた選択指示に従って、アイコンおよび／または文字列を表示させる。
本変形例によれば、携帯端末装置６の操作に慣れないときには、アイコンと文字列との両方を表示させ、操作に慣れてきた段階で、アイコンのみを表示させることができる。これにより、ユーザのレベルに合わせた表示を行うことができる。また、アイコンおよび文字列の一方のみを選択した場合には、判定結果情報の領域が狭くなるため、ユーザがプレビュー画像を確認しやすくなる。
（変形例１−４）
表示制御部６８は、境界検出部６５により検出された４つの境界線で囲まれる領域以外の領域に、判定結果情報を表示することが好ましい。これにより、ユーザは、プレビュー画像において撮像対象物を確認しやすくなる。また、判定結果情報を表示する撮像要素の数が多い場合には、判定結果情報の一部を境界線と重ねて表示してもよい。撮像対象物の境界線を表示しているので、撮像対象物が見え難くなるのを抑制することができる。
表示制御部６８は、境界検出部６５により検出された４つの境界線で囲まれる領域以外の領域に、判定結果情報を表示することが好ましい。これにより、ユーザは、プレビュー画像において撮像対象物を確認しやすくなる。また、判定結果情報を表示する撮像要素の数が多い場合には、判定結果情報の一部を境界線と重ねて表示してもよい。撮像対象物の境界線を表示しているので、撮像対象物が見え難くなるのを抑制することができる。
（変形例１−５）
上記の説明では、取込画像決定部６９は、入力部のシャッタボタンが押下されたタイミングで撮像部６１が撮像した画像を示す画像データを取込画像データとして記憶部６４に保存するものとした。
上記の説明では、取込画像決定部６９は、入力部のシャッタボタンが押下されたタイミングで撮像部６１が撮像した画像を示す画像データを取込画像データとして記憶部６４に保存するものとした。
しかしながら、取込画像決定部６９は、文書撮像モードが有効に設定されている場合、シャッタボタンの押下ではなく自動的に取込画像データを決定してもよい。すなわち、取込画像決定部６９は、撮像品質判定部６７により全ての撮像要素が対応する撮像条件を満たすと判定されたプレビュー画像データを、自動的に取込画像データとして記憶部６４に保存してもよい。
図５は、全ての撮像要素が対応する撮像条件の範囲内に収まっているときに自動的に取込画像データを記憶部６４に保存するように設定されているときの処理の流れを示すフローチャートである。まず、撮像部６１は、撮像した画像であり、表示部６２に表示させるプレビュー画像を示すプレビュー画像データを生成する（５００）。そして、境界検出部６５が境界線を検出するとともに、撮像要素抽出部６６が撮像要素の特徴量を抽出する（５０２）。撮像品質判定部６７は、この抽出処理の結果に基づいて撮像要素ごとに撮像条件を満たすか否かを判定する。表示制御部６８は、その判定結果を用いて、判定結果情報（撮像キュー）を決定する（５０４）。そして、取込画像決定部６９は、判定結果に基づいて、全ての撮像要素の特徴量が撮像条件の範囲内であるか否かを確認する（５０６）。全ての撮像要素に対応する特徴量が撮像条件の範囲内である場合（５０８）、取込画像決定部６９は、プレビュー画像データを取込画像データとして記憶部６４に格納する（５１０）。一方、１以上の撮像要素の特徴量が撮像条件の範囲外である場合（５１２）、表示制御部６８は、オリジナルのプレビュー画像の上に１以上の判定結果情報を重ねて表示する（５１４）。その後、５００の処理に戻り、処理ループ５１６が繰り返される。このような自動撮像により、撮像するためにユーザがシャッタを押下する動作や装置への入力動作の際の手ぶれの影響を軽減できる。
＜実施形態２＞
ユーザによっては、上記のようにして取り込まれた取込画像データに対して露出補正や幾何学的歪み補正などを行い、高品質の画像データを生成することを望む場合がある。しかしながら、小型化されている携帯端末装置にこのような高機能を付加することが一般的に難しい。そこで、携帯端末装置は、上記のようにして取り込まれた取込画像データに対する画像処理をクラウド・コンピュータに実行させてもよい。本変形例は、携帯端末装置がクラウド・コンピュータを利用して画像処理された取込画像データを取得する形態に関するものである。
ユーザによっては、上記のようにして取り込まれた取込画像データに対して露出補正や幾何学的歪み補正などを行い、高品質の画像データを生成することを望む場合がある。しかしながら、小型化されている携帯端末装置にこのような高機能を付加することが一般的に難しい。そこで、携帯端末装置は、上記のようにして取り込まれた取込画像データに対する画像処理をクラウド・コンピュータに実行させてもよい。本変形例は、携帯端末装置がクラウド・コンピュータを利用して画像処理された取込画像データを取得する形態に関するものである。
クラウド・コンピュータは、共用のリソースやソフトウェア、情報がコンピュータ装置にインターネットを介してオンデマンドで供給されるコンピュータシステム（クラウドと称される）に適用されるコンピュータである。モバイル・クラウド・コンピュータは、携帯端末装置がクラウドにアクセスするための通信能力を利用する。軽量プログラム形式のアプリケーション、例えば、小型機器や他の安価なプログラムが携帯端末装置で動作し、クラウドへのデータ転送やデータ収集のための端末として働く。クラウドの多くが、主な処理やデータを記憶する記憶部６４を有する。
近年、ｉＰｈｏｎｅ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）フォンなどのスマートフォンが急速に発展している。多くの場合、スマートフォンにおける処理能力やグラフィック性能は、数年前から小型コンピュータの性能に匹敵している。スマートフォンは、携帯性やユビキタスの点で利点がある。また、タッチ画面や加速度メータのようなセンサを介して直接的および相互作用的に、スマートフォンの画面上のコンテンツと情報伝達することが容易となっている。さらに、スマートフォンは、１以上のカメラを備えており、撮像装置でもある。ＷｉＦｉ（登録商標）や携帯ネットワークを介した接続により、スマートフォンは、様々な種類の手段（例えば、ＳＳＬ、電子メールなどの直接通信）を通してクラウドと通信することができる。
文書処理システムでは、例えば、ＳｃａｎＲ（登録商標）のようなクラウドで処理がもっぱら実行される。このシステムでは、ユーザは画像を取得し、処理のために当該画像をオンラインサービスに送る。クラウドによる文書処理システムのデメリットとしては、携帯端末装置に処理結果が返信されるまで、ユーザが処理結果を確認できない点である。
携帯端末装置で処理がもっぱら実施される文書処理システム（例えば、ＩＰｈｏｎｅ（登録商標）やＡｎｄｒｏｉｄ（登録商標）端末で動作するアプリケーションである、ＤｏｃＳｃａｎｎｅｒやＳｃａｎｎｅｒＰｒｏアプリケーション）がある。これらの携帯端末装置での文書処理システムの機能は、利用できる携帯端末装置のコンピュータリソース（例えば、ＣＰＵ、メモリなどのリソース）によって限定される。この限定されたリソースは、フル解像度の画像（例えば、５メガ画素クラスの画像）を処理するのに十分ではない。
（システム構成）
これらの点を背景として、本実施形態について説明する。図７は、本実施形態に係るシステムの構成を示すブロック図である。図７に示されるように、本実施形態に係るシステムは、携帯端末装置７と、クラウド・コンピュータ７００とを備える。携帯端末装置７とクラウド・コンピュータ７００とは、各種の通信ネットワークにより無線通信が可能である。
これらの点を背景として、本実施形態について説明する。図７は、本実施形態に係るシステムの構成を示すブロック図である。図７に示されるように、本実施形態に係るシステムは、携帯端末装置７と、クラウド・コンピュータ７００とを備える。携帯端末装置７とクラウド・コンピュータ７００とは、各種の通信ネットワークにより無線通信が可能である。
図７に示されるように、携帯端末装置７は、実施形態１の携帯端末装置６と比較して、文書領域特定部７１と、文書領域修正部７２と、送信部７３と、受信部７４とを備えている点で異なる。なお、文書領域特定部７１と、文書領域修正部７２と、送信部７３と、受
信部７４とは、文書撮像モードが有効に設定されているときに動作するブロックである。
信部７４とは、文書撮像モードが有効に設定されているときに動作するブロックである。
文書領域特定部７１は、取込画像決定部６９により記憶部６４に格納された取込画像データで示される画像において、矩形の文書あるいは文書を含む表示物である撮像対象物の領域（文書領域）を特定するものである。例えば、文書領域特定部７１は、境界検出部６５と同様に、４つの境界線を求め、当該４つの境界線で囲まれる領域を文書領域として特定する。そして、文書領域特定部７１は、特定した文書領域の位置を示す文書領域位置情報を生成し、文書領域修正部７２に出力する。文書領域位置情報は、例えば、四角形の文書領域における４つの頂点座標である。
文書領域修正部７２は、取込画像データで示される画像の上に、文書領域特定部７１により特定された文書領域の枠線を重ねて表示部６２に表示させ、文書領域の修正指示または確認指示の受け付けを開始する。ユーザからの指示の受け付けを開始したタイミングにおいて、文書領域修正部７２は、取込画像データに対する修正フラグを初期値である０に設定する。
ユーザから文書領域の修正指示を受けた場合、文書領域修正部７２は、当該修正指示に従って、特定した文書領域の位置を修正する。なお、文書領域修正部７２は、１つの取込画像データに対して、文書領域の修正指示を複数回繰り返して受け付けてもよく、修正指示を受け付けるごとに文書領域の位置を修正する。そして、文書領域修正部７２は、修正した文書領域に基づいて、文書領域特定部７１から受けた文書領域位置情報を更新するとともに、取込画像データに対する修正フラグを０から１に変更する。
また、文書領域修正部７２は、文書領域の確認指示を受け付けると、最新の文書領域位置情報とともに、取込画像データに対する修正フラグに応じた識別子を送信部７３に出力する。ここで、修正フラグに応じた識別子とは、修正フラグが０のときには、文書領域の修正を行っていないことを示す識別子であり、修正フラグが１のときには、文書領域の修正を行ったことを示す識別子となる。修正フラグが０である場合、文書領域の修正を行っていないことになるため、文書領域修正部７２は、文書領域特定部７１から受けた文書領域位置情報とともに、文書領域の修正を行っていないことを示す識別子を送信部７３に出力することとなる。一方、修正フラグが１である場合、少なくとも１回文書領域の修正が行われているため、文書領域修正部７２は、最新に生成した文書領域位置情報とともに、文書領域の修正を行ったことを示す識別子を送信部７３に出力することとなる。
送信部７３は、取込画像データとともに、文書領域修正部７２から受けた文書領域位置情報と、文書領域がユーザによって修正されたか否かを示す識別子とをクラウド・コンピュータ７００に送信するものである。
受信部７４は、クラウド・コンピュータ７００から、取込画像データに対する画像処理の結果（処理結果）を受信するものである。受信部７４は、処理結果を受信すると、当該処理結果を他の装置（例えば、予め設定されたアドレスを有する装置）に送信してもよい。また、受信部７４は、処理結果で示される画像処理後の取込画像データで示される画像を表示部６２に表示してもよい。このとき、受信部７４は、画像処理後の取込画像データをダウンサンプリングして低解像度化してから表示部６２に表示してもよい。
クラウド・コンピュータ７００は、図７に示されるように、画像データ受信部７０３と、画像処理部７０２と、画像データ送信部７０１とを備えている。
画像データ受信部７０３は、携帯端末装置７から、取込画像データと、文書領域位置情報と、文書領域がユーザによって修正されたか否かを示す識別子とを受信するものである
。
。
画像処理部７０２は、画像データ受信部７０３が受信した取込画像データに対して所定の画像処理を実行するものである。
画像処理部７０２は、画像処理を行う際に、取込画像データに基づいて、矩形の文書あるいは文書を含む表示物である撮像対象物の領域（文書領域）を特定する。この特定方法は、文書領域特定部７１と同じ方法を用いればよい。もしくは、画像処理部７０２は、画像データ受信部７０３が受信した文書領域位置情報に基づいて文書領域を特定してもよい。なお、画像処理部７０２は、画像データ受信部７０３が受信した識別子がユーザによって修正されたことを示す場合には必ず、画像データ受信部７０３が受信した文書領域位置情報に基づいて文書領域を特定する。
画像処理部７０２が行う画像処理としては、例えば、露出補正、幾何学的歪み補正、階調補正、先鋭化処理、ノイズ除去、ぼやけ除去、解像度変換処理などがある。これらの画像処理の方法としては、特開２０１１−５５４６７に記載の公知の方法をもちいればよい。例えば、画像処理部７０２は、特定した文書領域が所定サイズの矩形状になるように写像変換することにより幾何学的歪み補正を行う。
画像データ送信部７０１は、画像処理部７０２により画像処理が施された取込画像データを携帯端末装置７に送信するものである。
（携帯端末装置の処理の流れ）
次に、図８を参照しながら本実施形態の処理の流れを説明する。本実施形態の処理は、２つの構成に分割される。つまり、携帯端末装置側の処理と、クラウド側の処理とに分けられる。上述したように、本実施形態では、携帯端末装置７は、例えば、スチールカメラなどの撮像部６１と表示部６２と搭載された処理性能とを備えている。
次に、図８を参照しながら本実施形態の処理の流れを説明する。本実施形態の処理は、２つの構成に分割される。つまり、携帯端末装置側の処理と、クラウド側の処理とに分けられる。上述したように、本実施形態では、携帯端末装置７は、例えば、スチールカメラなどの撮像部６１と表示部６２と搭載された処理性能とを備えている。
まずは、図１に示す１００、１０４、１０６と同じ処理が実行される（８００、８０２、８０４）。なお、図８では図１の１０２の処理の図示を省略しているが、図８でも８００と８０２との間で図１の１０２の処理が実行されている。その後、携帯端末装置７では、シャッタボタンが押下されたことを受けて（もしくは、実施形態１の変形例５の場合は全ての撮像要素が撮像条件を満たすことを受けて）、取込画像決定部６９が取込画像データを記憶部６４に格納する（８０６）。次に、文書領域特定部７１は、取込画像データで示される画像において、矩形の文書あるいは文書を含む表示物である撮像対象物の領域である文書領域を特定し、当該文書領域の位置を示す文書領域位置情報を生成する（８０８）。文書領域特定部７１は、取込画像データで示される取込画像を表示部６２に表示させるとともに、特定した文書領域の位置を取込画像の上に表示させる（８１０）。文書領域の位置は、境界線、コーナー点、マスク画像、および／または文書着目領域の識別情報によって示される。
次に、図８に示されるように、文書領域修正部７２は、ユーザから入力指示が、文書領域の修正指示であるか、確認指示であるかを確認する（８１２）。文書領域の修正指示（８１６）を受け付けた場合、文書領域修正部７２は、表示部６２上での文書領域を示す四角形の操作点に対するユーザのドラッグ操作に応じて、文書領域を新たな位置に修正し、文書領域位置情報を更新する。文書領域修正部７２は、修正された文書領域の位置を携帯端末装置７の表示部６２に表示させる（８１０）。そして、ユーザが文書領域の確認指示を入力する（８１４）、もしくは、文書領域の修正指示をさらに入力する（８１６）まで待機する（８１２）。
図９は、修正された文書領域を含む取込画像を示す図である。図９は、携帯端末装置７の表示部６２の画面を示す。網目状にハッチングされた、修正された文書領域９０２は、文書領域の位置を変更するために当該文書領域の角をドラッグするための４つの操作点９０４，９０６，９０８，９１０とともに表示される。
図９に示されるように、文書領域の確認指示が入力された後（８１６）、文書領域修正部７２は、文書領域位置情報と、ユーザが文書領域を修正したか否かを示す識別子とを送信部７３に送る。つまり、修正指示８１６を１回でも受け付けた場合、文書領域修正部７２は、最新に生成した文書領域位置情報とともに、文書領域の修正を行ったことを示す識別子を送信部７３に出力する。一方、修正指示８１６を一回も受け付けることなく確認指示を受け付けた場合、文書領域修正部７２は、文書領域特定部７１から受けた文書領域位置情報とともに、文書領域の修正を行っていないことを示す識別子を送信部７３に出力する。そして、送信部７３は、フル解像度の取込画像を示す取込画像データとともに、文書領域修正部７２から受けた文書領域位置情報、および、文書領域に関する編集タグであり、ユーザが文書領域を修正したか否かを示す識別子を、クラウド・コンピュータ７００に送信する（８２０）。
携帯端末装置７の受信部７４は、クラウド・コンピュータ７００から順にクラウド側の処理結果を受信する（８２２）。
（変形例２−１）
図１０に示されるように、携帯端末装置７では、受信部７４がクラウド・コンピュータ７００からクラウド側の処理結果を受けた後（８２２）、当該処理結果を別の場所に転送してもよい（１０００）。別の場所とは、例えば、別の装置、電子メールのアカウント、携帯端末装置７の記憶装置、携帯端末装置７と離れた記憶装置などである。
図１０に示されるように、携帯端末装置７では、受信部７４がクラウド・コンピュータ７００からクラウド側の処理結果を受けた後（８２２）、当該処理結果を別の場所に転送してもよい（１０００）。別の場所とは、例えば、別の装置、電子メールのアカウント、携帯端末装置７の記憶装置、携帯端末装置７と離れた記憶装置などである。
（変形例２−２）
また、図１１に示されるような処理が実行されてもよい。すなわち、携帯端末装置７の送信部７３が、フル解像度の取込画像を示す取込画像データとともに、文書領域修正部７２から受けた文書領域位置情報、および、ユーザが文書領域を修正したか否かを示す識別子を、クラウド・コンピュータ７００に送信する（８２０）。そして、クラウド・コンピュータ７００では、画像処理部７０２が取込画像データに対して所定の画像処理を行い、画像データ送信部７０１が画像処理後の取込画像データを含む処理結果を携帯端末装置７に送信する。この画像処理の例としては、階調補正、露出補正（明るさ補正）、幾何学的補正、遠近法による歪みの補正、先鋭化処理、ノイズ除去、ぼやけ除去、高解像度化、画像強調、画像修復など、端末の観察者にとって有効な画像を生成するような処理である。そして、携帯端末装置７の受信部７４は、クラウド・コンピュータ７００から順にクラウド側の処理結果を受信する（１１００）。さらに、クラウド側の処理結果のプレビュー画像を生成するために、携帯端末装置７において、受信部７４は、処理結果に含まれる画像処理済の取込画像データに対して低解像度化し、低解像度画像データを生成する（１１０２）。その後、携帯端末装置７において、受信部７４は、クラウド側の処理結果のプレビュー画像を表示部６２に表示させる（１１０４）。
また、図１１に示されるような処理が実行されてもよい。すなわち、携帯端末装置７の送信部７３が、フル解像度の取込画像を示す取込画像データとともに、文書領域修正部７２から受けた文書領域位置情報、および、ユーザが文書領域を修正したか否かを示す識別子を、クラウド・コンピュータ７００に送信する（８２０）。そして、クラウド・コンピュータ７００では、画像処理部７０２が取込画像データに対して所定の画像処理を行い、画像データ送信部７０１が画像処理後の取込画像データを含む処理結果を携帯端末装置７に送信する。この画像処理の例としては、階調補正、露出補正（明るさ補正）、幾何学的補正、遠近法による歪みの補正、先鋭化処理、ノイズ除去、ぼやけ除去、高解像度化、画像強調、画像修復など、端末の観察者にとって有効な画像を生成するような処理である。そして、携帯端末装置７の受信部７４は、クラウド・コンピュータ７００から順にクラウド側の処理結果を受信する（１１００）。さらに、クラウド側の処理結果のプレビュー画像を生成するために、携帯端末装置７において、受信部７４は、処理結果に含まれる画像処理済の取込画像データに対して低解像度化し、低解像度画像データを生成する（１１０２）。その後、携帯端末装置７において、受信部７４は、クラウド側の処理結果のプレビュー画像を表示部６２に表示させる（１１０４）。
（変形例２−３）
また、図１２に示されるような処理が実行されてもよい。すなわち、携帯端末装置７の送信部７３が、フル解像度の取込画像を示す取込画像データとともに、文書領域修正部７２から受けた文書領域位置情報、および、ユーザが文書領域を修正したか否かを示す識別子を、クラウド・コンピュータ７００に送信する（８２０）。そして、クラウド・コンピュータ７００では、画像処理部７０２が取込画像データに対して所定の画像処理を行い、画像データ送信部７０１が画像処理後の取込画像データを含む処理結果を携帯端末装置７
に送信する。この画像処理の例としては、階調補正、露出補正（明るさ補正）、幾何学的補正、遠近法による歪みの補正、先鋭化処理、ノイズ除去、ぼやけ除去、高解像度化、画像強調、画像修復など、端末の観察者により有効な画像を生成するような処理である。そして、携帯端末装置７の受信部７４は、クラウド・コンピュータ７００から順にクラウド側の処理結果を受信する（１１００）。さらに、クラウド側の処理結果のプレビュー画像を生成するために、携帯端末装置７において、受信部７４は、処理結果に含まれる画像処理済の取込画像データに対して低解像度化し、低解像度画像データを生成する（１１０２）。その後、携帯端末装置７において、受信部７４は、クラウド側の処理結果のプレビュー画像を表示部６２に表示させる（１１０４）。その後、携帯端末装置７の受信部７４は、クラウド側の処理結果を別の場所に転送する（１２００）。別の場所とは、例えば、別の装置、電子メールのアカウント、携帯端末装置７の記憶装置、携帯端末装置７と離れた記憶装置などである。
また、図１２に示されるような処理が実行されてもよい。すなわち、携帯端末装置７の送信部７３が、フル解像度の取込画像を示す取込画像データとともに、文書領域修正部７２から受けた文書領域位置情報、および、ユーザが文書領域を修正したか否かを示す識別子を、クラウド・コンピュータ７００に送信する（８２０）。そして、クラウド・コンピュータ７００では、画像処理部７０２が取込画像データに対して所定の画像処理を行い、画像データ送信部７０１が画像処理後の取込画像データを含む処理結果を携帯端末装置７
に送信する。この画像処理の例としては、階調補正、露出補正（明るさ補正）、幾何学的補正、遠近法による歪みの補正、先鋭化処理、ノイズ除去、ぼやけ除去、高解像度化、画像強調、画像修復など、端末の観察者により有効な画像を生成するような処理である。そして、携帯端末装置７の受信部７４は、クラウド・コンピュータ７００から順にクラウド側の処理結果を受信する（１１００）。さらに、クラウド側の処理結果のプレビュー画像を生成するために、携帯端末装置７において、受信部７４は、処理結果に含まれる画像処理済の取込画像データに対して低解像度化し、低解像度画像データを生成する（１１０２）。その後、携帯端末装置７において、受信部７４は、クラウド側の処理結果のプレビュー画像を表示部６２に表示させる（１１０４）。その後、携帯端末装置７の受信部７４は、クラウド側の処理結果を別の場所に転送する（１２００）。別の場所とは、例えば、別の装置、電子メールのアカウント、携帯端末装置７の記憶装置、携帯端末装置７と離れた記憶装置などである。
（変形例２−４）
また、携帯端末装置７の送信部７３は、ユーザが文書領域を修正したか否かを示す識別子に加えて、クラウドへ追加識別子を送信してもよい。追加識別子は、例えば、クラウド・コンピュータ７００の画像処理部７０２で実行される処理の内容を示す情報（処理内容情報）や、取込画像データの撮像時の各種パラメータ、追加ルーティング情報などを含む。
また、携帯端末装置７の送信部７３は、ユーザが文書領域を修正したか否かを示す識別子に加えて、クラウドへ追加識別子を送信してもよい。追加識別子は、例えば、クラウド・コンピュータ７００の画像処理部７０２で実行される処理の内容を示す情報（処理内容情報）や、取込画像データの撮像時の各種パラメータ、追加ルーティング情報などを含む。
クラウド・コンピュータ７００の画像処理部７０２で実行される処理の内容を示す処理内容情報としては、例えば、画像処理部７０２で実行させる処理の種類（露出補正、幾何学的補正など）を識別する情報である。送信部７３は、ユーザから入力を受け付け、当該入力に従って、処理内容情報を生成し、取込画像データに付加して送信する。クラウド・コンピュータ７００の画像処理部７０２は、取込画像データに付加された処理内容情報で示される処理のみを実行する。
また、取込画像データの撮像時の各種パラメータは、例えば、撮像要素抽出部６６により抽出された各種撮像要素の値である。露光量や原稿サイズ、消滅点と画像中心との距離、コントラスト、ぼやけについては、画像処理部７０２における画像処理において利用されることがある。取込画像データが画像処理部７０２により再度算出することも可能であるが、携帯端末装置７から受けた各種パラメータを利用することにより、画像処理部７０２の負荷を軽減させることができる。
追加ルーティング情報とは、画像処理部７０２による処理結果の転送先を指定する情報である。この追加ルーティング情報を付加することにより、クラウド・コンピュータ７００の画像データ送信部７０１は、携帯端末装置７だけでなく、追加ルーティング情報で示される転送先に処理結果を送ることができる。
（クラウド・コンピュータの処理の流れ）
次に、図１３を用いて、クラウド側の処理の流れを説明する。図１３に示されるように、クラウド・コンピュータ７００の画像データ受信部７０３は、携帯端末装置７によって撮像された取込画像データ、文書領域位置情報、およびユーザが文書領域を修正したか否かを示す識別子を受信する（１３００）。次に、画像処理部７０２は、受信した取込画像データに対して画像処理を実行する（１３０２）。この画像処理の例としては、階調補正、露出補正（明るさ補正）、幾何学的歪み補正、遠近法による歪みの補正、先鋭化処理、ノイズ除去、ぼやけ除去、高解像度化、画像強調、画像修復など、端末の観察者にとって有効な処理結果を生成するような処理である。この処理は、文書領域に特有の処理である。画像処理部７０２は、文書領域の特定処理を実行する。ただし、文書領域がユーザにより修正されたことを携帯端末装置７から供給された識別子が示している場合、画像処理部
７０２は、携帯端末装置７から供給された文書領域位置情報で示される文書領域を、画像処理部７０２が特定した文書領域よりも優先する。もしくは、画像処理部７０２は、携帯端末装置７から受けた文書領域位置情報で示される位置の領域を、文書領域の初期値として使用してもよい。その後、画像データ送信部７０１は、画像処理部７０２の処理結果を携帯端末装置７に送信する（１３０４）。
次に、図１３を用いて、クラウド側の処理の流れを説明する。図１３に示されるように、クラウド・コンピュータ７００の画像データ受信部７０３は、携帯端末装置７によって撮像された取込画像データ、文書領域位置情報、およびユーザが文書領域を修正したか否かを示す識別子を受信する（１３００）。次に、画像処理部７０２は、受信した取込画像データに対して画像処理を実行する（１３０２）。この画像処理の例としては、階調補正、露出補正（明るさ補正）、幾何学的歪み補正、遠近法による歪みの補正、先鋭化処理、ノイズ除去、ぼやけ除去、高解像度化、画像強調、画像修復など、端末の観察者にとって有効な処理結果を生成するような処理である。この処理は、文書領域に特有の処理である。画像処理部７０２は、文書領域の特定処理を実行する。ただし、文書領域がユーザにより修正されたことを携帯端末装置７から供給された識別子が示している場合、画像処理部
７０２は、携帯端末装置７から供給された文書領域位置情報で示される文書領域を、画像処理部７０２が特定した文書領域よりも優先する。もしくは、画像処理部７０２は、携帯端末装置７から受けた文書領域位置情報で示される位置の領域を、文書領域の初期値として使用してもよい。その後、画像データ送信部７０１は、画像処理部７０２の処理結果を携帯端末装置７に送信する（１３０４）。
また、図１４に示されるように、画像データ送信部７０１は、画像処理部７０２の処理結果を携帯端末装置７に送信する（１３０４）。そして、画像データ送信部７０１は、画像処理部７０２の処理結果を、別の場所にも伝送してもよい（１４００）。別の場所とは、例えば、別の装置、電子メールのアカウントなどである。別の場所は予め定められている。もしくは、上記の変形例２−４で記載したように、別の場所の識別情報を示す追加ルーティング情報が取込画像データに付加されて、携帯端末装置７からクラウド・コンピュータ７００に送信されてもよい。
（その他の変形例）
文書領域特定部７１による文書領域の特定方法は、ＵＳ特許出願番号１３／０３４，５９４（発明の名称「画像における注目の原稿領域を決定するための方法およびシステム」、２０１１年２月２４日出願、発明者：Ahmet Mufit Ferman, Lawrence Shao-hsien Chen)に記載されたような方法、システムまたは装置により実現されてもよい。ＵＳ特許出願
番号１３／０３４，５９４は、その全体を参照することによって援用される。具体的に説明すれば以下のとおりである。
文書領域特定部７１による文書領域の特定方法は、ＵＳ特許出願番号１３／０３４，５９４（発明の名称「画像における注目の原稿領域を決定するための方法およびシステム」、２０１１年２月２４日出願、発明者：Ahmet Mufit Ferman, Lawrence Shao-hsien Chen)に記載されたような方法、システムまたは装置により実現されてもよい。ＵＳ特許出願
番号１３／０３４，５９４は、その全体を参照することによって援用される。具体的に説明すれば以下のとおりである。
図１５は、文書領域特定部７１の概要を示す説明図である。文書領域特定部７１は、プレビュー画像データから輝度成分のみを抽出した入力輝度画像データＬを生成する。
入力輝度画像データＬは、前景除去部１５０４、エッジ検出部１５０６、およびテキスト特徴算出部１５０８に入力される。前景除去部１５０４では、入力輝度画像データＬに対して前景除去処理が施される。エッジ検出部１５０６では、入力輝度画像データＬに対してエッジ検出処理が施される。テキスト特徴算出部１５０８では、入力輝度画像データＬに基づいてテキスト（文字）の特徴点が算出される。
前景除去部１５０４は、文書画像に対応する入力輝度画像データＬから前景成分を除去し、エッジデータをほとんど含まない均一に近い背景領域を得る。
前景除去部１５０４は、入力輝度画像データＬをダウンサンプリングして、低解像画像データＬｒにダウンサンプリングする。そして、低解像画像データＬｒに対して流し込み法（flood-filling operation）を適用することにより、前景除去画像データ１５１０（
画像データＩＳＦ）を生成する。流し込み法では、テキスト画素の低グレースケールレベルの値を周囲の明るい色の背景画素のグレースケールレベルに置換する（テキスト画素を周囲の明るい色の背景画素のグレースケールレベルで塗り潰す）。これにより、不要成分（高周波成分）を除去した略均一なグレースケールレベルを有する文書領域が生成される。なお、前景除去処理の方法はこれに限るものではなく、例えば、前景除去部１５０４が、拡大、中央値フィルタ処理、あるいはその他の画像処理技術を用いて前景除去処理を行うようにしてもよい。
画像データＩＳＦ）を生成する。流し込み法では、テキスト画素の低グレースケールレベルの値を周囲の明るい色の背景画素のグレースケールレベルに置換する（テキスト画素を周囲の明るい色の背景画素のグレースケールレベルで塗り潰す）。これにより、不要成分（高周波成分）を除去した略均一なグレースケールレベルを有する文書領域が生成される。なお、前景除去処理の方法はこれに限るものではなく、例えば、前景除去部１５０４が、拡大、中央値フィルタ処理、あるいはその他の画像処理技術を用いて前景除去処理を行うようにしてもよい。
図１５に示したように、前景除去部１５０４からの出力画像データＩＳＦ（前景除去画像データ１５１０）は、不均一性低減部１５１２に入力される。
不均一性低減部１５１２は、前景除去画像データ１５１０における不均一性（輝度ムラ）を低減し、前景除去画像データ１５１０におけるグレア効果を除去する。例えば、不均
一性低減部１５１２は、前景除去画像データ１５１０の中央領域（前景除去画像の中心を含む領域）におけるピークを拡大あるいは伸長するために、前景除去画像データ１５１０に対してモフォロジー処理（拡大縮小処理）による再構成処理を行う。典型的な実施例では、前景除去画像データ１５１０（画像データＩＳＦ）からマーカー画像（種画像）ＩＭを抽出し、抽出したマーカー画像ＩＭを用いてモフォロジー処理による再構成処理を行う。モフォロジー処理による再構成処理において、マーカー画像ＩＭをマスク画像の特性に基づいて処理するようにしてもよい。上記マスク画像として、例えば、上記の前景除去画像データ１５１０（画像データＩＳＦ）を用いてもよい。上記マーカー画像の選択方法は特に限定されるものではなく、例えば、マーカー画像ＩＭの中心付近における所定サイズの領域である第１領域に属する各画素の画素値を当該画素に対応する前景除去画像データ１５１０（画像データＩＳＦ）の画素の画素値に応じた値に設定し、マーカー画像ＩＭにおける第１領域を除く領域である第２領域に属する各画素の画素値をゼロに設定してもよい。これにより、マーカー画像ＩＭにおける全画素の画素値は、マスク画像における対応する画素の画素値以下になる。モフォロジー処理による再構成処理は、概念的には、マーカー画像におけるマスク画像にマスクされる位置を連続的に拡大する処理として理解できる。この拡大処理は、前回の拡大によって再構成された画像と今回の拡大によって再構成された画像との間に変化が生じなかった場合に終了する。モフォロジー処理による再構成処理を実行する方法として多様な方法を採用可能であることは当業者にとって自明であろう。不均一性低減部１５１２は、モフォロジー処理による再構成処理が施された最終的な再構成画像データ１５１４（画像データＩＲ）を２値化処理部１５１６に出力する。
一性低減部１５１２は、前景除去画像データ１５１０の中央領域（前景除去画像の中心を含む領域）におけるピークを拡大あるいは伸長するために、前景除去画像データ１５１０に対してモフォロジー処理（拡大縮小処理）による再構成処理を行う。典型的な実施例では、前景除去画像データ１５１０（画像データＩＳＦ）からマーカー画像（種画像）ＩＭを抽出し、抽出したマーカー画像ＩＭを用いてモフォロジー処理による再構成処理を行う。モフォロジー処理による再構成処理において、マーカー画像ＩＭをマスク画像の特性に基づいて処理するようにしてもよい。上記マスク画像として、例えば、上記の前景除去画像データ１５１０（画像データＩＳＦ）を用いてもよい。上記マーカー画像の選択方法は特に限定されるものではなく、例えば、マーカー画像ＩＭの中心付近における所定サイズの領域である第１領域に属する各画素の画素値を当該画素に対応する前景除去画像データ１５１０（画像データＩＳＦ）の画素の画素値に応じた値に設定し、マーカー画像ＩＭにおける第１領域を除く領域である第２領域に属する各画素の画素値をゼロに設定してもよい。これにより、マーカー画像ＩＭにおける全画素の画素値は、マスク画像における対応する画素の画素値以下になる。モフォロジー処理による再構成処理は、概念的には、マーカー画像におけるマスク画像にマスクされる位置を連続的に拡大する処理として理解できる。この拡大処理は、前回の拡大によって再構成された画像と今回の拡大によって再構成された画像との間に変化が生じなかった場合に終了する。モフォロジー処理による再構成処理を実行する方法として多様な方法を採用可能であることは当業者にとって自明であろう。不均一性低減部１５１２は、モフォロジー処理による再構成処理が施された最終的な再構成画像データ１５１４（画像データＩＲ）を２値化処理部１５１６に出力する。
不均一性低減部１５１２が、背景色と文字色および前景色との関係を検出するようにしてもよい。この場合、マーカー画像におけるゼロ以外の画素値を有する画素の平均グレー値μＩＭを算出し、前景除去画像データ１５１０（画像データＩＳＦ）における残りの画素の平均グレー値μＩＣＭと比較する。そして、μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧであれば、上記画像における文書部分は前景画像に暗い色のテキストを含む明るい色の背景になり、処理が継続される。なお、上記ＴＢＧは、背景の輝度値と白に対応する輝度値との差に応じた閾値である。μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧでなければ、文書着目領域の決定処理を終了するようにしてもよい。あるいは、μＩＭ＞μＩＣＭ、かつμＩＭ＞ＴＢＧでなければ、２値化処理部１５１６によって決定される第１文書着目領域候補マスクを反転させて文書着目領域の決定処理を継続するようにしてもよい。上記ＴＢＧの典型的な値は１００である。
再構成画像データ１５１４は、第１文書着目領域候補マスク（第１文書ＲＯＩ候補マスク）１５１８を生成する２値化処理部（閾値処理部）１５１６に出力される。２値化処理部１５１６は、文書着目領域と非文書着目領域とを分離するための閾値を選択して２値化処理（閾値処理）を行う。閾値の選択方法は特に限定されず、多様な方法を用いることができる。例えば、「Nobuyuki Otsu著、“A threshold selection method from gray-level histograms”、IEEE Transactions on Systems、Man and Cybernetics、volume 9、62-66頁、1979年」に開示されている方法を用いてもよい。
図１５に示したように、エッジ検出部１５０６は、上記の輝度のみからなる入力輝度画像データＬからエッジマスク１５２２を抽出し、第１文書着目領域候補マスク１５１８から不要成分を除去するために用いる。エッジ検出部１５０６が、低解像画像データＬｒに基づいてエッジマスク１５２２を抽出するようにしてもよく、フル解像度の画像データに基づいてエッジマスク１５２２を抽出するようにしてもよい。エッジ検出部１５０６におけるエッジ検出方法は特に限定されるものではなく、従来からの公知の種々の方法を用いることができる。例えば、勾配に基づく方法、ゼロ公差法、あるいはその他の方法を用いることができる。エッジ検出部１５０６によって抽出されたエッジマスク１５２２は、結合部１５２４において下記式（１）に基づいて第１文書着目領域候補マスク１５１８と結
合される。
合される。
なお、第２文書着目領域候補マスクにおける各要素内の孔（holes）を除去するために、
第２文書着目領域候補マスクに対して塗り潰しアルゴリズム（image filling algorithm
）による処理を適用してもよい。あるいは、塗り潰し処理を行わなくてもよい。
第２文書着目領域候補マスクに対して塗り潰しアルゴリズム（image filling algorithm
）による処理を適用してもよい。あるいは、塗り潰し処理を行わなくてもよい。
着目領域補正部（ＲＯＩ補正部）１５２８は、上記の第２文書着目領域候補マスク１５２６を補正（精製）する。具体的には、着目領域補正部１５２８は、第２文書着目領域候補マスク１５２６における連結要素（隣接する画素同士の画素値が同じである画素からなる集合）を識別し、それら各連結要素が文書着目領域の一部であるか否かを分析する。
着目領域補正部１５２８は、第２文書着目領域候補マスク１５２６における連結要素ｃｉによってカバーされたテキスト状の内容の量を決定する。具体的には、着目領域補正部１５２８は、入力輝度画像データＬから検出されたコーナーの特徴点（複数のエッジの交点。テキストの特徴点。）１５３２をテキスト特徴算出部１５０８から受け取る。テキスト特徴算出部１５０８は、例えば「C.Harris、M.Stephens著、“A combined corner and edge detector”、Proceedings of the 4th Alvey Vision Conference、147-151頁、1988年」に開示されているハリス法を用いて入力輝度画像データＬからコーナーの特徴点１５３２を検出する。
着目領域補正部１５２８は、第２文書着目領域候補マスク１５２６における連結要素ｃｉによって規定されるテキスト範囲として、コーナーの特徴点の総数に対する上記連結要素ｃｉに含まれるコーナーの特徴点の数の割合ｒｉを算出する。上記割合ｒｉの値が所定の閾値Ｔを超えている場合には最終文書着目領域マスク１５３４（ＭＲＯＩ）に連結要素ｃｉを加え、そうでない場合には連結要素ｃｉを廃棄する。これにより、テキストの特徴点が密集している領域が最終文書着目領域マスク１５３４に含まれ、その他の領域は最終文書着目領域マスク１５３４から除外される。本実施形態では閾値Ｔを２．５％に設定している。ただし、閾値Ｔの値はこれに限るものではない。そして、着目領域補正部１５２８により生成された最終文書着目領域マスク１５３４で示される領域を文書着目領域として設定される。
また、上述した各処理の実行順序は、図面中に示した順序に限定されるものではなく、適宜変更してもよい。また、図面中に連続して実行されるように示されている各処理の一部を、並行処理するようにしてもよく、処理期間の一部が重複するようにしてもよい。また、上記の携帯の様々な論理回路上の機能をソフトウェア、ハードウェアおよび／またはファームウェアを用いて実現できることは当業者であれば容易に理解できる。
また、上記実施形態において、携帯端末装置６・７またはクラウド・コンピュータ７０
０に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、携帯端末装置６・７またはクラウド・コンピュータ７００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開
するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである携帯端末装置６・７またはクラウド・コンピュータ７００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、携帯端末装置６・７またはクラウド・コンピュータ７００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
０に備えられる各部（各ブロック）を、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現してもよい。この場合、携帯端末装置６・７またはクラウド・コンピュータ７００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開
するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである携帯端末装置６・７またはクラウド・コンピュータ７００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、携帯端末装置６・７またはクラウド・コンピュータ７００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、携帯端末装置またはクラウド・コンピュータを通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークの構成は特に限定されるものではなく、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。
また、通信ネットワークを構成する伝送媒体についても特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
また、通信ネットワークを構成する伝送媒体についても特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
また、携帯端末装置６・７またはクラウド・コンピュータ７００の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよい。また、携帯端末装置６・７またはクラウド・コンピュータ７００の各ブロックは、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
なお、本発明は、以下のようにも表現できる。
すなわち、本発明は、画像の撮像方法であって、プレビューフレーム画像を取得するステップと、上記プレビューフレーム画像から第１画像特徴を抽出するステップと、第１撮像要素に関して上記第１画像特徴を判断するステップと、上記第１撮像要素に対応する第１キューを上記プレビューフレーム画像の上に重ねたオーバーレイ・プレビューフレーム画像を表示するステップとを含む。
すなわち、本発明は、画像の撮像方法であって、プレビューフレーム画像を取得するステップと、上記プレビューフレーム画像から第１画像特徴を抽出するステップと、第１撮像要素に関して上記第１画像特徴を判断するステップと、上記第１撮像要素に対応する第１キューを上記プレビューフレーム画像の上に重ねたオーバーレイ・プレビューフレーム画像を表示するステップとを含む。
また、本発明の方法において、上記第１撮像要素は、露出、サイズ、傾き、コントラスト、カメラの動き、ぼやけの中から選択された一つであることが好ましい。
また、本発明の方法において、上記プレビューフレーム画像から第２画像特徴を抽出するステップと、第２撮像要素に関して上記第２画像特徴を判断するステップと、上記第２撮像要素に対応する第２キューを、上記プレビューフレーム画像の上にさらに重ねて表示
するステップとを含むことが好ましい。
するステップとを含むことが好ましい。
また、本発明の方法において、上記第２撮像要素は、露出、サイズ、傾き、コントラスト、カメラの動き、ぼやけの中から選択された一つであり、上記第１撮像要素と異なることが好ましい。
また、本発明の方法において、上記プレビューフレーム画像から第３画像特徴を抽出するステップと、第３撮像要素に関して上記第３画像特徴を判断するステップと、上記第３撮像要素に対応する第３キューを、上記プレビューフレーム画像の上にさらに重ねて表示するステップとを含むことが好ましい。
また、本発明の方法において、上記第３撮像要素は、露出、サイズ、傾き、コントラスト、カメラの動き、ぼやけの中から選択された一つであり、上記第１撮像要素および第２撮像要素と異なることが好ましい。
上記第１画像特徴を抽出するステップは、露光量を算出するステップを含むことが好ましい。
ここで、上記第１撮像要素に関して上記第１画像特徴を判断するステップは、前記露光量と露光閾値とを比較するステップを含み、当該比較結果が第１基準を満たす場合に、露光量が適正であることを示す第１キューを表示し、当該比較結果が第１基準を満たさない場合に、露光量が不適切であることを示す第１キューを表示する。
また、上記第１画像特徴を抽出するステップは、サイズを算出するステップを含むことが好ましい。
上記サイズを算出するステップは、上記プレビューフレーム画像をダウンサンプリングするステップと、ダウンサンプリングされたプレビューフレーム画像をグレースケール画像に変換するステップと、上記グレースケール画像を２値化するステップと、上記２値化された画像において、撮像対象物の領域に対応する画素の数である第１値を決定するステップと、上記第１値を上記２値化された画像の全画素数で割るステップとを含むことが好ましい。
ここで、上記第１撮像要素に関して上記第１画像特徴を判断するステップは、上記サイズをサイズ閾値と比較するステップを含み、当該比較結果が第１基準を満たす場合に、サイズが適正であることを示す第１キューを表示し、当該比較結果が第１基準を満たさない場合に、サイズが不適切であることを示す第１キューを表示する。
また、上記プレビューフレーム画像から第１画像特徴を抽出するステップは、文書領域の上境界線を決定するステップと、文書領域の下境界線を決定するステップと、文書領域の左境界線を決定するステップと、文書領域の右境界線を決定するステップと、水平方向の消滅点を決定するステップと、垂直方向の消滅点を決定するステップと、水平方向の消滅点と上記プレビューフレーム画像の中心点との距離である第１距離を決定するステップと、垂直方向の消滅点と上記プレビューフレーム画像の中心点との距離である第２距離を決定するステップとを含むことが好ましい。
そして、上記第１撮像要素に関して上記第１画像特徴を判断するステップは、上記第１距離と水平方向の距離閾値とを比較するステップと、上記第２距離と垂直方向の距離閾値とを比較するステップとを含み、上記第１距離と水平方向の距離閾値との比較結果が第１基準を満たし、かつ、上記第２距離と垂直方向の距離閾値との比較結果が第２基準を満た
す場合に、傾きが適正であることを示す第１キューを表示し、上記第１距離と水平方向の距離閾値との比較結果が第１基準を満たさない、あるいは、上記第２距離と垂直方向の距離閾値との比較結果が第２基準を満たさない場合に、傾きが不適正であることを示す第１キューを表示する。
す場合に、傾きが適正であることを示す第１キューを表示し、上記第１距離と水平方向の距離閾値との比較結果が第１基準を満たさない、あるいは、上記第２距離と垂直方向の距離閾値との比較結果が第２基準を満たさない場合に、傾きが不適正であることを示す第１キューを表示する。
さらに、本発明の方法は、上記プレビューフレーム画像をダウンサンプリングするステップと、ダウンサンプリングされたプレビューフレーム画像をグレースケール画像に変換するステップと、上記グレースケール画像を２値化するステップと、上記２値化された画像から水平方向の勾配画像を算出するステップと、上記２値化された画像から垂直方向の勾配画像を算出するステップと、上記水平方向の勾配画像および垂直方向の勾配画像に基づいて、垂直方向のエッジに垂直方向のエッジである旨のラベル付けするステップと、上記水平方向の勾配画像および垂直方向の勾配画像に基づいて、水平方向のエッジに水平方向のエッジである旨のラベル付けするステップと、上記ラベル付けされたエッジから上境界ポイントセットを形成するステップと、上記ラベル付けされたエッジから下境界ポイントセットを形成するステップと、上記ラベル付けされたエッジから左境界ポイントセットを形成するステップと、上記ラベル付けされたエッジから右境界ポイントセットを形成するステップと、上記上境界ポイントセットをフィーティングすることで上記上境界線を求めるステップと、上記下境界ポイントセットをフィーティングすることで上記下境界線を求めるステップと、上記左境界ポイントセットをフィーティングすることで上記左境界線を求めるステップと、上記右境界ポイントセットをフィーティングすることで上記右境界線を求めるステップと、を含むことが好ましい。
さらに、水平方向の消滅点を決定するステップは、上記上境界線と下境界線との交点を求めるステップを含み、垂直方向の消滅点を決定するステップは、上記左境界線と右境界線との交点を求めるステップを含む。
また、上記オーバーレイ・プレビューフレーム画像の上に、上記の上境界線、下境界線、左境界線および右境界線を重ねて表示することが好ましい。
また、上記第１キューはアイコンであることが好ましい。
そして、上記アイコンは、第１キューが適正であることを示す場合に第１色を有し、第１キューが不適正であることを示す場合に第１色と異なる第２色を有することが好ましい。
また、上記第１キューは文字列であることが好ましい。
そして、上記文字列は、第１キューが適正であることを示す場合に第１色を有し、第１キューが不適正であることを示す場合に第１色と異なる第２色を有することが好ましい。
また、上記第１キューはアイコンおよび文字列であることが好ましい。
さらに、本発明の方法は、上記第１撮像要素に対応する値が適正である場合に第１画像を取り込むステップを含むことが好ましい。
さらに、本発明の方法は、上記プレビュー画像に対応するオーバーレイ・プレビューフレーム画像を撮像装置において表示するステップを含むことが好ましい。
また、本発明の方法は、画像の撮像方法であって、プレビューフレーム画像を取得するステップと、上記プレビューフレーム画像から複数の画像特徴を抽出するステップと、複
数の撮像要素に関して上記複数の画像特徴を判断し、各撮像要素に対する値を決定するステップと、各撮像要素について、当該撮像要素に対する上記値が適正か否かを判定するステップと、全ての撮像要素に対する値が適正である場合に、第１画像を取り込むステップと、少なくとも１つの撮像要素に対する値が不適正である場合に、当該撮像用度に対応する複数のキューを上記プレビューフレーム画像の上に重ねたオーバーレイ・プレビューフレーム画像を表示するステップとを含む。
数の撮像要素に関して上記複数の画像特徴を判断し、各撮像要素に対する値を決定するステップと、各撮像要素について、当該撮像要素に対する上記値が適正か否かを判定するステップと、全ての撮像要素に対する値が適正である場合に、第１画像を取り込むステップと、少なくとも１つの撮像要素に対する値が不適正である場合に、当該撮像用度に対応する複数のキューを上記プレビューフレーム画像の上に重ねたオーバーレイ・プレビューフレーム画像を表示するステップとを含む。
さらに、本発明の方法は、上記プレビュー画像に対応するオーバーレイ・プレビューフレーム画像を撮像装置において表示するステップを含むことが好ましい。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
６・７ 携帯端末装置（撮像装置）
６１ 撮像部（撮像手段）
６２ 表示部（表示手段）
６５ 境界検出部
６６ 撮像要素抽出部
６７ 撮像品質判定部（判定部）
６８ 表示制御部
６９ 取込画像決定部
７１ 文書領域特定部
７２ 文書領域修正部
７３ 送信部
７４ 受信部
３０２、３０４，３０６，３０８ 境界線
３１０ 第１消滅点
３５２，３５４，３５６，３５８ 境界線
４０４，４０６，４０８，４１０ 境界線
４１８、４２０，４２２ アイコン
４２４、４２６，４２８ 文字列
７００ クラウド・コンピュータ
６１ 撮像部（撮像手段）
６２ 表示部（表示手段）
６５ 境界検出部
６６ 撮像要素抽出部
６７ 撮像品質判定部（判定部）
６８ 表示制御部
６９ 取込画像決定部
７１ 文書領域特定部
７２ 文書領域修正部
７３ 送信部
７４ 受信部
３０２、３０４，３０６，３０８ 境界線
３１０ 第１消滅点
３５２，３５４，３５６，３５８ 境界線
４０４，４０６，４０８，４１０ 境界線
４１８、４２０，４２２ アイコン
４２４、４２６，４２８ 文字列
７００ クラウド・コンピュータ
Claims (11)
- 対象物を撮像する撮像手段と、
上記撮像手段により撮像された画像であるプレビュー画像を表示する表示手段と、
指定されたタイミングで上記表示手段に表示されているプレビュー画像を取込画像として取り込む取込画像決定部とを備える撮像装置において、
上記対象物が矩形であり、
上記プレビュー画像において、上記対象物と背景との四角形の境界線を検出する境界検出部と、
画像の品質を示す複数の撮像要素の各々について、上記プレビュー画像から、当該撮像要素に対応する特徴量を抽出する撮像要素抽出部と、
撮像要素ごとに、当該撮像要素に対応する特徴量が当該撮像要素に対応する撮像条件を満たすか否かを判定する判定部と、
上記表示手段において、上記プレビュー画像の上に上記境界線を重ねて表示させるとともに、上記判定部により撮像条件を満たしていないと判定された撮像要素について、上記判定部による判定結果を示すアイコンおよび文字列の少なくとも一方を上記プレビュー画像の上に重ねて表示させ、上記判定部により撮像条件を満たしていると判定された撮像要素については、上記判定部による判定結果を表示させない表示制御部と、
上記取込画像における対象物の領域を特定する領域特定部と、
上記領域特定部により特定された対象物の領域の位置に対する修正指示を受け付けたときに当該修正指示に従って対象物の領域の修正する領域修正部と、
上記領域修正部による対象物の領域が修正されていない場合、上記取込画像と、上記領域特定部により特定された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されていないことを示す識別子とをクラウド・コンピュータに送信し、上記領域修正部による対象物の領域が修正された場合、上記取込画像と、上記領域修正部により修正された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されたことを示す識別子とをクラウド・コンピュータに送信する送信部と、
上記クラウド・コンピュータにより画像処理が実行された取込画像を受信する受信部とを備えることを特徴とする撮像装置。 - 上記取込画像決定部は、上記複数の撮像要素の全てについて撮像条件を満たすと上記判定部により判定された場合を上記指定されたタイミングであると判断することを特徴とする請求項１に記載の撮像装置。
- 上記表示制御部は、上記判定結果の表示形態として、アイコンのみ、文字列のみ、アイコンおよび文字列、の何れかの選択指示を受け付け、受け付けた表示形態で上記判定結果を表示させることを特徴とする請求項１または２に記載の撮像装置。
- 上記表示制御部は、上記四角形の境界線の外側に上記判定結果を表示させることを特徴とする請求項１から３の何れか１項に記載の撮像装置。
- 上記表示制御部は、複数の撮像要素の各々について、判定結果の表示のオンおよびオフの切替指示を受け付け、オンの指示を受けた撮像要素についてのみ上記判定結果を表示させることを特徴とする請求項１から４の何れか１項に記載の撮像装置。
- 対象物を撮像する撮像手段と、
上記撮像手段により撮像された画像であるプレビュー画像を表示する表示手段と、
指定されたタイミングで上記表示手段に表示されているプレビュー画像を取込画像として取り込む取込画像決定部とを備える撮像装置において、
上記取込画像における対象物の領域を特定する領域特定部と、
上記領域特定部により特定された対象物の領域の位置に対する修正指示を受け付けたときに当該修正指示に従って対象物の領域の修正する領域修正部と、
上記領域修正部による対象物の領域が修正されていない場合、上記取込画像と、上記領域特定部により特定された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されていないことを示す識別子とをクラウド・コンピュータに送信し、上記領域修正部による対象物の領域が修正された場合、上記取込画像と、上記領域修正部により修正された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されたことを示す識別子とをクラウド・コンピュータに送信する送信部と、
上記クラウド・コンピュータにより画像処理が実行された取込画像を受信する受信部とを備えることを特徴とする撮像装置。 - 上記送信部は、クラウド・コンピュータで実行される画像処理の内容を示す情報と、上記取込画像を取り込む際に撮像要素抽出部により抽出された特徴量とを、上記取込画像とともにクラウド・コンピュータに送信することを特徴とする請求項１から６の何れか１項に記載の撮像装置。
- 請求項１から７の何れか１項に記載の撮像装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
- 請求項８に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
- 対象物を撮像する撮像手段と、
上記撮像手段により撮像された画像であるプレビュー画像を表示する表示手段と、
指定されたタイミングで上記表示手段に表示されているプレビュー画像を取込画像として取り込む取込画像決定部とを備える撮像装置における表示方法であって、
上記対象物が矩形であり、
上記プレビュー画像において、上記対象物と背景との四角形の境界線を検出する境界検出ステップと、
画像の品質を示す複数の撮像要素の各々について、上記プレビュー画像から、当該撮像要素に対応する特徴量を抽出する撮像要素抽出ステップと、
撮像要素ごとに、当該撮像要素に対応する特徴量が当該撮像要素に対応する撮像条件を満たすか否かを判定する判定ステップと、
上記表示手段において、上記プレビュー画像の上に上記境界線を重ねて表示させるとともに、撮像条件を満たしていないと判定された撮像要素について、上記判定ステップの判定結果を示すアイコンおよび文字列の少なくとも一方を上記プレビュー画像の上に重ねて表示させ、撮像条件を満たしていると判定された撮像要素については、上記判定ステップの判定結果を表示させない表示制御ステップと、
上記取込画像における対象物の領域を特定する領域特定ステップと、
上記領域特定ステップで特定された対象物の領域の位置に対する修正指示を受け付けたときに当該修正指示に従って対象物の領域の修正する領域修正ステップと、
上記領域修正ステップで対象物の領域が修正されていない場合、上記取込画像と、上記領域特定ステップで特定された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されていないことを示す識別子とをクラウド・コンピュータに送信し、上記領域修正ステップで対象物の領域が修正された場合、上記取込画像と、上記領域修正ステップで修正された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されたことを示す識別子とをクラウド・コンピュータに送信する送信ステップと、
上記クラウド・コンピュータにより画像処理が実行された取込画像を受信する受信ステップとを含むことを特徴とする表示方法。 - 対象物を撮像する撮像手段と、
上記撮像手段により撮像された画像であるプレビュー画像を表示する表示手段と、
指定されたタイミングで上記表示手段に表示されているプレビュー画像を取込画像として取り込む取込画像決定部とを備える撮像装置における画像処理方法であって、
上記取込画像における対象物の領域を特定する領域特定ステップと、
上記領域特定ステップで特定された対象物の領域の位置に対する修正指示を受け付けたときに当該修正指示に従って対象物の領域の修正する領域修正ステップと、
上記領域修正ステップで対象物の領域が修正されていない場合、上記取込画像と、上記領域特定ステップで特定された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されていないことを示す識別子とをクラウド・コンピュータに送信し、上記領域修正ステップで対象物の領域が修正された場合、上記取込画像と、上記領域修正ステップで修正された対象物の領域の位置を示す領域位置情報と、対象物の領域が修正されたことを示す識別子とをクラウド・コンピュータに送信する送信ステップと、
上記クラウド・コンピュータにより画像処理が実行された取込画像を受信する受信ステップとを含むことを特徴とする画像処理方法。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/078,052 | 2011-04-01 | ||
| US13/078,070 US8947453B2 (en) | 2011-04-01 | 2011-04-01 | Methods and systems for mobile document acquisition and enhancement |
| US13/078,070 | 2011-04-01 | ||
| US13/078,052 US9094617B2 (en) | 2011-04-01 | 2011-04-01 | Methods and systems for real-time image-capture feedback |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012217159A JP2012217159A (ja) | 2012-11-08 |
| JP5231667B2 true JP5231667B2 (ja) | 2013-07-10 |
Family
ID=47269469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012070181A Active JP5231667B2 (ja) | 2011-04-01 | 2012-03-26 | 撮像装置、撮像装置における表示方法、撮像装置における画像処理方法、プログラムおよび記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5231667B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9767354B2 (en) | 2009-02-10 | 2017-09-19 | Kofax, Inc. | Global geographic information retrieval, validation, and normalization |
| US10146795B2 (en) | 2012-01-12 | 2018-12-04 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
| US8989515B2 (en) | 2012-01-12 | 2015-03-24 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
| US9007633B2 (en) * | 2012-08-15 | 2015-04-14 | Fuji Xerox Co., Ltd. | Systems and methods for efficiently capturing high-quality scans of multi-page documents with hand-held devices |
| US9355312B2 (en) | 2013-03-13 | 2016-05-31 | Kofax, Inc. | Systems and methods for classifying objects in digital images captured using mobile devices |
| US9208536B2 (en) | 2013-09-27 | 2015-12-08 | Kofax, Inc. | Systems and methods for three dimensional geometric reconstruction of captured image data |
| US20140316841A1 (en) | 2013-04-23 | 2014-10-23 | Kofax, Inc. | Location-based workflows and services |
| DE202014011407U1 (de) | 2013-05-03 | 2020-04-20 | Kofax, Inc. | Systeme zum Erkennen und Klassifizieren von Objekten in durch Mobilgeräte aufgenommenen Videos |
| JP2016538783A (ja) | 2013-11-15 | 2016-12-08 | コファックス， インコーポレイテッド | モバイル映像データを用いて長尺文書の合成画像を生成するためのシステムおよび方法 |
| US9760788B2 (en) | 2014-10-30 | 2017-09-12 | Kofax, Inc. | Mobile document detection and orientation based on reference object characteristics |
| US10242285B2 (en) | 2015-07-20 | 2019-03-26 | Kofax, Inc. | Iterative recognition-guided thresholding and data extraction |
| JP6478282B2 (ja) * | 2015-11-27 | 2019-03-06 | Kddi株式会社 | 情報端末装置及びプログラム |
| CN110402454B (zh) * | 2017-03-28 | 2023-06-13 | 富士胶片株式会社 | 图像修正装置、图像修正方法及记录介质 |
| US10803350B2 (en) | 2017-11-30 | 2020-10-13 | Kofax, Inc. | Object detection and image cropping using a multi-detector approach |
| CN111937082A (zh) * | 2018-04-02 | 2020-11-13 | 皇家飞利浦有限公司 | 远程牙科成像的引导方法和系统 |
| JP7414564B2 (ja) | 2020-02-04 | 2024-01-16 | キヤノン株式会社 | 情報処理装置及び方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4155875B2 (ja) * | 2003-06-16 | 2008-09-24 | シャープ株式会社 | 画像撮像装置 |
| JP4341629B2 (ja) * | 2006-01-27 | 2009-10-07 | カシオ計算機株式会社 | 撮像装置、画像処理方法及びプログラム |
| JP2007240732A (ja) * | 2006-03-07 | 2007-09-20 | Pentax Corp | 防振機能付きカメラ |
| JP4757173B2 (ja) * | 2006-11-17 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
-
2012
- 2012-03-26 JP JP2012070181A patent/JP5231667B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2012217159A (ja) | 2012-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5231667B2 (ja) | 撮像装置、撮像装置における表示方法、撮像装置における画像処理方法、プログラムおよび記録媒体 | |
| US8345106B2 (en) | Camera-based scanning | |
| JP5951367B2 (ja) | 撮像装置、撮像画像処理システム、プログラムおよび記録媒体 | |
| US8947453B2 (en) | Methods and systems for mobile document acquisition and enhancement | |
| JP4341629B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
| JP5547243B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
| JP5886265B2 (ja) | 携帯端末装置、プログラム、及び記録媒体 | |
| JP5281446B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| JP4772889B2 (ja) | 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体 | |
| JP2011097251A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体 | |
| JP2010088105A (ja) | 撮像装置および方法、並びにプログラム | |
| JP4758493B2 (ja) | 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体 | |
| JP2007074579A (ja) | 画像処理装置、及びプログラム | |
| WO2016074467A1 (zh) | 一种图像的处理方法和装置 | |
| JP2019040617A (ja) | 画像処理装置および画像処理方法 | |
| JP2004023158A (ja) | 画像撮像装置 | |
| JP2018107593A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP5301694B2 (ja) | 画像処理装置、画像処理方法、プログラムおよびその記録媒体 | |
| JP2012181838A (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
| US20120249837A1 (en) | Methods and Systems for Real-Time Image-Capture Feedback | |
| US8086063B2 (en) | Image display apparatus and method, and program | |
| JP2005275447A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2014132771A (ja) | 画像処理装置および方法、並びにプログラム | |
| JP5212451B2 (ja) | 領域特定方法、領域特定装置、プログラム、サーバ及びシステム | |
| JP2011028322A (ja) | 画像処理装置、画像処理プログラムおよび撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130321 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5231667 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |