JP5026484B2 - 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体 - Google Patents

Description

本発明は、撮像条件を自動的に調整して撮像する携帯端末装置、画像出力装置、携帯端末装置の制御方法、画像出力方法、プログラム、およびコンピュータ読み取り可能な記録媒体に関するものである。

インターネット技術の進展や携帯電話等のモバイル機器の多機能化に伴い、カメラ付き携帯電話などモバイル機器を利用して撮影する機会が増えてきている。また、単純に風景や、人物などを被写体とするだけではなく、各種ショーなどで展示されている説明図や説明文が記載されたパネルを撮影したり学会等においてスライドを撮影したりする機会も増えてきている。

各種ショーなどで展示されている説明図や説明文が記載されたパネル等は、来場者に見やすくするために、スポットライト等の光を当てている場合がある。被写体を光で照らしている場合、撮影者は、通常、特に暗いとも明るいとも感じずに問題無く撮影できると判断して撮影を行う。ところが、特許文献１に記載のデジタルカメラを含め、通常のカメラで撮影した画像を見てみると、スポットライト等の光が局所的に当たっている明るい箇所の明るさと光が当たっていない暗い箇所の明るさとの差が非常に大きいことがある。

このような場合、暗い箇所の視認性が良くなるように露出条件（ゲイン・絞り等）を合わせると、明るい箇所が白とびしてしまうことが多い。逆に、明るい箇所の視認性が良くなるように露出条件を合わせると、暗い箇所が黒つぶれとなってしまうことが多い。従って、高度なカメラの性能と知識が無い限り、１枚の撮像画像の全領域に亘って視認性や判読性が良好となるように撮像することは困難である。

撮像画像の品質を改善するために様々な研究がなされているが、その中のひとつとして特許文献２に開示されている撮像装置がある。この撮像装置は、フラッシュをテスト発光せずに撮像して得た静止画像データと、テスト発光して撮像して得た静止画像データと、を比較することにより被写体の位置情報を抽出し、該位置情報が表わす領域に適切な発光量でフラッシュを発光して撮像することにより最終的な撮像画像を得ることを特徴としている。

特開２００２−４１５０２号公報（平成１４年２月８日公開） 特開２００７−３３６０１１号公報（平成１９年１２月２７日公開）

しかしながら、上記従来の構成であっても、スポットライト等の光が局所的に当たっている被写体を撮像する場合に、撮像画像に白とび、黒つぶれのいずれかが生じてしまう可能性が高く、撮像画像全体の良好な視認性を確保することが困難であるという問題は依然解決されていない。

本発明は、上記の問題点に鑑みてなされたものであり、その主な目的は、画像全体に亘って白とびや黒つぶれのない撮像画像の画像データをユーザが従来よりも容易に得ることが可能な携帯端末装置を実現することにある。

本発明の携帯端末装置は、上記課題を解決するために、画像データを出力する画像出力装置に対して複数の画像データを送信する送信部を備えた携帯端末装置であって、同一の撮像対象物に対して連続して複数回撮像することが可能な撮像部と、上記撮像部による撮像により得られた撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、を備え、上記撮像画像判定部により上記所定条件を満たすと判定された場合に、上記撮像部は、上記撮像画像データの撮像における露出条件と異なる複数の露出条件で上記撮像対象物を連続して撮像し、上記送信部は、上記異なる複数の露出条件で上記撮像対象物を撮像することにより得られた撮像画像データを上記画像出力装置に送信することを特徴としている。ここで、上記所定条件は、少なくとも以下の条件Ａを含んでいる。

条件Ａ：上記撮像画像データが表わす撮像画像において、明るさの度合いを示す特徴量が第１の閾値以上の白色画素からなる白色画素群の領域の周囲の所定範囲の領域に、上記第１の閾値より小さい第２の閾値以上の白色画素が含まれるか、または、上記特徴量が第３の閾値以下の黒色画素からなる黒色画素群の領域の周囲の所定範囲の領域に、上記第３の閾値より大きい第４の閾値以下の黒色画素が含まれる
上記の構成によれば、携帯端末装置は、撮像画像において、第１の閾値以上の画素値をもつ白色の画素からなる白色画素群の領域の周囲の所定範囲の領域に第１の閾値より小さい第２の閾値以上の白色画素が含まれるか、または、第３の閾値以下の画素値をもつ黒色の画素からなる黒色画素群の領域の周囲の所定範囲の領域に第３の閾値より大きい第４の閾値以下の黒色画素が含まれている場合に、異なる複数の露出条件で同一の撮像対象物を撮像する。例えば、携帯端末装置は、撮像画像において、画素値が２５０以上の白色の画素からなる白色画素群の領域の境界から縦横合わせて５ドット（画素）以内の領域に画素値が２４０以上２５０未満の画素が含まれている場合に、異なる複数の露出条件で同一の撮像対象物を撮像する。

すなわち、撮像画像に白とびや黒つぶれが含まれている可能性がある場合に、異なる複数の露出条件で同一の撮像対象物を撮像する。

ここで、ユーザの撮影技術の優劣に関わりなく、異なる複数の露出条件で撮像すれば、得られた複数の撮像画像の中に画像全体に亘って白とびや黒つぶれが生じていない撮像画像が含まれている可能性が高まることは明らかである。

従って、携帯端末装置は、画像全体に亘って白とびや黒つぶれのない撮像画像の画像データをユーザが従来よりも容易に得ることを可能にするという効果を奏する。

本発明の制御方法は、上記課題を解決するために、画像データを出力する画像出力装置に対して複数の画像データを送信する送信部と、同一の撮像対象物に対して連続して複数回撮像することが可能な撮像部と、を備えた携帯端末装置の制御方法であって、撮像画像判定部が、上記撮像部による撮像により得られた撮像画像データが所定条件を満たすか否かを判定する撮像画像判定ステップと、上記撮像画像判定部により上記所定条件を満たすと判定された場合に、上記撮像部が、上記撮像画像データの撮像における露出条件と異なる複数の露出条件で上記撮像対象物を連続して撮像する撮像ステップと、上記送信部が、上記異なる複数の露出条件で上記撮像対象物を撮像することにより得られた撮像画像データを上記画像出力装置に送信する送信ステップと、を含んでいることを特徴としている。ここで、上記所定条件は、少なくとも以下の条件Ａを含んでいる。
条件Ａ：上記撮像画像データが表わす撮像画像において、明るさの度合いを示す特徴量が第１の閾値以上の白色画素からなる白色画素群の領域の周囲の所定範囲の領域に、上記第１の閾値より小さい第２の閾値以上の白色画素が含まれるか、または、上記特徴量が第３の閾値以下の黒色画素からなる黒色画素群の領域の周囲の所定範囲の領域に、上記第３の閾値より大きい第４の閾値以下の黒色画素が含まれる。

上記の構成によれば、本発明の携帯端末装置と同様の作用効果を奏する。

上記携帯端末装置は、上記撮像部が、撮像前に上記撮像対象物を表わす画像をあらかじめ取り込むことが可能であって、上記撮像画像判定部が、上記撮像部による撮像により得られた撮像画像データに代えて、上記撮像部があらかじめ撮像前にとりこんだ画像を表わす画像データが上記所定条件を満たすか否かを判定するようにすることができる。

上記携帯端末装置は、表示部の表示を制御する表示制御部と、入力部を介してユーザからの指示を受け付ける指示受付制御部と、をさらに備え、上記撮像画像判定部が上記所定条件を満たすと判定した場合に、上記表示制御部はその旨を表示部に表示するとともに、上記指示受付制御部は再撮像の指示を受け付け、上記撮像画像判定部は、上記再撮像の指示に基づき上記撮像部が上記所定条件を満たすと判定された撮像時と異なる露出条件で撮像して得られた撮像画像データについても上記所定条件を満たすか否かを判定し、上記送信部は、上記撮像画像判定部が上記所定条件を満たさないと判定した撮像画像データのみを上記画像出力装置に送信することが望ましい。

上記の構成によれば、携帯端末装置は、画像出力装置において白とびや黒つぶれのない撮像画像データを選択する処理をさせることなく、撮像画像データを出力させることができるというさらなる効果を奏する。

本発明の画像出力装置は、上記課題を解決するために、上記携帯端末装置から撮像画像データを受信する通信部と、上記通信部が受信した上記撮像画像データにそれぞれ異なる露出条件で撮像された複数の撮像画像データが含まれる場合に、該複数の撮像画像データの中から上記所定条件を満たさないいずれかの撮像画像データを選択する画像処理部と、上記画像処理部が選択した上記撮像画像データを出力する出力処理を実行する出力部と、を備えることを特徴としている。

上記の構成によれば、画像出力装置は、所定条件を満たさないいずれかの撮像画像データを出力する出力処理を実行する。従って、画像出力装置は、白とびや黒つぶれのない撮像画像データをユーザが手にいれることを容易にするという効果を奏する。

また、本発明の画像出力方法は、上記課題を解決するために、上記携帯端末装置から撮像画像データを受信する通信部と、撮像画像データに画像処理を施す画像処理部と、撮像画像データを出力する出力部と、を備えた画像出力装置の画像出力方法であって、上記通信部が受信した上記撮像画像データにそれぞれ異なる露出条件で撮像された複数の撮像画像データが含まれる場合に、上記画像処理部が、該複数の撮像画像データの中から上記所定条件を満たさないいずれかの撮像画像データを選択する選択工程と、上記出力部が、上記画像処理部が選択した上記撮像画像データを出力する出力処理を実行する出力工程と、を含んでいることを特徴としている。

上記の構成によれば、画像出力装置と同様の作用効果を奏する。

上記画像出力装置は、上記画像処理部が選択した上記撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理部をさらに備え、
上記出力部において出力する撮像画像データは、上記補正処理部が生成した上記高解像度画像データであることが望ましい。

上記の構成によれば、画像出力装置は、携帯端末装置が撮像して得られた撮像画像データの解像度より高解像度であり、かつ、白とびや黒つぶれのない撮像画像データを出力することができるというさらなる効果を奏する。

また、本発明の撮像画像処理システムは、上記の携帯端末装置と、当該携帯端末装置から複数の画像データを受信する上記の画像出力装置とを備えることを特徴とする。

上記の構成によれば、ユーザは、携帯端末装置で複数の異なる露出条件により撮像して得られた複数の撮像画像データのうち、白とびや黒つぶれのない撮像画像データを容易に画像出力装置から得ることができる。

なお、上記携帯端末装置および画像出力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより携帯端末装置および画像出力装置をコンピュータにて実現させる各プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明の携帯端末装置は、画像全体に亘って白とびや黒つぶれのない撮像画像の画像データをユーザが従来よりも容易に得させることを可能にするという効果を奏する。

図１は、本発明の撮像画像処理システムを構成する携帯端末装置の構成を示すブロック図である。 図２は、本発明の一実施形態に係る撮像画像処理システムの全体構成を示す図である。 図３は、本発明の携帯端末装置の撮像画像処理の一例を示すフローチャートである。 図４は、本発明の携帯端末装置の撮像画像処理において行われる白とび黒つぶれ判定処理を示すフローチャートである。 図５は、本発明の撮像画像処理方法における画像の傾き検出例を示している。 図６は、図５の傾き検出例における傾き角度θとその正接値を示している。 図７は、画像の幾何学的歪みの検出例を示している。 図８は、画像の対象物のエッジ検出処理例を示している。 図９は、画像のラスター方向のエッジ検出例を示している。 図１０は、本発明の画像出力装置において行われる画像のズレ度合い検出に用いられる１次微分フィルタ例を示している。 図１１は、本発明の携帯端末装置の撮像画像処理の別の一例を示すフローチャートである。 図１２は、本発明の画像出力装置の構成を示すブロック図である。 図１３は、本発明の画像出力装置の撮像画像処理を示すフローチャートである。 図１４は、画像の再構成画素値の決定例を示している。 図１５は、画像のレンズ歪みの補正例を示している。 図１６は、画像の幾何学的歪みの補正例を示している。 図１７は、画像のカラーバランス検出時のルックアップテーブルの一例を示している。 図１８は、補間画素の画素値の算出方法を示す図であり、（ａ）はエッジ方向が左上−右下方向である場合、（ｂ）はエッジ方向が左−右方向である場合、（ｃ）はエッジ方向が右上−左下方向である場合、（ｄ）はエッジ方向が上−下方向である場合を示している。 図１９は、本発明の画像出力装置の撮像画像処理において行われる超解像化処理の一例を示すフローチャートである。 図２０は、本発明の画像出力装置の画像処理部の詳細を示すブロック図である。 図２１は、（ａ）（ｂ）は撮像画像を示し、（ｃ）〜（ｈ）は、携帯端末装置の撮像画像判定部が、撮像画像が適切な画像か否かを判定するために生成する２値画像を示す図である。

（１）撮像画像処理システムの全体構成
本発明の一実施形態に係る撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置１００、および、複合機、プリンタ（画像形成装置）などの画像出力装置（ＭＦＰ）５００を備える。

携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像（以降、「撮像」とは、対象物を被写体として捉えて取り込んだ画像データを記録媒体に保存したり、通信部を介して外部に送信したりするなど、ユーザが画像データを入手可能な状態にすることを言う）することができる。携帯端末装置１００により取り込まれた画像には、白ぬけや黒つぶれが生じていない適切な画像であるか否かを判定する画像判定処理が施される。そして、適切でないと判定された場合、携帯端末装置１００はそれぞれ異なる露出条件で対象物を複数回撮像する。

携帯端末装置１００と画像出力装置５００とは通信可能であり、携帯端末装置１００は、上記複数回の撮像により得られた撮像画像の各々について画像データ（以下、撮像画像データという）を画像出力装置５００に送信する。

画像出力装置５００は、携帯端末装置１００から受信した各撮像画像データについて、解像度を高める超解像度化補正を行い、その結果生成された複数の画像データの中から露出オーバー、あるいは、露出アンダーの領域が少ない画像データを選択する。

なお、本実施形態において、携帯端末装置１００は、撮像により得られた画像データの解像度よりも高い解像度を有する画像データを画像出力装置５００から得ることが可能な撮像モードである文書撮像モードの機能を有している。そして、携帯端末装置１００は、図示しないシャッターボタンを１回押すと複数枚（２枚〜１５枚程度：画像解像度に依存）撮像することができるモード（複数枚撮像モード）を備えており、文書撮像モードが選択されると自動的に複数枚撮像モードが有効になる。

本実施形態では、原稿やスライドのような矩形状の撮像対象物を撮像し、撮像画像よりも高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択するものとする。

また、ユーザは、矩形状の撮像対象物である、原稿やパネル、スライドなどに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における文書が記載された矩形平面の法線方向と、撮像手段の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像された画像において、撮像対象物に歪み（以下、幾何学的歪みという）が生じることになる。本実施形態では、上記文書撮像モードが選択された場合、このような幾何学的歪みも補正された状態で画像出力装置５００が画像出力するように構成されている。

画像出力装置５００で実行される出力処理としては、高解像度化された撮像画像データに基づいた画像の印刷処理、サーバやＵＳＢメモリなどの記憶装置へ高解像度化された撮像画像データを格納するファイリング処理、電子メールに高解像度化された撮像画像データを添付して送信するメール送信処理などがある。

なお、携帯端末装置１００と画像出力装置５００との通信方式としては、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式や、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から中継装置３００に一旦撮像画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、中継装置３００から画像出力装置５００へデータを転送する方式がある。なお、携帯端末装置１００と画像出力装置５００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。

（２）携帯端末装置の構成
まず、図１〜図１０、図２１に基づいて、本実施形態に係る携帯端末装置１００について説明する。

図１は、携帯端末装置１００の構成を示すブロック図である。図１に示されるように、携帯端末装置１００は、制御部１１０、撮像部１２０、撮像画像判定部１３０、画像処理部１４０、通信部１５０、記憶部１６０、表示部１７０、入力部１８０、記憶媒体アクセス部１９０を備えている。

撮像部１２０は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の画像を取り込むものである。撮像部１２０は、予め設定された解像度で撮像対象物の画像を取り込む。なお、撮像部１２０は、１回のシャッターボタンが押下されると複数回撮像する。なお、シャッターボタンの押下後に得られた複数の撮像画像データは、画像出力装置５００に送信する対象となるものである。

撮像画像判定部１３０は、文書撮像モードが選択されている際にシャッターボタンの押下を検出すると、撮像により得られた１または複数の撮像画像データが白とびや黒つぶれが生じていない適切な画像データであるか否かを判定するものである。あるいは、撮像画像判定部１３０は、白とびや黒つぶれが生じていない適切な画像データであるか否かを判定する対象の画像データを、すでに撮像部１２０で取り込まれた１または複数のビューワ画像の画像データとしてもよい。撮像画像判定部１３０は、判定結果を制御部１１０に出力する。撮像画像判定部１３０における具体的な処理については後述する。

画像処理部１４０は、撮像部１２０で取り込まれた画像のデータに対して、少なくともＡ／Ｄ変換処理を行うものである。

通信部１５０は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１５０は、画像処理部１４０においてＡ／Ｄ変換処理が施された撮像画像データを画像出力装置５００に送信する。

記憶部１６０は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。

表示部１７０は、例えば液晶ディスプレイなどにより構成されるものである。また，入力部１８０は、複数のボタンを有しており、ユーザがデータの入力を行うためのものである。

また、記憶媒体アクセス部１９０は、携帯端末装置１００の各処理を行うためのプログラムが記録された記憶媒体１０００から、プログラムを読み出すものである。

制御部１１０は、携帯端末装置１００の各部の制御を行うものである。制御部１１０は、シャッターボタンの押下後の撮像により得られた撮像画像データに、ファイルネーム、記憶部１６０に格納された携帯端末装置１００の機種情報およびユーザ情報、ならびに、出力処理情報を付け、通信部１５０に対して画像出力装置５００への送信処理を実行させる。
（３）撮像画像判定部の処理について
次に、携帯端末装置１００の撮像画像判定部１３０における具体的な処理実行条件の判定処理について説明する。

（３−１）傾きの判定
上述したように、原稿のような矩形状の撮像対象物を撮像し、高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択する。そのため、撮像画像判定部１３０は、撮像対象物が矩形状であると仮定して、撮像画像データにおける撮像対象物（以下、撮像対象像と称する）のエッジを検出することで、撮像画像に対する撮像対象像の傾きを検出する。なお、撮像画像データが表わす撮像画像中の撮像対象像のエッジ上の画素を検出する手法としては従来知られている手法を用いることができる。また、背景の中のエッジを撮像対象像のエッジとして誤判定することを防止するために、所定長さ以上のエッジのみを撮像対象像のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データが表わす撮像画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象像のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。

そして、撮像画像判定部１３０は、検出された撮像対象像のエッジ上の２点を選択する。例えば、図５に示されるように、撮像画像データが表わす撮像画像を左右二等分する垂直線から左右それぞれ横方向にｗ／２だけ離れた、原稿画像のエッジ上の２点１１・１２を選択する。次に、選択された２点１１・１２の各々について、撮像画像データが表わす撮像画像の端辺との距離ｄ１，ｄ２を求め、撮像画像における原稿画像の傾きを求めることができる。図５のような場合、傾き角度をθとすると、ｔａｎθ＝（ｄ２−ｄ１）／ｗとなる。そこで、撮像画像判定部１３０は、（ｄ２−ｄ１）／ｗの値を算出し、この値に相当する角度θをあらかじめ作成済みのテーブル（図６参照）などより読み取る。

そして、撮像画像判定部１３０は、検出した角度θが所定範囲内（例えば、−３０°〜＋３０°）であるか否かを判定し、その判定結果を制御部１１０に出力する。ここで、角度θが所定範囲内であることが処理実行条件の一つとなる。
（３−２）幾何学的歪みの判定
幾何学的歪みとは、撮像対象物において文字が記載されている矩形平面の法線方向とは異なる斜め方向から撮像対象物を撮像した場合に、撮像画像の中で撮像対象像が矩形状から歪んだ形状を有することである。例えば、原稿の法線方向に対して用紙の左下方向から斜めに撮像した場合、図７に示されるように、原稿画像は、歪んだ四角形となる。

本実施形態では、後述するように、画像出力装置５００がこのような幾何学的歪みを補正する機能を有している。ただし、幾何学的歪みの度合いが大きい場合、補正したとしても、判読性がそれほど向上しない。そこで、本実施形態では、撮像画像判定部１３０は、幾何学的歪みの度合いを示す特徴量を検出し、当該特徴量が所定範囲内であるか否かを判定する。

本実施形態では、必ずしも画角の中心付近に撮像対象像の各辺のエッジが存在するとは限らないので、ある一定間隔ですべての辺からのエッジを抽出し、各エッジを表す線分を求めて、さらにこれらの交点を算出して、撮像対象像の領域とすれば良い。

まず、撮像画像判定部１３０は、撮像画像データについて、ラスター走査を行う。ここで、図７に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像において左上隅を原点とする。

１ライン分走査を行い、エッジが存在しなければ、撮像画像判定部１３０は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。

そして、撮像画像判定部１３０は、ラスター走査において、最初にエッジを検出したラインをＬ１（１ライン目）とし、図８に示すように、順方向で最初のエッジと判定された点の座標を第１群に格納し、同じライン上で２つ目のエッジと判定された点の座標を第２
群に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬｉについて、順方向で１番目に撮像対象像のエッジと判定された点と、２番目に撮像対象像のエッジと判定された点とのＸ座標値の差分（Ｘ座標の距離ｄｉ）を求め下記のように判定を行う。

なお、ラインＬｉにおける最初のエッジのＸ座標をＸｉ１（第１群に分類されているＸ座標）、２つ目のエッジのＸ座標をＸｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。

（ａ）１ライン（Ｌ１）目の座標Ｘ１１およびＸ１２については変更しない。

（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄｉ１（＝Ｘｉ１−Ｘ（ｉ−１）１）およびｄｉ２(同様)を算出する。以下、ｄｉ１に関して述べるため添え字の１を省略するが、ｄｉ２も同様である。

（ｃ）３ライン目以降のｉライン目は、ｄｄｉ＝abs｛（ｄｉ）−ｄｉ−１｝を算出す
る。ｄｄｉ≦th１(≒０に近い小さな数値)であれば、座標Ｘiは同じ群に分類する。そう
でない場合（ｄｄｉ＞th１）は、別の群（第３群または第４群）に分類する。

（ｄ）初期処理としてｉ=４のときのみ、Ｘ２の群を確定させるための処理を行う。以
下のようにする。

i)ｄｄ３≦th１ かつ ｄｄ４≦th１ → Ｘ２：同群
ii)ｄｄ３＞th１ かつ ｄｄ４≦th１ → Ｘ２：別群
iii)ｄｄ３≦th１ かつ ｄｄ４＞th１ → Ｘ２：同群
iv)ｄｄ３＞th１ かつ ｄｄ４＞th１ → Ｘ２：同群
一度、別群（第３群または第４群）遷移した場合は、増減の確認はする必要はない。

このような処理を画像全体に行って、各群に属するエッジ点を抽出する。そして、群ごとに、当該群に属するエッジ点の座標を最小２乗法などで直線近似し、当該群に属するエッジ点に近似した直線を求める。当該直線は、撮像対象像の辺に相当することとなる。

図９は、上記のような処理によって、ラスター走査によってエッジ点を抽出し、４つの群に分類したときの図である。図において、丸印が第１群に属するエッジ点、四角印が第２群に属するエッジ点、三角印が第３群に属するエッジ点、星印が第４群に属するエッジ点を示し、最小２乗法により求められた、各群に属するエッジ点の近似直線を点線で示す。

そして、４つの群について求めた直線の交点（図中、交点１〜４としている）を求め、４つの直線で囲まれた領域を撮像対象像の領域として特定することができる。

さらに、上記の分類処理を９０度回転させた画像に対して行っても良い。こうすることで、理想的に画像内の水平方向・垂直方向に平行に配置されたような原稿のエッジも抽出することが可能となる。すなわち、ラスター走査することで、回転前の画像では、垂直方向のエッジが検出できる。一方、回転後の画像では、回転前に水平方向であったエッジ（回転後には水平方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。

あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めても良い。すなわち、回転前の画像から求められた交点座標と、回転後の画像から求められた交点を逆回転して得られた交点座標とから、同一の群に属する好転座標を統合して直線の方程式を求めればよい。

なお、エッジ点の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での、画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ点であると判定すればよい。なお、背景や撮像対象像内のテキストのエッジなどを誤って検出することを防止するために、所定長さ以上のエッジのみを撮像対象像のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される撮像画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象像のエッジとして適切なものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。もしくは、それぞれの座標群の評価を行ったり、線分検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。

そして、撮像画像判定部１３０は、以上のようにして４つの直線及びそれらの交点を求めると、当該４つの直線で形成される四角形の対辺の長さの比を計算する。当該長さの比は、上記交点の座標から容易に求まる。なお、対辺は２組あるので、撮像画像判定部１３０は、当該２組の各々について長さの比を求める。

ここで、対辺の長さの比は、撮像対象物の文書が記載された矩形平面を正面から撮像した場合には撮像画像の中の撮像対象像も矩形状となるため、１となる。一方、斜め方向から撮像した場合には、撮像画像の中の撮像対象像の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書が記載された矩形平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。

その後、撮像画像判定部１３０は、求めた二つの比の両方が所定範囲内（例えば、０．５〜２）であるか否かを判定し、その判定結果を制御部１１０に出力する。ここで、所定範囲は、画像出力装置５００において補正可能な範囲として予め定められたものであり、記憶部１６０に格納されている。また、二つの比の両方が所定範囲内（例えば、０．５〜２）であることが処理実行条件の一つとなる。

なお、撮像画像判定部１３０は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。

（３−３）複数枚の画像のズレ量の判定
画像出力装置５００は、同一の撮像対象物を撮像して得られる複数の撮像画像データに基づいて、超解像化補正を実行する。当該超解像化補正を実行するためには、解像度変換の倍率に応じた所定数の画像データが、所定量だけずれている必要がある。そこで、本実施形態では、撮像画像判定部１３０は、撮像部１２０の撮像により得られた複数の撮像画像データの中に、画像出力装置５００で超解像化補正を実行するために必要な、所定量だけずれた所定数の撮像画像データが含まれるか否かを判定する。

なお、文字の判読性を挙げるような超解像化補正のために必要なズレとは、対象とする画像データの一画素未満（小数点）のズレを指す。すなわち、小数点以下（１画素未満）の値、例えば、０．３〜０．７などのズレが重要である。整数部分のズレは超解像化補正には考慮されない。例えば、１．３画素、２．３画素などの１画素未満のズレを含むような場合、複数の画像に基づいた超解像化補正を実行することができるが、１画素、２画素などの１画素未満のズレを含まない場合、超解像化補正を実行することができない。

例えば、変換倍率が２倍の場合、超解像化補正に必要な画像データの数は２であり、２つの画像データのずれ量としては画素単位で小数点以下０．３〜０．７であることが好ましい。そのため、記憶部１６０には、解像度変換の倍率「２倍」と、撮像回数「２」および処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」とを対応付けた情報が予め格納されており、制御部１１０は、当該情報に基づいて、撮像部１２０に対して２回連続して撮像させ、撮像画像判定部１３０に対して、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」に従った判定を実行させるものとする。

また、変換倍率が４倍である場合、超解像化補正に必要な画像データの数は４であり、その内の一つの画像データを基準画像データとしたとき、当該基準画像データと残りの３つの画像データとのずれ量がそれぞれ画素単位で小数点以下０．２〜０．３、０．４〜０．６、０．７〜０．８であることが好ましい。そのため、記憶部１６０は、解像度変換の倍率「４倍」と、撮像回数「４」および処理実行条件「必要画像データ数：４、ずれ量：０．２〜０．３、０．４〜０．６、０．７〜０．８」とを対応付けた情報を記憶している。

なお、以下では、説明を簡略化するため、解像度変換の倍率として２倍が選択された場合について述べる。

まず、撮像画像判定部１３０は、撮像画像の任意の一つを選択し、当該撮像画像（以下、第１の撮像画像という）について、上記幾何学的歪みの判定の際に求めた撮像対象物の領域の中からズレ検出用部分領域を選択する。ここで、ズレ検出用部分領域は、第１の撮像画像と残りの撮像画像（以下、第２の撮像画像という）との間のズレ量を求めるために用いるものであるため、当該ズレ検出用部分領域内で画素値の変化が大きいもの（明確なパターンが存在するもの）が好ましい。そこで、撮像画像判定部１３０は、以下のような方法によってズレ検出用部分領域を抽出する。

撮像画像判定部１３０は、撮像対象物の領域の重心位置に存在する画素を特定し、当該画素を注目画素とする。そして、注目画素を含むｎ×ｎ画素の領域を選定する。選定した領域について、以下の選定要件を満たすか否か判断し、満たす場合には、当該領域をズレ検出用部分領域とする。一方、満たさない場合には、所定のオフセット量に基づいて領域を移動させ、移動後の領域について同じ判断を行う。このようにして、ズレ検出用部分領域を抽出する。

ここで、選定要件としては、例えば、以下二つが挙げられる。
一つとしては、領域内の分散に準じた値を用いるものである。注目画素近傍のｎ×ｎ画素の領域に対して画素値をＰ（x）とすると部分領域の分散値Variance（x）は、下記式（１）で表される。この分散値Variance（x）の値が所定閾値以上あることを選定要件とする。また簡易化のために本式の分子のみを考えても良い。

また一つとしては、注目画素近傍のｎ×ｎ画素の領域に対して、１次微分フィルタのようなエッジ抽出フィルタを掛けて、２値化し、総和を見る。図１０は１次微分フィルタ例を示し、この場合も、総和がある所定閾値以上（例えば、部分領域画素数の５％以上など）あることを選定要件とすればよい。

次に、このようにして求められた、第１の撮像画像のズレ検出用部分画像Ａ（ｎ×ｎ）に対し、第２の撮像画像の中から、中心がほぼ同じ位置のズレ検出用部分画像Ｂ（ｍ×ｍ）（ｍ＞ｎ）として切り出す。この切り出し方法は、第１の撮像画像におけるズレ検出用部分画像Ａの中心画素の座標と、第２の撮像画像におけるズレ検出用部分画像Ｂの中心画素の座標とが一致するように、切り出す。

その後、切り出されたズレ検出用部分画像Ｂ中においてズレ検出用部分画像Ａに最も適合する領域をサブピクセル精度で求める。その手法としては、ズレ検出用部分画像Ａをテンプレートとした正規化相関パターンマッチングが挙げられる。

正規化相関パターマッチングの例として、既知であるところの正規化相関式を用いて相関を算出する。一般的にＮ画素からなる２つのパターンＩｎｐｕｔ（Ｉ）とＴａｒｇｅｔ（Ｔ）の相関式は、下記式（２）と表すことができる。ここで、α、β、γはそれぞれ下記のように表せる。

例えば、ｎ＝５、ｍ＝7の場合、ズレ検出用部分画像Ｂ（ｍ×ｍ）のなかのズレ検出用部分画像Ａと同サイズの領域（ｎ×ｎ）ごとに上記相関式を演算すると、結果として３×３の相関値Ｍａｐが生成される。この相関値Ｍａｐを用いて、フィットする２次曲面を求める。２次曲面の求め方としては、例えば、Ｓ（ｘ，ｙ）＝ａ＊ｘ＊ｘ＋ｂ＊ｘ＊ｙ＋ｃ＊ｙ＊ｙ＋ｄ＊ｘ＋ｅ＊ｙ＋ｆとして、９点のうち相関値の高い６点を選び、連立方程式を解いて各係数を求める。この関数の極値（＝最大値）の座標値（ｘ、ｙの両方）の小数点以下の値が所定範囲（ここでは、０．３〜０．７）であれば、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」を満たすものと判定する。

なお、極値の求め方は、上記２次式を偏微分し、それぞれが０である点の座標を求めればよい。このとき、実際には各係数（ａ〜ｆ）を求める必要はないので、直接相関値（Ｓ_１〜Ｓ_６）を用いたほうが効率的である。求めるべき式（３）は以下のようになる。ここで、原点は着目するウィンド基準となる。

なお、このようなサブピクセル精度の位置ズレ確認を少なくとも一か所にて行うが、数か所で行うことが望ましい。

そして、撮像画像判定部１３０は、処理実行条件を満たすか否かの判定結果を制御部１１０に出力する。

（３−４）撮像画像の白とび・黒つぶれの判定
デジタル画像データでは、各画素の濃淡の度合いを示す濃度値である画素値が取り得る範囲は８ビット（０〜２５５）であることが多い。通常、カラーのデジタル画像データにおける各画素は、各色成分（例えば、Ｒ，Ｇ，Ｂ）の画素値を有している。そして、明暗の度合いを示す特徴量である輝度は、従来知られている計算式（例えば、Ｙ_i＝０．３０Ｒ_i＋０．５９Ｇ_i＋０．１１Ｂ_i、Ｙ_i：画素ｉの輝度信号、Ｒ_i，Ｇ_i，Ｂ_i：画素ｉの各色成分（Ｒ、Ｇ、Ｂ）の値）を用いて、各色成分の画素値から算出することができる。ここで、本実施形態では、このようにして算出された輝度は、被写体に対して１００％の反射率の色（白）は取り得る範囲の最大値である“２５５”で表わされ、完全な黒色は最小値である“０”で表わされるようになっている。携帯端末装置１００も、画素値が８ビットで表わされる撮像画像データを生成する。

携帯端末装置１００においても、露出オーバーで撮像した場合、撮像画像のハイライトの部分が飽和してしまい、撮像画像データにおいて、適切な露出で撮像したとしたら異なる画素値で表現される部分の輝度が全て“２５５”に近い値となってしまう白とびの現象が発生する。同様に、露出アンダーで撮像した場合、撮像画像の暗い部分が真っ黒になっていまい、撮像画像データにおいて、適切な露出で撮像したとしたら異なる画素値で表現される部分の輝度が全て例えば“３０”以下となってしまう黒つぶれの現象が発生する。

撮像画像判定部１３０では、白とび判定や黒つぶれ判定を行い、白とびや黒つぶれが発生していない最適な画像であるか否かを判定する。以下、図２１を参照して白とび判定について説明する。図２１（ａ）は白とびが発生している画像、図２１（ｂ）はもともと白い物体が表示された画像を示している。また、図２１（ｃ）、図２１（ｅ）は、図２１（ａ）の画像を後述するように２値化した２値化画像を示す図であり、図２１（ｄ）、図２１（ｆ）は、図２１（ｂ）の画像を後述するように２値化した２値化画像を示す図である。さらに、図２１（ｇ）、図２１（ｈ）は、白とびが発生しているか否かを判定するために最終的に生成される２値画像である。

最初に、撮像画像判定部１３０は、撮像画像データの各画素値を、下記式（４）を用いて輝度値に変換する。

ここで、Ｙ_jは各画素の輝度値であり、Ｒ_j,Ｇ_j,Ｂ_jは各画素の色成分を示す値である。

次に、撮像画像判定部１３０は、第１の閾値（例えば、輝度値２５０）以上の輝度からなる高輝度領域を、白を表わす「１」とし、それ以外の領域を、黒を表わす「０」とする２値化画像Ａ（図２１（ｃ）や図２１（ｄ）の画像）を作成する。さらに、撮像画像判定部１３０は、第１の閾値より小さい第２の閾値（例えば、輝度値２４０）以上の輝度からなる高輝度領域を、白を表わす「１」とし、それ以外の領域を、黒を表わす「０」とする２値化画像Ｂ（図２１（ｅ）や図２１（ｆ）の画像）を作成する。

そして、撮像画像判定部１３０は、２値化画像Ａと２値化画像ＢとのＸＯＲ（排他的論理和）を表わす２値画像（以下、ＸＯＲ画像と呼ぶ）を作成する。撮像画像判定部１３０は、作成したＸＯＲ画像が図２１（ｇ）のような画像の場合、すなわち、ＸＯＲ画像に「１」が含まれている場合、「１」の画素で囲まれる中心部分に白とびが発生していると判定する。一方、撮像画像判定部１３０は、作成したＸＯＲ画像が図２１（ｈ）のような画像の場合、すなわち、ＸＯＲ画像に「１」が含まれていない場合、白とびは発生していないと判定する。

このような方法で白とび判定することが妥当な理由について、以下に説明する。

高輝度領域には、白とびが発生している箇所と、白とびが発生しているのではなく、もともと白色の物体が表示されている箇所との２種類があると考えられる。

白とびが発生している箇所は、スポットライトが最も強く当たっている箇所から離れるにつれ、輝度値も少しずつ小さくなっていくという特徴がある。すなわち、白とびが発生している箇所については、２値化画像Ｂの高輝度領域は、２値化画像Ａの高輝度領域を包含する、２値化画像Ａの高輝度領域より広い領域となると考えられる。従って、２値化画像Ａと２値化画像ＢとのＸＯＲ画像では、２値化画像Ｂの高輝度領域であって２値化画像Ａの高輝度領域でない領域（白とびが発生している領域の近傍）に「１」が現れやすい。

一方、もともと白色の物体が表示されている箇所に隣接する領域の色は一般的に「白」以外の色となっており、高輝度領域には該当しない。すなわち、２値化画像Ａでも２値化画像Ｂでも白色の物体が表示されている箇所についてはその箇所のみが高輝度領域となり、白色の物体が表示されている箇所に隣接する領域は、通常、２値化画像Ａでも２値化画像Ｂでも高輝度領域とならない。従って、２値化画像Ａの高輝度領域と２値化画像Ｂの高輝度領域とが一致し、２値化画像Ａと２値化画像ＢとのＸＯＲ画像には、「１」が現れにくい。

以上、白とび判定の方法が妥当な理由について説明したが、白とび判定と同様に方法で、黒つぶれ判定を行うことができる。

すなわち、撮像画像判定部１３０は、第３の閾値（例えば、輝度値１０）以下の輝度からなる低輝度領域を、黒を表わす「０」とし、それ以外の領域を、白を表わす「１」とする２値化画像Ｃを作成する。さらに、撮像画像判定部１３０は、第３の閾値より大きい第４の閾値（例えば、輝度値３０）以下の輝度からなる低輝度領域を、黒を表わす「０」とし、それ以外の領域を、白を表わす「１」とする２値化画像Ｄを作成する。

そして、撮像画像判定部１３０は、２値化画像Ｃと２値化画像ＤとのＸＯＲを表わすＸＯＲ画像を生成するとともに、このＸＯＲ画像に「１」が含まれていれば、その近傍に黒つぶれが発生していると判定し、「１」が含まれていなければ、黒つぶれは発生していないと判定する。

なお、白とび判定処理や黒つぶれ判定処理は、ユーザがシャッターボタンを押す前に取り込まれたビューワ画像の画像データに対して行うことが望ましい。ただし、シャッターボタンを押したときに撮像され、得られた撮像画像データに対して行ってもよい。

また、ＸＯＲ画像に「１」が含まれている場合に、白とびや黒つぶれが発生しており、ＸＯＲ画像に「１」が含まれていない場合に、白とびや黒つぶれが発生していないと判定すると説明したが、ＸＯＲ画像に所定の数以上の「１」が含まれている場合に、白とびや黒つぶれが発生しており、ＸＯＲ画像に所定の数以上の「１」が含まれていない場合に、白とびや黒つぶれが発生していないと判定するものとしてもよい。

（４）撮像部１２０での処理
撮像画像判定部１３０によって白とびが発生したと判定された旨の通知を制御部１１０から受け付けると、撮像部１２０は、露出条件（絞り・シャッター速度・ゲイン等）を変更する旨を表示部１７０に表示する。そして、自動で露出条件を変更して複数枚の撮像を行う。具体的には、シャッターボタンの押下を検知すると、撮像部１２０は、異なる複数の露出条件について、露出条件ごとに画像を１枚以上撮像する。

（５）画像出力装置５００への送信データについて
上述したように、撮像画像判定部１３０による撮像画像の判定後、撮像部１２０は、異なる複数の露出条件で、露出条件ごとに同じ対象物を１枚以上撮像する。制御部１１０は、撮像した複数の撮像画像データが互いに関連づけられるように、露出条件毎に、各撮像画像データにファイルネームを付与する。ファイルネームの付与の仕方としては、例えば、「ABC_1.jpg」「ABC_2.jpg」・・・のように、番号部分のみ互いに異なり、他の部分が共通になるように付与すればよい（露出条件毎にファイルネームを変え、撮像された複数枚の撮像画像データに番号を付ける。例えば、撮像対象に関するファイル名_露出条件を区別するファイル名（例えば、条件１）_番号とすれば良い）。そして、制御部１１０は、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報を、撮像した複数の撮像画像データと関連づけて画像出力装置５００に送信する。

なお、制御部１１０は、撮像した複数の撮像画像データが互いに関連づけられるように、これらの撮像画像データを他の撮像画像データと識別するためのタグ情報を、露出条件毎に生成してもよい。この場合、制御部１１０は、撮像した複数の撮像画像データを、そのタグ情報、機種情報、ユーザ情報、および出力処理情報と関連付けて画像出力装置５００に送信する。
（６）画像出力装置の構成
次に、図１０、図１２〜図２０に基づいて、本実施形態に係る画像出力装置５００の構成について説明する。本実施形態において、画像出力装置５００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。

図１２は、画像出力装置５００の構成を示すブロック図である。画像出力装置５００は、制御部５１０、画像読取部５２０、画像処理部５３０、認証部５４０、画像形成部５５０、表示部５６０、記憶部５７０、入力部５８０、第１通信部５９０、第２通信部６００、および記憶媒体アクセス部６１０を備えている。

画像読取部５２０は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）
を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。

画像処理部５３０は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部５３０は、携帯端末装置から送信された撮像画像データに対して、超解像化補正などを含む画像処理を行う。図２０に示すように、画像処理部５３０は、画質調整部５３１、幾何学補正部５３２、レンズ歪み補正部５３３、超解像化処理部５３４、画像補正部５３５を備えている。なお、画像処理部５３０が撮像画像データに対して行う画像処理の詳細については後述する。

認証部５４０は、携帯端末装置１００から受信した撮像画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部５４０は、携帯端末装置１００から受信したユーザ情報と、入力部５８０に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部５４０は、認証結果を制御部５１０に送る。

画像形成部５５０は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部５５０は、出力処理の一つである印刷処理を実行するものである。

表示部５６０は、例えば液晶ディスプレイ等より構成される。また、入力部５８０は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。

第１通信部５９０は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部５９０は、携帯端末装置１００から、タグ情報、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された複数の撮像画像データを受信する。

第２通信部６００は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。

第２通信部６００は、出力処理として、超解像化補正が施された撮像画像データをサーバに格納するファイリング処理、もしくは、超解像化補正が施された撮像画像データを添付したメールを送信するメール送信処理を実行する。

記憶媒体アクセス部６１０は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部５７０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。

制御部５１０は、画像出力装置５００の各部の制御を行うものである。具体的には、制御部５１０は、第１通信部５９０が携帯端末装置１００からタグ情報と関連づけられた複数の撮像画像データを受信すると、当該複数の撮像画像データを画像処理部５３０に出力し、画像処理を実行させる。また、制御部５１０は、画像データに付けられているユーザ情報を認証部５４０に出力し、認証部５４０に認証処理を実行させる。制御部５１０は、認証部５４０から認証成功の認証結果を受けると、撮像画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部５１０は、画像処理部５３０によって画像処理が施され、白とびや黒つぶれのない最適な画像として選択された撮像画像データに基づいた印刷を画像形成部５５０に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部５１０は、画像処理部５３０によって画像処理が施された撮像画像データに基づいたファイリング処理またはメール送信処理を第２通信部６００に実行させる。

（６）画像処理部における画像処理について
次に、画像処理部５３０が実行する画像処理の詳細について説明する。

なお、画像処理部５３０は、画像読取部５２０が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００から受信した複数の撮像画像データに対する画像処理の内容について説明する。

本実施形態において、画像処理部５３０は、携帯端末装置１００から送信されてきた撮像画像データに対して、カラーバランス等の補正、幾何学的歪みの補正・レンズ歪みの補正、および、超解像化補正を行う。以下、各処理について説明する。

（６−１）カラーバランス・コントラスト・明るさの補正
画像処理部５３０の画質調整部５３１は、カラーバランス、コントラストの補正を行う。

カラーバランスの補正方法としては、画質調整部５３１は、受信した撮像画像データについて、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用すればよい。ルックアップテーブルの一例としては、図１７に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮである場合、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。

画質調整部５３１は、コントラストの補正についても同様の方法で実行することができる。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。

なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。

（６−２）幾何学的歪みの補正・レンズ歪みの補正
画像処理部５３０のレンズ歪み補正部５３３は、撮像画像判定部１３０における処理と同様にして、撮像画像における撮像対象物のエッジ上の点をラスター走査によって順次検出する。そして、レンズ歪み補正部５３３は、検出されたエッジ上の点を曲線近似し、その曲線の式からレンズひずみ補正を行う。

具体的には、図１５の実線で示されるように、レンズ歪み補正部５３３は、検出した撮像対象像のエッジ点を検出し、撮像画像判定部１３０と同様に、各エッジ点を撮像対象像の４辺に対応する４つの群に分類する。そして、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象像の４辺に対応する。また、レンズ歪み補正部５３３は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、レンズ歪み補正部５３３は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図１５において点線で示される）と合同な外接四角形（図１５において１点鎖線で示される）を求める。そして、レンズ歪み補正部５３３は、このようにして求めた外接四角形が補正後の撮像対象像のエッジ画素の位置となるように、撮像画像における撮像対象像の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象像の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１２０によるレンズ歪みを補正することができる。

また、画像処理部５３０の幾何学補正部５３２は、幾何学的歪みの補正を以下のようにして実行する。幾何学補正部５３２は、例えば、図１６に示すように、上記のようにして求めた外接四角形を対象物のアスペクト比（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど）に合わせ同様に写像変換すればよい。当該写像変換としては公知の技術を用いることができる。なお、幾何学補正部５３２は、予め記憶部５７０に記憶されているアスペクト比に合うように変換してもよいし、入力部５８０に入力されたアスペクト比に合うように変換してもよい。

なお、幾何学的歪みの補正およびレンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。

（６−３）複数の画像データを用いた超解像化補正
超解像化処理部５３４は、携帯端末装置１００から受信した撮像画像データの超解像化補正を行うものである。本実施形態では、超解像化処理部５３４は、携帯端末装置１００から受信した複数の撮像画像データのうち、画像補正部５３５によって選択された白とびや黒つぶれの少ない最適な撮像画像データに対して超解像化補正を行う。

複数の画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）にいくつかの方法が紹介されている。一般的には、高
解像度補正は、複数の画像の位置合わせ処理と再構成処理により成立する。本実施形態では、位置合わせ処理の例として、上記（３−３）記載の正規化相関パターマッチングの方法を適用する。すなわち、上記Ｓ（ｘ，ｙ）が極大値を示すズレ量だけずらすことにより、複数の画像の位置合わせを行うことができる。

次に、画像処理部５３０の超解像化処理部５３４は、再構成処理を行う。すなわち、超解像化処理部５３４は、解像度変換後の倍率に応じた画素数を有する再構成画像データを作成する。ただし、画像サイズは、撮像画像のサイズと同一とする。そして、超解像化処理部５３４は、再構成画像データの各画素の画素値を以下のようにして決定する。すなわち、超解像化処理部５３４は、再構成画像データにおける各画素（再構成画素）について、当該再構成画素の近傍となる撮像画像の画素（撮像画素）を複数の撮像画像の中から決定し、一般的な補間方法（線形補間やバイキュービック補間など）で補間を行う。

具体的には、図１４に示されるように、着目する再構成画素近傍の撮像画素、例えば撮像画素の格子を結ぶ線（図の点線）が最も近距離である２点を横方向・縦方向のそれぞれで選択する。ここでは、横方向での最も近距離である２点は、１枚目の撮像画像の撮像画素１−２（画素値：Ｖｉ１−２：以下同様）および撮像画素１−４であり、縦方向での最も近距離である２点は、２枚目の撮像画像の撮像画素２−１および撮像画素２−２であったとする。なお、再構成画素近傍の撮像画素を選択する際には、上記幾何学的歪みの補正・レンズ歪みの補正が実行された複数の撮像画像データの中から選択するものとする。これにより、幾何学的歪み・レンズ歪みの補正がされた状態で超解像化補正を行うことができる。もしくは、補正後の座標の値を計算する際に、基となる複数の撮像画像の該当する幾何学補正・レンズ歪みの補正を考慮した座標の値を基に求めてもよい。つまり、幾何学補正・レンズ歪みの補正値のみ算出し、再構成処理を行った後に、当該補正値により座標変換を行ってよい。

そして、横方向および縦方向のそれぞれについて選択した２点を結ぶ線分に垂直であり、かつ着目する再構成画素の点を含む直線と当該線分との交点を求める。図１４に示され
るように、当該交点が２つの線分のそれぞれについてｔ：１−ｔ、ｕ：１−ｕで内分している場合、超解像化処理部５３４は、着目する再構成画素の画素値Ｖｓを下記式（５）に基づいて求めればよい。この場合は、線形補間を行ったことになる。そして、全ての再構成画素について同様にして画素値を求め、高解像度化された再構成画像データを生成することができる。

なお、補間方法として別の手法を用いても良い。また、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）に紹介されている別の方法を用いてもよい。例えば、ＭＡ
Ｐ（Maximum A Posteriori）法のような、先ず推定に基づく事後確率に対応する評価関数を最小化することで求める手法を用いても良い。

（６−４）１つの画像データを用いた超解像化補正
上述したように、画像出力装置５００は、携帯端末装置１００から複数の撮像画像データを受信した場合、該複数の撮像画像データに基づいて超解像化補正を行うが、撮像画像データを１つ受信した場合、１つの撮像画像データに基づいて超解像化補正を行ってもよい。

１つの画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。

一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、超解像化補正を実行することができる。以下、具体的に説明する。

図１９は、本実施形態における超解像化補正の処理の流れを示すフローチャートである。

ここでは、横方向・縦方向の各々について２倍の解像度変換を行う例について説明する。２倍の解像度変換を行う場合、補正対象となる撮像画像データの画素数をｎ×ｍとするとき、補正後の高解像度画像データの画素数は２ｎ×２ｍとなる。このような超解像化補正（２倍の解像度変換）は、撮像画像データにおける各画素を基準画素とし、当該基準画素間の中央に新たな画素を補間画素として生成し、当該基準画素と補間画素との両方を備える画像データを高解像度画像データとして生成することにより実行される。

まず、画像処理部５３０は、第１通信部５９０が受信した撮像画像データについて、エッジ抽出を行う。例えば、画像処理部５３０は、図１０に示されるような１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行い、２値化画像データを生成する（Ｓ４１）。なお、２値化画像データにおいて画素値が１であればエッジである可能性が高い画素であることを示している。

次に、画像処理部５３０は、Ｓ１で生成した２値化画像データに基づいて、撮像画像データにおける着目画素がエッジであるか否かを判定する（Ｓ４２）。具体的には、画像処理部５３０は、２値化画像データにおける着目画素に対応する画素の値が１であれば、当該着目画素がエッジであると判定する。

なお、着目画素とは、撮像画像データにおける各画素を任意の順に着目していったときに、着目している画素のことをいう。

着目画素がエッジである場合（Ｓ４２でＹｅｓ）、画像処理部５３０は、着目画素を含むＮ×Ｎ（Ｎ＞１）の部分画像を用いてエッジ方向を検出する（Ｓ４３）。具体的には、Ｎ×Ｎの部分画像に含まれる全ての基準画素について、エッジ画素であるか否かを判定する。そして、着目画素の左上の基準画素と右下の基準画素とがエッジ画素である場合、画像処理部５３０は、部分画像におけるエッジ方向が左上−右下方向であると判定する。同様に、着目画素の左の基準画素と右の基準画素とがエッジ画素である場合、エッジ方向が左−右方向であると判定し、着目画素の上の基準画素と下の基準画素とがエッジ画素である場合、エッジ方向が上−下方向であると判定し、着目画素の右上の基準画素と左下の基準画素とがエッジ画像である場合、エッジ方向が右上−左下方向であると判定する。

図１８において、点線は検出したエッジ方向を示している。なお、図１８において、画素(1)〜(9)が基準画素であり、このうちの画素(5)が着目画素である。そして、画素Ａ、
Ｂ、Ｃは、それぞれ、基準画素(1)と(5)との間の補間画素、基準画素(2)と(5)との間の補間画素、基準画素(4)と(5)との間の補間画素である。

次に、画像処理部５３０は、Ｓ４３で検出したエッジ方向に応じて、着目画素の左上の補間画素Ａ、着目画素の上の補間画素Ｂ、着目画素の左の補間画素Ｃの画素値を補間により求める。このとき、エッジ方向に沿った基準画素を用いて補間画素の画素値を求める。

エッジ方向が左上−右下方向である場合、図１８（ａ）に示されるように、基準画素(1)、(5)、(9)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エ
ッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣施するエッジ線上の基準画素(1)（画素値Ｖ(1)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１８（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画
素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(6)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式ＶＢ＝（９×Ｖ(2)＋４×Ｖ(6)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準
画素(4)を含みエッジ方向に平行な線上の基準画素(8)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(4)＋４×Ｖ(8)）／１３
により求める。

また、エッジ方向が左−右方向である場合、図１８（ｂ）に示されるように、基準画素(4)、(5)、(6)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、
エッジ線上の補間画素Ｃの画素値ＶＣについて、補間画素Ｃに隣施するエッジ線上の基準画素(4)（画素値Ｖ(4)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式ＶＣ＝（Ｖ(4)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ａ、Ｂについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１８（ｂ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(2)を含み、エッジ方向に平行な線は
、基準画素(1)と(2)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(2)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)）／２
を用いて求める。

補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行
な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｂから当該線に垂
直に下した点は、基準画素(2)と一致する。そのため、補間画素Ｂの画素値ＶＢは、基準
画素(2)の画素値Ｖ(2)と同じ値にする。

また、エッジ方向が右上−左下方向である場合、図１８（ｃ）に示されるように、基準画素(3)、(5)、(7)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そし
て、補間画素Ａ，Ｂ，Ｃは全てエッジ線上に存在しない。

補間画素Ａについては、最近接基準画素が基準画素(1)、(2)、(4)となる。ここで、基
準画素(2)、(4)は、エッジ方向に平行な同一の線上に位置するが、基準画素(1)は当該線
上に位置しない。そこで、補間画素Ａの画素値ＶＡについて、最近接基準画素である基準画素(1)、(2)、(4)の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)＋Ｖ(4)）／３
により求める。

一方、補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１８（ｃ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(4)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(4)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準
画素(4)を含みエッジ方向に平行な線上の基準画素(2)との画素値を用いて、以下の式
ＶＣ＝（４×Ｖ(2)＋９×Ｖ(4)）／１３
により求める。

また、エッジ方向が上−下方向である場合、図１８（ｄ）に示されるように、基準画素(2)、(5)、(8)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、
エッジ線上の補間画素Ｂの画素値ＶＢについて、補間画素Ｂに隣施するエッジ線上の基準画素(2)および基準画素(5)の画素値を用いて、以下の式
ＶＣ＝（Ｖ(2)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ａ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１８（ｄ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(4)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(4)）／２
を用いて求める。

補間画素Ｃについては、最近接基準画素である基準画素(4)を含み、エッジ方向に平行
な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｃから当該線に垂
直に下した点は、基準画素(4)と一致する。そのため、補間画素Ｃの画素値ＶＣは、基準
画素(4)の画素値Ｖ(4)と同じ値にする。

なお、記憶部５７０は、エッジ方向と、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。そして、画像処理部５３０は、Ｓ４３で検出されたエッジ方向に対応する演算式を記憶部５７０から読み出し、読み出した演算式に基づいて、補間画素Ａ，Ｂ，Ｃの画素値を求めればよい。

なお、図１８では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(2)
−(5)−(4)のように曲がる場合や、エッジが基準画素(1)−(5)−(7)のように曲がる場合
などである。このような場合についても、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。例えば、エッジが基準画素(2)−(5)−(4)
のように曲がる場合、補間画素Ａについては図１８（ｃ）と同様に、補間画素Ｂについては図１８（ｂ）と同様に、補間画素Ｃについては図１８（ｄ）と同様の演算式を記憶している。また、エッジが基準画素(1)−(5)−(7)のように曲がる場合、補間画素Ａについては図１８（ａ）と同様に、補間画素Ｂについては図１８（ａ）と同様に、補間画素Ｃについては図１８（ｄ）と同様の演算式を記憶している。他のエッジ方向のパターンについても同様に記憶している。

このようにして、画像処理部５３０は、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。

一方、着目画素がエッジでない場合（Ｓ４２でＹｅｓ）、画像処理部５３０は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める（Ｓ４４）。

画像処理部５３０は、上記のＳ４２〜Ｓ４４の処理を、撮像画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する（Ｓ４５）。

その後、画像処理部５３０は、生成した補間画像データに対して高画質化処理を行う。例えば、画像処理部５３０は、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、高解像度画像データを生成する。従来からあるアンシャープマスクや図１０の中央の係数を５としたものが鮮鋭化フィルタとなる。またノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などを用いてもよい。

なお、画像処理部５３０は、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）に記載されているような種々の方法を用いて、１つの
撮像画像データから高解像度画像データを生成してもよい。
７）撮像画像処理システムの画像処理方法
以下、図２および図１３に基づいて、撮像画像処理システムの処理の流れについて説明する。なお、図２は携帯端末装置１００の処理フローを示し、図１３は画像出力装置５００の処理フローを示している。

まず、携帯端末装置１００は、撮像モードの選択受付を行う。ここで、ユーザは、文書画像を含む用紙や表示画面など矩形状の撮像対象物を撮像し、撮像画像を画像出力装置５００により高解像度化して出力することを希望する場合、文書撮像モードを選択する。

文書撮像モードの選択入力を受け付けた携帯端末装置１００では、制御部１１０は、超解像化補正を行う際の解像度変換の倍率の入力を促す画面を表示部１７０に表示し、当該倍率を入力部１８０から取得する。制御部１１０は、取得した倍率に応じて、撮像部１２０における撮像回数、撮像画像判定部１３０における処理実行条件の一部を決定する。また、制御部１１０は、出力処理の種類および出力処理のための設定条件の入力を促す画面を表示部１７０に表示し、入力部１８０から出力処理情報を取得する。

そして、制御部１１０が入力部１８０から出力処理情報を取得すると、撮像部１２０は撮像対象物の画像のとりこみを開始する（Ｓ１）。そして、制御部１１０は、画像処理部１４０によってＡ／Ｄ変換処理が施され得られた画像を表示部１７０に表示する。なお、以下では、表示部１７０に表示されるが記憶部１６０には固定的に記録されない画像を「ビューワ画像」と呼ぶことにする。

シャッターボタンが押下されたことを検知すると、撮像画像（または、ビューワ画像）を表わす画像データに対して、撮像画像判定部１３０は、白とび・黒つぶれ判定を行う（Ｓ２）。ここで、白とび・黒つぶれ判定処理について、図４を参照しつつ、詳細に説明する。図４は、白とび・黒つぶれ判定処理で、撮像画像判定部１３０が行う動作を示すフローチャートである。

撮像画像判定部１３０は、（３−４）に記した方法で、判定する撮像画像から輝度値２５０以上の画素を白（画素値１）、輝度値２５０未満の画素を黒（画素値０）とする２値化画像Ａを生成する（Ｓ７１）。

同様に、撮像画像判定部１３０は、判定する撮像画像から輝度値２４０以上の画素を白（画素値１）、輝度値２４０未満の画素を黒（画素値０）とする２値化画像Ｂを生成する（Ｓ７２）。

そして、撮像画像判定部１３０は、２値化画像Ａおよび２値化画像ＢのＸＯＲをとって得られる２値画像（ＸＯＲ画像）を生成する（Ｓ７３）。

撮像画像判定部１３０は、ＸＯＲ画像中に画素値「１」の画素が存在し、かつ、その画素の座標が２値化画像Ａの画素値「１」の領域の周囲の所定の範囲内にあるか否かを判定し（Ｓ７４）、「１」が上記所定の範囲内に存在する場合（Ｓ７４においてＹＥＳ）、白とび画像と判定して（Ｓ７５）、図３のＳ３の処理に戻る。一方、「１」が上記所定の範囲内に存在しない場合（Ｓ７４においてＮＯ）、白とび画像でないと判定して（Ｓ７６）、Ｓ７７の処理に進む。

次に、撮像画像判定部１３０は、（３−４）に記した方法で、判定する撮像画像から輝度値１０以下の画素を黒（画素値０）、輝度値が１０より大きい画素を白（画素値１）とする２値化画像Ｃを生成する（Ｓ７７）、
同様に、撮像画像判定部１３０は、判定する撮像画像から輝度値３０以下の画素を黒（画素値０）、輝度値が３０より大きい画素を白（画素値１）とする２値化画像Ｄを生成する（Ｓ７８）。

そして、撮像画像判定部１３０は、２値化画像Ｃおよび２値化画像ＤのＸＯＲをとって得られる２値画像（ＸＯＲ画像）を生成する（Ｓ７９）。

撮像画像判定部１３０は、ＸＯＲ画像中に画素値「１」の画素が存在し、かつ、その画素の座標が２値化画像Ｃの画素値「０」の領域の周囲の所定の範囲内にあるか否かを判定し（Ｓ８０）、「１」が上記所定の範囲内に存在する場合（Ｓ８０においてＹＥＳ）、黒つぶれ画像と判定して（Ｓ８１）、図３のＳ３の処理に戻る。一方、「１」が上記所定の範囲内に存在しない場合（Ｓ８０においてＮＯ）、黒つぶれ画像でないと判定して（Ｓ８２）、図３のＳ３の処理に戻る。

撮像画像判定部１３０は、撮像画像に白とびも黒つぶれもないか、すなわち、画像が適切であるか否かを判定し（Ｓ３）、適切な画像でないと判定した場合（Ｓ３でＮＯ）、制御部１１０は、表示部１７０に再撮像の旨を示すメッセージなどを表示して、ユーザに通知する（Ｓ５）。そして、撮像部１２０は、複数の異なる露出条件で露出条件ごとに１枚以上撮像を行う（Ｓ６）。そして、タグ情報を生成（Ｓ７）し、Ｓ８の処理に進む。

一方、撮像画像判定部１３０が適切な画像であると判定した場合（Ｓ３でＹＥＳ）、制御部１１０は、露出条件を変えずに複数枚撮像を行い（Ｓ４）、Ｓ８の処理に進む。なお、撮像される枚数は、制御部１１０にて設定された撮像枚数である。また、露出条件を変えて撮像を行う回数（変更を行う露出条件）についても、上記制御部１１０にて設定するようにしておいても良い。あるいは、ユーザが任意に決めるようにしても良い。

そして、制御部１１０は、撮像により得られた複数の撮像画像データにファイルネームを付ける（Ｓ８）。なお、制御部１１０が付与するファイルネームは、前述したとおり、複数の撮像画像データが互いに関連づけられるような名称になっていればよい。

その後、制御部１１０は、複数の撮像画像データを、タグ情報、記憶部１６０に格納されている携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１５０に転送する。そして、通信部１５０は、これらの情報を画像出力装置５００に送信する（Ｓ９）。

なお、制御部１１０は、ファイルネームがつけられた画像データを、記憶部１６０、あるいはメモリカードに一時保存して、ユーザの要求によって、タグ情報、上記携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１５０に転送し、さらに画像出力装置５００に送信してもよい。

次に、画像出力装置５００の第１通信部５９０は、携帯端末装置１００からの複数の撮像画像データ、機種情報、ユーザ情報および出力処理情報を受信する（Ｓ２１）。受信後、画像処理部５３０の画質調整部５３１は、例えば上記（６−１）に説明したとおり、カラーバランス・コントラスト・明るさの補正を行う（Ｓ２２）。そして、画像処理部５３０の幾何学補正部５３２は、例えば上記（６−２）に説明したとおり、幾何学的歪みの補正・レンズ歪みの補正を行う（Ｓ２３）。

Ｓ２４では、画像補正部５３５は、Ｓ２２およびＳ２３による各種補正が実行された複数の撮像画像データの中から、白とびや黒つぶれがない、あるいは、白とびや黒つぶれが少ない撮像画像データ（白とびや黒つぶれが少ない露出条件の撮像画像データ）を選択する。具体的には、画像補正部５３５は、撮像画像判定部１３０と同様に（３−４）に記した白とび・黒つぶれ判定を行い、白とびや黒つぶれがないと判定された撮像画像を最適な撮像画像データとして選択するようにすればよい。

そして、Ｓ２５では、超解像化処理部５３４は、Ｓ２４において選択された撮像画像データに対して超解像化補正を行う。なお、超解像化補正の具体的な方法は（６−３）や（６−４）で説明したとおりである。

その後、制御部５１０は、画像補正部５３５によって選択された撮像画像データを、記憶部５７０に格納する（Ｓ２６）。

次に、制御部５１０は、撮像画像データの出力指示が入力部５８０に入力されたか否かを判定する（Ｓ２７）。出力指示の入力がない場合（Ｓ２７でＮＯ）、出力指示が入力されるまで待機する。

一方、出力指示がある場合（Ｓ２７でＹＥＳ）、認証部５４０は、ユーザ情報（例えばユーザＩＤおよびパスワード）の入力を促す画面を表示部５６０に表示させ、ユーザ情報を入力部５８０から取得する。そして、認証部５４０は、ユーザ認証を行う（Ｓ２８）。なお、認証部５４０は、画像出力装置５００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。

ユーザ認証を行う際、認証部５４０は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ２９）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ２９でＹＥＳ）、制御部５１０は、携帯端末装置１００から受信したい出力処理情報に従って出力処理を実行させる（Ｓ３２）。例えば、出力処理情報が印刷処理を示している場合、制御部５１０は、画像形成部５５０に対して処理実行指示を出力する。その後、処理を終了する。

一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ２９でＮＯ）、認証部５４０は、認証回数が所定回数以上であるか判定する（Ｓ３０）。そして、認証回数が所定回数以上でない場合（Ｓ３０でＮＯ）、Ｓ２８、Ｓ２９の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ３０でＹＥＳ）、出力せずにフローを終了する。
（撮像画像処理システムの利点）
以上のように、本実施形態によれば、撮像画像処理システムの携帯端末装置１００が異なる複数の露出条件で露出条件毎に１枚以上撮像する。撮像画像処理システムの画像出力装置５００は、露出条件毎に得られた撮像画像の中から白とびや黒つぶれの少ない最適な撮像画像を選択する。さらに、画像出力装置５００は、選択された最適な撮像画像に超解像化処理を施して出力することができる。従って、撮像画像処理システムは、黒つぶれや白とびがない画像を出力することができるので、出力画像中の文字の判読性を向上させることができる。

８）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の一例について説明する。

（８−１）携帯端末装置１００の処理フローについて
上記の実施形態では、携帯端末装置１００の撮像画像判定部１３０によって撮像画像が適切な画像と判定されなかった場合に、異なる複数の露出条件で自動的に撮像することを説明したが、携帯端末装置１００は、撮像画像判定部１３０によって撮像画像が適切な画像と判定されなかった場合に、再度撮像するようにユーザに促すようにしてもよい。

この場合の携帯端末装置１００の処理フローについて図１１を参照して説明する。

携帯端末装置１００は、上記の実施形態の場合と同様に、撮像モードの選択受付や解像度変換の倍率の入力、出力処理の種類および出力処理のための設定条件の入力を受け付ける。

そして、撮像部１２０は、上記の実施形態の場合と同様に、撮像対象物を表わすビューワ画像のとりこみを開始し（Ｓ１１）、シャッターボタンが押下されたことを検知すると、撮像画像判定部１３０は、撮像画像（またはビューワ画像）が白とびや黒つぶれのない適切な画像であるか否かを判定する（Ｓ１２）。

撮像画像判定部１３０が適切な画像でないと判定した場合（Ｓ１２でＮＯ）、撮像部１２０は露出条件を変更し（Ｓ１３）、制御部１１０は、表示部１７０に再撮像を促すメッセージなどを表示して、ユーザに通知する（Ｓ１４）。

以下、ユーザへの通知の表示部１７０に表示する内容について、詳細に説明する。

撮像画像判定部１３０から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１１０は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１７０に表示させる。

また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１１０は、撮像対象物における文字が記載された矩形平面の法線方向から再度撮像することを促すメッセージを表示部１７０に表示させる。

さらに、所定量だけずれた所定数の撮像画像が含まれていない旨の判定結果を受けた場合、制御部１１０は、例えば「この画像は処理できない可能性があります。もう一度撮影し直し下さい。」などの、再度撮像するよう促すメッセージを表示部１７０に表示し、新たに画像を得るようにする。その後、新たに撮像した複数の撮像画像について、撮像画像判定部１３０が再度判定処理を行い、全ての処理実行条件を満たすと判定されたときに、当該撮像画像を後段の処理に用いる。もしくは、前に撮像した撮像画像および再度撮像された撮像画像の組合せに対して、撮像画像判定部１３０が再度判定処理を行い、全ての処理実行条件を満たす撮像画像を後段の処理に用いてもよい。

また、露出オーバーの箇所や露出アンダーの箇所があるとの判定結果を受けた場合は、表示部１７０にその旨を表示するようにしても良い。

また、白とびが発生したと撮像画像判定部１３０が判定した場合、制御部１１０から白とび発生の通知により、撮像部１２０は自動で異なる複数の露出条件（絞り・ゲイン等）に設定を変更して撮像対象物を複数枚撮像する。

Ｓ１４においてユーザに通知する処理を行った後、Ｓ１１の処理に戻る。

一方、撮像画像判定部１３０が適切な画像であると判定した場合（Ｓ１２でＹＥＳ）、Ｓ１５の処理に進む。

そして、制御部１１０は、シャッターボタンの押下を検知して撮像した複数の撮像画像データにファイルネームを付ける（Ｓ１５）。ファイルネームの付与の仕方としては、例えば、「ABC_1.jpg」「ABC_2.jpg」・・・のように、番号部分のみ互いに異なり、他の部分が共通になるように付与すればよい。

最後に、制御部１１０は、タグ情報を生成し、１つ以上の画像データを、タグ情報、記憶部１６０に格納されている携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１５０に転送する。そして、通信部１５０は、これらの情報を画像出力装置５００に送信する（Ｓ１６）。

（８−２）画像出力装置の画像処理部５３０が記憶部５７０に記録する最適な画像について
上記の実施形態では、画像処理部５３０の画像補正部５３５が、携帯端末装置１００から受信した複数の撮像画像から白とびや黒つぶれの領域が少ない最適な画像を選択し、画像処理部５３０の超解像化処理部５３４が、選択された画像に対して超解像化補正を行って記憶部５７０に記録することを説明した。本変形形態では、白とびや黒つぶれが存在する撮像画像のうち、白とびや黒つぶれの領域の各画素を、その画素に対応する他の撮像画像の画素で置き換えることにより、白とびや黒つぶれの領域が少ない画像を生成する。この場合、例えば、露出を変更する前の最初の露出条件で撮像して得られた撮像画像など、基準となる撮像画像を決めておく。そして、基準となる撮像画像において白とびや黒つぶれが生じている領域の近接領域の輝度と、最初の露出条件と異なる露出条件で撮像して得られた撮像画像のうち、近接領域に対応する領域（置き換えを行う領域の周辺の領域）の輝度との差が一定の範囲内にある画像を、置き換えに用いる撮像画像として選択する。

なお、基準となる撮像画像に置き換えを行う領域が複数存在する場合、画像補正部５３５は、携帯端末装置１００から受信した複数の撮像画像すべてについて、ブロック単位でＲＧＢ信号の平均値または輝度値の平均値を求める。そして、画像補正部５３５は、置き換えを行う領域毎に、基準となる撮像画像の当該領域のブロックにおける平均値と、対応するブロックにおける平均値が最も近い他の撮像画像を、置き換えに用いる撮像画像として選択する。

そして、画像処理部５３０の画質調整部５３１は、基準となる撮像画像データが表わす画像の白とびや黒つぶれが生じている領域を置き換えて得られた画像について、カラーバランスやコントラスト、明るさ補正、トーン補正、シャーディング補正を行う。最後に、画像補正部５３５は、これらの補正を行った後の画像を最適な画像として記憶部５７０に記憶する。

なお、カラーバランス等の補正前の画像と補正後の画像とを表示部５６０に表示して、ユーザに選択させ、ユーザに選択された画像を最適な画像として記憶部５７０に記憶してもよい。

（８−３）最適画像の他の生成方法について
（８−２）では、撮像画像処理システムにおいて、白とびや黒つぶれのない最適な画像を出力するために、携帯端末装置１００が露出条件を変更しながら複数回撮像して、画像出力装置５００が携帯端末装置１００から受信した複数の撮像画像から基準となる撮像画像を選択し、選択した撮像画像中の白とびや黒つぶれの領域を、他の撮像画像中の対応する領域の画像で置き換えて最適な画像を生成することを説明した。しかし、最適画像の生成方法は、これに限られない。

すなわち、携帯端末装置１００が、白とびが生じないような露出条件で露出条件を変えずに複数枚撮像し、画像出力装置５００の画像処理部５３０が、携帯端末装置１００から受信した複数の撮像画像を重ね合わせた画像を生成することにより、白とびや黒つぶれのない最適な画像を生成するようにしてもよい。ここで、複数の撮像画像を重ね合わせた画像とは、撮像画像がＮ枚であるとすると、画像中の各座標（X,Y）の画素の輝度値が、Ｎ枚の各撮像画像について座標（X,Y）の画素の輝度値を加算した値となるような画像のことを言う。

複数の撮像画像を重ね合わせて最適な画像を生成する場合、重ね合わせる撮像画像の枚数を撮像画像の明るさ（輝度値）に応じて変更する。すなわち、例えば、撮像画像の各画素の輝度の平均値をとり、輝度の平均値が小さい場合には重ね合わせる画像の枚数を多くし、輝度の平均値が大きい場合には重ね合わせる画像の枚数を少なくすればよい。

なお、撮像画像を重ね合わせる場合に、輝度値を単純に加算してしまうと、最大値である２５５を超えてしまう場合があるので、輝度値が２５５を超えないようにする必要がある。すなわち、重ね合わせる撮像画像に輝度値の大きい画素が含まれている場合、１未満の小さい重み付け係数を輝度値の加算値に乗じた値を、生成する画像中の対応する画素の輝度値とする。同様に、重ね合わせる撮像画像に輝度値の小さい画素が含まれている場合、１以上の大きい重み付け係数を輝度値の加算値に乗じた値を、生成する画像中の対応する画素の輝度値とする。このようにして、同じ条件で撮像した画像の各画素の輝度値を重み付け加算して画像を生成することにより、生成する画像にランダムノイズが発生するのを抑えることができる。なお、重ね合わせる枚数や重み付け係数は、予め種々の画像サンプルを用いて、輝度に応じて定めておく。

また、ブロック（６４×６４、１２８×１２８等）毎に重ね合わせる撮像画像の枚数が異なるようにしてもよい。すなわち、ブロック毎に輝度の平均値をとり、そのブロックの輝度の平均値が小さい場合には、そのブロックについて重ね合わせる画像の枚数を多くし、輝度の平均値が大きい場合には、そのブロックについて重ね合わせる画像の枚数を少なくすればよい。あるいは、領域分離処理を行って撮像画像をテキスト領域と背景（下地）領域とに分離し、下地領域のみ撮像画像の重ね合わせを行っても良い。なお、領域分離処理の方法としては、例えば、特開２００２−２３２７０８に記載されている以下の方法を用いればよい。

すなわち、撮像画像において、まず、注目画素を含むｎ×ｍ（例えば、７×１５）のブロックにおける最小濃度値および、最大濃度値を算出する。次に、算出された最小濃度値及び最大濃度値を用いて最大濃度差を算出する。そして、隣接する画素の濃度差の絶対値の総和である総和濃度繁雑度（例えば、主走査方向と副走査方向について算出した値の和）を算出する。

その後、算出された最大濃度差と最大濃度差閾値との比較及び算出された総和濃度繁雑度と総和濃度繁雑度閾値との比較を行い、最大濃度差＜最大濃度差閾値および総和濃度繁雑度＜総和濃度繁雑度閾値である場合、注目画素は下地・印画紙写真領域（写真領域、連続階調領域）に属すると判定し、最大濃度差≧最大濃度差閾値または総和濃度繁雑度≧総和濃度繁雑度閾値である場合、注目画素は文字・網点領域に属すると判定する。

さらに、下地・印画紙写真領域に属すると判定された画素について、注目画素が、最大濃度差＜下地・印画紙写真判定閾値を充たす場合、下地画素であると判定し、最大濃度差≧下地・印画紙写真判定閾値、印画紙写真画素であると判定する。一方、文字・網点領域に属すると判定された画素については、注目画素が、総和濃度繁雑度＜最大濃度差に文字・網点判定閾値を掛けた値の条件を充たす場合、文字画素であると判定し、上記条件を充たさない場合、網点画素であると判定する。

以上、特開２００２−２３２７０８に記載されている領域分離処理の方法について説明したが、本発明に適用できる領域分離処理の方法はこれに限られない。

また、予め画像サンプルを用いて、重ね合わせる枚数や重み付け係数をそのまま用いるのではなく、輝度分布を求めた上で重ね合わせる枚数や重み付け係数の調整を行うと、より良い画像を生成することができる。すなわち、重ね合わせる撮像画像について、ブロック単位で輝度分布を求めてブロック毎の輝度の大小関係を記憶しておく。そして、生成する画像におけるブロック毎の輝度の大小関係が、重ね合わせる撮像画像におけるブロック毎の輝度の大小関係と一致するように、重ね合わせる枚数や重み付け係数を調整する。また、互いに隣接する複数のブロックを対象物の画像が跨ぐように撮像画像中に含まれる場合であっても、生成した画像においてブロックの境界部分が不自然にならないように、ブロックの境界部分の輝度値の調整を行うことが望ましい。

なお、輝度値を加算する時は、式（４）を用いて算出した輝度値の整数部分だけでなく少数部分も考慮するとより違和感のない滑らかな画像を生成することができる。

（プログラム、記録媒体）
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像形成装置に送信する画像形成装置より出力する方法を記録するものとすることもできる。

この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばROMのようなものそのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやCD−ROM／MO／MD／DVD等の光ディスクのディスク系、ICカード（メモリカードを含む）／光カード等のカード系、あるいはマスクROM、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electrically Erasable Programmable Read Only Memory）、フラッシュROM等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、携帯端末装置やデジタルカラー画像形成装置に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

本発明は、携帯端末装置と画像出力装置との間でデータ通信を行う撮像画像処理システムに適用することができる。

１００ 携帯端末装置
１１０ 制御部（表示制御部、指示受付制御部）
１２０ 撮像部
１３０ 撮像画像判定部
１４０ 画像処理部
１５０ 通信部（送信部）
１６０ 記憶部
１７０ 表示部
１８０ 入力部
１９０ 記憶媒体アクセス部
５００ 画像出力装置
５１０ 制御部
５２０ 画像読取部
５３０ 画像処理部
５３１ 画質調整部
５３２ 幾何学補正部
５３３ レンズ歪み補正部
５３４ 超解像化処理部（補正処理部）
５３５ 画像補正部
５４０ 認証部
５５０ 画像形成部
５６０ 表示部
５７０ 記憶部
５８０ 入力部
５９０ 第１通信部（通信部）
６００ 第２通信部（出力部）
６１０ 記憶媒体アクセス部

Claims (11)

1. 画像データを出力する画像出力装置に対して複数の画像データを送信する送信部を備えた携帯端末装置であって、
   同一の撮像対象物に対して連続して複数回撮像することが可能な撮像部と、
   上記撮像部による撮像により得られた撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、を備え、
   上記所定条件は、少なくとも以下の条件Ａを含み、
   条件Ａ：上記撮像画像データが表わす撮像画像の各画素が、画素の明るさの度合いを示す特徴量として第１の閾値以上の特徴量を有する白色画素であるか否かによって上記撮像画像を２値化した第１の２値化画像と、各画素が、上記特徴量として上記第１の閾値より小さい第２の閾値以上の特徴量を有する白色画素であるか否かによって上記撮像画像を２値化した第２の２値化画像との排他的論理和が真であるか、
   または、各画素が、上記特徴量として第３の閾値以下の特徴量を有する黒色画素であるか否かによって上記撮像画像を２値化した第３の２値化画像と、各画素が、上記特徴量として上記第３の閾値より大きい第４の閾値以下の特徴量を有する黒色画素であるか否かによって上記撮像画像を２値化した第４の２値化画像との排他的論理和が真である
   上記撮像画像判定部により上記所定条件を満たすと判定された場合に、上記撮像部は、上記撮像画像データの撮像における露出条件と異なる複数の露出条件で上記撮像対象物を連続して撮像し、
   上記送信部は、上記異なる複数の露出条件で上記撮像対象物を撮像することにより得られた撮像画像データを上記画像出力装置に送信することを特徴とする携帯端末装置。
2. 上記撮像部は、撮像前に上記撮像対象物を表わす画像をあらかじめ取り込むことが可能であって、
   上記撮像画像判定部は、上記撮像部による撮像により得られた撮像画像データに代えて、上記撮像部があらかじめ撮像前にとりこんだ画像を表わす画像データが上記所定条件を満たすか否かを判定することを特徴とする請求項１に記載の携帯端末装置。
3. 表示部の表示を制御する表示制御部と、入力部を介してユーザからの指示を受け付ける指示受付制御部と、をさらに備え、
   上記撮像画像判定部が上記所定条件を満たすと判定した場合に、上記表示制御部はその旨を表示部に表示するとともに、上記指示受付制御部は再撮像の指示を受け付け、
   上記撮像画像判定部は、上記再撮像の指示に基づき上記撮像部が上記所定条件を満たすと判定された撮像時と異なる露出条件で撮像して得られた撮像画像データについても上記所定条件を満たすか否かを判定し、
   上記送信部は、上記撮像画像判定部が上記所定条件を満たさないと判定した撮像画像データのみを上記画像出力装置に送信することを特徴とする請求項１または２に記載の携帯端末装置。
4. 請求項１または２に記載の携帯端末装置から撮像画像データを受信する通信部と、
   上記通信部が受信した上記撮像画像データにそれぞれ異なる露出条件で撮像された複数の撮像画像データが含まれる場合に、該複数の撮像画像データの中から上記所定条件を満たさないいずれかの撮像画像データを選択する画像処理部と、
   上記画像処理部が選択した上記撮像画像データを出力する出力処理を実行する出力部と、を備えることを特徴とする画像出力装置。
5. 上記画像処理部が選択した上記撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理部をさらに備え、
   上記出力部において出力する撮像画像データは、上記補正処理部が生成した上記高解像度画像データであることを特徴とする請求項４に記載の画像出力装置。
6. 請求項１から３のいずれか１項に記載の携帯端末装置と、当該携帯端末装置から複数の画像データを受信する、請求項４または５に記載の画像出力装置とを備えることを特徴とする撮像画像処理システム。
7. 画像データを出力する画像出力装置に対して複数の画像データを送信する送信部と、同一の撮像対象物に対して連続して複数回撮像することが可能な撮像部と、を備えた携帯端末装置の制御方法であって、
   撮像画像判定部が、上記撮像部による撮像により得られた撮像画像データが所定条件を満たすか否かを判定する撮像画像判定ステップと、
   上記撮像画像判定部により上記所定条件を満たすと判定された場合に、上記撮像部が、上記撮像画像データの撮像における露出条件と異なる複数の露出条件で上記撮像対象物を連続して撮像する撮像ステップと、
   上記送信部が、上記異なる複数の露出条件で上記撮像対象物を撮像することにより得られた撮像画像データを上記画像出力装置に送信する送信ステップと、を含み、
   上記所定条件は、少なくとも以下の条件Ａ
   条件Ａ：上記撮像画像データが表わす撮像画像の各画素が、画素の明るさの度合いを示す特徴量として第１の閾値以上の特徴量を有する白色画素であるか否かによって上記撮像画像を２値化した第１の２値化画像と、各画素が、上記特徴量として上記第１の閾値より小さい第２の閾値以上の特徴量を有する白色画素であるか否かによって上記撮像画像を２値化した第２の２値化画像との排他的論理和が真であるか、
   または、各画素が、上記特徴量として第３の閾値以下の特徴量を有する黒色画素であるか否かによって上記撮像画像を２値化した第３の２値化画像と、各画素が、上記特徴量として上記第３の閾値より大きい第４の閾値以下の特徴量を有する黒色画素であるか否かによって上記撮像画像を２値化した第４の２値化画像との排他的論理和が真である
   を含むことを特徴とする制御方法。
8. 請求項１から３の何れか１項に記載の携帯端末装置から撮像画像データを受信する通信部と、撮像画像データに画像処理を施す画像処理部と、撮像画像データを出力する出力部と、を備えた画像出力装置の画像出力方法であって、
   上記通信部が受信した上記撮像画像データにそれぞれ異なる露出条件で撮像された複数の撮像画像データが含まれる場合に、上記画像処理部が、該複数の撮像画像データの中から上記所定条件を満たさないいずれかの撮像画像データを選択する選択工程と、
   上記出力部が、上記画像処理部が選択した上記撮像画像データを出力する出力処理を実行する出力工程と、を含んでいることを特徴とする画像出力方法。
9. 請求項１から３のいずれか１項に記載の携帯端末装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
10. 請求項４または５に記載の画像出力装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
11. 請求項９または１０に記載のプログラムが記録されているコンピュータ読み取り可能な記録媒体。

Images