JP4772894B2 - 画像出力装置、携帯端末装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、携帯端末装置にて撮像した画像を画像出力装置により出力する撮像画像処理システムに関する。

インターネット技術とともに、携帯電話や有線、無線通信技術が発達し広く普及されている。この技術を用いて、外出先から携帯電話などの携帯端末装置から、インターネット上に接続された画像出力装置に画像を送り、印刷を行わせることがなされている。

例えば、特許文献１では、デジタルカメラや、カメラ付きＰＤＡ・携帯パソコン等のモバイル情報機器で収集したデジタル画像データを、ネットワークを介してサーバに送信する。サーバでは、受信したデジタル画像データに対して、明るさや色、サイズの調整などの画像処理を行い、複数保存されているドキュメント合成用のテンプレートの画像エリアにはめ込んでドキュメントの作成を行う。

特開２００２−４１５０２号公報（２００３年３月１４日公開）

しかしながら、上記した特許文献１に記載のドキュメント作成システムでは、撮像した画像にユーザが所望する撮像対象物以外の周囲の人や物、背景等のドキュメント作成に不必要な部分がある場合、所望の撮像対象物のみを撮像画像から抽出する機能を有していない。

そのため、上記したドキュメント作成システムでは、撮像画像から一部の領域を抽出したい場合、ユーザ自身が撮像画像から当該領域を抽出して編集した後、ドキュメントに貼り付ける作業が必要になるという問題がある。

本発明は、上述した問題点に鑑みてなされたものであり、その目的は、ユーザが所望する矩形状の撮像対象物の領域を、撮像した画像から精度よく容易に抽出することのできる画像出力装置、携帯端末装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体を提供することである。

上記の課題を解決するために、本発明に係る画像出力装置は、撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた撮像画像データを受信する受信部と、上記撮像画像データで示される撮像画像の中から検出された、線分状に連なるエッジ画素の群であるエッジ画素群の撮像画像上の位置を示すエッジ情報を取得するエッジ情報取得部と、上記エッジ情報で示される４つの線分状のエッジ画素群を辺とし、かつ、全ての内角が１８０°未満の四角形で囲まれた領域である四角形領域、または、上記エッジ情報で示される少なくとも一つの線分状のエッジ画素群および上記撮像画像の端部上の少なくとも一つの線分を辺とし、かつ、全ての内角が１８０°未満の多角形で囲まれた領域である多角形領域を抽出領域として決定し、上記撮像画像データから抽出領域の画像データを出力対象画像データとして切り出すエッジ抽出処理部と、上記出力対象画像データまたは当該出力対象画像データで示される画像を出力する出力部とを備えることを特徴とする。

また、本発明に係る画像出力方法は、撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた撮像画像データを受信する受信ステップと、上記撮像画像データで示される撮像画像の中から検出された、線分状に連なるエッジ画素の群であるエッジ画素群の撮像画像上の位置を示すエッジ情報を取得するエッジ情報取得ステップと、上記エッジ情報で示される４つの線分状のエッジ画素群を辺とし、かつ、全ての内角が１８０°未満の四角形で囲まれた領域である四角形領域、または、上記エッジ情報で示される少なくとも一つの線分状のエッジ画素群および上記撮像画像の端部上の少なくとも一つの線分を辺とし、かつ、全ての内角が１８０°未満の多角形で囲まれた領域である多角形領域を抽出領域として決定し、上記撮像画像データから抽出領域の画像データを出力対象画像データとして切り出すエッジ抽出処理ステップと、上記出力対象画像データまたは当該出力対象画像データで示される画像を出力する出力ステップとを含むことを特徴とする。

上記の構成によれば、携帯端末装置から受信した撮像画像データの中から、線分状に連なるエッジ画素群の位置を示すエッジ情報に基づいて、エッジ情報で示される４つの線分状のエッジ画素群を辺とし、かつ、全ての内角が１８０°未満の四角形で囲まれた領域である四角形領域、または、エッジ情報で示される少なくとも一つの線分状のエッジ画素群および上記撮像画像の端部上の少なくとも一つの線分を辺とし、かつ、全ての内角が１８０°未満の多角形で囲まれた領域である多角形領域を抽出領域として決定する。

ここで、原稿やポスターなどの矩形状の撮像対象物を撮像した場合、撮像画像において、撮像対象物と背景との境界線（撮像対象物の輪郭線）は、線分状に連なるエッジ画素群で構成されることとなる。そのため、エッジ情報で示される位置のエッジ画素群は、撮像対象物と背景との境界線である可能性が高い。

さらに、撮像画像の範囲内に矩形状の撮像対象物の全てが含まれる場合（つまり、撮像対象物の一部が撮像画像の端部からはみだして欠落していない場合）、撮像対象物と背景との境界線は四角形となる。また、像対象物の一部が撮像画像の端部からはみだして欠落している場合、撮像対象物と背景との境界線および撮像画像の端部上の線分により多角形が形成されることとなる。

そのため、上記の構成によれば、矩形状の撮像対象物の領域を高確率で抽出領域として抽出することができる。その結果、ユーザが所望する矩形状の撮像対象物の領域を、撮像した画像から精度よく容易に抽出することのできる画像出力装置を実現することができる。

つまり、ユーザは、例えば、矩形状の撮像対象物の領域の画像を撮像画像から抽出したい場合に、所望の撮像対象物を撮像画像から抽出する作業をしなくてもよいので、ユーザの作業負担を軽減することができる。

さらに、本発明の画像出力装置は、上記撮像画像上のユーザが指定した位置を示す指定位置情報を取得する指定情報取得部を備え、上記抽出処理部は、上記指定位置情報で示される位置を含む上記四角形領域または多角形領域を抽出領域として決定してもよい。

取得したエッジ情報によっては、複数の四角形領域および／または多角形領域が検出される場合がある。しかしながら、上記の構成によれば、ユーザが指定した位置を含む四角形領域または多角形領域を抽出領域として決定するため、ユーザは、抽出を希望する領域内の任意の位置を指定するだけで、当該領域の画像を出力させることができる。

さらに、本発明の画像出力装置は、ユーザにより指定された濃度値である指定濃度値を取得する指定情報取得部と、上記撮像画像データの中から、上記指定濃度値を含む所定範囲内の濃度値を有する画素を特定し、特定した画素が連結される連結成分に外接する矩形領域を抽出領域として決定し、上記撮像画像データから抽出領域の画像データを出力対象画像データとして切り出す濃度値抽出処理部と、上記エッジ情報取得部および上記エッジ抽出処理部を動作させ、上記濃度値取得部および上記濃度値抽出処理部を動作させないエッジ抽出モードと、上記エッジ情報取得部および上記エッジ抽出処理部を動作させず、上記濃度値取得部および上記濃度値抽出処理部を動作させる濃度値抽出モードとを切り換える切り換え部とを備え、上記出力部は、上記切り換え部がエッジ抽出モードに切り換えた場合、上記エッジ抽出処理部により生成された出力対象画像データまたは当該出力対象画像データで示される画像を出力し、上記切り換え部が濃度値抽出モードに切り換えた場合、上記出力部は、上記濃度値抽出処理部により生成された出力対象画像データまたは当該出力対象画像データで示される画像を出力してもよい。

上記の構成によれば、撮像画像データの中から、指定濃度値を含む所定範囲内の濃度値を有する画素を特定し、特定した画素が連結される連結成分を含む領域を抽出領域として決定する。そのため、指定濃度値で示される色と類似する色を有する領域を抽出することができる。その結果、撮像対象物として特定の色を有するものを撮像する場合、濃度値抽出モードを選択することで、撮像対象物を精度よく抽出することができる。

また、上記の構成によれば、濃度値抽出モードとエッジ抽出モードとを適宜切り換えることができる。

さらに、本発明の画像出力装置において、上記指定情報取得部は、上記撮像画像上のユーザが指定した位置を示す指定位置情報を取得し、当該指定位置情報で示される位置の濃度値から上記指定濃度値を求め、上記濃度値抽出処理部は、上記指定位置情報で示される位置を含む上記連結成分を含む領域を抽出領域として決定してもよい。

上記の構成によれば、ユーザは、抽出されることを希望する領域であり、当該領域内の代表的な色を有する位置を指定するだけで、当該代表色と類似する色を有する領域の画像を容易に出力させることができる。

なお、上記指定情報取得部は、上記指定位置情報で示される位置に複数の画素が含まれる場合、例えば、当該複数の画素の濃度値の平均値、または、当該複数の画素の濃度値のうちの最も頻度の高い濃度値、または、当該複数の画素の濃度値のうちの頻度が所定閾値以上の濃度値を上記指定濃度値とすればよい。

また、本発明の画像出力装置において、上記エッジ情報取得部は、所定長さ以上の線分状に連なるエッジ画素群のみに対応するエッジ情報を取得してもよい。

通常、ユーザは、撮像対象物を撮像画像の大部分を占めるようにして撮像する。そのため、上記の構成によれば、エッジ情報で示されるエッジ画素群は、撮像対象物と背景との境界線である確率が高くなる。その結果、撮像対象物の領域を精度良く抽出することができる。

また、本発明の携帯端末装置は、撮像部と、上記撮像部の撮像により得られた撮像画像データを上記の画像出力装置に送信する送信部とを備えた携帯端末装置であって、上記撮像画像データで示される撮像画像の中から、線分状に連なるエッジ画素の群であるエッジ画素群を検出するエッジ検出部と、上記エッジ検出部によって検出されたエッジ画素群の位置に基づいて上記エッジ情報を生成するエッジ情報生成部とを備え、上記送信部は、上記エッジ情報生成部で生成されたエッジ情報を上記画像出力装置に送信することを特徴とする。

また、本発明の撮像画像処理システムは、上記の画像出力装置と、撮像部および上記撮像部の撮像により得られた撮像画像データを上記画像出力装置に送信する送信部を備えた携帯端末装置と、を含む撮像画像処理システムであって、上記携帯端末装置は、上記撮像画像データで示される撮像画像の中から、線分状に連なるエッジ画素の群であるエッジ画素群を検出するエッジ検出部と、上記エッジ検出部によって検出されたエッジ画素群の位置に基づいて上記エッジ情報を生成するエッジ情報生成部とを備え、上記エッジ情報取得部は、上記携帯端末装置から上記エッジ情報を取得することを特徴とする。

上記の構成によれば、エッジ情報を携帯端末装置が生成するため、画像出力装置は、容易にエッジ情報を取得することができる。また、画像出力装置でエッジ情報を生成する必要がなく、画像出力装置の負荷を軽減できる。

さらに、本発明の携帯端末装置は、上記エッジ検出部がエッジ画素群を一つも検出できない場合に、ユーザに対して再撮像を促す通知を行う通知部を備えていてもよい。

また、本発明の撮像画像処理システムは、上記携帯端末装置が、上記エッジ検出部がエッジ画素群を一つも検出できない場合に、ユーザに対して再撮像を促す通知を行う通知部を備えていてもよい。

上記の構成によれば、ユーザは、撮像画像から撮像対象物を抽出して、抽出した撮像対象物を画像出力装置から得るためには、再撮像が必要であることを容易に把握することができる。その結果、即座に再撮像するという対応を行うことができる。

また、本発明の携帯端末装置は、撮像部と、上記撮像部の撮像により得られた撮像画像データを上記の記載の画像出力装置に送信する送信部とを備えた携帯端末装置であって、上記撮像画像データで示される撮像画像の中から出力を希望する領域内の位置の指定入力をユーザに促し、入力された位置を示す情報を上記指定位置情報として生成する指定位置情報生成部を備え、上記送信部は、上記指定位置情報生成部により生成された上記指定位置情報を上記画像出力装置に送信することを特徴とする。

また、本発明の撮像画像処理システムは、上記の画像出力装置と、撮像部および上記撮像部の撮像により得られた撮像画像データを上記画像出力装置に送信する送信部を備えた携帯端末装置と、を含む撮像画像処理システムであって、上記携帯端末装置は、上記撮像画像データで示される撮像画像の中から出力を希望する領域内の位置の指定入力をユーザに促し、入力された位置を示す情報を上記指定位置情報として生成する指定位置情報生成部を備え、上記指定情報取得部は、上記携帯端末装置から上記指定位置情報を取得することを特徴とする。

上記の構成によれば、ユーザは、携帯端末装置において、撮像画像の中から出力を希望する領域内の位置を入力することができる。そして、当該入力操作だけで、希望する領域のみの画像を画像出力装置から容易に得ることができる。

なお、上記画像出力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより画像出力装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る画像出力装置は、撮像画像データで示される撮像画像の中から検出された、線分状に連なるエッジ画素の群であるエッジ画素群の撮像画像上の位置を示すエッジ情報を取得するエッジ情報取得部と、上記エッジ情報で示される４つの線分状のエッジ画素群を辺とし、かつ、全ての内角が１８０°未満の四角形で囲まれた領域である四角形領域、または、上記エッジ情報で示される少なくとも一つの線分状のエッジ画素群および上記撮像画像の端部上の少なくとも一つの線分を辺とし、かつ、全ての内角が１８０°未満の多角形で囲まれた領域である多角形領域を抽出領域として決定し、上記撮像画像データから抽出領域の画像データを出力対象画像データとして切り出すエッジ抽出処理部と、上記出力対象画像データまたは当該出力対象画像データで示される画像を出力する出力部とを備える。

これにより、ユーザが所望する矩形状の撮像対象物の領域を、撮像した画像から精度よく容易に抽出することのできる画像出力装置を実現することができるという効果を奏する。

図１は、本発明の撮像画像処理システムの撮像画像処理方法を示すフローチャートであって、携帯端末装置のフローを示す図である。 図２は、本発明の撮像画像処理システムの撮像画像処理方法を示すフローチャートであって、画像出力装置のフローを示している。 図３は、本発明の撮像画像処理システムの構成を示す図である。 図４は、本発明の携帯端末装置の構成を示すブロック図である。 図５は、本発明の撮像画像処理方法における画像の傾き検出例を示している。 図６は、図５の傾き検出例における傾き角度θとその正接値を示している。 図７は、画像の幾何学的歪みの検出例を示している。 図８は、画像の対象物のエッジ検出処理例を示している。 図９は、画像のラスター方向のエッジ検出例を示している。 図１０は、画像のズレ度合い検出例の１次微分フィルタ例を示している。 図１１は、ユーザが画像上でポイントを指定した際の例を示す図である。 図１２は、ユーザが画像上で対象物を選択した際の例を示す図である。 図１３は、本発明の画像出力装置の構成を示すブロック図である。 図１４は、本発明の画像処理部の構成を示すブロック図である。 図１５は、画像のカラーバランス検出時のルックアップテーブルの一例を示している。 図１６は、画像のレンズ歪みの補正例を示している。 図１７は、画像の幾何学的歪みの補正例を示している。 図１８は、画像の再構成画素値の決定例を示している。 図１９は、高解像度補正の処理の流れを示すフローチャートである。 図２０は、高解像度画像データにおける基準画素と補間画素とを示している。 図２１は、対象物の一部が撮像されていない画像を示す図である。 図２２は、画像から対象物を抽出した状態を示す図である。 図２３は、画像の色抽出による処理の例を示す図である。 図２４は、画像の色抽出による処理の別の例を示す図である。 図２５は、本発明の変形例に係る撮像画像処理システムの撮像画像処理方法を示すフローチャートであって、携帯端末装置のフローを示す図である。 図２６は、本発明の変形例に係る撮像画像処理システムの撮像画像処理方法を示すフローチャートであって、携帯端末装置のフローを示す図である。 図２７は、本発明の変形例に係る撮像画像処理システムの撮像画像処理方法を示すフローチャートであって、画像出力装置のフローを示している。 図２８は、本発明の変形例に係る撮像画像処理システムの撮像画像処理方法を示すフローチャートであって、携帯端末装置のフローを示す図である。

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。

（１）撮像画像処理システムの全体構成
図３は、本発明に係る撮像画像処理システムの全体構成を示す図である。図３に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置１００、および、複合機、プリンタ（画像形成装置）などの画像出力装置２００を備える。

携帯端末装置１００と画像出力装置２００とは通信可能であり、携帯端末装置１００は、撮像した画像データ（以下、撮像画像データという）を画像出力装置２００に送信することができる。

携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。

本実施形態では、携帯端末装置１００は、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、当該撮像により得られた撮像画像を画像出力装置２００から出力するための文書撮像モードの機能を有している。

ところで、撮影した画像には、ユーザが所望する撮像対象物以外の周囲の人や物、背景等のドキュメント作成に不必要な部分が含まれている場合も考えられる。本実施形態では、このような場合であっても、所望の撮像対象物のみを撮像画像から容易に抽出することができるものである。

本実施形態において、携帯端末装置１００は、文書撮像モードが選択された際に、撮像画像から抽出した一部の領域の画像を画像出力装置２００から得ることのできるオブジェクト抽出モードを有している。すなわち、本実施形態では、文書画像が矩形状の面を有する撮像対象物を撮像し、当該撮像により得られた撮像画像の中から、一部の領域の画像だけを出力することを希望する場合に、ユーザは、文書撮像モードを選択するとともにオブジェクト抽出モードを選択するものとする。

なお、本実施形態では、オブジェクト抽出モードとして、（Ａ）抽出すべき領域内の任意の点をユーザが指定することなしに自動的に抽出する領域を決定する自動抽出モード、（Ｂ）抽出すべき領域内の任意の点をユーザが指定し、当該指定された点と撮像画像から検出されたエッジ画素群の位置とに基づいて、抽出する領域を決定するエッジ抽出モード、（Ｃ）抽出すべき領域内の任意の点をユーザが指定し、当該指定された点の色に基づいて、抽出する領域を決定する色抽出モード（濃度値抽出モード）、の３つのモードを有している。ユーザは、オブジェクト抽出モードを選択する場合、自動抽出モード、エッジ抽出モードおよび色抽出モードのうちの一つを適宜選択することができる。

そして、本実施形態では、携帯端末装置１００においてオブジェクト抽出モードが選択された場合、画像出力装置２００は、撮像画像の中から、撮像対象物の領域と推定される一部の領域の画像を抽出し、当該抽出画像を出力する。

また、携帯端末装置１００で撮像された画像は解像度が低く、当該解像度で画像出力装置２００により画像出力（例えば印刷）を行ったとしても細部まで認識できない場合がある。例えば、文書画像（文字など）が印刷された用紙やポスター、文書画像などが表示されている表示画面を撮像する場合において、文字が判別できないことが考えられる。

そこで、本実施形態では、画像出力装置２００は、携帯端末装置１００から受信した撮像画像データに対して、解像度を高める高解像度補正を行う機能（高解像度化機能）を有している。この高解像度補正の手法としては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008） に記載されている、複数の撮像画像データを用いた方法や、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）に記載されている、一つの撮像画像データを用いた方法などがあり、これらの方法を用いることができる。なお、本実施形態では、同一対象物に対して複数回の連続撮像により得られた出力対象画像データを用いて高解像度補正を行うものとして説明する。ただし、本発明は、画像出力装置２００が当該高解像度化機能を有する場合に限定されるものではない。

さらに、ユーザは、矩形状の撮像対象物である、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面などに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における、文書画像が形成された平面の法線方向と、撮像手段の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像された画像において、撮像対象物に歪み（以下、幾何学的歪みという）が生じることになる。本実施形態では、上記文書撮像モードが選択された場合、このような幾何学的歪みも補正された状態で画像出力装置２００が画像出力するように構成されている。ただし、本発明は、画像出力装置２００が当該幾何学的歪みの補正機能を有する場合に限定されるものではない。

なお、画像出力装置２００で実行される出力処理としては、撮像画像データに基づいた画像またはその一部の領域の画像の印刷処理、サーバやＵＳＢメモリなどの記憶装置へ撮像画像データまたはその一部の領域の画像データを格納するファイリング処理、電子メールに撮像画像データまたはその一部の領域の画像データを添付して送信するメール送信処理などがある。

また、携帯端末装置１００と画像出力装置２００との通信方式としては、図３において符号Ａで示されるように、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式や、符号Ｂで示されるように、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から中継装置３００に一旦撮像画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該中継装置３００から画像出力装置２００へデータを転送する方式がある。なお、携帯端末装置１００と画像出力装置２００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。たとえば、電子メールに出力対象画像データを添付して画像出力装置２００に送信してもよい。

（２）携帯端末装置の構成
まず、図４〜１２に基づいて、本実施形態に係る携帯端末装置１００について説明する。

図４は、携帯端末装置１００の構成を示すブロック図である。図４に示されるように、携帯端末装置１００は、撮像部１０１、撮像画像判定部１０２、画像処理部１０３、通信部（送信部）１０４、表示部（通知部、選択部、指定領域抽出部）１０５、入力部１０６、記憶媒体アクセス部１０７、記憶部１０８、制御部（送信部、通知部）１０９、指定領域抽出部１１０を備えている。

撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行うものである。撮像部１０１は、予め設定された解像度で撮像対象物の撮像を行う。また、撮像部１０１は、ユーザにより文書撮像モードが選択された場合、１回シャッターの押下により撮像対象物について複数回（例えば、２〜１５）連続して撮像する。通常、連続して撮像された画像は、ほぼ同じ画像であるが、手ぶれ等によって微少量だけずれることになる。

撮像画像判定部１０２は、文書撮像モードが選択されている際に、撮像部１０１で撮像された複数の撮像画像が、画像出力装置２００において高解像度補正を実行するための条件を含む処理実行条件を満たしているか否かを判定する判定部が備えられている。撮像画像判定部１０２は、その判定結果を制御部１０９に出力する。

また、撮像画像判定部１０２は、撮像画像から、線分状に連なるエッジ画素の群を検出し、検出したエッジ画素の群の位置を示すエッジ情報を生成する機能も有している。なお、複数のエッジ画素の群が検出された場合、各エッジ画素の群に対応する複数のエッジ情報を生成する。撮像画像判定部１０２における具体的な処理については後述する。

画像処理部１０３は、撮像部１０１で撮像された画像のデータ（撮像画像データ）に対して、少なくともＡ／Ｄ変換処理を行うものである。

通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１０４は、撮像部１０１により撮像され、画像処理部１０３にてＡ／Ｄ変換処理が施された１枚もしくは複数の撮像画像データを画像出力装置２００に送信する。ただし、通信部１０４は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データのみを送信する。

表示部１０５は、タッチパネル方式の液晶ディスプレイなどにより構成されるものである。また、ユーザは、液晶ディスプレイに表示される撮像画像をタッチして自由に移動、拡大、縮小させるといった操作や、ユーザが指定した点を中心として、指の動作方向に画像を移動させることが可能である。

入力部１０６は、複数のボタンを有しており、ユーザがデータの入力を行うためのものである。また、記憶媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出すものである。

また、記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。

指定領域抽出部１１０は、表示部１０５に表示された撮像画像において、ユーザが指やタッチペンで指定したポイントの座標情報を抽出するものである。なお、この座標情報は、撮像画像データで示される撮像画像において、所定位置の点（例えば、左上隅の点）を原点とし、横方向をＸ軸、Ｘ軸に垂直な方向をＹ軸とし、Ｘ座標およびＹ座標で表される。指定領域抽出部１１０の具体的な処理については後述する。

制御部１０９は、携帯端末装置１００の各部の制御を行うものである。具体的には、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、解像度変換の倍率の入力を促す画面を表示部１０５に表示させる。

そして、制御部１０９は、入力部１０６に入力された倍率（例えば、２倍、４倍）に応じて、撮像部１０１が連続撮像する回数、および、撮像画像判定部１０２で用いる処理実行条件の一部を決定する。なお、制御部１０９は、記憶部１０８に予め格納された、倍率と撮像回数および処理実行条件の一部とを対応付けた情報に基づいて決定する。

また、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、画像出力装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０５に表示する。そして、制御部１０９は、入力部１０６から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。

さらに、制御部１０９は、文書撮像モードの撮像により得られた撮像画像データの画像出力装置２００への送信指示が入力部１０６に入力された場合、オブジェクト抽出モードを選択するか否かを示す指示の入力を促す画面を表示部１０５に表示させる。また、制御部１０９は、オブジェクト抽出モードが選択された場合、自動抽出モード、エッジ抽出モードおよび色抽出モードのいずれのモードを示す指示の入力を促す画面を表示部１０５に表示させる。そして、制御部１０９は、入力された指示、および、撮像画像判定部１０２により生成されたエッジ情報の数に基づいて、実行するモードを決定する。

そして、制御部１０９は、撮像画像データと、各モードに応じた関連情報とを画像出力装置２００に送信するように通信部１０４を制御する。

制御部１０９における、モードの決定処理および関連情報の特定処理の詳細については後述する。

（３）撮像画像判定部の処理について
次に、携帯端末装置１００の撮像画像判定部１０２における具体的な判定処理について説明する。

（３−１）傾きの判定
上述したように、用紙やポスター、表示画面のような矩形状の撮像対象物を撮像し、撮像画像を画像出力装置２００から出力させることを希望する場合に、ユーザが文書撮像モードを選択する。

そのため、撮像画像判定部１０２は、撮像対象物が矩形状であると仮定して、撮像画像データにおいて、撮像対象物のエッジを検出することで撮像画像データにおける撮像対象物の傾きを検出する。

具体的には、撮像画像判定部１０２は、撮像画像データの中から、線分状に連なるエッジ画素の群を検出する（直線認識を行う）。ここで、エッジ画素とは、濃度の変化が激しい部分を構成する画素である。矩形状の撮像対象物を撮像した場合、当該撮像対象物の輪郭線（つまり、撮像対象物と背景との境界線）は、濃度の変化が激しい部分が線分状に連なる。すなわち、撮像画像における撮像対象物と背景との境界線は、線分状に連なるエッジ画素の群で表される。そこで、上述のように、撮像画像データの中から、線分状に連なるエッジ画素の群を検出することで、撮像対象物と背景との境界線の位置を推定することができる。このように、撮像画像判定部１０２は、線分状に連なるエッジ画素の群を検出するエッジ検出部としても機能する。

なお、撮像画像データの中から、線分状に連なるエッジ画素の群を検出する手法としては、例えば特開２００６−２３７７５７に記載されている方法など従来知られている手法を用いることができる。

また、背景の中のエッジを撮像対象物の輪郭線のエッジとして誤判定することを防止するために、所定長さ以上の線分状のエッジ画素の群のみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さなどを適宜設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。

そして、撮像画像判定部１０２は、検出された撮像対象物のエッジ上の２点を選択する。例えば、図５に示されるように、撮像画像データの中心から左右それぞれ横方向にｗ／２だけ離れた２点１１・１２を選択する。次に、選択された２点１１・１２の各々と、撮像画像データの端辺との距離ｄ_１，ｄ_２を求め、撮像画像における撮像対象物の傾きを求めることができる。図５のような場合、傾き角度をθとすると、 ｔａｎθ＝（ｄ_２−ｄ_１）／ｗとなる。そこで、撮像画像判定部１０２は、（ｄ_２−ｄ_１）／ｗの値を算出し、この値に相当する角度θをあらかじめ作成済みのテーブル（図６参照）などより読み取る。

そして、撮像画像判定部１０２は、検出した角度θが所定範囲内（例えば、−３０°〜＋３０°）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、角度θが所定範囲内であることが処理実行条件の一つとなる。

また、撮像画像判定部１０２は、傾きの判定処理によって検出した線分状に連なるエッジ画素の群の位置を示すエッジ情報を生成し、制御部１０９に出力する。線分状に連なるエッジ画素の群をｎ群（例えば、図２２に示されるように４群）検出した場合には、各群に対応するエッジ情報をｎ個出力することになる。なお、本実施形態では、エッジ情報は、線分状に連なるエッジ画素の群の両端に位置するエッジ画素の撮像画像中の座標を示す情報である。ただし、本発明において、エッジ情報は、線分状に連なるエッジ画素の群の位置を示すものであればよく、これに限定されるものではない。例えば、当該群に含まれる全てのエッジ画素の撮像画像上の座標であってもよい。このように、撮像画像判定部１０２は、線分状に連なるエッジ画素の群の位置を示すエッジ情報を生成するエッジ情報生成部としても機能する。

そして、撮像画像判定部１０２は、生成したエッジ情報の全てを制御部１０９に出力する。なお、撮像画像によっては、線分状に連なるエッジ画素の群を検出できない場合もある。その場合、撮像画像判定部１０２は、エッジ情報が生成できない旨の通知を制御部１０９に出力する。なお、撮像画像判定部１０２は、後述する幾何学的歪みの判定の際に検出した線分状に連なるエッジ画素の群の位置を示すエッジ情報を生成し、制御部１０９に出力する構成であってもよい。

（３−２）幾何学的歪みの判定
幾何学的歪みとは、上述したように、撮像対象物における文書画像が形成された平面の法線方向とは異なる斜め方向から撮像対象物を撮像した場合に、撮像画像の中で撮像対象物が矩形状から歪んだ形状を有することである。例えば、用紙の法線方向に対して用紙の左下方向から斜めに撮像した場合、図７に示されるように、撮像対象物は、歪んだ四角形となる。

本実施形態では、後述するように、画像出力装置２００がこのような幾何学的歪みを補正する機能を有している。ただし、幾何学的歪みの度合いが大きい場合、補正したとしても、判読性がそれほど向上しない。そこで、本実施形態では、撮像画像判定部１０２は、幾何学的歪みの度合いを示す特徴量を検出し、当該特徴量が所定範囲内であるか否かを判定する。

本実施形態では、必ずしも画角の中心付近に撮像対象物の各辺のエッジが存在するとは限らないので、ある一定間隔ですべての辺からのエッジ画素を抽出し、各エッジを表すエッジを求めて、さらにこれらの交点を算出して、撮像対象物の領域とすれば良い。

まず、撮像画像判定部１０２は、撮像画像データについて、ラスター走査を行う。ここで、図７に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像において左上隅を原点とする。

１ライン分走査を行い、エッジ画素が存在しなければ、撮像画像判定部１０２は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。

そして、撮像画像判定部１０２は、ラスター走査において、最初にエッジ画素を検出したラインをＬ_１（１ライン目）とし、図８に示すように、順方向で最初のエッジ画素と判定された画素の座標を第１群に格納し、同じライン上で２つ目のエッジ画素と判定された画素の座標を第２群に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬ_ｉについて、順方向で１番目に撮像対象物のエッジ画素と判定された点と、２番目に撮像対象物のエッジ画素と判定された点とのＸ座標値の差分（Ｘ座標の距離ｄ_ｉ）を求め下記のように判定を行う。

なお、ラインＬ_ｉにおける最初のエッジ画素のＸ座標をＸ_ｉ１（第１群に分類されているＸ座標）、２つ目のエッジ画素のＸ座標をＸ_ｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。

（ａ）１ライン（Ｌ_１）目の座標Ｘ_１１およびＸ_１２については変更しない。

（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄ_ｉ１（＝Ｘ_ｉ１−Ｘ_{（ｉ−１）１}）およびｄ_ｉ２(同様)を算出する。以下、ｄ_ｉ１に関して述べるため添え字の１を省略するが、ｄ_ｉ２も同様である。

（ｃ）３ライン目以降のｉライン目は、ｄｄ_ｉ＝abs｛（ｄ_ｉ）−ｄ_ｉ−１｝を算出する。ｄｄ_ｉ≦th_１(≒０に近い小さな数値)であれば、座標Ｘ_iは同じ群に分類する。そうでない場合（ｄｄ_ｉ＞th_１）は、別の群（第３群または第４群）に分類する。

（ｄ）初期処理としてｉ=４のときのみ、Ｘ_２の群を確定させるための処理を行う。以下のようにする。

i)ｄｄ_３≦th_１ かつ ｄｄ_４≦th_１ → Ｘ_２：同群
ii)ｄｄ_３＞th_１ かつ ｄｄ_４≦th_１ → Ｘ_２：別群
iii)ｄｄ_３≦th_１ かつ ｄｄ_４＞th_１ → Ｘ_２：同群
iv)ｄｄ_３＞th_１ かつ ｄｄ_４＞th_１ → Ｘ_２：同群
一度、別群（第３群または第４群）に遷移した場合は、増減の確認はする必要はない。

このような処理を画像全体に行って、各群に属するエッジ画素を抽出する。そして、群ごとに、当該群に属するエッジ画素の座標を最小２乗法などで直線近似し、当該群に属するエッジ点に近似した直線を求める。ここで、撮像画像判定部１０２は、各群について求めた近似直線と当該群に含まれるエッジ画素との距離の二乗和の平均が所定閾値以下である場合に、エッジ画素が線分状に配列しているものと判断し、以下の処理を続行することができる。これにより、撮像画像判定部１０２は、撮像対象物と背景との境界線として推定される、線分状に連なるエッジ画素の群を検出することができる。なお、撮像画像判定部１０２は、各群について求めた近似直線と当該群に含まれるエッジ画素との距離の二乗和の平均が所定閾値より大きい場合、エッジ画素が線分状に配列していない可能性が高いと判断し、検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。

図９は、上記のような処理によって、ラスター走査によってエッジ画素を抽出し、４つの群に分類したときの図である。図において、丸印が第１群に属するエッジ点、四角印が第２群に属するエッジ点、三角印が第３群に属するエッジ点、星印が第４群に属するエッジ点を示し、最小２乗法により求められた、各群に属するエッジ画素の近似直線を点線で示す。

そして、４つの群について求めた直線の交点（図中、交点１〜４としている）を求め、４つの直線で囲まれた領域を撮像対象物の領域として特定することができる。

さらに、上記の分類処理を９０度回転させた画像に対して行っても良い。こうすることで、理想的に画像内の水平方向・垂直方向に平行に配置されたような原稿のエッジも抽出することが可能となる。すなわち、ラスター走査することで、回転前の画像では、垂直方向のエッジが検出できる。一方、回転後の画像では、回転前に水平方向であったエッジ（回転後には水平方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。

あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めても良い。すなわち、回転前の画像から求められた交点座標と、回転後の画像から求められた交点を逆回転して得られた交点座標とから、同一の群に属する好転座標を統合して直線の方程式を求めればよい。

なお、エッジ画素の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での、画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ画素であると判定すればよい。ここで、画素値とは、画素における各色成分（例えば、Ｒ、Ｇ，Ｂ）の濃度値のことである。なお、背景や撮像対象物内のテキストのエッジなどを誤って検出することを防止するために、上記のようにして検出された、線分状に連なるエッジ画素の群の両端間の長さが所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。もしくは、それぞれの座標群の評価を行ったり、エッジ検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。

そして、撮像画像判定部１０２は、以上のようにして、線分状に連なる４つのエッジ画素の群を検出し、各群から求められた４つの近似直線及びそれらの交点を求めると、当該４つの近似直線で形成される四角形の対辺の長さの比を計算する。当該長さの比は、上記交点の座標から容易に求まる。なお、対辺は２組あるので、撮像画像判定部１０２は、当該２組の各々について長さの比を求める。

ここで、対辺の長さの比は、矩形状の撮像対象物を正面から撮像した場合には撮像画像の中の撮像対象物も矩形状であるため、１となる。一方、斜め方向から撮像した場合には、撮像画像の中の撮像対象物の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書画像が形成された平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。

その後、撮像画像判定部１０２は、求めた二つの比の両方が所定範囲内（例えば、０．５〜２）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、所定範囲は、画像出力装置２００において補正可能な範囲として予め定められたものであり、記憶部１０８に格納されている。また、二つの比の両方が所定範囲内（例えば、０．５〜２）であることが処理実行条件の一つとなる。また、撮像画像判定部１０２は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。

なお、撮像画像判定部１０２は、線分状に連なるエッジ画素の群の検出数が３以下の場合、幾何学的歪みの度合いを示す特徴量を算出することができない。この場合、撮像画像判定部１０２は、幾何学的歪みの度合いを示す特徴量が所定範囲内である旨の判定結果を制御部１０９に出力するものとする。

（３−３）複数枚の画像のズレ量の判定
上述したように、画像出力装置２００は、同一の撮像対象物の複数の撮像画像データに基づいて、高解像度補正を実行することもできる。当該高解像度補正を実行するためには、解像度変換の倍率に応じた所定数の画像データが、所定量だけずれている必要がある。

そこで、本実施形態では、撮像画像判定部１０２は、撮像部１０１による連続撮像により得られた複数の撮像画像データの中に、画像出力装置２００で高解像度補正を実行するために必要な、所定量だけずれた所定数の撮像画像データが含まれるか否かを判定する。

なお、文字の判読性を挙げるような高解像度補正のために必要なズレとは、対象とする画像データの一画素未満（小数点）のズレを指す。すなわち、小数点以下（１画素未満）の値、例えば、０．３〜０．７などのズレが重要である。整数部分のズレは高解像度補正には考慮されない。例えば、１．３画素、２．３画素などの１画素未満のズレを含むような場合、複数の画像に基づいた高解像度補正を実行することができるが、１画素、２画素などの１画素未満のズレを含まない場合、高解像度補正を実行することができない。

例えば、変換倍率が２倍の場合、高解像度補正に必要な画像データの数は２であり、２つの画像データのずれ量としては画素単位で小数点以下０．３〜０．７であることが好ましい。そのため、記憶部１０８には、解像度変換の倍率「２倍」と、撮像回数「２」および処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」とを対応付けた情報が予め格納されており、制御部１０９は、当該情報に基づいて、撮像部１０１に対して２回連続して撮像させ、撮像画像判定部１０２に対して、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」に従った判定を実行させるものとする。

また、変換倍率が４倍である場合、高解像度補正に必要な画像データの数は４であり、その内の一つの画像データを基準画像データとしたとき、当該基準画像データと残りの３つの画像データとのずれ量がそれぞれ画素単位で小数点以下０．２〜０．３、０．４〜０．６、０．７〜０．８であることが好ましい。そのため、記憶部１０８は、解像度変換の倍率「４倍」と、撮像回数「４」および処理実行条件「必要画像データ数：４、ずれ量：０．２〜０．３、０．４〜０．６、０．７〜０．８」とを対応付けた情報を記憶している。

なお、以下では、説明を簡略化するため、解像度変換の倍率として２倍が選択された場合について述べる。

まず、撮像画像判定部１０２は、撮像画像の任意の一つを選択し、当該撮像画像（以下、第１の撮像画像という）について、上記幾何学的歪みの判定の際に求めた撮像対象物の領域の中からズレ検出用部分領域を選択する。ここで、ズレ検出用部分領域は、第１の撮像画像と残りの撮像画像（以下、第２の撮像画像という）との間のズレ量を求めるために用いるものであるため、当該ズレ検出用部分領域内で画素値の変化が大きいもの（明確なパターンが存在するもの）が好ましい。そこで、撮像画像判定部１０２は、以下のような方法によってズレ検出用部分領域を抽出する。

撮像画像判定部１０２は、撮像対象物の領域の重心位置に存在する画素を特定し、当該画素を注目画素とする。そして、注目画素を含むｎ×ｎ画素の領域を選定する。選定した領域について、以下の選定要件を満たすか否か判断し、満たす場合には、当該領域をズレ検出用部分領域とする。一方、満たさない場合には、所定のオフセット量に基づいて領域を移動させ、移動後の領域について同じ判断を行う。このようにして、ズレ検出用部分領域を抽出する。

ここで、選定要件としては、例えば、以下二つが挙げられる。
一つとしては、領域内の分散に準じた値を用いるものである。注目画素近傍のｎ×ｎ画素の領域に対して画素値をＰ（x）とすると部分領域の分散値Variance（x）は、下記式（１）で表される。この分散値Variance（x）の値が所定閾値以上あることを選定要件とする。また簡易化のために本式の分子のみを考えても良い。

また一つとしては、注目画素近傍のｎ×ｎ画素の領域に対して、１次微分フィルタのようなエッジ抽出フィルタを掛けて、２値化し、総和を見る。図１０は１次微分フィルタ例を示し、この場合も、総和がある所定閾値以上（例えば、部分領域画素数の５％以上など）あることを選定要件とすればよい。

次に、このようにして求められた、第１の撮像画像のズレ検出用部分画像Ａ（ｎ×ｎ）に対し、第２の撮像画像の中から、中心がほぼ同じ位置のズレ検出用部分画像Ｂ（ｍ×ｍ）（ｍ＞ｎ）として切り出す。この切り出し方法は、第１の撮像画像におけるズレ検出用部分画像Ａの中心画素の座標と、第２の撮像画像におけるズレ検出用部分画像Ｂの中心画素の座標とが一致するように、切り出す。

その後、切り出されたズレ検出用部分画像Ｂ中においてズレ検出用部分画像Ａに最も適合する領域をサブピクセル精度で求める。その手法としては、ズレ検出用部分画像Ａをテンプレートとした正規化相関パターンマッチングが挙げられる。

正規化相関パターマッチングの例として、既知であるところの正規化相関式を用いて相関を算出する。一般的にＮ画素からなる２つのパターンＩｎｐｕｔ（Ｉ）とＴａｒｇｅｔ（Ｔ）の相関式は、下記式（２）と表すことができる。ここで、α、β、γはそれぞれ下記のように表せる。

例えば、ｎ＝５、ｍ＝７の場合、ズレ検出用部分画像Ｂ（ｍ×ｍ）のなかのズレ検出用部分画像Ａと同サイズの領域（ｎ×ｎ）ごとに上記相関式を演算すると、結果として３×３の相関値Ｍａｐが生成される。この相関値Ｍａｐを用いて、フィットする２次曲面を求める。２次曲面の求め方としては、例えば、Ｓ（ｘ，ｙ）＝ａ＊ｘ＊ｘ＋ｂ＊ｘ＊ｙ＋ｃ＊ｙ＊ｙ＋ｄ＊ｘ＋ｅ＊ｙ＋ｆとして、９点のうち相関値の高い６点を選び、連立方程式を解いて各係数を求める。この関数の極値（＝最大値）の座標値（ｘ、ｙの両方）の小数点以下の値が所定範囲（ここでは、０．３〜０．７）であれば、処理実行条件「必要画像データ数：２、ずれ量：０．３〜０．７」を満たすものと判定する。

なお、極値の求め方は、上記２次式を偏微分し、それぞれが０である点の座標を求めればよい。このとき、実際には各係数（ａ〜ｆ）を求める必要はないので、直接相関値（Ｓ_１〜Ｓ_６）を用いたほうが効率的である。求めるべき式（３）は以下のようになる。ここで、原点は着目するウィンド基準となる。

なお、このようなサブピクセル精度の位置ズレ確認を少なくとも一か所にて行うが、数か所で行うことが望ましい。そして、撮像画像判定部１０２は、処理実行条件を満たすか否かの判定結果を制御部１０９に出力する。

（３−４）明るさ、コントラスト、カラーバランス、ブレの判定
また、撮像画像判定部１０２は、撮像画像の明るさ、コントラスト、カラーバランス、ブレ（激しい手ぶれ）の各項目について判定する。

明るさについては、例えば露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。そこで、撮像画像判定部１０２は、例えば、撮像画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば８ビットで１００など）以下であれば、露出アンダーとし、最小値がある閾値（例えば８ビットで１５０など）以上であれば、露出オーバーとする判定結果を制御部１０９に出力する。

そして、制御部１０９は、露出アンダーまたは露出オーバーの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。もしくは、制御部１０９は、露出アンダーの場合には、撮像部１０１における露光時間を長くするように設定変更し、露出オーバーの場合には、露光時間を短くするように設定変更する。その後、制御部１０９は、ユーザに再撮像を促す指示を通知してもよい。

コントラストについては、撮像画像判定部１０２は、撮像画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。そして、制御部１０９は、コントラスト不足との判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

なお、明るさ・コントラストの判定において、撮像画像判定部１０２は、各色チャンネルに対して判定を行っても良いし、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いても良い。

カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、撮像画像判定部１０２は、例えば、撮像画像中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。そして、制御部１０９は、カラーバランス不良であるとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

ブレ（激しい手ぶれ：いわゆるモーションブラー）については、発生時にエッジの先鋭性が低下することから、撮像画像判定部１０２は、図１０に挙げたようなエッジ抽出フィルタを用いて、エッジ強度画像を作成してヒストグラムを取り、その標準偏差値（前記分散の二乗根）を求める。そして、当該標準偏差値が所定閾値（例えば５）以下の場合、ブレが発生していると判定する。そして、制御部１０９は、ブレが発生しているとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。

（４）ユーザへの通知に関して
撮像画像判定部１０２から判定結果を受けた制御部１０９は、その判定結果に応じて、再撮像を促すメッセージを表示部１０５に表示させる。

例えば、撮像画像判定部１０２から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１０５に表示させる。

また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物における文書画像が形成された平面の法線方向から再度撮像することを促すメッセージを表示部１０５に表示させる。

さらに、撮像画像判定部１０２の傾きの判定もしくは幾何学的歪みの判定によってユーザが所望する撮像対象物のエッジが１組以上検知されない旨の判定を受けた場合、制御部１０９は、撮像する画像内にユーザが所望する撮像対象物が納まる格好で再度撮影することを促すメッセージを表示部１０５に表示させる。

また、所定量だけずれた撮像画像が所定数ない旨の判定結果を受けた場合、制御部１０９は、例えば「この画像は処理できない可能性があります。もう一度撮影し直し下さい。」などの、再度撮像を促すメッセージを表示部１０５に表示し、新たに画像を得るようにする。その後、新たに撮像した複数の撮像画像について、撮像画像判定部１０２が再度判定処理を行い、全ての処理実行条件を満たすと判定されたときに、当該撮像画像を後段の処理に用いる。もしくは、前に撮像した撮像画像および再度撮像された撮像画像の組合せに対して、撮像画像判定部１０２が再度判定処理を行い、全ての処理実行条件を満たす撮像画像を後段の処理に用いてもよい。

（５）指定領域抽出部１１０の処理について
次に、指定領域抽出部１１０の処理について説明する。

図１１に示すように、指定領域抽出部１１０は、表示部１０５のディスプレイ上に表示された撮像画像において、ユーザが出力することを希望する領域内（図１１では、撮像対象物の領域）の任意の一つのポイントを指やタッチペンで指定した際に、タッチされたポイントの座標（指定領域の座標）を抽出する。

また、ユーザによって押圧されたポイントは、ある程度の大きさをもった領域になるので、指定領域抽出部１１０は、指定された領域のｘ，ｙ座標の範囲もしくは指定された領域の中心座標を抽出するようになっている。

さらに、図１２に示すように、隣接するポスターや掲示板も撮像画像に含まれる場合、撮像画像が表示された表示部１０５上でユーザがポイントを指定することにより所望の撮像対象物のみを選択することができる。指定領域抽出部１１０で抽出された座標は、ユーザが指定した指定座標として制御部１０９に出力される。

このように、指定領域抽出部１１０は、ユーザによって指定された撮像画像上の位置を示す座標情報を生成する位置情報生成部であるといえる。

（６）制御部１０９における、モードの決定処理および関連情報の特定処理について
次に、制御部１０９における、モードの決定処理および画像出力装置２００に送信する関連情報の特定処理について説明する。

上述したように、制御部１０９は、撮像画像データの画像出力装置２００への送信指示が入力部１０６に入力された場合、オブジェクト抽出モードを選択するか否かを示す指示の入力を促す画面を表示部１０５に表示させる。なお、記憶部１０８に格納されている撮像画像データが複数存在する場合、撮像画像データ毎に当該撮像画像データで示される撮像画像を表示部１０５に表示し、各撮像画像に対して、オブジェクト抽出モードを選択するか否かを示す指示の入力を促す。例えば、各撮像画像ごとに、オブジェクト抽出モードを選択するためのボタンおよび次処理に進むためのボタンを表示しておく。そして、当該オブジェクト抽出モードを選択するためのボタンが押下された場合、押下されたボタンに対応する撮像画像に対してオブジェクト抽出モードを選択する指示が入力されたと判断する。一方、当該オブジェクト抽出モードを選択するためのボタンが押下されずに、次処理に進むためのボタンが押下された場合、撮像画像に対してオブジェクト抽出モードを選択しないものと判断すればよい。

撮像画像に対してオブジェクト抽出モードを選択しない旨の指示が入力された場合、制御部１０９は、当該撮像画像の全体を出力する非抽出モードであると決定する。

一方、オブジェクト抽出モードを選択する旨の指示が入力された場合、制御部１０９は、色抽出モードを選択するか否かを示す指示の入力を促す画面を表示部１０５に表示させる。具体的には、撮像画像毎にオプションボタンおよび次処理に進むためのボタンを表示しておき、このオプションボタンが押下されたときに、色抽出モードを実行するか否かを選択できるようにしておく。例えば、「色選択」というボタンを表示する。

「色選択」ボタンが押下された場合に、制御部１０９は、色抽出モードを実行すると決定する。そして、制御部１０９は、押下されたボタンに対応する撮像画像とともに、抽出すべき領域内の任意の一つのポイントの指定を促す通知を表示部１０５に表示する。そして、制御部１０９は、指定領域抽出部１１０に対して、指定されたポイントの座標情報を抽出させる。

また、「色選択」ボタンが押下されずに次処理に進むためのボタンが押下された場合、制御部１０９は、撮像画像判定部１０２により生成されたエッジ情報が一つ以上あるか否か判断する。撮像画像判定部１０２によりエッジ情報が一つも生成されていない場合、制御部１０９は、オブジェクト抽出モードの実行が不可能であることをユーザに通知し、撮像画像の全体を出力する非抽出モードであると決定する。

撮像画像判定部１０２によりエッジ情報が一つ以上生成されている場合、制御部１０９は、抽出すべき領域内の任意の一つのポイントを指定するか否かの指示の入力を促す画面を表示部１０５に表示する。当該ポイントを指定する旨の指示が入力された場合、制御部１０９は、エッジ抽出モードを実行するものと決定し、撮像画像とともに抽出すべき領域内の任意の一つのポイントの指定を促す通知を表示部１０５に表示する。そして、制御部１０９は、指定領域抽出部１１０に対して、指定されたポイントの座標情報を抽出させる。

一方、当該ポイントを指定しない旨の指示が入力された場合、制御部１０９は、自動抽出モードを実行するものと決定する。

そして、制御部１０９は、実行するモードに応じて、画像出力装置２００に送信する情報（送信情報）を以下のように特定する。

非抽出モードの場合、制御部１０９は、撮像画像データ、出力処理情報、エッジ検知信号（後述する）、色抽出選択信号（後述する）、記憶部１０８に格納された携帯端末装置１００の機種情報およびユーザ情報を送信情報とする。

自動抽出モードの場合、制御部１０９は、撮像画像データ、出力処理情報、エッジ検知信号、色抽出選択信号、撮像画像判定部１０２が生成したエッジ情報、記憶部１０８に格納された携帯端末装置１００の機種情報およびユーザ情報を送信情報とする。

エッジ抽出モードの場合、制御部１０９は、撮像画像データ、出力処理情報、エッジ検知信号、色抽出選択信号、撮像画像判定部１０２が生成したエッジ情報、指定領域抽出部１１０が生成した座標情報、記憶部１０８に格納された携帯端末装置１００の機種情報およびユーザ情報を送信情報とする。

色抽出モードの場合、制御部１０９は、撮像画像データ、出力処理情報、エッジ検知信号、色抽出選択信号、指定領域抽出部１１０が生成した座標情報、記憶部１０８に格納された携帯端末装置１００の機種情報およびユーザ情報を送信情報とする。

ここで、エッジ検知信号とは、エッジ検出の有無を示す信号であり、制御部１０９が撮像画像判定部１０２により生成されたエッジ情報の個数に従って生成するものである。例えば、撮像画像判定部１０２によって線分状に連なるエッジ画素の群が検知されない場合、つまり、撮像画像判定部がエッジ情報を生成しない場合に「０」とし、撮像画像判定部１０２によって線分状に連なるエッジ画素の群が検知された場合、つまり、撮像画像判定部１０２がエッジ情報を生成した場合に「１」とするエッジ検知信号を生成してもよい。もしくは、撮像画像判定部１０２により生成されたエッジ情報の個数に応じて、０００：「エッジ情報なし」、００１：「エッジ情報を１つ検出」、０１０：「エッジ情報を２つ検出」、０１１：「エッジ情報を３つ検出」、１００：「エッジ情報を４つ検出」とするエッジ検知信号を用いてもよい。以下では、「０」「１」のエッジ検知信号を用いる例について説明する。

ただし、制御部１０９は、実行するモードが非抽出モードまたは色抽出モードのときには、エッジを用いた抽出を行わないため、撮像画像判定部１０２により生成されたエッジ情報の個数に拘わらず、「０」のエッジ検知信号を生成するものとする。このように、エッジ検知信号は、エッジを用いた抽出を行うか否かを示す信号ともいえる。

また、色抽出選択信号とは、色抽出モードを実行するか否かを示す信号であり、制御部１０９により生成される。具体的には、制御部１０９は、実行するモードが色抽出モードである場合に色抽出選択信号「１」を生成し、これ以外の場合に色抽出選択信号「０」を生成する。
（７）画像出力装置の構成
次に、図１３〜２４に基づいて、本実施形態に係る画像出力装置２００の構成について説明する。本実施形態において、画像出力装置２００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。

図１３は、画像出力装置２００の構成を示すブロック図である。画像出力装置２００は、画像読取部２０１、画像処理部２０２、認証部２０３、画像形成部（出力部）２０４、表示部２０５、入力部２０６、第１通信部（受信部、エッジ情報取得部、指定情報取得部）２０７、第２通信部（出力部）２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部（出力部、切り換え部）２１２を備えている。

画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。

画像処理部２０２は、撮像画像データに対して、所定の画像処理を行うものである。本実施形態では、図１４に示すように、画像処理部２０２は、携帯端末装置から送信された撮像画像データに対して、撮像対象物の抽出を行うオブジェクト抽出部（エッジ抽出処理部、濃度値抽出処理部）３０５と、撮像画像データの補正処理を行う画質調整部３０１・幾何学補正部３０２・レンズ歪み補正部３０３・超解像化処理部３０４が備えられている。画像処理部２０２が撮像画像データに対して行う処理の詳細については後述する。

認証部２０３は、携帯端末装置１００から受信した撮像画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。

画像形成部２０４は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つでとして、画像処理部２０２によって所定の処理が実行された撮像画像データに基づいた印刷処理を実行するものである。

表示部２０５は、例えば液晶ディスプレイ等より構成される。また、入力部２０６は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。

第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報等の関連情報が付加された撮像画像データを受信する。すなわち、第１通信部２０７は、エッジ情報を受信（取得）するエッジ情報取得部、座標情報（指定位置情報）を受信（取得）する指定情報取得部としても機能している。

第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。

第２通信部２０８は、出力処理として、画像処理部２０２によって所定の処理が実行された撮像画像データをサーバに格納するファイリング処理、もしくは、画像処理部２０２によって所定の処理が実行された撮像画像データを添付したメールを送信するメール送信処理を実行する。

記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。

制御部２１２は、画像出力装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００から撮像画像データを受信した場合、当該画像データを画像処理部２０２の各画像補正処理部３０１〜３０４に出力して画像処理を実行させる。

次に、制御部２１２は、受信した撮像画像データに座標情報が付けられていないがエッジ検知信号「１」が付けられている場合、画像処理部２０２のオブジェクト抽出部３０５に対して、後述する（８−４−１）に記載のオブジェクト抽出処理を実行させる。

また、制御部２１２は、受信した撮像画像データに座標情報およびエッジ検知信号「１」が付けられている場合、画像処理部２０２のオブジェクト抽出部３０５に対して、後述する（８−４−２）に記載のオブジェクト抽出処理を実行させる。

さらに、制御部２１２は、受信した撮像画像データに色抽出選択信号「１」が付けられている場合、画像処理部２０２のオブジェクト抽出部３０５に対して、後述する（８−４−３）に記載のオブジェクト抽出処理を実行させる。

このように、制御部２１２は、（８−４−１）（８−４−２）（８−４−３）のいずれの抽出処理を実行させるかを切り換える切り換え部としても機能している。

なお、制御部２１２は、受信した撮像画像データに付けられているエッジ検知信号および色抽出選択信号の両方が「０」である場合、オブジェクト抽出部３０５に対して処理実行指示を出力しない。

また、制御部２１２は、撮像画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、撮像画像データに付けられていた出力処理情報に従って処理を実行させる。

すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２によって画像処理が施された撮像画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２によって画像処理が施された撮像画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。

（８）画像処理部における画像処理について
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００から受信した撮像画像データに対する画像処理の内容について説明する。

本実施形態において、画像処理部２０２は、携帯端末装置１００から送信されてきた撮像画像データに対して、画質調整部３０１部によるカラーバランス・コントラストの補正、幾何学補正部３０２による幾何学的歪みの補正、レンズ歪み補正部３０３によるレンズ歪みの補正、超解像化処理部３０４による高解像度補正、および、オブジェクト抽出部３０５によるオブジェクト抽出処理を行う。以下、各補正、抽出の処理について説明する。

（８−１）カラーバランス・コントラストの補正
カラーバランスの補正方法としては、画質調整部３０１は、受信した撮像画像データについて、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用すればよい。ルックアップテーブルの一例としては、図１５に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮである場合、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。

画質調整部３０１は、コントラストの補正についても同様の方法で実行することができる。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。

なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。

（８−２）幾何学的歪みの補正・レンズ歪みの補正
幾何学補正部３０２は、撮像画像判定部１０２における処理と同様にして、撮像画像における撮像対象物のエッジ上の点をラスター走査によって順次検出する。そして、画像処理部２０２は、検出されたエッジ上の点を曲線近似し、その曲線の式からレンズひずみ補正を行う。

具体的には、図１６の実線で示されるように、レンズ歪み補正部３０３は、検出した撮像対象物のエッジ点を検出し、撮像画像判定部１０２と同様に、各エッジ点を撮像対象物の４辺に対応する４つの群に分類する。そして、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。

また、レンズ歪み補正部３０３は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、レンズ歪み補正部３０３は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図１６において点線で示される）と合同な外接四角形（図１６において１点鎖線で示される）を求める。

そして、レンズ歪み補正部３０３は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０１によるレンズ歪みを補正することができる。

また、幾何学補正部３０２は、幾何学的歪みの補正を以下のようにして実行する。幾何学補正部３０２は、例えば、図１７に示すように、上記のようにして求めた外接四角形を対象物のアスペクト比（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど）に合わせ同様に写像変換すればよい。当該写像変換としては公知の技術を用いることができる。なお、画像処理部２０２は、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよいし、入力部２０６に入力されたアスペクト比に合うように変換してもよい。

なお、幾何学的歪みの補正およびレンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。

（８−３）複数の画像データを用いた高解像度補正
上述したように、画像出力装置２００は、携帯端末装置１００から、同一の撮像対象物に対して撮像された複数の撮像画像データを受信する。そして、超解像化処理部３０４は、当該複数の撮像画像データに基づいて高解像度補正を行う。

複数の画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）にいくつかの方法が紹介されている。一般的には、高解像度補正は、複数の画像の位置合わせ処理と再構成処理により成立する。本実施形態では、位置合わせ処理の例として、上記（３−３）記載の正規化相関パターマッチングの方法を適用する。すなわち、上記Ｓ（ｘ，ｙ）が極大値を示すズレ量だけずらすことにより、複数の画像の位置合わせを行うことができる。

次に、超解像化処理部３０４は、再構成処理を行う。すなわち、超解像化処理部３０４は、解像度変換後の倍率に応じた画素数を有する再構成画像データを作成する。ただし、画像サイズは、撮像画像のサイズと同一とする。そして、超解像化処理部３０４は、再構成画像データの各画素の画素値を以下のようにして決定する。すなわち、超解像化処理部３０４は、再構成画像データにおける各画素（再構成画素）について、当該再構成画素の近傍となる撮像画像の画素（撮像画素）を複数の撮像画像の中から決定し、一般的な補間方法（線形補間やバイキュービック補間など）で補間を行う。

具体的には、図１８に示されるように、着目する再構成画素近傍の撮像画素、例えば撮像画素の格子を結ぶ線（図の点線）が最も近距離である２点を横方向・縦方向のそれぞれで選択する。ここでは、横方向での最も近距離である２点は、１枚目の撮像画像の撮像画素１−２（画素値：Ｖ_ｉ１−２：以下同様）および撮像画素１−４であり、縦方向での最も近距離である２点は、２枚目の撮像画像の撮像画素２−１および撮像画素２−２であったとする。なお、再構成画素近傍の撮像画素を選択する際には、上記幾何学的歪みの補正・レンズ歪みの補正が実行された複数の撮像画像データの中から選択するものとする。これにより、幾何学的歪み・レンズ歪みの補正がされた状態で高解像度補正を行うことができる。もしくは、補正後の座標の値を計算する際に、基となる複数の撮像画像の該当する幾何学補正・レンズ歪みの補正を考慮した座標の値を基に求めてもよい。つまり、幾何学補正・レンズ歪みの補正値のみ算出し、再構成処理を行った後に、当該補正値により座標変換を行ってよい。

そして、横方向および縦方向のそれぞれについて選択した２点を結ぶエッジに垂直であり、かつ着目する再構成画素の点を含む直線と当該エッジとの交点を求める。図１８に示されるように、当該交点が２つのエッジのそれぞれについてｔ：１−ｔ、ｕ：１−ｕで内分している場合、超解像化処理部３０４は、着目する再構成画素の画素値Ｖ_ｓを下記式４に基づいて求めればよい。この場合は、線形補間を行ったことになる。そして、全ての再構成画素について同様にして画素値を求め、高解像度化された再構成画像データを生成することができる。

なお、補間方法として別の手法を用いても良い。また、映像情報メディア学会誌Vol.62、No.3、pp.337〜342（2008）に紹介されている別の方法を用いてもよい。例えば、ＭＡＰ（Maximum A Posteriori）法のような、先ず推定に基づく事後確率に対応する評価関数を最小化することで求める手法を用いても良い。

（８−４）オブジェクト抽出処理
オブジェクト抽出部３０５は、第１通信部２０７が受信した撮像画像データ、エッジ情報、座標情報、ならびに、色抽出選択信号等に基づいて、撮像画像データから一部の領域を抽出する処理を行う。なお、オブジェクト抽出部３０５は、制御部２１２から入力された情報に応じて、以下の（８−４−１）自動抽出モードによる抽出処理、（８−４−２）エッジ抽出モードによる抽出処理、（８−４−３）色抽出モードによる抽出処理（画素抽出処理）を行う。

なお、上述したように、オブジェクト抽出部３０５は、（Ａ）エッジ検知信号が「１」であり、携帯端末装置から座標情報を受信していない撮像画像データに対して自動抽出モードによる抽出処理を、（Ｂ）エッジ検知信号が「１」であり、携帯端末装置から座標情報を受信している撮像画像データに対してエッジ抽出モードによる抽出処理を、（Ｃ）色抽出選択信号が「１」である撮像画像データに対して色抽出モードによる抽出処理を実行する。すなわち、オブジェクト抽出部３０５は、エッジ情報に基づいて抽出処理を行うエッジ抽出処理部としても機能する（以下の（８−４−１）および（８−４−２））し、色（画素値（濃度値））に基づいて抽出処理を行う濃度値抽出処理部としても機能する（以下の（８−４−３））。

（８−４−１）自動抽出モードによる抽出処理（エッジ情報のみに基づく抽出処理）
オブジェクト抽出部３０５は、エッジ情報に基づいて、撮像画像の中から一部の領域を抽出する処理を行う。具体的な処理は以下のとおりである。

まず、オブジェクト抽出部３０５は、各撮像画像について、受信した全てのエッジ情報で示される線分の位置を特定する。そして、各線分の端部の位置が別の線分の端部の位置と一致するか否かを判定する。具体的には、端部同士の座標が同じであれば一致すると判定すればよい。そして、両端のいずれもが別の線分の端部と一致している複数の線分を辺とし、かつ、全ての内角が１８０°未満である四角形が検出された場合、オブジェクト抽出部３０５は、当該四角形で囲まれる領域を抽出領域として決定する。

なお、両端のいずれもが別の線分の端部と一致している複数の線分を辺とし、かつ、全ての内角が１８０°未満である四角形が複数個検出された場合、オブジェクト抽出部３０５は、最も面積の大きい四角形で囲まれる領域を抽出領域として決定すればよい。もしくは、検出した複数個の四角形を表示部に表示し、ユーザによって選択された四角形で囲まれる領域を抽出領域として決定してもよい。

一方、両端のいずれもが別の線分の端部と一致している複数の線分を辺とし、かつ、全ての内角が１８０°未満である四角形が検出されない場合（例えば図２１に示すような撮像対象物の一部が撮像されていない画像の場合）、オブジェクト抽出部３０５は、各線分について、別の線分の端部と一致していない端部を非接続端部として特定する。そして、オブジェクト抽出部３０５は、非接続端部が撮像画像の辺上であるか否かを判断する。ここで、撮像画像の辺とは、矩形状の撮像画像の端部である上辺、下辺、左辺、右辺のことである。もしくは、撮像画像の辺とは、矩形状の撮像画像の外周（枠）を構成する線分である。

次に、オブジェクト抽出部３０５は、（ａ）両端のいずれもが別の線分の端部と一致している線分、（ｂ）一方の端部が別の線分の端部と一致しており、かつ、他方の端部が撮像画像の辺上に位置する非接続端部である線分、および、（ｃ）両端のいずれもが撮像画像の辺上に位置する線分、のいずれかに当てはまる線分を候補線分として抽出する。そして、オブジェクト抽出部３０５は、候補線分と撮像画像の辺上の線分とを辺とし、かつ、全ての内角が１８０°未満である多角形を検出する。このような多角形が検出された場合、当該多角形で囲まれる領域を抽出領域として決定する。なお、このような多角形が複数検出された場合、オブジェクト抽出部３０５は、最も面積の大きい多角形で囲まれる領域を抽出領域として決定すればよい。もしくは、検出した複数個の多角形を表示部２０５に表示し、ユーザによって選択された四角形で囲まれる領域を抽出領域として決定してもよい。

このような多角形が一つも検出されない場合、オブジェクト抽出部３０５は、エッジ情報のみに基づいて一部の領域を抽出することが不可能であると判定し、撮像画像の全てを出力対象領域として決定する。

そして、オブジェクト抽出部３０５は、撮像画像の中から決定した抽出領域を切り出し、出力対象画像データを生成する。なお、撮像画像の全てを出力対象領域として決定する場合は、撮像画像データの全てを出力対象画像データとすればよい。

例えば、図２２に示される撮像画像では、エッジ情報で示される線分ａ、ｂ、ｃ、ｄで囲まれる領域が抽出領域として決定される。

（８−４−２）エッジ抽出モードによる抽出処理（エッジ情報および座標情報に基づく抽出処理）
オブジェクト抽出部３０５は、エッジ情報および座標情報に基づいて、撮像画像の中から一部の領域を抽出する処理を行う。具体的な処理は以下のとおりである。

まず、オブジェクト抽出部３０５は、各撮像画像について、受信した全てのエッジ情報で示される線分の位置を特定する。そして、各線分の端部の位置が別の線分の端部の位置と一致するか否かを判定する。具体的には、端部同士の座標が同じであれば一致すると判定すればよい。そして、両端のいずれもが別の線分の端部と一致している複数の線分を辺とし、かつ、全ての内角が１８０°未満である四角形が検出された場合、オブジェクト抽出部３０５は、当該四角形で囲まれる領域を抽出領域候補とする。

また、オブジェクト抽出部は、各線分について、別の線分の端部と一致していない端部を非接続端部として特定する。そして、オブジェクト抽出部３０５は、非接続端部が撮像画像の辺上であるか否かを判断する。

そして、オブジェクト抽出部３０５は、（ａ）両端のいずれもが別の線分の端部と一致している線分、（ｂ）一方の端部が別の線分の端部と一致しており、かつ、他方の端部が撮像画像の辺上に位置する非接続端部である線分、および、（ｃ）両端のいずれもが撮像画像の辺上に位置する線分、のいずれかに当てはまる線分を候補線分として抽出する。そして、オブジェクト抽出部３０５は、候補線分と撮像画像の辺上の線分とを辺とし、かつ、全ての内角が１８０°未満である多角形を検出する。このような多角形が検出される場合、当該多角形で囲まれる領域を抽出領域候補とする。

オブジェクト抽出部３０５は、上記のようにして求めた抽出領域候補の中から、内部に座標情報で示される座標が含まれる一つの抽出領域候補を選択し、選択した抽出領域候補を抽出領域として決定する。

なお、内部に座標情報で示される座標が含まれる抽出領域候補が複数存在する場合、面積の最も大きい候補を抽出領域候補として決定すればよい。もしくは、内部に座標情報で示される座標が含まれる抽出領域候補の全てを表示部に表示して、ユーザによって選択された候補を抽出領域として決定してもよい。

なお、上記のような抽出領域候補が一つも存在しない場合、または、内部に座標情報で示される座標が含まれる抽出領域候補が存在しない場合、オブジェクト抽出部３０５は、一部の領域を抽出することが不可能であると判定し、撮像画像の全てを出力対象領域として決定する。

そして、オブジェクト抽出部３０５は、撮像画像の中から決定した抽出領域を切り出し、出力対象画像データを生成する。なお、撮像画像の全てを出力対象領域として決定する場合は、撮像画像データの全てを出力対象画像データとすればよい。

（８−４−３）色抽出モードによる抽出処理（座標情報で示される位置の画素値に基づく処理）
オブジェクト抽出部３０５は、座標情報で示される位置を含む所定範囲（例えば、５ｍｍ角）内における代表色を求める。例えば、オブジェクト抽出部３０５は、所定範囲内に属する複数の画素において最も高い頻度で分布する色（画素値）を代表色として求める。もしくは、オブジェクト抽出部３０５は、所定範囲内に属する複数の画素において所定閾値以上の頻度で分布する色（画素値）を代表色として求めてもよい。もしくは、オブジェクト抽出部３０５は、所定範囲内に属する複数の画素の画素値の平均値を代表色として求めても良い。

次に、オブジェクト抽出部３０５は、撮像画像全体から、代表色の画素値を中心として、例えば、±５の範囲内の画素値を有する画素を抽出する。そして、抽出した複数の画素の水平軸（Ｘ軸）座標および垂直軸（Ｙ軸）座標の各々についてヒストグラムを作成し、各ヒストグラムにおいて、所定閾値以上の度数を有する区分が連続して存在している区分群を抽出する。上記所定閾値は、多くの画像サンプルを用いて、対象の画像領域が適切に抽出されるように設定しておく。

次に、オブジェクト抽出部３０５は、座標情報で示される座標が属する区分を含む区分群を候補区分群として特定する。さらに、候補区分群と当該候補区分群の隣の区分群との間の距離を求め、当該距離が例えば５０画素以上であれば、隣の区分群は当該候補区群に含まれないと判断し、当該候補区分群を抽出対象の区分群とする。一方、候補区分群と当該候補区分群の隣の区分群との間の距離が５０画素未満であれば、隣の区分群は当該候補区群に含まれると判断し、この二つの区分群のうちの最も小さい座標の区分から最も大きい座標の区分までの区分群を新たな候補区分群とする。

そして、新たな候補区分群と当該候補区分群の隣の区分群との間の距離を求めて、上記と同様の処理を行う。これを繰り返すことで、各ヒストグラムについて抽出対象の区分群を決定する。抽出対象の区分群であるか否かを判定する距離は、読み込まれた画像データの解像度にも依存するので、種々の画像サンプルを用いて、読取解像度ごとに適切な値を定めておけば良い。

そして、オブジェクト抽出部３０５は、Ｘ軸およびＹ軸の各々の軸について、当該軸に対応するヒストグラムから決定した抽出対象の区分群に含まれる最小値の座標および最大値の座標を求める。ここで、Ｘ軸に対して求めた最小値の座標をＸｍｉｎ、最大値の座標をＸｍａｘとし、Ｙ軸に対して求めた最小値の座標をＹｍｉｎ、最大値の座標をＹｍａｘとすると、オウジェクト抽出部３０５は、（Ｘｍｉｎ、Ｙｍｉｎ）、（Ｘｍｉｎ、Ｙｍａｘ）、（Ｘｍａｘ、Ｙｍｉｎ）、（Ｘｍａｘ、Ｙｍａｘ）の４つの点を頂点とする矩形領域を抽出領域として決定する。

上記の処理を言い換えると、オブジェクト抽出部３０５は、図２３に示すように、座標情報で示される一つのポイントを含み、かつ、当該ポイントの代表色に類似する色（つまり、代表色の画素値を含む所定範囲内の画素値）を有する画素の連結成分の領域の外接矩形領域を抽出領域と決定する、と言える。

最後に、オブジェクト抽出部３０５は、撮像画像の中から決定した抽出領域を切り出し、出力対象画像データを生成する。なお、オブジェクト抽出部３０５は、上記のようにして求めた矩形領域に対して、１０％程度広い領域を抽出領域として決定してもよい。

（９）撮像画像処理システムの画像処理方法
以下、図１、図２に基づいて、撮像画像処理システムの処理の流れについて説明する。なお、図１は携帯端末装置１００の処理フローを示し、図２は画像出力装置２００の処理フローを示している。

まず、携帯端末装置１００は、撮像モードの選択受付を行う。すなわち、携帯端末装置１００の制御部１０９は、文書撮像モードが入力されたかどうかを判定する（Ｓ１０１）。ここで、ユーザは、文書画像を含む用紙や表示画面など矩形状の対象物を撮像し、撮像画像を画像出力装置２００から出力することを希望する場合、文書撮像モードを選択する。

制御部１０９は、ユーザによって文書撮像モードが選択された場合（Ｓ１０１でＹＥＳ）、高解像度補正を行う際の解像度変換の倍率の入力を促す画面を表示部１０５に表示し、当該倍率を入力部１０６から取得する。制御部１０９は、取得した倍率に応じて、撮像部１０１における撮像回数、撮像画像判定部１０２における処理実行条件の一部を決定する。また、制御部１０９は、出力処理の種類および出力処理のための設定条件の入力を促す画面を表示部１０５に表示し、入力部１０６から出力処理情報を取得する。

そして、撮像部１０１は、制御部１０９にて設定された撮像回数だけ連続して撮像する（Ｓ１０２）。

撮影終了後、画像処理部１０３は、撮像した画像のデータに対して少なくともＡ／Ｄ変換処理を行う。その後、制御部１０９は、撮像画像判定部１０２に対して、Ａ／Ｄ変換処理された複数の撮像画像データが処理実行条件を満たすか否かを判定する処理を実行させる（Ｓ１０３）。なお、詳しい判定方法、判定項目などは、例えば上記（３−１）〜（３−３）で説明したとおりである。

次に、撮像画像判定部１０２が処理実行条件を満たすと判定した場合（Ｓ１０３でＹＥＳ）、制御部１０９は、処理実行条件を満たすと判定された撮像画像データを記憶部１０８に記憶させる（Ｓ１０５）。そして、Ｓ１０９の処理に移行する。

一方、撮像画像判定部１０２が処理実行条件を満たさないと判定した場合（Ｓ１０３でＮＯ）、制御部１０９は、表示部１０５に再撮像の旨を示すメッセージなどを表示して、ユーザに通知する（Ｓ１０４）。再撮像した画像であっても、上述した判定項目などを満足しない場合、携帯端末装置１００はステップＳ１０２〜Ｓ１０４を繰り返して行う。

次に、Ｓ１０６において、制御部１０９は、ユーザによる撮像画像データの画像出力送信への送信指示が入力されたか否かを判定する。送信指示の入力がない場合（Ｓ１０６でＮＯ）、制御部１０９は、Ｓ１０１の処理にもどる。

一方、送信指示が入力された場合（Ｓ１０６でＹＥＳ）、制御部１０９は、ユーザによるオブジェクト抽出モードの選択有無の入力を受け付ける（Ｓ１０７）。

ところで、制御部１０９は、撮像モードの選択受付時に、ユーザによって文書撮像モードが選択されなかった場合（Ｓ１０１でＮＯ）にも、ユーザによる撮像画像データの送信指示が有るかどうかを判定する（Ｓ１０６）。そして、文書撮像モードが選択されなかった場合でもユーザによる撮像画像データの送信指示が有る場合（Ｓ１０６でＹＥＳ）、制御部１０９は、ユーザによるオブジェクト抽出モードの選択有無の入力を受け付ける（Ｓ１０７）。

ここで、ユーザは、撮像画像の中から一部の領域を抽出して、抽出した領域を画像出力することを希望する場合に、オブジェクト抽出モードを選択する指示を携帯端末装置１００に入力することができる。一方、撮像画像の全体の出力を希望する場合には、オブジェクト抽出モードを選択しない旨の指示を入力すればよい。

続いて、制御部１０９は、エッジ検知信号と色抽出選択信号とを「０」に設定することによりエッジ検知信号と色抽出選択信号を初期化する（Ｓ１０８）。

次に、制御部１０９は、送信指示が入力された撮像画像データに対して撮像画像判定部１０２がエッジ情報を一つ以上生成したか否かを判定する。すなわち、当該撮像画像データから線分状に連なるエッジ画素の群が一組以上検出されたか否かを判定する（Ｓ１０９）。

エッジ情報が１つ以上生成された場合（Ｓ１０９でＹＥＳ）、制御部１０９は、エッジ検知信号を「１」に設定する（Ｓ１１０）。そして、制御部１０９は、ユーザによりオブジェクト抽出モードが選択されたかどうかを判定する（Ｓ１１１）。

一方、撮像対象物のエッジが検出されていないと判定した場合（Ｓ１０９でＮＯ）、制御部１０９は、エッジ検知信号を変更せずに、ユーザによりオブジェクト抽出モードが選択されたかどうかを判定する（Ｓ１１１）。

ユーザによりオブジェクト抽出モードが選択された場合（Ｓ１１１でＹＥＳ）、制御部１０９は、Ｓ１１２の処理に移行する一方、ユーザによりオブジェクト抽出モードが選択されていなかった場合（Ｓ１１１でＮＯ）、制御部１０９は、撮像画像全体を出力する非抽出モードを実行するものと判断し、エッジ検知信号が「１」の場合に「０」に変更して（Ｓ１１３）、Ｓ１１２の処理に移行する。

次に、Ｓ１１２において、制御部１０９は、ユーザにより色抽出モードが選択されたかどうかに基づいて、色抽出モードを実行するか否かを判定する。

具体的には、Ｓ１０９でＹＥＳであり、Ｓ１１１でＹＥＳであり、かつ、色抽出モードが選択された場合、制御部１０９は、エッジを用いたオブジェクト抽出モードを優先し、色抽出モードを実行しないものと判断する。このとき、制御部１０９は、エッジを用いたオブジェクト抽出モードを優先し、色抽出モードを実行しない旨の通知を表示部１０５に表示する。

なお、制御部１０９は、Ｓ１０９でＹＥＳであり、Ｓ１１１でＹＥＳであり、かつ、色抽出モードが選択された場合、エッジを用いたオブジェクト抽出モードを優先するか、あるいは、色抽出モードを実行すべきかどうかの入力を促す画面を表示部１０５に表示してユーザにどちらのモードを優先するかの選択を促すようにしても良い。そして、色抽出モードを選択する旨が入力されたときに、制御部１０９は、色抽出モードを実行するものと決定すればよい。

また、Ｓ１０９でＹＥＳであり、Ｓ１１１でＹＥＳであり、かつ、色抽出モードが選択されていない場合、制御部１０９は、色抽出モードを実行しないものと判断する。

さらに、Ｓ１０９でＮＯであり、Ｓ１１１でＹＥＳであり、かつ、色抽出モードが選択された場合、制御部１０９は、色抽出モードを実行するものと判断する。

このようにして色抽出モードを実行するか否かを決定する。そして、色抽出モードを実行すると決定した場合（Ｓ１１２でＹＥＳ）、制御部１０９は、色抽出選択信号を「１」に設定する（Ｓ１１４）。その後、Ｓ１１５の処理に移行する。一方、色抽出モードを実行しないと決定した場合（Ｓ１１２でＮＯ）、色抽出選択信号を「０」のままとし、Ｓ１１５の処理に移行する。

なお、Ｓ１０９でＮＯであり、Ｓ１１１でＹＥＳであり、かつ、色抽出モードが選択されていない場合、制御部１０９は、オブジェクト抽出モードが選択されたが抽出処理が不可能であると判断し、撮像画像全体を出力する非抽出モードを実行するものと決定する。このとき、制御部１０９は、エッジを用いたオブジェクト抽出モードが実行できない旨を表示部１０５に表示してもよい。

次に、Ｓ１１５において、制御部１０９は、撮像画像とともに、抽出すべき領域内の任意の一つのポイントの指定を促す通知を表示部１０５に表示する。そして、制御部１０９は、抽出すべき領域内の任意の一つのポイントの指定が入力されたか否かを判断する。

ただし、Ｓ１１４にて色抽出モードを実行するものと判断した場合、制御部１０９は、抽出すべき領域内の任意の一つのポイントの指定が入力されるまで待機するものとする。色抽出モードを実行するためには、抽出すべき領域内の任意の一つのポイントの指定が必要だからである。すなわち、Ｓ１１４にて色抽出モードを実行するものと判断した場合にはＳ１１５においてＹＥＳになるまで待機し、抽出すべき領域内の任意の一つのポイントの指定の入力以外の処理を受け付けない。その結果、Ｓ１１４にて色抽出モードを実行するものと判断した場合にはＳ１１５の処理の後は必ずＳ１１６に移行することとなる。一方、Ｓ１１２でＮＯであった場合には、制御部１０９は、抽出すべき領域内の任意の一つのポイントを指定するか否かの指示の入力を促す画面を表示部１０５に表示し、ポイントを指定する旨の指示が入力されたときに、ポイントの指定を促す通知を表示部１０５に表示するものとする。そのため、Ｓ１１２でＮＯであった場合には、Ｓ１１５において、ＹＥＳおよびＮＯのいずれの場合も有り得ることとなる。

抽出すべき領域内の任意の一つのポイントの指定が入力された場合（Ｓ１１５でＹＥＳ）、制御部１０９は、当該ポイントの座標（ｘ，ｙ）を示す座標情報を生成するように指定領域抽出部１１０を制御する（Ｓ１１６）。なお、Ｓ１１２でＮＯであり、かつ、Ｓ１１５でＹＥＳであった場合に、制御部１０９は、エッジ抽出モードを実行するものと決定する。その後、制御部１０９は、処理実行条件を満たす複数の撮像画像データにファイルネームを付ける（Ｓ１１７）。

一方、抽出すべき領域内の任意の一つのポイントの指定の入力がない場合（Ｓ１１５でＮＯ）、制御部１０９は、処理実行条件を満たす複数の撮像画像データにファイルネームを付ける（Ｓ１１７）。なお、Ｓ１１２でＮＯであり、かつ、Ｓ１１５でＮＯであった場合に、制御部１０９は、自動抽出モードを実行するものと決定する。

なお、Ｓ１１７の処理では、制御部１０９は、例えば、撮像日時に従った連続番号など各撮像画像データについて異なるファイルネームを自動的に付けても良いし、入力部１０６に入力されたファイルネームを付けてもよい。

その後、制御部１０９は、色抽出選択信号が「１」であるかどうかを判定する（Ｓ１１８）。制御部１０９が、色抽出選択信号が「１」であると判定した場合（Ｓ１１８でＹＥＳ）、制御部１０９は、撮像画像データを、出力処理情報、エッジ検知信号、色抽出選択信号、座標情報、ならびに、記憶部１０８に格納されている携帯端末装置１００の機種情報およびユーザ情報と一緒に通信部１０４に転送する。そして、通信部１０４は、これらの情報を画像出力装置２００に送信する（Ｓ１１９）。

一方、制御部１０９が、色抽出選択信号が「０」であると判定した場合（Ｓ１１８でＮＯ）、制御部１０９は、撮像画像データを、出力処理情報、エッジ情報、エッジ検知信号、色抽出選択信号、座標情報、ならびに、記憶部１０８に格納されている携帯端末装置１００の機種情報およびユーザ情報と一緒に通信部１０４に転送する。ただし、自動抽出モードを実行すると決定していた場合（Ｓ１１２でＮＯ、かつ、Ｓ１１５でＮＯの場合）には、座標情報が生成されていないため、座標情報以外の情報を通信部１０４に出力する。そして、通信部１０４は、これらの情報を画像出力装置２００に送信する（Ｓ１２０）。

なお、１回のシャッター押下による連続撮像により得られた複数の撮像画像データの組を撮像画像データセットとすると、記憶部１０８に格納され、画像出力装置２００に未送信の撮像画像データセットが複数存在する場合、撮像画像データセットごとに、Ｓ１０６〜Ｓ１２０の処理を繰り返し行う。

次に、画像出力装置２００の処理について図２を参照しながら説明する。まず、画像出力装置２００の第１通信部２０７は、携帯端末装置１００からの複数の撮像画像データ、機種情報、ユーザ情報および出力処理情報等を受信する（Ｓ２１１）。当該受信は、撮像画像データセットごとに行われる。そして、Ｓ２１２移行の処理は、撮像画像データセットごとに実行される。

撮像画像データセットおよびその関連情報を受信後、画像処理部２０２の画質調整部３０１は、例えば上述した（８−１）のとおり、カラーバランス・コントラストの補正を行う（Ｓ２１２）。また、画像処理部２０２の幾何学補正部３０２およびレンズ歪み補正部３０３は、例えば上記（８−２）に説明したとおり、幾何学的歪みの補正・レンズ歪みの補正を行う（Ｓ２１３）。ただし、４つのエッジ情報で示される位置の線分を辺とする四角形が検出できない場合、Ｓ２１３の処理を省略する。さらに、画像処理部２０２の超解像化処理部３０４は、例えば上記（７−３）に説明したとおり、複数の撮像画像データに基づいて高解像度補正を行う（Ｓ２１４）。

その後、制御部２１２は、携帯端末装置１００から受信したエッジ検知信号が「１」であるかどうかを判定する（Ｓ２１５）。制御部２１２は、エッジ検知信号が「１」であると判定した場合（Ｓ２１５でＹＥＳ）、オブジェクト抽出部３０５に対して処理実行を指示する。具体的には、座標情報を第１通信部２０７が受信していない場合、制御部２１２は、第１通信部２０７で受信された撮像画像データとエッジ情報とをオブジェクト抽出部３０５に出力して、上述した（８−４−１）の抽出処理を実行させることにより、抽出領域を示す出力対象画像データを生成させる（Ｓ２１６）。また、座標情報を第１通信部２０７が受信している場合、制御部２１２は、撮像画像データと座標情報とエッジ情報とをオブジェクト抽出部３０５に出力して、上述した（８−４−２）の抽出処理を実行させることにより、抽出領域を示す出力対象画像データを生成させる（Ｓ２１６）。なお、Ｓ２１３の処理により撮像画像データが写像変換されている場合、エッジ情報で示される位置および座標情報で示される座標についても同様に写像変換し、変換後の位置および座標を用いてＳ２１６の処理を実行すればよい。そして、制御部２１２は、オブジェクト抽出部３０５が生成した出力対象画像データにユーザ情報、出力処理情報等の情報を付けて記憶部２１０に格納する（Ｓ２１９）。

一方、制御部２１２は、携帯端末装置１００から受信したエッジ検知信号が「０」であると判定した場合（Ｓ２１５でＮＯ）、色抽出選択信号が「１」であるかどかを判定する（Ｓ２１７）。制御部２１２は、色抽出選択信号が「１」であると判定した場合（Ｓ２１７でＹＥＳ）、撮像画像データと座標情報とをオブジェクト抽出部３０５に出力して、上述した（８−４−３）の抽出処理を実行させることにより、抽出領域を示す出力対象画像データを生成させる（Ｓ２１８）。そして、制御部２１２は、オブジェクト抽出部３０５が生成した出力対象画像データにユーザ情報、出力処理情報等の情報を付けて記憶部２１０に格納する（Ｓ２１９）。

一方、制御部２１２は、色抽出選択信号が「０」であると判定した場合（Ｓ２１７でＮＯ）、撮像画像データをオブジェクト抽出部３０５に出力せずにＳ２１２〜Ｓ２１４の補正処理のみが行われた撮像画像データを出力対象画像データとして記憶部２１０に格納する（Ｓ２１９）。

次に、制御部２１２は、出力対象画像データの出力指示が入力部２０６に入力されたか否かを判定する（Ｓ２２０）。出力指示の入力がない場合（Ｓ２２０でＮＯ）、出力指示が入力されるまで待機する。

一方、出力指示がある場合（Ｓ２２０でＹＥＳ）、認証部２０３は、ユーザ情報（例えばユーザＩＤおよびパスワード）の入力を促す画面を表示部２０５に表示させ、ユーザ情報を入力部２０６から取得する。そして、認証部２０３は、ユーザ認証を行う（Ｓ２２１）。なお、認証部２０３は、画像出力装置２００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。

ユーザ認証を行う際、認証部２０３は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ２２２）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ２２２でＹＥＳ）、制御部２１２は、携帯端末装置１００から受信したい出力処理情報に従って出力処理を実行させる（Ｓ２２３）。例えば、出力処理情報が印刷処理を示している場合、制御部２１２は、画像形成部２０４に対して処理実行指示を出力する。その後、処理を終了する。

一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ２２２でＮＯ）、認証部２０３は、認証回数が所定回数以上であるか判定する（Ｓ２２４）。そして、認証回数が所定回数以上でない場合（Ｓ２２４でＮＯ）、Ｓ２２１，Ｓ２２２の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ２２４でＹＥＳ）、出力せずにフローを終了する。

以上のように、本実施形態によれば、画像出力装置２００は、携帯端末装置１００から、撮像部１０１の撮像により得られた撮像画像データを受信する第１通信部（受信部）を有する。さらに、画像出力装置２００の第１通信部（エッジ情報取得部）は、撮像画像データで示される撮像画像の中から検出された、線分状に連なるエッジ画素の群であるエッジ画素群の撮像画像上の位置を示すエッジ情報を取得する。そして、画像出力装置２００のオブジェクト抽出部（エッジ抽出処理部）３０５は、エッジ情報で示される４つの線分状のエッジ画素群を辺とし、かつ、全ての内角が１８０°未満の四角形で囲まれた領域である四角形領域、または、エッジ情報で示される少なくとも一つの線分状のエッジ画素群および上記撮像画像の端部（辺）上の少なくとも一つの線分を辺とし、かつ、全ての内角が１８０°未満の多角形で囲まれた領域である多角形領域を抽出領域として決定し、上記撮像画像データから抽出領域の画像データを出力対象画像データとして切り出す。そして、画像形成部（出力部）２０４または第２通信部（出力部）２０８は、出力対象画像データまたは当該出力対象画像データで示される画像を出力する。

制御部１０９は、入力されたエッジ情報からいくつのエッジが抽出されたかを示す旨のエッジ検知信号を設定して、通信部１０４に対してエッジが検出された撮像画像データ、エッジ情報、ならびにエッジ検知信号を画像出力装置２００へ送信する送信処理を実行させる。

一方、画像出力装置２００の制御部２１２は、通信部２０７で受信したエッジ検知信号に基づいて、エッジが検知されているかどうかを判定し、エッジが検出された撮像画像データとエッジ情報とを画像処理部２０２のオブジェクト抽出部３０５に出力する。オブジェクト抽出部３０５は、エッジが検出された撮像画像データとエッジ情報とに基づいて、撮像画像データから撮像対象物を選択領域として抽出する。

そして、オブジェクト抽出部３０５は、抽出した選択領域の撮像画像データを制御部２１２へ出力し、制御部２１２は抽出した選択領域の撮像画像データに出力処理情報等を付けて記憶部２１０に格納する。その後、ユーザによって出力指示がある場合、制御部２１２は画像形成部２０４に対して処理実行指示を出力する。

これにより、ユーザは、携帯端末装置１００で撮像した撮像画像から所望の撮像対象物を抽出して、抽出した画像を容易に画像出力装置２００から得ることができる。

（１０）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の一例について説明する。

（１０−１）抽出モードについて
上記の説明では、撮像画像処理システムは、オブジェクト抽出モードとして、自動抽出モード、エッジ抽出モード、色抽出モードの３つのモードを有するものとした。

しかしながら、本発明は、これら３つのモードを有しているものに限られない。例えば、自動抽出モード、エッジ抽出モード、色抽出モードの少なくとも一つのモードによる抽出処理のみが実行可能な撮像画像処理システムであってもよい。

（１０−１−１）自動抽出モードのみを有している形態
例えば、オブジェクト抽出モードとして自動抽出モードのみを有している撮像画像処理システムであってもよい。図２５は、オブジェクト抽出モードとして自動抽出モードのみを有している撮像画像処理システムにおける携帯端末装置１００の処理の流れを示すフローチャートである。なお、図２５において、Ｓ２２５〜Ｓ２３０の処理は、図１のＳ１０１〜Ｓ１０６の処理と同じであるので説明を省略する。図２５に示すように、入力部１０６に送信指示が入力されると、携帯端末装置１００において、制御部１０９は、ユーザによるオブジェクト抽出モードの選択有無の入力を受け付ける（Ｓ２３１）。図２５では、ユーザがオブジェクト抽出モードの選択指示を入力したものとした場合（Ｓ２３２）についての処理を示している。続いて、制御部１０９は、エッジ検知信号と色抽出選択信号とを「０」に設定することによりエッジ検知信号と色抽出選択信号を初期化する（Ｓ２３３）。

その後、制御部１０９は、送信指示が入力された撮像画像データに対して撮像画像判定部１０２がエッジ情報を一つ以上生成したか否かを判定する（Ｓ２３４）。エッジ情報が１つ以上生成された場合（Ｓ２３４でＹＥＳ）、制御部１０９は、自動抽出モードを実行すると決定し、エッジ検知信号を「１」に設定する（Ｓ２３５）。

一方、撮像対象物のエッジが検出されていないと判定した場合（Ｓ２３４でＮＯ）、制御部１０９は、オブジェクト抽出モードが選択されているが、抽出処理が不可能であると判断し、撮像画像全体を出力する非抽出モードを実行するものと決定する。そして、エッジ検知信号を変更せずに、Ｓ２３６の処理に移行する。

その後、図１のＳ１１７と同様に、撮像画像データにファイルネームを付けて（Ｓ２３６）、撮像画像データと関連情報とを画像出力装置２００に送信する（Ｓ２３７）。なお、送信する関連情報は、上記（６）に記載した情報のうち、色抽出選択信号を除く情報である。

なお、図２５では、Ｓ２３２のようにオブジェクト抽出モードが選択された場合を示しているが、Ｓ２３１においてオブジェクト抽出モードの選択指示を受け付けなかった場合には、Ｓ２３４およびＳ２３５の処理を省略すればよい。

図２７は、本撮像画像システムにおける画像出力装置２００の処理の流れを示すフローチャートである。図２７に示すように、画像出力装置２００においては、図２で示した処理のうちＳ２１７およびＳ２１８を省略した処理を実行する。すなわち、図２７のＳ２６０〜Ｓ２６５は図２のＳ２１１〜Ｓ２１６と同様の処理であり、図２のＳ２１９〜Ｓ２２４は図２７のＳ２６６〜Ｓ２７１と同様の処理である。

本システムでは、画像出力装置２００は、エッジ検知信号が「１」であるかどうかを判定するステップ（Ｓ２６４）を行い、抽出処理として、エッジ検知信号が「１」である場合に（Ｓ２６４でＹＥＳ）、エッジ情報に基づいて撮像画像から一部の領域を抽出する処理（Ｓ２６５）のみが行われる。ただし、本システムでは、自動抽出モードのみを実行するため、Ｓ２６５では、（８−４−１）に記載した処理のみを行う。また、Ｓ２６４でＮＯの場合、撮像画像データをオブジェクト抽出部３０５に出力せずにＳ２６０〜Ｓ２６３の補正処理のみが行われた撮像画像データを出力対象画像データとして記憶部２１０に格納すればよい（Ｓ２６６）。

（１０−１−２）自動抽出モードおよびエッジ抽出モードのみを有している形態
また、例えば、オブジェクト抽出モードとして自動抽出モードおよびエッジ抽出モードのみを有している撮像画像処理システムであってもよい。図２８は、オブジェクト抽出モードとして自動抽出モードおよびエッジ抽出モードのみを有している撮像画像処理システムにおける携帯端末装置１００の処理の流れを示すフローチャートである。図２８に示されるように、本システムの携帯端末装置１００は、図１に示す処理のうちのＳ１１２およびＳ１１４を省略した処理を実行する。すなわち、図２８のＳ２７２〜Ｓ２８２・Ｓ２８４は図１のＳ１０１〜Ｓ１１１・Ｓ１１３と同様の処理であり、図２８のＳ２８３・Ｓ２８５〜２８７は図１のＳ１１５〜Ｓ１２０と同様の処理である。

図２８に示すように、本システムでは、携帯端末装置１００において、制御部１０９が、撮像対象物のエッジが１組以上検出されたかどうかを判定して（Ｓ２８０）、エッジ検知信号を「１」に変更した後（Ｓ２８１）、オブジェクト抽出モードが選択されたかどうかを判定し（Ｓ２８２）、その後、ユーザが指定した指定座標を抽出する処理（Ｓ２８５）を行わせるようにして、撮像画像データやエッジ情報、指定座標等を画像出力装置２００に送信して（Ｓ２８７）、画像出力装置２００でエッジ情報と指定座標に基づいて撮像対象物を抽出する処理を行う。なお、送信する関連情報は、上記（６）に記載した情報のうち、色抽出選択信号を除く情報である。

また、本システムにおける画像出力装置２００の処理の流れは、図２の処理のうちＳ２１７およびＳ２１８の処理を省略した処理を実行すればよい。

（１０−１−３）色抽出モードのみを有している形態
また、例えば、色抽出モードのみを有している撮像画像処理システムであってもよい。この場合、携帯端末装置１００では、エッジ情報を生成することなく、座標情報を生成し、座標情報と撮像画像データとを画像出力装置２００に送信すればよい。そして、画像出力装置２００のオブジェクト抽出部３０５は、座標情報に基づいて、上記の（８−４−３）の処理を実行すればよい。

（１０−２）処理実行条件について
さらに、上記の説明では、携帯端末装置１００は、画像を撮影後、撮像画像データの送信指示の入力を受け付けた後に、オブジェクト抽出モードの選択有無の入力受付を行うものとした。しかしながら、オブジェクト抽出モードの選択有無の入力受付は、このタイミングに限られるものではない。

例えば、文書撮像モードの入力した直後に、オブジェクト抽出モードの選択有無の入力受付を行ってもよい。これにより、オブジェクト抽出モードに応じた抽出処理が実行できない撮像画像データである場合に、再度撮像させるようにユーザに通知することができる。

このような変形形態は、図１、図２５、図２８に示したいずれの形態に対しても適用することができる。ここでは、図２５に適用した例について説明する。

図２６は、文書撮像モードの入力した直後に、オブジェクト抽出モードの選択有無の入力受付を行う場合の携帯端末装置１００の処理の流れを示すフローチャートである。

図２６に示されるように、制御部１０９は、ユーザによって文書撮像モードが選択された場合（Ｓ２４１でＹＥＳ）、ユーザによるオブジェクト抽出モードの選択有無の入力を受け付ける（Ｓ２４２）。その後、撮像部１０１は、シャッター押下に応じて、複数回連続して撮像する（Ｓ２４３）。

次に、制御部１０９は、オブジェクト抽出モードが選択されたかどうかを判定する（Ｓ２４４）。ユーザによってオブジェクト抽出モードが選択された場合（Ｓ２４４でＹＥＳ）、制御部１０９は、エッジを用いたオブジェクト抽出に関する処理実行条件を、撮像画像判定部１０２が判定する処理実行条件として追加する（Ｓ２４５）。

ここで、エッジを用いたオブジェクト抽出に関する処理条件とは、例えば、下記の条件Ａや条件Ｂ、条件Ｃが考えられる。

条件Ａ：撮像画像中に、線分状に連なるエッジ画素の群が一つ以上存在する。

条件Ｂ：撮像画像中に、所定長さ以上の線分状に連なるエッジ画素の群が一つ以上存在する。

条件Ｃ：撮像画像中に線分状に連なるエッジ画素の群が一つ以上存在し、当該群で示される線分を辺とし、かつ、全ての内角が１８０°未満である四角形を一つ以上存在するか、もしくは、当該群で示される線分および撮像画像の辺上の線分を辺とし、かつ、全ての内角が１８０°未満である多角形が一つ以上存在する。

なお、条件Ａは、撮像画像判定部１０２が生成するエッジ情報の数で判定できる。また、条件Ｂは、撮像画像判定部１０２が生成するエッジ情報の数、および、当該エッジ情報で示される線分の長さを求めることで判定できる。また、条件Ｃは、画像出力装置２００のオブジェクト抽出部３０５と同様の処理を行うことにより判定できる。

そして、撮像画像判定部１０２は、撮像画像データが処理実行条件を満たすか否かを判定する（Ｓ２４６）。そして、処理実行条件を満たしていないを判定された場合（Ｓ２４６でＮＯ）、制御部１０９は、再度撮像を指示する旨の通知を表示部１０５に表示する（Ｓ２４７）。例えば、エッジを用いたオブジェクト抽出に関する処理実行条件を満たさないと判定された場合、制御部１０９は、撮像対象物の輪郭が撮像画面内で明確になるように再度撮像することを促すメッセージを表示部１０５に表示させる。

これにより、画像出力装置２００によりエッジを用いた抽出処理を実行する際のエラーの発生を抑えることができる。

なお、図２６において、Ｓ２４８〜Ｓ２５４の処理は、図２５のＳ２２９・２３０・Ｓ２３３〜Ｓ２３７の処理と同様である。

なお、本形態を図１に示す形態に適用する場合には、Ｓ２４２の処理において、オブジェクト抽出モードが選択されたときに色抽出モードの選択有無の入力も受け付ける。そして、色抽出モードが選択された場合にはＳ２４５の処理を省略してもよい。なぜなら、色抽出モードではエッジを使用しないからである。

（１０−３）色抽出モードの処理の変形例
上記の説明では、色抽出モードの抽出処理では、座標情報で示される一つのポイントを含み、かつ、当該ポイントの色に類似する色を有する領域の外接矩形領域を抽出領域と決定した。しかしながら、図２４に示されるように、異なる色の領域をまとめた領域を抽出されることをユーザが希望する場合がある。このような場合、上記の色抽出モードでは、抽出を希望する領域全体を１つの代表色で指定することはできないので、当該領域全体を抽出することができない。

そこで、複数のポイントをユーザが指定することが可能であり、各ポイントの代表色に類似する領域の外接矩形領域を抽出領域として決定してもよい。具体的には、各代表色を用いた色抽出処理は、上述した１つの代表色による色抽出処理と同じであり、各代表色で抽出した領域の外接矩形領域を抽出領域として抽出すればよい。

また、上記の説明では、撮像画像中の座標情報で示される位置から代表色を決定するものとした。しかしながら、代表色の決定方法は、これに限定されるものではない。例えば、ユーザが撮像画像とは異なる色マップ画像の中から指定した色（例えば、x-rite（マクベス）カラーチェッカー（http://www.nationalphoto.co.jp/2F/cms_chart.htm）を表示して選択を促し、ユーザにより選択された色）を代表色として決定してもよい。この場合、オブジェクト抽出部３０５は、代表色に類似する色を有する領域を含む領域（例えば、外接矩形領域）を抽出領域と決定すればよい。

（１０−４）座標情報について
上記の説明では、エッジ抽出モードのときに、携帯端末装置１００の指定領域抽出部１１０は、一つのポイントの指定を受け付け、受け付けたポイントの位置を示す座標情報を生成するものとした。

しかしながら、複数のポイントを受け付けてもよい。そして、指定領域抽出部は、各ポイントに対応する座標情報を生成する。また、オブジェクト抽出部は、上記（８−４−２）に記載した処理において、いずれかの座標情報で示される座標が含まれる全ての抽出領域候補を抽出領域とする。そして、オブジェクト抽出部３０５は、複数の抽出領域を抽出した場合、抽出領域以外の領域を空白領域とした出力対象画像データを生成する。もしくは、オブジェクト抽出部３０５は、複数の抽出領域を抽出した場合、各抽出領域ごとに、当該抽出領域だけを示す出力対象画像データを生成してもよい。この場合には、複数の出力対象画像データを出力することとなる。

（１０−５）エッジ情報、座標情報の生成について
上記の説明では、携帯端末装置１００にてエッジ情報を生成するものとした。しかしながら、画像出力装置２００が、撮像画像データから線分状に連なるエッジ画素の群を検出し、当該エッジ画素の群の位置を示すエッジ情報を生成するエッジ情報生成部を備え、オブジェクト抽出部３０５が、このエッジ情報を用いて自動抽出モードによる抽出処理を実行してもよい。この場合、携帯端末装置１００は、撮像画像データのみを画像出力装置２００に送信するだけでよくなる。

また、上記の説明では、携帯端末装置１００が座標情報を生成するものとした。しかしながら、画像出力装置２００の表示部２０５に撮像画像を表示させ、ユーザによって指定された位置に基づいて座標情報を生成する指定情報生成部を画像出力装置２００が備えていても良い。そして、オブジェクト抽出部３０５が、この座標情報を用いてエッジ抽出モードまたは色抽出モードによる抽出処理を実行してもよい。

（１０−６）画像出力装置の処理項目について
上記の説明では、画像出力装置２００の画像処理部２０２は、携帯端末装置１００から受信した複数の撮像画像データに対して、カラーバランス・コントラスト・明るさの補正、幾何学的歪みの補正、レンズ歪みの補正、高解像度補正を行うものとした。しかしながら、画像処理部２０２における処理内容はこれに限定されるものではない。例えば、画像処理部２０２は、上記の補正に加えて、傾き補正を行ってもよい。

すなわち、画像処理部２０２は、（３−１）で記載された方法により撮像対象物の傾きを検知し、当該傾きが０度になるように撮像画像データの回転処理を施せばよい。もしくは、携帯端末装置１００は、撮像画像データとともに、（３−１）で検出された傾き角度を画像出力装置２００に送信してもよい。そして、画像処理部２０２は、携帯端末装置１００から受けた傾き角度に基づいて、撮像対象物の傾きが０度になるように撮像画像データの回転処理を施せばよい。

（１０−７）撮像部について
上記の説明では、撮像部１０１が連続して複数回撮像するときの手ぶれによって、複数の撮像画像にズレが生じることを利用する形態とした。しかしながら、これに限らず、撮像部１０１は、連続して複数回撮像するときに、撮像素子（ＣＣＤ・ＣＭＯＳ）またはレンズを微小にずらしてもよい。これにより、複数の撮像画像間においてズレが確実に生じることになる。

（１０−８）高解像度補正の別の例
上記の説明では、複数の撮像画像データから高解像度の再構成画像データを生成するものとした。しかしながら、複数の画像データではなく、１つの画像データに基づいて高解像度補正を行ってもよい。もしくは、複数の画像データで高解像度化する連写モードと、１つの画像データで高解像度化する通常モードとを有し、ユーザが適宜選択してもよい。

１つの画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。

一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、高解像度補正を実行することができる。以下、具体的に説明する。

図１９は、本実施形態における高解像度補正の処理の流れを示すフローチャートである。

ここでは、横方向・縦方向の各々について２倍の解像度変換を行う例について説明する。２倍の解像度変換を行う場合、補正対象となる撮像画像データの画素数をｎ×ｍとするとき、補正後の高解像度画像データの画素数は２ｎ×２ｍとなる。このような高解像度補正（２倍の解像度変換）は、撮像画像データにおける各画素を基準画素とし、当該基準画素間の中央に新たな画素を補間画素として生成し、当該基準画素と補間画素との両方を備える画像データを高解像度画像データとして生成することにより実行される。図２０は、基準画素と補間画素との関係を示すものであり、画素ａが基準画素を示し、画素ｂが補間画素を示している。

まず、超解像化処理部３０４は、第１通信部２０７が受信した撮像画像データについて、エッジ抽出を行う。例えば、超解像化処理部３０４は、図１０に示されるような１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行い、２値化画像データを生成する（Ｓ１）。なお、２値化画像データにおいて画素値が１であればエッジである可能性が高い画素であることを示している。

次に、超解像化処理部３０４は、Ｓ１で生成した２値化画像データに基づいて、撮像画像データにおける着目画素がエッジであるか否かを判定する（Ｓ２）。具体的には、超解像化処理部３０４は、２値化画像データにおける着目画素に対応する画素の値が１であれば、当該着目画素がエッジであると判定する。

なお、着目画素とは、撮像画像データにおける各画素を任意の順に着目していったときに、着目している画素のことをいう。

着目画素がエッジである場合（Ｓ２でＹｅｓ）、超解像化処理部３０４は、着目画素を含むＮ×Ｎ（Ｎ＞１）の部分画像を用いてエッジ方向を検出する（Ｓ３）。具体的には、Ｎ×Ｎの部分画像に含まれる全ての基準画素について、エッジ画素であるか否かを判定する。

そして、着目画素の左上の基準画素と右下の基準画素とがエッジ画素である場合、超解像化処理部３０４は、部分画像におけるエッジ方向が左上−右下方向であると判定する。同様に、着目画素の左の基準画素と右の基準画素とがエッジ画素である場合、エッジ方向が左−右方向であると判定し、着目画素の上の基準画素と下の基準画素とがエッジ画素である場合、エッジ方向が上−下方向であると判定し、着目画素の右上の基準画素と左下の基準画素とがエッジ画像である場合、エッジ方向が右上−左下方向であると判定する。

図２０において、点線は検出したエッジ方向を示している。なお、図２０において、画素(1)〜(9)が基準画素であり、このうちの画素(5)が着目画素である。そして、画素Ａ、Ｂ、Ｃは、それぞれ、基準画素(1)と(5)との間の補間画素、基準画素(2)と(5)との間の補間画素、基準画素(4)と(5)との間の補間画素である。

次に、超解像化処理部３０４は、Ｓ３で検出したエッジ方向に応じて、着目画素の左上の補間画素Ａ、着目画素の上の補間画素Ｂ、着目画素の左の補間画素Ｃの画素値を補間により求める。このとき、エッジ方向に沿った基準画素を用いて補間画素の画素値を求める。

エッジ方向が左上−右下方向である場合、図２０（ａ）に示されるように、基準画素(1)、(5)、(9)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣施するエッジ線上の基準画素(1)（画素値Ｖ(1)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２０（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(6)とを結ぶエッジを内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(6)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(8)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(4)＋４×Ｖ(8)）／１３
により求める。

また、エッジ方向が左−右方向である場合、図２０（ｂ）に示されるように、基準画素(4)、(5)、(6)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｃの画素値ＶＣについて、補間画素Ｃに隣施するエッジ線上の基準画素(4)（画素値Ｖ(4)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＣ＝（Ｖ(4)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ａ、Ｂについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２０（ｂ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(2)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)）／２
を用いて求める。

補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と一致する。そのため、補間画素Ｂの画素値ＶＢは、基準画素(2)の画素値Ｖ(2)と同じ値にする。

また、エッジ方向が右上−左下方向である場合、図２０（ｃ）に示されるように、基準画素(3)、(5)、(7)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、補間画素Ａ，Ｂ，Ｃは全てエッジ線上に存在しない。

補間画素Ａについては、最近接基準画素が基準画素(1)、(2)、(4)となる。ここで、基準画素(2)、(4)は、エッジ方向に平行な同一の線上に位置するが、基準画素(1)は当該線上に位置しない。そこで、補間画素Ａの画素値ＶＡについて、最近接基準画素である基準画素(1)、(2)、(4)の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)＋Ｖ(4)）／３
により求める。

一方、補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２０（ｃ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(4)とを結ぶエッジを内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(4)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(2)との画素値を用いて、以下の式
ＶＣ＝（４×Ｖ(2)＋９×Ｖ(4)）／１３
により求める。

また、エッジ方向が上−下方向である場合、図２０（ｄ）に示されるように、基準画素(2)、(5)、(8)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｂの画素値ＶＢについて、補間画素Ｂに隣施するエッジ線上の基準画素(2)および基準画素(5)の画素値を用いて、以下の式
ＶＣ＝（Ｖ(2)＋Ｖ(5)）／２
により求める。

一方、エッジ線上ではない補間画素Ａ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図２０（ｄ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(4)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(4)）／２
を用いて求める。

補間画素Ｃについては、最近接基準画素である基準画素(4)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｃから当該線に垂直に下した点は、基準画素(4)と一致する。そのため、補間画素Ｃの画素値ＶＣは、基準画素(4)の画素値Ｖ(4)と同じ値にする。

なお、記憶部２１０は、エッジ方向と、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。そして、超解像化処理部３０４は、Ｓ３で検出されたエッジ方向に対応する演算式を記憶部２１０から読み出し、読み出した演算式に基づいて、補間画素Ａ，Ｂ，Ｃの画素値を求めればよい。

なお、図２０では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合や、エッジが基準画素(1)−(5)−(7)のように曲がる場合などである。

このような場合についても、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合、補間画素Ａについては図２０（ｃ）と同様に、補間画素Ｂについては図２０（ｂ）と同様に、補間画素Ｃについては図２０（ｄ）と同様の演算式を記憶している。また、エッジが基準画素(1)−(5)−(7)のように曲がる場合、補間画素Ａについては図２０（ａ）と同様に、補間画素Ｂについては図２０（ａ）と同様に、補間画素Ｃについては図２０（ｄ）と同様の演算式を記憶している。他のエッジ方向のパターンについても同様に記憶している。

このようにして、超解像化処理部３０４は、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。

一方、着目画素がエッジでない場合（Ｓ２でＹｅｓ）、超解像化処理部３０４は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める（Ｓ４）。

超解像化処理部３０４は、上記のＳ２〜Ｓ４の処理を、撮像画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する（Ｓ５）。

その後、超解像化処理部３０４は、生成した補間画像データに対して高画質化処理を行う。例えば、超解像化処理部３０４は、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、高解像度画像データを生成する。従来からあるアンシャープマスクや図１０の中央の係数を５としたものが鮮鋭化フィルタとなる。またノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などを用いてもよい。

なお、超解像化処理部３０４は、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008） に記載されているような種々の方法を用いて、１つの撮像画像データから高解像度画像データを生成してもよい。

（１０−９）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像出力装置２００に送信するものとした。しかしながら、これに限らず、画像出力装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。

（１０−１０）出力処理について
画像出力装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって処理された撮像画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。

また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって処理された撮像画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、撮像画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。

（１０−１１）画像出力装置が備える画像処理部について
上記の説明では、画像出力装置２００が備える画像処理部２０２が高解像度補正などを行うものとして説明した。しかしながら、画像出力装置２００は、撮像画像データに対する高解像度補正やその他の画像処理（幾何学的歪みの補正、レンズ歪みの補正、コントラスト補正、カラーバランス補正など）を、上記画像処理部２０２を備えたサーバに実行させてもよい。なお、この場合、当該サーバが、携帯端末装置１００から受信した撮像画像データに対して高解像度補正を行い、補正後の撮像画像データを出力する画像出力装置であるといえる。

（１１）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像出力装置２００に送信し画像出力装置２００より出力する方法を記録するものとすることもできる。

この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。

いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。

また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

上記記録媒体は、携帯端末装置１００や画像出力装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明は、携帯端末装置と画像出力装置との間でデータ通信を行う撮像画像処理システムに適用することができる。

１００ 携帯端末装置
２００ 画像出力装置
１０１ 撮像部
１０２ 撮像画像判定部（エッジ検出部、エッジ情報生成部）
１０３ 画像処理部
１０４ 通信部（送信部）
１０５ 表示部（通知部、指定位置情報生成部）
１０６ 入力部
１０９ 制御部（送信部、通知部）
１１０ 指定領域抽出部（位置情報生成部）
２０２ 画像処理部
２０４ 画像形成部（出力部）
２０５ 表示部
２０６ 入力部
２０７ 第１通信部（受信部、エッジ情報取得部、指定情報取得部）
２０８ 第２通信部（出力部）
２１２ 制御部（出力部、切り換え部）
３０５ オブジェクト抽出部（エッジ抽出処理部、濃度値抽出処理部）

Claims (15)

1. 撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた撮像画像データを受信する受信部と、
   上記撮像画像データで示される撮像画像の中から検出された、線分状に連なるエッジ画素の群であるエッジ画素群の撮像画像上の位置を示すエッジ情報を取得するエッジ情報取得部と、
   上記エッジ情報で示される４つの線分状のエッジ画素群を辺とし、かつ、全ての内角が１８０°未満の四角形で囲まれた領域である四角形領域、または、上記エッジ情報で示される少なくとも一つの線分状のエッジ画素群および上記撮像画像の端部上の少なくとも一つの線分を辺とし、かつ、全ての内角が１８０°未満の多角形で囲まれた領域である多角形領域を抽出領域として決定し、上記撮像画像データから抽出領域の画像データを出力対象画像データとして切り出すエッジ抽出処理部と、
   上記出力対象画像データまたは当該出力対象画像データで示される画像を出力する出力部とを備えることを特徴とする画像出力装置。
2. 上記撮像画像上のユーザが指定した位置を示す指定位置情報を取得する指定情報取得部を備え、
   上記エッジ抽出処理部は、上記指定位置情報で示される位置を含む上記四角形領域または多角形領域を抽出領域として決定することを特徴とする請求項１に記載の画像出力装置。
3. ユーザにより指定された濃度値である指定濃度値を取得する指定情報取得部と、
   上記撮像画像データの中から、上記指定濃度値を含む所定範囲内の濃度値を有する画素を特定し、特定した画素が連結される連結成分を含む領域を抽出領域として決定し、上記撮像画像データから抽出領域の画像データを出力対象画像データとして切り出す濃度値抽出処理部と、
   上記エッジ抽出処理部を動作させ、上記濃度値抽出処理部を動作させないエッジ抽出モードと、上記エッジ抽出処理部を動作させず、上記濃度値抽出処理部を動作させる濃度値抽出モードと、を切り換える切り換え部とを備え、
   上記出力部は、上記切り換え部がエッジ抽出モードに切り換えた場合、上記エッジ抽出処理部により生成された出力対象画像データまたは当該出力対象画像データで示される画像を出力し、上記切り換え部が濃度値抽出モードに切り換えた場合、上記出力部は、上記濃度値抽出処理部により生成された出力対象画像データまたは当該出力対象画像データで示される画像を出力することを特徴とする請求項１に記載の画像出力装置。
4. 上記指定情報取得部は、上記撮像画像上のユーザが指定した位置を示す指定位置情報を取得し、当該指定位置情報で示される位置の濃度値から上記指定濃度値を求め、
   上記濃度値抽出処理部は、上記指定位置情報で示される位置を含む上記連結成分を含む領域を抽出領域として決定することを特徴とする請求項３に記載の画像出力装置。
5. 上記指定情報取得部は、上記指定位置情報で示される位置に複数の画素が含まれる場合、当該複数の画素の濃度値の平均値、または、当該複数の画素の濃度値のうちの最も頻度の高い濃度値、または、当該複数の画素の濃度値のうちの頻度が所定閾値以上の濃度値を上記指定濃度値とすることを特徴とする請求項４に記載の画像出力装置。
6. 上記エッジ情報取得部は、所定長さ以上の線分状に連なるエッジ画素群のみに対応するエッジ情報を取得することを特徴とする請求項１から５の何れか１項に記載の画像出力装置。
7. 撮像部と、上記撮像部の撮像により得られた撮像画像データを請求項１〜６の何れか１項に記載の画像出力装置に送信する送信部とを備えた携帯端末装置であって、
   上記撮像画像データで示される撮像画像の中から、線分状に連なるエッジ画素の群であるエッジ画素群を検出するエッジ検出部と、
   上記エッジ検出部によって検出されたエッジ画素群の位置に基づいて上記エッジ情報を生成するエッジ情報生成部とを備え、
   上記送信部は、上記エッジ情報生成部で生成されたエッジ情報を上記画像出力装置に送信することを特徴とする携帯端末装置。
8. 上記エッジ検出部がエッジ画素群を一つも検出できない場合に、ユーザに対して再撮像を促す通知を行う通知部を備えることを特徴とする請求項７に記載の携帯端末装置。
9. 撮像部と、上記撮像部の撮像により得られた撮像画像データを請求項２または４に記載の画像出力装置に送信する送信部とを備えた携帯端末装置であって、
   上記撮像画像データで示される撮像画像の中から出力を希望する領域内の位置の指定入力をユーザに促し、入力された位置を示す情報を上記指定位置情報として生成する指定位置情報生成部を備え、
   上記送信部は、上記指定位置情報生成部により生成された上記指定位置情報を上記画像出力装置に送信することを特徴とする携帯端末装置。
10. 請求項１〜６の何れか１項に記載の画像出力装置と、
    撮像部、および、上記撮像部の撮像により得られた撮像画像データを上記画像出力装置に送信する送信部を備えた携帯端末装置と、を含む撮像画像処理システムであって、
    上記携帯端末装置は、上記撮像画像データで示される撮像画像の中から、線分状に連なるエッジ画素の群であるエッジ画素群を検出するエッジ検出部と、上記エッジ検出部によって検出されたエッジ画素群の位置に基づいて上記エッジ情報を生成するエッジ情報生成部とを備え、
    上記エッジ情報取得部は、上記携帯端末装置から上記エッジ情報を取得することを特徴とする撮像画像処理システム。
11. 上記携帯端末装置は、上記エッジ検出部がエッジ画素群を一つも検出できない場合に、ユーザに対して再撮像を促す通知を行う通知部を備えることを特徴とする請求項１０に記載の撮像画像処理システム。
12. 請求項２または４に記載の画像出力装置と、
    撮像部、および、上記撮像部の撮像により得られた撮像画像データを上記画像出力装置に送信する送信部を備えた携帯端末装置と、を含む撮像画像処理システムであって、
    上記携帯端末装置は、上記撮像画像データで示される撮像画像の中から出力を希望する領域内の位置の指定入力をユーザに促し、入力された位置を示す情報を上記指定位置情報として生成する指定位置情報生成部を備え、
    上記指定情報取得部は、上記携帯端末装置から上記指定位置情報を取得することを特徴とする撮像画像処理システム。
13. 撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた撮像画像データを受信する受信ステップと、
    上記撮像画像データで示される撮像画像の中から検出された、線分状に連なるエッジ画素の群であるエッジ画素群の撮像画像上の位置を示すエッジ情報を取得するエッジ情報取得ステップと、
    上記エッジ情報で示される４つの線分状のエッジ画素群を辺とし、かつ、全ての内角が１８０°未満の四角形で囲まれた領域である四角形領域、または、上記エッジ情報で示される少なくとも一つの線分状のエッジ画素群および上記撮像画像の端部上の少なくとも一つの線分を辺とし、かつ、全ての内角が１８０°未満の多角形で囲まれた領域である多角形領域を抽出領域として決定し、上記撮像画像データから抽出領域の画像データを出力対象画像データとして切り出すエッジ抽出処理ステップと、
    上記出力対象画像データまたは当該出力対象画像データで示される画像を出力する出力ステップとを含むことを特徴とする画像出力方法。
14. 請求項１から６のいずれか１項に記載の画像出力装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
15. 請求項１４に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。