JP4772889B2 - 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体 - Google Patents

携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP4772889B2
JP4772889B2 JP2009091531A JP2009091531A JP4772889B2 JP 4772889 B2 JP4772889 B2 JP 4772889B2 JP 2009091531 A JP2009091531 A JP 2009091531A JP 2009091531 A JP2009091531 A JP 2009091531A JP 4772889 B2 JP4772889 B2 JP 4772889B2
Authority
JP
Japan
Prior art keywords
unit
image data
captured image
imaging
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009091531A
Other languages
English (en)
Other versions
JP2010245788A (ja
Inventor
真 早崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2009091531A priority Critical patent/JP4772889B2/ja
Priority to US12/752,731 priority patent/US8441537B2/en
Priority to CN201010151303.5A priority patent/CN101860652A/zh
Publication of JP2010245788A publication Critical patent/JP2010245788A/ja
Application granted granted Critical
Publication of JP4772889B2 publication Critical patent/JP4772889B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/393—Enlarging or reducing
    • H04N1/3935—Enlarging or reducing with modification of image resolution, i.e. determining the values of picture elements at new relative positions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、携帯端末装置にて撮像した画像を画像出力装置により出力する撮像画像処理システムに関する。
インターネット技術とともに、携帯電話や有線、無線通信技術が発達し広く普及されている。この技術を用いて、外出先から携帯電話などの携帯端末装置から、インターネット上に接続された画像出力装置に画像を送り、印刷を行わせることがなされている。
例えば、特許文献１では、デジタルカメラや、カメラ付きＰＤＡ・携帯パソコン等のモバイル情報機器で収集したデジタル画像データを、ネットワークを介してサーバに送信する。サーバでは、受信したデジタル画像データに対して、明るさや色、サイズの調整などの画像処理を行い、複数保存されているドキュメント合成用のテンプレートの画像エリアにはめ込んでドキュメントの作成を行う。
また、特許文献２では、カメラ付き携帯電話において、印刷を所望する画像を選択し、各種の印刷条件を設定し、プリント動作の開始を指示するとともに、デバイスネームなどの識別情報をプリンタ側に送り、プリンタに識別情報の登録を行う。プリンタは、この情報を取得した後、プリンタのデバイスネームなどの識別情報を携帯電話側に送り、携帯電話はこの識別情報の登録を行う。
次に、携帯電話側からデータ通信に使用可能な通信速度のパラメータを転送すると、プリンタ側は、このパラメータを取得し、プリンタの使用可能な通信速度と比較し、最も転送効率の良いと判断した通信速度のパラメータを携帯電話側に転送する。そして、携帯電話はプリンタから受け取った値に通信速度を変更し、プリンタも送信した値の通信速度に変更を行う。その後、携帯電話は画像データをプリンタに転送し、プリンタ側は画像データを受け取って印刷データを生成し且つ印刷処理を行う。
特開２００２−４１５０２号公報（２００２年２月８日公開） 特開２００７−２７８３９号公報（２００７年２月１日公開）
しかしながら、携帯電話やデジタルカメラに用いられているＲＧＢフィルタ、または、補色（ＣＭＹ）フィルタは、各色に対するフィルタが２次元平面に配列されているため、スキャナ等で読み取られた画像データを比較すると、解像力が１／３〜２／３程度低下した画像となっており、特に、文字の判読性が悪いという問題がある。
具体的には、スキャナ等では、ＲＧＢラインセンサを用いているので、画素毎にそれぞれのカラーデータを読み取ることが可能であるが、携帯電話やデジタルカメラにおけるフィルタは、画素に対して、例えば、ＲＧＢＲＧＢ…、あるいは、ライン毎にＲＧＲＧＲＧ…／ＧＢＧＢＧＢ…と配列されており、各画素でフィルタが設けられていない色成分が存在するため、解像力が低い。
本発明は、上記課題を解決するためになされたものであり、携帯端末装置にて撮像した画像を、文字の判読性などの解像度を向上させた状態で画像出力装置から容易に取得することが可能な、画像出力装置、携帯端末装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体を提供することを目的とする。
上記目的を解決するために、本発明の画像出力装置は、撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた１つの撮像画像データを通信ネットワークを介して受信する受信部と、上記受信部が受信した撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理部と、上記補正処理部により生成された高解像度画像データ、あるいは、当該高解像度画像データで示される画像を出力する出力処理を実行する出力部とを備えることを特徴とする。
また、本発明の画像出力方法は、撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた１つの撮像画像データを通信ネットワークを介して受信する受信ステップと、受信した撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理ステップと、生成された高解像度画像データ、あるいは、当該高解像度画像データで示される画像を出力する出力処理を実行する出力ステップとを含むことを特徴とする。
上記の構成によれば、画像出力装置は、携帯端末装置から通信ネットワークを介して、当該携帯端末装置で撮像された撮像画像データを受信する。そのため、ユーザは、画像出力装置とは離れた場所に存在する撮像対象物を携帯端末装置で撮像できるとともに、当該撮像により得られる撮像画像データを画像出力装置まで出向くことなく当該画像出力装置に送ることができる。
そして、画像出力装置は、携帯端末装置から受信した１つの撮像画像データに基づいて、高解像度画像データを生成し、当該高解像度画像データ、あるいは、当該高解像度画像データで示される画像を出力する。その結果、ユーザは、携帯端末装置で撮像した画像よりも高解像度の画像データ、または、当該高解像度の画像を画像出力装置から容易に取得することができる。これにより、例えば、文書画像を含む撮像対象物を携帯端末装置で撮像しても、画像出力装置から当該文書画像の文字の判読性を向上させた画像を得ることができる。
さらに、本発明の画像出力装置において、上記撮像部によって撮像される撮像対象物は、文書画像が形成された矩形状の面を有しており、上記補正処理部は、上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる撮像画像データにおける上記矩形状の面の歪みを補正するとともに、上記高解像度補正を行うことが好ましい。
上記の構成によれば、ユーザは、撮像対象物に対して斜め方向から撮像した場合であっても、歪みのない画像を画像出力装置から容易に得ることができる。
さらに、本発明の画像出力装置において、上記撮像部によって撮像される撮像対象物は、文書画像が形成された矩形状の面を有しており、上記補正処理部は、上記撮像部による撮像画像データにおける上記矩形状の面のエッジが曲線状となるレンズ歪みを補正するとともに、上記高解像度補正を行うことが好ましい。
上記の構成によれば、ユーザは、レンズ歪みのない画像を画像出力装置から容易に得ることができる。
さらに、本発明の画像出力装置において、上記出力部は、上記高解像度画像データに対応する画像を記録用紙に形成する印刷処理を上記出力処理として実行するが好ましい。
上記の構成によれば、ユーザは、撮像画像よりも高解像度の画像の印刷物を画像出力装置から得ることができる。
さらに、本発明の画像出力装置において、上記出力部は、上記高解像度画像データを外部記憶装置に格納する格納処理を上記出力処理として実行することが好ましい。もしくは、上記出力部は、上記高解像度画像データを電子メールに添付して送信するメール送信処理を上記出力処理として実行することが好ましい。
上記の構成によれば、ユーザは、撮像画像よりも高解像度の画像データを画像出力装置から取得することができる。
さらに、本発明の画像出力装置において、上記撮像部によって撮像される撮像対象物は、文書画像を有しており、上記出力部は、上記高解像度画像データにおいて上記文書画像に対応する領域とそれ以外の領域とに分離し、各領域に対して異なる圧縮率で圧縮させた状態で上記高解像度画像データを出力するが好ましい。
上記の構成によれば、高解像度画像データのデータ容量を小さくすることができる。その結果、出力する際の通信に対する負荷を低減することができる。
さらに、本発明の画像出力装置において、上記撮像部によって撮像される撮像対象物は、文書画像を有しており、上記出力部は、上記高解像度画像データにおける上記文書画像に対応する領域の中から文字を抽出し、抽出した文字をテキストデータに変換し、当該テキストデータを上記高解像度画像データに付加して出力することが好ましい。
上記の構成によれば、ユーザは、テキストデータを用いることで、テキスト検索を容易に実行することができる。
また、本発明の携帯端末装置は、上記の画像出力装置と通信ネットワークを介して通信可能な携帯端末装置であって、文書画像が形成された矩形状の面を有する撮像対象物を撮像する撮像部と、上記撮像部の撮像により得られた１つの撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、上記撮像画像判定部により上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信部とを備え、上記所定条件は、少なくとも以下の条件Ａ
条件Ａ：上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる、撮像画像データにおける上記矩形状の面の歪みの度合いを示す特徴量が所定範囲内である
を含むことを特徴とする。
ここで、矩形状の撮像対象物とは、例えば、文書画像が形成された原稿用紙やポスター、プロジェクター等により表示された画面、ディスプレイ上の画面などである。
上記の構成によれば、当該歪みの度合いを示す特徴量が所定範囲内にある場合にのみ、携帯端末装置が撮像画像データを送信する。そのため、画像出力装置に送信される撮像画像データは、上記歪みの度合いが所定範囲内であるため、歪みが相対的に小さいものとなる。その結果、撮像画像データにおける上記矩形状の面の歪みの相対的に小さい撮像画像データのみを画像出力装置に送信することができる。
また、矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる、撮像画像データにおける上記矩形状の面の歪みを補正する方法として様々な方法が知られている。しかしながら、当該歪みが大きい場合、このような補正を行ったとしても、確実に歪みのない画像を得ることが困難である。しかしながら、上記の構成によれば、当該歪みの度合いを示す特徴量が所定範囲内にある場合にのみ、携帯端末装置が撮像画像データを送信する。そのため、画像出力装置に送信される撮像画像データは、上記歪みの度合いが所定範囲内であるため、歪みが相対的に小さいものとなる。その結果、画像出力装置で当該歪みの補正を行う場合、画像出力装置において当該歪みを確実に補正することができる。
また、本発明の携帯端末装置は、上記の画像出力装置と通信ネットワークを介して通信可能な携帯端末装置であって、文書画像が形成された矩形状の面を有する撮像対象物を撮像する撮像部と、上記撮像部の撮像により得られた１つの撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、上記撮像画像判定部により上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信部とを備え、上記所定条件は、少なくとも以下の条件Ｂ
条件Ｂ：撮像画像データにおける上記矩形状の面の傾き角度が所定範囲内である
を含むことを特徴とする。
撮像画像において矩形状の対象物が傾いている場合、画像出力装置から高解像度の画像を得たとしても、当該画像において文書までも傾いてしまう。しかしながら、上記の構成によれば、傾き角度が所定範囲内の場合にのみ、携帯端末装置が撮像画像データを送信する。ここで所定範囲とは、０°を含む範囲であり、例えば０±１５°の範囲内である。このように設定することで、大きく傾いた画像を画像出力装置に送信することを防止することができる。
さらに、本発明の携帯端末装置は、上記撮像画像判定部により上記所定条件を満たさないと判定された場合、ユーザに対して再撮像を促す通知を行う通知部を備えることが好ましい。
上記の構成によれば、ユーザは、高解像度の画像を画像出力装置から得るためには、再撮像が必要であることを容易に把握することができる。その結果、即座に再撮像するという対応を行うことができる。
また、本発明の撮像画像処理システムは、上記の携帯端末装置と、当該携帯端末装置から撮像画像データを受信する上記の画像出力装置とを備えることを特徴とする。
上記の構成によれば、ユーザは、携帯端末装置で撮像した撮像画像について、当該撮像画像の解像度よりも高解像度の画像を容易に画像出力装置から得ることができる。
なお、上記携帯端末装置および画像出力装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより携帯端末装置および画像出力装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明によれば、携帯端末装置にて撮像した画像を、文字の判読性などの解像度を向上させた状態で画像出力装置から容易に取得することができる。
図１は、本発明の撮像画像処理システムの撮像画像処理方法を示すフローチャートであって、（ａ）は携帯端末装置のフローを示し、（ｂ）は画像出力装置のフローを示している。 図２は、本発明の撮像画像処理システムの構成を示す図である。 図３は、本発明の携帯端末装置の構成を示すブロック図である。 図４は、本発明の撮像画像処理方法における画像の傾き検出例を示している。 図５は、図４の傾き検出例における傾き角度θとその正接値を示している。 図６は、画像の幾何学的歪みの検出例を示している。 図７は、画像の対象物のエッジ検出処理例を示している。 図８は、画像のラスター方向のエッジ検出例を示している。 図９は、本発明の画像出力装置の構成を示すブロック図である。 図１０は、画像のレンズ歪みの補正例を示している。 図１１は、画像の幾何学的歪みの補正例を示している。 図１２は、高解像度補正の処理の流れを示すフローチャートである。 図１３は、高解像度画像データにおける基準画素と補間画素とを示している。 補間画素の画素値の算出方法を示す図であり、（ａ）はエッジ方向が左上−右下方向である場合、（ｂ）はエッジ方向が左−右方向である場合、（ｃ）はエッジ方向が右上−左下方向である場合、（ｄ）はエッジ方向が上−下方向である場合を示している。 図１５は、１次微分フィルタの例を示している。 図１６は、画像のカラーバランス検出時のルックアップテーブルの一例を示している。
以下、本発明の実施の形態について、詳細に説明する。
（１）撮像画像処理システムの全体構成
図２は、本発明に係る撮像画像処理システムの全体構成を示す図である。図２に示されるように、撮像画像処理システムは、カメラ付き携帯電話、デジタルスチルカメラなど、撮像手段を備えた携帯端末装置１００、および、複合機、プリンタ（画像形成装置）などの画像出力装置２００を備える。
携帯端末装置１００は、ユーザによって携帯されるものである。ユーザは、様々な場面で携帯端末装置１００により対象物を撮像することができる。ただし、携帯端末装置１００で撮像された画像は上述したように解像度が低く、当該解像度で画像出力装置２００により画像出力（例えば印刷）を行ったとしても細部まで認識できない場合がある。例えば、文書画像（文字など）が印刷された用紙やポスター、文書画像などが表示されている表示画面を撮像する場合において、文字が判別できないことが考えられる。本実施形態は、このような場合であっても、携帯端末装置１００で撮像された画像の解像度よりも高い解像度を有する画像を得ることができるものである。
本実施形態において、携帯端末装置１００は、撮像した画像の解像度よりも高い解像度を有する画像を画像出力装置２００から得ることが可能な撮像モードである文書撮像モードの機能を有している。
なお、本実施形態では、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面（例えば、ディスプレイ画面やプロジェクターにより投影された画面）のような矩形状の撮像対象物を撮像し、撮像画像よりも高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択するものとする。
また、ユーザは、矩形状の撮像対象物である、文書画像が印刷された用紙やポスター、文書画像が表示されている表示画面などに対して、常に正面から撮像できるとは限らない。すなわち、ユーザは、撮像対象物における、文書画像が形成された平面の法線方向と、撮像手段の撮像方向とが一致しない状態で、斜め方向から撮像対象物を撮像する場合がある。この場合、撮像された画像において、撮像対象物に歪み（以下、幾何学的歪みという）が生じることになる。本実施形態では、上記文書撮像モードが選択された場合、このような幾何学的歪みも補正された状態で画像出力装置２００が画像出力するように構成されている。
携帯端末装置１００と画像出力装置２００とは通信可能であり、携帯端末装置１００は、撮像した画像データ（以下、撮像画像データという）を画像出力装置２００に送信する。
画像出力装置２００は、携帯端末装置１００から受信した撮像画像データに基づいて、解像度を高める高解像度補正を行い、高解像度化された画像の出力処理を行うものである。
画像出力装置２００で実行される出力処理としては、高解像度化された撮像画像データに基づいた画像の印刷処理、サーバやＵＳＢメモリなどの記憶装置へ高解像度化された撮像画像データを格納するファイリング処理、電子メールに高解像度化された撮像画像データを添付して送信するメール送信処理などがある。
なお、携帯端末装置１００と画像出力装置２００との通信方式としては、図２において符号Ａで示されるように、ＩｒＳｉｍｐｌｅなどの赤外線通信規格のいずれかに基づく無線通信方式や、符号Ｂで示されるように、Ｆｅｌｉｃａ（登録商標）のような非接触無線通信により、携帯端末装置１００から中継装置３００に一旦撮像画像データを送り、その後、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のような無線通信を用いて、当該中継装置３００から画像出力装置２００へデータを転送する方式がある。なお、携帯端末装置１００と画像出力装置２００との間の通信方式については、これらに限定されることなく、公知の通信方法を用いたものを適用することができる。
（２）携帯端末装置の構成
まず、図３〜８に基づいて、本実施形態に係る携帯端末装置１００について説明する。
図３は、携帯端末装置１００の構成を示すブロック図である。図３に示されるように、携帯端末装置１００は、撮像部１０１、撮像画像判定部１０２、画像処理部１０３、通信部（送信部）１０４、表示部（通知部）１０５、入力部１０６、記憶媒体アクセス部１０７、記憶部１０８、制御部（送信部、通知部）１０９を備えている。
撮像部１０１は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、撮像対象物の撮像を行うものである。撮像部１０１は、予め設定された解像度で撮像対象物の撮像を行う。なお、撮像部は、文書撮像モードが選択されている際、１回のシャッターが押下されると１回だけ撮像対象物を撮像する。
撮像画像判定部１０２は、文書撮像モードが選択されている際に、撮像部１０１で撮像された撮像画像が、文書画像を判読するのに適した処理実行条件を満たしているか否かを判定するものである。撮像画像判定部１０２は、その判定結果を制御部１０９に出力する。撮像画像判定部１０２における具体的な処理については後述する。
画像処理部１０３は、撮像部１０１で撮像された画像のデータ（撮像画像データ）に対して、少なくともＡ／Ｄ変換処理を行うものである。
通信部１０４は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部１０４は、撮像部１０１により撮像され、画像処理部１０３にてＡ／Ｄ変換処理が施された撮像画像データを画像出力装置２００に送信する。ただし、通信部１０４は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データのみを送信する。
表示部１０５は、例えば液晶ディスプレイなどにより構成されるものである。また，入力部１０６は、複数のボタンを有しており、ユーザがデータの入力を行うためのものである。
記憶媒体アクセス部１０７は、携帯端末装置１００の各処理を行うためのプログラムが記録された記録媒体から、プログラムを読み出すものである。
また、記憶部１０８は、携帯端末装置１００の各処理を行うためのプログラム、携帯端末装置の機種情報、ユーザ情報や処理を行う際に必要なデータを格納するものである。なお、ユーザ情報とは、携帯端末装置のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。
制御部１０９は、携帯端末装置１００の各部の制御を行うものである。具体的には、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、画像出力装置２００での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部１０５に表示する。そして、制御部１０９は、入力部１０６から、出力処理の種類および出力処理の設定条件を示す出力処理情報を取得する。
さらに、制御部１０９は、入力部１０６に文書撮像モードを選択する旨の指示が入力された場合、撮像部１０１で撮像された１つの撮像画像を示す撮像画像データを撮像画像判定部１０２におくり判定処理を実行させる。
そして、制御部１０９は、撮像画像判定部１０２により処理実行条件を満たしていると判定された撮像画像データに、ファイルネーム、記憶部１０８に格納された携帯端末装置１００の機種情報およびユーザ情報、ならびに、出力処理情報を付け、通信部１０４に対して画像出力装置２００への送信処理を実行させる。
（３）撮像画像判定部の処理について
次に、携帯端末装置１００の撮像画像判定部１０２における具体的な処理実行条件の判定処理について説明する。
（３−１）傾きの判定
上述したように、用紙やポスター、表示画面のような矩形状の撮像対象物を撮像し、高い解像度の画像を得ることを希望する場合に、ユーザが文書撮像モードを選択する。そのため、撮像画像判定部１０２は、撮像対象物が矩形状であると仮定して、撮像画像データにおいて、撮像対象物のエッジを検出することで撮像画像データにおける撮像対象物の傾きを検出する。なお、撮像画像データの中の矩形状の撮像対象物のエッジ上の画素を検出する手法としては従来知られている手法を用いることができる。また、背景の中のエッジを撮像対象物のエッジとして誤判定することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。
そして、撮像画像判定部１０２は、検出された撮像対象物のエッジ上の２点を選択する。例えば、図４に示されるように、撮像画像データの中心から左右それぞれ横方向にｗ／２だけ離れた２点１１・１２を選択する。次に、選択された２点１１・１２の各々と、撮像画像データの端辺との距離ｄ１，ｄ２を求め、撮像画像における撮像対象物の傾きを求めることができる。図４のような場合、傾き角度をθとすると、 ｔａｎθ＝（ｄ２−ｄ１）／ｗとなる。そこで、撮像画像判定部１０２は、（ｄ２−ｄ１）／ｗの値を算出し、この値に相当する角度θをあらかじめ作成済みのテーブル（図５参照）などより読み取る。
そして、撮像画像判定部１０２は、検出した角度θが所定範囲内（例えば、−３０°〜＋３０°）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、角度θが所定範囲内であることが処理実行条件の一つとなる。
（３−２）幾何学的歪みの判定
幾何学的歪みとは、上述したように、撮像対象物における文書画像が形成された平面の法線方向とは異なる斜め方向から撮像対象物を撮像した場合に、撮像画像の中で撮像対象物が矩形状から歪んだ形状を有することである。例えば、用紙の法線方向に対して用紙の左下方向から斜めに撮像した場合、図６に示されるように、撮像対象物は、歪んだ四角形となる。
本実施形態では、後述するように、画像出力装置２００がこのような幾何学的歪みを補正する機能を有している。ただし、幾何学的歪みの度合いが大きい場合、補正したとしても、判読性がそれほど向上しない。そこで、本実施形態では、撮像画像判定部１０２は、幾何学的歪みの度合いを示す特徴量を検出し、当該特徴量が所定範囲内であるか否かを判定する。
本実施形態では、必ずしも画角の中心付近に撮像対象物の各辺のエッジが存在するとは限らないので、ある一定間隔ですべての辺からのエッジを抽出し、各エッジを表す線分を求めて、さらにこれらの交点を算出して、撮像対象物の領域とすれば良い。
まず、撮像画像判定部１０２は、撮像画像データについて、ラスター走査を行う。ここで、図６に示されるように、ラスター走査の順方向をＸ方向、Ｘ方向に垂直な方向をＹ方向とする。また、撮像画像において左上隅を原点とする。
１ライン分走査を行い、エッジが存在しなければ、撮像画像判定部１０２は、Ｙ方向に所定量だけずらした次のラインについて走査する。なお、ライン間の間隔は一定であればよく、１画素である必要はない。
そして、撮像画像判定部１０２は、ラスター走査において、最初にエッジを検出したラインをＬ１（１ライン目）とし、図７に示すように、順方向で最初のエッジと判定された点の座標を第１群に格納し、同じライン上で２つ目のエッジと判定された点の座標を第２群に分類する。引き続き次のラインの走査を行い、エッジ検知する。そして、それぞれのラインＬｉについて、順方向で１番目に撮像対象物のエッジと判定された点と、２番目に撮像対象物のエッジと判定された点とのＸ座標値の差分（Ｘ座標の距離ｄｉ）を求め下記のように判定を行う。
なお、ラインＬｉにおける最初のエッジのＸ座標をＸｉ１（第１群に分類されているＸ座標）、２つ目のエッジのＸ座標をＸｉ２（第２群に分類されているＸ座標）とする。検出方法は以下のようである。
（ａ）１ライン（Ｌ１）目の座標Ｘ１１およびＸ１２については変更しない。
（ｂ）２ライン目以降のｉライン目については、座標間の距離ｄｉ１（＝Ｘｉ１−Ｘ（ｉ−１）１）およびｄｉ２(同様)を算出する。以下、ｄｉ１に関して述べるため添え字の１を省略するが、ｄｉ２も同様である。
（ｃ）３ライン目以降のｉライン目は、ｄｄｉ＝abs｛（ｄｉ）−ｄｉ−１｝を算出する。ｄｄｉ≦th１(≒０に近い小さな数値)であれば、座標Ｘiは同じ群に分類する。そうでない場合（ｄｄｉ＞th１）は、別の群（第３群または第４群）に分類する。
（ｄ）初期処理としてｉ=４のときのみ、Ｘ２の群を確定させるための処理を行う。以下のようにする。
i)ｄｄ３≦th１ かつ ｄｄ４≦th１ → Ｘ２：同群
ii)ｄｄ３＞th１ かつ ｄｄ４≦th１ → Ｘ２：別群
iii)ｄｄ３≦th１ かつ ｄｄ４＞th１ → Ｘ２：同群
iv)ｄｄ３＞th１ かつ ｄｄ４＞th１ → Ｘ２：同群
一度、別群（第３群または第４群）遷移した場合は、増減の確認はする必要はない。
このような処理を画像全体に行って、各群に属するエッジ点を抽出する。そして、群ごとに、当該群に属するエッジ点の座標を最小２乗法などで直線近似し、当該群に属するエッジ点に近似した直線を求める。当該直線は、撮像対象物の辺に相当することとなる。
図８は、上記のような処理によって、ラスター走査によってエッジ点を抽出し、４つの群に分類したときの図である。図において、丸印が第１群に属するエッジ点、四角印が第２群に属するエッジ点、三角印が第３群に属するエッジ点、星印が第４群に属するエッジ点を示し、最小２乗法により求められた、各群に属するエッジ点の近似直線を点線で示す。
そして、４つの群について求めた直線の交点（図中、交点１〜４としている）を求め、４つの直線で囲まれた領域を撮像対象物の領域として特定することができる。
さらに、上記の分類処理を９０度回転させた画像に対して行っても良い。こうすることで、理想的に画像内の水平方向・垂直方向に平行に配置されたような原稿のエッジも抽出することが可能となる。すなわち、ラスター走査することで、回転前の画像では、垂直方向のエッジが検出できる。一方、回転後の画像では、回転前に水平方向であったエッジ（回転後には水平方向であるエッジ）を検出することができる。これにより、垂直方向・水平方向に平行なエッジも抽出することができる。回転前で十分な情報量（各群で例えば３点以上の交点）があれば、回転前の情報のみを用いればよいし、いずれかの群の交点が１点未満の場合、当然直線の式は求められないため、回転後の交点を用いればよい。
あるいは、求まった交点座標のみを再度座標変換して元に戻し、それぞれの群の分布する領域から、対応する群を求めて、交点情報を統合し、直線の式を求めても良い。すなわち、回転前の画像から求められた交点座標と、回転後の画像から求められた交点を逆回転して得られた交点座標とから、同一の群に属する好転座標を統合して直線の方程式を求めればよい。
なお、エッジ点の抽出方法としては、少なくとも１以上の画素幅の小ウィンド内での、画素値をそのまま比較（２以上の幅の場合は和・平均値を比較）していき、隣接する値の差分が一定以上の場合、エッジ点であると判定すればよい。なお、背景や撮像対象物内のテキストのエッジなどを誤って検出することを防止するために、所定長さ以上のエッジのみを撮像対象物のエッジとして検出してもよい。この場合、所定長さとは、例えば、撮像画像データで示される画像の端の辺の長さの８０％程度の長さを設定すればよい。または、このようにして検出されたエッジの中から、撮像対象物のエッジのものをユーザに選択してもらってもよい。このような検出方法としては、例えば、特開２００６−２３７７５７に記載の技術を用いることができる。もしくは、それぞれの座標群の評価を行ったり、線分検知のための処理（ハフ変換など）を行ったりすることでも防止できる。さらに、縮小画像を用いた処理をプレ処理として行うことで、テキストや細かなテクスチャのエッジを誤って検出することを防止することができる。
そして、撮像画像判定部１０２は、以上のようにして４つの直線及びそれらの交点を求めると、当該４つの直線で形成される四角形の対辺の長さの比を計算する。当該長さの比は、上記交点の座標から容易に求まる。なお、対辺は２組あるので、撮像画像判定部１０２は、当該２組の各々について長さの比を求める。
ここで、対辺の長さの比は、矩形状の撮像対象物を正面から撮像した場合には撮像画像の中の撮像対象物も矩形状であるため、１となる。一方、斜め方向から撮像した場合には、撮像画像の中の撮像対象物の形状は歪んだ四角形となるため、１とは異なる値となる。そして、撮像方向と、撮像対象物の文書画像が形成された平面の法線方向とのなす角度が大きくなるほど、当該比の値と１との差が大きくなる。そのため、対辺の長さの比は、幾何学的歪みの度合いを示す特徴量の一つであるといえる。
その後、撮像画像判定部１０２は、求めた二つの比の両方が所定範囲内（例えば、０．５〜２）であるか否かを判定し、その判定結果を制御部１０９に出力する。ここで、所定範囲は、画像出力装置２００において補正可能な範囲として予め定められたものであり、記憶部１０８に格納されている。また、二つの比の両方が所定範囲内（例えば、０．５〜２）であることが処理実行条件の一つとなる。
なお、撮像画像判定部１０２は、幾何学的歪みの度合いを示す別の特徴量として、上記のようにして検出された４つの交点を含む２つの直線のなす角度などを用いてもよい。
（４）ユーザへの通知に関して
撮像画像判定部１０２から判定結果を受けた制御部１０９は、その判定結果に応じて、再撮像を促すメッセージを表示部１０５に表示させる。
例えば、撮像画像判定部１０２から傾き角度θが所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物が傾かないようにして再度撮像することを促すメッセージを表示部１０５に表示させる。
また、幾何学的歪みの度合いを示す特徴量（ここでは、撮像画像における撮像対象物の対辺の長さの比）が所定範囲内でない旨の判定結果を受けた場合、制御部１０９は、撮像対象物における文書画像が形成された平面の法線方向から再度撮像することを促すメッセージを表示部１０５に表示させる。
（５）画像出力装置の構成
次に、図９〜１４に基づいて、本実施形態に係る画像出力装置２００の構成について説明する。本実施形態において、画像出力装置２００は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。
図９は、画像出力装置２００の構成を示すブロック図である。画像出力装置２００は、画像読取部２０１、画像処理部（補正処理部）２０２、認証部２０３、画像形成部（出力部）２０４、表示部２０５、入力部２０６、第１通信部（受信部）２０７、第２通信部（出力部）２０８、記録媒体アクセス部２０９、記憶部２１０、および制御部（出力部）２１２を備えている。
画像読取部２０１は、原稿を読み取るものであり、ＣＣＤ（Charge Coupled Device）を備えたスキャナ部を有し、原稿から反射してきた光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力するものである。
画像処理部２０２は、画像データに対して、所定の画像処理を行うものである。本実施形態では、画像処理部２０２は、携帯端末装置から送信された撮像画像データに対して、高解像度補正などを含む画像処理を行う。画像処理部２０２が撮像画像データに対して行う画像処理の詳細については後述する。
認証部２０３は、携帯端末装置１００から受信した撮像画像データの出力処理を行う際に、ユーザ認証を行うものである。具体的には、認証部２０３は、携帯端末装置１００から受信したユーザ情報と、入力部２０６に入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。認証部２０３は、認証結果を制御部２１２に送る。
画像形成部２０４は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するものである。すなわち、画像形成部２０４は、出力処理の一つである印刷処理を実行するものである。
表示部２０５は、例えば液晶ディスプレイ等より構成される。また、入力部２０６は、例えば液晶ディスプレイのタッチパネルやボタンを押すことなどによりデータの入力を行うためのものである。
第１通信部２０７は、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部２０７は、携帯端末装置１００から、ファイルネーム、携帯端末装置１００の機種情報、ユーザ情報および出力処理情報が付加された撮像画像データを受信する。
第２通信部２０８は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信、の機能を有するものである。
第２通信部２０８は、出力処理として、高解像度補正が施された撮像画像データをサーバに格納するファイリング処理、もしくは、高解像度補正が施された撮像画像データを添付したメールを送信するメール送信処理を実行する。
記録媒体アクセス部２０９は、プログラムが記録された記録媒体から、プログラムを読み出すものである。記憶部２１０は、上記各部が処理を実行するためのプログラムを記憶するためのものである。
制御部２１２は、画像出力装置２００の各部の制御を行うものである。具体的には、制御部２１２は、第１通信部２０７が携帯端末装置１００から１つの撮像画像データを受信すると、当該撮像画像データを画像処理部２０２に出力し、画像処理を実行させる。また、制御部２１２は、画像データに付けられているユーザ情報を認証部２０３に出力し、認証部２０３に認証処理を実行させる。制御部２１２は、認証部２０３から認証成功の認証結果を受けると、撮像画像データに付けられていた出力処理情報に従って処理を実行させる。すなわち、出力処理情報が印刷処理を示している場合、制御部２１２は、画像処理部２０２によって画像処理が施された撮像画像データに基づいた印刷を画像形成部２０４に実行させる。また、出力処理情報がファイリング処理またはメール送信処理を示している場合、制御部２１２は、画像処理部２０２によって画像処理が施された撮像画像データに基づいたファイリング処理またはメール送信処理を第２通信部２０８に実行させる。
（６）画像処理部における画像処理について
次に、画像処理部２０２が実行する画像処理の詳細について説明する。なお、画像処理部２０２は、画像読取部２０１が読み取った画像データに対しても画像処理を行うが、ここでは、携帯端末装置１００から受信した１つの撮像画像データに対する画像処理の内容について説明する。
本実施形態において、画像処理部２０２は、携帯端末装置１００から送信されてきた撮像画像データに対して、幾何学的歪みの補正・レンズ歪みの補正、および、高解像度補正を行う。以下、各補正の処理について説明する。
（６−１）幾何学的歪みの補正・レンズ歪みの補正
画像処理部２０２は、撮像画像判定部１０２における処理と同様にして、撮像画像における撮像対象物のエッジ上の点をラスター走査によって順次検出する。そして、画像処理部２０２は、検出されたエッジ上の点を曲線近似し、その曲線の式からレンズひずみ補正を行う。
具体的には、図１０の実線で示されるように、画像処理部２０２は、検出した撮像対象物のエッジ点を検出し、撮像画像判定部１０２と同様に、各エッジ点を撮像対象物の４辺に対応する４つの群に分類する。そして、各群に属するエッジ点に対して２次曲線近似を行う。このようにして４つの群に対して求めた２次曲線は、撮像対象物の４辺に対応する。また、画像処理部２０２は、４つの２次曲線で囲まれる領域の角部に相当する、４つの２次曲線の交点を求める。次に、画像処理部２０２は、各辺に対して求めた２次曲線に外接し、かつ、４つの交点を結んだ四角形（図１０において点線で示される）と合同な外接四角形（図１０において１点鎖線で示される）を求める。そして、画像処理部２０２は、このようにして求めた外接四角形が補正後の対象物のエッジ画素の位置となるように、撮像画像における撮像対象物の領域内の画素位置を変換する。この変換は、基準点（例えば撮像対象物の領域の重心点）からのベクトルを基に計算すればよい。これにより、携帯端末装置１００の撮像部１０１によるレンズ歪みを補正することができる。
また、画像処理部２０２は、幾何学的歪みの補正を以下のようにして実行する。画像処理部２０２は、例えば、図１１に示すように、上記のようにして求めた外接四角形を対象物のアスペクト比（例えば、ビジネス文書出用いられているＡ判Ｂ判なら７：１０であるなど）に合わせ同様に写像変換すればよい。当該写像変換としては公知の技術を用いることができる。なお、画像処理部２０２は、予め記憶部２１０に記憶されているアスペクト比に合うように変換してもよいし、入力部２０６に入力されたアスペクト比に合うように変換してもよい。
なお、幾何学的歪みの補正およびレンズ歪みの補正の方法としては、上記の方法に限定されるものではなく公知の技術を用いることができる。
（６−２）画像データを用いた高解像度補正
上述したように、画像出力装置２００は、携帯端末装置１００から１つの撮像画像データを受信し、当該撮像画像データに基づいて高解像度補正を行う。
１つの画像データからの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。
一般的には、画像パターンのエッジ方向性を検知し、その向きに合わせた補間を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的としたノイズ除去処理を行うことにより、高解像度補正を実行することができる。以下、具体的に説明する。
図１２は、本実施形態における高解像度補正の処理の流れを示すフローチャートである。
ここでは、横方向・縦方向の各々について２倍の解像度変換を行う例について説明する。２倍の解像度変換を行う場合、補正対象となる撮像画像データの画素数をｎ×ｍとするとき、補正後の高解像度画像データの画素数は２ｎ×２ｍとなる。このような高解像度補正（２倍の解像度変換）は、撮像画像データにおける各画素を基準画素とし、当該基準画素間の中央に新たな画素を補間画素として生成し、当該基準画素と補間画素との両方を備える画像データを高解像度画像データとして生成することにより実行される。図１３は、基準画素と補間画素との関係を示すものであり、画素ａが基準画素を示し、画素ｂが補間画素を示している。
まず、画像処理部２０２は、第１通信部２０７が受信した撮像画像データについて、エッジ抽出を行う。例えば、画像処理部２０２は、図１５に示されるような１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行い、２値化画像データを生成する（Ｓ１）。なお、２値化画像データにおいて画素値が１であればエッジである可能性が高い画素であることを示している。
次に、画像処理部２０２は、Ｓ１で生成した２値化画像データに基づいて、撮像画像データにおける着目画素がエッジであるか否かを判定する（Ｓ２）。具体的には、画像処理部２０２は、２値化画像データにおける着目画素に対応する画素の値が１であれば、当該着目画素がエッジであると判定する。
なお、着目画素とは、撮像画像データにおける各画素を任意の順に着目していったときに、着目している画素のことをいう。
着目画素がエッジである場合（Ｓ２でＹｅｓ）、画像処理部２０２は、着目画素を含むＮ×Ｎ（Ｎ＞１）の部分画像を用いてエッジ方向を検出する（Ｓ３）。具体的には、Ｎ×Ｎの部分画像に含まれる全ての基準画素について、エッジ画素であるか否かを判定する。そして、着目画素の左上の基準画素と右下の基準画素とがエッジ画素である場合、画像処理部２０２は、部分画像におけるエッジ方向が左上−右下方向であると判定する。同様に、着目画素の左の基準画素と右の基準画素とがエッジ画素である場合、エッジ方向が左−右方向であると判定し、着目画素の上の基準画素と下の基準画素とがエッジ画素である場合、エッジ方向が上−下方向であると判定し、着目画素の右上の基準画素と左下の基準画素とがエッジ画像である場合、エッジ方向が右上−左下方向であると判定する。
図１４において、点線は検出したエッジ方向を示している。なお、図１４において、画素(1)〜(9)が基準画素であり、このうちの画素(5)が着目画素である。そして、画素Ａ、Ｂ、Ｃは、それぞれ、基準画素(1)と(5)との間の補間画素、基準画素(2)と(5)との間の補間画素、基準画素(4)と(5)との間の補間画素である。
次に、画像処理部２０２は、Ｓ３で検出したエッジ方向に応じて、着目画素の左上の補間画素Ａ、着目画素の上の補間画素Ｂ、着目画素の左の補間画素Ｃの画素値を補間により求める。このとき、エッジ方向に沿った基準画素を用いて補間画素の画素値を求める。
エッジ方向が左上−右下方向である場合、図１４（ａ）に示されるように、基準画素(1)、(5)、(9)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣施するエッジ線上の基準画素(1)（画素値Ｖ(1)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(5)）／２
により求める。
一方、エッジ線上ではない補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１４（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(6)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(6)）／１３
を用いて求める。
同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(8)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(4)＋４×Ｖ(8)）／１３
により求める。
また、エッジ方向が左−右方向である場合、図１４（ｂ）に示されるように、基準画素(4)、(5)、(6)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｃの画素値ＶＣについて、補間画素Ｃに隣施するエッジ線上の基準画素(4)（画素値Ｖ(4)）および基準画素(5)（画素値Ｖ(5)）の画素値を用いて、以下の式
ＶＣ＝（Ｖ(4)＋Ｖ(5)）／２
により求める。
一方、エッジ線上ではない補間画素Ａ、Ｂについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１４（ｂ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(2)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)）／２
を用いて求める。
補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と一致する。そのため、補間画素Ｂの画素値ＶＢは、基準画素(2)の画素値Ｖ(2)と同じ値にする。
また、エッジ方向が右上−左下方向である場合、図１４（ｃ）に示されるように、基準画素(3)、(5)、(7)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、補間画素Ａ，Ｂ，Ｃは全てエッジ線上に存在しない。
補間画素Ａについては、最近接基準画素が基準画素(1)、(2)、(4)となる。ここで、基準画素(2)、(4)は、エッジ方向に平行な同一の線上に位置するが、基準画素(1)は当該線上に位置しない。そこで、補間画素Ａの画素値ＶＡについて、最近接基準画素である基準画素(1)、(2)、(4)の画素値を用いて、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(2)＋Ｖ(4)）／３
により求める。
一方、補間画素Ｂ，Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１４（ｃ）では、補間画素Ｂについては、最近接基準画素である基準画素(2)を含み、エッジ方向に平行な線は、基準画素(2)と(6)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(2)と(4)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(2)＋４×Ｖ(4)）／１３
を用いて求める。
同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(4)と、当該基準画素(4)を含みエッジ方向に平行な線上の基準画素(2)との画素値を用いて、以下の式
ＶＣ＝（４×Ｖ(2)＋９×Ｖ(4)）／１３
により求める。
また、エッジ方向が上−下方向である場合、図１４（ｄ）に示されるように、基準画素(2)、(5)、(8)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ｂの画素値ＶＢについて、補間画素Ｂに隣施するエッジ線上の基準画素(2)および基準画素(5)の画素値を用いて、以下の式
ＶＣ＝（Ｖ(2)＋Ｖ(5)）／２
により求める。
一方、エッジ線上ではない補間画素Ａ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１４（ｄ）では、補間画素Ａについては、最近接基準画素である基準画素(1)または(4)を含み、エッジ方向に平行な線は、基準画素(1)と(4)とを結ぶ線である。そして、補間画素Ａから当該線に垂直に下した点は、基準画素(1)と(4)との中央に存在する。そのため、補間画素Ａの画素値ＶＡは、以下の式
ＶＡ＝（Ｖ(1)＋Ｖ(4)）／２
を用いて求める。
補間画素Ｃについては、最近接基準画素である基準画素(4)を含み、エッジ方向に平行な線は、基準画素(1)と(2)と(3)とを結ぶ線である。そして、補間画素Ｃから当該線に垂直に下した点は、基準画素(4)と一致する。そのため、補間画素Ｃの画素値ＶＣは、基準画素(4)の画素値Ｖ(4)と同じ値にする。
なお、記憶部２１０は、エッジ方向と、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。そして、画像処理部２０２は、Ｓ３で検出されたエッジ方向に対応する演算式を記憶部２１０から読み出し、読み出した演算式に基づいて、補間画素Ａ，Ｂ，Ｃの画素値を求めればよい。
なお、図１４では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合や、エッジが基準画素(1)−(5)−(7)のように曲がる場合などである。このような場合についても、補間画素Ａ，Ｂ，Ｃの画素値を求めるための演算式とを対応付けた情報を予め記憶している。例えば、エッジが基準画素(2)−(5)−(4)のように曲がる場合、補間画素Ａについては図１４（ｃ）と同様に、補間画素Ｂについては図１４（ｂ）と同様に、補間画素Ｃについては図１４（ｄ）と同様の演算式を記憶している。また、エッジが基準画素(1)−(5)−(7)のように曲がる場合、補間画素Ａについては図１４（ａ）と同様に、補間画素Ｂについては図１４（ａ）と同様に、補間画素Ｃについては図１４（ｄ）と同様の演算式を記憶している。他のエッジ方向のパターンについても同様に記憶している。
このようにして、画像処理部２０２は、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。
一方、着目画素がエッジでない場合（Ｓ２でＹｅｓ）、画像処理部２０２は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める（Ｓ４）。
画像処理部２０２は、上記のＳ２〜Ｓ４の処理を、撮像画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する（Ｓ５）。
その後、画像処理部２０２は、生成した補間画像データに対して高画質化処理を行う。例えば、画像処理部２０２は、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、高解像度画像データを生成する。従来からあるアンシャープマスクや図１５の中央の係数を５としたものが鮮鋭化フィルタとなる。またノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などを用いてもよい。
なお、画像処理部２０２は、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008） に記載されているような種々の方法を用いて、１つの撮像画像データから高解像度画像データを生成してもよい。
（７）撮像画像処理システムの画像処理方法
以下、図１に基づいて、撮像画像処理システムの処理の流れについて説明する。なお、図１において、（ａ）は携帯端末装置１００の処理フローを示し、（ｂ）は画像出力装置２００の処理フローを示している。
まず、携帯端末装置１００は、撮像モードの選択受付を行う。ここで、ユーザは、文書画像を含む用紙や表示画面など矩形状の撮像対象物を撮像し、撮像画像を画像出力装置２００により高解像度化して出力することを希望する場合、文書撮像モードを選択する。
文書撮像モードの選択入力を受け付けた携帯端末装置１００では、制御部１０９は、出力処理の種類および出力処理のための設定条件の入力を促す画面を表示部１０５に表示し、入力部１０６から出力処理情報を取得する。
そして、撮像部１０１は、シャッターが押下されたことを検知すると、１回だけ撮像する（Ｓ１０）。
次に、画像処理部１０３は、撮像した画像のデータ（撮像画像データ）に対して少なくともＡ／Ｄ変換処理を行う。その後、Ａ／Ｄ変換処理された撮像画像データに対して、撮像画像判定部１０２は、処理実行条件を満たすか否かを判定する（Ｓ１１）。なお、詳しい処理実行条件の判定方法、判定項目などは、例えば上記（３−１）（３−２）で説明したとおりである。
撮像画像判定部１０２が処理実行条件を満たさないと判定した場合（Ｓ１１でＮＯ）、制御部１０９は、表示部１０５に再撮像の旨を示すメッセージなどを表示して、ユーザに通知する（Ｓ１２）。再撮像した画像であっても、上述した判定項目などを満足しない場合、携帯端末装置１００はステップＳ１０〜Ｓ１２を繰り返して行う。
一方、撮像画像判定部１０２が処理実行条件を満たすと判定した場合（Ｓ１１でＹＥＳ）、制御部１０９は、処理実行条件を満たす撮像画像データにファイルネームを付ける（Ｓ１３）。なお、制御部１０９は、例えば、撮像日時に従った連続番号など各撮像画像データについて異なるファイルネームを自動的に付けても良いし、入力部１０６に入力されたファイルネームを付けてもよい。その後、制御部１０９は、当該画像データを、記憶部１０８に格納されている携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１０４に転送する。そして、通信部１０４は、これらの情報を画像出力装置２００に送信する（Ｓ１４）。
なお、制御部１０９は、ファイルネームがつけられた画像データを、記憶部１０８、あるいはメモリカードに一時保存して、ユーザの要求によって、上記携帯端末装置１００の機種情報、ユーザ情報、および出力処理情報と一緒に通信部１０４に転送し、さらに画像出力装置２００に送信してもよい。
次に、画像出力装置２００の第１通信部２０７は、携帯端末装置１００からの撮像画像データ、機種情報、ユーザ情報および出力処理情報を受信する（Ｓ２０）。受信後、画像処理部２０２は、例えば上記（６−１）に説明したとおり、幾何学的歪みの補正・レンズ歪みの補正を行う（Ｓ２１）。さらに、画像処理部２０２は、例えば上記（６−２）に説明したとおり、撮像画像データに基づいて高解像度補正を行う（Ｓ２２）。その後、制御部２１２は、画像処理部２０２で処理された撮像画像データを、記憶部２１０に格納する（Ｓ２３）。
次に、制御部２１２は、撮像画像データの出力指示が入力部２０６に入力されたか否かを判定する（Ｓ２４）。出力指示の入力がない場合（Ｓ２４でＮＯ）、出力指示が入力されるまで待機する。
一方、出力指示がある場合（Ｓ２４でＹＥＳ）、認証部２０３は、ユーザ情報（例えばユーザＩＤおよびパスワード）の入力を促す画面を表示部２０５に表示させ、ユーザ情報を入力部２０６から取得する。そして、認証部２０３は、ユーザ認証を行う（Ｓ２５）。なお、認証部２０３は、画像出力装置２００に設けられた非接触ＩＣカードのリーダ／ライターを用いて、ユーザが所持する非接触ＩＣカードからユーザ情報を取得してもよい。。
ユーザ認証を行う際、認証部２０３は、入力されたユーザ情報と携帯端末装置１００から受信したユーザ情報とを対照して、一致するユーザ情報が存在するか否か判定する（Ｓ２６）。そして、入力されたユーザ情報と一致するユーザ情報を携帯端末装置１００から受信している場合（Ｓ２６でＹＥＳ）、制御部２１２は、携帯端末装置１００から受信したい出力処理情報に従って出力処理を実行させる（Ｓ２７）。例えば、出力処理情報が印刷処理を示している場合、制御部２１２は、画像形成部２０４に対して処理実行指示を出力する。その後、処理を終了する。
一方、入力されたユーザ情報が、携帯端末装置１００から受信したユーザ情報と一致していない場合（Ｓ２６でＮＯ）、認証部２０３は、認証回数が所定回数以上であるか判定する（Ｓ２８）。そして、認証回数が所定回数以上でない場合（Ｓ２８でＮＯ）、Ｓ２５，Ｓ２６の処理を繰り返して行う。認証回数が所定回数以上である場合（Ｓ２８でＹＥＳ）、出力せずにフローを終了する。
以上のように、本実施形態によれば、携帯端末装置１００で撮像した撮像画像を高解像度補正した状態で画像出力装置２００で出力させることができる。その結果、文字の判読性を向上させることができる。そのため、原稿用紙を画像出力装置２００まで持っていくことが困難な場合であっても、当該原稿用紙を撮像することで、当該原稿用紙の画像を高解像度で得ることができる。また、プロジェクターなどで表示された映像画面についても携帯端末装置１００で撮像することで、後に画像出力装置２００から高解像度の画像を得ることができる。
（８）変形例
本発明の撮像画像処理システムは、上記の実施形態に限定されることがなく、様々な変更が可能である。以下、変形形態の一例について説明する。
（８−１）撮像画像判定部の判定項目について
上記の説明では、文書撮像モードが選択されたときに、撮像画像判定部１０２は、撮像画像における撮像対象物の傾き、幾何学的歪みを判定するものとした。しかしながら、撮像画像判定部１０２における判定項目はこれに限定されるものではない。以下にこの変形例を説明する。
（ａ）例えば、ユーザは、文書画像を含む用紙や表示画面のような矩形状の撮像対象物に限らず、風景や人物などの撮像画像についても高解像度化された状態で画像出力装置２００で出力することを希望することが考えられる。そこで、携帯端末装置１００は、文書撮像モードに代えて、もしくは、文書撮像モードとは別に、単に撮像画像を画像出力装置２００において高解像度補正して出力する処理を行うための高解像出力モードを備えていてもよい。文書撮像モードとは別に高解像度出力モードを備える場合、携帯端末装置１００は、選択されたモードを示す情報を付けて撮像画像データを出力すればよい。これにより、画像出力装置２００はモードに応じた処理を行うことができる。
そして、高解像出力モードが選択された場合、携帯端末装置１００では、制御部１０９は、撮像画像判定部１０２の処理を実行させることなく、撮像部１０１の撮像により得られる撮像画像データを画像出力装置２００に送信するように制御してもよい。そして、高解像度出力モードである旨の通知を受けた画像出力装置２００においても、画像処理部２０２は、（６−２）に記載された高解像度補正を行い、（６−１）に記載された幾何学的歪みの補正・レンズ歪みの補正を実行しない。これによっても、撮像した画像よりも高解像度の画像を得るという効果を奏することができる。
（ｂ）上記の判定項目に加えて、他の判定項目について判定してもよい。他の判定項目としては、明るさ、コントラスト、カラーバランス、ブレ（激しい手ぶれ）などがある。
明るさについては、例えば露出オーバー（明るすぎる）やアンダー（暗すぎる）の場合に再度の撮像が必要となるケースが考えられる。そこで、撮像画像判定部１０２は、例えば、撮像画像データの画素値のうち、最大のものと最小のものを求め、最大値がある閾値（例えば８ビットで１００など）以下であれば、露出アンダーとし、最小値がある閾値（例えば８ビットで１５０など）以上であれば、露出オーバーとする判定結果を制御部１０９に出力する。そして、制御部１０９は、露出アンダーまたは露出オーバーの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。もしくは、制御部１０９は、露出アンダーの場合には、撮像部１０１における露光時間を長くするように設定変更し、露出オーバーの場合には、露光時間を短くするように設定変更する。その後、制御部１０９は、ユーザに再撮像を促す指示を通知してもよい。
コントラストについては、撮像画像判定部１０２は、撮像画像データの画素値のうちの最大・最小の差分値が所定閾値以下の場合、コントラスト不足と判定する。そして、制御部１０９は、コントラスト不足との判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
なお、明るさ・コントラストの判定において、撮像画像判定部１０２は、各色チャンネルに対して判定を行っても良いし、平均値（Ｒ＋Ｇ＋Ｂ／３）や明度値（０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ：ＮＴＳＣ準拠）を用いても良い。
カラーバランスについては、各色チャンネル（ＲＧＢ）の平均値や最大・最小値の比較を行うことで、ある一つのチャンネルに過度の偏りが発生していることを把握できる。そこで、撮像画像判定部１０２は、例えば、撮像画像中の最大明度値付近の値（最大明度〜最大明度−５程度）を持つ画素値の各色チャンネルの値の平均値（Ｒａ，Ｇａ，Ｂａ）を求め、その各色チャンネルの最大値と最小値の差分が値に応じた一定値以上［Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）−Ｍｉｎ（Ｒａ，Ｇａ，Ｂａ）＞０．１×Ｍａｘ（Ｒａ，Ｇａ，Ｂａ）］である場合に、カラーバランス不良であると判定する。そして、制御部１０９は、カラーバランス不良であるとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
ブレ（激しい手ぶれ：いわゆるモーションブラー）については、発生時にエッジの先鋭性が低下することから、撮像画像判定部１０２は、図９に挙げたようなエッジ抽出フィルタを用いて、エッジ強度画像を作成してヒストグラムを取り、その標準偏差値（前記分散の二乗根）を求める。そして、とうがい標準偏差値が所定閾値（例えば５）以下の場合、ブレが発生していると判定する。そして、制御部１０９は、ブレが発生しているとの判定結果を受けると、その旨および再撮像を促す指示を表示部１０５に表示させる。
（８−２）画像出力装置の処理項目について
上記の説明では、画像出力装置２００の画像処理部２０２は、携帯端末装置１００から受信した撮像画像データに対して、幾何学的歪みの補正、レンズ歪みの補正、高解像度補正を行うものとした。しかしながら、画像処理部２０２における処理内容はこれに限定されるものではない。例えば、画像処理部２０２は、上記の補正に加えて、カラーバランス、コントラストの補正を行ってもよい。
カラーバランスの補正方法としては、画像処理部２０２は、受信した撮像画像データについて、各色チャンネルの最大値・最小値を求め、これらを揃えるようなルックアップテーブルを作成し、各色チャンネルに適用すればよい。ルックアップテーブルの一例としては、図１６に示すように、あるチャンネルの最大値がＭＸ、最小値がＭＮである場合、データが８ｂｉｔのとき、ＭＮから（ＭＸ−ＭＮ）／２５５のステップで増加させていくようなテーブルを作成すればよい。
画像処理部２０２は、コントラストの補正についても同様の方法で実行することができる。なお、カラーバランスを特に変える必要がなければ、各色チャンネルに適用するルックアップテーブルを同一のものとすればよい。
なお、カラーバランス・コントラストの補正方法についてはその他の公知の技術を適用してもよい。
また、画像処理部２０２は、（３−１）で記載された方法により撮像対象物の傾きを検知し、当該傾きが０度になるように撮像画像データの回転処理を施せばよい。もしくは、携帯端末装置１００は、撮像画像データとともに、（３−１）で検出された傾き角度を画像出力装置２００に送信してもよい。そして、画像処理部２０２は、携帯端末装置１００から受けた傾き角度に基づいて、撮像対象物の傾きが０度になるように撮像画像データの回転処理を施せばよい。
（８−３）出力処理情報について
上記の説明では、出力処理情報を携帯端末装置１００が取得し、画像出力装置２００に送信するものとした。しかしながら、これに限らず、画像出力装置２００がユーザ認証のためにユーザ情報を取得する際に、出力処理情報（出力処理の種類、出力処理のための設定条件を示す情報）を取得してもよい。
（８−４）出力処理について
画像出力装置２００において、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって処理された撮像画像データを高圧縮ＰＤＦに変換してもよい。なお、高圧縮ＰＤＦデータとは、画像データの中の背景部分と文字分とを分離し、ぞれぞれの部分に最適な圧縮処理を行ったＰＤＦデータである。これにより、文字判読性が良好で、画像ファイルサイズも低減させることができる。
また、制御部２１２は、ファイリング処理やメール送信処理を行う前に、画像処理部２０２によって処理された撮像画像データに対してＯＣＲ処理を実行し、テキストデータを生成してもよい。そして、制御部２１２は、撮像画像データをＰＤＦに変換し、生成したテキストデータを透明テキストとして付加してもよい。なお、透明テキストとは、認識された文字をテキスト情報として見掛け上は見えない形で画像データに重ね合わせる（あるいは埋め込む）ためのデータである。例えば、ＰＤＦファイルでは、画像データに透明テキストを付加した画像ファイルが一般に使用されている。そして、制御部２１２は、生成した透明テキスト付きＰＤＦデータを出力させてもよい。これにより、テキスト検索可能なファイルのように活用しやすい電子化文書を出力することができる。
（８−５）画像出力装置が備える画像処理部について
上記の説明では、画像出力装置２００が備える画像処理部２０２が高解像度補正などを行うものとして説明した。しかしながら、画像出力装置２００は、撮像画像データに対する高解像度補正やその他の画像処理（幾何学的歪みの補正、レンズ歪みの補正、コントラスト補正、カラーバランス補正など）を、上記画像処理部２０２を備えたサーバに実行させてもよい。なお、この場合、当該サーバが、携帯端末装置１００から受信した撮像画像データに対して高解像度補正を行い、補正後の撮像画像データを出力する画像出力装置であるといえる。
（８−６）解像度変換の倍率について
上記の説明では、画像出力装置２００の画像処理部２０２は、縦方向および横方向の各々について２倍の解像度変換を行うものとした。しかしながら、これに限らず、解像度変換の倍率をユーザが指定する形態であってもよい。
例えば、携帯端末装置１００の制御部１０９は、文書撮像モードが選択されたときに、解像度変換の倍率の指定入力を促す画面を表示部１０５に表示させ、入力部１０６から指定倍率を取得する。そして、制御部１０９は、指定倍率を示す情報を出力処理情報に含めて撮像画像データとともに画像出力装置２００に送信するように通信部１０４を制御する。
そして、画像出力装置２００の画像処理部２０２は、出力処理情報で示される指定倍率に応じた解像度変換を行う。
（９）プログラムおよび記録媒体
本発明はコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体に、上記した携帯端末装置１００で撮像した画像を画像出力装置２００に送信し画像出力装置２００より出力する方法を記録するものとすることもできる。
この結果、上記処理を行うプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）を記録した記録媒体を持ち運び自在に提供することができる。
なお、本実施の形態では、この記録媒体としては、マイクロコンピュータで処理が行われるために図示していないメモリ、例えばＲＯＭのようなもの、そのものがプログラムメディアであっても良いし、また、図示していないが外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであっても良い。
いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であっても良いし、あるいは、いずれの場合もプログラムコードを読み出し、読み出されたプログラムコードは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め本体装置に格納されているものとする。
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フレキシブルディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤなどの光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムコードを担持する媒体であっても良い。
また、本実施の形態においては、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムコードをダウンロードするように流動的にプログラムコードを担持する媒体であっても良い。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め本体装置に格納しておくか、あるいは別な記録媒体からインストールされるものであっても良い。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
上記記録媒体は、携帯端末装置１００や画像出力装置２００に備えられるプログラム読み取り装置により読み取られることで上述した画像処理方法が実行される。
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、携帯端末装置と画像出力装置との間でデータ通信を行う撮像画像処理システムに適用することができる。
１００ 携帯端末装置
２００ 画像出力装置
１０１ 撮像部
１０２ 撮像画像判定部
１０３ 画像処理部
１０４ 通信部（送信部）
１０５ 表示部（通知部）
１０６ 入力部
１０９ 制御部（送信部、通知部）
２０２ 画像処理部（補正処理部）
２０４ 画像形成部（出力部）
２０５ 表示部
２０６ 入力部
２０７ 第１通信部（受信部）
２０８ 第２通信部（出力部）
２１２ 制御部（出力部）

Claims (13)

  1. （ａ）撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた１つの撮像画像データを通信ネットワークを介して受信する受信部と、（ｂ）上記受信部が受信した撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理部と、（ｃ）上記補正処理部により生成された高解像度画像データ、あるいは、当該高解像度画像データで示される画像を出力する出力処理を実行する出力部と、を備える画像出力装置と通信ネットワークを介して通信可能な携帯端末装置であって、
    文書画像が形成された矩形状の面を有する撮像対象物を撮像する撮像部と、
    上記撮像部の撮像により得られた１つの撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、
    上記撮像画像判定部により上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信部とを備え、
    上記所定条件は、少なくとも以下の条件Ａを含むことを特徴とする携帯端末装置。
    条件Ａ：上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる、撮像画像データにおける上記矩形状の面の歪みの度合いを示す特徴量が所定範囲内である
  2. （ａ）撮像部を備えた携帯端末装置から、上記撮像部の撮像により得られた１つの撮像画像データを通信ネットワークを介して受信する受信部と、（ｂ）上記受信部が受信した撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理部と、（ｃ）上記補正処理部により生成された高解像度画像データ、あるいは、当該高解像度画像データで示される画像を出力する出力処理を実行する出力部と、を備える画像出力装置と通信ネットワークを介して通信可能な携帯端末装置であって、
    文書画像が形成された矩形状の面を有する撮像対象物を撮像する撮像部と、
    上記撮像部の撮像により得られた１つの撮像画像データが所定条件を満たすか否かを判定する撮像画像判定部と、
    上記撮像画像判定部により上記所定条件を満たす撮像画像データを上記画像出力装置に送信する送信部とを備え、
    上記所定条件は、少なくとも以下の条件Ｂを含むことを特徴とする携帯端末装置。
    条件Ｂ：撮像画像データにおける上記矩形状の面の傾き角度が所定範囲内である
  3. 上記撮像画像判定部により上記所定条件を満たさないと判定された場合、ユーザに対して再撮像を促す通知を行う通知部を備えることを特徴とする請求項１または２に記載の携帯端末装置。
  4. 請求項１から３のいずれか１項に記載の携帯端末装置と、
    （ａ）上記携帯端末装置から、上記撮像部の撮像により得られた１つの撮像画像データを通信ネットワークを介して受信する受信部と、（ｂ）上記受信部が受信した撮像画像データに基づいて、当該撮像画像データの解像度よりも高解像度の高解像度画像データを生成する高解像度補正を行う補正処理部と、（ｃ）上記補正処理部により生成された高解像度画像データ、あるいは、当該高解像度画像データで示される画像を出力する出力処理を実行する出力部と、を備える画像出力装置とを備えることを特徴とする撮像画像処理システム。
  5. 上記撮像部によって撮像される撮像対象物は、文書画像が形成された矩形状の面を有しており、
    上記補正処理部は、上記矩形状の面の法線方向とは異なる方向から上記撮像部が撮像することによる撮像画像データにおける上記矩形状の面の歪みを補正するとともに、上記高解像度補正を行うことを特徴とする請求項４に記載の撮像画像処理システム。
  6. 上記撮像部によって撮像される撮像対象物は、文書画像が形成された矩形状の面を有しており、
    上記補正処理部は、上記撮像部による撮像画像データにおける上記矩形状の面のエッジが曲線状となるレンズ歪みを補正するとともに、上記高解像度補正を行うことを特徴とする請求項４または５に記載の撮像画像処理システム。
  7. 上記出力部は、上記高解像度画像データに対応する画像を記録用紙に形成する印刷処理を上記出力処理として実行することを特徴とする請求項４から６のいずれか１項に記載の撮像画像処理システム。
  8. 上記出力部は、上記高解像度画像データを外部記憶装置に格納する格納処理を上記出力処理として実行することを特徴とする請求項４から６のいずれか１項に記載の撮像画像処理システム。
  9. 上記出力部は、上記高解像度画像データを電子メールに添付して送信するメール送信処理を上記出力処理として実行することを特徴とする請求項４から６のいずれか１項に記載の撮像画像処理システム。
  10. 上記撮像部によって撮像される撮像対象物は、文書画像を有しており、
    上記出力部は、上記高解像度画像データにおいて上記文書画像に対応する領域とそれ以外の領域とに分離し、各領域に対して異なる圧縮率で圧縮させた状態で上記高解像度画像データを出力することを特徴とする請求項８または９に記載の撮像画像処理システム。
  11. 上記撮像部によって撮像される撮像対象物は、文書画像を有しており、
    上記出力部は、上記高解像度画像データにおける上記文書画像に対応する領域の中から文字を抽出し、抽出した文字をテキストデータに変換し、当該テキストデータを上記高解像度画像データに付加して出力することを特徴とする請求項８または９に記載の撮像画像処理システム。
  12. 請求項１から３のいずれかに記載の携帯端末装置を動作させるプログラムであって、コンピュータを上記各部として機能させるためのプログラム。
  13. 請求項１２に記載のプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2009091531A 2009-04-03 2009-04-03 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体 Active JP4772889B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009091531A JP4772889B2 (ja) 2009-04-03 2009-04-03 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体
US12/752,731 US8441537B2 (en) 2009-04-03 2010-04-01 Portable terminal apparatus for capturing only one image, and captured image processing system for obtaining high resolution image data based on the captured only one image and outputting high resolution image
CN201010151303.5A CN101860652A (zh) 2009-04-03 2010-04-02 图像输出装置、便携式终端装置、拍摄图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009091531A JP4772889B2 (ja) 2009-04-03 2009-04-03 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2010245788A JP2010245788A (ja) 2010-10-28
JP4772889B2 true JP4772889B2 (ja) 2011-09-14

Family

ID=42825867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009091531A Active JP4772889B2 (ja) 2009-04-03 2009-04-03 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体

Country Status (3)

Country Link
US (1) US8441537B2 (ja)
JP (1) JP4772889B2 (ja)
CN (1) CN101860652A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI406571B (zh) * 2010-01-29 2013-08-21 Corel Inc Image Processing Method for Enhancing Image Edge Resolution
JP2012256109A (ja) * 2011-06-07 2012-12-27 Sony Corp 情報処理装置、プログラム及び情報処理方法
JP5532037B2 (ja) * 2011-09-30 2014-06-25 コニカミノルタ株式会社 連携システム、携帯情報装置、連携方法および連携プログラム
CN103366344B (zh) * 2012-03-27 2017-07-14 富士通株式会社 边缘保留滤波方法和装置
US9626740B2 (en) * 2013-03-29 2017-04-18 Konica Minolta, Inc. Image processing apparatus and image processing method
JP6064954B2 (ja) * 2013-08-30 2017-01-25 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
CN103702024B (zh) * 2013-12-02 2017-06-20 宇龙计算机通信科技(深圳)有限公司 图像处理装置和图像处理方法
JP6191500B2 (ja) * 2014-02-25 2017-09-06 富士ゼロックス株式会社 画像処理装置、画像処理システム及び画像処理プログラム
US9576554B2 (en) * 2014-12-15 2017-02-21 Flipboard, Inc. Determining a dominant color of an image based on pixel components
JP2019179342A (ja) * 2018-03-30 2019-10-17 日本電産サンキョー株式会社 画像処理装置および画像処理方法
WO2021128242A1 (zh) * 2019-12-27 2021-07-01 威创集团股份有限公司 图片目标点纠正方法、装置设备及存储介质
CN112822556B (zh) * 2020-12-31 2022-11-15 上海米哈游天命科技有限公司 游戏画面的拍摄方法、装置、设备及存储介质

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9711022D0 (en) * 1997-05-28 1997-07-23 Rank Xerox Ltd Text/image selection from document images
JP2000013596A (ja) * 1998-06-18 2000-01-14 Minolta Co Ltd 画像処理装置および方法ならびに画像処理プログラムを記録した記録媒体
US6735341B1 (en) 1998-06-18 2004-05-11 Minolta Co., Ltd. Image processing device and method and recording medium for recording image processing program for same
US6400845B1 (en) * 1999-04-23 2002-06-04 Computer Services, Inc. System and method for data extraction from digital images
JP2002041502A (ja) 2000-07-28 2002-02-08 Olympus Optical Co Ltd ドキュメント作成システム及びドキュメント作成方法
US6975352B2 (en) * 2000-12-18 2005-12-13 Xerox Corporation Apparatus and method for capturing a composite digital image with regions of varied focus and magnification
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
JP2005275787A (ja) * 2004-03-24 2005-10-06 Fuji Photo Film Co Ltd 画像処理方法及び装置並びにプリンタ
JP2006025037A (ja) 2004-07-06 2006-01-26 Seiko Epson Corp 画像処理システム
JP4548144B2 (ja) 2005-02-23 2010-09-22 カシオ計算機株式会社 デジタルカメラ装置、及びスルー画像表示方法
JP2007027839A (ja) 2005-07-12 2007-02-01 Canon Inc 画像形成システム、画像処理方法、撮像装置、プログラム及び記録媒体
JP2007306524A (ja) * 2006-05-15 2007-11-22 Nec Electronics Corp カメラ付き携帯機器及びその撮影支援方法
JP4732250B2 (ja) * 2006-06-14 2011-07-27 キヤノン株式会社 情報処理装置、制御方法、およびコンピュータプログラム
US8068700B2 (en) * 2007-05-28 2011-11-29 Sanyo Electric Co., Ltd. Image processing apparatus, image processing method, and electronic appliance
JP2008294950A (ja) 2007-05-28 2008-12-04 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
JP2009044538A (ja) * 2007-08-09 2009-02-26 Hitachi Ltd 監視システムおよびこれに用いる撮像装置
US20090052804A1 (en) * 2007-08-22 2009-02-26 Prospect Technologies, Inc. Method process and apparatus for automated document scanning and management system
JP5238220B2 (ja) * 2007-10-29 2013-07-17 株式会社東芝 解像度変換装置、方法およびプログラム
JP2008187750A (ja) 2008-05-07 2008-08-14 Casio Comput Co Ltd 撮像装置及びそのプログラム
US20090323134A1 (en) * 2008-06-30 2009-12-31 Kabushiki Kaisha Toshiba Apparatus and method for generating segmentation data of a scanned image

Also Published As

Publication number Publication date
CN101860652A (zh) 2010-10-13
US8441537B2 (en) 2013-05-14
US20100253790A1 (en) 2010-10-07
JP2010245788A (ja) 2010-10-28

Similar Documents

Publication Publication Date Title
JP4772889B2 (ja) 携帯端末装置、撮像画像処理システム、プログラムおよび記録媒体
JP4856263B2 (ja) 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP4772894B2 (ja) 画像出力装置、携帯端末装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP4758493B2 (ja) 携帯端末装置、撮像画像処理システム、携帯端末装置の制御方法、プログラムおよび記録媒体
US10484610B2 (en) Image-capturing apparatus, captured image processing system, program, and recording medium
JP5026484B2 (ja) 携帯端末装置、画像出力装置、撮像画像処理システム、携帯端末装置の制御方法、画像出力方法、プログラム、および記録媒体
JP5547243B2 (ja) 画像処理装置、プログラムおよび記録媒体
JP4991887B2 (ja) 撮像画像処理システム、撮像画像処理システムの制御方法、プログラムおよび記録媒体
JP5886265B2 (ja) 携帯端末装置、プログラム、及び記録媒体
JP2010161764A (ja) 画像処理装置、画像読取装置、画像送信装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体
JP2011101338A (ja) 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP2019040617A (ja) 画像処理装置および画像処理方法
JP2013123119A (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理方法、コンピュータプログラム及び記録媒体
JP4487000B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理システム、画像処理プログラムおよびその記録媒体
JP5819378B2 (ja) 画像判定装置、画像処理システム、プログラム及び記録媒体
JP2010273218A (ja) 画像出力装置、撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP2010157878A (ja) 画像処理装置、画像データ出力処理装置、画像処理方法、プログラムおよびその記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4772889

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150