JP5819378B2 - 画像判定装置、画像処理システム、プログラム及び記録媒体 - Google Patents

Description

本発明は、画像が高圧縮ＰＤＦファイルへの変換に適しているか否かを判定する画像判定装置、画像処理システム、プログラム及び記録媒体に関する。

携帯端末装置等で収集した画像データを、ネットワークを介してサーバへ送信し、サーバでユーザ所望のファイルフォーマットに変換する技術がある。例えば、特許文献１には、端末から、端末で生成されたデジタル画像データと、その関連データと、データ加工に関する指示情報とをネットワークを経由して受信したサーバが、指示情報に基づいて、デジタル画像データ及び関連データを所定のフォーマットで加工してドキュメントを作成するシステムが開示されている。作成されたドキュメントは、特定用途の報告書として記録媒体に保存されたり、紙ドキュメントとして印刷されたり、あるいは、ネットワークを介して特定のサーバ装置に送信されたりする。

特開２００２−４１５０２号公報（２００２年２月８日公開）

しかしながら、携帯端末装置等で収集した画像データをサーバ側に送信し、所定のフォーマットとして高圧縮ＰＤＦファイルを生成する場合、次のような問題がある。画像データが、カメラにて撮像されたものである場合は、撮像時のぼやけ等の要因で、ＭＦＰ（複合機）等からスキャナによりスキャンされたものである場合は、スキャン解像度（読取解像度）が低い等の要因で、高圧縮ＰＤＦファイルの表示品質が著しく低下することがある。これは、送信した画像が、高圧縮ＰＤＦファイルを生成するのに適したものであるかが判定されていないために発生する。ここで、高圧縮ＰＤＦファイルを生成するのに適しているかをユーザにて判定させると、ユーザへの負担がかかってしまう。

そこで、上記課題に鑑み、本発明の目的は、ユーザの手間を省いて、画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否かの判定ができる画像判定装置を提供することにある。

上記の課題を解決するために、本発明の一態様に係る画像判定装置は、入力画像が、スキャナにより読み取られた読取画像であるか、あるいは、撮像装置により撮像された撮像画像であるかを判定する画像種別判定手段と、上記画像種別判定手段による判定結果に基づいて、上記入力画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否かを判定する書式変換判定手段と、を備え、上記書式変換判定手段は、上記読取画像と判定された入力画像からは解像度に関する特徴量を、上記撮像画像と判定された入力画像からはぼやけに関する特徴量を抽出し、上記特徴量に基づき上記判定を行うことを特徴とする。

上記構成によると、ユーザの手間を省いて、画像が高圧縮の環境非依存型文書書式の画像への変換に適しているか否かの判定ができるという効果を奏する。

実施の一形態の携帯端末装置の構成を示すブロック図である。 上記携帯端末装置の有する第１画像処理部の構成を示すブロック図である。 上記携帯端末装置の有する処理判定部の構成を示すブロック図である。 上記処理判定部の処理を示すフローチャートである。 選択画像サイズのアスペクト比の例を示す図である。 選択画像サイズのアスペクト比の別の例を示す図である。 実施の一形態の画像形成装置の構成を示すブロック図である。 上記画像形成装置の有する第２画像処理部の構成を示すブロック図である。 上記第２画像処理部の有する原稿検知部の構成を示すブロック図である。 上記第２画像処理部の有するファイル生成部の構成を示すブロック図である。 ファイルのファイルフォーマットを認識する方法のフローチャートである。 （ａ）〜（ｃ）は、実施の一形態の画像処理システムでの処理を示すフローチャートである。 実施の一形態のサーバ装置のブロック図である。 別の実施の形態の携帯端末装置の構成を示すブロック図である。 １次微分フィルタ例を示す図である。 （ａ）〜（ｄ）は、補間画素の画素値の決定方法の例を示す図である。 エッジ方向補間処理の一例を示すフローチャートである。 ＪＰＥＧデータを含むＰＤＦファイル内の一部を示す図である。

以下に、本発明の実施の形態について、図を参照に詳細に説明する。

〔実施の形態１〕
１．画像処理システム
本実施の形態の画像処理システム（図示せず）は、携帯端末装置（画像判定装置）１と画像形成装置（ＭＦＰ、複合機）５０とがネットワーク接続して構成される。携帯端末装置１からユーザにより選択された画像データ（画像）を、ネットワークを介して画像形成装置５０に送信し、画像形成装置５０にて出力する。ネットワークは、無線でも有線でもよく、通信形態を問わない。

ここで、携帯端末装置１から送信する画像データは、ユーザが選択した画像データであり、携帯端末装置１の後述する撮像部４により撮像した画像データあるいはネットワークを介してサーバ装置（図示せず）から取得した画像データである。よって、ユーザにより選択された画像データには、撮像部４を含む撮像装置を用いて撮像された撮像画像データ（撮像画像）、スキャナ（画像形成装置のスキャン機能を含む）を用いて読み取られたスキャン画像データ（プラテンガラスに置かれた原稿を読み取って得られるスキャン画像、読取画像）が含まれている。なお、撮像画像データは、幾何学補正等が施されていないもの、すなわち、撮像後、何ら画像処理が施されていないものとする。また、以下では、携帯端末装置１の撮像部４にて撮像した撮像画像データは、携帯端末装置１に格納されているものとして説明するが、記憶部３に格納されている撮像画像データを送信するのではなく、撮像部４にて撮像した撮像画像データをそのまま（選択して）送信してもよい。

本実施の形態では、特に、携帯端末装置１は、画像データ（入力画像）が圧縮された環境非依存型文書書式の画像への変換（画像の生成）に適しているか否を判定し、この判定情報も一緒に画像形成装置５０に送信する。以下では、圧縮された環境非依存型文書書式の画像として、高圧縮ＰＤＦファイルを用いて説明するが、高圧縮ＰＤＦファイルに限定されることはない。

画像形成装置５０は、受信した画像データに画像処理を施し、画像処理後の画像データを出力する。画像形成装置５０は、高圧縮ＰＤＦファイルへの変換（高圧縮ＰＤＦファイルの生成）を指示する設定情報（出力ファイル形式として高圧縮ＰＤＦファイルを指定する情報）、かつ、受信した画像データが、高圧縮ＰＤＦファイルへの変換に適と判定された情報を、受信した場合には、受信した画像データを高圧縮ＰＤＦファイルに変換して出力する。画像形成装置５０で実行される出力処理としては、画像データを印刷して出力する印刷処理、サーバ装置やＵＳＢメモリなどの記憶装置へ画像を格納するファイリング処理、電子メールに画像データを添付して送信するメール送信処理などがある。

２．携帯端末装置の構成
携帯端末装置１について図１を参照に説明する。図１は、携帯端末装置１の構成を示すブロック図である。図１に示すように、携帯端末装置１は、制御部２、記憶部３、撮像部（撮像装置）４、通信部５、表示部６、入力部７、記録媒体アクセス部８を備えている。携帯端末装置１は、例えば、スマートフォン、タブレット端末、携帯電話等である。

制御部２は、携帯端末装置１の各ブロックの制御を行う。また、制御部２は、記憶部３に保存されたファイルのヘッダを解析して、ファイルフォーマットの認識を行う。ファイルフォーマットの認識については後述する。

制御部２は、ユーザにより選択された画像データを画像形成装置５０にて出力させる旨の指示が入力部７から入力された場合、画像形成装置５０での出力処理の種類（印刷処理、ファイリング処理、メール送信処理など）の選択指示、ならびに、選択した出力処理を実行するための設定条件（印刷枚数などの印刷条件、ファイリング先のサーバのアドレス、メールの送信先アドレスなど）の入力を促す画面を表示部６に表示する。そして、制御部２は、入力部７から、出力処理の種類および出力処理の設定条件を示す設定情報を取得する。

制御部２は、入力部７から送信指示が入力されると、選択された画像データを画像形成装置５０に送信する送信処理を通信部５に実行させる。このとき、通信部５は、画像データとともに画像データに対応付けられた設定情報を画像形成装置５０に送信する。さらにこのとき、記憶部３に格納されている携帯端末装置１の機種情報、ユーザ情報を併せて送信する。

記憶部３は、携帯端末装置１の各処理を行うためのプログラムやデータを記憶する。また、画像データを記憶する。この画像データには、撮像部４が撮像して得られた撮像画像データ、外部装置（サーバ装置、画像形成装置を含む）から受信した撮像画像データおよびスキャン画像が含まれる。

さらに、記憶部３は、携帯端末装置１の機種情報、ユーザ情報や処理を行う際に必要なデータを格納する。なお、ユーザ情報とは、携帯端末装置１のユーザを識別する情報であり、例えば、ユーザＩＤおよびパスワードなどである。

撮像部４は、ＣＣＤセンサ、ＣＭＯＳセンサを用いて、対象物の撮像を行い、撮像画像データを生成する。なお、撮像部４は、予め設定された解像度で撮像対象物の撮像を行う。

通信部５は、本実施の形態では、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づく、シリアル転送／パラレル転送、無線データ通信機能を有するものである。通信部５は、ユーザからの入力に従って画像データを画像形成装置５０またはサーバ装置に送信する。

表示部６は、例えば、液晶ディスプレイ等より構成され、各種画像や各種情報の表示を行う。入力部７は、複数のボタンを有しており、ユーザが携帯端末装置１に対する入力等を行うためのものである。ボタンの例としては、シャッターボタンオートフォーカス設定ボタン、露出調整バー、画像読み出しボタン（画像データを記憶部３から読み出すボタン）、条件設定ボタン等である。本実施の形態では、表示部５６と入力部５７とが一体となったタッチパネルとして構成されている。

記録媒体アクセス部８は、携帯端末装置１の各処理を行うためのプログラムが記録された記録媒体１３からプログラムを読み出すブロックである。

さらに、制御部２は、撮像画像判定部２１、第１画像処理部２２、処理判定部２３、表示制御部（表示制御手段）２４として機能する。

第１画像処理部２２は、図２に示すように、Ａ／Ｄ変換処理部６１、幾何学的配置検出部６２、撮像条件検知部６３を備える。Ａ／Ｄ変換処理部６１は、撮像部４が撮像した撮像画像データに対してＡ／Ｄ変換処理を行う。

幾何学的配置検出部６２は、撮像部４が撮像した撮像画像データ、または、ユーザにより選択された記憶部３に記憶されている撮像画像データに対して、エッジ検出・線分抽出・線分の交点算出を行う。具体的には、対象物が矩形状であると仮定して、対象物と背景との境界となるエッジ画素群を抽出することにより、対象物の幾何学的配置（幾何学的歪み）を検出する。このために、幾何学的配置検出部６２は、撮像画像データにおける、エッジ検出、線分抽出、線分の交点算出を行う。

撮像条件検知部６３は、撮像部４が撮像した撮像画像データ、または、ユーザにより選択された記憶部３に記憶されている撮像画像データに対して、撮像画像の位置判定を行う。具体的には、幾何学的配置検出部６２により算出された線分の交点情報より、撮像画像データ内の対象物がすべて撮像画像データ内に収まっているかの位置判定を行う。

撮像画像判定部２１は、第１画像処理部２２の検出結果に基づいて、撮像部４が撮像した撮像画像データ、または、ユーザからの選択指示入力により選択された記憶部３に記憶されている撮像画像データが、適切なデータか否か判定を行う。具体的には、撮像条件検知部６３の判定結果をもとに、撮像画像データ内に、原稿領域を形成する４交点が存在し、幾何学補正が可能であるかを判定する。幾何学補正可能な交点が撮像画像データ内に存在する場合に、該当する撮像画像データは適切であると判定する。

処理判定部２３は、図３に示すように、画像種別判定部（画像種別判定手段）８１および高圧縮ＰＤＦファイル生成判定部（書式変換判定手段）８２を備える。

画像種別判定部８１は、ユーザにより選択された画像データ（入力画像）が、撮像画像であるかスキャン画像であるかを判定する画像種別判処理を実行する。そして、判定結果を画像種別判定信号として出力する。画像種別判定信号は、「撮像画像」、「スキャン画像」、「判定不能」を示す信号のいずれかである。画像種別判処理の詳細については後述する。

高圧縮ＰＤＦファイル生成判定部８２は、選択された画像データが高圧縮ＰＤＦファイル生成（高圧縮ＰＤＦファイルへの変換）に適しているか（可能か）否かを判定する高圧縮ＰＤＦファイル生成判定処理を実行する。そして、結果として、高圧縮ＰＤＦファイル生成判定信号を出力する。

高圧縮ＰＤＦファイル生成判定部８２は、解像度判定部８３および画像判定部８４を備えている。解像度判定部８３は、スキャン画像と判定された画像に対して、解像度に関する特徴量を抽出し、当該特徴量が、解像度が相対的に高いと判定される所定範囲内にあるかを判定する解像度判定処理を実行する。抽出した特徴量が、解像度が相対的に高いと判定される所定範囲内にある場合、スキャン画像と判定された画像データは、高圧縮ＰＤＦファイルの生成に適していると判定する。本実施の形態では、後述のように、解像度に関する特徴量として解像度そのもの用い、解像度が所定閾値より高い場合に、高圧縮ＰＤＦファイルの生成に適していると判定する。

また、画像判定部８４は、撮像画像と判定された画像に対して、ぼやけに関する特徴量を抽出し、当該特徴量がぼやけの程度が相対的に低いと判定される所定範囲内にある場合、撮像画像と判定された画像は、高圧縮ＰＤＦファイルの生成に適していると判定する。

高圧縮ＰＤＦファイル生成判定処理、解像度判定処理、画像判定処理の詳細については後述する。

図４は、処理判定部２３での処理を示すフローチャートである。図４に示すように、処理判定部２３では、ユーザが選択した画像データ、つまり、画像形成装置５０に送信する画像データに対して、画像種別判定処理を実行する（ステップ１、以下はＳ１のように省略する）。画像種別判定処理の結果である画像種別判定信号を判定し（Ｓ２）、画像種別判定信号が「撮像画像」である場合には、解像度判定処理を実行し（Ｓ３）、画像種別判定信号が「スキャン画像」である場合には、画像判定処理を実行し（Ｓ４）、高圧縮ＰＤＦファイル生成判定信号を判定する（Ｓ６）。画像種別判定信号が判定不能である場合そのまま、高圧縮ＰＤＦファイル生成判定信号を判定する（Ｓ６）。高圧縮ＰＤＦファイル生成判定信号が有効の場合には、処理を終了し、高圧縮ＰＤＦファイル生成判定信号が無効の場合には、高圧縮ＰＤＦファイル生成機能の設定を無効にして処理を終了する。なお、画像形成装置５０は、画像データと共に、高圧縮ＰＤＦファイル生成機能の設定を有効にした情報を受信すると、受信した画像データから高圧縮ＰＤＦファイル生成する。

図１に戻り、表示制御部２４は、表示部６での各種情報、各種画像データ等の表示を制御するブロックである。また、表示制御部２４は、記憶部３に格納されている画像データから、ユーザにより選択された画像データを読み出し表示部６に表示し、（ｉ）検出された画像の外枠を表す指示マーク（原稿の外縁を示す線分）と、（ｉｉ）画像が適切に撮像されるか（画像の一部が切り取られることがないか）否かの指示マークとを表示する。なお、（ｉｉ）は、記憶部３に記憶されている撮像画像データが選択された場合は、その撮像画像データが適切に撮像されているか否かの指示マークである。他方、撮像部４にて撮像する場合は、これから撮像される画像に対して適切に撮像される否かの指示マークである。これは、撮像部４からの画像データが、幾何学補正可能である状態の時に、ユーザ操作により撮像を行ったり、一定時間、幾何学補正可能である状態であると判断された時に、自動的に撮像を行ったりする場合もあるからである。

ここで、表示制御部２４は、記憶部３から選択された画像データを表示する場合は、処理判定部２３の画像種別判定部８１より出力される画像種別判定信号が、「スキャン画像」である場合には、上記（ｉ）および（ｉｉ）の表示を行わないように制御する。上記（ｉ）および（ｉｉ）は、撮像画像データの撮像時に検出された結果を用いる。上記（ｉ）あるいは（ｉｉ）に関する情報を有していない撮像画像データについては算出して求めるが、この算出については後述する。

＜ファイルフォーマットの認識＞
上記した制御部２のファイルフォーマットの認識について説明する。制御部２は、記憶部３に保存されたファイルのヘッダを解析して、ファイルフォーマットの認識を行う。ＰＤＦファイルの場合、ファイル内にＪＰＥＧデータが含まれているかを、ファイル内にＤＣＴＤｅｃｏｄｅモードで圧縮されているオブジェクトが存在するかを確認することで行う。存在する場合は、そのオブジェクトのｓｔｅｒａｍコマンドで指定されたバイナリデータを、ＪＰＥＧデータとして、処理判定部２３での処理、高圧縮ＰＤＦファイル生成判定部８２での処理を行うように制御する。参考として、図１８に、ＪＰＥＧデータを含むＰＤＦファイル内の一部を示す。

図１１は、記憶部に保存されたファイルのファイルフォーマットを認識する方法のフローチャートである。各種フォーマットはファイル先頭部に特徴的なバイト列を有していることが多いため、ファイルの先頭のバイト列を確認することによりファイル種別を簡易的に認識することができる。

図１１に示すように、制御部２は、ファイル先頭のバイト列を取得し（Ｓ１１）、ファイルが十六進数0x49、0x49、0x2A、0x00で始まっているかを判定する（Ｓ１２）。Ｓ１２にてＹＥＳの場合、ＴＩＦＦ画像ファイルと判定し（Ｓ１３）、Ｓ１２にてＮＯの場合、ファイルが十六進数0x4D、0x4D、0x00、0x2Aで始まっているかを判定する（Ｓ１４）。Ｓ１４にてＹＥＳの場合、ＴＩＦＦ画像ファイルと判定（Ｓ１３）、Ｓ１４にてＮＯの場合、ファイルが十六進数0xFF、0xD8で始まっているかを判定する（Ｓ１５）。Ｓ１５にてＹＥＳの場合、ＪＰＥＧ画像ファイルと判定し（Ｓ１６）、Ｓ１５にてＮＯの場合、ファイルが十六進数0x25、0x50、0x44、0x46で始まっているかを判定する（Ｓ１７）。Ｓ１７にてＹＥＳの場合、ＰＤＦファイルと判定し（Ｓ１８）、Ｓ１７にてＮＯの場合、処理付加ファイルと判定する（Ｓ１９）。

つまり、
（１）ファイルが十六進数0x49、0x49、0x2A、0x00で始まっている場合、ＴＩＦＦ画像ファイルと判断
（２）ファイルが十六進数0x4D、0x4D、0x00、0x2Aで始まっている場合、ＴＩＦＦ画像ファイルと判断
（３）ファイルが十六進数0xFF、0xD8で始まっている場合、ＪＰＥＧ画像ファイルと判断
（４）ファイルが十六進数0x25、0x50、0x44、0x46で始まっている場合、ＰＤＦファイルと判断
（５）上記（１）〜（４）のいずれでもない場合、処理不可ファイルと判断
するということである。

＜画像種別判定処理＞
上記した画像種別判定部８１による画像種別判定処理について具体的に説明する。画像種別判定処理は、以下の（１）〜（４）に従い実行される。
（１）選択された画像データの縦横サイズを取得し、長辺サイズ÷短辺サイズによりアスペクト比を取得する。選択された画像データの縦横サイズは、画像データのヘッダに格納されている画素数より算出する。
（２）一般的なカメラ撮像画像のアスペクト比(１６：９または、４：３)と比較を行う。ここで、選択画像サイズのアスペクト比が、図５に示すアスペクト比の範囲内の場合は、カメラ撮像画像と判断する。
（３）上記（２）にてカメラ撮像画像と判断されなかった場合は、一般的な複合機やスキャナで用いられる画像サイズのアスペクト比と比較を行う。ここで、選択画像サイズのアスペクト比が図６に示すアスペクト比の範囲内の場合は、スキャン画像と判断する。
（４）上記（２）および（３）のいずれの条件も満たさない場合は、判定不能信号を出力する。

＜高圧縮ＰＤＦファイル生成判定処理＞
上記した高圧縮ＰＤＦファイル生成判定部８２による高圧縮ＰＤＦファイル生成判定処理について具体的に説明する。高圧縮ＰＤＦファイル生成判定処理は、画像種別判定部８１による画像種別判定の結果、「スキャン画像」、「撮像画像」、「判定不能」に応じて以下のように実施される。

（１）スキャン画像の場合
画像種別判定の結果が「スキャン画像」の場合、解像度判定部８３が以下のように解像度判定処理を実行する。

（１−１）選択された画像データ（入力画像）より解像度情報（解像度）を取得する。画像データがＴＩＦＦファイル（画像データのファイルフォーマットがＴＩＦＦファイル）の場合は、ＴＩＦＦファイル内のXResolutionタグ（解像度単位）、YResolutionタグ（横方向解像度）、ResolutionUnitタグ（縦方向解像度）を参照し、ＪＰＥＧファイルの場合は、ファイル内に含まれるＪＦＩＦ情報より、units（解像度単位）、Xdensity（横方向解像度）、Ydensity（縦方向解像度）情報を参照することによって、解像度情報を取得することが可能である。

（ＴＩＦＦファイルの場合）
（ｉ）ResolutionUnitタグ＝１ｏｒ２である場合、XResolution、YResolutionをそのまま解像度情報とする。
（ｉｉ）ResolutionUnitタグ＝３（解像度単位がｄｐｃｍ（dot per centimeter）のため、変換が必要）である場合、XResolution×２．５４、YResolution×２．５４を解像度情報とする。

（ＪＰＥＧファイルの場合）
（ｉ）units＝０ｏｒ１である場合、Xdensity、Ydensityをそのまま解像度情報とする。
（ｉｉ）units＝２（解像度単位がｄｐｃｍのため、変換が必要）である場合、Xdensity×２．５４、Ydensity×２．５４を解像度情報とする。

縦方向と横方向とで解像度情報が異なる場合は、解像度が小さいほど、高圧縮ＰＤＦファイル生成に不適な画像であると考えられるため、小さいほうの解像度情報を用いて、以下の判定処理を行う。

（１−２）解像度情報が、例えば、２００ｄｐｉ未満の場合は、高圧縮ＰＤＦファイル生成に不適な画像であると判断し、高圧縮ＰＤＦファイル生成判定信号を出力する。２００ｄｐｉ以上の場合は、高圧縮ＰＤＦファイル生成可能な画像であると判断し、高圧縮ＰＤＦファイル生成判定信号を出力する。低解像度画像の場合に、高圧縮ＰＤＦファイル生成に不適であると判定しているのは、次の理由からである。高圧縮ＰＤＦファイル生成処理において、解像度が低くなるほど、文字部を前景マスクとして抽出する精度が低下し、それに伴い、文字部が背景レイヤーと判定されやすくなる。背景レイヤーは高圧縮率で圧縮処理されため、背景レイヤーと判定された文字部の画質が、解像度が高い画像と比較して、劣化してしまう。よって、不適であると判定する。また、処理不可ファイル（上記の制御部２の説明を参照）の場合、解像度情報を取得することができないため、判定不能とする。

（２）撮像画像の場合
画像種別判定の結果が「撮像画像」の場合、画像判定部８４が以下のように画像判定処理を実行する。

（２−１）ＲＧＢの画像データを輝度データに変換し、隣接画素の差分値の絶対値を求める。ＲＧＢの画像データの輝度データへの変換は後述する信号変換部と同様である。輝度データの代わりに、明度データ、あるいは、Ｇデータを用いてもよい。差分値の絶対値は、画素毎に求める。

（２−２）差分値の絶対値の平均値を求める。

（２−３）差分値の絶対値の平均値が閾値（例えば、６４）より大きい場合、画像のぼやけは少ないと判断する。

画像にぼやけが生じるとエッジがぼやけるため、隣接画素の差分値の絶対値は小さくなり、隣接画素の差分値の絶対値の平均値も小さくなる。よって、隣接画素の差分値の絶対値の平均値を閾値処理することにより、画像のぼやけを判断することができる。画像のぼやけは、携帯端末装置で撮像する際の、手ぶれや撮像対象物に焦点が合っていない場合に発生する。

ここで、画像のぼやけが少ないと判断された場合は、高圧縮ＰＤＦファイル生成可能な画像であると判定し、高圧縮ＰＤＦファイル生成判定信号を出力する。そうでない場合は、高圧縮ＰＤＦファイル生成に不適な画像であると判定し、高圧縮ＰＤＦファイル生成判定信号を出力する。画像がぼやけていると、高圧縮ＰＤＦファイル生成に不適であると判定しているのは、次の理由からである。高圧縮ＰＤＦファイル生成処理において、画像がぼやけていると、文字部を前景マスクとして抽出する精度が低下し、それに伴い、文字部が背景レイヤーと判定されやすくなる。背景レイヤーは高圧縮率で圧縮処理されため、背景レイヤーと判定された文字部の画質がぼやけていない画像と比較して、劣化してしまう。よって、不適であると判定する。

（３）判定不能の場合
画像種別判定の結果が「判定不能」の場合、高圧縮ＰＤＦファイル生成判定行うことができない。そのため、ユーザ設定に基づいて、高圧縮ＰＤＦファイル生成処理を実行するために、高圧縮ＰＤＦファイル生成可能な画像であると判断し、高圧縮ＰＤＦファイル生成判定信号を出力する。判定不能の場合、ファイルフォーマットとして、ＰＤＦファイルあるいは高圧縮ＰＤＦファイルの何れを選択するかを、ユーザに促す画面を表示部６に表示する。

＜検出された画像の外枠を表す指示マーク、および、画像が適切に撮像されるか否かの指示マークの情報の取得＞
上記した表示制御部２４は、（ｉ）検出された画像の外枠を表す指示マークと、（ｉｉ）画像が適切に撮像されるか否かの指示マークとについて、これらの情報を下記（１）〜（６）に示す方法を用いて算出する。下記方法は、撮像部４による撮像時に実施される処理である。

（１）選択された画像より、エッジ画素の抽出を行う。エッジ画素の抽出には、例えば、Ｃａｎｎｙフィルタを適用して抽出し、エッジ画素を「１」とし、非エッジ画素を「０」とするエッジ画像を生成する。

（２）連結したエッジ画素の領域（連結エッジ領域）ごとに異なるラベルを付すラベリング処理を行う。

（３）ラベル付けがされた連結エッジ領域の中から、撮像対象物（例えば、原稿）と背景との境界を含む領域の候補（特徴領域、撮像対象物が原稿の場合には、原稿を示す領域）を抽出する。

（４）画像によっては、撮像対象物と背景との境界以外のエッジ画素が特徴領域として抽出される場合もあるため、特徴領域の中から、矩形の撮像対象物と背景との境界となる四角形の上辺、左辺、右辺、下辺を構成する、線分状に連なるエッジ画素群を抽出し、エッジ画素群の近似直線を特定する処理（直線抽出処理）を行う。

（５）上記（４）で求めた直線の式に基づいて、交点座標を求める。

（６）上記４つの頂点座標を結ぶ四角形の線を撮像対象物の輪郭線として画像に重ねて表示する。ここで、４つの辺に対する情報が全て抽出され、３つの頂点座標が撮像範囲内であり、１つの頂点座標が撮像範囲外である場合、撮像対象物の一部（一角）が撮像できないことを示す第１欠落情報（第１のアイコン）を表示する。さらに、抽出結果が４つの頂点座標を含み、辺を抽出することができなかったことを表す抽出不可情報を含む場合、４つの頂点座標が撮像範囲内であるか否かを判断し、全ての頂点座標が撮像範囲内であれば、撮像対象物の一部（一辺）が撮像できないことを示す第２欠落情報（第２のアイコン）を表示する。ここで、「第１のアイコン」および「第２のアイコン」の両方とも、画像が適切に撮像されないことを意味する指示マークとなるものである。全ての頂点座標が撮像範囲内であれば、撮像対象物が撮像範囲内であることを示す情報（例えば、「ＯＫ」）を表示する。

３．画像形成装置
画像形成装置５０の構成について説明する。本実施の形態では、画像形成装置５０は、スキャナ、プリンタ、複写機等の機能を備えた複合機である。

図７は、画像形成装置５０の構成を示すブロック図である。図７に示すように、画像形成装置５０は、制御部５２、記憶部５３、画像読取部５４、画像形成部５５、表示部５６、入力部５７、第１通信部５８、第２通信部５９、および記録媒体アクセス部６０を備えている。

制御部５２は、画像形成装置５０が有する各ブロックを統括的に制御する。制御部５２は、携帯端末装置１における制御部同様、記憶部５３に保存されたファイルのヘッダを解析して、ファイルフォーマットの認識を行う。ＴＩＦＦファイルの場合、タグを調べることにより、２値であるか多値であるかを判定し、２値である場合は、後述の、高圧縮ＰＤＦファイル生成処理を行わないように制御する。

また、制御部５２は、受信した画像データに対して所定の画像処理を行う第２画像処理部（画像処理手段）１４と、認証部１５として機能する。第２画像処理部１４ついては、後述する。

認証部１５は、携帯端末装置１から受信した画像データの出力処理を行う際に、ユーザ認証を行う。具体的には、認証部１５は、携帯端末装置１から受信したユーザ情報と、入力部５７から入力されたユーザ情報（ユーザＩＤおよびパスワード）とを照合してユーザ認証を行う。

記憶部５３は、画像形成装置５０で使用される各種プログラムや各種データ等を記憶する。

画像読取部（スキャナ）５４は、原稿を読み取るブロックである。画像読取部５４は、ＣＣＤ（Charge Coupled Device）を備え、原稿からの反射光を、ＲＧＢに色分解された電気信号（アナログの画像信号）に変換し、この電気信号を出力する。

画像形成部５５は、例えば電子写真方式やインクジェット方式を用いて、紙などの記録用紙上に画像を形成するブロックである。すなわち、画像形成部２０４は、出力処理の一つとして、補正済の画像データで示される画像を用紙やシートなどの記録紙に印刷する印刷処理を実行するブロックである。

表示部５６は、例えば、液晶ディスプレイ等より構成され、各種画像や各種情報の表示を行うブロックである。入力部５７は、複数のボタンを有しており、ユーザがデータの入力等を行うためのものである。表示部５６と入力部５７とが一体となったタッチパネルとして構成されていてもよい。

第１通信部５８は、本実施の形態では、ＵＳＢ１．１またはＵＳＢ２．０の規格に基づく、シリアル転送やパラレル転送、無線データ通信機能を有するものである。第１通信部５８は、携帯端末装置１から、設定情報が付加された画像データを受信する。

第２通信部５９は、（ａ）無線ＬＡＮの規格である、ＩＥＥＥ８０２．１１ａ、ＩＥＥＥ８０２．１１ｂおよびＩＥＥＥ８０２．１１ｇのいずれかに基づく無線技術を利用したデータ通信、（ｂ）イーサネット（登録商標）を利用した通信用インターフェースの機能を有し、ＬＡＮケーブルを介した、ネットワークとのデータ通信、（ｃ）無線通信規格である、ＩＥＥＥ８０２．１５．１（いわゆるＢｌｕｅｔｏｏｔｈ（登録商標））やＩｒＳｉｍｐｌｅなどの赤外線通信規格、Ｆｅｌｉｃａ（登録商標）などの通信方式のいずれかに基づく無線技術を利用したデータ通信の機能を有するものである。

第２通信部５９は、出力処理として、第２画像処理部１４により所定の画像処理が施された画像データをサーバ装置に格納するファイリング処理、もしくは、当該所定の画像処理が施された画像データを添付したメールをメールサーバ装置に送信するメール送信処理を実行する。

記録媒体アクセス部６０は、プログラムが記録された記録媒体１３０から、プログラムを読み出すブロックである。

３−１．第２画像処理部
第２画像処理部について説明する。第２画像処理部１４は、受信した画像データに対して所定の画像処理を行う。第２画像処理部１４は、図８に示すように、画質調整部６４、幾何学補正部６５、レンズ歪み補正部６６、高解像化処理部６７、原稿検知部６８、原稿補正部６９、ファイル生成部７０、出力処理部７１を備える。

画質調整部６４は、入力された画像データに対して、カラーバランス、コントラストおよび明るさの補正を行う。

幾何学補正部６５は、ユーザにより幾何学補正が設定（選択）された場合に、画像データに対して幾何学補正を行う。具体的には、ポスターや原稿用紙のような矩形状の画像データ内の対象物に対して、文書画像が形成された平面の法線方向とは異なる方向から撮像することによる画像データ内の対象物の歪み（すなわち、画像が形成された矩形状の平面の歪み）を補正する。

レンズ歪み補正部６６は、ユーザにより幾何学補正が設定された場合に、画像データのレンズ歪みを補正する。例えば、画像データにおける画像データ内の対象物のエッジ画素をラスター走査によって順次検出し、検出されたエッジ画素を曲線近似し、その曲線の式からレンズひずみ補正を行う。

高解像化処理部６７は、出力対象となる１つの画像データに基づいて、出力対象となる画像データに対する高解像化補正を行う。１つの画像からの高解像度画像作成方法に関しては、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）にいくつかの方法が紹介されている。一般的には、画像パターンのエッジ方向性を検知・推定し、その向きに合わせた補間（エッジ方向補間処理）を行うとともに、補間によるひずみや入力画像に存在したノイズ成分の影響などの除去を目的とした高画質化処理からなる。エッジ方向補間処理については後述する。

原稿検知部６８は、画像データについて、原稿の傾きや天地方向の検知を行う。原稿検知部６８は、図９に示すように、信号変換部６４１、２値化処理部６４２、解像度変換部６４３、原稿傾き検知部６４４、天地方向検知部６４５を備える。

信号変換部６４１は、ＲＧＢのカラー画像データを輝度信号に変換する。変換の式は次の通りである。
Ｙｉ＝０．３０Ｒｉ＋０．５９Ｇｉ＋０．１１Ｂｉ
ここで、Ｙ：各画素の輝度信号、Ｒ，Ｇ，Ｂ：各画素の各色成分の値、ｉ：画素毎に付与された値（ｉは１以上の整数）、である。

信号変換部６４１は、または、ＲＧＢ信号をＣＩＥ１９７６Ｌ^*ａ^*ｂ^*信号（ＣＩＥ:Commission International de l'Eclairage、Ｌ^*：明度、a^*,ｂ^*:色度）に変換してもよく、あるいは、Ｇ信号を用いてもよい。

２値化処理部６４２は、画像データを２値化する。画像データが８ビットの場合、例えば、閾値を１２８とする。あるいは、複数の画素（例えば、５×５）よりなるブロックも濃度（画素値）の平均値を閾値とする。

解像度変換部６４３は、２値化された画像データの解像度を低解像度化する。例えば、１２００ｄｐｉ、６００ｄｐｉで読み込まれた画像データを３００ｄｐｉに変換する。解像度変換の方法は、公知のニアレストネイバー法、バイリニア法、バイキュービック法等を用いて行う。原稿傾き判定部には、３００ｄｐｉの画像データを出力する。

原稿傾き検知部６４４は、原稿の傾きを検知する。なお、上記幾何学補正が実行される際には、本処理は実施されない。傾き検知方法の例は、後述する。天地方向検知部６４５は、原稿の天地方向を検知する。天地方向の検知方法の例は、後述する。

図８に戻り、原稿補正部６９は、画像データについて、原稿の傾き補正および天地方向補正を行う。原点を中心に、反時計まわりに角度θだけ、傾き補正した場合の補正前後の座標の関係は以下の式で表される。そこで、原稿補正部６９は、以下の式を用いて原稿の傾き補正を行う。なお、補正前座標（Ｘ，Ｙ）、補正後座標（Ｘ’，Ｙ’）である。

原点を中心に、反時計まわりに角度９０°、１８０°、２７０°回転する場合の回転前後の座標の関係は、以下の式で表される。そこで、原稿補正部６９は、以下の式を用いて原稿の天地方向補正を行う。なお、回転前座標（Ｘ，Ｙ）、回転後座標（Ｘ’，Ｙ’）である。

（９０°回転時）
Ｘ’＝オリジナル画像Ｙ方向サイズ−１−Ｙ
Ｙ’＝Ｘ
（１８０°回転時）
Ｘ’＝オリジナル画像Ｘ方向サイズ−１−Ｘ
Ｙ’＝オリジナル画像Ｙ方向サイズ−１−Ｙ
（２７０°回転時）
Ｘ’＝Ｙ
Ｙ’＝オリジナル画像Ｘ方向サイズ−１−Ｘ
ファイル生成部７０は、画像データからＰＤＦファイルを生成する（画像データをＰＤＦファイルに変換する）処理を行うブロックである。ファイル生成部７０は、図１０に示すように、文字認識部７０１、描画コマンド生成部７０２、フォーマット化処理部７０３を備える。

文字認識部７０１は、原稿検知部６８から出力された、低解像度（例えば、３００ｄｐｉ）の白黒２値データを用いて、画像データの特徴量を抽出し、辞書データ（文字データベース）と比較して文字認識を行う。

描画コマンド生成部７０２は、文字認識部７０１の文字認識結果を透明テキストとし、配置するための命令を生成する。

フォーマット化処理部７０３は、表示用の画像処理が施された画像データをＰＤＦファイル形式に変更するとともに、描画コマンドに基づいて、透明テキストを画像データに埋め込む。なお、携帯端末装置１から受信した設定情報に通常のＰＤＦファイルを指定する情報が含まれている場合、つまり、出力ファイル形式が通常のＰＤＦファイルの場合には、ページ毎の画像データは、全体を一つのＪＰＥＧ画像として圧縮され、ＰＤＦ形式のファイルに埋め込まれる。また、携帯端末装置１から受信した設定情報に高圧縮ＰＤＦファイル生成機能の設定が有効になった情報が含まれている場合、つまり、出力ファイル形式が高圧縮ＰＤＦファイルの場合には、文字領域の画像データは文字が判読しやすい解像度（たとえば３００ｄｐｉ）のＭＭＲ圧縮画像として色毎に圧縮され、文字領域以外の画像データは文字領域よりも低い解像度（たとえば１５０ｄｐｉ）のＪＰＥＧ画像として圧縮され、ＰＤＦ形式のファイルに埋め込まれる。

フォーマット生成部７０２で処理された高圧縮ＰＤＦファイルあるいはＰＤＦファイルは、記憶部５３に記憶される。

出力処理部７１は、画像データを出力（印刷、ファクシミリ送信、e-mail等のイメージ送信、ファイリング等）する際、領域分離処理、色補正、黒生成下色除去処理、空間フィルタ処理、中間調処理部等の出力処理を実行するブロックである。

なお、画像形成装置５０は、認証部１５、高解像化処理部６７は備えていなくてもよい。また、携帯端末装置１はユーザにより選択された画像データを図示しない画像表示装置（ディスプレイ）に送信し、画像表示装置にて上記で説明した画像形成装置５０での処理を行うようにしてもよい。上記処理を画像表示装置で実現する場合は、画像形成装置５０は、図７の画像形成部５５および画像読取部５４を備えていなくてもよい。

＜エッジ方向補間処理＞
上記した高解像化処理部６７にて行うエッジ方向補間処理について、図１５〜１７を用いて説明する。図１７は、エッジ方向補間処理の一例を示すフローチャートである。

まず、入力画像のエッジ画像を生成する（Ｓ５１）。例えば、図１５の１次微分フィルタを用いてエッジ抽出を行い、２値化処理を行う。そして、着目画素がエッジか否かを判定する（Ｓ５２）。上記した２値化処理により生成された２値化画像で画素値が１であればエッジとする。エッジと判定されない場合は（Ｓ５２にてＮＯ）、一般的な補間法（バイリニア・バイキュービックなど）を用いて補間画素値を演算により求める（Ｓ５４）。エッジと判定された場合は（Ｓ５２にてＹＥＳ）、着目画像を含む部分画像Ｎ×Ｎ（Ｎ＞１）を用いて、エッジの向きを抽出し（Ｓ５３）、この結果に応じて補間するべき画素値の演算を行う（Ｓ５４）。補間画素値の演算後には、補間画像データを出力する（Ｓ５５）。

図１６は、補間画素の画素値の決定方法の例を示す図である。図１６に基づき、エッジ方向に応じた補間画素の演算について説明する。図１６に示す例では、Ｎ＝３で左上〜右下にかけて(i)から(ix)が入力画素であるとし、中央が着目画素(v)で、水平・垂直方向に各々２倍の解像度変換をする事例である。そして、着目画素の左上の画素Ａ、着目画素の上の画素Ｂ、着目画素の左の画素Ｃが、求めるべき補間画素である。図１６において、エッジ方向は点線で示されている。図１６の（ａ）は、左上から右下方向のエッジが存在する場合であり、（ｂ）は水平方向のエッジ、（ｃ）は右上から左下方向のエッジ、（ｄ）は垂直方向のエッジが存在する場合である。それぞれの場合において、エッジ方向に沿った画素のみを用いて、補間するべきＡ、Ｂ、Ｃの位置の画素値を算出する。例えば、図１６の（ａ）の場合、基準画素(i)、(v)、(ix)がエッジ画素であり、これらの画素を結ぶ線がエッジ線となる。そして、エッジ線上の補間画素Ａの画素値ＶＡ（図中では「Ｖ」の表記を省略している。以下同じ）について、補間画素Ａに隣施するエッジ線上の基準画素(i)（画素値Ｖ(i)）および基準画素(v)（画素値Ｖ(v)）の画素値を用いて、以下の式
ＶＡ＝（Ｖ(i)＋Ｖ(v)）／２
により求める。

一方、エッジ線上ではない補間画素Ｂ、Ｃについては、エッジ線上の基準画素を除く基準画素のうちの、当該補間画素に最も近い基準画素（最近接基準画素）を含み、エッジ方向に平行な線上の基準画素を用いて補間する。例えば、図１６の（ａ）では、補間画素Ｂについては、最近接基準画素である基準画素(ii)を含み、エッジ方向に平行な線は、基準画素(ii)と(vi)とを結ぶ線である。そして、補間画素Ｂから当該線に垂直に下した点は、基準画素(ii)と(vi)とを結ぶ線分を内分する。そのため、補間画素Ｂの画素値ＶＢは、以下の式
ＶＢ＝（９×Ｖ(ii)＋４×Ｖ(vi)）／１３
を用いて求める。

同様に、補間画素Ｃの画素値ＶＣは、最近接基準画素である基準画素(iv)と、当該基準画素(iv)を含みエッジ方向に平行な線上の基準画素(viii)との画素値を用いて、以下の式
ＶＣ＝（９×Ｖ(iv)＋４×Ｖ（viii））／１３
により求める。水平方向のエッジ、右上から左下方向のエッジ、垂直方向のエッジについても、上記と同様の考え方で補間画素を求めることができる。上記各エッジの方向に対して補間画素Ａ、Ｂ、Ｃを算出する式を図１６の（ｂ）〜（ｄ）に示す。

なお、図１６では、エッジ方向が直線状である場合のみ示している。しかしながら、エッジは、Ｎ×Ｎの部分画像内において曲がる場合もある。例えば、エッジが基準画素(ii)−(v)−(iv)のように曲がる場合、補間画素Ａについては図１６の（ｄ）と同様に、補間画素Ｂについては図１６の（ｂ）と同様に、補間画素Ｃについては図１６の（ｄ）と同様の計算式を用いて演算を行う。また、エッジが基準画素(i)−(v)−(vii)のように曲がる場合、補間画素Ａについては図１６の（ａ）と同様に、補間画素Ｂについては図１６の（ａ）と同様に、補間画素Ｃについては図１６の（ｃ）と同様の計算式を用いて演算を行う。このようにして、エッジ画素と判定された基準画素の周囲に位置する補間画素の画素値を求める。

着目画素がエッジでない場合は、当該着目画素の左上に隣接する補間画素Ａ，当該着目画素の上に隣接する補間画素Ｂ，当該着目画素の左の補間画素Ｃの画素値を、一般的な補間演算法（バイリニア・バイキュービックなど）により求める。

上記した処理を、一つの画像データに含まれる全ての基準画素について実行することで、基準画素と補間画素との両方を備える補間画像データを生成する。

その後、生成した補間画像データに対して高画質化処理を行う。例えば、ノイズ除去フィルタや鮮鋭化フィルタなどを補間画像データに適用して、高解像度画像データを生成する。例えば、従来からあるアンシャープマスクや、図１５の中央の係数を５とした鮮鋭化フィルタを使用することができる。また、ノイズ除去としてはメディアンフィルタなどが広く知られている。より高度な手法として、上記エッジ保存性と高画質化を併せ持つ手法としてBilateralフィルタ［Proceedings of the 1998 IEEE International Conference on Computer Vision,］などが報告されている。

なお、上述した方法に限定されず、映像情報メディア学会誌Vol.62、No.2、pp.181〜189（2008）に記載されているような種々の方法を用いて、１つの撮像画像データから高解像度画像データを生成してもよい。

＜原稿傾き検知＞
上記した原稿検知部６８の原稿傾き検知部６４４での原稿の傾きを検知する処理の一例について説明する。本実施の形態では、特開平７−１９２０８６号公報に記載の方法を用いる。まず、２値化された画像データより、黒画素と白画素との境界点を複数個抽出し、各境界点の点列の座標データを求める。黒画素と白画素との境界は、例えば、各文字の上端における白／黒境界点の座標を求め記憶する。そして、点列座標データを参照して、この点列座標から回帰直線を求め、その回帰係数ｂを以下の式にて計算して記憶する。

ここでＳｘ，Ｓｙはそれぞれ変量ｘとｙの残差平方和で、Ｓｘｙはｘの残差とｙの残差との積の和である。すなわち、以下の式にて表わされる。

回帰係数ｂより画像の傾き角度（θ）を、以下の式によって算出する。
ｔａｎθ＝ｂ
＜原稿天地方向検知＞
上記した原稿検知部６８の天地方向検知部６４５での原稿の天地方向を検知する処理の一例について説明する。本実施の形態では、特開平６−１８９０８３号公報に記載の方法を用いる。まず、文字認識を行い、原稿内の一文字、一文字を切り出し、その文字をパターン化する。処理は、白黒２値、３００ｄｐｉのデータを用いて行う。次に、文字パターンの特徴とデータベース化された文字パターン情報を比較する。マッチングの方法としては、データベース化された文字パターンに切り出された文字パターンを重ね合わせ、画素ごとの白黒を比較し、全てが合致したときのデータベース化された文字パターンを入力パターンの文字であると判別する。全てが合致する文字パターンがない場合、マッチングする画素が最も多い文字パターンの文字であると判別する。なお、所定のマッチング割合に達しなければ判別不能と判断する。そして、切り出された文字パターンを９０°、１８０°、２７０°回転させ、上記の処理を繰り帰す。また、上記で得られた文字パターンの回転角毎の判別可能な文字数の比較を行い、判別可能な文字数が最も多い回転角を文字の方向とし原稿の天地判断を判定する。

＜高圧縮ＰＤＦファイル生成処理＞
上記したファイル生成部７０のフォーマット化処理部７０３にて実行される高圧縮ＰＤＦファイル生成処理について説明する。高圧縮ＰＤＦファイル生成処理として、以下の（１）〜（４）が実行される。

（１）入力画像から文字画素を表す前景マスクを抽出する前景マスク生成処理を行う。この処理としては、領域分離処理において、文字領域であると判定された画素を２値化し文字画素を抽出する。

（２）前景画素色をインデックス化し、インデックス画像を表す前景レイヤーと、前景レイヤーの各文字色、および各文字色領域の最大・最小座標、各インデックスに属する画素数を格納した前景インデックスカラーテーブルを生成する前景色インデックス化処理を行う。この処理としては、特開２００２−９４８０５号公報に記載されている方法を用いることができる。これは、前景色のインデックス化処理に関する方法であり、前景レイヤー生成時に全ての前景画素を限られた色数で表す方法である。詳細には、前景画素について、前景インデックスカラーテーブルを更新していくことで、最終的に前景画像のインデックス化を行う。各前景画素について、前景画素色が既に前景インデックスカラーテーブルに登録されていると判断された場合、前景インデックスカラーテーブル内で、最も近い色を有するインデックス値を割り当てる。前景画素色が前景インデックスカラーテーブルに登録されていないと判断された場合は、新規インデックス値を割り当て、前景インデックスカラーテーブルに登録する。上記処理を繰り返すことにより、前景画像をインデックス化する。

（３）入力画像から前景画素を取り除いて、背景レイヤーを生成する処理である背景レイヤー生成処理を行う。背景レイヤーの圧縮率を向上するために、前景画素周辺の前景画素でない周辺背景レイヤー画素を用いて穴埋め処理を行う。前景画素周辺の前景画素でない背景画素を参照し、その背景画素の平均値を用いて、背景レイヤー前景画素部を穴埋めする。また、近傍に前景画素でない背景画素が存在しない場合、近傍穴埋め処理結果を用いる。また、穴埋め処理が施された画像に対して、単純間引き、ニアレストネイバー、バイリニアまたはバイキュービック等の補間処理を行うことにより、背景画像の低解像度化処理を行うようにしても良い。例えば、入力画像の解像度を１／２の解像度にする。

（４）入力される前景レイヤーと、前景色インデックス化処理にて生成された座標情報を用いて、各インデックスの２値化画像を出力する２値画像生成処理を行う。

各レイヤーに適切な圧縮処理を適用する。前述の通り、前景レイヤーは、ＭＭＲ（Modified Modified Read、可逆圧縮技術）を用いて圧縮する。一方、背景レイヤーはＪＰＥＧ（Joint Photographic Experts Group、非可逆圧縮技術）を用いて圧縮する。

４．画像処理システムでの処理の流れ
次に、本実施の形態の画像処理システムでの処理の流れについて説明する。

入力部７からのユーザによる指示入力により、携帯端末装置１の記憶部３に格納されている画像データを、表示部６にてサムネイル表示、あるいは、１枚ずつ表示する。または、撮像部４で撮像された画像データを表示部６にて表示する。入力部７からのユーザによる指示入力により表示された画像データが選択され、送信先のアドレスが設定される（記憶部３に記憶されているアドレスが選択される、あるいは、アドレスが直接入力される）と、通信部５から送信先に送信される。選択された画像データは、記憶部３に格納されている画像データ、あるいは撮像部４で撮像した画像データである。送信先としては、画像形成装置５０、あるいは、図示しない、サーバ装置、画像表示装置等がある。

上記選択された画像データ（選択画像）に対する処理を説明する。図１２の（ａ）は、画像処理システム全体での処理、（ｂ）は、携帯端末装置１での処理、（ｃ）は、画像形成装置５０での処理を示すフローチャートである。

始めに、処理が開始されると、携帯端末装置１は、下記の各処理（Ａ）〜（Ｅ）を行うか否かの設定を行い、設定情報を作成する（Ｓ２１）。ここでは、ユーザが携帯端末装置１の入力部７から、下記の各処理（Ａ）〜（Ｅ）を行うか否か選択入力することで、設定が行われる。
（Ａ）高圧縮ＰＤＦファイル生成
（Ｂ）サーチャブルＰＤＦファイル生成
（Ｃ）幾何学補正、または、傾き補正
（Ｄ）高画質化
（Ｅ）天地方向補正
各処理の設定が行われ設定情報が作成されると、携帯端末装置１での処理が実行される（Ｓ２２）。具体的には、図１２の（ｂ）に示すように、携帯端末装置１は、順次、画像を選択し（Ｓ３１）、選択画像の画像種別を判定し、画像種別に応じた高圧縮ＰＤＦファイル生成判定処理を行うことで、選択画像が高圧縮ＰＤＦファイル生成に適しているか否かを判定する（Ｓ３２）。高圧縮ＰＤＦファイル生成に不適と判定された場合は（Ｓ３２にてＮＯ）、Ｓ２１の設定にて高圧縮ＰＤＦファイル生成機能が設定されている場合には、設定情報における高圧縮ＰＤＦファイル生成機能の設定を無効（ＯＦＦ）とし（Ｓ３３）、選択画像と各種情報（幾何学補正情報、携帯端末装置の機種情報、ユーザ情報、設定情報）とを画像形成装置５０に送信する（Ｓ３４）。

ここで、幾何学補正情報は、前述した４個の交点座標の情報である。設定情報は、上記したように、例えば、高圧縮ＰＤＦファイル生成機能の設定のＯＮまたはＯＦＦ等の、ユーザにより設定される情報である。また、携帯端末装置１の機種情報は、画像形成装置５０の第２画像処理部１４の画質調整部等でのパラメータの切り替え等、撮像された端末毎に処理またはパラメータを切り替えるために使用される。

高圧縮ＰＤＦファイル生成に適していると判定された場合は（Ｓ３２にてＹＥＳ）、そのまま、選択画像と各種情報（幾何学補正情報、携帯端末装置の機種情報、ユーザ情報、設定情報）とを画像形成装置５０に送信する（Ｓ３４）。そして、全ての選択画像についての処理が完了したかを判定し（Ｓ３５）、完了していない場合には（Ｓ３５にてＮＯ）、Ｓ３２から繰り返す。完了した場合には（Ｓ３５にてＹＥＳ）、携帯端末装置１での処理を終了し、図１２の（ａ）のＳ２３に進む。

Ｓ２３では、画像形成装置５０での処理が実行される。具体的には、図１２の（ｃ）に示すように、画像形成装置５０は、携帯端末装置１より選択画像を受信する（Ｓ４１）。このとき、設定情報を含む各種情報についても受信する。次に、ユーザ設定に応じて、カラーバランス、コントラスト、明るさ補正を行う（Ｓ４２）。そして、設定情報に含まれている情報が幾何学補正であるか傾き補正であるかを判定し（Ｓ４３）、幾何学補正である場合は、幾何学補正を行い（Ｓ４４）、傾き補正である場合は、傾き検知及び補正を行う（Ｓ４５）。その後、高解像化補正を行い（Ｓ４６）、補正後の画像を記憶部５３に格納する。その後、図１２の（ａ）のＳ２４に進む。

図１２の図１２の（ａ）に戻り、Ｓ２３が終了すると、画像形成装置５０は、補正後の画像に対して、設定情報に基づき、天地方向補正処理（Ｓ２４）、文字認識処理（Ｓ２５）、描画コマンド生成処理（Ｓ２６）、高圧縮ＰＤＦファイル生成処理（Ｓ２７）およびフォーマット化処理（Ｓ２８）を行い、ＰＤＦファイルを生成する。なお、Ｓ２７の高圧縮ＰＤＦファイル生成処理は、設定情報に高圧縮ＰＤＦファイル生成機能の設定が有効（ＯＮ）になった情報含まれている場合に実行する。

以上により本実施の形態での画像処理システムでの処理が終了する。

〔実施の形態２〕
本実施の形態では、携帯端末装置１の画像データの送信先が、実施の形態１の画像形成装置５０の代わりにサーバ装置である場合について説明する。つまり、本実施の形態では、携帯端末装置１とサーバ装置とが本発明に係る画像処理システムを構成する。なお、上述の実施の形態１の説明に用いた図面に記載されている部材と同じ機能を有する部材については、以下の説明においても同じ符号を付記する。それらの各部材の詳細な説明はここでは繰り返さない。

本実施の形態では、実施の形態１の画像形成装置５０の代わりに、サーバ装置が第２画像処理部１４の構成を構築する。図１３に、本実施の形態のサーバ装置１００のブロック図を示す。サーバ装置１００は、コンピュータから成る装置である。サーバ装置１００は、第２画像処理部１４を備えた画像処理部１１０を有する。また、サーバ装置１００は、制御部１０１、入力装置１０２、ディスプレイ１０３、送受信部１０５、記憶部１０４を有する。これらは、それぞれ、図７に示した画像形成装置５０の、制御部５２、入力部５７、表示部５６、第１通信部５８および第２通信部５９、記憶部５３に相当するため、説明は省略する。

また、サーバ装置１００の代わりに、携帯端末装置１の画像データの送信先が、第２画像処理部１４を備える画像表示装置等であってもよい。

〔実施の形態３〕
実施の形態１では画像形成装置５０が第２画像処理部１４を有していたが、本実施の形態では、携帯端末装置が第２画像処理部１４を有する構成について説明する。つまり、本実施の形態では、携帯端末装置そのもので、本発明に係る画像処理システムを構成する。なお、上述の実施の形態１の説明に用いた図面に記載されている部材と同じ機能を有する部材については、以下の説明においても同じ符号を付記する。それらの各部材の詳細な説明はここでは繰り返さない。

図１４に、本実施の形態の携帯端末装置１ｂのブロック図を示す。携帯端末装置１ｂは、図１に示す携帯端末装置１の構成に加え、第２画像処理部１４を備える。

本実施の形態では、携帯端末装置１ｂが第２画像処理部１４を備えるため、携帯端末装置１ｂにて高圧縮ＰＤＦファイルを形成することができる。第２画像処理部１４にて高圧縮ＰＤＦファイルを形成後には、記憶部３に保存しておいても、画像形成装置５０に送信して印刷しても、サーバ装置に送信してもよい。

〔実施の形態４〕
携帯端末装置１，１ｂ、画像形成装置５０、サーバ装置１００は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、携帯端末装置１，１ｂ、画像形成装置５０、サーバ装置１００は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。

〔まとめ〕
本発明の態様１に係る画像判定装置（携帯端末装置１）は、入力画像が、スキャナにより読み取られた読取画像であるか、あるいは、撮像装置により撮像された撮像画像であるかを判定する画像種別判定手段（画像種別判定部８１）と、上記画像種別判定手段による判定結果に基づいて、上記入力画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否かを判定する書式変換判定手段（高圧縮ＰＤＦファイル生成判定部８２）と、を備え、上記書式変換判定手段は、上記読取画像と判定された入力画像からは解像度に関する特徴量を、上記撮像画像と判定された入力画像からはぼやけに関する特徴量を抽出し、上記特徴量に基づき上記判定を行う。

上記構成によると、入力画像が撮像画像であるか読取画像であるかの判定、および、圧縮された環境非依存型文書書式の画像（例えば，高圧縮ＰＤＦファイル）への変換（生成）の適否の判定を画像判定装置にて行う。そのため、ユーザが入力画像種別や、入力画像状態を確認して、圧縮された環境非依存型文書書式の画像への変換に適しているか判断する必要がなくなる。よって、ユーザが圧縮された環境非依存型文書書式の画像の変換（生成）機能を切り替える手間を省くことができる。また、圧縮された環境非依存型文書書式の画像への変換の適否の判定を、撮像画像と読取画像とでそれぞれに対応した特徴量を抽出して行うため、適切な判定を行うことができる。

本発明の態様２に係る画像判定装置は、態様１に係る画像判定装置において、上記書式変換判定手段は、上記解像度に関する特徴量が、当該解像度が相対的に高いと判定される所定範囲内にある場合、上記読取画像と判定された入力画像は、圧縮された環境非依存型文書書式の画像への変換に適していると判定してもよい。

上記構成によると、圧縮された環境非依存型文書書式の画像への変換に適した高解像度の入力画像（撮像画像）の場合のみ、圧縮された環境非依存型文書書式の画像への変換が実施される。よって、低解像度であることが要因となる圧縮された環境非依存型文書書式の画像の画質劣化を回避することが可能となる。

ここで、上記解像度に関する特徴量が、当該解像度が相対的に高いと判定される所定範囲内にある場合とは、上記解像度が所定閾値以上である場合であってもよい。

本発明の態様３に係る画像判定装置は、態様１または２に係る画像判定装置において、上記書式変換判定手段は、上記ぼやけに関する特徴量が、当該ぼやけの程度が相対的に低いと判定される所定範囲内にある場合に、当該撮像画像と判定された入力画像は、圧縮された環境非依存型文書書式の画像への変換に適していると判定してもよい。

上記構成によると、圧縮された環境非依存型文書書式の画像への変換に適したぼやけがない入画像（読取画像）の場合のみ、圧縮された環境非依存型文書書式の画像への変換が実施される。よって、撮像画像生成（撮像）時に発生したぼやけが要因となる圧縮された環境非依存型文書書式の画像の画質劣化を回避することが可能となる。

ここで、上記ぼやけに関する特徴量が、当該ぼやけの程度が相対的に低いと判定される所定範囲内にある場合とは、上記ぼやけに関する特徴量から上記撮像画像と判定された入力画像がぼやけていないと判定できる場合であってもよい。

本発明の態様４に係る画像判定装置は、態様１から３のいずれか１つに係る画像判定装置において、表示部と、上記入力画像を上記表示部に表示する制御を行う表示制御手段と、をさらに備え、上記表示制御手段は、上記撮像画像と判定された入力画像から原稿を示す領域を抽出し、少なくとも当該原稿の外縁を示す線分の表示を行ってもよい。

上記構成によると、入力画像が撮像画像である場合にのみ入力画像から原稿を示す領域を抽出して表示、いわゆる画像切り出し表示する。そのため、入力画像の表示時に、原稿エッジ等を含まない形で保存された読取画像に対して誤った切り出し表示することを、ユーザに負担をかけること無く、回避することが可能となる。

本発明の態様５に係る画像処理システムは、態様１から４のいずれか１つに係る画像判定装置と、上記画像判定装置の上記書式変換判定手段の判定結果に基づき、上記入力画像を、環境非依存型文書書式の画像へ変換する画像処理手段と、を備える。

上記構成によると、圧縮された環境非依存型文書書式の画像への変換の適否の判定結果を基に、環境非依存型文書書式の画像へ変換する。よって、ユーザは入力画像が撮像画像であっても読取画像であってもタイプを意識せずに、圧縮された環境非依存型文書書式の画像あるいは、環境非依存型文書の画像を生成することができる。

なお、本発明に係る画像判定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各部として動作させることにより上記画像判定装置をコンピュータにて実現させるプログラム、およびそのプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

本発明は、画像が高圧縮ＰＤＦファイルへの変換に適しているか否かを判定する画像判定装置等に利用することができる。

１ 携帯端末装置（画像判定装置）
１４ 第２画像処理部（画像処理手段）
２３ 処理判定部
５０ 画像形成装置
８１ 画像種別判定部（画像種別判定手段）
８２ 高圧縮ＰＤＦファイル生成判定部（書式変換判定手段）
８３ 解像度判定部
８４ 画像判定部
１００ サーバ装置
７０３ フォーマット化処理部

Claims (7)

1. 入力画像が、スキャナにより読み取られた読取画像であるか、あるいは、撮像装置により撮像された撮像画像であるかを判定する画像種別判定手段と、
   上記画像種別判定手段による判定結果に基づいて、上記入力画像が圧縮された環境非依存型文書書式の画像への変換に適しているか否かを判定する書式変換判定手段と、を備え、
   上記書式変換判定手段は、上記読取画像と判定された入力画像からは解像度に関する特徴量を、上記撮像画像と判定された入力画像からはぼやけに関する特徴量を抽出し、上記特徴量に基づき上記判定を行うことを特徴とする画像判定装置。
2. 上記書式変換判定手段は、上記解像度に関する特徴量が、当該解像度が相対的に高いと判定される所定範囲内にある場合、上記読取画像と判定された入力画像は、圧縮された環境非依存型文書書式の画像への変換に適していると判定することを特徴とする請求項１に記載の画像判定装置。
3. 上記書式変換判定手段は、上記ぼやけに関する特徴量が、当該ぼやけの程度が相対的に低いと判定される所定範囲内にある場合、当該撮像画像と判定された入力画像は、圧縮された環境非依存型文書書式の画像への変換に適していると判定することを特徴とする請求項１または２に記載の画像判定装置。
4. 表示部と、
   上記入力画像を上記表示部に表示する制御を行う表示制御手段と、をさらに備え、
   上記表示制御手段は、上記撮像画像と判定された入力画像から原稿を示す領域を抽出し、少なくとも当該原稿の外縁を示す線分の表示を行うことを特徴とする請求項１から３のいずれか１項に記載の画像判定装置。
5. 請求項１から４の何れか１項に記載の画像判定装置と、
   上記画像判定装置の上記書式変換判定手段の判定結果に基づき、上記入力画像を、環境非依存型文書書式の画像へ変換する画像処理手段と、を備えたことを特徴とする画像処理システム。
6. 請求項１から４の何れか１項に記載の画像判定装置を動作させるためのプログラムであって、コンピュータを上記の各手段として機能させるための画像判定プログラム。
7. 請求項６に記載の画像判定プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images