JP6107221B2 - 画像処理装置、および、プログラム - Google Patents

Description

本発明は、画像を出力する技術に関し、特に、出力される画像を表すデータを生成する技術に関するものである。

画像を出力する技術としては、スキャナ等の読取装置を用いて光学的に読み取られた画像に応じて、画像を出力する技術が利用されている。例えば、いわゆるコピー装置は、読み取られた画像と同じ画像を印刷する。また、写真、グラフ、文字等の複数の画像を含む原稿をコピーする際に、ユーザによって選択された画像を、拡大または縮小する技術が提案されている。

特開２０１０−４１５１号公報

ところが、従来は、出力すべき画像の生成に関しては十分な工夫がなされていないのが実情であった。例えば、上記技術では、出力可能な画像は、読み取られた画像と同じ画像に制限されていた。

本発明の主な利点は、画像を出力するための画像データを生成する新たな技術を提供することである。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の適用例として実現することが可能である。

［適用例１］
原稿を光学的に読み取ることによって前記原稿を表す読取画像データを生成する読取部と、
画像を出力する出力部と、
複数の候補画像をそれぞれ表す複数の候補画像データを格納するための記憶装置と、
制御部と、
を備え、
前記制御部は、
前記読取画像データを解析することによって、オブジェクト画像を抽出する抽出部と、
前記抽出されたオブジェクト画像と前記複数の候補画像とを解析する解析部と、
前記複数の候補画像データによってそれぞれ表される前記複数の候補画像から、前記解析部による解析の結果に応じて、１つの候補画像を選択する選択部と、
前記抽出されたオブジェクト画像の代わりに、前記選択された候補画像を用いることによって、前記出力部によって出力すべき画像を表す出力画像データを生成する生成部と、
前記出力画像データを前記出力部に送信する送信部と、
を備える、画像処理装置。

この構成によれば、読取画像データの解析によって抽出されたオブジェクト画像と複数の候補画像との解析結果に応じて１つの候補画像が選択され、オブジェクト画像の代わりに候補画像を用いることによって出力画像データが生成されるので、読取画像データとは異なる画像を表す出力画像データを容易に生成できる。

なお、本発明は、種々の形態で実現することが可能であり、例えば、画像処理方法および画像処理装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

本発明の一実施例としての複合機を示す説明図である。 画像印刷処理のフローチャートである。 設定取得処理のフローチャートである。 原稿解析処理のフローチャートである。 文字の候補画像の例を示す概略図である。 イラストの候補画像の例を示す概略図である。 写真の候補画像の例を示す概略図である。 宛名側の解析とデータ生成とのフローチャートである。 宛名側読取画像の例を示す概略図である。 絵側の解析とデータ生成とのフローチャートである。 オブジェクト画像抽出の例を示す概略図である。 文字出力データ決定のフローチャートである。 文字の候補画像の選択の例を示す概略図である。 イラスト出力データ決定のフローチャートである。 イラストの候補画像の選択の例を示す概略図である。 確認画像ＵＩ１の例を示す概略図である。 挨拶状印刷処理のフローチャートである。 確認画像ＵＩ２の例を示す概略図である。 イラスト出力データの決定処理の別の実施例のフローチャートである。 オブジェクト画像と候補画像との間の類似度の評価の別の実施例を示す概略図である。 オブジェクト画像と候補画像との間の類似度の評価の別の実施例を示す概略図である。 オブジェクト画像と候補画像との間の類似度の評価の別の実施例を示す概略図である。

Ａ．第１実施例：
図１は、本発明の一実施例としての複合機を示す説明図である。この複合機１００は、複合機１００の全体を制御するＣＰＵ１１０と、ＤＲＡＭ等の揮発性記憶装置１２０と、フラッシュメモリ等の不揮発性記憶装置１３０と、液晶パネル等の表示部１４０と、タッチパネル等の操作部１５０と、スキャナ１６０と、プリンタ１７０と、他の装置（例えば、ＵＳＢフラッシュメモリ）を接続するためのインタフェース１８０と、現在日時を計測するためのタイマ１９０と、を含んでいる。

スキャナ１６０は、第１読取部１６２と、第２読取部１６４と、を含んでいる。第１読取部１６２と第２読取部１６４とは、図示しない１つの光学センサ（例えば、ＣＩＳ（Contact Image Sensor））を共有している。ただし、第１読取部１６２が、第１光学センサを含み、第２読取部１６４が、第１光学センサとは異なる第２光学センサを含んでも良い。

第１読取部１６２は、原稿を載せるための平らな透明板を含んでいる（「フラットベッド」とも呼ばれる）。光学センサは、透明板上に静止する原稿を、原稿に対して移動しながら透明板を通じて光学的に読み取ることによって、原稿を表す画像データ（「読取画像データ」とも呼ぶ）を生成する。

第２読取部１６４は、自動原稿搬送部（ＡＤＦ（Auto Document Feeder））を含んでいる。自動原稿搬送部は、ユーザによって準備された複数枚の原稿を、モータの動力を用いて、１枚ずつ自動的に搬送する。光学センサは、所定位置に静止し、自動原稿搬送部によって搬送される原稿を光学的に読み取ることによって、原稿を表す読取画像データを生成する。本実施例では、第２読取部１６４は、原稿の一方の面と他方の面との両方を読み取ることが可能である。また、第２読取部１６４は、原稿が第２読取部１６４に置いてあるか否かと、原稿が置いてある場合の原稿のサイズと、を検出する原稿センサを含んでいる（図示省略）。

プリンタ１７０は、画像を印刷する装置であり、いわゆるインクジェットプリンタである。ただし、他の種類のプリンタ（例えば、いわゆるレーザプリンタ）を採用してもよい。

不揮発性記憶装置１３０は、プログラム１３２と、複数の候補画像データ１３４と、を格納している。

ＣＰＵ１１０は、揮発性記憶装置１２０と不揮発性記憶装置１３０とを用いてプログラム１３２を実行することによって、後述する画像処理を実行する。このように、ＣＰＵ１１０と揮発性記憶装置１２０と不揮発性記憶装置１３０との全体は、画像処理を実行する制御部２００に対応する。図示するように、ＣＰＵ１１０は、抽出部２１０と、宛名解析部２１５と、オブジェクト解析部２２０と、選択部２３０と、生成部２４０と、送信部２５０と、日時情報取得部２６０と、サイズ設定部２７０と、読取設定部２７５と、スキャナ制御部２８０と、として機能する。選択部２３０は、類似候補選択部２３２を含んでいる。これらの処理部の機能については、後述する。なお、破線で示された非類似候補選択部２３４は、後述する第２実施例の複合機が備える処理部である。

図２は、画像印刷処理のフローチャートである。この画像印刷処理は、例えば、ユーザが、複合機１００に対して原稿のコピーを指示した場合に、ＣＰＵ１１０によって実行される。ユーザは、操作部１５０（図１）を操作することによって、原稿のコピーの指示を含む種々の情報を、入力可能である。後述するように、原稿のコピーが指示された場合には、複合機１００は、通常のコピー印刷と、挨拶状印刷と、のいずれかを実行する。通常のコピー印刷は、スキャナ１６０によって読み取られた画像を、プリンタ１７０で印刷する処理である。挨拶状印刷は、スキャナ１６０によって読み取られた挨拶状の画像に応じて、新たな挨拶状をプリンタ１７０で印刷する処理である。ユーザは、例えば、過去に受け取った挨拶状をスキャナ１６０に置いて挨拶状印刷を行うことによって、新たな挨拶状を取得することができる。挨拶状印刷の詳細については、後述する。

最初のステップＳ１００は、印刷のための設定を取得する処理である。図３は、設定取得処理のフローチャートである。最初のステップＳ２００では、日時情報取得部２６０は、タイマ１９０から、現在日時を表す情報（「日時情報」と呼ぶ）を取得する。次のステップＳ２１０では、読取設定部２７５は、読取機構の種類を取得する。本実施例では、読取機構の種類は、「フラットベッド（第１読取部１６２）」または「ＡＤＦ（第２読取部１６４）」である。読取設定部２７５は、例えば、第２読取部１６４の原稿センサ（図示せず）の検出信号を取得し、原稿が検出された場合には、「ＡＤＦ（第２読取部１６４）」を選択し、原稿が検出されなかった場合には、「フラットベッド（第１読取部１６２）」を選択する。

次のステップＳ２２０では、サイズ設定部２７０は、印刷のための記録紙のサイズを取得する。記録紙のサイズは、複数の選択肢の中から、ユーザによって選択される。例えば、「Ａ３」、「Ａ４」、「Ａ５」、「Ｂ４」、「Ｂ５」、「ハガキ」、「Ｌ判」、「２Ｌ判」、「ＬＴＲ」、「４ｘ６」の中から、サイズが選択される。サイズ設定部２７０は、操作部１５０を通じて、選択されたサイズを取得する。

次のステップＳ２３０では、生成部２４０は、原稿解析を行うか否か（すなわち、挨拶状印刷を行うか否か）を判定する。本実施例の挨拶状印刷では、挨拶状を表す画像が、ハガキサイズの印刷媒体に印刷される。そこで、生成部２４０は、ステップＳ２２０で取得されたサイズが「ハガキ」である場合に、挨拶状印刷を要求するか否かの選択をユーザに促す画像を、表示部１４０に表示する（図示省略）。ユーザは、操作部１５０を操作することによって、挨拶状印刷を要求するか否かの選択結果を、入力可能である。生成部２４０は、ステップＳ２２０で取得されたサイズが「ハガキ」であり、かつ、ユーザが挨拶状印刷を要求する場合に、原稿解析を行うと判定する。他の場合には、生成部２４０は、原稿解析を行わないと判定する。生成部２４０は、判定結果を表すデータ（以下「解析フラグ」と呼ぶ）を、設定する。解析フラグが「オン」であることは、原稿解析を行うことを意味し、解析フラグが「オフ」であることは、原稿解析を行わないことを意味している。

次のステップＳ２４０では、日時情報取得部２６０と、読取設定部２７５と、サイズ設定部２７０と、生成部２４０とは、ステップＳ２００〜Ｓ２３０で取得または設定した情報を、揮発性記憶装置１２０に格納する。そして、図３の処理が終了する。

図２の次のステップＳ１１０では、生成部２４０は、揮発性記憶装置１２０を参照することによって、ステップＳ１００で設定された解析フラグが「オン」であるか否かを判定する。解析フラグが「オフ」である場合（Ｓ１１０：Ｎｏ）、次のステップＳ１５０で、スキャナ制御部２８０と生成部２４０と送信部２５０とは、通常のコピー印刷処理を実行する。具体的には、スキャナ制御部２８０は、スキャナ１６０（特に、図３のステップＳ２１０で特定された読取部）を制御することによって、原稿を表す読取画像データを取得する。本実施例では、読取画像データは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの階調値で色を表すビットマップデータである。生成部２４０は、読取画像データに応じて、プリンタ１７０によって解釈可能な形式の出力画像データ（「印刷データ」と呼ぶ）を生成する。生成される印刷データは、読取画像データと同じ画像を表している。送信部２５０は、印刷データをプリンタ１７０に送信する。プリンタ１７０は、印刷データに従って、画像を印刷する。そして、図２の処理が終了する。

なお、印刷データの形式としては、プリンタ１７０が解釈可能な任意の形式を採用可能である。また、印刷データを生成する方法としては、データ形式に適した任意の方法を採用可能である。例えば、生成部２４０は、読取画像データの色変換を行い、色変換後のデータを用いてハーフトーン処理を行い、ハーフトーン処理の結果に応じて、印刷データを生成する。色変換後のデータは、プリンタ１７０が利用可能な各色材（例えば、シアンとマゼンタとイエロとブラックの色材）の階調値で色を表すデータである。

解析フラグが「オン」である場合（Ｓ１１０：Ｙｅｓ）、次のステップＳ１２０で、原稿解析処理が行われる。図４は、原稿解析処理のフローチャートである。最初のステップＳ３００では、揮発性記憶装置１２０から、図３のステップＳ２４０で格納された情報が、読み出される。具体的には、類似候補選択部２３２は、日時情報を取得し、生成部２４０は、読取機構の種類を表す情報を取得する。次のステップＳ３１０では、類似候補選択部２３２は、不揮発性記憶装置１３０に格納された候補画像データ１３４（具体的には、候補画像データ１３４に含まれる属性データ）を取得する。

図５、図６、図７は、候補画像データ１３４によって表される候補画像の一部の例を示す概略図である。図５は、文字の候補画像Ｃｔ１１〜Ｃｔ１５、Ｃｔ２１〜Ｃｔ２２を示し、図６は、イラストの候補画像Ｃｉ１１、Ｃｉ１２、Ｃｉ２１、Ｃｉ２２、Ｃｉ３１、Ｃｉ３２を示し、図７は、写真の候補画像Ｃｐ１１、Ｃｐ１２、Ｃｐ２１、Ｃｐ２２を示している。このように、複数の候補画像は、文字とイラストと写真とのいずれかに分類されている。なお、各候補画像のデータ形式としては、任意の形式（例えば、いわゆるＪＰＥＧ形式）を採用可能である。

各候補画像の縁に示された二文字の符号（具体的には、矩形内に示された符号）は、候補画像に対応付けられた属性を示している。属性ＮＹ、ＳＭは、季節に関する属性を示している。具体的には、新年属性ＮＹは、新年の挨拶状に適していることを示し、夏属性ＳＭは、夏の挨拶状に適していることを示している。また、属性ＳＮ、ＨＳは、いわゆる十二支に関する属性を示している。具体的には、巳属性ＳＮは、巳年に適していることを示し、午属性ＨＳは、午年に適していることを示している。図示を省略するが、イラストの候補画像は、十二支にそれぞれ対応する１２種類の候補画像を、含んでいる。また、属性を表す属性データは、候補画像データ１３４に、含まれている。なお、候補画像データを提供する記憶装置としては、不揮発性記憶装置１３０に限らず、図示しないネットワークを通じて通信可能なサーバや、インタフェース１８０に接続されたメモリカード等の、種々の記憶装置を採用可能である。

図４の次のステップＳ３２０では、生成部２４０は、読取機構の種類が、第２読取部１６４（ＡＤＦ）であるか否かを判定する。読取機構の種類が、第２読取部１６４（ＡＤＦ）である場合（Ｓ３２０：Ｙｅｓ）、次のステップＳ３３０で、スキャナ制御部２８０は、第２読取部１６４を制御することによって、第２読取部１６４に置かれた原稿（すなわち、挨拶状）を表す読取画像データを取得する。このステップＳ３３０では、スキャナ制御部２８０は、挨拶状の宛名側の画像を表すデータ（「宛名側読取データ」と呼ぶ）と、挨拶状の絵側の画像を表すデータ（「絵側読取データ」と呼ぶ）と、を取得する。本実施例では、絵側は、宛名側の反対側である。

次のステップＳ３３４では、宛名側読取データの解析と、解析結果に応じた宛名側出力データの生成と、が行われる。図８は、宛名側の解析とデータ生成とのフローチャートである。最初のステップＳ４００では、宛名解析部２１５は、宛名側読取データを解析することによって、文字を表す文字領域を検出する。文字領域の検出方法としては、公知の方法を採用可能である。例えば、いわゆるソーベルフィルタ等のエッジフィルタを用いて各画素のエッジ強度を算出し、エッジ強度の絶対値が所定の閾値以上である画素をエッジ画素として検出し、特定の色（例えば、黒色）のエッジ画素の割合が所定の閾値以上である領域を、文字領域として検出する方法を採用可能である。

次のステップＳ４１０では、宛名解析部２１５は、検出された文字領域を解析することによって、文字（具体的には、文字列）を認識する。文字列の認識の方法としては、公知の方法を採用可能である。例えば、いわゆる光学文字認識（optical character recognition）として知られる方法を採用可能である。

次のステップＳ４２０では、宛名解析部２１５は、認識された文字列の方向と位置（具体的には、宛名側読取画像中の位置）とに応じて、差出人住所と差出人氏名と受取人住所と受取人氏名とを特定する。一般的には、それらの情報は、それぞれ、郵便物の宛名側の面の所定の位置に記載される。従って、宛名解析部２１５は、文字列の位置に応じて、それらの情報を、特定できる。

図９（Ａ）、図９（Ｂ）は、それぞれ、差出人住所と差出人氏名と受取人住所と受取人氏名とのそれぞれの、宛名側読取画像中の位置の例を示す概略図である。図９（Ａ）の宛名側読取画像ＡＩ１は、縦書きの例を示し、図９（Ｂ）の宛名側読取画像ＡＩ２は、横書きの例を示している。

宛名解析部２１５は、例えば、以下のように、種々の情報を特定する。まず、図９（Ａ）の宛名側読取画像ＡＩ１を例に、説明する。宛名側読取画像ＡＩ１中の右上から始まる縦長の文字列Ｒａ１が検出された場合、その文字列Ｒａ１を表す領域ＡＲａ１が、受取人住所領域ＡＲａ１として特定される。宛名側読取画像ＡＩ１中の中央上から始まる縦長の文字列Ｒｎ１が検出された場合、その文字列Ｒｎ１を表す領域ＡＲｎ１が、受取人氏名領域ＡＲｎ１として特定される。宛名側読取画像ＡＩ１中の左上から始まる縦長の文字列Ｓａ１、Ｓｎ１が検出された場合、最も左側の文字列Ｓｎ１を表す領域ＡＳｎ１が、差出人氏名領域ＡＳｎ１として特定され、残りの文字列Ｓａ１を表す領域ＡＳａ１が、差出人住所領域ＡＳａ１として特定される。また、宛名側読取画像ＡＩ１の上部の所定領域ＡＲｃ１は、受取人の郵便番号Ｒｃ１が記載された受取人郵便番号領域ＡＲｃ１として特定され、宛名側読取画像ＡＩ１の左下の所定領域ＡＳｃ１は、差出人の郵便番号Ｓｃ１が記載された差出人郵便番号領域ＡＳｃ１として特定される。

図９（Ｂ）の宛名側読取画像ＡＩ２については、以下の通りである。宛名側読取画像ＡＩ２中の左上から始まる横長の文字列Ｒａ２が検出された場合、その文字列Ｒａ２を表す領域ＡＲａ２が、受取人住所領域ＡＲａ２として特定される。宛名側読取画像ＡＩ２中の中央左から始まる横長の文字列Ｒｎ２が検出された場合、その文字列Ｒｎ２を表す領域ＡＲｎ２が、受取人氏名領域ＡＲｎ２として特定される。宛名側読取画像ＡＩ２の左下から始まる横長の文字列Ｓａ２、Ｓｎ２が検出された場合、最も下側の文字列Ｓｎ２を表す領域が、差出人氏名領域ＡＳｎ２として特定され、残りの文字列Ｓａ２を表す領域ＡＳａ２が、差出人住所領域ＡＳａ２として特定される。また、宛名側読取画像ＡＩ２の上部の所定領域ＡＲｃ２は、受取人の郵便番号Ｒｃ２が記載された受取人郵便番号領域ＡＲｃ２として特定され、宛名側読取画像ＡＩ２の左下の所定領域ＡＳｃ２は、差出人の郵便番号Ｓｃ２が記載された差出人郵便番号領域ＡＳｃ２として特定される。

なお、宛名解析部２１５は、図８のステップＳ４１０で認識した文字に応じて、氏名と住所との特定を行ってもよい。例えば、「通り」、「ビルディング」等の住所に特有の用語を含む文字列が、住所として特定されてもよい。

図８の次のステップＳ４３０では、生成部２４０は、新たに印刷すべき宛名側画像を表す宛名側出力データを生成する。この宛名側出力データは、ステップＳ４２０で特定された受取人を、新たな差出人として表し、ステップＳ４２０で特定された差出人を、新たな受取人として表している。例えば、図９（Ａ）の宛名側読取画像ＡＩ１が処理される場合には、宛名側出力データは、差出人住所領域ＡＳａ１の画像と受取人住所領域ＡＲａ１の画像とを交換し、差出人氏名領域ＡＳｎ１の画像と受取人氏名領域ＡＲｎ１の画像とを交換し、差出人郵便番号領域ＡＳｃ１の画像と受取人郵便番号領域ＡＲｃ１の画像とを交換することによって得られる画像を表している。ここで、元の差出人の情報を表す領域の画像を拡大して得られる画像を、新たな受取人の情報を表す領域の画像として採用してもよい。また、元の受取人の情報を表す領域の画像を縮小して得られる画像を、新たな差出人の情報を表す領域の画像として採用してもよい。また、生成部２４０は、ステップＳ４１０で認識された文字を用いて、新たな受取人と新たな差出人とを表す画像を、新たに生成してもよい。

次のステップＳ４４０では、生成部２４０は、生成した宛名側出力データを、揮発性記憶装置１２０に格納する。そして、図８の処理が終了する。

図４の次のステップＳ３３８では、絵側読取データの解析と、解析結果に応じて絵側出力データの生成と、が行われる。図１０は、絵側の解析とデータ生成とのフローチャートである。最初のステップＳ５００では、抽出部２１０は、絵側読取データを解析することによって、オブジェクト画像を抽出する。本実施例では、抽出部２１０は、オブジェクト画像として、文字画像とイラスト画像と写真画像とを抽出する。図１１は、オブジェクト画像抽出の例を示す概略図である。図中には、絵側読取画像ＲＩが示されている。この絵側読取画像ＲＩは、文字列ＴＸと、イラストＩＭと、写真ＰＨと、を表している。抽出部２１０は、この絵側読取画像ＲＩから、文字列ＴＸを表す文字画像ＴＡと、イラストＩＭを表すイラスト画像ＩＡと、写真ＰＨを表す写真画像ＰＡと、を抽出する。

このようにオブジェクトの種類毎にオブジェクト画像を抽出する方法としては、公知の方法を採用可能である。例えば、処理対象の画像を複数の処理領域に分割し、処理領域毎に画素値（例えば、輝度値）の分散を算出し、分散が第１閾値よりも小さい処理領域を文字領域に分類し、分散が第２閾値（第２閾値＞第１閾値）よりも大きい処理領域を写真領域に分類し、分散が第１閾値以上第２閾値以下である処理領域をイラスト領域に分類する。そして、同じ種類の処理領域が連続することによって構成される１つの連続な領域を、１つのオブジェクト画像として抽出する。また、オブジェクト画像の抽出には、分散に限らず、他の種々の情報（例えば、各処理領域で用いられている色の数）を採用可能である。また、複数の情報を組み合わせることによって、複数の種類のそれぞれのオブジェクト画像を抽出してもよい。

図１０の次のステップＳ５１０では、抽出された文字画像に応じて文字出力データが決定される。図１２は、文字出力データ決定のフローチャートである。最初のステップＳ６１０では、類似候補選択部２３２は、現在日時に対応する属性に対応付けられた候補画像を選択する。現在日時が、１月１日を含む所定の新年期間（例えば、１１月１日から１月３１日までの期間）内である場合には、新年属性ＮＹに対応付けられた候補画像が選択される。現在日時が、夏を表す所定の夏期間（例えば、５月１日から９月３０日までの期間）内である場合には、夏属性ＳＭに対応付けられた候補画像が選択される。なお、現在日時が、新年期間と夏期間との外である場合には、挨拶状印刷が中止される。

図１３（Ａ）は、文字の候補画像の選択の例を示す概略図である。図１３（Ａ）は、現在日時が新年期間に含まれる場合を示している。図示するように、新年属性ＮＹに対応付けられた候補画像群ＣｔＧ１が選択肢として選択され、夏属性ＳＭに対応付けられた候補画像群ＣｔＧ２は、選択肢から外れている。

図１２の続くステップＳ６２０〜Ｓ６５０では、ステップＳ６１０で選択された複数の候補画像の中から、１つの候補画像が選択される。本実施例では、いわゆるテンプレートマッチングによって、文字画像ＴＡに最も類似する１つの候補画像が選択される。

まず、図１２のステップＳ６２０で、オブジェクト解析部２２０は、各候補画像のサイズ（すなわち、画素数）を、抽出された文字画像ＴＡと同じサイズに、調整する。オブジェクト解析部２２０は、候補画像の縦方向の拡大または縮小と、候補画像の横方向の拡大または縮小と、を独立に行うことによって、画素数を調整する。図１３（Ｂ）は、第１候補画像Ｃｔ１１の処理例を示し、図１３（Ｃ）は、第２候補画像Ｃｔ１２の処理例を示している。図１３（Ｂ）の例では、第１候補画像Ｃｔ１１から、文字画像ＴＡと同じサイズに調整された調整済候補画像Ｃｔ１１ｆが生成されている。図１３（Ｃ）の例では、第２候補画像Ｃｔ１２から、文字画像ＴＡと同じサイズに調整された調整済候補画像Ｃｔ１２ｆが生成されている。画素数の調整（すなわち、画素密度の調整）によって生じる新たな画素の画素値は、補間によって決定される。

図１２の次のステップＳ６３０では、オブジェクト解析部２２０は、各画素毎に、文字画像ＴＡの輝度値と候補画像の輝度値との差分ｄＬを算出し、差分ｄＬの絶対値が所定の閾値ＴｈＬ以下であるか否か判定する。以下、差分ｄＬの絶対値が所定の閾値ＴｈＬ以下である画素を「第１種一致画素」と呼ぶ。以下、「第１種一致画素」のことを、単に「一致画素」とも呼ぶ。次のステップＳ６４０では、オブジェクト解析部２２０は、各候補画像毎に、一致画素の総数Ｎｍｐを算出する。図１３（Ｂ）の第１候補画像Ｃｔ１１の文字は、文字画像ＴＡとは異なる文字で構成されている。一方、図１３（Ｃ）の第２候補画像Ｃｔ１２の文字は、文字画像ＴＡと同じ文字で構成されている（ただし、各文字のデザインは異なる）。文字画像ＴＡと同じ文字を表す第２候補画像Ｃｔ１２の一致画素数Ｎｍｐ（図１３（Ｃ））は、文字画像ＴＡと異なる文字を表す第１候補画像Ｃｔ１１の一致画素数Ｎｍｐ（図１３（Ｂ））よりも、多い。このように、一致画素数Ｎｍｐは、類似度の高さを示す評価値に相当する。

図１２の次のステップＳ６５０では、類似候補選択部２３２は、一致画素数Ｎｍｐが最も多い（すなわち、類似度が最も高い）１つの候補画像を表す候補画像データを、文字出力データとして選択する。そして、図１２の処理が終了する。図１３（Ａ）の例では、文字画像ＴＡと同じ文字を含む第２候補画像Ｃｔ１２のデータが、選択されている。なお、図１０のステップＳ５００で複数の文字画像が抽出された場合には、各文字画像毎に、１つの候補画像が選択される。

図１０の次のステップＳ５２０では、抽出されたイラスト画像に応じてイラスト出力データが決定される。図１４は、イラスト出力データ決定のフローチャートである。ステップＳ７１０〜Ｓ７５０は、図１２のステップＳ６１０〜Ｓ６５０と、それぞれ、同様である。図１２の手順からの差異は、文字の候補画像の代わりに、イラストの候補画像が用いられる点と、輝度値の差分ｄＬの代わりに、ＲＧＢ色空間におけるユークリッド距離（ＲＧＢ距離Ｄと呼ぶ）が用いられる点と、である。輝度値の差分ｄＬの代わりにＲＧＢ距離Ｄが用いられる理由は、文字と比べて複数の色で表現される可能性が高いイラストの類似度の評価を、適切に行うためである。

最初のステップＳ７１０では、図１２のステップＳ６１０と同様に、類似候補選択部２３２は、イラストを表す複数の候補画像から、現在日時に対応する属性に対応付けられた候補画像を選択する。図１５（Ａ）は、イラストの候補画像の選択の例を示す概略図である。図１５（Ａ）は、現在日時が新年期間に含まれ、かつ、現在日時を基準とする新年の十二支が巳年である場合を示している。図示するように、新年属性ＮＹと巳属性ＳＮとの両方に対応付けられた候補画像群ＣｉＧ１が選択肢として選択され、他の画像群ＣｉＧ２、ＣｉＧ３は、選択肢から外れている。

図１４の次のステップＳ７２０では、オブジェクト解析部２２０は、各候補画像のサイズ（すなわち、画素数）を、抽出されたイラスト画像ＩＡと同じサイズに、調整する。図１５（Ｂ）は、第１候補画像Ｃｉ１１の処理例を示し、図１５（Ｃ）は、第２候補画像Ｃｉ１２の処理例を示している。図１５（Ｂ）の例では、第１候補画像Ｃｉ１１から、イラスト画像ＩＡと同じサイズに調整された調整済候補画像Ｃｉ１１ｆが生成されている。図１５（Ｃ）の例では、第２候補画像Ｃｉ１２から、イラスト画像ＩＡと同じサイズに調整された調整済候補画像Ｃｉ１２ｆが生成されている。

次のステップＳ７３０では、オブジェクト解析部２２０は、各画素毎に、イラスト画像ＩＡのＲＧＢ値と候補画像のＲＧＢ値との間のユークリッド距離（ＲＧＢ距離Ｄ）を算出し、ＲＧＢ距離Ｄの絶対値が所定の閾値ＴｈＤ以下であるか否かを判定する。ここでは、ＲＧＢ距離Ｄの絶対値が閾値ＴｈＤ以下である画素を「第２種一致画素」と呼ぶ。以下、第１種一致画素と第２種一致画素との区別が重要ではない場合に、第１種一致画素または第２種一致画素を、単に「一致画素」とも呼ぶ。次のステップＳ７４０では、オブジェクト解析部２２０は、各候補画像毎に、一致画素の総数Ｎｍｐを算出する。図１５（Ｂ）の第１候補画像Ｃｉ１１は、イラスト画像ＩＡと似た色で表されている。一方、図１５（Ｃ）の第２候補画像Ｃｉ１２は、イラスト画像ＩＡとは異なる色で表されている。従って、図１５（Ｂ）の一致画素数Ｎｍｐは、図１５（Ｃ）の一致画素数Ｎｍｐよりも、多い。

図１４の次のステップＳ７５０では、類似候補選択部２３２は、一致画素数Ｎｍｐが最も多い１つの候補画像を表す候補画像データを、イラスト出力データとして選択する。そして、図１４の処理が終了する。図１５（Ａ）の例では、イラスト画像ＩＡと似た色で表される第１候補画像Ｃｉ１１のデータが、選択されている。なお、図１０のステップＳ５００で複数のイラスト画像が抽出された場合には、各イラスト画像毎に、１つの候補画像が選択される。

図１０の次のステップＳ５３０では、抽出された写真画像に応じて写真出力データが決定される。写真出力データの決定の手順は、図１４のイラスト出力データの決定の手順と、同じである。類似候補選択部２３２は、複数の写真の候補画像（図７）から、現在日時に対応する属性に対応付けられた候補画像を、選択肢として選択する。オブジェクト解析部２２０は、ＲＧＢ距離Ｄに応じて一致画素数Ｎｍｐを算出する。類似候補選択部２３２は、一致画素数Ｎｍｐが最も多い１つの候補画像を表す候補画像データを、写真出力データとして選択する。図１０のステップＳ５００で複数の写真画像が抽出された場合には、各写真画像毎に、１つの候補画像が選択される。

以上のように、類似候補選択部２３２は、オブジェクト画像に応じて、オブジェクト画画像と同じ種類（文字とイラストと写真とのいずれか）の候補画像を、選択する。

図１０の次のステップＳ５４０では、生成部２４０は、ステップＳ５１０、Ｓ５２０、Ｓ５３０で決定された出力データを用いて、新たに印刷すべき絵側画像を表す絵側出力データを生成する。本実施例では、絵側出力データは、絵側読取画像に含まれるオブジェクト画像を、対応する候補画像に置換することによって得られる画像を表している。例えば、図１１に示す絵側読取画像ＲＩが処理される場合には、文字画像ＴＡが、図１０のステップＳ５１０で決定された文字の候補画像に置換され、イラスト画像ＩＡが、図１０のステップＳ５２０で決定されたイラストの候補画像に置換され、写真画像ＰＡが、図１０のステップＳ５３０で決定された写真の候補画像に置換される。ここで、元のオブジェクト画像とおおよそ同じ大きさになるように、候補画像の拡大または縮小が行われることが好ましい。候補画像の拡大または縮小を行う場合、候補画像の縦横比は固定されることが好ましい。

次のステップＳ５５０では、生成部２４０は、生成した絵側出力データを、揮発性記憶装置１２０に格納する。そして、図１０の処理、すなわち、図４のステップＳ３３８の処理が終了する。ステップＳ３３８の次のステップＳ３５０については、後述する。

図４のステップＳ３２０の判定結果がＮｏである場合（すなわち、読取機構の種類が第１読取部１６２（フラットベッド）である場合）、次のステップＳ３４０で、スキャナ制御部２８０は、第１読取部１６２を制御することによって、第１読取部１６２に置かれた原稿（すなわち、挨拶状）を表す読取画像データを取得する。第１読取部１６２を用いる場合、挨拶状の絵側が読み取られるように、挨拶状を第１読取部１６２に置くことが想定されている。従って、ステップＳ３４０では、スキャナ制御部２８０は、挨拶状の絵側読取データを取得する。

次のステップＳ３４４は、ステップＳ３３８と、同一である。これにより、絵側読取データに応じて、絵側出力データが生成される。ステップ３４４が終了すると、処理は、ステップＳ３５０に移行する。

ステップＳ３５０では、生成部２４０は、出力データによって表される画像をユーザに確認させるための確認画像を表示部１４０に表示する。図１６は、確認画像ＵＩ１の例を示す概略図である。確認画像ＵＩ１は、宛名側出力データによって表される宛名側画像ＡＳと、絵側出力データによって表される絵側画像ＰＳと、それらの画像を了承して印刷するための第１ボタンＢ１と、印刷をキャンセルするための第２ボタンＢ２と、を表している。以下、宛名側画像を、単に、「宛名画像」とも呼ぶ。

図示された宛名側画像ＡＳは、図９（Ａ）の宛名側読取画像ＡＩ１が処理される場合の例を示している。元の差出人の情報Ｓａ１、Ｓｎ１、Ｓｃ１が、新たな受取人の情報として示され、元の受取人の情報Ｒａ１、Ｒｎ１、Ｒｃ１が、新たな差出人の情報として示されている。なお、原稿の読み取りに第１読取部１６２が用いられる場合（図４：Ｓ３２０：Ｎｏ）、宛名側画像ＡＳは、空欄である。

図示された絵側画像ＰＳは、図１１の絵側読取画像ＲＩが処理される場合の例を示している。元の文字画像ＴＡが、図１０のステップＳ５１０で選択された第２候補画像Ｃｔ１２に置換され、元のイラスト画像ＩＡが、図１０のステップＳ５２０で選択された第１候補画像Ｃｉ１１に置換され、元の写真画像ＰＡが、図１０のステップＳ５３０で選択された第１候補画像Ｃｐ１１に置換されている。

ユーザは、操作部１５０を操作することによって、第１ボタンＢ１と第２ボタンＢ２とのうちの任意のボタンを操作できる。生成部２４０は、操作されたボタンを表すデータ（「印刷実行フラグ」と呼ぶ）を、設定する。第１ボタンＢ１が操作された場合、印刷実行フラグは「オン」に設定され、第２ボタンＢ２が操作された場合、印刷実行フラグは、「オフ」に設定される。

なお、本実施例では、新たな宛名側画像ＡＳ中の領域ＡＲａ３、ＡＲｎ３、ＡＲｃ３、ＡＳａ３、ＡＳｎ３、ＡＳｃ３の位置と大きさとは、元の宛名側読取画像ＡＩ１（図９（Ａ））中の対応する領域ＡＲａ１、ＡＲｎ１、ＡＲｃ１、ＡＳａ１、ＡＳｎ１、ＡＳｃ１の位置と大きさと、それぞれ同じである。但し、新たな宛名側画像ＡＳ中の領域ＡＲａ３、ＡＲｎ３、ＡＲｃ３、ＡＳａ３、ＡＳｎ３、ＡＳｃ３の位置と大きさとは、元の宛名側読取画像ＡＩ１とは独立に、設定されてもよい。例えば、領域ＡＲａ３、ＡＲｎ３、ＡＲｃ３、ＡＳａ３、ＡＳｎ３、ＡＳｃ３の位置と大きさとして、所定の位置と大きさとが採用されてもよい。

図４の次のステップＳ３６０では、生成部２４０は、印刷実行フラグが「オン」であるか否かを判定する。印刷実行フラグが「オン」である場合（Ｓ３６０：Ｙｅｓ）、次のステップＳ３７０で、生成部２４０は、出力画像データを、揮発性記憶装置１２０に格納する。原稿の読み取りに第１読取部１６２（フラットベッド）が用いられた場合（図４：Ｓ３２０：Ｎｏ）、宛名側出力データは生成されずに、絵側出力データが、出力画像データとして、揮発性記憶装置１２０に格納される。第２読取部１６４（ＡＤＦ）が用いられた場合（図４：Ｓ３２０：Ｙｅｓ）、宛名側出力データと絵側出力データとの全体が、出力画像データとして、揮発性記憶装置１２０に格納される。そして、図４の処理が終了する。印刷実行フラグが「オフ」である場合（Ｓ３６０：Ｎｏ）、ステップＳ３７０がスキップされ、そして、図４の処理が終了する。なお、本実施例では、この段階の出力画像データは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの階調値で色を表すビットマップデータである（例えば、ＪＰＥＧ形式の画像データ）。

図２の次のステップＳ１３０では、生成部２４０は、ステップＳ１２０で設定した印刷実行フラグが「オン」であるか否かを判定する。印刷実行フラグが「オン」である場合（Ｓ１３０：Ｎｏ）、次のステップＳ１４０で、挨拶状印刷処理が実行される。図１７は、挨拶状印刷処理のフローチャートである。最初のステップでは、生成部２４０は、揮発性記憶装置１２０から、読取機構の種類を表す情報と、出力画像データと、を取得する。次のステップＳ８１０では、絵側画像が印刷される。具体的には、生成部２４０は、出力画像データに含まれる絵側出力データに応じて、プリンタ１７０によって解釈可能な形式の絵側出力データ（すなわち、印刷データ）を生成する。印刷データの生成方法は、図２のステップＳ１５０で用いられた方法と、同じである。送信部２５０は、印刷データとして生成された絵側出力データを、プリンタ１７０に送信する。プリンタ１７０は、受信した印刷データに従って、絵側画像を印刷する。

次のステップＳ８２０では、生成部２４０は、読取機構の種類が、第２読取部１６４（ＡＤＦ）であるか否かを判定する。読取機構の種類が、第２読取部１６４（ＡＤＦ）である場合（Ｓ８２０：Ｙｅｓ）、次のステップＳ８３０で、生成部２４０は、印刷すべき宛名側画像をユーザに選択させるための確認画像を表示部１４０に表示する。図１８は、確認画像ＵＩ２の例を示す概略図である。確認画像ＵＩ２は、宛名側画像ＡＳと、修正された宛名側画像ＡＳａと、宛名側画像ＡＳを選択するための第１ボタンＢ１１と、修正された宛名側画像ＡＳａを選択するための第２ボタンＢ１２と、宛名側画像の印刷をキャンセルするための第３ボタンＢ１３と、を表している。

宛名側画像ＡＳは、図１６に示す宛名側画像ＡＳと同じであり、差出人の情報と、受取人の情報と、の全てを示している。修正された宛名側画像ＡＳａは、新たな受取人に関する情報Ｓａ１、Ｓｎ１、Ｓｃ１を宛名側画像ＡＳから消去することによって得られる画像であり、差出人の情報のみを示している。このように修正された宛名側画像ＡＳａは、種々の用途に利用可能である。例えば、ユーザは、印刷された挨拶状に、宛先に関する情報を手書きすることができる。また、ユーザは、読み取られた情報Ｓａ１、Ｓｎ１、Ｓｃ１とは異なる他の宛先のために、印刷された挨拶状を用いることができる。

ユーザは、操作部１５０を操作することによって、３つのボタンＢ１１、Ｂ１２、Ｂ１３のうちの任意のボタンを操作できる。

図１７の次のステップＳ８４０では、生成部２４０は、ユーザによって操作されたボタンに応じて、処理を分岐する。第１ボタンＢ１１、または、第２ボタンＢ１２が操作された場合、次のステップＳ８５０で、宛名側画像が印刷される。印刷される宛名側画像としては、操作されたボタンに応じて、宛名側画像ＡＳ、または、修正された宛名側画像ＡＳａが採用される。修正された宛名側画像ＡＳａが採用される場合、生成部２４０は、修正された宛名側画像ＡＳａを表す宛名側出力データを生成し、生成したデータに応じて印刷のための処理を進行する。印刷の手順は、ステップＳ８１０で説明した手順と、同じである。具体的には、生成部２４０は、宛名側出力データに応じて、プリンタ１７０によって解釈可能な形式の宛名側出力データ（すなわち、印刷データ）を生成する。送信部２５０は、印刷データとして生成された宛名側出力データを、プリンタ１７０に送信する。プリンタ１７０は、受信した印刷データに従って、絵側画像が印刷された印刷媒体の反対側の面に、宛名側画像を印刷する。プリンタ１７０が両面印刷の機能を有している場合には、プリンタ１７０は、自動的に、印刷媒体の反対側の面に宛名側画像を印刷する。プリンタ１７０が両面印刷の機能を有していない場合、ユーザは、絵側画像が印刷された印刷媒体を、裏返しにしてプリンタ１７０にセットすればよい。宛名側画像の印刷が完了したことに応じて、図１７の処理が終了する。第３ボタンＢ１３が操作された場合、ステップＳ８５０が省略されて、図１７の処理が終了する。

以上のように、本実施例では、抽出部２１０は、絵側読取画像からオブジェクト画像を抽出し（図１０：Ｓ５００）、オブジェクト解析部２２０は、オブジェクト画像と複数の候補画像とを解析し（図１２、図１４）、類似候補選択部２３２は、１つのオブジェクト画像に対して、解析結果に応じて１つの候補画像を選択し（図１２、図１４）、生成部２４０は、オブジェクト画像の代わりに、選択された候補画像を用いることによって、絵側出力データを生成する（図１０：Ｓ５４０、図１６、図１７：Ｓ８１０）。従って、読取画像データとは異なる画像を表す出力データを容易に生成できる。また、ユーザは、印刷すべき候補画像の指定をせずに済むので、ユーザの負担を軽減できる。

また、図１２、図１４で説明したように、類似候補選択部２３２は、オブジェクト解析部２２０による解析結果と、日時情報と、に応じて、１つのオブジェクト画像に対応する１つの候補画像を選択する。従って、現在の日時に適した出力画像データを容易に生成できる。例えば、現在日時が夏期間に含まれる場合には、夏属性ＳＭに対応付けられた候補画像が選択される。現在日時が新年期間に含まれる場合には、新年属性ＮＹに対応付けられた候補画像が選択される。このように、所定の複数の期間のうちの現在日時を含む期間に対応付けられた候補画像が選択される。従って、現在日時に適した候補画像を表す出力画像データを容易に生成できる。

また、図５、図６、図７、図１０で説明したように、複数の候補画像データは、複数種類（具体的には、文字列とイラストと写真）に分類されており、類似候補選択部２３２は、オブジェクト画像の代わりに用いられる候補画像を、オブジェクト画像と同じ種類の候補画像から選択する。従って、元の原稿に応じて容易に出力画像データを生成できる。また、元の原稿からの印象の大きな変化を抑制できる。また、類似候補選択部２３２は、オブジェクト画像と類似する候補画像を選択する。従って、元の原稿に類似する印象を与える画像を表す出力画像データを容易に生成できる。

また、生成部２４０は、図４、図８で説明したように、読取画像データが原稿の差出人と受取人とを表す場合に、原稿の受取人を新たな差出人として表し、原稿の差出人を新たな受取人として表す、宛名画像を表す出力画像データを生成する。従って、宛名画像を表す出力画像データを容易に生成できる。また、ユーザは、差出人と受取人とを入力せずに済むので、宛名画像を表す出力画像データを生成するためのユーザの負担を軽減できる。

また、生成部２４０は、図４で説明したように、第１読取部１６２（フラットベッド）によって原稿が読み取られた場合には、絵側画像を表す出力画像データを生成し、第２読取部１６４（ＡＤＦ）によって原稿が読み取られた場合には、宛名画像を表す出力画像データ（「第１出力画像データ」と呼ぶ）と、絵側画像を表す出力画像データ（「第２出力画像データ」と呼ぶ）と、を生成する。従って、生成部２４０は、読取機構の種類に適した出力画像データを、容易に生成できる。

また、図２、図３で説明したように、生成部２４０は、出力すべき画像のサイズが特定のサイズ（具体的には、ハガキ）である場合に、候補画像を用いることによって出力画像データを生成し（図２：Ｓ１４０）、画像のサイズが特定のサイズとは異なる場合には、読取画像データによって表される画像と同じ画像を表す出力画像データを生成する（図２：Ｓ１５０）。従って、生成部２４０は、特定のサイズの挨拶状のために、読取画像データとは異なる画像を表す出力画像データを、容易に生成できる。

Ｂ．第２実施例：
図１９は、イラスト出力データの決定処理の別の実施例のフローチャートである。図１４の実施例とは異なる点は、オブジェクト画像と非類似な候補画像を表す候補画像データが選択される点だけである。図１９の処理は、図１４の処理の代わりに実行される。第２実施例で用いられる複合機のハードウェア構成は、図１の複合機１００のハードウェア構成と、同じである。ＣＰＵ１１０の機能部としては、類似候補選択部２３２が省略され、この代わりに非類似候補選択部２３４が実装される。印刷の手順は、図２、図３、図４に示す実施例と、同じである。

図１９のステップＳ７１０〜Ｓ７４０は、図１４のステップＳ７１０〜Ｓ７４０と、それぞれ同じである。図１９のステップＳ７５０ａでは、図１４のステップＳ７５０とは異なり、一致画素数Ｎｍｐが最少の（すなわち、類似度が最も低い）候補画像を表す候補画像データが選択される。この結果、オブジェクト画像と非類似な候補画像が印刷に用いられる。なお、イラストに限らず、文字列と写真とについても、同様に、非類似候補選択部２３４は、非類似の候補画像を選択する。

以上のように、第２実施例では、オブジェクト画像と非類似な候補画像が用いられるので、元の原稿とは非類似な印象を与える出力画像データを容易に生成できる。

Ｃ．第３実施例：
図２０、図２１、図２２は、オブジェクト画像と候補画像との間の類似度の評価値の別の実施例を示す概略図である。上述の図１２、図１４、図１９の実施例では、一致画素数Ｎｍｐが類似度の評価値として用いられている（一致画素数Ｎｍｐが多いほど、類似度が高い）。図２０、図２１、図２２の実施例では、別の観点から、２つの画像の間の類似度が評価される。なお、図２０、図２１、図２２は、イラスト画像ＩＡと第１候補画像Ｃｉ１１との間の類似度を例として示している。

図２０の実施例では、エッジ画素の割合に応じて類似度が評価される。オブジェクト解析部２２０は、いわゆるソーベルフィルタ等のエッジフィルタを用いて各画素のエッジ強度を算出し、エッジ強度の絶対値が所定の閾値以上である画素をエッジ画素として検出する。図中のオブジェクトエッジ画像ＩＡｅは、イラスト画像ＩＡから検出されたエッジ画素を表し、候補エッジ画像Ｃｉ１１ｅは、候補画像Ｃｉ１１から検出されたエッジ画素を表している。オブジェクト解析部２２０は、検出されたエッジ画素の数を数え、エッジ画素の割合を算出する。図２０では、オブジェクトエッジ画像ＩＡｅ（すなわち、イラスト画像ＩＡ）から、エッジ画素割合ＥＲＡが算出され、候補エッジ画像Ｃｉ１１ｅ（すなわち、第１候補画像Ｃｉ１１）から、エッジ画素割合ＥＲ１１が算出されている。オブジェクト解析部２２０は、算出されたエッジ画素割合ＥＲＡ、ＥＲ１１の差分ｄＥＲ１１の絶対値を算出する。この差分の絶対値は、２つの画像間の類似度の評価値として利用可能である。選択部２３２、２３４は、この差分の絶対値が小さいほど、２つの画像の類似度が高いと評価する。このように、エッジ画素割合を用いることによって、画像の複雑さに着目した類似度の評価が可能である。

図２１の実施例では、色数に応じて類似度が評価される。オブジェクト解析部２２０は、画像を解析することによって、その画像中で用いられている色の数を数える。図２１では、イラスト画像ＩＡの色数ＮＣＡと、第１候補画像Ｃｉ１１の色数ＮＣ１１と、が算出されている。オブジェクト解析部２２０は、算出された色数ＮＣＡ、ＮＣ１１の差分ｄＮＣ１１の絶対値を算出する。この差分の絶対値は、２つの画像間の類似度の評価値として利用可能である。選択部２３２、２３４は、この差分の絶対値が小さいほど、２つの画像の類似度が高いと評価する。このように、色数を用いることによって、色の多様性に着目した類似度の評価が可能である。

図２２の実施例では、ヒストグラムの形状に応じて類似度が評価される。オブジェクト解析部２２０は、画像を解析することによって、輝度値Ｙｐのヒストグラムを生成する。このヒストグラムは、各画素を、輝度値Ｙｐに応じて、複数のデータ区間（「ビン」とも呼ばれる）に分類することによって得られる。オブジェクト解析部２２０は、２つの画像から得られる２つのヒストグラムの間で各データ区間の頻度差ｄｉ（ｉはデータ区間の番号）を算出し、算出された頻度差ｄｉの絶対値の合計値Ｔｄを算出する。この合計値Ｔｄは、ヒストグラムの形状が似ているほど、小さくなる。従って、この合計値Ｔｄは、２つの画像間の類似度の評価値として利用可能である。選択部２３２、２３４は、この合計値Ｔｄが小さいほど、２つの画像の類似度が高いと評価する。このように、ヒストグラムを用いることによって、階調値分布に着目した類似度の評価が可能である。なお、２つのヒストグラムを比較する場合には、２つのヒストグラムの間で頻度の合計値が同じとなるように、ヒストグラムを正規化することが好ましい。

以上、イラスト画像について説明したが、文字と写真とについても、同様に、類似度を評価可能である。また、図２０、図２１、図２２で説明した類似度の評価方法は、上述の各実施例に適用可能である。また、２つの画像の間の類似度を評価する方法としては、上記各実施例の方法に限らず、他の方法を採用可能である。

Ｄ．変形例：
（１）挨拶状印刷の手順としては、上記の各実施例の手順に限らず、種々の手順を採用可能である。例えば、類似候補選択部２３２と非類似候補選択部２３４とのいずれが候補画像データを選択するのかを、ユーザが選択してもよい。この場合には、類似候補選択部２３２と非類似候補選択部２３４との両方が、制御部２００に実装される。そして、類似候補選択部２３２と非類似候補選択部２３４とから、候補画像データを選択する選択部を、ユーザの指示に応じて選択する処理選択部（図示省略）も、制御部２００に実装される。

（２）挨拶状印刷において、原稿の読み取りに第１読取部１６２（フラットベッド）が用いられる場合に、挨拶状の宛名側が読み取られるように、挨拶状を第１読取部１６２に置くこととしてもよい。この場合、第１読取部１６２が用いられる場合には、宛名側画像が印刷される。また、第２読取部１６４（ＡＤＦ）が用いられる場合に、宛名側の読み取りと印刷とを省略してもよい。また、第２読取部１６４が用いられる場合に、宛名側と絵側とのうちの所定の一方が読み取られ、その所定の一方の画像が印刷されることとしてもよい。また、読取機構の種類に拘わらずに、宛名側と絵側とのうちの所定の一方が読み取られ、その所定の一方の画像が印刷されることとしてもよい。

（３）タイマ１９０を省略してもよい。この場合、日時情報取得部２６０は、ユーザから現在日時を表す情報を受け取ればよい。また、選択部２３２、２３４は、日時情報を用いずに、候補画像を選択してもよい。例えば、選択部２３２、２３４は、新年属性ＮＹと夏属性ＳＭとのいずれの候補画像を選択するのかを、ユーザの指示に応じて決定してもよい。一般には、選択部２３２、２３４は、複数の候補画像が複数の属性に分類されている場合に、複数の属性のうちのユーザによって選択された属性に対応付けられた候補画像を選択すればよい。また、複数の属性を用いた複数の候補画像の分類を省略してもよい。例えば、全ての候補画像が、新年の挨拶状に適した画像であってもよい。この場合、挨拶状印刷によって、新年の挨拶状が印刷される。

（４）挨拶状印刷において、オブジェクト画像の種類とは無関係に、類似する候補画像、または、非類似な候補画像が選択されてもよい。例えば、類似候補選択部２３２は、文字列のオブジェクト画像に類似するイラストの候補画像を選択してもよい。

（５）生成部２４０は、印刷すべき画像のサイズに拘わらずに、ユーザの指示に従って、挨拶状印刷のための出力画像データ（すなわち、候補画像を表す出力画像データ）を生成するか否かを決定してもよい。

（６）候補画像の配置は、元のオブジェクト画像の配置と、異なっていてもよい。例えば、生成部２４０は、選択された候補画像を、所定の位置に配置してもよい。

（７）図４のステップＳ３３４とステップＳ３３８との順番を入れ替えてもよい。また、それらのステップＳ３３４、Ｓ３３８が、並列に進行してもよい。また、原稿のコピーの指示とは異なる指示（例えば、挨拶状印刷の指示）に応じて、挨拶状印刷のための処理（例えば、図２の処理）が進行してもよい。ここで、図２のステップＳ１５０を省略してもよい。

（８）候補画像を用いて生成される出力画像データは、印刷用ではなく表示用の画像データであってもよい。例えば、ＪＰＥＧ形式の出力画像データが生成されてもよい。送信部２５０は、このような表示用の出力画像データを、表示部１４０に送信すればよい。

（９）図１に示す実施例において、第１読取部１６２と第２読取部１６４との一方が省略されてもよい。また、第２読取部１６４（ＡＤＦ）が、片面の読取部であってもよい。また、制御部２００の機能（例えば、処理部２１０〜２８０の機能）は、画像処理装置としての複合機１００の制御部２００とは異なる他の装置（例えば、ネットワークを介してプリンタや表示装置やスキャナと通信可能なコンピュータ）によって、実現されてもよい。いずれの場合も、送信部２５０は、出力画像データを、ネットワークを通じて、プリンタや表示装置等の出力装置に、送信してもよい。

また、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、制御部２００の機能を一部ずつ分担して、全体として、制御部２００の機能を提供してもよい（これらの装置を備えるシステムが制御部に対応する）。

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、図１のオブジェクト解析部２２０の機能を、論理回路を有する専用のハードウェア回路によって実現してもよい。

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリカードやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含んでいる。

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

１００...複合機、１１０...ＣＰＵ、１２０...揮発性記憶装置、１３０...不揮発性記憶装置、１３２...プログラム、１３４...候補画像データ、１４０...表示部、１５０...操作部、１６０...スキャナ、１６２...第１読取部、１６４...第２読取部、１７０...プリンタ、１８０...インタフェース、１９０...タイマ、２００...制御部、２１０...抽出部、２１５...宛名解析部、２２０...オブジェクト解析部、２３０...選択部、２３２...類似候補選択部、２３４...非類似候補選択部、２４０...生成部、２５０...送信部、２６０...日時情報取得部、２７０...サイズ設定部、２７５...読取設定部、２８０...スキャナ制御部、Ｂ１...第１ボタン、Ｂ２...第２ボタン、Ｂ１１...第１ボタン、Ｂ１２...第２ボタン、Ｂ１３...第３ボタン、ＵＩ１...確認画像、ＵＩ２...確認画像

Claims (10)

1. 原稿を光学的に読み取ることによって前記原稿を表す読取画像データを生成する読取部と、
   画像を出力する出力部と、
   複数の候補画像をそれぞれ表す複数の候補画像データを格納するための記憶装置と、
   制御部と、
   を備え、
   前記制御部は、
   前記読取画像データを解析することによって、オブジェクト画像を抽出する抽出部と、
   前記抽出されたオブジェクト画像と前記複数の候補画像とを解析する解析部と、
   前記複数の候補画像データによってそれぞれ表される前記複数の候補画像から、前記解析部による解析の結果に応じて、１つの候補画像を選択する選択部と、
   前記抽出されたオブジェクト画像の代わりに、前記選択された候補画像を用いることによって、前記出力部によって出力すべき画像を表す出力画像データを生成する生成部と、
   前記出力画像データを前記出力部に送信する送信部と、
   を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記制御部は、現在の日時を表す日時情報を取得する日時情報取得部を含み、
   前記選択部は、前記解析部による前記解析の前記結果と、前記日時情報と、に応じて、前記１つの候補画像を選択する、
   画像処理装置。
   
3. 請求項１または２に記載の画像処理装置であって、
   前記記憶装置に格納されるべき前記複数の候補画像データは、複数種類に分類されたデータであり、
   前記選択部は、前記オブジェクト画像の代わりに用いられる前記候補画像を、前記オブジェクト画像と同じ種類の候補画像から、選択する、画像処理装置。
4. 請求項１ないし３のいずれかに記載の画像処理装置であって、
   前記選択部は、前記複数の候補画像のうちの前記オブジェクト画像に類似する候補画像を選択する類似候補選択部を含む、画像処理装置。
5. 請求項１ないし４のいずれかに記載の画像処理装置であって、
   前記選択部は、前記複数の候補画像のうちの前記オブジェクト画像に類似する候補画像とは異なる候補画像を選択する非類似候補選択部を含む、画像処理装置。
6. 請求項４または５に記載の画像処理装置であって、
   前記候補画像が前記オブジェクト画像に類似することは、
   前記候補画像を前記オブジェクト画像上に重ね合わせた場合の各画素位置における色を表す階調値の差と、
   前記オブジェクト画像と前記候補画像とのそれぞれにおけるエッジ画素の割合と、
   前記オブジェクト画像と前記候補画像とのそれぞれにおいて使用されている色の数と、
   前記オブジェクト画像と前記候補画像とのそれぞれにおける色を表す階調値のヒストグラムの形状と、
   の少なくとも１つに応じて判断される、画像処理装置。
7. 請求項１ないし６のいずれかに記載の画像処理装置であって、
   前記生成部は、前記読取画像データが前記原稿の差出人と受取人とを表す場合に、新たな差出人と新たな受取人とを表す画像である宛名画像であって、前記原稿の前記受取人を前記新たな差出人として表し、前記原稿の前記差出人を前記新たな受取人として表す、宛名画像を表す前記出力画像データを生成する、画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記読取部は、前記原稿を移動させずに、光学素子を前記原稿に対して移動させることによって前記原稿を光学的に読み取る第１読取部と、前記光学素子を移動させずに、前記原稿を前記光学素子に対して移動させることによって前記原稿を光学的に読み取る第２読取部と、を含み、
   前記生成部は、
   前記第１読取部によって前記原稿が読み取られた場合には、前記宛名画像および前記宛名画像とは異なる画像のうち、一方の画像を表す前記出力画像データを生成し、
   前記第２読取部によって前記原稿が読み取られた場合には、前記宛名画像を表わす第１出力画像データと、前記宛名画像とは異なる画像を表す第２出力画像データと、を生成する、
   画像処理装置。
   
9. 請求項１ないし８のいずれかに記載の画像処理装置であって、
   前記制御部は、さらに、ユーザの指示に応じて出力すべき画像のサイズを設定するサイズ設定部を含み、
   前記生成部は、
   前記画像のサイズが特定のサイズである場合に、前記選択された候補画像を用いることによって前記出力画像データを生成し、
   前記画像のサイズが前記特定のサイズとは異なる場合に、前記読取画像データによって表される画像と同じ画像を表す前記出力画像データを生成する、
   画像処理装置。
10. 原稿を光学的に読み取ることによって前記原稿を表す読取画像データを生成する読取部によって生成された前記読取画像データを解析することによって、オブジェクト画像を抽出する抽出機能と、
    前記抽出されたオブジェクト画像と、記憶装置に格納された複数の候補画像データによってそれぞれ表される複数の候補画像と、を解析する解析機能と、
    前記複数の候補画像から、前記解析機能による解析の結果に応じて、１つの候補画像を選択する選択機能と、
    前記抽出されたオブジェクト画像の代わりに、前記選択された候補画像を用いることによって、画像を出力する出力部によって出力すべき画像を表す出力画像データを生成する生成機能と、
    前記出力画像データを、前記出力部に送信する送信機能と、
    をコンピュータに実現させるプログラム。

Images