JP4581968B2 - 画像処理技術 - Google Patents

Description

本発明は、画像同士の類似性を判断する画像処理技術に関する。

複数の画像を取り扱う画像処理装置として、例えば、パーソナルコンピュータやデジタルスチルカメラなどの他、記憶媒体に記憶された画像を直接的に印刷可能な印刷装置（ダイレクトプリンタ）や、記憶媒体に記憶された画像を表示する画像表示装置（フォトビューワ）などがある。従来、これらの画像処理装置において、画像の管理，印刷，鑑賞などの利便性を向上させるため、画像同士の類似性を判断する画像処理技術が提案されている。下記特許文献１には、各画像のカラーヒストグラムに基づいて画像同士の類似性を判断する従来の画像処理技術が開示されている。

特開２０００−１３７７２２号公報

しかしながら、従来の画像処理技術では、各画像のカラーヒストグラムをそのまま比較して画像同士の類似性を判断するため、画像同士の明るさが大きく異なると、類似と判断すべき画像同士が非類似とされてしまう場合があった。例えば、露出の変更やフラッシュの有無など撮影条件を変えて連続して撮影された同一シーンの画像同士の場合には、そのような同一シーンの画像同士は類似と判断されるべきとの要望があるにも拘らず、従来の画像処理技術では、画像間の明るさが大きく異なると、同一シーンの画像同士であっても非類似と判断されてしまう場合があった。

本発明は、上記した課題を踏まえ、画像同士の明るさの相違を考慮して画像同士の類似性の判断を適切に行うことができる画像処理技術を提供することを目的とする。

上記した課題を解決するため、本発明の印刷装置は、記憶媒体に記憶された複数の画像のいくつかを印刷する印刷装置であって、複数の画像を記憶媒体から読み出す画像読出部と、読み出した複数の画像の中から二つの画像を特定する画像特定部と、画像を構成する色の特徴を示す特徴量を、特定された二つの画像の各々から抽出する特徴量抽出部と、画像の明るさを示す評価値を、特定された二つの画像の各々から抽出する評価値抽出部と、抽出された評価値に基づいて、抽出された二つの特徴量の少なくとも一方を、二つの画像の明るさが近づく方向に補正する特徴量補正部と、少なくとも一方が補正された二つの特徴量に基づいて、二つの画像の類似性を判断する類否判断部と、判断された類似性に基づいて、複数の画像の中から画像を選択する画像選択部と、選択された画像を印刷する制御を行う印刷制御部とを備えることを特徴とする。これによって、画像間における画像全体の明るさの相違が画像同士の類似性の判断に与える影響を軽減することができるため、画像同士の類似性の判断を適切に行うことができる。その結果、類似性に応じた画像の印刷を適切に実行することができる。

上述の印刷装置は、以下の形態を採ることもできる。例えば、画像選択部は、判断された二つの画像の類似性に基づいて、複数の画像を、類似した画像毎のグループに分類する画像分類部と、分類されたグループ毎に該グループに含まれる画像の少なくとも一つを、選択された画像として選定する画像選定部とを備えても良い。これによって、記憶媒体に記憶された複数の画像のうち類似する画像が重複して印刷されてしまうことを防止することができる。

また、複数の画像をグループ化する形態において、記憶媒体に記憶された複数の画像は、撮影された順序で一連に並ぶ画像であり、特定される二つの画像は、撮影された順序で隣り合う画像同士であっても良い。これによって、全ての画像同士の組み合わせについて類似性を判断する必要はなく、撮影された順序で隣り合う画像同士の類似性を判断することによって画像のグループ化を行うことができるため、グループ化の処理効率を向上させることができる。

また、画像選択部は、判断された二つの画像の類似性に基づいて、特定された画像の一方に類似する画像を、複数の画像の中から検索する画像検索部と、検索された画像の少なくとも一つを、選択された画像として選定する画像選定部とを備えても良い。これによって、記憶媒体に記憶された複数の画像のうち特定の画像に類似する画像を印刷することができる。

また、記憶媒体には、画像が撮影された際の撮影条件が画像毎に記憶されており、評価値抽出部は、撮影条件に基づいて評価値を抽出しても良い。これによって、画像間における画像全体の明るさの相違が画像同士の類似性の判断に与える影響を、各画像の撮影条件に応じて軽減することができる。

また、撮影条件に基づいて評価値が抽出される形態において、撮影条件は、絞り値，シャッタスピード，ＩＳＯ感度であり、評価値は、絞り値，シャッタスピード，ＩＳＯ感度に基づく被写体の輝度を示す値であっても良い。これによって、画像間における画像全体の明るさの相違が画像同士の類似性の判断に与える影響を、各画像に写された被写体の輝度に基づいて軽減することができる。なお、撮影条件に基づいて評価値が抽出される形態において、撮影条件はＥｘｉｆ規格の情報であっても良い。

また、評価値抽出部は、画像自体の輝度に基づいて評価値を抽出しても良い。これによって、画像間における画像全体の明るさの相違が画像同士の類似性の判断に与える影響を、各画像自体の輝度に基づいて軽減することができる。なお、画像自体の輝度に基づいて評価値が抽出される形態において、評価値は、画像についての輝度の累積ヒストグラムに基づく輝度の度合であっても良い。

また、特徴量補正部は、抽出された評価値に基づいて、抽出された二つの特徴量の少なくとも一方を、画像が明るくなる方向で二つの画像の明るさが近づく方向に補正しても良い。これによって、常に画像が明るくなる方向、すなわち、特徴量が大きくなる方向に補正が行われるため、特徴量が取りうる最大値に予めクリッピングされている画像と、予めクリッピングされていない画像とを対等に比較することができる。

また、画像が明るくなる方向で特徴量が補正される形態において、特徴量補正部は、補正された特徴量が、明るくなる方向の最大値を超える際に、その補正された特徴量を最大値に修正するクリッピング部を備えても良い。これによって、特徴量が取りうる最大値に予めクリッピングされている画像と、評価値による補正によって特徴量が最大値を超えてしまう画像とを対等に比較することができる。

また、特徴量補正部は、抽出された評価値に基づいて、抽出された二つの特徴量の一方を、二つの画像の一方の明るさを他方の明るさに近づける方向に補正しても良い。これによって、評価値による特徴量の補正における処理効率を、二つの特徴量の両方を補正する場合よりも向上させることができる。

また、特徴量抽出部は、特定された二つの画像を複数のブロックにそれぞれ分割するブロック部と、複数のブロック毎の代表色を示すＲＧＢ値を特徴量として抽出するＲＧＢ抽出部とを備え、特徴量補正部は、特徴量として抽出されたＲＧＢ値をガンマ補正するガンマ補正部と、ガンマ補正された特徴量を、抽出された評価値に基づいて、二つの画像の明るさが近づく方向にレベル補正する変換補正部と、レベル補正された特徴量を逆ガンマ補正する逆ガンマ補正部とを備えても良い。これによって、評価値に基づく特徴量の補正をより厳密に行うことができる。

また、特徴量補正部は、抽出された二つの評価値の差が基準値未満である場合に、評価値に基づく特徴量の補正を禁止する補正禁止部を備えても良い。これによって、画像同士の明るさの相違が類似性の判断に影響を及ぼさない場合に、評価値による特徴量の補正を実行する必要がないため、画像同士の類似性の判断における処理効率を向上させることができる。

また、上記した課題を解決するため、本発明の画像処理装置は、記憶媒体に記憶された複数の画像を処理する画像処理装置であって、複数の画像を記憶媒体から読み出す画像読出部と、読み出した複数の画像の中から二つの画像を特定する画像特定部と、画像を構成する色の特徴を示す特徴量を、特定された二つの画像の各々から抽出する特徴量抽出部と、画像の明るさを示す評価値を、特定された二つの画像の各々から抽出する評価値抽出部と、抽出された評価値に基づいて、抽出された二つの特徴量の少なくとも一方を、二つの画像の明るさが近づく方向に補正する特徴量補正部と、少なくとも一方が補正された二つの特徴量に基づいて、二つの画像の類似性を判断する類否判断部とを備えることを特徴とする。これによって、画像間における画像全体の明るさの相違が画像同士の類似性の判断に与える影響を軽減することができるため、画像同士の類似性の判断を適切に行うことができる。

上述の画像処理装置は、以下の形態を採ることもできる。例えば、上述の画像処理装置は、更に、判断された二つの画像の類似性に基づいて、複数の画像を、類似した画像毎のグループに分類する画像分類部を備えても良い。これによって、類似した画像毎のグループの分類精度を向上させることができる。

また、上述の画像処理装置は、更に、判断された二つの画像の類似性に基づいて、特定された画像の一方に類似する画像を、複数の画像の中から検索する画像検索部を備えても良い。これによって、類似する画像の検索精度を向上させることができる。

また、本発明の形態は、印刷装置や画像処理装置の形態に限るものではなく、例えば、記憶媒体に記憶された複数の画像を取り扱う画像処理方法や、複数の画像を処理する機能をコンピュータに実現させるためのプログラムなどに適用することもできる。また、本発明は、前述の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。

以上説明した本発明の構成および作用を一層明らかにするために、以下本発明を適用した画像処理技術について説明する。

Ａ．実施例：
Ａ−１．印刷装置の構成：
図１は、印刷装置１０の外観構成を示す斜視図である。図２は、主として印刷装置１０の内部構成を示す説明図である。図１および図２に示す印刷装置１０は、カラープリンタ，モノクロプリンタ，スキャナ，複写機などの各種機能を併せ持つ装置、いわゆる複合機である。印刷装置１０は、これらの機能に加えて、印刷装置１０に接続された記憶媒体に記憶されている画像を、印刷データに変換して直接的に印刷するダイレクト・プリント機能を有する。

印刷装置１０は、印刷装置１０の各部を制御するメイン制御部１１０と、普通紙や写真用紙，ハガキなどの印刷媒体９００に印刷を行う印刷部１２０と、紙面上の画像を読み取ってデジタルデータに変換（スキャン、scan）するスキャナ部１３０と、フラッシュメモリを内蔵するメモリカードのような記憶媒体８１０にデータを読み書き可能なカードスロット１４０と、パーソナルコンピュータやデジタルスチルカメラ，デジタルビデオカメラなどの記憶媒体を内蔵する外部機器８２０とデータをやり取り可能な通信コネクタ１５０と、文字や画像を表示するディスプレイ部１６０と、印刷装置１０のユーザからの指示入力を受け付ける入力ボタン部１７０とを備える。

印刷装置１０のメイン制御部１１０は、カードスロット１４０に接続された記憶媒体８１０や通信コネクタ１５０に接続された外部機器８２０から複数の画像ファイル７１０を読み出す画像読出部１１１と、複数の画像ファイル７１０によって再生される複数の画像ＰＩの中から類似性を判断するための二つの画像ＰＩを特定する画像特定部１１２と、画像ＰＩを構成する色の特徴を示す特徴量Ｆを抽出する特徴量抽出部１１３と、画像ＰＩの明るさを示す評価値Ｌを抽出する評価値抽出部１１４と、評価値Ｌに基づいて特徴量Ｆを補正する特徴量補正部１１５と、補正された特徴量Ｆに基づいて二つの画像ＰＩの類似性を判断する類否判断部１１６と、判断された類似性に基づいて、複数の画像ＰＩの中から画像ＰＩを選択する画像選択部１１７と、選択された画像ＰＩを印刷する制御を行う印刷制御部１１８とを備える。

本実施例では、メイン制御部１１０は、セントラルプロセッシングユニット（Central Processing Unit、以下、ＣＰＵという）,リードオンリメモリ（Read Only Memory、以下、ＲＯＭという）,ランダムアクセスメモリ（Random Access Memory、以下、ＲＡＭという）などのハードウェアを備えたＡＳＩＣ（Application Specific Integrated Circuits）である。メイン制御部１１０の動作についての詳細は後述する。

印刷装置１０の印刷部１２０は、図２に示すように、印刷媒体９００に印刷インクを吐出する印刷ヘッドユニット２１０と、印刷ヘッドユニット２１０を搭載するキャリッジ２００と、キャリッジ２００を主走査方向に駆動するキャリッジ駆動部２４０と、印刷媒体９００を搬送する印刷媒体搬送部２５０とを備える。印刷部１２０の印刷ヘッドユニット２１０は、ブラック，シアン，ライトシアン，マゼンダ，ライトマゼンダ，イエロの各色のインク毎に計６個のインク吐出ヘッド２１１〜２１６を有する。インク吐出ヘッド２１１〜２１６の各々は、ピエゾ素子（図示しない）の電圧調整によってインクを印刷媒体９００に吐出する。印刷部１２０のインク吐出ヘッド２１１〜２１６，キャリッジ駆動部２４０，印刷媒体搬送部２５０の各々は、メイン制御部１１０の指示に基づいて協働することによって、印刷媒体９００に対する印刷を実現する。

図３は、画像ファイル７１０のデータ構造を模式的に示す説明図である。画像ファイル７１０の各々は、その画像ファイル７１０によって再生される画像ＰＩが撮影された際の撮影条件を示す撮影条件データ７１１０と、その画像ファイル７１０によって再生される画像ＰＩを示す画像データ７１２０とを有する。画像ファイル７１０の撮影条件データ７１１０は、撮影条件を示す情報として、画像ＰＩが撮影された撮影日時７１１２と、画像ＰＩが撮影された際の絞り値（Ｆ値）７１１４と、画像ＰＩが撮影された際のシャッタスピード７１１６と、画像ＰＩが撮影された際のＩＳＯ感度７１１８とを有する。本実施例では、画像ファイル７１０は、デジタルスチルカメラで撮影された画像ＰＩが記録されたＥｘｉｆ規格のＪＰＥＧファイルである。

Ａ−２．印刷装置の動作：
図４は、印刷装置１０のメイン制御部１１０によって実行される画像印刷処理を示すフローチャートである。印刷装置１０のメイン制御部１１０は、記憶媒体８１０や外部機器８２０がユーザによってカードスロット１４０や通信コネクタ１５０に取り付けられ、ダイレクト・プリント機能の実施要求がユーザによって入力ボタン部１７０を介して入力された際に、図４の画像印刷処理を開始する。

印刷装置１０のメイン制御部１１０は、図４の画像印刷処理を開始すると、カードスロット１４０や通信コネクタ１５０に取り付けられている記憶媒体８１０や外部機器８２０から複数の画像ファイル７１０を読み出す（ステップＳ１００）。その後、メイン制御部１１０は、読み出された複数の画像ファイル７１０から再生される複数の画像ＰＩを類似した画像毎のグループに分類するため（ステップＳ１５０）、複数の画像ＰＩの中から二つずつ順に特定する（ステップＳ１１０，Ｓ１５８）。

図５は、図４の画像印刷処理において二つの画像ＰＩが特定される様子（ステップＳ１１０）を示す説明図である。本実施例では、メイン制御部１１０は、撮影された順序で一連に並ぶ複数の画像ＰＩから、撮影された順序で隣り合う画像ＰＩ同士を先頭の画像ＰＩから順に一つずつずらして特定する（ステップＳ１１０）。つまり、特定された二つの画像ＰＩのうち後で撮影された第２の画像ＰＩは、次に二つの画像ＰＩが特定される際に、その二つの画像ＰＩのうち先に撮影された第１の画像ＰＩとして特定される。

図４の説明に戻り、二つの画像ＰＩが特定された後（ステップＳ１１０）、メイン制御部１１０は、画像ＰＩの明るさを示す評価値Ｌを、特定された二つの画像ＰＩの各々から抽出する評価値抽出処理を実行する（ステップＳ１２０）。

図６は、評価値抽出処理（ステップＳ１２０）を示すフローチャートである。メイン制御部１１０は、図６の評価値抽出処理を開始すると、二つの画像ＰＩを記録した画像ファイル７１０の各々から、撮影条件として、絞り値７１１４，シャッタスピード７１１６，ＩＳＯ感度７１１８を読み出す（ステップＳ１２０２）。その後、メイン制御部１１０は、読み出された絞り値７１１４，シャッタスピード７１１６，ＩＳＯ感度７１１８に基づく被写体の輝度を評価値Ｌとして算出する（ステップＳ１２０４）。本実施例では、メイン制御部１１０は、次の数式１を用いて、絞り値７１１４，シャッタスピード７１１６，ＩＳＯ感度７１１８の各々をＡＰＥＸ単位系に変換した後、次の数式２を用いて、これら変換された値から評価値Ｌを算出する。

ここで、数式２で算出された評価値Ｌは、その値が「１」小さくなると、画像ＰＩの被写体は二倍の明るさで撮影されることを意味する。以下の説明では、抽出された二つの評価値Ｌのうち、その値が小さい方を評価値Ｌｔと表記し、その値が大きい方を評価値Ｌｃと表記し、特定された二つの画像ＰＩのうち、明るい方すなわち評価値Ｌｔが抽出された方を画像ＴＩと表記し、暗い方すなわち評価値Ｌｃが抽出された方を画像ＣＩと表記する。

図４の説明に戻り、評価値Ｌｔ，Ｌｃが抽出された後（ステップＳ１２０）、メイン制御部１１０は、画像ＰＩを構成する色の特徴を示す特徴量Ｆを、特定された二つの画像ＴＩ，ＣＩの各々から抽出する特徴量抽出処理を実行する（ステップＳ１３０）。以下の説明では、抽出された二つの特徴量Ｆのうち、画像ＴＩから抽出された方を特徴量Ｆｔと表記し、画像ＣＩから抽出された方を特徴量Ｆｃと表記する。

図７は、特徴量抽出処理（ステップＳ１３０）を示すフローチャートである。メイン制御部１１０は、図７の特徴量抽出処理を開始すると、特定された二つの画像ＴＩ，ＣＩを複数のブロックにそれぞれ分割し（ステップＳ１３０２）、分割された個々のブロック内で基調となる色である代表色を特徴量Ｆｔ，Ｆｃとして抽出する（ステップＳ１３０４）。

図８は、図７の特徴量抽出処理（ステップＳ１３０）の様子を示す説明図である。図８の左側には、画像ＣＩから特徴量Ｆｃを抽出する様子が示され、図８の右側には、画像ＴＩから特徴量Ｆｔを抽出する様子が示されている。本実施例では、メイン制御部１１０は、二つの画像ＴＩ，ＣＩの各々を３行４列のブロックに分割し、その結果、二つの画像ＴＩ，ＣＩの各々は、ブロックＢ１〜Ｂ１２の合計１２個のブロックに分割される（ステップＳ１３０２）。本実施例では、メイン制御部１１０は、二つの画像ＴＩ，ＣＩの各々のブロックＢ１〜Ｂ１２の代表色を赤（Ｒ），緑（Ｇ），青（Ｂ）を組み合わせて表現するＲＧＢ値を、特徴量Ｆｔ，Ｆｃとして抽出する（ステップＳ１３０４）。抽出された特徴量Ｆｔ，Ｆｃは、次の数式３を用いて表される。

ここで、ＲＧＢ値（Ｒｔｉ，Ｇｔｉ，Ｂｔｉ）は、画像ＴＩの「ｉ」番目のブロックＢｉの代表色を示し、ＲＧＢ値（Ｒｃｉ，Ｇｃｉ，Ｂｃｉ）は、画像ＣＩの「ｉ」番目のブロックＢｉの代表色を示す。つまり、数式３における「ｎ」の値は、分割されたブロックの総数であり、図８に示す例では、「ｎ＝１２」である。本実施例では、赤の値を示すＲｔｉ、緑の値を示すＧｔｉ、青の値を示すＢｔｉの各々は、「０」から「２５５」の値をとる。

図４の説明に戻り、特徴量Ｆｔ，Ｆｃが抽出された後（ステップＳ１３０）、メイン制御部１１０は、二つの画像ＴＩ，ＣＩのうち暗い方の画像ＣＩから抽出された特徴量Ｆｃを、二つの画像ＴＩ，ＣＩから抽出された評価値Ｌｔ，Ｌｃに基づいて補正するために、特徴量補正処理を実行する（ステップＳ１４０）。

図９は、特徴量補正処理（ステップＳ１４０）を示すフローチャートである。メイン制御部１１０は、図９の特徴量補正処理を開始すると、評価値Ｌｔと評価値Ｌｃとの差であるΔＬの値が基準値Ｔｋより小さいか否かを判断する（ステップＳ１４０１）。ΔＬは、次の数式４で表される。なお、本実施例では、明るい方の画像ＴＩの評価値Ｌｔよりも、暗い方の画像ＣＩの評価値Ｌｃの方が大きな値であるため、「Ｌｔ−Ｌｃ」の値は負となる。

ΔＬの値が基準値Ｔｋより小さい場合には（ステップＳ１４０１）、メイン制御部１１０は、特徴量Ｆｃを補正することなしに、図９の特徴量補正処理を終了する。

一方、ΔＬの値が基準値Ｔｋ以上である場合には（ステップＳ１４０１）、メイン制御部１１０は、評価値Ｌｔ，Ｌｃに基づいて補正値Ｋを算出する（ステップＳ１４０２）。補正値Ｋは、次の数式５で表される。

補正値Ｋが算出された後（ステップＳ１４０２）、メイン制御部１１０は、次の数式６を用いて、特徴量Ｆｃの各ＲＧＢ値（Ｒｔｉ，Ｇｔｉ，Ｂｔｉ）をガンマ補正する（ステップＳ１４０４）。なお、ガンマ補正に用いるガンマ値γは、画像ＣＩの画像ファイル７１０に含まれる値であっても良いし、予め設定された値であっても良い。

特徴量Ｆｃがガンマ補正された後（ステップＳ１４０４）、メイン制御部１１０は、次の数式７を用いて、数式６で算出された値（Ｒｃｉ’，Ｇｃｉ’，Ｂｃｉ’）を、補正値Ｋに基づいてレベル補正する（ステップＳ１４０５）。

特徴量Ｆｃがレベル補正された後（ステップＳ１４０５）、メイン制御部１１０は、次の数式８を用いて、数式７で算出された値（Ｒｃｉ’’，Ｇｃｉ’’，Ｂｃｉ’’）を逆ガンマ補正する（ステップＳ１４０６）。なお、数式８におけるガンマ値γは、数式５におけるガンマ値γと同じ値である。

特徴量Ｆｃが逆ガンマ補正された後（ステップＳ１４０６）、メイン制御部１１０は、補正値Ｋで補正された特徴量Ｆｃの値が最大値を超過するか否か、すなわち、数式８で算出された値Ｒｃｉ’’’，Ｇｃｉ’’’，Ｂｃｉ’’’の各々が最大値「２５５」を超過するか否かを判断する（ステップＳ１４０８）。補正された特徴量Ｆｃの値が最大値を超過する場合には（ステップＳ１４０８）、メイン制御部１１０は、最大値「２５５」を超えた値を「２５５」に修正（クリッピング）して、図９の特徴量補正処理を終了する。補正された特徴量Ｆｃの値が最大値を超過しない場合には（ステップＳ１４０８）、メイン制御部１１０は、そのまま図９の特徴量補正処理を終了する。

図４の説明に戻り、特徴量Ｆｃがレベル補正された後（ステップＳ１４０）、メイン制御部１１０は、二つの画像ＴＩ，ＣＩを類似する画像毎のグループに分類する類否判断処理を実行する（ステップＳ１５０）。

図１０は、類否判断処理（ステップＳ１５０）を示すフローチャートである。メイン制御部１１０は、図１０の類否判断処理を開始すると、二つの画像ＴＩ，ＣＩの類似度合を判断する指標である特徴量距離Ｄを算出する（ステップＳ１５０２）。特徴量距離Ｄは、次の数式９で表される。

なお、数式９における「ｄｉ」は、ＲＧＢユークリッド空間での２点の距離を表す。本実施例では、数式９における「ｓ」の値は、「３×３２²」である。

特徴量距離Ｄが算出された後（ステップＳ１５０２）、メイン制御部１１０は、特徴量距離Ｄが基準値Ｔｄ以下である場合（ステップＳ１５０４）には、二つの画像ＴＩ，ＣＩが類似であると判断し（ステップＳ１５１２）、一方、特徴量距離Ｄが基準値Ｔｄより大きい場合（ステップＳ１５０４）には、二つの画像ＴＩ，ＣＩが非類似であると判断する（ステップＳ１５２２）。

図４の説明に戻り、二つの画像ＴＩ，ＣＩの類似性が判断された後（ステップＳ１５０）、メイン制御部１１０は、二つの画像ＴＩ，ＣＩが類似である場合（ステップＳ１５２）には、二つの画像ＴＩ，ＣＩを同一グループに分類し（ステップＳ１５４）、一方、二つの画像ＴＩ，ＣＩが非類似である場合（ステップＳ１５２）には、二つの画像ＴＩ，ＣＩをそれぞれ別のグループに分類する（ステップＳ１５６）。

図１１は、図４における複数の画像ＰＩのグループ化の様子（ステップＳ１５２，Ｓ１５４，Ｓ１５６）を示す説明図である。本実施例では、撮影された順序で隣り合う画像ＰＩ同士について順に類似性が判断されるため、グループ毎の画像は撮影された順序で連続し、非類似と判断された画像ＰＩ同士間がグループ間の境目となる。図１１に示す例では、左側から撮影順に並ぶ複数の画像ＰＩのうち、左側から１番目から３番目までの画像ＰＩは類似と判断され、３番目と４番目とは非類似と判断され、４番目および５番目の画像ＰＩは類似と判断された様子が示されている。その結果、図１１に示す例では、１番目から３番目までの画像ＰＩはグループＧ１に分類され、４番目および５番目の画像ＰＩはグループＧ２に分類される。

図４の説明に戻り、全ての画像についてグループ化した後（ステップＳ１５８）、メイン制御部１１０は、複数の画像ＰＩが分類された各グループからそれぞれ少なくとも一つの画像ＰＩを選択し（ステップＳ１６０）、選択された画像ＰＩを印刷する制御を行ない（ステップＳ１７０）、図４の画像印刷処理を終了する。本実施例では、各グループからの画像ＰＩの選択（ステップＳ１６０）において、メイン制御部１１０は、各グループに属する画像ＰＩの各エッジ量を抽出し、各グループ内でエッジ量の多い画像ＰＩを一つ選択する。なお、本実施例では、グループに属する画像ＰＩが一つである場合には、その一つの画像ＰＩが選択される。

以上説明した印刷装置１０によれば、画像ＰＩ間における画像ＰＩ全体の明るさの相違が画像ＰＩ同士の類似性の判断に与える影響を軽減することができるため、画像ＰＩ同士の類似性の判断を適切に行うことができる。その結果、類似性に応じた画像ＰＩの印刷を適切に実行することができる。

また、撮影された順序で隣り合う画像ＰＩ同士で類似性の判断が行なうことによって、画像ＰＩのグループ化が行なわれるため（ステップＳ１１０,Ｓ１５２,Ｓ１５４,Ｓ１５６、図５、図１１）、グループ化の処理効率を向上させることができる。

また、画像ファイル７１０に含まれる撮影条件データ７１１０に基づいて各画像ＰＩの評価値Ｌが抽出されるため（数式１）、画像ＰＩ間における画像ＰＩ全体の明るさの相違が画像ＰＩ同士の類似性の判断に与える影響を、各画像ＰＩの撮影条件に応じて軽減することができる。また、評価値Ｌの算出に用いられる撮影条件データ７１１０は、絞り値７１１４，シャッタスピード７１１６，ＩＳＯ感度７１１８であり、画像ＰＩ間における画像ＰＩ全体の明るさの相違が画像ＰＩ同士の類似性の判断に与える影響を、各画像ＰＩに写された被写体の輝度に基づいて軽減することができる。

また、補正値Ｋによって補正される特徴量Ｆｃは、画像ＣＩが明るくなる方向で二つの画像ＴＩ,ＣＩの明るさが近づく方向に補正されるため（数式４,５）、常に画像ＣＩが明るくなる方向、すなわち、特徴量Ｆｃが大きくなる方向に補正が行われるため、特徴量Ｆｃの各ＲＧＢ値が取りうる最大値「２５５」に予めクリッピングされている画像ＰＩと、予めクリッピングされていない画像ＰＩとを対等に比較することができる。

また、補正値Ｋによって補正された特徴量Ｆｃの各ＲＧＢ値は、明るくなる方向の最大値「２５５」を越える際にクリッピングされるため（ステップＳ１４０８,Ｓ１４０９）、特徴量Ｆｃの各ＲＧＢ値が取りうる最大値「２５５」に予めクリッピングされている画像ＰＩと、予めクリッピングされていない画像ＰＩとを対等に比較することができる。

また、二つの特徴量Ｆｔ,Ｆｃのうちの一方である特徴量Ｆｃが補正値Ｋで補正されるため（ステップＳ１４０２,Ｓ１４０５）、補正値Ｋによる特徴量Ｆの補正における処理効率を、二つの特徴量Ｆｔ,Ｆｃの両方を補正する場合よりも向上させることができる。

また、特徴量Ｆｃは、補正値Ｋによって補正される際に、ガンマ値γによっても補正されるため（ステップＳ１４０４,Ｓ１４０６）、評価値Ｌに基づく特徴量Ｆｃの補正をより厳密に行うことができる。

また、二つの評価値Ｌｔ,Ｌｃの差ΔＬの値が基準値Ｔｋ未満である場合に、補正値Ｋによって特徴量Ｆｃが補正されることなしに、二つの画像ＴＩ,ＣＩの類似性が判断されるため（ステップＳ１４０１）、画像ＰＩ同士の明るさの相違が類似性の判断に影響を与えない範囲で、画像ＰＩ同士の類似性の判断における処理効率を向上させることができる。

Ｂ．その他の実施形態：
以上、本発明の実施例について説明したが、本発明は、前述の実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることは勿論である。例えば、前述の実施例では、特徴量Ｆを補正する補正値Ｋは、画像ＰＩの撮影条件に基づく値としたが、画像ＰＩ自体の輝度に基づく値としても良い。図１２は、変形例における評価値抽出処理（ステップＳ１２５）を示すフローチャートである。変形例におけるメイン制御部１１０は、図４の画像印刷処理において、図６の評価値抽出処理（ステップＳ１２０）に代えて、図１２の評価値抽出処理（ステップＳ１２５）を実行する。

メイン制御部１１０は、図１２の評価値抽出処理を開始すると、二つの画像ＴＩ,ＣＩの各々から輝度ヒストグラムＬＨｔ,ＬＨｃを作成する（ステップＳ１２５２）。図１３は、図１２の評価値抽出処理（ステップＳ１２５）の様子を示す説明図である。図１３には、二つの画像ＴＩ,ＣＩの各々から作成された輝度ヒストグラムＬＨｔ,ＬＨｃが示されている。図１３の輝度ヒストグラムＬＨｔ,ＬＨｃは、各画像を構成する画素の輝度値を横軸上にとり、画像を構成する画素の累積度数を縦軸上にとったグラフである。輝度ヒストグラムＬＨｔ,ＬＨｃが作成された後（ステップＳ１２５２）、メイン制御部１１０は、輝度ヒストグラムＬＨｔ,ＬＨｃにおいて累積度数ＮＡをとる輝度値を評価値Ｙとしてそれぞれ算出する（ステップＳ１２５４）。本変形例では、評価値Ｙの算出に用いる累積度数ＮＡは「１０％」である。なお、本変形例では、抽出された二つの評価値Ｙのうち、その値が大きい方を評価値Ｙｔと表記し、その値が小さい方を評価値Ｙｃと表記し、明るい方すなわち評価値Ｙｔが抽出された方を画像ＴＩと表記し、暗い方すなわち評価値Ｙｃが抽出された方を画像ＣＩと表記する。

本変形例では、図９の特徴量補正処理（ステップＳ１４０）において、メイン制御部１１０は、次の数式１０を用いて補正値Ｋを算出する（ステップＳ１４０２）。

以上説明した変形例の印刷装置１０によれば、画像ＰＩ間における画像ＰＩ全体の明るさの相違が画像ＰＩ同士の類似性の判断に与える影響を、各画像ＰＩ自体の輝度に基づいて軽減することができる。

また、図９の特徴量補正処理（ステップＳ１４０）において、メイン制御部１１０は、ガンマ補正（ステップＳ１４０４）および逆ガンマ補正（ステップＳ１４０６）を省略して、補正値Ｋによる特徴量Ｆｃの補正を実施しても良い。これによって、画像ＰＩの類比判断における処理の高速化を図ることができる。

また、メイン制御部１１０は、数式６，７，８を簡素化した次の数式１１を用いて、図９の特徴量補正処理におけるガンマ補正（ステップＳ１４０４）、レベル補正（ステップＳ１４０５）、逆ガンマ補正（ステップＳ１４０６）の各処理をまとめて行っても良い。これによって、画像ＰＩの類比判断における処理の高速化を図ることができる。

また、前述の実施例では、二つの特徴量Ｆｔ，Ｆｃのうち特徴量Ｆｃが、評価値Ｌｔ，Ｌｃに基づいて補正されることとしたが、特徴量Ｆｃに代えて特徴量Ｆｔが補正されても良いし、二つの特徴量Ｆｔ，Ｆｃの両方が補正されても良い。

また、前述の実施例では、画像同士の類似性が判断は、複数の画像ＰＩをグループ化するため実施されるが、複数の画像ＰＩの中から類似画像を検索するため実施されても良い。図１４は、変形例における類似画像検索処理を示すフローチャートである。印刷装置１０のメイン制御部１１０は、記憶媒体８１０や外部機器８２０がユーザによってカードスロット１４０や通信コネクタ１５０に取り付けられ、画像検索機能の実施要求がユーザによって入力ボタン部１７０を介して入力された際に、図１４の類似画像検索処理を開始する。図１４の類似画像検索処理は、複数の画像ＰＩの中からユーザによって選択された画像ＰＩと、その他の画像ＰＩとの類似性を判断し（ステップＳ２１０，Ｓ２１５，Ｓ２５８）、検索された類似画像ＰＩを検索結果として表示する（ステップＳ２７０）以外は、図４の画像印刷処理と同様である。また、図１４の類似画像検索処理によって検索された画像ＰＩの少なくとも一つを選択して印刷刷ることとしても良い。

また、前述の実施例では、本発明を適用した印刷装置１０について説明したが、複数の画像における画像同士の類似性を判断する他の装置、例えば、パーソナルコンピュータや、デジタルスチルカメラ，フォトビューワなどに、本発明を適用しても良い。

印刷装置１０の外観構成を示す斜視図である。 主として印刷装置１０の内部構成を示す説明図である。 画像ファイル７１０のデータ構造を模式的に示す説明図である。 印刷装置１０のメイン制御部１１０によって実行される画像印刷処理を示すフローチャートである。 図４の画像印刷処理において二つの画像ＰＩが特定される様子（ステップＳ１１０）を示す説明図である。 評価値抽出処理（ステップＳ１２０）を示すフローチャートである。 特徴量抽出処理（ステップＳ１３０）を示すフローチャートである。 図７の特徴量抽出処理（ステップＳ１３０）の様子を示す説明図である。 特徴量補正処理（ステップＳ１４０）を示すフローチャートである。 類否判断処理（ステップＳ１５０）を示すフローチャートである。 図４における複数の画像ＰＩのグループ化の様子（ステップＳ１５２，Ｓ１５４，Ｓ１５６）を示す説明図である。 変形例における評価値抽出処理（ステップＳ１２５）を示すフローチャートである。 図１２の評価値抽出処理（ステップＳ１２５）の様子を示す説明図である。 変形例における類似画像検索処理を示すフローチャートである。

符号の説明

１０…印刷装置
１１０…メイン制御部
１１１…画像読出部
１１２…画像特定部
１１３…特徴量抽出部
１１４…評価値抽出部
１１５…特徴量補正部
１１６…類否判断部
１１７…画像選択部
１１８…印刷制御部
１２０…印刷部
１３０…スキャナ部
１４０…カードスロット
１５０…通信コネクタ
１６０…ディスプレイ部
１７０…入力ボタン部
２００…キャリッジ
２１０…印刷ヘッドユニット
２１１〜２１６…インク吐出ヘッド
２４０…キャリッジ駆動部
２５０…印刷媒体搬送部
７１０…画像ファイル
７１１０…撮影条件データ
７１１２…撮影日時
７１１４…絞り値
７１１６…シャッタスピード
７１１８…ＩＳＯ感度
７１２０…画像データ
８１０…記憶媒体
８２０…外部機器
９００…印刷媒体
Ｇ１，Ｇ２…グループ
ＰＩ，ＴＩ，ＣＩ…画像
Ｂｉ…ブロック
Ｆ，Ｆｔ，Ｆｃ…特徴量
Ｄ…特徴量距離
Ｌ，Ｌｔ，Ｌｃ…評価値
ΔＬ…差
Ｋ…補正値
Ｙ，Ｙｔ，Ｙｃ…評価値
ＮＡ…累積度数

Claims (19)

1. 記憶媒体に記憶された複数の画像のいくつかを印刷する印刷装置であって、
   前記複数の画像を前記記憶媒体から読み出す画像読出部と、
   前記読み出した複数の画像の中から二つの画像を特定する画像特定部と、
   前記画像を構成する色の特徴を示す特徴量を、前記特定された二つの画像の各々から抽出する特徴量抽出部と、
   前記画像の明るさを示す評価値を、前記特定された二つの画像の各々から抽出する評価値抽出部と、
   前記抽出された評価値に基づいて、前記抽出された二つの特徴量の少なくとも一方を、前記二つの画像の明るさが近づく方向に補正する特徴量補正部と、
   前記少なくとも一方が補正された二つの特徴量に基づいて、前記二つの画像の類似性を判断する類否判断部と、
   前記判断された類似性に基づいて、前記複数の画像の中から画像を選択する画像選択部と、
   前記選択された画像を印刷する制御を行う印刷制御部と
   を備える印刷装置。
2. 請求項１記載の印刷装置であって、
   前記画像選択部は、
   前記判断された二つの画像の類似性に基づいて、前記複数の画像を、類似した画像毎のグループに分類する画像分類部と、
   前記分類されたグループ毎に該グループに含まれる画像の少なくとも一つを、前記選択された画像として選定する画像選定部と
   を備える印刷装置。
3. 前記記憶媒体に記憶された複数の画像は、撮影された順序で一連に並ぶ画像であり、前記特定される二つの画像は、前記撮影された順序で隣り合う画像同士である請求項２記載の印刷装置。
4. 請求項１記載の印刷装置であって、
   前記画像選択部は、
   前記判断された二つの画像の類似性に基づいて、前記特定された画像の一方に類似する画像を、前記複数の画像の中から検索する画像検索部と、
   前記検索された画像の少なくとも一つを、前記選択された画像として選定する画像選定部と
   を備える印刷装置。
5. 前記記憶媒体には、前記画像が撮影された際の撮影条件が前記画像毎に記憶されており、前記評価値抽出部は、前記撮影条件に基づいて前記評価値を抽出する請求項１ないし４のいずれか記載の印刷装置。
6. 前記撮影条件は、絞り値，シャッタスピード，ＩＳＯ感度であり、前記評価値は、絞り値，シャッタスピード，ＩＳＯ感度に基づく被写体の輝度を示す値である請求項５記載の印刷装置。
7. 前記撮影条件はＥｘｉｆ規格の情報である請求項５または６記載の印刷装置。
8. 前記評価値抽出部は、前記画像自体の輝度に基づいて前記評価値を抽出する請求項１ないし４のいずれか記載の印刷装置。
9. 前記評価値は、前記画像についての輝度の累積ヒストグラムに基づく輝度の度合である請求項８記載の印刷装置。
10. 前記特徴量補正部は、前記抽出された評価値に基づいて、前記抽出された二つの特徴量の少なくとも一方を、前記画像が明るくなる方向で前記二つの画像の明るさが近づく方向に補正する請求項１ないし９のいずれか記載の印刷装置。
11. 前記特徴量補正部は、前記補正された特徴量が、明るくなる方向の最大値を超える際に、該補正された特徴量を前記最大値に修正するクリッピング部を備える請求項１０記載の印刷装置。
12. 前記特徴量補正部は、前記抽出された評価値に基づいて、前記抽出された二つの特徴量の一方を、前記二つの画像の一方の明るさを他方の明るさに近づける方向に補正する請求項１ないし１１のいずれか記載の印刷装置。
13. 請求項１ないし１２のいずれか記載の印刷装置であって、
    前記特徴量抽出部は、
    前記特定された二つの画像を複数のブロックにそれぞれ分割するブロック部と、
    前記複数のブロック毎の代表色を示すＲＧＢ値を前記特徴量として抽出するＲＧＢ抽出部と
    を備え、
    前記特徴量補正部は、
    前記特徴量として抽出されたＲＧＢ値をガンマ補正するガンマ補正部と、
    前記ガンマ補正された特徴量を、前記抽出された評価値に基づいて、前記二つの画像の明るさが近づく方向にレベル補正する変換補正部と、
    前記レベル補正された特徴量を逆ガンマ補正する逆ガンマ補正部と
    を備える印刷装置。
14. 前記特徴量補正部は、前記抽出された二つの評価値の差が基準値未満である場合に、前記評価値に基づく前記特徴量の補正を禁止する補正禁止部を備える請求項１ないし１３のいずれか記載の印刷装置。
15. 記憶媒体に記憶された複数の画像を処理する画像処理装置であって、
    前記複数の画像を前記記憶媒体から読み出す画像読出部と、
    前記読み出した複数の画像の中から二つの画像を特定する画像特定部と、
    前記画像を構成する色の特徴を示す特徴量を、前記特定された二つの画像の各々から抽出する特徴量抽出部と、
    前記画像の明るさを示す評価値を、前記特定された二つの画像の各々から抽出する評価値抽出部と、
    前記抽出された評価値に基づいて、前記抽出された二つの特徴量の少なくとも一方を、前記二つの画像の明るさが近づく方向に補正する特徴量補正部と、
    前記少なくとも一方が補正された二つの特徴量に基づいて、前記二つの画像の類似性を判断する類否判断部と
    を備える画像処理装置。
16. 更に、前記判断された二つの画像の類似性に基づいて、前記複数の画像を、類似した画像毎のグループに分類する画像分類部を備える請求項１５記載の画像処理装置。
17. 更に、前記判断された二つの画像の類似性に基づいて、前記特定された画像の一方に類似する画像を、前記複数の画像の中から検索する画像検索部を備える請求項１５記載の画像処理装置。
18. 記憶媒体に記憶された複数の画像を取り扱う画像処理方法であって、
    前記複数の画像を前記記憶媒体から読み出し、
    前記読み出した複数の画像の中から二つの画像を特定し、
    前記画像を構成する色の特徴を示す特徴量を、前記特定された二つの画像の各々から抽出し、
    前記画像の明るさを示す評価値を、前記特定された二つの画像の各々から抽出し、
    前記抽出された評価値に基づいて、前記抽出された二つの特徴量の少なくとも一方を、前記二つの画像の明るさが近づく方向に補正し、
    前記少なくとも一方が補正された二つの特徴量に基づいて、前記二つの画像の類似性を判断する画像処理方法。
19. 複数の画像を処理する機能をコンピュータに実現させるためのプログラムであって、
    前記複数の画像を前記記憶媒体から読み出す機能と、
    前記読み出した複数の画像の中から二つの画像を特定する機能と、
    前記画像を構成する色の特徴を示す特徴量を、前記特定された二つの画像の各々から抽出する機能と、
    前記画像の明るさを示す評価値を、前記特定された二つの画像の各々から抽出する機能と、
    前記抽出された評価値に基づいて、前記抽出された二つの特徴量の少なくとも一方を、前記二つの画像の明るさが近づく方向に補正する機能と、
    前記少なくとも一方が補正された二つの特徴量に基づいて、前記二つの画像の類似性を判断する機能と
    を実現させるためのプログラム。

Images