JPWO2004070657A1 - 画像処理装置 - Google Patents

Abstract

画像の撮影者の意図を反映した画像処理を実現する。画像処理装置としてのコンピュータＰＣは、処理対象となる画像データと共にメタデータを入力する。メタデータには、画像の撮影者が事後的に付したコメントデータ、画像データの内容を人間の言語で記述したデータが含まれている。画像処理装置は、解析用辞書ＤＢ１５を用いてコメントデータを解析し、その内容を反映した画像処理パラメータを設定する。この画像処理パラメータを用いて画像処理を行うことにより、撮影者の意図を反映した画像処理を実現することができる。

Description

本発明は、画像データで表される画像に応じて、画像処理の内容を制御する技術に関する。

ディジタルスチルカメラ（ＤＳＣ）やスキャナなどの撮像装置によって生成された画像データを、プリンタなどの画像出力装置で画像出力する方法が普及しつつある。これらの画像出力装置では、画像データを解析し、解析結果に基づいて画質を向上するための画像処理を自動的に施す場合があった。かかる画像処理としては、例えば、人物の画像について、適切な肌の色あいを表現するための色バランスの調整などが挙げられる。
近年では、被写体の色再現性等を向上する目的から、画像データとともに撮像時に用いた機種、撮像条件などの情報を記録し、この情報を画像処理に活用する試みもなされている。
しかし、自動的に施される画像処理では、撮像者の意図を十分に反映できない場合があった。例えば、風景を背景として人物を撮影した画像の場合、画像内で風景の占める割合が高かったり、いわゆる風景用の撮影モードで撮像されているからといって必ずしも風景用の画像処理を施すことが適切とは限らない。
かかる課題は、印刷時に限らずディスプレイなどに表示する場合も含め、種々の態様での画像出力に共通する。また、被写体の撮像に限らず、コンピュータグラフィックスによって生成された画像についても同様に生じうる。画像の撮像または生成時のみならず、事後的に画像を利用する際の意図を画像処理に反映することも望まれる。

本発明は、上述の背景に基づき、画像処理において、画像の撮像、生成、利用時の意図を反映可能とすることを目的とする。
本発明では、画像データの画像処理を行う画像処理装置において、次の構成を適用することにより、上記課題の少なくとも一部の解決を図った。本発明の画像処理装置は、人間が用いる言語で画像データに関する記述を表したコメントデータと、画像データとを入力する。コメントデータは、画像データと一体的なファイルとして格納されていてもよいし、画像データとは別のファイルとして用意されていてもよい。画像データは、静止画像、動画像の双方を含む。画像処理装置は、こうして得られたコメントデータの記述内容を解析し、その解析結果に基づいて、画像処理に用いる画像処理パラメータを設定する。そして、画像処理パラメータに基づいて、画像データに画像処理を施す。
本発明における画像処理パラメータとしては、例えば、コントラスト、明るさ、カラーバランス、ホワイトバランス、彩度、シャープネスの調整、記憶色などを含めることができる。
コメントデータは、人間が用いる言語で記述されたものであり、画像データを撮像、生成、利用する者の意図を反映したデータと言える。本発明では、このコメントデータを用いるため、これらの意図を反映した画像処理を実現することができる。
本発明において、画像処理パラメータの設定は種々の態様を採ることができる。一例として、予め複数の画像処理モードが用意されている場合、即ち、複数の画像処理モードに対応づけて画像処理パラメータの組が予め記憶されている場合を考える。かかる場合には、第１の態様として、解析結果に基づいて、画像処理モードのいずれかを選択する方法を採ってもよい。第２の態様として、解析結果に基づいて、２組以上の画像処理パラメータを組み合わせて、画像処理パラメータを設定する方法を採ってもよい。これらの態様は、例えば、コメントデータの解析結果に基づき、予め用意されたいずれの画像処理モードの適否を評価し、この評価に基づいて画像処理モードの選択または組み合わせを行うことにより実現可能である。
別の方法として、画像処理モードとは無関係に画像処理パラメータを設定することもできる。例えば、コメントデータに含まれる形容詞、形容動詞の意味に応じた効果が得られるよう画像処理パラメータを設定してもよい。具体例として、コメントデータ中に「きれい」、「鮮明」のような表現が含まれている場合に、色の彩度を強調する画像処理パラメータを設定する処理が挙げられる。
本発明において、コメントデータの解析は、例えば、コメント中に含まれる所定のキーワードに基づいて行うことができる。日本語のように文字列が連続している言語体系においては、キーワードの抽出は、例えば、形態素解析によって行うことができる。キーワードと画像処理パラメータとを直接的または間接的に予め対応づけて記憶しておき、コメントデータから抽出されたキーワードに基づいてこの対応を参照することにより、比較的容易に画像処理パラメータを設定することができる。
ここで、キーワードとしては、例えば、画像データが表す画像に対応する時間を表す時間情報、および該画像に関連する単語の少なくとも一方を含むことができる。時間情報とは、「朝」、「夕方」など一日の中の時間を表す単語、季節を表す単語などが含まれる。画像に関連する単語としては、例えば、「名古屋」などの地名、「田中」などの人物名、「富士山」などの名所・名勝などの名前、「東京タワー」などのランドマークの名前、種々の工業製品・美術作品の名前などの固有名詞が含まれる。関連する単語、即ちキーワードとして、その他、「青空」、「夕焼け」など風景を描写する用語、「女子大生」、「サッカー選手」など人物を描写する用語などを用いても良い。
キーワードと画像処理パラメータは、種々の態様で対応づけることができる。第１の態様として、各キーワードに対して直接、画像処理パラメータを設定する方法を採ることができる。この方法では、キーワードに応じた自由度の高い設定が可能となる利点がある。第２の態様として、キーワードと画像処理モードとを対応づけることにより、両者を間接的に対応づける方法が挙げられる。例えば、地名のキーワードに対しては風景用の画像処理モードを対応づけ、人物名のキーワードに対しては人物用の画像処理モードを対応づけることができる。第３の態様として、キーワードを地名、人物名などのグループに分類し、このグループ単位で画像処理パラメータと対応づける方法を採ることもできる。第２、第３の態様によれば、多数のキーワードと画像処理パラメータとの対応関係を容易に設定できる利点がある。第１〜第３の態様は、いずれか一つを適用する場合に限らず、組み合わせて用いても良い。
画像処理パラメータの設定時には、キーワードと併せて用いられる関連語を考慮してもよい。例えば、関連語を予め画像処理パラメータと直接的または間接的に対応づけておき、キーワードに対応する関連語に基づいて、この対応を参照することで、画像処理パラメータに反映することができる。
関連語とは、キーワードを強調したり修飾したりする語である。例えば、人物名については敬称を関連語として扱うことができる。関連語は、形容詞や形容動詞であってもよい。例えば、地名について、「美しい」、「壮大な」などを関連語として扱うことができる。関連語は、引用符、感嘆符などの符号であってもよい。
コメントデータ中に複数のキーワードが含まれている場合には、各キーワードの評価を行い、評価結果を画像処理パラメータの設定に反映させることが好ましい。評価は、例えば、コメントデータ中に含まれるキーワードの数に基づいて行うことができる。コメントデータ中に人物に関するキーワードが地名に関するキーワードよりも多い場合には、人物用の画像処理パラメータを優先的に適用する方法がこれに相当する。予め画像処理用のモードが複数用意されている場合には、キーワードの評価に基づいていずれかのモードを選択してもよいし、評価に応じた重みを用いて各モードの画像処理パラメータを組み合わせて適用するようにしてもよい。キーワードを評価する際には、先に説明した関連語の有無、関連語の内容を反映してもよい。
キーワードを評価する際には、例えば、地名、人名など、キーワードの種別に応じて評価値を与え、コメントデータ中の評価値を種別ごとに算出する方法を採ることができる。関連語を考慮する場合には、関連語の有無、関連語の内容に応じて、別途評価値を与えたり、キーワードの評価値に係数を乗じたりする方法を採ることができる。
キーワードを評価する際には、キーワードの文字列を表示する際の表示態様を反映してもよい。表示態様には、例えば、キーワードのフォント、文字サイズ、文字色などが含まれる。コメントデータ中で特定のキーワードのみが別のフォント、文字サイズ、文字色で表現されている場合には、そのキーワードを強調する意図の現れと判断し、評価値を高める方法を採ることができる。
本発明では、コメントデータと併せて、画像データの生成条件または画像データの解析結果を表す画像情報を反映して画像処理パラメータを設定してもよい。例えば、カメラで撮影した画像データの場合には、撮影日時、撮影時の機種、撮影モード、撮影時のシャッター速度や露出条件、フィルタの有無などが画像の生成条件に含まれる。画像データの解析結果としては、例えば、画像データに含まれる色数、画像データの空間周波数などが含まれる。装置によって付されるこれらの条件を合わせて考慮することにより、より適切な画像処理を施すことが可能となる。
生成条件は、種々の態様で反映させることができる。例えば、解析結果に基づいて画像処理パラメータを設定し、生成条件に基づいて画像処理パラメータを補正してもよい。生成条件に画像のシーンを表す情報と、撮像条件を表す情報が含まれている場合、シーンに基づいて設定される画像処理パラメータと、撮像条件に基づいて設定される画像処理パラメータを用いた所定の演算で得られる結果に基づいて補正を行うようにすることができる。この演算としては、例えば、両者の加重平均または単純平均とすることができる。
本発明では、解析結果および生成条件のいずれか一方を用いて画像処理パラメータを設定する第１モード、解析結果および前記生成条件の双方を用いて画像処理パラメータを設定する第２モードのいずれかを所定の条件により選択して画像処理パラメータを設定するようにしてもよい。所定の条件には、ユーザによる指定が含まれる。
本発明においてコメントデータは、種々の形式のデータを採用することができる。例えば、コメントデータは、画像データと関連付けられたメタデータとしてもよい。メタデータとは、ディジタル化された写真を説明するための付加情報を総称する用語であり、作成者、作成日付、ユーザによって入力される被写体情報などが含まれる。従って、この被写体情報を本発明のコメントデータとして用いることができる。メタデータは種々の形式で記録可能であり、例えば、画像データのヘッダ部分に記録してもよいし、画像データとは別のファイルとして記録してもよい。
コメントデータは、画像データを用いて構成される文書ファイル中に含まれる記述文としてもよい。例えば、Ｗｅｂページを構成するためのＨＴＭＬファイルなどに含まれる記述文、ワープロソフト等で作成された文書中の記述文が含まれる。例えば、画像データまたは記述文が複数存在する場合には、画像データの貼り付けを指示する記述の近傍にある記述文や、文書全体のタイトルをコメントデータとして抽出するようにしてもよい。
本発明は、上述の画像処理装置としての態様に限らず、コンピュータで画像処理する画像処理方法として構成してもよい。画像処理に用いられる画像処理パラメータを自動的に設定する画像処理パラメータ設定装置、画像処理パラメータ設定方法として構成してもよい。これらの画像処理、画像処理パラメータの設定をコンピュータによって行わせるためのコンピュータプログラム、およびかかるコンピュータプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。記録媒体としては、フレキシブルディスクやＣＤ−ＲＯＭ、ＤＶＤ、光磁気ディスク、ＩＣカード、ＲＯＭカートリッジ、パンチカード、バーコードなどの符号が印刷された印刷物、コンピュータの内部記憶装置（ＲＡＭやＲＯＭなどのメモリ）および外部記憶装置等、コンピュータが読取り可能な種々の媒体を利用できる。

図１は実施例としての画像出力システムの概略構成を示す説明図である。
図２は解析用辞書ＤＢ１５のデータ構造を示す説明図である。
図３は画像処理パラメータＤＢ１６の構成を示す説明図である。
図４は画像処理のフローチャートである。
図５はコメントデータの解析処理のフローチャートである。

Ａ．システム構成：
図１は実施例としての画像出力システムの概略構成を示す説明図である。このシステムは、撮像装置としてのディジタルカメラＤＳＣと、画像処理装置としてのパーソナルコンピュータＰＣ、および画像出力装置としてのプリンタＰＲＴで構成される。プリンタＰＲＴに代えて、ディスプレイまたはプロジェクタなどの画像表示装置を画像出力装置として用いても良い。
ユーザの撮影操作に応じて、ディジタルカメラＤＳＣは画像ファイルを生成する。この画像ファイルは、メディアまたは通信を介してコンピュータＰＣに受け渡される。画像ファイルは、図示する通り、メタデータと呼ばれる付属情報と画像データを含んでいる。本実施例では、ＪＰＥＧフォーマットの画像データを利用するものとしたが、他の形式を利用しても差し支えない。画像データとメタデータは、一体的なファイルに格納してもよいし、互いに関連づけられた別ファイルとして構成してもよい。
メタデータは、画像データのヘッダとして構成されており、撮影日時、天候、シャッタースピードその他の撮影条件およびユーザが事後的に付加したコメントデータを含んでいる。コメントデータとは、画像データの内容を人間の言語で説明する記述文である。撮影条件は、ディジタルカメラＤＳＣで撮影時に自動的に生成される。コメントデータは、ディジタルカメラＤＳＣで記録してもよいし、一旦、コンピュータＰＣに取り込んだ後に付加してもよい。
これらの情報の他、メタデータには、画像の出力時に画像データに施されるべき画像処理の内容を制御する制御データ、例えば、色空間パラメータ、色補正パラメータの２種類のデータが挙げられる。色空間パラメータとは、撮像装置における色再現特性を出力装置側に伝達し、被写体の忠実な色再現を実現するためのデータであり、撮像装置の特性に応じたガンマ補正値および色空間変換方法の指定パラメータが含まれる。色補正パラメータとは、撮影者の意図、ディジタルカメラＤＳＣの特性を出力装置に伝達するためのデータであり、例えば、コントラスト、明るさ、カラーバランス、ホワイトバランス、彩度、シャープネス、記憶色などに関連するパラメータが含まれる。記憶色とは、画像データの色調調整時に基準として用いられる色を意味する。
パーソナルコンピュータＰＣは、画像ファイルを読み込むと、その内容を解析し、制御データで特定される画像処理を施した上で、プリンタＰＲＴに印刷を行わせる。パーソナルコンピュータＰＣには、かかる処理を実現するためのソフトウェアがインストールされている。周知の通り、ソフトウェアは、ＣＤ−ＲＯＭなどの記録媒体またはネットワークを介して、パーソナルコンピュータＰＣにインストールすることが可能である。パーソナルコンピュータＰＣで実現する画像処理機能は、その一部または全部をプリンタＰＲＴで実行するよう構成してもよい。
図中に、コンピュータＰＣにおいて、画像処理を実現するための機能ブロックを例示した。これらの機能ブロックは、上述のソフトウェアにより構成されているが、ハードウェア的に構成することも可能である。入力部１０は、画像ファイルを入力する。メタデータ解析部１１は、画像ファイル中のメタデータの解析を行う。メタデータ中に含まれるコメントデータについては、単語の解析等を行うための解析用辞書ＤＢ１５を参照する。画像処理パラメータ設定部１２は、画像データを解析するとともに、メタデータの解析結果に基づいて、画像処理用のパラメータを設定する。本実施例では、画像処理パラメータＤＢ１６内に予め用意された複数の画像処理モード用の画像処理パラメータを組み合わせて画像処理パラメータを設定するものとした。画像処理パラメータとしては、例えば、コントラスト、明るさ、カラーバランス、ホワイトバランス、彩度、シャープネスの調整、記憶色などが挙げられる。画像処理部１３は、設定された画像処理パラメータに基づいて画像処理を実行する。
プリンタドライバ１４は、画像処理が施されたデータを、プリンタＰＲＴが扱うことができる印刷データに変換する。プリンタドライバ１４は、例えば、画像データの解像度を調整する処理、色変換処理、ハーフトーン処理などの処理を行う。色変換処理とは、レッド，グリーン，ブルーで定義された画像データの色空間を、シアン、マゼンタ、イエロ、ブラックで表されるプリンタＰＲＴ用の色空間に変換する処理である。ハーフトーン処理とは、画像データの階調値をプリンタＰＲＴにおけるドットの密度で表現するための変換処理である。プリンタＰＲＴは、プリンタドライバ１４によって生成された印刷データを受信して、印刷を実行する。
本実施例では、ユーザがコンピュータＰＣで印刷コマンドを入力すると、上述した各機能ブロックによる画像処理、およびプリンタドライバ１４による印刷データの生成が連動して行われる。画像処理を実行させるためのコマンドと、プリンタドライバ１４を稼働させるための印刷コマンドとを分けても良い。
図２は解析用辞書ＤＢ１５のデータ構造を示す説明図である。解析用辞書ＤＢ１５は、コメントデータを単語に分かち書きし、画像処理上の有用な情報を抽出するために使用されるデータベースである。かな漢字変換で用いられる辞書において、画像処理に関連する情報を各単語に定義した形式となっている。図示する通り、かな漢字変換用の辞書では、通常、単語と品詞が定義されている。本実施例では、各単語に、シーン、評価値、関連の３つの項目を追加することで解析用辞書ＤＢ１５を構成した。
「シーン」は、予め用意された画像処理モードとの対応関係を示す項目である。例えば、「河口湖」という地名を表す単語がコメントデータに含まれている場合には、風景用の画像処理モードが適している可能性が高いと判断されるため、シーンの項目に「風景」というデータを設定しておく。「風景」は必ずしも地名にのみ対応づけられるとは限らず、「青空」のように風景の描写に使用される名詞や、形容詞、形容動詞などに対応づけることも可能である。同様にして、人物に関連する単語には、「人物」というデータが設定される。
「評価値」は、各単語とシーンとの結びつきを表す重み値である。例えば、コメントデータ中に「冬」という普通名詞が使われている場合は、「河口湖」のような地名が使われている場合に比較して、風景を描写した画像である可能性は低いと考えられる。従って、本実施例では、「冬」の評価値を、「河口湖」の評価値「３」よりも低い値「２」に設定した。同じく、人物についても人物名に比較して、「女子大生」のような普通名詞は評価値を低く設定した。もっとも、評価値の設定は、任意であり、必ずしも普通名詞の評価値を下げる必要はない。また、普通名詞、人物名、地名などの品詞によって一定の値を設定する必要もない。
「関連」は、他の単語との結びつきを表す情報であり、「シーン」の代替情報に相当する。例えば、敬称「さん」、「Ｍｒ．」は、通常、人物を表す用語と一緒に用いられる単語である。このように、通常は、他の単語と共に用いられる単語を本実施例では関連語と総称する。「関連」は、これらの関連語について、使用され得るシーンを特定する。例えば、人物名に用いられる敬称「さん」については、関連するシーンとして、「人物」が「関連」項目に設定される。関連語については、「関連」項目で設定されたシーンに該当する単語と共に用いられる場合に、評価値が考慮される。関連語には、「さん」や「Ｍｒ．」のような敬称も含め種々の接尾語、接頭語が含まれる。また、「美しい」などの形容詞や、形容動詞も含まれる。感嘆符、疑問符、引用符などのマークも含め得る。
本実施例では、「の」や「は」などの助詞、「走る」などの動詞については、シーンとの関連が薄いと考えられるため、評価値を０に設定した。これらの品詞についても、シーンとの関連が深い単語については、シーン、評価値、関連などのデータを設定して構わない。本実施例においては、シーン、評価値、関連のいずれかが設定された単語が、画像処理パラメータを設定する際のキーワードに相当する。
図３は画像処理パラメータＤＢ１６の構成を示す説明図である。本実施例では、画像処理パラメータＤＢ１６は、シーン別ＤＢ１６Ａと時間・天候別ＤＢ１６Ｂの２種類で構成される。シーン別ＤＢ１６Ａは、シーン、即ち画像処理モードごとに画像処理パラメータを与えるデータベースである。図中では、風景、人物、夜景、スポーツなどのシーンに対応して、コントラスト、明るさ、彩度の調整値および記憶色を与えるデータベースを例示した。画像処理パラメータは、画像データに施す画像処理の内容に応じて更に多項目に亘って設定可能である。
時間・天候別ＤＢ１６Ｂは、シーン別ＤＢ１６Ａと併用され、時間、天候などに応じた調整処理を施すための画像処理パラメータを与えるデータベースである。例えば、シーン別ＤＢ１６Ａにおける「風景」モードが適用される場合でも、晴天時と雨天時では、画像処理パラメータを変更した方が好ましい場合がある。時間・天候別ＤＢ１６Ｂは、このように撮影条件に応じて考慮すべき画像処理パラメータを与えることができる。図中の例では、「夕方」、「冬」など撮影時の時間、季節に応じた画像処理パラメータ、および「晴天」、「雨天」などの天候に応じた画像処理パラメータを与えるデータベースを例示した。
時間・天候別ＤＢ１６Ｂとシーン別ＤＢ１６Ａは一体的なデータベースとして構成してもよい。例えば、シーン別ＤＢ１６Ａにおける「風景」を、「夕方の風景」、「冬の風景」のように細分化することによって、両者のデータベースを一体化することができる。但し、時間・天候別ＤＢ１６Ｂとシーン別ＤＢ１６Ａを分けておけば、「夕方の風景」、「夕方の人物」のような冗長な細分化を回避することができ、画像処理パラメータＤＢ１６の全体サイズを抑制することができる利点がある。
Ｂ．画像処理：
図４は画像処理のフローチャートである。コンピュータＰＣが実行する処理である。この処理では、コンピュータＰＣは、まず、画像ファイルを入力する（ステップＳ１０）。画像データとメタデータとを別々に読み込んでも良い。次に、コンピュータＰＣは、メタデータ中のコメントデータを解析する（ステップＳ２０）。
図５はコメントデータの解析処理のフローチャートである。ここでは、「河口湖の田中さん」というコメントが付されている場合を例にとって、処理内容を説明する。コンピュータＰＣは、コメントデータから単語の抽出を行う（ステップＳ２１）。コメントデータが日本語で記述されている場合、この処理には、かな漢字変換で周知の形態素解析を用いることができる。例えば、上述のコメントについては、図中にスラッシュで区切って示した通り、「河口湖」、「の」、「田中」、「さん」という単語が抽出される。
次に、コンピュータＰＣは、解析用辞書ＤＢ１５に基づいて、各単語の評価を行う（ステップＳ２２）。各単語に該当するシーンおよび評価値を特定することで評価を行う。例えば、上述のコメントについて、解析用辞書ＤＢ１５（図２参照）によれば、「河口湖」は品詞「地名」、シーン「風景」、評価値「３」と特定される。敬称「さん」については、「関連」に登録されたシーン「人物」を表す単語「田中」と共に用いられているため、シーン「人物」、評価値「４」と特定される。
こうして各単語の評価が完了すると、コンピュータＰＣは、シーンごとに評価値の総和を算出する（ステップＳ３３）。上述のコメントデータについては、風景の評価値は「３」、人物の評価値は「７」と算出される。
コメントデータの解析が完了すると、図４の処理に戻り、コンピュータＰＣは、メタデータから撮影条件を取得する（ステップＳ３０）。また、画像データの解析を行う（ステップＳ４０）。これは、画像処理パラメータを設定するための解析であり、例えば、画像データに含まれる色調の分布、コントラスト等の解析が含まれる。
コンピュータＰＣは、こうして得られた種々の情報に基づき、画像処理パラメータを設定して（ステップＳ５０）、画像処理を実行する（ステップＳ６０）。画像処理パラメータは、シーンに基づくパラメータ、撮影条件に基づくパラメータ、解析結果に基づくパラメータの３つを組み合わせて設定される。解析結果に基づくパラメータの設定には、画像データを自動補正するために従来行われている種々の手法を適用可能であるため、詳細な説明を省略する。
シーンに基づくパラメータ、撮影条件に基づくパラメータは、画像処理パラメータＤＢ１６（図３）を参照して設定することができる。本実施例では、コメントデータの解析結果によって特定された評価値の比に基づき、シーンごとの画像処理パラメータの和をとることで、シーンに基づくパラメータを設定するものとした。例えば、先に説明した通り、風景の評価値は「３」、人物の評価値は「７」と算出された場合を考える。この場合には、風景用のパラメータと人物用のパラメータとを３：７の割合で合成する。従って、シーンごとの画像処理パラメータは、「画像処理パラメータ＝｛３×（風景用のパラメータ）＋７×（人物用のパラメータ）｝／１０」なる式で求められる。記憶色については、色成分ごとに上述の式で評価値を求めればよい。この結果、上述の例では、人物用の記憶色、「肌色」成分については「＋５×０．７」と求められる。風景用の記憶色、「緑、青」成分については「＋５×０．３」と求められる。
撮影条件に基づくパラメータは、時間・天候別ＤＢ１６Ｂ（図３）を参照して設定することができる。例えば、撮影時刻が「夕方」である場合には、時間・天候別ＤＢ１６Ｂにおいて「夕方」に設定された各パラメータを用いればよい。撮影条件が「冬の晴天時の夕方」である場合など、時間・天候別ＤＢ１６Ｂ中の複数の項目に該当する時には、各項目に対応するパラメータの平均値を用いればよい。シーン別ＤＢ１６Ａの適用時と同様、撮影条件ごとに異なる重みを乗じて総和を求めても良い。
シーンに基づくパラメータ、撮影条件に基づくパラメータ、解析結果に基づくパラメータは、種々の方法で組み合わせることが可能である。本実施例では、解析結果に基づくパラメータを基調として、シーンおよび撮影条件に基づく補正を考慮するものとした。即ち、シーンに基づくパラメータと撮影条件に基づくパラメータの平均値に基づいて、解析結果に基づくパラメータを補正するものとした。シーンに基づくパラメータと撮影条件に基づくパラメータに異なる重み値を適用しても良い。
以上で説明した実施例によれば、画像データに対してコメントデータの内容を考慮した画像処理を施すことができる。従って、撮影者などコメントデータを付した者の意図を反映した画像処理を実現することができる。
Ｃ．変形例：
（１） 実施例では、複数のシーンに対応した画像処理パラメータを組み合わせて用いる場合を例示した（図４のステップＳ５０）。かかる処理に代えて、コメントデータの解析結果に基づいて、いずれか一つのシーンを選択するものとしてもよい。例えば、風景の評価値「３」、人物の評価値「７」の場合には、評価値が大きいシーン、即ち、「人物」に対応する画像処理パラメータを用いてもよい。
（２） 実施例では、シーンに基づくパラメータと撮影条件に基づくパラメータとを別々に扱う場合を例示した。これに対し、撮影条件に基づいて「シーン」を特定することで、コメントデータと撮影条件を同等に扱っても良い。例えば、撮影日時が「夜」である場合には、図３中の「夜景」というシーンに予め設定された評価値を与えるようにしてもよい。こうすることで、コメントデータおよび撮影条件の双方を同等の方法で扱って画像処理パラメータを設定することができる。
（３） 実施例では、解析結果に基づくパラメータを基調として画像処理パラメータを設定する場合を例示した。これに対し、シーンに基づくパラメータ、撮影条件に基づくパラメータ、解析結果に基づくパラメータの平均、または重みを考慮した和に基づいて画像処理パラメータを設定しても良い。これら３種類のパラメータは、必ずしも全てを考慮する必要はなく、撮影条件に基づくパラメータ、解析結果に基づくパラメータを省略してもよい。
（４） 実施例では、単語に対して「シーン」を与えることで、間接的に画像処理パラメータを設定する場合を例示した。これに対し、解析用辞書ＤＢ１５において、各単語に対して、「コントラスト」、「明るさ」等の画像処理パラメータを直接、設定してもよい。こうすることで、「河口湖」は青を基調とした画像処理、「富士山」は緑を基調とした画像処理のように、各単語に応じて柔軟に画像処理パラメータを設定することができる。解析用辞書ＤＢ１５は、シーンが設定された単語と、画像処理パラメータが設定された単語の併存を許容する構成としてもよい。
（５） コメントデータの解析時における各単語の評価（図５のステップＳ２２）では、単語の表示態様、例えば、フォント、文字サイズ、文字色などを反映してもよい。コメントデータ中で特定の単語のみが別のフォント、文字サイズ、文字色で表現されている場合には、その単語を強調する意図の現れと判断し、評価値を高める方法を採ることができる。
（６） コメントデータは、必ずしも画像データとの関連がデータ構成上、一義的に特定されている必要はない。例えば、ＨＴＭＬファイルなどの文書ファイルに含まれる記述をコメントデータとして扱っても良い。かかる場合には、コメントデータに対して所定の相対位置にある画像データと関連があるものとみなして、本実施例の画像処理を施すことができる。
（７） 画像処理パラメータの設定（図４）について、複数のモードを設け、これらを使い分け可能としてもよい。かかるモードとしては、例えば、第１モード：コメントデータの解析結果を用いる、第２モード：シーンに基づくパラメータ、撮影条件を用いるモード、第３モード：コメントデータの解析結果およびシーン、撮影条件の双方を用いるモードとすることができる。第３モードが実施例として図４に示したモードであり、このモードをデフォルト設定としてもよい。モードはユーザの指示によって使い分けることができる。第１モードが選択された場合には、図４のステップＳ３０を省略して画像処理パラメータを設定することになる。第２モードが選択された場合には、図４のステップＳ２０を省略して画像処理パラメータを設定することになる。複数のモードとして、これらと異なるモードを設けても良いし、モードの使い分けを画像のサイズ、解析結果、シーンなどに基づいて行っても良い。
以上、本発明の種々の実施例について説明したが、本発明はこれらの実施例に限定されず、その趣旨を逸脱しない範囲で種々の構成を採ることができることはいうまでもない。例えば、実施例では、静止画像への処理を例示したが、本発明は動画像に適用することも可能である。動画像への適用は、動画像を構成するフレームに対応づけて設定されたメタデータに基づき、各フレームの画像処理を施すことで実現可能である。

本発明は、画像データで表される画像に応じて、画像処理の内容を制御するために利用することが出来る。

Claims (29)

1. 画像データの画像処理を行う画像処理装置であって、
   人間が用いる言語で前記画像データに関する記述を表したコメントデータと、該画像データとを入力する入力部と、
   前記コメントデータの記述内容を解析し、該解析結果に基づいて、前記画像処理に用いる画像処理パラメータを設定するパラメータ設定部と、
   該画像処理パラメータに基づいて、前記画像データに画像処理を施す画像処理部とを備える画像処理装置。
2. 請求項１記載の画像処理装置であって、
   予め設定された複数の画像処理モードに対応づけて前記画像処理パラメータの組を記憶するパラメータ記憶部を備え、
   前記パラメータ設定部は、該解析結果に基づいて、前記画像処理モードのいずれかを選択する画像処理装置。
3. 請求項１記載の画像処理装置であって、
   予め設定された複数の画像処理モードに対応づけて前記画像処理パラメータの組を記憶するパラメータ記憶部を備え、
   前記パラメータ設定部は、前記解析結果に基づいて、２組以上の前記画像処理パラメータを組み合わせて、前記画像処理パラメータを設定する画像処理装置。
4. 請求項１記載の画像処理装置であって、
   所定のキーワードと前記画像処理パラメータとを直接的または間接的に予め対応づけるキーワード記憶部を備え、
   前記パラメータ設定部は、前記コメントデータから前記キーワードを抽出し、該キーワードに基づいて前記キーワード記憶部を参照して、前記画像処理パラメータを設定する画像処理装置。
5. 請求項４記載の画像処理装置であって、
   前記キーワードには、前記画像データが表す画像に対応する時間を表す時間情報、および該画像に関連する単語の少なくとも一方を含む画像処理装置。
6. 請求項４記載の画像処理装置であって、
   前記キーワードと併せて用いられる関連語と前記画像処理パラメータとを直接的または間接的に対応づける対応関係を予め記憶する関連語記憶部を備え、
   前記パラメータ設定部は、更に、前記キーワードに対応する関連語を抽出し、該関連語に基づいて前記関連語記憶部を参照して、前記画像処理パラメータを設定する画像処理装置。
7. 請求項４記載の画像処理装置であって、
   前記パラメータ設定部は、前記キーワードが複数抽出される場合に、前記コメントデータに基づいて、前記キーワードの文字列を表示する際の表示態様を特定し、該表示態様に応じて各キーワードの評価を変えて前記画像処理パラメータを設定する画像処理装置。
8. 請求項１記載の画像処理装置であって、
   前記入力部は、前記画像データの生成条件または該画像データの解析結果を表す画像情報を併せて入力し、
   前記パラメータ設定部は、更に、前記画像情報を反映して前記画像処理パラメータを設定する画像処理装置。
9. 請求項８記載の画像処理装置であって、
   前記パラメータ設定部は、前記解析結果に基づいて前記画像処理パラメータを設定し、前記生成条件に基づいて該画像処理パラメータを補正する画像処理装置。
10. 請求項９記載の画像処理装置であって、
    前記生成条件には、画像のシーンを表す情報と、撮像条件を表す情報が含まれており、
    前記パラメータ設定部は、前記シーンに基づいて設定される画像処理パラメータと、前記撮像条件に基づいて設定される画像処理パラメータを用いた所定の演算で得られる結果に基づいて、前記補正を行う画像処理装置。
11. 請求項１０記載の画像処理装置であって、
    前記演算は加重平均である画像処理装置。
12. 請求項１記載の画像処理装置であって、
    前記入力部は、前記画像データの生成条件を併せて入力可能であり、
    前記パラメータ設定部は、所定の条件により、前記解析結果および前記生成条件のいずれか一方を用いて前記画像処理パラメータを設定する第１モード、前記解析結果および前記生成条件の双方を用いて前記画像処理パラメータを設定する第２モードのいずれかを選択し、前記画像処理パラメータを設定する画像処理装置。
13. 請求項１記載の画像処理装置であって、
    前記コメントデータは、前記画像データと関連付けられたメタデータである画像処理装置。
14. 請求項１記載の画像処理装置であって、
    前記コメントデータは、前記画像データを用いて構成される文書ファイル中に含まれる記述文である画像処理装置。
15. コンピュータにより画像データの画像処理を行う画像処理方法であって、
    人間が用いる言語で前記画像データに関する記述を表したコメントデータと、該画像データとを入力する入力工程と、
    前記コメントデータの記述内容を解析し、該解析結果に基づいて、前記画像処理に用いる画像処理パラメータを設定するパラメータ設定工程と、
    該画像処理パラメータに基づいて、前記画像データに画像処理を施す画像処理工程とを備える画像処理方法。
16. 請求項１５記載の画像処理方法であって、
    予め設定された複数の画像処理モードに対応づけて前記画像処理パラメータの組を記憶するパラメータ記憶工程を備え、
    前記パラメータ設定工程は、該解析結果に基づいて、前記画像処理モードのいずれかを選択する画像処理方法。
17. 請求項１５記載の画像処理方法であって、
    予め設定された複数の画像処理モードに対応づけて前記画像処理パラメータの組を記憶するパラメータ記憶工程を備え、
    前記パラメータ設定工程は、前記解析結果に基づいて、２組以上の前記画像処理パラメータを組み合わせて、前記画像処理パラメータを設定する画像処理方法。
18. 請求項１５記載の画像処理方法であって、
    所定のキーワードと前記画像処理パラメータとを直接的または間接的に予め対応づけるキーワード記憶工程を備え、
    前記パラメータ設定工程は、前記コメントデータから前記キーワードを抽出し、該キーワードおよび前記対応づけに基づいて、前記画像処理パラメータを設定する画像処理方法。
19. 請求項１８記載の画像処理方法であって、
    前記キーワードには、前記画像データが表す画像に対応する時間を表す時間情報、および該画像に関連する単語の少なくとも一方を含む画像処理方法。
20. 請求項１８記載の画像処理方法であって、
    前記キーワードと併せて用いられる関連語と前記画像処理パラメータとを直接的または間接的に対応づける対応関係を予め記憶する関連語記憶工程を備え、
    前記パラメータ設定工程は、更に、前記キーワードに対応する関連語を抽出し、該関連語および前記対応関係に基づいて前記画像処理パラメータを設定する画像処理方法。
21. 請求項１８記載の画像処理方法であって、
    前記パラメータ設定工程は、前記キーワードが複数抽出される場合に、前記コメントデータに基づいて、前記キーワードの文字列を表示する際の表示態様を特定し、該表示態様に応じて各キーワードの評価を変えて前記画像処理パラメータを設定する画像処理方法。
22. 請求項１５記載の画像処理方法であって、
    前記入力工程は、前記画像データの生成条件または該画像データの解析結果を表す画像情報を併せて入力し、
    前記パラメータ設定工程は、更に、前記画像情報を反映して前記画像処理パラメータを設定する画像処理方法。
23. 請求項２２記載の画像処理方法であって、
    前記パラメータ設定工程は、前記解析結果に基づいて前記画像処理パラメータを設定し、前記生成条件に基づいて該画像処理パラメータを補正する画像処理方法。
24. 請求項２３記載の画像処理方法であって、
    前記生成条件には、画像のシーンを表す情報と、撮像条件を表す情報が含まれており、
    前記パラメータ設定工程は、前記シーンに基づいて設定される画像処理パラメータと、前記撮像条件に基づいて設定される画像処理パラメータを用いた所定の演算で得られる結果に基づいて、前記補正を行う画像処理方法。
25. 請求項２４記載の画像処理方法であって、前記演算は加重平均である画像処理方法。
26. 請求項１５記載の画像処理方法であって、
    前記入力工程は、前記画像データの生成条件を併せて入力可能であり、
    前記パラメータ設定工程は、所定の条件により、前記解析結果および前記生成条件のいずれか一方を用いて前記画像処理パラメータを設定する第１モード、前記解析結果および前記生成条件の双方を用いて前記画像処理パラメータを設定する第２モードのいずれかを選択し、前記画像処理パラメータを設定する画像処理方法。
27. 請求項１５記載の画像処理方法であって、
    前記コメントデータは、前記画像データと関連付けられたメタデータである画像処理方法。
28. 請求項１５記載の画像処理方法であって、
    前記コメントデータは、前記画像データを用いて構成される文書ファイル中に含まれる記述文である画像処理方法。
29. 画像データの画像処理を行うためのコンピュータプログラムを記録した記録媒体であって、
    人間が用いる言語で前記画像データに関する記述を表したコメントデータと、該画像データとを入力するためのプログラムコードと、
    前記コメントデータの記述内容を解析し、該解析結果に基づいて、前記画像処理に用いる画像処理パラメータを設定するプログラムコードと、
    該画像処理パラメータに基づいて、前記画像データに画像処理を施すプログラムコードとを記録した記録媒体。

Images