JP5413143B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像処理技術に関し、より詳細には、ユーザの意図に沿うよう画像加工処理の種類およびパラメータを決定し、画像データに対して画像加工処理を施す画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

これまで、画像データに対して種々の視覚効果を適用して画像を編集加工するいわゆる画像編集ソフトウェアが、有料から無料のものまでデスクトップ・アプリケーションまたはウェブ・アプリケーションといった種々形態で提供されている。この画像編集ソフトウェアでは、ユーザは、意図する視覚的効果を施そうとする際に、当該ソフトウェアが有する画像加工処理の種類とその強度などのパラメータとを指定して画像加工処理を施すことが一般的である。例えば、コントラスト調整の場合、ユーザは、コントラスト調整の機能を選択し、そのコントラストの調整値をパラメータとして指定し、プレビューなどにより適用後の画像を確認しながら、所望の結果が得られた段階で画像加工処理の内容を確定するという操作を行う。

上述したコントラスト調整など、従来の画像編集ソフトウェアが提供する画像加工処理機能は、一般に画像の物理的な特徴を直接操作するものであり、その名称もそれに沿って名付けられている。一般的な画像処理機能としては、その他、画像の輝度変化を緩やかにする平滑化処理、文字などの輪郭をはっきりさせる鮮鋭化処理、画像の明度を調整する明度調整、出力装置に応じて色の再現性を調整するガンマ補正などを挙げることができる。

上述したような画像の物理的な特徴を直接操作する画像処理機能は、画像処理に関する専門知識を有するユーザであれば、その結果をある程度予測することができる。しかしながら、一般ユーザなど画像処理に不慣れなユーザにとっては、どの画像処理機能を用いればよいのか、またどの程度のパラメータを指定すればユーザの意図する結果が得られるかを判断することが困難であるという問題があった。

上記画像処理のパラメータについては、適用対象の画像の特徴に合わせて自動的に設定することができる画像編集ソフトウェアも開発されているが、その場合でもユーザは、意図に沿った結果が得られるであろうと考えられる画像処理機能を、多数の中から選択しなければならない。特にユーザが意図する結果を得るために複数の画像処理機能を組み合わせなければならないケースでは、組み合わせパターンが多く、適切な組み合わせを見つけることが困難となる。また仮に適切であろう組み合わせが見つかったとしても、それが最適なものであるかかどうかの判断は一般的なユーザにとっては困難である。

一方、ユーザ側では、画像処理を適用するに際し、「建物の立体感を出したい」、「布の質感を高めたい」、「花の鮮やかさを強調したい」といったように、望む視覚的効果に明確な意図を持っていることが多い。しかしながら、従来の画像編集ソフトウェアでは、ユーザは、建物の立体感を出すためにどの種類の画像処理を適用すればよいか判らないため、種々の画像処理機能を実際に試行してみて、ある程度許容される結果で妥協してしまうことが多かった。

すなわち、これまでの画像編集ソフトウェアでは、ある程度の画像処理に関する専門知識をユーザが有していることが前提とされており、画像編集ソフトウェアが提供する機能が、ユーザの意図に必ずしも直接的に結びつかず、直感的な操作に困難性があった。

一方、上述のような問題点に対処するために、例えば特許第３０６３０７３号明細書（特許文献１）は、デザイン知識を持たないオペレータが必要とする表現を画像に容易に与えられるようにする目的で、入力された入力画像を複数の領域に分解する画像分解手段と、上記複数の領域の各々について物理的な特徴量を記憶する領域特徴記憶手段と、上記物理的な特徴量から視覚的な特徴量を計算する画像解析手段と、視覚的な特徴量と画像の印象を表す感性言語との間の対応関係についてのデザイン・ノウハウを記憶するデザイン・ノウハウ記憶手段と、視覚的な特徴量に対応する感性言語のファクタを、上記デザイン・ノウハウ記憶手段の情報に基づいて計算する感性影響度計算手段と、上記入力画像が鑑賞者に与える印象を、上記感性言語を用いて表示する解析結果表示手段と、付加すべき表現を上記感性言語を用いて指示する表現指示手段と、指示された上記表現と上記デザイン・ノウハウ記憶手段の情報とに基づいて上記入力画像を修正する画像表現付加手段と、上記修正された画像を表示する表現画像表示手段とを有する画像解析表現付加装置を開示している。

その他、特開２００５−２０３４４号公報（特許文献２）は、複数の利用者の感性が各々異なる場合であっても、その利用者各々の感性に基づく感性語と色調整パラメータとの対応を容易に設定することを目的として、複数の感性語に対する標準者の感性に基づく感性調整値と、該感性調整値に対応する色調整パラメータを記憶する基準感性情報データベースと、被処理画像に対する利用者個人の所望する色調整を該利用者個人の感性に基づいて上記複数の感性語の中から設定させる感性情報設定部と、該設定された感性語の感性調整値を利用者個人の感性に基づいて標準者の感性に基づく感性調整値から算出する感性情報変換部と、算出結果に基づいて基準感性情報データベースから所定の色調整パラメータを選択する画像処理パラメータ導出部とを備える画像処理装置を開示している。

上記特許文献１に開示される従来技術によれば、感性語を用いることにより、画像処理やデザインの知識のないユーザでも比較的容易に画像を加工できるようにすることができる。しかしながら、上記特許文献１の従来技術は、オペレータにノウハウが要求され、実際の画像加工処理がオペレータのノウハウに依存してしまうため、ユーザの意図する視覚的効果を適切かつ直感的に付与することが困難であったという従来からの問題を解消するものではない。また、デザイン・ノウハウに基づいて画像が加工されてしまうと、ユーザの自由度が制限されてしまい、さらに、同じ感性語であっても、被写体やシーンが異なるとその感性語が表す特徴が異なってくるケースがあるため、必ずしもユーザが満足できる結果が得られるというものではない。

また上記特許文献２に開示される従来技術は、複数の利用者の感性が各々異なる場合であっても、その利用者各々の感性に基づく感性語と色調整パラメータとの対応を容易に設定することを可能とするものである。とは言え、感性語と色調整パラメータとを対応づけるのみでは、被写体やシーンの相違に対応することができず、ユーザの意図する視覚的効果を適切かつ直感的に付与することが困難であったという従来からの問題を解消できるものではない。

すなわち、ユーザが画像加工処理に関する専門的知識を有することを前提とせずに、ユーザが直感的に理解できる操作によって、容易にユーザが意図する結果が得られるように画像加工処理の種類およびパラメータを決定し、画像データに対して画像加工処理を施すことが可能な技術の開発に対する要望が、依然としてあった。

さらに、画像加工処理を用いて出力画像を生成する場合、ユーザは、その画像加工処理の種類およびそのパラメータ値を選択しなければならず、所望の出力画像が得られるまで、これらの操作を繰り返し実行しなければならないという問題があった。

本発明は、上記問題点に鑑みてなされたものであり、画像の印象を表現する感性語に対するパラメータの入力といったユーザが直感的に理解できる操作により、ユーザが意図する結果が得られるように画像処理の種類およびパラメータを決定し、画像データに対してユーザの意図に沿った画像加工処理を施すことが可能な画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することを目的とする。

本発明では、上記課題を解決するために、参照画像それぞれを感性語に対応付けて画像データベースに登録し、かつ上記感性語と画像特徴がその感性語へ与える影響度を表す特徴重み値とを対応付けて感性語データベースに登録しておく。処理対象となる画像が入力されると、まず、上記データベースにアクセスして、入力画像に画像特徴が類似する参照画像に対応付けられた感性語を取得するとともに、取得された感性語に対応付けられた特徴重み値を取得する。そして、感性語が表現する印象を実現する度合いを表す感性パラメータ値の入力をユーザから受領すると、受領された感性パラメータ値および取得された特徴重み値を入力として、入力画像に対して施すべき画像加工処理の種類および処理パラメータを決定する。

上記構成によれば、予め感性語が紐付けられた素性のよい参照画像の中から、入力画像に画像特徴が類似したものが検索され、それに紐付けられた感性語に対する感性パラメータの入力を受領することとなる。このため、感性パラメータを入力するユーザは、入力画像の特徴（例えば被写体など）に適合する感性語に関連して、画像加工処理の種類および処理パラメータを決定するためのパラメータ指定を直感的に行うことができ、ひいては、感性語が表現する画像の印象を実現する度合いを表す感性パラメータの指定といったユーザが直感的に理解できる心理的表現のパラメータの操作によって、ユーザの意図に合った画像加工処理を容易に実現することが可能となる。さらに、感性パラメータの指定という自由度の範囲において入力画像の特徴に応じた所望の結果を得ることが可能となる。

さらに本発明では、入力画像から抽出される該入力画像の画像特徴を定量する特徴量と、感性語データベースから取得された特徴重み値とを入力として、感性語毎に感性パラメータの初期値を算出することができる。この場合に、算出した感性パラメータの初期値を提示して感性パラメータ値のユーザ指定を待ち受ける画面表示の制御を行うことができる。また、入力画像の特徴量に代えて、入力画像に対し最も高い類似度を有する参照画像の画像特徴量を用いて、感性パラメータの初期値を計算することもできる。

上記構成によれば、入力画像または参照画像の画像特徴量、つまり入力画像の特性に応じて感性パラメータの初期値が算出され、ユーザに提示されることとなる。このため、ユーザは、入力画像が有している印象を数値化した値を中心として感性パラメータの変更を行うことができ、ユーザの意図をより適切に画像加工処理に反映させることが可能となる。さらに本発明では、ユーザにより指定された感性パラメータの現在値を用いて求められる種類および処理パラメータの画像加工処理を入力画像に対して、一時的に施した場合のプレビュー画像の表示の制御を行うことができる。

さらに、本発明では、入力画像に画像加工処理を施すことにより生成したプレビュー画像に対して、決定された画像加工処理の種類および段階的に設定可能な処理パラメータに従って画像加工処理を施すことによってサンプル画像を生成し、サンプル画像の識別情報と、サンプル画像を生成するのに使用した画像加工処理の種類および処理パラメータとを関連付けて、サンプル画像データベースに格納する。そして、ユーザが指定したサンプル画像の識別情報を取得し、サンプル画像データベースを参照し、ユーザが指定したサンプル画像の識別情報を用いて、サンプル画像に関連付けられた画像加工処理の種類および処理パラメータを取得して決定することができる。上記構成により、種々の画像加工処理が施されたサンプル画像をユーザが直感的に選択することができ、所望の出力画像の生成を容易にすることができる。

すなわち本発明によれば、上述した特徴を有する画像処理装置、該画像処理装置が実行する画像処理方法、該画像処理装置を実現するためのプログラム、該プログラムを格納する記録媒体が提供される。

第１実施形態のコンピュータ装置の装置構成を示す図。 第１実施形態のコンピュータ装置のハードウェア構成を示す図。 第１実施形態のコンピュータ装置上に実現される機能ブロック図。 第１実施形態で使用される（Ａ）参照画像データベース内のデータ、（Ｂ）感性語データベース内のデータ、（Ｃ）画像加工処理決定テーブルのデータ構造を示す図。 入力画像Ｐから感性語および画像特徴重みデータを求める処理を模式的に示す図。 第１実施形態のコンピュータ装置が実行する画像加工処理を示すフローチャート。 第１実施形態のコンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面の一実施形態を示す図。 第１実施形態のコンピュータ装置が実行する他の実施形態の画像加工処理を示すフローチャート。 第１実施形態のコンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面の一実施形態を示す図。 第２実施形態のコンピュータ装置上に実現される機能ブロック図。 第２実施形態のコンピュータ装置が実行する画像加工処理を示すフローチャート。 第２実施形態のコンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面の一実施形態を示す図。 コンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面の他の実施形態を示す図。 コンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面のさらに他の実施形態を示す図。 コンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面のさらに他の実施形態を示す図。 コンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面のさらに他の実施形態を示す図。

以下、本発明の実施形態を説明するが、本発明の実施形態は、以下の実施形態に限定されるものではない。なお、以下に説明する本発明の実施形態では、種々の画像加工処理により静止画像を編集するためのフォトレタッチ・ツールを実現するコンピュータ装置を画像処理装置の一例として説明する。

図１は、第１実施形態のコンピュータ装置の装置構成１０を示す図である。図１に示すコンピュータ装置２０は、概ねパーソナル・コンピュータ、ワークステーションなどとして構成されている。コンピュータ装置２０は、ＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４などの適切なインタフェースを介して、デジタルカメラ３２などの画像入力装置が接続されている。デジタルカメラ３２に蓄積された撮像画像データは、コンピュータ装置２０に送信され、本実施形態の画像加工処理の対象とされる。なお、本実施形態で画像加工処理の対象となる画像データは、デジタルカメラ３２から取得されるものに限定されるものではなく、ネットワークやリムーバブルメディアを介してコンピュータ装置２０に予め複製された画像データなど、如何なる経路で取得される画像データを対象とすることができる。また本実施形態で使用することができる画像データのフォーマットとしては、特に限定されるものではないが、ビットマップ、ＪＰＥＧ（Joint Photographic Experts Group）、ＪＰＥＧ２０００、ＧＩＦ（Graphics Interchange Format）、ＰＮＧ（Portable Network Graphics）、ＴＩＦＦ（Tagged Image File Format）などの如何なるイメージフォーマットを挙げることができる。

コンピュータ装置２０はまた、ＵＳＢやＮＩＣ（Network Interface Card）などの適切なインタフェースを介して、プリンタ３０などの画像形成装置と接続されている。本実施形態では、画像加工処理が適用された後の画像データは、プリンタ３０を用いてプリント出力することができる。本実施形態のコンピュータ装置２０は、さらに、後述する参照画像を記憶する参照画像データベース２２と、後述する感性語データベース２４とに接続されている。なおデータベース２２，２４は、説明する実施形態では、コンピュータ装置２０のローカルに構成されているものとするが、コンピュータ装置２０がアクセス可能である限り、ネットワークを介してリモートコンピュータ上に構成されていてもよい。

以下、コンピュータ装置２０の構成について詳細を説明する。図２は、第１実施形態のコンピュータ装置２０のハードウェア構成を示す図である。コンピュータ装置２０は、マイクロプロセッサ・ユニット（ＭＰＵ)４２と、ＢＩＯＳ（Basic Input Output System）を格納する不揮発性メモリ４４と、ＭＰＵ４２によるプログラム処理を可能とする実行記憶空間を提供するＲＡＭなどのメモリ４６とを含んで構成されている。ＭＰＵ４２は、起動時に不揮発性メモリ４４からＢＩＯＳを読み出して、システム診断を行なうとともに入出力装置５６の管理を行っている。

ＭＰＵ４２は、内部バス５２を介して記憶制御用インタフェース４８に接続され、上述したデータベース２２，２４の記憶領域を提供するハードディスク５０が、ＭＰＵ４２からの入出力要求に応答してデータの書込または読み出しを実行する。記憶制御用インタフェース４８としては、ＩＤＥ（Integrated Device Electronics）、ＡＴＡ（AT Attachment）、シリアルＡＴＡ、ＳＣＳＩ（Small Computer System Interface）、ＳＡＳ（Serial Attached SCSI）などの規格によりハードディスク５０の入出力を管理するインタフェースを使用することができる。ＭＰＵ４２は、内部バス５２を介してＵＳＢ、ＩＥＥＥ１２８４などのシリアルまたはパラレル・インタフェース５４を制御して、キーボード、マウスなどの入出力装置５６と通信して、ユーザからの入力を受け取る。インタフェース５４には、さらに、図１に示したプリンタ３０やデジタルカメラ３２も接続される。

コンピュータ装置２０は、さらにＶＲＡＭ５８とグラフィック・チップ６０とを含んでおり、ＭＰＵ４２からの指令に応答してビデオ信号を処理し、ディスプレイ装置６２へと表示させている。また、ＭＰＵ４２は、内部バス５２を介してネットワーク・インタフェース・カード（ＮＩＣ；Network Interface Card）６４と通信し、ネットワークを通して、コンピュータ装置２０を外部装置と通信させることができる。

コンピュータ装置２０は、不揮発性メモリ４４やハードディスク５０、その他、ＮＶ−ＲＡＭ（図示せず）やＳＤカード（図示せず）などの記憶装置に格納されたプログラム（図示せず）を読み出し、メモリ４６のメモリ領域に展開することにより、適切なオペレーティング・システム（ＯＳ）のもとで、後述する各機能部および各処理を実現している。上記ＯＳとしては、Ｗｉｎｄｏｗｓ（登録商標）、ＵＮＩＸ（登録商標）またはＬＩＮＵＸ（登録商標）など、如何なるアーキテクチャを有するＯＳを採用することができる。

以下、機能ブロック図を参照しながら、種類および処理パラメータを決定して画像加工処理を画像データに対して施す第１実施形態の画像加工処理について説明する。図３は、第１実施形態のコンピュータ装置上に実現される機能ブロックを示す。図３に示す機能ブロック１００は、入力画像Ｐから画像特徴量を抽出する画像特徴量抽出部１０２を含む。この画像特徴量は、特に限定されるものではないが、入力画像の画像特徴、例えば画像の色合い、色の分布、画像から抽出される輪郭線、テクスチャなどを定量評価するものであり、画像特徴に基づく画像検索で用いられるものである。ここで抽出される画像特徴量は、画像検索処理に適合するよう予め設定されたものが用いられる。

上述した色に関する画像特徴量としては、例えば、入力画像を複数の適切なブロック領域に分け、各ブロック領域に含まれるピクセルの色値を色相の各スペクトル領域毎に集計して求めた頻度を画像特徴量として用いることができる。この場合、ブロック領域数Ｎと、スペクトル領域数Ｃとを用いて、Ｎ×Ｃ個の画像特徴量が定義され、これらを要素としたＭ（＝Ｎ×Ｃ）次元の特徴ベクトルが構成される。さらに、上述したテクスチャに関する画像特徴量として、各ブロック領域における画像の輝度等の各空間周波数領域毎のスペクトル強度を画像特徴量として用いることができる。この場合、ブロック領域数Ｎと、周波数領域数Ｆとを用いて、Ｎ×Ｆ次元さらに特徴量ベクトルに追加される。なお、上述した画像特徴量は、例示を目的とするものであって、実際的には、データベース化する参照画像の特性等に対応して効率かつ高精度に画像検索可能とするため、種々の特徴量が選定され、次元削減などが適宜行われる。

参照画像データベース２２は、参照データとして予め登録された参照画像を画像検索可能にデータベース化したものであり、各参照画像を、それぞれから予め抽出しておいた画像特徴量データと、画像の印象を表現する感性語とに紐付けて登録する。図４（Ａ）は、第１実施形態で使用される参照画像データベース内のデータ構造を示す。図４（Ａ）に示す参照画像データテーブル１５２は、参照画像を固有に識別する参照画像識別値が入力されるフィールド１５２ａと、その参照画像の画像特徴量データが入力されるフィールド１５２ｂと、その参照画像に対して設定される１以上の感性語が入力されるフィールド１５２ｃとを含む。本実施形態では、フィールド１５２ｃの感性語が並列的に入力されているが、他の実施形態では、感性語と当該感性語の優先度とを関連付けてデータベースに登録することにより、感性語の優先度を管理することができる。

参照画像に対応する画像特徴量データは、画像特徴量抽出部１０２により予め抽出された複数の画像特徴量からなるＭ次元の特徴量ベクトルとして構成される。参照画像に対応する感性語は、オペレータ側で予め設定されたものを用いることができる。例えばオペレータが参照画像から連想した感性語をその参照画像に紐付けるように設定してもよいし、アンケートなどにより調査して、アンケートの分析結果上有意とされる上位の感性語をその参照画像に紐付けるようにしてもよい。

一方、感性語データベース２４は、感性語と、感性語に関連する画像特徴（以下、関連画像特徴という。）と、その関連画像特徴が当該感性語に与える影響の程度（以下、寄与度という。）を表す画像特徴重みとを対応付けて記憶する。図４（Ｂ）は、第１実施形態で使用される感性語データベース内のデータ構造を示す。図４（Ｂ）に示す感性語データテーブル１５４は、感性語が入力されるフィールド１５４ａと、その感性語の関連画像特徴を識別する値が入力されるフィールド１５４ｃと、その関連画像特徴に対する重みである画像特徴重みが入力されるフィールド１５４ｄとを含む。以下、関連画像特徴およびその画像特徴重みをまとめて、画像特徴重みデータと参照する。感性語データテーブル１５４は、後述するように、感性パラメータの入力を求める際のユーザによるパラメータ設定を容易化することを目的として、当該感性語と同時に提示するための感性語の対義語を保持するフィールド１５４ｂをさらに含むこともできる。

感性語に対応付けられる画像特徴重みデータは、当該感性語がどのような画像特徴によりどの程度影響を受けるかを事前に調査した上で設定されるものである。なお、ここで感性語に関連付けられる画像特徴および画像特徴重みは、説明する実施形態では、上述した画像特徴量データに含まれる画像特徴量と一致しているものとして説明するが、上述画像特徴量と必ずしも対応していなくともよく、色合い、色の分布、輪郭、テクスチャに関連する画像特徴といった大きなまとまりの単位で設定されていてもよい。例えば、「暖かい」という感性語については、色合いの画像特徴に強く影響を受けることから、色合いの画像特徴量を関連付け、その重みを高い値とする、といったように設定することができる。その他の例では、「暖かい」という感性語については、暖色系の色の画像特徴量に対して正に相関し、寒色系の色の画像特徴量に対して負の相関を有することから、暖色系および寒色系の色の画像特徴を関連付け、その重みをそれぞれ正および負の値とするといったように設定することができる。

感性語に対する画像特徴重みデータは、特に限定されるものではないが、例えばＳＤ（Semantic Differential）法等により、多数の標本画像等について相対する意味の感性語を用いてｎ段階の心理評価のアンケートを実施して、このアンケート結果に重回帰分析などの多変量解析を実施し、感性語と各画像特徴量との相関を分析することで求めることができる。例えば重回帰分析を実施する場合には、調査結果から、感性語が表現する印象を実現する度合い（つまり感性パラメータ）を目的変量とし、画像特徴量を説明変量として回帰式を求め、その各画像特徴量に対する各係数を、感性語が画像特徴量により影響を受ける度合い、すなわち画像特徴重みとして求めることができる。なお、感性語の画像特徴重みデータは、その他、感性語を用いた画像検索の技術分野等で知られた如何なる方法を用いて求めることができる。

機能ブロック１００は、さらに感性語検索部１０４を含む。感性語検索部１０４は、画像特徴量抽出部１０２により入力画像Ｐから抽出された画像特徴量データを受け取り、参照画像データベース２２にアクセスし、その画像特徴量データを用いて類似した画像特徴を有する参照画像に紐付けられた１以上の感性語を取得するとともに、取得した感性語を用いて感性語データベース２４にアクセスし、適宜その感性語に対応する対義語、画像特徴量およびその画像特徴重みを取得する。感性語検索部１０４は、本実施形態の感性語取得手段および特徴重み取得手段を構成する。

図５は、入力画像から感性語および画像特徴重みデータを求める処理を模式的に示す図である。図５に示すように、まず入力画像から画像特徴量データが抽出される。この画像特徴量データを用いて、入力画像のものに類似する画像特徴量データを有する参照画像を参照画像データベース２２から検索する。画像検索は、例えば、ベクトル空間モデルを用いて入力画像の画像特徴データが構成する特徴量ベクトルに対し、ベクトル空間上でユークリッド距離が近接する特徴ベクトルを有する参照画像が検索され、その中で最もユークリッド距離が短いものが最も類似する参照画像として見つけ出される。図５に示す例では、参照画像「１００００ｚ」が最も類似する画像として見つけ出されている。そして、参照画像に紐付けられた感性語データが参照画像データベース２２から取得され、感性語データ中の各感性語を検索クエリとして、感性語テーブルから該感性語に対応する画像特徴重みデータがそれぞれ取得される。

再び図３を参照すると、機能ブロック１００は、感性パラメータ入力部１０６をさらに含む。感性パラメータ入力部１０６は、感性語検索部１０４により取得された感性語および適宜その対義語を受け取り、コンピュータ装置２０のディスプレイ装置６２などの表示装置上に感性語およびその対義語の表示１２０を行うとともに、その感性語に対する感性パラメータの値の入力１２２を受領するための制御を行う。この感性パラメータとは、画像加工処理によってその感性語をどの程度満足するようにしたいかを指定するためのパラメータであり、ユーザにより直感的に指定可能なものとされている。なお、感性パラメータ入力部１０６は、本実施形態の受領手段を構成する。

他の実施形態では、感性パラメータ入力部１０６は、後述する画像加工処理部１１０によって生成され、画像加工処理画面上に表示されるサンプル画像のうち、ユーザが選択したサンプル画像の識別情報を取得する。

機能ブロック１００は、処理パラメータ決定部１０８と、画像加工処理部１１０とをさらに含む。処理パラメータ決定部１０８は、感性パラメータ入力部１０６が受領したユーザ指定の感性パラメータの値と、感性語検索部１０４が取得した画像特徴重みデータとを用いて、入力画像に適用すべき画像加工処理の種類およびその処理パラメータを決定する。画像加工処理の種類および処理パラメータの決定は、予め定められたルールおよび算定式に従って決定される。上記ルールおよび算定式は、各種類による画像加工処理が処理パラメータに従って画像特徴量にどのように影響を与えるかを事前に分析した上で、あるいは開発者側のデザインのノウハウに従って定めることができる。

例えば分析的な手法により定める場合には、以下に示す（１）〜（６）の手順を行うことにより、処理パラメータの決定に用いるルールまたは算定式を定めることができる。まず（１）画像加工処理を複数選定し、（２）選定した画像加工処理と広範囲の処理パラメータとを組み合わせて分析用画像に対して適用し、結果画像を得る。そして、（３）分析用画像の画像特徴量と結果画像の画像特徴量とを比較し、（４）この比較結果に従って、画像特徴に対する画像加工処理の寄与度と、処理パラメータの変化に伴う画像特徴の傾向を求め、（５）各画像特徴に、寄与度に応じて１以上の画像加工処理を対応付け、（６）各画像特徴の傾向を多項式などにより近似して処理パラメータの算定式を決定する。画像特徴量が画像から直接算出することができるため、上述したルールおよび算定式は、分析により比較的容易にかつ高い精度で求めることができる。

またノウハウにより定める場合には、以下に示す（７）〜（１１）の手順を行うことにより、ルールまたは算定式を定めることができる。まず（７）開発者のノウハウに従って、各画像特徴毎に１以上の画像加工処理を割り当て、（８）割り当てた画像加工処理と広範囲の処理パラメータとを組み合わせて分析用画像に対して適用し、結果画像を得る。そして、（９）分析用画像の画像特徴量と結果画像の画像特徴量を比較し、（１０）この比較結果に従って、処理パラメータの変化に伴う画像特徴の傾向を求め、（１１）各画像特徴の傾向を多項式などにより近似して、処理パラメータの算定式を決定する。なお、（８）〜（１１）の手順では、処理パラメータの算定式は、分析的な手法により求められているが、ノウハウに従って求めてもよい。

図４（Ｃ）は、第１実施形態で使用される、適用すべき画像加工処理および処理パラメータを決定するための画像加工処理決定テーブルのデータ構造を示す。図４（Ｃ）に示すの画像加工処理決定テーブル１５６は、画像特徴を識別する値が入力されるフィールド１５６ａと、その関連画像特徴に対応付けられる１以上の画像加工処理が指定されるフィールド１５６ｂと、その処理パラメータの算定式を保持するフィールド１５６ｃとを含む。フィールド１５６ｃの算定式は、実際に処理パラメータを算出する際に用いられる。なお、１つの画像特徴に対し、複数の画像加工処理が対応付けられる場合や、画像加工処理間で相互作用が発生する場合には、反復演算などにより最終的な処理パラメータを決定することができる。

他の実施形態では、処理パラメータ決定部１０８は、サンプル画像の識別情報と、当該サンプル画像の生成に用いられた画像加工処理の種類およびその処理パラメータが関連付けて登録されるサンプル画像データベースを参照して、感性パラメータ入力部１０６から受領したサンプル画像の識別情報を用いて、当該サンプル画像に関連する画像加工処理の種類およびその処理パラメータを取得して決定する。

画像加工処理部１１０は、処理パラメータ決定部１０８により決定された画像加工処理の種類および処理パラメータに従って入力画像に対して画像加工処理を施し、出力画像Ｑを生成する。なお、処理パラメータ決定部１０８は、本実施形態の決定手段を構成し、画像加工処理部１１０は、本実施形態の画像加工処理手段を構成する。

他の実施形態では、画像加工処理部１１０は、上述したように画像加工処理の種類および処理パラメータに従って入力画像に対して画像加工処理を施すことにより、後述する画像加工処理画面に表示されるプレビュー画像を生成し、当該プレビュー画像に対して、さらに画像加工処理を施して種々のサンプル画像を生成する。サンプル画像の生成は、選択された感性語に対応する画像加工処理を種々の処理パラメータを用いてプレビュー画像に実施することにより行われる。例えば、感性語として「立体的」が選択されている場合、サンプル画像は、プレビュー画像と比較して、より立体的な画像またはより平面的な画像となるように処理パラメータを段階的に設定することができる。処理パラメータは、画像加工処理が１段階強くなるに従って、元の処理パラメータの値に対して所定の処理パラメータの値を加算して算出することもでき、または元の処理パラメータの値を任意の比率で乗算することにより算出することもできる。

また、画像加工処理部１１０は、既に生成されたサンプル画像を元にサンプル画像を生成することもできる。さらに、画像加工処理部１１０は、サンプル画像の識別情報と、当該サンプル画像を生成するのに使用した画像加工処理の種類および処理パラメータとを関連付けてサンプル画像データベースに格納する。

上述した画像加工処理としては、特に限定されるものではないが、レベル補正、トーンカーブ、カラーバランス、明るさ調整、コントラスト調整、彩度調整、色相調整、ガンマ補正などの画像調整処理や、シャープネス、アンシャープネス、ソフト、ガウスぼかし、放射状ぼかし、移動ぼかし、エンボス、エッジ抽出、中間値、押し出し、拡散、テクスチャ効果などの特殊効果などを挙げることができる。

図６は、第１実施形態のコンピュータ装置が実行する画像加工処理を示すフローチャートである。以下、このフローチャートを参照しながら、第１実施形態の画像加工処理の流れについて説明する。図６に示す処理は、ステップＳ６００から開始し、ステップＳ６０１でコンピュータ装置２０は、所定の処理対象画像に対する処理開始の指示をユーザから受ける。ステップＳ６０２では、画像特徴量抽出部１０２は、処理対象画像から画像特徴量を抽出し、画像特徴量データを生成し、メモリやＨＤＤなどの適切な記憶領域に格納する。

ステップＳ６０３では、感性語検索部１０４は、生成された画像特徴量データを用いて参照画像データベース２２から最も画像特徴が類似すると判定される参照画像に紐付けられた感性語データを取得する。ステップＳ６０４では、感性語検索部１０４は、取得した感性語データに含まれる各感性語を検索クエリとして、感性語データベース２４から対応する画像特徴重みデータを取得する。ステップＳ６０５では、感性パラメータ入力部１０６は、各感性語に対応する感性パラメータを例えば０を初期値として設定する。

ステップＳ６０６では、処理パラメータ決定部１０８は、設定された感性パラメータと、取得された画像特徴重みデータとを用いて、画像加工処理の種類およびその処理パラメータを算出する。ステップＳ６０７では、画像加工処理部１１０は、決定された種類の画像加工処理を、決定された処理パラメータにしたがって処理対象画像に一時的に適用し、プレビュー画像を作成する。ステップＳ６０８では、感性語およびその対義語とともに感性パラメータの指定および確定の指示を受け付けるための画像加工処理画面をディスプレイ装置などに表示させる。

図７は、第１実施形態のコンピュータ装置２０のディスプレイ装置６２の画面上に表示される画像加工処理画面の一実施形態を示す図である。図７に示す画像加工処理画面７６０は、プレビュー表示領域７６２と、感性パラメータ指定領域７６４とを含む。感性パラメータ指定領域７６４には、感性語検索部１０４で取得された１以上の感性語のうち特に重要と見なされている感性語に対する感性パラメータの値を操作するためのスライダ７７０がそれぞれ配置され、スライダの両端には、対応する感性語およびその対義語の表示が配置され、目盛り７７６が付されている。スライダ７７０には、つまみ７７８が配置され、感性パラメータの現在値を表示するとともに、このつまみ７７８を動かすことによりその値が操作可能とされている。図７に示すように、感性語とその対義語とをスライダ７７０の両側に表示させることで、ユーザに対し、スライダのどちら側につまみを移動させれば表示の感性語が表す印象が得られるようになるかを伝達し、ユーザによる直感的な操作を容易なものとしている。なお、図７に示すように感性語と感性語の対義語とを表示させてもよいし、対義語を表示させず感性語のみを表示させて、その強弱のみを示す形で代替してもよい。

再び図６を参照すると、ステップＳ６０９では、感性パラメータ入力部１０６は、ユーザからの入力操作に応じて処理を分岐させる。ステップＳ６０９で、ユーザによりスライダが操作されて感性パラメータの現在値が変更された場合（「感性パラメータ変更」）には、ステップＳ６０６へ処理をループさせ、変更された感性パラメータに応じたプレビュー画像の再演算と表示の更新とを再度行わせる。一方、ステップＳ６０９で、ユーザから確定の指示を受け取った場合（「確定」）には、ステップＳ６１０へ処理を進める。ステップＳ６１０では、画像加工処理部１１０は、確定された感性パラメータの値および画像特徴重みデータから求められた画像加工処理の種類およびその処理パラメータにしたがって、処理対象画像に対して画像加工処理を施し、出力画像Ｑを生成し、ステップＳ６１１で、処理画像結果をプリンタ出力またはファイル出力し、ステップＳ６１２で、本画像加工処理を終了させる。

上述した第１実施形態によれば、予め感性語が紐付けられた素性のよい参照画像のなかから、入力画像に画像特徴が類似したものが検索され、それに紐付けられた感性語が提示されてユーザに対して感性パラメータの入力が求められることとなる。このため、ユーザは、入力画像の特徴（例えば被写体など）に適合した感性語に関連して、画像加工処理の種類および処理パラメータを決定するためのパラメータ指定を直感的に指定することができ、ひいては、感性語が表現する印象を実現する度合いを表す感性パラメータの指定といったユーザが直感的に理解できる心理的なパラメータの操作によって、ユーザの意図に合った画像加工処理を容易に実現することが可能となる。さらに、感性パラメータの指定という自由度の範囲において入力画像の特徴（例えば被写体など）に応じた結果を得ることが可能となる。また、上述した第１実施形態では、プレビュー表示を行うものとして説明してきたが、プレビュー表示の有無をユーザ指定可能としてもよいし、プレビュー表示を行わなくともよいことは言うまでもない。

なお、上述した第１実施形態では、感性パラメータの初期値が、一律に０に設定されるものとして説明してきたが、例えば入力画像の特性に応じて初期値を設定するよう構成してもよい。以下、元の入力画像で実現されている感性パラメータの値を計算し、それを感性パラメータの初期値として用いる第２実施形態について説明する。なお、第２実施形態は、第１実施形態と同様の構成を有しているため、以下の説明では、相違点を中心に説明する。

図８は、第１実施形態のコンピュータ装置が実行する他の実施形態の画像加工処理を示すフローチャートである。以下、図８を参照して、他の実施形態の画像加工処理について説明する。なお、図８に示すステップＳ８００〜ステップＳ８０７の処理は、図６に示した処理と同じであるため説明は割愛する。

ステップＳ８０８では、画像加工処理部１１０が、画像加工処理画面のサンプル画像指定領域に表示されるサンプル画像を作成する。ステップＳ８０９では、感性パラメータ入力部１０６が、サンプル画像の指定および確定の指示を受け付けるための画像加工処理画面をディスプレイ装置などに表示させる。ステップＳ８１０では、感性パラメータ入力部１０６が、ユーザからの入力操作に応じて処理を分岐させる。ステップＳ８１０で、ユーザによってサンプル画像が選択された旨の指示を受領した場合（「プレビュー画像およびサンプル画像の変更」）には、ステップＳ８０８へ処理をループさせ、画像加工処理部１１０が、画像加工処理画面に新たに表示されるサンプル画像を生成し、感性パラメータ入力部１０６が、当該生成されたサンプル画像を画像加工処理画面に表示させるともに、選択されたサンプル画像をプレビュー画像として表示させる。

一方、ステップＳ８１０で、ユーザからサンプル画像の確定の指示を受け取った場合（「確定」）には、処理をステップＳ８１１へ進める。当該指示には、ユーザが選択したサンプル画像の識別情報が含まれており、ステップＳ８１１で、処理パラメータ決定部１０８が、サンプル画像データベースを参照して、当該サンプル画像の識別情報を用いて、当該サンプル画像に関連付けられた画像加工処理の種類およびその処理パラメータを取得する。ステップＳ８１２では、画像加工処理部１１０は、当該画像加工処理の種類および処理パラメータに従って、処理対象画像に対して画像加工処理を施し、出力画像Ｑを生成する。そして、ステップＳ８１３で、処理画像結果をプリンタ出力またはファイル出力し、ステップＳ８１４で、本画像加工処理を終了させる。

図９は、第１実施形態のコンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面の一実施形態を示す図である。図９に示す画像加工処理画面９６０は、図７に示す画像加工処理画面７６０と同様に、プレビュー表示領域９６２と、サンプル画像指定領域９６４とを含む。以下、図７に示す画像加工処理画面７６０と相違する部分について説明する。

サンプル画像指定領域９６４には、種々のサンプル画像９７０が表示される。これらのサンプル画像は、それぞれ異なる画像加工処理パラメータによって生成されており、ユーザはこれらのサンプル画像を選択することにより、より直感的に所望の出力画像を得ることができる。

図９に示す実施形態では、感性語およびその対義語として立体的９７２および平面的９７４が選択されている。選択される感性語には、上述したように優先度を割り当てることができ、画像加工処理画面９６０には、優先度の最も高い感性語が表示されている。本実施形態では、プレビュー画像がサンプル画像指定領域９６４の中心位置に表示される。また、サンプル画像指定領域９６４の左側位置には、プレビュー画像よりも立体的なサンプル画像が表示され、サンプル画像指定領域９６４の右側位置にはプレビュー画像よりも平面的なサンプル画像が表示される。

サンプル画像指定領域９６４には、矢印９７６、９７８が含まれている。ユーザがマウス等の入力装置を用いて矢印９７６、９７８を押下すると、サンプル画像が横方向にスクロールする旨のイベントが通知される。このイベントには、押下された矢印の識別情報が含まれており、感性パラメータ入力部１０６は、イベントを受領した回数およびイベントに含まれる矢印の識別情報を用いて、表示すべきサンプル画像を判断する。例えば、左側の矢印９７６が１回押下されると、そのイベントが感性パラメータ入力部１０６に通知され、感性パラメータ入力部１０６は、当該イベントに含まれる矢印の識別情報とその回数から、表示が要求されているサンプル画像を判断する。そして、画像加工処理部１１０は、プレビュー画像またはサンプル画像から要求されているサンプル画像を生成して、画像加工処理画面９６０を更新する。これにより、例えば、矢印９７６を１回押下すると、現在表示されているサンプル画像が右側に１つスクロールし、より立体的なサンプル画像がサンプル画像指定領域９６４の左側位置に表示することできる。一方、矢印９７８を１回押下すると、現在表示されているサンプル画像が左側に１つスクロールし、より平面的なサンプル画像をサンプル画像指定領域９６４の右側位置に表示することができる。

また、感性パラメータ入力部１０６は、矢印を継続して押下している旨のイベントを受領すると、時間を計測する処理関数等を用いて、矢印が押下されていた時間を計測する。感性パラメータ入力部１０６は、この計測時間と、予め設定された単位時間に対するサンプル画像の移動量とを用いて、表示すべきサンプル画像を判断することができる。例えば、単位時間に対するサンプル画像の移動量として４が割り当てられている場合に、左側の矢印９７６が押下されていた時間が３秒であるとすると、現在左側位置に表示されているサンプル画像に対して１２段階強い立体的な画像加工処理が施された画像が、表示すべきサンプル画像となる。これにより、矢印９７６、９７８を押下し続けると、サンプル画像が連続してスクロールすることができる。ユーザは、当該矢印を用いてサンプル画像を変更することにより、自身が必要とする画像を直感的に選択することができる。なお、本実施形態では、感性語と感性語の対義語とを表示しているが、感性語のみを表示して、その強弱のみを示すようにしてもよい。

図１０は、第２実施形態のコンピュータ装置上に実現される機能ブロックを示す。なお、第２実施形態において、第１実施形態と同様の機能を奏する機能部は、下二桁が同一の符号にて参照する。図１０に示す機能ブロック２００は、第１実施形態のものに加えて、初期値算出部２１２をさらに含んで構成される。第２実施形態の感性語検索部２０４は、第１実施形態の場合と同様に、参照画像データベースから、類似の参照画像に紐付けられた１以上の感性語を取得し、その感性語に紐付けられた画像特徴重みデータを感性語データベースから取得する。そして、感性語検索部２０４は、感性語と、その画像特徴重みデータと、画像特徴量データとを、初期値算出部２１２へ渡す。なお、ここで渡される画像特徴量データは、画像特徴量抽出部２０２で本入力画像Ｐから抽出されたものを用いることができる。しかしながら、他の実施形態では参照画像データベースから取得した類似の参照画像の画像特徴量データを用いてもよい。いずれの場合でも、入力画像の特性に応じた感性パラメータの初期値を算出することができる。

初期値算出部２１２は、受け取った感性語と、その画像特徴重みデータと、画像特徴量データとを用いて、感性パラメータそれぞれの初期値を算出する。この感性パラメータの初期値は、処理前の入力画像がその感性語が表現する印象をどの程度満足しているかを表している。感性パラメータの値は、特に限定されるものではないが、上述したような重回帰分析により画像特徴重みを求めた場合には、得られた回帰式に実際の画像特徴量（入力画像または最類似の参照画像）を入力して求められる目的変量の推定値を感性パラメータの初期値として計算することができる。初期値算出部２１２が計算した感性パラメータの初期値は、感性パラメータ入力部２０６へ渡され、感性語および感性パラメータの初期値の表示２２０が行われる。なお、類似の参照画像の画像特徴量データを用いる実施形態では、入力画像がこの参照画像の画像特徴量データを用いて算出されたこの感性パラメータの初期値を満たすように、入力画像に画像加工処理を実行した上でプレビュー表示を行うことが望ましい。

図１１は、第２実施形態のコンピュータ装置が実行する画像加工処理を示すフローチャートである。図１１に示すステップＳ１１００〜ステップＳ１１０４の処理は、図６に示した第１実施形態の処理と同一であるため説明は割愛する。ステップＳ１１０５では、初期値算出部２１２は、画像特徴量と、画像特徴重みとを用いて感性パラメータの初期値を算出し、感性パラメータ入力部２０６は、算出された各感性語の感性パラメータを初期値として設定する。

ステップＳ１１０６では、処理パラメータ決定部２０８は、設定された感性パラメータと取得された画像特徴重みデータとを用いて、画像加工処理の種類およびその処理パラメータを算出する。ここでは、設定された感性パラメータの現在値と、感性パラメータの初期値との差を用いることができる。ステップＳ１１０７では、画像加工処理部２１０は、決定された種類の画像加工処理を処理パラメータに従って処理対象画像に一時的に適用し、プレビュー画像を作成する。ステップＳ１１０８では、感性パラメータ入力部２０６は、感性語およびその対義語とともに感性パラメータの指定および確定の指示を受け付けるための画像加工処理画面をディスプレイ装置などに表示させる。初回の表示では、算出された感性パラメータの初期値がユーザに提示される。類似の参照画像の画像特徴量データを用いる実施形態では、この感性パラメータの初期値を満たすように画像加工処理された結果がプレビュー表示されることとなる。

図１２は、第２実施形態のコンピュータ装置２０のディスプレイ装置６２の画面上に表示される画像加工処理画面を一例として示す。図１２に示す画像加工処理画面１２６０は、第１実施形態と同様に、プレビュー表示領域１２６２と、感性パラメータ指定領域１２６４とを含む。感性パラメータ指定領域１２６４の各スライダの初期値が、算出された感性パラメータの初期値に従って設定される。図１２に示すように、算出された感性パラメータの初期値をユーザに提示することにより、ユーザは、入力画像が本来有している印象を数値化した値を知ることができ、ユーザの意図をより適切に画像加工処理に反映させることが可能となる。

再び図１１を参照すると、ステップＳ１１０９では、感性パラメータ入力部２０６は、ユーザからの入力操作に応じて処理を分岐させる。ステップＳ１１０９で、ユーザによりスライダが操作されて感性パラメータの現在値が変更された場合（「感性パラメータ変更」）には、ステップＳ１１０６へ処理をループさせ、変更された感性パラメータに応じたプレビュー画像の再演算と表示の更新を再度行わせる。一方、ステップＳ１１０９で、ユーザから確定の指示を受け取った場合（「確定」）には、ステップＳ１１１０へ処理を進める。ステップＳ１１１０では、画像加工処理部２１０は、確定した感性パラメータの値および画像特徴重みデータから求められた画像加工処理の種類およびその処理パラメータに従って、処理対象画像に対して画像加工処理を施し、出力画像Ｑを生成する。そして、ステップＳ１１１１で、処理画像結果をプリンタ出力またはファイル出力し、ステップＳ１１１２で、本画像加工処理を終了させる。

上述した第２実施形態によれば、入力画像または参照画像の画像特徴量データ、つまり入力画像の特性に応じて、感性パラメータの初期値が算出され、ユーザに提示されることとなる。このため、ユーザは、入力画像が本来有している印象を数値化した値を中心として感性パラメータの変更が行え、ユーザの意図をより適切に画像加工処理に反映させることが可能となる。

図１３は、コンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面の他の実施形態を示す図である。図１３に示す画像加工処理画面１３６０は、図９に示す画像加工処理画面９６０と同様に、プレビュー表示領域１３６２と、サンプル画像指定領域１３６４，１３７２，１３８０とを含む。以下、図９に示す画像加工処理画面９６０と相違する部分について説明する。

図１３に示す画像加工処理画面１３６０は、３種類の感性語「立体的」、「穏やか」および「柔らかい」がそれぞれ割り当てられたサンプル画像指定領域１３６４，１３７２，１３８０を含んでいる。選択される感性語には、上述したように優先度を割り当てることができ、画像加工処理画面１３６０には、優先度の高い３つの感性語が表示されている。各サンプル画像指定領域の中心位置１３６８，１３７６，１３８４には、プレビュー表示領域１３６２に表示するプレビュー画像が表示可能である。また、各サンプル画像指定領域の左側位置１３６６，１３７４，１３８２には、プレビュー画像よりも立体的、穏やか、または柔らかいサンプル画像を表示することができ、各サンプル画像指定領域の右側位置１３７０，１３７８，１３８６には、プレビュー画像よりも平面的、荒々しい、または硬いサンプル画像を表示することができる。これにより、ユーザは、１の画面上で複数の感性語に対応したサンプル画像を選択することができ、種々の感性語に対応する画像加工処理が施された画像の中から所望の出力画像を直感的に選択することができる。なお、本実施形態では、優先度の高い３種類の感性語が表示されているが、他の実施形態では、ユーザがサンプル画像を視認可能である限り、任意の数の感性語とそれに対応するサンプル画像を表示してもよい。

図１４は、コンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面のさらに他の実施形態を示す図である。図１４に示す画像加工処理画面１４６０は、図１３に示す画像加工処理画面１３６０と同様に、３種類の感性語が割り当てられたサンプル画像指定領域１４７０，１４７２，１４７４を含んでいる。以下、図１３に示す画像加工処理画面１３６０と相違する部分について説明する。

本実施形態では、コンピュータ上に実現される画像加工処理画面１４６０を生成するユーザ・インタフェース（以下、単にＵＩとして参照する。）生成部を備えている。ＵＩ生成部は、ディスプレイ装置に表示されている画像加工処理画面１４６０のサンプル画像指定領域がマウス等のポインタによって選択された旨のイベントを受領すると、既に選択されているサンプル画像指定領域が存在するか否か判断し、既に選択されているサンプル画像指定領域が存在しない場合には、当該イベントが示すサンプル画像指定領域を予め規定した大きさに拡大して画像加工処理画面１４６０を生成して表示装置に表示する。ＵＩ生成部は、現在選択されているサンプル画像指定領域の識別情報をＲＡＭやレジスタ等の記憶装置に保持することができ、この識別情報を使用して、既に選択されているサンプル画像指定領域が存在するか否か判断することができる。

一方、既に選択されているサンプル画像指定領域が存在する場合には、ＵＩ生成部は、既に選択されているサンプル画像指定領域を通常の元の大きさに縮小し、イベントが示すサンプル画像指定領域を予め規定した通常の大きさ戻した画像加工処理画面１４６０を生成してディスプレイ装置に再表示する。ＵＩ生成部が受領するイベントには、選択されたサンプル画像指定領域の識別情報および当該指定領域が選択された旨の指令を含まれており、ＵＩ生成部は、これらの情報を使用して画像加工処理画面１４６０を生成することができる。

他の実施形態では、イベントは、マウスポインタがサンプル画像指定領域内に存在する旨の指令またはマウスポインタがサンプル画像指定領域から外れた旨の指令を含むことができ、ＵＩ生成部は、マウスポインタが存在するサンプル画像指定領域を拡大し、またはマウスポインタが外れたサンプル画像指定領域を縮小して画像加工処理画面１４６０を生成することができる。

本実施形態では、ユーザが選択したサンプル画像指定領域を拡大表示するため、ユーザのサンプル画面に対する視認性を一層高めることができる。なお、図１４では、プレビュー表示領域が省略されているが、画像加工処理画面１４６０はプレビュー表示領域を含んで構成することができる。また、他の実施形態では、プレビュー表示領域を省略することができ、この場合には、サンプル画像として表示されるプレビュー画像を、例えば、当該プレビュー画像の外枠を強調表示し、またはプレビュー画像の外枠を他の外枠と異なる色で表示するなどして、他のサンプル画像と区別して表示することができる。

図１５は、コンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面のさらに他の実施形態を示す図である。図１５に示す画像加工処理画面１５６０は、図９に示す画像加工処理画面９６０と同様に、１種類の感性語が割り当てられたサンプル画像指定領域１５７２を含んでいる。以下、図９に示す画像加工処理画面９６０と相違する部分について説明する。

画像加工処理画面１５６０は、現在表示されているサンプル画像のサンプル画像全体に対する位置を示すバー１５０２が含まれている。本実施形態では、最初に表示される表示加工処理画面１５６０では、バー１５０２を中心位置に表示することができる。

本実施形態では、感性パラメータ入力部が、矢印１５７６，１５７８が選択された旨のイベントを受領すると、図９を参照して説明した実施形態と同様に、画像加工処理部によってサンプル画像が更新される。感性パラメータ入力部は、矢印１５７６，１５７８が押下された回数をレジスタやＲＡＭ等に記憶させることができ、当該回数を使用して、現在表示されているサンプル画像が最初に表示加工処理画面１５６０に表示されたサンプル画像からどの程度離れているかを判断することができ、その度合いをバー１５０２の位置によって表現する。本実施形態では、左側の矢印１５７６が押下された回数を正の数で表し、右側の矢印１５７８が押下された回数を負の数で表すことができ、例えば、左側の矢印１５７６が５回押下され、その後、右側の矢印１５７８が２回押下された場合には、矢印が押下された回数は「＋３」となり、これは実質的に左側の矢印が３回押下されたことを意味する。この場合、画像加工処理画面１５６０は、現在表示されているバー１５０２の位置を左側に移動して表示する。本実施形態では、バー１５０２が移動可能な範囲と、１回の矢印の押下により移動可能な距離とを画像加工処理画面１５６０内の相対的な座標位置により予め設定しておくことにより、バー１５０２の移動させて表示することができる。これにより、現在表示されているサンプル画像のサンプル画像全体に対する位置をユーザが直感的かつ容易に把握することができる。

他の実施形態では、バー１５０２と連動してサンプル画像を変更することができる。感性パラメータ入力部は、バー１５０２が移動した旨のイベントを受領すると、当該イベントに含まれているバー１５０２の画像加工処理画面１５６０内の相対的な座標位置からバー１５０２の移動距離を判断する。そして、感性パラメータ入力部は、この移動距離が矢印の何回分の押下に相当するかを判断する。そして、画像加工処理部が、その回数に対応するサンプル画像を生成して画像加工処理画面１５６０を更新する。

なお、図１５では、図１４に示す実施形態と同様、プレビュー表示領域が省略されているが、画像加工処理画面１５６０はプレビュー表示領域を含んで構成することができる。また、他の実施形態では、プレビュー表示領域を省略することができ、この場合には、サンプル画像として表示されるプレビュー画像を、例えば、当該プレビュー画像の外枠を強調表示し、またはプレビュー画像の外枠を他の外枠と異なる色で表示するなどして、他のサンプル画像と区別して表示することができる。

図１６は、コンピュータ装置のディスプレイ装置の画面上に表示される画像加工処理画面のさらに他の実施形態を示す図である。図１６に示す画像加工処理画面１６６０は、２種類の感性語「立体的」および「穏やか」に対応するサンプル画像が２次元的に配置される。画像加工処理画面１６６０は、プルダウンメニューボタン１６０２，１６０４を含んでおり、ユーザは、このメニューボタンを使用して感性語を指定することができる。本実施形態では、感性語の初期値として、最類似の参照画像に関連付けられた感性語である「立体的」および「穏やか」が選択されているが、他の実施形態では、その他の感性語を初期値として設定することができる。さらに、優先度の高い感性語を初期値として設定することもできる。当該優先度の高い感性語の選択は、感性語の優先度が登録されたデータベースを参照することにより行うことができる。

本実施形態では、画像加工処理画面を最初に表示する場合、または感性パラメータ入力部が、ユーザが指定した感性語を受領した場合に、画像加工処理部が、プレビュー画面をサンプル画像１６７６として生成し、当該サンプル画像１６７６を用いて他のサンプル画像を生成する。例えば、画像加工処理部は、サンプル画像１６７６を用いて、選択または指定された感性語に従って、より穏やかな画像１６７４と、より荒々しい画像１６７８とを生成する。そして、画像加工処理部は、これらのサンプル画像１６７４，１６７６，１６７８を用いて、選択または指定された別の感性語に従って、より立体的な画像１６６６，１６６８，１６７０と、より平面的な画像１６８２，１６８４，１６８６とを生成する。本実施形態では、２種類の感性語に対応するサンプル画像が２次元的に配置されるため、２種類の感性パラメータを同時に指定することできる。

以上説明してきたように、上述した実施形態によれば、感性語に対するパラメータの入力といったユーザが直感的に理解できる操作により、ユーザが意図する結果が得られるように画像処理の種類およびパラメータを決定し、画像データに対してユーザの意図に沿った画像加工処理を施すことが可能な画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することができる。

なお、上述した実施形態では、静止画像を編集するためのフォトレタッチ・ツールを主にデスクトップ・アプリケーションとして実現するコンピュータ装置を画像処理装置の一例として説明してきたが、上述した画像加工処理機能をウェブベースのアプリケーションとしてサーバ装置上に実現してもよい。

また、上記機能は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述された装置実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、ＳＤメモリ、ＭＯなど装置可読な記録媒体に格納して頒布することができる。

以上本発明の特定の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１０…装置構成、２０…コンピュータ装置、２２…参照画像データベース、２４…感性語データベース、３０…プリンタ、３２…デジタルカメラ、４２…ＭＰＵ、４４…不揮発性メモリ、４６…メモリ、４８…記憶制御用インタフェース、５０…ハードディスク、５２…内部バス、５４…インタフェース、５６…入出力装置、５８…ＶＲＡＭ、６０…グラフィック・チップ、６２…ディスプレイ装置、６４…ＮＩＣ、１００…機能ブロック、１０２…画像特徴量抽出部、１０４…感性語検索部、１０６…感性パラメータ入力部、１０８…処理パラメータ決定部、１１０…画像加工処理部、１２０…表示、１２２…入力、１５２…参照画像データテーブル、１５４…感性語データテーブル、１５６…画像加工処理決定テーブル、２００…機能ブロック、２０２…画像特徴量抽出部、２０４…感性語検索部、２０６…感性パラメータ入力部、２０８…処理パラメータ決定部、２１０…画像加工処理部、２１２…初期値算出部、２２０…表示、２２２…入力、

特許第３０６３０７３号明細書 特開２００５−２０３４４号公報

Claims (10)

1. 入力画像に対し画像加工処理を施す画像処理装置であって、
   参照画像それぞれを感性語に対応付けて登録する画像データベースにアクセスして、前記入力画像に画像特徴が類似する参照画像に対応する感性語を取得する感性語取得手段と、
   前記感性語と、前記画像特徴が該感性語へ与える影響度を表す特徴重み値とを対応付けて登録する感性語データベースにアクセスして、取得された前記感性語に対応する特徴重み値を取得する特徴重み値取得手段と、
   取得された前記感性語が表現する印象を実現する度合いを表す感性パラメータ値の入力を受領する受領手段と、
   受領された前記感性パラメータ値および取得された前記特徴重み値を入力として、画像加工処理の種類および処理パラメータを決定する決定手段と、
   決定された前記種類および前記処理パラメータに従って前記入力画像に対して画像加工処理を施す画像加工処理手段と、
   前記入力画像から抽出される該入力画像の画像特徴を定量する特徴量と、前記感性語データベースから取得された前記特徴重み値とを入力として、前記感性語毎に感性パラメータの初期値を算出する算出手段と
   を含み、
   前記受領手段は、前記感性パラメータの初期値を提示して感性パラメータ値のユーザ指定を待ち受ける画面表示の制御を行う、画像処理装置。
2. 前記感性語取得手段は、前記入力画像に対し最も高い類似度を有する参照画像の画像特徴量をさらに取得し、前記算出手段は、取得された前記最も高い類似度を有する参照画像の画像特徴量を前記特徴量に代えて入力として、前記感性パラメータの初期値を算出する、請求項１に記載の画像処理装置。
3. 前記受領手段は、ユーザにより指定された感性パラメータの現在値を用いて求められる前記種類および前記処理パラメータの画像加工処理を入力画像に対して施した場合のプレビュー画像の表示の制御を行う、請求項１または２に記載の画像処理装置。
4. 前記画像加工処理手段は、
   前記入力画像に画像加工処理を施すことにより生成したプレビュー画像に対して、決定された前記画像加工処理の種類および段階的に設定可能な処理パラメータに従って画像加工処理を施すことによってサンプル画像を生成する手段と、
   前記サンプル画像の識別情報と、前記サンプル画像を生成するのに使用した画像加工処理の種類および処理パラメータとを関連付けて、サンプル画像データベースに格納する手段とをさらに含み、
   前記受領手段は、ユーザが指定したサンプル画像の識別情報を取得し、
   前記決定手段は、前記サンプル画像データベースを参照し、ユーザが指定したサンプル画像の識別情報を用いて、前記サンプル画像に関連付けられた画像加工処理の種類および処理パラメータを取得して決定する、請求項１〜３のいずれか１項に記載の画像処理装置。
5. 入力画像に対し画像加工処理を施して出力する画像処理装置が実行する画像処理方法であって、前記画像処理装置が、
   参照画像それぞれを感性語に対応付けて登録する画像データベースにアクセスして、前記入力画像に画像特徴が類似する参照画像に対応する感性語を取得するステップと、
   前記感性語と、前記画像特徴が該感性語へ与える影響度を表す特徴重み値とを対応付けて登録する感性語データベースにアクセスして、取得された前記感性語に対応する特徴重み値を取得するステップと、
   取得された前記感性語が表現する印象を実現する度合いを表す感性パラメータ値の入力を受領するステップと、
   受領された前記感性パラメータ値および取得された前記特徴重み値を入力として、画像加工処理の種類および処理パラメータを決定するステップと、
   決定された前記種類および前記処理パラメータに従って前記入力画像に対して画像加工処理を施すステップと、
   前記入力画像から抽出される該入力画像の画像特徴を定量する特徴量と、前記感性語データベースから取得された前記特徴重み値とを入力として、前記感性語毎に感性パラメータの初期値を算出するステップと、
   前記感性パラメータの初期値を提示して感性パラメータ値の指定を待ち受ける画面表示を制御するステップと
   を実行する、画像処理方法。
6. 前記画像処理方法では、前記画像処理装置が、前記入力画像に対し最も高い類似度を有する参照画像の画像特徴量をさらに取得するステップと、取得された前記最も高い類似度を有する参照画像の画像特徴量を前記特徴量に代えて入力として、前記感性パラメータの初期値を算出するステップとをさらに実行する、請求項５に記載の画像処理方法。
7. 前記画像処理方法では、前記画像処理装置が、指定された感性パラメータの現在値を用いて求められる前記種類および前記処理パラメータの画像加工処理を入力画像に対して施した場合のプレビュー画像の表示をさらに制御するステップをさらに実行する、請求項５または６に記載の画像処理方法。
8. 前記画像処理方法では、
   前記入力画像に画像加工処理を施すことにより生成したプレビュー画像に対して、決定された前記画像加工処理の種類および段階的に設定可能な処理パラメータに従って画像加工処理を施すことによってサンプル画像を生成するステップと、
   前記サンプル画像の識別情報と、前記サンプル画像を生成するのに使用した画像加工処理の種類および処理パラメータとを関連付けて、サンプル画像データベースに格納するステップと、
   ユーザが指定したサンプル画像の識別情報を取得するステップと、
   前記サンプル画像データベースを参照し、ユーザが指定したサンプル画像の識別情報を用いて、前記サンプル画像に関連付けられた画像加工処理の種類および処理パラメータを取得して決定するステップとをさらに含む、請求項５〜７のいずれか１項に記載の画像処理方法。
9. 画像処理装置を、請求項１〜４のいずれか１項に記載の各手段として機能させるための装置実行可能なプログラム。
10. 請求項９に記載の装置実行可能なプログラムを装置可読に格納する記録媒体。