JP5906693B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、元画像に画像処理を施し新たな画像を得る技術に関するものである。

近年、デジタルカメラ等にはアートフィルタ機能を備えたものが多い。アートフィルタ機能は、撮影画像に種々の画像処理を施すことにより、元画像（撮影画像）を人工的な所定の特徴を備えた画像に変換する機能である。アートフィルタ機能においては、撮影画像に施す画像処理それ自体を一般にアートフィルタと呼び、各々のアートフィルタには変換目標となる画像の特徴を表すフィルタ名が付けられている。

アートフィルタ機能を備えたデジタルカメラ等においては、アートフィルタの種類を選択するだけで、ユーザは撮影画像を所望の特徴を有する画像に変換することができる。以下の説明においては、変換目標となる画像の特徴を示す用語として「画風」を用い、アートフィルタ機能を用いて変換された後の画像、すなわち特定の画風を要する画像をアート変換画像と呼ぶ。

一方、例えば下記特許文献１には、映像に特殊効果を加える際、ユーザにより適用する特殊効果が選択されたら、選択された特殊効果が実際に適用された映像をプレビュー表示することで、ユーザにおける特殊効果の選択作業を容易にする技術が記載されている。したがって、アートフィルタ機能の使用時にも、ユーザにより任意のアートフィルタ、つまり画風が選択された時点で、選択された画風が確保されたアート変換画像をプレビュー表示すれば、ユーザにおける画風の選択作業が容易となる。

特開２００５−３４７８８６公報

しかしながら、上記のようにアート画像をプレビュー表示しても、例えばアートフィルタ機能を撮影時に使用する場合には、撮影を行う毎にアートフィルタの種類、すなわち画風を選択しなければならず依然として手間がかかる。しかも、選択可能なアートフィルタの種類が多い場合には、ユーザが元画像の内容に適したアートフィルタの選択に迷ってしまうという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、元画像のシーンに適した画風を有する新たな画像を容易に得ることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

前記課題を解決するため、本発明の画像処理装置にあっては、処理対象の画像のシーンを、当該画像全体に対するシーンとして一意に特定するシーン特定手段と、前記シーン特定手段により一意に特定された前記画像のシーンに対応付けられた複数の画風の異なる重みづけに基づき、前記画像に確保すべき特定の画風を、異なる確率でランダムに１選択する選択手段と、前記処理対象の画像を、前記選択手段により選択された画風を有する画像に変換する画像変換手段とを備えることを特徴とする。

本発明によれば、元画像のシーンに適した画風を有する新たな画像を容易に得ることが可能となる。

本発明に係るデジタルカメラのブロック図である。 学習テーブルを示す概念図である。 重み付けテーブルを示す概念図である。 デジタルカメラの動作を示すフローチャートである。 図４に続くフローチャートである。 自動フィルタ処理を示すフローチャートである。

以下、本発明の実施形態について説明する。図１は、本発明に係る画像処理装置の一形態としてのデジタルカメラ１の電気的構成の概略を示すブロック図である。本実施形態のデジタルカメラ１は、アートフィルタ機能を有するものであり、図１に示したように、主としてデジタルカメラ１全体を制御する制御部２と、制御部２に接続された以下の各部とから構成される。

電源部３は、充電池、およびＤＣ／ＤＣコンバータなどで構成され、デジタルカメラ１の各部へ、各々の動作に必要な電力を供給する。

レンズ部４は、フォーカス調整用、及びズーム用のレンズを含むレンズ群、及びレンズ群を駆動するモータと、絞り、及び絞りを開閉駆動して開度を調整するアクチュエータ等から構成される。

撮像部５は、ＣＣＤ（Charge Coupled Device）やＭＯＳ（Complementary Meta1 0xide Semiconductor）型の撮像素子と、撮像素子から出力された撮像信号に対して所定のアナログ処理を行った後、デジタル信号に変換するＡＦＥ（Analog Front End）とから構成される。撮像部５は、デジタルカメラ１に撮影モードが設定されている間、レンズ部４のレンズ群を介して被写体を逐次撮像し、撮像データを制御部２へ供給する。

制御部２へ供給された撮像データは、制御部２において画素毎のＲＧＢデータからなる画像データに変換され、さらに輝度（Ｙ）成分及び色差（ＵＶ）成分からなるＹＵＶデータに変換された後、表示部６へ供給され、表示部６においてライブビュー画像として表示される。

また、撮影時において撮像部５から制御部２へ供給された撮像データは、ＹＵＶデータに変換された後、制御部２においてＪＰＥＧ（Joint Photographic Expert Group）方式で圧縮された後、種々の属性情報が付加されることによりＥｘｉｆ（Exchangeable Image File Format）規格に準拠した静止画ファイルとして記憶部７の画像メモリ７ｂに記憶される。

画像メモリ７ｂに静止画ファイルとして記憶された画像データは、デジタルカメラ１に再生モードが設定されている間、制御部２により適宜読み出され伸張された後、表示部６へ供給されて画面表示される。

表示部６は、カラー液晶表示パネルと、制御部２から供給される画像データ等に応じてカラー液晶表示パネルを駆動する表示駆動回路とから構成され、前述したように撮影モードにおいては被写体画像をライブビュー表示し、再生モードにおいては画像メモリ７ｂに記憶されている画像データに基づく記録画像を表示する。また、表示部６は、制御部２から供給される種々のＯＳＤ（On Screen Display）表示用のデータに基づく文字情報等も表示する。

記憶部７は、例えばデジタルカメラ１に内蔵されたフラッシュメモリや、デジタルカメラ１に着脱自在な各種のメモリカード、及びメモリカードへのデータの入出力を可能とするカードインターフェイスにより構成される。

記憶部７には、フラッシュメモリやメモリカードにより構成される履歴メモリ７ａと画像メモリ７ｂとが設けられている。履歴メモリ７ａには図２に示した後述する学習テーブル１０１が記憶され、画像メモリ７ｂには撮影画像が静止画ファイルとして記憶される。なお、図示しないが記憶部７には、デジタルカメラ１の動作内容に関する各種の設定データが記憶される設定メモリも設けられている。設定データは、例えば使用者によって設定されたデジタルカメラ１の機能に関する設定データ等である。

操作部８は、電源キーやシャッターキー、及びデジタルカメラ１の基本の動作モードである撮影モードと再生モードとの切り替えに使用されるモード切替キー等の複数の操作キーから構成される。操作部８における操作キーの操作状態は制御部２において随時監視される。

一方、制御部２は、ＣＰＵ（Central Processing Unit）及びその周辺回路と、制御プログラムや画像処理プログラム、及び各種データが記憶されたＲＯＭ（Read Only Memory）、及び作業用のＲＡＭ（Random Access memory）を含みデジタルカメラ１の各部を制御する。

上記の制御プログラムには、制御部２に、コントラスト検出方式によるＡＦ（Auto Focus）制御や、フラッシュ撮影時の光量調整を含むＡＥ（Auto Exposure）制御、ＡＷＢ（Auto White Balance）制御を行わせるための制御部プログラムや、制御部２に後述する処理を行わせるための制御プログラムが含まれる。

上記の画像処理プログラムには、制御部２にＪＰＥＧ方式による画像データの圧縮、及び伸張を行わせるための圧縮／伸張プログラムや、撮影時に取得した撮影画像、記録済みの撮影画像を種々の画風を備えたアート変換画像に変換する画像処理を行わせるための画像変換プログラムが含まれる。

また、上記の各種データには、ＡＥ制御に際して使用される、被写体の明るさに応じたシャッター速度、ＩＳＯ感度、絞り値の組み合わせを示すプログラム線図や、図３に示した重み付けテーブル１０２を構成するデータが含まれる。

重み付けテーブル１０２は、デジタルカメラ１が、任意のシーンの画像（撮影画像、又は記録画像）を元画像としてアートフィルタ機能によりアート変換画像に変換する際、後述するように制御部２が画像変換処理で使用するアートフィルタを選択するときの選択基準となる重み付け情報を示すものである。

ここで、重み付けテーブル１０２を構成する複数のシーンは、予め想定されているものであり、撮影画像から直接得られる情報や、撮影画像に付随する情報に基づいて判別可能なシーンである。なお、シーンとは、撮影画像に存在する被写体や、撮影画像が撮影された時の撮影環境等の画像としての特徴を意味する。本実施形態において判別可能なシーンは、図３に示したように、「人物」、「風景」、「花（マクロ）」、「料理」、「あおり」等である。

なお、撮影画像から直接得られる情報には、例えば顔認識技術等の公知の被写体認識技術によって判別可能な被写体の種類が含まれる。また撮影画像に付随する情報には、撮影時に使用された撮影モードの種類（ポートレート用、風景用のモード等）や、撮影時に設定されていた撮影条件や、撮影時に取得された情報等が含まれる。

また、重み付けテーブル１０２を構成するアートフィルタは、デジタルカメラ１に予め用意されているものであって、アートフィルタ機能を用いて得ることができるアート変換画像に確保される画風に対応するものである。本実施形態において使用可能なアートフィルタは、図３に示したように、例えば「トイカメラ」、「ジオラマ」、「ポップアート」、「ライトトーン」、「ソフトフォーカス」、「ガーリー」、「ＨＤＲ」である。

なお、各々のアートフィルタを用いて得られるアート変換画像は以下のような特徴を有する画像である。
・トイフォト
周辺を減光させてトイカメラで撮影したような画像。
・ジオラマ
ジオラマを撮影したような画像。
・ポップアート
色をカラフルに強調し、ポップアート感覚な作風の画像。
・ライトトーン
陰影の弱いやわらかなトーンの画像。
・ソフトフォーカス
フォーカスをソフトにした(ぼかした)画像。
・ガーリー
独特な色合いとやわらかなトーンの画像。
・ＨＤＲ（High Dynamic Range）アート
露出過多の白飛びや露出不足の黒つぶれを補正し表現力を増大した画像。

なお、先に図２に示した学習テーブル１０１におけるシーンは、重み付けテーブル１０２を構成するシーンと同一であり、また、各シーンに対応して記憶されるアートフィルタの種類は、重み付けテーブル１０２を構成するいずれかのアートフィルタである。

一方、重み付けテーブル１０２に示されている重み付け情報は、シーン毎に予め設定されている特定のアートフィルタの重みであって、具体的には図３に示したようなポイント（ｐｏｉｎｔ）である。例えば「人物」については、「ソフトフォーカス」に５０ポイント、「ガーリー」に２０ポイントの重みがそれぞれ設定されており、「風景」については、「トイカメラ」のみに２０ポイントの重みが設定されている。

つまり各シーンには、各シーンの画像をアート変換画像に変換する際に、変換後のアート変換画像に確保する画風として、他の画風に比べより適切と考えられる画風に対応するアートフィルタに、その度合に応じた重み（ポイント）が設定されている。なお、各シーンの画像にどの画風が適切であるか否か、及びどの程度適切であるかについては、経験則等に基づいて決められたものである。

また、重み付けテーブル１０２には、上記の重み付け情報（ポイント）に加え、各シーンについて、変換後のアート変換画像に確保する画風としては適切ではないと考えられる画風に対応するアートフィルタを示す選択除外情報が示されている。すなわち図３に便宜的に×印で示したものが選択除外情報であり、例えば「人物」については「ジオラマ」、「ポップアート」が、変換後のアート変換画像に確保する画風としては適切ではないと考えられる画風に対応するアートフィルタである。

つまり、重み付けテーブル１０２は、アートフィルタ機能による変換後のアート変換画像に確保すべき画風の選択候補、並びに選択候補から除外すべき画風をシーン毎に示すと同時に、選択候補中における各アートフィルタ（画風）の優先度を示すものである。

次に、以上の構成からなるデジタルカメラ１の本発明に係る動作について説明する。図４は、制御部２における処理内容を示すフローチャートである。

デジタルカメラ１においては、電源がオンされると制御部２が図４に示した処理を開始する。なお、デジタルカメラ１においては、ユーザが電源をオン操作する際には、所定のキー操作によって撮影モードで電源をオンしたり、再生モードで電源をオンしたりすることができる。

そのため、制御部２においては、電源がオンされると直ちに現在の動作モードが撮影モードであるか否かを確認する（ステップＳＡ１）。そして、制御部２は、動作モードが撮影モードでなく再生モードであれば（ステップＳＡ１：ＮＯ）、図５に示した処理へ移行し、動作モードが撮影モードであれば（ステップＳＡ１：ＹＥＳ）、以下の処理を実行する。

すなわち、制御部２は、直ちに撮影モードによる処理に向けた初期設定を行うとともに、撮像部５による被写体の撮像動作を開始することによって、表示部６にライブビュー画像（スルー画像ともいう。）を表示させる（ステップＳＡ２）。

次に、制御部２は、レリーズ操作の有無、すなわちシャッターキーによるユーザの撮影指示の有無を確認し、撮影指示がなければ（ステップＳＡ３：ＮＯ）、ユーザによるモード変更操作の有無を確認し、モード変更操作がなければ（ステップＳＡ１４：ＮＯ）、さらに他の操作の有無を確認する（ステップＳＡ１５）。

なお、ステップＳＡ１５の処理で制御部２が確認する操作内容は、例えばデジタルカメラ１が有する機能に関する設定画面を表示するための操作である。他の操作があると（ステップＳＡ１５：ＹＥＳ）、制御部２は、操作に応じた所定の処理を実行した後（ステップＳＡ１６）、再び撮影指示の有無を確認する（ステップＳＡ３）。

その後、制御部２は、レリーズ操作があると（ステップＳＡ３：ＹＥＳ）、直ちにＡＦ、ＡＥ、ＡＷＢの各制御を行った後（ステップＳＡ４）、撮影処理を行う（ステップＳＡ５）。撮影処理に際して制御部２は、撮像部５に被写体の撮像を行わせるとともに、撮像部５から供給された撮像データに基づき記録用の画像データ、すなわち画素毎のＲＧＢデータからなる画像データを生成する。

引き続き、制御部２は、アートフィルタを使用するか否かを確認する（ステップＳＡ６）。ステップＳＡ６の処理に際して制御部２は、例えば表示部６に所定の確認メッセージを表示し、ユーザにアートフィルタ機能を使用するか否かを所定のキー操作により指示させる。

そして、ユーザによりアートフィルタ機能を使用しない旨が指示された場合（ステップＳＡ６：ＮＯ）、制御部２は、ステップＳＡ５の撮影処理により取得した画像データにより表される画像、すなわち通常の撮影画像を画像メモリ７ｂに保存する（ステップＳＡ９）。

一方、ユーザによりアートフィルタ機能を使用する旨が指示された場合（ステップＳＡ６：ＹＥＳ）、制御部２は、引き続き以下の処理を行う。

すなわちデジタルカメラ１においては、アートフィルタ機能に関する動作モードとして自動モードと手動モードとが用意されており、制御部２は、ユーザによってアートフィルタ機能の自動モードでの使用、又は手動モードでの使用が指示されたか否かを確認する（ステップＳＡ７，ＳＡ１０）。なお、アートフィルタ機能の手動モードでの使用の指示は、所定のキー操作によりアートフィルタの選択によって行われる。

ここで、デジタルカメラ１においては、ユーザがアートフィルタ機能を使用する旨の指示操作を行った後であっても、制御部２がユーザによるアートフィルタ機能の使用中止を許容しており、ユーザにより使用中止が指示されると（ステップＳＡ１０：ＮＯ）、制御部２は、今回の撮影で取得した通常の撮影画像を画像メモリ７ｂに保存する（ステップＳＡ９）。

一方、制御部２は、ユーザによってアートフィルタ機能の手動モードでの使用が指定された場合（ステップＳＡ１０：ＹＥＳ）、ユーザが選択したアートフィルタによる画像変換処理、つまりユーザが選択した画風に応じた内容の画像変換処理を今回の撮影画像に施すことによって、特定の画風を有するアート変換画像を生成する（ステップＳＡ１１）。

次に、制御部２は、今回の撮影画像のシーンを判別するシーン判別処理を行う（ステップＳＡ１２）。ステップＳＡ１２の処理において制御部２は、撮影画像に対して複数の被写体認識を行って画像内における所定の被写体の有無を判断するとともに、撮影時に使用された撮影モードの種類や、撮影時に設定されていた撮影条件確認することによって、撮影画像のシーンを判別する。

また、ステップＳＡ１２の処理において制御部２は、今回の撮影画像のシーンが、予め想定されているシーン（重み付けテーブル１０２を構成するシーン）の複数に該当する場合には、例えば該当する複数のシーンのうちで予め決められている優先度が最も高いシーンを今回の撮影画像のシーンとする。

さらに、制御部２は、今回ユーザに選択されたアートフィルタを、判別したシーンに関するアートフィルタの選択履歴として図２に示した履歴メモリ７ａに記憶されている学習テーブル１０１に記録する（ステップＳＡ１３）。

なお、ステップＳＡ１３の処理に際して制御部２は、シーン判別処理によって判別したシーンに対応するアートフィルタが学習テーブル１０１に既に記録されている場合には、既存のアートフィルタを今回ユーザに選択されたアートフィルタに書き換える。

また、図示しないが、制御部２は、ステップＳＡ１２の処理において今回の撮影画像のシーンが判別不能であった場合、つまり撮影画像のシーンが予め想定されているシーンのいずれにも該当しなかった場合については、ステップＳＡ１３の処理をスキップする。

しかる後、制御部２は、ステップＳＡ１１の処理で生成したアート変換画像を画像メモリ７ｂに保存する（ステップＳＡ９）。

一方、以上の処理とは異なり、ユーザにより自動モードによるアートフィルタ機能の使用が選択された場合（ステップＳＡ７：ＹＥＳ）、制御部２は図６に示した自動フィルタ処理を実行する（ステップＳＡ８）。

図６に示したように、自動フィルタ処理においては制御部２は、まずステップＳＡ１２の処理と同様のシーン判別処理によって、今回の撮影画像のシーンを判別する（ステップＳＢ１）。

次に、履歴メモリ７ａに記憶されている学習テーブル１０１を参照し、シーン判別処理によって判別した撮影画像のシーンに対応する選択履歴が存在するか否か、つまりいずれかのアートフィルタが記録されているか否かを確認する（ステップＳＢ２）。

そして、今回の撮影画像のシーンに対応する選択履歴が学習テーブル１０１に記録されている場合（ステップＳＢ３：ＹＥＳ）、制御部２は、選択履歴として記録されている種類のアートフィルタを適用した画像変換処理を今回の撮影画像に施すことによって、特定の画風を有するアート変換画像を生成する（ステップＳＢ４）。そして、制御部２は、図４の処理に戻り、生成したアート変換画像を画像メモリ７ｂに保存する（ステップＳＡ９）。

一方、今回の撮影画像のシーンに対応する選択履歴が学習テーブル１０１に記録されていない場合（ステップＳＢ３：ＮＯ）、制御部２は、図３に示した重み付けテーブル１０２を参照し、各々のアートフィルタについて、今回の撮影画像のシーンに対応する前述した重み付け情報（ポイント）、及び選択除外情報を確認する（ステップＳＢ５）。

なお、ステップＳＢ５の処理に際して制御部２は、ステップＳＢ１のシーン判別処理で今回の撮影画像のシーンを判別した際、今回の撮影画像のシーンが、予め想定されているシーンの複数に該当していた場合については、該当していた複数のシーンの全てに関する重み付け情報（ポイント）、及び選択除外情報を確認する。

しかる後、制御部２は、確認した重み付け情報を加味して使用すべきアートフィルタをランダムに選択する（ステップＳＢ６）。

本発明では、各アートフィルタが選択される確率を加味してランダムにアートフィルタを選択する。すなわち本実施形態において制御部２は、ステップＳＢ６の処理に際し、まず、選択候補から除外すべきアートフィルタを除く全てのアートフィルタ、すなわち選択候補の複数のアートフィルタから任意のアートフィルタをランダムに選択するときの、各アートフィルタが選択される確率を重み付け情報（ポイント）を用いて決定する。

係る確率の決定に際して制御部２は、まず、選択候補の全てのアートフィルタに初期値として１０ポイントを付与する一方、撮影画像のシーンに応じた重みとして特定のポイントが重み付けテーブル１０２に設定されているアートフィルタについては、設定されているポイントを初期値に加算する。そして、制御部２は、選択候補の全てのアートフィルタの合計ポイントに対するアートフィルタ毎のポイントの比率を各アートフィルタの確率とする。

具体的に説明すると、例えば今回の撮影画像のシーンが「風景」、「黒つぶれ・白とび」、「青空」の各シーンに該当していた場合、各アートフィルタの確率は以下のようになる。すなわち該当するシーンに応じた重みとして特定のポイントが重み付けテーブル１０２に設定されているアートフィルタは、「トイカメラ」と「ＨＤＲ」である。

ここで、「トイカメラ」には、「風景」について２０ポイント、「青空」について２０ポイントがそれぞれ重みとして設定されているため、「トイカメラ」のポイントは、初期値に重み分を加算した５０（＝１０＋２０＋２０）となる。また、「ＨＤＲ」には、「黒つぶれ・白とび」について５０ポイントが重みとして設定されているため、「ＨＤＲ」のポイントは、初期値に重み分を加算した６０（＝１０＋５０）となる。そして、その他のアートフィルタには、いずれのシーンについても重みとなるポイントが設定されていないため、その他のアートフィルタのポイントは、それぞれ初期値の１０である。

したがって、「トイカメラ」の確率は、５０／（５０＋１０×５＋６０）＝３１．２５％、「ＨＤＲ」の確率は、６０／（５０＋１０×５＋６０）＝３７．５０％、その他のアートフィルタの確率は、１０／（５０＋１０×５＋６０）＝６．２５％となる。

次に、制御部２は、選択候補の各アートフィルタが選択される確率を、上記のように撮影画像のシーンに応じた個別の確率に設定したうえで、選択候補の中から任意のアートフィルタをランダムに選択する。なお、任意のアートフィルタを異なる確率でランダムに選択する際の具体的な方法については任意である。

しかる後、制御部２は、上述した処理によって選択したアートフィルタを適用した画像変換処理を今回の撮影画像に施すことによって、特定の画風を有するアート変換画像を生成する（ステップＳＢ７）。そして、制御部２は、図４の処理に戻り、生成したアート変換画像を画像メモリ７ｂに保存する（ステップＳＡ９）。

以後、制御部２は、ステップＳＡ３の処理へ戻り、デジタルカメラ１に撮影モードが設定されている間については前述した処理を繰り返す。

したがって、撮影モードにおいては、撮影直後に、ユーザが自動モードでのアートフィルタ機能を使用を指示すると、変換目標の画風として、撮影画像のシーンに適した任意の画像が自動的に選択され、その画風を有するアート変換画像が生成され、記録される。

一方、制御部２は、電源がオンされたときの動作モードが再生モードであった場合（ステップＳＡ１：ＹＥＳ）、及び撮影モードで表示部６にライブビュー画像を表示している撮影待機状態においてモード変更操作があった場合には（ステップＳＡ１４：ＹＥＳ）、直ちに図５に示した再生モードへ移行し、以下の処理を実行する。

すなわち制御部２は、直ちに再生モードによる処理に向けた初期設定を行った後（ステップＳＡ１７）、再生すべき記録画像を特定し、その記録画像を表示部６に表示させる（ステップＳＡ１８）。なお、初期設定を行った後、制御部２が最初に表示部６に表示させる記録画像は、電源がオンされた直後であれば前回の再生モードで最後に表示していた記録画像であり、モード変更直後であれば直近の撮影画像である。

次に、制御部２は、ユーザによるモード変更操作の有無を確認し、モード変更操作があれば（ステップＳＡ１９：ＹＥＳ）、直ちに図４のステップＳＡ２の処理へ進み、前述した撮影モードでの処理へ移行する。

また、制御部２は、モード変更操作がなければ（ステップＳＡ１９：ＮＯ）、その他の操作、例えば設定画面を表示するための操作等の有無を確認し、その他の操作があれば（ステップＳＡ２０：ＹＥＳ）、操作に応じた所定の処理を実行した後（ステップＳＡ２１）、ステップＳＡ１８の処理に戻る。

また、その他の操作がなければ（ステップＳＡ２０：ＮＯ）、制御部２は、ユーザによる画像の変更操作、例えば送り操作等の有無を確認し、変更操作があれば（ステップＳＡ２２：ＹＥＳ）、ステップＳＡ１８の処理に戻り変更後の新たな記録画像のデータを画像メモリ７ｂから読み出して表示部６に表示させる。

また、画像の変更操作がなければ（ステップＳＡ２２：ＮＯ）、制御部２は、引き続き、ユーザによってアートフィルタ機能の自動モードでの使用、又は手動モードでの使用が指示されたか否かをそれぞれ確認する（ステップＳＡ２３，ＳＡ２８）。自動モード、又は手動モードによるアートフィルタ機能の使用が指示されなければ（ステップＳＡ２８：ＮＯ）、制御部２は、ステップＳＡ１８の処理へ戻り、記録画像を表示状態を維持したままで、ユーザによるアートフィルタ機能に関する指示以外の指示の有無を繰り返し確認する。

そして、手動モードでのアートフィルタ機能の使用が指示された場合（ステップＳＡ２８：ＹＥＳ）、制御部２は、ユーザが選択したアートフィルタによる画像変換処理、つまりユーザが選択した画風に応じた内容の画像変換処理を表示中の記録画像に施すことによって、特定の画風を有するアート変換画像を生成する（ステップＳＡ２９）。

次に、制御部２は、今回の撮影画像のシーンを判別するシーン判別処理を行い（ステップＳＡ３０）、今回ユーザに選択されたアートフィルタの種類を判別したシーンに対応させて学習テーブル１０１に記録する（ステップＳＡ３１）。しかる後、制御部２は、ステップＳＡ３１の処理で記録画像から生成したアート変換画像を画像メモリ７ｂに保存する（ステップＳＡ２７）。

また、自動モードでのアートフィルタ機能の使用が指示された場合（ステップＳＡ２３：ＹＥＳ）、制御部２は、先に説明した自動フィルタ処理（図６）を行う（ステップＳＡ２４）。すなわち学習テーブル１０１や重み付けテーブル１０２を用いて、表示中の記録画像のシーンに適したアートフィルタ、つまり画風を自動的に選択し、選択した画風を有するアート変換画像を生成する。

しかる後、制御部２は、自動フィルタ処理によって生成したアート変換画像（処理画像）を表示部６にいったん表示させ（ステップＳＡ２５）、所定のキー操作によってユーザに保存の可否を指定させる（ステップＳＡ２６）。

そして、制御部２は、ユーザから保存が指示された場合には（ステップＳＡ２６：ＹＥＳ）、アート変換画像を画像メモリ７ｂに保存する（ステップＳＡ２７）。また、制御部２は、ユーザから保存しない旨が指示された場合には（ステップＳＡ２６：ＮＯ）、そのまま、ステップＳＡ１８の処理へ戻る。その場合、ステップＳＡ１８の処理に際して制御部２は、元画像である記録画像を再び表示部６に表示させる。

以後、制御部２は、ユーザによりモード変更操作があるまでの間、前述したステップＳＡ１８以降の処理を繰り返す。

したがって、再生モードにおいては、任意の記録画像を表示させた状態でユーザが自動モードでのアートフィルタ機能を使用を指示すると、変換目標の画風として表示中の記録画像のシーンに適した任意の画像が自動的に選択され、その画風を有するアート変換画像が生成され、記録可能となる。

以上説明したように本実施形態によれば、アートフィルタ機能を使用する際、ユーザは単に自動モードでの使用を指示するだけで、元画像のシーンに適した画風を有するアート変換画像を容易に得ることができる。

しかも、本実施形態においては、アートフィルタ機能を自動モードで使用する際、画風の選択が、元画像のシーンに適した画風、すなわち変換後のアート変換画像に確保する画風としては適切ではないと考えられる画風を除いたシーン毎に異なる選択候補の中からランダムに行われる。したがって、ユーザの予想していない意外な結果を得ることもできる。

また、画風の選択に際しては、シーン毎に各アートフィルタが選択される確率が変化することにより、シーン毎に複数の画風の選択優先度が変化する。したがって、画風の選択がランダムに行われたとしても、元画像のシーンに応じたより適切な画風が適度に選択されやすくなる。

また、アートフィルタ機能を使用する際、ユーザは手動モードでの使用を指示することにより、必要に応じて所望する画風を自ら選択することもできるため、アートフィルタ機能を使用する際の使い勝手もよい。

さらに、本実施形態においては、学習テーブル１０１に、ユーザが手動で選択した画風（アートフィルタの種類）が元画像（撮影画像、及び記録画像）のシーンに対応付けて記録されるとともに、それ以降にアートフィルタ機能を自動モードで使用する際には、元画像のシーンが同一であった場合には、ユーザが最後に手動で選択した画風が学習テーブル１０１に基づき自動的に選択される。

したがって、ユーザが、特定のシーンの画像を常に特定の画風を有するアート変換画像に変換することを望む場合、ユーザは特定のシーンに対応する画風を一度選択すれば、それ以降については、アートフィルタ機能を使用する際に自動モードでの使用を指示すればよく、画風選択の手間を省くことができる。

ここで、本実施形態においては、アートフィルタ機能を自動モードで使用する際、画風の選択が、シーン毎に異なる選択候補を対象とし、各々の画風にシーンに応じて個別に設定され確率でランダムに行われるものについて説明したが、画風の選択は、単にシーン毎に異なる選択候補の中からランダムに行うようにしてもよい。さらに、本発明においては、選択候補の中からの画風の選択を必ずしもランダムに行う必要はない。

したがって、本発明の実施に際しては、例えば各画風（アートフィルタ）に、シーン毎の重み（優先度）ではなく、同一のシーンに対応する選択候補の中での単なる選択順序を設定しておき、係る選択順序に従って、アートフィルタ機能が使用される毎に、異なる画風を順に選択する構成を採用してもよい。つまり、例えば同一シーンの異なる画像を対象として、アートフィルタ機能が自動モードで繰り返し使用される場合には、同一の選択候補の中から一定の順序で異なる画風が選択される構成としてもよい。

また、本実施形態で説明した学習テーブル１０１の内容、すなわち各々のシーンに対応して記録されている最後にユーザにより選択されたアートフィルタの種類は、ユーザが必要に応じて編集できるようにしてもよい。つまりユーザによる任意のシーンに対応するアートフィルタの削除や変更を可能とする構成としてもよい。

また、本実施形態においては、学習テーブル１０１が、各々のシーンに対応するアートフィルタとして、最後にユーザにより選択された画風のアートフィルタのみを示すものである場合について説明したが、学習テーブル１０１は以下のような構成に変更することができる。

例えば学習テーブル１０１は、各々のシーンについて、手動モードでのアートフィルタ機能の使用に際してユーザにより選択された回数をアートフィルタ（画風）毎に示すものに変更することができる。その場合、ユーザにより自動モードでのアートフィルタ機能の使用が指示されたときには、処理対象の画像のシーンに対応する選択回数が最大のアートフィルタ（画風）を自動的に選択する構成とすればよい。

また、学習テーブル１０１は、各々のシーンについて、手動モードでのアートフィルタ機能の使用に際してユーザにより最後に選択された日時をアートフィルタ（画風）毎に示すものに変更することができる。その場合、ユーザにより自動モードでのアートフィルタ機能の使用が指示されたときには、例えば処理対象の画像のシーンに対応する時刻が、処理対象の画像（撮影画像、又は記録画像）の撮影時刻に最も近いアートフィルタ（画風）を自動的に選択する構成とすればよい。

つまり、学習テーブル１０１は、手動によるアートフィルタ（画風）の選択履歴情報を、個々のアートフィルタが手動で選択されたときの処理対象の画像のシーンと対応付けて示すものであればよく、係る学習テーブル１０１を用いることによっても、元画像のシーンに適した画風を自動的に選択することができる。

また、本実施形態においては、ユーザが手動モードでアートフィルタ機能を使用する際、自動モードにおいては選択候補から除外される画風を含めた全ての画風の中から任意の画風を選択可能としたが、以下のようにしてもよい。

すなわち、ユーザが手動モードでのアートフィルタ機能の使用を指示した場合には、本実施形態とは異なり、直ちに処理対象の画像（撮影画像、又は記録画像）のシーンを判別する。しかる後、重み付けテーブル１０２において、判別したシーンについて変換後のアート変換画像に確保する画風としては適切ではないと示されている画風を確認し、該当する画風が存在する場合には、該当する画風を除く他の複数の画風のみを選択候補としてユーザに選択させるようにする。

係る場合においては、ユーザが手動で画風を選択する際においても、常に元画像に適した画風を容易に選択することができ、その結果、元画像のシーンに適した画風を有する新たな画像を容易に得ることができる。

また、本実施形態においては、ユーザがアートフィルタ機能を使用する時点で、ユーザにアートフィルタ機能を自動モードで使用するか、手動モードで使用するかを選択させる構成について説明した。しかし、デジタルカメラ１には、アートフィルタ機能を使用する場合のモードをユーザに予め設定させ、撮影モード、及び再生モードでの動作中には、アートフィルタ機能の使用の要否のみを指定させる構成を採用してもよい。

また、デジタルカメラ１には、撮影モードにおけるアートフィルタ機能の使用の有無を事前に設定可能とし、撮影直後には、アートフィルタ機能を使用する旨が設定されている場合にのみ、ユーザにアートフィルタ機能を自動モードで使用するか、手動モードで使用するかの選択、さらに手動モードにおける画風の選択を行わせる構成を採用してもよい。

また、デジタルカメラ１には、撮影モードとして、撮影画像を常にアートフィルタ機能を用いてアート変換画像に変換して記憶する専用の撮影モードを設けるようにしてもよい。

また、本実施形態においては、撮影モードでのユーザがアートフィルタ機能を使用する際、変換後のアート変換画像のみを無条件に記録するものについて説明したが、以下のような構成としてもよい。

例えばデジタルカメラ１には、撮影モードでのアートフィルタ機能の使用時に、変換後のアート変換画像と同時に、変換前の撮影画像を同時に記録する構成を採用してもよい。また、デジタルカメラ１には、撮影モードでのアートフィルタ機能の使用時においても、再生モードにおける自動モードでのアートフィルタ機能の使用時と同様に、変換後のアート変換画像をいったん表示し、ユーザにアート変換画像を記録するか、変換前の撮影画像を記録するかを選択させ、選択された画像を記録する構成を採用してもよい。

また、ここでは本発明をデジタルカメラに適用した場合について説明したが、これに限らず本発明は、撮影画像を人工的な所定の特徴を備えた画像に変換するアートフィルタ機能を備えた画像処理装置であれば、デジタルカメラ以外の任意の装置に適用することができる。

以上、本発明の実施形態、及びその変形例について説明したが、これらは本発明の作用効果が得られる範囲内であれば適宜変更が可能であり、変更後の実施形態も特許請求の範囲に記載された発明、及びその発明と均等の発明の範囲に含まれる。
以下に、本出願の特許請求の範囲に記載された発明を付記する。
［付記１］
処理対象の画像のシーンを特定するシーン特定手段と、前記画像に確保すべき特定の画風を、前記シーン特定手段により特定された前記画像のシーンに基づき所定の選択基準に従い選択する選択手段と、前記処理対象の画像を、前記選択手段により選択された画風を有する画像に変換する画像変換手段とを備えることを特徴とする画像処理装置。
［付記２］
前記所定の選択基準には、選択候補となる画風に前記シーン特定手段により特定可能なシーン毎に個別に設定されている優先度が含まれることを特徴とする付記１記載の画像処理装置。
［付記３］
前記所定の選択基準には、前記シーン特定手段により特定可能なシーン毎に個別に設定されている、選択候補から除外する画風が含まれることを特徴とする請求項１記載の画像処理装置。
［付記４］
前記選択手段は、前記シーン特定手段により特定されたシーンに応じた選択候補の中から、前記特定の画風を前記所定の選択基準に従い選択することを特徴とする付記１又は２，３記載の画像処理装置。
［付記５］
前記選択手段は、前記特定の画風を、前記選択候補の中からランダムに選択することを特徴とする付記４記載の画像処理装置。
［付記６］
前記選択手段は、前記特定の画風を、前記選択候補の中から前記優先度に応じた異なる確率でランダムに選択することを特徴とする付記２又は３，４記載の画像処理装置。
［付記７］
処理対象の画像に確保すべき特定の画風を、使用者からの要求に応じ使用者に選択させるとともに、前記画像変換手段に、前記処理対象の画像を、使用者に選択された画風を有する画像に変換させる画風制御手段と、前記画風制御手段が使用者に選択させた前記特定の画風を、前記シーン特定手段により特定された処理対象の画像のシーンと対応付けて記憶する選択履歴記憶手段とを更に備え、前記選択手段は、前記シーン特定手段により特定されたシーンに対応する画像が前記選択履歴記憶手段に記憶されている場合には、当該画風を、処理対象の画像に確保すべき特定の画風として選択することを特徴とする付記１乃至６いずれか記載の画像処理装置。
［付記８］
撮像手段と、画像を記録する画像記録手段と、前記シーン特定手段に、前記撮像手段により撮像された画像のシーンを特定させ、かつ前記画像変換手段に、前記撮像手段により撮像された画像を、前記選択手段により選択された画風を有する画像に変換させる制御手段と、前記画像変換手段による変換後の画像を前記画像記録手段に記憶させる記録制御手段とを更に備えることを特徴とする付記１乃至７いずれか記載の画像処理装置。
［付記９］
画像を記憶する画像記憶手段と、前記画像記憶手段に記憶されている画像を再生する再生手段と、前記再生手段により再生された画像を表示する表示手段と、前記シーン特定手段に、前記再生手段により再生された画像のシーンを特定させ、かつ前記画像変換手段に、前記再生手段により再生された画像を、前記選択手段により選択された画風を有する画像に変換させる制御手段と、前記画像変換手段による変換後の画像を前記表示手段に表示させる表示制御手段と、前記画像変換手段による変換後の画像を前記画像記録手段に記憶させる記録制御手段と、を更に備えることを特徴とする付記１乃至７いずれか記載の画像処理装置。
［付記１０］
処理対象の画像のシーンを特定する工程と、前記画像に確保すべき特定の画風を、特定したシーンに基づき所定の選択基準に従い選択する工程と前記処理対象の画像を、選択した画風を有する画像に変換する工程とを含むことを特徴とする画像処理方法。
［付記１１］
コンピュータに、処理対象の画像のシーンを特定する処理と、前記画像に確保すべき特定の画風を、特定したシーンに基づき所定の選択基準に従い選択する処理と前記処理対象の画像を、選択した画風を有する画像に変換する処理とを実行させることを特徴とするプログラム。

１ デジタルカメラ
２ 制御部
５ 撮像部
６ 表示部
７ 記憶部
７ａ 履歴メモリ
７ｂ 画像メモリ
８ 操作部
１０１ 学習テーブル
１０２ 重み付けテーブル

Claims (6)

1. 処理対象の画像のシーンを、当該画像全体に対するシーンとして一意に特定するシーン特定手段と、
   前記シーン特定手段により一意に特定された前記画像のシーンに対応付けられた複数の画風の異なる重みづけに基づき、前記画像に確保すべき特定の画風を、異なる確率でランダムに１選択する選択手段と、
   前記処理対象の画像を、前記選択手段により選択された画風を有する画像に変換する画像変換手段と
   を備えることを特徴とする画像処理装置。
2. 処理対象の画像に確保すべき特定の画風を、使用者からの要求に応じ使用者に選択させるとともに、前記画像変換手段に、前記処理対象の画像を、使用者に選択された画風を有する画像に変換させる画風制御手段と、
   前記画風制御手段が使用者に選択させた前記特定の画風を、前記シーン特定手段により一意に特定された処理対象の画像のシーンと対応付けて記憶する選択履歴記憶手段と
   を更に備え、
   前記選択手段は、前記シーン特定手段により一意に特定されたシーンに対応する画像が前記選択履歴記憶手段に記憶されている場合には、当該画風を、処理対象の画像に確保すべき特定の画風として選択する
   ことを特徴とする請求項１記載の画像処理装置。
3. 撮像手段と、
   画像を記録する画像記録手段と、
   前記シーン特定手段に、前記撮像手段により撮像された画像のシーンを、当該画像全体に対するシーンとして一意に特定させ、かつ前記画像変換手段に、前記撮像手段により撮像された画像を、前記選択手段によりランダムに１選択された画風を有する画像に変換させる制御手段と、
   前記画像変換手段による変換後の画像を前記画像記録手段に記憶させる記録制御手段と
   を更に備えることを特徴とする請求項１又は２記載の画像処理装置。
4. 画像を記憶する画像記録手段と、
   前記画像記録手段に記憶されている画像を再生する再生手段と、
   前記再生手段により再生された画像を表示する表示手段と、
   前記シーン特定手段に、前記再生手段により再生された画像のシーンを、当該画像全体に対するシーンとして一意に特定させ、かつ前記画像変換手段に、前記再生手段により再生された画像を、前記選択手段によりランダムに１選択された画風を有する画像に変換させる制御手段と、
   前記画像変換手段による変換後の画像を前記表示手段に表示させる表示制御手段と、
   前記画像変換手段による変換後の画像を前記画像記録手段に記憶させる記録制御手段と
   を更に備えることを特徴とする請求項１又は２記載の画像処理装置。
5. 処理対象の画像のシーンを、当該画像全体に対するシーンとして一意に特定する処理と、
   一意に特定したシーンに対応付けられた複数の画風の異なる重みづけに基づき、前記画像に確保すべき特定の画風を、異なる確率でランダムに１選択する処理と、
   前記処理対象の画像を、選択した画風を有する画像に変換する処理と
   を含むことを特徴とする画像処理方法。
6. コンピュータに、
   処理対象の画像のシーンを、当該画像全体に対するシーンとして一意に特定する機能と、
   一意に特定したシーンに対応付けられた複数の画風の異なる重みづけに基づき、前記画像に確保すべき特定の画風を、異なる確率でランダムに１選択する機能と、
   前記処理対象の画像を、選択した画風を有する画像に変換する機能と
   を実行させることを特徴とするプログラム。

Images