WO2016129049A1 - 画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体 - Google Patents

Abstract

　内容や利用方法を知らない処理による効果をユーザに気づかせ、そのような処理の利用促進を図ることを目的とした、入力画像内に存在する被写体種を認識する被写体認識回路５と、入力画像に対して処理する加工内容を表す複数の加工指示データを記憶する記憶回路３と、被写体認識回路５により認識された被写体種に応じて予め定義された加工指示データを記憶回路３から取得する加工指示データ取得回路６と、取得された加工指示データの各々について、入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の加工指示データを選択する加工指示データ判定回路７と、選択された所定数の加工指示データを用いて入力画像の加工を行う画像加工回路８とを備える画像処理装置１である。

Description

画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体

　本発明は、画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体に関するものである。

　ユーザが、被写体ＩＤに対応する１以上の処理内容情報を登録しておき、撮影により取得された写真に被写体ＩＤに一致する被写体が写っていた場合等の諸条件を満たす場合に、対応する処理内容情報の処理を実施する情報処理端末が知られている（例えば、特許文献１参照。）。

特許第５２４６５９２号公報

　特許文献１の情報処理端末では、登録されかつ被写体ＩＤに対応している処理内容情報の処理が実施されるのみである。
　最近のカメラには、フィルタ処理やトリミング処理のように、ユーザの好みに応じて実施される複数の画像処理が内蔵されているものが多いが、その全てを把握して使いこなすことができるユーザは少ない。すなわち、被写体や撮影シーンに適した種々の画像処理が用意され、それを利用すればユーザに画像処理の新たな楽しみ方を提供できるにもかかわらず、１度も使用されることがない場合もある。

　特許文献１の情報処理端末では、処理が実施されるには、ユーザが意識的にその処理に対応する処理内容情報を登録しておくことが前提となる。このため、ユーザが処理内容情報の内容や利用方法を予め知っていることが必要であり、内容や利用方法を知らない処理については、利用の必要性すら感じることなく永久に利用されない。

　本発明は上述した事情に鑑みてなされたものであって、内容や利用方法を知らない処理による効果をユーザに気づかせ、そのような処理の利用促進を図ることができる画像処理装置、画像処理方法、画像処理プログラムおよび記憶媒体を提供することを目的としている。

　本発明の一態様は、入力画像内に存在する被写体種を認識する被写体認識回路と、前記入力画像に対して処理する加工内容を表す複数の加工指示データを記憶する記憶回路と、前記被写体認識回路により認識された前記被写体種に応じて予め定義された前記加工指示データを前記記憶回路から取得する加工指示データ取得回路と、該加工指示データ取得回路により取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定回路と、該加工指示データ判定回路において選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工回路とを備える画像処理装置である。

　本態様によれば、入力画像が入力されると被写体認識回路において入力画像内に存在する被写体種が認識され、加工指示データ取得回路が、認識された被写体種に基づいて記憶回路に記憶されている複数の加工指示データを取得する。そして、加工指示データ判定回路が、取得された加工指示データの各々について無効度を算出し、無効度が高い加工指示データについては無効と判定して選択対象から除外する。

　入力画像内に存在する被写体種に対しては適しているとして予め定義されている加工指示データであっても、実際の入力画像に対しては適していない場合があり、加工指示データ判定回路においては、そのような度合いを示す無効度が算出され、無効度が所定の閾値以下の加工指示データが所定数選択される。
　そして、選択された所定数の加工指示データを用いて画像加工回路において入力画像が加工されることにより、被写体種に対しても、入力画像に対しても適した加工が施された画像が所定数作成される。

　すなわち、本態様によれば、ユーザが加工内容やその利用方法を知らない場合であっても、その加工による効果を確認することができるようになり、そのような加工の存在および加工の効果に気づかせることができる。したがって、内蔵されている多数の画像処理のうち、利用されない画像処理を低減し、利用促進を図ることができる。

　上記態様においては、前記加工指示データ判定回路が、各前記加工指示データに対応して該加工指示データの判定に適した無効度の種別を記憶し、判定しようとする各前記加工指示データに応じて選択された種別の無効度を算出してもよい。
　このようにすることで、異なる加工指示データの無効を判定するために同じ種別の無効度を利用するのではなく、加工指示データに対して適した無効度が選択されて算出されるので、高い精度で入力画像に適した加工指示データを選択することができる。

　また、上記態様においては、前記加工指示データ判定回路において選択された複数の前記加工指示データおよび前記画像加工回路において加工された画像の少なくとも１つを表示する表示回路を備えていてもよい。
　このようにすることで、加工された画像とその加工に使用された加工指示データの少なくとも１つが表示回路に表示されるので、利用された加工内容あるいはその加工による効果を確認することができる。加工指示データとしては、被写体種および入力画像の両方に適した加工内容のものが選択されているので、その加工本来の効果が現れている画像によって、加工による正しい効果をユーザに認識させることができる。

　また、上記態様においては、前記無効度は、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における変化量が大きいほど低くなる関数として定義されていてもよい。
　このようにすることで、入力画像に施される加工前後の画像の変化量が大きい場合には、入力画像が加工によって大きく変化するので、加工の効果が顕著に現れたものとして無効度を低くして選択され易くすることができる。また、入力画像に施される加工前後の画像の変化量が小さい場合には、入力画像に対して加工後の画像はあまり変化しないので、加工の効果があまり現れていないものとして無効度を高くして選択され難くすることができる。

　また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容がトリミングを含み、前記無効度が、前記加工指示データに基づいて設定されたトリミング領域と前記入力画像との重複率であってもよい。
　このようにすることで、入力画像から所定範囲を切り出すトリミングにおいては、トリミング領域と入力画像との重複率が高いほどトリミングによる入力画像に対するトリミング後の画像の変化量は小さい。したがって、重複率をそのまま無効度にすることで、加工前後の画像変化の少ない加工指示データが選択され難くすることができる。

　また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含み、前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における画素値の変動量の逆数であってもよい。

　このようにすることで、入力画像に対して色情報または階調情報を加工する場合には、加工前後において画素値が変動するほど画像の変化量が大きいので、画素値の変動量の逆数を無効度とすることにより、加工前後の画像変化の少ない加工指示データが選択され難くすることができる。

　また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容がぼかし加工を含み、前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像におけるボケ度の変動量の逆数であってもよい。
　このようにすることで、入力画像に対してぼかし加工を施す場合には、加工前後においてボケ度が変動するほど画像の変化量が大きいので、ボケ度の変動量の逆数を無効度とすることにより、加工前後の画像変化の少ない加工指示データが選択され難くすることができる。

　また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が台形補正加工を含み、前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における直線状のエッジ部の鉛直線に対する角度の変動量の逆数であってもよい。

　入力画像に対して台形補正加工を施す場合には、入力画像における直線状のエッジ部の鉛直線に対する角度がゼロに近づけられる。したがって、加工前後の画像における直線状のエッジ部の鉛直線に対する角度の変動量の逆数を無効度とすることにより、直線状のエッジ部の鉛直線に対する角度が大きい入力画像に対する加工としては大きな効果を得ることができるものとして、台形補正加工の加工指示データが選択され易くすることができる。

　また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が光学歪曲収差効果付与の加工を含み、前記無効度が、前記入力画像における光学歪曲収差の量であってもよい。
　このようにすることで、入力画像における光学歪曲収差が大きい入力画像の場合には、光学歪曲収差効果付与の加工を行っても効果が明らかではないため、入力画像における光学歪曲収差が大きいほど無効度が高いものとして、選択され難くすることができる。

　また、上記態様においては、前記無効度が、前記加工指示データに基づく前記入力画像の加工により得られるであろうと見込まれる見込み画像と、前記加工指示データに基づいて前記入力画像に加工が施された画像との差であってもよい。
　このようにすることで、見込み画像と加工後の画像との差が大きいほど無効度が高いとして選択され難くすることができる。見込み画像は加工指示データに基づく加工によってその効果を顕著に現した画像となるため、加工後の画像としては見込み画像との差が小さいほど、選択され易くすることが好ましい。

　また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容がトリミングを含み、前記無効度が、前記加工指示データに基づいて設定されたトリミング領域の前記入力画像からのはみ出し領域の大きさであってもよい。
　このようにすることで、トリミングを含む加工指示データに基づき設定されたトリミング領域が、入力画像からはみ出してしまう場合には、はみ出さないことを前提とした見込み画像とは異なる加工後の画像が得られることになるので、このような加工指示データは無効度が高いものとして、選択され難くすることができる。

　また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が回転加工を含み、前記無効度が、前記入力画像における前記被写体の基準軸の画像中における傾き角度であってもよい。
　このようにすることで、回転加工を含む加工指示データに基づく回転加工によって被写体の基準軸が所定の角度となるように回転させられる場合に、入力画像における被写体の基準軸が既に傾いている場合には、さらに大きく回転させられるため、見込み画像とは異なる加工後の画像が得られることになる。したがって、このような加工指示データは入力画像における基準軸の傾き角度が大きく無効度が高いものとして、選択され難くすることができる。

　また、上記態様においては、前記加工指示データ判定回路により判定される前記加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含み、前記無効度が、前記入力画像における前記被写体の画素値に基づいて設定されてもよい。

　このようにすることで、入力画像に対して色情報または階調情報を加工する場合に、入力画像において既に被写体の画素値が加工により変化する傾向の画素値を有する場合、加工により見込み以上に画素値が変化してしまうので、そのような場合には、無効度を高くして加工指示データが選択され難くすることができる。
　例えば、加工指示データが露出をマイナス補正にする加工内容を含むとき、入力画像において既に被写体の露出がアンダーである場合には、過度にアンダーとなった画像が得られるため、見込み画像との差が大きいとして無効度を高くすることができる。

　また、上記態様においては、前記加工指示データ判定回路は、前記無効度が所定の閾値より高いと判定して選択から除外した加工指示データについて除外回数をカウントして前記記憶回路に記憶し、記憶されている前記除外回数が高い加工指示データを優先して判定対象としてもよい。
　このようにすることで、無効度が高いとして何度も除外された加工指示データが優先的に判定対象とされ、加工指示データ判定回路において判定の対象となる機会を高めて選択され易くすることができる。

　また、本発明の他の態様は、入力画像内に存在する被写体種を認識する被写体認識ステップと、前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとを含む画像処理方法である。

　また、本発明の他の態様は、入力画像内に存在する被写体種を認識する被写体認識ステップと、前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとをコンピュータに実行させる画像処理プログラムである。

　また、本発明の他の態様は、入力画像内に存在する被写体種を認識する被写体認識ステップと、前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとをコンピュータに実行させるプログラムを記憶したコンピュータが読み取ることのできる記憶媒体である。

　本発明によれば、内容や利用方法を知らない処理による効果をユーザに気づかせ、そのような処理の利用促進を図ることができるという効果を奏する。

本発明の一実施形態に係る画像処理装置を示すブロック図である。 図１の画像処理装置の記憶回路に記憶されている加工指示データの一例を示す図である。 入力画像の一例を示す図である。 図３Ａの入力画像に設定されたトリミング領域を示す図である。 入力画像とトリミング領域との重複領域を示す図である。 本発明の一実施形態に係る画像処理方法を示すフローチャートである。 図４のフローチャートの加工指示データ選択ルーチンの内容を示すフローチャートである。 図５のフローチャートの無効度算出ルーチンの内容を示すフローチャートである。 入力画像の一例を示す図である。 見込み画像の一例を示す図である。 トリミング領域のはみ出し領域を示す図である。 被写体の基準軸が傾斜している入力画像の一例を示す図である。 記憶回路に記憶する無効度データの一例を示す図である。 図４の画像処理方法の変形例を示すフローチャートである。 図１０のフローチャートの加工指示データ選択ルーチンの内容を示すフローチャートである。 記憶回路に記憶する無効度データの他の例を示す図である。

　本発明の一実施形態に係る画像処理装置１および画像処理方法について、図面を参照して以下に説明する。
　本実施形態に係る画像処理装置１は、図１に示されるように、カメラ等の撮像装置により取得された画像（入力画像）Ｐが入力される画像入力回路２と、入力画像Ｐに対する加工指示データを記憶する記憶回路３と、該記憶回路３に記憶されている加工指示データに基づいて画像入力回路２に入力された入力画像Ｐを加工する演算回路４とを備えている。

　演算回路４は、画像入力回路２に入力された入力画像Ｐに対し公知の認識処理を施して、被写体Ｏの種別（被写体種）を認識する被写体認識回路５と、該被写体認識回路５により認識された被写体種に基づいて記憶回路３から加工指示データを取得する加工指示データ取得回路６とを備えている。また、演算回路４は、該加工指示データ取得回路６により取得された加工指示データの無効度を入力画像Ｐに基づいて算出し、無効度が低い加工指示データを複数選択する加工指示データ判定回路７と、該加工指示データ判定回路７により選択された加工指示データを用いて入力画像Ｐに加工を施す画像加工回路８と、これら被写体認識回路５、加工指示データ取得回路６、加工指示データ判定回路７および画像加工回路８を制御する出力データ制御回路９とを備えている。

　記憶回路３には、図２に例示されるように、認識される可能性のある注目被写体種類（被写体種）と対応づけて、該注目被写体種類に適した加工指示データが複数記憶されている。図２に示す例では、注目被写体種類には、人物顔、フォーカス座標等が含まれている。注目被写体種類はこれらに限定されるものではなく、他の任意の被写体種類を採用することができる。また、本実施形態では、加工指示データの加工内容がトリミングを含む場合を例に挙げて説明する。

　図２の例によれば、トリミングに対応する加工指示データの加工内容には、注目被写体Ｏ配置、アスペクトおよびズーム率等が含まれている。注目被写体Ｏ配置としては中央配置、３分割線交点配置等が含まれている。アスペクトとしては、４：３、１：１、１６：９等が含まれている。ズーム率としては固定倍率（１．０，０．９等）、なるべく大きく、なるべく小さく等が含まれている。

　加工指示データ取得回路６は、被写体認識回路５により認識された注目被写体種類をキーとして、記憶回路３を検索し、注目被写体種類に対応づけて記憶されている図２の加工指示データ列の中から、予め設定された個数の加工指示データを取得するようになっている。
　加工指示データの取得数には、最終的な出力を予定している加工指示データの出力数より大きな数値が設定されている。

　加工指示データ判定回路７は、加工指示データ取得回路６により取得された加工指示データの各々について、その無効度を算出して無効か否かの判定を行い、無効度が所定の閾値より低い場合には出力する加工指示データとして選択し、無効度が高い場合には選択対象から除外するようになっている。

　ここで、加工指示データ判定回路７が算出する無効度について説明する。
　無効度とは、加工指示データが入力画像Ｐの加工に適していない度合いを示す数値であり、例えば、加工指示データが加工内容としてトリミングを含む場合には、入力画像Ｐとトリミング領域Ｑとの重複率を無効度として算出するようになっている。

　図３Ａの入力画像Ｐに対して、加工指示ＩＤ＝４の加工指示データが適用される場合には、加工内容は、注目被写体Ｏ配置：３分割線交点配置、アスペクト：４：３、ズーム率：「なるべく大きく」である。この場合には、図３Ｂに示されるようなトリミング領域Ｑが設定される。そこで、図３Ｃに示されるように、入力画像Ｐの面積に対するトリミング領域（ハッチング部分）Ｑの面積の比を重複率として算出する。

　すなわち、重複率が大きいほどトリミング加工前後での画像の変化量は小さく、重複率が小さいほどトリミング加工前後での画像の変化量は大きくなる。入力画像Ｐに対してトリミングを施して得られた加工後の画像が入力画像Ｐに対して変化していない場合には、加工前後の画像を見たユーザがトリミングの効果を認識することができない。したがって、このような場合には、この加工指示データの無効度を高くして選択され難くするようになっている。

　出力データ制御回路９は、予め設定された出力数の加工指示データが選択されるまで、加工指示データ判定回路７による加工指示データの選択作業を繰り返させるようになっている。
　画像加工回路８は、選択された所定数の加工指示データを用いて、各加工指示データに含まれる加工内容の処理を入力画像Ｐに対して実施する。これにより、所定数の画像処理された画像が生成されるようになっている。

　このように構成された本実施形態に係る画像処理装置１を用いた画像処理方法について以下に説明する。
　本実施形態に係る画像処理方法は、図４に示されるように、入力画像Ｐを取得するステップＳ１と、取得した入力画像Ｐ内に存在する被写体種を認識するステップ（被写体認識ステップ）Ｓ２と、出力数ｎを設定するステップＳ３と、設定された出力数ｎの加工指示データを選択するステップ（加工指示データ判定ステップ）Ｓ４と、選択された複数の加工指示データを用いて入力画像Ｐに加工を施すステップ（画像加工ステップ）Ｓ５とを含んでいる。

　ステップＳ１においては、１つの入力画像Ｐが画像入力回路２に入力される。ステップＳ２においては、被写体認識回路５によって、入力された入力画像Ｐ内の注目被写体Ｏが認識され、注目被写体種類が検出される。ステップＳ３においては、ユーザが出力を望む加工指示データ数が設定される。出力数ｎは、ユーザがその都度設定してもよいし、予め設定されている値を使用してもよい。

　ステップＳ４は、図５に示されるように、認識された被写体種に基づいて記憶回路３に記憶されている複数の加工指示データを取得するステップ（加工指示データ取得ステップ）Ｓ４１と、カウンタｋをリセットするステップＳ４２と、取得された加工指示データの内、１つの加工指示データを判定対象として選択するステップＳ４３と、判定対象として選択された加工指示データについて無効度を算出するステップＳ４４と、算出された無効度に基づいて加工指示データが無効か否かを判定するステップＳ４５とを含んでいる。また、無効ではないと判定された加工指示データは出力される加工指示データとして設定される（ステップＳ４６）ようになっている。

　ステップＳ４１は、加工指示ＩＤの順序で設定された出力数ｎを超える所定数だけ加工指示データの取得を行うようになっている。例えば、出力数がｎ個である場合に、無効となる数を見込んで、ｎ＋α個の加工指示データの取得が行われる。

　さらに、加工指示データを選択するステップＳ４は、無効ではない加工指示データが出力される加工指示データとして選択された場合に、カウンタｋをインクリメントするステップＳ４７と、カウンタｋが設定された出力数ｎに達したか否かを判定するステップＳ４８と、カウンタｋが出力数ｎに達した場合に、設定された所定数の加工指示データを出力するステップＳ４９とを含んでいる。

　ステップＳ４４は、図６に示されるように、判定対象として選択された加工指示データに基づいて、該加工指示データに対応して該加工指示データの判定に適した無効度の種別を選択するステップＳ４４１と、選択された種別の無効度を加工指示データに対して算出するステップＳ４４２とを含んでいる。加工指示データと無効度の種別とは相互に対応づけられた状態で加工指示データ判定回路７に記憶されていてもよいし、記憶回路３に記憶されていて読み出されることにしてもよい。無効度の種別には、各種別の無効度の算出方法が対応づけられている。

　ステップＳ４４２としては、図６に示されるように、加工指示データの加工内容としてトリミングが含まれている場合に、トリミングの指示内容に応じてトリミング領域Ｑを算出するステップＳ４４２１と、入力画像Ｐに対するトリミング領域Ｑの重複率を算出するステップＳ４４２２とを含んでいる。

　このように構成された本実施形態に係る画像処理装置１および画像処理方法によれば、加工指示データ取得回路６が記憶回路３に記憶されている加工指示データを取得する際に、注目被写体種類に応じて記憶されている複数の加工指示データが取得されることにより、被写体Ｏの種類に適した加工指示データが選択される。そして、加工指示データ判定回路７が、入力画像Ｐに応じて無効度の低い加工指示データを選択することにより、入力画像Ｐにも適した加工指示データが選択される。

　すなわち、本実施形態に係る画像処理装置１および画像処理方法によれば、ユーザは入力画像Ｐを入力するだけで、入力画像Ｐ内に存在している被写体Ｏの種類に適しかつ入力画像Ｐにも適した加工指示データが複数選択されて、選択された複数の加工指示データを用いて加工された状態で提供される。したがって、ユーザは、加工内容に精通していなくても、あるいは、そのような加工の存在自体を知らなくても、得られた画像を見ることによって、その効果を知り、そのような加工の有効性に気づくことができ、そのような加工の利用促進を図ることができるという利点がある。

　なお、本実施形態の画像処理装置１においては、加工指示データ判定回路７において選択された複数の加工指示データおよび画像加工回路８において加工された画像の少なくとも１つを表示する表示回路（図示略）を備えていてもよい。
　この場合、画像加工回路８により加工された画像およびその加工に使用された加工指示データの少なくとも１つが表示回路に表示されるので、利用された加工内容あるいはその加工による効果を確認することができる。加工指示データとしては、被写体種および入力画像Ｐの両方に適した加工内容のものが選択されているので、その加工本来の効果が現れている画像によって、加工による正しい効果をユーザに認識させることができる。

　また、本実施形態においては、無効度として、入力画像Ｐに対するトリミング領域Ｑの重複率そのものを採用したが、重複率に任意の係数を乗算した値を無効度として採用してもよいし、換算表に基づいて重複率から無効度を換算してもよい。また、入力画像Ｐに対する加工後の画像の変化量が大きくなるほど低くなる関数であれば、重複率以外の他の関数を無効度として採用してもよい。

　また、選択された加工指示データに対して、該加工指示データに含まれるトリミング加工についての無効度を算出することとしたが、これに代えて、選択される加工指示データに含まれる複数の加工内容毎に無効度を算出し、これらを纏めた無効度を用いて無効判定を行うことにしてもよい。複数の無効度を纏める方法としては、無効度の単純和、各無効度に重みを付けて加算する方法等を採用すればよい。

　また、本実施形態においては、加工指示データの加工内容がトリミングを含む場合について説明した。これに代えて、フィルタ効果などの色情報や階調情報を加工する加工内容に適用することもできる。

　この場合には、加工前後の画素値の変動量の逆数を無効度として算出すればよい。
　加工指示データが、色情報や階調情報に変化を与える加工内容を含む場合に、無効度を算出するには、入力画像Ｐに無効度判定用の仮の加工を施す。例えば、入力画像Ｐを縮小した画像等による簡易的な加工を行う。
　そして、入力画像Ｐの画素毎に、入力画像Ｐと簡易加工後の画像との画素値の変動量の逆数を算出する。画素値の変動量は例えば差分である。これにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。

　また、加工指示データが色情報や階調情報に変化を与える加工内容を含む場合には、ホワイトバランス設定などの撮影パラメータで規定できる場合がある。その場合には、入力画像Ｐの撮影パラメータ自体の変動量の逆数を無効度として利用することができる。すなわち、画像の画素値を解析することなく、加工前後の画像の変化量を算出することができる。
　例えば、加工内容のホワイトバランス設定による色温度値と、入力画像Ｐのホワイトバランス設定の色温度値との差分の逆数を無効度とすることにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
　このように、本発明の加工指示データの加工内容は、撮影パラメータや現像パラメータであってもよい。

　また、加工指示データがぼかし加工の加工内容を含む場合には、ぼかし加工の加工内容が狙うボケ度と、入力画像Ｐのボケ度との変動量の逆数を無効度とする。これにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。
　ボケ度は、例えば、画像内領域を周波数解析し、高周波成分に対する低周波成分の量を定量化するようなボケ評価関数を用いて算出することができる。

　また、加工指示データが台形補正加工の加工内容を含む場合には、台形補正加工により、入力画像Ｐ内の被写体Ｏが有する直線状のエッジ部が画像上の鉛直線に一致するように補正される。したがって、この場合には、入力画像Ｐにおける直線状のエッジ部の、画像上の鉛直線に対する傾斜角度が大きいほど台形補正加工の効果が顕著となるので、無効度としては、入力画像Ｐにおける上記傾斜角度の逆数、または入力画像Ｐに施される加工前後の画像における上記角度の変動量の逆数を採用することにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。

　また、加工指示データが光学歪曲収差効果付与の加工内容を含む場合には、入力画像Ｐにおける光学歪曲収差が大きいほど加工の光学歪曲収差効果付与の効果が分かりにくいので、無効度として、入力画像Ｐにおける光学歪曲収差の量を採用することにより、加工前後の画像の変化量が小さいほど高くなる無効度を採用することができる。

　また、本実施形態においては、無効度として、実質的に加工前後の画像の変化量が小さいほど大きくなると考えられる関数を採用したが、これに代えて、加工指示データに基づく入力画像Ｐの加工により得られるであろうと見込まれる見込み画像（意図する画像）Ｒと、加工指示データに基づいて入力画像Ｐに加工が施された画像との差（意図差分量）を示す関数を無効度として採用してもよい。

　例えば、加工指示データの加工内容がトリミングを含む場合には、加工指示データに基づいて設定されたトリミング領域Ｑの入力画像Ｐからのはみ出し領域Ｓの大きさを無効度とすればよい。すなわち、図７Ａに示されるように、被写体Ｏとしての人物が周辺に偏って配置されている入力画像Ｐに対して、注目被写体Ｏ配置のパラメータが「中央配置」である場合には、意図する画像Ｒは図７Ｂに示すものであると考えられるが、被写体Ｏの偏り方、アスペクト、ズーム率等によっては、図７Ｃに示されるように、トリミング領域Ｑが入力画像Ｐからはみ出した位置に定義される。このはみ出し領域（ハッチング部分）Ｓの大きさが大きいほど、加工後の画像は見込み画像Ｒから離れ、意図差分量が大きくなるため、無効度を高くすることができる。

　また、加工指示データの加工内容が回転加工を含む場合には、入力画像Ｐにおける被写体Ｏの基準軸Ｔの画像中における傾き角度を無効度とすればよい。すなわち、図８に示されるように被写体Ｏとしての人物の基準軸Ｔが最初から傾いている場合に、その傾き方向と同じ方向への回転加工が行われると、意図した画像よりも被写体Ｏが大きく傾いてしまい、逆方向への回転加工が行われると、意図した画像よりも被写体Ｏの傾きが小さくなってしまい、いずれの場合も意図差分量が大きくなるため、無効度を高くすることができる。

　具体的には、加工指示データ判定回路７は、加工指示データの加工内容に応じて入力画像Ｐを解析し、入力画像Ｐにおける被写体Ｏの基準軸Ｔの傾き角度が所定の閾値より大きいか否かを判定する。基準軸Ｔの傾き角度が大きい場合には無効度が高いので、その加工指示データが無効と判定され易くなる。

　また、加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含む場合には、入力画像Ｐにおける被写体Ｏの画素値に基づいて無効度を設定すればよい。
　例えば、露出をマイナス補正にする加工内容である場合に、入力画像Ｐの露出が既にアンダーである場合には、意図した画像よりも暗い画像が作成されてしまうので、意図差分量が大きい。すなわち、この場合には、画素値が小さい場合には無効度が高くなるので、画素値の逆数を無効度に設定すればよい。

　具体的には、加工指示データ判定回路７は、加工指示データの加工内容に応じて入力画像Ｐを解析し、入力画像Ｐにおける被写体Ｏの画素値が所定の閾値より大きいか否かを判定する。露出マイナス補正の加工内容の場合には、画素値が小さい場合には無効度が高いので、その加工指示データが無効と判定され易くなる。

　また、例えば、入力画像Ｐ中の赤色を残して他をグレーにする加工内容である場合に、入力画像Ｐ中に赤色が存在しない場合には、全体がグレーとなるので意図した画像とは異なる画像が作成されてしまう。この場合には、画像中に赤色の画素値が高い画素の全体に占める割合の逆数を無効度に設定することで、意図しない画像を作成する加工指示データを無効と判定して除外することができる。

　また、本実施形態においては、加工指示データ判定回路７は、無効度が所定の閾値より高いと判定して選択から除外した加工指示データについて除外回数をカウントして記憶回路３に記憶し、加工指示データ取得回路６が、除外回数の高い加工指示データを優先して取得することにしてもよい。

　すなわち、例えば、図９に示されるように、各加工指示ＩＤに対応づけて、当該加工指示ＩＤに対応する加工指示データの無効度データとして、全無効回数（除外回数）を記憶しておく。図９は、全無効回数に加えて連続無効回数および無効度を記憶した例を示している。
　全無効回数は、以前に無効であると判定された回数の総数であり、連続無効回数は最後に無効ではないと判定された後に連続して無効であると判定された回数であり、無効度は、最後に算出された無効度である。

　そして、図１０に示されるように、画像入力回路２に複数の入力画像Ｐが入力された場合（ステップＳ５１）に、そのうちの１つの入力画像Ｐを選択し（ステップＳ５２）、入力された全ての入力画像Ｐの処理が終了するまで、上述したステップＳ２からＳ５の工程を実施する（ステップＳ５３）。加工指示データ判定回路７においては、図１１に示されるように、加工指示データ取得回路６により取得された複数の加工指示データに対応づけて記憶されている無効度データを参照し、全無効回数が大きい加工指示データを優先的に判定対象とする（ステップＳ６１）。

　そして、無効判定を行った結果、無効であると判定された場合には、当該加工指示データの無効度データの全無効回数等を更新し（ステップＳ６２）、次の加工指示データについての判定処理を行う。加工指示データ取得回路６により取得される加工指示データの取得数は、最終的に出力される加工指示データの出力数よりも多いので、出力数が達成されると、取得された全ての加工指示データについての判定は行われない。

　したがって、このようにすることで、無効であるとして除外された回数の多い加工指示データが優先的に判定対象となるので、判定の機会を増加させて、加工指示データ判定回路７において選択され易くすることができる。その結果、無効でないと判定されることが多いような加工指示データが、利用されずに埋もれてしまうことを防止することができる。
　また、図９では加工指示ＩＤ毎に無効度データを記憶する例を示したが、これに加えて加工指示データの加工内容の種類毎に無効回数を記憶しておいてもよい。例えば、ある加工指示データが無効であると判定された場合、該加工指示データの加工内容にフィルタ（Ｆｉｌｔｅｒ）Ａが含まれるときには、フィルタ（Ｆｉｌｔｅｒ）Ａの無効回数を増加させ記憶しておく。そして、加工指示データ判定回路７は、加工指示ＩＤの無効度データのみならず、各加工指示ＩＤに紐付けられた加工内容の各々の無効度回数を判定に用いてよい。

　また、無効度の履歴データは、図１２に示されるように記憶しておいてもよい。
　図１２において、「判定順」は新規履歴ほど若い順番で記憶している。「日時」は加工指示ＩＤを判定した日時であり、「入力画像名」は入力画像Ｐのファイル名（もしくは、ファイルを特定するための識別情報）、「入力画像累計数」は入力画像Ｐの累計枚数である。
　このように記憶しておく場合には、出力データ制御回路９が、ｎ個の加工指示データを出力する際に、最後に無効でないと判定されたときからの経過時間が長い加工指示ＩＤを優先的に出力すればよい。

　また、本実施形態においては、画像処理装置１が行う処理としてハードウェアによる処理を前提としたが、これに限定されるものではなく、例えば、ソフトウェアにて処理することもできる。この場合、画像処理装置１は、処理を行うＣＰＵおよびＲＡＭ等の主記憶装置を備え、上記処理の全て或いは一部をＣＰＵに実行させるためのプログラムが記憶されたコンピュータで読み取ることができる記憶媒体を備えていればよい。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置１と同様の処理を実現させる。

　ここで、コンピュータで読み取ることができる記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしてもよい。
　また、本実施形態の各種回路は、１つのチップとして実装されるように構成される以外に、配線基板上に分割して実装されるように構成されてもよい。

　１　画像処理装置
　３　記憶回路
　５　被写体認識回路
　６　加工指示データ取得回路
　７　加工指示データ判定回路
　８　画像加工回路
　Ｓ２　被写体認識ステップ
　Ｓ４　加工指示データ判定ステップ
　Ｓ５　画像加工ステップ
　Ｓ４１　加工指示データ取得ステップ
　Ｏ　被写体
　Ｐ　入力画像
　Ｑ　トリミング領域
　Ｒ　見込み画像
　Ｓ　はみ出し領域

Claims (17)

1. 　入力画像内に存在する被写体種を認識する被写体認識回路と、
   　前記入力画像に対して処理する加工内容を表す複数の加工指示データを記憶する記憶回路と、
   　前記被写体認識回路により認識された前記被写体種に応じて予め定義された前記加工指示データを前記記憶回路から取得する加工指示データ取得回路と、
   　該加工指示データ取得回路により取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定回路と、
   　該加工指示データ判定回路において選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工回路とを備える画像処理装置。
2. 　前記加工指示データ判定回路が、各前記加工指示データに対応して該加工指示データの判定に適した無効度の種別を記憶し、判定しようとする各前記加工指示データに応じて選択された種別の無効度を算出する請求項１に記載の画像処理装置。
3. 　前記加工指示データ判定回路において選択された複数の前記加工指示データおよび前記画像加工回路において加工された画像の少なくとも１つを表示する表示回路を備える請求項１または請求項２に記載の画像処理装置。
4. 　前記無効度は、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における変化量が大きいほど低くなる関数として定義されている請求項２または請求項３に記載の画像処理装置。
5. 　前記加工指示データ判定回路により判定される前記加工指示データの加工内容がトリミングを含み、
   　前記無効度が、前記加工指示データに基づいて設定されたトリミング領域と前記入力画像との重複率である請求項４に記載の画像処理装置。
6. 　前記加工指示データ判定回路により判定される前記加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含み、
   　前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における画素値の変動量の逆数である請求項４に記載の画像処理装置。
7. 　前記加工指示データ判定回路により判定される前記加工指示データの加工内容がぼかし加工を含み、
   　前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像におけるボケ度の変動量の逆数である請求項４に記載の画像処理装置。
8. 　前記加工指示データ判定回路により判定される前記加工指示データの加工内容が台形補正加工を含み、
   　前記無効度が、前記加工指示データに基づいて前記入力画像に施される加工前後の画像における直線状のエッジ部の鉛直線に対する角度の変動量の逆数である請求項４に記載の画像処理装置。
9. 　前記加工指示データ判定回路により判定される前記加工指示データの加工内容が光学歪曲収差効果付与の加工を含み、
   　前記無効度が、前記入力画像における光学歪曲収差の量である請求項４に記載の画像処理装置。
10. 　前記無効度が、前記加工指示データに基づく前記入力画像の加工により得られるであろうと見込まれる見込み画像と、前記加工指示データに基づいて前記入力画像に加工が施された画像との差である請求項２に記載の画像処理装置。
11. 　前記加工指示データ判定回路により判定される前記加工指示データの加工内容がトリミングを含み、
    　前記無効度が、前記加工指示データに基づいて設定されたトリミング領域の前記入力画像からのはみ出し領域の大きさである請求項１０に記載の画像処理装置。
12. 　前記加工指示データ判定回路により判定される前記加工指示データの加工内容が回転加工を含み、
    　前記無効度が、前記入力画像における前記被写体の基準軸の画像中における傾き角度である請求項１０に記載の画像処理装置。
13. 　前記加工指示データ判定回路により判定される前記加工指示データの加工内容が色情報の加工または階調情報の加工の少なくとも１つを含み、
    　前記無効度が、前記入力画像における前記被写体の画素値に基づいて設定される請求項４に記載の画像処理装置。
14. 　前記加工指示データ判定回路は、前記無効度が所定の閾値より高いと判定して選択から除外した加工指示データについて除外回数をカウントして前記記憶回路に記憶し、記憶されている前記除外回数が高い加工指示データを優先して判定対象とする請求項１から請求項１３のいずれかに記載の画像処理装置。
15. 　入力画像内に存在する被写体種を認識する被写体認識ステップと、
    　前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、
    　該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、
    　該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとを含む画像処理方法。
16. 　入力画像内に存在する被写体種を認識する被写体認識ステップと、
    　前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、
    　該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、
    　該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとをコンピュータに実行させる画像処理プログラム。
17. 　入力画像内に存在する被写体種を認識する被写体認識ステップと、
    　前記入力画像に対して処理する加工内容を表す複数の加工指示データの中から、前記被写体認識ステップにより認識された被写体種に応じて予め定義された前記加工指示データを取得する加工指示データ取得ステップと、
    　該加工指示データ取得ステップにより取得された前記加工指示データの各々について、前記入力画像に適していない度合いを示す無効度を算出し、該無効度が所定の閾値以下である所定数の前記加工指示データを選択する加工指示データ判定ステップと、
    　該加工指示データ判定ステップにおいて選択された所定数の前記加工指示データを用いて前記入力画像の加工を行う画像加工ステップとをコンピュータに実行させるプログラムを記憶したコンピュータが読み取ることのできる記憶媒体。

Images