JP5108654B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、画像に対して所定の画像処理を施す画像処理装置および画像処理プログラムに関する。

被写体を撮影してデジタルの画像データを生成するデジタルカメラ等の撮像装置では、フィルムカメラとは異なり、撮影した画像に対して画像処理を施すことができる。例えば、デジタルカメラによって撮影された画像に対し、所定の判定基準に基づいた画像解析処理を行うことによって画像の良否を判定する技術が知られている（例えば、特許文献１を参照）。この技術では、判定基準として画像の合焦の度合いや明るさなどを採用し、画像中の被写体にピンぼけ、黒つぶれ、白飛び等の不具合が発生しているか否かを検出することにより、その画像の良否を判定している。このような技術によれば、撮影した画像のプリントを一括して大量に注文する場合、不良と判定された画像を除いて注文することができ、資源の節約とプリント代の低減を実現することができる。

特開２００１−２５６４９８号公報

上述した従来技術では、不良判定された画像をユーザが追加注文するような場合も想定し、不良判定された画像の保存期間を良判定された画像の保存期間より長く設定することができる。しかしながら、実際にはユーザが不良判定された画像を改めてチェックする可能性は低く、不良判定された画像がその判定の後で有効に活用されることは少なかった。

この問題を解決するために、不良判定された画像に対して不具合を解消する補正を施すことも考えられる。しかしながら、そのような補正によってユーザが所望するような画像が常に得られるとは限らないため、不良判定された画像が有効に活用されているとは言い難かった。

本発明は、上記に鑑みてなされたものであって、不具合を有する画像であってもその不具合を解消する補正を行うことなく有効に活用することができる画像処理装置および画像処理プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る画像処理装置は、処理対象の画像に対応する画像信号中の画像パターンに基づいて前記画像に含まれる被写体を検出する被写体検出部と、前記被写体検出部が検出した被写体の撮影状態を前記画像信号に基づいて判定する撮影状態判定部と、前記撮影状態判定部が判定した前記被写体の撮影状態に不具合がある場合、この不具合に対応し、絵、模様、文字、数字および記号の少なくともいずれか一つからなる画像アイテムを前記画像の所定の貼付領域へ貼付する画像合成部と、を備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記画像アイテムは、前記被写体の撮影状態の不具合を反映する内容を有することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、複数の前記画像アイテムを記憶するとともに、前記撮影状態判定部の判定結果と前記画像に貼付する前記画像アイテムの種類および貼付領域との対応関係を記憶する記憶部をさらに備えたことを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記被写体検出部は人物の顔を検出可能であり、前記撮影状態判定部は、前記人物に焦点が合っているか否かを判定する合焦判定部と、前記人物の画像に画像ブレが発生しているか否かを判定する画像ブレ判定部と、前記人物の画像に黒つぶれまたは白飛びが発生しているか否かを判定する明暗判定部と、前記人物が目をつぶっているか否かを判定する目つぶり判定部と、を有することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、前記撮影状態判定部は、前記人物の年齢および性別を判定する年齢・性別判定部をさらに有することを特徴とする。

また、本発明に係る画像処理装置は、上記発明において、所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、前記撮像部が撮像した画像をもとに前記画像合成部が合成した画像を表示する表示部と、をさらに備えたことを特徴とする。

また、本発明に係る画像処理プログラムは、各々が絵、模様、文字、数字および記号の少なくともいずれか一つからなる複数の画像アイテムを記憶する記憶部を備えた画像処理装置に、処理対象の画像に対応する画像信号中の画像パターンに基づいて前記画像に含まれる被写体を検出する被写体検出ステップ、前記被写体検出ステップで検出した被写体の撮影状態を前記画像信号に基づいて判定する撮影状態判定ステップ、前記撮影状態判定ステップで判定した前記被写体の撮影状態に不具合がある場合、この不具合に対応した前記画像アイテムを前記記憶部から読み出して前記画像の所定の貼付領域へ貼付する画像合成ステップ、を実行させることを特徴とする。

本発明によれば、処理対象の画像の画像信号中の画像パターンに基づいて検出した被写体の撮影状態を画像信号に基づいて判定し、被写体の撮影状態に不具合がある場合、この不具合に対応した画像アイテムをもとの画像の所定の貼付領域へ貼付するため、被写体の撮影状態に不具合がある画像に対して付加価値を生じさせることができる。したがって、不具合を有する画像であってもその不具合を解消する補正を行うことなく有効活用することが可能となる。

以下、添付図面を参照して、本発明を実施するための最良の形態（以後、「実施の形態」と称する）を説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を模式的に示す図である。同図に示す画像処理装置１はデジタルカメラであり、所定の視野領域を撮像して画像データを生成する撮像部２、撮像部２の視野領域の状態を検出するセンサ部３、撮像部２が出力した画像データに対して画像処理を施す画像処理部４、画像処理部４が出力する画像データを含む情報を表示する表示部５、表示部５の表示を制御する表示制御部６、画像データの圧縮および伸張を行う圧縮伸張部７、画像処理装置１に外部から装着されるメモリカード等の記録媒体１００に対して画像データ等の情報を記録する一方、記録媒体１００が記録する情報を読み出す記録媒体インターフェース８、画像処理装置１の操作指示信号が入力される入力部９、各種情報の音声出力を行う音声出力部１０、撮像領域へ向けて補助光を投射する補助光投射部１１、画像処理装置１の動作を制御する制御部１２、画像処理装置１の動作に関する各種情報を記憶する記憶部１３を備える。

撮像部２は、所定の視野領域にある被写体からの光を集光する撮影レンズ２１、撮影レンズ２１が集光した光の入射量を調整する絞り２２、絞り２２を通過した入射光を受光して電気信号に変換するＣＣＤ等の撮像素子２３、撮像素子２３から出力されるアナログ信号に対して感度補正やホワイトバランスを含む各種処理を施すアナログ信号処理部２４、アナログ信号処理部２４が出力した信号からデジタルの画像データを生成するＡ／Ｄ変換部２５を有する。このうち、撮影レンズ２１は、一または複数のレンズによって構成される光学系であり、レンズ駆動部１４によって駆動される。また、絞り２２は絞り駆動部１５によって駆動される。

画像処理部４は、画像信号中の画像パターンに基づいて画像信号に対応する画像に含まれる被写体を検出する被写体検出部４１、被写体検出部４１が検出した被写体の撮影状態を画像信号に基づいて判定する撮影状態判定部４２、撮影状態判定部４２が判定した結果、被写体の撮影状態に不具合がある場合、この不具合に対応し、絵、模様（図形などを含む）、文字、数字および記号の少なくともいずれか一つからなる画像アイテムを画像の所定の貼付領域へ貼付する画像合成部４３、を有する。

被写体検出部４１は、被写体として人物の顔を検出する機能を有するとともに、検出した人物の顔の目、口、鼻などの位置を顔の特徴情報として抽出する機能を有する。このような被写体検出部４１の機能は、例えば矩形特徴による識別法を用いて画像中の被写体検出を行うViola-Jonesの方法（P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features”, Proc. of CVPR, (2001).を参照）を適用することによって実現される。

撮影状態判定部４２は、被写体検出部４１が検出した人物の写り具合や顔の表情を含む撮影状態を画像信号に基づいて判定する。具体的には、撮影状態判定部４２は、被写体検出部４１が検出した人物に焦点が合っているか否かを判定する合焦判定部４２１、被写体検出部４１が検出した人物の画像に画像ブレが発生しているか否かを判定する画像ブレ判定部４２２、被写体検出部４１が検出した人物の画像に黒つぶれまたは白飛びが発生しているか否かを判定する明暗判定部４２３、被写体検出部４１が検出した人物の目つぶりの有無を判定する目つぶり判定部４２４、を有する。

合焦判定部４２１は、画像中の所定領域に含まれる高周波成分を抽出し、この抽出した高周波成分の積算値を算出した後、この積算値を所定の閾値と比較することにより、人物に焦点が合っているか否か（ピンぼけの有無）を判定する（合焦判定のより詳細な内容については、例えば上記特許文献１を参照）。

画像ブレ判定部４２２は、被写体検出部４１が検出した人物の顔の特徴情報の抽出結果に基づいて、撮影者の手ブレまたは被写体ブレに起因する画像ブレが発生しているか否かを判定する。この判定を行う際、画像ブレ判定部４２２は、画像ブレを生じている場合の画像パターンとのマッチングを行ってもよい。

明暗判定部４２３は、画像中の所定領域の輝度データを取得し、この取得した輝度データの平均値を計算した後、この平均値が所定の第１の閾値を下回っている場合には黒つぶれの画像と判定する。一方、計算した平均値が第１の閾値よりも高い所定の第２の閾値を上回った場合には白飛びの画像と判定する（明暗判定のより詳細な内容については、例えば上記特許文献１を参照）。

目つぶり判定部４２４は、被写体検出部４１が画像中で抽出した人物の顔の目領域の中にある黒色領域の大きさを目の開度として検出した後、この検出結果を所定の閾値と比較することにより、その人物が目をつぶっているか否かを判定する（目つぶり判定のより詳細な内容については、例えば特開平９−１４７１２０号公報を参照）。

入力部９は、画像処理装置１の電源ボタン、撮像指示を与えるシャッターボタン、画像処理装置１が有する各種動作モータの切替を行うモード切替ボタン、画像データの再生や編集の指示を含む制御ボタンなどを有する。入力部９を構成する各種ボタンの少なくとも一部を、十字キーやタッチパネルを用いて実現することも可能である。

制御部１２は、撮影日時の判定等を行う時計１２１を有しており、センサ部３の検知結果や入力部９によって入力された操作指示信号に応じて画像処理装置１の動作を制御する。制御部１２はＭＰＵ等を用いて実現され、制御対象の各部とバスラインを介して接続されている。

記憶部１３は、画像処理装置１が実行する各種プログラムを記憶するプログラム記憶部１３１、被写体検出部４１が被写体検出処理を行う際に必要な画像パターン等の情報を記憶する被写体検出情報記憶部１３２、撮影状態判定部４２の判定結果と、この判定結果に応じて画像に貼付する画像アイテムの種類および貼付領域との対応関係を与える対応テーブルを記憶する対応テーブル記憶部１３３、撮影状態判定部４２の判定結果に応じて処理対象の画像に貼付する画像アイテムを複数記憶する画像アイテム記憶部１３４、を有する。プログラム記憶部１３１には、本実施の形態１に係る画像処理プログラムが記憶されている。記憶部１３は、画像処理装置１の内部に固定的に設けられるフラッシュメモリやＲＡＭ等の半導体メモリなどを用いて実現される。

図２は、以上の構成を有する画像処理装置１が行う画像処理方法の概要を示すフローチャートである。以下で説明する画像処理方法においては、画像処理装置１が撮影した画像を再生する再生モードに設定されているものとする。

画像処理装置１は、まず記録媒体インターフェース８を介して記録媒体１００から読み出した再生画像を表示部５で表示する（ステップＳ１）。このステップＳ１では、ユーザが入力部９を介して選択した画像を表示することも可能である。

再生画像を見たユーザによって入力部９から削除指示が入力された場合（ステップＳ２，Ｙｅｓ）、被写体検出部４１は再生画像の画像データに含まれる被写体を検出する（ステップＳ３）。一方、表示部５で表示した再生画像に対して削除指示が入力されなかった場合（ステップＳ２，Ｎｏ）、画像処理装置１は一連の処理を終了する。

被写体検出部４１が被写体として人物の顔を検出した場合（ステップＳ４，Ｙｅｓ）、撮影状態判定部４２は、人物の撮影状態（ピンぼけ、画像ブレ、黒つぶれ、白飛びおよび目つぶりの有無）を、検出した人物ごとに判定する（ステップＳ５）。一方、被写体検出部４１が被写体として人物の顔を検出しなかった場合（ステップＳ４，Ｎｏ）、画像処理装置１は指定された画像を削除し（ステップＳ６）、一連の処理を終了する。

撮影状態判定部４２が判定した人物の撮影状態に何らかの不具合がある場合（ステップＳ７，Ｙｅｓ）、画像合成部４３は記憶部１３の対応テーブル記憶部１３３が記憶する対応テーブルを参照することにより、撮影状態判定部４２の判定結果に応じた画像アイテムを画像中の所定の貼付領域へ貼付することによって画像を合成する（ステップＳ８）。この後、表示部５は、画像合成部４３が合成した合成画像を表示する（ステップＳ９）。

図３は、対応テーブル記憶部１３３が記憶する対応テーブルの構成を示す図である。図４は、人物の画像に対する画像アイテムの貼付領域を模式的に示す図である。図４において、人物３０１の近傍領域には、人物３０１の顔に対応する貼付領域Ａを中心として、この貼付領域Ａを取り囲むように６つの貼付領域Ｂ〜Ｇが設けられている。このように、被写体検出部４１が検出した人物に対しては、７つの領域からなる画像アイテムの貼付領域を設定することが可能である。

以下、撮影状態判定部４２の判定結果に応じた画像合成部４３の処理の内容を具体的に説明する。まず、合焦判定部４２１が再生画像中の人物に焦点が合っていない（ピンぼけあり）と判定した場合を説明する。図５は、合焦判定部４２１によって「ピンぼけあり」と判定された再生画像の表示例を示す図である。同図に示す再生画像２０１では、ピンぼけした人物３０２を破線で記載している。この場合、画像合成部４３は、対応テーブルＴ１を参照することにより、３つの画像アイテムＩ−１、Ｉ−２およびＩ−３を人物３０２に対する貼付領域Ａ、ＢおよびＦにそれぞれ貼付する。なお、テーブルＴ１において、画像アイテムＩ−１の貼付領域は「Ａ＊」と記載されているが、これは画像アイテムＩ−１が貼付領域Ａの面積よりも大きいことを意味している。

図６は、画像合成部４３が再生画像２０１に基づいて生成した合成画像の表示例を示す図である。同図に示す合成画像２０２では、画像アイテムＩ−１が幽霊の輪郭の絵であり、画像アイテムＩ−２、Ｉ−３がこうもりの絵である。このうち、画像アイテムＩ−１は、幽霊の頭部が人物３０２の頭部と重なるように配置される。

次に、画像ブレ判定部４２２が人物の画像に画像ブレが発生していると判定した場合を説明する。図７は、画像ブレ判定部４２２によって「画像ブレあり」と判定された再生画像の表示例を示す図である。同図に示す再生画像２０３では、人物３０３が上下方向に画像ブレを生じている。この場合、画像合成部４３は、対応テーブルＴ１を参照することにより、４つの画像アイテムＩ−４、Ｉ−５、Ｉ−６およびＩ−７を人物３０３に対する貼付領域Ａ、Ｂ、ＣおよびＤへそれぞれ貼付することによって合成画像を生成する。

図８は、画像合成部４３が再生画像２０３に基づいて生成した合成画像の表示例を示す図である。同図に示す合成画像２０４において、画像アイテムＩ−４はヘルメットの絵であり、画像アイテムＩ−５は「ガガガガガガ…」という文字列であり、画像アイテムＩ−６は工事中の看板の絵であり、画像アイテムＩ−７は工事作業服の絵である。このうち、画像アイテムＩ−４は、人物３０３の頭部に配置される。

次に、明暗判定部４２３が人物の画像に黒つぶれが発生していると判定した場合を説明する。図９は、明暗判定部４２３によって「黒つぶれあり」と判定された再生画像の表示例を示す図である。同図に示す再生画像２０５では、人物３０４が黒つぶれしている。この場合、画像合成部４３は、対応テーブルＴ１を参照することにより、画像アイテムＩ−８を人物３０４に対する貼付領域Ａに貼付することによって合成画像を生成する。

図１０は、画像合成部４３が再生画像２０５に基づいて生成した合成画像の表示例を示す図である。同図に示す合成画像２０６において、画像アイテムＩ−８は大仏の頭部の絵である。このような画像アイテムＩ−８は、人物３０４の頭部に配置される。

次に、明暗判定部４２３が人物の画像に白飛びが発生していると判定した場合を説明する。図１１は、明暗判定部４２３によって「白飛びあり」と判定された再生画像の表示例を示す図である。同図に示す再生画像２０７では、白飛びした人物３０５を一点鎖線で記載している。この場合、画像合成部４３は、対応テーブルＴ１を参照することにより、画像アイテムＩ−９を人物３０５に対する貼付領域Ａに貼付する。ただし、画像アイテムＩ−９は、貼付領域Ａの面積よりも大きい面積を有している（テーブルＴ１では「Ａ＊」と表記）。

図１２は、画像合成部４３が再生画像２０７に基づいて生成した合成画像の表示例を示す図である。同図に示す合成画像２０８において、画像アイテムＩ−９は男性の貴族の装束の絵である。この画像アイテムＩ−９は、貴族の顔の位置が人物３０５の顔と一致するように配置される。

次に、目つぶり判定部４２４が人物の目つぶりがあると判定した場合を説明する。図１３は、目つぶり判定部４２４によって「目つぶりあり」と判定された再生画像の表示例を示す図である。同図に示す再生画像２０９では、人物３０６が目をつぶっている。この場合、画像合成部４３は、対応テーブルＴ１を参照することにより、画像アイテムＩ−１０、Ｉ−１１を人物３０６に対する貼付領域Ａ、Ｇにそれぞれ貼付する。

図１４は、画像合成部４３が再生画像２０９に基づいて生成した合成画像の表示例を示す図である。同図に示す合成画像２１０において、画像アイテムＩ−１０は鼻風船の絵であり、画像アイテムＩ−１１は文字列「Ｚｚｚ…」である。このうち、画像アイテムＩ−１０は人物３０６の鼻の位置と対応するように配置される。

以上説明したように、再生画像に貼付する画像アイテムは、撮影状態判定部４２が判定した人物の撮影状態の不具合を反映した内容を有している。特に、上述した画像アイテムＩ−１〜Ｉ−１０は、もとの画像の不具合の内容をユーモラスに表現するものであるため、合成画像を見たユーザがその合成画像を保存したりプリントしたりする可能性が高い。したがって、不具合が発生している画像であっても、その不具合を反映した内容の画像アイテムを貼付することにより、有効に活用することができる。

ところで、撮影状態判定部４２が人物の撮影状態を判定した結果、ピンぼけ、画像ブレ、黒つぶれ、白飛び、目つぶりのうち複数の不具合がある場合には、全ての画像アイテムを貼付するようにしてもよい。ただし、この場合には一つの貼付領域に複数の画像アイテムが貼付されてしまう可能性もあるため、各貼付領域に貼付する画像アイテムの優先順位を予め設定しておけばより好ましい。

表示部５は、以上説明したステップＳ９において合成画像を表示し始めてから所定時間経過した時、表示中の合成画像を保存するか否かを問い合わせる問い合わせ画像を表示する（ステップＳ１０）。図１５は、問い合わせ画像の表示例を示す図である。同図に示す問い合わせ画像２１１は、表示中の合成画像（図１５では、図６に示す合成画像２０２の場合を示している）に対して「この画像を保存しますか？」というメッセージおよび「Ｙｅｓ」、「Ｎｏ」の選択肢を重ねて表示したものである。図１５では、「Ｙｅｓ」の文字が「Ｎｏ」の文字よりも太字で表示されており、「Ｙｅｓ」が選択可能な状態を示している。

問い合わせ画像２１１を見たユーザは、入力部９から合成画像を保存するか否かを選択する選択信号を入力する。ユーザが入力部９を介して「Ｙｅｓ」を選択した場合（ステップＳ１１，Ｙｅｓ）、画像処理装置１は合成前の再生画像を削除するか否かを再度問い合わせる再問い合わせ画像を表示部５で表示する（ステップＳ１２）。ここで再生画像を削除するか否かについて再度問い合わせを行うのは、合成画像を見たユーザが再生画像も残しておきたくなる可能性があるからである。

図１６は、再問い合わせ画像の表示例を示す図である。同図に示す再問い合わせ画像２１２は、ステップＳ９で表示した合成画像（図１６では、図６に示す合成画像２０２の場合を示している）に対して「合成前の画像を削除しますか？」というメッセージおよび「Ｙｅｓ」、「Ｎｏ」の選択肢を重ねて表示したものである。図１６では、「Ｎｏ」の文字が「Ｙｅｓ」の文字よりも太字で表示されており、「Ｎｏ」が選択可能な状態を示している。

再問い合わせ画像２１２を見たユーザが入力部９を介して「Ｎｏ」を選択し、再生画像を削除しないで残す場合（ステップＳ１３，Ｎｏ）、画像処理装置１は合成画像を圧縮伸張部７で圧縮し、記録媒体インターフェース８を介して記録媒体１００へ書き込んで保存する（ステップＳ１４）。一方、再問い合わせ画像２１２を見たユーザが入力部９を介して「Ｙｅｓ」を選択して再生画像を削除する場合（ステップＳ１３，Ｙｅｓ）、画像処理装置１は合成画像を上記同様に記録媒体１００へ書き込んで保存する一方、その合成画像の合成前の再生画像を記録媒体１００から削除する（ステップＳ１５）。

次に、ステップＳ１１において、問い合わせ画像２１１を見たユーザが入力部９を介して「Ｎｏ」を選択した場合（ステップＳ１１，Ｎｏ）を説明する。この場合、画像処理装置１は表示部５で表示中の合成画像を削除するとともに、再生画像も記録媒体１００から削除する（ステップＳ１６）。なお、ユーザが合成画像を削除する選択をした場合に合成前の再生画像の削除の可否を再度問い合わせるようにしてもよい。

以上説明した本発明の実施の形態１によれば、処理対象の画像の画像信号中の画像パターンに基づいて検出した被写体の撮影状態を画像信号に基づいて判定し、被写体の撮影状態に不具合がある場合、この不具合に対応した画像アイテムをもとの画像の所定の貼付領域へ貼付するため、被写体の撮影状態に不具合がある画像に対して付加価値を生じさせることができる。したがって、不具合を有する画像であってもその不具合を解消する補正を行うことなく有効に活用することが可能となる。この結果、撮影した画像の無駄を少なくすることができる。

（実施の形態２）
図１７は、本発明の実施の形態２に係る画像処理装置である撮像装置の構成を模式的に示す図である。同図に示す画像処理装置１６は、画像処理部１７の構成を除いて上記実施の形態１で説明した画像処理装置１と同様の構成を有する。

画像処理装置１６の画像処理部１７は、被写体検出部４１、撮影状態判定部４４および画像合成部４３を有する。このうち、撮影状態判定部４４は、合焦判定部４２１、画像ブレ判定部４２２、明暗判定部４２３、目つぶり判定部４２４に加えて、被写体検出部４１が検出した人物の顔からその人物の年齢および性別を判定する年齢・性別判定部４２５を有する。

年齢・性別判定部４２５は、被写体検出部４１が検出した人物の顔に対して抽出した特徴情報を、予め男女別の幅広い年齢層に対して作成しておいた個人顔特徴情報と照合して両者の類似度を算出することにより、その人物の年齢および性別を判定する機能を有している（年齢・性別判定のより詳細な内容については、例えば特開２００５−１６５４４７号公報を参照）。

本実施の形態２において、画像処理装置１６が再生モードに設定されている場合に行う画像処理方法の概要は、上述した実施の形態１と同様である。ただし、本実施の形態２において、ステップＳ５で画像中の人物の撮影状態を判定する際、撮影状態判定部４４は、年齢・性別判定部４２５が画像中の人物の年齢と性別を判定する処理をさらに行う。また、本実施の形態２においては、ステップＳ８において画像合成部４３が参照する対応テーブルが上記実施の形態１と異なっている。

図１８は、対応テーブル記憶部１３３が記憶する対応テーブルの構成を示す図である。同図に示す対応テーブルＴ２は、不具合の内容（ピンぼけ、画像ブレ、黒つぶれ、白飛び、目つぶり）と人物の年齢および性別との組み合わせに基づいて再生画像に貼付すべき画像アイテムの種類および貼付領域が与えられている。対応テーブルＴ２では、人物の年齢が、「１０歳以下」、「１１〜３０歳」、「３１〜７０歳」、「７１歳以上」の４つのカテゴリーに分けられている。

撮影状態判定部４４の判定結果に応じた画像合成部４３の処理の内容を具体的に説明する。対応テーブルＴ１と対応テーブルＴ２との比較からも明らかなように、年齢・性別判定部４５が画像中の人物を「１０歳以下の男性」と判定した場合、撮影状態判定部４４の判定結果に応じた画像合成部４３の処理は、上述した実施の形態１と同様である。

以下、年齢・性別判定部４５が画像中の人物を「１０歳以下の女性」と判定した場合を説明する。まず、合焦判定部４２１が「ピンぼけあり」と判定した場合を説明する。この場合、画像合成部４３は、テーブルＴ２を参照することにより、画像アイテムＫ−１、Ｋ−２およびＫ−３を処理対象の人物に対する貼付領域Ａ、ＢおよびＦにそれぞれ貼付する。なお、テーブルＴ２において、画像アイテムＫ−１の貼付領域は「Ａ＊」と記載されているが、これは画像アイテムＫ−１が貼付領域Ａの面積よりも大きいことを意味している。

図１９は、合焦判定部４２１によって「ピンぼけあり」と判定された場合に画像合成部４３が生成した合成画像の表示例を示す図である。なお、合成前の再生画像は、図５に示す再生画像２０１と同様であるとする。図１９に示す合成画像２１３では、画像アイテムＫ−１が女性の幽霊の絵であり、画像アイテムＫ−２、Ｋ−３が人魂の絵である。このうち、画像アイテムＫ−１は、幽霊の頭部が人物３０７の頭部と重なるように配置される。

次に、画像ブレ判定部４２２が「画像ブレあり」と判定した場合を説明する。この場合、画像合成部４３は、テーブルＴ２を参照することにより、画像アイテムＫ−４、Ｋ−５およびＫ−６を処理対象の人物に対する貼付領域Ａ、ＥおよびＦにそれぞれ貼付する。なお、画像アイテムＫ−４は、画像アイテムＫ−１と同様、貼付領域Ａの面積よりも大きい面積を有している（テーブルＴ２では「Ａ＊」と表記）。

図２０は、画像ブレ判定部４２２によって「画像ブレあり」と判定された場合に画像合成部４３が生成した合成画像の表示例を示す図である。なお、合成前の再生画像は、図７に示す再生画像２０３と同様であるとする。図２０に示す合成画像２１４では、画像アイテムＫ−４が携帯電話の絵であり、画像アイテムＫ−５が音符の絵であり、画像アイテムＫ−６が音波の伝播を模式的に示す絵（模様）である。このうち、画像アイテムＫ−４は、携帯電話のディスプレイが人物３０８の顔の位置にくるように配置される。

次に、明暗判定部４２３が「黒つぶれあり」と判定した場合を説明する。この場合、画像合成部４３は、テーブルＴ２を参照することにより、画像アイテムＫ−７を処理対象の人物に対する貼付領域Ａに貼付する。

図２１は、明暗判定部４２３によって「黒つぶれあり」と判定された場合に画像合成部４３が生成した合成画像の表示例を示す図である。なお、合成前の再生画像は、図９に示す再生画像２０５と同様であるとする。図２１に示す合成画像２１５では、画像アイテムＫ−７が天使の輪の絵である。この画像アイテムＫ−７は、人物３０９の頭部に配置される。

次に、明暗判定部４２３が「白飛びあり」と判定した場合を説明する。この場合、画像合成部４３は、テーブルＴ２を参照することにより、画像アイテムＫ−８を処理対象の人物に対する貼付領域Ａに貼付する。ただし、画像アイテムＫ−８は、貼付領域Ａの面積よりも大きい面積を有している（テーブルＴ２では「Ａ＊」と表記）。

図２２は、明暗判定部４２３によって「白飛びあり」と判定された場合に画像合成部４３が生成した合成画像の表示例を示す図である。なお、合成前の再生画像は、図１１に示す再生画像２０７と同様であるとする。図２２に示す合成画像２１６では、画像アイテムＫ−８が女性の貴族の装束の絵である。画像アイテムＫ−８は、貴族の装束の顔の位置が人物３１０の顔の位置と一致するように配置される。

次に、目つぶり判定部４２４が「目つぶりあり」と判定した場合を説明する。この場合、画像合成部４３は、テーブルＴ２を参照することにより、画像アイテムＫ−９を処理対象の人物に対する貼付領域Ａに貼付し、画像アイテムＫ−１０を処理対象の人物に対する貼付領域Ｂ〜Ｇの６箇所にそれぞれ貼付する。

図２３は、目つぶり判定部４２４によって「目つぶりあり」と判定された場合に画像合成部４３が生成した合成画像の表示例を示す図である。なお、合成前の再生画像は、図１３に示す再生画像２０９と同様であるとする。図２３に示す合成画像２１７では、画像アイテムＫ−９が少女マンガ風の目の絵であり、画像アイテムＫ−１０がバラの花の絵である。画像アイテムＫ−９は、人物３１１の目の位置にくるように配置される。

年齢・性別判定部４２５の判定によって「１０歳以下の女性」と判定された場合の合成画像２１３〜２１７には、「１０歳以下の男性」と判定された場合の合成画像と全く異なる画像アイテムが貼付される。このように、本実施の形態２においては、人物の撮影状態が同じ不具合を有していても、その人物の年齢や性別に応じて合成後の画像が全く異なったものとなる。

なお、図１８では記載を省略しているが、人物の年齢が「１１〜３０歳」、「３１〜７１歳」、「７１歳以上」である場合にも、性別ごとに異なる画像アイテムの種類および貼付領域がそれぞれ定められている。

以上説明した本発明の実施の形態２によれば、処理対象の画像の画像信号中の画像パターンに基づいて検出した被写体の撮影状態を画像信号に基づいて判定し、被写体の撮影状態に不具合がある場合、この不具合に対応した画像アイテムをもとの画像の所定の貼付領域へ貼付するため、被写体の撮影状態に不具合がある画像に対して付加価値を生じさせることができる。したがって、上述した実施の形態１と同様、不具合を有する画像であってもその不具合を解消する補正を行うことなく有効に活用することが可能となり、撮影した画像の無駄を少なくすることができる。

また、本実施の形態２によれば、画像中の人物の撮影状態を判定する際にその人物の年齢や性別の判定も行うため、被写体である人物の個人情報も反映した合成画像を生成することが可能となる。

（その他の実施の形態）
ここまで、本発明を実施するための最良の形態として、実施の形態１および２を詳述してきたが、本発明はそれらの実施の形態によって限定されるべきものではない。例えば、本発明において、画像処理装置のユーザの年齢や性別に関する情報を予め画像処理装置に入力して記憶させておき、ユーザの年齢、性別と被写体である人物の撮影状態の不具合との組み合わせに応じて画像に貼付する画像アイテムの種類および貼付領域を定めてもよい。

また、本発明において、被写体である人物の年齢・性別情報、画像処理装置のユーザの年齢・性別情報、および人物の撮影状態の不具合の組み合わせに基づいて合成画像を生成するようにしてもよい。

また、本発明において、画像合成部が一つの画像に対して複数の合成画像を生成し、この生成した複数の合成画像の中からユーザが所望の合成画像を選択することができるようにしてもよい。

また、本発明は、人物以外の被写体に対しても適用することができる。ただし、一般の被写体に対して本発明を適用する場合、目つぶり判定および年齢・性別判定の機能は不要である。

また、本発明に係る画像処理装置は、撮像機能を有していなくてもよい。この場合、画像処理装置は、処理対象の画像を撮影するデジタルカメラ等の撮像装置とインターネットを介して画像データの送受信を行うことが可能な機能を有していればより好ましい。

本発明に係る画像処理プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＭＯディスク、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。

このように、本発明は、ここでは記載していない様々な実施の形態等を含みうるものであり、特許請求の範囲により特定される技術的思想を逸脱しない範囲内において種々の設計変更等を施すことが可能である。

本発明の実施の形態１に係る画像処理装置の構成を模式的に示す図である。 本発明の実施の形態１に係る画像処理装置が行う画像処理方法の概要を示すフローチャートである。 本発明の実施の形態１に係る画像処理装置の画像合成部が参照する対応テーブルの構成を示す図である。 被写体である人物の画像に対する画像アイテムの貼付領域を模式的に示す図である。 被写体である人物の画像にピンぼけが発生している場合の再生画像の表示例を示す図である。 被写体である人物の画像にピンぼけが発生している場合の合成画像の表示例を示す図である。 被写体である人物の画像に画像ブレが発生している場合の再生画像の表示例を示す図である。 被写体である人物の画像に画像ブレが発生している場合の合成画像の表示例を示す図である。 被写体である人物の画像に黒つぶれが発生している場合の再生画像の表示例を示す図である。 被写体である人物の画像に黒つぶれが発生している場合の合成画像の表示例を示す図である。 被写体である人物の画像に白飛びが発生している場合の再生画像の表示例を示す図である。 被写体である人物の画像に白飛びが発生している場合の合成画像の表示例を示す図である。 被写体である人物が目をつぶっている場合の再生画像の表示例を示す図である。 被写体である人物が目をつぶっている場合の合成画像の表示例を示す図である。 問い合わせ画像の表示例を示す図である。 再問い合わせ画像の表示例を示す図である。 本発明の実施の形態２に係る画像処理装置の構成を模式的に示す図である。 本発明の実施の形態２に係る画像処理装置の画像合成部が参照する対応テーブルの構成を示す図である。 被写体である人物が１０歳以下の女性であり、かつその人物の画像にピンぼけが発生している場合の合成画像の表示例を示す図である。 被写体である人物が１０歳以下の女性であり、かつその人物の画像に画像ブレが発生している場合の合成画像の表示例を示す図である。 被写体である人物が１０歳以下の女性であり、かつその人物の画像に黒つぶれが発生している場合の合成画像の表示例を示す図である。 被写体である人物が１０歳以下の女性であり、かつその人物の画像に白飛びが発生している場合の合成画像の表示例を示す図である。 被写体である人物が１０歳以下の女性であり、かつその人物が目をつぶっている場合の合成画像の表示例を示す図である。

符号の説明

１、１６ 画像処理装置
２ 撮像部
３ センサ部
４、１７ 画像処理部
５ 表示部
６ 表示制御部
７ 圧縮伸張部
８ 記録媒体インターフェース
９ 入力部
１０ 音声出力部
１１ 補助光投射部
１２ 制御部
１３ 記憶部
１４ レンズ駆動部
１５ 絞り駆動部
２１ 撮影レンズ
２２ 絞り
２３ 撮像素子
２４ アナログ信号処理部
２５ Ａ／Ｄ変換部
４１ 被写体検出部
４２、４４ 撮影状態判定部
４３ 画像合成部
４５ 年齢・性別判定部
１００ 記録媒体
１２１ 時計
１３１ プログラム記憶部
１３２ 被写体検出情報記憶部
１３３ 対応テーブル記憶部
１３４ 画像アイテム記憶部
２０１、２０３、２０５、２０７、２０９ 再生画像
２０２、２０４、２０６、２０８、２１０、２１３〜２１７ 合成画像
２１１ 問い合わせ画像
２１２ 再問い合わせ画像
３０１〜３１１ 人物
４２１ 合焦判定部
４２２ 画像ブレ判定部
４２３ 明暗判定部
４２４ 目つぶり判定部
４２５ 年齢・性別判定部
Ａ〜Ｇ 貼付領域
Ｉ−１〜Ｉ−１１、Ｋ−１〜Ｋ−１０ 画像アイテム

Claims (6)

1. 処理対象の再生画像に対応する画像信号中の画像パターンに基づいて前記画像に含まれる被写体を検出する被写体検出部と、
   前記被写体検出部が検出した被写体の撮影状態を前記画像信号に基づいて判定する撮影状態判定部と、
   前記撮影状態判定部が判定した前記被写体の撮影状態に不具合がある場合、この不具合に対応し、絵、模様、文字、数字および記号の少なくともいずれか一つからなる画像アイテムを前記画像の所定の貼付領域へ貼付する画像合成部と、
   複数の前記画像アイテムを記憶するとともに、前記撮影状態判定部の判定結果と前記画像に貼付する前記画像アイテムの種類および貼付領域との対応関係を記憶する記憶部と、
   を備え、
   前記被写体検出部は人物の顔を検出可能であり、
   前記画像合成部は、前記被写体検出部が前記人物の顔を検出した場合において、前記被写体の撮影状態に不具合があるとき、少なくとも前記人物の顔を含む貼付領域に前記絵を含む前記画像アイテムを前記記憶部から読み出して前記顔と重なるように貼付することを特徴とする画像処理装置。
2. 前記画像アイテムは、前記被写体の撮影状態の不具合を反映する内容を有することを特徴とする請求項１記載の画像処理装置。
3. 前記撮影状態判定部は、
   前記人物に焦点が合っているか否かを判定する合焦判定部と、
   前記人物の画像に画像ブレが発生しているか否かを判定する画像ブレ判定部と、
   前記人物の画像に黒つぶれまたは白飛びが発生しているか否かを判定する明暗判定部と、
   前記人物が目をつぶっているか否かを判定する目つぶり判定部と、
   を有することを特徴とする請求項１または２記載の画像処理装置。
4. 前記撮影状態判定部は、
   前記人物の年齢および性別を判定する年齢・性別判定部をさらに有することを特徴とする請求項３記載の画像処理装置。
5. 所定の視野領域内の被写体を撮像して画像信号を生成する撮像部と、
   前記撮像部が撮像した画像をもとに前記画像合成部が合成した画像を表示する表示部と、
   をさらに備えたことを特徴とする請求項１〜４のいずれか一項記載の画像処理装置。
6. 各々が絵、模様、文字、数字および記号の少なくともいずれか一つからなる複数の画像アイテムを記憶する記憶部を備えた画像処理装置に、
   処理対象の再生画像に対応する画像信号中の画像パターンに基づいて前記画像に含まれる被写体を検出する被写体検出ステップ、
   前記被写体検出ステップで検出した被写体の撮影状態を前記画像信号に基づいて判定する撮影状態判定ステップ、
   前記撮影状態判定ステップで判定した前記被写体の撮影状態に不具合がある場合、この不具合に対応した前記画像アイテムを前記記憶部から読み出して前記画像の所定の貼付領域へ貼付する画像合成ステップ、
   を実行させ、
   前記画像合成ステップは、
   前記被写体検出ステップで人物の顔を検出した場合において、前記被写体の撮影状態に不具合があるとき、少なくとも前記人物の顔を含む貼付領域に前記絵を含む前記画像アイテムを、前記記憶部であって前記撮影状態判定ステップの判定結果と前記画像に貼付する前記画像アイテムの種類および貼付領域との対応関係をさらに記憶する前記記憶部から読み出して前記顔と重なるように貼付することを特徴とする画像処理プログラム。

Images