JP5423893B2 - 撮像装置、画像処理装置、画像処理プログラム記録媒体 - Google Patents

Description

本発明は、撮像装置、画像処理装置、画像処理プログラム記録媒体に関する。

電子カメラやカメラ付き携帯電話などの普及に伴い、様々な場所で撮影を行う機会が増えている。しかしながら、撮影した画像に他人に見られたくない人や物が写っていたり、他人が撮影した画像にたまたま自分が写り込んでしまう場合がある。そこで、撮影された人のプライバシを保護するために、撮影した映像にモザイク処理（ぼかし処理の一つ）を施してマスクし、パスワードを入力しなければモザイク処理前の画像を見られないようにする技術が紹介されている（例えば、特許文献１参照）。

特開２００３−８７６３２号公報

ところが、従来技術ではモザイク処理を施す被写体や逆にモザイク処理を施さない被写体の選択方法などについては詳しく開示されていなかった。また、モザイク処理前の画像の外部出力時のプライバシー保護については十分に考えられていなかった。

本発明の目的は、使い勝手のよいぼかし処理機能を備え、ぼかし処理操作が簡単で、外部出力時のプライバシー保護を行うことができる撮像装置、画像処理装置、画像処理プログラム記録媒体を提供することである。

本発明に係る撮像装置は、２次元状に配列された画素毎に設けられたマイクロレンズと、前記マイクロレンズ毎に設けられた複数の受光素子とを有し、前記マイクロレンズ毎に少なくとも１つの受光素子の出力を選択して画像を生成する画像生成部と、前記画像生成部が生成する画像に対して、予め設定されたぼかし量で、ぼかし処理を施す領域を設定する設定部と、前記設定部により設定された前記画像生成部が生成する画像の前記ぼかし処理を施す領域の前記画素の出力として、当該画素周辺の他の前記画素に対して設けられた前記複数の受光素子のうち少なくとも１つの前記受光素子の出力を含むように選択し、前記ぼかし処理を施さない領域の前記画素の出力として、当該画素に対して設けられた前記複数の受光素子の出力を選択する制御部と、を備えたことを特徴とする。

本発明に係る画像処理装置は、プライバシー保護を図るための画像処理として前記ぼかし処理が施されているプライバシー保護処理済み被写体と前記ぼかし処理が施されていないプライバシー保護未処理被写体との少なくとも一方の被写体を含む画像が記憶された画像記憶媒体から前記画像を読み出す読み出し部と、前記読み出し部により読み出された前記画像を表示する第２表示部と、前記第２表示部に表示された少なくとも１つの前記画像から外部出力する画像を選択する第２選択部と、前記第２選択部により選択された前記画像が前記プライバシー保護未処理被写体を含む画像である場合、前記プライバシー保護未処理被写体に前記プライバシー保護処理を施して外部に出力する画像出力部とを備えることを特徴とする。

本発明に係る画像処理装置は、プライバシー保護を図るための画像処理として前記ぼかし処理が施されていないプライバシー保護処理無被写体を含み且つ作成時に閲覧期限が付加された画像を画像記憶媒体から読み出す画像入力部と、画像表示用の第２表示部と、前記画像入力部が読み出した前記プライバシー保護処理無被写体を含む画像を前記第２表示部に表示する際に、前記プライバシー保護処理無被写体を含む画像に付加された閲覧期限を参照し、閲覧期限内である場合は前記プライバシー保護処理無被写体を含む画像を前記第２表示部に表示し、閲覧期限外である場合は前記プライバシー保護処理無被写体にプライバシー保護を図るための画像処理として前記ぼかし処理を施した画像を前記第２表示部に表示する表示制御部とを設けたことを特徴とする。

本発明に係る撮像装置、画像処理装置、画像処理プログラム記録媒体は、使い勝手がよく、ぼかし処理操作が簡単で、画像を外部出力する際のプライバシー保護を適切に行うことができる。

第１の実施形態に係る撮像装置１０１の構成を示すブロック図である。 ぼかす部分とぼかさない部分の選択例を示す説明図である。 撮像装置１０１のぼかし画像生成部１５１の構成を示すブロック図である。 背景をぼかさない場合の一例を示す説明図である。 移動被写体の検出とぼかし処理の一例を示す説明図である。 ぼかし撮影処理の流れを示すフローチャートである。 ぼかし処理を施す領域の決定方法および領域情報（ぼかし領域の位置情報）を示す説明図である。 ぼかし処理方法を示す説明図である。 撮影時のぼかし処理方法の具体例を示す説明図である。 第２の実施形態に係る撮像装置１０１の構成を示すブロック図である。 撮像装置１０１のぼかし画像生成部１５１の構成を示すブロック図である。 撮像装置１０１のぼかし撮影処理の流れを示すフローチャートである。 主要被写体の検出処理の流れを示すフローチャートである。 非主要被写体の検出方法の例を示す説明図である。 非主要被写体の検出処理の流れを示すフローチャートである。 撮影禁止被写体がある背景の処理例を示す説明図である。 撮影禁止被写体の検出処理の流れを示すフローチャートである。 第３の実施形態に係る撮像装置１０１の使用形態の全体像を示す説明図である。 第３の実施形態に係る撮像装置１０１の構成を示すブロック図である。 「画像閲覧プログラム」の表示画面例を示す説明図である。 撮像装置１０１のぼかし画像生成部１５１の構成を示すブロック図である。 外部出力処理の流れを示すフローチャートである。 「画像閲覧プログラム」の表示処理の流れを示すフローチャートである。 拡大表示処理の一例を示す説明図である。 拡大表示処理の流れを示すフローチャートである。 パソコン５０１の構成例を示すブロック図である。

以下、本発明に係る撮像装置、画像処理装置、画像処理プログラム記録媒体の実施形態について図面を用いて詳しく説明する。
（第１の実施形態）
［撮像装置１０１の構成］
図１は第１の実施形態に係る撮像装置１０１の構成を示すブロック図である。撮像装置１０１は、レンズ部１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、画像バッファ１０６と、ＴＧ（タイミングジェネレータ）１０７と、制御部１０８と、メモリカード１０９ａを装着するためのメモリカードＩＦ１０９と、表示部１１０と、操作部１１１と、メモリ１１２とで構成される。

レンズ部１０２は、レンズ制御部１０２ａと、フォーカスレンズやズームレンズなどで構成されるレンズ群１０２ｃや絞り１０２ｄを駆動する駆動部１０２ｂとで構成される。レンズ制御部１０２ａは、レンズＩＦ１０２ｅを介して制御部１０８に接続され、フォーカスレンズ位置の移動や位置情報を制御部１０８に出力する。また、制御部１０８は、露出条件に応じて絞り１０２ｃを開閉したり、メカニカルシャッタ１０３を所定のシャッタ速度で開閉する。尚、撮像装置１０１は、撮像素子１０４で逐次撮影される被写体画像を表示部１１０に動画表示（ＬＶ（ライブビュー）画像表示）して被写体の様子を確認することができる電子カメラである。ＬＶ画像表示中はメカニカルシャッタ１０３は開放状態になり、撮像素子１０４は制御部１０８からＴＧ１０７を介して出力されるタイミングに応じて電子シャッタで撮影を行う。尚、動画撮影モードが選択された場合も電子シャッタで撮影された画像がメモリカード１０９ａに記録される。

撮像素子１０４は、ＲＧＢ各色のフォトダイオードが受光面に二次元状に配置されており、フォトダイオードに入射される光量に応じた大きさの電気信号をＡＦＥ１０５に出力する。

ＡＦＥ１０５は、撮像素子１０４から出力されるＲＧＢ各色の電気信号を制御部１０８から指示されるゲインに応じてレベル調整する。そして、レベル調整されたアナログの電気信号をデジタルデータにＡ／Ｄ変換して画像バッファ１０６に取り込む。

画像バッファ１０６は、揮発性の高速メモリなどで構成される。また、画像バッファ１０６は、制御部１０８が画像処理やホワイトバランス処理などを行う際の処理バッファとしても用いられ、処理後の画像データも画像バッファ１０６に保持される。尚、見られたくない被写体のプライバシ保護を図るための画像処理以外の画像処理（例えば色補正処理やエッジ強調処理或いはＪＰＥＧ圧縮処理など）やホワイトバランス処理については、本実施形態の主要部分ではないので図示していない。

ＴＧ１０７は、制御部１０８の指令（例えば撮像素子１０４から読み出す画像の解像度など）に応じて各部にタイミング信号を出力する。例えばＴＧ１０７は、撮像素子１０４から画像信号を読み出すためのタイミング信号，ＡＦＥ１０５でＡ／Ｄ変換するためのタイミング信号および画像バッファ１０６へ画像データを書き込むためのタイミング信号などを出力する。

制御部１０８は、内部またはメモリ１１２に予め記憶されたプログラムコードに従って動作するＣＰＵで構成される。制御部１０８は、操作部１１１に設けられた各種の操作ボタンの操作に応じて撮像装置１０１全体の動作を制御する。本実施形態に関係する制御部１０８の構成については後で詳しく説明する。

メモリカードＩＦ１０９は、制御部１０８が出力する撮影画像データを脱着可能な記憶媒体であるメモリカード１０９ａに記録するためのインターフェースを提供する。或いは、操作部１１１で撮影済み画像の表示モード（再生ボタン１１１ｅを押下）が選択された場合、メモリカードＩＦ１０９はメモリカード１０９ａに保存された画像データを読み出して制御部１０８に出力し、制御部１０８は読み出された画像を表示部１１０に表示する。

表示部１１０は、例えば液晶モニタなどで構成される。そして、制御部１０８が出力するメニュー画面やＬＶ画像或いは撮影画像などが表示部１１０に表示される。

操作部１１１は、電源ボタン１１１ａ，レリーズボタン１１１ｂ，撮影モードダイヤル１１１ｃ，メニューボタン１１１ｄ，再生ボタン１１１ｅおよび十字カーソルボタン１１１ｆなどの操作ボタン類で構成される。撮影者は、これらの操作ボタンを用いて撮像装置１０１を操作し、これらの操作ボタンによる操作情報は制御部１０８に出力される。そして、制御部１０８は、操作部１１１から入力する操作情報に応じて、撮像装置１０１全体の動作を制御する。特に本実施形態に係る撮像装置１０１では、撮影モードダイヤル１１１ｇで「ぼかし撮影モード」を選択できるようになっている。「ぼかし撮影モード」は、ユーザーが設定した条件に合致する被写体部分にぼかし処理を施してプライバシ保護を図ることができる撮影モードである。

また、本実施形態では、見られたくない被写体のプライバシ保護を図るための画像処理としてぼかし処理を行う場合について説明するが、ぼかし処理のようにフォーカス状態を甘くする処理だけでなく、プライバシ保護のために、色相を変えたり、別の色や画像で置き換えるなどの画像処理を行う場合も含まれる。尚、本実施形態ではわかり易いように「ぼかし撮影モード」としたが、「プライバシ保護撮影モード」と称しても構わない。

ここで、図１に示した操作部１１１には本実施形態で必要なボタン類しか記載されていないが、シャッタ速度や絞り値などの設定や感度設定或いは撮影モードダイヤルなど通常のカメラに必要な操作は全て操作部１１１の操作ボタンを用いて行われる。尚、十字カーソルボタン１１１ｆは、上下左右の４つのカーソルボタンと中央のＯＫボタンとで構成される。

メモリ１１２は、不揮発性のフラッシュメモリなどで構成される。メモリ１１２には、制御部１０８のプログラムコードや各部の制御に必要なパラメータなどが保存される。尚、これらのパラメータは表示部１１０に表示される設定メニューによって適宜変更される。

［ぼかし処理を行う被写体とぼかし処理を行わない被写体について］
本実施形態に係る撮像装置１０１は、撮影画像の中から予め設定された被写体を検出し、検出された被写体にぼかし処理を施したり、逆にぼかし処理を施さない機能を持っている。例えば、撮影画像内の「笑顔ではない顔」を検出してぼかし処理を施し、誰の顔であるかを特定できないようにする。この場合の例を図２（ａ）に示す。図２（ａ）の撮影画像例では山を背景として人物Ａから人物Ｆの６人が撮影されている。人物Ａ，Ｂは目を閉じた顔で、人物Ｃ，Ｄ，ＥおよびＦは笑顔で写っている。この場合、人物Ａ，Ｂは笑顔ではないので、図２（ｂ）に示すように、「笑顔ではない顔」として検出され、その顔の部分の領域３０１および領域３０２にぼかし処理が施される。

別の例として、図２（ｃ）に示すように、「ぼかしたくない被写体（ぼかさない被写体）」を予め設定しておき、撮影画像から「ぼかさない被写体」を検出して、当該被写体の領域３０３を除く部分に対してぼかし処理を施す。例えば「ぼかさない被写体」として特定人物の顔（図２（ｃ）の例では人物Ｅの顔）を予め設定しておけば、当該人物の顔以外の画像をぼかすことができる。

また、図２（ｄ）の例は、特定人物の顔（人物Ｅの顔）以外の全ての顔に対してぼかし処理を施す場合を示している。先ず「顔」検出を行って人物Ａから人物Ｆまでの６人の顔を全て検出する。そして、検出した顔の中から特定人物の顔（人物Ｅの顔）を除く他の全ての顔に対してぼかし処理を施す。例えば、人物Ｅの顔の領域３０３にはぼかし処理が施されていないが、人物Ａ，人物Ｂ，人物Ｃ，人物Ｄおよび人物Ｆの顔の領域３０１，領域３０２，領域３０４，領域３０５および領域３０６にはぼかし処理が施されている。

ここで、非主要被写体と主要被写体とについて定義しておく。非主要被写体とはぼかし処理を行う被写体（処理被写体）を意味し、主要被写体とはぼかし処理を行わない被写体（非処理被写体）を意味する。

尚、非主要被写体と主要被写体に設定できる被写体は、撮像装置１０１が自動的に検出可能な被写体であればよく、例えば人間の顔，手，特定の物体などである。また、顔の中でも、笑顔，笑顔でない顔，特定人物の顔などの設定も可能である。つまり、画像処理によって被写体の特徴量の判別やパターン認識が可能な被写体であればよい。

以下、簡単な処理例について説明する。例えば、撮影画像内の「笑顔ではない顔」を検出してぼかし処理を施し、誰の顔であるかを特定できないようにする場合の様子を図２（ａ）に示す。図２（ａ）の撮影画像例では山を背景として人物Ａから人物Ｆの６人が撮影されている。そして、人物Ａ，Ｂは目を閉じた顔で、人物Ｃ，Ｄ，ＥおよびＦは笑顔で写っているものとする。この場合、人物Ａ，Ｂは笑顔ではないので、図２（ｂ）に示すように、「笑顔ではない顔」として検出され、その顔の部分の領域３０１および領域３０２にぼかし処理が施される。

別の例として、図２（ｃ）に示すように、「ぼかしたくない被写体（ぼかさない被写体）」を予め主要被写体として設定しておき、撮影画像から「ぼかさない被写体」を検出して、当該被写体の領域３０３を除く部分に対してぼかし処理を施す。例えば「ぼかさない被写体」として特定人物の顔（図２（ｃ）の例では人物Ｅの顔）を予め設定しておけば、当該人物の顔以外の画像を非主要被写体としてぼかし処理を施すことができる。

また、図２（ｄ）の例は、特定人物の顔（人物Ｅの顔）以外の全ての顔に対してぼかし処理を施す場合を示している。先ず「顔」検出を行って人物Ａから人物Ｆまでの６人の顔を全て検出する。そして、検出した顔の中から特定人物の顔（人物Ｅの顔）を除く他の全ての顔（非主要被写体）に対してぼかし処理を施す。例えば、人物Ｅの顔（主要被写体）の領域３０３にはぼかし処理が施されていないが、人物Ａ，人物Ｂ，人物Ｃ，人物Ｄおよび人物Ｆの顔の領域３０１，領域３０２，領域３０４，領域３０５および領域３０６にはぼかし処理が施されている。

このように本実施形態に係る撮像装置１０１は、他人に見られるのが恥ずかしい顔や被写体（見られたくない被写体）をぼかすことにより、プライバシ保護を行うことができる。

次に、制御部１０８の構成について詳しく説明する。
［制御部１０８の構成］
制御部１０８は、ぼかし画像生成部１５１と、記録制御部１５２と、表示制御部１５３と、撮影制御部１５４とで構成される。

ぼかし画像生成部１５１は、操作部１１１のレリーズボタン１１１ｂが押下された時に、撮像素子１０４で撮像され画像バッファ１０６に取り込まれた画像の中から予め設定された被写体条件に合致する被写体を検出してぼかし処理を施し、ぼかし画像を生成する。尚、ぼかし画像生成部１５１の構成については後で詳しく説明する。

記録制御部１５２は、ぼかし画像生成部１５１が生成したぼかし画像をメモリカードＩＦ１０９に装着されているメモリカード１０９ａに保存する。或いは、操作部１１１の再生ボタン１１１ｅが押下されると、メモリカード１０９ａに保存されている撮影済みの画像データを読み出して表示部１１０に表示する。

表示制御部１５３は、撮影画像，ＬＶ画像およびメニュー画面などを表示部１１０に表示する。或いは、記録制御部１５２がメモリカード１０９ａから読み出した撮影済みの画像を表示部１１０に表示する。

撮影制御部１５４は、レンズＩＦ１０２ｅを介して接続されているレンズ部１０２のレンズ制御部１０２ａに指令してレンズ群１０２ｃのフォーカスレンズの位置や絞り１０２ｄを制御したり、メカニカルシャッタ１０３の開閉やＡＦＥ１０５のゲイン制御或いはＴＧ１０７のタイミング制御などを行って、撮像素子１０４で撮像した画像を画像バッファ１０６に取り込む一連の撮影処理を行う。

次に、ぼかし処理を行うぼかし画像生成部１５１の構成について詳しく説明する。
［ぼかし画像生成部１５１の構成］
図３は、ぼかし画像生成部１５１の構成を示す図である。図３において、ぼかし画像生成部１５１は、非主要被写体設定部２０１と、主要被写体設定部２０２と、ぼかし量設定部２０３と、非主要被写体検出部２０４と、主要被写体検出部２０５と、ぼかし処理部２０６と、連写制御部２０７と、移動被写体検出部２０８とで構成される。

ここで、各部について説明する前に、以降の説明で記載する非主要被写体と主要被写体とについて定義しておく。非主要被写体とは、ぼかし処理を行う被写体（処理被写体）を意味し、例えば笑顔でない顔や特定人物の顔，手，移動被写体などである。一方、主要被写体とは、ぼかし処理を行わない被写体（非処理被写体）を意味する。

尚、非主要被写体と主要被写体に設定できる被写体は、撮像装置１０１が自動的に検出可能な被写体とし、例えば人間の顔，手，物体，移動被写体などである。また、顔の中でも、笑顔，笑顔でない顔，特定人物の顔などの設定も可能である。つまり、画像処理によって被写体の特徴量の判別やパターン認識が可能な被写体であれば何でも構わない。

次に、ぼかし画像生成部１５１を構成する各部について詳しく説明する。

非主要被写体設定部２０１は、先に説明したように、ぼかし処理を行う被写体を設定する。例えば操作部１１１のメニューボタン１１１ｄを押下して、「非主要被写体設定メニュー」を表示部１１０に表示する。表示部１１０に表示される設定メニューには、例えば笑顔でない顔，手，移動被写体，特定人物の顔，特定の物体、或いは主要被写体以外の部分などの選択項目が表示される。ここで、笑顔でない顔，手，移動被写体或いは主要被写体以外を選択する場合は、当該項目を十字カーソルボタン１１１ｆのカーソルで選択してＯＫボタンを押下すれば非主要被写体の設定が完了する。一方、特定の人物や特定の物体を選択した場合や更に検出条件を設定しなければならない場合は、予め特定の人物や特定の物体を撮影するメニュー画面が表示され、ユーザは非主要被写体として設定したい特定の人物や特定の物体を撮影して登録し、設定を完了する。或いは、メモリカード１０９ａに保存されている撮影済の画像の中から非主要被写体として設定したい画像を選択するメニュー画面が表示され、ユーザは非主要被写体として設定したい特定の人物や特定の物体の画像を選択して設定を完了する。

主要被写体設定部２０２は、先に説明したように、ぼかし処理を行わない被写体を設定する。設定方法は、非主要被写体設定部２０１と同様に行うことができる。例えば操作部１１１のメニューボタン１１１ｄを押下して、「主要被写体設定メニュー」を表示部１１０に表示する。表示部１１０に表示される設定メニューは、例えば笑顔の顔，特定人物の顔，特定の物体などである。ここで、笑顔の顔の場合は、当該項目を十字カーソルボタン１１１ｆのカーソルで選択してＯＫボタンを押下すれば主要被写体の設定が完了する。一方、特定の人物や特定の物体を選択した場合は、非主要被写体設定部２０１と同様に、予め特定の人物や特定の物体を撮影するメニュー画面が表示され、ユーザは主要被写体として設定したい特定の人物や特定の物体を撮影して登録し、設定を完了する。或いは、メモリカード１０９ａに保存されている撮影済の画像の中から主要被写体として設定したい画像を選択するメニュー画面が表示され、ユーザは主要被写体として設定したい特定の人物や特定の物体の画像を選択して設定を完了する。或いは、主要被写体以外の部分など様々な検出条件の選択項目が表示され、非主要被写体の場合と同じ設定方法で設定される。尚、主要被写体の設定は行わなくても構わない。この場合は、先に説明した非主要被写体設定部２０１で設定された被写体についてぼかし処理が施される。また、非主要被写体設定部２０１でぼかし処理を行う被写体として主要被写体以外の部分が設定されている場合は、主要被写体設定部２０２で主要被写体を設定しておく必要がある。

ここで、本実施形態に係る撮像装置１０１では、説明が分かり易いように、非主要被写体設定部２０１と主要被写体設定部２０２とに分けて設定する例を示したが、ぼかし処理を行う被写体やぼかし処理を行わない被写体を設定するための被写体設定部を１つ設けても構わない。

また、実際にぼかし処理を行う部分は非主要被写体部分であるが、非主要被写体を含む広めの領域に対してぼかし処理を施すようにしても構わない。例えば、「非主要被写体設定メニュー」や後で説明する「ぼかし量設定メニュー」などにおいて、広めの領域，少し広めの領域，ジャスト領域などを選択できるようにする。ここで、広めの領域や少し広めの領域は検出した非主要被写体を中心とした背景を含む領域で背景もぼかされるが、ジャスト領域は検出した非主要被写体そのものの領域で背景はぼかされない。さらに、ジャスト領域以外の場合は、ぼかす領域の形状を矩形，円形，楕円形などから選択できるようにしても構わない。例えば図２（ｂ）の例では、少し広めの領域が選択され、非主要被写体は正方形状の領域３０１および領域３０２として選択され、ぼかし処理が行われる。また、図４（ａ）は非主要被写体として笑顔ではない顔が設定され、広めの領域３６１でぼかし処理が行われる一例を示している。この場合は、非主要被写体の人物Ａと人物Ｂの顔を含む背景の鳥や山の稜線などもぼかされている。一方、背景をぼかさないジャスト領域を選択した場合、例えば図４（ｂ）に示すように、非主要被写体の人物Ａと人物Ｂの顔の部分だけにぼかし処理が施されるので、背景の鳥や山の稜線などはぼかされていない。このように、ぼかし処理を行う領域の大きさや形状を選択したり、背景をぼかさない処理などを選択できるようにしても構わない。

ぼかし量設定部２０３は、ぼかし処理を行う際のぼかし具合を設定する。例えば操作部１１１のメニューボタン１１１ｄを押下して、「ぼかし量設定メニュー」を表示部１１０に表示する。「ぼかし量設定メニュー」は、例えば、ぼかし量の選択項目として（大，中，小）が表示され、設定する項目を十字カーソルボタン１１１ｆのカーソルで選択してＯＫボタンを押下すればぼかし量の設定が完了する。尚、ぼかし量の設定は、複数のぼかし領域がある場合は、ぼかし領域毎に設定できるようにしても構わない。また、ぼかし量設定部２０３の設定に応じてぼかし量を変える処理については、ぼかし処理方法の説明で行う。

非主要被写体検出部２０４は、撮影画像の中から非主要被写体設定部２０１で設定された非主要被写体を検出する。非主要被写体の検出は、被写体の特徴量の判別やパターン認識によって行う。例えば、顔の検出は撮影画像内で顔の特徴量（顔の形状，目と鼻と口の位置関係など）に類似する部分をサーチすることで実現できる。また、笑顔や笑顔でない顔についても、顔の特徴量で目や口の形状を用いて検出することができる。さらに特定人物の顔についても、予め撮影した特定人物の顔の特徴量に類似する特徴量の顔をサーチすることで検出が可能である。また、手の検出についても顔の検出と同様に、手の特徴量（手の全体形状，指の形状や本数など）に類似する部分をサーチすることで実現できる。移動被写体は、後で説明する連写制御部２０７と移動被写体検出部２０８とによって検出される。

主要被写体検出部２０５は、撮影画像の中から主要被写体設定部２０２で設定された主要被写体を検出する。主要被写体の検出は、非主要被写体の検出と同様に、被写体の特徴量の判別やパターン認識によって行う。

ここで、本実施形態に係る撮像装置１０１では、説明が分かり易いように、非主要被写体検出部２０４と主要被写体検出部２０５とに分けて検出する例を示したが、非主要被写体設定部２０１または主要被写体設定部２０２で設定された被写体を検出するための被写体検出部を１つ設けても構わない。

ぼかし処理部２０６は、非主要被写体検出部２０４が検出した被写体に対してぼかし処理を施す。この時、先に説明したように、ぼかし処理を行う領域や形状などに応じてぼかし処理を行う領域を選択する。また、背景をぼかさない設定の場合は、検出した非主要被写体部分のみぼかし処理を行う。ぼかし処理は、撮影時に行っても構わないし、撮影後に行っても構わない。尚、ぼかし処理方法については後で詳しく説明する。

連写制御部２０７は、先に移動被写体の検出方法で説明したが、移動被写体の検出に限らず、時間的に連続する複数枚の画像を撮影する制御を行う。特に本実施形態に係る撮像装置１０１では、後で説明するぼかし処理方法の一つとして、フォーカス状態を変えながら複数枚の画像を撮影するフォーカスブラケティング撮影を行う際にも連写制御部２０７が用いられる。

移動被写体検出部２０８は、連写制御部２０７が撮影した同じ画角の複数枚の画像の時間的に前後する画像の差分から移動被写体を検出する。図５は移動被写体の検出方法を示した図である。図５において、連写制御部２０７は時間的に連続する同じ画角の画像３５１と画像３５２と画像３５３とを撮影する。そして、時間的に前後する画像３５１と画像３５２の差分画像３５４を作成して変化した被写体ａおよび被写体ｂを抽出する。同様に、時間的に前後する画像３５２と画像３５３の差分画像３５５を作成して変化した被写体ｃおよび被写体ｄを抽出する。そして、差分画像３５４と差分画像３５５とを比較すると、被写体ｂと被写体ｃは同じ被写体なので、被写体ａは紙面右方向に被写体ｄの位置まで移動した移動被写体であることがわかる。このようにして、連写制御部２０７が撮影した同じ画角の少なくとも３枚の画像から移動方向や移動量などを知ることができるので、どの被写体が移動被写体であるかを検出できる。そして、被写体ｄを非主要被写体としてぼかし処理を施した画像３５６を得ることができる。

また、表示部１１０の表面にはタッチパネルセンサを積層すれば、ユーザが表示部１１０により画像を視認した状態で、ぼかし処理を行う領域を選択することができる。この場合、ぼかし程度（大、中、小）もタッチパネルセンサの操作や、上述の十字カーソルボタン１１１ｆの操作により選択できるようにしてもよい。

すなわち、本実施形態の制御部１０８は、ユーザが表示部１１０を視認しながら設定したぼかし領域とぼかし程度に応じて、後述のぼかし処理を実行したり、上述のように、笑顔でない被写体や移動被写体を検出してぼかし処理を実行したり、その両方を適宜組み合わせてぼかし処理を実行する。

以上が本実施形態に係る撮像装置１０１の基本構成である。次に、本実施形態に係る撮像装置１０１で行われるぼかし撮影処理について説明する。

［撮像装置１０１のぼかし撮影処理］
図６は、撮像装置１０１のぼかし撮影処理（「ぼかし撮影モード」）の流れを示すフローチャートである。尚、図６のフローチャートは、制御部１０８が内部またはメモリ１１２に予め記憶されたプログラムに従って行う処理である。尚、ユーザーは、操作部１１１の電源ボタン１１１ａを押下して撮像装置１０１の電源が投入し、制御部１０８はメモリ１１２に予め記憶されているパラメータ類を読み出して撮像装置１０１の各部の初期設定を完了し、撮像装置１０１は使用できる状態にある。

（ステップＳ１０１）ユーザーが操作部１１１の撮影モードダイヤル１１１ｇで「ぼかし撮影モード」を選択すると、制御部１０８はぼかし撮影処理を開始する。

（ステップＳ１０２）ぼかし量設定部２０３は、ぼかし量の設定メニューを表示部１１０に表示してぼかし量の設定（例えば、大，中，小など）をユーザーに促す。尚、ぼかし量の設定については、デフォルト値（例えば、中など）を設定しておき、本処理ステップを飛ばしても構わない。

（ステップＳ１０３）被写体設定処理を行う。被写体設定処理は、先に説明した非主要被写体設定部２０１および主要被写体設定部２０２によって行われる処理である。ここでは、ぼかし処理を行う対象を設定する。例えば、非主要被写体に対してぼかし処理を施す場合は非主要被写体の条件（笑顔でない顔や特定人物の顔，手，移動被写体など）を設定する。或いは、主要被写体に対してぼかし処理を施さない場合は、主要被写体の条件（笑顔の顔や特定人物の顔など）を設定する。尚、主要被写体以外の部分をぼかす場合は、非主要被写体の条件を設定するひつようはない。同様に、特定人物の顔に対してぼかし処理を施す場合は、主要被写体の条件を設定する必要はない。両方の条件を設定する一例として、例えば笑顔ではない顔にぼかし処理を施すが特定人物については笑顔ではない場合でもぼかさないなどの場合は、非主要被写体の条件として笑顔ではない顔を設定し、主要被写体の条件として特定人物の顔を設定する必要がある。

（ステップＳ１０４）操作部１１１のレリーズボタン１１１ｂが半押しされたか否かを判別する。半押しされた場合はステップＳ１０６に進み、半押しされていない場合はステップＳ１０５の状態で待機する。この状態では表示部１１０に撮影構図確認用のＬＶ画像が表示されている。尚、待機中に表示部１１０に表示されるＬＶ画像の一部に被写体の条件を再設定する条件再設定ボタンを表示しておき、十字カーソルボタン１１１ｆで選択された場合はステップＳ１０２に戻るようにしても構わない。また、ぼかし撮影終了ボタンも一緒に表示しておいて、当該ボタンが選択されると「ぼかし撮影モード」を終了できるようにしても構わない。尚、ユーザーが操作部１１１の撮影モードダイヤル１１１ｇを「ぼかし撮影モード」から他の撮影モード（「ＡＵＴＯ撮影モード」や「シャッタ優先撮影モード」など）に変更した場合は、制御部１０８はぼかし撮影処理を終了する。

（ステップＳ１０５）被写体検出処理を行う。被写体検出処理は、先に説明した非主要被写体検出部２０４および主要被写体検出部２０５によって行われる処理である。例えば、非主要被写体に対してぼかし処理を施す場合は非主要被写体の条件（笑顔でない顔や特定人物の顔，手，移動被写体など）に合致する被写体をＬＶ画像の中から検出する。或いは、主要被写体に対してぼかし処理を施さない場合は、主要被写体の条件（笑顔の顔や特定人物の顔など）に合致する被写体をＬＶ画像の中から検出する。両方の被写体を検出する必要がある場合は、非主要被写体検出部２０４および主要被写体検出部２０５によってそれぞれの条件に合致する被写体を検出する。そして、検出した被写体の位置情報を取得する。位置情報は、例えば特徴量を検出する際の顔の形状や大きさから顔の領域内の画素座標全てを取得しても構わないし、輪郭部分の画素座標だけを取得するようにしても構わない。これにより、自由な形状の被写体部分のジャスト領域を抽出することができる。或いは、簡易的な方法として、図７（ａ）に示すように、被写体が顔である場合は顔を囲む画素座標（ｘ１，ｙ１）と画素座標（ｘ２，ｙ２）とを対角とする四角形状の領域を被写体の位置情報としても構わない。

（ステップＳ１０６）ぼかし処理部２０６は、ステップＳ１０５で検出した非主要被写体または主要被写体の位置情報と、ステップＳ１０３で設定されたぼかし処理の対象に応じて、ぼかし処理を行う領域を決定する。例えば、図７（ａ）の例では、画素座標（ｘ１，ｙ１），画素座標（ｘ１，ｙ２），座標（ｘ２，ｙ１）および画素座標（ｘ２，ｙ２）を頂点とする四角形状の領域がぼかし処理を施す領域として決定される。

（ステップＳ１０７）操作部１１１のレリーズボタン１１１ｂが全押しされたか否かを判別する。全押しされた場合はステップＳ１０８に進み、全押しされていない場合はステップＳ１０４に戻る。尚、レリーズボタン１１１ｂが全押しされると、図１の撮影制御部１５４は、露出制御を行って適正な絞り値とシャッタ速度とを求める。そして、絞り１０２ｄを適正露出となる絞り値に設定し、メカニカルシャッタ１０３を一旦閉じた後、適正露出となるシャッタ速度でメカニカルシャッタ１０３を開閉して本撮影を行う。そして、本撮影された画像は画像バッファ１０６に取り込まれる。

（ステップＳ１０８）ぼかし処理部２０６は、画像バッファ１０６に取り込まれた本撮影画像のステップＳ１０６で決定したぼかし領域に対してステップＳ１０２のぼかし量設定部２０３で設定されたぼかし量に応じたぼかし処理を施す。例えば図７（ａ）で決定された領域に対してぼかし処理を施し図７（ｂ）に示すような画像が得られる。尚、ぼかし処理部２０６の処理方法の一例については後で説明するが、撮影時にぼかし位置のフォーカス状態を変えて撮影可能な撮像素子１０４を用いる場合は、ステップＳ１０７でぼかし処理部２０６がぼかし量に応じてフォーカス状態を変えて撮影するので、撮影された画像は既に「ぼかし有画像」になっており、画像処理によってぼかし処理を施すための本処理ステップは不要である。

（ステップＳ１０９）記録制御部１５２は、ぼかし処理部２０６でぼかし処理が施された画像をメモリカード１０９ａに記録する。

（ステップＳ１１０）一連のぼかし撮影処理を終了する。

このようにして、本実施形態に係る撮像装置１０１は、ユーザーが予め設定した条件の被写体にぼかし処理を施すことができ、他人に見られたくない被写体のプライバシを保護することができる。

次に、ぼかし処理部２０６のぼかし処理方法の一例について説明する。

［ぼかし処理方法について］
図８は、ぼかし処理部２０６のぼかし処理方法について説明するための説明図である。図８（ａ）は、笑顔ではない顔にぼかし処理を行う例を示し、非主要被写体検出部２０４は、領域３０１および領域３０２を検出する。そして、ぼかし処理部２０６は領域３０１および領域３０２に対してぼかし量設定部２０３で設定されたぼかし量でぼかし処理を行う。

（ぼかし処理方法１）
ぼかし処理部２０６が行うぼかし処理方法１について説明する。ぼかし処理方法１は撮像素子１０４として図８（ｂ）に示すような特殊な撮像素子を用いる。この撮像素子１０４は、各画素が複数の画素で構成される。撮像素子１０４は、マイクロレンズ４０２を２次元に複数配置したマイクロレンズアレイと、それぞれのマイクロレンズ４０２の下方に設けられた複数の受光素子４０１とを有し、マイクロレンズ４０２と複数の受光素子４０１とにより画素を構成している。本実施形態においては、それぞれのマイクロレンズ４０２に対して２５個（５×５）の受光素子４０１が設けられている。説明を簡単にするために、図８（ａ）の領域３０１に対応する画素が図８（ｂ）の枠で囲まれている（実際にはより多くの画素が図８（ａ）の領域３０１に対応する）。

そして、複数の画素の読み出す画素を選択することによって撮像素子１０４で撮影される画像をぼかすことができる。例えば図８（ｂ）の場合、図８（ａ）の領域３０１および領域３０２に対応する画素の画像をぼかせばよい。例えば受光素子４０１の画素で撮像される画像をぼかす場合について図９を用いて説明する。図９は図８（ｂ）の画素５を中心として画素３から画素７までの５つの画素を撮像素子１０４の断面から見た図で、撮像素子１０４の受光素子４０１と、その上方に配置されたマイクロレンズ４０２と、レンズ部１０２から入射する光のピント位置４０３との関係が描かれている。

図９（ａ）はマイクロレンズの上面（Ｚ＝０）にピント位置４０３がある場合を示し、画素５のピント位置４０３ａから入射する光線は画素５の５つの受光素子ａ５，ｂ５，ｃ５，ｄ５およびｅ５に入射する。尚、ピント位置４０３はマイクロレンズの上面を０（合焦位置）としてＺ軸方向に取り、ピント位置４０３がＺ軸上方に移動するに連れてぼけた画像が撮像される。つまり、図９（ａ）の状態でピントが合った画像を撮影することができる。この時は、画素５の受光素子ａ５，ｂ５，ｃ５，ｄ５，ｅ５の出力を選択する。

図９（ｂ）はマイクロレンズの高い上方（Ｚ＝ｈ１）にピント位置４０３がある場合を示し、画素５のピント位置４０３ａから入射する光線は画素５の受光素子ｃ５だけでなく、画素３の受光素子ａ３と、画素４の受光素子ｂ４と、画素６の受光素子ｄ６と、画素７の受光素子ｅ７とに入射する。つまり、大きくぼけた画像が撮影される。この時、互いに隣接する５つの画素の受光素子ａ３，ｂ４，Ｃ５，ｄ６，ｅ７の出力を選択すればよい。

図９（ｃ）はマイクロレンズの低い上方（Ｚ＝ｈ２）にピント位置４０３がある場合を示し、画素５のピント位置４０３ａから入射する光線は画素５の受光素子ｂ５，ｃ５，ｄ５だけでなく、画素４の受光素子ａ４，ｂ４と、画素６の受光素子ｄ６，ｅ６とに入射する。つまり、図９（ｂ）の場合よりぼけ具合は小さいがぼけた画像が撮影される。この時、互いに隣接する３つの画素の受光素子ａ４，ｂ４，ｂ５，Ｃ５，ｄ５，ｄ６，ｅ６の出力を選択すればよい。

尚、ピント位置をＺ＝０、Ｚ＝ｈ１、Ｚ＝ｈ２のいずれにした場合でも受光素子ｃ５の出力を選択してしまう。しかしながら、図８（ａ）の領域３０１，３０２をぼかす際に受光素子ｃ５の出力の影響はほとんどないので、本実施形態では受光素子ｃ５の出力を除くことなく使用している。

図８（ａ）の領域３０１，３０２のぼかし程度は、例えば表示部１１０にぼかし量大、ぼかし量中、ぼかし量小などと表示させて、ユーザーによる操作部１１１の操作に基づいて制御部１０８が制御すればいい。また、表示部１１０の表面にタッチパネルセンサを積層した場合には、ユーザーが表示部１１０の表示を視認しつつタッチパネルセンサを操作して、ぼかし量を設定することができる。更に、撮像素子１０４が撮像した画像を表示部１１０に表示させながら、タッチパネルによりぼかす領域（ぼかす座標）を決定するようにすれば操作性が向上する。

また、ぼかしを入れる前の原画像と、ぼかし処理を行った画像の両方をメモリカードＩＦ１０９に記憶させるか、いずれの画像のみをメモリカードＩＦ１０９に記憶させるかをタッチパネル操作により選択するようにしてもよい。

前述のように、規制情報があるにもかかわらず撮影してしまった場合や、笑顔でない顔を検出した場合や、主要被写体よりも大きな顔にはぼかし処理を行うというアルゴリズムにすれば、ユーザーがぼかし処理領域の設定を省略または簡略化できるので操作性が向上する。

尚、図９では、像面の位置を前側（レンズ部１０２に近い側）にぼかす場合を示したが、後側（レンズ部１０２に遠い側）にぼかす場合も同様の手法により、各受光素子の出力を選択すればよい。このようにして、ぼかし量設定部２０３で設定されたぼかし量に応じてぼかし具合を変えることができる。尚、実際には、二次元状に画素や受光素子が配置されているので、図９で説明したような処理をｘ軸とｙ軸の二次元方向にそれぞれ行う必要がある。

（ぼかし処理方法２）
次に、ぼかし処理部２０６が行うぼかし処理方法２について説明する。ぼかし処理方法２では、撮像素子１０４は１画素に１つの受光素子が配置された通常の撮像素子を用いる。そして、撮像素子１０４で撮像後に画像バッファ１０６に取り込まれた画像に対して画像処理によってぼかし処理を行う。この処理について図８（ｃ）を用いて説明する。図８（ｃ）は、画像バッファ１０６に取り込まれた画像の３×３の９つの画素（画素ｐ１から画素ｐ９まで）を描いた図である。ここで、画素ｐ５にぼかし処理を施す場合、例えば画素ｐ５の周辺の４つの画素（ｐ２，ｐ４，ｐ６およびｐ８）を重み付けして加算した値をぼかし処理後の画素ｐ５の画素値ＶＢ５とする。ここで、画素ｐ１から画素ｐ９までの画素値をＶ１からＶ９とすると、ぼかし処理後の画素ｐ５の画素値ＶＢ５は（式１）のように求めることができる。
ＰＶ５＝０．８・Ｖ５＋０．２・（Ｖ２＋Ｖ４＋Ｖ６＋Ｖ８） …（式１）
さらに画素ｐ５をぼかしたい場合は、重み付け係数を変更して（式２）のように求めることができる。
ＰＶ５＝０．４・Ｖ５＋０．６・（Ｖ２＋Ｖ４＋Ｖ６＋Ｖ８） …（式２）
尚、ぼかし処理を行う領域内の全ての画素について上記と同様のフィルタ処理を行う。

このようにして、撮像素子１０４で撮像され画像バッファ１０６に取り込まれた画像に対して画像処理によってぼかし処理を行うことができる。特に、ぼかし量設定部２０３で設定されたぼかし量に応じて重み付け係数を変えることにより、ぼかし具合を制御することができる。

（ぼかし処理方法３）
次に、ぼかし処理部２０６が行うぼかし処理方法３について説明する。ぼかし処理方法３では、連写制御部２０７を用いて撮像素子１０４で複数枚の画像を撮影する。連写制御部２０７は、先に説明した移動被写体の検出時と同様に短い時間内に複数枚の画像を撮影する。この時、レンズ部１０２のレンズ群１０２ｃのフォーカスレンズ位置を焦点位置前後でずらしながら数枚の画像を同じ画角で撮像する。いわゆるフォーカス状態を変えながら複数枚の画像を撮影するフォーカスブラケティング撮影を行う。そして、撮影された画像の中から非主要被写体のフォーカス状態がぼかし量設定部２０３の設定に対応する画像を抽出する。尚、フォーカス状態の判別は、例えば空間周波数解析を行い、各画像の同じ領域の高周波成分を比較することで判別できる。例えば高周波成分が少ない画像はぼけた画像で、高周波成分が多い画像ほどピントが合った画像であると判定する。つまり、ぼかし量設定部２０３でぼかし量が大に設定されている場合は高周波成分が少ない画像を選択し、ぼかし量が小に設定されている場合は高周波成分が多い画像を選択する。このようにして非主要被写体部分がぼけた画像を得ることができる。

同様に、主要被写体部分についてもフォーカス状態を判別し、もっともピントが合った画像を主要被写体画像として選択する。例えば、主要被写体が撮影されている領域の高周波成分が最も高い画像を選択する。このようにして、主要被写体にピントが合った画像を得ることができる。

そして、先に抽出した非主要被写体部分がぼけた画像から非主要被写体部分を抜き出し、主要被写体にピントが合った画像の非主要被写体部分に置き換える合成処理を行うことにより、非主要被写体部分がぼけた画像を得ることができる。
（第２の実施形態）
次に、第２の実施形態に係る撮像装置１０１について説明する。

［撮像装置１０１の構成］
図１０は本実施形態に係る撮像装置１０１の構成を示すブロック図である。撮像装置１０１は、レンズ部１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、画像バッファ１０６と、ＴＧ（タイミングジェネレータ）１０７と、制御部１０８と、メモリカード１０９ａを装着するためのメモリカードＩＦ１０９と、表示部１１０と、操作部１１１と、メモリ１１２と、測位部１１３とで構成される。ここで、図１０において、図１で説明した第１の実施形態に係る撮像装置１０１と同符号のブロックは同機能のブロックを示すので重複する説明は省略し、異なる部分について説明する。

メモリ１１２は、第１の実施形態と同様に、制御部１０８のプログラムコードや各部の制御に必要なパラメータなどが保存されるが、本実施形態に係る撮像装置１０１は、メモリ１１２に地図情報および撮影禁止区域の地理的位置を示す規制情報を保持している。

測位部１１３は、撮像装置１０１を使用している地理的な位置を取得し、制御部１０８に出力する。尚、地理的な位置の取得には、例えば複数の人工衛生からの信号を受信して位置情報を算出するＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを利用する。また、制御部１０８は、メモリ１１２に地図情報を保持しており、測位部１１３が出力する地理的位置情報（緯度や経度などの情報）を住所情報（東京都品川区・・・などの地名や建物情報）に変換することができる。さらに、測位部１１３は、電子コンパスのセンサを有する。電子コンパスは、地磁気による方位を電気的に取得する装置でレンズ部１０２が東西南北のいずれの方向を向いているかを取得できるように撮像装置１０１の内部に配置されている。これにより、制御部１０８は撮像装置１０１の撮影方向を取得することができる。また、地球の重力加速度や相対的な加速度などを検出する加速度センサを設け、撮像装置１０１の上下方向の傾きを検出するようにしても構わない。これにより、制御部１０８は、電子コンパスと加速度センサとを組み合わせることで、撮像装置１０１の三次元空間上の撮影方向を取得することができる。

以上が本実施形態に係る撮像装置１０１の構成である。本実施形態に係る撮像装置１０１は、撮影画像の中から予め設定された被写体を検出し、検出された被写体にぼかし処理を施したり、逆にぼかし処理を施さない機能を持っている。

次に、制御部１０８の構成について詳しく説明する。
［制御部１０８の構成］
図１０において、制御部１０８は、ぼかし画像生成部１５１と、記録制御部１５２と、表示制御部１５３と、撮影制御部１５４と、位置情報処理部１５５とで構成される。ここで、図１０において、ぼかし画像生成部１５１、記録制御部１５２、表示制御部１５３および撮影制御部１５４は、第１の実施形態の図１と同機能のブロックを示すので重複する説明は省略する。本実施形態では、位置情報処理部１５５を備えている。

位置情報処理部１５５は、撮像装置１０１を使用している地理的な位置情報を測位部１１３から取得する。そして、位置情報処理部１５５は、メモリ１１２に予め記憶されている地図情報を参照して、緯度や経度などの位置情報を地名や建物名などの住所情報に変換し、撮像装置１０１を使用している場所を特定する。また、先に説明したように測位部１１３の電子コンパスや加速度センサなどにより、撮像装置１０１のレンズ部１０２が向いている方向（撮影方向）を特定する。そして、これらの情報は、ぼかし画像生成部１５１に出力され、ぼかし処理時に利用される。尚、美術館などの屋内にいる場合は、屋外で得られた位置情報を基準に撮像装置１０１内部のジャイロセンサなどから得られる位置情報によって、屋内の位置を特定するものとする。さらに、先に説明したように、三次元空間上での撮影方向を特定できるので、撮影禁止物が撮影画角内にある可能性が高いか否かの判定も可能である。この場合、レンズ部１０２から得られるズームレンズなどの焦点距離情報を用いて撮影画角を補正するようにすれば判定精度は向上する。

次に、ぼかし処理を行うぼかし画像生成部１５１の構成について詳しく説明する。
［ぼかし画像生成部１５１の構成］
図１１は、ぼかし画像生成部１５１の構成を示す図である。図１１において、ぼかし画像生成部１５１は、非主要被写体設定部２０１と、主要被写体設定部２０２と、ぼかし量設定部２０３と、非主要被写体検出部２０４と、主要被写体検出部２０５と、ぼかし処理部２０６と、連写制御部２０７と、撮影禁止処理部２１０と、ぼかし位置情報出力部２０９とで構成される。ここで、図１１において、非主要被写体設定部２０１と、主要被写体設定部２０２と、ぼかし量設定部２０３と、非主要被写体検出部２０４と、主要被写体検出部２０５と、ぼかし処理部２０６および連写制御部２０７は、第１の実施形態の図３と基本的な動作は同じである。そして、本実施形態では、撮影禁止処理部２１０と、ぼかし位置情報出力部２０９とを備えている。

以下、第１の実施形態と異なる部分について説明する。

ぼかし処理部２０６は、第１の実施形態では非主要被写体検出部２０４に対してぼかし処理を施す場合について説明したが、本実施形態では非主要被写体検出部２０４および主要被写体検出部２０５の検出結果に応じてぼかし処理を施す。この時、先に説明したように、ぼかし処理を行う領域や形状などに応じてぼかし処理を行う領域を選択する。特に本実施形態では、撮影禁止領域にある場合には背景をぼかす処理を施す。さらに、ぼかし量設定部２０３で設定されたぼかし量に応じてぼかし処理を施す。ぼかし量は、ぼかし処理を施す領域別に設定されていても構わないし、各領域に共通のぼかし量が設定されていても構わない。尚、ぼかし処理方法やぼかし量を変える方法などについては後で詳しく説明する。また、ぼかし処理は、撮影時に行っても構わないし、撮影後に行っても構わない。但し、撮影禁止対象が撮影されている場合は、最終的にメモリカード１０９ａに保存される画像の撮影禁止対象部分は必ずぼかし処理が施されている。

撮影禁止処理部２１０は、撮影画像の各被写体の背景に撮影が禁止されているもの（建物，防衛上の機材，映画や絵画など著作権のあるもの）が写っている場合に、その部分をぼかし処理領域に設定する。一般に、撮影画像の各被写体の背景には、自然の風景や建物など様々なものが写り込んでいる。ところが、背景に撮影が禁止されているものが撮影されることがあり、問題になる可能性がある。或いは、美術館や映画館の中など撮影が禁止されている場所にいる場合もある。そこで、撮影禁止処理部２１０は、位置情報処理部１５５が測位部１１３で取得した地理的位置に基づいて判別した結果（撮影禁止区域にいるか否かの結果）に応じて、背景にぼかし処理を施すか否かを判断する。そして、背景にぼかし処理を施す場合には、ぼかし領域やぼかし量を設定する。さらに、ぼかし処理を施した部分にイラストや文字を重畳する処理も設定内容に応じて行う。

ぼかし位置情報出力部２０９は、ぼかし処理を施さずに撮影された画像データをメモリカード１０９ａに保存する場合に、ぼかし処理部２０６が非主要被写体検出部２０４で検出した被写体や撮影禁止処理部２１０の設定に応じてぼかし処理を施す際のぼかし領域の位置情報を記録制御部１５２に出力する。そして、記録制御部１５２は、「ぼかし無画像」をメモリカード１０９ａに記憶する際に、ぼかし領域の位置情報をヘッダ情報として「ぼかし無画像」の画像データに付加してメモリカード１０９ａに記憶する。但し、撮影禁止対象が撮影されている場合は、最終的にメモリカード１０９ａに保存される画像は完全な「ぼかし無画像」ではなく、撮影禁止対象部分には必ずぼかし処理が施される。

このように、ぼかし画像生成部１５１は、撮影画像の中のぼかし処理を施す領域を設定された条件に応じて決定し、設定されたぼかし量で当該領域にぼかし処理を施す。

［撮像装置１０１のぼかし撮影処理］
次に、本実施形態に係る撮像装置１０１で行われる「ぼかし撮影モード」の処理の流れについて説明する。

図１２は、撮像装置１０１のぼかし撮影処理の流れを示すフローチャートである。尚、図１２のフローチャートは、第１の実施形態で説明したぼかし撮影処理のフローチャートに対して、撮影禁止被写体の検出を行う処理が追加されている。また、制御部１０８が内部またはメモリ１１２に予め記憶されたプログラムに従って行う処理である。尚、ユーザーは、操作部１１１の電源ボタン１１１ａを押下して撮像装置１０１の電源を投入し、制御部１０８はメモリ１１２に予め記憶されているパラメータ類を読み出して撮像装置１０１の各部の初期設定を完了し、撮像装置１０１は使用できる状態にある。

（ステップＳ１２１）ユーザーが操作部１１１の撮影モードダイヤル１１１ｇで「ぼかし撮影モード」を選択すると、制御部１０８はぼかし撮影処理を開始する。

（ステップＳ１２２）撮影者は、「ぼかし撮影モード」の設定を行う。特に実施形態では、例えば、主要被写体や非主要被写体の検出条件や背景処理およびぼかし量などぼかし撮影に関する設定を行う。尚、本ステップの設定処理は、ステップＳ１２１のぼかし処理を開始する前に行っても構わないし、デフォルト設定を用いる場合は本ステップを省略しても構わない。

（ステップＳ１２３）撮影者は、撮影する画像の構図確認を行う。尚、この状態では表示部１１０に撮影構図確認用のＬＶ画像が表示されている。

（ステップＳ１２４）制御部１０８は、第１の実施形態と同様に、操作部１１１のレリーズボタン１１１ｂが半押しされたか否かを判別する。半押しされた場合はステップＳ１２５に進み、半押しされていない場合はステップＳ１２３の状態で待機する。この状態では表示部１１０に撮影構図確認用のＬＶ画像が表示されている。

（ステップＳ１２５）レリーズボタン１１１ｂが半押しされたら、撮影制御部１５４は、ＬＶ画像から求めたフォーカス制御値に応じてレンズ部１０２のフォーカスレンズの位置を制御し、予め設定された位置（画面の中央など）の焦点を合わせ、フォーカスロックする。

（ステップＳ１２６）被写体検出処理を行う。被写体検出処理は、第１の実施形態と同様に、ステップＳ１２２で非主要被写体設定部２０１，主要被写体設定部２０２および撮影禁止処理部２１０で設定された検出条件に応じて行われる処理である。特に、本実施形態では、主要被写体の検出処理と、非主要被写体の検出処理と、撮影禁止被写体の検出処理とを組み合わせた高度な被写体検出処理を行うようになっている。ここでは、ステップＳ１２６の処理をステップＳ１２６ａ，ステップＳ１２６ｂおよびステップＳ１２６ｃに分けてサブルーチン化して記載し、各サブルーチンの詳細な処理については後で説明する。

（ステップＳ１２６ａ）主要被写体検出部２０５は、主要被写体設定部２０２で設定された検出条件に応じて主要被写体の検出処理（サブルーチン）を行う。

（ステップＳ１２６ｂ）非主要被写体検出部２０４は、非主要被写体設定部２０１で設定された検出条件に応じて非主要被写体の検出処理（サブルーチン）を行う。

（ステップＳ１２６ｃ）撮影禁止処理部２１０は、撮影禁止処理部２１０で設定された検出条件に応じて背景や建物など撮影禁止被写体の検出処理（サブルーチン）を行う。

（ステップＳ１２７）ぼかし処理部２０６は、ステップＳ１２６で検出した非主要被写体，主要被写体および背景などの位置情報と、ステップＳ１２２で設定されたぼかし処理の条件に応じて、ぼかし処理を行う最終的な領域を決定する。例えば、第１の実施形態の図７（ａ）で説明したように、四角形状の領域がぼかし処理を施す領域が決定される。尚、図７では、分かり易いように四角形で領域を示したが、顔部分だけをぼかし領域としても構わない。但し、領域情報として保持する座標データ量は、対角位置の座標データだけで済む四角形の場合に比べて多くなる。

（ステップＳ１２８）操作部１１１のレリーズボタン１１１ｂが全押しされたか否かを判別する。全押しされた場合はステップＳ１２９に進み、全押しされていない場合はステップＳ１２４に戻る。尚、レリーズボタン１１１ｂが全押しされると、図１０の撮影制御部１５４は、露出制御を行って適正な絞り値とシャッタ速度とを求める。そして、絞り１０２ｄを適正露出となる絞り値に設定し、メカニカルシャッタ１０３を一旦閉じた後、適正露出となるシャッタ速度でメカニカルシャッタ１０３を開閉して本撮影を行う。そして、本撮影された画像は画像バッファ１０６に取り込まれる。

（ステップＳ１２９）ぼかし処理部２０６は、画像バッファ１０６に取り込まれた本撮影画像に対してぼかし処理を施す。この時、ぼかし処理部２０６は、ステップＳ１２７で決定したぼかし領域に対して予めステップＳ１２２で設定されたぼかし量に応じたぼかし処理を施す。例えばステップＳ１２６で、主要被写体，非主要被写体および背景処理の位置や範囲などを示す領域情報と、各被写体のぼかし量（例えば、大，中，小など）の情報などがメモリ１１２に一時的に保持されているので、ぼかし処理部２０６はメモリ１１２の記憶内容に応じてぼかし処理を実行する。尚、ぼかし処理部２０６が実行するぼかし処理の方法については最後にまとめて説明する。

（ステップＳ１３０）記録制御部１５２は、ぼかし処理部２０６でぼかし処理が施された画像をメモリカード１０９ａに記録する。この時、「ぼかし有り画像」をメモリカード１０９ａに記録するのではなく、「ぼかし無し画像」とステップＳ１２７で決定したぼかし処理を施す領域情報やぼかし処理量などの情報を付加してメモリカード１０９ａに記録するようにしても構わない。これらは、設定メニューによってユーザーが選択できる。但し、撮影禁止対象が撮影されている場合は、最終的にメモリカード１０９ａに保存される画像は完全な「ぼかし無画像」ではなく、撮影禁止対象部分にぼかし処理が施された画像が保存される。

（ステップＳ１３１）一連のぼかし撮影処理を終了する。

このようにして、本実施形態に係る撮像装置１０１は、ユーザーが予め設定した条件の被写体にぼかし処理を施すことができ、他人に見られたくない被写体のプライバシを保護することができる。特に、本実施形態に係る撮像装置１０１は、撮影画像に撮影禁止被写体が含まれている場合に、撮影禁止被写体を含む背景にぼかし処理を施すので、撮影禁止区域にある被写体が撮影された場合でも強制的にぼかし処理を施すことができ、セキュリティやプライバシを保護することができる。

以上が本実施形態に係る「ぼかし撮影モード」における撮影処理の全体の流れである。

次に、図１２のフローチャートの中で二重枠で表示したサブルーチン処理について詳しく説明する。

［主要被写体の検出処理］
先ず、ステップＳ１２６ａの主要被写体の検出処理について説明する前に、ステップＳ１２２で設定される主要被写体の検出条件について述べる。本実施形態に係る撮像装置１０１は、以下のような主要被写体の検出条件の設定ができるようになっている。尚、検出条件の設定は、主要被写体設定部２０２によって実行され、例えば撮影者は操作部１１１のメニューボタン１１１ｄを押下して表示部１１０に表示される被写体設定メニューに従って行う。

（１）撮像装置１０１に最も近い位置に居る被写体（例えば、至近の顔）を主要被写体として設定する。つまり、撮像装置１０１からの距離が一番近い被写体を主要被写体として設定する。これは、一般的な撮影者は一番撮影したい被写体を間近に撮影しようとする心理があるので、間近な被写体をぼかし処理を施さない被写体（主要被写体）として設定するのが適切だからである。或いは、所定の距離範囲内にある被写体を全て主要被写体としても構わない。この場合は、複数の主要被写体が設定される。

尚、撮像装置１０１から被写体までの距離は、レンズ部１０２から得られるフォーカス情報や被写体の大きさなどで検出できる。例えば、被写体が顔である場合は、人間の顔の大きさは所定範囲内にあると見なせば、撮影画面内の顔の大きさが大きい被写体ほど撮像装置１０１までの距離が近く、撮影画面内の顔の大きさが小さい被写体ほど撮像装置１０１までの距離が遠いと判断できる。

（２）撮影前に予め撮像装置１０１で撮影した特定の被写体または撮影済みの画像の中から選択した特定の被写体を主要被写体としてメモリ１１２やメモリカード１０９ａに設定しておく。尚、登録時に、主要被写体として設定したい被写体を画面全体に大きく撮影して、特徴量を取得し易くするのが好ましい。或いは、撮影済みの画像から設定する場合は、画像の中の特定の被写体を十字カーソルボタン１１１ｆなどで選択する設定メニューを設けて選択する。また、登録された被写体の特徴量などがテンプレートとして記憶される。尚、複数の主要被写体を設定できるように複数のテンプレートを記憶しても構わない。例えば、家族の顔などをまとめて登録しておき、メニュー画面で家族を選択するだけで、登録されている家族全員の顔が主要被写体の検出条件として一括して設定できる。

（３）人物の場合、表情を判別して主要被写体を設定する。顔の表情検出は、口の形や歯の検出或いは白目領域の検出や目線の検出など周知の手法を用いて行うことができる。例えば、笑顔を主要被写体として設定したり、目線を検出して撮像装置１０１の方を向いている顔を主要被写体として設定する。尚、主要被写体は１つである必要はなく、検出条件に合致する被写体を全て主要被写体として設定しても構わない。この場合は、上記のステップＳ１２２において複数の主要被写体の検出を許可するか否かの設定や検出する個数の指定を設定メニューで行うものとする。

例えば、検出された複数の主要被写体の中から１つだけ選択する場合は、検出された複数の主要被写体候補を所定の評価方法で評価して、最高の評価値が得られた主要被写体候補を最終的な主要被写体として選択する。上記の（３）の例では、顔の表情検出をさらに詳細に行って笑顔の度合いを評価し、最も笑顔の度合いが高い顔（および人物）を最終的な主要被写体に決定する。尚、笑顔の度合いは、例えば口角の傾きや目尻の傾きなどの特徴量を用いて数値化が可能である。また、検出個数を指定する場合は、評価値順に並べ替えて例えば上位３個を選択するようにしても構わない。

また、上記の（１）から（３）の検出条件は、単独であっても構わないし、複数の検出条件を組み合わせても構わない。例えば（１）と（２）を組み合わせて、予め登録した複数の顔を検出して、その中で撮像装置１０１に最も近い顔を主要被写体としてもよい。或いは、予め登録した複数の顔を検出して、その中で笑顔のものを主要被写体としてもよい。または、笑顔を検出して、その中で撮像装置１０１に最も近い顔を主要被写体としてもよい。

このような主要被写体の検出条件がステップＳ１２２で設定された後、この設定内容に応じて、ステップＳ１２６ａの主要被写体の検出処理が実行される。図１３のフローチャートは、ステップＳ１２６ａの処理の流れを示すフローチャートである。尚、ステップＳ１２６ａの主要被写体の検出処理は、主要被写体検出部２０５により実行される。

（ステップＳ２２１）主要被写体検出部２０５は、撮像素子１０４から画像バッファ１０６に取り込まれているＬＶ画像内の主要被写体候補（ここでは人間の顔とする）を検出する。

（ステップＳ２２２）主要被写体検出部２０５は、先に説明した検出条件に合致する主要被写体をステップＳ２２１で検出した主要被写体候補の中から判別する。例えばステップＳ１２２において、検出条件が「至近の顔」に設定されている場合は「至近の顔」を検出する処理（ステップＳ２２２ａ）を行う。或いは、検出条件が「登録した顔」に設定されている場合は「登録した顔」を検出する処理（ステップＳ２２２ｂ）を行う。同様に、検出条件が「顔の表情」に設定されている場合は「顔の表情」を検出する処理（ステップＳ２２２ｃ）を行う。尚、複数の検出条件の組み合わせである場合は、ステップＳ２２２ａ，ステップＳ２２２ｂおよびステップＳ２２２ｃを組み合わせた検出処理を行う。このようにして、ステップＳ２２２では、ステップＳ１２２の検出条件に応じてステップＳ２２１で検出した主要被写体候補の中から主要被写体を決定する。

（ステップＳ２２３）主要被写体検出部２０５は、ステップＳ１２２において複数の主要被写体の検出を許可しているか否かを判別する。複数の主要被写体の検出を許可している場合はステップＳ２２５に進み、許可していない場合はステップＳ２２４に進む。

（ステップＳ２２４）主要被写体検出部２０５は、先に説明したように、複数の主要被写体候補を所定の評価方法で評価して、最高の評価値が得られた主要被写体候補を所定数だけ選択する。例えば所定数が１つの場合は最高評価値の主要被写体候補を主要被写体として選択し、所定数が３つの場合は評価値順に上位３つの主要被写体候補を主要被写体として選択する。

（ステップＳ２２５）ステップＳ２２３またはステップＳ２２４で決定された主要被写体の領域情報をメモリ１１２などに一時的に保持する。

（ステップＳ２２６）一連のステップＳ１２６ａの主要被写体の検出処理サブルーチンを終了し、図１２のフローチャートに戻る。

このようにして、本実施形態に係る撮像装置１０１は、予め設定された検出条件に応じて自由度の高い主要被写体の検出を行うことができる。

［非主要被写体の検出処理］
次に、ステップＳ１２６ｂの非主要被写体の検出処理について説明するが、先ずステップＳ１２２で設定される非主要被写体の検出条件について述べる。本実施形態に係る撮像装置１０１は、以下のような非主要被写体の検出条件の設定ができるようになっている。尚、検出条件の設定は、非主要被写体設定部２０１によって実行され、例えば撮影者は操作部１１１のメニューボタン１１１ｄを押下して表示部１１０に表示される被写体設定メニューに従って行う。

（１）被写体の大きさにより判定する。例えば顔の場合は、顔の大きさが予め設定された所定範囲外の顔をぼかし処理を施す被写体（非主要被写体）として設定する。ここで、被写体の大きさの基準として、先に決定した主要被写体との相対的な大きさで判定しても構わないし、撮影画面上の絶対的な大きさで判定しても構わない。撮影画面上の絶対的な大きさで判定する場合は、例えば被写体の領域内の画素数が閾値以下のものを非主要被写体とする。さらに、レンズの焦点距離に応じて閾値を可変するようにしても構わない。

主要被写体との相対的な大きさで判定する場合、例えば面積比で行う方法がある。例えば面積比の閾値を主要被写体の面積より１０％以上大きいものに設定したり、逆に面積比の閾値を主要被写体の面積より３０％以上小さいものに設定して、該当する被写体を非主要被写体とする。図１４（ａ）は、主要被写体である人物Ｅの顔の大きさと、非主要被写体候補の人物Ｄの顔の大きさとを相対的に判定する場合の例を示している。図１４（ａ）において、撮影画像３７１の横方向をｘ軸、縦方向をｙ軸とした場合、人物Ｅの顔部分の領域はｘ軸方向の左端ｘ１と右端ｘ２との差ｄｘ１と、ｙ軸方向の上端ｙ１と下端ｙ２との差ｄｙ１とで与えられる。一方、人物Ｄの顔部分の領域はｘ軸方向の左端ｘ３と右端ｘ４との差ｄｘ２と、ｙ軸方向の上端ｙ３と下端ｙ４との差ｄｙ２とで与えられる。この場合、人物Ｅの顔部分の面積Ｓ１はｄｘ１×ｄｙ１となり、人物Ｄの顔部分の面積Ｓ２はｄｘ２×ｄｙ２となるので、面積比ｄｓ（％）は、ｄｓ＝Ｓ２／Ｓ１×１００のように求めることができる。ここで、説明が分かり易いように、顔部分の領域を四角形で示したが、検出した顔部分の画素数を面積に置き換えて画素数の比を面積比の代わりにしても構わない。

尚、複数の非主要被写体がある場合は、面積比が所定値より大きい非主要被写体と、面積比が所定値より小さい非主要被写体とでぼかし量を変えるようにしても構わない。また、主要被写体を基準にする場合は、上記の処理を行う前に、先ず主要被写体が検出されていることと、主要被写体以外の被写体（非主要被写体候補）が検出されていることが前提条件である。

（２）主要被写体と非主要被写体候補との撮影画像上（表示部１１０の画面上であっても構わないし、撮像素子１０４の受光面上であっても構わない）の平面的な距離が予め設定した距離よりも長い場合に非主要被写体として決定する。図１４（ｂ）は、主要被写体である人物Ｅの顔と、非主要被写体候補の人物Ｄの顔との画面上の距離を求める例を示している。図１４（ｂ）において、撮影画像３７１の横方向をｘ軸、縦方向をｙ軸とした場合、人物Ｅの顔の中心座標は（ｘｃ１，ｙｃ１）で、人物Ｄの顔の中心座標は（ｘｃ２，ｙｃ２）で与えられる。そして、人物Ｅの顔の中心と人物Ｄの顔の中心とのｘ軸上の距離はｄｘｃで、ｙ軸上の距離はｄｙｃなので、２つの顔の中心間の直線距離ｄｃは（（ｄｘｃの二乗）＋（ｄｙｃの二乗））の平方根として求めることができる。尚、主要被写体および非主要被写体の中心座標は、領域の重心位置を基準にしても構わないし、各被写体に対するｘ軸方向およびｙ軸方向の両端位置を求め、その中点を基準にして距離を求めても構わない。また、この場合も、主要被写体が検出されていることと、主要被写体以外の被写体（非主要被写体候補）が検出されていることが前提条件である。

（３）人物の場合、顔の表情が予め設定した条件以外のものを非主要被写体とする。例えば、笑顔ではない被写体を非主要被写体候補として検出した場合、さらにその中から目を閉じている顔を検出して、これを最終的にぼかし処理を施す非主要被写体として決定する。

尚、非主要被写体についても主要被写体と同様に１つである必要はなく、検出条件に合致する被写体を全て非主要被写体として設定しても構わない。

このような非主要被写体の検出条件がステップＳ１２２で設定された後、この設定内容に応じて、ステップＳ１２６ｂの非主要被写体の検出処理が実行される。図１５のフローチャートは、ステップＳ１２６ｂの処理の流れを示すフローチャートである。尚、ステップＳ１２６ｂの非主要被写体の検出処理は、非主要被写体検出部２０４により実行される。また、本処理は、先に行った主要被写体の検出処理で検出されなかった残りの被写体の中から非主要被写体を決定する処理である。

（ステップＳ３２１）非主要被写体検出部２０４は、図１３の主要被写体検出処理で選択されなかった主要被写体候補（ここでは人間の顔とする）が主要被写体領域以外にあるか否かを判別する。例えば主要被写体領域外にその他の顔がある場合にステップＳ３２２に進み、無い場合はステップＳ３２４に進んで本処理を終了する。

（ステップＳ３２２）非主要被写体検出部２０４は、先に設定した検出条件別に非主要被写体を検出する処理を行う。例えばステップＳ１２２で設定された検出条件が「大きさが所定外」の場合は「大きさが所定外の顔」を検出する処理（ステップＳ３２２ａ）を行う。或いは、ステップＳ１２２で設定された検出条件が「主要被写体との距離が設定外」の場合は「主要被写体との距離が設定外の顔」を検出する処理（ステップＳ３２２ｂ）を行う。同様に、ステップＳ１２２で設定された検出条件が「表情が設定外」の場合は「表情が設定外の顔」を検出する処理（ステップＳ３２２ｃ）を行う。尚、ステップＳ１２２で設定された検出条件が複数の検出条件の組み合わせである場合は、ステップＳ３２２ａ，ステップＳ３２２ｂおよびステップＳ３２２ｃを組み合わせた検出処理を行う。このようにして、ステップＳ３２２では、ステップＳ１２２の検出条件に応じて非主要被写体を決定する。

（ステップＳ３２３）非主要被写体検出部２０４は、ステップＳ３２３で決定された非主要被写体の領域情報をメモリ１１２などに一時的に保持する。

（ステップＳ３２４）一連のステップＳ１２６ｂの非主要被写体の検出処理サブルーチンを終了し、図１２のフローチャートに戻る。

このようにして、本実施形態に係る撮像装置１０１は、予め設定された検出条件に応じて自由度の高い非主要被写体の検出を行うことができる。

［撮影禁止被写体の検出処理］
次に、ステップＳ１２６ｃの撮影禁止被写体の検出処理について説明する。撮影禁止被写体は、先に撮影禁止処理部２１０で説明したように、撮影画像の各被写体の背景に撮影が禁止されている被写体（例えば、建物，防衛上の機材，映画や絵画など著作権のあるもの）である。そして、撮影禁止処理部２１０は、撮影禁止被写体がある場合に先に検出した主要被写体の背景をぼかし処理領域として設定する。

ここで、背景領域のぼかし処理方法の設定例について説明する。尚、背景領域のぼかし処理方法の設定は、図１２のステップＳ１２２の設定処理などで撮影禁止処理部２１０によって行われ、例えば撮影者は操作部１１１のメニューボタン１１１ｄを押下して表示部１１０に表示される背景領域のぼかし処理設定メニューに従って下記のような処理方法を選択する。
（１）撮影画像の平面上で主要被写体の上側の領域とする。例えば、主要被写体が顔である場合は、図１６（ａ）に示すように、主要被写体の人物Ｅと人物Ｆの画面上の顔の位置より上側をぼかし処理を施す背景領域とする。尚、図１６（ａ）のように、撮影禁止物が人物の後方位置にある場合、撮影禁止処理部２１０は撮像装置１０１が撮影禁止区域の中ではなく、撮影禁止物の周辺の場所で使用されていることがわかるが、撮影方向が必ずしも撮影禁止物の方向であるとは限らない。そこで、撮影禁止処理部２１０は、測位部１１３の電子コンパスを参照して、撮影方向を取得する。例えば図１６（ｂ）に示すように、電子コンパスの北方向（Ｎの方向）にレンズ部１０２が向いていることを検出した場合、ＧＰＳなどから得られる撮像装置１０１の地理的な現在位置（ＡＢＣ−公園）と電子コンパスの情報とを組み合わせて、例えば撮影方向に撮影禁止物（ＸＸ施設）があることを判別できる。このようにして、撮影禁止処理部２１０は撮影禁止領域の周辺にいる場合に撮影禁止物が撮影方向にあるか否かを判断する。
（２）主要被写体の色範囲以外の色の部分を背景領域とする。この場合、主要被写体には様々な色成分が含まれている可能性があり、背景との区別が必ずしも明確にならない場合がある。そこで、例えば主要被写体に含まれている主な色成分（例えば主要被写体を構成する７０％以上の色成分）があるか否かで背景を区別するようにしても構わない。同様に、輝度範囲や色と輝度の組み合わせなどによって主要被写体とは異なる部分を検出して背景領域としても構わない。尚、連続していない所定画素数以下の孤立点を除外しても構わない。また、主要被写体の検出方法が顔である場合、顔より下の部分を背景から除外しても構わない。この場合、顔より下の身体の部分が主要被写体領域に設定されることと等価である。
（３）撮影禁止被写体を含む背景などにぼかし処理を施す場合、当該部分に建物のイラストや建物の名前や撮影場所を示す住所などを重畳する。建物の名前や撮影場所の住所は、位置情報処理部１５５から得ることができる。この場合、例えば図１６（ｃ）に示すように、ぼかし処理が施された背景の撮影禁止被写体部分に「ＸＸ施設」という文字が画面に重畳される。

尚、撮影禁止被写体だけではなく、非主要被写体のぼかし処理部分にも同様に、イラストや文字（特定人物の場合は氏名など）を重畳するようにしても構わない。これにより、ぼかし処理で画像が見れない場合でも、閲覧者はその部分に何が撮影されているのかを知ることができる。

このようにして、撮影禁止処理部２１０は、撮影禁止被写体を含む背景をぼかし処理対象に設定し、背景の領域情報やぼかし量或いはイラストや文字などの表示情報をメモリ１１２に保持する。図１７のフローチャートは、ステップＳ１２６ｃの処理の流れを示すフローチャートである。尚、ステップＳ１２６ｃの撮影禁止被写体の検出処理は、位置情報処理部１５５および撮影禁止処理部２１０により実行される。

（ステップＳ４２１）位置情報処理部１５５は、測位部１１３によって撮像装置１０１を使用している地理的な位置情報を取得する。位置情報は、先に説明したように、ＧＰＳシステムなどから得られる緯度や経度などの情報で、メモリ１１２が保持している地図情報を参照して住所などの所在を知ることができる。

（ステップＳ４２２）撮影禁止処理部２１０は、メモリ１１２に予め記憶されている規制情報を参照して、ステップＳ４２１で取得した住所が撮影禁止区域であるか否かを判別する。撮影禁止区域である場合はステップＳ４２３に進み、撮影禁止区域でない場合はステップＳ４２４に進む。尚、撮影禁止区域内だけではなく、撮影禁止区域近辺に居る場合を含む。また、撮影禁止区域内であるか撮影禁止区域近辺であるかの情報をぼかし処理を実行するまでメモリ１１２に保持しておいても構わない。

（ステップＳ４２３）撮影禁止処理部２１０は、先に検出した主要被写体の背景をぼかし処理対象に設定する。この時、背景の領域情報をメモリ１１２に保持する。尚、撮影禁止被写体に対するぼかし量が予め設定されている場合は、ぼかし量の情報を含めて保持する。また、ぼかし処理部分に建物のイラストや建物の名前や撮影場所を示す住所などを重畳する設定になっている場合は、イラストや文字などの表示情報を含めて保持する。

（ステップＳ４２４）撮影画像の背景はぼかし処理対象としない。この場合は、何も処理せずにステップＳ４２５に進む。或いは、背景処理を行ったか否かが判るように、背景をぼかし処理対象としないという情報をメモリ１１２に保持するようにしても構わない。

（ステップＳ４２５）一連の撮影禁止被写体の検出処理サブルーチンを終了し、図１２のフローチャートに戻る。

このようにして、本実施形態に係る撮像装置１０１は、撮像装置１０１を使用している場所が撮影禁止区域である場合に、主要被写体の背景をぼかし処理対象に設定するので、撮影禁止区域にある被写体が撮影された場合でも強制的にぼかし処理を施すことができ、セキュリティやプライバシを保護することができる。

以上、図１２，図１３，図１５および図１７のフローチャートで説明したように、本実施形態に係る制御部１０８は、主要被写体の検出および設定を行い、次に非主要被写体の検出および設定を行った後、撮影禁止被写体がある場合は主要被写体の背景処理の設定を行い、撮影画像の中の最終的なぼかし領域を決定してぼかし処理を実行する。或いは、ぼかし領域の情報をぼかし無し画像に付加してメモリカード１０９ａに保存する。

このようにして、本実施形態に係る撮像装置１０１は、ユーザーが予め設定した条件の被写体にぼかし処理を施すことができ、他人に見られたくない被写体のプライバシを保護することができる。特に、本実施形態に係る撮像装置１０１は、撮影画像に撮影禁止被写体が含まれている場合に、撮影禁止被写体を含む背景にぼかし処理を施すので、撮影禁止区域にある被写体が撮影された場合でも強制的にぼかし処理を施すことができ、セキュリティやプライバシを保護することができる。

尚、先の説明では、ぼかし量の情報を各被写体の検出時に設定するようにしたが、ぼかし処理の実行時にぼかし量を変えるようにしても構わない。尚、ぼかし量を変える技術については、後で詳しく説明する。また、ぼかし処理は撮影後の画像に対して行うようにしても構わないし、撮影時のＬＶ画像でぼかし処理後の画像と同じ領域にぼかし処理を施して表示部１１０に表示し、撮影者が確認できるようにしても構わない。

以下、ぼかし量を変えるいくつかの応用例を示す。
（１）背景と非主要被写体とで異なるぼかし量に設定する。例えば、背景は非主要被写体の中で一番大きいぼかし量と同等かそれ以上に設定する。例えば図１６（ｄ）において、主要被写体の人物Ｅおよび人物Ｆに対して、非主要被写体の人物Ｄおよび人物Ｇはぼかし処理が施され、撮影禁止物を含む背景もぼかし処理が施されている。そして、人物Ｄのぼかし量をＢｄ，人物Ｇのぼかし量をＢｇ，背景のぼかし量をＢｈとした場合、ぼかし量の大小関係は例えばＢｄ＜Ｂｇ≦Ｂｈの関係を有する。
（２）複数の非主要被写体がある場合に、非主要被写体と撮像装置１０１との距離に応じてぼかし量を変える。例えば、撮像装置１０１から遠い距離にある非主要被写体のぼかし量を近い距離にある非主要被写体のぼかし量より大きくしたり、或いは逆に小さくする。（３）背景の中でぼかし量を変える。例えば、色の検出によって空の部分を検出して、背景であっても空の部分はぼかさないようにしたり、ぼかし量を小さくする。
（４）境界部分でぼかし量を変える。例えば、非主要被写体や背景の領域の中心からエッジ部分にかけてぼかし量を徐々に小さくして、ぼかす部分とぼかさない部分との境界での違和感を軽減する。

尚、本実施形態におけるぼかし処理方法は、第１の実施形態で説明したぼかし処理方法と同じなので重複する説明は省略する。
（第３の実施形態）
次に、本発明に係る画像処理装置およびコンピュータで実行可能な画像処理プログラムが記録された記録媒体の実施形態について図面を用いて詳しく説明する。

本実施形態では、画像処理装置および画像処理プログラムの一例として撮像装置１０１を例に挙げて説明する。尚、本実施形態では、画像処理プログラムは、画像転送プログラム（画像転送アプリケーション）と、画像閲覧プログラム（画像閲覧アプリケーション）とで構成するが、実際には１つのプログラム（アプリケーション）としてまとめても構わない。

ここで、撮像装置１０１の実施形態について説明する前に、撮像装置１０１の使用形態の全体像について図１８を用いて説明する。図１８は本実施形態に係る撮像装置１０１を中心とする使用形態を示した説明図である。

図１８において、撮像装置１０１で撮影された画像データは、ＵＳＢケーブルやＬＡＮケーブル或いは無線などの接続インターフェースを介してパソコン５０１に転送される。或いは、撮像装置１０１で撮影された画像データが記憶されたメモリカード１０９ａを別の撮像装置５１５に装着して移動することができる。また、撮像装置１０１やパソコン５０１をプリンタ５１１に接続して画像を印刷することができる。さらに、撮像装置１０１やパソコン５０１をインターネット５１２に接続して、ＷＥＢサーバー５１４に画像データをアップロードしたり、インターネット５１２に接続されている他のユーザのパソコン５１３に電子メールとして送信することもできる。

このようにして、撮影された画像は、様々な媒体を介して特定の人だけでなく不特定多数の人に閲覧される。そこで、本実施形態に係る撮像装置１０１では、本発明に係る画像処理装置および画像処理プログラムによって、撮影画像の中で他人に見られたくない被写体をぼかした「ぼかし有画像」とぼかし処理を施していない「ぼかし無画像」とを用いて、プライバシー保護を図ることができるようになっている。例えば、ＷＥＢサーバー５１４にアップロードして公開する画像は「ぼかし有画像」を自動的に選択してアップロードすることにより、プライバシー保護を図ることができる。或いは、「ぼかし無画像」に閲覧期限を設定できるようにして、閲覧期限内であれば「ぼかし無画像」を表示できるようにしたり、予め設定したライセンスキー（鍵情報）を入力した場合だけ「ぼかし無画像」を表示するなど様々なプライバシー保護を実施できるようになっている。尚、ライセンスキーは、撮像装置１０１に予め登録されており、他と重複することがない一連の英数字などで構成される。例えばシリアル番号などを基に数学的な手法を用いて作成したものでも構わないし、ユーザーが好みの英数字をライセンスキーとして撮像装置１０１に登録しておいても構わない。また、ライセンスキーは撮像装置毎に付与されるものとしたが、画像毎に付与されるものであっても構わない。

また、本実施形態では、見られたくない被写体のプライバシー保護を図るための画像処理としてぼかし処理を行った「ぼかし有画像」について説明するが、「ぼかし有画像」のようにフォーカス状態を甘くする処理だけでなく、プライバシー保護のために、色相を変えたり、別の色や画像で置き換えるなどの画像処理を行う場合も含まれる。尚、本実施形態ではわかり易いように「ぼかし有画像」および「ぼかし無画像」としたが、「プライバシー保護を図るための画像処理を施した被写体を含む画像」および「プライバシー保護を図るための画像処理を施していない被写体を含む画像」にそれぞれ対応する。

本発明に係る画像処理装置および画像処理プログラムの実施形態である撮像装置１０１について説明する。

［撮像装置１０１の構成］
図１９は本実施形態に係る撮像装置１０１の構成を示すブロック図である。撮像装置１０１は、レンズ部１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）１０５と、画像バッファ１０６と、ＴＧ（タイミングジェネレータ）１０７と、制御部１０８と、メモリカード１０９ａを装着するためのメモリカードＩＦ１０９と、表示部１１０と、操作部１１１と、メモリ１１２と、出力ＩＦ（インターフェース）１１４とで構成される。ここで、図１９において、先に説明した第１の実施形態の撮像装置１０１に対して、出力ＩＦ（インターフェース）１１４が新たに追加されている。尚、図１と基本的な動作は同じなので重複する説明は省略する。

出力ＩＦ１１４は、図１８で説明したように、ＵＳＢケーブルやＬＡＮケーブル或いは無線などの接続インターフェースを提供し、外部に接続されるパソコン５０１やプリンタ５１１或いはインターネット上のＷＥＢサーバー５１４と制御部１０８との間で画像データや制御データを入出力する。

また、図１９において、制御部１０８は、ぼかし画像生成部１５１と、記録制御部１５２と、表示制御部１５３と、撮影制御部１５４と、外部出力制御部１５６とで構成される。

ぼかし画像生成部１５１は、操作部１１１のレリーズボタン１１１ｂが押下された時に、撮像素子１０４で撮像され画像バッファ１０６に取り込まれた画像の中から予め設定された被写体条件に合致する被写体（非主要被写体）を検出してぼかし処理を施し、ぼかし画像を生成する。尚、ぼかし画像生成部１５１の構成については後で詳しく説明する。

ここで、図１９において、先に説明した第１の実施形態の撮影制御部１５４については、基本的な動作は同じなので重複する説明は省略するが、記録制御部１５２および表示制御部１５３の動作が少し異なり、外部出力制御部１５６が新たに追加されている。

記録制御部１５２は、ぼかし画像生成部１５１が生成した「ぼかし有画像」の画像データおよびぼかし処理を施す前の「ぼかし無画像」の画像データをメモリカードＩＦ１０９に装着されているメモリカード１０９ａに保存する。或いは、記録制御部１５２は、操作部１１１の再生ボタン１１１ｅが押下されると、メモリカード１０９ａに保存されている撮影済みの画像データを読み出して表示部１１０に表示する。

尚、「ぼかし有画像」のファイル名と、「ぼかし無画像」のファイル名は対応が容易に判別できるようになっている。例えば、同一名称で属性を変えたり、名称の末尾を変える。一例として、記録制御部１５２は「ぼかし無画像」をＲＡＷデータ形式（ＲＡＷデータは撮影時の生データ）で記憶し、「ぼかし有画像」をＪＰＥＧ形式の画像圧縮データで記憶する。この場合は、「ぼかし無画像」のファイル名は、例えば「ＤＳＣ０００１．ＲＡＷ」、「ぼかし有画像」のファイル名は「ＤＳＣ０００１．ＪＰＧ」となる。或いは、「ＤＳＣ０００１．ＲＡＷ」ではなく「ＤＳＣ０００１．ＯＲＧ」など専用の属性名を付加しても構わない。また、同じＪＰＥＧ形式の画像データとして「ぼかし無画像」および「ぼかし有画像」を保存する場合は、例えば「ぼかし無画像」のファイル名を「ＤＳＣ０００１−ＮＡＳＩ．ＪＰＧ」とし、「ぼかし有画像」のファイル名を「ＤＳＣ０００１−ＡＲＩ．ＪＰＧ」とすればよい。尚、上記は一例であり、「ぼかし無画像」と「ぼかし有画像」のファイルを容易に判別でき、互いに関連付けられるファイル名や属性名であれば何でも構わない。

また、記録制御部１５２は、後に説明するぼかし位置情報出力部２０９が出力するぼかし領域の位置情報をヘッダ情報として「ぼかし無画像」の画像データに付加してメモリカード１０９ａに記憶するようにしても構わない。これにより、「ぼかし無画像」のみがメモリカード１０９ａに保存されている場合でも、表示する時や外部出力する時にぼかし位置情報を「ぼかし無画像」のファイルから読み出して当該位置にぼかし処理を施すことができる。尚、ヘッダ情報は、例えばＥＸＩＦ規格のフォーマットを利用する。

さらに、記録制御部１５２は、「ぼかし無画像」をメモリカード１０９ａに保存する際に、作成年月日情報と共に閲覧期限情報を記憶するようにしても構わない。尚、閲覧期限情報の設定は、デフォルト値として１０日間などを予め設定しておいても構わないし、操作部１１１のメニューボタン１１１ｄを押下して、「閲覧期限設定メニュー」を選択できるようにしても構わない。この場合は、「閲覧期限設定メニュー」を表示部１１０に表示して、十字カーソルボタン１１１ｆなどで閲覧期限（閲覧可能期間）を設定する。これにより、表示制御部１５３は、「ぼかし無画像」の表示が選択された時に「ぼかし無画像」のファイルに付加されている作成年月日情報と閲覧期限とを参照して、表示部１１０に表示するか否かを判別する。例えば、作成年月日が２０１０年１月１日で閲覧期限が１０日間の場合に、表示しようとした年月日が２０１０年１月１日から１月１０日までの期間は、「ぼかし無画像」をそのまま表示し、１月１１日以降は「ぼかし無画像」を表示しないようにする。

また、記録制御部１５２は、「ぼかし無画像」の表示を許可するための鍵情報を「ぼかし無画像」のファイルに付加してメモリカード１０９ａに記憶するようにしても構わない。尚、鍵情報の設定は、デフォルト値として撮像装置１０１のシリアル番号に基づく固有の情報を用いるようにしても構わないし、ユーザーが自由に設定できるようにしても構わない。この場合は、操作部１１１のメニューボタン１１１ｄを押下して、「閲覧キー設定メニュー」を表示部１１０に表示し、十字カーソルボタン１１１ｆなどで任意の鍵情報を設定する。これにより、表示制御部１５３は、「ぼかし無画像」の表示が選択された時に「ぼかし無画像」のファイルに付加されている鍵情報と、表示しようとしている装置や画像閲覧プログラムに設定されている鍵情報とを比較して、一致している場合（或いは２つの鍵情報が所定の数学的関係にある場合）は、当該「ぼかし無画像」を表示部１１０に表示する。逆に、２つの鍵情報が一致しない場合（或いは２つの鍵情報が所定の数学的関係にない場合）は、当該「ぼかし無画像」を表示部１１０に表示しないようにする。

尚、閲覧期限や鍵情報を利用する場合の実施例については後で詳しく説明する。

表示制御部１５３は、撮影画像，ＬＶ画像およびメニュー画面などを表示部１１０に表示する。或いは、記録制御部１５２がメモリカード１０９ａから読み出した撮影済みの画像を表示部１１０に表示する。特に、本実施形態に係る撮像装置１０１では、操作部１１１の再生ボタン１１１ｅが押下されると、図２０（ａ）に示すような画面５０４ａを表示部１１０に表示し、メモリカード１０９ａに保存されている画像を閲覧することができる。この時、表示制御部１５３では、後で説明する専用の「画像閲覧プログラム」が実行される。

外部出力制御部１５６は、表示制御部１５３がメモリカード１０９ａから読み出して表示部１１０に表示した画像を選択し、印刷やメール送信或いはインターネット上のＷＥＢサーバーなどへのアップロードやパソコンへの転送などを行うための処理を実行する。

次に、ぼかし処理を行うぼかし画像生成部１５１の構成について詳しく説明する。
［ぼかし画像生成部１５１の構成］
図２１は、ぼかし画像生成部１５１の構成を示す図である。図２１において、ぼかし画像生成部１５１は、非主要被写体設定部２０１と、主要被写体設定部２０２と、ぼかし量設定部２０３と、非主要被写体検出部２０４と、主要被写体検出部２０５と、ぼかし処理部２０６と、連写制御部２０７と、移動被写体検出部２０８と、ぼかし位置情報出力部２０９とで構成される。

ここで、図２１において、非主要被写体設定部２０１と、主要被写体設定部２０２と、ぼかし量設定部２０３と、非主要被写体検出部２０４と、主要被写体検出部２０５と、ぼかし処理部２０６および連写制御部２０７は、第１の実施形態の図３と基本的な動作は同じである。そして、本実施形態では、移動被写体検出部２０８と、ぼかし位置情報出力部２０９とを備えている。

以下、第１の実施形態と異なる部分について説明する。

移動被写体検出部２０８は、連写制御部２０７が撮影した同じ画角の複数枚の画像の時間的に前後する画像の差分から移動被写体を検出する。

ぼかし位置情報出力部２０９は、ぼかし処理部２０６が非主要被写体検出部２０４で検出した被写体に対してぼかし処理を施す際の非主要被写体（またはぼかし領域）の位置情報を記録制御部１５２に出力する。そして、記録制御部１５２は、「ぼかし無画像」をメモリカード１０９ａに記憶する際に、ぼかし領域の位置情報をヘッダ情報として「ぼかし無画像」の画像データに付加してメモリカード１０９ａに記憶する。

以上が本実施形態に係る撮像装置１０１の基本構成である。尚、撮像装置１０１で行われるぼかし撮影処理については、基本的には第１の実施形態の図６のフローチャートと同じであるが、本実施形態特有の処理を行う部分について説明し、第１の実施形態と同じ処理については重複する説明を省略する。

図６のフローチャートのステップＳ１０１からステップＳ１０５までの処理は同じである。

（ステップＳ１０６）ぼかし処理部２０６は、ステップＳ１０５で検出した非主要被写体または主要被写体の位置情報と、ステップＳ１０３で設定されたぼかし処理の対象に応じて、ぼかし処理を行う領域を決定する。例えば、図７（ａ）の例では、画素座標（ｘ１，ｙ１），画素座標（ｘ１，ｙ２），座標（ｘ２，ｙ１）および画素座標（ｘ２，ｙ２）を頂点とする四角形状の領域がぼかし処理を施す領域として決定される。ここで本実施形態では、ぼかし位置情報出力部２０９は、決定された領域の位置情報（対角座標など）を記録制御部１５２に出力する。

次のステップＳ１０７の処理は図６と同じである。

（ステップＳ１０８）ぼかし処理部２０６は、第１の実施形態と同様に、画像バッファ１０６に取り込まれた本撮影画像のステップＳ１０６で決定したぼかし領域に対してステップＳ１０２のぼかし量設定部２０３で設定されたぼかし量に応じたぼかし処理を施す。尚、ぼかし処理部２０６の処理方法として、撮影時にぼかし位置のフォーカス状態を変えて撮影可能な撮像素子１０４を用いる場合は、ステップＳ１０７でぼかし処理部２０６がぼかし量に応じてフォーカス状態を変えて撮影するので、撮影された画像は既に「ぼかし有画像」になっており、画像処理によってぼかし処理を施すための本処理ステップは不要である。

（ステップＳ１０９）記録制御部１５２は、ぼかし処理部２０６でぼかし処理が施された「ぼかし有画像」の画像データと、ぼかし処理を施す前の「ぼかし無画像」の画像データとをメモリカード１０９ａに記録する。ここで、ステップＳ１０６において、ぼかし位置情報出力部２０９が出力する非主要被写体（またはぼかし領域）の位置情報を「ぼかし無画像」の画像データに付加してメモリカード１０９ａに記憶する。

（ステップＳ１１０）一連のぼかし撮影処理を終了する。

このようにして、本実施形態に係る撮像装置１０１は、ユーザーが予め設定した条件の被写体にぼかし処理を施すことができ、他人に見られたくない被写体のプライバシーを保護することができる。

尚、本実施形態におけるぼかし処理方法は、第１の実施形態で説明したぼかし処理方法と同じなので重複する説明は省略する。

次に、本実施形態に係る撮像装置１０１で撮影された「ぼかし無画像」および「ぼかし有画像」を外部出力したり、閲覧する場合の実施形態について詳しく説明する。尚、上記で説明したように、撮像装置１０１で撮影された「ぼかし無画像」および「ぼかし有画像」はメモリカード１０９ａに記憶されているものとする。

［記憶されている画像ファイルについて］
先ず、メモリカード１０９ａに記憶されている画像ファイルについて説明しておく。メモリカード１０９ａには、「ぼかし有画像」のファイルと、「ぼかし無画像」のファイルとが記憶されている。そして、先に説明したように、これらのファイルはファイル名や属性名などで互いに関連付けられている。

そして、操作部１１１の再生ボタン１１１ｅが押下されると、撮像装置１０１の制御部１０８では、メモリカード１０９ａから画像データを読み出して表示するための専用の「画像閲覧プログラム」が実行される。

ここで、専用の「画像閲覧プログラム」は、メモリカード１０９ａに記憶されている「ぼかし有画像」のファイルと「ぼかし無画像」のファイルとを１つの同じ画像のファイルとして認識し、表示部１１０に表示する際には必ず「ぼかし有画像」のファイルまたは「ぼかし無画像」のファイルのいずれかの画像しか表示しないように制御する。また、画像ファイルを撮像装置１０１の外部に出力する場合は、専用の「画像転送プログラム」が実行される。「画像転送プログラム」は、例えば「ぼかし有画像」のファイルと「ぼかし無画像」のファイルとのペアのファイルを１つのファイルとして扱い、基本的には両方のファイルを一緒に転送する。そして、この場合、物理的には２つのファイルを転送することになるが、表示部１１０に表示するメッセージは例えば「１つのファイルを転送しました」のように表示する。これにより、ユーザーは、「ぼかし有画像」と「ぼかし無画像」の２つのファイルの存在を意識する必要がなく、通常の画像ファイルと同じように１つの画像ファイルとして扱うことができる。

尚、「ＤＳＣ０００１．ＯＲＧ」などの「ぼかし無画像」のファイルの存在は、専用の「画像転送プログラム」や「画像閲覧プログラム」でのみ認識可能とする。そして、ユーザーがぼかしＯＮ／ＯＦＦボタン６０４を押下して「ぼかし有画像」と「ぼかし無画像」とを交互に切り替えて表示しても、２つのファイルの存在を意識する必要はなく、あたかも１つの画像ファイルしかないように認識される。

或いは、マルチピクチャーフォーマット（ＭＰＦ）規格のフォーマットを用いて、「ぼかし有画像」と「ぼかし無画像」とを１つのファイルにまとめても構わない。もちろんこの場合でもヘッダファイルなどに閲覧期限やライセンスキー或いはぼかし位置情報などの情報を付加しておき、「ぼかし無画像」を表示する際に制限をかけるようにすれば、本実施形態と同様の効果が得られる。尚、ＭＰＦ規格は標準規格なので、「ぼかし無画像」の画像データをそのまま利用せずに、「画像閲覧プログラム」に登録されたライセンスキーで解除できるようなスクランブルを「ぼかし無画像」に施しておく必要がある。

［撮影済みの「ぼかし有画像」または「ぼかし無画像」の表示処理］
次に、メモリカード１０９ａに保存された「ぼかし有画像」および「ぼかし無画像」を読み出して表示部１１０に表示する場合について説明する。先に表示制御部１５３で説明したように、図２０（ａ）は、ユーザーが操作部１１１の再生ボタン１１１ｅを押下した時に表示部１１０に表示される画面５０４ａを示した説明図である。図２０（ａ）において、画面５０４ａ内には、メモリカード１０９ａに保存されている画像１から画像３０までの３０枚のサムネイル画像が表示され、画面５０４ａの上部には、印刷ボタン６００，メールボタン６０１，アップロードボタン６０２，ＰＣボタン６０３およびぼかしＯＮ／ＯＦＦボタン６０４などが表示されている。これらのボタンは、十字カーソルボタン１１１ｆのカーソルキーで画面５０４ａ内に表示されたカーソル６０５を各ボタン上に移動させてＯＫボタンを押下することで選択できる。また、画面５０４ａの右側には、選択開始ボタン６０６，選択終了ボタン６０７，拡大（＋）ボタン６０８，縮小（−）ボタン６０９およびサムネイルボタン６１０などが表示されている。

ここで、カーソル６０５を用いて印刷する画像やメール送信する画像あるいはインターネット上のＷＥＢサーバー５１４にアップロードする画像などをサムネイル表示されている画像の中から選択することができる。画像の選択は、例えば１枚の画像を選択する場合は当該画像上にカーソル６０５を移動してＯＫボタンを押下することで選択される。また、複数の画像を選択する場合は、カーソル６０５で選択開始ボタン６０６を押下した後、順次選択するサムネイル画像上にカーソル６０５を移動してＯＫボタンを押下すればよい。複数画像の選択を終了する場合は、カーソル６０５で選択終了ボタン６０７を押下する。

或いは、補足機能として、カーソル６０５で（＋）ボタン６０８を押下した後、いずれかの画像（例えば画像１）を選択すると、当該画像（画像１）が拡大されて図２０（ｂ）のように画面５０４ａに表示されるようにしても構わない。この場合、さらに（＋）ボタン６０８を押下する毎に拡大され、逆に（−）ボタン６０９を押下する毎に縮小される。そして、サムネイルボタン６１０を押下すると、元の図２０（ａ）の画面５０４ａに戻る。

このようにして、印刷やメール送信あるいはＷＥＢサーバーへのアップロードなどを行う画像を選択することができる。ここで、以降の説明において、特に明記しない限り、印刷やメール送信あるいはＷＥＢサーバーへのアップロードやパソコンへの転送など、撮像装置１０１以外の装置に画像データを出力する処理を外部出力処理と称するものとする。

［外部出力処理］
次に、印刷やメール送信あるいはＷＥＢサーバーへのアップロードなどを行う場合の外部出力処理について図２２のフローチャートを用いて説明する。尚、図２２のフローチャートは、制御部１０８が内部またはメモリ１１２に予め記憶されたプログラムに従って行う処理である。また、図２０（ａ）で説明したように、撮影済みの画像を表示部１１０の画面５０４ａに表示するための処理は制御部１０８の表示制御部１５３によって実行される（専用の「画像閲覧プログラム」に相当）。また、印刷ボタン６００やメールボタン６０１あるいはアップロードボタン６０２やＰＣボタン６０３が押下された時に画像ファイルを外部に出力する処理は制御部１０８の外部出力制御部１５６によって実行される（専用の「画像転送用プログラム」に相当）。

図２２において、ユーザーは、操作部１１１の電源ボタン１１１ａを押下して撮像装置１０１の電源が投入し、制御部１０８はメモリ１１２に予め記憶されているパラメータ類を読み出して撮像装置１０１の各部の初期設定を完了し、撮像装置１０１は使用できる状態にある。また、メモリカード１０９ａには、「ぼかし有画像」と「ぼかし無画像」の両方の画像ファイルが先に説明した所定のファイル名などで互いに関連づけられて記憶されているものとする。

（ステップＳ２０１）ユーザーが操作部１１１の再生ボタン１１１ｅを押下すると、制御部１０８の表示制御部１５３は、専用の「画像閲覧プログラム」を実行し、外部出力処理を開始する。この状態で図２０（ａ）に示したような画面５０４ａが表示部１１０に表示される。

ここで、制御部１０８の表示制御部１５３は、最初にサムネイル画像として表示される画像は、「ぼかし有画像」になるように制御する。但し、ぼかしＯＮ／ＯＦＦボタン６０４を押下する毎に「ぼかし有画像」と「ぼかし無画像」とを交互に表示部１１０に表示する。

（ステップＳ２０２）ユーザーは、図２０（ａ）で説明したように、十字カーソルボタン１１１ｆを用いて外部出力する画像を選択する。

（ステップＳ２０３）ユーザーは、ステップＳ２０２で選択した画像を外部出力する場合、外部出力用のボタン（印刷ボタン６００，メールボタン６０１，アップロードボタン６０２およびＰＣボタン６０３のいずれかのボタン）を押下する。

（ステップＳ２０４）制御部１０８の外部出力制御部１５６は、選択された画像が「ぼかし無画像」であるか否かを判別する。尚、先に説明したように、判別はファイル名や属性名によって行うことができる。そして、「ぼかし無画像」である場合はステップＳ２０５に進み、「ぼかし無画像」ではない場合、つまり「ぼかし有画像」である場合はステップＳ２０９に進む。

（ステップＳ２０５）制御部１０８の外部出力制御部１５６は、選択された「ぼかし無画像」に対応する「ぼかし有画像」のファイルをメモリカード１０９ａから検索する。尚、検索はファイル名や属性名によって行われる。

（ステップＳ２０６）制御部１０８の外部出力制御部１５６は、選択された「ぼかし無画像」に対応する「ぼかし有画像」のファイルがあったか否かを判別し、あった場合はステップＳ２０７に進み、ない場合はステップＳ２０８に進む。

（ステップＳ２０７）制御部１０８の外部出力制御部１５６は、選択された「ぼかし無画像」に対応する「ぼかし有画像」のファイルを外部出力用のフォルダにコピーする。尚、外部出力用のフォルダは、メモリ１１２または画像バッファ１０６などに一時的に作成されるフォルダである。

（ステップＳ２０８）制御部１０８の外部出力制御部１５６は、選択された「ぼかし無画像」に対応する「ぼかし有画像」のファイルがなかった場合は、「ぼかし有画像」を作成する。この時、先に説明したように、「ぼかし無画像」の画像ファイルには、ぼかし領域の位置情報が付加されているので、当該位置情報が示すぼかし領域をぼかし画像生成部１５１のぼかし処理部２０６でぼかし処理を行い、「ぼかし有画像」の画像データを作成する。

（ステップＳ２０９）制御部１０８の外部出力制御部１５６は、選択された「ぼかし有画像」のファイルを外部出力用のフォルダにコピーする。

（ステップＳ２１０）制御部１０８の外部出力制御部１５６は、ステップＳ２０４からステップＳ２０９までの処理を選択された全ての画像について実行したか否かを判別する。選択された全ての画像について実行した場合はステップＳ２１１に進み、全ての画像について実行していない場合はステップＳ２０４に戻る。

（ステップＳ２１１）制御部１０８の外部出力制御部１５６は、外部出力用フォルダにコピーされた「ぼかし有画像」の画像ファイルを押下されたボタンに応じた出力先に出力ＩＦ１１４を介して画像ファイルを出力する。例えば印刷ボタン６００が押下された場合はプリンタ５１１に選択された画像ファイルを出力し、メールボタン６０１が押下された場合はインターネット上のパソコン５１３に画像ファイルを送信し、アップロードボタン６０２が押下された場合はインターネット上のＷＥＢサーバー５１４に画像ファイルをアップロードする。或いは、ＰＣボタン６０３が押下された場合はパソコン５０１に画像ファイルを転送する。尚、外部出力する際にぼかし処理部２０６が「ぼかし無画像」から作成した「ぼかし有画像」をメモリカード１０９ａに保存するか否かをユーザーに確認するための保存選択メニュー画面を表示部１１０に表示して、ぼかし処理部２０６が作成した「ぼかし有画像」をメモリカード１０９ａに保存できるようにしても構わない。この場合、保存される「ぼかし有画像」のファイル名または属性名は、先に説明したように「ぼかし無画像」に関連付けて自動的に「ぼかし有画像」に付けられるものとする。

（ステップＳ２１２）一連の外部出力処理を終了する。

このようにして、本実施形態に係る撮像装置１０１は、外部出力する画像として「ぼかし有画像」を選択して出力することができる。これにより、他人に閲覧される可能性が高い外部出力する際に、自動的に「ぼかし有画像」が出力されるので、ユーザーは特別に意識することなく、画像で他人にみられたくない被写体をぼかし処理した「ぼかし有画像」をインターネット上のＷＥＢサーバー５１４で公開したり、印刷またはメール送信することができる。同様に他のパソコン５０１などに画像ファイルを転送する場合でも「ぼかし有画像」が送信されるので、安心して操作することができる。これにより、容易にプライバシーの保護を図ることができる。

尚、図２２のフローチャートにおいて、メモリーカード１０９ａに「ぼかし無画像」しか保存されていない場合でも、ステップＳ２０８で「ぼかし有画像」を作成するので、「ぼかし無画像」が外部に出力される心配はない。この場合、点線で示したステップＳ２５１やステップＳ２５２の処理位置でステップＳ２０８の「ぼかし有画像」の作成処理を実行するようにしても構わない。

［撮影した撮像装置以外の装置で「ぼかし無画像」を閲覧する場合］
次に、撮像装置１０１と同じ機能を有する他の撮像装置で撮影した「ぼかし無画像」を撮像装置１０１で閲覧する場合の処理について説明する。ここでは、他の撮像装置で撮影した「ぼかし有画像」や「ぼかし無画像」が保存されたメモリカード１０９ａを撮像装置１０１に装着して表示部１１０に表示するものとする。尚、メモリカード１０９ａではなく、ＵＳＢインターフェースやＬＡＮ（有線ＬＡＮや無線ＬＡＮ）を介して他の撮像装置から撮像装置１０１に画像データを転送するようにしても構わない。また、他の撮像装置で「ぼかし無画像」をメモリカード１０９ａに保存する際に、先に説明したように、作成年月日情報と共に閲覧期限情報が「ぼかし無画像」のファイルに付加されて記憶されているものとする。さらに、「ぼかし無画像」の表示を許可するための鍵情報が「ぼかし無画像」のファイルに付加されてメモリカード１０９ａに記憶されているものとする。尚、この鍵情報は、デフォルト値として他の撮像装置のシリアル番号に基づく固有の情報であるものとする。

このようにして、他の撮像装置で「ぼかし有画像」や「ぼかし無画像」が記憶されたメモリカード１０９ａを撮像装置１０１に装着し、操作部１１１の再生ボタン１１１ｅが押下された時の処理について図２３のフローチャートを用いて説明する。尚、図２３のフローチャートは、制御部１０８が内部またはメモリ１１２に予め記憶されたプログラムに従って行う処理である。また、図２０（ａ）で説明したように、撮影済みの画像を表示部１１０の画面５０４ａに表示するための処理は制御部１０８の表示制御部１５３によって実行される（専用の「画像閲覧プログラム」に相当）。

図２３において、ユーザーは、操作部１１１の電源ボタン１１１ａを押下して撮像装置１０１の電源が投入し、制御部１０８はメモリ１１２に予め記憶されているパラメータ類を読み出して撮像装置１０１の各部の初期設定を完了し、撮像装置１０１は使用できる状態にある。そして、他の撮像装置で「ぼかし有画像」や「ぼかし無画像」が記憶されたメモリカード１０９ａが撮像装置１０１に装着されている。尚、メモリカード１０９ａには、「ぼかし有画像」と「ぼかし無画像」の両方の画像ファイルが先に説明した所定のファイル名や属性名などで互いに関連づけられて記憶されているものとする。

（ステップＳ３０１）ユーザーが操作部１１１の再生ボタン１１１ｅを押下すると、制御部１０８の表示制御部１５３は、専用の「画像閲覧プログラム」を実行し、メモリカード１０９ａに記憶されている画像を表示部１１０に表示する。この状態で図２０（ａ）で説明した画面５０４ａが表示部１１０に表示される。ここで、外部出力するための各ボタン（印刷ボタン６００やメールボタン６０１或いはアップロードボタン６０２やＰＣボタン６０３など）については先に専用の「画像転送プログラム」で説明したので重複する説明は省略し、制御部１０８の表示制御部１５３が実行する専用の「画像閲覧プログラム」の処理について説明する。制御部１０８の表示制御部１５３は、メモリカード１０９ａから他の撮像装置で撮影した画像ファイルを順番に読み出す。

（ステップＳ３０２）制御部１０８の表示制御部１５３は、メモリカード１０９ａから順番に読み出す画像ファイルが「ぼかし無画像」であるか否かを判別する。そして、「ぼかし無画像」である場合はステップＳ３０３に進み、「ぼかし無画像」でない場合はステップＳ３０９に進む。尚、「ぼかし有画像」であるか「ぼかし無画像」であるかの判別は、ファイル名や属性名によって行うことができる。

（ステップＳ３０３）制御部１０８の表示制御部１５３は、メモリカード１０９ａから読み出した「ぼかし無画像」のファイルに付加されている撮影年月日情報と閲覧期限情報とを読み取る。そして、現在の年月日が撮影年月日から閲覧期限内であるか否かを判別する。尚、制御部１０８はカレンダＩＣが搭載され、現在の年月日がわかるものとする。そして、（撮影年月日）≦（現在の年月日）≦（撮影年月日）＋（閲覧期限）の関係が成立する場合（閲覧期限内）はステップＳ３０７に進み、（現在の年月日）＞（撮影年月日）＋（閲覧期限）の関係が成立する場合（閲覧期限外）はステップＳ３０４に進む。

（ステップＳ３０４）制御部１０８の表示制御部１５３は、「ぼかし無画像」のファイルに付加されている鍵Ｋａをロードする。

（ステップＳ３０５）制御部１０８の表示制御部１５３は、専用の「画像閲覧プログラム」に予め登録された鍵Ｋｂをロードする。

（ステップＳ３０６）制御部１０８の表示制御部１５３は、「ぼかし無画像」のファイルに付加されている鍵Ｋａと、専用の「画像閲覧プログラム」で予め登録された鍵Ｋｂとが一致するか否か（或いは２つの鍵情報が所定の数学的関係にあるか否か）を判別する。そして、鍵Ｋａと鍵Ｋｂとが一致する場合は、ステップＳ３０７に進み、一致しない場合はステップＳ３０８に進む。

（ステップＳ３０７）ステップＳ３０３で閲覧期限内と判断された場合、「ぼかし無画像」を表示部１１０に表示する。

（ステップＳ３０８）制御部１０８の表示制御部１５３は、「ぼかし無画像」に対応する「ぼかし有画像」をメモリカード１０９ａから探して表示部１１０に表示する。或いは、制御部１０８の表示制御部１５３は、「ぼかし無画像」に対応する「ぼかし有画像」がメモリカード１０９ａにない場合は、ぼかし処理部２０６で「ぼかし有画像」を作成する。この時、先に説明したように、「ぼかし無画像」の画像ファイルには、ぼかし領域の位置情報が付加されているので、当該位置情報が示すぼかし領域をぼかし画像生成部１５１のぼかし処理部２０６でぼかし処理を行い、「ぼかし有画像」の画像データを作成する。

（ステップＳ３０９）ステップＳ３０２で「ぼかし無画像」でない場合は選択された画像が「ぼかし有画像」なので、制御部１０８の表示制御部１５３は「ぼかし有画像」をそのまま表示部１１０に表示する。

（ステップＳ３１０）制御部１０８の表示制御部１５３は、表示部１１０に表示しようとしている全ての画像（図２０（ａ）の場合は３０枚以下）に対してステップＳ３０２からステップＳ３０９までの処理を繰り返し実行し、表示部１１０に「ぼかし有画像」または「ぼかし無画像」を表示する。

（ステップＳ３１１）制御部１０８の表示制御部１５３は、一連の表示処理を終了する。

このように、「ぼかし無画像」を表示部１１０に表示する際に、「ぼかし無画像」のファイルに付加されている閲覧期限情報や鍵情報を用いて、当該「ぼかし無画像」を表示部１１０に表示するか否かを判別することができる。これにより、閲覧期限を過ぎれば「ぼかし無画像」は表示されないので、他人に見られたくない被写体が移っている画像は閲覧期限内だけ公開することができる。これにより際限なく他人に見られることを防止できプライバシー保護を図ることができる。また、閲覧期限外の「ぼかし無画像」であっても、鍵情報が一致する場合は表示できるので撮影した撮像装置や専用の「画像閲覧プログラム」に対応する鍵情報を設定しておくことにより閲覧が可能となる。

尚、図２３のステップＳ３０６において、鍵Ｋａと鍵Ｋｂとが一致しない場合に、ステップＳ３５１を設けて、鍵Ｋａに対応する適正な鍵情報を入力できるようにしても構わない。鍵情報の入力は、先に説明した「閲覧キー設定メニュー」と同様にしてユーザーが適正な鍵情報を入力し、ステップＳ３０６に戻るように処理しても構わない。

また、上記の説明では、メモリカード１０９ａから読み取った画像を図２０（ａ）に示すようなサムネイル画像として表示部１１０に表示する場合について説明したが、図２０（ｂ）のように「ぼかし無画像」を大きく表示する場合についても上記の一連の表示処理を同様に行うことができる。或いは、サムネイル画像は小さいので「ぼかし無画像」で表示するようにしても構わない。また、図２０（ａ）のぼかしＯＮ／ＯＦＦボタン６０４を押下して「ぼかし無画像」が選択された場合に図２３の表示処理を行うようにしても構わない。

このように、本実施形態に係る撮像装置１０１は非主要被写体のプライバシー保護を図ることができる。特に、撮像装置１０１で撮影した「ぼかし無画像」を撮影者本人が個人的に楽しむ場合は問題はないが、何らかの事態により「ぼかし無画像」の画像データ自体が第三者にばらまかれる可能性もある。その場合、第三者が上述の専用の「画像閲覧プログラム（画像閲覧アプリケーション）」と同じプログラムを所持していたとしても、「ぼかし無画像」はその撮影者のみが知っている鍵情報を画像閲覧プログラムに登録しないと閲覧できない。これにより、万一、「ぼかし無画像」の画像データが外部に流出してしまった場合でも、個人情報を保護することができる。

また、ライセンスキーなしでは「ぼかし無画像」を全く閲覧できないというのはユーザーの利便性が低下することになるので、「ぼかし無画像」の画像データに閲覧期限を設けて、閲覧期限が過ぎた場合はライセンスキーで閲覧できるようにしている。

尚、図２３のフローチャートでは、閲覧期限の機能と、ライセンスキーの機能との両方の機能を持たせた例を示したが、閲覧期限の機能だけを利用するようにしても構わないし、ライセンスキーの機能のみを利用するようにしても構わない。例えば閲覧期限の機能のみを利用する場合のフローチャートは、図２３において、ステップＳ３０３でＮｏの場合にステップＳ３０８に進むようにして、ステップＳ３０４からステップＳ３０６までを実行しないようにすればよい。また、ライセンスキーの機能のみを利用する場合のフローチャートは、図２３において、ステップＳ３０２でＹｅｓの場合にステップＳ３０４に進むようにして、ステップＳ３０３を実行しないようにすればよい。

［拡大表示処理の概要］
次に、表示部１１０に表示される「ぼかし無画像」を拡大表示する場合の処理について図２４および図２５を用いて説明する。図２４（ａ）は、撮影時にぼかし処理を施す領域３０１と領域３０２のぼかし位置情報を示す図である。この画像の「ぼかし無画像」のファイルには領域３０１と領域３０２のぼかし位置情報が付加されているものとする。以下の説明では、表示部１１０の全画面表示を１００％として、１５０％に閾値を設定し、１５０％以上の拡大時はぼかし処理部分をぼかして表示し、１５０％未満の拡大時はぼかし処理部分をぼかさないで表示する例について説明する。

図２４（ｂ）は、撮像装置１０１の表示部１１０の画面に１００％の拡大率で表示された「ぼかし無画像」の様子を示している。尚、表示処理は、専用の「画像閲覧プログラム」に従って動作する表示制御部１５３によって制御される。また、図２４（ｂ）において、図２０（ａ）で説明したように、カーソル６０５で（＋）ボタン６０８を押下する毎に表示部１１０に表示されている画像が少しずつ拡大され、逆に（−）ボタン６０９を押下する毎に表示部１１０に表示されている画像が少しずつ縮小される。

図２４（ｃ）は、ユーザーが（＋）ボタン６０８を押下して、図２４（ｂ）の画像を２００％に拡大した時の画像例を示し、人物Ｅと人物Ｆの顔が拡大されて表示部１１０に表示されている。この状態で、ユーザーは十字カーソルボタン１１１ｆのカーソルキーを用いて、拡大した部分を上下左右に移動することができる。例えばユーザーが十字カーソルボタン１１１ｆのカーソルキーで右上方向に操作すると、表示制御部１５３は、図２４（ｄ）に示すような画像を人物Ａと人物Ｂとを含む画像を２００％の拡大率のまま表示することになる。ところが、表示制御部１５３は、図２４（ａ）で説明したぼかし位置情報を把握しているので、図２４（ｄ）にはぼかし位置情報の領域３０１と領域３０２が２００％の拡大率で表示されようとしていることがわかる。そこで、表示制御部１５３は、図２４（ｄ）に示すように、領域３０１と領域３０２の部分にぼかし処理を施した画像を表示する。

このようにして、表示制御部１５３は、予め設定した所定倍率未満で表示部１１０に表示される場合は「ぼかし無画像」をそのまま表示し、所定倍率以上で「ぼかし無画像」に付加されているぼかし位置情報部分を表示部１１０に表示する場合は、ぼかし位置部分にぼかし処理を施した画像を表示する。尚、この場合、２００％で表示する場合は「ぼかし有画像」を表示するようにしても構わないし、「ぼかし無画像」のぼかし位置部分に拡大時にぼかし処理部２０６でぼかし処理を行うようにしても構わない。また、図２４の説明では、拡大率で「ぼかし有り」または「ぼかし無し」を切り替えるようにしたが、例えばぼかし処理部分の面積が表示部１１０の画面の面積の３０％以上を占める場合は「ぼかし有り」とし、３０％未満の場合は「ぼかし無し」としても構わない。或いは、ぼかし位置部分の解像度（表示画素数）などで設定するようにしても構わない。さらに、これらの閾値情報を「ぼかし無画像」のヘッダ情報として付加できるようにしても構わない。

［拡大表示処理のフローチャート］
次に、表示制御部１５３が行う拡大表示処理の流れについて図２５のフローチャートを用いて説明する。

図２５において、ユーザーは、操作部１１１の電源ボタン１１１ａを押下して撮像装置１０１の電源が投入し、制御部１０８はメモリ１１２に予め記憶されているパラメータ類を読み出して撮像装置１０１の各部の初期設定を完了し、撮像装置１０１は使用できる状態にある。そして、ユーザーは操作部１１１の再生ボタン１１１ｅを押下し、制御部１０８の表示制御部１５３は専用の「画像閲覧プログラム」を実行する。この状態で、先に図２０（ａ）で説明したように、メモリカード１０９ａに記憶されている画像が表示部１１０に表示されている。尚、ユーザーがぼかしＯＮ／ＯＦＦボタン６０４を押下して「ぼかし無画像」が表示部１１０に表示されているものとする。

（ステップＳ４０１）ユーザーが図２０（ａ）に示した画面５０４ａ上に表示されているいずれかの画像を選択して、（＋）ボタン６０８を押下すると、表示制御部１５３は、拡大表示処理を開始する。

（ステップＳ４０２）表示制御部１５３は、予め設定された閾値以上の拡大表示が選択されたか否かを判別する。拡大率が閾値以上の場合はステップＳ４０３に進み、拡大率が閾値未満の場合はステップＳ４０７に進む。尚、この例では、図２４で説明したように、表示部１１０の全画面表示を１００％として１５０％を閾値とする。

（ステップＳ４０３）表示制御部１５３は、閾値以上に拡大された場合、選択された「ぼかし無画像」の画像データに付加されているぼかし位置情報をロードする。

（ステップＳ４０４）表示制御部１５３は、拡大表示しようとしている表示部１１０の画面内にぼかし位置部分が含まれているか否かを判別する。ぼかし位置部分が含まれている場合はステップＳ４０５に進み、ぼかし位置部分が含まれていない場合はステップＳ４０７に進む。

（ステップＳ４０５）表示制御部１５３は、ぼかし処理部２０６によってぼかし位置部分にぼかし処理を施す。或いは、先に説明したように、「ぼかし無画像」に対応する「ぼかし有画像」がメモリカード１０９ａに保存されている場合は「ぼかし有画像」を読み込む。

（ステップＳ４０６）表示制御部１５３は、ステップＳ４０５でぼかし処理した画像またはメモリカード１０９ａから読み込んだ「ぼかし有画像」を表示部１１０に同じ拡大率で表示する。

（ステップＳ４０７）ステップＳ４０２で拡大率が閾値未満の場合は、表示制御部１５３はそのまま「ぼかし無画像」を拡大して表示部１１０に表示する。

（ステップＳ４０８）表示制御部１５３は、一連の拡大表示処理を終了する。

このように、「ぼかし無画像」を表示部１１０に拡大表示する際に、「ぼかし無画像」のファイルに付加されているぼかし位置情報を参照して、「ぼかし無画像」のぼかし位置部分が予め設定した閾値以上の拡大率で表示部１１０に表示されようとした時は、ぼかし処理した画像を表示するので、非主要被写体のプライバシー保護を図ることができる。特に、閾値未満の拡大率で全体画像を表示する場合は「ぼかし無画像」を用いるので、閲覧者は違和感なく全体画像を楽しむことができる。

尚、上記の実施形態では、電子カメラやカメラ付携帯電話などの撮像装置１０１で「ぼかし無画像」や「ぼかし有画像」を利用する場合の例を説明したが、図１８で説明したように、撮影済みの「ぼかし無画像」や「ぼかし有画像」を利用可能なパソコン５０１や専用の画像処理装置であっても構わない。例えば、図２６にパソコン５０１で上記の撮像装置１０１と同様に専用の「画像閲覧プログラム」や「画像転送プログラム」を実行する場合の構成例を示す。

図２６において、パソコン５０１は、ＣＰＵなどで構成される制御部５０２と、キーボード（およびマウスなどの操作インターフェース）５０３と、表示モニタ５０４と、ＨＤ（ハードディスク）５０５と、メモリ５０６と、メモリカード５０７ａを装着可能なメモリカードＩＦ５０７と、撮像装置１０１などをＵＳＢケーブルで接続するためのＵＳＢ部５０８と、インターネットなどのネットワークに接続するためのＬＡＮ部５０９とで構成される。

制御部５０２は、メモリ５０６やＨＤ５０５に予め記憶されたプログラムによって動作し、ユーザーは表示モニタ５０４に表示される画面を見ながらキーボード５０３を操作する。

制御部５０２は、ぼかし画像生成部５５１と、記録制御部５５２と、表示制御部５５３と、外部出力制御部５５４とで構成される。ここで、制御部５０２は、先に説明した図１９の撮像装置１０１の制御部１０８に対応し、ぼかし画像生成部５５１はぼかし画像生成部１５１に、記録制御部５５２は記録制御部１５２に、表示制御部５５３は表示制御部１５３に、外部出力制御部５５４は外部出力制御部１５６にそれぞれ対応する。従って、表示制御部５５３はＨＤ５０５に予めインストールされた専用の「画像閲覧プログラム」によって動作し、外部出力制御部５５４はＨＤ５０５に予めインストールされた専用の「画像転送プログラム」によって動作する。

基本的な動作は、撮像装置１０１と同じなので省略するが、例えばメモリカード５０７ａがメモリカードＩＦ５０７に装着されると、メモリカード５０７ａの記憶内容を自動的にサーチして、例えば「ぼかし無画像」に対応する属性のファイルを検出した場合は、自動的に専用の「画像閲覧プログラム」が起動され、図２０（ａ）に示すような画面が表示モニタ５０４に表示される。そして、印刷ボタン６００やメールボタン６０１或いはアップロードボタン６０２などが押下された場合は、専用の「画像転送プログラム」が起動されて撮像装置１０１の場合と同様に、外部出力する際は「ぼかし有画像」を自動的に選択し、ＵＳＢ部５０８やＬＡＮ部５０９を介して外部に出力される。

以降の処理は、撮像装置１０１と同様に動作するので重複する説明は省略する。尚、撮影済みの画像を閲覧したり、外部に転送可能な専用の画像処理装置の場合であっても基本的な構成は図１９の撮像装置１０１や図２６のパソコン５０１と変わらず、同様の効果を得ることができる。

以上、本実施形態として撮像装置１０１およびパソコン５０１について説明してきたが、これらの装置は以下の特徴を有する。
（１）撮影画像（写真）をＷＥＢサーバー５１４で公開したり、メール送信や印刷或いはパソコン５０１などに外部出力した場合、非主要被写体にぼかし処理が施された「ぼかし有画像」が自動的に選択される。これにより、ユーザーは「ぼかし有画像」や「ぼかし無画像」を意識することなく、非主要被写体のプライバシー保護を図ることができる。
（２）撮影画像（写真）が不用意に外部に流出した場合も、当該写真の撮影者以外は非主要被写体を閲覧することができない。或いは、閲覧期限を設けて閲覧期限が過ぎると閲覧できないようにすることができる。これにより、意図せずに「ぼかし無画像」の画像データが流出した場合でも、非主要被写体のプライバシー保護を図ることができる。但し、ライセンスキーを入力することにより特定の人は閲覧することができるので利便性は損なわれない。
（３）「ぼかし無画像」を閲覧できる場合であっても、非主要被写体を所定以上の拡大率で閲覧する場合にぼかし処理を施した画像を表示することができる。これにより、所定未満の拡大率の場合は「ぼかし無画像」を表示するので閲覧者は違和感なく写真を楽しむことができ、所定以上の倍率で見られたくない非主要被写体のプライバシー保護を図ることができる。

以上、各実施形態で説明してきたように、本発明に係る撮像装置、画像処理装置、画像処理プログラム記録媒体は、ぼかし処理を施す被写体や逆にぼかし処理を施さない被写体を撮影前に設定し、撮影時に自動的にぼかし処理を施すことができる。この結果、意図せず撮影された人や、他人に見られたくない顔などをぼかすことができ、見られたくない被写体のプライバシを保護することが可能になる。

また、各実施形態では、ぼかし処理を行う場合について説明したが、ぼかし処理のようにフォーカス状態を甘くする処理だけでなく、見られたくない被写体のプライバシー保護のために、色相を変えたり、別の色や画像で置き換えるなどの画像処理を行っても構わない。但し、この場合は、ぼかし処理方法２のようにソフト的な画像処理を行う方法を用いる必要がある。

また、各実施形態では、ぼかし処理を行った「ぼかし有画像」について説明したが、「ぼかし有画像」のようにフォーカス状態を甘くする処理だけでなく、プライバシー保護のために、色相を変えたり、別の色や画像で置き換えるなどの画像処理を施した被写体を含む画像」としても構わない。但し、この場合は、ぼかし処理方法１のようにハード的な画像処理ではなく、ぼかし処理方法２のようにソフト的な画像処理を行う方法が適している。

さらに、各実施形態では静止画撮影を行う場合について説明したが、動画撮影を行う場合にも適用可能である。例えば動画の「ぼかし有画像」の場合は、各フレーム画像毎に被写体検出を行ってぼかし処理を施すようにすればよい。

また、上述の各実施形態は適宜組み合わせて用いることができる。

尚、本発明に係る撮像装置、画像処理装置、画像処理プログラム記録媒体は、上記の実施形態に限定されず、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。

Claims (22)

1. ２次元状に配列された画素毎に設けられたマイクロレンズと、前記マイクロレンズ毎に設けられた複数の受光素子とを有し、前記マイクロレンズ毎に少なくとも１つの受光素子の出力を選択して画像を生成する画像生成部と、
   前記画像生成部が生成する画像に対して、予め設定されたぼかし量で、ぼかし処理を施す領域を設定する設定部と、
   前記設定部により設定された前記画像生成部が生成する画像の前記ぼかし処理を施す領域の前記画素の出力として、当該画素周辺の他の前記画素に対して設けられた前記複数の受光素子のうち少なくとも１つの前記受光素子の出力を含むように選択し、前記ぼかし処理を施さない領域の前記画素の出力として、当該画素に対して設けられた前記複数の受光素子の出力を選択する制御部と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記設定部は、前記ぼかし処理を施す領域に加えて前記画像のぼかし量を設定し、
   前記制御部は、前記ぼかし処理を施す領域の前記画素の出力を前記画像の前記ぼかし量に応じて、当該画素周辺の前記画素に対する前記複数の受光素子の中から選択する前記受光素子の位置を変えることを特徴とする撮像装置。
3. 請求項１または請求項２に記載の撮像装置において、
   被写体の表情を判定する判定部を備え、
   前記設定部は、前記判定部の判定結果に応じて、前記画像生成部が生成する画像の前記ぼかし処理を施す領域を設定することを特徴とする撮像装置。
4. 請求項１から請求項３のいずれか一項に記載の撮像装置において、
   予め設定された主要被写体の顔を選択する顔選択部を備え、
   前記設定部は、前記主要被写体の顔よりも大きな顔を前記ぼかし処理を施す領域として設定することを特徴とする撮像装置。
5. 請求項１から請求項４のいずれか一項に記載の撮像装置において、
   撮像制限に関する情報を検出する検出部を備え、
   前記設定部は、前記撮像制限に関する情報に応じて前記画像生成部が生成する画像の少なくとも一部を前記ぼかし処理を施す領域として設定することを特徴とする撮像装置。
6. 請求項１から請求項２のいずれか一項に記載の撮像装置において、
   前記画像生成部が生成した画像を表示する第１表示部と、
   前記第１表示部から前記画像のぼかし位置を選択する第１選択部と、を備えたことを特徴とする撮像装置。
7. 請求項１から請求項６のいずれか一項に記載の撮像装置において、
   前記設定部は、被写体に関する情報を検出し、前記被写体に関する情報に応じて前記ぼかし処理を施す領域を設定することを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記設定部は、前記被写体が笑顔でない場合に、当該被写体に対して前記ぼかし処理を施す領域を設定することを特徴とする撮像装置。
9. 請求項７に記載の撮像装置において、
   前記設定部は、予め設定された主要被写体の顔とは異なる顔に対して前記ぼかし処理を施す領域を設定することを特徴とする撮像装置。
10. 請求項７に記載の撮像装置において、
    前記設定部は、人間の手を検出した場合に、前記手に対して前記ぼかし処理を施す領域を設定することを特徴とする撮像装置。
11. 請求項７に記載の撮像装置において、
    前記設定部は、前記被写体が移動被写体である場合に、前記移動被写体に対して前記ぼかし処理を施す領域を設定することを特徴とする撮像装置。
12. 請求項１から請求項１１のいずれか一項に記載の撮像装置において、
    前記設定部は、前記画像生成部が生成した画像の予め設定された主要被写体の背景に対して前記ぼかし処理を禁止することを特徴とする撮像装置。
13. 請求項７から請求項１２のいずれか一項に記載の撮像装置で生成された画像を読み出して画像処理を行う画像処理装置において、
    プライバシー保護を図るための画像処理として前記ぼかし処理が施されているプライバシー保護処理済み被写体と前記ぼかし処理が施されていないプライバシー保護未処理被写体との少なくとも一方の被写体を含む画像が記憶された画像記憶媒体から前記画像を読み出す読み出し部と、
    前記読み出し部により読み出された前記画像を表示する第２表示部と、
    前記第２表示部に表示された少なくとも１つの前記画像から外部出力する画像を選択する第２選択部と、
    前記第２選択部により選択された前記画像が前記プライバシー保護未処理被写体を含む画像である場合、前記プライバシー保護未処理被写体に前記プライバシー保護処理を施して外部に出力する画像出力部と
    を備えることを特徴とする画像処理装置。
14. 請求項１３に記載の画像処理装置において、
    前記第２選択部により選択された前記画像が前記プライバシー保護未処理被写体を含まない画像である場合、前記画像出力部は前記画像に前記ぼかし処理を施すことなく外部に出力すること
    を特徴とする画像処理装置。
15. 請求項１３または請求項１４に記載の画像処理装置において、
    前記ぼかし処理が施された前記画像を前記画像記憶媒体に保存するか否かを選択する保存選択部を更に備えること
    を特徴とする画像処理装置。
16. 請求項７から請求項１２のいずれか一項に記載の撮像装置で生成された画像を読み出して画像処理を行う画像処理装置において、
    プライバシー保護を図るための画像処理として前記ぼかし処理が施されていないプライバシー保護処理無被写体を含み且つ作成時に閲覧期限が付加された画像を画像記憶媒体から読み出す画像入力部と、
    画像表示用の第２表示部と、
    前記画像入力部が読み出した前記プライバシー保護処理無被写体を含む画像を前記第２表示部に表示する際に、前記プライバシー保護処理無被写体を含む画像に付加された閲覧期限を参照し、閲覧期限内である場合は前記プライバシー保護処理無被写体を含む画像を前記第２表示部に表示し、閲覧期限外である場合は前記プライバシー保護処理無被写体にプライバシー保護を図るための画像処理として前記ぼかし処理を施した画像を前記第２表示部に表示する表示制御部と
    を設けたことを特徴とする画像処理装置。
17. 請求項１６に記載の画像処理装置において、
    前記プライバシー保護処理無被写体を含む画像の作成時に第１鍵情報を更に付加し、且つ前記表示制御部に前記第１鍵情報に対応する第２鍵情報を予め設定しておき、
    前記表示制御部は、閲覧期限外である場合であっても、前記プライバシー保護処理無被写体を含む画像に付加された前記第１鍵情報と前記表示制御部に設定された前記第２鍵情報とが一致する場合は、前記プライバシー保護処理無被写体を含む画像を前記第２表示部に表示することを特徴とする画像処理装置。
18. 請求項１７に記載の画像処理装置において、
    外部から任意の鍵情報を入力する鍵情報入力部を更に設け、
    前記表示制御部は、前記プライバシー保護処理無被写体を含む画像に付加された前記第１鍵情報と前記鍵情報入力部から入力した前記鍵情報とが一致する場合は、前記プライバシー保護処理無被写体を含む画像を前記第２表示部に表示することを特徴とする画像処理装置。
19. 請求項１６から請求項１８のいずれか一項に記載の画像処理装置において、
    前記プライバシー保護処理無被写体を含む画像の作成時にプライバシー保護を図るための前記ぼかし処理を施す処理位置情報を付加しておくことを特徴とする画像処理装置。
20. 請求項１９に記載の画像処理装置において、
    前記第２表示部に表示する画像を拡大する拡大制御部を更に設け、
    前記拡大制御部は、前記プライバシー保護処理無被写体を含む画像の前記処理位置情報に対応する部分を拡大表示する場合に、前記処理位置部分にプライバシー保護を図るための前記ぼかし処理を施して前記第２表示部に表示することを特徴とする画像処理装置。
21. 請求項７から請求項１２のいずれか一項に記載の撮像装置で生成された画像を処理するコンピュータで実行可能なプログラムが記憶された記憶媒体であって、
    プライバシー保護を図るための画像処理として前記ぼかし処理が施されているプライバシー保護処理済み被写体と前記ぼかし処理が施されていないプライバシー保護未処理被写体との少なくとも一方の被写体を含む画像が記憶された画像記憶媒体から前記画像を読み出す読み出しステップと、
    前記読み出しステップで読み出された前記画像を表示装置に表示する表示ステップと、
    前記表示ステップで表示された少なくとも１つの前記画像から外部出力する画像を選択する選択ステップと、
    前記選択ステップで選択された前記画像が前記プライバシー保護未処理被写体を含む画像である場合、前記プライバシー保護未処理被写体に前記ぼかし処理を施して外部に出力する画像出力ステップと、
    をコンピューターで実行可能なプログラムが記憶されたコンピューターで読み取り可能な記憶媒体。
22. 請求項７から請求項１２のいずれか一項に記載の撮像装置で生成された画像を処理するコンピュータで実行可能なプログラムが記憶された記憶媒体であって、
    プライバシー保護を図るための画像処理として前記ぼかし処理が施されていないプライバシー保護処理無被写体を含み且つ作成時に閲覧期限が付加された画像を画像記憶媒体から読み出す画像入力処理ステップと、
    前記画像入力処理ステップで読み出した前記プライバシー保護処理無被写体を含む画像を表示装置に表示する際に、前記プライバシー保護処理無被写体を含む画像に付加された閲覧期限を参照し、閲覧期限内である場合は前記プライバシー保護処理無被写体を含む画像を前記表示装置に表示し、閲覧期限外である場合は前記プライバシー保護処理無被写体にプライバシー保護を図るための前記ぼかし処理を施した画像を前記表示装置に表示する表示制御処理ステップと、
    をコンピューターで実行可能なプログラムが記憶されたコンピューターで読み取り可能な記憶媒体。

Images