JP7378235B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は、画像処理装置およびその制御方法に関する。

近年、ソーシャルネットワークサービス（ＳＮＳ）の活用などにより、インターネット上のサイトへ、デジタルカメラやデジタルビデオカメラで撮影した動画像や静止画像を、公開する機会が増えている。ＳＮＳとは、インターネット上のサイトにおいてユーザが投稿するコンテンツ（文章、画像、音声、動画、位置情報など）を通じてユーザ同士の情報交換や交流を可能にするサービスである。ユーザは、自身が撮影した動画像や静止画像をＳＮＳサイトに投稿することが出来る。

しかし、主被写体とは別の人物が写り込んだ動画や静止画がそのままＳＮＳサイトへ投稿されてしまうと、プライバシーの侵害となるおそれがある。従って、主被写体以外の人物については、目隠しやぼかしなど、顔を識別するのが困難になるように加工した画像を投稿することが望ましい。特許文献１では、投稿される画像がそのまま公開されることがないよう、写真画像から頭部を検出し、頭部を似顔絵画像に置換する技術が提案されている。このような技術を利用することで、ＳＮＳの投稿画像に対して、被写体のプライバシーを保護することが可能となる。

特開２００９－２２３５００号公報

しかしながら、特許文献１の技術では、顔のみを加工する（似顔絵に置換する）ため、投稿画像を写真として見た場合に、不自然な画像になるという課題がある。本発明は、被写体のプライバシーを保護しつつ、写真として見た場合にも自然な画像を生成する技術を提供する。

本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
対象の画像において主被写体が存在する主被写体領域を判定する領域判定手段と、
画像から顔を検出する顔検出手段と、
前記対象の画像の前記主被写体領域以外の領域である背景領域にぼかし処理を施す第１のぼかし手段と、
前記顔検出手段により前記背景領域において検出された顔の領域にぼかし処理を行う第２のぼかし手段と、
前記第１のぼかし手段により生成された画像と前記第２のぼかし手段により生成された画像を合成して合成画像を生成する合成手段と、
前記顔検出手段が、前記対象の画像の前記背景領域に顔を検出した場合に、前記対象の画像の前記背景領域に前記合成画像が適用された画像を取得するよう制御する制御手段と、を備える。

本発明によれば、被写体のプライバシーを保護しつつ、写真として見た場合にも自然な画像を生成することが可能になる。

第１実施形態による画像処理装置の構成例を示すブロック図。 第１実施形態におけるＳＮＳ投稿のメニュー画面例を示す図。 第１実施形態による画像ぼかし処理を示すフローチャート。 第１実施形態における画像ぼかし処理を説明するための画像例を示す図。 第２実施形態による画像処理装置の構成例を示すブロック図。 第２実施形態におけるＳＮＳ投稿のメニュー画面例を示す図。 第２実施形態における画像ぼかし処理を示すフローチャート。 第２実施形態における画像ぼかし処理を説明するための画像例を示す図。 第３実施形態による画像処理装置の構成例を示すブロック図。 第３実施形態による画像ぼかし処理を示すフローチャート。 第３実施形態による合成処理を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
以下、第１実施形態に係る画像処理装置について説明する。なお、以下では、第１実施形態の画像処理装置を撮像装置の一部として構成した場合を説明するが、これに限られるものではない。例えば、画像処理装置は、撮像装置と接続されるパーソナルコンピュータなどの情報処理装置により実現されてもよい。また、以下では撮像装置としてデジタルカメラを例として用いて説明するが、これに限られるものではなく、例えば、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等に実施形態の画像処理装置を適用することも可能である。

図１は第１実施形態に係るデジタルカメラにおける画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、画像入力部１０１、顔検出部１０２、領域判定部１０３、背景ぼかし部１０４、画像出力部１０５、ユーザ指示部１０６、データ転送部１０７、一時記録部１０８、記録部１０９を有する。なお、画像処理装置１００は、さらに、圧縮伸張部、外部記録部、画像処理部などを有している（いずれも不図示）。圧縮伸長部は、画像データを例えばＪＰＥＧやＭＰＥＧ形式などに圧縮または圧縮されたデータを伸張する。外部記録部は、ＪＰＥＧやＭＰＥＧを外部メディアに記録する。画像処理部は、画像データを出力媒体に応じて画質調整する。

画像入力部１０１は、ＣＣＤやＣＭＯＳセンサ等の撮像素子からの画像データ、又は他の画像処理装置より生成された画像データを入力する。また、画像入力部１０１は、測距センサからの距離情報を２次元配列（画像データ）化した、距離画像データを入力する。距離画像データでは、値が大きくなるほど撮影に使用したデジタルカメラとの距離が遠いことを示す。画像入力部１０１により入力された画像データは、データ転送部１０７を介して一時記録部１０８へ書き込まれる。

顔検出部１０２は、既知の手法で、画像データから１以上の顔領域を検出する顔検出処理を実行する。顔検出の処理結果は、顔の位置（座標）、サイズ、向き、などの情報である。また、顔検出部１０２は、データ転送部１０７と接続されており、データ転送部１０７を介して画像データを入力して顔検出処理を行い、データ転送部１０７を介して顔検出結果を一時記録部１０８へ書き込む。これにより、制御部１１０は、バス１１１を介して、一時記録部１０８にある顔検出部１０２による顔検出結果を参照することができる。

なお、制御部１１０はバス１１１を介して、一時記録部１０８にある顔検出結果を参照する構成としたが、これに限られるものではない。例えば、顔検出部１０２内に顔検出結果を保持する保持部（レジスタ）を有する構成として、当該保持部に保持されている顔検出結果を制御部１１０がバス１１１を介して参照する構成としてもよい。

領域判定部１０３は、処理の対象の画像データから主被写体領域を抽出する。主被写体領域の情報は、例えば、後述の図４（ｃ）で示されるようなマスク画像データで示される。以下、領域判定部１０３による主被写体領域情報の算出方法の例について説明する。

まず、領域判定部１０３は、対称の画像において主被写体を抽出する。例えば、領域判定部１０３は、顔検出部１０２による検出結果（画像データから検出された顔の位置やサイズなど）に基づいて主被写体を決定し抽出する。より具体的には、例えば、領域判定部１０３は、画像の中央にある顔ほど高くなる評価値と、サイズが大きいほど高くなる評価値とを計算し、それら評価値の合計が最大になる顔を主被写体に決定する。或いは、例えば、ユーザ指示部１０６が有するタッチパネルから、表示された画像上でユーザが主被写体を直接指定するようにしてもよい。この場合、領域判定部１０３は、ユーザにより指定された被写体を主被写体に決定する。

次に、領域判定部１０３は、抽出した主被写体に基づいて主被写体領域を決定する。例えば、領域判定部１０３は、処理対象の画像に対応する距離画像を用いて、上記のようにして決定された主被写体までの距離を取得し、この距離に基づいて主被写体領域とすべき距離範囲を設定する。そして、領域判定部１０３は、距離画像から設定した距離範囲の領域を抽出し、抽出した領域に対応する、処理対象の画像上の領域を主被写体領域に決定する。より具体的には、領域判定部１０３は、決定した主被写体（顔）の距離値を距離画像データから取得し、その距離値に基づいて閾値を決定し、決定した閾値より小さい距離値の領域を主被写体領域４０６に、閾値より大きい距離値の領域を背景領域４０７にそれぞれ決定する。

なお、図４（ｃ）では主被写体領域４０６（値＝０）と背景領域４０７（値＝１）の２値のマスク画像を示したが、閾値との差分に基づいた多値画像としてもよい。また、閾値を２つ以上設けることで、主被写体の奥側だけでなく、主被写体の手前側にも背景領域を設けるようにしてもよい。また、主被写体領域内の穴埋め処理や、背景領域のノイズ除去処理などの既知の手法によって、生成したマスク画像を整形するように構成してもよい。領域判定部１０３は、データ転送部１０７と接続されており、データ転送部１０７から画像データや距離画像データを入力し、生成した主被写体領域情報を、データ転送部１０７を介して一時記録部１０８へ書き出す。

背景ぼかし部１０４は、領域判定部１０３により決定された主被写体領域以外の領域である背景領域にぼかし処理を施し、背景ぼかし画像を生成する。例えば、背景ぼかし部１０４は、背景領域に対してフィルタ（ローパスフィルタ）による帯域制限処理を行うことで背景領域をぼかし、背景ぼかし画像データを生成する。背景ぼかし部１０４は、画像入力部１０１が入力した画像データと領域判定部１０３が生成した主被写体領域情報とを入力し、主被写体領域情報を判定情報として用いて画像データの背景領域に対してぼかし処理を行う。例えば、図４（ｃ）の例において、背景ぼかし部１０４は、主被写体領域４０６（マスク画像データの値＝０の部分）についてはフィルタ処理を行わず、背景領域４０７（マスク画像データの値＝１の部分）についてはフィルタ処理を行う。

なお、フィルタ処理におけるフィルタ係数は、固定でも可変でも、どちらでもよい。また、背景ぼかし部１０４は、全領域をぼかした画像データとぼかす前の画像データを、主被写体領域情報に基づいて合成する、という構成でもよい。背景ぼかし部１０４は、データ転送部１０７と接続され、データ転送部１０７を介して画像データや主被写体領域情報を入力し、生成した背景ぼかし画像データを、データ転送部１０７を介して一時記録部１０８へ書き込む。

画像出力部１０５は、画像データや背景ぼかし画像データなどの各種データを不図示の通信部や表示デバイスなどへ出力する。例えば、画像データをＳＮＳに投稿する場合は、画像出力部１０５は、一時記録部１０８に記録されている背景ぼかし画像データを、データ転送部１０７を介して取得し、画像出力部１０５と接続された通信部へ出力する。こうして、背景ぼかし画像データは通信部を介して所定のインターネットサイト（例えばＳＮＳ）へアップロードされる。また、例えば、各種画像データを表示デバイスに表示する場合、画像出力部１０５は、一時記録部１０８に記憶されている画像データを、データ転送部１０７を介して取得し、画像出力部１０５と接続された表示デバイスへ出力する。こうして、所望のデータが表示を介して表示される。

ユーザ指示部１０６は、例えば、デジタルカメラのスイッチやボタン、ユーザ指示情報を入力するためのタッチパネルからのユーザによる操作入力を受け付ける。本実施形態における、ユーザによる主被写体の直接指定や撮影モードの選択は、ユーザ指示部１０６に接続されたスイッチやボタン、タッチパネルをユーザが操作することで行われる。ユーザ指示部１０６は、ユーザ操作に応じたユーザ指示情報を、データ転送部１０７を介して一時記録部１０８へ書き込む。制御部１１０はバス１１１を介して一時記録部１０８に記憶されたユーザ指示情報を参照し、必要な処理を行う。

データ転送部１０７は、データ転送を行う複数のＤｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓコントローラ（不図示のＷＲＤＭＡＣとＲＤＤＭＡＣ）を備える。例えば、ＷＲＤＭＡＣは、画像入力部１０１または背景ぼかし部１０４から出力された画像データを一時記録部１０８に直接に（制御部１１０の制御介さずに）一時記憶させる。また、ＲＤＤＭＡＣは、一時記録部１０８に記憶されている画像データを、直接に、データ転送部１０７に接続されている各部（例えば、顔検出部１０２、領域判定部１０３）へ供給する。

一時記録部１０８は、不図示のメモリ制御部とメモリとから構成され、制御部１１０或いはデータ転送部１０７からの指示に応じて、メモリへのデータの書き込み、メモリからのデータの読み出しを行う。また、メモリは、所定枚数の静止画像や所定時間の動画像、音声等のデータや制御部１１０の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える記憶装置であり、ＤＲＡＭなどから構成される。メモリは、複数のメモリから構成されてもよい。

記録部１０９は、不図示の不揮発性メモリ制御部と不揮発性メモリから構成される。不揮発性メモリ制御部は、制御部１１０からの指示に応じて、不揮発性メモリにデータを書き込んだり、不揮発性メモリからデータを読み出したりする。不揮発性メモリは、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリには、制御部１１０の動作用の定数、プログラム等が記憶される。

制御部１１０は、デジタルカメラの動作制御を司るマイクロコンピュータなどのプロセッサーを備え、デジタルカメラを構成する各機能ブロックに対して様々な指示を行い、各種の制御を実行する。制御部１１０は、バス１１１を介して接続された顔検出部１０２、領域判定部１０３、背景ぼかし部１０４、データ転送部１０７、一時記録部１０８、記録部１０９を制御する。プロセッサーは、前述した記録部１０９に記録されたプログラムを実行することで、本実施形態の各処理を実現する。バス１１１は、不図示のシステムバスとデータバスから構成され、各々独立したバス構成となっている。

図２は第１実施形態における、背景ぼかし画像の生成をユーザが指示すためのユーザインターフェースの例である。図２（ａ）は、画像に対して背景ぼかし処理を実行するか否かを撮影モードとして指定する例である。背景ぼかし画像生成を行う撮影モードは、基本的に、主被写体以外の被写体に対してプライバシー保護をしたい場合に使用されるモードであり、すなわち、ＳＮＳ投稿のための撮影に用いられるモードである。したがって、第１実施形態では、表示デバイス上に表示されたメニュー画面において「ＳＮＳ投稿モード」と呼称する撮影モードを準備し、「ＳＮＳ投稿モード」をＯＮするかＯＦＦするかをユーザが指定するユーザインターフェースが提供される。「ＳＮＳ投稿モード」に対してユーザが「ＯＮ」を指定すると、デジタルカメラは、以降の撮影画像において上述した背景ぼかし処理を実行する撮影モードへ遷移する。

図２（ｂ）は、撮影した画像をＳＮＳ投稿する際に自動的に背景ぼかし画像生成処理をする例である。表示デバイス上に表示された再生画像に対するメニューに、「ＳＮＳ投稿」という編集オプションが準備されている。ユーザがＳＮＳ投稿したい場合に「はい」を選択すると、投稿対象の再生画像において上述した背景ぼかし処理が行われ、自動的に、対象のＳＮＳサイトへ背景ぼかし画像がアップロードされる。なお、背景ぼかし画像の生成とＳＮＳサイトへの画像アップロードは別のメニューとしてもよいことは言うまでもない。

図３は、第１実施形態による画像ぼかし処理の動作を説明するフローチャートである。図２（ａ）（ｂ）に例示したようなユーザインターフェースから、ユーザが背景ぼかし処理の実行を指示すると、制御部１１０は、図１により上述した各部を用いて、画像入力部１０１が入力した画像について背景ぼかし処理を行い、背景ぼかし画像を生成する。図４（ａ）～（ｄ）は、第１実施形態による背景ぼかし画像の生成処理を説明するための画像例を示す模式図である。

ステップＳ３０１で、画像入力部１０１は、背景ぼかし処理の対象となる画像データと、その画像データに対応した距離画像データを入力し、一時記録部１０８に書き込む。なお、背景ぼかし処理の対象となる画像データと距離画像データが既に一時記録部１０８に保持されている場合、本ステップは省略されてもよい。図４（ａ）は、背景ぼかし処理前の画像を示す。図４（ａ）の例では、主被写体４０１、背景領域に、プライバシー保護対象の被写体４０２－１～３、建物４０３が存在している。

ステップＳ３０２で、顔検出部１０２は、一時記録部１０８より画像データを読み出して、顔検出処理を行う。ステップＳ３０３で、領域判定部１０３は、ステップＳ３０２での顔検出処理の結果と、ステップＳ３０１で取得された距離画像データとを一時記録部１０８から読み出し、主被写体領域を決定し、図４（ｃ）に示されるような主被写体領域情報を生成する。前述の通り、主被写体領域情報は、主被写体領域４０６と背景領域４０７を含む。また、図４（ｂ）は、図４（ａ）に示した画像に対する顔検出処理と主被写体判定処理の結果を示している。二重枠４０４は主被写体の顔であり、枠４０５－１～３は背景領域の顔であることを示す。

ステップＳ３０４で、制御部１１０は、主被写体領域４０６以外（背景領域４０７）で顔が検出されているか否かを判定する。主被写体領域４０６以外で顔が検出されている場合（ステップＳ３０４でＹＥＳ）、処理はステップＳ３０５に進み、主被写体領域４０６以外で顔が検出されていない場合（ステップＳ３０４でＮＯ）、処理はステップＳ３０９に進む。

ステップＳ３０５において、背景ぼかし部１０４は、一時記録部１０８より画像データと主被写体領域情報を読み出して、画像データに対して背景ぼかし処理を行う。背景ぼかし処理が行われた画像データは、一時記録部１０８に書き込まれる。ステップＳ３０６において、顔検出部１０２は、ステップＳ３０５で生成した背景ぼかし画像データを一時記録部１０８より読み出して顔検出処理を行う。ステップＳ３０７において、制御部１１０は、ステップＳ３０６において主被写体領域４０６以外（背景領域４０７）で顔が検出されたか否かを判定する。主被写体領域４０６以外で顔が検出された場合、処理はステップＳ３０５に戻り、背景ぼかし部１０４は、背景ぼかし処理におけるぼかしの程度を強くして上述の処理を繰り返す。他方、ステップＳ３０７で顔が検出されていない場合、処理はステップＳ３０８に進む。

ステップＳ３０８において、画像出力部１０５は、背景ぼかし画像データを一時記録部１０８より読み出して、表示デバイスに出力して表示させたり、通信部に出力してＳＮＳに投稿させたりする。図４（ｄ）はステップＳ３０８時点における背景ぼかし画像データの状態を示している。主被写体４０１については顔検出部１０２で顔が検出され得る（二重枠４０４）が、背景領域４０７の被写体４０２－１～３は顔検出部１０２で検出できないくらいにぼかされており、プライバシー保護が為されている。また、背景領域４０７の全体をぼかしているため、写真としても、被写界深度の浅い画として見えるため、不自然な画にもならない。

一方、ステップＳ３０４において主被写体領域４０６以外で顔が検出されていないと判断された場合、ステップＳ３０９で、画像出力部１０５は、一時記録部１０８より入力画像データを読み出し、表示デバイスまたは通信部に出力する。主被写体以外に顔が存在しないため、背景ぼかし画像生成処理をする必要がないためである。

以上説明したように、第１実施形態によれば、撮影した画像データの背景領域に顔が検出された場合、被写界深度の浅い画像が生成されるので、主被写体以外の人物のプライバシー保護を実現しつつ、写真として見ても自然な画像を生成することができる。すなわち、プライバシーを保護しつつ、被写界深度の浅い、自然な写真画像をＳＮＳサイトなどに投稿することが可能となる。一方で、背景領域に顔が検出されなかった場合は、背景ぼかし処理、つまり被写界深度の浅い画像の生成を行わないようにした。これは、例えば著名な建築物を背景に人物を撮影した場合などは、背景をぼかさずにＳＮＳサイトなどに投稿する方が好ましいと考えられるからである。

他方、例えば、背景にいる顔が知人であるような場合に、背景領域に顔が検出されても背景をぼかさずにＳＮＳサイトなどに投稿する方が好ましいという場合もある。以上のことから、第１実施形態では、ＳＮＳ投稿モードのＯＮ／ＯＦＦ、つまり背景領域に顔が検出された場合に背景ぼかし処理を行うか否かをユーザが選択できるようにした。例えば、ほぼ同じ被写体（背景に顔を含む）を撮影した場合であっても、ＳＮＳ投稿モードがＯＮであれば背景ぼかし処理がなされた画像が生成されるし、ＳＮＳ投稿モードがＯＦＦであれば背景ぼかし処理がなされた画像は生成されないことになる。このようにすることで、背景領域の顔のプライバシーと背景領域にぼかし処理がかかることの得失を考慮した上で、ユーザがいずれを重視するかを選択することが可能となる。

＜第２実施形態＞
第１実施形態では、背景ぼかし処理を行ってプライバシー保護を行うとともに写真として自然な画像を提供する構成を説明した。また、プライバシー保護のために、背景領域の人物をぼかしても、背景領域における他の被写体についてはぼかしを施したくない場合がある。第２実施形態では、人物についてプライバシー保護を実現するために人物の顔にぼかしを施しながら、他の被写体にはぼかしを施さないようにすることが可能な動作モードを設けた例を説明する。

図５は第２実施形態に係るデジタルカメラにおける画像処理装置１００の構成例を示すブロック図である。第１実施形態（図１）と同様の構成には、図１と同一の参照番号を付してある。第２実施形態では２つのぼかし部（背景ぼかし部１０４と顔ぼかし部５０１）を有する。

顔ぼかし部５０１は、画像データにおける背景領域内の顔領域に対して帯域制限（ローパスフィルタ）処理を行うことで背景領域内の顔をぼかし、顔ぼかし画像データを生成する。なお、顔ぼかし部５０１は、顔検出部１０２によって検出されないことを保証する程度に顔をぼかす。顔ぼかし部５０１は、画像入力部１０１により入力された画像データと領域判定部１０３による主被写体（顔）の検出結果（主被写体領域）、顔検出部１０２による顔検出結果を入力とする。顔ぼかし部５０１は、入力した顔検出結果から、主被写体領域と重複した顔情報を除去することで、背景領域の顔検出結果を生成する。次に、顔ぼかし部５０１は、背景領域の顔の位置情報とサイズから、図８（ｃ）で示すような背景顔領域情報を生成する。背景顔領域情報は２値のマスク画像であり、顔領域８０５－１～３（値＝１）とそれ以外の領域（値＝０）で構成される。

顔ぼかし部５０１は、背景顔領域情報を判定情報として用いることにより、画像データのうちの顔領域８０５－１～３（値＝１）にはフィルタ処理を行い、それ以外の領域（値＝０）にはフィルタ処理を行わない。なお、顔ぼかし部５０１のフィルタ処理におけるフィルタ係数は、固定であっても可変であっても、どちらでもよい。但し、繰り返し処理を想定した背景ぼかし部１０４の処理とは異なり、顔ぼかし部５０１ではより狭帯域のフィルタをかけるようにしてもよい。顔ぼかし部５０１は、データ転送部１０７と接続されており、データ転送部１０７を介して画像データや主被写体領域情報を入力し、顔ぼかし画像データを、データ転送部１０７を介して一時記録部１０８へ書き込む。

図６は第２実施形態における、背景ぼかし画像ないしは顔ぼかし画像（以下、２つをまとめて、ぼかし画像と呼称）の生成を指示するためのユーザインターフェースの例を示す図である。

図６（ａ）は、背景ぼかし画像の生成または顔ぼかし画像の生成を撮影モードとして指定するユーザインターフェースの例である。背景ぼかし画像生成、顔ぼかし画像生成、共に、基本的に、主被写体以外の被写体のプライバシーを保護したい場合に使用される撮影モードであり、ＳＮＳ投稿のための画像に適した撮影が行われるモードである。したがって、表示デバイス上に表示されたメニュー画面において、「ＳＮＳ投稿モード」と呼称する撮影モードを準備し、「ＳＮＳ投稿モード」に対してユーザが「ＯＮ（背景ぼかし）」または「ＯＮ（顔のみぼかし）」を指定できるようにする。

「ＯＮ（背景ぼかし）」または「ＯＮ（顔のみぼかし）」が指定されると、以降の撮影画像において、上述した顔ぼかし処理または背景ぼかし処理を実行して画像生成を行うモードへ撮影モードが遷移する。「ＯＮ（背景ぼかし）」が指定されると、撮影モードは、第１実施形態で説明した背景ぼかし処理を行うモードへ遷移する。一方、「ＯＮ（顔のみぼかし）」が指定されると、撮影モードは、上述した顔ぼかし部５０１による顔ぼかし処理を行うモードへ遷移する。

背景ぼかし画像生成モードは、主被写体以外の背景領域を全てぼかしてしまうため、例えば、美しい風景と主被写体をセットで撮影した画像データにおいて、折角の美しい風景がぼかされてしまう可能性がある。そこで、第２実施形態では、「ＯＮ（顔のみぼかし）」を選択することで、不自然な画になることをある程度許容しながらも、顔以外の背景領域をぼかさなくて済む撮影モードを提供する。「ＯＮ（顔のみぼかし）」を選択することで、背景領域にある被写体（人物）のプライバシーを保護しながら、風景をぼかさずに残すことができる。

図６（ｂ）は、撮影した画像をＳＮＳ投稿する際に背景ぼかし画像ないしは顔ぼかし画像の生成を選択するユーザインターフェースの例である。表示デバイス上に表示された再生画像に対するメニューに、「ＳＮＳ投稿」という編集オプションを準備する。ユーザがＳＮＳ投稿したい場合に「はい（背景ぼかし）」を選択すると、制御部１１０は、送信対象の画像（再生画像）について背景ぼかし処理を行い、得られた背景ぼかし画像を対象のＳＮＳサイトへアップロードするように制御する。また、「はい（顔のみぼかし）」を選択すると、制御部１１０は、送信対象の画像について顔ぼかし処理を行い、得られた顔ぼかし画像を対象のＳＮＳサイトへアップロードする。なお、ぼかし画像の生成とＳＮＳサイトへの画像アップロードは別のメニューによりユーザ指示されるようにしてもよい。

図７は、第２実施形態によるぼかし処理を説明するフローチャートである。図７のフローチャートで示される処理は、図６に示したユーザインターフェースで、背景ぼかし画像または顔ぼかし画像の生成の指示が為された後の、制御部１１０による、ぼかし画像生成の処理を示す。なお、図７において、第１実施形態（図３）に示した処理と同様の処理を行うステップには、同一のステップ番号を付してある。

ステップＳ７１０で、制御部１１０は、図６（ａ）または図６（ｂ）に示したユーザインターフェースにおいてユーザが指定したぼかし処理が、背景ぼかし処理であるか顔ぼかし処理であるかに従って処理を分岐させる。背景ぼかし処理が選択されている場合、処理はステップＳ３０５に進み、顔ぼかし処理が選択されている場合、処理はステップＳ７１１に進む。ステップS３０５～Ｓ３０８では、第１実施形態で説明した背景ぼかし処理が実行される。

ステップＳ７１１において、顔ぼかし部５０１は、一時記録部１０８から画像データと主被写体検出結果と顔検出結果を読み出して、顔ぼかし処理を行う。顔ぼかし処理を行って得られた顔ぼかし画像データは一時記録部１０８に書き込まれる。ステップＳ７１２において、画像出力部１０５は、一時記録部１０８より顔ぼかし画像データを読み出して、表示デバイスおよび／または通信部に出力する。表示デバイスは顔ぼかし画像データを表示し、通信部は顔ぼかしデータをＳＮＳに投稿する。

図８（ａ）～（ｂ）は、入力画像を図４（ａ）とした場合の、ぼかし画像生成処理における画像例（処理イメージ）を示す。図８（ａ）は、背景ぼかし処理の実行により得られた背景ぼかし画像データであり、図８（ｂ）は顔ぼかし処理の実行により得られた顔ぼかし画像データである。図８（ａ）は主被写体以外の背景領域（顔８０１－１～３、建物８０２を含む）を全てぼかした画像であるのに対し、図８（ｂ）は顔８０３－１～３のみをぼかした画像となっており、建物８０２など、顔以外の背景領域はぼかさされていない画像となる。

以上説明したように、第２実施形態によれば、第１実施形態に対して、背景に移った風景を残す（優先する）ことも可能となり、ユーザの嗜好に合わせたプライバシー保護を実行することが可能となる。

また、第２実施形態では、表示および投稿画像を、２種類のぼかし画像データから、ユーザが直接指示することで選択する構成としたが、これに限られるものではない。例えば、撮影シーンを既知の手法で解析し、その解析結果に基づいて、適切なぼかし画像データ（背景ぼかし画像または顔ぼかし画像のいずれか）を自動選択する構成としても良い。例えば、解析の結果、背景領域に多数の人物が存在することが判明した場合には背景ぼかし処理を自動的に選択する、背景領域に人物が存在しないまたは小さく写った人物しか存在しないことが判明した場合には顔ぼかし処理を自動的に選択することがあげられる。

＜第３実施形態＞
以下、図面を用いて本発明の第３実施形態を説明する。なお本実施形態の画像処理装置を、撮像装置の一部としてもよい。また画像処理装置をデジタルカメラに搭載した場合として説明するが、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等に採用することも可能である。

第３実施形態では、背景ぼかし処理に用いられる帯域制限フィルタのフィルタ係数を制御する構成について説明する。図９は第３実施形態に係るデジタルカメラにおける画像処理装置１００の構成例を示すブロック図である。図９において、第１実施形態（図１）または第２実施形態（図５）と同様の構成には同一の参照番号を付してある。

図９において、画像データの背景領域をぼかすための背景ぼかし部１０４ａは、フィルタ係数算出部９１２とフィルタ処理部９１３を有する。また、第３実施形態では、画像合成部９１４と光学情報データベース９１５が追加されている。

フィルタ係数算出部９１２は、フィルタ処理部９１３で使用するフィルタ係数を算出する。フィルタ係数は、撮像光学系の光学伝達関数（ＯＴＦ:Optical Transfer Function)に基づいて生成される点拡がり関数（ＰＳＦ：Point Spread Function）である。フィルタ係数算出部９１２によるフィルタ係数の算出方法の一例を示す。まず、フィルタ係数算出部９１２は、絞り値（Ｆ値）、焦点距離、被写体距離（撮影距離）、などの撮影条件に基づいて、光学情報データベース９１５を参照してＯＴＦを生成する。より具体的には、フィルタ係数算出部９１２は、光学情報データベース９１５に登録されているＯＴＦのうち、撮影条件の近いＯＴＦを取得し、既知の手法で補間することにより、撮影条件に応じたＯＴＦを生成する。

次に、フィルタ係数算出部９１２は、撮影時の撮像素子の画素ピッチや、フィルタ処理部９１３のハード制約（処理タップ数など）、などに基づいて、既知の手法で、ＯＴＦの係数を調整し、更に、全画面の像高へ展開する。さらに、フィルタ係数算出部９１２は、算出したＯＴＦを公知の手法でＰＳＦに変換する。このＰＳＦがフィルタ係数となる。フィルタ係数算出部９１２は、データ転送部１０７を介して光学情報データベース９１５に保持されているＯＴＦを読み出し、算出したフィルタ係数を、フィルタ処理部９１３に出力する。なお、算出したフィルタ係数は、データ転送部１０７を介して一時記録部１０８へ書き込むように構成してもよい。

フィルタ処理部９１３は、フィルタ係数算出部９１２が生成したフィルタ係数に基づいて、フィルタ処理を行う。フィルタ処理部９１３は、画像入力部１０１が入力した画像データと領域判定部１０３が生成した主被写体領域情報を入力とし、入力した画像データの背景領域についてフィルタ処理を行う。主被写体領域に対してフィルタ処理は行われない。フィルタ処理は、参照画素範囲（タップ数）が増えるほど、フィルタ効果が大きくなる（画質が向上する）。したがって、フィルタ処理部９１３は、フィルタ係数を既知の手法で分割（畳込み演算化）し、複数回、フィルタ係数を変更しながら、フィルタ処理部９１３で繰り返し処理させる構成としても良い。

フィルタ処理部９１３は、データ転送部１０７を介して入力した画像データにフィルタ処理を施し、そのフィルタ処理結果を、データ転送部１０７を介して一時記録部１０８へ書き込む。なお、第３実施形態では、フィルタ係数算出部９１２がフィルタ処理部９１３に直接にフィルタ係数を設定する構成を示したが、これに限られるものではない。例えば、フィルタ係数算出部９１２が算出したフィルタ係数を一時記録部１０８に記憶し、フィルタ処理部９１３がフィルタ係数を一時記録部１０８からデータ転送部１０７を介して読み出す構成としてもよい。また、第１実施形態と同様に、主被写体領域情報は、２値のマスク画像ではなく、多値画像としてもよい。

画像合成部９１４は、フィルタ処理部９１３で生成する背景ぼかし画像データと、顔ぼかし部５０１で生成する顔ぼかし画像データを、設定された合成比率に基づいて、重み付け合成し、合成ぼかし画像データを生成する。画像合成部９１４は、データ転送部１０７と接続され、データ転送部１０７を介して背景ぼかし画像データと顔ぼかし画像データを一時記録部１０８から取得し、合成ぼかし画像データを、データ転送部１０７を介して一時記録部１０８へ書き込む。なお、合成比率は本実施形態では画像全体で共通の合成比率を使用する構成としたが、画素単位で合成比率を指定できるようにしてもよい。この場合、例えば、各画素値が合成比率を表す合成比率画像データを一時記録部１０８に準備しておき、画像合成部９１４はこの合成比率画像データも合わせて読み出すように構成される。

光学情報データベース９１５には、撮像光学系のＯＴＦの係数が格納されている。例えば、各光学系のＯＴＦ係数１像高分が、所定の撮影条件（Ｆ値、焦点距離、被写体距離）毎に格納されている。前述の通り、フィルタ係数算出部９１２は、撮影条件が最も近いＯＴＦを読み出して、撮影条件に合ったＯＴＦを補間生成する。

制御部１１０は、第１実施形態と同様に、デジタルカメラの動作制御を司るマイクロコンピュータなどのプロセッサーで構成され、デジタルカメラを構成する各機能ブロックに対して様々な指示を行い、各種の制御処理を実行する。制御部１１０は、バス１１１を介して接続されている、上述の各部を制御する。また、光学情報データベース９１５に対して、入力される画像データの撮影条件にもっとも近い条件のＯＴＦ情報の読み出し、ならびにフィルタ係数算出部９１２におけるＯＴＦ補間生成に関する制御も行う。マイクロコンピュータは、記録部１０９に記録されたプログラムを実行することで、第３実施形態の各処理を実現する。

背景ぼかし画像生成を実行させるためのユーザインターフェースは第１実施形態（図２）と同様である。図１０は、背景ぼかし画像生成が指示された後の、第３実施形態の制御部１１０による背景ぼかし画像生成を示すフローチャートである。第１実施形態（図３）と同様の処理には同一のステップ番号を付してある。

ステップＳ１００１で、画像入力部１０１は、背景ぼかし画像生成を行う対象の画像データと、その画像データに対応した距離画像データ、その画像データの撮影条件を入力し、一時記録部１０８に書き込む。撮影条件は、前述の通り、撮影時の光学系ならびに撮像素子の種類（ＩＤ）、撮影時の各光学条件（Ｆ値、焦点距離、被写体距離）などである。なお、背景ぼかし画像を行う対象の画像データとその距離画像データ、撮影条件が、既に一時記録部１０８に保持されている場合は、本ステップは省略されてもよい。

ステップＳ３０４で、主被写体領域以外（背景領域）で顔が検出される場合、処理はステップＳ１００６に進み、主被写体領域以外で顔が検出されない場合、処理はステップＳ３０９に進む。

ステップＳ１００６で、フィルタ係数算出部９１２は、入力画像データに対する撮影条件のうち、Ｆ値が対象の光学系に対して最小値（開放Ｆ値）であるか否かを判定する。Ｆ値が最小値の場合（Ｓ１００６でＹＥＳ）、処理はステップＳ１０１５に進み、背景ぼかし画像と顔ぼかし画像の合成処理を行う。一方、Ｆ値が最小値でない場合（Ｓ１００６でＮＯ）、処理はステップＳ１００７に進む。

ステップＳ１００７で、フィルタ係数算出部９１２は、ＯＴＦ係数を算出するためのＦ値を小さい値に更新する。これにより、フィルタ係数算出部９１２は、撮影時よりも小さいＦ値に基づいてＯＴＦ係数を算出し、算出したＯＴＦ係数に基づいてフィルタ係数を生成する。Ｆ値の更新の間隔は、露出段数に基づくものでよいし、被写界深度に基づくものでもよい。或いは、直ちにＦ値を最小値（開放Ｆ値）に設定するようにしてもよい。ステップＳ１００８で、フィルタ係数算出部９１２は、ステップＳ１００７で更新されたＦ値と、撮影条件とに基づいて、バス１１１を介して光学情報データベース９１５からＯＴＦ係数を読み出す。ステップＳ１００９で、フィルタ係数算出部９１２は、光学情報データベース９１５より読み出したＯＴＦ係数、更新されたＦ値、各撮影条件に基づいてフィルタ係数を算出する。

ステップＳ１０１０で、フィルタ処理部９１３は、一時記録部１０８より画像データと主被写体領域情報とを読み出し、ステップＳ１００９で算出されたフィルタ係数に基づいて背景ぼかし処理を行う。フィルタ処理部９１３は、背景ぼかし処理を施した背景ぼかし画像データを、一時記録部１０８に書き込む。ステップＳ１０１１で、顔検出部１０２は、一時記録部１０８から、ステップＳ１０１０で生成された背景ぼかし画像データを読み出し、顔検出処理を行う。ステップＳ１０１２において、制御部１１０は、顔検出処理により主被写体領域以外（背景領域）で顔が検出されたか否かを判定する。主被写体領域外で顔が検出された場合（ステップＳ１０１２でＹＥＳ）、処理はステップＳ１００６に戻り、上述の処理を繰り返す。なお、主被写体領域外で顔が検出された場合に実行されるステップＳ１００６の処理では、フィルタ係数算出部９１２は、ステップＳ１００７で更新されたＦ値が最小値であるか否かを判定する。

ステップＳ１０１１における顔検出処理により、主被写体領域外において顔が検出されなかった場合（ステップＳ１０１２でＮＯ）、制御部１１０は、背景ぼかし画像データの生成が完了したと判断して、処理をステップＳ１０１３に進める。ステップＳ１０１３において、画像出力部１０５は、一時記録部１０８よりステップＳ１０１０で生成された背景ぼかし画像データを読み出して、表示デバイスまたは通信部に出力する。こうして背景ぼかし画像データが表示デバイスにより表示される、あるいは、ＳＮＳに投稿される。ステップＳ１００６～Ｓ１０１２の処理ループにより、背景領域に存在する顔は顔検出部１０２が検出できないくらいにぼかされているので、プライバシーが保護されている。また、背景領域全体をＯＴＦに基づいてぼかしているため、写真としても、被写界深度の浅い画像としてユーザには見えるため、不自然な画像にもならない。

一方、ステップＳ１００６において、Ｆ値が最小値（開放値）であり、光学条件として、これ以上画像データに対して背景ぼかし処理を実行できなくなった場合（ステップＳ１００６でＹＥＳ）、ステップＳ１０１５において、合成処理（背景ぼかし画像と顔ぼかし画像の合成）が実行される。図１１は、第３実施形態による合成処理（ステップＳ１０１５）を説明するフローチャートである。

ステップＳ１１０１で、顔ぼかし部５０１は、一時記録部１０８より画像データと主被写体領域情報と顔検出結果とを読み出し、画像データに対して顔ぼかし処理を行い、顔ぼかし画像を生成する。この顔ぼかし処理は第２実施形態（図７）のステップＳ７１１と同様である。顔ぼかし部５０１は、顔ぼかし処理を施した顔ぼかし画像データを一時記録部１０８に書き込む。

ステップＳ１１０２で、画像合成部９１４は、背景ぼかし画像データと顔ぼかし画像データの合成に用いる合成比率を算出（更新）する。ここで、画像合成部９１４は、顔ぼかし部５０１により生成された画像の合成比率を増加する。合成比率の初期値、更新間隔（更新幅）については特に言及しないが、これらの値が小さい値ほど、最終的に生成される合成ぼかし画像データが、自然な画に見える。ステップＳ１１０３で、画像合成部９１４は、一時記録部１０８より、ステップＳ１０１０で生成された背景ぼかし画像データと、ステップＳ１１０１で生成された顔ぼかし画像データとを読み出す。そして、画像合成部９１４は、これら画像データをステップＳ１１０２で算出した合成比率に基づいて合成する画像合成処理を行う。画像合成部９１４は、画像合成処理によって得られた合成ぼかし画像データを一時記録部１０８に書き込む。

ステップＳ１１０４で、顔検出部１０２は、ステップＳ１１０３で生成された合成ぼかし画像データを一時記録部１０８から読み出し、顔検出処理を行う。顔検出処理の結果、主被写体領域以外（背景領域）で顔が検出された場合（ステップＳ１１０５でＹＥＳ）、処理はステップＳ１１０２に戻る。こうして、顔検出部１０２が背景領域で顔を検出しなくなるまで、合成比率を変えながら上述の処理が繰り返される。すなわち、制御部１１０は、画像合成部９１４を用いて、顔検出部１０２が合成画像の背景領域において顔を検出できなくなるまで、顔ぼかし部５０１により生成された顔ぼかし画像の合成比率を増加させていく。

一方、顔検出処理の結果、主被写体領域以外で顔が検出されない場合（ステップＳ１１０５でＮＯ）、合成ぼかし画像データの生成処理を終了し、処理はステップＳ１１０６に進む。ステップＳ１１０６において、画像出力部１０５は、ステップＳ１１０３で生成された合成ぼかし画像データを一時記録部１０８から読み出して、表示デバイスおよび／または通信部に出力する。こうして、合成画像データが表示デバイスに表示、ないしはＳＮＳに投稿される。前述の通り、合成画像データでは背景領域の顔が顔検出部１０２で検出できないくらいにぼかされており、プライバシーが保護されている。また、背景領域においても顔領域とそれ以外の領域とでぼかし量の差がなるべく小さくなるように顔をぼかすため、写真としても、不自然な画像にもなりにくくなる。

以上のように、第３実施形態によれば、撮影した画像データに対し、背景領域に顔を検出すると、ＯＴＦに基づいて、被写界深度の浅い画像が生成されるようにした。このような構成によれば、主被写体以外の人物のプライバシー保護を満たしつつ、写真として見ても、第１実施形態と比較して、より自然な画像を生成することが可能となる。

なお、第２実施形態と組み合わせて、合成ぼかし画像データと顔ぼかし画像データのどちらを生成するかを、ユーザが直接指示するようにしてもよい。或いは、撮影シーンの解析結果に基づいて合成ぼかし画像データと顔ぼかし画像データのどちらかを自動的に選択するようにしてもよい。

以上のように、第１～第３実施形態によれば、違和感のない、プライバシーが保護された画像を得ることができる。

以上、第１～第３実施形態について具体的に説明したが、本発明は、上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：画像処理装置、１０１：画像入力部、１０２：顔検出部、１０３：領域判定部、１０４：背景ぼかし部、１０５：画像出力部、１０６：ユーザ指示部、：１０７：データ転送部、１０８：一時記録部、１０９：記録部、１１０：制御部

Claims (17)

1. 対象の画像において主被写体が存在する主被写体領域を判定する領域判定手段と、
   画像から顔を検出する顔検出手段と、
   前記対象の画像の前記主被写体領域以外の領域である背景領域にぼかし処理を施す第１のぼかし手段と、
   前記顔検出手段により前記背景領域において検出された顔の領域にぼかし処理を行う第２のぼかし手段と、
   前記第１のぼかし手段により生成された画像と前記第２のぼかし手段により生成された画像を合成して合成画像を生成する合成手段と、
   前記顔検出手段が、前記対象の画像の前記背景領域に顔を検出した場合に、前記対象の画像の前記背景領域に前記合成画像が適用された画像を取得するよう制御する制御手段と、を備えることを特徴とする画像処理装置。
2. 前記領域判定手段は、前記対象の画像から主被写体を抽出し、前記対象の画像における前記主被写体を含む領域を前記主被写体領域と判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域判定手段は、
   前記対象の画像に対応する距離画像を用いて、前記対象の画像から抽出された前記主被写体までの距離を取得し、
   前記距離に基づいて設定される距離範囲の前記距離画像における領域に対応する前記対象の画像の領域を前記主被写体領域と判定することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成手段は、前記顔検出手段が前記合成画像の背景領域において顔を検出できなくなるように、前記第１のぼかし手段により生成された画像と前記第２のぼかし手段により生成された画像との合成比率を設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成手段は、前記顔検出手段が前記合成画像の背景領域において顔を検出できなくなるまで、前記第２のぼかし手段により生成された画像の合成比率を増加することを特徴とする請求項４に記載の画像処理装置。
6. 前記合成手段は、前記第１のぼかし手段によりぼかし処理が施された前記背景領域から前記顔検出手段が顔を検出できる場合に、前記合成画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記第１のぼかし手段によりぼかし処理が施された前記背景領域から前記顔検出手段が顔を検出できない場合に、前記対象の画像の前記背景領域に前記第１のぼかし手段によりぼかし処理が施された画像が適用された画像を取得するよう制御する、ことを特徴とする請求項６に記載の画像処理装置。
8. 前記第１のぼかし手段は、前記顔検出手段がぼかし処理が施された前記背景領域から顔を検出できなくなるように前記背景領域にぼかし処理を施すことを特徴とする請求項６または７に記載の画像処理装置。
9. 前記第１のぼかし手段は、前記対象の画像の前記背景領域にフィルタによる帯域制限処理を施すことを特徴とする請求項６または７に記載の画像処理装置。
10. 前記第１のぼかし手段は、前記顔検出手段がぼかし処理が施された前記背景領域から顔を検出できなくなるように前記フィルタのフィルタ係数を更新しながら前記帯域制限処理を繰り返すことを特徴とする請求項９に記載の画像処理装置。
11. 前記制御手段は、ユーザ操作により所定の撮影モードが設定された後に撮像手段により撮像された画像を前記対象の画像として処理することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記制御手段は、ユーザ操作によりインターネットサイトに画像をアップロードする指示が入力された場合に、アップロードされる画像を前記対象の画像として処理するよう制御することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記第１のぼかし手段は、前記背景領域に帯域制限処理を施すフィルタ処理部と、前記フィルタ処理部が前記帯域制限処理に用いるフィルタ係数を算出するフィルタ係数算出部とを有し、
    前記フィルタ係数算出部は、前記対象の画像の撮影条件に基づいて前記フィルタ係数を生成することを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記撮影条件は、光学系のＦ値、焦点距離、撮影距離、を含むことを特徴とする請求項１３に記載の画像処理装置。
15. 前記フィルタ係数算出部は、撮影時よりも小さいＦ値に基づいて、光学伝達関数の係数を算出し、算出した光学伝達関数の係数に基づいて前記フィルタ係数を生成することを特徴とする請求項１４に記載の画像処理装置。
16. 対象の画像において主被写体が存在する主被写体領域を判定する領域判定工程と、
    画像から顔を検出する顔検出工程と、
    前記対象の画像の前記主被写体領域以外の領域である背景領域にぼかし処理を施す第１のぼかし工程と、
    前記顔検出工程により前記背景領域において検出された顔の領域にぼかし処理を行う第２のぼかし工程と、
    前記第１のぼかし工程により生成された画像と前記第２のぼかし工程により生成された画像を合成して合成画像を生成する合成工程と、
    前記顔検出工程で前記対象の画像の前記背景領域に顔が検出された場合に、前記対象の画像の前記背景領域に前記合成画像が適用された画像を取得するよう制御する制御工程と、を備えることを特徴とする画像処理装置の制御方法。
17. コンピュータを、請求項１乃至１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images