JP5951988B2 - 画像合成装置及び画像合成方法 - Google Patents

Description

本発明は、複数の画像を合成して１枚の合成画像を得る機能を有する画像合成装置及び画像合成方法に関する。

従来、複数の画像を合成して１枚の合成画像を得る機能を有する画像合成装置に関する提案が各種なされている。例えば、特許文献１は、特に動画像における合成の高速化、簡略化を目的とし、予め複数の画像を合成しておき、合成画像の更新の必要があるときにはこの合成済みの画像を用いるようにしている。

特開平１０−２１０３６４号公報

海等の多くの人が集まる場所において、ユーザが特定の人物のみを撮影しようと思っても、その人物の周辺の他の人物も撮影されてしまうことがある。プライバシーの保護の観点から見れば、他の人物が撮影されてしまうことは望ましくないが、背景もその撮影場所の雰囲気を知るための重要な情報であり、残しておくことが望ましいと考えられる。さらに、ユーザが意図している被写体についても鮮明な画像として残しておくことが望ましい。

本発明は、前記の事情に鑑みてなされたもので、ユーザが意図した被写体を鮮明な画像として残しつつ、プライバシーの保護にも配慮した画像を得ることができる画像合成装置及び画像合成方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の画像合成装置は、画像を取得する画像取得部と、前記取得された画像における一部の領域を選択部として選択するための第１の操作部と、前記選択部と前記選択部以外の領域である非選択部とのうちの何れに対して視認性を低下させる処理を行うかを選択するための第２の操作部と、前記第２の操作部による選択に従って、前記選択部の画像と前記非選択部の画像との一方の視認性を他方に対して低下させるように、前記画像取得部による前記選択部の画像と前記非選択部の画像との取得を制御する制御部と、前記制御部の制御によって前記画像取得部で取得された前記選択部の画像と前記非選択部の画像と合成して１つの合成画像を取得する合成部とを具備することを特徴とする。
前記の目的を達成するために、本発明の第２の態様の画像合成方法は、画像を取得することと、第１の操作部による選択に応じて、前記取得された画像における一部の領域を選択部として選択することと、第２の操作部による選択に応じて、前記選択部と前記選択部以外の領域である非選択部とのうちの何れに対して視認性を低下させる処理を行うかを選択することと、前記選択部と前記非選択部とのうちの何れに対して視認性を低下させる処理を行うかの選択に従って、前記選択部の画像と前記非選択部の画像との一方の視認性を他方に対して低下させるように、前記選択部の画像と前記非選択部の画像との取得を制御することと、前記制御によって取得された前記選択部の画像と前記非選択部の画像と合成して１つの合成画像を取得することとを具備することを特徴とする。

本発明によれば、ユーザが意図した被写体を鮮明な画像として残しつつ、プライバシーの保護にも配慮した画像を得ることができる画像合成装置及び画像合成方法を提供することができる。

本発明の一実施形態に係る画像合成装置を備えた撮像装置の構成を示す図である。 図１に示した撮像装置の動作を示すフローチャートである。 選択部が選択される際の表示例を示す図である。 視認性低下処理が行われた場合の表示例を示す図である。 絞りの開口量を制御することによって視認性を低下させる処理としての通常撮影と通常外撮影とのタイミングチャートである。 操作環を操作して絞りを変更する様子を示した図である。 視認性低下処理の変形例を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係る画像合成装置を備えた撮像装置の構成を示す図である。図１は、本実施形態をレンズ交換式のデジタルカメラに適用した場合の構成例である。したがって、撮像装置１は、交換レンズ１００と、本体２００と、を有している。撮像装置１は、レンズ交換式でなくとも良い。

交換レンズ１００は、撮影レンズ１０２と、レンズ駆動部１０４と、レンズ位置検出部１０６と、絞り１０８と、絞り駆動部１１０と、レンズ情報記憶部１１２と、操作環１１４と、レンズ制御部１１６と、通信部１１８と、を有している。

撮影レンズ１０２は、フォーカスレンズ及びズームレンズ等の複数のレンズを有するレンズ群である。この撮影レンズ１０２は、図示しない被写体からの光を、本体２００に設けられた撮像素子に結像させる。フォーカスレンズは、撮影レンズ１０２の焦点調節のためのレンズであり、ズームレンズは、撮影レンズ１０２の画角調整のためのレンズである。

レンズ駆動部１０４は、レンズ制御部１１６による制御に従って撮影レンズ１０２のフォーカスレンズやズームレンズを駆動する。このレンズ駆動部１０４は、撮影レンズ１０２に含まれるそれぞれのレンズを駆動するためのモータと、これらのモータを駆動する駆動回路と、を有している。レンズ位置検出部１０６は、フォーカスレンズ及びズームレンズの駆動位置を検出する。レンズ位置検出部１０６は、例えばエンコーダにより構成されている。

絞り１０８は、開閉自在に構成されており、撮影レンズ１０２を介して撮像素子に結像される光の量を調節する。また、絞り１０８の開口量によって、撮像素子に結像される被写体の像のボケ具合も調節される。

絞り駆動部１１０は、レンズ制御部１１６による制御に従って絞り１０８を駆動する。この絞り駆動部１１０は、絞りを駆動するためのモータと、その駆動回路と、を有している。

レンズ情報記憶部１１２は、撮影レンズ１０２の焦点距離、Ｆナンバー、収差情報といった撮影レンズ１０２のレンズ情報を記憶する。

操作環１１４は、交換レンズ１００の外周に回転操作自在に配置されている。操作環１１４は、ユーザが手動で撮影レンズ１０２のフォーカスレンズ及びズームレンズの操作並びに絞り１０８の操作をするための操作部材である。

レンズ制御部１１６は、通信部１１８を介して本体２００の制御部２１６と通信自在に接続されている。レンズ制御部１１６は、制御部２１６の制御に従って、レンズ駆動部１０４及び絞り駆動部１１０を制御する。また、レンズ制御部１１６は、ＡＦ動作の時等において、レンズ位置検出部１０６で検出されたレンズ位置やレンズ情報記憶部１１２に記憶されているレンズ情報を、通信部１１８を介して本体２００に送信することも行う。

通信部１１８は、レンズ制御部１１６と制御部２１６との通信のための交換レンズ１００側のインターフェイスである。

また、本体２００は、撮像部２０２と、顏検出部２０４と、画像処理部２０６と、表示部２０８と、記録部２１０と、操作部２１２と、タッチ操作部２１４と、制御部２１６と、通信部２１８と、を有している。ここで、撮像部２０２又は画像処理部２０６が画像取得部の一例として機能する。

撮像部２０２は、撮像素子、Ａ／Ｄ変換回路等を有している。撮像素子は、画素としての光電変換素子が２次元状に配置された受光面を有して構成されている。それぞれの画素は、撮影レンズ１０２を介して結像された被写体の像を電気信号（画像信号）に変換する。また、撮像素子は、電子シャッタ機能によって露光量を調節する。撮像素子の露光動作は、制御部２１６によって制御される。Ａ／Ｄ変換回路は、撮像素子で得られた画像信号を、デジタル信号としての画像データに変換する。

顏検出部２０４は、画像データにおける人物の顏に相当する部分を検出する。顏検出部２０４による顏検出の手法としては、周知の手法を用いることができる。例えば、顏の特徴部（目、鼻、口等）のパターンを顏検出部２０４に記憶させておき、この顏の特徴部のパターンと画像データとのマッチングを取ることにより、画像データにおける顏に相当する部分を検出する。

画像処理部２０６は、画像データに対して画像処理を施す。画像処理部２０６が施す画像処理は、ホワイトバランス補正処理及びγ補正処理等の画像データに対応した画像を表示部２０８に表示させるために必要な各種の処理、並びに圧縮処理、伸張処理等が含まれる。また、画像処理部２０６は、合成部を有している。合成部は、選択部を含む画像データと背景部を含む画像データとを合成して１枚の合成画像データを生成する。選択部は、画像データにおける主要被写体の領域であって、手動又は自動で選択される。一方、背景部は、画像データにおける背景被写体の領域であって選択部以外の領域である。

表示部２０８は、画像処理部２０６によって処理された画像データに基づく画像等の各種の画像を表示する。表示部２０８は、例えば液晶ディスプレイで構成されている。

記録部２１０は、画像処理部２０６によって圧縮処理された画像データから生成される画像ファイルが記録される。記録部２１０は、例えば本体２００に着脱自在なメモリカードで構成されている。記録部２１０を本体２００に内蔵させるようにしても良い。

操作部２１２は、ユーザが撮像装置１の各種の操作を行うための複数の操作部材を有して構成されている。操作部材としては、レリーズボタン、モードダイアル、電源ボタン等が含まれる。レリーズボタンは、ユーザが本体２００に対して撮影開始の指示をするための操作部材である。モードダイアルは、ユーザが本体２００に対して動作モードの設定の指示をするための操作部材である。電源ボタンは、ユーザが本体２００に対して電源のオン又はオフを指示するための操作部材である。

タッチ操作部２１４は、例えば表示部２０８の表示画面の上に形成されている。タッチ操作部２１４は、例えば静電容量式のタッチ操作部であり、ユーザの指等の表示部２０８の表示画面への接触があった場合に、その接触位置を検出する。このタッチ操作部２１４により、ユーザによるタッチ操作を検出する。

制御部２１６は、本体２００の各ブロックの動作を制御する。例えば、制御部２１６は、撮像部２０２の撮像素子に同期信号（垂直同期信号及び水平同期信号）を入力することによって、撮像素子の露光動作（電子シャッタ動作）を制御する。また、制御部２１６は、表示部２０８に同期信号（垂直同期信号及び水平同期信号）を入力することによって、表示部２０８の表示動作を制御する。また、制御部２１６は、画像データから画像ファイルを生成し、生成した画像ファイルを記録部２１０に記録することも行う。この他、制御部２１６は、操作識別部としての機能も有し、ユーザによって操作部２１２又はタッチ操作部２１４が操作された場合には、その操作の内容を識別することも行う。

さらに、制御部２１６は、領域分割部、パラメータ設定部としての機能も有している。領域分割部としての機能は、画像データを選択部と背景部とに分割する機能である。領域分割部の機能が、画像データにおける選択部の位置を特定しておくだけの機能であっても良い。パラメータ設定部としての機能は、選択部又は背景部に対して行う視認性低下処理の際の処理パラメータを設定する。詳細については後述するが、本実施形態では、プライバシーの保護を目的として、選択部と背景部の何れかの視認性を低下させる（見えにくくする又は見えなくする）処理を施す。この処理として、本実施形態では、選択部と背景部とで露光のパラメータを変えたり、選択部と背景部とで画像処理のパラメータを変えたりする。パラメータ設定部としての機能は、これらのパラメータを設定する機能である。

通信部２１８は、レンズ制御部１１６と制御部２１６との通信のための本体２００側のインターフェイスである。

図２は、図１に示した撮像装置１の動作を示すフローチャートである。図２の動作は、制御部２１６が主体となって行われる。

図２において、制御部２１６は、本体２００の電源がオンされたか否かを判定している（ステップＳ１０１）。ステップＳ１０１において、電源がオンされたと判定するまで、制御部２１６は、スタンバイ状態を継続する。

ステップＳ１０１において、電源がオンされたと判定した場合に、制御部２１６は、撮像装置１の動作モードが撮影モードであるか否かを判定する（ステップＳ１０２）。本実施形態では、撮像装置１が撮影モードと再生モードとを動作モードとして少なくとも有している。撮影モードは、記録用の画像を得るためのモードである。一方、再生モードは、記録された画像を再生するためのモードである。

ステップＳ１０２において、撮像装置１の動作モードが撮影モードであると判定した場合に、制御部２１６は、ライブビュー表示動作を行う（ステップＳ１０３）。ライブビュー表示動作において、制御部２１６は、撮像部２０２を予め定められたフレームレートで連続動作させ、この連続動作によって撮像部２０２から逐次得られる画像データを画像処理部２０６に入力する。そして、制御部２１６は、画像処理部２０６において表示用の画像処理がなされた画像データを表示部２０８に入力することにより、撮像部２０２を介して逐次得られる画像データに対応した画像を表示部２０８にリアルタイムで表示させる。このようなライブビュー表示動作によって表示部２０８に表示された画像により、ユーザは、撮影構図等を確認することが可能である。

ここで、後述の処理によって合成画像がライブビュー表示されていた場合には、ステップＳ１０３においては表示の更新をしない。

ライブビュー表示動作の後、制御部２１６は、レンズ制御部１１６との通信により、レンズ位置等のレンズ状態を取得する（ステップＳ１０４）。制御部２１６は、レンズ位置の情報に基づき、必要に応じてライブビュー表示中の撮影レンズ１０２の焦点調節を行う。

次に、制御部２１６は、タッチ操作部２１４の出力から、ユーザによりタッチ操作がなされたか否かを判定する（ステップＳ１０５）。タッチ操作とは、ユーザが、表示部２０８の表示画面上の特定の位置に指等を接触させる操作を言う。なお、ユーザの指等が既に接触している場合にはタッチ操作がなされていないと判定する。

ステップＳ１０５において、ユーザによりタッチ操作がなされたと判定した場合に、制御部２１６は、ユーザによりタッチ操作がなされた表示画面上の位置に選択表示を行う（ステップＳ１０６）。

選択表示は、表示画面上の選択部の位置をユーザに明示するための表示である。図３（ａ）に示すようにして表示画面上の主要被写体（人物）の位置に、ユーザの指Ｆが接触した場合に、選択表示として、例えば図３（ｂ）に示す選択枠３０２を表示させる。なお、選択枠３０２の範囲は予め定めた範囲とする。さらに、選択枠３０２の詳細が分かるように、選択枠３０２内の画像の拡大画像３０４を表示させる。このような選択表示により、選択部の仮の選択が行われる。ここで、選択部が選択された場合、その位置（座標）を記憶しておく。選択部の位置は、画像データにおける選択部と背景部とを識別するための情報である。

次に、制御部２１６は、ユーザにより、撮影指示がなされたか否かを判定する（ステップＳ１０７）。ここでは、例えばレリーズボタンが押された場合に撮影指示がなされたと判定する。

ステップＳ１０７において、撮影指示がなされたと判定した場合に、制御部２１６は、撮影動作及び記録動作を行う（ステップＳ１０８）。撮影動作に先立って、制御部２１６は、撮影レンズ１０２の焦点調節及び露光量演算を行う。焦点調節の方式は、例えば山登りＡＦ方式を用いることができる。山登りＡＦ方式においては、例えば顏検出部２０４で検出された顏周辺のコントラストが最大となるように撮影レンズ１０２を駆動することによって、顏検出部２０４で検出された顏に撮影レンズ１０２を合焦させる。また、露光量演算においては、例えば顏検出部２０４で検出された顏周辺の露光量（明るさ）が適正となるように、撮影時における絞り１０８の開口量及び撮像部２０２の露光時間を設定する。ただし、後述の通常外撮影がなされる場合の露光量演算においては、絞り１０８の開口量を固定とし、露光時間を調節することによって撮像部２０２の露光量を調節する。焦点調節及び露光量演算の後、制御部２１６は、露光量演算の結果に従って絞り１０８の開口量を制御しつつ、露光量演算の結果に従った露光時間で撮像部２０２を動作させる。そして、制御部２１６は、撮像部２０２から得られた画像データを画像処理部２０６に入力する。その後、制御部２１６は、画像処理部２０６において記録用の画像処理がなされた画像データを、画像ファイルとして記録部２１０に記録する。このようにしてステップＳ１０８の処理が行われる。ステップＳ１０８の処理の終了後、制御部２１６は、処理をステップＳ１０１に戻す。また、ステップＳ１０７において、撮影指示がなされていないと判定した場合にも、制御部２１６は、処理をステップＳ１０１に戻す。

また、ステップＳ１０５において、タッチ操作がなされていないと判定した場合に、制御部２１６は、選択部が選択済みであるか、即ちタッチ操作がなされた後であるか否かを判定する（ステップＳ１０９）。ステップＳ１０９において、選択部が選択済みであると判定した場合に、制御部２１６は、ユーザにより選択部の範囲変更の操作がなされたか否かを判定する（ステップＳ１１０）。範囲変更の操作は、例えば選択部（選択枠３０２又は拡大画像３０４）に対してタッチ操作がなされている状態で、接触位置を時間的に変化させる操作（スライド操作と言う）である。図３（ｂ）及び図３（ｃ）にスライド操作を示す。図３（ｂ）は、選択枠３０２に対して矢印Ａ方向のスライド操作がなされた例を示している。また、図３（ｃ）は、拡大画像３０４に対して矢印Ｂ方向のスライド操作がなされた例を示している。

ステップＳ１１０において、範囲変更の操作がなされたと判定した場合に、制御部２１６は、ユーザによる範囲変更の操作に従って選択部の範囲を変更する。また、この変更に伴って表示部２０８に表示させている選択枠３０２の範囲及び拡大画像３０４の範囲も変更する（ステップＳ１１１）。例えば、図３（ｃ）に示すスライド操作がなされた場合、図３（ｄ）に示すようにして矢印Ｂ方向に沿って選択枠３０２及び拡大画像３０４が拡大される。このような範囲変更の処理を経て、最終的な選択部の選択が行われる。これにより、画像データが選択部と背景部とに分割される。

範囲変更の操作がなされていない場合又は範囲変更を行った後、制御部２１６は、背景部を変更するか、即ち背景部に対して視認性を低下させる処理を行うか否かを判定する（ステップＳ１１２）。例えば、ステップＳ１１０又はＳ１１１の後、制御部２１６は、図４（ａ）に示すような２つのソフトウェアボタン３０６及び３０８を表示部２０８に表示させる。背景除去ボタン３０６は、ユーザが背景部に対して視認性を低下させる処理を行うように指示するためのボタンである。一方、対象除去ボタン３０８は、ユーザが選択部に対して視認性を低下させる処理を行うように指示するためのボタンである。ステップＳ１１２においては、タッチ操作部２１４の出力から、背景除去ボタン３０６の位置にユーザの指等が接触したか否かを判定する。

ステップＳ１１２において、背景部を変更すると判定した場合に、制御部２１６は、選択部を通常撮影する（ステップＳ１１３）。また、制御部２１６は、背景部を通常外撮影する（ステップＳ１１４）。また、ステップＳ１１２において、選択部を変更すると判定した場合に、制御部２１６は、選択部を通常外撮影する（ステップＳ１１５）。また、制御部２１６は、背景部を通常撮影する（ステップＳ１１６）。ここで、通常外撮影とは、通常撮影における撮影条件（例えばライブビュー表示時の露光条件及び画像処理条件）と異なる条件で行う撮影のことを言う。通常撮影及び通常外撮影の詳細については後述する。

選択部及び背景部を異なる条件で撮影した後、制御部２１６は、異なる条件で撮影された主要被写体画像としての選択部の画像データ（又は選択部を含む全体の画像データ）と背景画像としての背景部の画像データ（又は背景部を含む全体の画像データ）とを画像処理部２０６に入力する。画像処理部２０６は、入力された２つの画像データを合成して合成画像データを生成する。そして、制御部２１６は、合成画像データを表示部２０８に入力し、合成画像をライブビュー表示する（ステップＳ１１７）。その後、制御部２１６は、処理をステップＳ１０７に移行させる。ここで、合成の際、合成画像データにおける選択部に対応する部分については、制御部２１６から入力された選択部の画像データを合成する。一方、合成画像データにおける背景部に対応する部分については、制御部２１６から入力された背景部の画像データを合成する。

図４（ｂ）は、背景部に対して視認性を低下させる処理を行った後の合成画像の表示例を示している。図４（ｂ）に示す表示例では、選択部としての顏周辺部が鮮明な画像として表示され、その他の部分が不鮮明な画像として表示される。これにより、ユーザが意図した被写体のみを鮮明な画像として残しつつ、その他の部分の視認性を低下させてプライバシーの保護も図ることが可能である。
図４（ｃ）は、選択部に対して視認性を低下させる処理を行った後の合成画像の表示例を示している。図４（ｃ）に示す例の表示では、選択部としての顏周辺部が黒く塗りつぶされ、その他の部分が鮮明な画像として表示される。この場合も、ユーザが意図した被写体のみを鮮明な画像として残しつつ、その他の部分の視認性を低下させてプライバシーの保護も図ることが可能である。

なお、画像の視認性（背景部又は選択部の画像の見え）は、ユーザの好みによって変更できるようしても良い。例えばユーザのタッチ操作部２１４の操作を受けて、通常外撮影により得られた選択部又は背景部の画像データにおけるコントラスト、透明度、彩度等を変更する画像処理を画像処理部２０６において行うようにしても良い。

また、ステップＳ１０２において、撮像装置１の動作モードが撮影モードでないと判定した場合に、制御部２１６は、撮像装置１の動作モードが再生モードであるか否かを判定する（ステップＳ１１８）。

ステップＳ１１８において、撮像装置の動作モードが再生モードであると判定した場合に、制御部２１６は、画像再生の処理を行う（ステップＳ１１９）。画像再生の処理については簡単に説明する。画像再生の処理において、制御部２１６は、記録部２１０に記録されている画像ファイルの一覧を表示部２０８に表示させる。ユーザは、一覧表示された画像ファイルの中から所望の画像ファイルを操作部２１２又はタッチ操作部２１４を操作して選択する。この選択を受け、制御部２１６は、記録部２１０から対応する画像ファイルを読み出し、この画像ファイルに記録されている圧縮済みの画像データを画像処理部２０６に入力する。画像処理部２０６は、入力された圧縮画像データを伸張する。そして、制御部２１６は、伸張された画像データを表示部２０８に入力して表示部２０８に画像を表示させる。

画像再生の処理の後、制御部２１６は、操作部２１２又はタッチ操作部２１４により、再生する画像を変更する操作がなされたか否かを判定する（ステップＳ１２０）。ステップＳ１２０において、再生する画像を変更する操作がなされたと判定した場合に、制御部２１６は、記録部２１０から変更後の画像ファイルを読み出す（ステップＳ１２１）。そして、制御部２１６は、処理をステップＳ１１９に戻して、変更後の画像ファイルを再生する。また、ステップＳ１２０において、再生する画像を変更する操作がなされてないと判定した場合に、制御部２１６は、処理をステップＳ１０１に戻す。

また、ステップＳ１１８において、撮像装置の動作モードが再生モードでないと判定した場合に、制御部２１６は、処理をステップＳ１０１に戻す。なお、撮影モード及び再生モード以外の動作モードがある場合には、制御部２１６は、その動作モードに対応した処理を行う。

次に、通常撮影及び通常外撮影について説明する。通常外撮影においては、通常撮影と異なる撮影条件で撮影を行うことによって、選択部又は背景部の視認性を低下させる。まず、絞り１０８の開口量を制御することによって視認性を低下させる例を説明する。

図５は、絞り１０８の開口量を制御することによって視認性を低下させる処理としての通常撮影と通常外撮影とのタイミングチャートである。ここで、図５は、背景部の視認性を低下させる例を示している。また、図５は、撮像素子の露光時間をローリングシャッタ方式の電子シャッタによって制御する例を示している。撮像素子の露光時間をグローバルシャッタ方式の電子シャッタによって制御するようにしても良い。

ライブビュー表示中の撮影（露光制御）は、制御部２１６で生成される垂直同期信号に同期して行われる。また、交換レンズ１００内の処理は、垂直同期信号に同期したレンズ同期信号に同期して行われる。

垂直同期信号の間隔によってライブビュー表示のフレームレートが決定される。ここで、図５の例では、４フレームの撮影毎に１フレームの合成画像の表示を行う。ただし、４フレームのうちの２フレームについては使用しない。図５の斜線が未使用フレームである。４フレーム毎に表示を行うのは、電子シャッタの方式がローリングシャッタ方式のためである。

選択部を通常撮影する際、制御部２１６は、カメラ本体内処理Ｂ１として、撮像素子の露光時間設定等を行った後、撮像部２０２の動作を開始させる。図５の例は、ローリングシャッタ方式であるので、撮像素子の行単位で撮像及び画像信号の読み出しが行われる。この撮像素子の動作と並行して、制御部２１６は、交換レンズ１００のレンズ制御部１１６に対して、合焦調節のための撮影レンズ１０２のレンズ駆動指示及び絞り１０８の開口量を第１の所定の開口量（例えばライブビュー表示時の開口量）とする絞り駆動指示を含む本体−レンズ間通信信号ＢＬを出力する。

本体−レンズ間通信信号ＢＬを受けたレンズ制御部１１６は、レンズ内処理Ｌ１として、制御部２１６に対して、本体−レンズ間通信信号ＢＬを受けた旨をレンズ−本体間通信信号ＬＢとして出力する。その後、レンズ制御部１１６は、レンズ内処理Ｌ２として、レンズ駆動部１０４及び絞り駆動部１１０を制御して、撮影レンズ１０２の合焦調節及び絞り１０８の駆動を行う。

このように、通常撮影では、通常外撮影に比べて絞り１０８を閉じることによって相対的に被写界深度を深くする。これにより、選択部を鮮明な画像とする。

一方、背景部を通常外撮影する際、制御部２１６は、カメラ本体内処理Ｂ１として、撮像素子の露光時間設定等を行った後、撮像部２０２の動作を開始させる。この撮像素子の動作と並行して、制御部２１６は、交換レンズ１００のレンズ制御部１１６に対して、合焦調節のための撮影レンズ１０２のレンズ駆動指示及び絞り１０８の開口量を第１の所定の開口量よりも大きな第２の所定の開口量（例えば開放絞り）とする絞り駆動指示を含む本体−レンズ間通信信号ＢＬを出力する。

本体−レンズ間通信信号ＢＬを受けたレンズ制御部１１６は、レンズ内処理Ｌ１として、制御部２１６に対して、本体−レンズ間通信信号ＢＬを受けた旨をレンズ−本体間通信信号ＬＢとして出力する。その後、レンズ制御部１１６は、レンズ内処理Ｌ２として、レンズ駆動部１０４及び絞り駆動部１１０を制御して、撮影レンズ１０２の合焦調節及び絞り１０８の駆動を行う。

このように、通常外撮影では、通常撮影に比べて絞り１０８を開くことによって相対的に被写界深度を浅くする。これにより、画像全体を不鮮明にして視認性を低下させる。

通常撮影で得られた画像における選択部と通常外撮影で得られた画像における背景部とを合成することにより、選択部を鮮明な画像として残しつつ、背景部を不鮮明な画像とすることが可能である。図５とは逆に、通常撮影で得られた画像における背景部と通常外撮影で得られた画像における選択部とを合成することにより、背景部を鮮明な画像として残しつつ、選択部を不鮮明な画像とすることも可能である。

以上説明したように、本実施形態では、選択部と背景部との一方の視認性を他方に対して低下させる処理を行った上で両者を合成することにより、ユーザが鮮明な画像として残したい部分を鮮明にしつつ、残りの部分の視認性を落としてプライバシーの保護を図ることが可能である。

また、選択部の選択をタッチ操作部２１４で行うことができるので、選択部の選択を容易に行うことが可能である。

［変形例］
以下、本実施形態の変形例について説明する。
前述の例では、タッチ操作部２１４によって選択部の選択を行うようにしているが、選択部を自動で検出するようにしても良い。例えば、撮像装置１に主要被写体検出部を持たせておき、主要被写体検出部が、撮影画面内で静止している被写体の領域を検出した場合に、その領域を選択部とすることができる。また、主要被写体検出部が、撮影画面内に占める面積が所定の割合以上の被写体の領域を検出した場合に、その領域を選択部とすることもできる。ここで、主要被写体検出部としては例えば顏検出部２０４を用いることが可能である。

前述の例では、絞り１０８の開口量を固定としているが、ユーザの操作によって微調整できるようにしても良い。例えば、図６に示すようにして、ユーザが操作環１１４を矢印Ｃ方向に沿って回転させれば、絞り１０８の開口量が変化するので、この状態の絞り１０８を用いて通常撮影又は通常外撮影を行うようにしても良い。

また、図５の例では、絞り１０８の開口量を変化させることによって視認性を低下させている。しかしながら、視認性低下処理は、絞り１０８の開口量を変化させる処理に限定されるものではない。例えば、通常外撮影において、撮影レンズ１０２を非合焦状態とする（ピンボケさせる）ようにして視認性を低下させるようにしても良い。

また、図７（ａ）に示すように、露光時間を長くすることによって、画像のボケを多くして視認性を低下させた画像を生成するようにしても良い。さらには、図７（ｂ）に示すように、複数枚の画像を撮影し、これらの画像を平均化することによって画像のボケを多くして視認性を低下させた画像を生成するようにしても良い。露光時間を長くする方式では、視認性を低下させる側（例えば背景部）のリニアな軌跡を画像として残すことが可能である。また、複数枚の画像を合成する方式では、撮影後でも処理が可能である。このため、撮像装置１とは異なる画像合成装置（例えばパーソナルコンピュータ）においても処理を行うことが可能である。

この他、画像データにローパスフィルタ処理を掛ける等してぼかすようにしても良い。さらに、画像処理によって画像をぼかす場合には、画像全体をぼかしてから必要な部分（選択部又は背景部）を切り出すようにしても良いし、必要な部分（選択部又は背景部）を切り出してからその部分をぼかすようにしても良い。さらに、視認性を低下させる処理として、ぼかしを施すのではなく、視認性を低下させる部分を、図４（ｃ）に示すように特定の色（例えば黒）で塗りつぶすようにしても良い。

さらに、前述の実施形態では、２枚の画像データを合成して１枚の合成画像データを合成しているが、３枚以上の画像データを合成して１枚の合成画像データを合成するようにしても良い。

以上実施形態に基づいて本発明を説明したが、本発明は前述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、前述したような課題を解決でき、前述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００…交換レンズ、１０２…撮影レンズ、１０４…レンズ駆動部、１０６…レンズ位置検出部、１０８…絞り、１１０…絞り駆動部、１１２…レンズ情報記憶部、１１４…操作環、１１６…レンズ制御部、１１８…通信部、２００…本体、２０２…撮像部、２０４…顏検出部、２０６…画像処理部、２０８…表示部、２１０…記録部、２１２…操作部、２１４…タッチ操作部、２１６…制御部、２１８…通信部

Claims (7)

1. 画像を取得する画像取得部と、
   前記取得された画像における一部の領域を選択部として選択するための第１の操作部と、
   前記選択部と前記選択部以外の領域である非選択部とのうちの何れに対して視認性を低下させる処理を行うかを選択するための第２の操作部と、
   前記第２の操作部による選択に従って、前記選択部の画像と前記非選択部の画像との一方の視認性を他方に対して低下させるように、前記画像取得部による前記選択部の画像と前記非選択部の画像との取得を制御する制御部と、
   前記制御部の制御によって前記画像取得部で取得された前記選択部の画像と前記非選択部の画像と合成して１つの合成画像を取得する合成部と、
   を具備することを特徴とする画像合成装置。
2. 前記画像取得部は、前記選択部の被写体を撮像して前記選択部の画像を取得するとともに、前記非選択部の被写体を撮像して前記非選択部の画像を取得し、
   前記制御部は、前記選択部の画像と前記非選択部の画像とのうち、視認性を低下させるほうの撮像における絞りの開口量を他方の撮像における絞りの開口量よりも大きくする又は視認性を低下させるほうの撮像における露光時間を他方の撮像における露光時間と異ならせるように、前記画像取得部を制御することを特徴とする請求項１に記載の画像合成装置。
3. 前記画像取得部は、入力された複数の画像に異なる画像処理を施して前記選択部の画像と前記非選択部の画像とを取得し、
   前記制御部は、前記選択部の画像と前記非選択部の画像とのうち、視認性を低下させるほうの画像処理においてぼかし処理を施すように、前記画像取得部を制御することを特徴とする請求項１に記載の画像合成装置。
4. 入力された画像を前記選択部と前記非選択部とに分割する領域分割部をさらに具備することを特徴とする請求項１乃至３の何れか１項に記載の画像合成装置。
5. 前記第１の操作部は、タッチ操作部であり、
   前記領域分割部は、前記タッチ操作部によって選択された領域を前記選択部とするように前記分割を行うことを特徴とする請求項４に記載の画像合成装置。
6. 入力された画像における主要被写体の領域を検出する主要被写体検出部をさらに具備し、
   前記領域分割部は、前記主要被写体検出部によって検出された前記主要被写体の領域を前記選択部とするように前記分割をすることを特徴とする請求項４に記載の画像合成装置。
7. 画像を取得することと、
   第１の操作部による選択に応じて、前記取得された画像における一部の領域を選択部として選択することと、
   第２の操作部による選択に応じて、前記選択部と前記選択部以外の領域である非選択部とのうちの何れに対して視認性を低下させる処理を行うかを選択することと、
   前記選択部と前記非選択部とのうちの何れに対して視認性を低下させる処理を行うかの選択に従って、前記選択部の画像と前記非選択部の画像との一方の視認性を他方に対して低下させるように、前記選択部の画像と前記非選択部の画像との取得を制御することと、
   前記制御によって取得された前記選択部の画像と前記非選択部の画像と合成して１つの合成画像を取得することと、
   を具備することを特徴とする画像合成方法。

Images