JP7353749B2 - 画像処理装置、撮像装置及び画像処理装置の制御方法 - Google Patents

Description

本発明は、望遠撮影画像と広角撮影画像の表示制御を行う撮像装置及び撮像装置の制御方法に関する。

従来、望遠撮影においてユーザのフレーミングを支援する機能を備えた撮像装置が知られている。フレーミングを支援する機能として、一つまたは複数の撮像素子で撮影した画像から望遠撮影画像と広角撮影画像を取得して、２つの画像を表示部に同時に表示できる機能がある。この機能では、表示部に表示した望遠撮影画像に対して広角撮影画像をサブ画面などで同時に表示する。これにより、高ズーム倍率の画角の狭い望遠撮影画像では主要被写体を追うことが難しい場合でも、サブ画面に表示された広角撮影画像を確認することで主要被写体のフレーミングを支援することができる。

特許文献１では、望遠撮影の画角から主要被写体を見失ってしまった際にサブ画面に広角撮影画像を表示することで、フレーミングを支援する技術が開示されている。

特開２０１４－１７９９４０号公報

しかしながら、特許文献１に開示された技術ではサブ画面が小さいと、高ズーム倍率時の望遠撮影時などは、サブ画面内の主要被写体の表示が小さくなる可能性がある。一方、サブ画面を大きくすると、望遠撮影画像のうち、サブ画面により確認できない領域が大きくなり、主要被写体が確認しづらくなる可能性がある。

そこで、本発明は、特許文献１とは異なる方法で、主要被写体のフレーミングを支援することが可能な撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、第１の画角の第１の画像信号と、前記第１の画角よりも広角の第２の画角の第２の画像信号と、を取得する取得手段と、前記第１の画像信号と前記第２の画像信号の少なくともいずれかから被写体を検出する被写体検出手段と、前記被写体検出手段の検出結果に基づいて前記第２の画像信号に基づく第２の画像の透過率を設定する透過率設定手段と、前記透過率設定手段により設定された透過率に基づいて、前記第１の画像信号と前記第２の画像信号とを合成して合成画像信号を生成する画像処理手段と、前記合成画像信号に基づく画像を表示手段に表示させるように前記表示手段を制御する表示制御手段と、を備えることを特徴とする。本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

望遠撮影画像と広角撮影画像の視認性を高めることで、主要被写体のフレーミングを支援することが可能な撮像装置を提供することが可能となる。

第１の実施形態に係る撮像装置のブロック図である。 第１の実施形態に係る撮像装置の表示部に表示される画面の模式図である。 第１の実施形態に係る撮像装置の画角枠の表示制御の処理フローを示す図である。 第１の実施形態に係る撮像装置の重畳処理の表示制御の処理フローを示す図である。 第１の実施形態に係る撮像装置の重畳処理の表示制御の処理Ａの処理フローを示す図である。 第２の実施形態に係る撮像装置のブロック図である。 第２の実施形態に係る撮像装置の重畳処理の表示制御の処理フローを示す図である。 第２の実施形態に係る撮像装置の重畳処理の表示制御の処理フローの処理Ｂの詳細を示す図である。 第３の実施形態に係る撮像装置のブロック図である。 第３の実施形態に係る撮像装置の表示部１１１に表示される画面の模式図である。 第３の実施形態に係る撮像装置の画角枠の表示制御の処理フローを示す図である。 第４の実施形態に係る撮像装置のブロック図である。 第４の実施形態に係る画像処理部のブロック図である。 第４の実施形態に係る撮像装置の表示部に表示される画面の模式図である。 第４の実施形態に係る撮像装置と被写体との距離関係を示す図である。 第４の実施形態に係る撮像装置の重畳処理の表示制御の処理フローを示す図である。 第５の実施形態に係る撮像装置のサブカメラの画角内に新規被写体が入った状態を示す図である。 第５の実施形態に係る撮像装置の重畳処理の表示制御の処理フローを示す図である。 第５の実施形態に係る撮像装置の重畳処理の表示制御の処理フローの処理Ｃの詳細を示す図である。 第６の実施形態に係る撮像装置の表示部に表示される画面の模式図である。 第６の実施形態に係る撮像装置の重畳処理の表示制御の処理フローを示す図である。 第６の実施形態に係る画像処理部１０４のブロック図である。

以下、本発明の好ましい実施形態を添付の図面に基づいて詳細に説明をする。尚、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

下記の実施形態は、望遠画像と広角画像との２つの画像を、透過させて合成することで、サブ画面が小さすぎたり大きすぎたりすることによる、望遠画像または広角画像の視認性の低下を抑制する。また、シーンに応じて透過率を設定することで、望遠画像を重視するシーンでは望遠画像を、広角画像を重視するシーンでは広角画像の視認性を優先することができる。

〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る撮像装置１のブロック図である。図１において、撮像装置１は、メインカメラ部１０４０と、望遠撮影時にメインカメラによる撮影を支援するサブカメラ部１０４１と、メインカメラ部１０４０とサブカメラ部１０４１による撮影を制御する制御装置１１６を備える。さらに、撮像装置１は、ユーザによる操作を受付ける操作部１１３と各種画像を表示する表示部１１１とを備える。

メインカメラ部１０４０は、撮影指示の入力を受けて所定の露光条件で露光し、得られた撮影情報に基づくデータを記録部により記録する撮影処理を行う。メインカメラ部１０４０は、メインカメラ用結像光学系１０１０、メインカメラ用撮像素子１０２０、メインカメラ用Ａ／Ｄ変換部１０３０を備える。

メインカメラ用結像光学系１０１０はレンズと絞りを備えており、撮影の際、メインカメラ用結像光学系１０１０はフォーカス調節および露出調節を行い、メインカメラ用撮像素子１０２０に光学像を結像する。また、メインカメラ用結像光学系１０１０はズームレンズを備えており、不図示の駆動部によりズームレンズの位置が変更されることにより、焦点距離を変更することができる。

メインカメラ用撮像素子１０２０は、光学像を電気信号（アナログ画像信号）に変換する光電変換機能を有し、ＣＣＤやＣＭＯＳセンサ等で構成される。

メインカメラ用Ａ／Ｄ変換部１０３０はメインカメラ用撮像素子１０２０からのアナログ画像信号をデジタル画像信号に変換する。変換後のメイン画像データ１００は後段の画像処理部１０４に入力される。

サブカメラ部１０４１は、メインカメラ部１０４０による望遠撮影を支援するために用いることができるカメラであり、少なくとも、メインカメラ用結像光学系１０１０の望遠端よりも短い焦点距離でライブビュー表示用の撮像信号を取得することができる。サブカメラ部１０４１は、サブカメラ用結像光学系１０１１、サブカメラ用撮像素子１０２１、サブカメラ用Ａ／Ｄ変換部１０３１を備える。

サブカメラ用結像光学系１０１１も、メインカメラ用結像光学系１０１０と同様に、レンズと絞りを備える。また、本実施形態のサブカメラ用結像光学系はズームレンズを備えており、不図示の駆動部によりズームレンズの位置が変更されることにより、焦点距離を変更することができる。サブカメラ用結像光学系１０１１は、メインカメラ用結像光学系１０１０の望遠端よりも短い焦点距離をとることが可能であり、メインカメラ用結像光学系１０１０よりも短い焦点距離をとるときに、メインカメラ部１０４０による望遠撮影を支援することができる。

サブカメラ用撮像素子１０２１は、光学像を電気信号（アナログ画像信号）に変換する光電変換機能を有し、ＣＣＤやＣＭＯＳセンサ等で構成される。

サブカメラ用Ａ／Ｄ変換部１０３１はサブカメラ用撮像素子部１０２１からのアナログ画像信号をデジタル画像信号に変換する。変換後のサブ画像データ１０１は後段の画像処理部１０４に入力される。

バス１１４は主にＣＰＵ１１２などから各ブロックの制御信号を伝送するためのシステムバスであり、バス１１５は主に画像データを転送するためのデータバスである。

ＣＰＵ１１２は、撮像装置全体の制御を司るマイクロコンピュータ等で構成され、各機能ブロックに対して動作指示を行い、オートフォーカス制御、ズーム位置制御、表示制御等の各種の制御処理を実行する。ＣＰＵ１１２は、バス１１４を介して画像処理部１０４、データ転送部１０５、メモリ制御部１０６、不揮発性メモリ制御部１０８、表示制御部１１０、操作部１１３、撮像素子１０１を制御する。ＣＰＵ１１２は、ＲＯＭ１０９に記録されたプログラムを実行することにより、本実施形態の各処理を実現する。さらに、ＣＰＵ１１２は、ズーム制御信号１１５０を出力してメインカメラ用結像光学系１０１０のズーム制御を行う。さらに、ＣＰＵ１１２は、ズーム制御信号１１５１を出力してサブカメラ用結像光学系１０１１のズーム制御を行う。この２つの結像光学系の焦点距離の設定は、連携して制御可能である。

データ転送部１０５は、データ転送を行う複数のＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）で構成されている。

ＤＲＡＭ（メモリ）１０７は、データを記憶するメモリで、所定枚数の静止画像や所定時間の動画像、音声等のデータやＣＰＵ１１２の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える。メモリ制御部１０６は、ＣＰＵ１１２或いはデータ転送部１０５からの指示に応じて、ＤＲＡＭ１０７へのデータ書き込み及びデータ読み出しを行う。

不揮発性メモリ制御部１０８は、ＣＰＵ１１２からの指示に応じて、ＲＯＭ（不揮発性メモリ）１０９にデータの書き込み及び読み出しを行う。ＲＯＭ１０９は、電気的に消去・記録可能なメモリであり、ＥＥＰＲＯＭ等が用いられる。ＲＯＭ１０９には、ＣＰＵ１１２の動作用の定数、プログラム等が記憶される。

画像処理部１０４は、各種画像処理回路、プロセッサ及びバッファメモリ等から構成されており、ノイズ低減処理やレンズの歪補正や防振処理など各種の補正処理を行っている。また、画像データのエッジ抽出を行い、被写体検出を行う被写体検出手段としても機能する。さらに、エッジが交差している箇所などの特徴量から検出した被写体が主要被写体であるかを検知し、メインカメラまたはサブカメラの撮影範囲内（以下、本明細書では撮影範囲のことを画角と呼ぶ）に主要被写体が入ったかを判定することができる。

また、画像処理部１０４は、メインカメラ用Ａ／Ｄ変換部１０３０、サブカメラ用Ａ／Ｄ変換部１０３１から各々入力されたメイン画像データ１００とサブ画像データ１０１を重畳した合成画像データ（合成画像信号ともいう）の生成を実施する。重畳の方法としては、サブ画像の透過率を設定し、設定した透過率に基づいて、メイン画像データ１００に対してサブ画像データ１０１を合成する。これにより、メイン画像データ１００に基づくメイン画像が透過するように、サブ画像データ１０１に基づくサブ画像データが合成される。サブ画像の透過率は０～１００％で設定することができ、操作部材１１３のボタン操作などをトリガとしてＣＰＵ１１２の制御により後述するフローが実行されることで、画像処理部１０４により設定される。尚、メイン画像の透過率を設定すれば、サブ画像の透過率が設定されるのと等価であるため、本願ではメイン画像の透過率を設定することもサブ画像の透過率を設定することに含む。画像処理部１０４は、透過率設定手段や、画像合成手段として機能することができる。

サブ画像データ１０１の透過率を高くすると、メイン画像データ１００が視認し易くなり、サブ画像データ１０１が視認し難くなる。反対に、サブ画像データ１０１の透過率を低くすると、メイン画像データ１００が視認し難くなり、サブ画像データ１０１が視認し易くなる。画像データ１０１の透過率を０％設定した場合は、画像データ１０１のみが表示され、透過率を１００％に設定した場合には、画像データ１００のみが表示される。

下記式（１）に画像処理部１０４の重畳処理時の演算式を示す。メイン画像データ１００の画素値（Ｒ，Ｇ，Ｂ表記）を（Ｒｉｎ１， Ｇｉｎ１， Ｂｉｎ１）、サブ画像データ１０１の画素値（Ｒ，Ｇ，Ｂ表記）を（Ｒｉｎ２， Ｇｉｎ２， Ｂｉｎ２）とする。また、画像処理部１０４の出力である合成画像データの画素値を（Ｒｏｕｔ， Ｇｏｕｔ， Ｂｏｕｔ）とする。サブ画像データ１０１の透過率はパラメータαとなり、透過率が０％の時はα＝０、透過率が３０％の時はα＝０．３、透過率が１００％の時はα＝１となる。なお、作成された合成画像データは、表示制御部１１０へ出力される。
Ｒｏｕｔ ＝ Ｒｉｎ１ ＊ α ＋ Ｒｉｎ２ ＊ （１ － α）
Ｇｏｕｔ ＝ Ｇｉｎ１ ＊ α ＋ Ｇｉｎ２ ＊ （１ － α）
Ｂｏｕｔ ＝ Ｂｉｎ１ ＊ α ＋ Ｂｉｎ２ ＊ （１ － α） 式（１）

表示部１１１は、液晶ディスプレイや電子ビューファインダーであり、表示制御部１１０により制御され、画像処理部１０４から転送された各種の画像データやメニュー画面などを表示部１１１に表示する。また、静止画撮影の撮影前や、動画撮影時には、メインカメラ用Ａ／Ｄ変換部１０３０、サブカメラ用Ａ／Ｄ変換部１０３１から各々入力された画像データをリアルタイムで処理して、表示する。

操作部１１３は、ユーザにより操作されるスイッチやボタン等を含み、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦ等の操作に使用される。シャッターボタン（不図示）は、半押しされると、撮影準備指示が制御装置１１６に入力され、ＡＦ指示をＣＰＵ１１２に対して出力する。ＣＰＵ１１２はＡＦ指示を受けると、焦点検出及び焦点位置の制御（フォーカスレンズの位置制御）を行う。また、シャッターボタンは、全押し時に、撮影指示をＣＰＵ１１２に対して出力する。ＣＰＵ１１２は撮影指示を受けると、メインカメラ部１０４０に撮影処理を行わせる。また、マクロ撮影モードや望遠撮影モードなど撮影モードを切り替えるためのモードダイヤルなども具備される。

図２は、本実施形態に係る画像処理装置の表示部１１１に表示される画面の模式図である。図２（ａ）は、メインカメラ用結像光学系１０１０を通してメインカメラ用撮像素子１０２０に結像された光学像に基づくメイン画像データ１００が示す画像の模式図である。メインカメラの撮影画角２００に収まるように主要被写体２０１を望遠撮影している。

一方、図２（ｂ）は、メインカメラ部１０４０よりも広角側で撮影を行うサブカメラ用結像光学系１０１１を通してサブカメラ用撮像素子１０２１に結像された光学像に基づくサブ画像データ１０１が示す画像の模式図である。サブカメラの撮影画角２０３はメインカメラの撮影画角２０１よりも広いため、図２（ａ）の主要被写体２０１がサブ画像データ中の主要被写体２０２は小さい。また、サブ画像データ１０１には、メインカメラの撮影画角を示す枠（以下、単に画角枠と呼ぶ）２０４が含まれており、メインカメラ側で撮影している画角をサブカメラ側で撮影している画角に表示することができる。尚、メインカメラの撮影画角を示す枠２０４の合成は、画像処理部１０４で行ってもよい。

図２（ｃ）は、メインカメラ部１０４０で取得したメイン画像データ１００が表示される表示部１１１に対して、メイン画像データが透過するようにサブカメラ部１０４１で取得したサブ画像データ１０１を重畳した合成画像データが示す画像の模式図である。図２（ｃ）に示す画像では、サブ画像データ１０１の透過率を５０％に設定しており、メイン画像データ１００とサブ画像データ１０１が同程度の視認性で視認出来る状態である。尚、サブカメラ用結像光学系とメインカメラ用結像光学系との間に１画素以上の視差がある場合は、位置合わせをしてからサブ画像データ１０１をメイン画像データ１００に重畳させることが好ましい。

図３は、本実施形態に係る撮像装置における、画角枠２０４の表示制御の処理フローを示す図である。

図３のフローチャートを説明する。図３に示すフローチャートは、特に記載がない限りは制御装置１１６のＣＰＵ１１２で行われる。

まず、ステップＳ３０１において、ユーザによる操作部１１３の操作により望遠撮影モードに移行したか否かを判定する。移行があったと判定された場合にはステップＳ３０２に遷移する（ステップＳ３０１のＹＥＳ）。それ以外は待機状態となり（ステップＳ３０１のＮＯ）、ステップＳ３０１を繰り返す。ただし、図３のフローチャートには不図示であるが、待機状態においてユーザにより他の操作が成された場合は、図３のフローチャート以外の別処理に移行する。

ステップＳ３０２において、ユーザの操作により、メインカメラ用結像光学系１０１０の焦点距離が移動されたか否か判定する。焦点距離の移動があったと判定された場合には、ステップＳ３０３に遷移する（ステップＳ３０２のＹＥＳ）。それ以外は待機状態となる（ステップＳ３０２のＮＯ）。

次に、ステップＳ３０３では、サブカメラの撮影画角２０３の大きさに対するメインカメラの撮影画角２００の大きさの比が所定の比率を越えたか否かを判定する。言い換えると、サブカメラの撮影画角２０３とメインカメラの撮影画角２００との差が所定値よりも小さくなったか否かを判定する。メインカメラ用結像光学系１０１０の焦点距離が広角側に移動されると、サブカメラ撮影画角２０３に占める、メインカメラの撮影画角２００に対応する領域は大きくなっていく。これに伴い、サブカメラの撮影画角２０３の大きさに対するメインガメラの撮影画角２００の大きさの比率も大きくなっていく。つまり、メインカメラ用結像光学系１０１０の焦点距離が広角側に移動し、サブカメラの撮影画角２０３の大きさ：メインカメラの撮影画角２００に対応する領域の大きさが所定の比率より大きくなると、ステップＳ３０３で所定比率を超えたと判定される。そして、ステップＳ３０４に遷移する。本実施形態では、所定の比率を、画角枠２０４大きさ：サブカメラの撮影画角２０３の大きさ＝１：２とするが、所定の比率はこれに限定されるものではない。メインカメラの撮影画角に対してより広範囲の広角撮影用のサブカメラの撮影画角を確認したい場合には、サブカメラ撮影画角の比率を２以上に設定することが好ましい。また、所定の比率は撮影条件や撮影モードに応じて変更可能でもよい。

ステップＳ３０４では、ＣＰＵ１１２はサブカメラ用結像光学部１０１１に対してズーム制御信号１１５１を出力し、サブカメラ用結像光学部１０１１の焦点距離を広角側に移動させ、続くステップＳ３０５へと遷移する。

ステップＳ３０５では、サブカメラの撮影画角２０３に対して合成する、メインカメラの撮影画角の大きさを示す画角枠２０４のサイズを変更する。画角枠２０４の大きさは、メインカメラ部の焦点距離と、ステップＳ３０４で広角側に移動した後のサブカメラ部の焦点距離とに基づいて決定される。

ステップＳ３０６では、サブカメラ部の焦点距離が最小値（広角端）まで到達していないかを判定する。到達していない場合（ステップＳ３０６のＹＥＳ）にはステップＳ３０７に遷移し、到達した場合（ステップＳ３０６のＮＯ）にはステップＳ３０８に遷移する。

ステップＳ３０７では、メインカメラの撮影画角を示す枠２０４とサブカメラの撮影画角２０３との大きさの比が所定比率に収まったかを判定する。収まった場合（ステップＳ３０７のＹＥＳ）には、ステップＳ３０８に遷移する。一方、収まらなかった場合（ステップＳ３０７のＮＯ）にはステップＳ３０４に遷移し、再度、サブカメラ部の焦点距離を広角側に移動し、サブカメラの撮影画角２０３に対して画角枠２０４のサイズを変更する処理を繰り返す。

一方、サブカメラの撮影画角２０３の大きさに対する画角枠２０４の大きさの比が所定の比率以下であると判定された場合（ステップＳ３０３のＹＥＳ）には、ステップＳ３０９に遷移する。そして、サブカメラの撮影画角２０３に対して合成する、画角枠２０４のサイズを変更する。その後、続くステップＳ３０８へと遷移する。

ステップＳ３０８では、ユーザによる操作部１１３の操作により望遠撮影モードから抜けたかを判定しており、抜けた場合（ステップＳ３０８のＹＥＳ）には処理を終了し、抜けない場合（ステップＳ３０７のＮＯ）には、ステップＳ３０２に遷移する。

次に、図４及び図５のフローチャートを説明する。図４及び図５は、本実施形態に係る撮像装置における、メイン画像とサブ画像との重畳処理の処理フローを示す図である。

ステップＳ４０１において、ユーザによる操作部１１３の操作により望遠撮影モードに移行した場合にはステップ４０２に遷移する（ステップＳ４０１のＹＥＳ）。それ以外は待機状態となる（ステップＳ４０１のＮＯ）。尚、望遠撮影モードは、メインカメラで望遠撮影を、サブカメラで広角撮影を行う撮影モードである。

ステップ４０２では、サブ画像データ１０１の透過率を３０％として、サブ画像データ１０１とメイン画像データ１００とを重畳させる合成を行い、得られた合成画像データに基づく画像をライブビュー表示する。望遠モードに移行した直後はまず、サブカメラによる広角側の撮影画角２０３を確認することがユーザの利便性を向上させるため、サブ画像データ１０１をメイン画像データ１００よりも視認しやすくする。透過率は３０％に限定されないが、５０％未満であることが好ましい。

次のステップＳ４０３では、サブ画像データ１０１の透過率を定期的に切り替え、メインカメラ撮影画角２００とサブカメラ撮影画角２０３とを交互に視認し易いように表示する交互切り替え表示モードが有効であるかを判定する。有効と判定された場合には、ステップＳ４０４に遷移し、無効と判定された場合には、ステップＳ４２１に遷移する。

ステップＳ４０４では、サブ画像データ１０１の透過率を３０％として、サブ画像データ１０１とメイン画像データ１００とを重畳させる合成を続け、ステップＳ４０５へ遷移する。

次のステップＳ４０５ではステップＳ４０４の透過率での表示状態となってから、２秒間が経過したか否かを判定し、２秒間が経過したらステップＳ４０６へ遷移する。このとき、合成するサブ画像データ１０１とメイン画像データ１００は、１フレーム毎に更新される。つまり、フレームレートが６０ｆｐｓの場合、１２０フレーム分、サブ画像データ１０１の透過率３０％でサブ画像データ１０１とメイン画像データ１００とが合成された画像がライブビュー表示される。尚、ステップＳ４０４をスキップし、Ｓ４０２でサブ画像データ１０１の透過率３０％の合成画像データに基づく画像が表示されてから２秒間を計測してもよい。本ステップにより、所定の期間、ステップＳ４０４で設定した透過率が継続される。

ステップＳ４０６では、サブ画像データ１０１の透過率を７０％として、サブ画像データ１０１とメイン画像データ１００とを重畳させる合成を行い、得られた合成画像データに基づく画像をライブビュー表示し、ステップＳ４０７へ遷移する。サブ画像データ１０１の透過率を７０％とすることで、メイン画像データ１００を視認しやすくする。

次のステップＳ４０７では、ステップＳ４０５と同様に、ステップＳ４０６の透過率での表示状態となってから２秒間が経過したか否かを判定２秒間経過すると、ステップＳ４０８へ遷移する。

ステップ４０８では、ユーザによる操作部１１３の操作により交互切り替え表示モードが無効化されたかを判定する。無効化されていないと判定された場合（ステップＳ４０８のＮＯ）には、ステップＳ４０４に遷移し、メインカメラ撮影画角２００とサブカメラ撮影画角２０３を交互に視認し易いように表示することを繰り返す。無効化されたと判定された場合（ステップＳ４０８のＹＥＳ）にはステップＳ４０９へと遷移する。

一方、ステップＳ４０３で交互切り替え表示モードが有効でないと判定されて遷移したステップＳ４２１では、画像処理部１０４の処理によりメインカメラの撮影画角２００に主要被写体２０１が入ったかを判定する。入ったと判定された場合（ステップＳ４２１のＹＥＳ）には、ステップＳ４２２に遷移し、入っていないと判定された場合（ステップＳ４２１のＮＯ）には、ステップＳ４３１に遷移する。

ステップＳ４２２ではサブカメラの撮影画角２０３の透過率を７０％として、サブ画像データ１０１とメイン画像データ１００とを重畳した合成画像データを表示部１１１にライブビュー表示する。本ステップでは、主要被写体２０１がメインカメラの撮影画角２００に入っているので、メインカメラの撮影画角２００を視認し易いように、メイン画像データをサブ画像データよりも優先して表示する。サブ画像データ１０１の透過率は７０％に限定されないが、５０％以上であることが好ましい。

次のステップ４２３では、サブカメラの撮影画角内に新たな被写体が侵入したり、高輝度被写体が存在したりした場合の重畳処理を行う、処理Ａを行う。図５に処理Ａのフローチャートを示す。

ステップＳ５０１では、画像処理部１０４の処理によりサブカメラの撮影画角２０３に新たな被写体が入ったか否かを判定する。また同時に画像処理部１０４の処理によりサブカメラの撮影画角２０３に新たな高輝度被写体が入ったかを判定する。高輝度被写体は、輝度が閾値以上の被写体であり、例えば太陽があげられる。新たな被写体または高輝度被写体がサブカメラの撮影画角２０３に入ったと判定された場合にはステップＳ５０２に遷移し、入ったと判定されない場合にはステップＳ５０４へ遷移して処理Ａを抜ける。

ステップＳ５０２では、サブ画像データ１０１の透過率を３０％として合成画像データを生成し、合成画像データに基づく画像をライブビュー表示する。ステップＳ５０１から本ステップに遷移したということは、新たな被写体または高輝度被写体がサブカメラの撮影画角２０３に入ったと判定された場合である。よって、ユーザに対してサブカメラの撮影画角２０３内に撮影対象となり得る新たな被写体、または、撮影の支障となる高輝度被写体が入ったことをユーザに通知するため、サブ画像データ１０１の透過率を下げて、サブ画像データ１０１を視認しやすくする。

次のステップＳ５０３ではステップＳ４０５と同様に、ステップＳ５０２の透過率で重畳した合成画像データが表示されてから２秒間が経過したか否かを判定し、２秒間が経過するまでユーザによる視認を行う時間を確保した後、ステップＳ５０４へ遷移する。ステップＳ５０４では再度、サブカメラの撮影画角２０３の透過率を７０％として、メインカメラの撮影画角２００を視認し易い合成画像データを静止し、表示部１１１に表示して処理Ａを終了する。ステップＳ４２３で処理Ａを終えると、Ｓ４２４へ遷移する。

ステップＳ４２４では、画像処理部１０４の処理によりメインカメラの撮影画角２００から主要被写体２０１が外れたか否かを判定する。外れたと判定された場合（ステップＳ４２４のＹＥＳ）には、ステップＳ４２５に遷移し、外れたと判定さない場合（ステップＳ４２４のＮＯ）には、ステップＳ４２２に遷移して、ステップＳ４２２へ戻り、処理を繰り返す。

ステップＳ４２５では、広角側のサブ画像データ１０１の透過率を３０％として、サブ画像データ１０１が視認しやすい合成画像データを生成し、ライブビュー表示する。これは、サブ画像データ１０１の視認性を上げることで、ユーザが再度主要被写体２０１をメインカメラの撮影画角２００内に捉えやすくするためである。その後、ステップＳ４０９へ遷移する。

一方、ステップＳ４２１でメインカメラの画角に主要被写体２０１が入っていないと判定された場合、ステップＳ４３１で、操作部１１３の具備するシャッターボタンが半押しされたかを判定する。半押しされたと判定された場合（ステップＳ４３１のＹＥＳ）には、ステップＳ４３２に遷移し、半押しされたと判定されていない場合（ステップＳ４３１のＮＯ）には、ステップＳ４２１に遷移し、処理を繰り返す。

ステップＳ４３２では、サブ画像データ１０１の透過率を７０％として、メイン画像データ１００が視認しやすい合成画像データを生成し、ライブビュー表示する。これは、シャッターボタンが半押しされたことから、実際に記録される画角であるメインカメラの撮影画角２００を視認し易いようにするためである。

次のステップＳ４３３の処理ＡについてはステップＳ４２３の処理Ａと同様のため説明を省略する。ステップＳ４３３の処理Ａを終えた後、ステップＳ４３４へ遷移して、操作部１１３の具備するシャッターボタンの半押しが解除されたかを判定する。半押しが解除されたと判定された場合（ステップＳ４３４のＹＥＳ）には、ステップＳ４３５に遷移し、半押しが解除されたと判定されていない場合（ステップＳ４３５のＮＯ）にはステップＳ４３２に遷移して処理を繰り返す。

ステップＳ４３５では、主要被写体２０１をメインカメラの撮影画角２００内に捉えやすくするために、再度、広角側のサブ画像データ１０１の透過率を３０％として、サブ画像データ１０１が視認しやすい合成画像データを生成し、ライブビュー表示する。その後、ステップＳ４０９へ遷移する。

ステップＳ４０９では、ユーザによる操作部１１３の操作により望遠撮影モードから抜けたかを判定しており、抜けた場合（ステップＳ４０９のＹＥＳ）には処理を終了する。一方、抜けない場合（ステップＳ４０９のＮＯ）には、ステップＳ４０２に遷移して、再度、処理を繰り返す。

なお、ステップＳ４０５、４０７、５０３で２秒間を計測したが、計測時間は２秒に限定されるものではなく、適宜設定をすることができる。また、各ステップで計測する時間は異なっていてもよい。

さらに、図３に示した画角枠２０４の表示制御の処理フローと、図４及び図５に示した重畳処理の処理フローとは、排他的に行ってもよいし、処理を同時に並行して実施してもよい。

〔第２の実施形態〕
実施形態１では、表示部１１１が液晶ディスプレイや電子ビューファインダーである形態について説明をした。本実施形態では、表示部１１１の代わりに光学ビューファインダ１２３を用いてユーザが構図を確認する形態について説明をする。本実施形態では、投影部１２２によりサブ画像データを光学ビューファインダ１２３に投影することにより、第１実施形態の合成画像データの様にサブ画像データをメイン画像データに重畳する。以下、本実施形態と実施形態１との差分を中心に説明する。

図６は、本実施形態に係る撮像装置１のブロック図である。図１の図表番号と同じ番号については、第１の実施形態に係る画像処理装置と同じ処理部となるため、ここでは差分のある処理部を中心として説明する。

本実施形態におけるメインカメラ部１０４２は、ミラー１２０、プリズム１２１、投影機１２２、光学ビューファインダ１２３とを備える点で第１の実施形態のメインカメラ部１０４０と異なる。

ミラー１２０は、メインカメラ用結像光学系１０１０からメインカメラ用撮像素子１０２０への光学経路に配置されており、撮影時以外はミラー１２０がメインカメラ用撮像素子１０２０で結像される光学像をプリズム１２１へと反射させている。撮影時はミラー１２０が光学経路から外れ、メインカメラ用撮像素子１０２０で光学像が結像され、画像データ１００として出力される。メインカメラの撮影画角は、第１実施形態と同様に図２（ａ）のようになる。

本実施形態の表示制御部１１０は、広角となるサブカメラ用結像光学系１０１１で撮影された光学像に基づくサブ画像データ１０１に対して、メインカメラの撮影画角２００を示す画角枠２０４を合成した画像データを投影部１２２に表示するための制御を行う。

投影部１２２は電子ビューファインダーなどに用いられる小型の液晶ディスプレイなどで構成されており、サブカメラで撮影したサブ画像データ１０１をプリズム１２１へと投影する。サブカメラの撮影画角は、第１実施形態と同様に図２（ｂ）のようになる。

プリズム１２１には、メインカメラ用結像光学系１０１０により結像された光学像と、投影部１２２により投影されたサブ画像データ１０１とが入力される。プリズム１２１は、入力された両者を、プリズム内部で光学的に重畳する。サブ画像データ１０１が重畳された光学像は、光学ビューファインダー１２３へと入力される。

光学ビューファインダーで視認されるメインカメラとサブカメラの画角が重畳された像は、第１の実施形態に係る画像処理装置の説明で示した図２（ｃ）のようになる。

第１の実施形態では、メイン画像データ１００に対してサブ画像データ１０１の透過率を変更することで各々の画像の視認性を変更したが、本実施形態では投影部１２２の発光量を変更することで視認性を制御する。光学ビューファインダー１２３で視認される重畳後の撮影画角の見え方は、投影部１２２の発光量を低くすると、メインカメラの撮影画角２００が視認し易くなり、サブカメラの撮影画角２０３が視認し難くなる。反対に、投影部１２２の発光量を高くすると、メインカメラの撮影画角２００が視認し難くなり、サブカメラの撮影画角２０３が視認し易くなる。投影部１２２の発光量は、０～１００％で設定することができ、操作部材１１３のボタン操作などをトリガとしてＣＰＵ１１２から制御される。投影部１２２の発光量を０％とした場合には、メインカメラの撮影画角２００のみが表示され、発光量を１００％とした場合には、サブカメラの撮影画角２０３が最も視認し易くなる。

本実施形態に係る撮像装置１の画角枠２０４の表示制御の処理フローは、図３に示される第１の実施形態に係る撮像装置１処理フローにおいて、表示部１１１が光学ビューファインダー１２３に置き変わっただけであるため省略する。

図７及び図８は、本実施形態に係る撮像装置１の重畳処理の処理フローを示す図である。なお、図７及び図８の処理フローにおいて、第１の実施形態に係る撮像装置１の図４及び図５の処理フローと処理内容が重複するステップについては説明を省略し、差分のあるステップのみ説明を行う。図７のステップＳ７０１～Ｓ７３５は図４のステップＳ４０１～Ｓ４３５に対応し、図８のステップＳ８０１～Ｓ８０４は図５のステップＳ５０１～５０４に対応する。

図７の処理フローにおいて、ステップＳ７０２では、投影部の発光量を７０％としてプリズム１２１にサブカメラの画像データ１０１を投影し、光学ビューファインダー１２３上で、サブ画像データ１０１を視認しやすくする。これは、図４のステップＳ４０２に対応する。同様に、ステップＳ７０４、Ｓ７２５、Ｓ７３５では、投影部１２２の発光量を７０％としてプリズム１２１にサブ画像データ１０１を投影し、光学ビューファインダー上でサブ画像データ１０１を視認しやすくする。

一方、ステップＳ７０６、Ｓ７２２、Ｓ７３２では、投影部１２２の発光量を３０％としてプリズム１２１にサブ画像データ１０１を投影し、光学ビューファインダー上でメインカメラ用結像光学系１０１０により結像された光学像を視認しやすくする。これは、図４のステップＳ４０６等で、透過率７０％でサブ画像データ１０１をメイン画像データ１００に重畳した合成画像を表示することに対応する。

図８の処理フローにおいて、ステップＳ８０２では、投影部１２２の発光量を７０％としてプリズム１２１にサブ画像データ１０１を投影し、光学ビューファインダー上で、サブ画像データ１０１を視認しやすくする。一方、ステップＳ８０４では、投影部１２２の発光量を３０％としてプリズムにサブ画像データ１０１を投影し、光学ビューファインダー上でメインカメラ用結像光学系１０１０により結像された光学像を視認しやすくする。

なお、第１実施形態と同様に、ステップＳ７０５、７０７、８０３での表示状態となってから次のステップに遷移するまでの待機時間は適宜設定することができ、また、また、各ステップで設定する投影部１２２の発光量も３０％、７０％に限定されない。

また、サブカメラ用結像光学系１０１１の光学像をプリズム１２１に入力し、メイン画像データ１００を投影部１２２に投影しても、同様の効果が得られる。

また、本実施形態の撮像装置１は、第１実施形態の表示部１１１を備えていてもよい。ｙ例えば、表示部１１１を用いたライブビュー表示を行う撮影モードの際は第１実施形態で説明した処理を、光学ビューファインダ１２３を用いた撮影モードの際は本実施形態で説明した処理を行う構成としてもよい。

〔第３の実施形態〕
第１、第２の実施形態では、メインカメラ部よりも広角側で撮影可能なサブカメラ部を備える撮像装置について説明をした。本実施形態では、サブカメラ部を備えず、メインカメラ部が電子ズームにより望遠撮影を行う形態について説明をする。

図９は、本実施形態に係る撮像装置１のブロック図である。図１の図表番号と同じ番号については、第１の実施形態と同じ処理部となるため、ここでは差分のある処理部を中心として説明する。

本実施形態の撮像装置１は、サブカメラ部は備えず、画像領域選択部１３０において、画像の領域の一部を拡大処理して、電子望遠画像データ１４０として出力し、画像領域全体を広角画像データ１４１として出力する。電子望遠画像データ１４０がメイン画像データ１００に対応し、光学画像データ１４１がサブ画像データ１０１に対応する。レンズ制御を除く画像処理部１０４以降の後段の処理部については、第１の実施形態において、メイン画像データ１００とサブ画像データ１０１が入力された際と同等の処理を実施するため、説明は省略する。

ここで図１０は、本実施形態に係る撮像装置１の表示部１１１に表示される画面の模式図である。図１０（ａ）は、メインカメラ用結像光学系１０１０により結像された光学像をメインカメラ用Ａ／Ｄ変換部１０３０で光電変換した広角画像データ１４１に、電子望遠画像データの画角を示す画角枠６０４を合成した画像である。メインカメラの撮影画角６０３（画角６０３を広角撮影画角とする）に収まるように主要被写体６０２を撮影している。

一方、図１０（ｂ）は、画像領域選択部１３０の処理により、図１０（ａ）の主要被写体６０２を拡大表示した、拡大主要被写体６０１を囲む画像領域６００を切り抜いた画角を示す図である。切り抜かれた画角６００（画角６００を電子望遠撮影画角とする）は、拡大処理後、後段の画像処理部１０４に電子望遠画像データ１４０として入力される。

図１０（ｃ）は、電子望遠画像データ１４０が表示される表示部１１１に対して、電子望遠画像データ１４０が透過されるように広角画像データ１４１を重畳した画面の模式図である。広角画像データ１４１の透過率を５０％に設定しており、電子望遠画像データ１４０、広角画像データ１４１ともに同程度の視認性で視認出来る状態である。

図１１は、本実施形態に係る撮像装置１の画角枠６０４の表示制御の処理フローを示す図であり、第１の実施形態における図３に対応する処理フローである。

以下、図１１のフローチャートを説明する。ステップＳ１１０１において、ユーザによる操作部１１３の操作により電子望遠撮影モードに移行したか否かを判定する。移行があったと判定された場合にはステップＳ１１０２に遷移する（ステップＳ１１０１のＹＥＳ）。それ以外は待機状態となり（ステップＳ１１０１のＮＯ）、ステップＳ１１０１を繰り返す。ただし、図１１のフローチャートには不図示であるが、待機状態においてユーザにより他の操作が成された場合は、図１１のフローチャート以外の別処理に移行する。

ステップＳ１１０２において、ユーザの操作により、表示部１１１に表示されている電子望遠撮影画角６００のサイズが変更されたか否かを判定する。電子望遠撮影画角のサイズの変更があったと判定された場合には、ステップＳ１１０３に遷移する（ステップＳ１１０２のＹＥＳ）。それ以外は待機状態となる（ステップＳ１１０２のＮＯ）。尚、電子望遠撮影画角６００のサイズの変更は、電子ズーム倍率の変更指示により行うことができる。

ステップＳ１１０３では、電子望遠撮影画角６００に対応する範囲が広角撮影画角６０３に対して所定の規定比率を越えたか否かを判定する。言い換えると、電子望遠撮影画角６００と広角撮影画角６０３との差が所定値よりも小さくなったか否かを判定する。

電子望遠撮影画角６００のサイズを拡大していく（つまり、電子ズームの倍率を上げていく）と、広角撮影画角６０３に占める、電子望遠撮影画角６００に対応する領域は大きくなっていく。これに伴い、広角撮影画角６０３に対する電子望遠撮影画角６００の大きさの比率も大きくなっていき、電子望遠撮影画角６００の大きさの比が上記所定の比率より大きくなると、ステップＳ１１０３で所定比率を超えたと判定され、ステップＳ１１０４に遷移する。本実施形態では、所定の比率を、電子望遠撮影画角６００の大きさ：広角撮影画角６０３の大きさ＝１：２とするが、第１の実施形態と同様に、所定の比率はこれに限定されるものではなく、撮影条件や撮影モードに応じて変更可能でもよい。

ステップＳ１１０４では、メインカメラ部の焦点距離を広角側に移動させ、広角撮影画角６０３の撮影範囲を拡大する。その後、続くステップＳ１１０５へと遷移する。

一方、電子望遠撮影画角６００の比が上記所定の規定比率より小さい場合（ステップＳ１１０３のＹＥＳ）には、ステップＳ１１０９に遷移する。ステップＳ１１０９では、広角撮影画角６０３で取得された広角画像データ１４１に合成する、電子望遠撮影画角６００を示す画角枠６０４のサイズを変更する。その後、続くステップＳ１１０８へと遷移する。

ステップＳ１１０５では、ステップＳ１１０９と同様に、広角撮影画角６０３に対して合成する、電子望遠撮影画角６００に対応する領域を示す画角枠６０４のサイズを変更し、ステップＳ１１０６に遷移する。

ステップＳ１１０６では、メインカメラの焦点距離が最小値（広角側）まで到達していないかを判定する。到達していない場合（ステップＳ１１０６のＹＥＳ）にはステップＳ１１０７に遷移し、到達した場合（ステップＳ１１０６のＮＯ）にはステップＳ１１０８に遷移する。

ステップＳ１１０７では、電子望遠撮影画角６００と広角撮影画角６０３との大きさの比が所定の比率を収まったかを判定する。収まった場合（ステップＳ１１０７のＹＥＳ）には、ステップＳ１１０８に遷移する。一方、収まらなかった場合（ステップＳ１１０７のＮＯ）にはステップＳ１１０４に遷移し、再度、メインカメラの焦点距離を広角側に移動し、広角撮影画角６０３に対して電子望遠撮影画角６００を示す画角枠６０４のサイズを変更する処理を繰り返す。

ステップＳ１１０８では、ユーザによる操作部１１３の操作により電子望遠撮影モードから抜けたかを判定しており、抜けた場合（ステップＳ１１０８のＹＥＳ）には処理を終了する。抜けない場合（ステップＳ１１０７のＮＯ）には、ステップＳ１１０２に遷移する。

なお、本実施形態の重畳処理の処理フローは、図４及び図５に示される第１の実施形態の処理フローにおけるメイン画像データ１００を電子望遠画像データ１４０に、サブ画像データ１０１を広角画像データ１４１に置き換えた処理となるため、説明を省略する。

尚、本実施形態では、広角画像データは、画像領域全体に対応するものとしたが、光学画像データに対応する領域は、電子望遠画像データを含み、且つ、それよりも広い領域であれば、画像領域全体でなくてもよい。

また、本実施形態は、サブカメラ部を備えないものとして説明をしたが、サブカメラ部を備えていてもよく、第１、第２の実施形態と適宜組み合わせることができる。例えば、光学望遠撮影モードの際は第１、第２の実施形態で説明をした処理を行い、電子望遠撮影モードの際は本実施形態で説明をした処理を行う撮像装置としてもよい。

〔第４の実施形態〕
本実施形態では、被写体までの距離を測距し、測距結果に基づいてサブ画像データ１０１の透過率を決定する撮像装置１について説明をする。測距方法としては、２つの光学系（第１のサブカメラ用結像光学系１２１１、第２のサブカメラ用結像光学系１２１２）を用いる。

図１２は、本実施形態に係る撮像装置１のブロック図である。図１の図表番号と同じ番号については、第１の実施形態と同じ処理部となるため、ここでは差分のある処理部を中心として説明する。

本実施形態に係る撮像装置１では、サブカメラはステレオカメラの構成で２台搭載となり、メインカメラに撮影画角に対して右側の画角を撮影する第１のサブカメラ用結像光学系１２１１と左側の画角を撮影する第２のサブカメラ用結像光学系１２１２とを有する。第１のサブカメラ用結像光学系１２１１と第２のサブカメラ用結像光学系１２１２は、フォーカス調節および露出調節を行い、各々、サブカメラ用撮像素子１０２１の左半面と右半面に光学像を形成する。サブカメラ用Ａ／Ｄ変換部１０３１は、サブカメラ用撮像素子部１０２１からのアナログ画像信号をデジタル画像信号に変換する。変換後のサブ画像データ１３５０は後段の画像処理部１０４に入力される。

図１３は、本実施形態に係る画像処理部１０４のブロック図である。被写体検出部１３０１は、画像データのエッジ抽出を行い、エッジが交差している箇所などの特徴量からメインカメラ及びサブカメラの撮影画角内の被写体の検出を行う。ただし、被写体検出部１３０１はメインカメラの撮影画角内に収まっている領域を優先して被写体として検出を行う。

測距部１３０２は、第１のサブカメラ用結像光学系１２１１と第２のサブカメラ用結像光学系１２１２で取得した光学像から、水平方向のテンプレートマッチングを行い、各画素の視差情報を検出する。後段の被写体距離判定部１３０３は、被写体検出部１３０１からの被写体位置情報と、測距部１３０２からの距離情報に基づいて、被写体までの距離情報を取得する距離取得手段としても機能する。そして、メイン画像データ１００に対してサブ画像データ１３５０を重畳する際の透過率を決定する。具体的な決定方法については後述する。

透過率設定部１３０４では前段の被写体距離判定部１３０３からの判定結果情報に基づいて、サブカメラの広角撮影画像を重畳する際の透過率を設定する。後段の画像合成部１３０５では、メイン画像データ１００とサブ画像データ１３５０を、前段の透過率設定部１３０４により設定された透過率に従って重畳し、式（１）に従って画像データの合成を行う。合成により得られた合成画像データはデータ転送部１０５に転送され、バス１１５を介して表示制御部１１０に入力される。表示制御部１１０の処理により、メイン画像データ１００とサブ画像データ１３５０が重畳された合成画像データに基づく画像が表示部１１１に表示される。ただし、２眼あるサブカメラの画像データの内、メイン画像１００に重畳されるのは、第１のサブカメラ用結像光学系１２１１で結像された像のみ（つまり、サブカメラ用撮像素子１０２１の内、左半分で取得された画像データのみ）である。

ここで、図１４（ａ）～（ｄ）は、本実施形態の表示部１１１に表示される画面の模式図である。図１４（ａ）は、サブカメラ部の撮影画角１４１２を示しており、被写体１４０１の車両を撮影している。メインカメラ部の撮影画角に対応する領域は１４１３で図示される。図１４（ｂ）はメインカメラ部の撮影画角１４１１を示しており、同様に被写体１４０２の車両を撮影している。尚、被写体１４０１と１４０２は同一であるが、被写体１４０１はサブカメラ部により撮影された被写体、被写体１４０２はメインカメラ部により撮影された被写体である。

図１４（ｃ）はサブ画像データ１３５０のうち、第１のサブカメラ用結像光学系で結像した光学像に対応する画像データ（以下、広角画像データ）を透過率３０％でメイン画像データに重畳した表示例を示す図である。

図１４（ｄ）は広角画像データを透過率７０％でメイン画像データに重畳した表示例を示す図である。

図１５は、本実施形態の撮像装置１と被写体との距離関係を示す図である。図１６は、本実施形態の撮像装置１の重畳処理の処理フローを示す図である。

以下、図１５と図１６を使用して処理フローの説明を行う。図１６のステップＳ１６０１では、望遠撮影モードに移行する。このとき、図１５に示される主要被写体１５００は、位置１５０１にあるものとする。主要被写体１５００が位置１５０１にあるときにステップＳ１６０２の処理が実行され、広角画像データの透過率を３０％にしてメイン画像データに重畳した合成画像データに対応する画像（図１４（ｃ））が表示部１１１に表示される。このとき、広角画像が望遠画像より視認しやすくなる。

次にステップＳ１６０３では、被写体距離判定部１３０３で以下の演算を実施する。
焦点距離（ｍｍ）／センササイズ（ｍｍ）＊α≧主要被写体までの距離（ｍ）／主要被写体の大きさ（ｍ） 式（２）

ここで、焦点距離（ｍｍ）は、メインカメラ用結像光学系１０１０の焦点距離情報を表し、センササイズ（ｍｍ）は、メインカメラ用撮像素子１０２０の有効画素領域の第１の方向（ここでは垂直方向）におけるサイズを表している。したがって、ユーザの操作やオートフォーカスにより、メインカメラ用結像光学系１０１０の焦点距離が変化する都度、式（２）の演算を実施する。主要被写体までの距離（ｍ）は、本実施形態の撮像装置１５０５と被写体検出部１３０１により検出された主要被写体１５００までの距離を表す。主要被写体までの距離は、測距部１３０２で算出した距離情報と被写体検出部１３０１からの主要被写体位置情報とに基づいて取得する。被写体の大きさ（ｍ）は、被写体検出部１３０１で検出した主要被写体の第１の方向（垂直方向）の大きさと主要被写体までの距離情報から算出を行う。αは０＜α≦１の範囲を取り得るパラメータ値を表しており、撮影条件や、画像処理装置であるデジタルカメラ１５０５の具備するカメラの焦点距離に応じて設定される。αの値が大きい程、主要被写体までの距離が遠い状態でも（式２）の不等号が成立する。主要被写体１５００撮像装置１５０５に近づいてきて位置１５０２に移動するまでの区間１５１１では、主要被写体までの距離が大きく（式２）は成立せず（ステップＳ１６０３のＮＯ）、ステップＳ１６０２に遷移する。主要被写体１５００が位置１５０２まで近づくと、（式２）が成立し（ステップＳ１６０３のＹＥＳ）、ステップＳ１６０４へ遷移する。位置１５０３も、（式２）が成立する主要被写体１５００までの距離となる。

ステップＳ１６０４では、図１４（ｄ）のように広角画像データの透過率を７０％にして、メイン画像データと重畳した合成画像データに基づく画像を表示する。このとき、望遠画像が広角画像より視認しやすくなる。

ステップＳ１６０５ではステップＳ１６０３と同様の判定を行い、（式２）を満たしている場合は（ステップＳ１６０５のＹＥＳ）ステップＳ１６０６へ遷移する。（式２）を満たさない場合は（ステップＳ１６０５のＮＯ）、ステップＳ１６０２へと遷移し、処理を繰り返す。

ステップＳ１６０６では、ユーザによる操作部１１３の操作により望遠撮影モードから抜けたかを判定しており、抜けた場合（ステップＳ１６０６のＹＥＳ）には処理を終了する。一方、抜けない場合（ステップＳ１６０６のＮＯ）には、再度ステップＳ１６０４の処理に戻る。

ステップＳ１６０４→ステップＳ１６０５→ステップＳ１６０６→ステップＳ１６０４の遷移が繰り返される場合は、位置１５０２又は位置１５０２よりも撮像装置１５０５の近く、つまり、図１５の区間１５１２に主要被写体１５００が存在する。一方、ステップＳ１６０２→ステップＳ１６０３→ステップＳ１６０２の遷移が繰り返される場合は、位置１５０２よりも撮像装置１５０５の遠く、つまり、図１５の区間１５１１に主要被写体１５００が存在する。したがって、主要被写体１５００が位置１５０２よりも撮像装置１５０５から遠いときには、サブカメラの広角撮影画像の視認性が上がる。一方、主要被写体１５００が位置１５０２に位置するか、それよりも近くに位置すれば、メインカメラで取得されたライブビュー画像である、望遠画像の視認性が上がることになる。本制御により、被写体までの距離が遠いときにはサブカメラの画角内に被写体を捉えることが容易となり、被写体までの距離が近づいたときには、実際の撮影が行われるメインカメラ部の画角にシームレスに移行することが可能となる。

なお、広角画像データの透過率を３０％、７０％としたが、本実施形態における透過率もこれに限定されるものではない。また、主要被写体１５００と撮像装置１５０５との距離に応じて段階的に透過率を変更するような制御にしてもよい。また、広角画像データの透過率を変更する際の演算式は式（２）に限定されるものではなく、メインカメラ部の撮影画角内に被写体が収まったことを判定できる式であれば、他の演算式でも本実施形態と同様の効果が実現可能である。

〔第５の実施形態〕
本実施形態では、新規被写体または高輝度被写体を検出した際に、検出した被写体との距離に応じてサブ画像データの透過率を変更する形態について説明をする。本実施形態の撮像装置１の構成は、第４の実施形態と同様であるため説明を省略する。

図１７は、本実施形態のサブカメラの画角１７０３内に新規被写体１７０２又は高輝度被写体１７０４が入った状態を示す図である。図１７において、メインカメラの撮像範囲を示す画角枠１７００内に、主要被写体１７０１が収まっている。

図１８は、本実施形態に係る重畳処理の処理フローを示す図であり、図１９は、本実施形態に係る重畳処理のサブフロー（処理Ｃ）の詳細を示す図である。以下、図１７～１９を参照して、本実施形態における重畳処理フローについて説明をする。

図１８の処理フローにおいて、第１の実施形態の図４の処理フローと処理内容が重複するステップについては説明を省略し、差分のあるステップのみ説明を行う。図１８のステップＳ１８０１～Ｓ１８３５は図４のステップＳ４０１～Ｓ４３５に対応する。

図１８のステップＳ１８０２、Ｓ１８０４、Ｓ１８０６、Ｓ１８２２、Ｓ１８２５、Ｓ１８３２、Ｓ１８３５で表示されるサブ画像データ１０１は、２つのサブカメラ用結像光学系の内、第１のサブカメラ用結像光学系１２１１で結像された像である。また、ステップＳ１８２３及びステップＳ１８３３において、処理Ａではなく処理Ｃを行う点で第１の実施形態と異なる。

以下、図１８のステップＳ１８２３及びＳ１８３３で行う処理Ｃについて、図１９のフローチャートを用いて説明を行う。

ステップＳ１９０１では、画像処理部１０４の被写体検出部１３０１の処理により、メインカメラの撮影画角１７００に収まっている主要被写体１７０１以外に、サブカメラの撮影画角１７０３で新規被写体１７０２が検出されたか否かを判定する。新規被写体１７０２が検出された場合、つまり、新規被写体１７０２が撮影画角１７０３内に入った場合（Ｓ１９０１のＹＥＳ）にはステップＳ１９０２に遷移し、入ったと判定されない（Ｓ１９０１）場合にはステップＳ１９０３に遷移する。

次のステップＳ１９０２では、被写体距離判定部１３０３は、測距部１３０２からの測距信号と被写体検出部１３０１からの検出信号に基づいて、主要被写体１７０１までの距離及び新規被写体１７０２までの距離を、取得する。さらに、被写体距離判定部１３０３では、主要被写体１７０１までの距離と新規被写体１７０２までの距離とのを比較し、距離の差が１００ｍ以内であるかを判定する。１００ｍ以内であれば、主要被写体１７０１と新規被写体１７０２の距離が近く、新規被写体１７０２も主要被写体となり得る。一方、距離差が１００ｍより大きい場合は、新規被写体１７０２が主要被写体となる可能性は、距離差が１００ｍ以内のときよりも低い。距離の差が１００ｍ以内であると判定された場合（Ｓ１９０２のＹＥＳ）にはステップＳ１９０５に遷移し、判定されない場合（Ｓ１９０２のＮＯ）にはステップＳ１９０３に遷移する。

ステップＳ１９０３では、画像処理部１０４の処理により図１７（ｂ）に示されるサブカメラの撮影画角１７０３で高輝度被写体１７０４が検出された否かを判定する。検出されたと判定された場合（Ｓ１９０３のＹＥＳ）にはステップＳ１９０４に遷移し、判定されない場合（Ｓ１９０３のＮＯ）には処理Ｃを終了する。

次のステップＳ１９０４では、被写体距離判定部１３０３により、測距部１３０２と被写体検出部１３０１との検出結果に基づいて、高輝度被写体１７０４の距離情報を取得し、さらに、高輝度被写体１７０４の距離情報が無限遠であるかを判定する。無限遠であれば、高輝度被写体１７０４は太陽と判断する。高輝度被写体１７０４の距離情報が無限遠であると判定された場合（Ｓ１９０４のＹＥＳ）にはステップＳ１９０５に遷移し、判定されない場合（Ｓ１９０４のＮＯ）には処理Ｃを終了する。

ステップＳ１９０５では、サブ画像データ１０１の透過率を３０％として、サブ画像データ１０１を視認しやすい合成画像データを生成し、表示部１１１に表示する。これにより、ユーザに対してサブカメラの撮影画角１７０３内に撮影対象となり得る新規被写体１７０１が入ったこと、または、撮影の支障となる高輝度被写体１７０４が入ったことをユーザに通知することができる。

続くステップＳ１９０６では、Ｓ１９０５の表示から２秒経過したか否かを判定し、２秒経過するとステップＳ１９０７へ遷移する。ここで、サブ画像データを視認しやすい合成画像データを２秒間表示することで、ユーザによる新規被写体１７０１又は高輝度被写体１７０４の視認を行う時間を確保することができる。

ステップＳ１９０７では再度、サブ画像データ１０１の透過率を７０％として、メイン画像データ１００に重畳し、メインカメラの撮影画角１７００を視認し易い合成画像を表示部１１１に表示する。以上で処理Ｃを完了する。

なお、ステップＳ１９０２では主要被写体１７０１までの距離と新規被写体１７０２までの距離との差が１００ｍ以内であるかを判定したが、閾値となる距離の差は適宜設定することができ、また撮影条件により変更してもよい。

〔第６の実施形態〕
本実施形態では、流し撮り撮影時のフレーミングを支援する形態について説明をする。流し撮り撮影の際には、被写体の動きに合わせて、メインカメラ部の撮影画角内に収まるように撮像装置１を動かす必要が有る。本実施形態では、主要被写体がメインカメラ部の撮影画角内に収まる前から、サブカメラ部で取得した画像データを重畳して表示することで、メインカメラ部の撮影画角と主要被写体との距離をユーザに示す。

本実施形態の撮像装置１の構成は、第４の実施形態と同様であるため説明を省略する。

図２２は、本実施形態に係る画像処理部１０４のブロック図である。被写体検出部２２０２は、第１のサブカメラ用結像光学系１２１１と第２のサブカメラ用結像光学系１２１２による撮影画像から動体検出などの処理を実施することで、主要被写体の検出を行う。

画像領域選択部２２０３は、被写体検出部２２０２で主要被写体が検出された領域２０１２を第１のサブカメラ用結像光学系１２１１と第２のサブカメラ用結像光学系１２１２による撮影画像から選択する。選択された画像領域（選択領域２０１２と呼ぶ）は、後段の画像合成部２２０５においてメインカメラ部で取得したメイン画像データに重畳される。

サブ画像データ１３５０がメイン画像データ１００に重畳されて生成された合成画像データはデータ転送部１０５に転送され、バス１１５を介して表示制御部１１０に入力される。

表示制御部１１０の処理により、表示部１１１にメインカメラで取得されたライブビューア像である望遠画像と、サブカメラの広角撮影画像から主要被写体が存在する領域として選択された被写体領域が重畳された画像データが表示される。

図２０は、本実施形態の表示部１１１に表示される画面の模式図である。図２０（ａ）は、メインカメラ部の画角２００２を示している。図２０（ｂ）は、第１のサブカメラ用結像光学系１２１１による画角２００３を示している。第１のサブカメラ用結像光学系１２１１の画角２００３は、メインカメラ部の画角２００２に対して中心が右側に偏っており、且つ、メインカメラ部の画角２００２よりも広角である。なお、メインカメラ部の画角に対応する画角枠２１００は中央付近に表示されている。なお、図２０において、被写体２０１０は矢印２０１１の方向に移動しているものとする。画像領域選択部２２０３では、被写体検出部２００２による被写体検出結果に基づいて、被写体２０１０を含む選択領域２０１２が選択されている。第１のサブカメラ用結像光学系の画角２００３における、被写体２０１０とメインカメラ部の画角枠２１００との距離は矢印２０１３で示される。

図２０（ｃ）は、第２のサブカメラ用結像光学系１２１２による画角２００４を示している。第２のサブカメラ用結像光学系１２１２の画角２００４は、メインカメラ部の画角２００２に対して中心が左側に偏っており、且つ、メインカメラ部の画角２００２よりも広角である。メインカメラの部の画角に対応する画角枠２１００は中央付近に表示されている。

図２０（ｄ）は、メイン画像データ１００に、サブ画像データ１３５０から抽出した主要被写体２０１０を含むが検出された領域２０１２を重畳して合成した画像である。本実施形態では、この画像を表示することで、流し撮り撮影時のフレーミングを支援する。

図２１は、本実施形態の重畳処理の処理フローを示す図である。以下、図２０と図２１を用いて本実施形態における、流し撮りモード時のサブ画像データとメイン画像データの重畳処理について説明する。

ステップＳ２１０２で流し撮り撮影を行うための流し撮りモードに移行する。次のステップＳ２１０２では、主要被写体２０１０が第１のサブカメラ用結像光学系（以下、右側サブカメラ）の画角にフレームインしたかを判定する。フレームインしたと判定された場合には（ステップＳ２１０２のＹＥＳ）ステップＳ２１０４に遷移し、判定されない場合には（ステップＳ２１０２のＮＯ）、ステップＳ２１０３へ遷移する。図２０（ｂ）で示される例では、右側サブカメラに主要被写体２０１０がフレームインしたと判定され、ステップＳ２１０４に遷移する。

ステップＳ２１０４では、右側サブカメラにより取得された画像データのなかから主要被写体領域２０１２に対応する領域をメイン画像データに重畳する。このとき、メインカメラ部の画角を示す画角枠２１００も同様にメイン画像データに重畳する。これにより、図２０（ｄ）のようにメインカメラ部の画角２００２に対して、図２０（ｂ）に示される右側サブカメラによる画角内の被写体２０１０を含む選択領域２０１２と、画角枠２１００を重畳した画像が表示される。これによりユーザは、主要被写体２０１０が望遠撮影画角２１００にフレームインするまでの距離（矢印２０１３で示す距離）を把握することが可能となり、適切なタイミングで流し撮り撮影を開始しやすくなる。

一方、ステップＳ２１０３では、主要被写体２０１０が第２のサブカメラ用結像光学系（以下、左側サブカメラ）の画角にフレームインしたかを判定する。フレームインしたと判定された場合には（ステップＳ２１０３のＹＥＳ）ステップＳ２１０４に遷移し、判定されない場合には（ステップＳ２１０３のＮＯ）、ステップＳ２１０２へ遷移する。

続くステップＳ２１０５では、左側サブカメラにより取得された画像データのなかから、主要被写体領域２０１２に対応する領域をメイン画像データ１００に重畳する。このとき、メインカメラ部の画角を示す画角枠２１００も同様にメイン画像データに重畳する。

ステップＳ２１０４、Ｓ２０１５の処理が終了した後はステップＳ２１０６へ遷移し、流し撮り撮影モードから他のモードへ遷移するまでは、再度ステップＳ２１０２に戻り処理を繰り返す。流し撮り撮影モードから他のモードへ遷移した場合には、処理を終了する。

なお、本実施形態では２つのサブカメラを具備する構成としたが、１つのサブカメラでも名カメラ部よりも広角側のライブビュー画像を取得することができれば、同様の効果を実現することが可能である。尚、サブカメラ（サブカメラ用結像光学）を複数備える場合は、主要被写体を最も早くとらえた結像光学系により結像されたた光学像に基づく画像データを、メイン画像データと合成する画像データとして選択することが好ましい。

さらに第３の実施形態のように、メインカメラ１つの構成でも、望遠撮影相当の画角及び広角撮影相当の画角領域を設定することで同様の効果を実現することが可能である。

また、サブカメラで取得された画像データ全体をメイン画像データ１００に重畳させてもよい。この場合、サブカメラとメインカメラとの間に視差がある場合は、位置合わせをして重畳させる。但し、上述の様に、サブカメラで取得された画像データ全体ではなく、主要被写体領域２０１２を抽出してメイン画像データ１００に重畳すると、メイン画像データ１００の視認性を低下させにくいため好ましい。以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１０４０ メインカメラ部
１０１０ メインカメラ用結像光学系
１０２０ メインカメラ用撮像素子
１０３０ メインカメラ用Ａ／Ｄ変換部
１０４１ サブカメラ部
１０１１ サブカメラ用結像光学系
１０２１ サブカメラ用撮像素子
１０３１ サブカメラ用Ａ／Ｄ変換部
１１６ 制御装置
１０４ 画像処理部
１１０ 表示制御部
１１１ 表示部
１１２ ＣＰＵ

Claims (19)

1. 第１の画角の第１の画像信号と、前記第１の画角よりも広角の第２の画角の第２の画像信号と、を取得する取得手段と、
   前記第１の画像信号と前記第２の画像信号の少なくともいずれかから被写体を検出する被写体検出手段と、
   前記被写体検出手段の検出結果に基づいて前記第２の画像信号に基づく第２の画像の透過率を設定する透過率設定手段と、
   前記透過率設定手段により設定された透過率に基づいて、前記第１の画像信号と前記第２の画像信号とを合成して合成画像信号を生成する画像処理手段と、
   前記合成画像信号に基づく画像を表示手段に表示させるように前記表示手段を制御する表示制御手段と、
   を備えることを特徴とする画像処理装置。
2. 前記取得手段は、
   前記第１の画像信号として第１の結像光学系からの光に基づいて取得された画像信号を取得し、
   前記第２の画像信号として第２の結像光学系からの光に基づいて取得された画像信号を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記取得手段は、
   結像光学系からの光に基づく画像信号を取得し、
   前記画像信号に対応する撮影画像から、一部の領域である第１の画像の領域と、前記第１の画像の領域を含み、且つ、前記第１の画像の領域よりも広範囲の第２の画像の領域と、を選択し、
   前記第１の画像信号として前記第１の画像の領域の画像信号を取得し、
   前記第２の画像信号として前記第２の画像の領域の画像信号を取得することを特徴とする請求項１に記載の画像処理装置。
4. 前記画像処理手段は、前記第２の画像のうち、前記第１の画像信号に基づく第１の画像に対応する範囲を示す枠を表示することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記被写体検出手段は主要被写体を検出し、
   前記透過率設定手段は、前記第１の画像信号に基づく第１の画像の範囲に前記主要被写体が収まっていないと判定した場合よりも、前記第１の画像の範囲に前記主要被写体が収まっていると判定した場合の方が、大きい透過率を前記第２の画像の透過率として設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 撮影準備指示を入力するための操作部材を備え、
   前記透過率設定手段は、
   前記操作部材の操作により、前記撮影準備指示が入力された場合よりも、
   前記操作部材の操作の解除により、前記撮影準備指示が解除された場合の方が、小さい透過率を前記第２の画像の透過率とすることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記透過率設定手段は、
   前記透過率として、第１の透過率と前記第１の透過率と異なる第２の透過率とを交互に設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記透過率設定手段は、
   前記被写体検出手段により、前記第２の画像の範囲内で新たな被写体が検出された場合は、
   所定の期間、前記新たな被写体が検出されなかった場合よりも低い透過率を設定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記透過率設定手段は、
   前記被写体検出手段により、前記第２の画像の範囲内で高輝度被写体が検出されている場合は、
   前記高輝度被写体が検出されていない場合よりも低い透過率を設定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 被写体までの距離を取得する距離取得手段を備え、
    前記透過率設定手段は、
    前記距離取得手段により取得した主要被写体までの距離が、所定の距離よりも大きい場合よりも、前記所定の距離より小さい場合の方が、大きい透過率を前記透過率として設定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 被写体までの距離を取得する距離取得手段を備え、
    前記透過率設定手段は、
    前記被写体検出手段により、前記第２の画像の範囲で新たな被写体が検出されると、
    前記距離取得手段により取得した主要被写体までの距離と、前記距離取得手段により取得した前記新たな被写体までの距離とを比較し、
    当該比較の結果に基づいて前記透過率を設定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 被写体までの距離を取得する距離取得手段を備え、
    前記透過率設定手段は、
    前記被写体検出手段により、前記第２の画像の範囲で高輝度被写体が検出され、且つ、
    前記距離取得手段により取得した前記高輝度被写体までの距離が無限遠を示す場合は、所定の期間、前記被写体検出手段により前記第２の画像の範囲内で高輝度被写体が検出されなかった場合よりも低い透過率を前記透過率として設定することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記画像処理手段は、
    前記第２の画像信号から、前記被写体検出手段で検出された被写体領域を抽出し、第１の画像に合成することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
14. 複数の第２の画像信号を取得し、
    前記複数の第２の画像信号のうち、前記被写体検出手段により最も早く被写体が検出された前記第２の画像信号を前記第１の画像信号と合成する画像信号して選択することを特徴とする請求項１２に記載の画像処理装置。
15. 第１の画角の第１の画像信号と、前記第１の画角よりも広角の第２の画角の第２の画像信号と、を取得する取得手段と、
    前記第２の画像信号に基づく第２の画像の透過率を設定する透過率設定手段と、
    前記透過率設定手段により設定された透過率に基づいて、前記第１の画像信号と前記第２の画像信号とを合成して合成画像信号を生成する画像処理手段と、
    前記合成画像信号に基づく画像を表示手段に表示させるように前記表示手段を制御する表示制御手段と、
    撮影準備指示を入力するための操作部材と、を備え、
    前記透過率設定手段は、
    前記操作部材の操作により、前記撮影準備指示が入力された場合よりも、
    前記操作部材の操作の解除により、前記撮影準備指示が解除された場合の方が、小さい透過率を前記第２の画像の透過率とすることを特徴とする画像処理装置。
16. 第１の結像光学系からの光を撮像して前記第１の画像信号を出力する第１の撮像素子と、
    第２の結像光学系からの光を撮像して前記第２の画像信号を出力する第２の撮像素子と、
    請求項１または１５に記載の画像処理装置とを備え、
    前記取得手段は、前記第１の撮像素子から前記第１の画像信号を、前記第２の撮像素子から前記第２の画像信号を取得することを特徴とする撮像装置。
17. 結像光学系からの光に基づいて画像信号を出力する撮像素子と、
    請求項１または１５に記載の画像処理装置と、を備え、
    前記取得手段は、
    前記結像光学系からの光に基づく前記画像信号を取得し、
    前記画像信号に対応する撮影画像から、一部の領域である第１の画像の領域と、前記第１の画像の領域を含み、且つ、前記第１の画像の領域よりも広範囲の第２の画像の領域と、を選択し、
    前記第１の画像信号として前記第１の画像の領域の画像信号を取得し、
    前記第２の画像信号として前記第２の画像の領域の画像信号を取得することを特徴とする撮像装置。
18. 第１の画角の第１の画像信号と、前記第１の画角よりも広角の第２の画角の第２の画像信号と、を取得する工程と、
    前記第１の画像信号と前記第２の画像信号の少なくともいずれかから被写体を検出する工程と、
    被写体の検出結果に基づいて前記第２の画像信号に基づく第２の画像の透過率を設定する工程と、
    設定された前記透過率に基づいて、前記第１の画像信号と前記第２の画像信号とを合成して合成画像信号を生成する工程と、
    前記合成画像信号に基づく画像を表示手段に表示させるように制御する工程と、を備える画像処理装置の制御方法。
19. 第１の画角の第１の画像信号と、前記第１の画角よりも広角の第２の画角の第２の画像信号と、を取得する工程と、
    前記第２の画像信号に基づく第２の画像の透過率を設定する工程と、
    設定された前記透過率に基づいて、前記第１の画像信号と前記第２の画像信号とを合成して合成画像信号を生成する工程と、
    前記合成画像信号に基づく画像を表示手段に表示させるように制御する工程と、を備え、
    前記透過率を設定する工程において、
    操作部材の操作により、撮影準備指示が入力された場合よりも、前記操作部材の操作の解除により、前記撮影準備指示が解除された場合の方が、小さい透過率を前記第２の画像の透過率とすることを特徴とする画像処理装置の制御方法。

Images