JP5779959B2

JP5779959B2 - 撮像装置

Info

Publication number: JP5779959B2
Application number: JP2011095398A
Authority: JP
Inventors: 泰宏風間
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-04-21
Filing date: 2011-04-21
Publication date: 2015-09-16
Anticipated expiration: 2031-04-21
Also published as: US8823857B2; JP2012227839A; US20120268641A1

Description

本発明はデジタルカメラ等の撮像装置に関し、特にマニュアルフォーカス時及びズーム時のモニタリング画像の表示技術に関する。

従来から、デジタルカメラ等の撮像装置には小型液晶画面等の表示部を備え、撮影を行う画像をリアルタイムに表示画面でモニタリングできるものが実用化されている。この様な撮像装置でマニュアルフォーカス操作をする際には、ユーザが表示画面の画像を視認しつつ、撮影前の被写体像が合焦状態にあるか否かのフォーカス判断を行った上でレリーズ操作を行うのが一般的である。

しかし、撮像装置に備え付けられた表示部の画面は小さく、且つ、解像度が低いものが一般的である。そのため、画素数を落とした縮小画像しか表示できず、表示画面上ではフォーカスが合っている様に見えても、実際に撮影された画像はフォーカスが合っていない等、フォーカス度合が表示画面から判断できない場合があった。

そこで、デジタルカメラ等の撮像装置において、マニュアルフォーカスで撮影を行う際に正確なフォーカス判断を実現するために、撮像素子の画素出力を一部分に限定して読み出し、この一部分だけを表示部に高精細に拡大表示することでフォーカス判断を容易にする方法を採用しているものもある。

この様な方法によれば、撮影画像の細部でフォーカス度合を判断できるため、撮影画像全体のフォーカスについては解決されるが、表示画面には一部分が拡大された画像のみ表示され、撮影範囲全体（構図）を確認することができなくなるという問題があった。

また、撮像装置の中にはズーム機能を備えるものがあるが、ズーム撮影を行う際に、ズームした画像のみを表示画面にモニタリング表示すると、被写体が動体の場合には被写体を見失ってしまう場合があった。また、ズームした部分の周辺に生じた変化によって被写体が影響を受けることもあり、この様な際にシャッターチャンスを逃してしまう場合もあった。

そこで、特許文献１では、ズームレンズを有する主受光部と単焦点レンズを有する副受光部とを備える撮像装置であって、主受光部から生成された主画像データと、副受光部から生成された副画像データとを表示する表示手段を備え、前記表示手段が、前記副画像内の前記主画像に対応する領域を強調して表示することを特徴とする撮像装置が提案されている。

特許文献１に係る発明によれば、表示手段に、光学ズームを用いて被写体を拡大した撮影用のライブ動画像と、被写体を枠線内に表示し、さらに被写体の周りの風景をも広範囲に渡って表示するライブ動画像との両方を表示することで、ズーム時の被写体のフレーミングを容易に行うことが可能になる。

また、マニュアルフォーカス時には一部分を拡大した画像と撮影範囲の全体画像とを同時に表示できるため、フォーカス具合と全体構図の確認を同時に行いつつ撮影をすることが可能になる。

しかしながら、複数の光学系を用いて拡大表示画面と全体構図画面とを表示手段に同時に表示する場合に、表示する画像ごとにフレームレートが異なっているために、フレームによっては表示タイミングのずれが大きくなり、両画面に表示されている場面に差異が生じる場合があった。表示タイミングのずれは、撮影者に違和感を抱かせる原因となり、動体などの撮影時にシャッターチャンスを逃してしまう場合があった。また、フォーカス度合の判断を適確に行うことが困難になる場合があった。

そこで、本発明では、複数の光学系によって取得した画像を同時にモニタリング表示する場合に、表示タイミングのずれを抑えることによって表示上の違和感を低減し、動体などの撮影をストレス無く行うことができ、且つ、フォーカス度合を容易に判断することができる撮像装置を提供することを目的とする。

本発明は、上記課題に鑑み、画像を撮影する主撮像光学系と、前記主撮像光学系による撮影を補助する画像を撮影する焦点距離が異なる２つ以上の補助撮像光学系と、前記主撮像光学系がズームした時に、前記主撮像光学系による撮影画像と、前記主撮像光学系の撮像画像を含んで前記主撮像光学系の撮像画像よりも画角が大きく、前記２つ以上の補助撮像光学系の撮影画像の中から前記主撮像光学系のズーム時の焦点距離に基づいて選択される撮影画像とを同時にモニタリング表示する表示手段と、を有する撮像装置であって、前記主撮像光学系からの出力画像信号のフレームレートと、前記補助撮像光学系からの出力画像信号のフレームレートとが、同一になるようにいずれか一方又は両方を変換して、前記主撮像光学系及び前記補助撮像光学系の撮影画像を前記表示手段に同時に表示することを特徴とする。

本発明に係る実施形態によれば、撮影画像の一部分の拡大画像と、全体構図の確認用画像とを、表示部におけるモニタリング表示のタイミングがずれることなく、同時に画面表示することができる。このため、撮影画像のフォーカス度合と、全体構図とを同時に確認しながら撮影することが可能となる。

また、被写体にズームした場合に、ズームした撮影画像と、ズーム時の撮影画像の周辺を含む画像とを、表示部におけるモニタリング表示においてずれることなく、同時に画面表示することができる。このため、ズームした後においても、撮影画像周辺の動きや変化等を見逃すことなく、好適なタイミングで画像撮影を行うことが可能になる。

以上の効果により、本発明の実施形態によれば、ユーザが希望する画像の撮影をより簡単に行うことができるようになる。

第１の実施形態に係るデジタルカメラの外観構成例を示す図第１の実施形態に係るデジタルカメラのシステム構成例を示す図第１の実施形態に係るマニュアルフォーカス時のモニタリング表示例を示す図第１の実施形態に係る部分拡大画像及び全体構図画像のモニタリング表示処理例を示すフローチャート第１の実施形態に係るマニュアルフォーカス操作時におけるモニタリング表示の切り替え動作例を示すフローチャート第１の実施形態に係るマニュアルフォーカス時の部分拡大画像及び全体構図画像の表示例を示す図第１の実施形態において画像を重ねて表示する場合の表示位置の決定方法についての説明図第１の実施形態において分割領域ごとのＡＦ評価値を用いた画面表示位置の自動決定例を示すフローチャート第２の実施形態に係るズーム操作時のモニタリング表示例を示す図第２の実施形態に係るズーム操作時のモニタリング表示の処理例を示すフローチャート第２の実施形態に係るズーム操作時のズーム位置に基づいたモニタリング表示の処理例を示すフローチャート第３の実施形態に係るズーム操作時の補助撮像光学系のズーム位置に連動したモニタリング表示切り替え処理例を示すフローチャート第３の実施形態に係るズーム操作時の補助撮像光学系のズーム位置に連動したモニタリング表示切り替え及びトリミングの処理例を示すフローチャート

以下、本発明の好適な実施の形態（以下「実施形態」という）について、図面を用いて詳細に説明する。
［第１の実施形態］
＜デジタルカメラの外観構成＞
図１に本発明の第１の実施形態に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ１」という）の構成概要を示す。図１（ａ）はデジタルカメラ１の正面図、図１（ｂ）は上面図、図１（ｃ）は背面図を示している。

デジタルカメラ１の上面にはレリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切り替えダイアル４が設けられている。また、デジタルカメラ１の正面（前面）側には、主撮像光学系である撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８、補助撮像光学系１６を備えている。さらに、デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、光学ファインダ８の接眼レンズ部８ａ、広角側ズーム(Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定（ＯＫ）ボタン１３等を有している。デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４を収納するメモリカード収納部１５が設けられている。
＜デジタルカメラのシステム構成＞
図２に、第１の実施形態に係るデジタルカメラ１のシステム構成を示す。

デジタルカメラ１は、撮影レンズ系１７、絞り・メカシャッタユニット１８を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＭＯＳ１９を有して構成される主撮像光学系５及び補助撮像光学系１６を有する。

また、これらの光学系５，１６が有するＣＭＯＳ１９から出力される電気信号（デジタルＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部２５（以下、「ＡＦＥ部２５」という）、ＡＦＥ部２５から出力されるデジタル信号を処理する信号処理部３９、データを一時的に格納するＳＤＲＡＭ２９、カメラ全体の制御を行う制御部４０、鏡胴ユニット６を駆動するモータドライバ２０、カメラ外部との通信を行う通信部３８、カメラと着脱可能なメモリカード３７、信号処理部からの映像出力信号を表示するＬＣＤ９、ユーザがデジタルカメラ１を操作する操作部４１、制御部４０が発光開始・停止を制御できるストロボ発光部７等を有している。

撮影レンズ系１７、絞り・メカシャッタユニット１８は、制御部４０からの駆動信号により制御されるモータドライバ２０によって駆動制御される。

ＣＭＯＳ１９は、２次元に配列した受光素子で結像した光学像を電荷に変換し、隣接するタイミング信号発生部（ＴＧ）２４から送信される読み出し信号タイミングで外部に電気信号として出力する。ＣＭＯＳ１９を構成する複数の画素上にはＲＧＢ原色フィルタ（以下、「ＲＧＢフィルタ」という）が配置されており、ＲＧＢ３原色に対応したデジタルＲＧＢ画像信号が出力される。なお、ＣＭＯＳ１９は、固体撮像素子としてのＣＣＤで構成することもできる。

ＡＦＥ部２５は、ＣＭＯＳ１９を駆動するＴＧ２４、ＣＭＯＳ１９から出力される電気信号をサンプリングするＣＤＳ２１、ＣＤＳ２１にてサンプリングされた信号のゲインを調整するアナログ利得制御部（ＡＧＣ）２２、ＡＧＣ２２でゲイン調整された信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部２３を有している。

信号処理部３９は、ＣＭＯＳ１９からＡＦＥ部２５を介して出力されるＲＡＷ−ＲＧＢデータを取り込むＣＭＯＳインターフェース３１（以下、「ＣＭＯＳＩ／Ｆ」という）と、ＳＤＲＡＭを制御するメモリコントローラ３０と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３２と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３３と、画像データをＪＰＥＧ形式等で記録するためのデータ圧縮部３４等を有している。

制御部（ＣＰＵ）４０は、操作部４１からの操作入力情報に応じて、ＲＯＭ４３に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う。

操作部４１は、デジタルカメラ１の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切り替えダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等（図１参照）であり、ユーザの操作によって所定の動作指示信号が制御部４０に送信される。

ＳＤＲＡＭ２９には、ＣＭＯＳＩ／Ｆ３１によって取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３２で変換処理されたＹＵＶデータ２７（ＹＵＶ形式の画像データ）、データ圧縮部３４で圧縮処理されたＪＰＥＧ形式などの画像データ等が保存される。

なお、ＹＵＶデータ２７のＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）データとの差分（Ｕ）と、輝度データと赤色（Ｒ）データとの差分（Ｖ））の情報で色を表現する形式である。
＜デジタルカメラのモニタリング動作＞
次に、デジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。

デジタルカメラ１の静止画撮影モード時には、以下に説明するモニタリング動作を実行しながら静止画撮影動作が行われる。

まず、撮影者が電源ボタン３をＯＮし、撮影・再生切り替えダイアル４を撮影モードに設定すると、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切り替えダイアル４が撮影モードに設定されたことを制御部４０が検知すると、制御部４０はモータドライバ２０に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、且つ、ＣＭＯＳ１９、信号処理部３９、ＳＤＲＡＭ２９、ＲＯＭ４３、ＬＣＤ９等を起動させる。

その後、鏡胴ユニット６の撮像光学系５を被写体に向けることによって、光学系５を通して入射される被写体画像がＣＭＯＳ１９の各画素の受光面上に結像する。ＣＭＯＳ１９の受光素子から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ２１、ＡＧＣ２２を介してＡ／Ｄ変換部２３に入力され、Ａ／Ｄ変換部２３が１２ビットのＲＡＷ−ＲＧＢデータに変換する。

変換されたＲＡＷ−ＲＧＢデータは、信号処理部３９のＣＭＯＳＩ／Ｆ３１に取り込まれてメモリコントローラ３０を介してＳＤＲＡＭ２９に保存される。そして、ＳＤＲＡＭ２９から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３２で表示可能な形式であるＹＵＶデータ２７（ＹＵＶ信号）に変換され、メモリコントローラ３０を介してＳＤＲＡＭ２９にＹＵＶデータ２７が保存される。

ＳＤＲＡＭ２９からメモリコントローラ３０を介して読み出されたＹＵＶデータ２７は、表示出力制御部４５を介してＬＣＤ９に送信され、撮影画像がＬＣＤ９に動画としてリアルタイムにモニタリング表示される。ＬＣＤ９に撮影画像を表示するモニタリング時には、ＣＭＯＳＩ／Ｆ３１による画素数の間引き処理により１／３０秒で１フレームを読み出している。フレームレートの変換を行う場合は、ＬＣＤ９に表示する画像データを読み出す周期を変えることによって行う。

上記のモニタリング動作時には、電子ファインダとして機能するＬＣＤ９に撮影画像が表示されているだけであり、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。

信号処理部３９のＣＭＯＳＩ／Ｆ３１では、取り込んだＲＡＷ−ＲＧＢデータから、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。

ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときには、被写体のエッジ部分がはっきりとしているため、高周波成分が最も高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。

ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＭＯＳ１９の全画素の受光面に対応した画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、分割された各エリアのＲＧＢ値を積算して求められる。

制御部４０では、算出されたＲＧＢ積算値を読み出し、画面を分割した各エリアの輝度を算出し、輝度分布から適正な露光量を決定するＡＥ処理を行う。ＡＥ処理により決定した露光量に基づいて、露光条件（ＣＭＯＳ１９の電子シャッタ回数、絞りユニットの絞り値等）の設定が行われる。

ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３２でＹＵＶデータ２７に変換処理するときのホワイトバランスの調整を行う。なお、前記したＡＥ処理とＡＷＢ処理とは、モニタリング動作時に連続的に行われる。

この様にして撮影画像をＬＣＤ９にリアルタイムに表示することによって、撮影画像をユーザが視認することができる。また、表示出力制御部４５からＴＶビデオ信号としてビデオケーブルを介して外部のモニタに表示させることも可能である。
＜デジタルカメラの静止画撮影動作＞
上記のモニタリング動作時にレリーズボタン２が押圧（半押しから全押し）操作され、静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が実行される。この時、制御部４０からモータドライバ２０への駆動指令により撮影レンズ系５のフォーカスレンズが移動して合焦位置で画像の撮影が行われる。

例えば、オートフォーカス対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、各合焦位置におけるＡＦ評価値を制御部４０が読み出す。制御部４０が読み出したＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させるようにＡＦ処理が行われる。

ＡＦ処理の後に、ＡＥ処理が行われ、露光完了時点で制御部４０からモータドライバ２０への駆動指令によりメカシャッタユニット１８が閉じられ、ＣＭＯＳ１９の受光素子から静止画用のアナログＲＧＢ画像信号が出力される。そして、モニタリング動作時と同様に、Ａ／Ｄ変換部２３によりＲＡＷ−ＲＧＢデータに変換される。

変換されたＲＡＷ−ＲＧＢデータは、信号処理部３９のＣＭＯＳＩ／Ｆ３１に取り込まれ、ＹＵＶ変換部３２でＹＵＶデータ２７に変換され、メモリコントローラ３０を介してＳＤＲＡＭ２９に保存される。このＹＵＶデータ２７はＳＤＲＡＭ２９から読み出されて、リサイズ処理部３３で記録画素数に対応するサイズに変換され、データ圧縮部３４でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２９に書き戻された後に、メモリコントローラ３０を介してＳＤＲＡＭから読み出され、メディアＩ／Ｆ４６を介してメモリカードに保存される。

以上の動作により、デジタルカメラ１で静止画撮影が行われる。
＜マニュアルフォーカス時のモニタリング表示＞
図３に、デジタルカメラ１におけるマニュアルフォーカス時のモニタリング表示例を示す。

マニュアルフォーカスを行う場合、モニタリング表示を行うＬＣＤ９には、被写体１００の主撮像光学系５及び補助撮像光学系１６による撮影画像が同時に表示される。

主撮像光学系５による撮影画像は、フォーカス度合を判別するために撮影画像の一部分が拡大された部分拡大画像５０として、ＬＣＤ９の全体に表示される。ここで、部分拡大画像５０だけでは撮影画像の全体構図が分からないため、補助撮像光学系１６による主撮像光学系５の撮影画像に対応する全体構図画像５１をＬＣＤ９の一部に子画面として表示する。

ＬＣＤ９左のバー表示５３は現在のフォーカス位置を示しており、バー中の目印が下にあるほど至近、上にあるほど無限縁のフォーカス位置となる。このバー表示５３を操作することによって、主撮像光学系５による部分拡大画像の拡大倍率をユーザが任意に設定することが可能になっている。

また、主撮像光学系５がズームしている場合には、そのズーム倍率に応じて補助撮像光学系１６による全体構図画像５１もズームして表示される。

補助撮像光学系１６による全体構図画像５１のうち、主撮像光学系５の拡大画像５０に対応する領域を示す枠を全体構図画像５１中に表示する。枠の大きさは部分拡大表示の拡大倍率に応じて変化し、ユーザが任意の場所を拡大表示できるように設定することもできる。

また、全体構図画像５１の中で主撮像光学系５の拡大画像５０に対応する部分を枠で表示したが、対応する部分が判別可能であれば色を変えて表示する等異なる方法によって表示しても良い。

この様にデジタルカメラ１のマニュアルフォーカス時には、主撮像光学系５の撮影画像の部分拡大画像５０を見てフォーカス状態を判断し、同時に、補助撮像光学系１６による全体構図画像５１によって全体構図を確認することができる。

従って、デジタルカメラ１を用いることで、ユーザは被写体１００を細部までフォーカスが合った状態で、所望の全体構図の撮影を行うことが容易にできる。

図４に、部分拡大画像及び全体構図画像のモニタリング表示処理例のフローチャートを示す。

デジタルカメラ１でマニュアルフォーカスが開始されると、まずステップＳ４１にて主撮像光学系５による部分拡大画像の表示設定がＯＮになっているかを判断する。

部分拡大表示設定がＯＮの場合には、続いてステップＳ４２にて主撮像光学系５から部分画像を取得し、ステップＳ４３にてモニタリング表示用にリサイズ処理部３３が画像サイズの変換を行う。

次に、ステップＳ４４にて補助撮像光学系１６による全体構図画像の表示設定がＯＮになっているかの判断を行う。全体構図画像の表示設定がＯＮの場合には、ステップＳ４５にて補助撮像光学系１６から画像を取得し、ステップＳ４６にてモニタリング表示用に画像サイズの変換を行う。

ここで、ステップＳ４７にて補助撮像光学系１６の出力画像のフレームレート変換を行い、ステップＳ４８で２つの撮像光学系５，１６の画像を合成し、ステップＳ４９にてモニタリング表示を行って終了する。

フレームレートの変換を行わない場合には、主撮像光学系５及び補助撮像光学系１６による出力画像の表示タイミングがずれることによって、フォーカス判断をして撮影を実行しても、実際に撮影された全体構図が異なる等の不具合が生じる場合がある。

しかしながら、主撮像光学系５及び補助撮像光学系１６による出力画像のフレームレートを同一に変換することによって、表示画像にずれが生じることなく、ストレスの無い撮影が可能になる。

次に、ステップＳ４１において部分拡大表示設定がＯＦＦの場合には、ステップＳ５０にて主撮像光学系５によって全体の撮影画像を取得し、ステップＳ５１にて画像サイズの変換を行った後に、ステップＳ４９にてＬＣＤ９へのモニタリング表示を行う。

デジタルカメラ１では、上記処理により部分拡大画像５０の表示設定及び全体構図画像５１の表示設定に基づいて、モニタリング表示を行う。

なお、第１の実施形態においては、補助撮像光学系１６の出力画像のフレームレート変換を行っているが、主撮像光学系５の出力画像のフレームレート変換を行っても良く、また、両方の出力画像のフレームレート変換を行っても良い。

図５に、デジタルカメラ１におけるマニュアルフォーカス操作時におけるモニタリング表示の切り替え動作例のフローチャートを示す。

デジタルカメラ１でマニュアルフォーカス操作が行われると、まずステップＳ５２にて部分拡大表示設定がＯＮであるか否かが判断される。部分拡大表示設定がＯＮの場合には、ステップＳ５３において、主撮像光学系５の部分拡大画像５０をＬＣＤ９に表示する。

次に、ステップＳ５４にて補助撮像光学系１６による全体構図画像５１の表示設定がＯＮであるか否かを判断する。全体構図画像５１の表示設定がＯＮである場合にはステップＳ５５にてＬＣＤ９に全体構図画像５１の表示を行い、ＯＮでない場合にはステップＳ５６にて全体構図画像５１を非表示にする。

続いて、ステップＳ５７にてレリーズボタン２が押圧されたか否かを判断し、レリーズボタン２が押圧された場合には、ステップＳ５９、Ｓ６０にて部分拡大画像５０及び全体構図画像５１のＬＣＤ９への表示を解除する。

ステップＳ５７にてレリーズボタン２が押圧されず、ステップＳ５８にて一定時間マニュアルフォーカス操作がされていないと判断された場合にも、同様にして部分拡大画像５０及び全体構図画像５１を非表示にして処理を終了する。

以上の処理により、設定内容に基づいて部分拡大画像５０及び全体構図画像５１の表示切り替え動作を行い、デジタルカメラ１のＬＣＤ９への表示切り替え動作を行う。

デジタルカメラ１においてマニュアルフォーカス操作が行われた際には、以上の処理を自動的に行い、撮影に必要なモニタリング表示を行うことで、快適な撮像環境を提供することができる。

図６に、マニュアルフォーカス時の部分拡大画像５０と全体構図画像５１のＬＣＤ９の表示例を示す。

図６（ａ）は、デジタルカメラ１におけるマニュアルフォーカス時に主撮像光学系５による部分拡大画像５０の表示を行っている場合を示している。図示した様に、補助撮像画像５１は、画面右下だけではなく、画面の左上、右上、左下等に表示位置を変更することが可能である。

図６（ｂ）は、図６（ａ）とは異なる表示例を示しており、補助撮像光学系１６による全体構図画像５１をＬＣＤ９の全領域に表示し、主撮像光学系５による部分拡大画像５０をその上に重ねて表示している。

また、部分拡大画像５０と全体構図画像５１を重ねた例を示したが、これらの画像を並べて表示しても良い。
＜モニタリング表示画像の表示位置自動決定方法について＞
図６に例示した様な、一方の画像の上に他方の画像を重ねて表示する場合において、重ねて表示するのに最適な領域を自動的に求めることができる。

図７に、画像を重ねて表示する場合の表示位置の自動決定方法についての説明図を示す。

図７（ａ）は、デジタルカメラ１による撮影時に、ＬＣＤ９に撮影画像をモニタリング表示し、領域を４分割して各領域に番号を付したものである。

図７（ａ）に例示した画像が補助撮像光学系１６による全体構図画像であり、例えば、フォーカス状態を確認するための主撮像光学系５による部分拡大画像を重ねて表示する場合について説明する。

まず、分割した領域Ａ〜ＤのＡＦ評価値を算出すると、図７（ｂ）の様な結果となる。ＡＦ評価値は、上記した様に、高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出され、コントラストの量を表すものである。従って、近接する画素間にコントラスト差が少ない右上の領域が、最もＡＦ評価値が低くなる。ＡＦ評価値が低い領域は、他の領域に比較してコントラスト量が小さく、注目すべき被写体像も少ない領域であると考えられるため、この領域に画像を重ねて表示することが好ましいと考えられる。

したがって、分割した領域ごとにＡＦ評価値を算出し、ＡＦ評価値が最も低い領域に自動的に画像を重ねて表示することで、撮影画像の主要部分が隠れてしまうというストレスを生じることなく撮影を行うことが可能になる。

表示した画像を４分割した場合について例示したが、分割する領域の数はこれに限るものではなく、重ねて表示する画像の大きさに合わせて分割する領域数を変えて、ＡＦ評価値に基づいて表示領域の自動決定を行うように設定しても良い。

図８に、デジタルカメラ１におけるマニュアルフォーカス時の、分割した領域ごとのＡＦ評価値を用いた画面表示位置の自動決定例を示すフローチャートを示す。

デジタルカメラ１においてマニュアルフォーカス操作が開始されると、まずステップＳ８１にて部分拡大表示設定がＯＮであるか否かの確認を行う。部分拡大表示設定がＯＮでない場合には、ステップＳ９２にて主撮像光学系５から全体画像を取得し、ステップＳ９３でモニタリング表示用に画像サイズの変換を行い、ステップＳ９１にてモニタリング表示をして処理を終了する。

ステップＳ８１にて部分拡大表示設定がＯＮであれば、ステップＳ８２で主撮像光学系５から部分拡大画像を取得し、ステップＳ８３にて取得した画像についてモニタリング表示用に画像サイズを変換する。

次に、ステップＳ８４にて全体構図表示設定がＯＮであるか否かを確認する。全体構図表示設定がＯＮでない場合には、フォーカス状態を確認するための主撮像光学系５による部分拡大画像をＬＣＤ９に表示した状態で処理を終了する。

ステップＳ８４にて全体構図表示設定がＯＮである場合には、ステップＳ８５にて補助撮像光学系１６から全体構図画像を取得し、ステップＳ８６にて画面表示用に画像サイズの変換を行う。

ここで、ステップＳ８７にて主撮像光学系５の部分拡大画像の分割した領域ごとにＡＦ評価値の算出を行い、ステップＳ８８でＡＦ評価値が最小となった領域を全体構図画像表示領域に決定する。

ステップＳ８９では、補助撮像光学系１６の出力画像のフレームレート変換を行い、ステップＳ９０にて２つの撮像光学系５，１６の撮影画像の合成を行い、ステップＳ９１にて合成した画像のモニタリング表示を行う。

以上の処理を行うことによって、ＡＦ評価値に基づいて全体構図画像を表示する最適な領域を自動決定して２つの出力画像を重ねて表示するため、ユーザにストレスを与えることがないモニタリング表示を行うことが可能になる。
［第２の実施形態］
第２の実施形態として、デジタルカメラ１においてズーム操作時におけるＬＣＤ９へのモニタリング画像表示について説明する。
＜ズーム操作時のモニタリング表示について＞
図９は、デジタルカメラ１においてズーム操作を行った際の、ＬＣＤ９へのモニタリング画像表示例を示したものである。

デジタルカメラ１のＬＣＤ９には、主撮像光学系５によって被写体１００をズームした撮影画像であるズーム画像５２が全領域に表示され、補助撮像光学系１６によるズーム画像５２の周辺を含む周辺画像５３が重ねて表示されている。また、周辺画像５３上には、ズーム画像５２に対応する部分を判別することができるように点線の枠を表示している。この様な表示設定をズームアシスト設定と呼ぶこととする。

ズーム画像５２の上に周辺画像５３を重ねて表示した例を示したが、周辺画像５３の上にズーム画像５２を重ねて表示しても良く、また、これらを並べて表示する構成としても良い。周辺画像５３に表示されたズーム画像５２に対応する部分の表示方法としては、図に例示した枠の他にも、色を変化させる等の方法を用いても良く、周辺画像５３中のズーム画像５２の位置が分かるように表示されていれば良い。

図１０には、デジタルカメラ１におけるズーム操作時のモニタリング表示の処理例のフローチャートを示す。

デジタルカメラ１においてズーム操作が行われると、まずステップＳ９４にて主撮像光学系５からズーム画像５２を取得し、ステップＳ９５にてモニタリング表示用に画像サイズを変換する。

次に、ステップＳ９６にてズームアシスト設定が有効であるか否かを判定する。ズームアシスト設定が有効でない場合には、ズーム画像５２をステップＳ１０１にてモニタリング表示して処理を終了する。

ステップＳ９６にてズームアシスト設定が有効である場合には、ステップＳ９７で補助撮像光学系１６からズーム画像５２を含み、ズーム画像５２よりも画角が大きい周辺画像５３を取得する。続いてステップＳ９８にてモニタリング表示用に画像サイズの変換を行い、ステップＳ９９にてフレームレートの変換を行う。フレームレートの変換は、補助撮像光学系１６の出力画像に対して行っているが、主撮像光学系５の出力画像に対して行ってもよく、両方の出力画像に対して行っても良い。

ステップＳ１００で主撮像光学系５によるズーム画像５２及び補助撮像光学系１６による周辺画像５３の合成を行い、ステップＳ１０１にて合成した画像のモニタリング表示を行って処理を終了する。

上記した処理を行い、ズーム操作が開始された際にＬＣＤ９にズーム画像５２と周辺画像５３を同時に表示することで、ズーム時にも被写体周辺の確認を行いながら撮影を行うことができる。そのため、ズームした後においても、ズーム画像５２周辺の動きや変化等を見逃すことなく、好適な撮影を行うことが可能になる。

ここで、主要撮像光学系５がズームをした場合であっても、主撮像光学系５と補助撮像光学系１６の換算焦点距離にほとんど差がない場合や、主撮像光学系５のズーム位置の方が補助撮像光学系よりも広角である場合等、ズームアシストモニタ表示の必要が無い場合がある。

そこで、図１１に、ズーム操作時の焦点距離であるズーム位置に基づいたモニタリング画面表示の処理例のフローチャートを示す。主撮像光学系５のズーム位置にしきい値を設け、ズーム操作時でもこの値を下回る場合にはズームアシストモニタ表示を行わないように制御する。

デジタルカメラ１においてズーム操作が開始されると、まず、ステップＳ１１１にて主撮像光学系５からズーム画像５２を取得し、ステップＳ１１２にてモニタリング表示用に画像サイズの変換を行う。次にステップＳ１１３でズームアシスト設定が有効であるか否かの確認を行う。ズームアシスト設定が有効でない場合には、ズーム画像５２をステップＳ１２０にてモニタリング表示して処理を終了する。

ズームアシスト設定が有効である場合には、ステップＳ１１４にて主撮像光学系５のズーム位置の取得を行い、ステップＳ１１５にてズーム位置がしきい値を越えているか否かの判断を行う。主撮像光学系５のズーム位置がしきい値を越えていない場合には、ステップＳ１２０にてＬＣＤ９にズーム画像のみを表示して処理を終了する。

主撮像光学系５のズーム位置がしきい値を越えている場合には、ステップＳ１１６にて補助撮像光学系１６から周辺画像５３を取得し、ステップＳ１１７にてモニタリング表示用に画像サイズの変換を行う。次にステップＳ１１８にて補助撮像光学系１６から画像信号のフレームレート変換をした後、ステップＳ１１９でモニタリング表示用にズーム画像５２と周辺画像５３の画像を合成し、ステップＳ１２０にてモニタリング表示を行う。

上記したしきい値としては、例えば主撮像光学系５の焦点距離が２８〜３００ｍｍの場合には、２００ｍｍといった値に設定できる。

以上の処理を行うことで、主要撮像光学系５によるズーム画像５２と、補助撮像光学系１６による周辺画像５３との間に差がない場合等、ズームアシスト表示の必要がない場合には自動的に周辺画像５３の表示をしない様にすることができる。
［第３の実施形態］
第３の実施形態では、デジタルカメラ１が焦点距離の異なる補助撮像光学系を複数備える場合のモニタリング表示について説明する。
＜補助撮像光学系を複数有する場合のズーム操作時のモニタリング表示＞
図１２には、デジタルカメラ１が焦点距離の異なる補助撮像光学系１６を２つ備える場合において、ズーム操作時に主撮像光学系５の焦点距離であるズーム位置に連動して、モニタリング表示に使用する画像の選択を行う処理例のフローチャートを示す。

ここでは２つの補助撮像光学系１６のうち、焦点距離が長い方を補助撮像光学系Ｈ１とし、焦点距離が短い方を補助撮像光学系Ｈ２とする。焦点距離が短い方が、焦点距離が長い光学系に比べると画角の大きい画像を撮影することができる。従って、主撮像光学系５によるズーム画像５２の画角に応じて、ズーム画像５２よりは大きく、且つ、大き過ぎない最適な出力画像を選択して同時にモニタリング表示することが可能になる。

補助撮像光学系１６を２つ備えたデジタルカメラ１においてズーム操作が行われると、まずステップＳ１２１にて主撮像光学系５からズーム画像５２を取得し、ステップＳ１２２にてモニタリング表示用に画像サイズの変換を行う。

次にステップＳ１２３にてズームアシスト設定が有効であるか否かの確認を行う。ズームアシスト設定が有効でない場合には、主撮像光学系５によるズーム画像５２のみをステップ１３２にてモニタリング表示して処理を終了する。

ズームアシスト設定が有効である場合には、ステップＳ１２４にてズーム位置を取得し、ステップＳ１２５にてズーム位置がしきい値Ｔ１以上であるか判定を行う。ズーム位置がしきい値Ｔ１未満である場合には、主撮像光学系５のズーム画像と補助撮像光学系１６による撮影画像に差がないため、周辺画像５３を非表示にし、主撮像光学系５によるズーム画像５２のみをステップＳ１３２にてモニタリング表示して処理を終了する。

ステップＳ１２５にてズーム位置がＴ１以上である場合、次にステップＳ１２６にてズーム位置がしきい値Ｔ２以上であるか判定される。ここでＴ２の値はＴ１の値よりも大きい値である。

ステップＳ１２５及びステップＳ１２６における判定の結果、主撮像光学系のズーム位置がＴ２以上の場合には、ステップＳ１２７にて焦点距離が長い補助撮像光学系Ｈ１から周辺画像５３を取得する。また、主撮像光学系５のズーム位置がＴ１以上かつＴ２未満の場合には、ステップＳ１２８にて焦点距離が短い補助撮像光学系Ｈ２から周辺画像５３を取得する。

続いてステップＳ１２９にて取得した周辺画像５３をモニタリング表示用に画像サイズの変換を行い、ステップＳ１３０にてフレームレート変換を行った後、ステップＳ１３１にてズーム画像５２と周辺画像５３の合成を行う。

合成された画像をステップＳ１３２にてモニタリング表示し、処理を終了する。

以上の処理により、焦点距離の異なる複数の補助撮像光学系Ｈ１，Ｈ２を有する場合において、主撮像光学系５によるズーム画像５２の画角に応じた周辺画像５３を表示することができ、より撮影に適したモニタリング表示を行うことが可能となる。

また、上記では補助撮像光学系Ｈ１，Ｈ２を２つ有する場合について例示して説明したが、３つ以上有していても良く、その場合には主撮像光学系５のズーム位置のしきい値も３つ以上になり、全ての補助撮像光学系の中から適した周辺画像５３を選択して表示することができる。また、表示する周辺画像５３は１つに限らず、２つ以上表示する様に設定しても良い。

次に、デジタルカメラ１が補助撮像光学系Ｈ１，Ｈ２の２つ有する場合に、さらに周辺画像５３として最適な画像をモニタリング表示するために、補助撮像光学系により取得された画像をトリミングする処理例のフローチャートを図１３に示す。

ここで、補助撮像光学系Ｈ２の焦点距離は補助撮像光学系Ｈ１の焦点距離よりも短く、補助撮像光学系Ｈ２の方が画角の大きい画像を撮影することができる。

デジタルカメラ１がズーム操作されると、まずステップＳ１５０にて主撮像光学系５からズーム画像５２を取得し、ステップＳ１５１にてモニタリング表示用に画像サイズの変更を行う。

次に、ステップＳ１５２にてズームアシスト設定が有効であるか確認を行う。ズームアシスト設定が有効でない場合には、主撮像光学系５によるズーム画像５２のみをステップＳ１６２にてモニタリング表示して処理を終了する。

ズームアシスト設定が有効である場合には、ステップＳ１５３にて主撮像光学系５の焦点距離であるズーム位置を取得し、ステップＳ１５４及びＳ１５５にてズーム位置としきい値Ｔ１及びＴ２との比較を行う。

ズーム位置がしきい値Ｔ１未満の場合には、ズームアシスト表示は行わず、ステップＳ１６２にてズーム画像５２のみをモニタリング表示して終了する。ズーム位置がしきい値Ｔ２以上の場合にはステップＳ１５６にて補助撮像光学系Ｈ１から周辺画像５３を取得し、Ｔ１以上かつＴ２未満の場合にはステップＳ１５７にて補助撮像光学系Ｈ２から周辺画像５３の取得を行う。

取得した周辺画像５３は、ステップＳ１５８においてズーム画像５２に応じて適した大きさにトリミングする。具体的には、ズーム画像５２を中心にして、上下幅及び左右幅がそれぞれ１．２倍程度の大きさになるようにトリミングするのが好ましいが、ユーザが好みの大きさの周辺画像を表示できる様に設定可能にしても良い。また、トリミングではなく、拡大して表示する様に設定することもできる。

次に、ステップＳ１５９にてトリミングした周辺画像５３をモニタリング表示用に画像サイズの変換を行い、続いてステップＳ１６０にてフレームレートの変換を行った上で、ステップＳ１６１でズーム画像５２と周辺画像５３の合成処理を実施する。

最後に、ステップＳ１６２にて合成した画像をモニタリング表示して処理を終了する。

ここで、例えば主撮像光学系５の焦点距離が２８〜３００ｍｍであり、補助撮像光学系Ｈ１、Ｈ２の焦点距離がそれぞれ２８ｍｍ、８０ｍｍの場合には、上記したしきい値Ｔ１には８０ｍｍ、Ｔ２を２００ｍｍといった値に設定する。

以上の処理によって、デジタルカメラ１におけるズーム操作時に、主撮像光学系５によるズーム画像５２に合わせて、最適な周辺画像５３を同時にモニタリング表示することが可能になる。

なお、上記には焦点距離が異なる補助撮像光学系を２つ有する場合を例に挙げて説明したが、補助撮像光学系を３つ以上で構成しても良く、モニタリング表示する周辺画像を２つ以上にしても良い。
＜まとめ＞
以上、本発明に係る実施形態によれば、主撮像光学系５による部分拡大画像５０又はズーム画像５２と、補助撮像光学系１６による全体構図画像５１又は周辺画像５３とを、表示タイミングにずれが生じることなく同時にモニタリング表示することが可能となる。

これによって、マニュアルフォーカス操作時には全体構図を確認しつつ、細部までフォーカスの合った撮影を行うことができ、また、ズーム操作時には、周辺画像の確認を行いながらズーム撮影することができるため、ユーザが所望する画像撮影をより簡易な操作で行うことが可能になる。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の主旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１デジタルカメラ（撮像装置）
５主撮像光学系
９ＬＣＤ（表示手段）
１６補助撮像光学系
５０部分拡大画像
５１全体構図画像
５２ズーム画像
５３周辺画像

特開２００７−４３５０２号公報

Claims

画像を撮影する主撮像光学系と、
前記主撮像光学系による撮影を補助する画像を撮影する焦点距離が異なる２つ以上の補助撮像光学系と、
前記主撮像光学系がズームした時に、前記主撮像光学系による撮影画像と、前記主撮像光学系の撮像画像を含んで前記主撮像光学系の撮像画像よりも画角が大きく、前記２つ以上の補助撮像光学系の撮影画像の中から前記主撮像光学系のズーム時の焦点距離に基づいて選択される撮影画像とを同時にモニタリング表示する表示手段と、
を有する撮像装置であって、
前記主撮像光学系からの出力画像信号のフレームレートと、前記補助撮像光学系からの出力画像信号のフレームレートとが、同一になるようにいずれか一方又は両方を変換して、
前記主撮像光学系及び前記補助撮像光学系の撮影画像を前記表示手段に同時に表示する
ことを特徴とする撮像装置。
前記主撮像光学系がズームした時に、
前記主撮像光学系の焦点距離が一定の値以上となった場合に、
前記主撮像光学系の撮影画像と、前記主撮像光学系の撮像画像を含み、前記主撮像光学系の撮像画像よりも画角が大きい前記補助撮像光学系の撮影画像と、を前記表示手段に同時に表示する
ことを特徴とする請求項１に記載の撮像装置。
前記表示手段に表示された前記補助撮像光学系の撮影画像の中で、前記主撮像光学系の撮影画像に対応する部分を判別可能に表示する
ことを特徴とする請求項１又は２に記載の撮像装置。
前記主撮像光学系のズーム時の焦点距離に基づいて、前記補助撮像光学系の撮影画像を拡大又はトリミングして前記表示手段に表示する
ことを特徴とする請求項１から３のいずれか一項に記載の撮像装置。
前記表示手段には、
前記主撮像光学系又は前記補助撮像光学系の撮影画像を表示し、
前記表示した撮影画像を複数の領域に分割し、前記分割した領域ごとにコントラスト量を表すオートフォーカス評価値を算出し、
前記オートフォーカス評価値が最も低い画像領域に、前記主撮像光学系又は前記補助撮像光学系の撮影画像の内の前記表示した撮影画像とは異なる撮影画像を重ねて縮小表示する
ことを特徴とする請求項１から４のいずれか一項に記載の撮像装置。