JP5077113B2 - 電子カメラ - Google Patents

Description

本発明は、光学系を介した被写体の像を撮像する撮像素子を備える電子カメラに関する。

ＣＣＤ等の撮像素子を備える電子カメラにおいては、カメラの背面に設けられた液晶パネルに、撮影レンズを介して撮像中の画像（スルー画像）をリアルタイムに表示する、いわゆるライブビュー表示機能を備えるとともに、当該表示画像の一部を電子的な処理により拡大して表示する電子ズーム機能を備えたものがある。撮影者は、液晶パネルに表示された画像を見ながら、所定のズーム操作を行うことによって、所望の倍率で被写体を撮影することができる。

このような電子ズーム機能を備える電子カメラでは、通常は、目的の被写体が液晶パネルの表示領域内に表示されるように、カメラの姿勢（向き）を調整しながら、ズーム操作を行い、所望の倍率に設定した状態で、撮影操作を行うことになる。しかしながら、撮影者がズーム操作に不慣れである場合等において、ズーム操作に伴い、被写体が表示領域の外側に位置してしまう場合がある。この場合には、カメラの姿勢を試行錯誤的に変更して、当該被写体を探す（表示領域内に表示させる）必要が生じ、いわゆるシャッターチャンスを逃してしまう場合があるという問題がある。動画を撮影する場合には、被写体が写ったり、写らなかったり、当該被写体を探す動作が撮影した動画に反映されてしまい、所望の動画像を撮影することができない場合があるという問題がある。

本発明は、このような点に鑑みてなされたものであり、ズーム操作に伴い被写体が表示領域の外側に位置してしまうような場合であっても、当該被写体が表示領域に表示されるようにして、被写体を的確に捕らえることができるようにすることを目的とする。

なお、下記特許文献１には、テンプレートマッチングにより、フレーム間で被写体の動きを追跡するようにした技術が開示されている。また、下記特許文献２には、ＣＣＤの全有効画素から得られた全画素範囲の画像データを記録媒体に記録するとともに、電子ズームにより拡大表示する画像の画素範囲（ズーム範囲）をズーミング情報として記録媒体に記録するようにした技術が開示されている。

しかしながら、特許文献１に記載の技術は、被写体の自動追跡を、自動焦点調整（ＡＦ）や自動露出調節（ＡＥ）を実現するために用いることを前提とするものであり、また、特許文献２に記載の技術は、画像記録時におけるズーミング等の画角操作による構図（画角）を画像記録後に修正できるようにしたものであり、何れも上述したような本発明の目的を達成するためのものではない。
特開２００８−１２３４１６号公報 特開２００５−１２４２３号公報

本発明に係る電子カメラ（１）は、 光学系（３）を介した被写体の像を撮像する撮像素子（１４）と、前記撮像素子により撮像された画像に所定の画像処理を施して所定サイズの画像を出力する画像処理手段（１７）と、画像を表示する画像表示手段（２２）と、所定のテンプレート画像に基づいて、前記所定サイズの画像の中からマッチング領域を検出するテンプレートマッチング手段（３３）と、前記画像表示手段に表示される前記画像の拡大倍率を指定する拡大倍率指定手段（２０）と、前記拡大倍率指定手段により指定された拡大倍率に従って前記所定サイズの画像中に拡大領域を設定し、該拡大領域内の画像を前記画像表示手段に拡大表示させる電子ズーム手段（３２）と、前記マッチング領域が前記拡大領域に含まれない場合に、前記所定サイズの画像中における前記拡大領域の位置を前記拡大領域内に前記マッチング領域が含まれるように変更する制御手段（３１）と、を備えて構成される。

この場合において、撮影者が知覚可能な所定の通知を行う通知手段（３５，２２）を更に備え、前記制御手段（３１）は、前記マッチング領域が前記所定サイズの画像の外縁近傍に位置する場合に、前記通知手段を作動させるようにすることができる。

また、前記光学系（３）のズーム倍率を光学的に変更する光学ズーム手段（３）を更に備え、前記制御手段（３１）は、前記マッチング領域の前記所定サイズの画像に対する面積比率が所定以上である場合に、前記光学系のズーム倍率が低倍率となるように前記光学ズーム手段を制御するようにできる。

さらに、撮影した画像を記録する画像記録媒体（１９）を更に備え、前記制御手段（３１）は、前記所定サイズの画像に、前記拡大領域の前記所定サイズの画像中における位置及び拡大倍率を付加情報として付加して、前記画像記録媒体に記録するようにできる。

なお、この項の説明では、後述する実施形態を表す図面に示す部材等を示す符号を括弧を付して付記したが、これは単に理解の容易化のためであり、本発明の各構成要件は、これらの符号によって限定されるものではない。

本発明に係る電子カメラでは、フルサイズ画像中の所定のテンプレート画像にマッチングするマッチング領域を検出して、該マッチング領域が電子ズーム時の拡大領域に含まれない場合に、該拡大領域の該フルサイズ画像中における位置及び拡大倍率の少なくとも一方を、該拡大領域に該マッチング領域が含まれるように変更して、当該変更後の拡大領域内の画像を表示するようにしたので、ズーム操作に伴い被写体が該拡大領域（表示領域）の外側に位置してしまうような場合であっても、当該被写体が該拡大領域に表示されるので、被写体を的確に捕らえることができるようになるという効果がある。

以下、図面を参照して本発明の実施形態に係る電子カメラについて説明する。なお、本発明が適用可能な電子カメラとしては、コンパクトデジタルカメラ、一眼レフ方式のデジタルカメラ、デジタルビデオカメラ等の静止画及び／又は動画をデジタル方式で撮影するあらゆるカメラが含まれ、携帯電話機、ＰＤＡ、その他のデジタルカメラ機能を備える電子装置等も含まれる。

図１は本発明の実施形態に係る電子カメラの要部の構成を示すブロック図である。図１に示すように、この電子カメラ１は、カメラ本体２と光学系としての撮影レンズ３とを備えている。ここで撮影レンズ３は、カメラ本体２に固定されているものでもよいし、交換式のものでもよい。この実施形態では、撮影レンズ３は、図示は省略しているが、レンズ鏡筒内部に、メインレンズ、フォーカスレンズ、ズームレンズ等からなるレンズ系、及び絞り等を備えて構成されている。

カメラ本体２には、ＣＰＵ１０が設けられており、ＣＰＵ１０はシステムバス１１に接続されている。ＣＰＵ１０は、後述する各ブロックから出力される信号の入力を受け、システムバス１１に接続されているフラッシュＲＡＭ１２に記憶されている制御プログラム（後述する追跡ズーム処理プログラムを含む）や各種の制御データ等に基づいて所定の演算を行い、演算結果に基づく制御信号を各ブロックへ出力する。

システムバス１１には、センサ駆動回路１３を介して撮像素子１４が接続されている。また、システムバス１１には、Ａ／Ｄ変換回路１５、タイミングジェネレータ（ＴＧ）１６、画像処理部１７、バッファメモリ１８、記録媒体１９、操作部２０、及びズームレンズ駆動部２１がそれぞれ接続されている。さらに、システムバス１１には、表示駆動部（不図示）を介してＬＣＤ（液晶表示ディスプレイ）２２が接続されている。

撮像素子１４は、ＣＣＤまたはＣＭＯＳ等により構成され、撮影レンズ３を介した被写体光を撮像し、撮像信号（蓄積電荷としてのアナログ信号）を出力する。撮像素子１４から出力された撮像信号は、Ａ／Ｄ変換回路１５においてデジタル信号に変換され、システムバス１１を介して画像処理部１７に送られる。なお、タイミングジェネレータ１６は、撮像素子１４を駆動するタイミング信号及びＡ／Ｄ変換回路１５を駆動するタイミング信号を出力する。

画像処理部１７は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で構成され、デジタル信号である原画像データに対してホワイトバランス（ＷＢ）調整、輪郭補償、ガンマ補正などの画像処理を行うとともに、所定の圧縮形式（例えば、ＪＰＥＧ等）で圧縮する圧縮処理や圧縮された画像データの伸長処理等を行う。

バッファメモリ１８は、原画像データや画像処理後の画像データを一時的に記憶するメモリである。記録媒体（画像記録媒体）１９は、フラッシュメモリ等から構成される可搬性を有するメモリカード等であり、圧縮処理が実施された画像データ（静止画、動画）を所定の付加情報と共に記録するものである。記録媒体１９は、カメラ本体２に設けられた所定のスロット（不図示）に交換可能に装着される。

操作部２０は、撮影を指示するレリーズボタン、主電源をオン／オフするメインスイッチ、コマンドダイヤル、メニューボタン、項目選択用十字キー、ＯＫボタン（決定ボタン）、電子ズームを行う場合のズーム倍率変更ボタン等を含み、撮影者はこれらのスイッチやボタン等を所定の手順に従って操作することにより、撮影指示の他、各種のモード等の選択や設定の切り換え、その他の撮影に伴う指示を行うことができる。

画像処理部１７から送られる画像、記録媒体１９から読み出された再生画像、撮影に関する情報等は、不図示の表示駆動部を介してＬＣＤ２２に表示される。ＬＣＤ２２は、カメラ本体２の背面に設けられており、ライブビュー表示モードにおいては、撮像素子１４で撮像中の画像がスルー画像としてＬＣＤ２２にリアルタイム表示される。なお、スルー画像とは、撮像素子１４の解像度とＬＣＤ２２の解像度等との関係で原画像に対して所定の間引き処理が行われ、視覚的に動画像として認識できる程度のフレームレートで表示される画像のことである。

図２は本発明の実施形態に係る追跡ズーム処理の要部の機能構成を示すブロック図である。この処理は、ＣＰＵ１０がフラッシュＲＡＭ１２に予め記憶された所定の追跡ズーム処理プログラムを実行することにより実現される。このプログラムは、メイン制御部３１を中心として、電子ズーム部３２、テンプレートマッチング部３３、ズームレンズ駆動制御部３４、通知部３５を概略備えて構成されている。

メイン制御部３１には、撮像手段としての撮像素子１４により撮像され、画像処理手段としての画像処理部１７により所定の画像処理が施されたフルサイズ画像（撮像素子１４の有効撮像領域の全体に係る画像）４１、操作部２０の倍率変更ボタン（拡大倍率指定手段）の操作に従った拡大倍率４２、及び所定のテンプレート画像４３が入力される。

電子ズーム部３２は、メイン制御部３１を介して送られるフルサイズ画像４１中の同じくメイン制御部３１を介して送られる拡大倍率４２に従って設定された拡大領域内の画像を拡大して表示駆動部を介してＬＣＤ２２に表示させる。なお、この拡大領域の位置はデフォルトでは撮像領域の中心（即ち、撮影レンズ３の光軸）を基準として設定される。但し、本実施形態では、後述するように、この拡大領域の位置は動的に変更され得る。

テンプレートマッチング部３３には、メイン制御部３１からテンプレート画像４３が送られる。ここで、テンプレート画像とは、テンプレートマッチング部３３により実行されるテンプレートマッチング処理の基準となる画像データであり、本実施形態では、予め所定の登録操作を行うことにより、単一又は複数のテンプレート画像が予め登録されているものとする。テンプレート画像としては、任意の画像を登録することができるが、例えば、人物の顔等をテンプレート画像とすることができる。但し、テンプレート画像としては、予め登録したものに限られず、例えば画像中の人間の顔を特定する公知の顔認識等の機能を用いて、登録操作を行うことなく動的に設定されるものを用いるようにしてもよい。

テンプレートマッチング部３３は、メイン制御部３１を介して送られるフルサイズ画像４１中に該テンプレート画像４３にマッチングするマッチング領域が存在するか否か、及び該マッチング領域が存在する場合にその位置を検出するテンプレートマッチング処理を行う。なお、テンプレートマッチング処理としては、例えば相互相関法や残差逐次検定法等の公知の手法を用いることができる。

テンプレートマッチング部３３は、ターゲット画像としてのフルサイズ画像４１中にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば１画素ずつ移動させながら、それぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、テンプレートマッチング部３３は、ターゲット画像全体に対してテンプレートマッチング処理を実施した結果、ターゲット領域内でテンプレート画像との類似度が所定のしきい値以上の領域のうち、類似度が最も高い領域（マッチング領域）の位置をマッチング結果として出力する。なお、所定のしきい値に達する領域が存在しない場合には、マッチング領域はないものと判断される。

メイン制御部３１は、テンプレートマッチング部３３により検出されたマッチング領域が、電子ズーム部３２により設定されている拡大領域に含まれるか否かを判断し、含まれる場合には、現在の拡大領域に係る拡大画像をＬＣＤ２２に表示させるように、電子ズーム部３２を制御する。メイン制御部３１は、テンプレートマッチング部３３により検出されたマッチング領域が、電子ズーム部３２により設定されている拡大領域に含まれないと判断した場合には、拡大領域のフルサイズ画像４１中における位置及び大きさ（拡大倍率）の何れか一方又は双方を、該拡大領域にマッチング領域が含まれるように変更して、当該変更後の拡大領域内の画像がＬＣＤ２２に拡大表示されるように電子ズーム部３２を制御する。

なお、拡大領域の位置と拡大倍率の双方を変更する場合には、拡大領域の位置を優先して変更し、これによっても該拡大領域内にマッチング領域が含まれない場合に拡大倍率を低倍率となるように変更する。

このような追跡ズーム処理を行うことにより、撮影者が操作部２０の電子ズーム用の倍率変更ボタンを操作して、ＬＣＤ２２に表示されている画像の一部を拡大表示し、あるいはカメラ１の姿勢（方位及び／又は仰角）を変更することにより、テンプレート画像４３として登録されている撮影目的とする被写体の画像が当該拡大領域内に含まれなくなるような操作をした場合であっても、フルサイズ画像４１中に当該被写体の画像（マッチング領域の画像）が存在する限りにおいて、拡大領域の位置及び／又は拡大倍率が当該被写体の画像が含まれるように自動的に変更されるので、ＬＣＤ２２には当該被写体の画像を含む画像が常に表示されることになる。

従って、電子ズーム機能を利用して拡大した画像を撮影する場合において、厳密にカメラ１の姿勢を調整しなくても、目的とする被写体を的確に捕らえることができるようになる。また、被写体が移動している場合であっても、同様である。

本実施形態に係る追跡ズーム処理は、これを行うモードと、これを行わないモードとを設けて、撮影者による事前の所定の選択操作によって、任意に切り換えができるようにすることが好ましい。

ところで、本実施形態において、目的とする被写体、即ちテンプレート画像が撮像素子１４の有効撮像領域、即ちフルサイズ画像４１からはみ出してしまうと、当該被写体を追跡することができなくなり、不都合である。これに対処するため、本実施形態では、以下のように対策している。

即ち、第１の対策として、メイン制御部３１は、テンプレート画像４３にマッチングするマッチング領域がフルサイズ画像４１の外縁近傍に位置する場合に、通知部３５を介して、ＬＣＤ２２にその旨を示す情報（その旨を示す文字列、マーク、又は記号等）を表示させることにより、撮影者に当該被写体が撮像素子１４の有効撮像領域の外側にはみ出してしまう可能性があることを通知するようにしている。なお、ここでは、この通知は、ＬＣＤ２２にその旨を示す情報を表示させることにより視覚的に行うようにしたが、別途、専用の表示ランプを点灯又は点滅等させることにより、通知するようにしてもよい。また、ブザー音や音声等で聴覚的に知らせるようにしてもよい。

なお、マッチング領域がフルサイズ画像４１の外縁近傍に位置するか否かの判断は、例えば、フルサイズ画像４１内にその中心を基準として所定の大きさの基準枠を設定し、マッチング領域がその基準枠に重なった場合又はその基準枠の外側に位置した場合に、当該外縁近傍に位置していると判断するようにできる。この場合において、被写体の動き、即ちマッチング領域が各フレーム毎に移動している（被写体が移動している、カメラ１が移動している、又はその両方である）場合に、そのベクトル（動きの方向）を検出して、マッチング領域がフルサイズ画像４１の外縁近傍に位置している場合において、そのベクトルから被写体が撮像素子１４の有効撮像領域からはみ出す可能性を予測するようにすれば、更に精度の高い予測が可能となる。

この通知により、撮影者は、当該被写体（即ち、マッチング領域）が撮像素子１４の有効撮像領域の外側にはみ出してしまう可能性が高いことを認識することができ、カメラ１の姿勢を適宜に調整することにより、当該被写体がＬＣＤ２２内に表示されるようにすることが可能となる。

また、第２の対策としては、このカメラ１の撮影レンズ３が光学的ズーム機能（ズームレンズを移動させて撮像素子１４に結像される像の倍率を光学的に変更する機能）を備えている場合において、メイン制御部３１は、マッチング領域のフルサイズ画像４１に対する面積比率が所定以上である場合に、撮像素子１４に結像される像の倍率（ズーム倍率）が低倍率となるように、ズームレンズ駆動制御部３４を介してズームレンズ駆動部２１を駆動して、撮影レンズ３に含まれるズームレンズの位置を変更するように制御する。

このような光学ズームにより、低倍率に設定することにより、マッチング画像がフルサイズ画像４１の外側にはみ出しそうな場合においては、光学ズームにより撮像素子１４に結像される像が自動的に低倍率となり、従ってより広い範囲が結像されることになるため、カメラ１の姿勢を変更しなくても、当該被写体がＬＣＤ２２内に表示されることになる。なお、このような光学ズームにより自動的に低倍率に変更するモードと、このような処理を行わないモードとを設けて、撮影者による所定の選択操作により、これらを切り換えることができるようにすることが好ましい。

なお、本実施形態においては、操作部２０のレリーズボタンが操作（押下）された場合には、メイン制御部３１は、操作部２０の電子ズーム用の倍率変更ボタンの操作にかかわらず、フルサイズ画像４１を記録媒体１９に記録するようになっている。このとき、電子ズームにより拡大されている場合には、メイン制御部３１は、図３に示されているように、このフルサイズ画像４１に、当該拡大領域のフルサイズ画像４１中における位置及び拡大倍率を付加情報として付加して、記録媒体１９に記録する。

記録媒体１９に記録された当該付加情報として、拡大領域のフルサイズ画像中における位置及び拡大倍率が付加されている場合には、この画像を再生表示する際には、当該拡大領域に係る部分が当該拡大倍率に従って拡大されて、ＬＣＤ２２に表示される。なお、拡大領域に係る部分を拡大して再生するモードと、フルサイズ画像を再生するモードとを設けて、撮影者による所定の選択操作により、これらを切り換えることができるようにするとよい。

また、これらの付加情報（拡大領域のフルサイズ画像４１中における位置及び拡大倍率）は、事後的に編集できるようになっている。このような編集を行う際には、フルサイズ画像を表示し、拡大領域を枠で表示して、その拡大領域の位置又は拡大倍率を変更できるようにするとよい。これにより、必要に応じて、フルサイズ画像４１の範囲内において、画角や倍率を事後的に任意に変更することができ、撮影者の好みに応じて最適な撮影画像とすることができる。

なお、上述した実施形態においては、主として静止画の撮影の場合について説明したが、動画の撮影の場合であっても同様である。

以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。従って、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

本発明の実施形態におけるカメラの概略構成を示すブロック図である。 本発明の実施形態におけるカメラの追跡ズームモードを実現するための機能構成を示すブロック図である。 本発明の実施形態における記録媒体に記録される画像データのフォーマットの要部を示す図である。

符号の説明

１…電子カメラ、２…カメラ本体、３…撮影レンズ、１０…ＣＰＵ、１１…システムバス、１２…フラッシュＲＡＭ、１３…センサ駆動回路、１４…撮像素子、１５…Ａ／Ｄ変換回路、１６…タイミングジェネレータ、１７…画像処理部、１８…バッファメモリ、１９…記録媒体、２０…操作部、２１…ズームレンズ駆動部、３１…メイン制御部、３２…電子ズーム部、３３…テンプレートマッチング部、３４…ズームレンズ駆動制御部、３５…通知部、４１…フルサイズ画像、４２…拡大倍率、４３…テンプレート画像。

Claims (4)

1. 光学系を介した被写体の像を撮像する撮像素子と、
   前記撮像素子により撮像された画像に所定の画像処理を施して所定サイズの画像を出力する画像処理手段と、
   画像を表示する画像表示手段と、
   所定のテンプレート画像に基づいて、前記所定サイズの画像の中からマッチング領域を検出するテンプレートマッチング手段と、
   前記画像表示手段に表示される前記画像の拡大倍率を指定する拡大倍率指定手段と、
   前記拡大倍率指定手段により指定された拡大倍率に従って前記所定サイズの画像中に拡大領域を設定し、該拡大領域内の画像を前記画像表示手段に拡大表示させる電子ズーム手段と、
   前記マッチング領域が前記拡大領域に含まれない場合に、前記所定サイズの画像中における前記拡大領域の位置を前記拡大領域内に前記マッチング領域が含まれるように変更する制御手段と、
   を備えることを特徴とする電子カメラ。
2. 撮影者が知覚可能な所定の通知を行う通知手段を更に備え、
   前記制御手段は、前記マッチング領域が前記所定サイズの画像の外縁近傍に位置する場合に、前記通知手段を作動させることを特徴とする請求項１に記載の電子カメラ。
3. 前記光学系のズーム倍率を光学的に変更する光学ズーム手段を更に備え、
   前記制御手段は、前記マッチング領域の前記所定サイズの画像に対する面積比率が所定以上である場合に、前記光学系のズーム倍率が低倍率となるように前記光学ズーム手段を制御することを特徴とする請求項１又は２に記載の電子カメラ。
4. 撮影した画像を記録する画像記録媒体を更に備え、
   前記制御手段は、前記所定サイズの画像に、前記拡大領域の前記所定サイズの画像中における位置及び拡大倍率を付加情報として付加して、前記画像記録媒体に記録することを特徴とする請求項１〜３の何れか一項に記載の電子カメラ。

Images