本発明にかかる実施形態を、図面を参照して以下説明する。本実施形態では、少なくともオートフォーカス(Auto Focus:AF)機能を有しているデジタルスチルカメラに本発明を適用した場合を例に以下説明する。
本実施形態にかかるデジタルカメラ100の外観構成を、図1を参照して説明する。図1は本実施形態にかかるデジタルカメラ100の外観例を示す図(図1(a)は正面図、図1(b)は背面図)である。
図1(a)に示すように、デジタルカメラ100の正面には、入射窓10、測光部120、などが構成されている。また、図1(b)に示すように、デジタルカメラ100の背面には、操作部130として、例えば、ズームボタン132、モード切替スイッチ133、十字キー134、ボタン群135、などが構成される他、デジタルカメラ100の上面部には、シャッタボタン131が構成される。また、デジタルカメラ100の背面には、表示部140が構成されている。
入射窓10は、デジタルカメラ100による撮像時に、撮像対象(被写体)を示す光をデジタルカメラ100内部に入射させるために設けられた開口部と、当該開口部を覆う透明部材などから構成されている。
測光部120は、オートフォーカス(AF:Auto Focus)機能や自動露出(AE:Auto Exposure)機能を有する通常のカメラなどに一般的に用いられている測光装置から構成され、外部光量や被写体光量などの検出をおこなう。
シャッタボタン131は、デジタルカメラ100の撮像動作に関する操作をおこなうためのボタンである。すなわち、通常のスチルカメラにおけるシャッタボタンと同様の機能を有するものであり、例えば、半押しされることでAFやAE動作をおこない、全押しされることでシャッタ動作をおこなう。
ズームボタン132は、デジタルカメラ100のズーム機能を動作させるためのボタンである。
モード切替スイッチ133は、例えば、スライド式のスイッチにより構成され、デジタルカメラ100が有する複数の動作モードの切替などに用いられる。本実施形態では、AFモードの切替などに用いられるものとする。
十字キー134は、ユーザによる種々の入力操作をおこなうためのキーであり、左方向キー、右方向キー、上方向キー、下方向キーの4方向キーなどから構成されている。
ボタン群135は、デジタルカメラ100の有する種々の機能を操作するためのボタンであり、例えば、表示部140にメニュー画面を表示させるためのメニューボタンや、表示部140の表示・非表示を選択するためのディスプレイボタン、などとして用いられる。
表示部140は、例えば、液晶表示装置から構成され、撮影時の被写体画像や撮像画像などを表示する。また、デジタルカメラ100の各種機能の実行時に用いられる種々の画面を表示する。
本実施形態にかかるデジタルカメラ100は、入射光を屈曲させて撮像素子に結像させる、いわゆる屈曲光学式のデジタルカメラであるものとする。このような、屈曲光学式を実現するための光学ユニット200が、図2(a)の破線で示す位置に構成されている。すなわち、デジタルカメラ100の正面部に構成されている入射窓10に対応する位置に構成されている。
光学ユニット200の構成を、図2(b)を参照して説明する。図2(b)は、図2(a)に示すデジタルカメラ100の側面図(デジタルカメラ100の背面側から向かって左側側面を示す)であり、デジタルカメラ100の内部に構成されている光学ユニット200の構成を模式的に示している。図示するように、光学ユニット200は、主に、ミラー210、レンズユニット220、撮像素子230、などから構成されている。
ミラー210は、入射窓10から入った入射光を屈曲させるためのミラー(反射体)であり、図2(b)に示すように、入射窓10に対応する位置に傾斜して配置されている。これにより、入射窓10に入った入射光が、デジタルカメラ100の下部方向に屈曲される。
レンズユニット220は、複数のレンズ群から構成され、ミラー210によって屈曲された被写体光がレンズユニット220を透過する。
撮像素子230は、例えば、CCD(Charge Coupled Device:電荷結合素子)などの光電変換素子などから構成され、ミラー210により屈曲され、レンズユニット220を透過した被写体光を受光し、受光量に応じた電気信号を生成することで、撮像画像データを生成する。なお、撮像素子230は、所定のADC(Analog-Digital Converter:アナログ−デジタル変換器)を備えているものとし、生成された電気信号をデジタル変換することで、撮像画像のデジタルデータが生成される。
図2(b)に示すように、本実施形態では、デジタルカメラ100の底面付近において、受光面がデジタルカメラ100の上部方向を向き、かつ、底面と平行するような位置に撮像素子230が配置される。この場合において、ミラー210は、屈曲させた入射光が撮像素子230に垂直に入射する角度で傾斜される。本実施形態では、デジタルカメラ100の鉛直方向に入射光を屈曲させるので、デジタルカメラ100の正面に垂直に向かう被写体光の光軸と、ミラー210の反射面とのなす狭角が45°もしくは略45°となる傾斜でミラー210が配置される。この角度を以下「基準角度」という。
光学ユニット200の詳細な構成を、図3を参照して説明する。図3は、光学ユニット200の構成例を示す斜視図である。図示するように、光学ユニット200は、台座201上に、ミラー210、レンズユニット220、撮像素子230が設置されている。
本実施形態にかかるミラー210は、回動可能に構成されており、ミラー210を回動させるためのミラーユニット300内に収納された状態で台座201に設置される。ミラーユニット300の構成については後述する。
レンズユニット220は、フォーカス用レンズ220a、ズーム用レンズ220b、光学動作部221、レンズ支持体222、レンズ駆動部223、などから構成されている。
フォーカス用レンズ220aおよびズーム用レンズ220bは、レンズ支持体222によって保持された可動レンズであり、それぞれが図中の両矢印に示す方向に移動する。ここで、レンズ支持体222は、フォーカス用レンズ220aの一端を指示する支持体222aと、ズーム用レンズ220bの一端を指示する支持体222b、および、フォーカス用レンズ220aとズーム用レンズ220bのそれぞれの他端を指示する222cから構成されている。支持体222aと支持体222bは、例えば、ラックアンドピニオン機構を備えている。このような支持体222aと支持体222bは、例えば、モータやギアなどから構成されているレンズ駆動部223によってそれぞれが回転駆動される。この動作により、フォーカス用レンズ220aおよびズーム用レンズ220bが移動する。
ここで、フォーカス用レンズ220aは、測光部120の動作に基づくAF機能により動作する。また、ズーム用レンズ220bは、ズームボタン132の操作により動作する。
光学動作部221は、例えば、固定レンズや絞り羽、シャッタ機構、などから構成され、フォーカス用レンズ220aおよびズーム用レンズ220bを透過した被写体光を撮像素子230に結像させるとともに、設定された露出に応じた絞りによるシャッタ動作をおこなう。
次に、図3に示すミラーユニット300の構成を、図4を参照して説明する。図4(a)は、ミラーユニット300を入射窓10側から見た平面図であり、図4(b)は、図4(a)に対応した側面図である。すなわち、図4(a)は、デジタルカメラ100の正面から見たミラーユニット300を示し、図4(b)は、デジタルカメラ100の背面側から向かって左側側面から見たミラーユニット300を示している。
図示するように、ミラーユニット300は、台座301、第1の保持体310、第1のアクチュエータ311、固定支持体312、可動支持体313、第2の保持体320、第2のアクチュエータ321、などから構成される。
第1の保持体310は、ミラー210の裏面(反射面の裏側)を覆うとともに、ミラー210の反射面が露出するようミラー210を保持する。このようにミラー210を保持した第1の保持体310は、第2の保持体320によって保持される。
この場合において、第1の保持体310は、図4(a)に示すX−X’軸を中心に回動可能となるよう第2の保持体320に保持された、いわゆるジンバルである。すなわち、第1の保持体310によって保持されたミラー210が、X−X’軸を中心に回動可能に保持されることになる。ここで、X−X’軸(以下、「X回動軸」とする)は、ミラー210の長手方向に平行なミラー210の中心軸である。より詳細には、図5に示すように、シャッタボタン131が上面となるようデジタルカメラ100を水平設置した場合において、デジタルカメラ100の正面に垂直に入射する入射光の光軸と直交するデジタルカメラ100の水平軸である。
第2の保持体320は、図4(b)に示すように、上部が入射窓10側に突出した形状を有している。このような形状の第2の保持体320に保持されることで、第1の保持体310は、ミラー210が基準角度となるようミラー210を保持することになる。
第1のアクチュエータ311および第2のアクチュエータ321は、第1の保持体310および第2の保持体320によって保持されているミラー210を回動させるためのアクチュエータであり、例えば、直線運動を発生するボイスコイルモータによって構成される。図4(a)に示すように、第1のアクチュエータ311は、図中のZ−Z’軸に平行する方向に直線運動が発生するよう台座301に固定され、第2のアクチュエータ321は、図中のX回動軸に平行する方向に直線運動が発生するよう台座301に固定される。
この場合、第1のアクチュエータ311は、両矢印ZA−ZA’が示すように、X回動軸を基準に両方向に直線運動を発生する。また、第2のアクチュエータ321は、両矢印XA−XA’が示すように、Z−Z’軸を基準に両方向に直線運動を発生する。ここで、Z−Z’軸は、図5に示すように、シャッタボタン131が上面となるようデジタルカメラ100を水平設置した場合におけるデジタルカメラ100の垂直軸に平行する軸である。
そして、第2の保持体320は、図4(b)に示すように、Z−Z’軸(以下、「Z回動軸」とする)を中心に回動可能となるよう台座301に保持された、いわゆるジンバルである。より詳細には、台座301から入射窓10方向に垂直に突出している上部ステー301aと下部ステー301bによって、第2の保持体320が回動可能に挟持されている。
そして、第1のアクチュエータ311が発生した直線運動は、固定支持体312と可動支持体313を介して第1の保持体310に作用する。ここで、固定支持体312は、図4(a)に示すように、例えば、略角柱形状の支持体であり、一端が第1のアクチュエータ311の可動部に固定され、第1のアクチュエータ311からミラー210の背面に突出している。この場合、固定支持体312の長手方向の中心線がX−X’軸と一致する位置が第1のアクチュエータ311の基準位置となる。そして、第1のアクチュエータ311の駆動とともに固定支持体312も上下方向(図4(a)に示す両矢印ZA−ZA’方向)に移動する。
また、可動支持体313は、図4(b)に示すように、略棒状の形状であり、一端が第1の保持体310に固定され、他端が固定支持体312と回動可能に接続されている。この可動支持体313は、第1のアクチュエータ311が基準位置にあるときは、その長手方向の中心線が、X−X’軸と直交するデジタルカメラ100の水平軸と平行する。ここで、可動支持体313との接続部分における固定支持体312の断面は、図4(b)に示すように、ミラー210側が開口した略コの字形状となっている。このようなコの字形の開口部に、図4(b)に示すような略球形の形状となっている可動支持体313の端部が接続される。つまり、このような略球形の端部が固定支持体312の開口部で係合することで回動可能に接続されている。この場合において、第1のアクチュエータ311が基準位置にあるとき、側面から見た可動支持体313と固定支持体312との角度は、図4(b)に示すように略直角となる。このように固定支持体312と可動支持体313とが接続されているので、第1のアクチュエータ311による固定支持体312の上下移動に応じて、側面から見た可動支持体313と固定支持体312との角度が変化することになる。
このような可動支持体313のもう一方の端部は、ミラー210の中心位置に対応する位置で第1の保持体310と固定されている。上述したように、第1の保持体310はX−X’軸まわりに回動可能に第2の保持体320に保持されているので、固定支持体312の上下移動に応じて固定支持体312の角度が変化すると、第1の保持体310が、図4(b)の両矢印a−a’方向に回動することになる。すなわち、第1の保持体310に保持されているミラー210が、第1のアクチュエータ311の動作によってX−X’軸まわりに回動することになる。
一方、第2のアクチュエータ321が発生した直線運動は、第2の保持体320に作用する。この場合、第2の保持体320は、Z回動軸を中心に回動可能に保持されているため、第2のアクチュエータ321がX回動軸方向に発生させた直線運動を第2の保持体320に作用させることによって、第2の保持体320はZ回動軸を中心に回動する。この場合、第2の保持体320に保持されている第1の保持体310は、Z回動軸まわりに回動することになる。ミラー210は第1の保持体310によって保持されているので、第2のアクチュエータ321の動作により、ミラー210がZ回動軸まわりに回動することになる。
ここで、従来のAF機能を有するカメラにおいて実現されている、いわゆる追従AF(コンティニュアスAF)では、移動する被写体が常に合焦するようオートフォーカスすることで、例えば、カメラに近づいてくる被写体などでも自動的に合焦させることができるので、撮影者はピント合わせを意識せず、構図やシャッターチャンスに集中して撮影をおこなうことができる。
このような追従AFにおいて、被写体を常に合焦させるためには、被写体が撮像画像上の一定位置にある必要がある。よって、追従AFで撮影する場合、被写体が所定の位置になるよう撮影者がカメラ位置を常に調整する必要がある。
特に、本実施形態にかかるデジタルカメラ100のように、屈曲光学方式を採用した軽量・小型なカメラの場合、撮影者の手の動きなどの影響を受けやすい。よって、追従AFで撮影する場合に必要となるカメラ位置の調整は、手ブレや像ブレの発生要因となる。
したがって、本実施形態では、ミラー210を上記のように回動させることで、移動する被写体が常に撮像画像上の所定位置となるようにフレーミングする動作をおこなう。すなわち、ミラー210がX回動軸まわりに回動すれば、撮像素子230に結像する入射光が撮像画像の縦方向に変化し、ミラー210がZ回動軸まわりに回動すれば、撮像素子230に結像する入射光が撮像画像の横方向に変化するので、デジタルカメラ100の本体を動かさずに、撮像画像のアングルを変化させることができる。このような動作を用いて、被写体像の移動に応じてアングルを変化させれば、被写体像が常に撮像画像上の所定位置となるようフレーミングすることができる。
本実施形態においては、図4および図5に示すように、ミラー210をX回動軸まわりに回動させて撮像画像を縦方向に変化させる動作を以下「チルト回動」とし、ミラー210をX回動軸まわりに回動させて撮像画像を横方向に変化させる動作を以下「パン回動」とする。そして、このようなチルト回動やパン回動によって被写体像が一定位置となるようフレーミングし、かつ、当該被写体像が常に合焦しているようオートフォーカスして撮像するモードを、本実施形態では「追従フレーミングモード」とする。
次に、デジタルカメラ100の内部構成を、図6を参照して説明する。図6は、デジタルカメラ100の内部構成を示すブロック図である。図示するように、本実施形態にかかるデジタルカメラ100は、上述した測光部120、操作部130、表示部140、光学ユニット200、撮像素子230、ミラーユニット300、などを制御する制御部110と、記憶部150を備えている。
制御部110は、例えば、CPU(Central Processing Unit:中央演算処理装置)やワークエリアとなるメモリ(レジスタやRAM(Random Access Memory)など)から構成され、デジタルカメラ100の各部を制御する。また、所定の動作プログラムを実行することで、後述する各処理を実現する。
記憶部150は、例えば、ROM(Read Only Memory)やフラッシュメモリなどの記憶装置から構成され、デジタルカメラ100の動作を実行するために必要な各種データを記憶する。本実施形態では、図6に示すように、撮像画像格納領域151、プログラム格納領域152、などの記憶領域が記憶部150に作成され、各記憶領域に所定の情報が格納される。
撮像画像格納領域151は、デジタルカメラ100が撮像した画像を示す画像データを格納する。なお、撮像画像格納領域151については、デジタルカメラ100に着脱可能なリムーバブル式の記憶装置(メモリカードなど)に構成されていてもよい。
プログラム格納領域152は、制御部110が実行する動作プログラムを格納する。プログラム格納領域152に格納されている動作プログラムを制御部110が実行することで、制御部110は、図7の機能ブロック図に示すような機能を実現する。すなわち、制御部110は、プログラムの実行によって、撮像処理部111、画像処理部112、追従処理部113、光学系処理部114、などとして機能する。
撮像処理部111は、光学ユニット200および撮像素子230を駆動制御することで、撮像動作を実行する。
画像処理部112は、撮像処理部111の制御により撮像素子230によって生成された撮像画像データに所定の画像処理(例えば、データ圧縮処理など)をおこない、当該画像データを表示部140に表示する他、撮像画像格納領域151に格納する。
追従処理部113は、ミラーユニット300を制御することでミラー210をパン回動あるいはチルト回動させ、被写体像が撮像画像上の所定位置となるようフレーミングする追従フレーミング動作をおこなう。
光学系処理部114は、画像処理部112からの撮像画像データに基づいて光学ユニット200を制御することで、追従処理部113によって追従された被写体像に常に合焦するAF動作をおこなう。
本実施形態では、制御部110がプログラムを実行することにより、上記機能構成が論理的に実現されるが、これらの機能は、例えば、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)などのハードウェアによって構成されてもよい。
なお、上記の各構成は、本発明を実現するために必要な構成であり、デジタルカメラとしての基本機能や付加機能を実現するために必要とされるその他の構成については、必要に応じてデジタルカメラ100に備えられているものとする。
以上のような構成のデジタルカメラ100による動作を以下説明する。ここでは、本実施形態にかかる追従フレーミングモードによって、移動する被写体をスチル撮影する場合を例に以下説明する。この場合にデジタルカメラ100が実行する撮像処理を、図8に示すフローチャートを参照して説明する。この撮像処理は、追従フレーミングモードが選択されことを契機に開始されるものとする。
処理が開始されると、撮像処理部111の制御により撮像素子230が動作し、画像処理部112によって、入射光が随時表示部140に表示される。この状態で、画像処理部112が複数のフォーカス枠を表示部140に表示する(ステップS101)。フォーカス枠の表示例を図11(a)に示す。図示するように、ここでは、それぞれが正方形のフォーカス枠が、表示部140に表示される撮像画像上に3×3配置されるものとする。なお、このような複数のフォーカス枠群の中心と撮像画像(=ファインダ画面)の中心とが一致するようフォーカス枠が表示されるものとする。
このようなフォーカス枠は、従来からのAF分野において実現されている、いわゆるマルチポイントAFで用いられているフォーカス枠と同様のものである。通常のマルチポイントAFの場合、例えば、ユーザが十字キーなどを操作することで、いずれかのフォーカス枠を指定してシャッタを半押しすると、指定したフォーカス枠の部分が合焦するようAF動作がおこなわれる。
本実施形態においては、このように合焦させるフォーカス枠を予め規定しておき、デフォルトとして画像処理部112が自動的に指定する。ここでは、3×3のフォーカス枠のうち中央の枠をフォーカス対象としてデフォルト指定する(ステップS102)。指定されたフォーカス枠は、図11(a)に示すように、例えば、点滅表示などにより、他のフォーカス枠と識別できるように表示部140に表示されるものとする。
すなわち、本実施形態では、中央のフォーカス枠の位置、つまり撮像画像の中心位置がフォーカス対象となるようデフォルトで設定されているものとする。この場合、撮影者は、撮影対象となる被写体が画面中央に表示されるようデジタルカメラ100の位置や角度、あるいは、撮影位置などを調整する。そして、被写体が画面中央に表示されたときに、シャッタボタン131を半押しすることで、追従フレーミングモードにかかる追従および合焦動作が開始される。
この場合、半押しを示す入力信号がシャッタボタン131から制御部110に入力されると(ステップS103:Yes)、光学系処理部114がAF処理を実行する(ステップS200)。このAF処理を、図9に示すフローチャートを参照して説明する。
処理が開始されると、光学系処理部114はまず、今回の追従フレーミングモードによる撮像で、指定された枠についての追従動作が初回であるか否かを判別する(ステップS201)。この場合、指定された枠についての動作が実行されたときにONされる所定のフラグ(以下、「指定枠フラグ」とする)に基づいて判別する。この指定枠フラグは、例えば、追従フレーミングモードが選択されている場合に、ワークエリアなどに設定されるものとする。
ここでは、ステップS102で指定したフォーカス枠についての動作はまだ実行されていないので、指定枠フラグはOFFとなっている。よって、光学系処理部114は初回であると判別する(ステップS201:Yes)。この場合、光学系処理部114は、指定枠フラグをONするとともに(ステップS202)、光学ユニット200のレンズ駆動部223を制御し、フォーカス用レンズ220aの可動範囲の最端位置にフォーカス用レンズ220aを移動させる初期化動作をおこなう(ステップS203)。
このようにしてレンズ位置が初期化されると、光学系処理部114はその旨と現在のレンズ位置を示すレンズ位置情報とを画像処理部112に通知する。画像処理部112は、光学系処理部114からの通知に応じて、現在のレンズ位置で得られる撮像画像から、デフォルト指定された中央枠内の画像を抽出し(ステップS204)、例えば、当該画像の画像データに対しバンドパスフィルタ処理などをおこなうことで、高周波成分を抽出する(ステップS205)。
画像処理部112はさらに、例えば、抽出した高周波成分を積分処理することにより、当該画像の合焦評価値を算出する(ステップS206)。画像処理部112は、算出した合焦評価値と、光学系処理部114から通知されたレンズ位置情報とを対応づけてワークエリアに記録する(ステップS207)。
合焦評価値をワークエリアに記録すると、画像処理部112は、前回記録された合焦評価値があるか否かを判別する(ステップS208)。ここでは、AF処理開始後に始めて合焦評価値を算出したので、前回記録された合焦評価値はない(ステップS208:No)。この場合、画像処理部112は、光学系処理部114にレンズ移動を指示する。
光学系処理部114は、画像処理部112からの指示に応じて、光学ユニット200のレンズ駆動部223を制御し、フォーカス用レンズ220aが、可動範囲の他方の最端位置に向かって所定の単位移動量分移動させる(ステップS210)。この移動により、フォーカス用レンズ220aの位置が、他方の最端位置に到達していなければ(ステップS211:No)、光学系処理部114は、移動後のフォーカス用レンズ220aの位置を示すレンズ位置情報を画像処理部112に通知する。
この場合、画像処理部112は、移動後のレンズ位置で取得される撮像画像について、ステップS204〜ステップS207の処理をおこなうことで、レンズ位置と合焦評価値とを対応づけてワークエリアに記録する。このような動作を、フォーカス用レンズ220aが他方の最端位置に到達するまで繰り返しおこなうことで、所定の単位移動量ずつ移動させたフォーカス用レンズ220aの位置毎に、指定されたフォーカス枠内の画像についての合焦評価値が順次ワークエリアに記録される。
このようにして、所定の単位移動量分ずつレンズを移動させ、それぞれの位置において算出した複数の合焦評価値がワークエリアに記録される。よって、2回目以降の動作においては、ステップS208の判別において、「前回評価値あり」と判別されることになる(ステップS208:Yes)。この場合、画像処理部112は、ステップS206で算出した合焦評価値が、前回算出した合焦評価値(すなわち、レンズを移動させる前の合焦評価値)より増加しているか否かを判別する(ステップS209)。そして、合焦評価値が増加していれば(ステップS209:Yes)、さらにレンズを移動させ(ステップS210)、増加していなければ(ステップS209:No)、処理を終了する。
このような動作により、合焦評価値のピークとなるまでレンズを移動させることになる。つまり、最端部から順次レンズを移動させているので、その過程で算出される合焦値は放物線状に変化する。ここで、前回の算出値よりも増加しているのであれば、放物線のピークに向かっているかピークに達していることになり、前回の算出値から増加しなければ、ピークを越えていることになる。よって、今回の算出値が前回の算出値から増加していない場合(ステップS209:No)は、処理を終了することでレンズを移動させない。この場合、前回の算出値がピーク値であるので、当該算出値が得られた位置でレンズが停止する。つまり、そのレンズ位置で合焦したことになる。これにより、指定されたフォーカス枠(すなわち、中央枠の位置)の画像が合焦することになる。ここでは、図11(b)に示すように、被写体(図中の人物)が中央となった状態でAF動作を開始しているので、撮影者が所望する被写体に合焦することになる。
一方、今回の算出値が前回の算出値よりも増加している場合(ステップS209:Yes)は、レンズを移動させ(ステップS210)、移動させたレンズ位置が終端である他端位置でなければ(ステップS211:No)、ステップS204〜ステップS207の処理をおこなうことで、ピーク値が出現するまでレンズ移動と合焦評価値の算出をおこなう。ここで、ピーク値が出現せずにレンズ位置が終端に到達してしまった場合(ステップS211:Yes)、指定フォーカス枠での合焦ができなかったことになる。これは、例えば、当該部分のコントラストが弱いことなどに起因する合焦失敗である。この場合は、ステップS203に戻ってレンズ位置を初期化し、AF動作をやり直す。
シャッタボタン131を半押しした直後の上記AF処理では、フォーカス対象となっている中央枠に被写体が位置しているので、当該位置でのAF動作によって被写体に合焦させることになる。このようにして被写体に合焦させると、図8に示す撮像処理のフローに戻る。ここでは、上記AF処理によって、指定枠の画像が合焦した場合(ステップS104:No)、シャッタボタン131が全押しされるまで、指定フォーカス枠でのAF処理が繰り返し実行される(ステップS105:No)。2回目以降のAF処理の動作を、再度図9のフローチャートを参照して説明する。
1回目の処理時のステップS202で指定フラグ枠をONしているので、2回目以降のAF処理におけるステップS201では、指定枠フラグがOFFではないと判別される(ステップS201:No)。この場合、光学系処理部114は、ステップS204〜ステップS206と同様の処理により、指定枠の画像についての合焦評価値を算出し(ステップS212)、算出した合焦評価値と、前回動作時のステップS207で記録されたピーク値とを比較する。
ここで、被写体が移動していなければ、同じレンズ位置で合焦することになる。この場合、今回算出した合焦評価値と前回に記録されたピーク値とは同じになる(ステップS213:No)。この場合は、そのままAF処理を終了し、図8に示す撮像処理のフローに戻る。
一方、図11(c)に示すように、被写体が移動している場合、最初に指定した中央枠の位置から被写体が外れる場合がある。このとき、最初に合焦したときのレンズ位置のままでは合焦しないので、当該位置における合焦評価値は前回のピーク値とは異なることになる。よって、同じ指定枠についての合焦評価値が異なる場合(ステップS213:Yes)、光学系処理部114は、当該位置では合焦不可であると判定し(ステップS214)、図8に示す撮像処理のフローに戻る。
撮像処理のフローにおいては、追従処理部113が、直前のAF処理により合焦されたか否かを判別する(ステップS104)。すなわち、AF処理(図9)のステップS214で合焦不可判定がされた場合は、合焦できていない(合焦NG)と判別する(ステップS104:Yes)。
初回において合焦できたフォーカス枠で合焦できなくなった場合、被写体が移動していると考えられるので、追従処理部113は、被写体を追従してフレーミングするための追従フレーミング処理を実行する(ステップS300)。この追従フレーミング処理を、図10に示すフローチャートを参照して説明する。
処理が開始されると、追従処理部113は、追従動作が初回であるか否かを判別する(ステップS301)。ここでは、まだ追従動作をおこなっていないので初回動作であると判別する(ステップS301:Yes)。この場合、追従処理部113は、図12(a)に示すように、撮像処理のステップS102で指定したフォーカス枠(すなわち、中央枠)の周囲の枠を順次指定し(ステップS302)、各フォーカス枠でのAF動作を光学系処理部114に指示する。光学系処理部114は、追従処理部113からの指示に応じて、各フォーカス枠について、上記AF処理のステップS203〜ステップS210と同様の処理をおこなうことにより、合焦する可能性のあるフォーカス枠を検索する。光学系処理部114は、各フォーカス枠について、合焦評価値がピークとなったときのレンズ位置を取得して追従処理部113に通知する。
ここで、例えば、いずれのフォーカス枠においても合焦評価値のピークが得られない場合などは、合焦可能性のあるフォーカス枠がないと画像処理部112は判別する(ステップS304:No)。この場合、ステップS302に戻り、各フォーカス枠でのAF動作を再度実行する。
一方、いずれかのフォーカス枠で合焦評価値のピークが得られた場合、画像処理部112は、合焦可能性のあるフォーカス枠があると判別する(ステップS304:Yes)。この場合において、合焦可能性のあるフォーカス枠が複数ある場合(ステップS305:Yes)、追従処理部113は、光学系処理部114から通知されたレンズ位置に基づき、例えば、合焦距離が最も近いフォーカス枠を合焦枠として指定する(ステップS306)。一方、合焦可能性のあるフォーカス枠が1つだけの場合(ステップS305:No)、当該フォーカス枠を合焦枠として指定する。このようにして、図12(b)に示すように、移動した被写体に対応するフォーカス枠(図中で強調表示した枠)が指定される。
こうして、中央枠とは異なるフォーカス枠を新たな合焦枠として指定すると、追従処理部113は、当該合焦枠に対応する画像が画像の中央となるよう、パン・チルト動作によるフレーミングをおこなう(ステップS307)。すなわち、デフォルトの中央枠と新たな合焦枠との間の方向と距離に基づいてミラーユニット300を制御し、ミラー210をパン・チルト回動させることで、図12(c)に示すように、新たに指定された位置(すなわち、合焦枠の位置)の被写体画像が撮像画像の中央となるよう自動的にフレーミングする。
追従処理部113は、このときのパン・チルトの動作量と方向を、追従動作履歴としてワークエリアに記録する(ステップS308)。ここで、撮像処理のステップS102でデフォルトしていしたフォーカス枠とは異なるフォーカス枠に基づいて被写体を合焦させたので、この後のAF動作は新たな合焦位置に基づいておこなうことになる。よって、追従処理部113は、次のAF動作がリセットされるよう指定枠フラグをOFFし(ステップS309)、図8に示す撮像処理のフローに戻る。
このような動作は、シャッタボタン131が半押しされている間、繰り返し実行される(ステップS105:No)。すなわち、最初に中央位置にあった被写体をAF動作で合焦した後、被写体の移動によって当該位置では合焦しなくなった場合に、他のフォーカス枠から合焦枠を検索し、当該合焦枠の位置にある被写体画像が中央になるようパン・チルト動作することで、シャッタボタン131が半押しされている間、常に被写体画像が撮像画像の中央となるようなフレーミングが自動的におこなわれ、かつ、当該被写体画像が常に合焦する。この場合、ミラー210の回動によって、被写体が中央となるよう自動的に追従しながらフレーミングしているので、被写体を中央にさせるためにデジタルカメラ100の本体を動かす必要がない。
上述したように、追従フレーミング処理が繰り返し実行されるので、2回目以降の動作時には、それまでの追従履歴に基づいて合焦枠の予測をおこなってフレーミングすることができる。この場合の追従フレーミング処理の動作を、再度図10を参照して説明する。2回目以降の動作の場合(ステップS301:No)、追従処理部113は、追従動作履歴が示す前回、あるいは、前々回のパン・チルト動作の動作量や方向に基づき、例えば、一定の方向に一定量ずつパン・チルトさせているのであれば、次回も同一方向に同一量移動させた位置に被写体が移動すると予測することができる(ステップS310)。
このようにして次の合焦枠を予測すると、追従処理部113は、当該予測枠におけるAF動作の実行を光学系処理部114に指示する。光学系処理部114は、追従処理部113が予測したフォーカス枠において、上記AF処理のステップS203〜ステップS210と同様の動作をおこなう(ステップS311)。ここで、予測通りに被写体が移動していれば、当該予測枠で合焦することになる(ステップS312:Yes)。この場合は、ステップS307以降の処理をおこなうことで、パン・チルト動作によって、当該合焦枠の画像が撮像画像の中央となるように自動的にフレーミングして、図8に示す撮像処理のフローに戻る。
一方、予測枠で合焦しない場合(ステップS312:No)は、履歴に基づく予測通りに被写体が移動していないので、ステップS302〜ステップS306の処理によって合焦枠を検索し、検索された合焦枠の画像が撮像画像の中央となるようパン・チルト動作をおこない(ステップS306〜)、図8に示す撮像処理のフローに戻る。
このようにして、シャッタボタン131が半押しされている間は、被写体画像が常に中央となるよう自動的にフレーミングされるとともに、当該被写体が常に合焦する。撮影者は、自動的に被写体が追従されている撮像画面を見ながら、所望するシャッタチャンスとなったときにシャッタボタン131を全押しする(ステップS105:Yes)。この場合、撮像処理部111によって、そのときの撮影条件(例えば、シャッタスピードなど)に基づいた撮像動作がおこなわれ、それによって得られた画像データが、画像処理部112によって撮像画像格納領域151に格納される。このようにして、シャッタボタン131の操作に応じたスチル撮像動作が実行される(ステップS106)。
この場合において、全押ししたシャッタボタン131をさらに継続して半押し状態にすれば(ステップS107:No)、ステップS102からの処理が繰り返し実行され、追従フレーミング動作が継続される。これにより、追従フレーミングをおこないながら、連続して複数のスチル撮影(いわゆる、連写)をおこなうことができる。すなわち、デジタルカメラ100を動かすことなく、移動する被写体が中央となるよう自動的にフレーミングしながら、連続的にスチル撮影をおこなうことができる。
一方、シャッタボタン131をリリースした場合(ステップS107:Yes)、追従フレーミングによるスチル撮像を終了する。この場合、追従処理部113は、ミラーユニット300を制御し、上記追従フレーミング処理の実行により回動させたミラー210を基準位置に復帰させるとともに(ステップS108)、上記AF処理の実行でONとなっている指定枠フラグをOFFして(ステップS109)、処理を終了する。
以上説明したように、本発明を上記実施形態の如く適用することで、移動する被写体が常に所定位置(例えば、撮像画像の中央)となるよう、デジタルカメラ100が被写体を自動的に追従してフレーミングするとともに、当該被写体像が常に合焦するようAF動作がおこなわれる。このような追従動作は、ミラー210の回動によりおこなわれているので、デジタルカメラ100の本体を動かすことなく被写体を追従することができる。よって、屈曲光学式で小型・軽量なデジタルカメラにおいて、手ブレや像ブレの発生を効果的に防止することができる。
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
例えば、上記実施形態における追従フレーミング処理においては、デフォルト指定された位置(すなわち、中央枠)以外で合焦する位置を検索することで、被写体像を追従する場合を例示したが、被写体像を追従する方法はこれに限られず任意である。
例えば、図13(a)に示すように、被写体像が合焦したフォーカス枠を中心にした所定の特徴抽出領域CAを設定し、当該特徴抽出領域CAに対応する画像の特徴に基づいて、被写体像を追従するようにしてもよい。この場合、初回に指定したデフォルト位置(中央位置など)で被写体像を合焦した際に特徴抽出領域CAを設定して特徴を抽出しておく。そして、被写体の移動により当該位置では合焦しなくなった場合、他のフォーカス枠に対応する特徴抽出領域CAからそれぞれ特徴を抽出し、最初に抽出した特徴と同一もしくは類似する特徴を示す位置を現在の被写体位置とすることができる。この場合、当該特徴が抽出された位置が中央となるようパン・チルト動作をおこなえば、上記実施形態と同様に、被写体が中央位置となるフレーミングを自動的におこなうことができる。
この場合において、抽出する画像の特徴は任意であり、例えば、図13(b)に示すように、特徴抽出領域CAにおける画像の輝度や階調値、あるいは、濃淡などを特徴として抽出することができる。あるいは、図13(c)に示すように、特徴抽出領域CAにおける画像を構成する特定の色を示す色情報や色差成分比などを特徴として抽出してもよい。あるいは、図13(d)に示すように、特徴抽出領域CAにおける画像の輪郭形状や面積、重心などを算出して特徴として抽出してもよい。
これらの方法に代えて、例えば、被写体画像の移動ベクトルに基づいて、被写体像の移動位置を予測するようにしてもよい。この場合、例えば、図14(a)に示すように、被写体像が合焦したフォーカス枠を中心にした所定のベクトル検出領域VAを設定し、撮像画像を時系列に連続する複数のフレーム画像として処理することで、図14(b)に示すように、フレーム間のベクトル検出領域VAに示されている被写体像を比較して、被写体像の移動ベクトルを算出することができる。
この場合、例えば、図14(c)に示すように、ベクトル検出領域VAを複数のサブブロックに分割して、サブブロック毎の移動ベクトルを算出できる他、例えば、図14(d)に示すように、ベクトル検出領域VAの全体もしくは中心位置における移動ベクトルを算出する。そして、図14(e)に示すように、前回指定したフォーカス枠から、算出した移動ベクトル分離れたフォーカス枠を指定して、当該フォーカス枠が中央となるようにパン・チルト動作をおこなえば、上記実施形態と同様に、被写体が中央位置となるよう自動的にフレーミングすることができる。
なお、上記実施形態では、撮像画像の中央部をフォーカス対象としてデフォルト指定するものとしたが、フォーカス対象とする位置はこれに限られず任意である。例えば、複数のフォーカス枠のいずれかを撮影者が指定し、被写体像が指定したフォーカス枠の位置となるようパン・チルト動作でフレーミングするようにしてもよい。これにより、撮影者の撮影意図に応じた構図で被写体を追従することができる。
また、上記実施形態では、ミラー210を回動させるアクチュエータをボイスコイルモータによって構成したが、これに限られず、例えば、圧電アクチュエータやバイモルフ型ピエゾ・アクチュエータなどから構成してもよい。また、上記実施形態で示したミラー210を保持する構成は一例であり、ミラー210をチルト回動、及び/又は、パン回動させるよう保持できるのであれば、ミラー210を保持する構成は上記実施形態に示したものに限られず、任意のものを採用してもよい。
上記実施形態で示した自動追従動作に加え、ミラー210の回動によるブレ補正動作をおこなってもより。この場合、デジタルカメラ100における、X回動軸やZ回動軸に平行する水平軸および垂直軸まわりの動きを検出する検出部(例えば、角速度センサなど)を設け、このような検出部の検出値に応じてミラー210を回動させることでブレ補正をおこなうことができる。
また、上記実施形態では、デジタルカメラ100によるスチル撮像時に、被写体を自動追従する動作をおこなったが、スチル撮像に限られず、動画撮像時に上述した被写体追従をおこなってもよい。
100…デジタルカメラ、110…制御部、111…撮像処理部、112…画像処理部、113…追従処理部、114…光学系処理部、120…測光部、131…シャッタボタン、140…表示部、150…記憶部、151…撮像画像格納領域、152…プログラム格納領域、200…光学ユニット、210…ミラー、220…レンズユニット、230…撮像素子、300…ミラーユニット、310…第1の保持体、311…第1のアクチュエータ、320…第2の保持体、321…第2のアクチュエータ