JP6061715B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、動きのある被写体に対して自動撮影のための撮影タイミングを設定できるようにする撮像装置、その制御方法及びプログラムに関する。

近年、電子カメラ等の撮像装置において、液晶画面とタッチパネルを装備してグラフィカル・ユーザ・インタフェース（ＧＵＩ）により機器を操作する方法が一般的になってきている。
例えば液晶画面に表示されている被写体をタッチすることで、フォーカスを合わせる動作を起動できるようになっている。ユーザはフォーカスを合わせたい被写体にタッチするという極めて直観的な操作をするだけでよいので、操作性が大きく向上することになる。
また、例えば特許文献１では、タッチパネルを用いて円状の領域を設定し、被写体が前記設定した領域内に入るように誘導し、前記領域内で顔が検出されたら自動的に撮影を行うようにしたカメラ装置が開示されている。ユーザがタッチパネル上で指をなぞることにより自動撮影の条件を図示することで、シャッターを押さなくても撮影ができるような構成となっている。

特開２０１２−１０１６２号公報

特許文献１に開示されたカメラ装置は、タッチパネルを用いて設定した領域に被写体の顔が存在するか否かにより撮影タイミングを設定するものであり、撮影画角内の所定の位置に被写体を収めたいというニーズに適した構成となっている。
しかしながら、動きのある被写体に対して瞬間的な撮影タイミングを設定したい場合には、被写体の存在する領域を設定するだけでは足りない。例えば運動会の徒競争のゴールラインに単に人物が存在するだけで撮影を行っても、付近に人が立っているだけかもしれず、選手がゴールする瞬間を撮影できるとは限らない。

本発明は、上記のような点に鑑みてなされたものであり、タッチパネルを用いた直感的な操作により、動きのある被写体に対して自動撮影のための撮影タイミングを設定できるようにすることを目的とする。

本発明の撮像装置は、表示手段及びタッチパネルを有する撮像装置であって、前記表示手段にライブビュー画像を表示する表示制御手段と、前記タッチパネルの操作に応じてライブビュー画像に撮影タイミング設定用の図形を描画する描画手段と、前記描画手段により描画した撮影タイミング設定用の図形の位置に基づいて距離データを取得する取得手段と、前記取得手段により取得された距離データに基づいて撮影条件を設定する撮影条件設定手段と、被写体の動き情報を検出する動き情報検出手段と、前記動き情報検出手段により検出した動き情報と、前記撮影条件設定手段により設定した撮影条件とに基づいて撮影を実行する制御手段とを備えたことを特徴とする。

本発明によれば、タッチパネルを用いた直感的な操作により、動きのある被写体に対して自動撮影のための撮影タイミングを設定することができる。これにより、撮影タイミング設定用の図形に基づいて設定された撮影条件と、被写体の動き情報とに基づいて、撮影タイミングを自動的に判定して撮影が実行されるので、シャッターチャンスを逃さずに撮影することが可能となる。

第１の実施形態に係るデジタルカメラの外観図である。 第１の実施形態に係るデジタルカメラの構成例を示すブロック図である。 第１の実施形態に係るデジタルカメラの処理動作を示すフローチャートである。 撮影タイミング設定用画面を示す図である。 第１の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第１の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第１の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第１の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第１の実施形態における撮影条件との合致判定について説明するための図である。 矩形の法線ベクトルと被写体の動きベクトルとの関係を示す図である。 第２の実施形態におけるデジタルカメラと被写体との位置関係を示す概略図である。 第２の実施形態における撮影タイミング設定用画面の操作例を説明するための図である。 第２の実施形態におけるアシスト画像が重畳表示された撮影タイミング設定用画面を示す図である。 第２の実施形態における位置合わせを説明するための図である。 第３の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第３の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第３の実施形態における撮影タイミング設定用画面での操作例を説明するための図である。 第３の実施形態における直線のレイアウト解析を説明するための図である。 第３の実施形態における撮影条件との合致判定について説明するための図である。 第４の実施形態における位置合わせを説明するための図である。 図形の線幅が可変となっている例を説明するための図である。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
図１に、本発明を適用した撮像装置の一例としてのタッチパネル付きデジタルカメラ（以下、デジタルカメラと記す）１００の外観を示す。
表示部２８は、画像や各種情報を表示する。シャッターボタン６１は、撮影指示を行うための操作部である。本実施形態では、タッチパネルで設定した撮影タイミングでの自動撮影機能と、シャッターボタン６１を押し下げることにより撮影を行う機能との両方を備えている。モード切替スイッチ６０は、各種モードを切り替えるための操作部である。操作部７０は、ユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より構成される操作部である。コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オン、電源オフを切り替えるための操作部材である。コネクタ１１２は、接続ケーブル１１１とデジタルカメラ１００とのコネクタである。記録媒体２００は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は、記録媒体２００を格納するためのスロットであり、記録媒体スロット２０１に格納された記録媒体２００はデジタルカメラ１００との通信が可能となる。蓋２０２は、記録媒体スロット２０１を開閉する。

図２は、本実施形態に係るデジタルカメラ１００の構成例を示すブロック図である。図１に示した構成要素には同一の符号を付して説明する。
１５０は撮像光学系であり、撮像レンズ１０３により構成される。１０１はシャッターである。２２は撮像部であり、光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等により構成される。２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換するために用いられる。

１２０は測距センサであり、撮像部２２で撮像される被写体空間の距離情報を取得する。距離情報の取得には、レーザー光を照射して被写体から戻るまでの時間を計測することで距離を検知するTime of Flight等の公知の技術を用いることができる。その他の方式を用いることが可能であるのは言うまでもない。なお、本実施形態では、撮像部２２の各画素と略同等の解像度で距離データが取得されており、取得した距離データはメモリ３２に保持される。

２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ、又はメモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御部５０が露光制御等を行う。これにより、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理等が行われる。更に画像処理部２４では、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。

３２はメモリであり、Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られ、Ａ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像及び音声のデータを格納するのに十分な記憶容量を備えている。また、メモリ３２は、画像表示用のメモリ（ビデオメモリ）を兼ねる。

１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。メモリ３２に書き込まれた表示用の画像データは、Ｄ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換しデジタル化された信号は、画像処理部２４で所定の信号処理を施した後にメモリ３２に蓄積される。メモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダ（スルー画像（ライブビュー画像）表示）として機能する。３５は圧縮・伸張処理部であり、ＪＰＥＧ（Joint Photographic Experts Group）等の圧縮、伸張処理を行う。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭが用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいうプログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。５０はＣＰＵからなるシステム制御部であり、デジタルカメラ１００全体を制御する。不揮発性メモリ５６に記録されたプログラムをシステム制御部５０が実行することで、後述する各処理を実現する。５２はシステムメモリであり、例えばＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。５３はシステムタイマーであり、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

３６はタッチパネルであり、表示部２８の上面に貼付される。タッチパネル３６の検出方式としては、抵抗膜方式、静電容量方式等の公知の技術を用いればよい。指又はペンでプレスした位置をシステム制御部５０で検出し、座標等に変換して利用することができる。本実施形態では、指又はペンでプレスして移動する動作をシステム制御部５０で検出して、検出した軌跡に基づいて図形データ描画し、スルー画像に重畳して表示部２８に表示する。軌跡の検出については公知の技術を用いるものとして詳細は省略するが、例えば静電容量方式の場合であれば、以下の方法等で検出できる。まず指又はペンがプレスされたか否かを静電容量の変動値で検出する。プレスされた後は、所定のサンプリング間隔でプレスされている位置情報をシステム制御部５０で検出し、指又はペンがタッチパネル３６から離れるまでの期間を軌跡データとして保持することで検出が可能となる。また、検出した軌跡は、画像処理部２４において、軌跡データの座標位置に基づいて所定の色及び形状を示す図形データとして描画用メモリに書き込まれる。そして、図形データはメモリ制御部１５に保持されているスルー画像と合成された後に、Ｄ／Ａ変換器１３で変換後に表示部２８に表示される。

モード切替スイッチ６０、シャッターボタン６１、操作部７０は、システム制御部５０に各種の動作指示を入力するための操作手段である。
モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。
シャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）で第１シャッタースイッチがオンになり、第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、システム制御部５０は、ＡＦ（オートフォーカス）処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）で第２シャッタースイッチがオンになり、第２シャッタースイッチ信号ＳＷ２を発生する。第２シャッタースイッチ信号ＳＷ２により、システム制御部５０は、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理を開始する。
操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作すること等により、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えばメニューボタンが押されると、各種の設定可能なメニュー画面が表示部２８に表示される。ユーザは、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際等に使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０がデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したか等を判定することができる。なお、コントローラホイール７３は、回転操作が検出できる操作部材であればどのようなものでもよい。例えばユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作等を検出する、いわゆるタッチホイールと呼ばれるものであってもよい。

８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
１８はメモリカードやハードディスク等の記録媒体２００とのインターフェースである。

次に、本実施形態に係るデジタルカメラ１００での自動撮影機能における撮影タイミング設定用の操作系について説明する。
図４は、表示部２８に表示される撮影タイミング設定用画面を示す図であり、ライブビュー画像が表示される。ライブビューモードにおいて表示部２８に表示されるスルー画像は、測距センサ１２０により取得されるデータに基づいてシステム制御部５０により３次元化され、各画素値に対応した３次元座標が生成されている。

撮影タイミング設定用画面では、撮影タイミング設定のための３次元ＧＵＩ４０１〜４０３がメニュー表示される。
４０１は矩形であり、スルー画像上に矩形を配置して、被写体が矩形を法線方向から通過するタイミングで自動撮影する設定を行うのに用いる。例えば運動会の徒競争のゴールの瞬間を撮影するような場合に有効である。
４０２は円筒形であり、スルー画像上に円筒形を配置して、被写体が円筒形の内部から外部に移動するタイミング、又は外部から内部に移動するタイミングで自動撮影する設定を行うのに用いる。例えば鳥が飛び立つ瞬間を捉えたい場合等に有効である。
４０３は被写体の移動方向を設定する矢印図形である。被写体が円筒形の内部から外部に移動するタイミングで自動撮影するのか、外部から内部に移動するタイミングで自動撮影するのかを設定する。
４０４は描画した図形をキャンセルするためのキャンセルボタンである。描画した図形をキャンセルする場合には、描画済みの図形をプレスして選択状態にした後に、キャンセルボタン４０４をプレスすることで、該図形が消去されて設定がキャンセルされる。
４０５は３次元化された被写体空間で図形を配置する際の指標となる３次元の座標軸である。

図５（ａ）に示すように、メニューから矩形４０１を画面上の所望の位置にドラッグ操作することにより、スルー画像上に矩形５０１を配置することができる。また、矩形５０１をプレスすると選択状態になる。その状態で、図５（ｂ）に示すように、タッチ操作で横方向にスライドすると、Ｙ軸周りに回転する。同様に、図５（ｃ）に示すように、タッチ操作で縦方向にスライドすると、Ｘ軸周りに回転する。また、図５（ｄ）に示すように、円弧を描くようにタッチ操作すると、Ｚ軸周りに回転する。上記操作により、３次元の各軸周りの回転量を調整することができる。

また、ＸＹＺ軸に沿った移動については、以下の操作で実現することができる。図６（ａ）に示すように、矩形５０１をタッチしながら画面内を水平及び垂直方向に移動することで、Ｘ軸及びＹ軸方向の移動を行う。また、コントローラホイール７３を回転操作することで、図６（ｂ）に示すように、矩形５０１のＺ座標が変更されて拡大・縮小される。
以上の操作により、矩形５０１を３次元化された被写体空間内の所望の位置にレイアウトすることができる。

また、図７（ａ）に示すように、メニューから円筒形４０２を画面上の所望の位置にドラッグ操作することにより、スルー画像上に円筒形７０１を配置することができる。円筒形７０１のＸＹＺ軸周りの回転及びＸＹＺ軸に沿った移動は、矩形５０１の場合と同様である。図７（ｂ）に示すように、鳥が飛び立つタイミングでの自動撮影を設定する場合には、円筒形７０１をスルー画像の鳥の位置に合わせて３次元的に配置する。鳥の大きさに応じて円筒形７０１の径を大きくする場合、図７（ｃ）に示すように、円筒形７０１を選択状態にして、タッチパネル３６上で２本の指を広げる操作をすることで実現する。円筒形７０１の径を小さくする場合、タッチパネル３６上で２本の指を狭める操作をすることで実現する。
以上の操作により、円筒形７０１を３次元化された被写体空間内の所望の位置にレイアウトすることができる。

次に、メニューから矢印図形４０３を画面上の所望の位置にドラッグ操作することにより、スルー画像上に矢印図形８０３を配置する。被写体が円筒形７０１の内部から外部に移動するタイミングで自動撮影するのか、外部から内部に移動するタイミングで自動撮影するのかは、円筒形７０１と矢印図形８０３の端点との位置関係によって設定される。
図８（ａ）は、ドラッグ操作によりスルー画像上に矢印図形８０３を配置した直後の状態である。ここで、タッチ操作により矢印図形８０３の始点Ａ付近をプレスしてそのまま移動すると、始点Ａは追従して描画される。図８（ｂ）は、始点Ａを移動した後の状態を示す。図８（ｂ）に示すように、始点Ａを円筒形７０１の内部に位置させると、被写体が円筒形７０１の内部から外部に移動するタイミングで自動撮影が実行される。逆に、終点Ｂを円筒形７０１の内部に位置させると、被写体が円筒形７０１の外部から内部に移動するタイミングで自動撮影が実行される。
以上のようにして、撮影タイミングの設定を行うことができる。

次に、図３のフローチャートを参照して、本実施形態に係るデジタルカメラ１００の処理動作について説明する。
ステップＳ３０１で、システム制御部５０がライブビューモードに設定されたことを検出すると、ライブビューモードの制御に移行する。
ステップＳ３０２で、システム制御部５０は操作部７０の操作を監視して、撮影タイミング設定モードを指示する操作を検出するとステップＳ３０３に移行し、検出されないと監視を継続する。撮影タイミング設定モードでは、図４に示すように、表示部２８に撮影タイミング設定用画面が表示され、スルー画像とともに、撮影タイミング設定のための３次元ＧＵＩ４０１〜４０３がメニュー表示される。

ステップＳ３０３で、図５〜図８で説明したように、システム制御部５０は、撮影タイミング設定用の図形レイアウト処理を行う。すなわち、タッチパネルの操作に応じてスルー画像に撮影タイミング設定用の図形（矩形５０１、円筒形７０１、矢印図形８０３）を描画して表示部２８に表示する。

ステップＳ３０４で、システム制御部５０が図形の設定を確定する操作（例えば操作部７０による設定確定ボタンの押下）を検出するとステップＳ３０５に移行し、検出されないと図形レイアウト処理を継続する。
ステップＳ３０５で、システム制御部５０は、ステップＳ３０４において設定が確定した図形レイアウトを解析する。解析する項目は、図形の種別、図形の配置（図形の基準点の水平／垂直座標、ＸＹＺの３軸周りの回転角度、図形頂点の３次元座標等）、サイズ等である。

ステップＳ３０６で、システム制御部５０は、ステップＳ３０５における解析結果に基づいて撮影条件を設定する。
図９（ａ）に示すように、撮影タイミング設定用の図形として矩形９０１が配置されている場合について撮影条件の設定を説明する。地面に引かれているライン９０４までの距離は測距センサ１２０により取得されており、矩形９０１の底辺は、地面のライン９０４と同じ距離データを有している。
ステップＳ３０５における解析結果に基づいて、矩形９０１から構成される平面と、その法線ベクトル９０２とを算出してシステムメモリ５２に保持する。また、矩形９０１の４頂点の３次元座標を算出して同様にシステムメモリ５２に保持する。
撮影条件が設定されると、例えば表示部２８において撮影条件設定が完了したことをユーザに知らせる。

ステップＳ３０７で、撮影タイミング待ちになる。システム制御部５０は、所定の時間間隔でスルー画像内の被写体像を検出して、ステップＳ３０６において設定した撮影条件との合致を判定するループ処理を実行する。
図９（ｂ）を参照して、ステップＳ３０７における撮影条件との合致判定について説明する。ライブビューモードにおいて、撮像部２２を介して入力される被写体像は、画像処理部２４で所定の画像処理が施された後にメモリ３２に一時保持される。システム制御部５０の制御下で、所定の時間間隔で、メモリ３２に保持されている連続する映像フレーム間の画像データから被写体の動き情報である動きベクトルを検出する。動きベクトルの検出方法は公知の技術を用いるものとして、その説明は省略する。なお、動きベクトルは２次元の画像データの相関演算を基に対応する領域間の移動量に基づいて生成するものとする。
図９（ｂ）において、９０３は検出された被写体の動きベクトルの代表値である。システム制御部５０は、動きベクトルの代表値９０３の両端の画素に対応する距離データ（Ｘ，Ｙ，Ｚ）をメモリ３２から読み出す。そして、両端の距離データに基づいて３次元の動きベクトルＶを算出する。ステップＳ３０７では、所定間隔で上記処理を実行して、逐次３次元の動きベクトルＶを算出する。被写体が複数存在する場合は、各被写体に対して検出処理を行う。
３次元の動きベクトルＶの算出が完了すると、次に図９（ｂ）の矩形９０１から得られる平面と動きベクトルＶとの交差の有無を検出する。図９（ｃ）は、矩形９０１と動きベクトル９０５とが交差している状態である。システム制御部５０は、矩形９０１との交差が検出された動きベクトル９０５について、次に法線ベクトル９０２との間でなす角度を検出する。図１０（ａ）に示すように、２つのベクトル９０２、９０５のなす角度が所定値以下の場合には、方向が一致していると判定し、図１０（ｂ）に示すように、所定値以上の場合には方向が不一致と判定する。

また、図８（ｂ）に示すように、撮影タイミング設定用の図形として円筒形７０１が配置されている場合、被写体の動きベクトルの端点が円筒形７０１と交差しているか否かを検出する。円筒形７０１の場合、方向指示のための矢印図形８０３のベクトルと被写体の動きベクトルとの間でのなす角度の判定は行わない。円筒形７０１では、動きベクトルが内側から外側に向かって交差しているか、外側から内側に向かって交差しているかを検出して、矢印図形８０３の向きに合致しているか否かを判定する。

ステップＳ３０７において撮影条件と合致した、すなわち撮影タイミング設定用の図形と被写体の動きベクトルとの関係が所定の条件に合致したとシステム制御部５０で検出すると、ステップＳ３０８に移行し、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）と同様の第２シャッタースイッチ信号ＳＷ２を発生する。これにより、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理が開始される。

以上のように、タッチパネルを用いた直感的な操作により、動きのある被写体に対して自動撮影のための撮影タイミングを設定することができる。これにより、撮影タイミング設定用の図形に基づいて設定された撮影条件と、被写体の動きベクトルとに基づいて、撮影タイミングを自動的に判定して撮影が実行されるので、シャッターチャンスを逃さずに撮影することが可能となる。

（第２の実施形態）
第２の実施形態では、第１の実施形態で説明したデジタルカメラ１００に追加できる機能について説明する。なお、デジタルカメラの構成は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明する。
本実施形態では、撮影時の絞り、フォーカス調整値に応じて撮影タイミング設定用の図形の初期配置を自動設定する。図１１に、デジタルカメラと被写体との位置関係を示す。図１１に示すように、デジタルカメラ１１０５に対して、被写体として人物１１０１、人物１１０２及び樹木１１０３が配置している。ここで、撮像光学系１５０の絞り設定によって被写界深度１１０４がシステム制御部５０により算出される。
図１２は、図１１の配置での撮影タイミング設定用画面の概略図である。システム制御部５０は、被写界深度と測距センサ１２０により取得したデータを基に生成した距離データに基づいて、被写界深度範囲の中央の距離の位置に、撮影タイミング設定用の図形、図示例では矩形１２０１を自動的に初期配置する。１２０２は矩形１２０１から構成される平面の法線ベクトルである。ユーザは初期配置された矩形１２０１について、第１の実施形態と同様にＸＹＺ軸周りの回転及びＸＹＺ軸に沿った移動をタッチ操作で調整することにより所望の状態に変更することができる。

また、図１３に示すように、撮影タイミング設定用において、図形を配置する際に３次元化された被写体空間での距離をユーザが直感的に把握できるように、格子状のアシスト画像１３０１を重畳表示するようにしてもよい。格子状のアシスト画像１３０１は、測距センサ１２０から取得されるデータに基づいてシステム制御部５０で生成した距離データを用いて生成する。
格子状のアシスト画像１３０１の生成手順を説明する。まず、距離データのＹ座標（鉛直方向）が略同じ値を有するデータ群を抽出する。抽出したデータ群のＹ座標が最も小さいものを地面の距離データ群と判定する。次に、地面の距離データ群に基づいて平面のパラメータを算出する。矩形の格子データは、システム制御部５０により予めメモリ３２に生成、保持されており、算出した平面のパラメータに基づいて座標変換して変形した後に表示部２８に表示する。

また、本実施形態では、図３のフローチャートのステップＳ３０４において図形の設定を確定する際に、スルー画像の被写体像と撮影タイミング設定用の図形とを位置合わせして、操作部７０により設定確定ボタンを押し下げる操作を行う。ユーザには、位置合わせして確定する旨を画面表示又は音声等により告知する。確定ボタンを押し下げたタイミングで被写体像を参照画像としてメモリ３２に保持する。
そして、撮影条件に合致しているか否かを検出する際には、所定の間隔で取得している被写体像と確定ボタン押し下げ時にメモリ３２に保持した参照画像との間で相関演算処理を行い、位置ずれ量を算出する。相関演算処理の方法は公知の技術を用いるものとして、その説明は省略する。
システム制御部５０は、算出した位置ずれ量を用いて、撮影タイミング設定用の図形の描画位置をシフトして、メモリ制御部１５を介して現在のスルー画像に重畳して表示する。
図１４に上記処理の概略図を示す。図１４（ａ）には、撮影タイミング設定用の図形の設定を確定した時点でのスルー画像１４０１と矩形１４０２を示す。
図１４（ｂ）には、撮影条件との合致を検出している時点で位置合わせしない場合のスルー画像１４０１と矩形１４０２を示す。図１４（ｂ）に示すように、スルー画像１４０１と矩形１４０２との相対的な位置関係が、図１４（ａ）の確定時点と比べてずれてしまっている。このままの状態で撮影条件との合致を検出すると、撮影タイミングは所望の条件からずれてしまう。
それに対して、図１４（ｃ）には、撮影条件との合致を検出している時点で位置合わせする場合のスルー画像１４０１と矩形１４０２を示す。スルー画像１４０１の位置に応じて矩形１４０２の位置も移動しており、確定時点と同じ相対的な位置関係が保持されている。

（第３の実施形態）
上記第１、２の実施形態では、３次元化したスルー画像内に撮影タイミング設定用の図形を３次元化して描画する例を説明した。それに対して、第３の実施形態では、３次元化しない例を説明する。なお、デジタルカメラ１００の構成は第１の実施形態と同様であり、以下では、第１の実施形態と同様の構成要素には同一の符号を付し、第１の実施形態との相違点を中心に説明する。

本実施形態に係るデジタルカメラ１００での自動撮影機能における撮影タイミング設定用の操作系について説明する。
図１５、１６は、表示部２８に表示される撮影タイミング設定用画面を示す図であり、スルー画像１５０５、１６０１が表示される。
撮影タイミング設定用画面では、撮影タイミング設定のためのＧＵＩ１５０１〜１５０３がメニュー表示される。
１５０１は直線であり、スルー画像上に直線を配置して、被写体が直線を横切るタイミングで自動撮影する設定を行うのに用いる。例えば図１５に示すように、運動会の徒競争のゴールの瞬間を撮影するような場合に有効である。
１５０２は円形であり、スルー画像上に円形を配置して、被写体が円形の内部から外部に移動するタイミング、又は外部から内部に移動するタイミングで自動撮影する設定を行うのに用いる。例えば図１６に示すように、鳥が飛び立つ瞬間を捉えたい場合等に有効である。
１５０３は被写体の移動方向を設定する矢印図形である。被写体が直線をどの方向から横切るかを設定する。また、被写体が円形の内部から外部に移動するタイミングで自動撮影するのか、外部から内部に移動するタイミングで自動撮影するのかを、方向も含めて設定する。
１５０４は描画した図形をキャンセルするためのキャンセルボタンである。描画した図形をキャンセルする場合には、描画済みの図形をプレスして選択状態にした後に、キャンセルボタン１５０４をプレスすることで、該図形が消去されて設定がキャンセルされる。

ユーザは、スルー画像１５０５、１６０１を目視しながら、タッチパネルのタッチ操作によりメニューから図形を選択する。図１５は、直線１５０６及び矢印図形１５０７を描画した結果を示す。また、図１６は、円形１６０２及び矢印図形１６０３を描画した結果を示す。なお、矢印図形１５０７、１６０３は１本に限られるのではなく、複数本設定してもかまわない。

図１７（ａ）に示すように、メニューから直線１５０１を選択することにより、スルー画像上に直線１７０１を配置したとする。直線１７０１はタッチパネル上で指又はペンでプレスして移動させることができる。また、直線１７０１、端点１７０３又は１７０４をプレスして移動することで、１７０２に示すように状態に長さ及び傾きを変えることができる。

また、図１７（ｂ）に示すように、メニューから円形１５０２を選択することにより、スルー画像上に円形１７０５を配置したとする。円形１７０５は、位置と、楕円の長径及び短径をタッチ操作で変えることができる。円形１７０５をタッチすると、円形１７０５を内包する矩形領域１７０６が描画される。矩形領域１７０６の端点１７０７をタッチ操作により移動することで、矩形領域を１７０８の状態に変えることができる。これに従って、内包される楕円１７０５の大きさ及び形状が変形する。また、円形１７０５の移動は、その内部をタッチしながらドラッグ操作することで移動する。

図１６に示すように、矢印図形１６０３の始点を円形１６０２の内部に位置させると、被写体が、矢印図形１６０３の方向に、円形１６０２の内部から外に移動に移動するタイミングで自動撮影が実行される。逆に、矢印図形１６０３の終点を円形１６０２の内部に位置させると、被写体が、矢印図形１６０３の方向に、円形１６０２の外部から内部に移動するタイミングで自動撮影が実行される。
以上のようにして、撮影タイミングの設定を行うことができる。なお、メニューからＧＵＩ１５０１〜１５０３を選択する操作例を説明したが、タッチパネル上で指又はペンによりユーザが直線、円形、矢印図形を描くようにする操作としてもよい。

次に、本実施形態に係るデジタルカメラの処理動作について説明する。基本的な処理動作は第１の実施形態と同様であり、図３を参照しながら、第１の実施形態との相違点を中心に説明する。
ステップＳ３０５で、システム制御部５０は、ステップＳ３０４において設定が確定した図形レイアウトを解析する。解析する項目は、図形の種別、図形の配置、形状、サイズ等である。
図１８を参照して、図形レイアウトの解析について説明する。画面内に配置されている図形の種別及び配置情報は、ステップＳ３０３で保持されている。
直線の場合、端点の位置に基づいて直線上に位置する境界画素位置を算出して保持する。図１８（ａ）で左下隅を原点とすると、直線１８０１は下記のように表すことができる。
Ｙ＝ａＸ＋ｂ・・・（式１）
（ａ，ｂは端点の座標を基に算出される定数)
境界画素位置は、（式１）を満たす（Ｘ，Ｙ）の座標値により構成されるので、これを保持する。
円形の場合、円形を内包する矩形（図１７（ｂ）の矩形領域１７０６、１７０８）領域を基に境界画素位置を算出して保持する。図１８（ｂ）の円形１８０２は下記のように表すことができる。
（Ｘ−ｘ０）²／ａ²＋（Ｙ−ｙ０）²／ｂ²＝１・・・（式２）
（ｘ０，ｙ０は円形１８０２の中心座標、ａ，ｂは円形１８０２の長辺と短辺)
境界画素位置は、（式２）を満たす（Ｘ，Ｙ）の座標値により構成されるので、これを保持する。
次に、矢印図形の端点の水平及び垂直座標の差分に基づいて、方向ベクトルを算出して保持する。図１８（ｃ）の矢印図形１８０３より、方向ベクトルＶは下記のように表すことができる。
Ｖ＝（ｘ２−ｘ１，ｙ２−ｙ１）

ステップＳ３０６で、システム制御部５０は、ステップＳ３０５における解析結果に基づいて撮影条件を設定する。
例えば図１５に示すように、直線１５０６と矢印図形１５０７とが配置されているとする。システム制御部５０では、直線１５０６の境界画素位置データＢ１を生成保持し、また矢印図形１５０７の方向ベクトルＶ１（ｄｘ，ｄｙ）を生成保持する。
撮影条件が設定されると、例えば表示部２８において撮影条件設定が完了したことをユーザに知らせる。

ステップＳ３０７で、撮影タイミング待ちになる。システム制御部５０は、所定の時間間隔でスルー画像内の被写体像を検出して、ステップＳ３０６において設定した撮影条件との合致を判定するループ処理を実行する。
図１９を参照して、ステップＳ３０７における撮影条件との合致判定について説明する。ライブビューモードにおいて、撮像部２２を介して入力される被写体像は、画像処理部２４で所定の画像処理が施された後にメモリ３２に一時保持される。システム制御部５０の制御下で、所定の時間間隔で、メモリ３２に保持されている連続する映像フレーム間の画像データから被写体の動き情報である動きベクトルを検出する。動きベクトル検出方法は公知の技術を用いるものとして、その説明は省略する。図１９（ａ）においては、横方向に移動する被写体の動きベクトルが検出されている。動き情報は、１つ前のフレームにおける位置座標と動きベクトル量を１セットとして保持している。
図１９（ｂ）は、ゴールする瞬間の状態を示している。図１９（ｂ）においては、検出した動きベクトルＭＶ１（ｍｘ，ｍｙ）と方向ベクトルＶ１との方向の差が所定値以下で、かつ前フレームを始点とした動きベクトルＭＶ１の端点が境界画素位置データＢ１と交差しているので、撮影条件に合致していると判定する。

ステップＳ３０７において撮影条件と合致した、すなわち撮影タイミング設定用の図形と被写体の動きベクトルとの関係が所定の条件に合致したとシステム制御部５０で検出すると、ステップＳ３０８に移行し、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）と同様の第２シャッタースイッチ信号ＳＷ２を発生する。これにより、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理が開始される。

（第４の実施形態）
第４の実施形態では、第３の実施形態で説明したデジタルカメラ１００に追加できる機能について説明する。
第２の実施形態でも説明したが、図３のフローチャートのステップＳ３０４において図形の設定を確定する際に、スルー画像の被写体像と撮影タイミング設定用の図形とを位置合わせしておき、スルー画像と図形との相対的な位置関係を補正するようにしてもよい。
図２０に上記処理の概略図を示す。図２０（ａ）には、撮影タイミング設定用の図形の設定を確定した時点でのスルー画像２００１と直線２００２及び矢印図形２００３を示す。
図２０（ｂ）には、撮影条件との合致を検出している時点で位置合わせしない場合のスルー画像２００１と直線２００２及び矢印図形２００３を示す。図２０（ｂ）に示すように、スルー画像２００１と直線２００２及び矢印図形２００３との相対的な位置関係が、図２０（ａ）の確定時点と比べてずれてしまっている。このままの状態で撮影条件との合致を検出すると、撮影タイミングは所望の条件からずれてしまう。
それに対して、図２０（ｃ）には、撮影条件との合致を検出している時点で位置合わせする場合のスルー画像２００１と直線２００２及び矢印図形２００３を示す。スルー画像２００１の位置に応じて直線２００２及び矢印図形２００３の位置も移動しており、確定時点と同じ相対位置関係が保持されている。

（その他の実施形態）
以下、その他の機能について説明する。
図１９（ｂ）に示すように複数の被写体がゴールを通過するようなシーンを撮影する場合では、先頭の被写体が境界画素位置Ｂを通過した後に、後続の被写体が通過することになる。このようなシーンに対応するために、撮影条件に合致しても撮影タイミング設定をクリアせず、そのまま保持するように設定し、後続の被写体についても撮影条件との合致を関して自動撮影するようにしてもよい。
逆に、撮影条件に合致して一度撮影処理を実行したら、それ以降、撮影条件に合致しても撮影処理を実行しないように設定できるようにしてもよい。これにより、不必要に記録され続けてしまうことを防止することができる。

また、描画する図形の線幅を操作部７０のスイッチ操作又はタッチパネルのタッチ操作で変更できるようにし、設定した線幅に応じて連写期間がシステム制御部５０により設定されるようにしてもよい。図２１（ａ）、（ｂ）には、直線２１０１の線幅を変更した状態を示す。この場合、撮影条件に合致したら、線幅に応じた連写期間で、例えば線幅が太い方が連写期間を長くするようにして連写が実行される。線幅を変更する操作の具体例としては、例えば図形をプレスして選択した後、コントローラホイール７３を回転することで、線幅を可変することができる。

また、想定していない被写体が撮影条件に合致することによる撮影処理を防止するために、対象となる被写体の画面上での最小サイズを縦及び横の画素値で設定することも可能である。設定したサイズ以上の被写体が撮影条件に合致した場合のみ撮影処理することで、誤撮影を防止することができる。

また、撮影条件との合致を検出する際に、顔検出、顔認識データを加味することも可能である。例えば顔認識と併用する場合には、認識対象の顔データをステップＳ３０２の撮影タイミング設定モード期間中に設定する。そして、撮影条件との合致を検出するときに、撮影タイミング設定用の図形と被写体の動きベクトルとの関係に加えて、被写体の顔データと予め設定した認識対象の顔データとの照合を行い、全てが合致した場合に撮影処理を行うようにする。

また、例えば第１の実施形態で説明した矩形であれば人物に限定し、円筒形であれば鳥、昆虫、自動車等の動物体全般を対象とするような設定を行うようにしてもよい。

本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

２２：撮像部、２４：画像処理部、２８：表示部、３６：タッチパネル、５０：システム制御部、５６：不揮発性メモリ、１２０：測距センサ

Claims (12)

1. 表示手段及びタッチパネルを有する撮像装置であって、
   前記表示手段にライブビュー画像を表示する表示制御手段と、
   前記タッチパネルの操作に応じてライブビュー画像に撮影タイミング設定用の図形を描画する描画手段と、
   前記描画手段により描画した撮影タイミング設定用の図形の位置に基づいて距離データを取得する取得手段と、
   前記取得手段により取得された距離データに基づいて撮影条件を設定する撮影条件設定手段と、
   被写体の動き情報を検出する動き情報検出手段と、
   前記動き情報検出手段により検出した動き情報と、前記撮影条件設定手段により設定した撮影条件とに基づいて撮影を実行する制御手段とを備えたことを特徴とする撮像装置。
2. 前記表示制御手段は、前記表示手段に表示するライブビュー画像を３次元化し、
   前記描画手段は、３次元化したライブビュー画像に撮影タイミング設定用の図形を３次元化して描画することを特徴とする請求項１に記載の撮像装置。
3. 前記描画手段は、撮影タイミング設定用の図形として、３次元の各軸周りの回転及び各軸に沿った移動が可能な矩形を描画することを特徴とする請求項２に記載の撮像装置。
4. 前記描画手段は、撮影タイミング設定用の図形として、３次元の各軸周りの回転及び各軸に沿った移動が可能な円筒形を描画することを特徴とする請求項２又は３に記載の撮像装置。
5. 前記描画手段は、被写体が前記円筒形の内部から外部に移動するタイミング、又は外部から内部に移動するタイミングで撮影することを設定する矢印図形を描画することを特徴とする請求項４に記載の撮像装置。
6. 被写界深度を算出する手段と、
   前記算出した被写界深度に基づいて、３次元化したライブビュー画像に３次元化した撮影タイミング設定用の図形を初期配置する手段とを備えたことを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。
7. ３次元化したライブビュー画像に格子状のアシスト画像を重畳表示する手段を備えたことを特徴とする請求項２乃至６のいずれか１項に記載の撮像装置。
8. 前記表示手段に表示するライブビュー画像と前記描画手段により描画した撮影タイミング設定用の図形との相対的な位置関係を補正する手段を備えたことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記描画手段は、撮影タイミング設定用の図形の線幅を可変とし、線幅に応じて連写期間が設定されるようにしたことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記取得手段は、撮像部で撮像される被写体空間の距離情報を取得する測距センサであることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 表示手段及びタッチパネルを有する撮像装置の制御方法であって、
    前記表示手段にライブビュー画像を表示するステップと、
    前記タッチパネルの操作に応じてライブビュー画像に撮影タイミング設定用の図形を描画するステップと、
    前記描画した撮影タイミング設定用の図形の位置に基づいて距離データを取得するステップと、
    前記取得された距離データに基づいて撮影条件を設定するステップと、
    被写体の動き情報を検出するステップと、
    前記検出した動き情報と、前記設定した撮影条件とに基づいて撮影を実行するステップとを有することを特徴とする撮像装置の制御方法。
12. コンピュータを請求項１乃至１０のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images