JP5858658B2 - 撮像装置 - Google Patents

Description

本発明は、焦点状態を検出するカメラ等に好適な撮像装置の改良に関するものである。

従来から、撮影環境に応じて最適な撮影動作を一括で自動的に設定する撮影モードを備えたカメラがある。この種のカメラには、動いている被写体を撮影するのに適しているスポーツモード、人物の撮影に適しているポートレート撮影モード、風景の撮影に適している風景撮影モード、夜景の撮影に適している夜景撮影モードなどがある。撮影者は撮影する環境に合った撮影モードさえ選択すれば、予め既定されているシャッター速度値、絞り値、露出補正値の各種設定値が一括で自動的に設定される。このように撮影モードを備えたカメラで撮影者は、専門的な知識を要さずに撮影環境に応じた各種設定値を設定できる。

近年、撮影画像の中から特定の被写体を検出する被写体検出や認識技術が実現化されつつあり、カメラへ応用する技術が提案されている。特許文献１によって開示されているカメラにおいては、顔の検出有無、被写体の動き等の条件に応じて、スポーツモードやポートレートモード等の複数の撮影モードの中から最適な撮影モードを自動的に設定するカメラが提案されている。

特開２００３−３４４８９１号公報

しかしながら、撮影モードで選択し得る撮影環境は、一般的に適した撮影動作となるような各種設定値が採用されている。このため、選択されている撮影モードのより具体的な撮影において常に最適な撮影動作になるとは限らない。特に、動いている被写体を撮影するのに適している撮影モードに関して、単調に近づいてくる動きもあれば、急に動きだしたり、止まったり、また、上下左右に大きく移動する動きもある。つまり、撮影する撮影環境に適した撮影動作になる撮影モードがなければ、様々な被写体の動きに応じて最適な撮影動作を実現することはできない。

また、撮影者によっては例えばスポーツなど特定の撮影環境でしか撮影しないということがあり、スポーツモードのより具体的な撮影、サッカーや水泳などに最適な撮影動作のモードが必要とされている。

（発明の目的）
本発明の目的は、撮影する被写体の動きにピントを追従させるために最適な焦点検出の動作を自動的に設定するとともに、撮影者がよく撮影する撮影環境に最適な焦点検出の動作を自動的に生成することを可能にした撮像装置を提供することである。

上記目的を達成するために、本発明の撮像装置は、結像光学系の焦点状態を検出する焦点検出手段と、前記焦点検出手段を利用して、動作制御情報に基づいた焦点検出動作を行うよう制御するシステムコントローラと、レリーズボタンの操作に伴う連続撮像の終了に伴って、記録されている連続撮影画像を読み出し当該連続撮影画像から被写体の動きの特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出した被写体の動きの特徴量に基づいて前記動作制御情報を変更する動作変更手段とを有することを特徴とするものである。

本発明によれば、被写体の動きにピントを追従させるために最適な焦点検出の動作を自動的に設定することができる。

また、撮影者がよく撮影する撮影環境に最適な焦点検出の動作を自動的に生成することができる。

本発明の実施例であるカメラの構成例を示すブロック図である。 実施例の撮影動作を説明するフローチャートである。 実施例の特徴量抽出を説明するフローチャートである。 連続撮影画像を説明する図である。 様々な撮影環境において抽出した特徴量を説明する図である。 主成分座標での変量プロットを説明する図である。 主成分得点を説明する図である。

本発明を実施するための形態は、以下の実施例に記載される通りである。

図１は、本発明の実施例に係る撮像装置の一例であるカメラのブロック図である。図中、１０１は撮影レンズ（本発明の結像光学系に相当）、１０７は撮影レンズ１０１を通過した被写体光を受光し、光電変換し、画像信号データを出力するＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像素子１０７より出力された撮像信号はアナログ信号処理回路１０９に入力される。そして、Ａ／Ｄ変換器１１０によりアナログ信号からデジタル信号に変換される。

１０２は、半透過部を有する主ミラーであり、図１では撮影光束中に挿入された状態（ミラーダウン）を示している。主ミラー１０２は、撮影時には撮影光束外へ退避し、焦点検出時に撮影光路内に斜設される。また、主ミラー１０２は、撮影光路内に斜設された状態で、撮影レンズ１０１を通過した光束の一部をピント板１０３、ペンタプリズム１０４及び接眼レンズ１０５から構成されるファインダ光学系に導く。

１０６は、主ミラー１０２の動作に同期して主ミラー１０２に対して折り畳み、展開が可能なサブミラーである。主ミラー１０２の半透過部を通過した光束の一部は、サブミラー１０６によって下方へ反射され、位相差方式の焦点検出部１０８に入射し、撮影レンズ１０１の焦点状態が検出される。

１１２は、カメラ全体の制御を行うＣＰＵ、記憶手段であるＲＡＭなどから構成されるシステムコントローラであり、後述する各部の動作を適宜制御する。

１１３は、システムコントローラ１１２に接続され、撮影レンズ１０１と通信を行う通信回路と、焦点調節を行うためにレンズ駆動を行うレンズ駆動機構と、その駆動回路を備えたレンズ駆動部である。１１４は、システムコントローラ１１２に接続され、主ミラー１０２を撮影光束外へ駆動するためのミラー駆動部である。１１５は、システムコントローラ１１２に接続され、焦点検出部１０８を制御するためのセンサ制御部である。１１６は、システムコントローラ１１２に接続され、撮像素子１０７を駆動するための撮像素子駆動部である。焦点検出部１０８、センサ制御部１１５、システムコントローラ１１２は本発明の焦点検出手段に相当する。

１１１は、システムコントローラ１１２に接続され、Ａ／Ｄ変換器１１０によりデジタル信号に変換された信号に対してシェーディング補正やガンマ補正などの画像処理を施すデジタル信号処理回路である。

１１７は、デジタル信号処理回路１１１に接続され、撮像素子１０７で撮像された複数フレーム分の画像信号データを記憶することができるフレームメモリである。Ａ／Ｄ変換された信号は一旦このバッファメモリ１１７に記憶される。デジタル信号処理回路１１１ではバッファメモリ１１７に記憶された画像信号データを読み込んで上述した各処理を行い、処理後の画像信号データは再びバッファメモリ１１７に記憶される。

１１８は、メモリカード等の外部記録媒体１１９に記録する記録・再生信号処理回路である。記録・再生信号処理回路１１８は、デジタル信号処理回路１１１に接続される。デジタル信号処理回路１１１で各種処理が施された画像信号データは、一旦バッファメモリ１１７に記憶された後に外部記録媒体１１９に記録される際には、画像信号データの圧縮、例えば、ＪＰＥＧ方式でデータ圧縮が行われる。一方、画像信号データを外部記録媒体１１９から読み込む際、記録・再生信号処理回路１１８は、画像信号データの伸長処理を行う。記録・再生信号処理回路１１８には外部記録媒体１１９とデータ通信を行うためのインタフェースも含まれている。

１２１は、撮像された画像を表示するための表示部であり、外部記録媒体１１９に記録されている画像信号データを再生表示する際にも用いられる。表示部１２１に画像を表示する場合には、バッファメモリ１１７に記憶された画像信号データを読み出し、Ｄ／Ａ変換器１２０によりデジタル画像信号データをアナログ映像信号に変換する。そして、そのアナログ映像信号を用いて表示部１２１に画像を表示する。

撮像素子１０７で撮像された画像を表示部１２１で表示する形態には２つの形態がある。一つは、レリーズ操作が行われないときの表示形態であり、撮像素子１０７で繰り返し撮像される画像を逐次更新表示するライブビューと呼ばれる表示形態である。もう一つは、カメラのレリーズ操作後に、撮像素子１０７で撮像された画像を所定時間表示するフリーズ画と呼ばれる表示形態である。

１２２は、システムコントローラ１１２に接続され、カメラの電源をオン・オフするための電源スイッチ、レリーズボタン、人物撮影モードなどの撮影モードを選択するための設定ボタンなど、カメラを操作するための操作部材が設けられた操作部である。これらのスイッチやボタンを操作すると、その操作に応じた信号がシステムコントローラ１１２に入力される。なお、レリーズボタンには、撮影者により操作されるレリーズボタンの第１ストローク操作（半押し操作）によりオンするスイッチＳＷ１と、レリーズボタンの第２ストローク操作（全押し操作）によりオンするスイッチＳＷ２とが接続されている。また、焦点調節モードとして、任意選択モード、領域拡大モード、自動選択モードがあり、撮影者の操作により適宜設定できるものとする。

以下、図２を参照して、本発明の実施例による、撮影動作について説明する。

ステップＳ１１では、システムコントローラ１１２のＲＡＭから動作制御情報を読み出し、設定する。焦点検出は読み出されて設定された動作制御情報に基づいてシステムコントローラ１１２によって制御される。

ステップＳ１２では、操作部１２２のレリーズボタンのスイッチＳＷ１がオンかどうかを判定する。スイッチＳＷ１がオンならステップＳ１３へ進み、スイッチＳＷ１がオフならステップＳ１２を繰り返す。

ステップＳ１３では、操作部１２２のレリーズボタンのスイッチＳＷ２がオンかどうかを判定する。スイッチＳＷ２がオンならステップＳ１４へ進み、スイッチＳＷ２がオフならステップＳ１５へ進む。

ステップＳ１４では、システムコントローラ１１２が撮影動作を行い、デジタル信号処理回路１１１、および、記録・再生信号処理１１８を介して外部記録媒体１１９へ画像を記録する。この撮影動作時の焦点検出の動作制御情報は、ステップＳ１１で設定されたものである。

ステップＳ１５では、撮影された連続撮影画像から被写体の動きの特徴量を抽出する。ステップＳ１５を実行するシステムコントローラ１１２が本発明の特徴量抽出手段に相当する。詳細については後述する。

ステップＳ１６では、連続撮影画像ごとに記憶した被写体の動きの特徴量が所定値以上であるかどうかを判断する。被写体の動きの特徴量が所定値以上記憶されていればステップＳ１７へ進み、所定値以上記憶されていなければステップＳ１８へ進む。

ステップＳ１７では、記憶されている連続撮影画像ごとの特徴量に基づき一般的な多変量解析ソフトにより主成分分析を行う。詳細については後述する。

ステップＳ１８では、ステップＳ１５で抽出した特徴量に対応する動作制御情報をシステムコントローラ１１２のＲＡＭに記憶することにより更新する。次の撮影からはステップＳ１８で更新された動作制御情報に基づいて焦点検出の動作が変更される。つまり、動作変更が行われる。

以下、図３を参照して、図２のステップＳ１５の特徴量抽出について詳細に説明する。

ステップＳ２１では、外部記録媒体１１９に記録されている連続撮影画像の開始画像をシステムコントローラ１１２のＲＡＭに読み込む。その際、後段の処理で処理しやすい画像サイズに圧縮しても良い。また、ＹＵＶなどの色空間に変換しても良いし、２値化しても良い。

ステップＳ２２では、被写体の動きを検出するためにステップＳ２１で読み込んだ開始画像からテンプレート画像を作成する。作成したテンプレートはシステムコントローラ１１２のＲＡＭに記憶する。テンプレートは、被写体にＡＦフレーム２０１を重ね合わせた図４（ａ）に示す選択されたＡＦフレーム２０１の周囲の画像を切り出したものとする。ただし、選択されたＡＦフレーム２０１の近くに特徴的な形状があればこの形状をテンプレートとしても良い。また、顔認識により検知した顔の画像をテンプレートとしても良い。

ステップＳ２３では、撮影された連続撮影画像の全ての画像をシステムコントローラ１１２のＲＡＭに読み込んだかどうかを判定する。全ての画像を読み込んでいなければステップＳ２４へ進み、全ての画像を読み込んだならステップＳ２７へ進む。

ステップＳ２４では、次の画像をシステムコントローラ１１２のＲＡＭに読み込む。ステップＳ２５では、ステップＳ２２で作成したテンプレートとステップＳ２４で読み込んだ画像とのテンプレートマッチングを行う。

ステップＳ２６では、被写体の動きの特徴量を抽出する。ここでは、被写体の動きの特徴量を抽出することを説明するために次の４つの特徴量を例に挙げる。ただし、この４つの特徴量が本発明を実施するためのすべてではなく、被写体の動きを表すものであれば良い。

１つ目は、被写体の手前に障害物が入り込む、または、ぬけなどで被写体をＡＦフレーム２０１から外した時間である。これは、被写体の外しやすさを表す特徴量である。図４（ａ）から（ｄ）の４枚の連続撮影画像を示す図を参照して、被写体の外しやすさの特徴量について説明する。図４（ａ）、（ｂ）、（ｄ）の撮影画像ではＡＦフレーム２０１で被写体を捉えているため外した時間はゼロである。図４（ｃ）の撮影画像では被写体の手前に障害物は入り込んでいないが、被写体をＡＦフレーム２０１から外したため図４（ｃ）から（ｄ）までの駒間の時間を外した時間とする。実際には、画像認識技術で被写体領域（被写体）を認識し、テンプレートマッチングで検出した位置が被写体領域内か外かで判断する。以上、説明したように撮影画像ごとに被写体を外した時間を求めることで被写体の外しやすさを表す特徴量を抽出する。

２つ目は、被写体の手前に障害物が入り込む、または、ぬけなどで被写体をＡＦフレーム２０１から外したときに即座に現在選択されているＡＦフレーム２０１でピントを合わせるかどうかである。これは、ピントを合わせる被写体をＡＦフレーム２０１で狙った被写体に即座に切り換えることを表す特徴量である。図４（ａ）から（ｄ）の４枚の連続撮影画像を示す図を参照して、被写体を即座に切り換える特徴量について説明する。図４（ｃ）で背景に外しているが図４（ａ）から（ｄ）は同じ被写体を狙っている。このため、図（ａ）から（ｄ）の連続撮影画像で、被写体を即座に切り換える必要はない。したがって、特徴量はゼロとし、即座に切り換える必要があれば１とすれば良い。実際には、画像認識技術で被写体領域（被写体）を認識し、テンプレートマッチングで検出した位置が被写体領域内か外かで判断する。以上、説明したように撮影画像ごとに被写体を即座に切り換えるかどうかを表す特徴量を抽出する。

３つ目は、急な動き出し、急な停止などで被写体の移動の速さがどれだけ変化したかを表す速さの変化量である。図４（ａ）から（ｄ）の４枚の連続撮影画像を示す図を参照して、被写体の移動の速さ変化量を説明する。図４（ａ）から（ｄ）の連続撮影画像は等速で近づいてくる被写体を表している。そのため、速さの変化量はゼロとする。速さの変化量を求めるには、焦点検出結果から求められる像面移動速度を用いても良いし、画像のＥｘｉｆに記憶されているレンズの焦点距離、撮像素子のサイズを読み出してガウスの結像公式により被写体までの距離を算出し、前後の画像の距離差を駒間の時間で割った値を用いても良い。

４つ目は、被写体が上下左右に移動したときの移動量である。図４（ａ）から（ｄ）の４枚の連続撮影画像を示す図を参照して、被写体が上下左右に移動したときの移動量を説明する。ステップＳ２２で図４（ａ）から作成したテンプレートとステップＳ２４で読み出される図４（ｂ）とのテンプレートマッチングから検出される移動量Ｄｂを検出する。同様に移動量ＤｃとＤｄもステップＳ２２で図４（ａ）から作成したテンプレートとステップＳ２４で読み出される図４（ｃ）、あるいは、（ｄ）とのテンプレートマッチングで検出する。

ステップＳ２７では、ステップＳ２６で撮影画像ごとに抽出した４つの特徴量からそれぞれ最大値を求める。この最大値を連続撮影画像の枚数で正規化した値を連続撮影画像の特徴量とする。

ステップＳ２８では、ステップＳ２７で決定した連続撮影画像の特徴量をシステムコントローラ１１２のＲＡＭに連続撮影画像ごとに記憶する。

以下、図２のステップＳ１７の主成分分析について詳細に説明する。まず、主成分分析とは、複数のパラメータ（例えば、外しやすさ、即座に切り換え、速度の変化、上下左右の移動量）により構成されるデータから特徴的な指標である主成分をコンピュータにより求めることである。この主成分は複数のパラメータの合成変量であり、データに含まれるパラメータ間の関係を把握しやすくする総合的指標である。また、主成分は、被写体の動きの特徴量と焦点検出の動作制御情報とを対応付けるものである。

図５は、前述した図２のステップＳ１５の特徴量抽出で説明した抽出方法を用いて、サッカーや水泳など様々な撮影環境で撮影された連続撮影画像の特徴量を表している。図５に示す特徴量を基に主成分分析を行い、求めた第１主成分を縦軸に、第２主成分を横軸にした変量プロットを図６に示す。この場合の主成分分析は、特徴量データの重心が原点となる主成分座標系の位置に特徴量データを換算するものである。図６から第１主成分の正の方向は上下左右の移動と速さ変化が高く評価され、負の方向は即座に切り換えが高く評価される。第２主成分の正の方向は速さ変化が高く評価され、負の方向は外しやすさが高く評価される。

図５に示す特徴量を基に主成分分析を行い、求めた第１主成分を縦軸に、第２主成分を横軸にした主成分得点を図７に示す。図６の変量プロットと照らし合わせてみると、点線で囲ったグループＡの水泳（バタフライ）と水泳（平泳ぎ）は外しやすい撮影環境であるといえる。また、グループＥの体操（床）は速さの変化と上下左右への移動が大きい撮影環境であるといえる。その他のグループに関しても図６の変量プロットと照らし合わすとそれぞれの撮影環境の特徴がわかる。

以上説明したように図７の主成分得点上で今回撮影した連続撮影画像の特徴量がどこに位置するかで動作制御情報を更新する。「外しやすさ」と「即座に切り換える」に対応する動作制御情報は、被写体を外してから再びＡＦフレーム２０１に捉えるまでの時間である。外しやすい撮影環境では再びＡＦフレーム２０１に捉えるまでの時間を長くし、即座に切り換える撮影環境では短くする。また、速さの変化に対応する動作制御情報は、過去の焦点検出履歴から求められる予測曲線から許容できるデフォーカス量のずれ量である。速さ変化が大きい撮影環境では、予測曲線から許容できるデフォーカス量のずれ量が大きくても誤差とは判断せず、被写体を焦点検出した焦点検出結果であると判断する。さらに、上下左右への移動に対応する動作制御情報は、過去の焦点検出履歴から予想されるデフォーカス量とのずれ量である。過去の焦点検出履歴から予想されるデフォーカス量とのずれ量が大きい撮影環境では、現在選択しているＡＦフレームより被写体を捉えたＡＦフレームに乗り移りやすくする。

主成分得点に対応付けて記憶する動作制御情報は、各主成分を等間隔に分割した分割領域ごとに決めても良いし、図７で示すように主成分得点上にプロットされたグループごとに決めても良い。

前述した動作制御情報は、予め図７の主成分得点と対応付けて記憶しておく。これにより、今回撮影した撮影環境に最適な動作制御情報を設定することができる。また、撮影者が撮影した連続撮影画像の特徴量を記憶しているので、この記憶した連続撮影画像に基づいた主成分得点を求める（変更する）ことができる。例えば、スポーツの中でも陸上競技を専門に撮影する撮影者が、１００ｍや走り幅跳び、棒高跳びなどそれぞれの撮影環境で撮影した連続撮影画像の特徴量に基づいて主成分得点を求めることができる。これにより、撮影者がよく撮影する撮影環境においてより細かな動作制御情報を設定することができる。

以上、説明してきたように本実施例では、画像認識技術で被写体の動きの特徴量を抽出することで、撮影する被写体の動きにピントを追従させるために最適な焦点検出の動作を自動的に設定することを可能にした撮像装置を提供することができる。

また、撮影者がよく撮影する撮影環境に最適な焦点検出の動作を自動的に生成することを可能にした撮像装置を提供することができる。

１０１ 撮影レンズ
１０８ 焦点検出部
１１２ システムコントローラ
１１５ センサ制御部
１２２ 操作部
２０１ ＡＦフレーム

Claims (4)

1. 結像光学系の焦点状態を検出する焦点検出手段と、
   前記焦点検出手段を利用して、動作制御情報に基づいた焦点検出動作を行うよう制御するシステムコントローラと、
   レリーズボタンの操作に伴う連続撮像の終了に伴って、記録されている連続撮影画像を読み出し当該連続撮影画像から被写体の動きの特徴量を抽出する特徴量抽出手段と、
   前記特徴量抽出手段により抽出した被写体の動きの特徴量に基づいて前記動作制御情報を変更する動作変更手段とを有することを特徴とする撮像装置。
2. 前記特徴量抽出手段により抽出された前記被写体の動きの特徴量を前記連続撮影画像ごとに記憶する記憶手段を有し、
   前記システムコントローラは、前記記憶手段に記憶された前記被写体の動きの特徴量に対応する動作制御情報を読み出して前記焦点検出手段の動作を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記動作変更手段は、前記記憶手段に記憶されている前記被写体の動きの特徴量と前記動作制御情報を対応付ける特徴量を基に主成分分析により、複数のパラメータにより構成されるデータから求められた、複数のパラメータの合成変量である主成分得点を変更することを特徴とする請求項２に記載の撮像装置。
4. 前記主成分分析は、前記焦点検出動作の外しやすさ、即座に切り換え、速度の変化、上下左右の移動量である複数のパラメータで構成されるデータから求めることを特徴とする請求項３に記載の撮像装置。

Images