JP6866581B2

JP6866581B2 - 撮像装置および電子部品

Info

Publication number: JP6866581B2
Application number: JP2016130967A
Authority: JP
Inventors: 岡崎　光宏; 光宏岡崎; 康介岡野
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2016-06-30
Filing date: 2016-06-30
Publication date: 2021-04-28
Anticipated expiration: 2036-06-30
Also published as: JP2018006992A

Description

本発明は、撮像装置および電子部品に関する。

動画像内の被写体の動きを検出して主要被写体を検出する技術が知られている（例えば、特許文献１）。特許文献１に記載の技術では、実世界（慣性座標系）における被写体の移動速度が検出できない。

特開２０１０−９４２５号公報

第１の態様によると、撮像装置は、時刻Ｔ０と、前記時刻Ｔ０と異なる時刻Ｔ１とで、被写体の像を撮像し撮像信号を出力する撮像部と、前記撮像信号から撮像画面内における前記被写体の位置を検出する被写体位置検出部と、撮像装置の姿勢を検出する姿勢検出部と、前記撮像部の画角を取得する画角取得部と、前記被写体までの距離を検出する距離検出部と、前記撮像装置の並進運動を検出する並進運動検出部と、前記位置と前記姿勢と前記画角とにより時刻Ｔ０での撮像で実空間上における前記被写体の方向を算出し、前記位置と前記姿勢と前記画角とにより時刻Ｔ１での撮像で実空間上における前記被写体の方向を算出し、時刻Ｔ０での前記被写体の方向及び前記距離と、時刻Ｔ１での前記被写体の方向及び前記距離と、時刻Ｔ０から時刻Ｔ１の間に検出された前記撮像装置の前記並進運動と、により前記被写体の移動速度を演算する速度演算部と、前記移動速度を指定する指定部と、前記指定部で指定された前記移動速度に基づいて、前記被写体から主要被写体を特定する主要被写体特定部と、を備える。
第２の態様によると、電子部品は、時刻Ｔ０と、前記時刻Ｔ０と異なる時刻Ｔ１とで、被写体の像を撮像した撮像信号が入力される撮像信号入力部と、前記撮像信号から撮像画面内における前記被写体の位置を検出する被写体位置検出部と、前記被写体の像を撮像した撮像装置の姿勢および並進運動を検出する姿勢並進検出部と、前記被写体の像を撮像した際の画角を取得する画角取得部と、前記被写体までの距離を検出する距離検出部と、前記位置と前記姿勢と前記画角とにより、時刻Ｔ０での撮像で実空間上における前記被写体の方向を算出し、前記位置と前記姿勢と前記画角とにより時刻Ｔ１での撮像で実空間上における前記被写体の方向を算出し、時刻Ｔ０での前記被写体の方向及び前記距離と、時刻Ｔ１での前記被写体の方向及び前記距離と、時刻Ｔ０から時刻Ｔ１の間に検出された前記撮像装置の前記並進運動と、により前記被写体の移動速度を演算する速度演算部と、前記移動速度を指定する指定部と、前記指定部で指定された前記移動速度に基づいて、前記被写体から主要被写体を特定する主要被写体特定部と、を備える。

第１の実施の形態に係る撮像装置の構成を模式的に示すブロック図座標系の定義を例示する図時刻ｔ０における撮像装置と候補被写体との位置関係を示す平面図時刻ｔ１における撮像装置と候補被写体との位置関係を示す平面図時刻ｔ０、ｔ１における撮像装置と候補被写体との位置関係を示す平面図時刻ｔ０における撮像装置と候補被写体との位置関係を示す平面図時刻ｔ０、ｔ１における撮像装置と候補被写体との位置関係を模式的に示す図第２の実施の形態に係る撮像装置の構成を模式的に示すブロック図時刻ｔ１、ｔ２の表示用画像を例示する図時刻ｔ１、ｔ２における撮像装置と候補被写体との位置関係を模式的に示す平面図顔Ａ方向のベクトルの変化（差分ベクトル）を例示する図

（第１の実施の形態）
図１は、第１の実施の形態に係る撮像装置１の構成を模式的に示すブロック図である。撮像装置１は、カメラボディ２およびレンズ鏡筒３を有する。レンズ鏡筒３は、カメラボディ２に着脱可能な、いわゆる交換レンズである。なお、レンズ鏡筒３を交換可能にせず、カメラボディ２と一体に構成してもよい。

レンズ鏡筒３は、撮像光学系３０、ズームエンコーダ３１、距離エンコーダ３２、レンズ駆動部３３、およびレンズ制御部３４を有する。図１に例示したレンズ鏡筒３は、いわゆるズームレンズである。ユーザが不図示のズーム環を操作すると、不図示のズーム機構により撮像光学系３０の焦点距離が変化する。

ズームエンコーダ３１は、不図示のズーム機構による撮像光学系３０の焦点距離の変化に応じたズーム信号をレンズ制御部３４に出力する。レンズ駆動部３３は、撮像光学系３０に含まれる不図示のフォーカスレンズを駆動することにより、撮像光学系３０の焦点位置を変化させる。距離エンコーダ３２は、撮像光学系３０の撮影距離の変化（焦点位置）に応じた距離信号をレンズ制御部３４に出力する。レンズ制御部３４は、例えば不図示のＣＰＵおよびその周辺回路により構成される。レンズ制御部３４は、レンズ鏡筒３の各部を制御する。

カメラボディ２は、撮像部２１、姿勢・並進検出部２２、距離検出部２３、ボディ制御部２４、および表示部２５を有する。撮像部２１は、例えばＣＣＤやＣＭＯＳなどの撮像素子である。撮像部２１は、被写体像を撮像し撮像信号をボディ制御部２４に出力する。姿勢・並進検出部２２は、撮像装置１の姿勢および並進運動を検出する。姿勢・並進検出部２２は、三軸角速度センサ２２１、三軸加速度センサ２２２、三軸地磁気センサ２２３、および演算部２２４を有する。

三軸角速度センサ２２１は、撮像装置１の角速度を検出する。三軸加速度センサ２２２は、撮像装置１の加速度を検出する。三軸地磁気センサ２２３は、いわゆる電子コンパスであり、地磁気を検出する。演算部２２４は、三軸角速度センサ２２１により検出された角速度の情報、三軸加速度センサ２２２により検出された加速度の情報、および三軸地磁気センサ２２３により検出された地磁気の情報を用いて、撮像装置１の姿勢および並進運動に関する情報を演算する。並進運動に関する情報とは、例えば、並進運動の速度や変位などである。演算部２２４は、演算した姿勢に関する情報および並進運動に関する情報を、ボディ制御部２４に出力する。

距離検出部２３は、例えばＴｏＦ（Time of Flight; 光飛行時間）法、あるいはLight Coding法などを用いる距離画像センサを有し、撮像装置１から被写体までの距離を検出する。距離検出部２３は、撮像部２１の各画素に対応する距離情報を出力する。なお、ここで「各画素に対応する距離情報」とは、必ずしも１画素ごとの距離情報を意味しない。例えば、２×２の計４画素ごとに１つの距離情報を出力してもよい。また、撮像部２１と距離検出部２３の撮像範囲は必ずしも同一でなくてもよい。少なくとも、撮像部２１の各画素に対応する距離情報が出力できればよい。両者の撮像範囲が同一である場合は、撮像部２１と距離検出部２３の解像度は整数倍の関係であることが望ましい。距離検出部２３の距離画像センサのフレームレートは、後述する表示用画像のフレームレートと同じ、または表示用画像のフレームレートの整数倍であることが望ましい。

ボディ制御部２４は、例えば不図示のＣＰＵおよびその周辺回路により構成される。ボディ制御部２４は、カメラボディ２の各部を制御する。表示部２５は、例えば液晶パネル等の表示素子を用いた表示装置である。ボディ制御部２４は、画角取得部２４１、被写体検出部２４２、速度演算部２４３、主要被写体特定部２４４、焦点調節部２４５、露出制御部２４６、およびホワイトバランス制御部２４７を機能的に有する。これらの各部は、ボディ制御部２４が所定の制御プログラムを実行することによりソフトウェア的に実装される。なお、これらの各部を、同等の機能を有する電子回路により構成してもよい。

画角取得部２４１は、レンズ制御部３４から、撮像光学系３０の焦点距離情報および撮影距離情報を受信し、撮像光学系３０の画角を取得する。レンズ制御部３４は、距離エンコーダ３２の出力から撮影距離情報を生成する。レンズ制御部３４は、ズームエンコーダ３１の出力から焦点距離情報を生成する。

被写体検出部２４２は、撮像部２１により出力された撮像信号から、撮影画面内における１つ以上の被写体（主要被写体の候補である候補被写体）の位置を検出する。被写体検出部２４２は、例えばテンプレートマッチング、顔検出、人体検出、フレーム間差分による動体検出等の方法により、候補被写体を検出する。

速度演算部２４３は、複数回の撮像による候補被写体の位置と撮像装置１の姿勢および並進運動と撮像光学系３０の画角と候補被写体の距離とから、候補被写体ごとの移動速度を演算する。詳細は後述するが、速度演算部２４３は、撮像画面内における移動速度や、撮像装置１との相対的な移動速度などではなく、慣性座標系における移動速度を演算する。例えばユーザがズーム環を操作して撮像光学系のズーム比を変えたり、撮像装置１自体を動かしたりした場合であっても、速度演算部２４３は候補被写体の実際の移動速度を演算する。

主要被写体特定部２４４は、候補被写体ごとの移動速度により、１つ以上の候補被写体から１つの候補被写体を主要被写体として特定する。焦点調節部２４５は、主要被写体特定部２４４により特定された主要被写体に対してピントが合うように、撮像光学系の自動焦点調節を行う。露出制御部２４６は、主要被写体特定部２４４により特定された主要被写体が適正露出で撮像されるように自動露出調整を行う。ホワイトバランス制御部２４７は、主要被写体特定部２４４により特定された主要被写体が適正なホワイトバランスで撮像されるように自動ホワイトバランス調整を行う。

（主要被写体の自動検出機能の説明）
本実施の形態に係る撮像装置１は、移動速度に基づく主要被写体の自動検出機能を有している。以下、主要被写体の自動検出機能について説明する。

撮像装置１が電源オン状態のとき、撮像部２１は、所定周期（例えば６０分の１秒）ごとに繰り返し撮像を行い、撮像信号を出力する。ボディ制御部２４は、この撮像信号に基づき表示用画像（いわゆるスルー画）を作成して表示部２５に表示する。ユーザが所定の撮像操作（例えば不図示のレリーズスイッチの押下操作）を行うと、ボディ制御部２４は撮像部２１に撮像を行わせ、撮像部２１から出力された撮像信号に基づき記憶用画像を作成して不図示の記憶媒体に記憶する。この記憶用画像の作成のための撮像を本撮像と称する。

なお、表示用画像は、記憶用画像に比べて画素数が少ない画像であってもよい。例えば、表示部２５の表示画素数と等しい画素数であってもよいし、表示部２５の表示画素数を多少上回る程度の画素数であってもよい。このようにすることで、表示用画像の作成に要する演算量や消費電力量を削減することができる。また、表示用画像を作成する際、撮像部２１は、いわゆる間引き読み出しを行った撮像信号を出力してもよい。つまり、撮像部２１は、撮像部２１が有する全ての撮像画素を用いるのではなく、その一部の撮像画素のみを用いて表示用画像のための撮像を行ってもよい。

ユーザは、本撮像を行う前に、主要被写体の移動速度を予め指定しておく。例えば、不図示の操作部材を操作して、時速２００キロメートル以上の被写体が主要被写体であることをボディ制御部２４に入力しておく。被写体検出部２４２は、表示用画像の中から主要被写体の候補を検出する。速度演算部２４３は、表示用画像から検出された候補被写体の移動速度を後述する処理によって演算する。主要被写体特定部２４４は、ユーザにより指定された移動速度の候補被写体が存在すれば、その候補被写体が主要被写体であると特定する。

主要被写体特定部２４４によって主要被写体が特定されると、焦点調節部２４５による自動焦点調節と、露出制御部２４６による自動露出調整と、ホワイトバランス制御部２４７による自動ホワイトバランス調整と、がその主要被写体に対して行われる。これにより、主要被写体の本撮像に適した設定が、予め移動速度を指定する以外の操作を行うことなく、撮像装置１に自動的に設定されるので、ユーザはフレーミング等に集中することができる。

以上に説明した主要被写体特定部２４４による主要被写体の特定動作は、動画撮像時にも行われる。動画撮像時には、表示用画像に対して行うと説明した処理を、動画の各フレームに対して行う。つまり、被写体検出部２４２、速度演算部２４３、および主要被写体特定部２４４は、動画の各フレームに対してリアルタイムに上述した処理を実行し、主要被写体特定部２４４により各フレームにおける主要被写体が特定される。そして、焦点調節部２４５による自動焦点調節と、露出制御部２４６による自動露出調整と、ホワイトバランス制御部２４７による自動ホワイトバランス調整と、がその主要被写体に対して行われる。これにより、主要被写体の動画撮像に適した設定が、予め移動速度を指定する以外の操作を行うことなく、撮像装置１に自動的に設定されるので、ユーザはフレーミング等に集中することができる。

（姿勢・並進検出部２２の説明）
図２は、座標系の定義を例示する図である。以下の説明では、図２に定義した座標系を用いる。図２（ｂ）に示すように、慣性座標系は東向きのＥ軸、北向きのＮ軸、上向きのＵ軸により定められる。その他、撮像装置１に注目した座標系として、図２（ａ）に示す、撮像装置１のＸ軸、Ｙ軸、Ｚ軸により定められる撮像装置座標系を用いる。

三軸角速度センサ２２１、三軸加速度センサ２２２、および三軸地磁気センサ２２３は、撮像装置１に固定されている。姿勢・並進検出部２２の演算部２２４は、撮像装置１が静止しているときの三軸加速度センサ２２２および三軸地磁気センサ２２３の出力から、慣性座標系と撮像装置座標系の相対角度、すなわち撮像装置１の姿勢を演算する。演算部２２４は、撮像装置１の静止時の姿勢を、撮像装置１の初期姿勢とする。以下の説明において、撮像装置１の初期姿勢を、クォータニオンｑ０（ｑ００，ｑ０１，ｑ０２，ｑ０３）で表す。

その後、演算部２２４は、撮像装置１の姿勢の変化を、三軸角速度センサ２２１の出力から追跡する。例えば、三軸角速度センサ２２１の出力から、回転した撮像装置１の姿勢をクォータニオンで表す。クォータニオンの時間微分は角速度ベクトル（ロール、ピッチ、ヨー）によって表すことができるので、初期姿勢ｑ０を初期値として微分方程式を解き、各時刻のクォータニオンｑ（ｔ）を求めることができる。これにより、姿勢・並進検出部２２からボディ制御部２４へ、常に最新の撮像装置１の姿勢情報が出力される。

なお、クォータニオンを求めるために必要な角速度のサンプリング周波数は、表示用画像のフレームレートより高いことが望ましい。また、角速度のサンプリング周波数は、フレームレートの整数倍であることがより望ましい（画像取得タイミングと等間隔にクォータニオンを求めることができるため）。例えば、表示用画像のフレームレートが３０ｆｐｓの場合、角速度のサンプリング周波数は６０Ｈｚや１２０Ｈｚであることが望ましい。

ボディ制御部２４は、姿勢・並進検出部２２により検出された撮像装置１の姿勢から、撮像装置１の光軸方向を慣性座標系で定義する。例えば時刻ｔの撮像装置１の光軸方向（Ｘ軸）の単位ベクトル（１，０，０）をクォータニオンｑ（ｔ）で慣性座標系に変換すると、長さ１の光軸方向のベクトルが求められる。このベクトルは、撮像装置１を中心とした半径１の球面を定義すると、球面上の点に相当する。

なお、撮像装置１の慣性座標系に対する初期姿勢が既知である場合について説明したが、三軸加速度センサ２２２または三軸地磁気センサ２２３がなく、撮像装置１の初期姿勢が不明である場合には、光軸方向を、撮像装置１の初期方向を基準とした相対方向としてもよい。

演算部２２４は、以上で説明した撮像装置１の姿勢と三軸加速度センサ２２２の出力とから、更に、撮像装置１の並進運動を検出する。

（速度演算部２４３の説明）
以下、速度演算部２４３により実行される、候補被写体の慣性座標系における移動速度を演算する処理について説明する。まず、撮像装置１の姿勢変化がヨー方向（Ｚ軸方向）に限られ、かつ、候補被写体の動きが慣性座標系のＥＮ方向（２次元平面上）に限られる場合について説明する。

図３は、時刻ｔ０における撮像装置１と候補被写体との位置関係を示す平面図である。図３において、移動速度を演算する対象となる候補被写体は自動車である。以下の説明では、この自動車を単に候補被写体と呼ぶ。図３の左上には、時刻ｔ０に撮像された表示用画像を例示している。

図３において、表示用画像の長辺方向のサイズを２Ｌ、候補被写体の表示用画像内の水平方向の座標（例えば表示用画像の中央を０とし、左方向をマイナス、右方向をプラスとする座標）をＹｔ０、撮像装置１のＺ軸周りの半画角をθｆとする。このとき、Ｙｔ０について次式（１）が成り立つ。撮像光学系３０の光軸と、撮像部２１から見た候補被写体の方向とが成す角θｔ０は、式（１）を変形した次式（２）により求められる。

表示用画像の長辺方向のサイズは既知である（予め決められている）ので、Ｌは既知である。Ｙｔ０は被写体検出部２４２により検出される。θｆは画角取得部２４１により取得される。速度演算部２４３は、これらの情報を上式（２）に当てはめ、θｔ０を演算する。

速度演算部２４３は、被写体検出部２４２により検出された候補被写体の位置に対応する距離情報を、距離検出部２３により出力された撮像部２１の各画素に対応する距離情報から特定する。ここで特定した距離情報が、時刻ｔ０における撮像装置１から候補被写体までの距離Ｄｔ０を示している。速度演算部２４３は、姿勢・並進検出部２２により出力された、慣性座標系における撮像装置１の姿勢から、撮像光学系３０の光軸と慣性座標系のＥ軸とが成す角θｃ０を演算する。

図４は、時刻ｔ０からｔ秒後の時刻ｔ１における撮像装置１と候補被写体との位置関係を示す平面図である。図４の左上には、図３と同様、時刻ｔ１に撮像された表示用画像を例示している。速度演算部２４３は、時刻ｔ０の場合と同様に、次式（３）により、撮像光学系３０の光軸と、撮像部２１から見た候補被写体の方向とが成す角θｔ１を演算する。なお、次式（３）において、時刻ｔ１における候補被写体の表示用画像内の水平方向の座標をＹｔ１と表記している。

速度演算部２４３は、時刻ｔ０の場合と同様に、距離検出部２３の出力に基づき時刻ｔ１における撮像装置１から候補被写体までの距離Ｄｔ１を求める。速度演算部２４３は、時刻ｔ０の場合と同様に、姿勢・並進検出部２２の出力に基づき時刻ｔ１における撮像光学系３０の光軸と慣性座標系のＥ軸とが成す角θｃ１を演算する。速度演算部２４３は、更に、姿勢・並進検出部２２により検出された撮像装置１の並進運動から、時刻ｔ０から時刻ｔ１までのｔ秒の間に為された撮像装置１の並進Ｖｃ・ｔを求める。

図５は、時刻ｔ０、ｔ１における撮像装置１と候補被写体との位置関係を示す平面図である。時刻ｔ０から時刻ｔ１までのｔ秒の間に為された候補被写体の移動をＶＴ・ｔとすると、この移動における候補被写体の移動速度ＶＴは次式（４）により求められる。

上式（４）において、ＶＴＥ、ＶＴＮ、ＶＴＵはそれぞれＥ軸方向、Ｎ軸方向、Ｕ軸方向における候補被写体の移動速度である。また、ＶＣＥ、ＶＣＮはそれぞれＥ軸方向、Ｎ軸方向における撮像装置１の移動速度である。速度演算部２４３は、上式（４）を演算することにより、候補被写体の移動速度を演算する。

次に、撮像装置１の姿勢変化および候補被写体の動きを制限しない場合について説明する。図６は、時刻ｔ０における撮像装置１と候補被写体との位置関係を示す平面図である。図６において、移動速度を演算する対象となる候補被写体は飛行機である。以下の説明では、この飛行機を単に候補被写体と呼ぶ。図６の左上には、時刻ｔ０に撮像された表示用画像を例示している。

図６において、表示用画像の長辺方向のサイズを２ＬＹ、表示用画像の短辺方向のサイズを２ＬＺ、候補被写体の表示用画像内の座標（例えば表示用画像の中央を０とし、左方向および上方向をマイナス、右方向および下方向をプラスとする座標）を（Ｙｔ０，Ｚｔ０）、撮像装置１のＺ軸周りの半画角をθｆ、撮像装置１のＹ軸周りの半画角をφｆとする。このとき、Ｙｔ０について次式（５）が、Ｚｔ０について次式（６）が、それぞれ成り立つ。撮像光学系３０の光軸と、撮像部２１から見た候補被写体の方向とが成す角のＺ軸周り成分θｔ０は、式（５）を変形した次式（７）により求められる。撮像光学系３０の光軸と、撮像部２１から見た候補被写体の方向とが成す角のＹ軸周り成分φｔ０は、式（６）を変形した次式（８）により求められる。

表示用画像のサイズは既知である（予め決められている）ので、ＬＹおよびＬＺは既知である。Ｙｔ０およびＺｔ０は被写体検出部２４２により検出される。θｆおよびφｆは画角取得部２４１により取得される。速度演算部２４３は、これらの情報を上式（７）、（８）に当てはめ、θｔ０およびφｔ０を演算する。これにより、撮像装置座標系における撮像装置１から見た候補被写体の方向が特定される。

速度演算部２４３は、姿勢・並進検出部２２により出力された慣性座標系における撮像装置１の姿勢と、撮像装置座標系における撮像装置１から見た候補被写体の方向とから、慣性座標系における撮像装置１→候補被写体のベクトルＲＴを演算する。

慣性座標系から見た撮像装置１の姿勢がクォータニオンｑ０，ｑ１，ｑ２，ｑ３により表される場合、慣性座標系から撮像装置座標系への方向余弦行列ＤＣＭは次式（９）により表される。

また、撮像装置座標系から見た被写体方向単位ベクトルＮＴＣは、次式（１０）により表される。

撮像装置座標系から慣性座標系への座標変換は、方向余弦行列ＤＣＭの転置行列ＤＣＭ^Ｔにより表現されるため、慣性座標系から見た被写体方向単位ベクトルＮＴは次式（１１）により求められる。

距離検出部２３の出力から特定した被写体距離ＤＴと、（１１）式により求めた被写体方向単位ベクトルＮＴを掛け合わせると、慣性座標系から見た撮像装置１→被写体ベクトルＲＴが求まる。すなわち、慣性座標系から見た撮像装置１→被写体ベクトルＲＴは次式（１２）により求められる。

図７は、時刻ｔ０、ｔ１における撮像装置１と候補被写体との位置関係を模式的に示す図である。前述の通り、姿勢・並進検出部２２は撮像装置１の並進運動、すなわち図７に図示した撮像装置１の並進ベクトルＭＣ（ｔ０→ｔ１）を検出することができる。速度演算部２４３は、時刻ｔ０および時刻ｔ１においてそれぞれ速度演算部２４３により演算された撮像装置→被写体ベクトルＲＴ、および、姿勢・並進検出部２２により検出された並進ベクトルＭＣ（ｔ０→ｔ１）から、次式（１３）により慣性座標系における候補被写体の移動速度ＶＴｔ１を演算する。

以上のように、速度演算部２４３は、候補被写体の動きや撮像装置１の動きに関わらず、各候補被写体の慣性座標系における移動速度を示す速度ベクトルを演算することができる。

上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像部２１は、被写体像を撮像し撮像信号を出力する。被写体検出部２４２は、撮像信号から撮像画面内における被写体の位置を検出する。姿勢・並進検出部２２は、撮像装置１の姿勢を検出する。画角取得部２４１は、撮像部２１の画角を取得する。距離検出部２３は、被写体までの距離を検出する。速度演算部２４３は、複数回の撮像による位置と姿勢と画角と距離とにより、被写体の移動速度を演算する。このようにしたので、実世界（慣性座標系）における被写体の移動速度を正確に検出することができる。

（２）姿勢・並進検出部２２は、撮像装置１の並進運動を検出する。速度演算部２４３は、複数回の撮像による位置と姿勢と画角と距離と並進運動とにより、被写体の移動速度を演算する。このようにしたので、撮像装置１が途中で並進した場合であっても、実世界（慣性座標系）における被写体の移動速度を正確に検出することができる。

（３）主要被写体特定部２４４は、被写体の移動速度により、複数の被写体から主要被写体を特定する。このようにしたので、主要被写体を精度よく特定することができる。

（４）速度演算部２４３は、姿勢および並進運動から算出された慣性座標系における撮像装置１の動きと、位置および距離から算出された撮像装置座標系における被写体の動き（すなわち、撮像装置１との相対的な被写体の動き、換言すると、撮像装置１から見た被写体の動き）と、により被写体の移動速度を演算する。このようにしたので、実世界（慣性座標系）における被写体の移動速度を正確に検出することができる。

（５）焦点調節部２４５は、特定された主要被写体に対して自動焦点調節を行う。露出制御部２４６は、特定された主要被写体に対して自動露出調整を行う。ホワイトバランス制御部２４７は、特定された主要被写体に対して自動ホワイトバランス調整を行う。このようにしたので、主要被写体の撮像を容易に行うことが可能な、操作性のよい撮像装置を提供することができる。

（６）姿勢・並進検出部２２は、三軸角速度センサ２２１と、三軸地磁気センサ２２３とを有する。このようにしたので、撮像装置１の初期姿勢に依らず、実世界（慣性座標系）における被写体の移動速度を正確に検出することができる。

（第２の実施の形態）
図８は、第２の実施の形態に係る撮像装置１００１の構成を模式的に示すブロック図である。第１の実施の形態に係る撮像装置１は、被写体の移動速度に基づき主要被写体を特定していたが、撮像装置１００１は移動速度ではなく被写体の方向に基づき主要被写体を特定する。以下、第２の実施の形態に係る撮像装置１００１について説明するが、第１の実施の形態と同一の部位については第１の実施の形態と同一の符号を付して説明を省略する。

撮像装置１００１は、カメラボディ１００２およびレンズ鏡筒３を有する。カメラボディ１００２は、撮像部２１、姿勢検出部１０２２、ボディ制御部１０２４、および表示部２５を有する。姿勢検出部１０２２は、姿勢・並進検出部２２の代替であり、撮像装置１の姿勢を検出する。姿勢検出部１０２２は、三軸角速度センサ２２１、三軸加速度センサ２２２、三軸地磁気センサ２２３、および演算部１２２４を有する。演算部１２２４は、三軸角速度センサ２２１により検出された角速度の情報、三軸加速度センサ２２２により検出された加速度の情報、および三軸地磁気センサ２２３により検出された地磁気の情報を用いて、撮像装置１の姿勢を演算する。演算部１２２４は、演算した姿勢に関する情報を、ボディ制御部１０２４に出力する。

ボディ制御部１０２４は、例えば不図示のＣＰＵおよびその周辺回路により構成される。ボディ制御部１０２４は、カメラボディ１００２の各部を制御する。ボディ制御部１０２４は、画角取得部２４１、被写体検出部２４２、主要被写体特定部１２４４、焦点調節部２４５、露出制御部２４６、およびホワイトバランス制御部２４７を機能的に有する。これらの各部は、ボディ制御部１０２４が所定の制御プログラムを実行することによりソフトウェア的に実装される。なお、これらの各部を、同等の機能を有する電子回路により構成してもよい。

主要被写体特定部２４４は、複数回の撮像による候補被写体の位置と撮像装置１００１の姿勢と撮像光学系３０の画角とにより、１つ以上の候補被写体から１つの候補被写体を主要被写体として特定する。

（主要被写体の自動検出機能の説明）
本実施の形態に係る撮像装置１００１は、撮像装置１００１の向きと候補被写体の方向との相関に基づく主要被写体の自動検出機能を有している。以下、主要被写体の自動検出機能について説明する。

被写体検出部２４２は、表示用画像の中から、例えばテンプレートマッチング、顔検出、人体検出、フレーム間差分による動体検出等の方法により、候補被写体を検出する。以下の説明では、候補被写体は人物であり、被写体検出部２４２は人物の検出に顔検出を利用するものとする。主要被写体特定部１２４４は、以下に説明する処理によって、いずれかの候補被写体を主要被写体であると特定する。

図９（ａ）は、時刻ｔ１の表示用画像を例示する図であり、図９（ｂ）は、時刻ｔ２の表示用画像を例示する図である。図９では、表示用画像から、顔Ａ、顔Ｂ、顔Ｃの計３人の顔が候補被写体として検出されている。以下の説明では、検出されている候補被写体の位置を表示画面上の一点を示す座標で表すことにする。顔Ａ、顔Ｂ、顔Ｃの位置を、座標（ｘＡ，ｙＡ）、（ｘＢ，ｙＢ）、（ｘＣ，ｙＣ）と表記する。なお図３では、説明を簡単にするため、ｙＡ＝ｙＢ＝ｙＣ＝０とした例を示している。

時刻ｔ１から時刻ｔ２にかけての、これら３人の顔の動きに注目する。撮像装置の位置から見て、顔Ａは右に動き、顔Ｂは左に動き、顔Ｃは止まっているとする。またここで、時刻ｔ１から時刻ｔ２にかけて、撮像装置１００１の光軸が右に動いているとする。光軸の角度変化が撮像装置１００１の位置から見た顔Ａの方向の角度変化よりも大きいので、図９に示す通り、表示用画像内では顔Ａがわずかに左に動いている。また、顔Ｂと顔Ｃも、表示用画像内では左に動いている。

表示用画像における顔の座標と表示用画像の画角情報とから、撮像装置１００１から見た顔の方向がわかる。姿勢検出部１０２２により検出された撮像装置１００１の姿勢から、撮像装置１００１を原点とする慣性座標系での顔の方向がわかる。従って、撮像装置１００１を原点とする球面座標での顔の方向を示す点が決定する。撮像装置１００１を原点とする慣性座標系の単位球面（半径１）を定義すると、顔Ａ、顔Ｂ、顔Ｃの方向は、単位球面上の点に置き換えることができる。

図１０（ａ）は、時刻ｔ１における撮像装置１００１と候補被写体との位置関係を模式的に示す平面図であり、図１０（ｂ）は、時刻ｔ２における撮像装置１００１と候補被写体との位置関係を模式的に示す平面図である。図１０（ａ）、（ｂ）は、それぞれ、慣性座標系の単位球面を球の中心を通る水平面で切断した図であり、中心は撮像装置１００１の位置である。

時刻ｔ１から時刻ｔ２にかけて、顔Ｃは止まっているので、顔Ｃを示すベクトルは変化していないが、光軸はＮ方向に変化し、画角を示す扇形もＮ方向にずれるので、表示用画像内では顔Ｃが左に動いて見える。

図９、図１０で説明したように、繰り返し複数回撮像された表示用画像と、その表示用画像を撮像したときの撮像装置１００１の姿勢角とを用いて、顔Ａ、顔Ｂ、顔Ｃの方向を単位球面上にプロットすることができる。同様に、撮像装置１００１の光軸方向も慣性座標系の単位球面上にプロットすることができる。

ユーザは、撮像装置１００１を用いて撮像を行う際、撮像装置１００１の光軸が主要被写体の方向を向くように、撮像装置１００１の姿勢を変更する。主要被写体特定部１２４４は、表示用画像の撮像ごとに、検出された候補被写体（顔Ａ、顔Ｂ、顔Ｃ）の方向および撮像装置１００１の光軸の方向を、慣性座標系の単位球面上の点として演算する。これにより、表示用画像のフレームレートに対応する方向データが演算される。複数の方向データはそれぞれ球面上の折れ線グラフで示される。主要被写体特定部１２４４は、光軸方向の動きと相関のある動きを示す候補被写体（顔）を主要被写体と特定する。

主要被写体特定部１２４４は、光軸方向の動きと候補被写体（顔）の方向の動きとの相関を調べるために、各点の球面上の変化を用いる。例えば、ｎフレーム目の表示用画像における顔Ａの方向に相当する大きさ１のベクトルをＶＡ（ｎ）とする。このベクトルは原点から単位球面上の顔Ａに相当する点までを表す。図１１のように、フレーム番号ｎからｎ＋１にかけての顔Ａ方向のベクトルの変化（差分ベクトル）ΔＶＡ（ｎ＋１）は、次式（１４）により表される。

同様に、光軸方向に相当する大きさ１のベクトルをＶＯ（ｎ）とすると、フレーム番号ｎからｎ＋１にかけての光軸方向のベクトルの変化（差分ベクトル）ΔＶＯ（ｎ＋１）は、次式（１５）により表される。

主要被写体特定部１２４４は、顔Ａの方向の変化と光軸方向の変化との相関を調べるため、上記差分ベクトルの正規化内積を求める。例えば、顔Ａの方向の差分ベクトルΔＶＡ（ｎ＋１）と光軸方向の差分ベクトルΔＶＯ（ｎ＋１）の正規化内積ＮＩＰＡ（ｎ＋１）を、次式（１６）により演算する。

ΔＶＡの方向とΔＶＯの方向とが一致している場合、正規化内積ＮＩＰＡは１となり、一致していない場合は１より小さい値（最小値は−１）となる。

主要被写体特定部１２４４は、顔Ａの方向の差分ベクトルΔＶＡと光軸方向の差分ベクトルΔＶＯの正規化内積ＮＩＰＡを求めるのと同様に、顔Ｂと光軸、顔Ｃと光軸についても差分ベクトルの正規化内積ＮＩＰＢ、ＮＩＰＣを求める。顔Ａが主要被写体であれば、顔Ａの方向と光軸方向とは似た動きをする可能性が高いため、差分ベクトルの方向が近くなる。そのため、正規化内積ＮＩＰＡの総和（ＳＮＩＰＡ＝ΣＮＰＩＡ）を求めると、時間が経過するにしたがってＳＮＩＰＢ、ＳＮＩＰＣより高い値を示す。主要被写体特定部１２４４は、正規化内積ＮＩＰＡの総和ＳＮＩＰＡがＳＮＩＰＢ、ＳＮＩＰＣより高い場合、顔Ａを主要被写体として特定する。

なお、以上の説明では相関の評価値として正規化内積を試用する例を示したが、それ以外の評価値を使用してもよい。例えば、次式（１７）に示す内積ＩＰＡ、次式（１８）に示すベクトルの大きさの比を考慮した内積ＩＰＲＡ、次式（１９）に示すベクトルの大きさの比を考慮した正規化内積ＮＩＰＲＡなどを、相関の評価値として試用することができる。

上式（１７）に示す内積ＩＰＡには、計算が容易であるという利点がある。上式（１８）に示すベクトルの大きさの比を考慮した内積ＩＰＲＡには、ベクトルの方向の類似度と大きさの類似度とを考慮できるという利点がある。上式（１９）に示すベクトルの大きさの比を考慮した正規化内積ＮＩＰＲＡには、ベクトルの方向の類似度と大きさの類似度とを考慮でき、また±１の範囲の値が得られるので扱いやすいという利点がある。

主要被写体特定部１２４４によって主要被写体が特定された後の処理は、第１の実施の形態と同様であるので、説明を省略する。なお、動画撮像時にも適用可能である点は、第１の実施の形態で説明した通りである。

上述した実施の形態によれば、次の作用効果が得られる。
（１）撮像部２１は、被写体像を撮像し撮像信号を出力する。被写体検出部２４２は、撮像信号から撮像画面内における被写体の位置を検出する。姿勢検出部１０２２は、撮像装置１００１の姿勢を検出する。画角取得部２４１は、撮像部２１の画角を取得する。主要被写体特定部１２４４は、複数回の撮像による位置と姿勢と画角とにより、複数の被写体から主要被写体を特定する。このようにしたので、主要被写体を精度よく特定することができる。

（２）主要被写体特定部１２４４は、位置と姿勢により特定された撮像装置１００１の向きとの相関を演算することにより、主要被写体を特定する。このようにしたので、主要被写体を精度よく特定することができる。

（３）焦点調節部２４５は、特定された主要被写体に対して自動焦点調節を行う。露出制御部２４６は、特定された主要被写体に対して自動露出調整を行う。ホワイトバランス制御部２４７は、特定された主要被写体に対して自動ホワイトバランス調整を行う。このようにしたので、主要被写体の撮像を容易に行うことが可能な、操作性のよい撮像装置を提供することができる。

（４）姿勢検出部１０２２は、三軸角速度センサ２２１と、三軸地磁気センサ２２３とを有する。このようにしたので、撮像装置１の初期姿勢に依らず、主要被写体を精度よく特定することができる。

（変形例１）
ユーザがフレーミング中に撮像装置１を並進させないのであれば、姿勢・並進検出部２２が並進運動を検出できなくてもよい。つまり、姿勢・並進検出部２２が三軸加速度センサ２２２など並進運動を検出するために必要なセンサを備えていなくてもよい。

（変形例２）
速度演算部２４３により演算された候補被写体の移動速度は、主要被写体の特定以外の目的に利用することも可能である。例えば、被写体の速度情報を記憶用画像（静止画および動画）のＥＸＩＦ情報に記録しておけば、複数の記憶用画像から被写体の移動速度に基づく検索を行うことができる。

（変形例３）
第２の実施の形態において、評価値（正規化内積の総和など）に時間方向の重み付けをしてもよい。例えば、正規化内積の総和を求める際に、過去の積算値に係数ρ（１より小さい値）を乗じて、過去の値の影響を少なくしてもよい。あるいは、正規化内積の移動平均を求めてもよい。このように時間方向の重み付けをすることにより、変化に対する反応が速くなる。このようにすることで、ユーザによる主要被写体の変更にいち早く追従することができる。

（変形例４）
第２の実施の形態において、表示用画像における候補被写体の位置を主要被写体の特定に利用してもよい。例えば、主要被写体は画面中央付近に存在する可能性が高いので、そのことを主要被写体の特定に利用することができる。具体的には、正規化内積に対して、画面中央が最大値１になり、画面中央から離れるにしたがって０に近づく重み関数を乗じればよい。このように、表示用画像における候補被写体の位置を考慮することで、主要被写体をより精度よく特定することができる。

（変形例５）
第２の実施の形態において、撮像装置１００１がいわゆる像ブレ補正機能を備えている場合、像ブレ補正の結果を主要被写体の特定に利用してもよい。例えば、表示用画像上において検出された顔の位置を画面上の座標で表す場合、像ブレ補正による像のシフト量を考慮して、レンズシフトが無かった場合の座標を求める。この補正を行うことにより、像ブレ補正による像のシフトの影響を受けずに、慣性座標系での顔の正確な位置を求めることができ、正確な主要被写体の特定が可能になる。

（変形例６）
上述した各実施の形態における主要被写体の特定機能や候補被写体の速度演算機能を、ＩＣパッケージなどの電子部品として構成してもよい。この場合、撮像部２１からの撮像信号が入力される撮像信号入力部を電子部品に設け、入力された撮像信号に対して上述した種々の処理を実行するようにすればよい。

また、いわゆるスマートフォンやタブレット端末などの装置において、上述した各実施の形態における主要被写体の特定機能や候補被写体の速度演算機能を搭載することも可能である。

１、１００１…撮像装置、２…カメラボディ、３…レンズ鏡筒、２１…撮像部、２２…姿勢・並進検出部、２３…距離検出部、２４、１０２４…ボディ制御部、３０…撮像光学系、２４１…画角取得部、２４２…被写体検出部、２４３…速度演算部、２４４、１２４４…主要被写体特定部、２４５…焦点調節部、２４６…露出制御部、２４７…ホワイトバランス制御部、１０２２…姿勢検出部

Claims

時刻Ｔ０と、前記時刻Ｔ０と異なる時刻Ｔ１とで、被写体の像を撮像し撮像信号を出力する撮像部と、
前記撮像信号から撮像画面内における前記被写体の位置を検出する被写体位置検出部と、
撮像装置の姿勢を検出する姿勢検出部と、
前記撮像部の画角を取得する画角取得部と、
前記被写体までの距離を検出する距離検出部と、
前記撮像装置の並進運動を検出する並進運動検出部と、
前記位置と前記姿勢と前記画角とにより時刻Ｔ０での撮像で実空間上における前記被写体の方向を算出し、前記位置と前記姿勢と前記画角とにより時刻Ｔ１での撮像で実空間上における前記被写体の方向を算出し、時刻Ｔ０での前記被写体の方向及び前記距離と、時刻Ｔ１での前記被写体の方向及び前記距離と、時刻Ｔ０から時刻Ｔ１の間に検出された前記撮像装置の前記並進運動と、により前記被写体の移動速度を演算する速度演算部と、
前記移動速度を指定する指定部と、
前記指定部で指定された前記移動速度に基づいて、前記被写体から主要被写体を特定する主要被写体特定部と、を備える撮像装置。
請求項１に記載の撮像装置において、
前記速度演算部は、前記姿勢および前記並進運動から算出された慣性座標系における前記撮像装置の動きと、前記位置および前記距離から算出された撮像装置座標系における前記被写体の動きと、により前記被写体の移動速度を演算する撮像装置。
請求項１または請求項２に記載の撮像装置において、
前記主要被写体に対して自動焦点調節と自動露出調整と自動ホワイトバランス調整との少なくとも１つを行う撮像装置。
請求項１から請求項３までのいずれか一項に記載の撮像装置において、
前記姿勢検出部は、三軸の角速度センサと、三軸の加速度センサと、三軸の地磁気センサとの少なくとも一つを有する撮像装置。
時刻Ｔ０と、前記時刻Ｔ０と異なる時刻Ｔ１とで、被写体の像を撮像した撮像信号が入力される撮像信号入力部と、
前記撮像信号から撮像画面内における前記被写体の位置を検出する被写体位置検出部と、
前記被写体の像を撮像した撮像装置の姿勢および並進運動を検出する姿勢並進検出部と、
前記被写体の像を撮像した際の画角を取得する画角取得部と、
前記被写体までの距離を検出する距離検出部と、
前記位置と前記姿勢と前記画角とにより、時刻Ｔ０での撮像で実空間上における前記被写体の方向を算出し、前記位置と前記姿勢と前記画角とにより時刻Ｔ１での撮像で実空間上における前記被写体の方向を算出し、時刻Ｔ０での前記被写体の方向及び前記距離と、時刻Ｔ１での前記被写体の方向及び前記距離と、時刻Ｔ０から時刻Ｔ１の間に検出された前記撮像装置の前記並進運動と、により前記被写体の移動速度を演算する速度演算部と、
前記移動速度を指定する指定部と、
前記指定部で指定された前記移動速度に基づいて、前記被写体から主要被写体を特定する主要被写体特定部と、を備える電子部品。