JP7468527B2 - 撮像装置、撮像制御方法およびプログラム - Google Patents

Description

本開示は、撮像装置、撮像制御方法およびプログラムに関する。

画素の間引きや加算を行う機能を持つ撮像装置が開発されている（特許文献１参照）。また、画素の間引きを行うことにより、高フレームレートでの撮影を可能にした撮像装置がある。これにより、高速で動く被写体を撮影することが可能である。

特開２０１８－１９１９１号公報

高フレームレートでの撮影を可能にした撮像装置では、一般に、画質は低下する。高速で動く被写体を高画質かつ、所望のタイミングで撮影することは困難である。

高速で動く被写体を高画質かつ、所望のタイミングで撮影することが可能な撮像装置、撮像制御方法およびプログラムを提供することが望ましい。

本開示の一実施の形態に係る撮像装置は、露光部と、第１のフレームレートで撮影された被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、露光部を第１のフレームレートとは異なる第２のフレームレートで制御する制御部とを備える。制御部は、予測露光タイミングと撮影トリガーとに基づいて、露光部の露光タイミングを制御し、予測露光タイミングが、撮影トリガーに基づく所定の期間内にある場合には、予測露光タイミングと撮影トリガーとの時間差に応じて露光部の露光タイミングを制御する。

本開示の一実施の形態に係る撮像制御方法は、露光部を備える撮像装置によって、被写体を第１のフレームレートで撮影することと、第１のフレームレートで撮影された被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、露光部を第１のフレームレートとは異なる第２のフレームレートで制御することと、予測露光タイミングと撮影トリガーとに基づいて、露光部の露光タイミングを制御し、予測露光タイミングが、撮影トリガーに基づく所定の期間内にある場合には、予測露光タイミングと撮影トリガーとの時間差に応じて露光部の露光タイミングを制御することとを含む。

本開示の一実施の形態に係るプログラムは、露光部を備える撮像装置によって、被写体を第１のフレームレートで撮影することと、第１のフレームレートで撮影された被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、露光部を第１のフレームレートとは異なる第２のフレームレートで制御することと、予測露光タイミングと撮影トリガーとに基づいて、露光部の露光タイミングを制御し、予測露光タイミングが、撮影トリガーに基づく所定の期間内にある場合には、予測露光タイミングと撮影トリガーとの時間差に応じて露光部の露光タイミングを制御することとを含む処理をコンピュータに実行させる。

本開示の一実施の形態に係る撮像装置、撮像制御方法またはプログラムでは、予測された最適な露光タイミングにおいて被写体の撮影が行われるように、露光部の露光タイミングが制御される。

本開示の第１の実施の形態に係る撮像装置が適用されるカメラの構成の概要を示すブロック図である。 通常の露光タイミングでは撮影が困難な撮影シーンの一例を示す説明図である。 第１の実施の形態に係るカメラの動作の概要を示す説明図である。 第１の実施の形態に係るカメラの動作の概要を示す説明図である。 第１の実施の形態に係るカメラによる認識予測処理の動作フローの一例を示す流れ図である。 第１の実施の形態に係るカメラによる連写モードまたは動画モード時の通常の撮像処理の動作フローの一例を示す流れ図である。 第１の実施の形態に係るカメラによる連写モードまたは動画モード時の露光タイミングの一例を示すタイミング図である。 第１の実施の形態に係るカメラにおける自動判別モードによる認識予測処理の動作フローの一例を示す流れ図である。 第１の実施の形態に係るカメラによる認識予測処理の動作フローの第１の具体例を示す流れ図である。 第１の実施の形態に係るカメラによる認識予測処理の動作フローの第２の具体例を示す流れ図である。 第１の実施の形態に係るカメラによる認識予測処理に用いられるデータベースのデータ内容の一例を示す説明図である。 図１１に続くデータベースの一例を示す説明図である。 第１の実施の形態に係るカメラによる単写モード、かつ予測最適露光タイミング優先モード時の撮像処理の動作フローの一例を示す流れ図である。 図１３に続く流れ図である。 第１の実施の形態に係るカメラによる単写モード、かつ撮影トリガー優先モード時の撮像処理の動作フローの一例を示す流れ図である。 図１５に続く流れ図である。 第１の実施の形態に係るカメラによる単写モード時の露光タイミングおよび画像データの読み出しタイミングの概要を示すタイミング図である。 第１の実施の形態に係るカメラによる単写モード、かつ予測最適露光タイミング優先モード時の露光タイミングおよび画像データの読み出しタイミングの一例を示すタイミング図である。 第１の実施の形態に係るカメラによる単写モード、かつ撮影トリガー優先モード時の露光タイミングおよび画像データの読み出しタイミングの一例を示すタイミング図である。 単写モード時における半押しによる予測最適露光タイミング許容時間のコントロールの一例を示すタイミング図である。 第１の実施の形態に係るカメラによる露光タイミング制御機能、撮影トリガー、認識予測処理、および本画撮影のタイミングの一例を示すタイミング図である。 第１の実施の形態に係るカメラにおいて、認識予測処理のフレームレートを抑制した場合の、露光タイミング制御機能、撮影トリガー、認識予測処理、および本画撮影のタイミングの第１の例を示すタイミング図である。 第１の実施の形態に係るカメラにおいて、認識予測処理のフレームレートを抑制した場合の、露光タイミング制御機能、撮影トリガー、認識予測処理、および本画撮影のタイミングの第２の例を示すタイミング図である。 第１の実施の形態に係るカメラによる撮影時において、最適露光タイミングと判定された場合のユーザへの通知例を示す説明図である。 第１の実施の形態に係るカメラによって撮影された画像の再生時において、最適露光タイミングで撮影されたことをユーザへ通知する例を示す説明図である。 第２の実施の形態に係る撮像装置が適用されるカメラの構成の概要を示すブロック図である。 第３の実施の形態に係る撮像装置が適用されるカメラの構成の概要を示すブロック図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（図１～図２５）
１．１ 第１の実施の形態に係るカメラの構成
１．２ 第１の実施の形態に係るカメラの動作
１．３ 効果および変形例
２．第２の実施の形態（図２６）
３．第３の実施の形態（図２７）
４．その他の実施の形態

＜１．第１の実施の形態＞
［１．１ 第１の実施の形態に係るカメラの構成］
図１は、本開示の第１の実施の形態に係る撮像装置が適用されるカメラの構成の概要を示している。

第１の実施の形態に係るカメラは、カメラ本体１００内に、撮像装置１０と、処理部３０と、トリガーＩＦ（インタフェース）４１と、表示部４２と、記録媒体４３とを備えている。トリガーＩＦ４１、表示部４２、および記録媒体４３は、カメラ本体１００とは別体として構成されていてもよい。その他、第１の実施の形態に係るカメラは、被写体の光学像を形成するレンズ部を備えていてもよい。

撮像装置１０は、露光部１１と、露光タイミング制御部１２とを備えている。処理部３０は、認識・予測処理部３１と、処理実施判定部３２と、画像現像処理部３３と、データベース３４と、内部メモリ３５とを含んでいる。露光タイミング制御部１２は、本開示の技術における「制御部」の一具体例に相当する。また、露光タイミング制御部１２に加えて、認識・予測処理部３１、処理実施判定部３２、および画像現像処理部３３のうち少なくとも１つが本開示の技術における「制御部」を構成していてもよい。

トリガーＩＦ４１は、例えば露光部１１に対してシャッタ動作を指示する撮影トリガー（シャッタボタン）を含んでいる。また、トリガーＩＦ４１は、モードダイヤルや機能選択ボタン等を含んでいる。第１の実施の形態に係るカメラでは、モードダイヤルや機能選択ボタン等によって、例えば撮影時の各種モードの選択、例えば連写モード、動画モード、または単写モードの選択や、撮影時の各種設定等を行うことが可能となっている。また、第１の実施の形態に係るカメラでは、モードダイヤルや機能選択ボタン等によって、露光タイミング制御機能のＯＮ／ＯＦＦ設定を行うことが可能となっている。

なお、一般に、カメラでは撮影トリガーとしてのシャッタボタンに半押し機能があり、ボタンを半分程度押し込むことで、何らかの機能を開始することができる。また、一般に、カメラでは、例えばカメラの筐体に設けられた他のボタンに、撮影に関わる機能を割り当てることができる。第１の実施の形態に係るカメラでは、シャッタボタンを半押しすることに代えて、例えばカメラの筐体に設けられた他のボタンを押すことによって半押し機能を実現するようにしてもよい。また、半押し機能を実現するボタンは、半押し機能専用のボタンであってもよい。

露光部１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を含んでいる。露光部１１は、被写体を撮影して撮像信号を出力する。露光部１１は、シャッタボタンがオンとなったタイミングに基づいて、第２のフレームレート（例えば２０ｆｐｓ）による連写撮影および動画撮影が可能となっている（後述の図３～図７の動作を参照）。

また、露光部１１は、シャッタボタンがオンとなったタイミングに基づいて、単写撮影が可能となっている（後述の図１３～図１６、および図１７～図２０を参照）。

画像現像処理部３３は、露光部１１からの撮像信号に基づいて、内部メモリ３５および記録媒体４３への記録に適した画像データを生成する。また、画像現像処理部３３は、露光部１１からの撮像信号に基づいて、表示部４２への表示に適した画像データを生成する。露光部１１から画像現像処理部３３に入力される撮像信号は、全画素読み出しされた通常の画像データである。通常の画像データは、例えば連写モードや動画モード時において、通常の第２のフレームレート（例えば２０ｆｐｓ）で撮影することによって得られた画像データである。また、通常の画像データは、例えば単写モード時において単写撮影することによって得られた画像データである。

認識・予測処理部３１は、被写体の動きを認識し、被写体の状態が所定の状態となる最適露光タイミングを予測する。以下、認識・予測処理部３１によって予測された最適露光タイミングを「予測最適露光タイミング」または「予測露光タイミング」ともいう。所定の状態とは、例えば被写体の状態が後述の図２に示すインパクトの瞬間や、図１１および図１２の具体例に示したような瞬間となった状態である。認識・予測処理部３１は、露光部１１からの撮像信号に基づいて、認識予測処理を行うが、認識予測処理は高速であることが望ましい。このため、認識・予測処理部３１には、画素の間引きなどにより高速に読み出された画像データが入力されることが望ましい。高速に読み出された画像データは、通常の第２のフレームレートよりもフレームレートの高い第１のフレームレート（例えば１０００ｆｐｓ）で連続撮影することによって得られた画像データである。認識・予測処理部３１は、認識、予測した結果に基づいて、トリガーＩＦ４１等から設定された動作モードによる制御がなされるように、露光タイミング制御部１２を制御する。認識・予測処理部３１は、露光タイミング制御部１２に、露光部１１の露光リセットを指示するリセット信号と、露光部１１の露光開始を指示する処理開始信号とを出力する。

認識・予測処理部３１は、例えば露光タイミング制御機能がＯＮとなったタイミングに基づいて、被写体の動きを認識し、被写体の状態が所定の状態となる最適露光タイミングを予測する（後述の図５、図８、および図２１～図２３等を参照）。

また、認識・予測処理部３１は、例えば単写モード時において、シャッタボタンが半押しとなったタイミングに基づいて、被写体の動きを認識し、被写体の状態が所定の状態となる最適露光タイミングを予測する。

データベース３４は、認識・予測処理部３１において認識予測処理するための各種データを記憶している（例えば後述の図１１および図１２の内容を記憶している）。

露光タイミング制御部１２は、予測露光タイミングに基づく露光タイミングにおいて、露光部１１を第１のフレームレートとは異なる第２のフレームレートで制御する。予測露光タイミングは、第１のフレームレートで撮影された被写体の状態が所定の条件を満たすと予測されるタイミングである。また、予測露光タイミングは、認識・予測処理部３１が、第１のフレームレートで撮影された被写体の動きに応じて被写体の動きを予測した際に、予測された被写体の動きが所定の状態を満たすタイミングである。露光タイミング制御部１２は、例えば、連写モードや動画モード時において、露光タイミングが予測露光タイミングとなるように露光部１１を制御する。

また、露光タイミング制御部１２は、例えば、単写モードにおいて、予測露光タイミングと撮影トリガーとに基づいて、露光部１１の露光タイミングを制御する。例えば、露光タイミング制御部１２は、単写モードにおいて、予測露光タイミングが、撮影トリガーに基づく所定の期間内にある場合には、予測露光タイミングと撮影トリガーとの時間差に応じて露光部１１の露光タイミングを制御する。ここでいう所定の期間とは、後述する「予測最適露光タイミング許容時間」のことをいう（後述の図１３～図１６、および図１７～図２０等を参照）。所定の期間は、例えばユーザ操作に応じて設定される。ユーザ操作は、例えばシャッタボタンの半押し操作、または半押しの機能が割り当てられた他のボタン操作である。また、露光タイミング制御部１２は、単写モードにおいて、予測露光タイミングが、撮影トリガーに基づく所定の期間内にある場合には、予測露光タイミングと撮影トリガーとの時間差に応じて露光部１１の前記露光タイミングを制御する（後述の図１３～図１６、および図１７～図２０等を参照）。

露光タイミング制御部１２は、ユーザの指示に応じて第１のフレームレートによる撮影を露光部１１に開始させる。ここで、ユーザの指示とは、例えばトリガーＩＦ４１におけるモードダイヤルや機能選択ボタン等によって、露光タイミング制御機能をＯＮすることに相当する。

露光タイミング制御部１２は、所定の判定条件に応じて第１のフレームレートとは異なるフレームレートで被写体の状態を予測するための撮影を露光部１１に行わせる。ここでいう所定の判定条件とは、例えばユーザ操作に基づく条件であり、例えばシャッタボタンの半押し操作、または半押しの機能が割り当てられた他のボタン操作に基づく条件である（後述の図２２を参照）。また、所定の判定条件は被写体の状態に基づく条件であってもよい（後述の図８、図２３を参照）。

なお、認識・予測処理部３１による被写体の状態の認識予測処理は、第１の操作部材のユーザ操作に基づいて開始されてもよい。所定の判定条件は第２の操作部材のユーザ操作に基づく条件であってもよい。ここでいう第１の操作部材のユーザ操作は、例えばシャッタボタンの半押し操作、および半押しの機能が割り当てられた他のボタン操作のうちいずれか一方であってもよい。また、第２の操作部材のユーザ操作は、例えばシャッタボタンの半押し操作、および半押しの機能が割り当てられた他のボタン操作のうちいずれか他方であってもよい。

露光タイミング制御部１２は、認識・予測処理部３１によって予測された最適露光タイミングにおいて被写体の撮影が行われるように、露光部１１の露光タイミングを制御する。露光タイミング制御部１２は、認識・予測処理部３１からのリセット信号に基づいて、露光部１１に露光リセットをさせる。また、露光タイミング制御部１２は、認識・予測処理部３１からの処理開始信号に基づいて、露光部１１に露光開始をさせる。

露光タイミング制御部１２は、認識・予測処理部３１によって最適露光タイミングが予測された場合には、露光部１１による露光をリセットすると共に、最適露光タイミングから露光が開始されるように露光部１１の露光タイミングを制御する。例えば、露光タイミング制御部１２は、連写モードや動画モード時において、認識・予測処理部３１によって最適露光タイミングが予測された場合には、フレームレートを変化させることなく、露光部１１の露光タイミングの位相を変化させる（後述の図３～図４、および図６～図７等を参照）。

処理実施判定部３２は、トリガーＩＦ４１からのトリガー信号に基づいて、トリガーＩＦ４１で設定された動作モードによる各種処理を認識・予測処理部３１および画像現像処理部３３に対して実施させる。

表示部４２は例えば、液晶ディスプレイや有機（Electro Luminescence）ディスプレイ等で構成され、撮影済みの画像データや、撮影中の被写体のライブビュー画像等を表示する。

第１の実施の形態に係るカメラは、予測露光タイミングに基づく露光タイミングにおいて被写体の撮影が行われたことを通知する通知部を備えてもよい。通知部は、例えば表示部４２であってもよい。表示部４２は、露光部１１によって撮影される被写体のライブビュー表示を行うと共に、認識・予測処理部３１によって予測された最適露光タイミングとなった場合に、ライブビュー表示された画像に関連付けて、最適露光タイミングとなったことを示す通知を表示するようにしてもよい（後述の図２４を参照）。また、表示部４２は、最適露光タイミングにおいて被写体の撮影が行われることによって得られた画像データに関連付けて、最適露光タイミングにおいて得られた画像データであることを示す通知を表示するようにしてもよい（後述の図２５を参照）。

内部メモリ３５および記録媒体４３のうち少なくとも一方は、本開示の技術における「記憶部」の一具体例に相当する。

内部メモリ３５は、露光部１１によって撮影された画像データを一時的に記憶するバッファメモリである。内部メモリ３５は、例えば、単写モード時において、シャッタボタンがオンとなったタイミング、または最適露光タイミングで撮影された画像データを一時的に記憶する（後述の図１３～図１６、および図１７～図２０を参照）。

記録媒体４３は、撮影された画像データを記録可能な、例えば半導体記録素子等の記録媒体である。記録媒体４３は、カメラ本体１００内に内蔵される内蔵形式のものであってもよいし、カメラ本体１００内に対して取り外し可能なカード形式等の外部記録媒体であってもよい。

第１の実施の形態に係るカメラにおいて、露光タイミング制御部１２および処理部３０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有するマイクロコンピュータによって構成されてもよい。この場合、露光タイミング制御部１２および処理部３０による処理は、ＲＯＭまたはＲＡＭに記憶されたプログラムに基づく処理をＣＰＵが実行することで実現し得る。また、露光タイミング制御部１２および処理部３０による処理は、例えば有線または無線によるネットワークにより外部から供給されたプログラムに基づく処理をＣＰＵが実行することで実現してもよい。

［１．２ 第１の実施の形態に係るカメラの動作］
以下では、第１の実施の形態に係るカメラに特徴的な動作、主として、認識・予測処理部３１による認識予測処理、および露光タイミング制御部１２による露光タイミング制御の動作を中心に説明する。

図２は、通常の露光タイミングでは撮影が困難な撮影シーンの一例を示している。

一般的なカメラにおいて、高速に動く被写体に対して、例えば静止画の連写モードでは現状、十分なフレームレートが確保できず、決定的瞬間を捉えきれない。例えば、図２に示したように、ボクシングのインパクトの瞬間や、バドミントンのスマッシュ、インパクトの瞬間等を撮影するためには、前者では５００ｆｐｓ～８００ｆｐｓ程度、後者では１０００ｆｐｓ程度のフレームレートが必要とされる。

図３および図４は、第１の実施の形態に係るカメラによる認識予測処理、および露光タイミング制御の動作の概要を示している。

図３および図４では、カメラは例えば通常の連写モードによる撮影を２０ｆｐｓの高画質で行っている。この場合、カメラは通常の連写モードによる静止画の撮影間隔では決定的瞬間を捉えきれない。例えば図３の例ではバドミントンをしている場面（シーン）であり、被写体７１（選手）と被写体７２（羽根）とが存在する。この場合、例えば、バドミントンのスマッシュ、インパクトの瞬間を捉えきれない。そこで、例えば１０００ｆｐｓの高速に読み出された画像データに基づいて、認識・予測処理部３１によって、バドミントンのスマッシュ、インパクトの瞬間を最適露光タイミングとして予測する。認識・予測処理部３１は、最適露光タイミングにおいて露光部１１の露光リセットがなされると共に、あらたな露光タイミングで露光開始がなされるように、リセット信号と処理開始信号とを露光タイミング制御部１２に出力する。露光タイミング制御部１２は、認識・予測処理部３１からのリセット信号に基づいて、露光部１１に露光リセットをさせる。また、露光タイミング制御部１２は、認識・予測処理部３１からの処理開始信号に基づいて、露光部１１に最適露光タイミングから露光開始をさせる。露光タイミング制御部１２は、フレームレートを変化させることなく、露光部１１の露光タイミングの位相を変化（更新）させる。このように、第１の実施の形態に係るカメラでは、現在の露光タイミングをリセットし、最適露光タイミングから露光を再開するように露光タイミングを調整する。これにより、連写速度を越える決定的瞬間を逃さない撮影が可能となる。連写間隔の間にある最適露光タイミングをカメラが理解し、連写位相を更新することが可能となる。

以下、具体的な動作フローを説明する。

（認識予測処理の基本動作）
図５は、第１の実施の形態に係るカメラによる認識予測処理の動作フローの一例を示している。この認識予測処理は、連写モード、単写モード、および動画モードに共通の動作であってもよい。

まず、トリガーＩＦ４１において、露光タイミング制御機能がＯＮされる（ステップＳ１０１）。次に、露光部１１において認識予測処理用に露光、および画像データの高速読み出しが行われる（ステップＳ１０２）。次に、認識・予測処理部３１によって、高速に読み出された画像データに基づいて、主要被写体の認識（被写体の姿勢認識や物体認識）が行われる（ステップＳ１０３）。次に、認識・予測処理部３１によって、高速に読み出された画像データに基づいて、最適露光タイミングの予測処理が行われる（ステップＳ１０４）。

次に、認識・予測処理部３１によって、予測した最適露光タイミングが到来したか否かが判断される（ステップＳ１０５）。認識・予測処理部３１は、予測した最適露光タイミングが到来していないと判断した場合（ステップＳ１０５；Ｎ）には、ステップＳ１０２の処理に戻る。一方、予測した最適露光タイミングが到来したと判断した場合（ステップＳ１０５；Ｙ）には、認識・予測処理部３１は、割込み信号（リセット信号、処理開始信号）として予測最適露光タイミング信号を発生する（ステップＳ１０６）と共に、ステップＳ１０２の処理に戻る。

（連写／動画モード時の撮像処理の動作）
図６は、第１の実施の形態に係るカメラによる連写モードまたは動画モード時の通常の撮像処理（高速読み出しではない通常の全画素読み出しによる撮像処理）の動作フローの一例を示している。

まず、トリガーＩＦ４１において、露光タイミング制御機能がＯＮされると共に、連写モードまたは動画モードが選択され、かつ撮影トリガー（シャッタボタン）がオンされる（ステップＳ１１１）。次に、露光部１１によって、通常の露光（高速読み出しではない通常の全画素読み出しのための露光）が開始される（ステップＳ１１２）。次に、露光タイミング制御部１２によって、認識・予測処理部３１からの割込み信号（リセット信号、処理開始信号）として、予測最適露光タイミング信号による割込みがあるか否かが判断される（ステップＳ１１３）。露光タイミング制御部１２は、予測最適露光タイミング信号があると判断した場合（ステップＳ１１３；Ｙ）には、露光部１１による露光または読み出しをリセットさせる（ステップＳ１１４）と共に、あらたなタイミングで露光部１１に通常の露光を開始させる（ステップＳ１１２）。

一方、予測最適露光タイミング信号がないと判断した場合（ステップＳ１１３；Ｎ）には、露光タイミング制御部１２は、次に、露光部１１に対して露光を終了させ、全画素読み出しによる画像データの読み出しを行わせる（ステップＳ１１５）。次に、露光タイミング制御部１２は、認識・予測処理部３１からの割込み信号（リセット信号、処理開始信号）として、予測最適露光タイミング信号による割込みがあるか否かを判断する（ステップＳ１１６）。

露光タイミング制御部１２は、割込みがあると判断した場合（ステップＳ１１６；Ｙ）には、上記ステップＳ１１４の処理に進む。一方、露光タイミング制御部１２によって予測最適露光タイミング信号による割込みがないと判断された場合（ステップＳ１１６；Ｎ）にはステップＳ１２２の処理に戻ると共に、画像データの読み出しが終了した後、画像現像処理部３３によって、その読み出しが終了した画像データの画像現像処理が行われる（ステップＳ１１７）。その後、画像現像処理部３３は、内部メモリ３５または記録媒体４３にその画像データを記録（画像保存）する（ステップＳ１１８）。

図７は、第１の実施の形態に係るカメラによる連写モードまたは動画モード時の露光タイミングの一例を示している。

図７に示したように、第１の実施の形態に係るカメラでは、連写モードにおいて、連写フレームレート（例えば２０ｆｐｓ）に基づく撮影トリガーのタイミングで露光または画像データの読み出しを行っている際に、予測最適露光タイミングが発生した場合には、その露光または画像データの読み出しをリセットし、露光部１１に予測最適露光タイミングに基づく露光を開始させる。これにより、連写フレームレートを変化させることなく、露光部１１の露光タイミングの位相を変化させる。動画モードについても同様である。

（認識予測処理の自動判別モード時の動作）
図８は、第１の実施の形態に係るカメラにおける自動判別モードによる認識予測処理の動作フローの一例を示している。第１の実施の形態に係るカメラでは、露光タイミング制御が必要か否かをカメラ側で自動で判別する自動判別モードがある。この自動判別モードの動作は、連写モード、単写モード、および動画モードに共通の動作であってもよい。図８に示す動作フローは、例えば後述する図２３のタイミング図に対応している。

まず、トリガーＩＦ４１において、露光タイミング制御機能がＯＮされ、かつ自動判別モードが選択される（ステップＳ１２１）。この自動判別モードでは、露光タイミング制御部１２によって、認識予測処理用の画像データの読み出し速度が、まず、比較的低速（例えば６０ｆｐｓ）に設定される（ステップＳ１２２）。次に、露光部１１において画像の露光が行われる（ステップＳ１２３）。次に、認識・予測処理部３１によって、比較的低速で読み出された画像データに基づいて、主要被写体の認識（被写体の姿勢認識や物体認識）が行われる（ステップＳ１２４）。次に、認識・予測処理部３１は、露光タイミング制御が必要か否かを判断する（ステップＳ１２５）。この判断は、例えば、被写体の速度やシーン等に応じて判断される。例えば、被写体が後述の認識予測処理の具体例（図９～図１２）に示す物体認識の対象であるか否かに基づいて行われる。認識・予測処理部３１は、露光タイミング制御が必要ではないと判断した場合（ステップＳ１２５；Ｎ）には、ステップＳ１２２の処理に戻る。

一方、認識・予測処理部３１によって、露光タイミング制御が必要であると判断された場合（ステップＳ１２５；Ｙ）には、露光タイミング制御部１２によって、認識予測処理用の画像データの読み出し速度が、被写体のシーン等に応じて、比較的低速（例えば６０ｆｐｓ）または高速（例えば５００ｆｐｓ～１０００ｆｐｓ）に設定される（ステップＳ１２６）。次に、認識・予測処理部３１によって、読み出された画像データに基づいて、最適露光タイミングの予測処理が行われる（ステップＳ１２７）。

次に、認識・予測処理部３１によって、予測した最適露光タイミングが到来したか否かが判断される（ステップＳ１２８）。認識・予測処理部３１は、予測した最適露光タイミングが到来していないと判断した場合（ステップＳ１２８；Ｎ）には、ステップＳ１２３の処理に戻る。一方、予測した最適露光タイミングが到来したと判断した場合（ステップＳ１２８；Ｙ）には、認識・予測処理部３１は、割込み信号（リセット信号、処理開始信号）として予測最適露光タイミング信号を発生する（ステップＳ１２９）と共に、ステップＳ１２３の処理に戻る。

（認識予測処理の具体例）
図９は、第１の実施の形態に係るカメラによる認識予測処理の動作フローの第１の具体例を示している。

図９には、図５の動作フローにおけるステップＳ１０３，Ｓ１０４、および図８の動作フローにおけるステップＳ１２４，Ｓ１２７に相当する処理の具体例を示す。

図９には、撮影されるシーンとして、スポーツ（テニスなど）の場合、人の撮影の場合、動物撮影の場合、その他の場合を例にしている。

スポーツ（テニスなど）のシーンの場合、まず、認識・予測処理部３１は、人、道具、ボールなどの物体認識を行う（ステップＳ２１１）。次に、認識・予測処理部３１は、人体の姿勢推定を行う（ステップＳ２１２）。次に、認識・予測処理部３１は、予測する対象の運動予測（人体の姿勢や物体の移動など）を行う（ステップＳ２１３）。次に、認識・予測処理部３１は、衝突判定を行う（ステップＳ２１４）。

人の撮影のシーンの場合、まず、認識・予測処理部３１は、物体認識として人の認識を行う（ステップＳ２２１）。次に、認識・予測処理部３１は、人体の姿勢推定を行う（ステップＳ２２２）。次に、認識・予測処理部３１は、予測する対象の姿勢の変形予測を行う（ステップＳ２２３）。次に、認識・予測処理部３１は、ピークとなる姿勢との一致判定を行う（ステップＳ２２４）。

動物撮影のシーンの場合、まず、認識・予測処理部３１は、物体認識として動物の種類の認識を行う（ステップＳ２３１）。次に、認識・予測処理部３１は、動物の姿勢推定を行う（ステップＳ２３２）。次に、認識・予測処理部３１は、予測する対象の姿勢の変形予測を行う（ステップＳ２３３）。次に、認識・予測処理部３１は、急峻な運動変化タイミングの判定を行う（ステップＳ２３４）。

その他のシーンの場合、まず、認識・予測処理部３１は、物体認識を行う（ステップＳ２４１）。次に、認識・予測処理部３１は、構図などの特徴量を抽出する（ステップＳ２４２）。次に、認識・予測処理部３１は、あらかじめ持っている最適露光タイミングの辞書（データベース）との一致判定を行う（ステップＳ２４３）。

図１０は、第１の実施の形態に係るカメラによる認識予測処理の動作フローの第２の具体例を示している。

図１０の動作フローでは、カメラのＵＩ（ユーザインタフェース）を用いてユーザによって、あらかじめ認識の対象と境界が指定されている（ステップＳ３００）。

認識・予測処理部３１は、ユーザによって指定された物体の認識を行う（ステップＳ３０１）。次に、認識・予測処理部３１は、認識した物体が人や動物であるか否かを判断する（ステップＳ３０２）。

認識・予測処理部３１は、認識した物体が人や動物であると判断した場合（ステップＳ３０２；Ｙ）には、次に、人や動物の姿勢推定を行う（ステップＳ３０３）。次に、認識・予測処理部３１は、姿勢の変形予測を行う（ステップＳ３０４）。次に、認識・予測処理部３１は、人や動物がユーザによって指定された境界を横切るか判定する（ステップＳ３０７）。

一方、認識・予測処理部３１は、認識した物体が人や動物ではないと判断した場合（ステップＳ３０２；Ｎ）には、次に、認識する対象の形状推定を行う（ステップＳ３０５）。次に、認識・予測処理部３１は、認識する対象の運動予測を行う（ステップＳ３０６）。次に、認識・予測処理部３１は、認識する対象がユーザによって指定された境界を横切るか判定する（ステップＳ３０７）。

図１１は、第１の実施の形態に係るカメラによる認識予測処理に用いられるデータベース３４のデータ内容の一例を示している。図１２は、図１１に続くデータベース３４のデータ内容の一例を示している。

データベース３４は、「シーン内で動きなどを認識するデータベース」、「シーンを識別するデータベース」、および「認識された動きに対する最適露光タイミングの予測データベース」を有している。

「シーン内で動きなどを認識するデータベース」には例えば、人が道具を使ったスポーツ（テニス、野球、バドミントン、ゴルフ）の項目が含まれている。

「シーンを識別するデータベース」には例えば、人体と道具１（ラケット）と道具２（球）の動きの項目が含まれている。

「認識された動きに対する最適露光タイミングの予測データベース」には例えば、道具１（ラケット）と道具２（球）のインパクトのタイミングの項目が含まれている。

最適露光タイミングの具体例としては、例えば、ラケットとボールの当たった瞬間、バットとボールの当たった瞬間、ラケットとシャトルの当たった瞬間、ゴールにボールが入ったと判定される瞬間等が含まれている。

（単写モード時の動作）
第１の実施の形態に係るカメラでは、単写モードとして、予測最適露光タイミングを優先する予測最適露光タイミング優先モードと、撮影トリガーを優先する撮影トリガー優先モードとがある。以下、順に説明する。

図１３および図１４は、第１の実施の形態に係るカメラによる単写モード、かつ予測最適露光タイミング優先モード時の撮像処理の動作フローの一例を示している。

まず、トリガーＩＦ４１において、露光タイミング制御機能がＯＮされると共に、単写モード、かつ予測最適露光タイミング優先モードが選択される（ステップＳ４０１）。次に、露光タイミング制御部１２によって、予測最適露光タイミング許容時間以内か否かが判断される（ステップＳ４０２）。なお、「予測最適露光タイミング許容時間」については、図２０を参照して後述する。

露光タイミング制御部１２は、予測最適露光タイミング許容時間以内ではないと判断した場合（ステップＳ４０２；Ｎ）には、次に、予測最適露光タイミング許容時間の終了か否かを判断する（ステップＳ４１４）。露光タイミング制御部１２は、予測最適露光タイミング許容時間の終了ではない（予測最適露光タイミング許容時間に入る前である）と判断した場合（ステップＳ４１４；Ｎ）には、ステップＳ４０２の処理に戻る。一方、露光タイミング制御部１２によって予測最適露光タイミング許容時間の終了であると判断された場合（ステップＳ４１４；Ｙ）には、撮影トリガーに対して時間的に最も近い予測露光タイミングに基づいて撮影された画像データが、画像現像処理部３３によって内部メモリ３５または記録媒体４３に記録される（ステップＳ４１５、後述の図１７（Ｂ））。

また、予測最適露光タイミング許容時間以内であると判断した場合（ステップＳ４０２；Ｙ）には、露光タイミング制御部１２は、次に、認識・予測処理部３１からの割込み信号として予測最適露光タイミング信号があるか否かを判断する（ステップＳ４０３）。露光タイミング制御部１２は、予測最適露光タイミング信号があると判断した場合（ステップＳ４０３；Ｙ）には、露光部１１による露光を開始させる（ステップＳ４１１）。露光部１１による露光が終了すると、露光タイミング制御部１２は、露光部１１における画像データの読み出しを開始させる（ステップＳ４１２）と共に、ステップＳ４０２の処理に戻る。ここで、画像データの読み出しが終了すると、画像現像処理部３３による画像現像処理が行われ、予測最適露光タイミングに基づいて撮影された画像データが内部メモリ３５に記録（仮保存）される（ステップＳ４１３、後述の図１７（Ａ）、図１８（Ａ））。

また、露光タイミング制御部１２は、予測最適露光タイミング信号がないと判断した場合（ステップＳ４０３；Ｎ）には、次に、撮影トリガーがあるか否かを判断する（ステップＳ４０４）。露光タイミング制御部１２は、撮影トリガーがないと判断した場合（ステップＳ４０４；Ｎ）には、ステップＳ４０２の処理に戻る。露光タイミング制御部１２は、撮影トリガーがあると判断した場合（ステップＳ４０４；Ｙ）には、露光部１１に撮影トリガーに基づく露光を開始させる（ステップＳ４０５）。次に、露光タイミング制御部１２は、撮影トリガーに基づく露光終了までに認識・予測処理部３１からの割込み信号として予測最適露光タイミング信号があるか否かを判断する（ステップＳ４０６）。露光タイミング制御部１２は、撮影トリガーに基づく露光終了までに予測最適露光タイミング信号があると判断した場合（ステップＳ４０６；Ｙ）には、撮影トリガーに基づく露光をリセット（ステップＳ４１０）し、ステップＳ４１１の処理に移る。

一方、露光タイミング制御部１２は、撮影トリガーに基づく露光終了までに予測最適露光タイミング信号がないと判断した場合（ステップＳ４０６；Ｎ）において、露光部１１による露光が終了すると、露光部１１における画像データの読み出しを開始させる（ステップＳ４０７）。次に、露光タイミング制御部１２は、撮影トリガーに基づく画像データの読み出し終了までに認識・予測処理部３１からの割込み信号として予測最適露光タイミング信号があるか否かを判断する（ステップＳ４０８）。露光タイミング制御部１２は、撮影トリガーに基づく画像データの読み出し終了までに予測最適露光タイミング信号があると判断した場合（ステップＳ４０８；Ｙ）には、撮影トリガーに基づく画像データの読み出しをリセット（ステップＳ４１０）し、ステップＳ４１１の処理に移る。露光タイミング制御部１２は、撮影トリガーに基づく画像データの読み出し終了までに予測最適露光タイミング信号がないと判断した場合（ステップＳ４０８；Ｎ）には、ステップＳ４０２の処理に戻る。ここで、画像データの読み出しが終了すると、画像現像処理部３３による画像現像処理が行われ、撮影トリガーに基づいて撮影された画像データが、画像現像処理部３３によって内部メモリ３５または記録媒体４３に記録される（ステップＳ４０９、後述の図１７（Ａ）、図１７（Ｂ））。

図１５および図１６は、第１の実施の形態に係るカメラによる単写モード、かつ撮影トリガー優先モード時の撮像処理の動作フローの一例を示している。

まず、トリガーＩＦ４１において、露光タイミング制御機能がＯＮされると共に、単写モード、かつ撮影トリガー優先モードが選択される（ステップＳ４０１）。次に、露光タイミング制御部１２によって、予測最適露光タイミング許容時間以内か否かが判断される（ステップＳ４０２）。なお、「予測最適露光タイミング許容時間」については、図２０を参照して後述する。

露光タイミング制御部１２は、予測最適露光タイミング許容時間以内ではないと判断した場合（ステップＳ４０２；Ｎ）には、次に、予測最適露光タイミング許容時間の終了か否かを判断する（ステップＳ４１４）。露光タイミング制御部１２は、予測最適露光タイミング許容時間の終了ではない（予測最適露光タイミング許容時間に入る前である）と判断した場合（ステップＳ４１４；Ｎ）には、ステップＳ４０２の処理に戻る。一方、露光タイミング制御部１２によって予測最適露光タイミング許容時間の終了であると判断された場合（ステップＳ４１４；Ｙ）には、撮影トリガーに対して時間的に最も近い予測露光タイミングに基づいて撮影された画像データが、画像現像処理部３３によって内部メモリ３５または記録媒体４３に記録される（ステップＳ４１５、後述の図１７（Ｂ））。

また、予測最適露光タイミング許容時間以内であると判断した場合（ステップＳ４０２；Ｙ）には、露光タイミング制御部１２は、次に、認識・予測処理部３１からの割込み信号として予測最適露光タイミング信号があるか否かを判断する（ステップＳ４０３）。露光タイミング制御部１２は、予測最適露光タイミング信号があると判断した場合（ステップＳ４０３；Ｙ）には、露光部１１に予測最適露光タイミングに基づく露光を開始させる（ステップＳ５１１）。次に、露光タイミング制御部１２は、予測最適露光タイミングに基づく露光終了までに撮影トリガーがあるか否かを判断する（ステップＳ５１２）。露光タイミング制御部１２は、予測最適露光タイミングに基づく露光終了までに撮影トリガーがあると判断した場合（ステップＳ５１２；Ｙ）には、予測最適露光タイミングに基づく露光をリセット（ステップＳ４１０）し、ステップＳ４０５の処理に移る。

一方、露光タイミング制御部１２は、予測最適露光タイミングに基づく露光終了までに撮影トリガーがないと判断した場合（ステップＳ５１２；Ｎ）において、露光部１１による露光が終了すると、露光部１１における画像データの読み出しを開始させる（ステップＳ５１３）。次に、露光タイミング制御部１２は、予測最適露光タイミングに基づく画像データの読み出し終了までに撮影トリガーがあるか否かを判断する（ステップＳ５１４）。露光タイミング制御部１２は、予測最適露光タイミングに基づく画像データの読み出し終了までに撮影トリガーがあると判断した場合（ステップＳ５１４；Ｙ）には、予測最適露光タイミングに基づく画像データの読み出しをリセット（ステップＳ４１０）し、ステップＳ４０５の処理に移る。露光タイミング制御部１２は、予測最適露光タイミングに基づく画像データの読み出し終了までに撮影トリガーがないと判断した場合（ステップＳ５１４；Ｎ）には、ステップＳ４０２の処理に戻る。ここで、画像データの読み出しが終了すると、画像現像処理部３３による画像現像処理が行われ、予測最適露光タイミングに基づいて撮影された画像データが内部メモリ３５に記録（仮保存）される（ステップＳ５１５、後述の図１７（Ａ））。

また、露光タイミング制御部１２は、予測最適露光タイミング信号がないと判断した場合（ステップＳ４０３；Ｎ）には、次に、撮影トリガーがあるか否かを判断する（ステップＳ４０４）。露光タイミング制御部１２は、撮影トリガーがないと判断した場合（ステップＳ４０４；Ｎ）には、ステップＳ４０２の処理に戻る。露光タイミング制御部１２は、撮影トリガーがあると判断した場合（ステップＳ４０４；Ｙ）には、露光部１１に撮影トリガーに基づく露光を開始させる（ステップＳ４０５）。露光タイミング制御部１２は、露光部１１による露光が終了すると、露光部１１における画像データの読み出しを開始させる（ステップＳ４０７）と共に、ステップＳ４０２の処理に戻る。ここで、画像データの読み出しが終了すると、画像現像処理部３３による画像現像処理が行われ、撮影トリガーに基づいて撮影された画像データが、画像現像処理部３３によって内部メモリ３５または記録媒体４３に記録される（ステップＳ４０９、後述の図１７（Ａ）、図１７（Ｂ）、図１９（Ａ）、図１９（Ｂ））。

（単写モード時の露光タイミングの具体例）
図１７（Ａ）および図１７（Ｂ）は、第１の実施の形態に係るカメラによる単写モード時の露光タイミングおよび画像データの読み出しタイミングの概要を示している。図１７には、単写モードにおける予測最適露光タイミング優先モード時（図１３、図１４）および撮影トリガー優先モード時（図１５、図１６）に共通の露光タイミングおよび画像データの読み出しタイミングの一例を示す。図１７（Ａ）および図１７（Ｂ）には、適宜、図１３および図１４、または図１５および図１６の動作フローに対応するステップ番号を付している。

図１７（Ａ）に示したように、第１の実施の形態に係るカメラでは、単写モード時に、所定の期間内（予測最適露光タイミング許容時間幅）において撮影トリガーに基づいて撮影された画像データだけでなく、所定の期間内において予測露光タイミングに基づいて撮影された画像データを、内部メモリ３５または記録媒体４３に記録させることが可能である。

また、図１７（Ｂ）に示したように、第１の実施の形態に係るカメラでは、単写モード時に、所定の期間内（予測最適露光タイミング許容時間幅）において予測露光タイミングに基づく複数の撮影があった場合には、所定の期間内において撮影トリガーに基づいて撮影された画像データと、所定の期間内において撮影トリガーに対して時間的に最も近い予測露光タイミングに基づいて撮影された画像データとを、内部メモリ３５または記録媒体４３に記録させることが可能である。

図１８（Ａ）および図１８（Ｂ）は、第１の実施の形態に係るカメラによる単写モード、かつ予測最適露光タイミング優先モード時（図１３、図１４）の露光タイミングおよび画像データの読み出しタイミングの一例を示している。図１８（Ａ）および図１８（Ｂ）には、適宜、図１３および図１４の動作フローに対応するステップ番号を付している。

図１８（Ａ）に示したように、第１の実施の形態に係るカメラでは、単写モードかつ予測最適露光タイミング優先モード時において、所定の期間内（予測最適露光タイミング許容時間幅）に、露光部１１において予測露光タイミングに基づく露光または画像データの読み出しを行っている際に撮影トリガーが発生した場合には、撮影トリガーを無視し、撮影トリガーに基づく露光が行われないように露光部１１を制御することが可能である。

また、図１８（Ｂ）に示したように、第１の実施の形態に係るカメラでは、単写モードかつ予測最適露光タイミング優先モード時において、所定の期間内（予測最適露光タイミング許容時間幅）に、露光部１１において撮影トリガーに基づく露光または画像データの読み出しを行っている際に予測露光タイミングが発生した場合には、撮影トリガーに基づく露光または画像データの読み出しをリセットし、露光部１１に予測露光タイミングに基づく露光を開始させることが可能である。

図１９（Ａ）および図１９（Ｂ）は、第１の実施の形態に係るカメラによる単写モード、かつ撮影トリガー優先モード時（図１５、図１６）の露光タイミングおよび画像データの読み出しタイミングの一例を示している。図１９（Ａ）および図１９（Ｂ）には、適宜、図１５および図１６の動作フローに対応するステップ番号を付している。

図１９（Ａ）に示したように、第１の実施の形態に係るカメラでは、単写モードかつ撮影トリガー優先モード時において、所定の期間内（予測最適露光タイミング許容時間幅）に、露光部１１において予測露光タイミングに基づく露光または画像データの読み出しを行っている際に撮影トリガーが発生した場合には、予測露光タイミングに基づく露光または画像データの読み出しをリセットし、露光部１１に撮影トリガーに基づく露光を開始させることが可能である。

また、図１９（Ｂ）に示したように、第１の実施の形態に係るカメラでは、単写モードかつ撮影トリガー優先モード時において、所定の期間内（予測最適露光タイミング許容時間幅）に、露光部１１において撮影トリガーに基づく露光または画像データの読み出しを行っている際に予測露光タイミングが発生した場合には、予測露光タイミングを無視し、予測露光タイミングに基づく露光が行われないように露光部１１を制御することが可能である。

図２０（Ａ）および図２０（Ｂ）は、単写モード時における半押しによる予測最適露光タイミング許容時間のコントロールの一例を示している。なお、ここでいう半押しとは、撮影トリガーとしてのシャッタボタンの半押しであってもよいし、シャッタボタンの半押し機能を割り当てた、シャッタボタン以外の他のボタンや半押し機能専用のボタンを半押しすることであってもよい。なお、図２０（Ａ）には、撮影トリガーの半押しおよびオンのタイミングを示す。図２０（Ｂ）には、露光部１１の露光タイミングおよび画像データの読み出しタイミングを示す。

図２０（Ａ）および図２０（Ｂ）に示したように、予測最適露光タイミング許容時間は、例えば撮影トリガーの半押しによって開始される。また、予測最適露光タイミング許容時間の終了時刻は、例えば、撮影トリガーから以下の（１）と（２）のうちの短いまたは長い時間の経過時刻に設定される。
（１）設定された時間
（２）半押しから撮影トリガーまでと等価な時間

（認識予測処理のフレームレート抑制による低消費電力化）
図２１（Ａ）ないし図２１（Ｄ）に、第１の実施の形態に係るカメラによる露光タイミング制御機能のＯＮのタイミング（図２１（Ａ））、撮影トリガーのＯＮのタイミング（図２１（Ｂ））、認識予測処理のタイミング（図２１（Ｃ））、および本画撮影のタイミング（図２１（Ｄ））の一例を示す。

例えば図２１（Ａ）および図２１（Ｃ）に示したように、露光タイミング制御機能をＯＮにしたと同時に、認識予測処理のための高フレームレート（例えば１０００ｆｐｓ）による画像データの読み出しを行い、高速の認識予測処理を実行した場合、消費電力が高くなることが懸念される。そこで、以下の図２２（Ａ）ないし図２２（Ｄ）または、図２３（Ａ）ないし図２３（Ｄ）に示すように、認識予測処理のフレームレートを抑制することによって低消費電力化を図るようにしてもよい。なお、この認識予測処理のフレームレートの抑制は、連写モード、単写モード、および動画モードに共通した処理であってもよい。

図２２（Ａ）ないし図２２（Ｄ）に、認識予測処理のフレームレートを抑制した場合の、第１の実施の形態に係るカメラによる露光タイミング制御機能のＯＮのタイミング（図２２（Ａ））、撮影トリガーの半押しおよびＯＮのタイミング（図２２（Ｂ））、認識予測処理のタイミング（図２２（Ｃ））、および本画撮影のタイミング（図２２（Ｄ））の第１の例を示す。なお、ここでいう半押しとは、撮影トリガーとしてのシャッタボタンの半押しであってもよいし、シャッタボタンの半押し機能を割り当てた、シャッタボタン以外の他のボタンや半押し機能専用のボタンを半押しすることであってもよい。

例えば図２２（Ａ）および図２２（Ｃ）に示したように、露光タイミング制御機能をＯＮにしたと同時に、認識予測処理のための比較的低速のフレームレート（例えば６０ｆｐｓ）による画像データの読み出しを行い、比較的低速の認識予測処理を実行してもよい。そして、撮影トリガーの半押しがなされた場合に、認識予測処理のための高フレームレート（例えば１０００ｆｐｓ）による画像データの読み出しを行い、高速の認識予測処理を実行するようにしてもよい。その後、撮影トリガーがＯＮされ、半押しが解除された場合に、比較的低速のフレームレート（例えば６０ｆｐｓ）による画像データの読み出しに戻し、比較的低速の認識予測処理を実行してもよい。

図２３（Ａ）ないし図２３（Ｄ）に、認識予測処理のフレームレートを抑制した場合の、第１の実施の形態に係るカメラによる露光タイミング制御機能のＯＮのタイミング（図２３（Ａ））、撮影トリガーのＯＮのタイミング（図２３（Ｂ））、認識予測処理のタイミング（図２３（Ｃ））、および本画撮影のタイミング（図２３（Ｄ））の第２の例を示す。

第１の実施の形態に係るカメラでは、図８に示したように、露光タイミング制御が必要か否かをカメラ側で自動で判別する自動判別モードがある。この自動判別モードにより、主要被写体認識を行い、被写体のシーンや動き等に応じて、フレームレートを可変にするようにしてもよい。例えば、図２３（Ａ）および図２３（Ｃ）に示したように、露光タイミング制御機能をＯＮにしたと同時に、認識予測処理のための比較的低速のフレームレート（例えば６０ｆｐｓ）による画像データの読み出しを行い、比較的低速の認識予測処理を実行してもよい。そして、自動判別モードにより、主要被写体認識を行い、被写体のシーンや動き等に応じて、フレームレートを可変にするようにしてもよい。図２３（Ｃ）の例では、被写体のシーンや動き等に基づく判定により、認識予測処理のための高フレームレート（例えば５００ｆｐｓ）による画像データの読み出しを行い、高速の認識予測処理を実行した後、再度、被写体のシーンや動き等に基づく判定により、比較的低速のフレームレート（例えば６０ｆｐｓ）による画像データの読み出しに戻し、比較的低速の認識予測処理を実行している。

（ユーザへの通知例）
図２４は、第１の実施の形態に係るカメラによる撮影時において、最適露光タイミングと判定された場合のユーザへの通知例を示している。

表示部４２は、撮影時において、露光部１１によって撮影される被写体のライブビュー表示を行うと共に、認識・予測処理部３１によって予測された最適露光タイミングとなった場合に、ライブビュー表示された画像に関連付けて、最適露光タイミングとなったことを示す通知を表示するようにしてもよい。例えば図２４の例１のように、最適露光タイミングと判定された瞬間にライブビュー画像上に文字（例えば「Adjust Trigger」）やマークなどを重畳してもよい。視認性のため、０．５ｓ程度は重畳部分は残して表示してもよい。また、図２４の例２のように、最適露光タイミングと判定された瞬間にライブビュー画像上に枠を重畳してもよい。視認性のため、０．５ｓ程度は重畳部分は残して表示してもよい。

図２５は、第１の実施の形態に係るカメラによって撮影された画像の再生時において、最適露光タイミングで撮影されたことをユーザへ通知する例を示している。

表示部４２は、露光タイミング制御による最適露光タイミングで被写体の撮影が行われることによって得られた画像データに関連付けて、画像の再生時において、最適露光タイミングにおいて得られた画像データであることを示す通知を表示するようにしてもよい。図２５に示したように、通常撮影されたフレーム画像には特に何も表示しない。露光タイミング制御が発動したフレーム画像には、例えば図２５の例１に示したように、露光タイミング制御オフ時での連写で撮影されるタイミングと露光タイミング制御ＯＮで撮影されたタイミングとのズレ量を画面上に重畳してもよい。また、図２５の例２に示したように、画面上に印を重畳してもよい。また、図２５の例３に示したように、画面枠を表示してもよい。

（メタデータの記録）
ユーザへの通知は、上記のように表示部４２への表示の他、内部メモリ３５または記録媒体４３への記録の際に、画像データにメタデータとして記録することによって行うようにしてもよい。この場合、画像データは連写モードまたは単写モードによって記録された静止画データであってもよいし、動画モードによって記録された動画データであってもよい。メタデータとして記録する情報は、露光タイミング制御機能のＯＮ／ＯＦＦの情報や、露光タイミング制御機能のＯＮ時において記録された、予測最適露光タイミングに基づく画像データの露光タイミングと撮影トリガーに基づく画像データの露光タイミングとのずれ量の情報であってもよい。

画像データにメタデータとして記録することで、例えば、カメラ本体に限らず、ＰＣ（パーソナルコンピュータ）や、その他の再生機器で画像データを再生した場合に、露光タイミングが最適な露光タイミングに調整されたことを知ることができる。

［１．３ 効果および変形例］
以上説明したように、第１の実施の形態に係るカメラによれば、認識・予測処理部３１によって予測された最適露光タイミングにおいて被写体の撮影が行われるように、露光部１１の露光タイミングを制御するようにしたので、高速で動く被写体を高画質かつ、所望のタイミングで撮影することが可能となる。

第１の実施の形態に係るカメラによれば、例えば動画撮影時に裏で静止画撮影しておき、動画から最適露光タイミングの画像を切り出すような手法に比べて、圧倒的に高画質な画像が得られる。

通常、一般的なカメラでは撮影者の応答時間や、シャッタボタンを押してから実際に撮影されるまでに遅延がある。さらにミラーレスカメラにおいては表示部の遅延がある。そのため、撮影者の意図通りの撮影ができず、シャッタタイミングにずれが発生する。第１の実施の形態に係るカメラによれば、このような遅延によらず、高速で動く被写体を高画質かつ、所望のタイミングで撮影することが可能となる。第１の実施の形態に係るカメラによれば、シャッタラグを意識する必要がない。第１の実施の形態に係るカメラによれば、単写モードにおいては、少ない撮影枚数で最適な瞬間の撮影が可能となる。また、第１の実施の形態に係るカメラによれば、被写体がどう動くかの事前知識などをあまり必要とせずに、高速に動くものを所望のタイミングで撮影可能となる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。

＜２．第２の実施の形態＞
次に、本開示の第２の実施の形態に係るカメラ、および撮像装置について説明する。なお、以下では、上記第１の実施の形態に係るカメラ、および撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。

図２６は、第２の実施の形態に係る撮像装置が適用されるカメラの構成の概要を示している。

第２の実施の形態に係るカメラは、第１の実施の形態に係るカメラにおける撮像装置１０に代えて撮像装置１０Ａを備えている。また、第２の実施の形態に係るカメラは、第１の実施の形態に係るカメラにおける処理部３０に代えて処理部３０Ａを備えている。

第２の実施の形態に係るカメラは、処理部３０Ａ内ではなく、撮像装置１０Ａ内に認識・予測処理部３１を備えている。

第２の実施の形態に係るカメラでは、撮像装置１０Ａ内に認識・予測処理部３１を備えていることで、認識予測処理用の画像データを露光部１１から認識・予測処理部３１に、より高速に転送することが可能となる。これにより、より精度の高い認識予測処理を行うことが可能となる

その他の構成、動作および効果は、上記第１の実施の形態に係るカメラ、および撮像装置と略同様であってもよい。

＜３．第３の実施の形態＞
次に、本開示の第３の実施の形態に係るカメラ、および撮像装置について説明する。なお、以下では、上記第１または第２の実施の形態に係るカメラ、および撮像装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。

図２７は、第３の実施の形態に係る撮像装置が適用されるカメラの構成の概要を示している。

第２の実施の形態に係るカメラは、第１の実施の形態に係るカメラの構成に対して、撮像装置１０とは別体の撮像装置６０を備えている。なお、撮像装置６０は、カメラ本体１００とは別体として設けられていてもよいし、カメラ本体１００内において撮像装置１０とは別体として設けられていてもよい。

別体の撮像装置６０は、露光部６１と、露光開始制御部６２とを備えている。

露光部６１は、ＣＣＤやＣＭＯＳ等の撮像素子を含んでいる。露光部６１は、被写体を撮影して、認識予測処理用の撮像信号として、画素の間引きなどにより高速に読み出された画像データを出力する。

露光開始制御部６２には、認識・予測処理部３１から、例えばトリガーＩＦ４１による撮影トリガーに応じたタイミングで処理開始信号が出力される。露光開始制御部６２は、認識・予測処理部３１からの処理開始信号に基づいて、露光部６１に露光開始をさせる。

第２の実施の形態に係るカメラでは、認識・予測処理部３１は、別体の撮像装置６０からの撮像信号に基づいて認識予測処理を行う。撮像装置６０による撮影画角範囲は通常のフレームレートによる撮像を行う撮像装置１０による撮影画角範囲よりも広角であることが望ましい。これにより、より広い撮影画角範囲の認識予測処理を行うことが可能となる。

なお、図２７に示した構成例では、撮像装置１０からは全画素読み出しされた通常の画像データのみを出力しているが、第１の実施の形態に係るカメラと同様に、認識予測処理用の高速に読み出された画像データを出力するようにしてもよい。認識・予測処理部３１は、別体の撮像装置６０からの高速に読み出された画像データと、撮像装置１０からの高速に読み出された画像データとの双方に基づいて認識予測処理を行うようにしてもよい。これにより、より精度の高い認識予測処理を行うことが可能となる。

その他の構成、動作および効果は、上記第１の実施の形態に係るカメラ、および撮像装置と略同様であってもよい。

＜４．その他の実施の形態＞
本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることもできる。
以下の構成の本技術によれば、予測された最適な露光タイミングにおいて被写体の撮影が行われるように、露光部の露光タイミングを制御するようにしたので、高速で動く被写体を高画質かつ、所望のタイミングで撮影することが可能となる。

（１）
露光部と、
第１のフレームレートで撮影された被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、前記露光部を前記第１のフレームレートとは異なる第２のフレームレートで制御する制御部と
を備える
撮像装置。
（２）
前記制御部は、前記露光タイミングが前記予測露光タイミングとなるように前記露光部を制御する
上記（１）に記載の撮像装置。
（３）
前記制御部は、前記予測露光タイミングと撮影トリガーとに基づいて、前記露光部の前記露光タイミングを制御する
上記（１）に記載の撮像装置。
（４）
前記制御部は、前記予測露光タイミングが、前記撮影トリガーに基づく所定の期間内にある場合には、前記予測露光タイミングと前記撮影トリガーとの時間差に応じて前記露光部の前記露光タイミングを制御する
上記（３）に記載の撮像装置。
（５）
前記所定の期間は、ユーザ操作に応じて設定される
上記（４）に記載の撮像装置。
（６）
画像データを記録する記憶部、をさらに備え
前記制御部は、前記所定の期間内において前記予測露光タイミングに基づいて撮影された画像データと、前記所定の期間内において前記撮影トリガーに基づいて撮影された画像データとを前記記憶部に記録させる
上記（４）または（５）に記載の撮像装置。
（７）
前記制御部は、前記所定の期間内において前記予測露光タイミングに基づく複数の撮影があった場合には、前記所定の期間内において前記撮影トリガーに基づいて撮影された画像データと、前記所定の期間内において前記撮影トリガーに対して時間的に最も近い前記予測露光タイミングに基づいて撮影された画像データとを前記記憶部に記録させる
上記（６）に記載の撮像装置。
（８）
前記制御部は、前記所定の期間内に、前記露光部において前記予測露光タイミングに基づく露光または画像データの読み出しを行っている際に前記撮影トリガーが発生した場合には、前記撮影トリガーに基づく露光が行われないように前記露光部を制御する
上記（４）または（５）に記載の撮像装置。
（９）
前記制御部は、前記所定の期間内に、前記露光部において前記撮影トリガーに基づく露光または画像データの読み出しを行っている際に前記予測露光タイミングが発生した場合には、前記撮影トリガーに基づく露光または画像データの読み出しをリセットし、前記露光部に前記予測露光タイミングに基づく露光を開始させる
上記（４）または（５）に記載の撮像装置。
（１０）
前記制御部は、前記所定の期間内に、前記露光部において前記予測露光タイミングに基づく露光または画像データの読み出しを行っている際に前記撮影トリガーが発生した場合には、前記予測露光タイミングに基づく露光または画像データの読み出しをリセットし、前記露光部に前記前記撮影トリガーに基づく露光を開始させる
上記（４）または（５）に記載の撮像装置。
（１１）
前記制御部は、前記所定の期間内に、前記露光部において前記撮影トリガーに基づく露光または画像データの読み出しを行っている際に前記予測露光タイミングが発生した場合には、前記予測露光タイミングに基づく露光が行われないように前記露光部を制御する
上記（４）または（５）に記載の撮像装置。
（１２）
前記予測露光タイミングは、前記第１のフレームレートで撮影された前記被写体の動きに応じて前記被写体の動きを予測した際に、予測された前記被写体の動きが所定の状態を満たすタイミングである
上記（１）ないし（１１）のいずれか１つに記載の撮像装置。
（１３）
前記制御部は、ユーザの指示に応じて前記第１のフレームレートによる撮影を前記露光部に開始させる
上記（１）ないし（１２）のいずれか１つに記載の撮像装置。
（１４）
前記制御部は、所定の判定条件に応じて前記第１のフレームレートとは異なるフレームレートで前記被写体の状態を予測するための撮影を前記露光部に行わせる
上記（１３）に記載の撮像装置。
（１５）
前記所定の判定条件はユーザ操作に基づく条件である
上記（１４）に記載の撮像装置。
（１６）
前記被写体の状態の予測は第１の操作部材のユーザ操作に基づいて開始され、
前記所定の判定条件は第２の操作部材のユーザ操作に基づく条件である
上記（１５）に記載の撮像装置。
（１７）
前記所定の判定条件は前記被写体の状態に基づく条件である
上記（１４）に記載の撮像装置。
（１８）
前記予測露光タイミングに基づく露光タイミングにおいて前記被写体の撮影が行われたことを通知する通知部、をさらに備える
上記（１）ないし（１７）のいずれか１つに記載の撮像装置。
（１９）
露光部を備える撮像装置によって、被写体を第１のフレームレートで撮影することと、
前記第１のフレームレートで撮影された前記被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、前記露光部を前記第１のフレームレートとは異なる第２のフレームレートで制御することと
を含む
撮像制御方法。
（２０）
露光部を備える撮像装置によって、被写体を第１のフレームレートで撮影することと、
前記第１のフレームレートで撮影された前記被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、前記露光部を前記第１のフレームレートとは異なる第２のフレームレートで制御することと
を含む処理をコンピュータに実行させる
プログラム。

本出願は、日本国特許庁において２０１９年６月１３日に出願された日本特許出願番号第２０１９－１１０５４８号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。

当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (17)

1. 露光部と、
   第１のフレームレートで撮影された被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、前記露光部を前記第１のフレームレートとは異なる第２のフレームレートで制御する制御部と
   を備え、
   前記制御部は、
   前記予測露光タイミングと撮影トリガーとに基づいて、前記露光部の前記露光タイミングを制御し、
   前記予測露光タイミングが、前記撮影トリガーに基づく所定の期間内にある場合には、前記予測露光タイミングと前記撮影トリガーとの時間差に応じて前記露光部の前記露光タイミングを制御する
   撮像装置。
2. 前記所定の期間は、ユーザ操作に応じて設定される
   請求項１に記載の撮像装置。
3. 画像データを記録する記憶部、をさらに備え
   前記制御部は、前記所定の期間内において前記予測露光タイミングに基づいて撮影された画像データと、前記所定の期間内において前記撮影トリガーに基づいて撮影された画像データとを前記記憶部に記録させる
   請求項１に記載の撮像装置。
4. 前記制御部は、前記所定の期間内において前記予測露光タイミングに基づく複数の撮影があった場合には、前記所定の期間内において前記撮影トリガーに基づいて撮影された画像データと、前記所定の期間内において前記撮影トリガーに対して時間的に最も近い前記予測露光タイミングに基づいて撮影された画像データとを前記記憶部に記録させる
   請求項３に記載の撮像装置。
5. 前記制御部は、前記所定の期間内に、前記露光部において前記予測露光タイミングに基づく露光または画像データの読み出しを行っている際に前記撮影トリガーが発生した場合には、前記撮影トリガーに基づく露光が行われないように前記露光部を制御する
   請求項１に記載の撮像装置。
6. 前記制御部は、前記所定の期間内に、前記露光部において前記撮影トリガーに基づく露光または画像データの読み出しを行っている際に前記予測露光タイミングが発生した場合には、前記撮影トリガーに基づく露光または画像データの読み出しをリセットし、前記露光部に前記予測露光タイミングに基づく露光を開始させる
   請求項１に記載の撮像装置。
7. 前記制御部は、前記所定の期間内に、前記露光部において前記予測露光タイミングに基づく露光または画像データの読み出しを行っている際に前記撮影トリガーが発生した場合には、前記予測露光タイミングに基づく露光または画像データの読み出しをリセットし、前記露光部に前記撮影トリガーに基づく露光を開始させる
   請求項１に記載の撮像装置。
8. 前記制御部は、前記所定の期間内に、前記露光部において前記撮影トリガーに基づく露光または画像データの読み出しを行っている際に前記予測露光タイミングが発生した場合には、前記予測露光タイミングに基づく露光が行われないように前記露光部を制御する
   請求項１に記載の撮像装置。
9. 前記予測露光タイミングは、前記第１のフレームレートで撮影された前記被写体の動きに応じて前記被写体の動きを予測した際に、予測された前記被写体の動きが所定の状態を満たすタイミングである
   請求項１に記載の撮像装置。
10. 前記制御部は、ユーザの指示に応じて前記第１のフレームレートによる撮影を前記露光部に開始させる
    請求項１に記載の撮像装置。
11. 前記制御部は、所定の判定条件に応じて前記第１のフレームレートとは異なるフレームレートで前記被写体の状態を予測するための撮影を前記露光部に行わせる
    請求項１０に記載の撮像装置。
12. 前記所定の判定条件はユーザ操作に基づく条件である
    請求項１１に記載の撮像装置。
13. 前記被写体の状態の予測は第１の操作部材のユーザ操作に基づいて開始され、
    前記所定の判定条件は第２の操作部材のユーザ操作に基づく条件である
    請求項１２に記載の撮像装置。
14. 前記所定の判定条件は前記被写体の状態に基づく条件である
    請求項１１に記載の撮像装置。
15. 前記予測露光タイミングに基づく露光タイミングにおいて前記被写体の撮影が行われたことを通知する通知部、をさらに備える
    請求項１に記載の撮像装置。
16. 露光部を備える撮像装置によって、被写体を第１のフレームレートで撮影することと、
    前記第１のフレームレートで撮影された前記被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、前記露光部を前記第１のフレームレートとは異なる第２のフレームレートで制御することと、
    前記予測露光タイミングと撮影トリガーとに基づいて、前記露光部の前記露光タイミングを制御し、前記予測露光タイミングが、前記撮影トリガーに基づく所定の期間内にある場合には、前記予測露光タイミングと前記撮影トリガーとの時間差に応じて前記露光部の前記露光タイミングを制御することと
    を含む
    撮像制御方法。
17. 露光部を備える撮像装置によって、被写体を第１のフレームレートで撮影することと、
    前記第１のフレームレートで撮影された前記被写体の状態が所定の条件を満たすと予測される予測露光タイミングに基づく露光タイミングにおいて、前記露光部を前記第１のフレームレートとは異なる第２のフレームレートで制御することと、
    前記予測露光タイミングと撮影トリガーとに基づいて、前記露光部の前記露光タイミングを制御し、前記予測露光タイミングが、前記撮影トリガーに基づく所定の期間内にある場合には、前記予測露光タイミングと前記撮影トリガーとの時間差に応じて前記露光部の前記露光タイミングを制御することと
    を含む処理をコンピュータに実行させる
    プログラム。

Images