JP7014221B2 - 撮像装置、および画像撮影制御方法、並びにプログラム - Google Patents

Description

本開示は、撮像装置、および画像撮影制御方法、並びにプログラムに関する。特に、画像撮影タイミングに応じた画像を撮影し記録可能とする撮像装置、および画像撮影制御方法、並びにプログラムに関する。

カメラ（撮像装置）を用いて画像撮影を行う場合、例えば、撮影者はカメラのＬＣＤ表示部やＥＶＦ（ｅｌｅｃｔｒｉｃ ｖｉｅｗｆｉｎｄｅｒ）等の表示部に表示された画像を確認し、撮影タイミングを決定して、レリーズボタン（シャッターボタン）を押下する。

しかし、レリーズボタン（シャッターボタン）を押下して、実際にカメラの撮像素子の露光処理が開始されるまでには、一定のタイムラグ（時間遅れ）がある。
このタイムラグは、レリーズタイムラグ、あるいはレリーズラグと呼ばれる。
レリーズラグは、カメラによって多少の差はあるが、多くのカメラにおいて、レリーズラグは、約１５ｍｓｅｃ～３０ｍｓｅｃの時間範囲にある。
なお、レリーズラグについて開示した従来技術として、例えば特許文献１（特開２００８－１４１２３６号公報）がある。

移動しない静止被写体を撮影する場合には、レリーズボタン（シャッターボタン）を押下したタイミングと、レリーズラグ経過後の被写体に大きな変化が発生しないため、撮影者が意図した被写体画像を記録画像としてカメラのメモリに記録することができる。
しかし、例えば、高速で移動する被写体を撮影する場合、レリーズボタン（シャッターボタン）を押下したタイミングの被写体と、レリーズラグ経過後の被写体は、大きく異なる場合がある。このような場合には、撮影者が意図した被写体画像と異なる画像がカメラのメモリに記録されることになる。

一般的なユーザは、このレリーズラグを気にすることなく撮影を行っているが、例えばプロのカメラマン等は、使用するカメラのレリーズラグを考慮した上で撮影処理を行うことが多い。すなわち、カメラのＬＣＤ表示部やＥＶＦ（ｅｌｅｃｔｒｉｃ ｖｉｅｗｆｉｎｄｅｒ）等の表示部の表示画像を確認し、さらに、レリーズラグを考慮して、レリーズボタン（シャッターボタン）の押下タイミングを押下する。

具体的には、カメラの表示部の表示画像を確認し、さらに、レリーズラグ経過後の画像を推定して、その推定画像が撮影できるように、推定画像の直前のタイミングで、レリーズボタン（シャッターボタン）を押下するといった撮影処理を行う。

しかし、このようにレリーズボタン（シャッターボタン）の押下タイミングを制御して、撮影者の想定した画像を撮影するためには、レリーズラグの時間が常に一定であるということが条件となる。
ところが、実際には、レリーズラグの時間は、レリーズボタンの押下タイミングによって異なってしまう場合がある。
これは、例えば撮像素子の処理タイミングが、一定間隔の同期信号によって規定されてしまうことに起因する。

特開２００８－１４１２３６号公報

本開示は、例えば、上記の問題点に鑑みてなされたものであり、レリーズボタン（シャッターボタン）の押下タイミングを確実に反映した画像を撮影することを可能とした撮像装置、および画像撮影制御方法、並びにプログラムを提供することを目的とする。
すなわち、レリーズボタン（シャッターボタン）の押下タイミングから一定の固定期間経過後に露光処理を確実に開始させる撮像装置、および画像撮影制御方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
撮像素子と、
前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
前記制御部は、
撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行い、
前記撮像素子は、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する撮像装置にある。

さらに、本開示の第２の側面は、
撮像装置において実行する画像撮影制御方法であり、
前記撮像装置は、
撮像素子と、
前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
前記制御部が、
撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行い、
前記撮像素子は、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する画像撮影制御方法にある。

さらに、本開示の第３の側面は、
撮像装置において画像撮影制御処理を実行させるプログラムであり、
前記撮像装置は、
撮像素子と、
前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
前記プログラムは、前記制御部に、
撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行わせ、
前記撮像素子に、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法が実現される。
具体的には、例えば、撮像素子と、撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、制御部は、撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を撮像素子に出力する。撮像素子は、第１追加同期信号の入力に応じて、撮影操作に対応する撮影画像の露光処理を開始する。さらに、制御部は、記撮影画像の露光処理の露光期間の終了タイミングにおいて、第２追加同期信号を撮像素子に出力し、撮像素子は、第２追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する。
これらの処理により、レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

撮像装置における画像の撮影、表示処理、および記録処理におけるデータ処理シーケンスについて説明する図である。 撮像装置の表示部に表示用画像（ＬＶ画像）を表示し、その間に、撮影処理を行い、記録用画像（ＣＡＰ画像）の記録処理を行った場合の処理シーケンスを説明するタイミングチャートを示す図である。 撮影タイミングによりレリーズラグが変化してしまう問題について説明する図である。 撮像装置の構成例について説明する図である。 撮影処理が実行された場合の記録用画像（ＣＡＰ画像）の生成シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像（ＣＡＰ画像）の生成シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像（ＣＡＰ画像）の生成と画像表示シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像（ＣＡＰ画像）の生成と画像表示シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像（ＣＡＰ画像）の生成と画像表示シーケンスについて説明する図である。 撮影処理が実行された場合の記録用画像（ＣＡＰ画像）の生成と画像表示シーケンスについて説明する図である。 撮像装置の実行する処理シーケンスを説明するフローチャートを示す図である。 撮像装置の構成例について説明する図である。

以下、図面を参照しながら本開示の撮像装置、および画像撮影制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像装置における画像の撮影、表示処理、および記録処理の概要について
２．撮影タイミングによりレリーズラグが変化してしまう問題について
３．撮影実行タイミングに応じた撮影画像を取得可能とした実施例について
４．撮像装置の実行する処理のシーケンスについて
５．その他の実施例について
６．本開示の構成のまとめ

［１．撮像装置における画像の撮影、表示処理、および記録処理の概要について］
まず、図１以下を参照して、撮像装置における画像の撮影、表示処理、および記録処理の概要について説明する。
図１には、撮像装置における以下の処理例を示している。
（１）撮影処理非実行時（ライブビュー画像（ＬＶ）表示処理実行時）のデータ処理例
（２）撮影処理実行時（キャプチャ画像（ＣＡＰ）記録処理実行時）のデータ処理例

なお、ライブビュー画像（ＬＶ）とは、撮像装置の表示部、例えばＬＣＤや、ＥＶＦ等、撮影者が確認可能な表示部に表示される画像である。スルー画とも呼ばれ、撮影処理の実行、非実行に関わらず、継続的に表示部に表示される画像である。
一方、キャプチャ画像（ＣＡＰ）とは、撮影者が、撮像装置のレリーズボタン（シャッターボタン）を操作することで撮影される画像である。キャプチャ画像（ＣＡＰ）は、撮像措置の記録部（メディア）に記録される。

なお、一般的に、キャプチャ画像（ＣＡＰ）は、撮像素子の画素数を反映した高画素数の高解像度画像として取得され、記録されるが、ライブビュー画像（ＬＶ）は、表示部の表示可能な画素数に合わせた低画素の画像として取得されて表示される。
すなわち、ライブビュー画像（ＬＶ）は、キャプチャ画像（ＣＡＰ）より低画素の画像となる。

図１に示す（１）撮影処理非実行時（ライブビュー画像（ＬＶ）表示処理実行時）のデータ処理例について説明する。
光学レンズ１１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１２に入射し、光電変換による画像データを出力する。なお、この場合の出力画像は、表示部２１に表示するための表示用画像（ＬＶ画像）である。

以下において、表示部に表示するための画像を、表示用画像、またはＬＶ画像と呼び、一方、撮影記録用の画像を記録用画像、またはキャプチャ画像、またはＣＡＰ画像と呼ぶ。

撮像素子１２は、表示部に表示するための表示用画像（ＬＶ画像）を出力する際は、撮像素子の全画素データの出力を行うことなく、一部を間引いた低画素数の画像出力を行う。
撮影処理が実行された場合には、高画素数の記録用画像を生成する必要があるため、撮像素子のほぼ全画素データの出力を行う。

図１に示す（１）撮影処理非実行時（ライブビュー画像（ＬＶ）表示処理実行時）には、撮像素子１２は、低画素数の出力画像（ＬＶ画像）をＡＤ変換部１３に入力する。
ＡＤ変換部１３は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を信号処理部（信号処理ＬＳＩ）１４に入力する。

信号処理部１４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像、すなわち、表示部２１に表示するための画像（ＬＶ画像）を生成してメモリ１５に格納する。

表示部２１は、メモリ１５に格納されたＬＶ画像を表示する。
表示部２１は、例えばＬＣＤやＥＶＦ等によって構成され、撮影者が確認することができる。

次に、図１に示す（２）撮影処理実行時（キャプチャ画像（ＣＡＰ）記録処理実行時）のデータ処理例について説明する。
撮影者が、レリーズボタン（シャッターボタン）を操作（押下）すると、この（２）の処理が行われることになる。

撮影者が、レリーズボタン（シャッターボタン）を操作（押下）すると、光学レンズ１１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１２に入射し露光処理が開始される。

ただし、前述したように、レリーズボタン（シャッターボタン）を押下後、撮像素子１２における露光処理が開始されるまでには一定の時間間隔、すなわち、レリーズラグ（レリーズタイムラグ）がある。
前述したように、レリーズラグは、カメラによって多少の差はあるが、多くのカメラにおいて、約１５ｍｓｅｃ～３０ｍｓｅｃの時間となる。

撮像素子１２における露光処理が終了すると、撮像素子１２は、光電変換による画像データをＡＤ変換部１３に出力する。なお、この場合の出力画像は、記録部２２に記録、保存するための記録用画像（ＣＡＰ画像）である。

記録用画像（ＣＡＰ画像）は、撮像素子１２の画素数を反映した高画素の画像である。（１）を参照して説明した表示用画像（ＬＶ画像）より画素数の多い高画素画像となる。
図１では、（１）に示すＬＶ画像の矢印を細く、（２）に示すＣＡＰ画像の矢印を太く示し、画素数の高低を矢印の太さで示している。

ＡＤ変換部１３は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を信号処理部（信号処理ＬＳＩ）１４に入力する。

信号処理部１４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像を生成する。
この場合、信号処理部１４は、記録部２２に格納するための高画素の記録用画像（ＣＡＰ画像）を生成するとともに、さらに、表示部２１に表示するための表示用画像（ＬＶ画像）も併せて生成してメモリ１５に格納する。

記録部２２には、メモリ１５に格納された高画素の記録用画像（ＣＡＰ画像）を格納する。
一方、表示部２１は、メモリ１５に格納された低画素の表示用画像（ＬＶ画像）を表示する。
以上が、撮像装置における撮影実行時と非実行時の処理の概要である。

次に、これらの処理の時間的な流れについて、図２以下に示すタイミングチャートを参照して説明する。
図２は、撮像装置の表示部に表示用画像（ＬＶ画像）を表示し、その間に、撮影処理を行い、記録用画像（ＣＡＰ画像）の記録処理を行った場合の処理シーケンスを説明するタイミングチャートである。
左から右に時間が経過する。

図２には、以下の（ａ）～（ｇ）の処理タイミングを個別に示している。
（ａ）撮像素子入力同期信号
（ｂ）露光処理
（ｃ）ＡＤ変換処理
（ｄ）表示画像生成処理
（ｅ）記録画像生成処理
（ｆ）表示部入力同期信号
（ｇ）表示部表示画像

（ａ）撮像素子入力同期信号は、撮像装置の制御部の制御によって撮像素子１２に入力される同期信号である。本例では８．３ｍｓｅｃごとの同期信号が、撮像素子１２に入力される設定である。
撮像素子１２は、この同期信号の入力に応じて、様々な処理の開始や、処理の切り換え等の実行処理の更新を行う。例えば、同期信号は、撮像素子１２における表示用画像（ＬＶ画像）の露光処理開始、または終了処理のトリガとなり、さらにＡＤ変換処理開始や、表示画像生成処理開始のトリガとなる。
なお、図２に示す例では、撮像素子１２における表示用画像（ＬＶ画像）の露光処理は、同期信号（ｔａ２，ｔａ４，・・・）の入力時に開始する設定ではなく、同期信号入力から所定クロック経過後に開始する設定である。

（ｂ）露光処理は、撮像素子１２における露光処理を示す。各三角形に示すＬＶ１、ＬＶ２、ＬＶ３・・は、表示部２１に表示する表示用画像（ＬＶ画像）の露光処理を示している。ＣＡＰは、記録部２２に記録するための記録用画像（ＣＡＰ画像）の露光処理を示している。
各三角形の左端が露光開始時間、右端が露光終了時間に相当する。

（ｃ）ＡＤ変換処理は、撮像素子１２において露光が完了した画像を撮像素子１１から入力するＡＤ変換部１３の実行するＡＤ変換処理である。
（ｄ）表示画像生成処理は、ＡＤ変換部１３におけるＡＤ変換処理結果としてのデジタル信号を入力する信号処理部１４が実行する表示用画像（ＬＶ画像）の生成処理である。

なお、（ｃ）ＡＤ変換処理と、（ｄ）表示画像生成処理については、図２に示すタイミングチャートにおいて並列に実行される設定で示してある。
例えばＬＶ１に対する処理ボックスとして２つのボックスを同一のタイミングに並べて示してある。
これは、ＡＤ変換部１３においてＡＤ変換されたデータが、順次、信号処理部１４に入力され、信号処理部１４においてＡＤ変換部１３からの入力データについて、順次、表示画像生成が実行されることを示しているものである。実際は、（ｃ）ＡＤ変換処理が、やや先行して開始され、（ｄ）表示画像生成処理がやや遅れて開始され、終了する。

（ｅ）記録画像生成処理は、ＡＤ変換部１３におけるＡＤ変換処理結果としてのデジタル信号を入力する信号処理部１４が実行する記録用画像（ＣＡＰ画像）の生成処理である。
図２には、（ａ）撮像素子入力同期信号＝ｔａ５以降に横長の矩形ボックスとして示している。
これは、高画素の記録画像（ＣＡＰ画像）の生成に時間を要することを意味するものである。

（ｆ）表示部入力同期信号は、撮像装置の制御部の制御によって表示部２１に入力される同期信号である。本例では１６．６ｍｓｅｃごとの同期信号が、表示部２１に入力される設定である。
表示部２１は、この同期信号の入力に応じて、表示画像の切り換え等の処理を行う。
（ｇ）表示部表示画像は、表示部２１に表示される画像を示したものである。

ＬＶ１，ＬＶ２・・は、表示画像の画像フレーム１，２に対応し、１６．６ｍｓｅｃ間隔で表示フレームが切り換えられることを意味する。すなわち、表示部２１には、ライブビュー画像（スルー画像）による動画像の表示がなされる。

次に、（ｂ）露光処理の詳細について説明する。
（ｂ）露光処理は、撮像素子１２における露光処理である。
撮影者によるレリーズボタンが押下されず、撮影処理が実行されていない場合は、撮像素子１２は、表示部２１に表示するための表示用画像（ＬＶ画像）の露光処理を行う。
図の（ｂ）露光処理に示す各三角形のＬＶ１、ＬＶ２、ＬＶ３・・が、表示部２１に表示する表示用画像（ＬＶ画像）の各画像フレームの露光処理を示している。

図に示す例において、第１の表示用画像フレーム（ＬＶ１）は、（ａ）撮像素子入力同期信号（ｔａ１）の入力までに完了し、その後、ｔａ３，ｔａ５，ｔａ７・・・１６．６ｍｓｅｃ間隔で、露光画像を切り換える設定となっている。
なお、図に示す例では、同期信号（ｔａ５）入力時に記録用画像（ＣＡＰ画像）の露光が完了する設定となっている。
これは、撮影者によるレリーズボタンの押下によって行われる処理であり、撮影者によるレリーズボタン押下がない場合は、この同期信号（ｔａ５）入力時にも表示用画像（ＬＶ３）の露光が完了する設定となる。

表示用画像（ＬＶ）の露光から、表示処理までのシーケンスについて説明する。
一例として、図２に示す第２の表示用画像フレーム（ＬＶ２）に示す点線に従って処理シーケンスを説明する。
図２の（ｂ）露光処理に示すように、第２の表示用画像フレーム（ＬＶ２）は、撮像素子１２において、（ａ）撮像素子入力同期信号（ｔａ３）の入力までに完了する。
撮像素子１２は、（ａ）撮像素子入力同期信号（ｔａ３）の入力に応じて、撮像素子１２の露光結果として得られる光電変換信号をＡＤ変換部１３に出力する。

（ａ）撮像素子入力同期信号（ｔａ３）以後は、図の（ｃ）ＡＤ変換処理、（ｄ）表示画像生成処理に示すように、ＡＤ変換部１３におけるＡＤ変換処理と、信号処理部１４における表示画像生成処理が行われる。

（ｄ）表示画像生成処理に示す表示用画像（ＬＶ２）の生成処理が完了すると、表示用画像（ＬＶ２）はメモリ１６に格納され、その後、表示部２１に出力される。
先に説明したように、表示部２１は、（ｆ）表示部入力同期信号の入力に応じて表示画像を更新する。
図から理解されるように、（ｄ）表示画像生成処理に示す表示用画像（ＬＶ２）の生成処理の完了後の最も早い（ｆ）表示部入力同期信号は、同期信号（ｔｂ２）である。

表示部２１は、この同期信号（ｔｂ２）の入力をトリガとして、表示画像を先行フレーム対応の表示用画像（ＬＶ１）から次フレーム対応の表示用画像（ＬＶ２）に切り換えて表示を行う。

表示部２１は、この表示画像切り換え処理を定期的、図に示す例では１６．６ｍｓｅｃ間隔で実行する。この処理により、表示部２１には、１６．６ｍｓｅｃごとに画像フレームが切り替わる動画像の表示が行われることになる。

次に、図に示す（ａ）撮像素子入力同期信号（ｔａ５）入力時に露光処理が完了する記録用画像（ＣＡＰ画像）の処理について説明する。
（ａ）撮像素子入力同期信号（ｔａ５）入力時に露光処理が完了する記録用画像（ＣＡＰ画像）は、１つ前の撮像素子入力同期信号（ｔａ４）以前のレリーズボタンの操作によって行われる記録用画像（ＣＡＰ画像）の露光処理である。

具体的には、撮像素子入力同期信号（ｔａ４）以前のレリーズボタンの操作から、所定のレリーズタイムラグ経過後の最初の（ａ）撮像素子入力同期信号の入力後に記録用画像（ＣＡＰ画像）の露光処理が開始される。
この処理タイミングについては、図３を参照して後段で説明する。

まず、図２を参照して、（ａ）撮像素子入力同期信号（ｔａ５）入力時に露光処理が完了する記録用画像（ＣＡＰ画像）のその後の処理について説明する。
記録用画像（ＣＡＰ画像）については、図２に示すように、（ｂ）露光処理が、（ａ）撮像素子入力同期信号（ｔａ５）入力までに完了する。

（ａ）撮像素子入力同期信号（ｔａ５）以後は、図２の（ｃ）ＡＤ変換処理、（ｄ）表示画像生成処理に示すように、ＡＤ変換部１３におけるＡＤ変換処理と、信号処理部１４における表示画像生成処理が行われる。
ＡＤ変換部１３における（ｃ）ＡＤ変換処理（ｃａｐＡＤ）は、高画素の記録用画像（ＣＡＰ画像）に対する処理となり、低画素の表示用画像（ＬＶ画像）より、処理時間が長くなる。

信号処理部１４は、ＡＤ変換部１３におけるＡＤ変換結果データである高画素の記録用画像（ＣＡＰ画像）対応のデジタルデータを用いて、高画素の記録用画像（ＣＡＰ画像）の生成処理と、低画素の表示用画像（ＬＶ画像）を実行する。
この処理が、図２に示す（ａ）撮像素子入力同期信号（ｔａ５～ｔａ６）の間の処理である。
（ｄ）表示画像生成処理として示す（ＬＶ３）、
（ｅ）記録画像生成処理として示す（ＣＡＰ）
これらの処理である。

（ｅ）記録画像生成処理として示す（ＣＡＰ）は高画素の記録用画像生成処理であり、処理時間が長くなる。
また、（ｄ）表示画像生成処理として示す（ＬＶ３）は、ＡＤ変換部１３におけるＡＤ変換結果データである高画素の記録用画像（ＣＡＰ画像）から、画素間引き等の処理を行い、表示用の低画素の画像を生成する処理として実行される。
この処理は、図から理解されるように、表示部入力同期信号（ｔｂ３）までに完了する設定とされ、１６．６ｍｓｅｃ間隔の表示画像のフレーム切り換えに間に合うように処理が行われる。

［２．撮影タイミングによりレリーズラグが変化してしまう問題について］
次に、撮影タイミングによりレリーズラグが変化してしまう問題について説明するる。
図３を参照して、この問題点について説明する。
図３は、先に説明した図２と同様、撮像装置の表示部に表示用画像（ＬＶ画像）を表示し、その間に、撮影処理を行い、記録用画像（ＣＡＰ画像）の記録処理を行った場合の処理シーケンスにおけるタイミングチャートである。
左から右に時間が経過する。

図３には、図２と同様、以下の（ａ）～（ｅ）の処理タイミングを個別に示している。
（ａ）撮像素子入力同期信号
（ｂ）露光処理
（ｃ）ＡＤ変換処理
（ｄ）表示画像生成処理
（ｅ）記録画像生成処理

図３には、さらに、（ａ）撮像素子入力同期信号（ｔａ１）～（ｔａ２）の期間に行われた２つの異なるタイミングの撮影操作として、
撮影操作１（レリーズ操作１）（ｔｓ１）、
撮影操作２（レリーズ操作２）（ｔｓ２）、
これら異なるタイミングの２つの撮影操作を示している。
これは、撮影者がレリーズボタンを押下したタイミングに相当する。

時間（ｔｓ１）において撮影操作１（レリーズ操作１）が実行され、その後、時間（ｔｓ２）において撮影操作２（レリーズ操作２）が行われている。
撮影者は、それぞれのタイミングに応じた異なるタイミングの異なる画像が撮影、記録できていると考える。

しかし、結果として撮影、記録される画像は、撮影操作１（レリーズ操作１）の場合と、撮影操作２（レリーズ操作２）の場合とで同じ画像になってしまう。
この要因について、図３を参照して説明する。

前述したように、レリーズボタン（シャッターボタン）を押下後、撮像素子１２における露光処理が開始されるまでには一定の時間遅れ、すなわち、レリーズラグ（レリーズタイムラグ）がある。
前述したように、レリーズラグは、カメラによって多少の差はあるが、多くのカメラにおいて、約１５ｍｓｅｃ～３０ｍｓｅｃの時間となる。

前述したように、プロのカメラマン等は、カメラの表示部の表示画像を確認し、さらに、レリーズラグ経過後の画像を推定して、その推定画像を撮影するように、レリーズボタン（シャッターボタン）の押下タイミングを押下するといった処理を行う。
しかし、このようにレリーズボタン（シャッターボタン）の押下タイミングを制御して、撮影者の想定した画像を撮影するためには、レリーズラグが常に一定であるということが条件となる。

ところが、実際には、レリーズラグは、レリーズボタンの押下タイミングによって異なってしまう場合がある。
これは、例えば撮像素子の処理タイミングが、一定間隔の同期信号によって規定されてしまうことに起因する。
この具体例について、図３を参照して説明する。

時間（ｔｓ１）において撮影操作１（レリーズ操作１）が実行されると、所定の露光準備処理が開始される。
この露光準備処理は、例えば制御部から、撮像素子や信号処理部に対する制御信号の出力処理や、撮像素子や信号処理部における制御信号に基づく設定処理等に要する時間であり、ほぼ一定の時間である。
本実施例では、この露光準備処理時間を２０ｍｓｅｃとする。

この露光準備処理時間を２０ｍｓｅｃは、レリーズラグの最小値に相当し、レリーズラグは露光準備処理時間（２０ｍｓｅｃ）以下にすることはできない。

時間（ｔｓ１）において撮影操作１（レリーズ操作１）が実行されると、露光準備処理が開始され、時間（ｔｓ１）から２０ｍｓｅｃ経過後に露光準備処理が終了する。
図３に示す［露光準備処理１（２０ｍｓｅｃ）］のボックスの右端に示す時間（ｔｓ１ｅ）に露光準備処理が終了する。

しかし、この［露光準備処理１（２０ｍｓｅｃ）］の終了時点（ｔｓ１ｅ）において、即座に撮像素子１２における露光処理は開始されない。
撮像素子１２は、（ａ）撮像素子入力同期信号の入力をトリガとして処理の開始、切り換えを行う構成であり、［露光準備処理１（２０ｍｓｅｃ）］の終了時点（ｔｓ１ｅ）以後の最初の（ａ）撮像素子入力同期信号である同期信号（ｔａ４）の入力以後に露光処理が開始される。
なお、撮像素子１２は、同期信号（ｔａ４）の次の（ｔａ５）までに露光処理を完了させるように露光期間を設定する。
露光期間は、例えば、ユーザ（撮影者）の設定したシャッタースピード等に基づいて決定される。
図３に示す例では、（ｂ）露光処理に示す（ＣＡＰ）、すなわち同期信号（ｔａ５）において露光完了となるように露光期間が設定されて撮影画像２０１の露光処理が行われることになる。

次に、時間（ｔｓ１）より遅れたタイミングである、時間（ｔｓ２）において撮影操作２（レリーズ操作２）が実行された場合の撮影画像について説明する。
時間（ｔｓ２）において撮影操作２（レリーズ操作２）が実行されると、露光準備処理が開始され、時間（ｔｓ２）から２０ｍｓｅｃ経過後に露光準備処理が終了する。
図３に示す［露光準備処理２（２０ｍｓｅｃ）］のボックスの右端に示す時間（ｔｓ２ｅ）に露光準備処理が終了する。

しかし、この［露光準備処理２（２０ｍｓｅｃ）］の終了時点（ｔｓ２ｅ）において、即座に撮像素子１２における露光処理は開始されない。
前述したように、撮像素子１２は、（ａ）撮像素子入力同期信号の入力をトリガとして処理の開始、切り換えを行う構成であり、［露光準備処理２（２０ｍｓｅｃ）］の終了時点（ｔｓ２ｅ）以後の最初の（ａ）撮像素子入力同期信号である同期信号（ｔａ４）の入力以後に露光処理が開始される。
前述したと同様、撮像素子１２は、同期信号（ｔａ４）の次の（ｔａ５）までに露光処理を完了させるように露光期間を設定する。
露光期間は、例えば、ユーザ（撮影者）の設定したシャッタースピード等に基づいて決定される。
図３に示す例では、（ｂ）露光処理に示す（ＣＡＰ）、すなわち同期信号（ｔａ５）において露光完了となるように露光期間が設定されて撮影画像２０１の露光処理が行われることになる。

このように、異なるタイミングの撮影操作１（レリーズ操作１）と、撮影操作２（レリーズ操作２）のいずれの場合も、撮像素子の露光期間は、同期信号（ｔａ４）の次の（ｔａ５）までに露光処理が完了するように設定された露光期間となり、結果として、撮影、記録される画像は、撮影操作１（レリーズ操作１）の場合と、撮影操作２（レリーズ操作２）の場合とで同じ画像になる。

これは、撮影タイミング、すなわちレリーズボタンの操作タイミングをずらしても撮影画像（記録画像）が同じになってしまうことを意味し、例えば、高速で移動する被写体を撮影する場合、ユーザが撮影しようとしたタイミングの画像の撮影が不可能になるという問題を発生させることになる。

［３．撮影実行タイミングに応じた撮影画像を取得可能とした実施例について］
次に、上述した問題点を解決し、撮影実行タイミングに応じた撮影画像を取得可能とした実施例について説明する。

まず、図４を参照して本実施例に係る撮像装置１００の構成例について説明する。
図４に示す撮像装置１００は、光学レンズ１０１、撮像素子１０２、ＡＤ変換部１０３、信号処理部（信号処理ＬＳＩ）１０４、メモリ１０５、表示部（ＬＣＤ／ＥＶＦ）１０６、記録部１０７、操作部１０８、制御部１１０を有する。

操作部１０８は、例えばレリーズボタン（シャッターボタン）や、撮影態様、撮影モードの設定、表示部１０６の表示画像の設定などのユーザ入力を行うための操作部である。
なお、表示部１０６をタッチパネル形式としてユーザ操作部として利用することも可能である。

制御部１１０は、撮像素子１０２～記録部１０７に対する制御信号や同期信号を入力し、各構成部の処理の実行タイミングの制御等、様々な処理制御を実行する。
例えば、撮像素子１０２の処理タイミングを規定する同期信号の出力制御や、表示部１０６の表示画像の切り換えタイミングを規定する同期信号の出力制御等を実行する。
制御部１１０は、具体的には、図示しない記憶部に格納されたプログラムに従った処理を実行するＣＰＵ等によって構成される。
プログラムは、例えば、画像撮影、画像記録、画像表示処理の制御プログラム、同期信号出力制御プログラム等によって構成される。

光学レンズ１０１を介して入射される光は撮像部、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子１０２に入射し、光電変換による画像データを出力する。なお、撮像素子１０２の出力画像は、撮影処理が実行されていない場合は、表示部１０６に表示するための低画素の表示用画像（ＬＶ画像）であり、撮影処理が実行された場合は、記録部１０７に格納するための高画素の記録用画像（ＣＡＰ画像）となる。

撮像素子１０２からの出力画像はＡＤ変換部１０３に入力される。
ＡＤ変換部１０３は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を信号処理部（信号処理ＬＳＩ）１０４に入力する。

信号処理部１０４は、例えばホワイトバランス（ＷＢ）調整、ガンマ補正等、一般的なカメラにおける信号処理を実行して出力画像、すなわち、表示部１０６に表示するための表示用画像（ＬＶ画像）、または、記録部１０７に格納するための記録用画像（ＣＡＰ画像）の少なくともいずれかを生成してメモリ１０５に格納する。

表示部１０６は、メモリ１０５に格納された表示用画像（ＬＶ画像）を表示する。
表示部１０６は、例えばＬＣＤやＥＶＦ等によって構成され、撮影者が確認することができる。
また、記録部１０７は、メモリ１０５に格納された記録用画像（ＣＡＰ画像）を格納する。

次に、図５、図６を参照して、撮影処理が実行された場合の記録用画像（ＣＡＰ画像）の生成シーケンスについて説明する。
図５、図６は、先に図３を参照して説明した２つの異なる撮影操作を行った場合に記録される画像の露光処理を説明する図である。
図５は、図３を参照して説明した時間（ｔｓ１）の撮影操作１（レリーズ操作１）を行った場合の記録画像（ＣＡＰ画像）の露光処理と記録画像生成処理を説明する図である。
図６は、図３を参照して説明した時間（ｔｓ２）の撮影操作２（レリーズ操作２）を行った場合の記録画像（ＣＡＰ画像）の露光処理と記録画像生成処理を説明する図である。

まず、図５を参照して、時間（ｔｓ１）の撮影操作１（レリーズ操作１）を行った場合の（ＣＡＰ画像）の露光処理と記録画像生成処理を説明する。
図５は、先に説明した図３と同様、撮像装置の表示部に表示用画像（ＬＶ画像）を表示し、その間に、撮影処理を行い、記録用画像（ＣＡＰ画像）の記録処理を行った場合の処理シーケンスにおけるタイミングチャートである。
左から右に時間が経過する。

図５には、図３と同様、以下の（ａ）～（ｅ）の処理タイミングを個別に示している。
（ａ）撮像素子入力同期信号
（ｂ）露光処理
（ｃ）ＡＤ変換処理
（ｄ）表示画像生成処理
（ｅ）記録画像生成処理

図５には、さらに、（ａ）撮像素子入力同期信号（ｔａ１）～（ｔａ２）の期間に行われた撮影操作１（レリーズ操作１）（ｔｓ１）を示している。
すなわち、時間ｔｓ１は、撮影者がレリーズボタンを押下したタイミングである。

時間（ｔｓ１）において撮影操作１（レリーズ操作１）が実行されると、所定の露光準備処理が開始される。
前述したように、露光準備処理は、例えば制御部から、撮像素子や信号処理部に対する制御信号の出力処理や、撮像素子や信号処理部における制御信号に基づく設定処理等に要する時間であり、ほぼ一定の時間であり、本実施例では、この露光準備処理時間を２０ｍｓｅｃとする。
この露光準備処理時間を２０ｍｓｅｃは、レリーズラグの最小値に相当し、レリーズラグは露光準備処理時間（２０ｍｓｅｃ）以下にすることはできない。

時間（ｔｓ１）において撮影操作１（レリーズ操作１）が実行されると、露光準備処理が開始され、時間（ｔｓ１）から２０ｍｓｅｃ経過後に露光準備処理が終了する。
図５に示す［露光準備処理１（２０ｍｓｅｃ）］のボックスの右端に示す時間（ｔｓ１ｅ）に露光準備処理が終了する。

本実施例では、この［露光準備処理１（２０ｍｓｅｃ）］の終了時点（ｔｓ１ｅ）において、即座に撮像素子１０２における露光処理を開始させる。
即座に撮像素子１０２における露光処理を開始させるため、制御部１１０は、撮像素子１０２に対して第１追加同期信号（ｔａ－ｘ４）２１１を出力する。

前述したように、撮像素子１０２は、（ａ）撮像素子入力同期信号の入力をトリガとして処理の開始、切り換えを行う構成であり、［露光準備処理１（２０ｍｓｅｃ）］の終了時点（ｔｓ１ｅ）以後の最初の（ａ）撮像素子入力同期信号である第１追加同期信号（ｔａ－ｘ４）２１１に応じて、記録用画像（ＣＡＰ画像）の露光処理を開始することができる。

撮像素子１０２は、制御部１１０から入力した第１追加同期信号（ｔａ－ｘ４）２１１に従って、記録用画像（ＣＡＰ画像）の露光処理を開始する。
露光期間は、例えば、ユーザ（撮影者）の設定したシャッタースピード等に基づいて決定される。
制御部１１０は、このユーザ（撮影者）の設定したシャッタースピード等に基づいて決定される露光期間に応じて露光期間の終了タイミングを判定し、この露光期間の終了タイミングで、さらに、第２追加同期信号（ｔａ－ｘ５）２１２を撮像素子１０２に出力する。

制御部１１０は、この第２追加同期信号（ｔａ－ｘ５）２１２の出力後は、規定の間隔の同期信号出力処理に切り換えて同期信号出力処理を継続する。すなわち、制御部１１０は、第２追加同期信号（ｔａ－ｘ５）２１２の出力後は、規定の８．３ｍｓｅｃ間隔の同期信号（ｔａ－ｘ５，ｔａ－ｘ６，ｔａ－ｘ７・・・）を撮像素子１０２に出力する。

図に示すように、
第１追加同期信号（ｔａ－ｘ４）２１１から、第２追加同期信号（ｔａ－ｘ５）２１２の期間が、時間（ｔｓ１）における撮影操作１（レリーズ操作１）に応じた撮影画像の露光期間、すなわち、図に示す撮影画像露光期間２１０となる。
この撮影画像露光期間２１０の開始位置である第１追加同期信号（ｔａ－ｘ４）２１１は、撮影操作１（レリーズ操作１）の実行時間（ｔｓ１）から露光処理準備期間である２０ｍｓｅｃ経過後の時間となる。

撮像素子１０２は、第２追加同期信号（ｔａ－ｘ５）２１２の入力に応じて、撮像素子１０２の露光結果として得られる光電変換信号をＡＤ変換部１０３に出力する。
その後、第２追加同期信号（ｔａ－ｘ５）２１２以後において、
ＡＤ変換部１０３におけるＡＤ変換処理、
信号処理部１０４における記録用画像（ＣＡＰ画像）生成処理と、表示用画像（ＬＶ画像）生成処理が実行される。
なお、信号処理部１０４における表示用画像（ＬＶ画像）生成処理は、第２追加同期信号（ｔａ－ｘ５）２１２から規定の同期信号間隔（８．３ｍｓｅｃ）後の同期信号（ｔａ－ｘ６）までの間に完了する設定とされる。

このように、本実施例においては、
時間（ｔｓ１）において撮影操作１（レリーズ操作１）が実行されると、露光準備処理が開始され、時間（ｔｓ１）から２０ｍｓｅｃ経過後に露光準備処理が終了し、この［露光準備処理１（２０ｍｓｅｃ）］の終了時点（ｔｓ１ｅ）で、制御部１１０が、第１追加同期信号（ｔａ－ｘ４）２１１を撮像素子１０２に出力する。
この処理により、撮像素子１０２は即座に露光処理を開始させることか可能となる。
すなわち、本構成により、レリーズタイムラグは露光準備処理時間２０ｍｓｅｃに一致した最短時間となる。

次に、図６を参照して、図５を参照して説明した時間（ｔｓ１）より遅れたタイミングである、時間（ｔｓ２）において撮影操作２（レリーズ操作２）が実行された場合の撮影画像について説明する。

図６には、図５と同様、以下の（ａ）～（ｅ）の処理タイミングを個別に示している。
（ａ）撮像素子入力同期信号
（ｂ）露光処理
（ｃ）ＡＤ変換処理
（ｄ）表示画像生成処理
（ｅ）記録画像生成処理

図６には、さらに、（ａ）撮像素子入力同期信号（ｔａ１）～（ｔａ２）の期間に行われた撮影操作２（レリーズ操作２）（ｔｓ２）を示している。
なお、撮影操作２（レリーズ操作２）（ｔｓ２）の実行タイミング（ｔｓ２）は、図５を参照して説明した撮影操作１（レリーズ操作１）（ｔｓ１）の実行タイミング（ｔｓ１）より遅いタイミングである。
これらの操作時間ｔｓ１，ｔｓ２は、図３を参照して説明した操作時間ｔｓ１，ｔｓ２と同じである。

時間（ｔｓ２）において撮影操作２（レリーズ操作２）が実行されると、所定の露光準備処理が開始される。
図５を参照して説明した処理の場合と同様、露光準備処理時間を２０ｍｓｅｃとする。
この露光準備処理時間を２０ｍｓｅｃは、レリーズラグの最小値に相当し、レリーズラグは露光準備処理時間（２０ｍｓｅｃ）以下にすることはできない。

時間（ｔｓ２）において撮影操作２（レリーズ操作２）が実行されると、露光準備処理が開始され、時間（ｔｓ２）から２０ｍｓｅｃ経過後に露光準備処理が終了する。
図６に示す［露光準備処理２（２０ｍｓｅｃ）］のボックスの右端に示す時間（ｔｓ２ｅ）に露光準備処理が終了する。

本実施例では、この［露光準備処理１（２０ｍｓｅｃ）］の終了時点（ｔｓ２ｅ）において、即座に撮像素子１０２における露光処理を開始させる。
即座に撮像素子１０２における露光処理を開始させるため、制御部１１０は、撮像素子１０２に対して第１追加同期信号（ｔａ－ｙ４）２２１を出力する。

前述したように、撮像素子１０２は、（ａ）撮像素子入力同期信号の入力をトリガとして処理の開始、切り換えを行う構成であり、［露光準備処理２（２０ｍｓｅｃ）］の終了時点（ｔｓ２ｅ）以後の最初の（ａ）撮像素子入力同期信号である第１追加同期信号（ｔａ－ｙ４）２２１に応じて、記録用画像（ＣＡＰ画像）の露光処理を開始することができる。

なお、第１追加同期信号（ｔａ－ｙ４）２２１の出力タイミングは、先に図５を参照して説明した第１追加同期信号（ｔａ－ｘ４）２１１の出力タイミングより遅れたタイミングである。
この時間差は、図６に示す撮影操作２（レリーズ操作２）と、図５に示す撮影操作１（レリーズ操作１）の時間差、すなわちｔｓ２－ｔｓ１に等しくなる。
すなわち、撮影操作のタイミングのずれに応じて、露光期間もずれて設定されることになる。

撮像素子１０２は、制御部１１０から入力した第１追加同期信号（ｔａ－ｙ４）２２１に従って、記録用画像（ＣＡＰ画像）の露光処理を開始する。
露光期間は、例えば、ユーザ（撮影者）の設定したシャッタースピード等に基づいて決定される。
制御部１１０は、このユーザ（撮影者）の設定したシャッタースピード等に基づいて決定される露光期間に応じて、この露光期間の終了タイミングで、さらに、第２追加同期信号（ｔａ－ｙ５）２２２を撮像素子１０２に出力する。

制御部１１０は、この第２追加同期信号（ｔａ－ｙ５）２２２の出力後は、規定の間隔の同期信号出力処理に切り換えて同期信号出力処理を継続する。すなわち、制御部１１０は、第２追加同期信号（ｔａ－ｙ５）２２２の出力後は、規定の８．３ｍｓｅｃ間隔の同期信号を撮像素子１０２に出力する。

図に示すように、
第１追加同期信号（ｔａ－ｙ４）２２１から、第２追加同期信号（ｔａ－ｙ５）２２２の期間が、時間（ｔｓ２）における撮影操作２（レリーズ操作２）に応じた撮影画像の露光期間、すなわち、図に示す撮影画像露光期間２２０となる。
この撮影画像露光期間２２０の開始位置である第１追加同期信号（ｔａ－ｙ４）２２１は、撮影操作２（レリーズ操作２）の実行時間（ｔｓ２）から露光処理準備期間である２０ｍｓｅｃ経過後の時間となる。

撮像素子１０２は、第２追加同期信号（ｔａ－ｙ５）２２２の入力に応じて、撮像素子１０２の露光結果として得られる光電変換信号をＡＤ変換部１０３に出力する。
その後、第２追加同期信号（ｔａ－ｙ５）２２２以後において、
ＡＤ変換部１０３におけるＡＤ変換処理、
信号処理部１０４における記録用画像（ＣＡＰ画像）生成処理と、表示用画像（ＬＶ画像）生成処理が実行される。
なお、信号処理部１０４における表示用画像（ＬＶ画像）生成処理は、第２追加同期信号（ｔａ－ｙ５）２２２から規定の同期信号間隔（８．３ｍｓｅｃ）後の同期信号（ｔａ－ｙ６）までの間に完了する設定とされる。

このように、本実施例においては、
撮像素子１０２における記録用画像（ＣＡＰ画像）の露光開始時間を、撮影操作（レリーズ操作）が実行されてから、一定期間の露光準備処理（２０ｍｓｅｃ）が終了した時間に制御する構成としている。
この結果、撮影操作（レリーズ操作）のタイミングが、わずかでも異なれば、その撮影操作対応の記録用画像（ＣＡＰ画像）の露光開始時間も異なることになる。

すなわち、本構成により、先に図３を参照して説明したように、撮影操作（レリーズ操作）のタイミングが異なっても同一の露光画像が生成されて記録されるという問題が解消する。
撮影者は、一定のレリーズラグ（本例では２０ｍｓｅｃ）を考慮する撮影を行うことで、目的のタイミングの画像を確実に撮影し記録することが可能となる。

なお、図５、図６には、表示部１０６に対する画像表示のシーケンスを省略して示しているが、図５、図６を参照して説明した処理を行っても、表示部１０６の表示画像の表示シーケンスを乱すことはない。

図７、図８を参照して、図５、図６を参照して説明した処理を実行した場合の表示部１０６の画像表示のシーケンスについて説明する。

図７は、図５を参照して説明した撮影処理、すなわち、時間（ｔｓ１）において撮影操作１（レリーズ操作１）が実行された場合の処理を示す図である。
撮像素子１０２は、第２追加同期信号（ｔａ－ｘ５）２１２の入力に応じて、撮像素子１０２の露光結果として得られる光電変換信号をＡＤ変換部１０３に出力する。
その後、第２追加同期信号（ｔａ－ｘ５）２１２以後において、
ＡＤ変換部１０３におけるＡＤ変換処理、
信号処理部１０４における記録用画像（ＣＡＰ画像）生成処理と、表示用画像（ＬＶ画像）生成処理が実行される。

信号処理部１０４における表示用画像（ＬＶ画像）生成処理は、第２追加同期信号（ｔａ－ｘ５）２１２から規定の同期信号間隔（８．３ｍｓｅｃ）後の同期信号（ｔａ－ｘ６）までの間に完了する設定とされる。
図７から理解されるように、（ａ）撮像素子同期信号（ｔａ－ｘ６）は、（ｆ）表示部入力同期信号（ｔｂ３）より以前のタイミングであり、表示部１０６における表示用画像（ＬＶ２）の表示終了タイミングである（ｔｂ３）以前に、信号処理部１０４は、次の表示用画像（ＬＶ３）の生成を完了している。
従って、表示部１０６は、時間（ｔｂ３）において表示用画像をＬＶ２からＬＶ３に更新することができ、通常の画像表示シーケンス、すなわち１６．６ｍｓｅｃごとの表示画像フレームの切り換えによる動画像表示を支障なく行うことができる。

図８は、図６を参照して説明した撮影処理、すなわち、時間（ｔｓ２）において撮影操作２（レリーズ操作２）が実行された場合の処理を示す図である。
撮像素子１０２は、第２追加同期信号（ｔａ－ｙ５）２２２の入力に応じて、撮像素子１０２の露光結果として得られる光電変換信号をＡＤ変換部１０３に出力する。
その後、第２追加同期信号（ｔａ－ｙ５）２２２以後において、
ＡＤ変換部１０３におけるＡＤ変換処理、
信号処理部１０４における記録用画像（ＣＡＰ画像）生成処理と、表示用画像（ＬＶ画像）生成処理が実行される。

信号処理部１０４における表示用画像（ＬＶ画像）生成処理は、第２追加同期信号（ｔａ－ｙ５）２２２から規定の同期信号間隔（８．３ｍｓｅｃ）後の同期信号（ｔａ－ｙ６）までの間に完了する設定とされる。
図８から理解されるように、（ａ）撮像素子同期信号（ｔａ－ｙ６）は、（ｆ）表示部入力同期信号（ｔｂ３）より以前のタイミングであり、表示部１０６における表示用画像（ＬＶ２）の表示終了タイミングである（ｔｂ３）以前に、信号処理部１０４は、次の表示用画像（ＬＶ３）の生成を完了している。
従って、表示部１０６は、時間（ｔｂ３）において表示用画像をＬＶ２からＬＶ３に更新することができ、通常の画像表示シーケンス、すなわち１６．６ｍｓｅｃごとの表示画像フレームの切り換えによる動画像表示を支障なく行うことができる。

このように、図５、図６を参照して説明したように、撮像素子１０２における露光開始時間を撮影操作から一定の露光準備処理時間（２０ｍｓｅｃ）経過後、即座に実行する構成としても、表示部１０６の表示画像の表示シーケンスを乱すことはない。

なお、図７、図８を参照して説明した表示部１０６の画像表示シーケンスにおいて、
（ａ）撮像素子入力同期信号
（ｆ）表示部入力同期信号
これら２つの同期信号のタイミングが、記録用画像（ＣＡＰ画像）の撮影前と撮影後で、ずれが発生している。

例えば、図７において、記録用画像（ＣＡＰ画像）の撮影前は、
（ａ）撮像素子入力同期信号（ｔａ２）と、（ｆ）表示部入力同期信号（ｔｂ１）のタイミングが一致しているが、
記録用画像（ＣＡＰ画像）の撮影後では、
（ａ）撮像素子入力同期信号（ｔａ１０）と、（ｆ）表示部入力同期信号（ｔｂ５）とタイミングが一致していない。

これは、記録用画像（ＣＡＰ画像）の撮影前と撮影前後で、
表示用画像（ＬＶ画像）の撮影から表示部への表示までの時間の間隔に差が発生していることを意味する。
このように、表示用画像（ＬＶ画像）の撮影、生成処理から実際に表示部において表示画像が表示されるまでの時間が異なるとユーザに対して違和感を与える可能性がある。

また、撮像素子や、表示部等の各構成部は、各構成部に入力する同期信号に基づいて、様々な処理のタイミングを制御している。従って、各構成部に対して入力する同期信号の関係性が崩れると、処理制御のバリエーションを多く持つ必要があり、管理コストや品質面で不利になる可能性がある。
このような問題を発生させないためには、例えば、記録用画像（ＣＡＰ画像）の生成処理が完了した後に、（ａ）撮像素子入力同期信号と、（ｆ）表示部入力同期信号を、元の関係に戻す制御を行うことが好ましい。

具体的な例を図９、図１０に示す。
図９は、図７に対応する処理、すなわち、時間（ｔｓ１）において撮影操作１（レリーズ操作１）が実行された場合の処理を示す図である。
図９に示すように、記録用画像（ＣＡＰ画像）の生成処理が完了した後の、（ａ）撮像素子入力同期信号（ｔａ－ｘ１０）を、（ｆ）表示部入力同期信号（ｔｂ５）に一致させるように変更する。
図９に示す同期信号（ｔａ－ｘ１０）２５１である。

図１０は、図８に対応する処理、すなわち、時間（ｔｓ２）において撮影操作２（レリーズ操作２）が実行された場合の処理を示す図である。
図１０に示すように、記録用画像（ＣＡＰ画像）の生成処理が完了した後の、（ａ）撮像素子入力同期信号（ｔａ－ｙ１０）を、（ｆ）表示部入力同期信号（ｔｂ５）に一致させるように変更する。
図１０に示す同期信号（ｔａ－ｙ１０）２６１である。

この図９、図１０に示すように、制御部１１０は、記録用画像（ＣＡＰ画像）の生成処理が完了した後、（ａ）撮像素子入力同期信号のタイミングをずらして、撮像素子入力同期信号２５１，２６１を撮像素子に入力する。
このような処理を行うことで、（ａ）撮像素子入力同期信号と、（ｆ）表示部入力同期信号のタイミングが、記録用画像（ＣＡＰ画像）の撮影前と同様の関係に維持されることになる。

なお、図９、図１０では、（ａ）撮像素子入力同期信号のタイミングを制御する処理を行っているが、、（ｆ）表示部入力同期信号を制御する設定としてもよい。
また、同期信号の制御タイミングは、記録用画像（ＣＡＰ画像）生成処理完了後に限らず、記録用画像（ＣＡＰ画像）生成処理の途中であっても、記録用画像（ＣＡＰ画像）の露光完了後であれば、どのタイミングで行ってもよい。

［４．撮像装置の実行する処理のシーケンスについて］
次に、図１１に示すフローチャートを参照して、撮像装置の制御部において実行する撮像素子に対する同期信号出力制御シーケンスについて説明する。

図１１に示すフローは、図４に示す撮像装置１００の制御部１１０において実行する撮像素子１０２に対する同期信号の出力制御シーケンスを説明するフローである。
例えば撮像装置１００のメモリに予め格納されたプログラムを、プログラム実行機能を持つプロセッサを有する制御部１１０が実行してフローに従った処理を実行する。
以下、順次、各ステップの処理について説明する。

（ステップＳ１０１）
まず、ステップＳ１０１において、撮像装置１００の制御部１１０は、撮影処理が実行されたか、すなわちユーザ（撮影者）によってレリーズボタンが押下されたか否かを判定する。これは、制御部１１０における操作部１０８からの入力検出処理として行われる。

撮影処理（レリーズボタン押下）が実行されたと判定した場合、ステップＳ１０２に進み、撮影処理（レリーズボタン押下）が実行されていないと判定した場合は、ステップＳ１０５に進む。

（ステップＳ１０２）
ステップＳ１０１において、撮影処理（レリーズボタン押下）が実行されたと判定した場合、ステップＳ１０２に進み、ステップＳ１０２において、制御部１１０は、露光準備処理を実行する。

この露光準備処理は、例えば制御部１１０から、撮像素子１０２や信号処理部１０４に対する制御信号の出力処理や、撮像素子１０２や信号処理部１０４における制御信号に基づく設定処理等に要する時間であり、ほぼ一定の時間である。
本実施例では、この露光準備処理時間を２０ｍｓｅｃである。

（ステップＳ１０３）
次に、ステップＳ１０３において、制御部１１０は、露光準備処理終了時点で、撮像素子１０２に第１追加同期信号を出力する。
この第１追加同期信号は、図５、図６を参照して説明した第１追加同期信号（ｔａ－ｘ４）（ｔａ－ｙ４）に相当する。

撮像素子１０２は、制御部１１０からの第１追加同期信号の入力に応じて、記録用画像（ＣＡＰ画像）の露光処理を開始する。

（ステップＳ１０４）
次に、ステップＳ１０４において、制御部１１０は、ユーザ設定シャッタースピード対応の露光時間の露光処理終了後に、撮像素子に第２追加同期信号を出力し、その後、規定出力間隔（例えば８．３ｍｓｅｃ）の同期信号を、撮像素子に出力する。

なお、制御部１１０は、ユーザ設定シャッタースピード対応の露光時間を予め取得しておく。このユーザ設定シャッタースピード対応の露光時間はメモリに格納されている。

ステップＳ１０４において制御部１１０が撮像素子１０２に出力する第２追加同期信号は、図５、図６を参照して説明した第２追加同期信号（ｔａ－ｘ５）（ｔａ－ｙ５）に相当する。

撮像素子１０２は、第２追加同期信号の入力に応じて、撮像素子１０２の露光結果として得られる光電変換信号をＡＤ変換部に出力する。
その後、第２追加同期信号出力後の処理として、
ＡＤ変換部１０３におけるＡＤ変換処理、
信号処理部１０４における記録用画像（ＣＡＰ画像）生成処理と、表示用画像（ＬＶ画像）生成処理が実行される。

制御部１１０は、撮像素子に対する第２追加同期信号の出力後は、規定出力間隔（例えば８．３ｍｓｅｃ）の同期信号を、撮像素子に継続的に出力する。

（ステップＳ１０５）
一方、ステップＳ１０１において、撮影処理（レリーズボタン押下）が実行されていないと判定した場合ｆ、ステップＳ１０５に進む。
ステップＳ１０５において、制御部１１０は、規定出力間隔（例えば８．３ｍｓｅｃ）の同期信号を、撮像素子に継続的に出力する。

この図１１に示すフローチャートに従った処理を実行することで、
撮像素子１０２における記録用画像（ＣＡＰ画像）の露光開始時間は、撮影操作（レリーズ操作）後、一定期間の露光準備処理（２０ｍｓｅｃ）終了時点に設定されることになる。
従って、撮影者は、一定のレリーズラグ（本例では２０ｍｓｅｃ）を考慮する撮影を行うことで、目的のタイミングの画像を確実に撮影し記録することが可能となる。

［５．その他の実施例について］
次に、その他の実施例について説明する。
先に図４を参照して本開示の処理を実行する撮像装置の一例について説明した。
本開示の処理は、図４に示す撮像装置１００の構成と異なる構成を有する撮像装置においても適用可能である。

図１２に本開示の処理を実行可能な図４に示す構成とは異なる構成を有する撮像装置２００の構成例を示す。
図１２に示す撮像装置２００は、光学レンズ１０１、撮像素子デバイス２１０、信号処理部（信号処理ＬＳＩ）１０４、メモリ１０５、表示部（ＬＣＤ／ＥＶＦ）１０６、記録部１０７、操作部１０８、制御部１１０を有する。
撮像素子デバイス２１０以外の構成は、先に図４を参照して説明した構成と同様である。

図１２に示す撮像装置２００の撮像素子デバイス２１０は、撮像素子２１１、ＡＤ変換部２１２、メモリ２１３を有する。
光学レンズ１０１を介して入射される光は撮像素子デバイス２１０の撮像素子２１１、例えばＣＭＯＳイメージセンサなどによって構成される撮像素子２１１に入射し、撮像素子２１１は、光電変換による画像データを同じ撮像デバイス２１０内に構成されたＡＤ変換部２１２に出力する。

撮像デバイス２１０内のＡＤ変換部２１２は、入力信号のＡ／Ｄ変換、すなわちアナログ信号をデジタル信号に変換する処理を実行して、変換後のデジタル値を、同じ撮像デバイス２１０内に構成されたメモリ２１３に格納する。

信号処理部（信号処理ＬＳＩ）１０４は、撮像デバイス２１０のメモリ２１３に格納されたデジタルデータを入力して信号処理を行う。
以下の処理は、先に図４を参照して説明した撮像装置１００の処理と同様の処理となる。

図１２に示す撮像装置２００は、撮像素子２１１、ＡＤ変換部２１２、メモリ２１３を有する撮像デバイス２１０を有する点が特徴である。
この撮像デバイス２１０には、制御部１１０から制御信号、同期信号が入力され、同期信号に基づいて処理の開始、変更、終了等、更新処理が行われる。

この図１２に示す構成においても、先に図５～図８に示すタイミングチャートや、図１１を参照して説明したフローチャートに従った処理を行うことが可能である。
図５～図８に示すタイミングチャートの（ｂ）露光処理は、図１２に示す撮像デバイス２１０の撮像素子２１１の実行する処理となる。
また、（ｃ）ＡＤ変換処理は、図１２に示す撮像デバイス２１０のＡＤ変換部２１２の実行する処理となる。

［６．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 撮像素子と、
前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
前記制御部は、
撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行い、
前記撮像素子は、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する撮像装置。

（２） 前記制御部は、
前記撮影画像の露光処理の露光期間の終了タイミングにおいて、第２追加同期信号を前記撮像素子に出力する制御を行い、
前記撮像素子は、前記第２追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する（１）に記載の撮像装置。

（３） 前記制御部は、
前記第１追加同期信号の出力前は、前記撮像素子に対して規定出力間隔で前記同期信号を出力する制御を行う（１）または（２）に記載の撮像装置。

（４） 前記制御部は、
前記第２追加同期信号の出力後は、前記撮像素子に対して規定出力間隔で前記同期信号を出力する制御を行う（２）に記載の撮像装置。

（５） 前記制御部は、
ユーザの設定情報に基づいて、前記露光期間の終了タイミングを判定する（１）～（４）いずれかに記載の撮像装置。

（６） 前記設定情報は、シャッタースピードを設定する情報を含む（５）に記載の撮像装置。

（７） 前記撮像素子は、
前記第２追加同期信号の入力に応じて、露光処理によって得られる光電変換信号をＡＤ変換部に出力する処理を開始する（２）～（６）いずれかに記載の撮像装置。

（８） 前記制御部は、
操作部に対する撮影操作の検出に応じて、前記露光準備処理を開始し、該露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行う（１）～（７）いずれかに記載の撮像装置。

（９） 前記撮像装置は、
前記撮像素子の出力信号に基づいて記録用画像、および表示部に対する表示用画像を生成する信号処理部を有し、
前記信号処理部は、
前記撮影操作が実行されていない場合は、前記表示用画像の生成処理を実行し、
前記撮影操作が実行された場合に、前記記録用画像と前記表示用画像の生成処理を実行する（１）～（８）いずれかに記載の撮像装置。

（１０） 前記撮像装置は、
前記撮像素子の出力信号に基づく表示画像を表示する表示部を有し、
前記制御部は、
前記表示部に対して、表示画像切り換えタイミングを規定する同期信号の出力制御を行う（１）～（９）いずれかに記載の撮像装置。

（１１） 前記制御部は、
前記撮影画像の露光処理の露光期間の終了後に、
前記撮像素子の処理タイミングを規定する撮像素子入力同期信号と、
表示部の表示画像切り換えタイミングを規定する表示部入力同期信号との入力タイミングの関係性を、前記撮影画像の撮影処理前の関係性に戻す制御を行う（１）～（１０）いずれかに記載の撮像装置。

（１２） 前記撮像素子は、
前記撮像素子の出力信号に対するＡＤ変換処理を実行するＡＤ変換部と、
前記ＡＤ変換部の生成したデジタル信号を格納するメモリを構成要素とする撮像デバイス内に構成されている（１）～（１１）いずれかに記載の撮像装置。

（１３） 撮像装置において実行する画像撮影制御方法であり、
前記撮像装置は、
撮像素子と、
前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
前記制御部が、
撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行い、
前記撮像素子は、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始する画像撮影制御方法。

（１４） 撮像装置において画像撮影制御処理を実行させるプログラムであり、
前記撮像装置は、
撮像素子と、
前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
前記プログラムは、前記制御部に、
撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行わせ、
前記撮像素子に、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始させるプログラム。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法が実現される。
具体的には、例えば、撮像素子と、撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、制御部は、撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を撮像素子に出力する。撮像素子は、第１追加同期信号の入力に応じて、撮影操作に対応する撮影画像の露光処理を開始する。さらに、制御部は、記撮影画像の露光処理の露光期間の終了タイミングにおいて、第２追加同期信号を撮像素子に出力し、撮像素子は、第２追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する。
これらの処理により、レリーズタイムラグを一定として、撮影操作のタイミングに応じた画像の撮影を可能とした装置、方法が実現される。

１１ 光学レンズ
１２ 撮像素子
１３ ＡＤ変換部
１４ 信号処理部
１５ メモリ
２１ 表示部
２２ 記録部
１０１ 光学レンズ
１０２ 撮像素子
１０３ ＡＤ変換部
１０４ 信号処理部
１０５ メモリ
１０６ 表示部
１０７ 記録部
１０８ 操作部
１１０ 制御部
２００ 撮像装置
２１０ 撮像デバイス
２１１ 撮像素子
２１２ ＡＤ変換部
２１３ メモリ

Claims (13)

1. 撮像素子と、
   前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
   前記制御部は、
   撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行い、
   前記撮像素子は、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始し、
   前記撮影画像の露光処理の露光期間の終了後に、
   前記撮像素子の処理タイミングを規定する撮像素子入力同期信号と、
   表示部の表示画像切り換えタイミングを規定する表示部入力同期信号との入力タイミングの関係性を、前記撮影画像の撮影処理前の関係性に戻す制御を行う撮像装置。
2. 前記制御部は、
   前記撮影画像の露光処理の露光期間の終了タイミングにおいて、第２追加同期信号を前記撮像素子に出力する制御を行い、
   前記撮像素子は、前記第２追加同期信号の入力に応じて、露光処理によって得られる光電変換信号の出力を開始する請求項１に記載の撮像装置。
3. 前記制御部は、
   前記第１追加同期信号の出力前は、前記撮像素子に対して規定出力間隔で前記同期信号を出力する制御を行う請求項１または２に記載の撮像装置。
4. 前記制御部は、
   前記第２追加同期信号の出力後は、前記撮像素子に対して規定出力間隔で前記同期信号を出力する制御を行う請求項２に記載の撮像装置。
5. 前記制御部は、
   ユーザの設定情報に基づいて、露光期間の終了タイミングを判定する請求項１～４いずれかに記載の撮像装置。
6. 前記設定情報は、シャッタースピードを設定する情報を含む請求項５に記載の撮像装置。
7. 前記撮像素子は、
   前記第２追加同期信号の入力に応じて、露光処理によって得られる光電変換信号をＡＤ変換部に出力する処理を開始する請求項２または４に記載の撮像装置。
8. 前記制御部は、
   操作部に対する撮影操作の検出に応じて、前記露光準備処理を開始し、該露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行う請求項１～７いずれかに記載の撮像装置。
9. 前記撮像装置は、
   前記撮像素子の出力信号に基づいて記録用画像、および表示部に対する表示用画像を生成する信号処理部を有し、
   前記信号処理部は、
   前記撮影操作が実行されていない場合は、前記表示用画像の生成処理を実行し、
   前記撮影操作が実行された場合に、前記記録用画像と前記表示用画像の生成処理を実行する請求項１～８いずれかに記載の撮像装置。
10. 前記撮像装置は、
    前記撮像素子の出力信号に基づく表示画像を表示する表示部を有し、
    前記制御部は、
    前記表示部に対して、表示画像切り換えタイミングを規定する同期信号の出力制御を行う請求項１～９いずれかに記載の撮像装置。
11. 前記撮像素子は、
    前記撮像素子の出力信号に対するＡＤ変換処理を実行するＡＤ変換部と、
    前記ＡＤ変換部の生成したデジタル信号を格納するメモリを構成要素とする撮像デバイス内に構成されている請求項１～１０いずれかに記載の撮像装置。
12. 撮像装置において実行する画像撮影制御方法であり、
    前記撮像装置は、
    撮像素子と、
    前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
    前記制御部が、
    撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行い、
    前記撮像素子は、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始し、
    前記撮影画像の露光処理の露光期間の終了後に、
    前記撮像素子の処理タイミングを規定する撮像素子入力同期信号と、
    表示部の表示画像切り換えタイミングを規定する表示部入力同期信号との入力タイミングの関係性を、前記撮影画像の撮影処理前の関係性に戻す制御を行う画像撮影制御方法。
13. 撮像装置において画像撮影制御処理を実行させるプログラムであり、
    前記撮像装置は、
    撮像素子と、
    前記撮像素子の処理タイミングを規定する同期信号の出力制御を行う制御部を有し、
    前記プログラムは、前記制御部に、
    撮影操作に応じて開始される露光準備処理の終了タイミングにおいて、第１追加同期信号を前記撮像素子に出力する制御を行わせ、
    前記撮像素子に、前記第１追加同期信号の入力に応じて、前記撮影操作に対応する撮影画像の露光処理を開始させ、
    前記撮影画像の露光処理の露光期間の終了後に、
    前記撮像素子の処理タイミングを規定する撮像素子入力同期信号と、
    表示部の表示画像切り換えタイミングを規定する表示部入力同期信号との入力タイミングの関係性を、前記撮影画像の撮影処理前の関係性に戻す制御を行わせるプログラム。

Images