JP4781147B2

JP4781147B2 - 撮像装置及び画像処理方法

Info

Publication number: JP4781147B2
Application number: JP2006095844A
Authority: JP
Inventors: 宏中岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-03-30
Filing date: 2006-03-30
Publication date: 2011-09-28
Anticipated expiration: 2026-03-30
Also published as: JP2007274210A

Description

本発明は撮像装置及び画像処理方法に関し、特に、動画撮影中に静止画を撮影することのできる撮像装置及び画像処理方法に関する。

従来、動画撮影中に静止画を撮影する際に、静止画撮影中に欠落した動画用画像を静止画像から生成して補填するビデオカメラが知られている（例えば、特許文献１参照）。

一方、垂直同期信号のタイミングより短い周期で撮像素子から信号の読み出しを行い、得られる複数枚の画像を合成し、垂直同期信号のタイミングで１枚の画像を出力する手段を備えたビデオカメラが提案されている（例えば、特許文献２参照）。このビデオカメラでは、複数枚の画像を合成する際に、各画像の被写体ができるだけ一致するように各画像をシフトしながら合成することで、ぶれを補正する。

特開２００１−３５２４８３号公報特開２００４−２２２１０９号公報

しかしながら、動画撮影中に静止画撮影を行い、静止画撮影中に欠落した動画用画像を静止画像から生成して補填した場合、動画用に補填された画像は様々な理由で動画に適さないものとなってしまう。例えば、動画撮影時と静止画撮影時では焦点調節の制御の仕方が異なる為に、静止画から生成した動画用の画像とその前後の動画像とで合焦状態が異なり、不自然な動画像となってしまうことがあるという問題がある。

また、例えば、動画撮影ではフラッシュ撮影は行わないが、被写体が暗く、静止画撮影時にフラッシュ撮影を行った場合、フラッシュ撮影された静止画から生成された動画用画像とその前後の画像との間で露光状態が異なり、不自然な動画像となってしまう問題がある。

また、特許文献２では、上述したように複数枚の画像を合成する際に、各画像の被写体ができるだけ一致するように各画像をシフトしながら合成することでぶれを補正するが、合成する複数枚の各画像内で発生したぶれに関して何ら考慮せずに合成を行っていた。

更に、上記特許文献２では、動画撮影中に静止画撮影を行った場合、動画用の画像を静止画用の画像から生成して補填しており、動画用の画像データを静止画用の画像データとは別に生成していなかった。

本発明は上記問題点を鑑みてなされたものであり、動画撮影中に静止画撮影を行う際に、それぞれより適した画質を有する動画及び静止画を生成できるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、入射した被写体光学像を変換して、予め設定された周期で電気的な画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号を、予め設定された複数周期分ずつ位置合わせしながら合成して、１枚分の動画像の画像信号を逐次出力する動画合成手段と、前記撮像手段から出力された画像信号を、予め設定された複数周期分、位置合わせしながら合成して、１枚分の静止画像の画像信号を出力する静止画合成手段と、前記撮像手段から出力される画像信号の評価値を検出する評価値検出手段と、前記評価値に基づいて、前記複数周期分の画像信号を合成する際の重みの比を示す合成比を、動画用と静止画用にそれぞれ決定する合成比決定手段とを有し、前記動画合成手段は前記動画用の合成比で、前記静止画合成手段は前記静止画用の合成比で、前記複数周期分の画像信号をそれぞれ合成する。

また、本発明の画像処理方法は、入射した被写体光学像を変換して、予め設定された周期で出力された電気的な画像信号の評価値を検出する評価値検出工程と、前記画像信号を、予め設定された複数周期分ずつ位置合わせしながら合成して、１枚分の動画像の画像信号を逐次出力する動画合成工程と、前記画像信号を、予め設定された複数周期分、位置合わせしながら合成して、１枚分の静止画像の画像信号を出力する静止画合成工程と、前記評価値に基づいて、前記複数周期分の画像信号を合成する際の重みの比を示す合成比を動画用と静止画用にそれぞれ決定する合成比決定工程とを有し、前記動画合成工程では前記動画用の合成比で、前記静止画合成工程は前記静止画用の合成比で、前記複数周期分の画像信号をそれぞれ合成する。

また、別の構成によれば、本発明の撮像装置は、入射した被写体光学像を変換して、予め設定された周期で電気的な画像信号を出力する撮像手段と、前記撮像手段から出力された画像信号を、予め設定された複数周期分ずつ位置合わせしながら合成して、１枚分の動画像の画像信号を逐次出力する動画合成手段と、前記撮像手段から出力された画像信号を、予め設定された複数周期分、位置合わせしながら合成して、１枚分の静止画像の画像信号を出力する静止画合成手段と、フラッシュの発光タイミングに基づいて、前記複数周期分の画像信号を合成する際の重みの比を示す合成比を動画用と静止画用にそれぞれ決定する合成比決定手段とを有し、前記合成比決定手段は、前記動画用の場合、前記フラッシュの発光タイミングを含む周期の画像信号の合成比を、含まない周期の画像信号の合成比よりも低くし、前記静止画用の場合、前記フラッシュの発光タイミングを含む周期の画像信号の合成比を、含まない周期の画像信号の合成比よりも高くし、前記動画合成手段は前記動画用の合成比で、前記静止画合成手段は前記静止画用の合成比で、前記複数周期分の画像信号をそれぞれ合成する。

本発明の画像処理方法は、入射した被写体光学像を変換して、予め設定された周期で出力された電気的な画像信号を、予め設定された複数周期分ずつ位置合わせしながら合成して、１枚分の動画像の画像信号を逐次出力する動画合成工程と、前記画像信号を、予め設定された複数周期分、位置合わせしながら合成して、１枚分の静止画像の画像信号を出力する静止画合成工程と、フラッシュの発光タイミングに基づいて、前記複数周期分の画像信号を合成する際の重みの比を示す合成比を動画用と静止画用にそれぞれ決定する合成比決定工程とを有し、前記合成比決定工程は、前記動画用の場合、前記フラッシュの発光タイミングを含む周期の画像信号の合成比を、含まない周期の画像信号の合成比よりも低くし、前記静止画用の場合、前記フラッシュの発光タイミングを含む周期の画像信号の合成比を、含まない周期の画像信号の合成比よりも高くし、前記動画合成工程は前記動画用の合成比で、前記静止画合成工程は前記静止画用の合成比で、前記複数周期分の画像信号をそれぞれ合成する。

本発明によれば、動画撮影中に静止画撮影を行う際に、それぞれより適した画質を有する動画及び静止画を生成することが可能となる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。

図１は、本発明の第１の実施形態におけるビデオカメラの概略構成を示すブロック図である。本第１の実施形態におけるビデオカメラは、動画撮影中に静止画撮影を行うことができる。

図１において、１０１は例えばＣＣＤセンサやＣＭＯＳセンサに代表される撮像素子、１０２は撮像素子１０１で光電変換された電気信号に所定の処理を施し、画像データに変換するカメラ信号処理回路である。カメラ信号処理回路１０２により変換された画像データは、フレームメモリ１０３に記録される。

１０５はフレームメモリ１０３から読み出した画像データから合焦レベルを検出する合焦検出部である。不図示であるが、合焦検出部１０５により得られた合焦レベルに基づいてフォーカスレンズを制御することにより、合焦制御を逐次行っている。１０６は、動画撮影中に静止画撮影を行う際に、合焦検出部１０５により検出された合焦レベルを基に、後述するように静止画像及び動画像生成に用いる異なる合成比（以下、それぞれを「静止画合成比」、「動画合成比」と呼ぶ。）を決定する合成比制御回路である。１０４は画像合成回路であり、複数の画像データを重ね合わせ合成して１フレーム分の動画像を逐次生成する動画合成回路１０４ａと、１枚の静止画像を生成する静止画合成回路１０４ｂとを含む。動画合成回路１０４ａ及び静止画合成回路１０４ｂはそれぞれ、合成比制御回路１０６が決定した動画合成比及び静止画合成比を用いる。なお、動画合成回路１０４ａ及び静止画合成回路１０４ｂは、複数の画像データの合成を行う際に、各画像の被写体の位置を一致させるように各画像をシフトしながら、１枚の画像に合成することで、ぶれを補正する。

１０７は静止画合成回路１０４ｂにより生成された静止画像を、例えばＪＰＥＧなどのフォーマットの静止画データに変換する静止画処理回路であり、変換された静止画データは記録媒体１１０に出力されて記録される。１０８は動画合成回路１０４ａで生成された動画像を、例えばＭＰＥＧなどのフォーマットの動画データやＮＴＳＣなどのフォーマットの標準ビデオ信号などへ変換する動画処理回路である。変換された動画データは記録媒体１０９に出力されて記録され、標準ビデオ信号はビデオ出力端子１１１を介して、例えば不図示の表示装置に表示される。

次に、上記構成を有するビデオカメラにおいて、動画撮影中に不図示のシャッターボタン等の操作部材の操作により静止画撮影が指示された場合の、動画像及び静止画像の生成処理について説明する。

図２は、動画撮影中に静止画撮影を行う場合のタイミングを示すタイミングチャートである。

図２において、垂直同期信号は、周期Ｔ１でパルスを出力する信号であり、例えばＮＴＳＣ標準信号であれば１／６０秒周期で繰り返しパルスを出力する。本第１の実施形態では、１垂直同期期間に３回、撮像素子１０１からの電荷の読み出しを行って、３枚分の画像の画像データを取得するものとし、動画撮影中は、各垂直同期期間に３枚の画像を合成して得た１枚の画像を逐次出力する。

ｔ１のタイミングで不図示のシャッターボタンなどの操作により動画撮影中に静止画が撮影されると、次の垂直同期期間に静止画撮影が行われる。２１１、２１２、２１３は撮像素子１０１において電荷が蓄積される様子を示したもので、垂直同期信号の立ち下がりのタイミングｔ２からｔ３の間に電荷２１１が、ｔ３からｔ５の間に電荷２１２が、ｔ５からｔ７の間に電荷２１３が蓄積される。このように蓄積されて読み出された電荷信号は、カメラ信号処理回路１０２で画像データに変換された後、フレームメモリ１０３に記憶される。

フレームメモリ１０３に記録された３枚分の画像データに対し、合焦検出部１０５ではそれぞれの合焦レベルを検出する（ｔ４、ｔ６、ｔ８）。そして、合成比制御回路１０６では、検出された合焦レベルに基づいて、各垂直同期期間に撮影された３枚分の画像データを合成する際に用いる動画合成比及び静止画合成比をそれぞれ決定する。なお、動画合成比及び静止画合成比の決定の仕方については、詳細に後述する。

動画合成比及び静止画合成比が決定すると、動画合成回路１０４ａ及び静止画合成回路１０４ｂはそれぞれ動画合成比及び静止画合成比に従ってフレームメモリ１０３に記録された３枚分の画像データの合成を開始する（ｔ９）。そして、合成された静止画像は静止画処理回路１０７へ、動画像は動画処理回路１０８へ、次の垂直同期期間が終了するまでに出力される。

上述したようにして静止画撮影が終了すると、次の垂直同期期間では静止画合成回路１０４ｂによる静止画像の合成は行わず、動画合成回路１０４ａによる動画像の合成のみを行う。このように、静止画撮影が指示されていない動画撮影時には、静止画合成回路１０４ｂによる静止画像の合成を行わない以外は、上述した処理と同様のタイミングで、同様の処理を行う。なお、静止画撮影が指示されていない場合には合成比制御回路１０６において静止画合成比を決定する必要がないため、この処理を省くことにより、ビデオカメラ全体の処理負荷を下げることができる。また、静止画撮影が指示されていない場合にも静止画合成回路１０４ｂによる静止画像の合成を行った上で、合成した静止画像を出力しないようにすることも勿論可能であるが、静止画像の合成自体を行わないようにして、デジタルカメラ全体の処理にかかる負荷を減らす方が好ましい。

次に、動画合成比及び静止画合成比の決定の仕方について、図３を参照しながら説明する。

垂直同期期間Ｔ１内に３回に分けて撮像素子１０１から読み出された電荷信号は、上述したように、カメラ信号処理回路１０２で画像データに変換され、フレームメモリ１０３に記録される。図３の３０１、３０２、３０３はそれぞれ、垂直同期期間Ｔ１内にフレームメモリ１０３に記録された３枚分の画像データを示している。合焦検出部１０５は各々の画像データ３０１、３０２、３０３に対して合焦しているかどうかを評価し、合焦レベルＦ１、Ｆ２、Ｆ３を検出する。

合焦レベルＦ１、Ｆ２、Ｆ３が検出されると、合成比制御回路１０６は合焦レベルＦ１、Ｆ２、Ｆ３から静止画合成比と動画合成比をそれぞれ決定する。静止画像を合成する場合には、合焦レベルが高い画像、すなわちはっきりと撮影された画像に重きをおいて合成することにより、よりピントのあった静止画像を得ることができる。従って、静止画像を合成する場合、静止画合成比として、画像データ３０１、３０２、３０３に対し、例えば（Ｆ１：Ｆ２：Ｆ３）とし、合焦レベルの高いものに比重を置いて合成するようにする。図３に示す例ではＦ２＞Ｆ３＞Ｆ１であるため、画像データ３０２に最も高い比重を置き、画像データ３０１の比重を最も低くして合成することになる。

一方、動画像を合成する場合には、合成後の動画像は時間的に連続して映し出されるため、合焦レベルが時間的に瞬時に変化するものは好ましくない。従って、動画像を合成する場合、画像データ３０１、３０２、３０３に対して動画合成比を、例えば、１：１：１として合成する。つまり、動画像を合成する場合には、合焦レベルの如何に関わらず、動画合成比を決定する。また、動画合成比は、静止画撮影前後に動画像を取得する時に使用する動画合成比と同じにすることで、静止画撮影前後の動画像と同等の合焦レベルの画像を得ることができるため、より自然な動画像を記録することが可能となる。

上記の通り本第１の実施形態によれば、動画撮影中に静止画撮影を行う場合、垂直同期期間Ｔ１内に複数枚の画像を撮影し、これらの画像を合成する際に、画像の合焦状態に応じて、それぞれ異なる動画合成比及び静止画合成比を用いて合成する。これにより、静止画像と動画像のそれぞれに適した画像を合成することが可能となる。

なお、撮像素子１０１がインターレース読み出しの撮像素子である場合には、垂直同期期間Ｔ１内に偶数枚（例えば、４枚、６枚、８枚など）のフィールド画像を読み出し、各フィールド毎に合成することで、本願発明を適用することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。

図４は、本発明の第２の実施形態におけるビデオカメラの概略構成を示すブロック図である。図４に示す構成は、図１に示す構成と比較して、合焦検出部１０５の代わりに露光検出部４０１を備えるところが異なる。それ以外の構成は図１と同様であるため説明を省略する。なお、本第２の実施形態においても、合焦検出部１０５と同様の構成を用いて合焦制御を行うようにしても、それ以外の公知の方法を用いて合焦制御を行うようにしても良い。第１の実施形態では、フレームメモリ１０３に記録された各画像データから、合焦検出部１０５により検出した合焦レベルを基にして動画合成比及び静止画合成比を決定した。これに対し、本第２の実施形態では、露光検出部４０１により検出した露光レベルを基に、動画合成比及び静止画合成比を決定することに特徴がある。

図４において、露光検出部４０１はフレームメモリ１０３から画像データを読み出して、各画像データの露光レベルを検出する。そして、合成比制御回路１０６は、露光検出部４０１で得られた露光レベルを基に、動画合成比及び静止画合成比を決定する。

なお、本第２の実施形態においても、垂直同期期間に３回に分けて撮像素子１０１から電荷信号を読み出すものとする。その場合、本第２の実施形態のビデオカメラの動作タイミングは、上記第１の実施形態において図２を参照して説明したものと、合焦レベルを検出する代わりに露光レベルを検出する以外は同様である。なお、露光レベルを検出するタイミングは、合焦レベルを検出するタイミングと同じでよい。

次に、本第２の実施形態における合焦比の決定の仕方について、図５を参照しながら説明する。

垂直同期期間Ｔ１内に３回に分けて撮像素子１０１から読み出された電荷信号は、上述したように、カメラ信号処理回路１０２で画像データに変換され、フレームメモリ１０３に記録される。図５の５０１、５０２、５０３はそれぞれ、垂直同期期間Ｔ１内にフレームメモリ１０３に記録された３枚分の画像データを示している。露光検出部４０１は各々の画像データ５０１、５０２、５０の露光の状態を評価し、露光レベルＥ１、Ｅ２、Ｅ３を検出する。

露光レベルＥ１、Ｅ２、Ｅ３が抽出されると、合成比制御回路１０６は露光レベルＥ１、Ｅ２、Ｅ３から静止画合成比と動画合成比をそれぞれ決定する。動画撮影中に静止画を撮影する場合、例えば、被写体の輝度が足りないために、フラッシュ撮影を行うことがあり、その場合、撮影される３枚分の画像データ間で、露光レベルが大きく異なる。このような場合には、露光レベルが高い画像、すなわちフラッシュ撮影が行われた画像に重きをおいて合成することにより、より適切な露光状態の静止画像を得ることができる。従って、静止画合成比を、画像データ５０１、５０２、５０３に対し、例えば（Ｅ１：Ｅ２：Ｅ３）とし、露光レベルの高いものに比重を置くようにする。図５に示す例ではＥ２＞Ｅ１≒Ｅ３であるため、画像データ５０２に最も高い比重をおいて、合成することになる。

一方、動画像を合成する場合には、合成前の画像データの中にフラッシュ撮影によって静止画撮影の前後の動画像と比較して露光過多となった画像データが含まれるため、そのまま合成すると、静止画撮影中の動画の１枚だけ画像が明るくなってしまい、好ましくない。従って、動画合成比を、図５の画像データ５０１、５０２、５０３に対し、例えば（１／Ｅ１）：（１／Ｅ２）：（１／Ｅ３）の割合にする。すなわち、露光過多の画像データの合成比を落とすことにより、動画像で１フレームだけ突然に明るいフレームが現れるといった、不自然な画像となることを防ぐことができる。

上記の通り本第２の実施形態よれば、動画撮影中に静止画撮影を行う場合、垂直同期期間Ｔ１内に複数枚の画像を撮影し、これらの画像を合成する際に、画像の露光状態に応じて、互いに異なる動画合成比及び静止画合成比を用いて合成する。これにより、静止画像と動画像のそれぞれに適した画像を合成することが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。

図６は、本第３の実施形態におけるビデオカメラの概略構成を示すブロック図である。図６に示す構成は、図１に示す構成と比較して、合焦検出部１０５の代わりに、フラッシュ６０１と発光制御部６０２を備えるところが異なる。それ以外の構成は図１と同様であるため説明を省略する。なお、本第３の実施形態においても、合焦検出部１０５と同様の構成を用いて合焦制御を行うようにしても、それ以外の公知の方法を用いて合焦制御を行うようにしても良い。本第３の実施形態は、フラッシュ６０１の発光のタイミングを基に動画合成比及び静止画合成比を決定することに特徴がある。

図６において、発光制御部６０２は、合成比制御回路１０６に対してフラッシュ６０１の発光のタイミングの情報を伝える。合成比制御回路１０６は、フラッシュ６０１発光のタイミングの情報を基に、動画合成比及び静止画合成比をそれぞれ決定する。

次に、本第３の実施形態における動画合成比及び静止画合成比の決定方法について、図５を参照しながら説明する。なお、本第３の実施形態においても、垂直同期期間に３回に分けて撮像素子１０１から電荷信号を読み出すものとする。

上記第２の実施形態で説明したように、動画撮影中に静止画を撮影する場合、例えば、被写体の輝度が足りないために、フラッシュ撮影を行うことがある。その場合、撮影される３枚分の画像データ間で、露光レベルが大きく異なる。従って、フラッシュ６０１を発光した時に得られる、露光レベルが高い画像に重きをおいて合成することにより、より適切な露光状態の静止画像を得ることができる。従って、静止画像を合成する場合、合成比制御回路１０６は、発光制御部６０２から出力されたフラッシュ６０１の発光のタイミング５１１を取得し、その時に撮影された画像データの比重をその他の画像データよりも大きくする。例えば、図５に示すように、フラッシュ６０１を発光したときに取得したのが画像データ５０２の場合、画像データ５０１、５０２、５０３に対し、静止画合成比を例えば1：2：1とする。

一方、動画像を合成する場合には、フラッシュ撮影された画像データ５０２の比率をその他の画像データよりも軽くし、画像データ５０１、５０２、５０３に対し、例えば、動画合成比を２：１：２とする。このように、露光過多の画像データの合成比を落とすことにより、動画像で１フレームだけ突然に明るいフレームが現れるといった、不自然な画像となることを防ぐことができる。

上記の通り第３の実施形態によれば、動画撮影中に静止画撮影を行う場合、垂直同期期間Ｔ１内に複数枚の画像を撮影し、これらの画像を合成する際に、フラッシュの発光タイミングに応じて、静止画用と動画用とでそれぞれ異なる合成比を用いて合成する。これにより、静止画像と動画像のそれぞれに適した画像を合成することが可能となる。

なお、静止画撮影時にフラッシュ発光を行わない場合には、同じ比率で複数画像の合成を行う。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。

図７は、本第４の実施形態におけるビデオカメラの概略構成を示すブロック図である。図７に示す構成は、図１に示す構成と比較して、合焦検出部１０５の代わりに動き量検出部７０１を備えるところが異なる。それ以外の構成は図１と同様であるため説明を省略する。なお、本第４の実施形態においても、合焦検出部１０５と同様の構成を用いて合焦制御を行うようにしても、それ以外の公知の方法を用いて合焦制御を行うようにしても良い。第１の実施形態では、フレームメモリ１０３に記録された各画像データから、合焦検出部１０５により検出した合焦レベルを基にして動画合成比及び静止画合成比を決定した。これに対し、本第４の実施形態では、動き量検出部７０１により検出した動き量を基に、合成比を決定することに特徴がある。

図７において、動き量検出部７０１はフレームメモリ１０３から画像データを読み出して、各画像データの動き量を検出する。そして、合成比制御回路１０６は、動き量検出部７０１で得られた動き量を基に、動画合成比及び静止画合成比を決定する。

次に、本第４の実施形態における動画合成比及び静止画合焦比の決定の仕方について、図８を参照しながら説明する。本第４の実施形態では、各垂直同期期間に４回に分けて撮像素子１０１から電荷信号を読み出すものとする。読み出された電荷信号はそれぞれ、カメラ信号処理回路１０２により所定の処理を施されて画像データに変換され、フレームメモリ１０３に記憶される。

垂直同期期間Ｔ１内に４回に分けて撮像素子１０１から読み出された電荷信号は、上述したように、カメラ信号処理回路１０２で画像データに変換され、フレームメモリ１０３に記録される。図８の８０１、８０２、８０３、８０４はそれぞれ、垂直同期期間Ｔ１内にフレームメモリ１０３に記録された４枚分の画像データを示している。動き量検出部７０１は各々の画像データ８０１、８０２、８０３、８０４間の被写体の動きベクトルを検出し、動き量Ｍ１、Ｍ２、Ｍ３を検出する。

動き量Ｍ１、Ｍ２、Ｍ３が検出されると、合成比制御回路１０６は動き量Ｍ１、Ｍ２、Ｍ３から静止画合成比と動画合成比をそれぞれ決定する。静止画像を合成する場合、画像間の動きが少ない画像に重きをおいて合成することにより、よりぶれの印象の少ない静止画像を得ることができる。図８に示す例では、画像間で動き量が最も少ない画像データは８０１と８０２であるので、静止画像を合成する場合、その静止画合成比を、画像データ８０１、８０２、８０３、８０４に対し、例えば、１：１：０：０とし、動き量のもっとも少ないものに比重を置くようにする。

一方、動画像を合成する場合には、合成後の動画像は時間的に連続して映し出されるため、被写体の動き量を忠実に再現することが望ましい。従って、動画像を合成する場合の合成比を、図８の画像データ８０１、８０２、８０３、８０４に対して例えば、１：１：１：１とする。つまり、動画像を合成する場合には、動き量の如何に関わらず、動画合成比を決定する。また、動画合成比は、静止画撮影前後に動画像を取得する時に使用する合成比と同じにすることで、静止画撮影前後の動画像と同等の動き方の画像を得ることができるため、より自然な動画像を記録することが可能となる。

上記の通り本第４の実施形態によれば、動画撮影中に静止画撮影を行う場合、垂直同期期間Ｔ１内に複数枚の画像を撮影し、これらの画像を合成する際に、画像間の動き量に応じて、動画合成比及び静止画合成比を用いて合成する。これにより、静止画像と動画像のそれぞれに適した画像を合成することが可能となる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。

図９は、本第５の実施形態におけるビデオカメラの概略構成を示すブロック図である。図９の構成において、図１に示すものと同様の構成には同じ参照番号を付している。上記第１の実施形態において説明した図１に示す構成では、カメラ信号処理回路１０２の後段にフレームメモリ１０３が配置され、フレームメモリ１０３の後段に画像合成回路１０４が配置されていた。これに対し、図９に示す構成ではフレームメモリ１０３の後段に画像合成回路１０４が配置され、画像合成回路１０４の後段にカメラ信号処理回路１０２が配置されている。

この場合、撮像素子１０１で変換された電気信号はそのままフレームメモリ１０３に記録され、評価値検出部９０１はフレームメモリ１０３から読み出した電気信号から評価値を検出する。なお、ここで検出される評価値は、第１の実施形態で説明した合焦レベルや、第２の実施形態で説明した露光レベル、また、第４の実施形態で説明した画像間の動き量など、何れであっても良い。勿論、第３の実施形態と同様に、評価値検出回路９０１の代わりにフラッシュとその発光制御部を設けるようにしても良い。

合成比制御回路１０６では、評価値検出回路９０１で検出された評価値を基にして、上述した第１〜第４の実施形態で説明したようにして、動画合成比及び静止画合成比を決定する。画像合成回路１０４では、動画生成回路１０４ａ及び静止画生成回路１０４ｂのそれぞれにおいて、合成比制御回路１０６で決定した動画合成比及び静止画合成比を用いて、フレームメモリ１０３から読み出した複数枚分の電気信号を合成し、１枚の画像を生成する。

画像合成回路１０４により合成された電気信号には、カメラ信号処理回路１０２で所定の処理が施さる。そして、静止画像は静止画処理回路１０７で例えばＪＰＥＧなどのフォーマットの静止画データに変換されて、記録媒体１１０に出力されて記録される。動画像は動画処理回路１０８で、例えばＭＰＥＧなどのフォーマットの動画データやＮＴＳＣなどのフォーマットの標準ビデオ信号などに変換される。変換された動画データは外部記録媒体１０９に出力されて記録され、標準ビデオ信号はビデオ出力端子１１１を介して不図示の表示装置に表示される。

図１０は、動画撮影中に静止画撮影を行う場合のタイミングを示すタイミングチャートである。

図１０において、垂直同期信号は、周期Ｔ１でパルスを出力する信号であり、例えばＮＴＳＣ標準信号であれば１／６０秒周期で繰り返しパルスを出力する。本第５の実施形態では、１垂直同期期間に３回、撮像素子１０１からの電荷の読み出しを行って、３枚分の画像の画像データを取得するものとし、動画撮影中は、各垂直同期期間に３枚の画像を合成して得た１枚の画像を逐次出力する。

ｔ１１のタイミングで不図示のシャッターボタンなどの操作により動画撮影中に静止画が撮影されると、次の垂直同期期間に静止画撮影が行われる。２１１、２１２、２１３は撮像素子１０１において電荷が蓄積される様子を示したもので、垂直同期信号の立ち下がりのタイミングｔ１２からｔ１３の間に電荷２１１が、ｔ１３からｔ１５の間に電荷２１２が、ｔ１５からｔ１７の間に電荷２１３が蓄積される。このように蓄積されて読み出された電荷信号（画像信号）は、そのままフレームメモリ１０３に記憶される。従って、図１０に示すように第５の実施形態では、第１の実施形態の図２に示すタイミングと比較して、画像信号の読み出しタイミングですぐにフレームメモリに記録される。

フレームメモリ１０３に記録された３枚分の画像信号に対し、評価値検出回路９０１ではそれぞれの評価値を検出する（ｔ１４、ｔ１６、ｔ１８）。そして、合成比制御回路１０６では、検出された合焦レベルに基づいて、各垂直同期期間に撮影された３枚分の画像信号を合成する際に用いる動画合成比及び静止画合成比をそれぞれ決定する。

動画合成比及び静止画合成比が決定すると、動画合成回路１０４ａ及び静止画合成回路１０４ｂはそれぞれ動画合成比及び静止画合成比に従ってフレームメモリ１０３に記録された３枚分の画像信号の合成を開始する（ｔ１９）。そして、合成された静止画像及び動画像は、カメラ信号処理回路１０２において画像データに変換される。その後、静止画像の画像データは静止画処理回路１０７へ、動画像の画像データは動画処理回路１０８へ、次の垂直同期期間が終了するまでに出力される。

上記の通り、本第５の実施形態によれば、合成比を用いて画像合成処理を行った後にカメラ信号処理回路１０２により画像データに変換しても、第１〜第４の実施形態と同様の効果を得ることができる。

なお、上記第１〜第５の実施形態では、動画合成比及び静止画合成比を１種類の評価値に基づいて決定する場合について説明した。しかしながら、動画合成比及び静止画合成比を決定するための評価値は１種類に限るものではなく、複数の評価値を組み合わせて決定するようにしても良い。

本発明の第１の実施形態におけるビデオカメラの概要構成を示すブロック図である。本発明の第１〜第４の実施形態におけるビデオカメラの動作タイミングを示すタイミングチャートである。本発明の第１の実施形態における動画合成比及び静止画合成比の決定の仕方を説明するための図である。本発明の第２の実施形態におけるビデオカメラの概要構成を示すブロック図である。本発明の第２及び第３の実施形態における動画合成比及び静止画合成比の決定の仕方を説明するための図である。本発明の第３の実施形態におけるカメラシステムの概略構成を示すブロック図である。本発明の第４の実施形態におけるカメラシステムの概略構成を示すブロック図である。本発明の第４の実施形態における動画合成比及び静止画合成比の決定の仕方を説明するための図である。本発明の第５の実施形態におけるカメラシステムの概略構成を示すブロック図である。本発明の第５の実施形態におけるビデオカメラの動作タイミングを示すタイミングチャートである。

符号の説明

１０１撮像素子
１０２カメラ信号処理回路
１０３フレームメモリ
１０４画像合成回路
１０５合焦検出部
１０６合成比制御回路
１０７静止画処理回路
１０８動画処理回路
１０９、１１０記録媒体
４０１露光検出部
６０１フラッシュ
６０２発光制御部
７０１動き量検出部
９０１評価値検出回路

Claims

入射した被写体光学像を変換して、予め設定された周期で電気的な画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号を、予め設定された複数周期分ずつ位置合わせしながら合成して、１枚分の動画像の画像信号を逐次出力する動画合成手段と、
前記撮像手段から出力された画像信号を、予め設定された複数周期分、位置合わせしながら合成して、１枚分の静止画像の画像信号を出力する静止画合成手段と、
前記撮像手段から出力される画像信号の評価値を検出する評価値検出手段と、
前記評価値に基づいて、前記複数周期分の画像信号を合成する際の重みの比を示す合成比を、動画用と静止画用にそれぞれ決定する合成比決定手段とを有し、
前記動画合成手段は前記動画用の合成比で、前記静止画合成手段は前記静止画用の合成比で、前記複数周期分の画像信号をそれぞれ合成することを特徴とする撮像装置。
前記評価値検出手段は前記評価値として各周期の画像信号の合焦レベルを検出し、前記合成比決定手段は前記静止画用の合成比として、前記合焦レベルの高い画像信号の合成比を、合焦レベルの低い画像信号の合成比よりも高くすることを特徴とすることを特徴とする請求項１に記載の撮像装置。
前記合成比決定手段は前記合焦レベルに関わらず、前記動画用の合成比を予め設定された比にすることを特徴とすることを特徴とする請求項２に記載の撮像装置。
前記評価値検出手段は前記評価値として各周期の画像信号の露光レベルを検出し、前記合成比決定手段は前記静止画用の合成比として、前記露光レベルの高い画像信号の合成比を、露光レベルの低い画像信号の合成比よりも高くすることを特徴とすることを特徴とする請求項１または２に記載の撮像装置。
前記評価値検出手段は、前記動画用の合成比を前記露光レベルの逆数とすることを特徴とする請求項４に記載の撮像装置。
前記評価値検出手段は前記評価値として連続する２周期の画像信号間の画像の動き量を検出し、前記合成比決定手段は前記静止画用の合成比として、前記動き量の少ない画像信号の合成比を、動き量の大きい画像信号の合成比よりも高くすることを特徴とすることを特徴とする請求項１、２、４のいずれか１項に記載の撮像装置。
前記合成比決定手段は前記動き量に関わらず、前記動画用の合成比を予め設定された比にすることを特徴とすることを特徴とする請求項６に記載の撮像装置。
入射した被写体光学像を変換して、予め設定された周期で電気的な画像信号を出力する撮像手段と、
前記撮像手段から出力された画像信号を、予め設定された複数周期分ずつ位置合わせしながら合成して、１枚分の動画像の画像信号を逐次出力する動画合成手段と、
前記撮像手段から出力された画像信号を、予め設定された複数周期分、位置合わせしながら合成して、１枚分の静止画像の画像信号を出力する静止画合成手段と、
フラッシュの発光タイミングに基づいて、前記複数周期分の画像信号を合成する際の重みの比を示す合成比を動画用と静止画用にそれぞれ決定する合成比決定手段とを有し、
前記合成比決定手段は、前記動画用の場合、前記フラッシュの発光タイミングを含む周期の画像信号の合成比を、含まない周期の画像信号の合成比よりも低くし、前記静止画用の場合、前記フラッシュの発光タイミングを含む周期の画像信号の合成比を、含まない周期の画像信号の合成比よりも高くし、前記動画合成手段は前記動画用の合成比で、前記静止画合成手段は前記静止画用の合成比で、前記複数周期分の画像信号をそれぞれ合成することを特徴とする撮像装置。
入射した被写体光学像を変換して、予め設定された周期で出力された電気的な画像信号の評価値を検出する評価値検出工程と、
前記画像信号を、予め設定された複数周期分ずつ位置合わせしながら合成して、１枚分の動画像の画像信号を逐次出力する動画合成工程と、
前記画像信号を、予め設定された複数周期分、位置合わせしながら合成して、１枚分の静止画像の画像信号を出力する静止画合成工程と、
前記評価値に基づいて、前記複数周期分の画像信号を合成する際の重みの比を示す合成比を動画用と静止画用にそれぞれ決定する合成比決定工程とを有し、
前記動画合成工程では前記動画用の合成比で、前記静止画合成工程は前記静止画用の合成比で、前記複数周期分の画像信号をそれぞれ合成することを特徴とする画像処理方法。
入射した被写体光学像を変換して、予め設定された周期で出力された電気的な画像信号を、予め設定された複数周期分ずつ位置合わせしながら合成して、１枚分の動画像の画像信号を逐次出力する動画合成工程と、
前記画像信号を、予め設定された複数周期分、位置合わせしながら合成して、１枚分の静止画像の画像信号を出力する静止画合成工程と、
フラッシュの発光タイミングに基づいて、前記複数周期分の画像信号を合成する際の重みの比を示す合成比を動画用と静止画用にそれぞれ決定する合成比決定工程とを有し、
前記合成比決定工程は、前記動画用の場合、前記フラッシュの発光タイミングを含む周期の画像信号の合成比を、含まない周期の画像信号の合成比よりも低くし、前記静止画用の場合、前記フラッシュの発光タイミングを含む周期の画像信号の合成比を、含まない周期の画像信号の合成比よりも高くし、前記動画合成工程は前記動画用の合成比で、前記静止画合成工程は前記静止画用の合成比で、前記複数周期分の画像信号をそれぞれ合成することを特徴とする画像処理方法。