JP4638361B2

JP4638361B2 - 撮像装置

Info

Publication number: JP4638361B2
Application number: JP2006039152A
Authority: JP
Inventors: 俊幸佐野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-02-16
Filing date: 2006-02-16
Publication date: 2011-02-23
Anticipated expiration: 2026-02-16
Also published as: JP2007221423A

Description

本発明は、動きのある被写体の撮影に適した撮像装置に関し、動きぶれや残像の少ないダイナミックレンジ拡大画像を撮影できる画像撮像装置に関するものである。

近年、ビデオカメラ等の撮像装置に用いられる撮像素子としては、ＣＣＤ等の固体撮像素子が使用されている。しかし、固体撮像素子を用いた撮像装置では、銀塩方式の撮像装置の場合に比べて、入射光量に対するダイナミックレンジが狭い。撮像装置のダイナミックレンジが狭いと、撮影した画像に黒つぶれや白とびが発生するという問題がある。

そこで、従来、ダイナミックレンジを拡大することができる撮像装置として、異なる露光量の複数の画像信号を用いてダイナミックレンジの広い画像を合成するものが知られている（例えば特許文献１参照）。従来の撮像装置では、撮像素子の１フレーム目の撮影で得られる画像信号とその時の露光量に基づいて、適正露光量を求める。そして、これに基づいて２フレーム目の撮像素子による撮影を、適正露光量またはオーバー露光、アンダー露光によって行う。そして、１フレーム目と２フレーム目の画像信号をメモリに記憶し、メモリに記憶した１フレーム目と２フレーム目の画像信号を合成することによって、１枚のダイナミックレンジの拡大された画像を生成する。
特開平９−１０７４９９号公報（第３−４頁、第２図）

しかしながら、従来の撮像装置においては、異なる露光量（適正露光量またはオーバー露光、アンダー露光）で撮影された二つの画像信号が、１フレーム期間ごとの時間間隔で固体撮像素子から読み出される。例えば、オーバー露光（長時間露光）の画像信号とアンダー露光（短時間露光）の画像信号が、１フレーム期間ごとにＣＣＤから交互に読み出される。そのため、動きのある被写体を撮影した場合には、長時間露光の画像と短時間露光の画像との間に画像ぶれが生じてしまうことになる。したがって、従来の撮像装置では、二つの画像を合成して得られる画像に動きぶれや残像が生じるという問題があり、その結果、フレームレートを高くするのが困難であるという問題があった。

本発明は、上記従来の問題を解決するためになされたもので、動きのある被写体の撮影に適しており、動きぶれや残像の少ないダイナミックレンジ拡大画像を得ることができる撮像装置を提供することを目的とする。

本発明の撮像装置は、全画素が二つの画素グループに分割され、前記二つの画素グループごとに所定のフレーム期間内にそれぞれ異なる露光時間の映像信号を読み出し、前記二つの画素グループの露光時間が前記所定のフレーム期間ごとに入れ替えられる撮像手段と、前記撮像手段で得られた映像信号を、所定のフレーム期間前の映像信号として記録する記録手段と、前記撮像手段で得られた映像信号を、露光時間の長い長時間露光信号と露光時間の短い短時間露光信号に分離する分離手段と、前記二つの画素グループのうち、一方の画素グループの現在の長時間露光信号に基づいて、他方の画素グループに対応する補間画素グループの長時間露光信号を生成する第１補間画素作成手段と、前記他方の画素グループの現在の短時間露光信号に基づいて、前記一方の画素グループに対応する補間画素グループの短時間露光信号を生成する第２補間画素作成手段と、前記撮像手段で得られた現在の映像信号と前記記録手段に記録された所定のフレーム期間前の映像信号に基づいて、被写体の動きを検出する動き検出手段と、前記被写体の動きの程度に応じて、前記補間画素グループの長時間露光信号と前記所定のフレーム期間前の長時間露光信号を合成して、補間用長時間露光信号を生成する第１補間用信号生成手段と、前記被写体の動きの程度に応じて、前記補間画素グループの短時間露光信号と前記所定のフレーム期間前の短時間露光信号を合成して、補間用短時間露光信号を生成する第２補間用信号生成手段と、前記現在の長時間露光信号を前記補間用長時間露光信号で補間して、全画素分の長時間露光信号を生成する第１補間合成手段と、前記現在の短時間露光信号を前記補間用短時間露光信号で補間して、全画素分の短時間露光信号を生成する第２補間合成手段と、前記全画素分の長時間露光信号と前記全画素分の短時間露光信号を合成して、全画素分の合成映像信号を生成する映像信号合成手段と、を備えた構成を有している。

この構成により、二つの画素グループごとに露光時間の異なる映像信号（長時間露光信号と短時間露光信号）が読み出され、長時間露光信号と短時間露光信号に分離される。この二つの画素グループの露光時間は、所定のフレーム期間ごとに入れ替えられる。そして、所定のフレーム期間前の長時間露光信号と短時間露光信号を用いて、補間用長時間露光信号と補間用短時間露光信号を生成し、現在の長時間露光信号と短時間露光信号を補間する。このようにして、二つの画素グループに分割された二つのフレーム期間分の長時間露光信号と短時間露光信号を用いて、一つのフレーム期間分の全画素分の合成映像信号が生成される。これにより、ダイナミックレンジを拡大した全画素分の合成映像信号を得ることができる。また、この構成により、動きのある被写体を撮影した場合には、現在の映像信号と所定のフレーム期間前の映像信号に基づいて、被写体の動きが検出される。そして、被写体の動きの程度に応じて、現在の長時間露光信号と短時間露光信号を用いて、補間用長時間露光信号と補間用短時間露光信号が生成され、現在の長時間露光信号と短時間露光信号が補間される。したがって、動きのある被写体を撮影した場合であっても、現在の画像（現在の長時間露光信号と短時間露光信号）と補間用の画像（補間用長時間露光信号と補間用短時間露光信号）との間の画像ぶれが少ない。これにより、生成された全画素分の長時間露光信号と短時間露光信号、全画素分の合成映像信号に動きぶれや残像が生じるのが抑えられ、フレームレートを高くすることができる。

また、本発明の撮影装置では、前記動き検出手段は、前記補間画素グループの長時間露光信号と前記所定のフレーム期間前の長時間露光信号を比較するとともに、前記補間画素グループの短時間露光信号と前記所定のフレーム期間前の短時間露光信号を比較することによって、被写体の動きを検出する構成を有している。

この構成により、互いに対応する補間画素グループと所定のフレーム期間前の長時間露光信号および短時間露光信号を比較することにより、被写体の動きを精度よく検出することができる。

また、本発明の撮影装置では、前記動き検出手段は、前記撮像手段で得られた現在の映像信号と前記記録手段に記録された所定のフレーム期間前の映像信号に基づいて、被写体の移動量を示す動きパラメータを決定し、前記第１補間用信号生成手段は、前記補間画素グループの長時間露光信号と前記所定のフレーム期間前の長時間露光信号に、前記動きパラメータを用いて重み付け処理を施すことによって、前記補間用長時間露光信号を生成し、前記第２補間用信号生成手段は、前記補間画素グループの短時間露光信号と前記所定のフレーム期間前の短時間露光信号に、前記動きパラメータを用いて重み付け処理を施すことによって、前記補間用短時間露光信号を生成する構成を有している。

この構成により、現在の映像信号と所定のフレーム期間前の映像信号に基づいて、被写体の移動量を示す動きパラメータが決定される。そして、その動きパラメータを用いて重み付け処理を施すことにより、被写体の動きに応じた補間用長時間露光信号および補間用短時間露光信号を生成することができる。例えば、被写体の移動量が大きい場合には、現在の長時間露光信号と短時間露光信号の重み付けの度合いを大きくする。これにより、被写体の動きに応じて現在の長時間露光信号と短時間露光信号を用いることができ、現在の画像（現在の長時間露光信号と短時間露光信号）と補間用の画像（補間用長時間露光信号と補間用短時間露光信号）との間の画像ぶれを抑えることができる。

また、本発明の撮影装置では、前記撮像手段において、前記一方の画素グループを構成する一または複数の縦画素列と、前記他方の画素グループを構成する一または複数の縦画素列とが、横方向に交互に並んで前記二つの画素グループが形成されている構成を有している。

この構成により、二つの画素グループ（一方の画素グループおよび他方の画素グループ）を構成する縦画素列の画素は縦方向に連続している。これにより、全画素を二つの画素グループに分割したときでも、各画素グループの縦方向の解像度の低下を防止できる。すなわち、各画素グループの縦方向の解像度を、全画素の場合の解像度と同程度に保つことができる。

また、本発明の撮影装置では、前記撮像手段において、前記一方の画素グループを構成する一または複数の横画素行と、前記他方の画素グループを構成する一または複数の横画素行とが、縦方向に交互に並んで前記二つの画素グループが形成されている構成を有している。

この構成により、二つの画素グループ（一方の画素グループおよび他方の画素グループ）を構成する横画素行の画素は横方向に連続している。これにより、全画素を二つの画素グループに分割したときでも、各画素グループの横方向の解像度の低下を防止できる。すなわち、各画素グループの横方向の解像度を、全画素の場合の解像度と同程度に保つことができる。

また、本発明の撮影装置では、前記撮像手段において、前記一方の画素グループを構成する一または複数の画素単位と、前記他方の画素グループを構成する一または複数の画素単位とが、縦方向および横方向に交互に配置されて前記二つの画素グループが形成されている構成を有している。

この構成により、二つの画素グループ（一方の画素グループおよび他方の画素グループ）の画素は、画素単位ごとに縦方向および横方向に交互に配置されている。すなわち、二つの画素グループの画素は、縦方向および横方向に偏りなく配置されている。これにより、二つの画素グループの解像度の縦方向および横方向のバランスが向上する。

本発明は、二つの画素グループごとに異なる露光時間の映像信号を所定のフレーム期間ごとに交互に読み出し可能な撮像手段と、被写体の動きを検出する動き検出手段を設け、被写体の動きの程度に応じた補間用長時間露光信号と補間用短時間露光信号を用いて、現在の長時間露光信号と短時間露光信号を補間することにより、ダイナミックレンジを拡大した全画素分の合成映像信号を得ることができるとともに、全画素分の合成映像信号に動きぶれや残像が生じるのが抑えられ、フレームレートを高くすることができるという効果を有する撮像装置を提供することができるものである。

以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。本実施の形態では、ビデオカメラ等として用いられる撮像装置の場合を例示する。

（第１の実施の形態）
本発明の第１の実施の形態の撮像装置のブロック図を図１に示す。図１に示すように、撮像装置１は、ＣＣＤやＣＭＯＳ等の撮像素子２と、撮像素子２の読み出しタイミングを制御するタイミングパルス発生器３と、撮像素子２で得られた映像信号を一時的に記録するフレームメモリ４を備えている。このフレームメモリ４には、例えば１フレーム分の映像信号が記録される。ここでは、撮像素子２が、本発明の撮像手段に相当し、フレームメモリ４が、本発明の記録手段に相当する。

撮像素子２（例えばＣＣＤ）の全画素は、二つの画素グループ（第１画素グループと第２画素グループ）に分割されている。図２は、二つの画素グループの画素の配置パターンを説明するための説明図である。この場合、図２に示すように、二つの画素グループは、一列の画素で構成された第１画素グループの縦画素列と、一列の画素で構成された第２画素グループの縦画素列とが、横方向に交互に並んで配置されている。例えば、第１画素グループの縦画素列が奇数列であり、第２画素グループの縦画素列が偶数列である。すなわち、撮像素子２の全画素は、一列ごとに二つの画素グループに分割されている。なお、図２では、説明の便宜上、撮像素子２の全画素の一部のみが図示されている。

この撮像素子２は、二つの画素グループごとに、１フレーム期間内にそれぞれ異なる露光時間の映像信号を読み出すことができ、かつ、二つの画素グループの露光時間は、１フレーム期間ごとに入れ替えられるように構成されている。本実施の形態では、撮像素子２は、タイミングパルス発生器３によって、各画素グループの読み出しタイミング（すなわち画素電荷の蓄積時間）が時分割でそれぞれ独立に制御される。

図３は、撮像素子２の画素電荷の蓄積時間と読み出しタイミングの制御動作の説明図である。図３に示すように、まず、第１フレームでは、すべての画素が長時間露光して画素電荷の蓄積を行って、第１画素グループのみが長時間露光信号を読み出した後、すべての画素の蓄積電荷をリセットする。つづいて、すべての画素が短時間露光して画素電荷の蓄積を行って、第２画素グループのみが短時間露光信号を読み出した後、すべての画素の蓄積電荷をリセットする。このとき、第１フレームで読み出された第１画素グループの長時間露光信号と第２画素グループの短時間露光信号は、フレームメモリ４に一時的に記録される。

つぎに、第２フレームでは、すべての画素が長時間露光して画素電荷の蓄積を行って、第２画素グループのみが長時間露光信号を読み出した後、すべての画素の蓄積電荷をリセットする。つづいて、すべての画素が短時間露光して画素電荷の蓄積を行って、第１画素グループのみが短時間露光信号を読み出した後、すべての画素の蓄積電荷をリセットする。

このようにして、撮像素子２では、二つの画素グループごとに、１フレーム期間内に長時間露光信号と短時間露光信号がそれぞれ独立に読み出され、かつ、二つの画素グループの露光時間が、１フレーム期間ごとに入れ替えられる。図では、長時間露光信号を読み出す画素が白い丸印で示されており、短時間露光信号を読み出す画素が斜線付きの丸印で示されている（例えば、図２参照）。

本実施の形態では、１フレーム期間中に長時間露光信号と短時間露光信号がそれぞれ読み出される。それに対して、従来の撮像装置では、１フレーム期間ごとに長時間露光信号と短時間露光信号が読み出される。すなわち、従来の長時間露光信号と短時間露光信号の読み出し時間のずれが１フレーム分であるのに対して、本実施の形態の長時間露光信号と短時間露光信号の読み出し時間のずれΔＴは、１フレーム期間Ｔよりも極めて短い（図３参照）。

また、撮像装置１は、撮像素子２で得られた現在の映像信号が入力される第１分離回路５と、フレームメモリ４に記録された１フレーム前の映像信号が入力される第２分離回路６を備えている。第１分離回路５は、入力された現在の映像信号を長時間露光信号と短時間露光信号に分離する。第２分離回路６は、入力された１フレーム前の映像信号を長時間露光信号と短時間露光信号に分離する。ここでは、第１分離回路５および第２分離回路６が、本発明の分離手段に相当する。

また、撮像装置１は、第１分離回路５で分離された現在の長時間露光信号が入力される第１二次元画素補間回路７と、第１分離回路５で分離された現在の短時間露光信号が入力される第２二次元画素補間回路８を備えている。第１二次元画素補間回路７では、一方の画素グループの長時間露光信号を用いて、一方の画素グループに存在しない補間画素グループの長時間露光信号が、二次元の画素補間を行うことによって生成される。また、第２二次元画素補間回路８では、一方の画素グループの短時間露光信号を用いて、一方の画素グループに存在しない補間画素グループの短時間露光信号が、二次元の画素補間を行うことによって生成される。ここでは、第１二次元画素補間回路７が、本発明の第１補間画素作成手段に相当し、第２二次元画素補間回路８が、本発明の第２補間画素作成手段に相当する。

本実施の形態では、上記の二次元画素補間回路７、８は、補間を行う画素（補間画素）の周囲に存在する複数の画素の画素信号（長時間露光信号または短時間露光信号）を加算平均することによって、補間画素の画素信号を生成する。例えば、図４に示すように、補間画素（破線で図示した画素）の画素信号が、補間画素の周囲の画素（実線で図示した画素）の画素信号を加算平均することによって生成される。このようにして、一方の画素グループの画素信号を用いて、他方の画素グループに対応する補間画素グループの画素信号が二次元画素補間によって生成される。

また、撮像装置１は、現在のフレームの映像信号（長時間露光信号と短時間露光信号）と１フレーム前の映像信号（長時間露光信号と短時間露光信号）を用いて、被写体の動きを検出する動き検出回路９を備えている。動き検出回路９には、上記の二次元画素補間回路７、８で生成された補間画素グループの映像信号（長時間露光信号と短時間露光信号）と、第２分離回路６で分離された１フレーム前の映像信号（長時間露光信号と短時間露光信号）が入力される。ここでは、動き検出回路９が、本発明の動き検出手段に相当する。

動き検出回路９は、現在のフレームの二次元補間画像と１フレーム前の画像の空間的に一致する同一位相の画素同士を比較することにより、フレーム間における画素ごとの動き（動き画素）を検出することができる。例えば、本実施の形態では、二次元画素補間された現在のフレームの長時間露光信号（または短時間露光信号）と１フレーム前の長時間露光信号（または短時間露光信号）を比較することによって、動き画素が検出される。この場合、長時間露光信号と短時間露光信号のいずれか一方でも、フレーム間における画素の動きが検出されれば、その動きのあった画素が動き画素として判定される。

図５は、動き画素の検出を概念的に示した説明図である。例えば、図５に示した例では、現在のフレームの長時間露光信号と１フレーム前の長時間露光信号を比較すると、斜線で示した画素が動き画素として検出される。その結果、その動き画素の移動量Δｘが、被写体の移動量として求められる。そして、被写体の動きの程度に応じて、すなわち被写体の移動量Δｘに応じて、動きパラメータα（０≦α≦１）が決定される。この動きパラメータαは、被写体の移動量Δｘが大きいほど１に近く、被写体の移動量Δｘが小さいほど０に近い値である。例えば、被写体に動きのない静止画像の場合には、動きパラメータαは０である。

また、撮像装置１は、現在のフレームの長時間露光信号を補間するための補間用長時間露光信号を生成する第１補間用信号生成回路１０と、現在のフレームの短時間露光信号を補間するための補間用短時間露光信号を生成する第２補間用信号生成回路１１を備えている。ここでは、第１補間用信号生成回路１０が、本発明の第１補間用信号生成手段に相当し、第２補間用信号生成回路１１が、本発明の第２補間用信号生成手段に相当する。

第１補間用信号生成回路１０には、現在のフレームの長時間露光信号を用いて生成された補間画素グループの長時間露光信号と、第２分離手段で分離された１フレーム前の長時間露光信号が入力されるとともに、動き検出回路９で決定された動きパラメータαが入力される。そして、現在のフレームの補間画素グループの長時間露光信号と１フレーム前の長時間露光信号に、動きパラメータαを用いた重み付け処理を施すことにより、補間用長時間露光信号が合成される。ここでは、例えば、下記の式１を用いた重み付け処理が施される。
Ｌｃ＝（１−α）×Ｌｐ＋α×Ｌｒ（式１）
ここで、Ｌｃは補間用長時間露光信号であり、Ｌｐは１フレーム前の長時間露光信号であり、Ｌｒは現在のフレームの補間画素グループの長時間露光信号である。

第２補間用信号生成回路１１には、現在のフレームの短時間露光信号を用いて生成された補間画素グループの短時間露光信号と、第２分離手段で分離された１フレーム前の短時間露光信号が入力されるとともに、動き検出回路９で決定された動きパラメータαが入力される。そして、現在のフレームの補間画素グループの短時間露光信号と１フレーム前の短時間露光信号に、動きパラメータαを用いた重み付け処理を施すことにより、補間用短時間露光信号が合成される。ここでは、例えば、下記の式２を用いた重み付け処理が施される。
Ｓｃ＝（１−α）×Ｓｐ＋α×Ｓｒ（式２）
ここで、Ｓｃは補間用短時間露光信号であり、Ｓｐは１フレーム前の短時間露光信号であり、Ｓｒは現在のフレームの補間画素グループの短時間露光信号である。

なお、本実施の形態では、このようにして生成された映像信号（補間用長時間露光信号と補間用短時間露光信号）を、補間画素ということもできる。それに対して、現在のフレーム（例えば第２フレーム）で読み出された映像信号（長時間露光信号および短時間露光信号）は、上記の補間画素のような補間処理や合成処理がなされていないので、実画素ということもできる。

撮像装置１は、現在のフレームの長時間露光信号と補間用長時間露光信号が入力される第１選択回路１２と、現在のフレームの短時間露光信号と補間用短時間露光信号が入力される第２選択回路１３を備えている。第１選択回路１２は、現在のフレームの長時間露光信号と補間用長時間露光信号を、列画素グループごとに交互に選択する。このようにして、現在の長時間露光信号が補間用長時間露光信号で補間され、全画素分の長時間露光信号が合成される。また、第２選択回路１３は、現在のフレームの短時間露光信号と補間用短時間露光信号を、列画素グループごとに交互に選択する。このようにして、現在の短時間露光信号が補間用短時間露光信号で補間され、全画素分の短時間露光信号が合成される。ここでは、第１選択回路１２が、本発明の第１補間合成手段に相当し、第２選択回路１３が、本発明の第２補間合成手段に相当する。

また、撮像装置１は、全画素分の長時間露光信号と短時間露光信号が入力される合成回路１４を備えている。合成回路１４では、全画素分の長時間露光信号と短時間露光信号が合成されて、ダイナミックレンジが拡大された全画素分の合成映像信号が生成される。ここでは、合成回路１４が、本発明の映像信号合成手段に相当する。そして、特に図示しないが、全画素分の合成映像信号は、階調補正回路に入力されて階調補正が施され、その後、輝度色差分離回路に入力されて輝度信号と色差信号に分離される。

以上のように構成された撮像装置１について、図６を用いてその動作を説明する。

本発明の第１の実施の形態の撮像装置１を用いて被写体の撮影が行われると、第１フレームで撮像素子２から読み出された映像信号は、画像がフレームメモリ４に一旦保存される。そして、次に第２フレームで撮像素子２から映像信号が読み出される。このとき、第１フレーム（前フレーム）の二つの画素グループの露光時間と、第２フレーム（現フレーム）の二つの画素グループの露光時間が入れ替えられる（図６参照）。

現フレームの映像信号は、第１分離回路５によって長時間露光信号と短時間露光信号に分離される。また、前フレーム（第１フレーム）の映像信号は、第２分離回路６において長時間露光信号と短時間露光信号に分離される。

現フレームの長時間露光信号は第１二次元画素補間回路７によって二次元画素補間され、補間画素グループの長時間露光信号が生成される。その後、第１補間用信号生成回路１０において、補間画素グループの長時間露光信号と前フレームの長時間露光信号から、補間用長時間露光信号が生成される。このとき、第１補間用信号生成回路１０では、動き検出回路９で決定した動きパラメータαを用いた重み付け処理が行われ、被写体の動きの程度に応じた補間用長時間露光信号が生成される。そして、第１選択回路１２において、現フレームの長時間露光信号が補間用長時間露光信号で補間されて、全画素分の長時間露光信号が生成される。

一方、現フレームの短時間露光信号は第２二次元画素補間回路８によって二次元画素補間され、補間画素グループの短時間露光信号が生成される。その後、第２補間用信号生成回路１１において、補間画素グループの短時間露光信号と前フレームの短時間露光信号から、補間用短時間露光信号が生成される。このとき、第２補間用信号生成回路１１では、動き検出回路９で決定した動きパラメータαを用いた重み付け処理が行われ、被写体の動きの程度に応じた補間用短時間露光信号が生成される。そして、第２選択回路１３において、現フレームの短時間露光信号が補間用短時間露光信号で補間されて、全画素分の短時間露光信号が生成される。

最後に、全画素分の長時間露光信号と短時間露光信号が合成回路１４において合成され、ダイナミックレンジが拡大された全画素分の合成映像信号が得られる。

このような発明の第１の実施の形態の撮像装置１によれば、二つの画素グループごとに異なる露光時間の映像信号を１フレームごとに交互に読み出し可能な撮像素子２と、被写体の動きを検出する動き検出回路９を設け、被写体の動きの程度に応じた補間用長時間露光信号と補間用短時間露光信号を用いて、現在の長時間露光信号と短時間露光信号を補間することにより、ダイナミックレンジを拡大した全画素分の合成映像信号を得ることができるとともに、全画素分の合成映像信号に動きぶれや残像が生じるのが抑えられ、フレームレートを高くすることができる。

すなわち、本実施の形態では、二つの画素グループごとに露光時間の異なる映像信号（長時間露光信号と短時間露光信号）が読み出され、長時間露光信号と短時間露光信号に分離される。この二つの画素グループの露光時間は、１フレームごとに入れ替えられる。そして、１フレーム前の長時間露光信号と短時間露光信号を用いて、補間用長時間露光信号と補間用短時間露光信号を生成し、現在の長時間露光信号と短時間露光信号を補間する。このようにして、二つの画素グループに分割された２フレーム分の長時間露光信号と短時間露光信号を用いて、１フレーム分の全画素分の合成映像信号が生成される。これにより、ダイナミックレンジを拡大した全画素分の合成映像信号を得ることができる。

また、本実施の形態では、動きのある被写体を撮影した場合には、現在の映像信号と１フレーム前の映像信号に基づいて、被写体の動きが検出される。そして、被写体の動きの程度に応じて、現在の長時間露光信号と短時間露光信号を用いて、補間用長時間露光信号と補間用短時間露光信号が生成され、現在の長時間露光信号と短時間露光信号が補間される。したがって、動きのある被写体を撮影した場合であっても、現在の画像（現在の長時間露光信号と短時間露光信号）と補間用の画像（補間用長時間露光信号と補間用短時間露光信号）との間の画像ぶれが少ない。これにより、生成された全画素分の長時間露光信号と短時間露光信号、全画素分の合成映像信号に動きぶれや残像が生じるのが抑えられ、フレームレートを高くすることができる。

また、本実施の形態では、一方の画素グループの現在の長時間露光信号と短時間露光信号に基づいて、補間画素グループの長時間露光信号と短時間露光信号が生成される。二つの画素グループは１フレームごとに入れ替えられるので、他方の画素グループに対応する補間画素グループは、１フレーム前の一方の画素グループに対応する。そして、被写体の動きに応じて、補間画素グループと１フレーム前の長時間露光信号および短時間露光信号を合成して、補間用長時間露光信号および補間用短時間露光信号を生成する。これにより、現在の長時間露光信号と短時間露光信号を用いて、被写体の動きに応じた補間用長時間露光信号および補間用短時間露光信号を生成することができる。したがって、動きのある被写体を撮影した場合であっても、現在の画像（現在の長時間露光信号と短時間露光信号）と補間用の画像（補間用長時間露光信号と補間用短時間露光信号）との間の画像ぶれを抑えることができる。

また、本実施の形態では、互いに対応する補間画素グループと１フレーム前の長時間露光信号および短時間露光信号を比較することにより、被写体の動きを精度よく検出することができる。

また、本実施の形態では、現在の映像信号と１フレーム前の映像信号に基づいて、被写体の移動量Δｘを示す動きパラメータαが決定される。そして、その動きパラメータα（０≦α≦１）を用いて、上記の式１および式２のような重み付け処理を施すことにより、被写体の動きに応じた補間用長時間露光信号および補間用短時間露光信号を生成することができる。例えば、被写体の移動量Δｘが大きい場合には、動きパラメータαを１に近づけて、現在の長時間露光信号と短時間露光信号の重み付けの度合いを大きくする。これにより、被写体の動きに応じて現在の長時間露光信号と短時間露光信号を用いることができ、現在の画像（現在の長時間露光信号と短時間露光信号）と補間用の画像（補間用長時間露光信号と補間用短時間露光信号）との間の画像ぶれを抑えることができる。

また、被写体の移動量Δｘが小さい場合には、動きパラメータαを０に近づけて、現在の長時間露光信号と短時間露光信号の重み付けの度合いを小さくする。すなわち、１フレーム前の長時間露光信号と短時間露光信号を主として用いて、補間用長時間露光信号および補間用短時間露光信号を生成する。これにより、二次元補間されていない信頼性の高い画像信号（１フレーム前の長時間露光信号と短時間露光信号）を使用して、解像度の高い画像を得ることができる。このように、本実施の形態では、被写体の動きに応じて動きパラメータαを変えることにより、被写体の動きに応じて最適な補間画素を得ることができる。

また、本実施の形態では、二つの画素グループ（第１画素グループおよび第２画素グループ）を構成する縦画素列の画素は縦方向に連続している。これにより、全画素を二つの画素グループに分割したときでも、各画素グループの縦方向の解像度の低下を防止できる。すなわち、各画素グループの縦方向の解像度を、全画素の場合の解像度と同程度に保つことができる。

図７には、二つの画素グループの画素の配置パターンの変形例が示される。図７に示すように、二つの画素グループは、二列の画素で構成された第１画素グループの縦画素列と、二列の画素で構成された第２画素グループの縦画素列とが、横方向に交互に並んで配置されてもよい。すなわち、撮像素子２の全画素は、二列ごとに二つの画素グループに分割されてもよい。

また、ここでは特に図示しないが、二つの画素グループは、三列以上の複数列の画素で構成された第１画素グループの縦画素列と、三列以上の複数列の画素で構成された第２画素グループの縦画素列とが、横方向に交互に並んで配置されてもよい。すなわち、撮像素子２の全画素は、複数列ごとに二つの画素グループに分割されてもよい。

（第２の実施の形態）
次に、本発明の第２の実施の形態の撮像装置１について説明する。本実施の形態の撮像装置１は、二つの画素グループの画素の配置パターンが第１の実施の形態と相違する。すなわち、本実施の形態の撮像装置１の構成および動作は、ここで特に言及しない限り、第１の実施の形態の構成と同様である。

図８（ａ）は、本実施の形態における二つの画素グループの画素の配置パターンを説明するための説明図である。図８（ａ）に示すように、二つの画素グループは、一行の画素で構成された第１画素グループの横画素行と、一行の画素で構成された第２画素グループの横画素行とが、縦方向に交互に並んで配置されている。例えば、第１画素グループの横画素行が奇数行であり、第２画素グループの横画素行が偶数行である。すなわち、撮像素子２の全画素は、一行ごとに二つの画素グループに分割されている。

このような発明の第２の実施の形態の撮像装置１においても、第１の実施の形態と同様の作用効果を奏することができる。

本実施の形態では、二つの画素グループ（第１画素グループおよび第２画素グループ）を構成する横画素行の画素は横方向に連続している。これにより、全画素を二つの画素グループに分割したときでも、各画素グループの横方向の解像度の低下を防止できる。すなわち、各画素グループの横方向の解像度を、全画素の場合の解像度と同程度に保つことができる。

図８（ｂ）には、二つの画素グループの画素の配置パターンの変形例が示される。図８（ｂ）に示すように、二つの画素グループは、二行の画素で構成された第１画素グループの横画素行と、二行の画素で構成された第２画素グループの横画素行とが、縦方向に交互に並んで配置されてもよい。すなわち、撮像素子２の全画素は、二行ごとに二つの画素グループに分割されてもよい。

また、ここでは特に図示しないが、二つの画素グループは、三行以上の複数行の画素で構成された第１画素グループの横画素行と、三行以上の複数行の画素で構成された第２画素グループの横画素行とが、縦方向に交互に並んで配置されてもよい。すなわち、撮像素子２の全画素は、複数行ごとに二つの画素グループに分割されてもよい。

（第３の実施の形態）
次に、本発明の第３の実施の形態の撮像装置１について説明する。本実施の形態の撮像装置１は、二つの画素グループの画素の配置パターンが第１の実施の形態と相違する。すなわち、本実施の形態の撮像装置１の構成および動作は、ここで特に言及しない限り、第１の実施の形態の構成と同様である。

図９（ａ）は、本実施の形態における二つの画素グループの画素の配置パターンを説明するための説明図である。図９（ａ）に示すように、二つの画素グループは、一つの画素で構成された第１画素グループの画素単位と、一つの画素で構成された第２画素グループの画素単位とが、縦方向および横方向に交互に配置されている。すなわち、撮像素子２の全画素は、市松模様のように二つの画素グループに分割されている。

このような発明の第３の実施の形態の撮像装置１においても、第１の実施の形態と同様の作用効果を奏することができる。

本実施の形態では、二つの画素グループ（第１画素グループおよび第２画素グループ）の画素は、画素単位ごとに縦方向および横方向に交互に配置されている。すなわち、二つの画素グループの画素は、縦方向および横方向に偏りなく配置されている。これにより、二つの画素グループの解像度の縦方向および横方向のバランスが向上する。

図９（ｂ）には、二つの画素グループの画素の配置パターンの変形例が示される。図９（ｂ）に示すように、二つの画素グループは、二行×二列の画素で構成された第１画素グループの画素単位と、二行×二列の画素で構成された第２画素グループの画素単位とが、縦方向および横方向に交互に配置されてもよい。

また、ここでは特に図示しないが、二つの画素グループは、三行×三列以上の複数の画素で構成された第１画素グループの画素単位と、三行×三列以上の複数の画素で構成された第２画素グループの画素単位とが、縦方向および横方向に交互に配置されてもよい。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

以上の説明では、第１分離回路５と第２分離回路６という二つの分離回路を用いている。すなわち、撮像素子２で得られた映像信号をフレームメモリ４に記録した後、第２分離回路６で１フレーム前の映像信号を分離するとともに、第１分離回路５で現在の映像信号を分離する場合を例示した。しかし、本発明の範囲はこれに限定されるものではない。例えば、一つの分離回路を用いて映像信号を分離した後、長時間露光信号と短時間露光信号をフレームメモリ４に記録しておいて、１フレーム前の長時間露光信号および短時間露光信号として用いてもよい。

また、以上の説明では、動き検出回路９が、現在の長時間露光信号および短時間露光信号と、１フレーム前の長時間露光信号および短時間露光信号とを比較して、被写体の動きを検出する場合を例示した。しかし、本発明の範囲はこれに限定されるものではない。例えば、映像信号を分離回路で分離する前に、現在の映像信号と１フレーム前の映像信号を比較して、被写体の動きを検出してもよい。

以上のように、本発明にかかる撮像装置は、ダイナミックレンジを拡大した高解像度の合成映像信号を得ることができるとともに、合成映像信号に動きぶれや残像が生じるのが抑えられ、フレームレートを高くすることができるという効果を有し、ビデオカメラなどに用いられる撮像装置等として有用である。

本発明の第１の実施の形態における撮像装置のブロック図本発明の第１の実施の形態における画素グループの説明図本発明の第１の実施の形態における撮像素子（ＣＣＤ）の動作説明のための説明図本発明の第１の実施の形態における二次元画素補間回路の動作説明のための説明図本発明の第１の実施の形態における動き検出回路の動作説明のための説明図本発明の第１の実施の形態における撮像装置の動作説明のための説明図本発明の第１の実施の形態における画素グループの変形例の説明図（ａ）本発明の第２の実施の形態における画素グループの説明図（ｂ）本発明の第２の実施の形態における画素グループの変形例の説明図（ａ）本発明の第３の実施の形態における画素グループの説明図（ｂ）本発明の第３の実施の形態における画素グループの変形例の説明図

符号の説明

１撮像装置
２撮像素子
３タイミングパルス発生器
４フレームメモリ
５第１分離回路
６第２分離回路
７第１二次元画素補間回路
８第２二次元画素補間回路
９動き検出回路
１０第１補間用信号生成回路
１１第２補間用信号生成回路
１２第１選択回路
１３第２選択回路
１４合成回路

Claims

全画素が二つの画素グループに分割され、前記二つの画素グループごとに所定のフレーム期間内にそれぞれ異なる露光時間の映像信号を読み出し、前記二つの画素グループの露光時間が前記所定のフレーム期間ごとに入れ替えられる撮像手段と、
前記撮像手段で得られた映像信号を、所定のフレーム期間前の映像信号として記録する記録手段と、
前記撮像手段で得られた映像信号を、露光時間の長い長時間露光信号と露光時間の短い短時間露光信号に分離する分離手段と、
前記二つの画素グループのうち、一方の画素グループの現在の長時間露光信号に基づいて、他方の画素グループに対応する補間画素グループの長時間露光信号を生成する第１補間画素作成手段と、
前記他方の画素グループの現在の短時間露光信号に基づいて、前記一方の画素グループに対応する補間画素グループの短時間露光信号を生成する第２補間画素作成手段と、
前記撮像手段で得られた現在の映像信号と前記記録手段に記録された所定のフレーム期間前の映像信号に基づいて、被写体の動きを検出する動き検出手段と、
前記被写体の動きの程度に応じて、前記補間画素グループの長時間露光信号と前記所定のフレーム期間前の長時間露光信号を合成して、補間用長時間露光信号を生成する第１補間用信号生成手段と、
前記被写体の動きの程度に応じて、前記補間画素グループの短時間露光信号と前記所定のフレーム期間前の短時間露光信号を合成して、補間用短時間露光信号を生成する第２補間用信号生成手段と、
前記現在の長時間露光信号を前記補間用長時間露光信号で補間して、全画素分の長時間露光信号を生成する第１補間合成手段と、
前記現在の短時間露光信号を前記補間用短時間露光信号で補間して、全画素分の短時間露光信号を生成する第２補間合成手段と、
前記全画素分の長時間露光信号と前記全画素分の短時間露光信号を合成して、全画素分の合成映像信号を生成する映像信号合成手段と、
を備えたことを特徴とする撮像装置。
前記動き検出手段は、
前記補間画素グループの長時間露光信号と前記所定のフレーム期間前の長時間露光信号を比較するとともに、前記補間画素グループの短時間露光信号と前記所定のフレーム期間前の短時間露光信号を比較することによって、被写体の動きを検出することを特徴とする請求項１に記載の撮像装置。
前記動き検出手段は、
前記撮像手段で得られた現在の映像信号と前記記録手段に記録された所定のフレーム期間前の映像信号に基づいて、被写体の移動量を示す動きパラメータを決定し、
前記第１補間用信号生成手段は、
前記補間画素グループの長時間露光信号と前記所定のフレーム期間前の長時間露光信号に、前記動きパラメータを用いて重み付け処理を施すことによって、前記補間用長時間露光信号を生成し、
前記第２補間用信号生成手段は、
前記補間画素グループの短時間露光信号と前記所定のフレーム期間前の短時間露光信号に、前記動きパラメータを用いて重み付け処理を施すことによって、前記補間用短時間露光信号を生成することを特徴とする請求項１または請求項２に記載の撮像装置。
前記撮像手段において、
前記一方の画素グループを構成する一または複数の縦画素列と、前記他方の画素グループを構成する一または複数の縦画素列とが、横方向に交互に並んで前記二つの画素グループが形成されていることを特徴とする請求項１ないし請求項３のいずれかに記載の撮像装置。
前記撮像手段において、
前記一方の画素グループを構成する一または複数の横画素行と、前記他方の画素グループを構成する一または複数の横画素行とが、縦方向に交互に並んで前記二つの画素グループが形成されていることを特徴とする請求項１ないし請求項３のいずれかに記載の撮像装置。
前記撮像手段において、
前記一方の画素グループを構成する一または複数の画素単位と、前記他方の画素グループを構成する一または複数の画素単位とが、縦方向および横方向に交互に配置されて前記二つの画素グループが形成されていることを特徴とする請求項１ないし請求項３のいずれかに記載の撮像装置。
全画素が二つの画素グループに分割され、前記画素グループごとに異なる露光時間の映像信号を読み出す撮像手段と、
前記撮像手段で得られた映像信号を記録する記録手段と、
前記撮像手段で得られた映像信号を、露光時間の長い長時間露光信号と露光時間の短い短時間露光信号に分離する分離手段と、
前記二つの画素グループのうち、一方の画素グループの長時間露光信号に基づいて、他方の画素グループに対応する長時間露光信号を生成する第１補間画素作成手段と、
前記他方の画素グループの短時間露光信号に基づいて、前記一方の画素グループに対応する短時間露光信号を生成する第２補間画素作成手段と、
被写体の動きを検出する動き検出手段と、
前記被写体の動きに応じて、前記他方の画素グループに対応する長時間露光信号と前記記録手段から読み出した所定フレーム期間前の長時間露光信号を合成して、補間用長時間露光信号を生成する第１補間用信号生成手段と、
前記被写体の動きに応じて、前記一方の画素グループに対応する短時間露光信号と前記記憶手段から読み出した前記所定フレーム期間前の短時間露光信号を合成して、補間用短時間露光信号を生成する第２補間用信号生成手段と、
前記長時間露光信号を前記補間用長時間露光信号で補間して、全画素分の長時間露光信号を生成する第１補間合成手段と、
前記短時間露光信号を前記補間用短時間露光信号で補間して、全画素分の短時間露光信号を生成する第２補間合成手段と、
前記全画素分の長時間露光信号と前記全画素分の短時間露光信号を合成して、全画素分の合成映像信号を生成する映像信号合成手段と、
を備えたことを特徴とする撮像装置。