WO2016035570A1

WO2016035570A1 - 画像処理装置および画像処理方法、並びに固体撮像装置

Info

Publication number: WO2016035570A1
Application number: PCT/JP2015/073467
Authority: WO
Inventors: 英史山田
Original assignee: ソニー株式会社
Priority date: 2014-09-03
Filing date: 2015-08-21
Publication date: 2016-03-10
Also published as: US10002436B2; US20170256067A1; JP2016053849A

Abstract

　本開示は、撮影条件の異なる画像を用いて、高精度に画像情報を検出することができるようにする画像処理装置および画像処理方法、並びに固体撮像装置に関する。差分検出部は、短露光時間で撮影された処理対象のフレームおよび過去のフレームの短露光画像の差分情報を検出する。差分検出部は、長露光時間で撮影された処理対象のフレームおよび過去のフレームの長露光画像の差分情報を検出する。合成部は、短露光画像または長露光画像に基づいて、短露光画像の差分情報と長露光画像の差分情報とを合成し、合成後の差分情報に基づいて、処理対象のフレームの動きベクトルを生成する。本開示は、例えば、画像処理装置等に適用することができる。

Description

画像処理装置および画像処理方法、並びに固体撮像装置

　本開示は、画像処理装置および画像処理方法、並びに固体撮像装置に関し、特に、撮影条件の異なる画像を用いて、高精度に画像情報を検出することができるようにした画像処理装置および画像処理方法、並びに固体撮像装置に関する。

　被写体の動画を撮影し、その動画のフレーム間の動きベクトルを検出することで、被写体の動きを検出したり、画面全体の動き量を推定したりする、デジタルカメラなどの撮像装置がある。このような撮像装置では、指を被写体とすることにより、指の動きによって電子機器を操作するジェスチャＵＩ(User Interface)機能を実現したり、画面全体の動きベクトルを用いて手振れを補正する機能を実現したりすることができる。

　フレーム間の動きベクトルを検出する方法としては、一般的に、ブロックマッチング法が用いられる。ブロックマッチング法は、差分が最小となる、２フレームの画像のブロックの画面上の位置を結ぶベクトルを、動きベクトルとして検出する方法である。従って、ブロックマッチング法では、差分を求める画像どうしが動き以外の要因によって変化する場合、動きベクトルの検出精度は低下する。例えば、被写体の移動速度が時間的に変化し、２フレームの画像間で被写体のブレ量が異なる場合、同一の被写体のブロックどうしであっても差分が大きくなり、動きベクトルの検出精度が低下する。

　そこで、露光時間の異なる同一のフレームの画像を用いて、動きベクトルを検出する方法が考案されている(例えば、特許文献１参照)。この方法では、露光時間の異なる同一のフレームの画像どうしの差分が、露光時間の差分と被写体の動きベクトルに基づいて発生するものであるとして、動きベクトルが検出される。

　しかしながら、特許文献１の方法では、露光時間の差分が小さい場合、露光時間の異なる同一のフレームの画像どうしの差分が小さくなり、動きベクトルの精度が低下する。一方、露光時間の差分が大きい場合、露光時間の異なる同一のフレームの画像どうしの差分が、露光時間の差分と被写体の動きベクトルに基づいて発生するとして各画像を近似した１次式の精度が悪くなり、動きベクトルの精度は低下する。

　また、露光時間などの撮影条件が異なる画像を用いて、各画素のデプス値を表すデプスマップを高精度に生成することは考えられていなかった。

特開2013-20584号公報

　従って、露光時間などの撮影条件が異なる画像を用いて、動きベクトルやデプスマップなどの画像情報を高精度に検出することが望まれている。

　本開示は、このような状況に鑑みてなされたものであり、撮影条件の異なる画像を用いて、高精度に画像情報を検出することができるようにするものである。

　本開示の第１の側面の画像処理装置は、第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報を検出する第１の差分検出部と、第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報を検出する第２の差分検出部と、前記第１または第２の画像に基づいて、前記第１の差分検出部により検出された前記第１の画像の差分情報と、前記第２の差分検出部により検出された前記第２の画像の差分情報とを合成し、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルを生成する合成部とを備える画像処理装置である。

　本開示の第１の側面の画像処理方法は、本開示の第１の側面の画像処理装置に対応する。

　本開示の第１の側面においては、第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報が検出され、第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報が検出され、前記第１または第２の画像に基づいて、前記第１の画像の差分情報と前記第２の画像の差分情報とが合成され、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルが生成される。

　本開示の第２の側面の固体撮像装置は、第１および第２の撮影条件で撮影を行う撮影部と、前記撮影部により前記第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報を検出する第１の差分検出部と、前記撮影部により前記第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報を検出する第２の差分検出部と、前記第１または第２の画像に基づいて、前記第１の差分検出部により検出された前記第１の画像の差分情報と、前記第２の差分検出部により検出された前記第２の画像の差分情報とを合成し、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルを生成する合成部とを備える固体撮像装置である。

　本開示の第２の側面においては、第１および第２の撮影条件で撮影が行われ、前記第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報が検出され、前記第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報が検出され、前記第１または第２の画像に基づいて、前記第１の画像の差分情報と前記第２の画像の差分情報とが合成され、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルが生成される。

　本開示の第３の側面の画像処理装置は、第１の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第１の差分検出部と、第２の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第２の差分検出部と、前記第１または第２の撮影条件で撮影された前記左目用の画像、もしくは、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の差分検出部により検出された前記第１の撮影条件の差分情報と、前記第２の差分検出部により検出された前記第２の撮影条件の差分情報とを合成し、合成後の差分情報をデプス値として生成する合成部とを備える画像処理装置である。

　本開示の第３の側面の画像処理方法は、本開示の第３の側面の画像処理装置に対応する。

　本開示の第３の側面においては、第１の撮影条件で撮影された左目用の画像と右目用の画像の差分情報が検出され、第２の撮影条件で撮影された左目用の画像と右目用の画像の差分情報が検出され、前記第１または第２の撮影条件で撮影された前記左目用の画像、もしくは、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の撮影条件の差分情報と前記第２の撮影条件の差分情報とが合成され、合成後の差分情報がデプス値として生成される。

　本開示の第４の側面の固体撮像装置は、第１および第２の撮影条件で左目用の画像と右目用の画像を撮影する撮影部と、前記撮影部により前記第１の撮影条件で撮影された前記左目用の画像と前記右目用の画像の差分情報を検出する第１の差分検出部と、前記撮影部により前記第２の撮影条件で撮影された前記左目用の画像と前記右目用の画像の差分情報を検出する第２の差分検出部と、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の差分検出部により検出された前記第１の撮影条件の差分情報と、前記第２の差分検出部により検出された前記第２の撮影条件の差分情報とを合成し、合成後の差分情報をデプス値として生成する合成部とを備える固体撮像装置である。

　なお、第１および第３の側面の画像処理装置は、コンピュータにプログラムを実行させることにより実現することができる。

　また、第１および第３の側面の画像処理装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

　本開示の第１乃至第４の側面によれば、画像処理を行うことができる。また、本開示の第１乃至第４の側面によれば、撮影条件の異なる画像を用いて、高精度に画像情報を検出することができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示を適用した固体撮像装置としてのデジタルカメラの第１実施の形態の構成例を示すブロック図である。短蓄画素と長蓄画素の配置例を示す図である。図１の動きベクトル検出部の構成例を示すブロック図である。図３の差分検出部によるＳＡＤテーブルの生成処理を説明する図である。基準画像ブロックと参照画像ブロックの例を示す図である。長露光画像と短露光画像の例を示す図である。図３の合成部の構成例を示すブロック図である。図７のブレンドテーブル生成部の構成例を示すブロック図である。図１のデジタルカメラの撮影処理を説明するフローチャートである。図９の動きベクトル検出処理の詳細を説明するフローチャートである。本開示を適用した固体撮像装置としてのデジタルカメラの第２実施の形態の構成例を示すブロック図である。図１１の動きベクトル検出部の構成例を示すブロック図である。図１２の合成部の構成例を示すブロック図である。図１１のデジタルカメラの撮影処理を説明するフローチャートである。図１４の動きベクトル検出処理の詳細を説明するフローチャートである。本開示を適用したデジタルカメラの第３実施の形態の動きベクトル検出部の構成例を示すブロック図である。図１６の合成部の構成例を示すブロック図である。図１６の動きベクトル検出部の動きベクトル検出処理を説明するフローチャートである。本開示を適用したデジタルカメラの第４実施の形態の構成例を示すブロック図である。図１９のデプスマップ検出部の構成例を示すブロック図である。図２０の合成部の構成例を示すブロック図である。図１９のデジタルカメラの撮影処理を説明するフローチャートである。図２２のデプスマップ検出処理の詳細を説明するフローチャートである。コンピュータのハードウエアの構成例を示すブロック図である。

　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：デジタルカメラ（図１乃至図１０）
　２．第２実施の形態：デジタルカメラ（図１１および図１５）
　３．第３実施の形態：デジタルカメラ（図１６乃至図１８）
　４．第４実施の形態：デジタルカメラ（図１９乃至図２３）
　５．第５実施の形態：コンピュータ（図２４）

　＜第１実施の形態＞
　（デジタルカメラの第１実施の形態の構成例）
　図１は、本開示を適用した固体撮像装置としてのデジタルカメラの第１実施の形態の構成例を示すブロック図である。

　図１のデジタルカメラ１１は、操作部２１、撮影部４１、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)５４、動きベクトル検出部５５、補正部５７、表示制御部６０、および表示部６１により構成される。デジタルカメラ１１は、比較的短い露光時間（以下、短露光時間という）で撮影を行うとともに、比較的長い露光時間（以下、長露光時間という）で撮影を行う。

　操作部２１は、例えば、レリーズ・スイッチ３１および後述する表示部６１に重畳される図示せぬタッチパネルなどにより構成され、ユーザによって操作される。操作部２１は、ユーザの操作に応じた操作信号を、デジタルカメラ１１の必要なブロックに供給する。

　撮影部４１は、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成される。

　撮影部４１の撮像レンズ５１は、撮像素子５２の受光面に被写体の像を結像させる。撮像素子５２は、例えば、ＣＣＤ(Charge Coupled Devices)センサ、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサなどで構成される。撮像素子５２は、その受光面に結像された被写体の像（光）を画素単位で光電変換し、その結果得られる電荷を蓄積する。

　ここで、撮像素子５２の一部の画素の露光時間は、短露光時間であり、残りの画素の露光時間は長蓄露光時間である。撮像素子５２は、フレームごとに、露光時間が短露光時間である画素（以下、短蓄画素という）において短露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、短露光時間の撮影を行う。

　また、撮像素子５２は、フレームごとに、露光時間が長露光時間である画素(以下、長蓄画素という)において長露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、長露光時間の撮影を行う。撮像素子５２は、撮影の結果読み出されたフレーム単位の短蓄画素および長蓄画素の画素信号を、画像信号としてカメラ信号処理部５３に供給する。

　カメラ信号処理部５３は、撮像素子５２から供給されるアナログの画像信号に対して、例えばガンマ補正処理や白バランス処理などを行う。カメラ信号処理部５３は、その結果得られるアナログの画像信号をＡ／Ｄ(Analog/Digital)変換してデジタルの画像信号を生成し、その画像信号をフレーム単位の長短露光画像として、ＳＤＲＡＭ５４に供給する。

　ＳＤＲＡＭ５４は、カメラ信号処理部５３から供給されるフレーム単位の長短露光画像を記憶する。

　動きベクトル検出部５５（画像処理装置）は、ＳＤＲＡＭ５４から処理対象のフレームの長短露光画像を読み出す。動きベクトル検出部５５は、ＳＤＲＡＭ５４から読み出された処理対象のフレームの長短露光画像に基づいて、処理対象のフレームの動きベクトルを検出する。動きベクトル検出部５５は、検出された動きベクトルを補正部５７に供給する。

　補正部５７は、ＳＤＲＡＭ５４から処理対象のフレームの長短露光画像を読み出す。補正部５７は、読み出された長短露光画像を用いて、ダイナミックレンジの広い撮影画像を生成する。補正部５７は、動きベクトル検出部５５から供給される動きベクトルに基づいて、生成された撮影画像を補正し、表示制御部６０に供給する。

　表示制御部６０は、補正部５７から供給される撮影画像を表示部６１に供給し、表示させる。

　表示部６１は、表示制御部６０の制御に従い、撮影画像などを表示する。表示部６１としては、例えば、ＬＣＤ(Liquid Crystal Display)などを採用することができる。

　（短蓄画素と長蓄画素の配置例）
　図２は、短蓄画素と長蓄画素の配置例を示す図である。

　図２において、正方形は、画素を表している。正方形内のＬは、その正方形が表す画素が長蓄画素であることを表し、Ｌの隣りの数字は、その長蓄画素の位置を示す値である。また、正方形内のｓは、その正方形が表す画素が短蓄画素であることを表し、ｓの隣りの数字は、その短蓄画素の位置を示す値である。なお、図２では、説明の便宜上、撮像素子５２の画素のうちの５×５画素についてのみ図示している。

　図２に示すように、長蓄画素と短蓄画素は、規則的に配置される。図２の例では、水平方向および垂直方向において、交互に長蓄画素と短蓄画素が配置されている。

　（動きベクトル検出部の構成例）
　図３は、図１の動きベクトル検出部５５の構成例を示すブロック図である。

　図３の動きベクトル検出部５５は、分離部８１、フレームメモリ８２、差分検出部８３、差分検出部８４、および合成部８５により構成される。

　動きベクトル検出部５５の分離部８１は、ｉ番目のフレームを処理対象のフレーム（第１のフレーム）として、ＳＤＲＡＭ５４からｉ番目のフレームの長短露光画像である長短露光画像＃ｉを読み出す。分離部８１は、読み出された長短露光画像＃ｉから、短蓄画素の画素値と長蓄画素の画素値を分離する。分離部８１は、分離された短蓄画素の画素値からなる短露光画像＃ｉを、フレームメモリ８２と差分検出部８３に供給する。また、分離部８１は、分離された長蓄画素の画素値からなる長露光画像＃ｉを、フレームメモリ８２と差分検出部８４に供給する。

　なお、ここでは、分離部８１は、分離された短蓄画素の画素値をそのまま用いて短露光画像＃ｉを生成するため、短露光画像＃ｉの解像度は、長短露光画像＃ｉの解像度より小さくなる。即ち、短露光画像＃ｉにおいて長蓄画素の位置の画素値は存在しないため、例えば、図２に示したように短蓄画素と長蓄画素が配列される場合、短露光画像＃ｉの解像度は、長短露光画像＃ｉの解像度の半分になる。

　分離部８１は、長蓄画素の位置の画素値を、周辺の短蓄画素の画素値を用いてバイリニア補間することなどにより、長短露光画像＃ｉの解像度と同一の解像度の短露光画像＃ｉを生成してもよい。これらのことは、長露光画像＃ｉについても同様である。

　フレームメモリ８２は、ｉ－１番目のフレームが処理対象のフレームとされたときに分離部８１から供給された、ｉ－１番目のフレームの短露光画像である短露光画像＃ｉ－１と、長露光画像である長露光画像＃ｉ－１を保持している。また、フレームメモリ８２は、ｉ－１番目のフレームが処理対象のフレームとされたときに合成部８５から供給されたｉ－１番目のフレームの動きベクトル＃ｉ－１を保持している。

　また、フレームメモリ８２は、分離部８１から供給される短露光画像＃ｉと長露光画像＃ｉを保持する。この短露光画像＃ｉと長露光画像＃ｉは、処理対象のフレームがｉ＋１番目のフレームであるときに読み出され、用いられる。

　差分検出部８３は、フレームメモリ８２から、処理対象のフレームより１フレーム前のフレーム（以下、過去のフレーム（第２のフレーム）という）であるｉ－１番目のフレームの短露光画像＃ｉ－１を読み出す。差分検出部８３は、読み出された短露光画像＃ｉ－１と、分離部８１から供給される短露光画像＃ｉとを用いて、ブロックマッチング法にしたがって、ＳＡＤテーブルを生成する。

　具体的には、差分検出部８３は、短露光画像＃ｉを、所定のサイズのブロックに分割し、基準画像ブロックとする。また、差分検出部８３は、短露光画像＃ｉ－１を基準画像ブロックのサイズと同一のサイズのブロックに分割し、参照画像ブロックとする。差分検出部８３は、基準画像ブロックごとに、その基準画像ブロックの中心を中心とした矩形領域を探索範囲とする。差分検出部８３（第１の差分検出部）は、基準画像ブロックごとに、基準画像ブロックと、その基準画像ブロックの探索範囲内に中心が存在する複数の参照画像ブロックそれぞれとの画素ごとの差分の絶対値の総和（ＳＡＤ値）を、差分情報として検出する。差分検出部８３は、基準画像ブロックごとに、その基準画像ブロックと探索範囲内の各参照画像ブロックのペアの相対位置を表すベクトルと、そのペアの差分情報とを対応付けたＳＡＤテーブルを生成する。

　差分検出部８３は、基準画像ブロックごとに、その基準画像ブロックとＳＡＤテーブルとを合成部８５に供給する。

　差分検出部８４は、フレームメモリ８２から過去のフレームの長露光画像＃ｉ－１を読み出す。差分検出部８４は、読み出された長露光画像＃ｉ－１と分離部８１から供給される長露光画像＃ｉとを用いて、差分検出部８３と同様に、ブロックマッチング法にしたがって、基準画像ブロックごとのＳＡＤテーブルを生成する。差分検出部８４は、基準画像ブロックごとに、その基準画像ブロックとＳＡＤテーブルとを合成部８５に供給する。

　合成部８５は、フレームメモリ８２から過去のフレームの動きベクトル＃ｉ－１を読み出す。合成部８５は、基準画像ブロックごとに、差分検出部８３および差分検出部８４から供給される基準画像ブロック、並びに動きベクトル＃ｉ－１に基づいて、差分検出部８３から供給されるＳＡＤテーブルと差分検出部８４から供給されるＳＡＤテーブルを合成する。合成部８５は、基準画像ブロックごとに、合成されたＳＡＤテーブルに基づいて、最小となる差分情報に対応するペアの相対位置を表すベクトルを、処理対象のフレームの動きベクトル＃ｉとして検出する。

　合成部８５は、生成された動きベクトル＃ｉを図１の補正部５７に供給するとともに、フレームメモリ８２に供給し、保持させる。フレームメモリ８２に保持された動きベクトル＃ｉは、処理対象のフレームがｉ＋１番目のフレームであるときに過去のフレームの動きベクトルとして読み出され、用いられる。

　（ＳＡＤテーブルの生成処理の説明）
　図４は、図３の差分検出部８３および８４によるＳＡＤテーブルの生成処理を説明する図である。

　図４において、最小の正方形は画素を表す。図４の例では、基準画像ブロック１０１と参照画像ブロック１０４は４×４画素であり、探索範囲１０３は、８×８画素である。これらのことは、後述する図５においても同様である。

　この場合、探索範囲１０３内に中心Ｏ´が存在する参照画像ブロック１０４の数は、８１（＝９×９）個である。従って、基準画像ブロック１０１と、探索範囲１０３内に中心Ｏ´が存在する８１個の参照画像ブロック１０４それぞれとの差分情報が生成される。即ち、探索範囲１０３の水平方向の画素数に１を加算した値と、垂直方向の画素数に１を加算した値の乗算値分の差分情報が生成される。

　また、基準画像ブロック１０１と、探索範囲１０３内に中心Ｏ´が存在する参照画像ブロック１０４の相対位置は、基準画像ブロック１０１の中心Ｏの位置から、参照画像ブロック１０４の中心Ｏ´に向かうベクトル１０５で表すことができる。

　従って、ＳＡＤテーブルでは、ベクトル１０５に対応付けて、そのベクトル１０５で表される相対位置にある基準画像ブロック１０１と参照画像ブロック１０４の差分情報が登録される。ＳＡＤテーブルに登録されているベクトル１０５のうちの、差分情報が最小となるベクトル１０５が、このＳＡＤテーブルにより検出される動きベクトルである。

　なお、探索範囲１０３内に中心Ｏ´が存在する８１個の参照画像ブロック１０４を構成する画素の範囲であるマッチング処理範囲１０６は、１２×１２画素である。即ち、マッチング処理範囲１０６の水平方向の画素数は、探索範囲１０３の水平方向の画素数に参照画像ブロック１０４の水平方向の画素数を加算した値であり、垂直方向の画素数も、水平方向の画素数と同様に求められる。

　（動きベクトルの検出精度の説明）
　図５は、処理対象のフレームの動きベクトルが過去のフレームの動きベクトルと同一である場合と異なる場合の、基準画像ブロックと参照画像ブロックの例を示す図であり、図６は、長露光画像と短露光画像の例を示す図である。

　なお、図５において、図４と同一のものには同一の符号を付してある。重複する説明については適宜省略する。

　図５に示すように、処理対象のフレームの動きベクトル１２２が、過去のフレームの右上方向の動きベクトル１２１と同一である場合、その動きベクトル１２２に対応する差分情報は、基準画像ブロック１０１と参照画像ブロック１２３の差分情報である。

　この場合、基準画像ブロック１０１で発生している動きボケと、参照画像ブロック１２３で発生している動きボケは略同一であり、基準画像ブロック１０１と参照画像ブロック１２３の各画素の画素値は略同一である。

　従って、図６のＡと図６のＢに示すように、処理対象のフレームの短露光画像１３１における基準画像ブロック１０１と、過去のフレームの短露光画像１３３における参照画像ブロック１２３との差分は、ノイズだけである。長露光画像においても同様に、処理対象のフレームの長露光画像１３２における基準画像ブロック１０１と、過去のフレームの長露光画像１３４における参照画像ブロック１２３との差分は、ノイズだけである。

　よって、ＳＮ比の良い長露光画像１３４のＳＡＤテーブルを用いて動きベクトルを検出する方が、ＳＮ比の悪い短露光画像１３３のＳＡＤテーブルを用いる場合に比べて、基準画像ブロック１０１と参照画像ブロック１２３のペアの差分情報が最小となり、動きベクトル１２２が検出される可能性が高い。

　以上のように、処理対象のフレームの動きベクトル１２２が、過去のフレームの動きベクトル１２１と略同一である場合、長露光画像１３２と長露光画像１３４の間の動きボケの差分は無視できるほど小さい。従って、長露光画像１３４のＳＡＤテーブルを用いて動きベクトルを検出する方が、短露光画像１３３のＳＡＤテーブルを用いる場合に比べて、検出精度が高くなる。

　一方、処理対象のフレームの動きベクトル１２４が、過去のフレームの右上方向の動きベクトル１２１とは異なる右方向の動きベクトルである場合、その動きベクトル１２４に対応する差分情報は、基準画像ブロック１０１と参照画像ブロック１２５の差分情報である。

　この場合、基準画像ブロック１０１で発生している動きボケと、参照画像ブロック１２５で発生している動きボケは異なる。従って、図６のＡと図６のＣに示すように、動きボケが長時間発生する、処理対象のフレームの長露光画像１３２の基準画像ブロック１０１と、過去のフレームの長露光画像１３６における参照画像ブロック１２５との差分は、大きい。よって、長露光画像１３２の基準画像ブロック１０１と長露光画像１３６の参照画像ブロック１２５のペアの差分情報が最小とならず、動きベクトル１２４を検出することができない場合がある。

　しかしながら、動きボケが短時間だけ発生する、処理対象のフレームの短露光画像１３１の基準画像ブロック１０１と、過去のフレームの短露光画像１３５の参照画像ブロック１２５との差分は、小さい。よって、短露光画像１３５の基準画像ブロック１０１と短露光画像１３５の参照画像ブロック１２５のペアの差分情報が最小となり、動きベクトル１２４を検出できる可能性が高い。

　以上のように、処理対象のフレームの動きベクトル１２４が、過去のフレームの動きベクトル１２１と異なる場合、短露光画像１３１と短露光画像１３５の間の動きボケの方が、長露光画像１３２と長露光画像１３６の間の動きボケに比べて小さい。従って、短露光画像１３５のＳＡＤテーブルを用いて動きベクトルを検出する方が、長露光画像１３６のＳＡＤテーブルを用いる場合に比べて、検出精度が高くなる。

　従って、図３の合成部８５は、過去の動きベクトルとＳＡＤテーブルに登録されるベクトルとの関係に基づいて、長露光画像と短露光画像のＳＡＤテーブルを合成する。

　また、図示は省略するが、長露光画像と短露光画像のうちのＳＮ比が良い方のＳＡＤテーブルを用いて動きベクトルを検出した方が、ＳＮ比が悪い方のＳＡＤテーブルを用いる場合に比べて、動きベクトルの検出精度が高くなる。

　輝度が高い場合、白とびが発生しにくい短露光画像のＳＡＤテーブルを用いて動きベクトルを検出した方が、長露光画像のＳＡＤテーブルを用いる場合に比べて、動きベクトルの検出精度が高くなる。一方、輝度が低い場合、黒潰れが発生しにくい長露光画像のＳＡＤテーブルを用いて動きベクトルを検出した方が、短露光画像のＳＡＤテーブルを用いる場合に比べて、動きベクトルの検出精度が高くなる。

　コントラストが低い場合、動きボケが長時間発生する長露光画像のＳＡＤテーブルを用いて動きベクトルを検出すると、短露光画像のＳＡＤテーブルを用いる場合に比べて、動きボケによる画素値の差分によって動きベクトルを誤検出する可能性がある。動きベクトルが大きい場合、即ち動きが速い場合も同様である。

　以上により、合成部８５は、長露光画像と短露光画像のＳＮ比、輝度、およびコントラスト、並びに、過去のフレームの動きベクトルにも基づいて、長露光画像と短露光画像のＳＡＤテーブルを合成する。

　（合成部の構成例）
　図７は、図３の合成部８５の構成例を示すブロック図である。

　図７の合成部８５は、選択部１４１、輝度算出部１４２、コントラスト算出部１４３、動き量算出部１４４、重みテーブル生成部１４５、ブレンドテーブル生成部１４６、ブレンド部１４７、および選択部１４８により構成される。

　合成部８５の選択部１４１は、基準画像ブロックの画素ごとに、図３の差分検出部８３から供給される短露光画像＃ｉの画素値と、差分検出部８４から供給される長露光画像＃ｉの画素値のうちの、ＳＮ比の良い方を選択する。

　即ち、短露光画像のＳＮ比は、短露光画像の画素値に対して予め決められており、長露光画像のＳＮ比は、長露光画像の画素値に対して予め決められている。従って、選択部１４１は、基準画像ブロックの画素ごとに、短露光画像＃ｉの画素値に基づくＳＮ比と、長露光画像＃ｉの画素値に基づくＳＮ比を比較し、ＳＮ比の良い方を選択する。選択部１４１は、選択された基準画像ブロックの各画素の画素値を、輝度算出部１４２とコントラスト算出部１４３に供給する。

　輝度算出部１４２は、選択部１４１から供給される基準画像ブロックの画素値（輝度値）の平均値ＢｌｏｃｋＡｖｅを求める。輝度算出部１４２は、平均値ＢｌｏｃｋＡｖｅに基づいて、以下の式（１）により、輝度ブレンド値ＢｌｅｎｄＬを決定し、ブレンドテーブル生成部１４６に供給する。

　式（１）において、Ｔｈ１，Ｔｈ２は、それぞれ、所定の閾値であり、閾値Ｔｈ１は、閾値Ｔｈ２より大きい。

　コントラスト算出部１４３は、選択部１４１から供給される基準画像ブロックの画素値に基づいて、以下の式（２）によりコントラスト値ＢｌｏｃｋＣｏｎｔを求める。

　式（２）において、Ｉ（ｘ，ｙ）は、位置（ｘ，ｙ）の画素の画素値である。式（２）によれば、コントラスト値ＢｌｏｃｋＣｏｎｔは、基準画像ブロックの画素値のうちの、水平方向に隣接する画素どうしの画素値の差分絶対値の積算値と、垂直方向に隣接する画素どうしの画素値の差分絶対値の積算値との和である。

　また、コントラスト算出部１４３は、コントラスト値ＢｌｏｃｋＣｏｎｔに基づいて、式（３）によりコントラストブレンド値ＢｌｅｎｄＣを決定し、ブレンドテーブル生成部１４６に供給する。

　式（３）において、Ｔｈ３，Ｔｈ４は、それぞれ、所定の閾値であり、閾値Ｔｈ３は、閾値Ｔｈ４より大きい。

　動き量算出部１４４は、図３のフレームメモリ８２から動きベクトル＃ｉ－１を読み出す。動き量算出部１４４は、読み出された動きベクトル＃ｉ－１に基づいて、以下の式（４）により、ノルム値ＭｖＮｏｒｍを求める。

　式（４）において、ｖｘは、動きベクトル＃ｉ－１の水平成分であり、ｖｙは、動きベクトル＃ｉ－１の垂直成分である。

　また、動き量算出部１４４は、ノルム値ＭｖＮｏｒｍに基づいて、以下の式（５）により、動き量ブレンド値ＢｌｅｎｄＭを決定し、ブレンドテーブル生成部１４６に供給する。

　式（５）において、Ｔｈ５，Ｔｈ６は、それぞれ、所定の閾値であり、閾値Ｔｈ５は、閾値Ｔｈ６より大きい。

　重みテーブル生成部１４５は、フレームメモリ８２から動きベクトル＃ｉ－１を読み出す。重みテーブル生成部１４５は、読み出された動きベクトル＃ｉ－１に基づいて、ＳＡＤテーブルに差分情報が登録されるペアに対する重みを表す重みテーブルを生成する。

　具体的には、重みテーブル生成部１４５は、基準画像ブロックとの相対位置を表すベクトルが、その基準画像ブロックの動きベクトル＃ｉ－１である参照画像ブロックの中心の位置（ｐｘ，ｐｙ）を、以下の式（６）により定義する。

　式（６）において、ｔｘ，ｔｙは、それぞれ、基準画像ブロックの中心の水平方向の位置、垂直方向の位置を表す。また、ｖｘは、動きベクトル＃ｉ－１の水平成分であり、ｖｙは、動きベクトル＃ｉ－１の垂直成分である。

　重みテーブル生成部１４５は、上述した式（６）で定義される位置（ｐｘ，ｐｙ）を用いて、以下の式（７）により、探索範囲内の位置（ｘ，ｙ）を中心とする参照画像ブロックと基準画像ブロックのペアに対して、重みｗ（ｘ，ｙ）を決定する。

　式（７）において、Ｂｓｉｚｅは探索範囲の水平方向および垂直方向のサイズであり、これにより、重みｗ（ｘ，ｙ）を０．０から１．０までの範囲に正規化することができる。

　式（７）によれば、中心の位置が位置（ｐｘ，ｐｙ）である参照画像ブロックと基準画像ブロックのペアに対する重みｗ（ｐｘ，ｐｙ）は、最大値である１に決定される。また、中心の位置（ｘ，ｙ）が位置（ｐｘ，ｐｙ）から遠い参照画像ブロックと基準画像ブロックのペアほど、そのペアに対する重みｗ（ｘ，ｙ）が小さくなる。

　重みテーブル生成部１４５は、以上のようにして決定された各ペアに対する重みｗ（ｘ，ｙ）を、そのペアの相対位置を表すベクトルと対応付けた、ＳＡＤテーブルと同一のサイズの重みテーブルを生成する。重みテーブル生成部１４５は、生成された重みテーブルをブレンドテーブル生成部１４６に供給する。

　ブレンドテーブル生成部１４６（ブレンド比決定部）は、入力される輝度ブレンド値ＢｌｅｎｄＬ、コントラストブレンド値ＢｌｅｎｄＣ、動き量ブレンド値ＢｌｅｎｄＭ、および重みテーブルに基づいて、ＳＡＤテーブルのブレンド比をペアごとに決定する。具体的には、ブレンドテーブル生成部１４６は、ペアごとに、輝度ブレンド値ＢｌｅｎｄＬ、コントラストブレンド値ＢｌｅｎｄＣ、動き量ブレンド値ＢｌｅｎｄＭ、および重みｗ（ｘ，ｙ）が大きいほど大きくなるように、０．０から１．０の範囲内のブレンド比を決定する。

　そして、ブレンドテーブル生成部１４６は、各ペアに対するブレンド比を、そのペアの相対位置を表すベクトルと対応付けた、ＳＡＤテーブルと同一のサイズのブレンドテーブルを生成し、ブレンド部１４７に供給する。

　ブレンド部１４７（合成部）は、ブレンドテーブル生成部１４６から供給されるブレンドテーブルに基づいて、図３の差分検出部８３および差分検出部８４から供給されるＳＡＤテーブルを合成する。具体的には、ブレンド部１４７は、ペアごとに、ブレンドテーブルが表すブレンド比を、差分検出部８４からの長露光画像のＳＡＤテーブルに登録される差分情報に乗算する。また、ブレンド部１４７は、ペアごとに、ブレンドテーブルが表すブレンド比を１から減算した値を、差分検出部８３からの短露光画像のＳＡＤテーブルに登録される差分情報に乗算する。

　そして、ブレンド部１４７は、ペアごとに、乗算の結果得られる長露光画像の差分情報と短露光画像の差分情報を加算し、合成後のＳＡＤテーブルに登録する。ブレンド部１４７は、合成後のＳＡＤテーブルを選択部１４８に供給する。

　選択部１４８は、ブレンド部１４７から供給されるＳＡＤテーブルに登録される差分情報のうちの最も小さい差分情報に対応するベクトルを選択することにより、基準画像ブロックの動きベクトル＃ｉを検出する。選択部１４８は、検出された各基準ブロックの動きベクトル＃ｉを、図１の補正部５７に供給するとともに、図３のフレームメモリ８２に供給する。

　以上により、ブレンド比が１．０に近いほど、長露光画像の差分情報が優先的に動きベクトルの検出に用いられ、ブレンド比が０．０に近いほど、短露光画像の差分情報が優先的に動きベクトルの検出に用いられる。

　その結果、輝度が高い場合には、白とびが発生しにくい短露光画像の差分情報が優先的に動きベクトルの検出に用いられ、輝度が低い場合には、黒潰れが発生しにくい長露光画像の差分情報が優先的に動きベクトルの検出に用いられる。よって、動きベクトルの検出精度が向上する。

　また、コントラストが高い場合には、ＳＮ比の良い長露光画像の差分情報が優先的に動きベクトルの検出に用いられ、コントラストが低い場合には、動きボケの影響を受けにくい短露光画像の差分情報が優先的に動きベクトルの検出に用いられる。その結果、動きベクトルの検出精度が向上する。

　さらに、動き量が小さい場合には、ＳＮ比の良い長露光画像の差分情報が優先的に動きベクトルの検出に用いられ、動き量が大きい場合には、動きボケの影響を受けにくい短露光画像の差分情報が優先的に動きベクトルの検出に用いられる。その結果、動きベクトルの検出精度が向上する。

　また、動きベクトルの変化が小さい場合には、ＳＮ比の良い長露光画像の差分情報が優先的に動きベクトルの検出に用いられ、動きベクトルの変化が大きい場合には、動きボケの影響を受けにくい短露光画像の差分情報が優先的に動きベクトルの検出に用いられる。その結果、動きベクトルの検出精度が向上する。

　また、ブレンドテーブルは、基準画像ブロックごとに決定されるので、画面全体に対して決定される場合に比べて、輝度、コントラスト、または動きベクトルが被写体によって異なる場合であっても、最適なブレンドテーブルを生成することができる。その結果、動きベクトルの検出精度を向上させることができる。

　（ブレンドテーブル生成部の構成例）
　図８は、図７のブレンドテーブル生成部１４６の構成例を示すブロック図である。

　図８のブレンドテーブル生成部１４６は、選択部１６１と乗算部１６２により構成される。

　ブレンドテーブル生成部１４６の選択部１６１は、図７の輝度算出部１４２からの輝度ブレンド値ＢｌｅｎｄＬ、コントラスト算出部１４３からのコントラストブレンド値ＢｌｅｎｄＣ、および動き量算出部１４４からの動き量ブレンド値ＢｌｅｎｄＭのうちの最小値を選択する。選択部１６１は、選択された最小値を乗算部１６２に供給する。

　乗算部１６２は、重みテーブル生成部１４５から供給される重みテーブルに登録される各重みと、選択部１６１から供給される最小値とを乗算し、ブレンドテーブルを生成する。乗算部１６２は、生成されたブレンドテーブルをブレンド部１４７に供給する。

　（デジタルカメラの処理の説明）
　図９は、図１のデジタルカメラ１１の撮影処理を説明するフローチャートである。この撮影処理は、例えばフレーム単位で行われる。

　図９のステップＳ１１において、撮像素子５２の短蓄画素は、撮像レンズ５１を介して入射する光の光量に応じた電荷を蓄積し、短露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、短露光時間の撮影を行う。撮像素子５２の短蓄画素は、撮影の結果得られる画素信号をカメラ信号処理部５３に供給する。

　ステップＳ１２において、撮像素子５２の長蓄画素は、撮像レンズ５１を介して入射する光の光量に応じた電荷を蓄積し、長露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、長露光時間の撮影を行う。撮像素子５２の長蓄画素は、撮影の結果得られる画素信号をカメラ信号処理部５３に供給する。

　ステップＳ１３において、カメラ信号処理部５３は、撮像素子５２から供給される短蓄画素と長蓄画素の画素信号からなるアナログの画像信号に対して、ガンマ補正処理や白バランス処理、Ａ／Ｄ変換などを行い、長短露光画像を生成する。そして、カメラ信号処理部５３は、長短露光画像をＳＤＲＡＭ５４に供給する。

　ステップＳ１４において、ＳＤＲＡＭ５４は、カメラ信号処理部５３から供給される長短露光画像を保持する。

　ステップＳ１５において、動きベクトル検出部５５は、ＳＤＲＡＭ５４から処理対象のフレームの長短露光画像を読み出し、その長短露光画像に基づいて処理対象のフレームの動きベクトルを検出する動きベクトル検出処理を行う。この動きベクトル検出処理の詳細は、後述する図１０を参照して説明する。

　ステップＳ１６において、補正部５７は、ＳＤＲＡＭ５４から処理対象のフレームの長短露光画像を読み出し、その長短露光画像からダイナミックレンジの広い撮影画像を生成する。ステップＳ１７において、補正部５７は、動きベクトル検出部５５から供給される動きベクトルに基づいて、生成された撮影画像を補正し、表示制御部６０に供給する。

　ステップＳ１８において、表示制御部６０は、補正部５７から供給される撮影画像を表示部６１に供給し、表示させる。そして、処理は終了する。

　図１０は、図９のステップＳ１５の動きベクトル検出処理の詳細を説明するフローチャートである。

　図１０のステップＳ３１において、動きベクトル検出部５５の分離部８１（図３）は、ＳＤＲＡＭ５４から処理対象のフレームの長短露光画像を読み出し、その長短露光画像を短蓄画素の画素値と長蓄画素の画素値に分離することにより、短露光画像と長露光画像を生成する。分離部８１は、生成された短露光画像をフレームメモリ８２と差分検出部８３に供給し、長露光画像をフレームメモリ８２と差分検出部８４に供給する。

　ステップＳ３２において、フレームメモリ８２は、分離部８１から供給される処理対象のフレームの短露光画像と長露光画像を保持する。以降のステップＳ３３乃至Ｓ４４の処理は、基準画像ブロックごとに行われる。

　ステップＳ３３において、差分検出部８３は、フレームメモリ８２に保持されている過去のフレームの短露光画像と、分離部８１からの処理対象のフレームの短露光画像とを用いて、処理対象の基準画像ブロックのＳＡＤテーブルを生成する。差分検出部８３は、短露光画像の処理対象の基準画像ブロックとＳＡＤテーブルを、合成部８５に供給する。

　ステップＳ３４において、差分検出部８４は、フレームメモリ８２に保持されている過去のフレームの長露光画像と、分離部８１からの処理対象のフレームの長露光画像とを用いて、処理対象の基準画像ブロックのＳＡＤテーブルを生成する。差分検出部８３は、長露光画像の処理対象の基準画像ブロックとＳＡＤテーブルを、合成部８５に供給する。

　ステップＳ３５において、合成部８５の選択部１４１（図７）は、処理対象の基準画像ブロックの画素ごとに、差分検出部８３から供給される短露光画像の画素値と、差分検出部８４から供給される長露光画像の画素値のうちの、ＳＮ比の良い方を選択する。選択部１４１は、選択された基準画像ブロックの各画素の画素値を、輝度算出部１４２とコントラスト算出部１４３に供給する。

　ステップＳ３６において、輝度算出部１４２は、選択部１４１から供給される処理対象の基準画像ブロックの画素値の平均値ＢｌｏｃｋＡｖｅを求め、その平均値ＢｌｏｃｋＡｖｅに基づいて、上述した式（１）により、輝度ブレンド値ＢｌｅｎｄＬを決定する。輝度算出部１４２は、輝度ブレンド値ＢｌｅｎｄＬをブレンドテーブル生成部１４６に供給する。

　ステップＳ３７において、コントラスト算出部１４３は、処理対象の基準画像ブロックのコントラスト値ＢｌｏｃｋＣｏｎｔに基づいて、上述した式（３）によりコントラストブレンド値ＢｌｅｎｄＣを決定する。なお、処理対象の基準画像ブロックのコントラスト値ＢｌｏｃｋＣｏｎｔは、選択部１４１から供給される処理対象の基準画像ブロックの画素値に基づいて、上述した式（２）によりを求められる。コントラスト算出部１４３は、コントラストブレンド値ＢｌｅｎｄＣをブレンドテーブル生成部１４６に供給する。

　ステップＳ３８において、動き量算出部１４４は、過去のフレームの動きベクトルのノルム値ＭｖＮｏｒｍに基づいて、上述した式（５）により、動き量ブレンド値ＢｌｅｎｄＭを決定する。なお、過去のフレームの動きベクトルのノルム値ＭｖＮｏｒｍは、フレームメモリ８２に保持されている過去のフレームの動きベクトルに基づいて、上述した式（４）により求められる。動き量算出部１４４は、動き量ブレンド値ＢｌｅｎｄＭをブレンドテーブル生成部１４６に供給する。

　ステップＳ３９において、重みテーブル生成部１４５は、フレームメモリ８２から過去のフレームの動きベクトルを読み出し、その動きベクトルに基づいて重みテーブルを生成する。重みテーブル生成部１４５は、生成された重みテーブルをブレンドテーブル生成部１４６に供給する。

　ステップＳ４０において、ブレンドテーブル生成部１４６の選択部１６１（図８）は、入力される輝度ブレンド値ＢｌｅｎｄＬ、コントラストブレンド値ＢｌｅｎｄＣ、および動き量ブレンド値ＢｌｅｎｄＭのうちの最小値を選択する。選択部１６１は、選択された最小値を乗算部１６２に供給する。

　ステップＳ４１において、乗算部１６２は、選択部１６１から供給される最小値と、重みテーブル生成部１４５から供給される重みテーブルに登録されている各重みとを乗算することにより、ブレンドテーブルを生成する。乗算部１６２は、生成されたブレンドテーブルをブレンド部１４７に供給する。

　ステップＳ４２において、ブレンド部１４７は、ブレンドテーブル生成部１４６から供給されるブレンドテーブルに基づいて、差分検出部８３から供給される短露光画像のＳＡＤテーブルと差分検出部８４から供給される長露光画像のＳＡＤテーブルを合成する。ブレンド部１４７は、合成後のＳＡＤテーブルを選択部１４８に供給する。

　ステップＳ４３において、選択部１４８は、ブレンド部１４７から供給されるＳＡＤテーブルに登録される差分情報のうちの最も小さい差分情報に対応するベクトルを、処理対象の基準画像ブロックの動きベクトルとして検出する。

　ステップＳ４４において、選択部１４８は、検出された動きベクトルを、補正部５７に出力するとともに、フレームメモリ８２に供給し、保持させる。この動きベクトルは、現在の処理対象のフレームの次のフレームが新たに処理対象のフレームになったとき、ステップＳ３８およびＳ３９の処理で、過去のフレームの動きベクトルとして用いられる。ステップＳ４４の処理後、処理は図９のステップＳ１５に戻り、ステップＳ１６に進む。

　以上のように、デジタルカメラ１１は、短露光画像のＳＡＤテーブルと長露光画像のＳＡＤテーブルを生成し、短露光画像または長露光画像に基づいて、短露光画像のＳＡＤテーブルと長露光画像のＳＡＤテーブルを合成する。そして、デジタルカメラ１１は、合成後のＳＡＤテーブルに基づいて、動きベクトルを検出する。

　従って、短露光画像のＳＡＤテーブルと長露光画像のＳＡＤテーブルのうちの、短露光画像または長露光画像の輝度やコントラストなどに適した方を優先的に用いて、動きベクトルを検出することができる。その結果、動きベクトルの検出精度が向上する。

　＜第２実施の形態＞
　（デジタルカメラの第２実施の形態の構成例）
　図１１は、本開示を適用した固体撮像装置としてのデジタルカメラの第２実施の形態の構成例を示すブロック図である。

　図１１に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　図１１のデジタルカメラ１８１の構成は、撮影部４１、動きベクトル検出部５５の代わりに、撮影部１８２、動きベクトル検出部１８３が設けられる点が、図１のデジタルカメラ１１の構成と異なる。デジタルカメラ１８１は、短露光時間、長露光時間だけでなく、短露光時間より長く長露光時間より短い時間である中露光時間の撮影を行う。

　撮影部１８２は、撮像レンズ５１、撮像素子１９１、およびカメラ信号処理部１９２により構成される。

　撮像素子１９１は、例えば、ＣＣＤセンサ、ＣＭＯＳセンサなどで構成される。撮像素子１９１は、撮像レンズ５１を介して受光面に結像された被写体の像（光）を画素単位で光電変換し、その結果得られる電荷を蓄積する。

　ここで、撮像素子１９１の一部の画素の露光時間は、短露光時間であり、他の一部の画素の露光時間は、中露光時間であり、残りの画素の露光時間は、長蓄露光時間である。撮像素子１９１は、フレームごとに、短蓄画素において短露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、短露光時間の撮影を行う。

　また、撮像素子１９１は、フレームごとに、露光時間が中露光時間である画素(以下、中蓄画素という)において中露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、中露光時間の撮影を行う。

　さらに、撮像素子１９１は、フレームごとに、長蓄画素において長露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、長露光時間の撮影を行う。撮像素子１９１は、撮影の結果読み出されたフレーム単位の短蓄画素、中蓄画素、および長蓄画素の画素信号を、画像信号としてカメラ信号処理部１９２に供給する。

　カメラ信号処理部１９２は、撮像素子１９１から供給されるアナログの画像信号に対して、例えばガンマ補正処理や白バランス処理などを行う。カメラ信号処理部１９２は、その結果得られるアナログの画像信号をＡ／Ｄ変換してデジタルの画像信号を生成し、その画像信号をフレーム単位の長中短露光画像として、ＳＤＲＡＭ５４に供給する。

　動きベクトル検出部１８３（画像処理装置）は、ＳＤＲＡＭ５４から処理対象のフレームの長中短露光画像を読み出す。動きベクトル検出部１８３は、ＳＤＲＡＭ５４から読み出された処理対象のフレームの長中短露光画像に基づいて、処理対象のフレームの動きベクトルを検出する。動きベクトル検出部１８３は、検出された動きベクトルを補正部５７に供給する。

　（動きベクトル検出部の構成例）
　図１２は、図１１の動きベクトル検出部１８３の構成例を示すブロック図である。

　図１２に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　図１２の動きベクトル検出部１８３の構成は、分離部８１、フレームメモリ８２、合成部８５の代わりに、分離部２０１、フレームメモリ２０２、合成部２０４が設けられる点、および、差分検出部２０３が新たに設けられる点が、図３の動きベクトル検出部５５の構成と異なる。

　動きベクトル検出部１８３の分離部２０１は、ｉ番目のフレームを処理対象のフレームとして、ＳＤＲＡＭ５４からｉ番目のフレームの長中短露光画像である長中短露光画像＃ｉを読み出す。分離部２０１は、読み出された長中短露光画像＃ｉから、短蓄画素の画素値、中蓄画素の画素値、および長蓄画素の画素値を分離する。

　分離部２０１は、分離された短蓄画素の画素値からなる短露光画像＃ｉを、フレームメモリ２０２と差分検出部８３に供給する。また、分離部２０１は、分離された中蓄画素の画素値からなる中露光画像＃ｉを、フレームメモリ２０２と差分検出部２０３に供給する。分離部２０１は、分離された長蓄画素の画素値からなる長露光画像＃ｉを、フレームメモリ２０２と差分検出部８４に供給する。

　なお、ここでは、分離部２０１は、分離された短蓄画素の画素値をそのまま用いて短露光画像＃ｉを生成するため、短露光画像＃ｉの解像度は、長中短露光画像＃ｉの解像度より小さくなる。即ち、短露光画像＃ｉにおいて中蓄画素および長蓄画素の位置の画素値は存在しないため、短露光画像＃ｉの解像度は、長中短露光画像＃ｉより小さくなる。

　分離部２０１は、中蓄画素および長蓄画素の位置の画素値を、周辺の短蓄画素の画素値を用いてバイリニア補間することなどにより、長中短露光画像＃ｉの解像度と同一の解像度の短露光画像＃ｉを生成してもよい。これらのことは、中露光画像＃ｉおよび長露光画像＃ｉについても同様である。

　フレームメモリ２０２は、ｉ－１番目のフレームが処理対象のフレームとされたときに分離部２０１から供給された、短露光画像＃ｉ－１、長露光画像＃ｉ－１、およびｉ－１番目のフレームの中露光画像＃ｉ－１を保持している。また、フレームメモリ２０２は、ｉ－１番目のフレームが処理対象のフレームとされたときに合成部２０４から供給された動きベクトル＃ｉ－１を保持している。

　また、フレームメモリ２０２は、分離部２０１から供給される短露光画像＃ｉ、中露光画像＃ｉ、および長露光画像＃ｉを保持する。この短露光画像＃ｉ、中露光画像＃ｉ、および長露光画像＃ｉは、処理対象のフレームがｉ＋１番目のフレームであるときに読み出され、用いられる。

　差分検出部２０３は、フレームメモリ２０２から、過去のフレームであるｉ－１番目のフレームの中露光画像＃ｉ－１を読み出す。差分検出部２０３は、読み出された中露光画像＃ｉ－１と、分離部２０１から供給される中露光画像ｉとを用いて、差分検出部８３と同様に、ブロックマッチング法にしたがって、基準画像ブロックごとのＳＡＤテーブルを生成する。差分検出部２０３は、基準画像ブロックごとに、その基準画像ブロックとＳＡＤテーブルとを合成部２０４に供給する。

　合成部２０４は、フレームメモリ２０２から動きベクトル＃ｉ－１を読み出す。合成部２０４は、基準画像ブロックごとに、差分検出部８３、差分検出部８４、および差分検出部２０３から供給される基準画像ブロック、並びに動きベクトル＃ｉ－１に基づいて、差分検出部８３、差分検出部８４、および差分検出部２０３から供給されるＳＡＤテーブルを合成する。

　合成部２０４は、基準画像ブロックごとに、合成されたＳＡＤテーブルに基づいて、最小となる差分情報に対応するベクトルを、処理対象のフレームの動きベクトル＃ｉとして検出する。合成部２０４は、生成された動きベクトル＃ｉを図１１の補正部５７に供給するとともに、フレームメモリ２０２に供給し、保持させる。フレームメモリ２０２に保持された動きベクトル＃ｉは、処理対象のフレームがｉ＋１番目のフレームであるときに過去のフレームの動きベクトルとして読み出され、用いられる。

　（合成部の構成例）
　図１３は、図１２の合成部２０４の構成例を示すブロック図である。

　図１３に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　図１３の合成部２０４の構成は、選択部１４１、ブレンド部１４７の代わりに、選択部２１１、ブレンド部２１２が設けられる点が、図７の合成部８５の構成と異なる。

　合成部２０４の選択部２１１は、基準画像ブロックの画素ごとに、図１２の差分検出部８３からの短露光画像＃ｉの画素値、差分検出部２０３からの中露光画像＃ｉの画素値、および差分検出部８４からの長露光画像＃ｉの画素値のうちの、ＳＮ比の最も良いものを選択する。

　即ち、短露光画像、中露光画像、および長露光画像のＳＮ比は、それぞれの画素値に対して予め決められている。従って、選択部２１１は、基準画像ブロックの画素ごとに、短露光画像＃ｉの画素値に基づくＳＮ比、中露光画像＃ｉの画素値に基づくＳＮ比、および長露光画像＃ｉの画素値に基づくＳＮ比を比較し、ＳＮ比の最も良いものを選択する。選択部２１１は、選択された基準画像ブロックの各画素の画素値を、輝度算出部１４２とコントラスト算出部１４３に供給する。

　ブレンド部２１２は、ブレンドテーブル生成部１４６から供給されるブレンドテーブルに基づいて、図１２の差分検出部８３、差分検出部２０３、および差分検出部８４から供給されるＳＡＤテーブルを合成する。具体的には、ブレンド部２１２は、ペアごとに、ブレンドテーブルが表すブレンド比が、０以上０．５以下である場合、そのブレンド比を、差分検出部２０３からの中露光画像のＳＡＤテーブルに登録される差分情報に乗算する。また、ブレンド部２１２は、ペアごとに、ブレンドテーブルが表すブレンド比を１から減算した値を、差分検出部８３からの短露光画像のＳＡＤテーブルに登録される差分情報に乗算する。そして、ブレンド部２１２は、ペアごとに、乗算の結果得られる中露光画像の差分情報と短露光画像の差分情報を加算し、合成後のＳＡＤテーブルに登録する。

　一方、ブレンドテーブルが表すブレンド比が、０．５より大きく、かつ、１以下である場合、そのブレンド比を、差分検出部８４からの長露光画像のＳＡＤテーブルに登録される差分情報に乗算する。また、ブレンド部２１２は、ペアごとに、ブレンドテーブルが表すブレンド比を１から減算した値を、差分検出部２０３からの中露光画像のＳＡＤテーブルに登録される差分情報に乗算する。そして、ブレンド部２１２は、ペアごとに、乗算の結果得られる長露光画像の差分情報と中露光画像の差分情報を加算し、合成後のＳＡＤテーブルに登録する。ブレンド部２１２は、合成後のＳＡＤテーブルを選択部１４８に供給する。

　（デジタルカメラの処理の説明）
　図１４は、図１１のデジタルカメラ１８１の撮影処理を説明するフローチャートである。この撮影処理は、例えばフレーム単位で行われる。

　図１４のステップＳ５１において、撮像素子１９１の短蓄画素は、撮像レンズ５１を介して入射する光の光量に応じた電荷を蓄積し、短露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、短露光時間の撮影を行う。撮像素子１９１は、撮影の結果得られる画素信号をカメラ信号処理部１９２に供給する。

　ステップＳ５２において、撮像素子１９１の中蓄画素は、撮像レンズ５１を介して入射する光の光量に応じた電荷を蓄積し、中露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、中露光時間の撮影を行う。撮像素子１９１は、撮影の結果得られる画素信号をカメラ信号処理部１９２に供給する。

　ステップＳ５３において、撮像素子１９１の長蓄画素は、撮像レンズ５１を介して入射する光の光量に応じた電荷を蓄積し、長露光時間に蓄積された電荷の電気信号を、画素信号として読み出すことにより、長露光時間の撮影を行う。撮像素子１９１は、撮影の結果得られる画素信号をカメラ信号処理部１９２に供給する。

　ステップＳ５４において、カメラ信号処理部１９２は、撮像素子１９１から供給される短蓄画素、中蓄画素、および長蓄画素の画素信号からなるアナログの画像信号に対して、ガンマ補正処理や白バランス処理、Ａ／Ｄ変換などを行い、長中短露光画像を生成する。そして、カメラ信号処理部１９２は、長中短露光画像をＳＤＲＡＭ５４に供給する。

　ステップＳ５５において、ＳＤＲＡＭ５４は、カメラ信号処理部１９２から供給される長中短露光画像を記憶する。

　ステップＳ５６において、動きベクトル検出部１８３は、ＳＤＲＡＭ５４から処理対象のフレームの長中短露光画像を読み出し、その長中短露光画像に基づいて処理対象のフレームの動きベクトルを検出する動きベクトル検出処理を行う。この動きベクトル検出処理の詳細は、後述する図１５を参照して説明する。

　ステップＳ５７において、補正部５７は、ＳＤＲＡＭ５４から処理対象のフレームの長中短露光画像を読み出し、その長中短露光画像からダイナミックレンジの広い撮影画像を生成する。ステップＳ５８およびＳ５９の処理は、図９のステップＳ１７およびＳ１８の処理と同様であるので、説明は省略する。

　図１５は、図１４のステップＳ５６の動きベクトル検出処理の詳細を説明するフローチャートである。

　図１５のステップＳ６１において、動きベクトル検出部１８３の分離部２０１（図１２）は、ＳＤＲＡＭ５４に保持されている処理対象のフレームの長中短露光画像を分離することにより、短露光画像、中露光画像、および長露光画像を生成する。分離部２０１は、生成された短露光画像をフレームメモリ２０２と差分検出部８３に供給し、中露光画像をフレームメモリ２０２と差分検出部２０３に供給し、長露光画像をフレームメモリ２０２と差分検出部８４に供給する。

　ステップＳ６２において、フレームメモリ２０２は、分離部２０１から供給される処理対象のフレームの短露光画像、中露光画像、および長露光画像を保持する。以降のステップＳ６３乃至Ｓ７５の処理は、基準画像ブロックごとに行われる。

　ステップＳ６３において、差分検出部８３は、フレームメモリ２０２に保持されている過去のフレームの短露光画像と、分離部２０１からの処理対象のフレームの短露光画像とを用いて、処理対象の基準画像ブロックのＳＡＤテーブルを生成する。差分検出部８３は、短露光画像の処理対象の基準画像ブロックとＳＡＤテーブルを、合成部２０４に供給する。

　ステップＳ６４において、差分検出部２０３は、フレームメモリ２０２に保持されている過去のフレームの中露光画像と、分離部２０１からの処理対象のフレームの中露光画像とを用いて、処理対象の基準画像ブロックのＳＡＤテーブルを生成する。差分検出部２０３は、中露光画像の処理対象の基準画像ブロックとＳＡＤテーブルを、合成部２０４に供給する。

　ステップＳ６５において、差分検出部８４は、フレームメモリ２０２に保持されている過去のフレームの長露光画像と、分離部２０１からの処理対象のフレームの長露光画像とを用いて、処理対象の基準画像ブロックのＳＡＤテーブルを生成する。差分検出部８３は、長露光画像の処理対象の基準画像ブロックとＳＡＤテーブルを、合成部２０４に供給する。

　ステップＳ６６において、合成部２０４の選択部２１１（図１３）は、処理対象の基準画像ブロックの画素ごとに、短露光画像の画素値、中露光画像の画素値、および長露光画像の画素値のうちの、ＳＮ比の最も良いものを選択する。選択部２１１は、選択された基準画像ブロックの各画素の画素値を、輝度算出部１４２とコントラスト算出部１４３に供給する。

　ステップＳ６７乃至Ｓ７２の処理は、図１０のステップＳ３６乃至Ｓ４１の処理と同様であるので、説明は省略する。

　ステップＳ７３において、ブレンド部２１２は、ブレンドテーブル生成部１４６から供給されるブレンドテーブルに基づいて、短露光画像のＳＡＤテーブルと中露光画像のＳＡＤテーブル、または、中露光画像のＳＡＤテーブルと長露光画像のＳＡＤテーブルを合成する。ブレンド部２１２は、合成後のＳＡＤテーブルを選択部１４８に供給する。

　ステップＳ７４およびＳ７５の処理は、図１０のステップＳ４３およびＳ４４の処理と同様であるので、説明は省略する。

　以上のように、デジタルカメラ１８１は、短露光画像、中蓄露光画像、および長露光画像のＳＡＤを生成し、短露光画像、中蓄露光画像、または長露光画像に基づいて、短露光画像、中蓄露光画像、および長露光画像のＳＡＤテーブルを合成する。そして、デジタルカメラ１８１は、合成後のＳＡＤテーブルに基づいて、動きベクトルを検出する。

　従って、より適した露光時間のＳＡＤテーブルを優先的に用いて、動きベクトルを検出することができ、動きベクトルの検出精度が向上する。

　＜第３実施の形態＞
　（デジタルカメラの第３実施の形態の構成例）
　本開示を適用したデジタルカメラの第３実施の形態の構成は、動きベクトル検出部５５を除いて、図１のデジタルカメラ１１の構成と同一である。従って、以下では、動きベクトル検出部についてのみ説明する。

　図１６は、本開示を適用したデジタルカメラの第３実施の形態の動きベクトル検出部の構成例を示すブロック図である。

　図１６に示す構成のうち、図３の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　図１６の動きベクトル検出部２２０の構成は、動き検出部２２１と動き検出部２２２が新たに設けられる点、および、合成部８５の代わりに合成部２２３が設けられる点が、図３の動きベクトル検出部５５の構成と異なる。動きベクトル検出部２２０は、異なるフレームの短露光画像どうし、および、長露光画像どうしの差分情報のＳＡＤテーブルだけでなく、同一のフレームの短露光画像と長露光画像に基づく動きベクトルにも基づいて、動きベクトルを検出する。

　具体的には、動きベクトル検出部２２０（画像処理装置）の動き検出部２２１（第１の動き検出部）は、分離部８１から供給される短露光画像＃ｉと長露光画像＃ｉとを用いて、例えば特許文献１に記載されている方法にしたがって、ｉ番目のフレームの仮の動きベクトル＃ｉを検出する。

　なお、特許文献１に記載されている方法とは、同一のフレームの短露光画像と長露光画像の差分が、露光時間の違いによる動きの影響の差分であるとして、そのフレームの動きベクトルを検出する方法である。より詳細には、この方法は、動き量を変数として同一の画素の長露光画像と短露光画像をそれぞれ表現する近似式に、その画素の短露光画像と長露光画像の実際の画素値を代入して連立方程式として解くことにより、動き量を求める方法である。動き検出部２２１は、検出された仮の動きベクトル＃ｉを合成部２２３に供給する。

　動き検出部２２２（第２の動き検出部）は、フレームメモリ８２から短露光画像＃ｉ－１と長露光画像＃ｉ－１を読み出す。動き検出部２２２は、読み出された短露光画像＃ｉ－１と長露光画像＃ｉ－１を用いて、例えば特許文献１に記載されている方法にしたがって、ｉ－１番目のフレームの仮の動きベクトル＃ｉ－１を検出する。動き検出部２２２は、検出された仮の動きベクトル＃ｉ－１を合成部２２３に供給する。

　合成部２２３は、フレームメモリ８２から動きベクトル＃ｉ－１を読み出す。合成部２２３は、基準画像ブロックごとに、入力される短露光画像＃ｉおよび長露光画像＃ｉの基準画像ブロック、仮の動きベクトル＃ｉおよび仮の動きベクトル＃ｉ－１、並びに動きベクトル＃ｉ－１に基づいて、入力されるＳＡＤテーブルを合成する。

　合成部２２３は、基準画像ブロックごとに、合成されたＳＡＤテーブルに基づいて、最小となる差分情報に対応するベクトルを、処理対象のフレームの動きベクトル＃ｉとして検出する。合成部２２３は、生成された動きベクトル＃ｉを図１の補正部５７に供給するとともに、フレームメモリ８２に供給し、保持させる。フレームメモリ８２に保持された動きベクトル＃ｉは、処理対象のフレームがｉ＋１番目のフレームであるときに過去のフレームの動きベクトルとして読み出され、用いられる。

　（合成部の構成例）
　図１７は、図１６の合成部２２３の構成例を示すブロック図である。

　図１７に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　図１７の合成部２２３の構成は、動き量算出部１４４の代わりに動き量算出部２４１が設けられる点が、図７の合成部８５の構成と異なる。

　合成部２２３の動き量算出部２４１は、図１６のフレームメモリ８２から動きベクトル＃ｉ－１を読み出す。動き量算出部２４１は、上述した式（４）により、読み出された動きベクトル＃ｉ－１のノルム値ＭｖＮｏｒｍを求める。同様に、動き量算出部２４１は、動き検出部２２１から供給される仮の動きベクトル＃ｉと、動き検出部２２２から供給される仮の動きベクトル＃ｉ－１それぞれの、ノルム値ＭｖＮｏｒｍを求める。そして、動き量算出部２４１は、求められた３つのノルム値ＭｖＮｏｒｍのうちの最大値を選択する。動き量算出部２４１は、選択されたノルム値ＭｖＮｏｒｍに基づいて、上述した式（５）により、動き量ブレンド値ＢｌｅｎｄＭを決定し、ブレンドテーブル生成部１４６に供給する。

　なお、動きベクトル＃ｉ－１は、フレーム間の動きを表すベクトルであるが、仮の動きベクトル＃ｉおよび仮の動きベクトル＃ｉ－１は、フレーム内の動きを表すベクトルである。従って、動き量算出部２４１は、動きベクトル＃ｉ－１、仮の動きベクトル＃ｉ、および仮の動きベクトル＃ｉ－１のノルム値ＭｖＮｏｒｍのうちの最大値に基づいて、動き量ブレンド値ＢｌｅｎｄＭを決定することにより、フレーム間で見ると動きは小さいがフレーム内の短時間での動きは大きい画像であっても、最適なブレンドテーブルを生成することができる。その結果、動きベクトルを高精度に検出することができる。

　（デジタルカメラの処理の説明）
　第３実施の形態のデジタルカメラの撮影処理は、図９のステップＳ１５の動きベクトル検出処理を除いて図９の撮影処理と同様である。従って、以下では、動きベクトル検出処理についてのみ説明する。

　図１８は、図１６の動きベクトル検出部２２０の動きベクトル検出処理を説明するフローチャートである。

　図１８のステップＳ９１乃至Ｓ９４の処理は、図１０のステップＳ３１乃至Ｓ３４の処理と同様であるので、説明は省略する。

　ステップＳ９５において、動き検出部２２１は、分離部８１から供給される処理対象のフレームの短露光画像と長露光画像とを用いて、処理対象のフレームの仮の動きベクトルを検出し、合成部８５に供給する。

　ステップＳ９６において、動き検出部２２２は、フレームメモリ８２に保持されている過去のフレームの短露光画像と長露光画像を用いて、過去のフレームの仮の動きベクトルを検出し、合成部８５に供給する。

　ステップＳ９７乃至Ｓ９９の処理は、図１０のステップＳ３５乃至Ｓ３７の処理と同様であるので、説明は省略する。

　ステップＳ１００において、動き量算出部２４１（図１７）は、過去のフレームの動きベクトル、処理対象のフレームの仮の動きベクトル、および過去のフレームの仮の動きベクトルのノルム値のうちの最大値に基づいて、上述した式（５）により、動き量ブレンド値ＢｌｅｎｄＭを決定する。なお、過去のフレームの動きベクトルは、フレームメモリ８２から読み出されたものである。動き量算出部２４１は、動き量ブレンド値ＢｌｅｎｄＭをブレンドテーブル生成部１４６に供給する。

　ステップＳ１０１乃至Ｓ１０６の処理は、図１０のステップＳ３９乃至Ｓ４４の処理と同様であるので、説明は省略する。

　＜第４実施の形態＞
　（デジタルカメラの第４実施の形態の構成例）
　図１９は、本開示を適用したデジタルカメラの第４実施の形態の構成例を示すブロック図である。

　図１９に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　図１９のデジタルカメラ２８０は、操作部２１、撮影部２８１－１および２８１－２、ＳＤＲＡＭ２８２－１および２８２－２、デプスマップ検出部２８３、補正部２８４、表示制御部２８５、および表示部２８６により構成される。デジタルカメラ２８０は、短露光時間および長露光時間で３Ｄ画像を撮影し、デプスマップを生成する。

　具体的には、撮影部２８１－１は、撮影部４１と同様に、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成され、短露光時間および長露光時間で左目用の画像を撮影する。撮影部２８１－１は、その結果得られるフレーム単位の左目用の長短露光画像（以下、長短露光左画像という）をＳＤＲＡＭ２８２－１に供給する。

　撮影部２８１－２は、撮影部４１と同様に、撮像レンズ５１、撮像素子５２、およびカメラ信号処理部５３により構成され、短露光時間および長露光時間で右目用の画像を撮影する。撮影部２８１－２は、その結果得られる右目用の長短露光画像（以下、長短露光右画像という）をＳＤＲＡＭ２８２－２に供給する。

　ＳＤＲＡＭ２８２－１は、撮影部２８１－１から供給されるフレーム単位の長短露光左画像を記憶する。また、ＳＤＲＡＭ２８２－２は、撮影部２８１－２から供給されるフレーム単位の長短露光右画像を記憶する。

　デプスマップ検出部２８３は、ＳＤＲＡＭ２８２－１から処理対象のフレームの長短露光左画像を読み出し、ＳＤＲＡＭ２８２－２から処理対象のフレームの長短露光右画像を読み出す。デプスマップ検出部２８３は、読み出された処理対象のフレームの長短露光左画像と長短露光右画像に基づいて、処理対象のフレームのデプスマップを検出する。デプスマップ検出部２８３は、検出されたデプスマップを補正部２８４に供給する。

　補正部２８４は、ＳＤＲＡＭ２８２－１から処理対象のフレームの長短露光左画像を読み出し、ＳＤＲＡＭ２８２－２から処理対象のフレームの長短露光右画像を読み出す。補正部２８４は、読み出された長短露光左画像を用いて、ダイナミックレンジの広い左目用の撮影画像を生成するとともに、読み出された長短露光右画像を用いて、ダイナミックレンジの広い右目用の撮影画像を生成する。

　補正部２８４は、デプスマップ検出部２８３から供給されるデプスマップに基づいて、例えば表示部２８６に対応するデプス値の範囲に全画素のデプス値が収まるように、左目用の撮影画像と右目用の撮影画像を補正する。補正部２８４は、補正後の左目用の撮影画像と右目用の撮影画像を表示制御部２８５に供給する。

　表示制御部２８５は、補正部２８４から供給される左目用の撮影画像と右目用の撮影画像を表示部２８６に供給し、表示部２８６に３Ｄ画像を表示させる。

　表示部２８６は、表示制御部２８５の制御に従い、３Ｄ画像などを表示する。表示部２８６としては、例えば、３Ｄディスプレイなどを採用することができる。

　（視差検出部の構成例）
　図２０は、図１９のデプスマップ検出部２８３の構成例を示すブロック図である。

　図２０のデプスマップ検出部２８３は、分離部３０１、分離部３０２、差分検出部３０３、差分検出部３０４、動きベクトル検出部３０５、合成部３０６、およびフレームメモリ３０７により構成される。

　デプスマップ検出部２８３の分離部３０１は、ｉ番目のフレームを処理対象のフレームとして、ＳＤＲＡＭ２８２－１からｉ番目のフレームの長短露光左画像である長短露光左画像＃ｉを読み出す。分離部３０１は、図３の分離部８１と同様に、読み出された長短露光左画像＃ｉから、短蓄画素の画素値と長蓄画素の画素値を分離し、短蓄画素の画素値からなる短露光左画像＃ｉと長蓄画素の画素値からなる長露光左画像＃ｉを生成する。分離部３０１は、短露光左画像＃ｉを差分検出部３０３に供給し、長露光左画像＃ｉを差分検出部３０４に供給する。

　分離部３０２は、ｉ番目のフレームを処理対象のフレームとして、ＳＤＲＡＭ２８２－２からｉ番目のフレームの長短露光右画像である長短露光右画像＃ｉを読み出す。分離部３０２は、分離部８１と同様に、読み出された長短露光右画像＃ｉから、短蓄画素の画素値と長蓄画素の画素値を分離し、短蓄画素の画素値からなる短露光右画像＃ｉと長蓄画素の画素値からなる長露光右画像＃ｉを生成する。分離部３０２は、短露光右画像＃ｉを差分検出部３０３に供給し、長露光右画像＃ｉを差分検出部３０４に供給する。

　差分検出部３０３（第１の差分検出部）は、分離部３０１から供給される短露光左画像＃ｉと、分離部３０２から供給される短露光右画像＃ｉとを用いて、ブロックマッチング法にしたがって、ＳＡＤテーブルを生成する。

　具体的には、差分検出部３０３は、短露光左画像＃ｉを、所定のサイズのブロックに分割し、基準画像ブロックとする。また、差分検出部３０３は、短露光右画像＃ｉを基準画像ブロックのサイズと同一のサイズのブロックに分割し、参照画像ブロックとする。差分検出部３０３は、基準画像ブロックごとに、その基準画像ブロックの中心を中心とした水平方向に延びる線を探索範囲とする。

　差分検出部３０３（第１の差分検出部）は、基準画像ブロックごとに、基準画像ブロックと、その基準画像ブロックの探索範囲内に中心が存在する複数の参照画像ブロックそれぞれとの画素ごとの差分の絶対値の総和（ＳＡＤ値）を、差分情報として検出する。差分検出部３０３は、基準画像ブロックごとに、その基準画像ブロックと探索範囲内の各参照画像ブロックのペアの相対位置を表すベクトルと、そのペアの差分情報とを対応付けたＳＡＤテーブルを生成する。

　なお、探索範囲は、基準画像ブロックの中心を中心とした水平方向に延びる線であるため、差分情報に対応するペアを構成する参照画像ブロックは、基準画像ブロックと垂直方向の位置が同一である。

　差分検出部３０３は、基準画像ブロックごとに、その基準画像ブロックとＳＡＤテーブルとを合成部３０６に供給する。

　差分検出部３０４(第２の差分検出部)は、分離部３０１から供給される長露光左画像＃ｉと、分離部３０２から供給される長露光右画像＃ｉとを用いて、差分検出部３０３と同様に、ブロックマッチング法にしたがって、基準画像ブロックごとのＳＡＤテーブルを生成する。差分検出部３０４は、基準画像ブロックごとに、その基準画像ブロックとＳＡＤテーブルとを合成部３０６に供給する。

　動きベクトル検出部３０５は、ＳＤＲＡＭ２８１－２から長短露光右画像＃ｉを読み出す。動きベクトル検出部３０５は、図１の動きベクトル検出部５５または図１６の動きベクトル検出部２２０と同様に、読み出された長短露光右画像＃ｉに基づいて動きベクトル＃ｉを検出する。動きベクトル検出部３０５は、検出された動きベクトル＃ｉを合成部３０６に供給する。

　合成部３０６は、フレームメモリ３０７から過去のフレームのデプスマップとして、ｉ－１番目のフレームのデプスマップ＃ｉ－１をフレームメモリ３０７から読み出す。合成部３０６は、基準画像ブロックごとに、入力される基準画像ブロックおよび動きベクトル＃ｉ、並びに、読み出されたデプスマップ＃ｉ－１に基づいて、差分検出部３０３と差分検出部３０４から供給されるＳＡＤテーブルを合成する。合成部３０６は、基準画像ブロックごとに、合成されたＳＡＤテーブルに基づいて、最小となる差分情報を、ｉ番目のフレームのデプス値として生成する。

　合成部３０６は、ｉ番目のフレームの各基準画像ブロックのデプス値からなるデプスマップであるデプスマップ＃ｉを、図１９の補正部２８４に供給するとともに、フレームメモリ３０７に供給する。

　フレームメモリ３０７は、ｉ－１番目のフレームが処理対象のフレームとされたときに合成部３０６から供給されたデプスマップ＃ｉ－１を保持している。また、フレームメモリ３０７は、合成部３０６から供給されるデプスマップ＃ｉを保持する。このデプスマップ＃ｉは、処理対象のフレームがｉ＋１番目のフレームであるときに読み出され、用いられる。

　なお、ここでは、動きベクトル検出部３０５は、長短露光右画像＃ｉを用いて動きベクトル＃ｉを検出するようにするが、長短露光左画像＃ｉを用いて動きベクトル＃ｉを検出するようにしてもよい。

　また、デプスマップ検出部２８３では、短露光右画像＃ｉが基準画像ブロックに分割され、短露光左画像＃ｉが参照画像ブロックに分割されるが、短露光左画像＃ｉが基準画像ブロックに分割され、短露光右画像＃ｉが参照画像ブロックに分割されてもよい。

　さらに、基準画像ブロックは、１画素であってもよい。この場合、画素単位でデプス値が生成される。

　（合成部の構成例）
　図２１は、図２０の合成部３０６の構成例を示すブロック図である。

　図２１に示す構成のうち、図７の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

　図２１の合成部３０６は、輝度算出部１４２、コントラスト算出部１４３、ブレンドテーブル生成部１４６、選択部３２１、動き量算出部３２２、重みテーブル生成部３２３、ブレンド部３２４、および選択部３２５により構成される。

　合成部３０６の選択部３２１は、選択部１４１と同様に、基準画像ブロックの画素ごとに、図２０の差分検出部３０３からの短露光右画像＃ｉの画素値と、差分検出部３０４からの長露光右画像＃ｉの画素値のうちの、ＳＮ比の良い方を選択する。選択部３２１は、選択された基準画像ブロックの各画素の画素値を、輝度算出部１４２とコントラスト算出部１４３に供給する。

　動き量算出部３２２は、図２０の動きベクトル検出部３０５から供給される動きベクトル＃ｉに基づいて、動き量算出部１４４と同様に、動き量ブレンド値ＢｌｅｎｄＭを決定し、ブレンドテーブル生成部１４６に供給する。

　重みテーブル生成部３２３は、図２０のフレームメモリ３０７からデプスマップ＃ｉ－１を読み出す。重みテーブル生成部３２３は、読み出されたデプスマップ＃ｉ－１に基づいて、重みテーブル生成部１４５と同様に、重みテーブルを生成する。

　これにより、重みテーブルには、基準画像ブロックとの相対位置を表すベクトルが、その基準画像ブロックのデプスマップ＃ｉ－１のデプス値が表すベクトルである参照画像ブロックと、その基準画像ブロックとのペアに対する重みとして、最大値である１が登録される。そして、その参照画像ブロックより遠い参照画像ブロックと基準画像ブロックとのペアほど、小さい重みが登録される。重みテーブル生成部３２３は、生成された重みテーブルをブレンドテーブル生成部１４６に供給する。

　ブレンド部３２４は、ブレンドテーブル生成部１４６から供給されるブレンドテーブルに基づいて、ブレンド部１４７と同様に、図２０の差分検出部３０３と差分検出部３０４から供給されるＳＡＤテーブルを合成する。ブレンド部３２４は、合成後のＳＡＤテーブルを選択部３２５に供給する。

　選択部３２５は、ブレンド部３２４から供給されるＳＡＤテーブルに登録される差分情報のうちの最も小さい差分情報を、デプス値として検出する。選択部３２５は、処理対象のフレームの基準画像ブロックごとに検出されたデプス値からなるデプスマップ＃ｉを、図１９の補正部２８４に供給するとともに、フレームメモリ３０７に供給する。

　以上により、合成部３０６では、図７の合成部８５と同様に、基準画像ブロックの輝度、コントラスト、動き量、およびデプスマップの変化量に基づいて、短露光画像の差分情報と長露光画像の差分情報のうちのいずれか一方が、デプスマップの検出に優先的に用いられる。従って、デプスマップの検出精度が向上する。

　なお、基準画像ブロックが１画素である場合、輝度算出部１４２は、基準画像ブロックの画素値ではなく、基準画像ブロックを含む周囲の画素群の画素値に基づいて、輝度ブレンド値ＢｌｅｎｄＬを決定するようにしてもよい。同様に、コントラスト算出部１４３は、基準画像ブロックを含む周囲の画素群の画素値に基づいて、コントラストブレンド値ＢｌｅｎｄＣを決定するようにしてもよい。

　（デジタルカメラの処理の説明）
　図２２は、図１９のデジタルカメラ２８０の撮影処理を説明するフローチャートである。この撮影処理は、例えばフレーム単位で行われる。

　図２２のステップＳ１２１において、撮影部２８１－１の撮像素子５２の短蓄画素は、短露光時間で左目用の画像を撮影するとともに、撮影部２８１－２の撮像素子５２の短蓄画素は、短露光時間で右目用の画像を撮影する。撮影部２８１－１および撮影部２８１－２の撮像素子５２の短蓄画素は、撮影の結果得られる画素信号をカメラ信号処理部５３に供給する。

　ステップＳ１２２において、撮影部２８１－１の撮像素子５２の長蓄画素は、長露光時間で左目用の画像を撮影するとともに、撮影部２８１－２の撮像素子５２の長蓄画素は、長露光時間で右目用の画像を撮影する。撮影部２８１－１および撮影部２８１－２の撮像素子５２の長蓄画素は、撮影の結果得られる画素信号をカメラ信号処理部５３に供給する。

　ステップＳ１２３において、撮影部２８１－１のカメラ信号処理部５３は、撮像素子５２から供給される短蓄画素と長蓄画素の画素信号からなるアナログの画像信号から長短露光左画像を生成し、ＳＤＲＡＭ２８２－１に供給する。また、撮影部２８１－２のカメラ信号処理部５３は、撮像素子５２から供給される短蓄画素と長蓄画素の画素信号からなるアナログの画像信号から長短露光右画像を生成し、ＳＤＲＡＭ２８２－２に供給する。

　ステップＳ１２４において、ＳＤＲＡＭ２８２－１は、撮影部２８１－１から供給されるフレーム単位の長短露光左画像を保持するとともに、ＳＤＲＡＭ２８２－２は、撮影部２８１－２から供給されるフレーム単位の長短露光右画像を保持する。

　ステップＳ１２５において、デプスマップ検出部２８３は、処理対象のフレームについて、ＳＤＲＡＭ２８２－１に保持されている長短露光左画像と、ＳＤＲＡＭ２８２－２に保持されている長短露右画像に基づいて、デプスマップを検出するデプスマップ検出処理を行う。このデプスマップ検出処理の詳細は、後述する図２３を参照して説明する。

　ステップＳ１２６において、補正部２８４は、ＳＤＲＡＭ２８２－１から処理対象のフレームの長短露光左画像を読み出し、その長短露光画像を用いてダイナミックレンジの広い左目用の撮影画像を生成する。また、補正部２８４は、ＳＤＲＡＭ２８２－２から処理対象のフレームの長短露光右画像を読み出し、その長短露光右画像を用いてダイナミックレンジの広い右目用の撮影画像を生成する。

　ステップＳ１２７において、補正部２８４は、デプスマップ検出部２８３から供給されるデプスマップに基づいて、左目用の撮影画像と右目用の撮影画像を補正する。補正部２８４は、補正後の左目用の撮影画像と右目用の撮影画像を表示部２８６に供給する。

　ステップＳ１２８において、表示制御部２８５は、補正部２８４から供給される左目用の撮影画像と右目用の撮影画像に基づいて表示部６１を制御し、表示部２８６に３Ｄ画像を表示させる。そして、処理は終了する。

　図２３は、図２２のステップＳ１２５のデプスマップ検出処理の詳細を説明するフローチャートである。

　図２３のステップＳ１４１において、デプスマップ検出部２８３の分離部３０１は、ＳＤＲＡＭ２８２－１から処理対象のフレームの長短露光左画像を読み出し、その長短露光左画像から短露光左画像と長露光左画像を生成する。分離部３０１は、短露光左画像を差分検出部３０３に供給し、長露光左画像を差分検出部３０４に供給する。

　ステップＳ１４２において、分離部３０２は、ＳＤＲＡＭ２８２－２から処理対象のフレームの長短露光右画像を読み出し、その長短露光右画像から短露光右画像と長露光右画像を生成する。分離部３０２は、短露光右画像を差分検出部３０３に供給し、長露光右画像を差分検出部３０４に供給する。以降のステップＳ１４３乃至Ｓ１５４の処理は、基準画像ブロックごとに行われる。

　ステップＳ１４３において、差分検出部３０３は、分離部３０１から供給される短露光左画像と、分離部３０２から供給される短露光右画像とを用いて、ブロックマッチング法にしたがって、ＳＡＤテーブルを生成する。差分検出部３０３は、処理対象の基準画像ブロックとＳＡＤテーブルとを合成部３０６に供給する。

　ステップＳ１４４において、差分検出部３０４は、分離部３０１から供給される長露光左画像と、分離部３０２から供給される長露光右画像とを用いて、ブロックマッチング法にしたがって、ＳＡＤテーブルを生成する。差分検出部３０４は、処理対象の基準画像ブロックとＳＡＤテーブルとを合成部３０６に供給する。

　ステップＳ１４５において、動きベクトル検出部３０５は、ＳＤＲＡＭ２８１－２から処理対象のフレームの長短露光右画像を読み出し、その長短露光右画像に基づいて、処理対象のフレームの処理対象の基準画像ブロックの動きベクトルを検出する。動きベクトル検出部３０５は、検出された動きベクトルを合成部３０６に供給する。

　ステップＳ１４６において、合成部３０６の選択部３２１（図２１）は、処理対象の基準画像ブロックの画素ごとに、差分検出部３０３からの短露光右画像の画素値と、差分検出部３０４からの長露光右画像の画素値のうちの、ＳＮ比の良い方を選択する。選択部３２１は、選択された基準画像ブロックの各画素の画素値を、輝度算出部１４２とコントラスト算出部１４３に供給する。

　ステップＳ１４７およびＳ１４８の処理は、図１０のステップＳ３６およびＳ３７の処理と同様であるので、説明は省略する。

　ステップＳ１４９において、動き量算出部３２２は、動きベクトル検出部３０５から供給される処理対象のフレームの処理対象の基準画像ブロックの動きベクトルのノルム値に基づいて、動き量ブレンド値ＢｌｅｎｄＭを決定し、ブレンドテーブル生成部１４６に供給する。

　ステップＳ１５０において、重みテーブル生成部３２３は、図２０のフレームメモリ３０７から過去のフレームのデプスマップを読み出し、そのデプスマップに基づいて重みテーブルを生成する。重みテーブル生成部３２３は、生成された重みテーブルをブレンドテーブル生成部１４６に供給する。

　ステップＳ１５１およびＳ１５２の処理は、図１０のステップＳ４０およびＳ４１の処理と同様であるので、説明は省略する。

　ステップＳ１５３において、ブレンド部３２４は、ブレンドテーブル生成部１４６から供給されるブレンドテーブルに基づいて、差分検出部３０３から供給される短露光画像のＳＡＤテーブルと差分検出部３０４から供給される長露光画像のＳＡＤテーブルを合成する。ブレンド部３２４は、合成後のＳＡＤテーブルを選択部３２５に供給する。

　ステップＳ１５４において、選択部３２５は、ブレンド部３２４から供給されるＳＡＤテーブルに登録される差分情報のうちの最も小さい差分情報を、デプス値として検出する。

　ステップＳ１５５において、選択部３２５は、処理対象のフレームの基準画像ブロックごとに検出されたデプス値からなるデプスマップを、補正部２８４に出力するとともに、フレームメモリ３０７に供給して保持させる。フレームメモリ３０７に保持されたデプスマップは、現在の処理対象のフレームの次のフレームが新たに処理対象のフレームになったとき、ステップＳ１５０の処理で、過去のフレームのデプスマップとして用いられる。ステップＳ１５５の処理後、処理は図２２のステップＳ１２５に戻り、ステップＳ１２６に進む。

　以上のように、デジタルカメラ２８０は、短露光画像のＳＡＤテーブルと長露光画像のＳＡＤテーブルを生成し、短露光画像または長露光画像に基づいて、短露光画像のＳＡＤテーブルと長露光画像のＳＡＤテーブルを合成する。そして、デジタルカメラ１１は、合成後のＳＡＤテーブルに基づいて、デプスマップを検出する。

　従って、短露光画像のＳＡＤテーブルと長露光画像のＳＡＤテーブルのうちの、短露光画像または長露光画像の輝度やコントラストなどに適した方を優先的に用いて、デプスマップを検出することができる。その結果、デプスマップの検出精度が向上する。

　なお、第１乃至第４実施の形態では、短露光画像(短露光右画像)または長露光画像(長露光右画像)の画素値の平均値およびコントラスト値、過去のフレームの動き量、並びに重みテーブルの全てを用いて、ブレンドテーブルが生成されたが、一部のみを用いてブレンドテーブルが生成されてもよい。

　また、ブレンドテーブルの生成に用いられる情報は、上述した例に限定されず、例えば、ノイズ量などを用いることもできる。ブレンドテーブルの生成にノイズ量が用いられる場合には、例えば、ノイズ量が多い場合、ＳＮ比の良い長露光画像の差分情報が優先的に用いられるようにブレンドテーブルが生成される。

　＜第５実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

　図２４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

　コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。

　バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、撮影部９０６、入力部９０７、出力部９０８、記憶部９０９、通信部９１０、及びドライブ９１１が接続されている。

　撮影部９０６は、例えば、上述した撮影部４１、撮影部１８２、または、撮影部２８１－１および撮影部２８１－２により構成される。撮影部９０６は、２以上の露光時間で撮影を行い、その結果得られる画像を記憶部９０９に供給し、記憶させる。

　入力部９０７は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０８は、ディスプレイ、スピーカなどよりなる。記憶部９０９は、ハードディスクや不揮発性のメモリなどよりなる。通信部９１０は、ネットワークインタフェースなどよりなる。ドライブ９１１は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１２を駆動する。

　以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０９に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１２に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータ９００では、プログラムは、リムーバブルメディア９１２をドライブ９１１に装着することにより、入出力インタフェース９０５を介して、記憶部９０９にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９１０で受信し、記憶部９０９にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０９に、あらかじめインストールしておくことができる。

　なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、第４実施の形態において、第２実施の形態と同様に、長露光時間、中露光時間、および短露光時間で左目用の画像と右目用の画像を撮影し、長露光時間、中露光時間、短露光時間のＳＡＤテーブルを合成して、デプスマップを生成するようにしてもよい。

　また、合成対象のＳＡＤテーブルに対応する画像は、露光時間以外の撮影条件（例えば、感度、撮影ゲイン（アナログゲイン）、フォーカス位置など）の異なる画像であってもよい。

　撮影条件として感度の異なる画像を撮影する場合、撮像素子の画素フィルタの感度が、緑色（Ｇ）の画素と赤色および青色（ＲＢ）の画素との間や、白色（Ｗ）の画素と赤色、緑色、および青色（ＲＧＢ）の画素との間、ＲＧＢの画素とＩＲ（赤外線）の画素との間で異なるようにされる。

　また、撮影条件としてフォーカス位置の異なる画像を撮影する場合、例えば、撮像素子の１以上の画素ごとに設けられるオンチップレンズの形状が異なるようにされる。これにより、遠景画像と近景画像を同時に撮影することができる。デジタルカメラは、被写体との距離に応じて、遠景画像と近景画像のうちの焦点の合っている方の差分情報を優先的に用いて動きベクトルやデプスマップの検出を行うことにより、検出精度を向上させる。

　さらに、動きベクトルの検出方法としては、ブロックマッチング法のほか、特徴点対応を用いた方法やオプティカルフローを計算する方法などを採用することもできる。

　また、合成対象としては、ＳＡＤテーブルのほか、顔認識結果やコントラストＡＦのコントラスト情報などを採用することもできる。

　なお、本開示は、以下のような構成もとることができる。

　（１）
　第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報を検出する第１の差分検出部と、
　第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報を検出する第２の差分検出部と、
　前記第１または第２の画像に基づいて、前記第１の差分検出部により検出された前記第１の画像の差分情報と、前記第２の差分検出部により検出された前記第２の画像の差分情報とを合成し、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルを生成する合成部と
　を備える画像処理装置。
　（２）
　前記合成部は、前記第１の画像および前記第２の画像のうちのＳＮ比の良い方の画像に基づいて、前記合成を行う
　ように構成された
　前記（１）に記載の画像処理装置。
　（３）
　前記合成部は、前記第１の画像または前記第２の画像の輝度に基づいて、前記合成を行う
　ように構成された
　前記（１）または（２）に記載の画像処理装置。
　（４）
　前記合成部は、前記第１の画像または前記第２の画像のコントラストに基づいて、前記合成を行う
　ように構成された
　前記（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）
　前記合成部は、前記第１の画像または前記第２の画像、および、前記第１のフレームより前のフレームの動きベクトルに基づいて、前記合成を行う
　ように構成された
　前記（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）
　前記第１の画像または前記第２の画像と、前記第１のフレームより前のフレームの動きベクトルとに基づいて、前記第１および第２の画像の差分情報のブレンド比を決定するブレンド比決定部
　をさらに備え、
　前記合成部は、前記ブレンド比決定部により決定された前記ブレンド比に基づいて前記合成を行う
　ように構成された
　前記（５）に記載の画像処理装置。
　（７）
　前記第１の撮影条件と前記第２の撮影条件では、露光時間、感度、撮影ゲイン、またはフォーカス位置が異なる
　ように構成された
　前記（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）
　前記第１のフレームの前記第１の画像と前記第２の画像を用いて第１の動きベクトルを検出する第１の動き検出部と、
　前記第２のフレームの前記第１の画像と前記第２の画像を用いて第２の動きベクトルを検出する第２の動き検出部と
　をさらに備え、
　前記合成部は、前記第１または第２の画像、前記第１の動きベクトル、および前記第２の動きベクトルに基づいて、前記合成を行う
　ように構成された
　前記（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）
　画像処理装置が、
　第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報を検出する第１の差分検出ステップと、
　第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報を検出する第２の差分検出ステップと、
　前記第１または第２の画像に基づいて、前記第１の差分検出ステップの処理により検出された前記第１の画像の差分情報と、前記第２の差分検出ステップの処理により検出された前記第２の画像の差分情報とを合成し、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルを生成する合成ステップと
　を含む画像処理方法。
　（１０）
　第１および第２の撮影条件で撮影を行う撮影部と、
　前記撮影部により前記第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報を検出する第１の差分検出部と、
　前記撮影部により前記第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報を検出する第２の差分検出部と、
　前記第１または第２の画像に基づいて、前記第１の差分検出部により検出された前記第１の画像の差分情報と、前記第２の差分検出部により検出された前記第２の画像の差分情報とを合成し、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルを生成する合成部と
　を備える固体撮像装置。
　（１１）
　第１の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第１の差分検出部と、
　第２の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第２の差分検出部と、
　前記第１または第２の撮影条件で撮影された前記左目用の画像、もしくは、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の差分検出部により検出された前記第１の撮影条件の差分情報と、前記第２の差分検出部により検出された前記第２の撮影条件の差分情報とを合成し、合成後の差分情報をデプス値として生成する合成部と
　を備える画像処理装置。
　（１２）
　前記合成部は、前記第１および第２の撮影条件で撮影された前記左目用の画像のうちのＳＮ比の良い方の画像、または、前記第１および第２の撮影条件で撮影された前記右目用の画像のうちのＳＮ比の良い方の画像に基づいて、前記合成を行う
　ように構成された
　前記（１１）に記載の画像処理装置。
　（１３）
　前記合成部は、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像の輝度に基づいて、前記合成を行う
　ように構成された
　前記（１１）または（１２）に記載の画像処理装置。
　（１４）
　前記合成部は、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像のコントラストに基づいて、前記合成を行う
　ように構成された
　前記（１１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）
　前記合成部は、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像と、過去のデプス値とに基づいて、前記合成を行う
　ように構成された
　前記（１１）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）
　前記合成部は、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像と、その画像の動きベクトルとに基づいて、前記合成を行う
　ように構成された
　前記（１１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）
　前記第１の撮影条件と前記第２の撮影条件では、露光時間、感度、撮影ゲイン、またはフォーカス位置が異なる
　ように構成された
　前記（１１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）
　画像処理装置が、
　第１の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第１の差分検出ステップと、
　第２の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第２の差分検出ステップと、
　前記第１または第２の撮影条件で撮影された前記左目用の画像、もしくは、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の差分検出ステップの処理により検出された前記第１の撮影条件の差分情報と、前記第２の差分検出ステップの処理により検出された前記第２の撮影条件の差分情報とを合成し、合成後の差分情報をデプス値として生成する合成ステップと
　を含む画像処理方法。
　（１９）
　第１および第２の撮影条件で左目用の画像と右目用の画像を撮影する撮影部と、
　前記撮影部により前記第１の撮影条件で撮影された前記左目用の画像と前記右目用の画像の差分情報を検出する第１の差分検出部と、
　前記撮影部により前記第２の撮影条件で撮影された前記左目用の画像と前記右目用の画像の差分情報を検出する第２の差分検出部と、
　前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の差分検出部により検出された前記第１の撮影条件の差分情報と、前記第２の差分検出部により検出された前記第２の撮影条件の差分情報とを合成し、合成後の差分情報をデプス値として生成する合成部と
　を備える固体撮像装置。

　１１　デジタルカメラ，　４１　撮影部，　５５　動きベクトル検出部，　８３，８４　差分検出部，　１４６　ブレンドテーブル生成部，　１４７　ブレンド部，　２２１，２２２　動き検出部，　２８０　デジタルカメラ，　２８１－１，２８１－２　撮影部，　３０３，３０４　差分検出部，　３０６　合成部

Claims

　第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報を検出する第１の差分検出部と、
　第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報を検出する第２の差分検出部と、
　前記第１または第２の画像に基づいて、前記第１の差分検出部により検出された前記第１の画像の差分情報と、前記第２の差分検出部により検出された前記第２の画像の差分情報とを合成し、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルを生成する合成部と
　を備える画像処理装置。
　前記合成部は、前記第１の画像および前記第２の画像のうちのＳＮ比の良い方の画像に基づいて、前記合成を行う
　ように構成された
　請求項１に記載の画像処理装置。
　前記合成部は、前記第１の画像または前記第２の画像の輝度に基づいて、前記合成を行う
　ように構成された
　請求項１に記載の画像処理装置。
　前記合成部は、前記第１の画像または前記第２の画像のコントラストに基づいて、前記合成を行う
　ように構成された
　請求項１に記載の画像処理装置。
　前記合成部は、前記第１の画像または前記第２の画像、および、前記第１のフレームより前のフレームの動きベクトルに基づいて、前記合成を行う
　ように構成された
　請求項１に記載の画像処理装置。
　前記第１の画像または前記第２の画像と、前記第１のフレームより前のフレームの動きベクトルとに基づいて、前記第１および第２の画像の差分情報のブレンド比を決定するブレンド比決定部
　をさらに備え、
　前記合成部は、前記ブレンド比決定部により決定された前記ブレンド比に基づいて前記合成を行う
　ように構成された
　請求項５に記載の画像処理装置。
　前記第１の撮影条件と前記第２の撮影条件では、露光時間、感度、撮影ゲイン、またはフォーカス位置が異なる
　ように構成された
　請求項１に記載の画像処理装置。
　前記第１のフレームの前記第１の画像と前記第２の画像を用いて第１の動きベクトルを検出する第１の動き検出部と、
　前記第２のフレームの前記第１の画像と前記第２の画像を用いて第２の動きベクトルを検出する第２の動き検出部と
　をさらに備え、
　前記合成部は、前記第１または第２の画像、前記第１の動きベクトル、および前記第２の動きベクトルに基づいて、前記合成を行う
　ように構成された
　請求項１に記載の画像処理装置。
　画像処理装置が、
　第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報を検出する第１の差分検出ステップと、
　第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報を検出する第２の差分検出ステップと、
　前記第１または第２の画像に基づいて、前記第１の差分検出ステップの処理により検出された前記第１の画像の差分情報と、前記第２の差分検出ステップの処理により検出された前記第２の画像の差分情報とを合成し、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルを生成する合成ステップと
　を含む画像処理方法。
　第１および第２の撮影条件で撮影を行う撮影部と、
　前記撮影部により前記第１の撮影条件で撮影された第１および第２のフレームの第１の画像の差分情報を検出する第１の差分検出部と、
　前記撮影部により前記第２の撮影条件で撮影された前記第１および第２のフレームの第２の画像の差分情報を検出する第２の差分検出部と、
　前記第１または第２の画像に基づいて、前記第１の差分検出部により検出された前記第１の画像の差分情報と、前記第２の差分検出部により検出された前記第２の画像の差分情報とを合成し、合成後の差分情報に基づいて、前記第１のフレームの動きベクトルを生成する合成部と
　を備える固体撮像装置。
　第１の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第１の差分検出部と、
　第２の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第２の差分検出部と、
　前記第１または第２の撮影条件で撮影された前記左目用の画像、もしくは、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の差分検出部により検出された前記第１の撮影条件の差分情報と、前記第２の差分検出部により検出された前記第２の撮影条件の差分情報とを合成し、合成後の差分情報をデプス値として生成する合成部と
　を備える画像処理装置。
　前記合成部は、前記第１および第２の撮影条件で撮影された前記左目用の画像のうちのＳＮ比の良い方の画像、または、前記第１および第２の撮影条件で撮影された前記右目用の画像のうちのＳＮ比の良い方の画像に基づいて、前記合成を行う
　ように構成された
　請求項１１に記載の画像処理装置。
　前記合成部は、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像の輝度に基づいて、前記合成を行う
　ように構成された
　請求項１１に記載の画像処理装置。
　前記合成部は、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像のコントラストに基づいて、前記合成を行う
　ように構成された
　請求項１１に記載の画像処理装置。
　前記合成部は、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像と、過去のデプス値とに基づいて、前記合成を行う
　ように構成された
　請求項１１に記載の画像処理装置。
　前記合成部は、前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像と、その画像の動きベクトルとに基づいて、前記合成を行う
　ように構成された
　請求項１１に記載の画像処理装置。
　前記第１の撮影条件と前記第２の撮影条件では、露光時間、感度、撮影ゲイン、またはフォーカス位置が異なる
　ように構成された
　請求項１１に記載の画像処理装置。
　画像処理装置が、
　第１の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第１の差分検出ステップと、
　第２の撮影条件で撮影された左目用の画像と右目用の画像の差分情報を検出する第２の差分検出ステップと、
　前記第１または第２の撮影条件で撮影された前記左目用の画像、もしくは、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の差分検出ステップの処理により検出された前記第１の撮影条件の差分情報と、前記第２の差分検出ステップの処理により検出された前記第２の撮影条件の差分情報とを合成し、合成後の差分情報をデプス値として生成する合成ステップと
　を含む画像処理方法。
　第１および第２の撮影条件で左目用の画像と右目用の画像を撮影する撮影部と、
　前記撮影部により前記第１の撮影条件で撮影された前記左目用の画像と前記右目用の画像の差分情報を検出する第１の差分検出部と、
　前記撮影部により前記第２の撮影条件で撮影された前記左目用の画像と前記右目用の画像の差分情報を検出する第２の差分検出部と、
　前記第１または第２の撮影条件で撮影された前記左目用の画像、または、前記第１または第２の撮影条件で撮影された前記右目用の画像に基づいて、前記第１の差分検出部により検出された前記第１の撮影条件の差分情報と、前記第２の差分検出部により検出された前記第２の撮影条件の差分情報とを合成し、合成後の差分情報をデプス値として生成する合成部と
　を備える固体撮像装置。