JP6635722B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

近年のデジタルカメラなどの画像処理装置では、音声付き動画を撮影記録する様々な方式が採られており、最近では、露光時間を変更しながらオーバー露光、適正露光、アンダー露光の画像を連続撮像して各画像を合成するものが知られている。この合成により、ダイナミックレンジの広い動画（以下、ＨＤＲ動画という）を生成することができる。

特許文献１では、連続撮像した各画像の被写体に変化があり、画像合成に不具合が発生する場合には、画像合成を行わないと判断し、撮像した画像をそのまま利用する方法が開示されている。

特開２００７−３６７４２号公報

しかし、特許文献１では、画像合成を行う各画像のうち、例えば最後の画像で画像合成を行わないと判断された場合、以下の２点の課題がある。１点目は、最後の画像以前の画像に対して合成のために行った処理が無駄となってしまうことである。２点目は、撮像した画像をそのまま利用するために、画像合成を行わないことが決定する時（最後の画像の被写体の変化の検出時）まで、撮像した画像をメモリに保持しておかなければならないことである。つまり、特許文献１では、電力とメモリを無駄に消費してしまうという課題がある。

本発明の目的は、電力及びメモリの消費を低減することができる画像処理装置、画像処理方法及びプログラムを提供することである。

本発明の画像処理装置は、画像を生成する撮像部と、前記撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出部と、露光時間が異なる複数の画像を前記撮像部に生成させる制御部と、前記露光時間が異なる複数の画像を合成する画像合成部とを有し、前記エッジ部輝度算出部により算出された輝度が第１の閾値未満である場合、前記制御部は、露光時間の短い画像を、露光時間の長い画像よりも先に生成させるよう前記撮像部を制御し、前記エッジ部輝度算出部により算出された輝度が第１の閾値より大きい場合、前記制御部は、露光時間の長い画像を、露光時間の短い画像よりも先に生成させるよう前記撮像部を制御することを特徴とする。

露光時間の順序を異ならせることにより、電力及びメモリの消費を低減することができる。

本実施形態による画像処理装置の構成例を示す図である。 本実施形態による画像処理方法を示すフローチャートである。 本実施形態による撮像フレームレート切り替え時を示す図である。 比較例による撮像フレームレート切り替え時を示す図である。 本実施形態によるメモリ使用状況を示す図である。 比較例によるメモリ使用状況を示す図である。

図１は、本発明の実施形態による画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、例えばカメラであり、ズームレンズ１１０、カメラのブレを補正するシフトレンズ１１１、及び焦点調節用フォーカスレンズ１１２を有する。メカニカルシャッタ１１３は、レンズ１１０〜１１２から撮像素子１１５への光束を遮断する。絞り１１４は、撮像素子１１５への光束を調節する。撮像素子１１５は、光電変換により、被写体の光像を基に画像信号を生成する撮像部である。タイミング発生部１１６は、撮像素子１１５を駆動し、サンプリングに必要なタイミングパルスを画像処理部１１７に出力する。

画像処理部１１７は、ＳＳＧ回路１４５、前処理回路１４１、ＡＦ評価値演算回路１４２、輝度積分回路１４３、信号処理回路１４６、画像合成回路１４４、縮小回路１４７、ラスタブロック変換回路１４８及び圧縮回路１４９を有する。ＳＳＧ回路１４５は、撮像駆動用の同期信号を生成する。具体的には、ＳＳＧ回路１４５は、タイミング発生部１１６から撮像駆動用クロック信号を入力し、水平及び垂直同期信号を生成してタイミング発生部１１６及び撮像素子１１５に出力する。前処理回路１４１は、入力画像を行単位で輝度積分回路１４３と信号処理回路１４６とに分配する。また、前処理回路１４１は、撮像データに必要となるチャネル間のデータ補正等の処理を行う。ＡＦ評価値演算回路１４２は、設定された複数の評価領域内に入力される画像信号の輝度成分について水平方向のフィルタ処理を施し、コントラストを表す所定周波数を抽出しながら最大値を選択し、垂直方向に積分演算を行う。輝度積分回路１４３は、ＲＧＢ信号から輝度成分を混合生成し、入力画像を複数領域に分割し、領域毎に輝度成分を生成する。信号処理回路１４６は、撮像素子１１５の出力データに対して、色キャリア除去、アパーチャー補正、ガンマ補正処理等を行って輝度信号を生成する。同時に、信号処理回路１４６は、色補間、マトリックス変換、ガンマ処理、ゲイン調整等を施して色差信号を生成し、メモリ部１２３にＹＵＶ形式の画像データを格納する。また、信号処理回路１４６は、生成するＹＵＶ形式の画像データの輝度信号（Ｙ）をそのレベル毎に集計し、画像データ毎の輝度分布データを生成する。画像合成回路１４４は、メモリ部１２３に格納された複数のＲＧＢ形式の撮像画像、又はその撮像画像に対して信号処理を施した複数のＹＵＶ形式の画像データを入力し、画像データに対し画素単位で設定された係数を乗じて加算することにより合成画像を生成する。縮小回路１４７は、信号処理回路１４６の出力信号を入力し、入力される画素データの切り出し、間引き、及び線形補間処理等を行い、水平及び垂直方向に画素データの縮小処理を施す。それを受けて、ラスタブロック変換回路１４８は、縮小回路１４７で変倍されたラスタスキャン画像データをブロックスキャン画像データに変換する。こうした一連の画像処理は、メモリ部１２３がバッファメモリとして用いられて実現される。圧縮回路１４９は、バッファメモリでブロックスキャンデータに変換されたＹＵＶ画像データを動画圧縮方式に従って圧縮して、動画ビットストリームを出力する。

露出制御部１１８は、メカニカルシャッタ１１３及び絞り１１４を制御する。レンズ駆動部１１９は、ズームレンズ１１０及び焦点調節用フォーカスレンズ１１２を光軸上に沿って移動させ、被写体像を撮像素子１１５上に結像させる。また、レンズ駆動部１１９は、角速度センサ及び加速度センサの出力に応じてシフトレンズ１１１を駆動し、画像処理装置１００の手ブレを光学的に補正する。また、レリーズスイッチ１２０は、撮影指示を行うためのスイッチである。また、動画ボタン１８０は、動画記録を指示するスイッチである。

システム制御部１２１は、ＣＰＵと、インターフェース回路と、ＤＭＡＣ（Direct・Memory・Access・Controller）と、バスアービターとを有する。システム制御部１２１が実行するプログラムは、フラッシュメモリ１２２に記憶されている。また、メモリ部１２３は、ＤＲＡＭ等であり、各処理途中のデータを一時保存する他、フラッシュメモリ１２２内のプログラムを展開して使用される。インターフェース部１２４は、記録媒体２００とのインターフェースである。コネクタ１２５は、記録媒体２００と接続を行う。記録媒体着脱検知スイッチ１２６は、記録媒体２００の着脱を検知する。

マイクロフォン１２７は、入力された音声を音声信号に変換する。Ａ／Ｄ変換器１２８は、マイクロフォン１２７のアナログ音声出力をデジタル音声信号に変換する。音声処理部１２９は、デジタル音声データに所定の音声処理を施し、音声ビットストリームを出力する。

電源制御部１３０は、電池検出回路及びＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。電源１３２は、一次電池あるいは二次電池あるいはＡＣアダプター等であり、電源コネクタ１３１を介して電源制御部１３０に接続される。これらの制御は、システム制御部１２１で行われる。

再生回路１５０は、画像処理部１１７で生成され、メモリ部１２３に記憶された画像データを表示用画像に変換してモニタ１５１に転送する。モニタ１５１は、表示装置である。再生回路１５０は、ＹＵＶ形式の画像データを輝度成分信号Ｙと変調色差成分Ｃとに分離し、Ｄ／Ａ変換を行ったアナログ化された輝度成分信号Ｙにローパスフィルタリング（ＬＰＦ）を施す。また、再生回路１５０は、Ｄ／Ａ変換を行ったアナログ変調色差成分Ｃにバンドパスフィルタリング（ＢＰＦ）を施して変調色差成分Ｃの周波数成分のみを抽出する。再生回路１５０は、こうして生成された信号成分とサブキャリア周波数に基づいて、Ｙ信号とＲＧＢ信号に変換生成して、モニタ１５１に出力する。このように、撮像素子１１５からの画像データを逐次処理してモニタ１５１に表示することによって電子ビューファインダ（ＥＶＦ）が実現される。

記録媒体２００は、半導体メモリ等から構成される記録部２０１、画像処理装置１００とのインターフェース部２０２、画像処理装置１００と接続を行うコネクタ２０３、媒体記録禁止スイッチ２０４を有する。

本実施形態では、露光時間を変えて連続する複数のフレームの画像を合成することによりＨＤＲ動画を生成する例を説明する。ＨＤＲは、ハイダイナミックレンジである。ここでは、画像の明暗差を判定し、その判定結果により、ＨＤＲ動画もしくは通常動画を動的に切り替えながら記録を行う自動ＨＤＲ動画について説明する。

なお、前提として、撮像素子１１５としてＣＭＯＳセンサを使用し、記録フレームレートは６０ＦＰＳとする。ＨＤＲ動画時の撮像駆動モードは少なくとも１８０ＦＰＳ以上の高速読み出しが可能なモードを使用するものとする。ただし、撮像フレームレートは１８０ＦＰＳ又は６０ＦＰＳの可変設定とする。ＨＤＲ動画では、撮像フレームレートを１８０ＦＰＳとして、連続撮像したオーバー露光、適正露光、アンダー露光の３枚を合成することで、１枚のＨＤＲフレームを作成する。一方、通常動画では、撮像フレームレートを６０ＦＰＳに切り替える。

図２は、画像処理装置１００の画像処理方法（自動ＨＤＲ動画記録処理）を示すフローチャートである。この各処理は、システム制御部１２１がフラッシュメモリ１２２に格納されたプログラムをメモリ部１２３に展開して実行することにより実現される。なお、図２は、動画ボタン１８０により動画記録開始が指示された後の処理を表している。

まず、ステップＳ２０１では、システム制御部１２１は、画像処理部１１７に対して、通常動画用の６０ＦＰＳの撮像駆動指示を行う。さらに、システム制御部１２１は、撮像素子１１５に対して、通常動画用のタイミング設定を行う。次に、ステップＳ２０２では、システム制御部１２１は、撮像素子１１５から画像処理部１１７に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正露光（Ｍ）となるような適正露光時間の設定を行う。そして、システム制御部１２１は、適正露光時間で撮像素子１１５に画像を生成させる。

次に、ステップＳ２０３では、システム制御部（エッジ部抽出部）１２１は、ステップＳ２０２の適正露光時間で生成された適正露光画像（Ｍ）に対して、主要被写体のエッジ部を抽出する。次に、ステップＳ２０４では、システム制御部（エッジ部輝度算出部）１２１は、ステップＳ２０３により抽出されたエッジ部の輝度を算出する。次に、ステップＳ２０５では、システム制御部（明暗差検出部）１２１は、上記の適正露光画像のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップＳ２０６では、システム制御部１２１は、適正露光画像を動画の１フレームとしてエンコードして記録する。すなわち、画像処理部（画像合成部）１１７は、適正露光時間の画像を合成せずに出力する。次に、ステップＳ２０７では、システム制御部１２１は、動画ボタン１８０による動画記録停止が指示されているか否かを判定する。動画記録停止が指示されている場合にはステップＳ２０８へ進み、指示されていない場合にはステップＳ２０９へ進む。

ステップＳ２０９では、システム制御部１２１は、ステップＳ２０５又は後述するステップＳ２１６、Ｓ２２８で検出した明暗差が第２の閾値以上か否かを判定する。明暗差が第２の閾値未満である場合にはステップＳ２０１へ戻り、第２の閾値以上である場合にはステップＳ２１０へ進む。

ステップＳ２１０では、システム制御部１２１は、画像処理部１１７に対して、ＨＤＲ動画用の１８０ＦＰＳの撮像駆動指示を行う。さらに、システム制御部１２１は、撮像素子１１５に対して、ＨＤＲ動画用のタイミング設定を行う。次に、ステップＳ２１１では、システム制御部１２１は、ステップＳ２０４又は後述するステップＳ２１５、Ｓ２２７で算出したエッジ部の輝度が第１の閾値以上か否かを判定する。輝度が第１の閾値未満である場合にはステップＳ２１２へ進み、第１の閾値以上である場合にはステップＳ２２４へ進む。

ステップＳ２１２では、システム制御部１２１は、撮像素子１１５から画像処理部１１７に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正となる適正露光時間（Ｍ）を決定する。そして、システム制御部１２１は、フレーム毎に露光時間がアンダー露光時間、適正露光時間、オーバー露光時間の順序（Ｌ→Ｍ→Ｈ）で変わるように露光時間の設定を行い、各露光時間のフレームの画像を撮像素子１１５から読み出す。すなわち、システム制御部１２１は、アンダー露光時間、適正露光時間、オーバー露光時間の順序で撮像素子１１５に画像を生成させる。

次に、ステップＳ２１３では、システム制御部（エッジ部抽出部）１２１は、ステップＳ２１２でアンダー露光時間で生成されたアンダー露光画像（Ｌ）から、主要被写体のエッジ部を抽出する。次に、ステップＳ２１４では、システム制御部（エッジ部抽出部）１２１は、ステップＳ２１２で適正露光時間で生成された適正露光画像（Ｍ）から、主要被写体のエッジ部を抽出する。次に、ステップＳ２１５では、システム制御部（エッジ部輝度算出部）１２１は、ステップＳ２１４で抽出されたエッジ部の輝度を算出する。次に、ステップＳ２１６では、システム制御部（明暗差検出部）１２１は、適正露光画像（Ｍ）のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップＳ２１７では、システム制御部１２１は、ステップＳ２１３で抽出したアンダー露光画像（Ｌ）のエッジ部の有無を判定する。エッジ部がある場合にはステップＳ２１８へ進み、エッジ部がない場合にはステップＳ２２３へ進む。

ステップＳ２１８では、システム制御部１２１は、ステップＳ２１２で適正露光時間で生成された適正露光画像（Ｍ）から、合成用画像（Ｍ’）を生成する。次に、ステップＳ２１９では、システム制御部１２１は、ステップＳ２１２でアンダー露光時間で生成されたアンダー露光画像（Ｌ）とステップＳ２１８で生成された合成用画像（Ｍ’）とを画像処理部１１７により合成し、中間合成画像（Ｌ＋Ｍ’＝α）を生成する。次に、ステップＳ２２０では、システム制御部１２１は、ステップＳ２１２でオーバー露光時間で生成されたオーバー露光画像（Ｈ）から、合成用画像（Ｈ’）を生成する。次に、ステップＳ２２１では、システム制御部１２１は、ステップＳ２１９で生成された中間合成画像（Ｌ＋Ｍ’＝α）と、ステップＳ２２０で生成された合成用画像（Ｈ’）とを画像処理部１１７により合成し、ＨＤＲ画像（Ｌ＋Ｍ’＋Ｈ’）を生成する。ＨＤＲ画像（Ｌ＋Ｍ’＋Ｈ’）は、アンダー露光画像（Ｌ）に対して、適正露光画像（Ｍ）及びオーバー露光画像（Ｈ）を合成した画像である。すなわち、画像処理部（画像合成部）１１７は、アンダー露光時間、適正露光時間及びオーバー露光時間で生成された画像を合成し、その合成したＨＤＲ画像（Ｌ＋Ｍ’＋Ｈ’）を出力する。次に、ステップＳ２２２では、システム制御部１２１は、ステップＳ２２１で生成されたＨＤＲ画像（Ｌ＋Ｍ’＋Ｈ’）を動画の１フレームとしてエンコードして記録する。その後、ステップＳ２０７へ進む。

ステップＳ２２３では、システム制御部１２１は、ステップＳ２１２で適正露光時間で生成された適正露光画像（Ｍ）を合成せずに動画の１フレームとしてエンコードして記録する。すなわち、画像処理部（画像合成部）１１７は、適正露光時間で生成された画像を合成せずに出力する。その後、ステップＳ２０７へ進む。

ステップＳ２２４では、システム制御部１２１は、撮像素子１１５から画像処理部１１７に入力された画像を複数ブロックに分割し、ブロック毎に信号を積分した結果を基に画像が適正となる適正露光時間（Ｍ）を決定する。そして、システム制御部１２１は、フレーム毎に露光時間がオーバー露光時間、適正露光時間、アンダー露光時間の順序（Ｈ→Ｍ→Ｌ）で変わるように露光時間の設定を行い、各露光時間のフレームの画像を撮像素子１１５から読み出す。すなわち、システム制御部１２１は、オーバー露光時間、適正露光時間、アンダー露光時間の順序で撮像素子１１５に画像を生成させる。

次に、ステップＳ２２５では、システム制御部（エッジ部抽出部）１２１は、ステップＳ２２４でオーバー露光時間で生成されたオーバー露光画像（Ｈ）から、主要被写体のエッジ部を抽出する。次に、ステップＳ２２６では、システム制御部（エッジ部抽出部）１２１は、ステップＳ２２４で適正露光時間で生成された適正露光画像（Ｍ）から、主要被写体のエッジ部を抽出する。次に、ステップＳ２２７では、システム制御部（エッジ部輝度算出部）１２１は、ステップＳ２２６で抽出されたエッジ部の輝度を算出する。次に、ステップＳ２２８では、システム制御部１２１は、適正露光画像（Ｍ）のブロック毎に信号を積分し、その積分結果を基に適正露光画像内の高輝度ブロックと低輝度ブロックの間の明暗差を検出する。次に、ステップＳ２２９では、システム制御部１２１は、ステップＳ２２５で抽出されたオーバー露光画像（Ｈ）のエッジ部の有無を判定する。エッジ部がある場合にはステップＳ２３０へ進み、エッジ部がない場合にはステップＳ２２３へ進む。

ステップＳ２３０では、システム制御部１２１は、ステップＳ２２４で適正露光時間で生成された適正露光画像（Ｍ）から、合成用画像（Ｍ’）を生成する。次に、ステップＳ２３１では、システム制御部１２１は、ステップＳ２２４でオーバー露光時間で生成されたオーバー露光画像（Ｈ）とステップＳ２３０で生成された合成用画像（Ｍ’）とを画像処理部１１７により合成し、中間合成画像（Ｈ＋Ｍ’＝β）を生成する。次に、ステップＳ２３２では、システム制御部１２１は、ステップＳ２２４でアンダー露光時間で生成されたアンダー露光画像（Ｌ）から、合成用画像（Ｌ’）を生成する。次に、ステップＳ２３３では、システム制御部１２１は、ステップＳ２３１で生成された中間合成画像（Ｈ＋Ｍ’＝β）と、ステップＳ２３２で生成された合成用画像（Ｌ’）とを画像処理部１１７により合成し、ＨＤＲ画像（Ｈ＋Ｍ’＋Ｌ’）を生成する。ＨＤＲ画像（Ｈ＋Ｍ’＋Ｌ’）は、オーバー露光画像（Ｈ）に対して、適正露光画像（Ｍ）及びアンダー露光画像（Ｌ）を合成した画像である。すなわち、画像処理部（画像合成部）１１７は、オーバー露光時間、適正露光時間及びアンダー露光時間で生成された画像を合成し、その合成したＨＤＲ画像（Ｈ＋Ｍ’＋Ｌ’）を出力する。次に、ステップＳ２３４では、システム制御部１２１は、ステップＳ２３３で生成されたＨＤＲ画像（Ｈ＋Ｍ’＋Ｌ’）を動画の１フレームとしてエンコードして記録する。その後、ステップＳ２０７へ進む。

ステップＳ２０８では、システム制御部１２１は、ステップＳ２０７にて動画ボタン１８０による動画記録停止が指示されていると判定された場合であるので、動画記録を停止し、本処理を終了する。

以上のように、システム制御部１２１は、ステップＳ２１１の輝度に応じて、異なる順序で露光時間が異なる複数の画像を撮像素子１１５に生成させる（Ｓ２１２又はＳ２２４）。

図３は、本実施形態において、自動ＨＤＲ動画記録中に、撮像フレームレートが６０ＦＰＳから１８０ＦＰＳへ切り替える際の、画像の読み出しから動画エンコードまでの様子を時系列で表した図である。撮像ＶＤ３ａは、撮像垂直同期信号である。センサ読み出し３ｂは、撮像素子１１５からの読み出し処理を表す。エッジ部抽出３ｃは、読み出し画像からの主要被写体のエッジ部抽出処理を表す。エッジ部輝度算出３ｄは、抽出したエッジ部の輝度算出処理を表す。明暗差検出３ｅは、画像内の明暗差検出処理を表す。合成用画像生成３ｆは、合成用画像を生成する処理を表す。合成３ｇは、画像合成処理を表す。動画エンコード３ｈは、動画をエンコードする処理を表す。記録ＶＤ３ｉは、記録垂直同期信号である。

時刻ｔ１〜ｔ２では、システム制御部１２１は、通常動画記録を行っている状態であり、撮像フレームレートは６０ＦＰＳ、１垂直期間は１６．６７ｍｓとなっている。時刻ｔ１では、システム制御部１２１は、センサ読み出し３ｂに示すように、適正露光画像（Ｍ）の読み出しを行う（Ｓ２０２）。次に、システム制御部１２１は、エッジ抽出３ｃに示すように、その画像から主要被写体のエッジ部を抽出する（Ｓ２０３）。次に、システム制御部１２１は、エッジ部輝度算出３ｄに示すように、そのエッジ部の輝度を算出する（Ｓ２０４）。次に、システム制御部１２１は、明暗差検出３ｅに示すように、画像内の明暗差を検出する（Ｓ２０５）。次に、システム制御部１２１は、動画エンコード３ｈに示すように、動画をエンコード処理する（Ｓ２０６）。

時刻ｔ２では、システム制御部１２１は、画像内から検出した明暗差が第２の閾値以上と判定し（Ｓ２０９）、撮像フレームレートを６０ＦＰＳから１８０ＦＰＳへ切り替える（Ｓ２１０）。これにより、撮像フレームレートは１８０ＦＰＳ、１垂直期間は５．５６ｍｓとなる。ここで、ステップＳ２１１で、時刻ｔ１で読み出された画像のエッジ部の輝度が第１の閾値未満である場合を説明する。システム制御部１２１は、センサ読み出し３ｂに示すように、アンダー露光画像（Ｌ）の読み出しを行う（Ｓ２１２）。次に、システム制御部１２１は、エッジ部抽出３ｃに示すように、そのアンダー露光画像（Ｌ）から主要被写体のエッジ部を抽出する（Ｓ２１３）。その結果、ステップＳ２１７で、エッジ部がないと判定される場合を説明する。

時刻ｔ３では、システム制御部１２１は、センサ読み出し３ｂに示すように、適正露光画像（Ｍ）の読み出しを行う（Ｓ２１２）。上記のステップＳ２１７で、エッジ部がないと判定されているので、システム制御部１２１は、適正露光画像（Ｍ）に対して、主要被写体のエッジ部抽出３ｃ（Ｓ２１４）、エッジ部輝度算出３ｄ（Ｓ２１５）、合成用画像生成３ｆ（Ｓ２１８）を行わない。さらに、システム制御部１２１は、合成３ｇ（Ｓ２１９，Ｓ２２１）を行わず、動画エンコード３ｈを行う（Ｓ２２３）。

時刻ｔ４では、上記のステップＳ２１７で、エッジ部がないと判定されているので、システム制御部１２１は、センサ読み出し３ｂのオーバー露光画像（Ｈ）の読み出し（Ｓ２１２）を行わない。その後、時刻ｔ２〜ｔ４の処理が繰り返される。

時刻ｔ５では、システム制御部１２１は、センサ読み出し３ｂに示すように、アンダー露光画像（Ｌ）の読み出しを行う（Ｓ２１２）。次に、システム制御部１２１は、エッジ部抽出３ｃに示すように、アンダー露光画像（Ｌ）から主要被写体のエッジ部を抽出する（Ｓ２１３）。その結果、ステップＳ２１７で、エッジ部があると判定される場合を説明する。

時刻ｔ６では、システム制御部１２１は、センサ読み出し３ｂに示すように、適正露光画像（Ｍ）の読み出しを行う（Ｓ２１２）。次に、システム制御部１２１は、エッジ部抽出３ｃに示すように、適正露光画像（Ｍ）から主要被写体のエッジ部を抽出する（Ｓ２１４）。次に、システム制御部１２１は、明暗差検出３ｅに示すように、適正露光画像（Ｍ）内の明暗差を検出する（３ｅ）。次に、システム制御部１２１は、合成用画像生成３ｆに示すように、合成用画像（Ｍ’）を生成する（Ｓ２１８）。次に、システム制御部１２１は、合成３ｇに示すように、アンダー露光画像（Ｌ）と合成用画像（Ｍ’）とを合成し、合成画像（Ｌ＋Ｍ’＝α）を生成する（Ｓ２１９）。

時刻ｔ７では、システム制御部１２１は、センサ読み出し３ｂに示すように、オーバー露光画像（Ｈ）の読み出しを行う（Ｓ２１２）。次に、システム制御部１２１は、合成用画像生成３ｆに示すように、オーバー露光画像（Ｈ）から主要被写体の合成用画像（Ｈ’）を生成する（Ｓ２２０）。次に、システム制御部１２１は、合成３ｇに示すように、合成画像（α）と合成用画像（Ｈ’）とを合成し、合成画像（α＋Ｈ’＝β）を生成する（Ｓ２２１）。次に、システム制御部１２１は、動画エンコード３ｈに示すように、動画をエンコード処理する（Ｓ２２２）。

図４は、比較例において、撮像フレームレートが６０ＦＰＳから１８０ＦＰＳへ切り替える際の、画像の読み出しから動画エンコードまでの様子を時系列で表した図である。撮像ＶＤ４ａは、撮像垂直同期信号である。センサ読み出し４ｂは、撮像素子１１５からの読み出し処理を表す。エッジ部抽出４ｃは、読み出し画像からの主要被写体のエッジ部抽出処理を表す。明暗差検出４ｄは、画像内の明暗差検出処理を表す。合成用画像生成４ｅは、合成用画像を生成する処理を表す。合成４ｆは、画像合成処理を表す。動画エンコード４ｇは、動画をエンコードする処理を表す。記録ＶＤ４ｈは、記録垂直同期信号である。

時刻ｔ１〜ｔ２では、システム制御部１２１は、通常動画記録を行っている状態であり、撮像フレームレートは６０ＦＰＳ、１垂直期間は１６．６７ｍｓとなっている。時刻ｔ１では、システム制御部１２１は、センサ読み出し４ｂに示すように、適正露光画像（Ｍ）の読み出しを行う。次に、システム制御部１２１は、明暗差検出４ｄに示すように、適正露光画像（Ｍ）から画像内の明暗差を検出する。次に、システム制御部１２１は、動画エンコード４ｇに示すように、動画をエンコード処理する。

時刻ｔ２では、上記の検出した明暗差が第２の閾値以上となり、システム制御部１２１は、撮像フレームレートを６０ＦＰＳから１８０ＦＰＳへ切り替える。これにより、撮像フレームレートは１８０ＦＰＳ、１垂直期間は５．５６ｍｓとなる。なお、図４では、システム制御部１２１は、撮像フレームレートが１８０ＦＰＳの際の露光時間の変更順序を、常にオーバー露光、適正露光、アンダー露光（Ｈ→Ｍ→Ｌ）としている。

時刻ｔ２では、システム制御部１２１は、センサ読み出し４ｂに示すように、オーバー露光画像（Ｈ）の読み出しを行う。次に、システム制御部１２１は、エッジ部抽出４ｃに示すように、オーバー露光画像（Ｈ）から主要被写体のエッジ部を抽出する。

時刻ｔ３では、システム制御部１２１は、センサ読み出し４ｂに示すように、適正露光画像（Ｍ）の読み出しを行う。次に、システム制御部１２１は、エッジ部抽出４ｃに示すように、適正露光画像（Ｍ）から主要被写体のエッジ部を抽出する。次に、システム制御部１２１は、明暗差検出４ｄに示すように、適正露光画像（Ｍ）内の明暗差を検出する。次に、システム制御部１２１は、合成用画像生成４ｅに示すように、合成用画像（Ｍ’）を生成する。次に、システム制御部１２１は、合成４ｆに示すように、オーバー露光画像（Ｈ）と合成用画像（Ｍ’）とを合成し、合成画像（Ｈ＋Ｍ’＝α）を生成する。

時刻ｔ４では、システム制御部１２１は、センサ読み出し４ｂに示すように、アンダー露光画像（Ｌ）の読み出しを行う。次に、システム制御部１２１は、エッジ部抽出４ｃに示すように、アンダー露光画像（Ｌ）から主要被写体のエッジ部を抽出する。その結果、エッジ部がないと判定される場合を説明する。その場合、システム制御部１２１は、動画エンコード４ｇに示すように、時刻ｔ３で読み出された適正露光画像（Ｍ）に対して動画エンコード処理を行う。

図３の本実施形態と比較して、図４の比較例の無駄な処理を説明する。図４の比較例では、時刻ｔ２におけるオーバー露光画像（Ｈ）の読み出し、時刻ｔ３における適正露光画像（Ｍ）に対する主要被写体のエッジ部抽出処理４ｃ、合成用画像（Ｍ’）生成処理４ｅ、合成画像（Ｈ＋Ｍ’＝α）の生成処理４ｆが無駄な処理である。これにより、図４の比較例では、余計な電力を消費してしまっている。逆に、図３の本実施形態は、図４の比較例に比較して、無駄な処理及び余計な電力消費を低減することができる。

時刻ｔ５では、システム制御部１２１は、センサ読み出し４ｂに示すように、オーバー露光画像（Ｈ）の読み出しを行う。次に、システム制御部１２１は、エッジ部抽出４ｃに示すように、オーバー露光画像（Ｈ）から主要被写体のエッジ部を抽出する。

時刻ｔ６では、システム制御部１２１は、センサ読み出し４ｂに示すように、適正露光画像（Ｍ）の読み出しを行う。次に、システム制御部１２１は、エッジ部抽出４ｃに示すように、適正露光画像（Ｍ）から主要被写体のエッジ部を抽出する。次に、システム制御部１２１は、明暗差検出４ｄに示すように、適正露光画像（Ｍ）内の明暗差を検出する。次に、システム制御部１２１は、合成用画像生成４ｅに示すように、合成用画像（Ｍ’）を生成する。次に、システム制御部１２１は、合成４ｆに示すように、合成画像（Ｈ＋Ｍ’＝α）を生成する。

時刻ｔ７では、システム制御部１２１は、センサ読み出し４ｂに示すように、アンダー露光画像（Ｌ）の読み出しを行う。次に、システム制御部１２１は、エッジ部抽出４ｃに示すように、アンダー露光画像（Ｌ）から主要被写体のエッジ部を抽出する。その結果、エッジ部があると判定される場合を説明する。その場合、システム制御部１２１は、合成用画像生成４ｅに示すように、アンダー露光画像（Ｌ）から主要被写体の合成用画像（Ｌ’）を生成する。次に、システム制御部１２１は、合成４ｆに示すように、合成画像（α＋Ｌ’＝β）を生成する。

つまり、図３の本実施形態と比較して、図４の比較例では、時刻ｔ７におけるアンダー露光画像（Ｌ）の主要被写体のエッジ部抽出処理４ｃが無駄な処理であり、余計な電力を消費してしまっている。逆に、図３の本実施形態は、図４の比較例に比較して、無駄な処理及び余計な電力消費を低減することができる。

図５は、本実施形態によるＨＤＲ動画時のメモリ部１２３の使用状況を表した図である。なお、適正露光画像（Ｍ）から抽出されたエッジ部の輝度算出結果が第１の閾値未満であり（Ｓ２１１）、撮像フレームレートが１８０ＦＰＳの際の露光時間の変更順序は、アンダー露光、適正露光、オーバー露光（Ｌ→Ｍ→Ｈ）の場合を例に示している（Ｓ２１２）。

まず、時刻５ａでは、システム制御部１２１は、アンダー露光画像（Ｌ）をメモリ部１２３内の領域Ａに格納する。システム制御部１２１は、このアンダー露光画像（Ｌ）から主要被写体のエッジ部を抽出し、エッジ部があると判定される場合を説明する（Ｓ２１７）。

次に、時刻５ｂでは、システム制御部１２１は、適正露光画像（Ｍ）をメモリ部１２３内の領域Ｂに格納する。次に、時刻５ｃでは、システム制御部１２１は、オーバー露光画像（Ｈ）をメモリ部１２３内の領域Ｃに格納する。また、時刻５ｃでは、システム制御部１２１は、メモリ部１２３内の領域Ｂに格納された適正露光画像（Ｍ）から生成した合成用画像（Ｍ’）をメモリ部１２３内の領域Ｄに格納する。

なお、アンダー露光、適正露光、オーバー露光（Ｌ→Ｍ→Ｈ）の順に露光した画像を合成することは前述の通りであるため、適正露光画像（Ｍ）のみを動画エンコードすることはない。つまり、適正露光画像（Ｍ）は、合成用画像（Ｍ’）を生成後は不要となり、メモリ部１２３から削除して構わない。

次に、時刻５ｄでは、システム制御部１２１は、メモリ部１２３内の領域Ａに格納されたアンダー露光画像（Ｌ）と領域Ｄに格納された合成用画像（Ｍ’）とを合成した中間合成画像（Ｌ＋Ｍ’）をメモリ部１２３内の領域Ｂへ格納する。その際、領域Ｂに格納されていた適正露光画像（Ｍ）は上書きされる。また、時刻５ｄでは、システム制御部１２１は、メモリ部１２３内の領域Ｃに格納されたオーバー露光画像（Ｈ）から生成した合成用画像（Ｈ’）をメモリ部１２３内の領域Ｅに格納する（５ｄ）。

次に、時刻５ｅでは、システム制御部１２１は、メモリ部１２３内の領域Ｂに格納された中間合成画像（Ｌ＋Ｍ’）と領域Ｅに格納された合成用画像（Ｈ’）とを合成したＨＤＲ画像（Ｌ＋Ｍ’＋Ｈ’）をメモリ部１２３内の領域Ｃに格納する。その際、領域Ｃに格納されていたオーバー露光画像（Ｈ）は上書きされる。

図６は、比較例によるＨＤＲ動画時のメモリ部１２３の使用状況を表した図である。なお、撮像フレームレートが１８０ＦＰＳの際の露光時間の変更順序は、常にオーバー露光、適正露光、アンダー露光（Ｈ→Ｍ→Ｌ）である。

まず、時刻６ａでは、システム制御部１２１は、オーバー露光画像（Ｈ）をメモリ部１２３内の領域Ａに格納する。次に、時刻６ｂでは、システム制御部１２１は、適正露光画像（Ｍ）をメモリ部１２３内の領域Ｂに格納する。

次に、時刻６ｃでは、システム制御部１２１は、アンダー露光画像（Ｌ）をメモリ部１２３内の領域Ｃに格納する。また、時刻６ｃでは、システム制御部１２１は、メモリ部１２３内の領域Ｂに格納された適正露光画像（Ｍ）から生成した合成用画像（Ｍ’）をメモリ部１２３内の領域Ｄに格納する。

次に、時刻６ｄでは、システム制御部１２１は、メモリ部１２３内の領域Ｃに格納されたアンダー露光画像（Ｌ）から生成した合成用画像（Ｌ’）をメモリ部１２３内の領域Ｅに格納する。また、時刻６ｄでは、システム制御部１２１は、メモリ部１２３内の領域Ａに格納されたオーバー露光画像（Ｈ）と領域Ｄに格納された合成用画像（Ｍ’）とを合成した中間合成画像（Ｈ＋Ｍ’）をメモリ部１２３内の領域Ｆに格納する。

ここで、オーバー露光、適正露光、アンダー露光を合成できるかどうかは、時刻６ｃにてメモリ部１２３内の領域Ｃに格納されたアンダー露光画像（Ｌ）から主要被写体のエッジ部を抽出しないと判断できない。つまり、この時点では、適正露光画像（Ｍ）のみを動画エンコードする可能性があり、適正露光画像（Ｍ）が格納されたメモリ部１２３内の領域Ｂを他の画像で上書きすることはできない。よって、前述の中間合成画像（Ｈ＋Ｍ’）は、メモリ部１２３内の領域Ｆへ格納される。

次に、時刻６ｅでは、システム制御部１２１は、メモリ部１２３内の領域Ｆに格納された中間合成画像（Ｈ＋Ｍ’）と領域Ｅに格納された合成用画像（Ｌ’）とを合成したＨＤＲ画像（Ｈ＋Ｍ’＋Ｌ’）をメモリ部１２３内の領域Ｄに格納する。その際、領域Ｃに格納されていた合成用画像（Ｍ’）は、上書きされる。

つまり、図５の本実施形態と比較して、図６の比較例では、メモリ部１２３は、画像１枚分の領域Ｆの余計なメモリを消費してしまっている。逆に、図５の本実施形態は、図６の比較例と比較して、余計なメモリ消費を低減することができる。以上のように、本実施形態によれば、ＨＤＲ動画生成の際に、電力及びメモリの消費を低減することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１５ 撮像素子、１１７ 画像処理部、１２１ システム制御部

Claims (10)

1. 画像を生成する撮像部と、
   前記撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出部と、
   露光時間が異なる複数の画像を前記撮像部に生成させる制御部と、
   前記露光時間が異なる複数の画像を合成する画像合成部と
   を有し、
   前記エッジ部輝度算出部により算出された輝度が第１の閾値未満である場合、前記制御部は、露光時間の短い画像を、露光時間の長い画像よりも先に生成させるよう前記撮像部を制御し、前記エッジ部輝度算出部により算出された輝度が第１の閾値より大きい場合、前記制御部は、露光時間の長い画像を、露光時間の短い画像よりも先に生成させるよう前記撮像部を制御することを特徴とする画像処理装置。
2. 前記制御部は、前記エッジ部輝度算出部により算出された輝度が第１の閾値未満である場合には、アンダー露光時間、適正露光時間、オーバー露光時間の順序で前記撮像部に画像を生成させ、前記エッジ部輝度算出部により算出された輝度が前記第１の閾値以上である場合には、オーバー露光時間、適正露光時間、アンダー露光時間の順序で前記撮像部に画像を生成させることを特徴とする請求項１記載の画像処理装置。
3. 前記画像合成部は、前記エッジ部輝度算出部により算出された輝度が前記第１の閾値未満である場合、前記アンダー露光時間で生成された画像にエッジ部がある場合には、前記アンダー露光時間、前記適正露光時間及び前記オーバー露光時間で生成された画像を合成して出力し、前記アンダー露光時間で生成された画像にエッジ部がない場合には、前記適正露光時間で生成された画像を合成せずに出力することを特徴とする請求項２記載の画像処理装置。
4. 前記画像合成部は、前記エッジ部輝度算出部により算出された輝度が前記第１の閾値以上である場合、前記オーバー露光時間で生成された画像にエッジ部がある場合には、前記オーバー露光時間、前記適正露光時間及び前記アンダー露光時間で生成された画像を合成して出力し、前記オーバー露光時間で生成された画像にエッジ部がない場合には、前記適正露光時間で生成された画像を合成せずに出力することを特徴とする請求項２又は３記載の画像処理装置。
5. 前記エッジ部輝度算出部は、適正露光時間で生成された画像のエッジ部の輝度を算出することを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
6. さらに、前記撮像部により生成された画像内の明暗差を検出する明暗差検出部を有し、
   前記明暗差検出部により検出された明暗差が第２の閾値以上であり、かつ前記エッジ部輝度算出部により算出された輝度が前記第１の閾値未満であり、かつ前記アンダー露光時間で生成された画像にエッジ部がある場合には、前記画像合成部は、前記アンダー露光時間、前記適正露光時間及び前記オーバー露光時間で生成された画像を合成して出力し、
   前記明暗差検出部により検出された明暗差が前記第２の閾値未満である場合には、前記制御部は、適正露光時間で前記撮像部に画像を生成させ、前記画像合成部は、前記生成された適正露光時間の画像を合成せずに出力することを特徴とする請求項３記載の画像処理装置。
7. さらに、前記撮像部により生成された画像内の明暗差を検出する明暗差検出部を有し、
   前記明暗差検出部により検出された明暗差が第２の閾値以上であり、かつ前記エッジ部輝度算出部により算出された輝度が前記第１の閾値以上であり、かつ前記オーバー露光時間で生成された画像にエッジ部がある場合には、前記画像合成部は、前記オーバー露光時間、前記適正露光時間及び前記アンダー露光時間で生成された画像を合成して出力し、
   前記明暗差検出部により検出された明暗差が前記第２の閾値未満である場合には、前記制御部は、適正露光時間で前記撮像部に画像を生成させ、前記画像合成部は、前記生成された適正露光時間の画像を合成せずに出力することを特徴とする請求項４記載の画像処理
   装置。
8. 前記画像合成部は、連続する複数のフレームの画像を合成することにより動画を生成することを特徴とする請求項１〜７のいずれか１項に記載の画像処理装置。
9. エッジ部輝度算出部により、撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出ステップと、
   制御部により、露光時間が異なる複数の画像を前記撮像部に生成させる制御ステップと、
   画像合成部により、前記露光時間が異なる複数の画像を合成する画像合成ステップと、
   前記エッジ部輝度算出ステップで算出された輝度が第１の閾値未満である場合、前記制御部は、露光時間の短い画像を、露光時間の長い画像よりも先に生成させるよう前記撮像部を制御し、前記エッジ部輝度算出ステップで算出された輝度が第１の閾値より大きい場合、前記制御部は、露光時間の長い画像を、露光時間の短い画像よりも先に生成させるよう前記撮像部を制御するステップと
   を有することを特徴とする画像処理方法。
10. 撮像部により生成された画像のエッジ部の輝度を算出するエッジ部輝度算出ステップと、
    露光時間が異なる複数の画像を前記撮像部に生成させる制御ステップと、
    前記露光時間が異なる複数の画像を合成する画像合成ステップと、
    前記エッジ部輝度算出ステップで算出された輝度が第１の閾値未満である場合、前記制御部は、露光時間の短い画像を、露光時間の長い画像よりも先に生成させるよう前記撮像部を制御し、前記エッジ部輝度算出ステップで算出された輝度が第１の閾値より大きい場合、前記制御部は、露光時間の長い画像を、露光時間の短い画像よりも先に生成させるよう前記撮像部を制御するステップと
    をコンピュータに実行させるためのプログラム。

Images