JP5296193B2 - 撮像装置、再生装置、撮像方法及び再生方法 - Google Patents

Description

本発明は、映像を撮影及び符号化して記録する撮像装置、及び、記録された画像を再生する再生装置に関し、特に、動画と静止画とを選択して再生するために、露光量の異なる画像の撮影を行う撮像装置、及び、動画と静止画とを再生する再生装置に関する。

近年、ビデオカメラで撮影した動画の再生時において、任意の時点での静止画を動画中から取得し再生するという場面に対応する技術が開発されている。例えば、ゴルフのスイングなどの動画を再生中に、ユーザなどの指示に従って所定の時刻の静止画を再生する場合などがある。

通常、動画の撮影時は、低速なシャッタースピードで撮像素子への露光時間を長くすることで連続した画像に動きブレを持たせるように撮影が行われる。この露光時間を長くすることで得られる動きブレにより、動画として滑らかな映像の撮影が可能となる。しかしながら、低速シャッターで撮影されている場合は、動きの滑らかな動画を撮影はできるが、その動画中から静止画を抜き出した場合、動きブレの少ないくっきりとした静止画を得ることができない。

逆に、写真の静止画撮影は、ビデオカメラの動画撮影に比べてシャッタースピードが高速である。高速にシャッターを切り、露光時間を短くすることで、被写体ブレ及び手ブレなどの動きブレを抑えられる。しかしながら、高速シャッターで撮影されている場合は、動きブレの少ないくっきりとした静止画を得ることができるが、複数の静止画を動画として連続して再生するときには、コマ送りのような不自然な動画となる。

したがって、動画と静止画との同時撮影を実現しようとした場合、動画の滑らかさを優先させれば、動きブレのある静止画しか得られず、静止画の画質を優先させれば動画の滑らかさが失われる。

また、高速シャッターで撮影した静止画、すなわち、露光時間の短い画像は、全体としてダイナミックレンジの小さい暗い画像になる。そこで、露光時間の短い画像を明るくしようとゲインを上げた場合、ＳＮ比が小さくノイズが目立つ画像となる。

従来の動画と静止画との同時撮影を行う撮影記録装置としては、一連の画像を動きブレの少ない高速シャッターで連続して撮影を行い、その際、前後のフレーム関係に基づいて動きベクトルを求め、一緒に記録を行う。これにより、動画再生時には、この動きベクトルに基づいて画像に動きブレを追加しながら再生することで、動画の滑らかさを追加して、静止画再生時には、そのまま再生する事で動きブレの少ない静止画再生を行う技術が開示されている（例えば、特許文献１参照）。図１は、特許文献１に記載された従来の撮影記録装置１０の構成を示すブロック図である。

図１において、高速度カメラ１１は、通常のカメラよりも高速のシャッター速度で撮影するカメラである。ここでいう「高速」とは、被写体ブレの少ない鮮明な静止画が得られるシャッタースピードであって、そのまま動画として連続再生すると間欠的で不自然な動きに見えてしまうようなシャッタースピードである。

メモリ１２は、高速度カメラ１１で撮影された画像を記録する。メモリ１２に記憶された画像は、ＭＶ算出部１３と動きブレ追加部１４とに渡される。ＭＶ算出部１３は、メモリ１２から読み出した画像の間の動きベクトル（Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出する。算出された動きベクトルは、ＭＶ符号化器１６に入力される。

動きブレ追加部１４は、メモリ１２に記録された映像を読み出し、また、ＭＶ算出部１３で求められた動きベクトルから動きブレを算出し、算出した動きブレを読み出した映像に追加する。動きブレが追加された映像は、映像符号化部１５に出力される。

映像符号化部１５は、動きブレ追加部１４によって動きブレが追加された画像情報を映像情報として符号化する。符号化された映像情報は、多重化部１７に出力される。ＭＶ符号化器１６は、ＭＶ算出部１３で算出された動きベクトルを符号化する。

多重化部１７は、符号化された情報を多重化する。多重化された情報は、記録部１８によって記録される。

以上の構成により、撮影記録装置１０は、高速シャッターを用いて撮影し、動きベクトル（ＭＶ）の検出と共に各フレーム画像と動きベクトルとを符号化して記録する。そして、撮影記録装置１０は、高速シャッターを用いて撮影することにより動きブレの少ない鮮鋭な静止画を得て、そこから高精度な動きベクトルを推定する。撮影記録装置１０は、その動きベクトルによって動きブレを追加した映像を、その元となる動きベクトルとともに記録していた。

また、高速シャッターで撮影した画像の様に、露光量の少ない画像に対して、長短の露光時間が異なる画像を得ることで、これらを合成し広ダイナミックレンジ画像を得る手段と、合成時に被写体の動きによる補正する技術がある（例えば、特許文献２参照）。図２は、特許文献２に記載された従来の撮像装置２０の構成を示すブロック図である。

図２において、撮像素子のアナログ出力は、Ａ／Ｄ変換器２１で増幅されデジタルデータに変換される。この時、ＣＣＤ撮像素子で撮影された同一被写体の短時間露光画像データと長時間露光データとをそれぞれ、短時間露光画像データを記憶するＳＥメモリ２２と、長時間露光画像データ記憶するＬＥメモリ２３とに一旦記憶させる。

次いで、両方のＳＥメモリ２２及びＬＥメモリ２３よりＣＰＵ２９へ画像データを送り込み、露光量の異なる２つの画像データに基づいて動き検出部３０で被写体の動きを検出する。

動き検出部３０で動きが検出されないときは、短時間露光画像と長時間露光画像との露光量比をＳＥメモリ２２より読み出された短時間露光画像データに乗算器２４を用いて乗算を行う。合成回路２５は、乗算された短時間露光画像データとＬＥメモリ２３より読み出された長時間露光画像データとから、広ダイナミックレンジの合成画像を形成する。合成処理され圧縮回路２６で圧縮処理された広ダイナミックレンジ合成画像がＣＰＵ２９により制御されるセレクタ２８を介して出力される。

動きが検出された場合は、ＬＥメモリ２３から読み出され信号処理回路２７でγ補正、エッジ強調等の信号処理された長時間露光画像データが、セレクタ２８を介して出力される。

これにより、異なる露光量での２枚の画像の撮影時に広ダイナミックレンジ画像を取得し、被写体が動いた場合には、被写体の動きによる補正を行っている。

国際公開第２００７／０６３８１９号 特開２０００−５０１５１号公報

しかしながら、上記従来技術では、以下に示すような課題がある。

まず、特許文献１の構成では、一連の画像をブレの少ない高速のシャッター速度で連続して撮影を行い、その際、前後関係に基づいて動きベクトルを求め、画像と動きベクトルとを一緒に記録している。そして、動画再生時に、その動きベクトルに基づいて画像に動きブレを追加しながら再生することで画像の滑らかさを追加している。また、静止画再生時には、そのまま再生することで動きブレの少ない静止画の再生を行う。

しかしながら、シャッタースピードの短い画像のみでは、全体としてダイナミックレンジの小さい画像になってしまう。さらに、シャッタースピードが短く露光量の少ない画像を明るくしようとゲインをあげた場合、ＳＮ比が小さくノイズが目立つ画像となる。そのため、露光時間の短い画像を元に、ブレを追加した動画と静止画とを同時に取得してもダイナミックレンジが小さいか、ノイズがのった画像となってしまうという課題を有している。

また、特許文献２の構成のように、長短の露光時間が異なる画像を取得し、これらを合成し広ダイナミックレンジ画像を得る場合、長短の露光時間が異なる画像を２本用意しておけば、滑らかな動画と広ダイナミックレンジで被写体の動きを補正した静止画とを取得することができる。しかしながら、２本の露光時間の異なる画像の符号化を行い記憶させる場合、符号化時の符号化効率が低下するという課題を有している。

そこで、本発明は、上記従来の課題を解決するもので、符号化効率を向上させることができるとともに、広ダイナミックレンジの静止画と滑らかな動画像とを記録又は再生することができる撮像装置及び再生装置を提供することを目的とする。

上記従来の課題を解決するために、本発明に係る撮像装置は、第１露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、前記第１露光時間より長い第２露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像部と、前記撮像部によって生成された短時間露光画像を記憶するための短時間露光画像記憶部と、前記撮像部によって生成された長時間露光画像を記憶するための長時間露光画像記憶部と、前記短時間露光画像記憶部に記憶された短時間露光画像に動きブレが追加された画像である、前記長時間露光画像の予測画像を生成する動きブレ追加部と、前記長時間露光画像記憶部に記憶された長時間露光画像と、前記動きブレ追加部によって生成された予測画像との差分を算出することで、差分画像を生成する減算部と、前記短時間露光画像記憶部に記憶された短時間露光画像と、前記減算部によって生成された差分画像とを符号化する符号化部とを備える。

これにより、短時間露光画像と差分画像とを符号化するので、短時間露光画像と長時間露光画像とを符号化する場合に比べて、符号化効率を高めることができる。さらに、短時間露光画像を用いて差分画像を生成するので、復号側でも同様に、短時間露光画像と差分画像とを用いて長時間露光画像を復元することができる。したがって、動画再生時には、長時間露光画像を用いることで、滑らかな動画像を再生することができる。さらに、静止画再生時には、短時間露光画像と長時間露光画像とを用いて、広ダイナミックレンジの静止画を再生することができる。

また、前記動きブレ追加部は、前記短時間露光画像記憶部に記憶された、撮像時刻が互いに異なる複数の前記短時間露光画像を重み付け加算することで、前記予測画像を生成してもよい。

これにより、撮像時刻が異なる複数の短時間露光画像の重み付け加算を行うことで、生成される画像には動きブレが含まれるので、長時間露光画像に近い予測画像を生成することができる。

また、前記動きブレ追加部は、前記撮像部が前記短時間露光画像と前記長時間露光画像とをそれぞれ撮像するときに入射される光の光量比に基づいて重み係数を決定し、決定した重み係数を用いて前記複数の短時間露光画像を重み付け加算し、前記符号化部は、さらに、前記重み係数を符号化してもよい。

これにより、予測画像をさらに長時間露光画像に近づけることができる、すなわち、生成した予測画像と、撮像により生成した長時間露光画像との差分を小さくすることができ、符号化効率をさらに向上させることができる。

また、前記動きブレ追加部は、前記光量比に相当する前記第１露光時間と前記第２露光時間との比、又は、前記撮像部によって生成された短時間露光画像の平均輝度と前記撮像部によって生成された長時間露光画像の平均輝度との比に基づいて、前記重み係数を決定してもよい。

これにより、光量比を容易に決定することができる。

また、前記撮像装置は、さらに、前記短時間露光画像記憶部に記憶された、撮像時刻が互いに異なる複数の前記短時間露光画像間の動きベクトルを検出する動き検出部を備え、前記動きブレ追加部は、前記動きベクトルを分割し、分割した動きベクトルを用いて前記複数の短時間露光画像間を補間する補間画像を生成し、生成した補間画像を用いて前記予測画像を生成してもよい。

これにより、撮像時刻が異なる複数の短時間露光画像の間を補間するための補間画像を利用するので、長時間露光画像により近い予測画像を生成することができ、符号化効率を向上させることができる。

また、前記符号化部は、さらに、前記動きベクトルの分割数を示す情報を符号化してもよい。

これにより、動きベクトルの分割数を符号化側で適応的に決定することができるので、差分がより小さくなるような動きベクトルを決定することができる。したがって、符号化効率をさらに向上させることができる。

また、前記動きブレ追加部は、前記補間画像と前記短時間露光画像記憶部に記憶された短時間露光画像とを重み付け加算することで、前記予測画像を生成してもよい。

これにより、より細かい時間間隔で画像の重み付け加算を行うことができるので、長時間露光画像により近い予測画像を生成することができ、符号化効率を向上させることができる。

また、前記動きブレ追加部は、前記動きベクトルに基づいて重み係数を決定し、決定した重み係数を用いて前記補間画像と前記短時間露光画像記憶部に記憶された短時間露光画像とを重み付け加算し、前記符号化部は、さらに、前記重み係数を符号化してもよい。

これにより、重み係数を符号化側で適応的に決定することができるので、差分がより小さくなるような動きベクトルを決定することができる。したがって、符号化効率をさらに向上させることができる。

また、本発明に係る再生装置は、符号化画像データを復号することで、短時間露光画像と差分画像とを生成する復号部と、前記復号部によって生成された短時間露光画像を記憶するための短時間露光画像記憶部と、前記短時間露光画像記憶部に記憶された短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部と、前記動きブレ追加部によって生成された予測画像と、前記復号部によって生成された差分画像とを加算することで、前記長時間露光画像を生成する加算部と、前記加算部によって生成された長時間露光画像を記憶するための長時間露光画像記憶部と、前記短時間露光画像記憶部に記憶された短時間露光画像、又は、前記長時間露光画像記憶部に記憶された長時間露光画像を出力する出力部とを備える。

これにより、符号化効率を向上させるために、短時間露光画像と差分画像とが符号化されて生成された符号化画像データから、短時間露光画像と長時間露光画像とを復元することができる。したがって、滑らかな動画像と、広ダイナミックレンジでくっきりとした静止画とを再生することができる。

また、前記出力部は、前記長時間露光画像記憶部に記憶された長時間露光画像と、前記短時間露光画像記憶部に記憶された短時間露光画像とを用いて、動きブレを除去することで、動きブレ除去画像を生成する動きブレ除去部を備え、前記出力部は、生成した動きブレ除去画像を前記短時間露光画像として出力してもよい。

これにより、短時間露光画像と長時間露光画像とを用いることで、広ダイナミックレンジでくっきりした静止画を再生することができる。

また、前記動きブレ除去部は、前記長時間露光画像記憶部に記憶された長時間露光画像のうち、動きがない領域の画像と、前記短時間露光画像記憶部に記憶された短時間露光画像のうち、動きがある領域の画像とを合成することで、前記動きブレ除去画像を生成してもよい。

これにより、長時間露光画像に含まれる動きブレを除去することができるので、広ダイナミックレンジでくっきりした静止画を再生することができる。

なお、本発明は、撮像装置又は再生装置として実現できるだけではなく、当該撮影装置又は再生装置を構成する処理部をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。

また、上記の各撮像装置又は再生装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。

本発明によれば、符号化効率を向上させることができるとともに、広ダイナミックレンジの静止画と滑らかな動画像とを記録又は再生することが可能となる。

図１は、従来の撮影記録装置の構成を示すブロック図である。 図２は、従来の別の撮像装置の構成を示すブロック図である。 図３は、本発明の実施の形態１における撮像装置の構成の一例を示すブロック図である。 図４は、本発明の実施の形態１における撮像装置の動作の一例を示すフローチャートである。 図５は、本発明の実施の形態１における撮像装置による動きブレの追加処理の一例を説明するための図である。 図６は、本発明の実施の形態２における撮像装置の構成の一例を示すブロック図である。 図７は、本発明の実施の形態２における撮像装置の動作の一例を示すフローチャートである。 図８は、本発明の実施の形態２おける撮像装置の動きブレの追加処理の一例を示すフローチャートである。 図９は、本発明の実施の形態２における撮像装置による動きブレの追加処理の一例を説明するための図である。 図１０は、本発明の実施の形態２における撮像装置による動きブレの追加処理の一例を説明するための図である。 図１１は、本発明の実施の形態３における再生装置の構成の一例を示すブロック図である。 図１２は、本発明の実施の形態３における再生装置の動作の一例を示すフローチャートである。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１に係る撮像装置は、短時間露光による撮像を行うことで短時間露光画像を生成し、かつ、長時間露光による撮像を行うことで長時間露光画像を生成する撮像部と、短時間露光画像を記憶するための短時間露光画像記憶部と、長時間露光画像を記憶するための長時間露光画像記憶部と、短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部と、長時間露光画像と予測画像との差分である差分画像を生成する減算部と、短時間露光画像と差分画像とを符号化する符号化部とを備えることを特徴とする。

図３は、本発明の実施の形態１における撮像装置１００の構成の一例を示すブロック図である。図３に示すように、撮像装置１００は、撮像部１１０と、短時間露光画像記憶部１２０と、長時間露光画像記憶部１３０と、動きブレ追加部１４０と、減算器１５０と、スイッチ１６０と、符号化部１７０とを備える。なお、動きブレ追加部１４０と、減算器１５０と、スイッチ１６０と、符号化部１７０とは、ＬＳＩ１０１に含まれる。

撮像部１１０は、第１露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、第１露光時間の露光より長い第２露光時間の露光による撮像を行うことで長時間露光画像を生成する。第１露光時間の露光は、短時間露光であり、第２露光時間の露光は、長時間露光である。

例えば、第１露光時間は、動きブレの少ないくっきりとした静止画を撮影することができる時間であり、一例としては、１／２４０秒程度である。また、第２露光時間は、動きブレを含み、連続して再生した場合には滑らかな動画を再生することができる画像を撮影することができる時間であり、一例としては、１／６０秒程度である。

なお、動きブレは、露光中に被写体が動いた場合に発生する被写体ブレと、露光中に撮像装置が動いた場合に発生する手ブレとを含む。

図３に示すように、撮像部１１０は、撮像素子１１１と、同期信号生成部１１２と、シャッタースピード切替部１１３と、スイッチ１１４とを備える。

撮像素子１１１は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子であり、被写体からの光を電気信号に変換することで、映像信号を生成する。撮像素子１１１は、生成した映像信号を、スイッチ１１４を介して、短時間露光画像記憶部１２０と、長時間露光画像記憶部１３０とへ出力する。

同期信号生成部１１２は、垂直同期信号を、撮像素子１１１とシャッタースピード切替部１１３とへ出力する。

シャッタースピード切替部１１３は、同期信号生成部１１２によって生成された垂直同期信号に基づいて、撮像素子１１１に対してシャッタースピードの設定を行うことで、撮影される画像の露光時間の設定を行う。高速のシャッタースピードを設定することで、撮像素子１１１からは短時間露光画像が生成される。低速のシャッタースピードを設定することで、撮像素子１１１からは長時間露光画像が生成される。また、シャッタースピード切替部１１３は、垂直同期信号に基づいて、スイッチ１１４の切り替えも制御する。

具体的には、シャッタースピード切替部１１３は、垂直同期信号に基づいて、例えば、１フレーム毎にシャッタースピードを切り替える。この場合、撮像素子１１１から、短時間露光画像と長時間露光画像とが交互に出力される。そして、シャッタースピード切替部１１３は、短時間露光画像が短時間露光画像記憶部１２０へ、長時間露光画像が長時間露光画像記憶部１３０へ記憶されるように、スイッチ１１４の切り替えを制御する。

スイッチ１１４は、シャッタースピード切替部１１３からの制御に基づいて、撮像素子１１１から出力される画像を、短時間露光画像記憶部１２０と長時間露光画像記憶部１３０とのいずれかへ出力する。

短時間露光画像記憶部１２０は、撮像部１１０によって生成された短時間露光画像を記憶するためのメモリである。短時間露光画像記憶部１２０には、撮像部１１０より出力される高速シャッタースピードで撮影された短時間露光の画像信号が記憶される。

長時間露光画像記憶部１３０は、撮像部１１０によって生成された長時間露光画像を記憶するためのメモリである。長時間露光画像記憶部１３０には、撮像部１１０より出力される低速シャッタースピードで撮影された長時間露光の画像信号が記憶される。

動きブレ追加部１４０は、短時間露光画像記憶部１２０に記憶されている画像に、動きブレの追加を行うことで、長時間露光画像の予測画像を生成する。つまり、長時間露光画像の予測画像は、短時間露光画像記憶部１２０に記憶された短時間露光画像に動きブレが追加された画像（動きブレ追加画像）であり、長時間露光画像に一致するように生成された画像である。

具体的には、動きブレ追加部１４０は、短時間露光画像記憶部１２０に記憶された、撮像時刻が互いに異なる複数の短時間露光画像を重み付け加算することで、予測画像を生成する。このとき、動きブレ追加部１４０は、重み付け加算に用いる重み係数を適応的に決定してもよい。あるいは、動きブレ追加部１４０は、予め定められた固定の重み係数を用いてもよい。

例えば、動きブレ追加部１４０は、撮像部１１０が短時間露光画像と長時間露光画像とをそれぞれ撮像するときに撮像素子１１１に入射される光の光量比に基づいて、重み係数を決定する。光量比は、例えば、短時間露光の露光時間と長時間露光の露光時間との比、又は、撮像部１１０によって生成された短時間露光画像の平均輝度と撮像部１１０によって生成された長時間露光画像の平均輝度との比などに相当する。

減算器１５０は、動きブレ追加部１４０によって生成される予測画像と、長時間露光画像記憶部１３０に記憶された長時間露光画像との差分を算出することで、差分画像を生成する。

スイッチ１６０は、短時間露光画像記憶部１２０から読み出された短時間露光画像、又は、減算器１５０によって生成された差分画像を選択して符号化部１７０へ出力する。例えば、スイッチ１６０は、短時間露光画像と差分画像とを交互に符号化部１７０へ出力する。

符号化部１７０は、短時間露光画像記憶部１２０に記憶された短時間露光画像と、減算器１５０によって生成された差分画像とを符号化する。また、符号化部１７０は、動きブレ追加部１４０によって重み係数を決定した場合、当該重み係数を符号化する。なお、符号化部１７０は、動きブレ追加処理を適応的に変更しない場合、例えば、予め定められた固定枚数の短時間露光画像を、予め定められた固定の重み係数を用いて重み付け加算する場合などは、重み係数などの動きブレ追加処理に必要な情報である動きブレ追加情報を符号化しなくてもよい。

以上の構成に示すように、本発明の実施の形態１に係る撮像装置１００は、短時間露光画像と長時間露光画像とをそのまま符号化するのではなく、短時間露光画像、及び、長時間画像と短時間露光画像を用いて生成した予測画像との差分を符号化する。これにより、符号化効率を向上させることができる。

続いて、本発明の実施の形態１に係る撮像装置１００の動作の一例について説明する。

図４は、本発明の実施の形態１に係る撮像装置１００の動作の一例を示すフローチャートである。

まず、撮像部１１０は、短時間露光による撮像と、長時間露光による撮像とを行うことで、短時間露光画像及び長時間露光画像を生成する（Ｓ１１０）。

具体的には、シャッタースピード切替部１１３は、２つの異なるシャッタースピードを交互に、撮像素子１１１に設定する（Ｓ１１１）。第１のシャッタースピードは、露光時間が短く設定された高速なシャッタースピードである。第２のシャッタースピードは、第１のシャッタースピードに比べ、露光時間が長く設定された低速なシャッタースピードである。

これら２つの異なるシャッターモードでの撮影を可能とするように、シャッタースピード切替部１１３は、垂直同期信号のパルスに同期して交互にシャッタースピード切替信号を撮像素子１１１へ出力し続ける。この時、撮像素子１１１は、同期信号生成部１１２から出力される垂直同期信号に同期して映像を撮影する。

このように、シャッタースピード切替部１１３と撮像素子１１１との同期がとれた後、撮影を開始する（Ｓ１１２）。

撮影が開始されると、撮影された画像が短時間露光画像であるか長時間露光画像であるかが判定される（Ｓ１２１）。具体的には、シャッタースピード切替部１１３が、高速シャッタースピード（短時間露光）及び低速シャッタースピード（長時間露光）のいずれを撮像素子１１１に設定したかによって判定される。したがって、シャッタースピード切替部１１３が出力するシャッタースピード切替信号によって、スイッチ１１４は、短時間露光画像記憶部１２０と長時間露光画像記憶部１３０とを切り替える。

撮像素子１１１より出力される画像が短時間露光画像である場合（Ｓ１２１でＹｅｓ）、短時間露光画像は、短時間露光画像記憶部１２０に記憶される（Ｓ１２２）。このとき、スイッチ１１４は、シャッタースピード切替信号によって、画像の出力先として短時間露光画像記憶部１２０を選択する。

また、撮像素子１１１より出力される画像が長時間露光画像である場合（Ｓ１２１でＮｏ）、長時間露光画像は、長時間露光画像記憶部１３０に記憶される（Ｓ１２３）。このとき、スイッチ１１４は、シャッタースピード切替信号によって、画像の出力先として長時間露光画像記憶部１３０を選択する。

以上のようにして、撮像装置１００は、順次、短時間露光画像と長時間露光画像とをそれぞれ、短時間露光画像記憶部１２０又は長時間露光画像記憶部１３０に格納する（Ｓ１２０）。

動きブレ追加部１４０は、撮影した画像中の被写体に動きがある場合、及び、撮影時の手ブレ等がある場合のために、短時間露光画像記憶部１２０に記憶されている短時間露光画像を用いて、動きブレの追加を行う（Ｓ１３０）。動きブレの追加方法としては、短時間露光画像記憶部１２０にバッファリングされているフレームを用いて、重み係数をかけあわせた画像の重み付け加算を行うことで、動きブレ追加画像を生成する。生成された動きブレ追加画像は、長時間露光画像の予測画像である。

減算器１５０は、動きブレ追加部１４０によって生成された動きブレ追加画像と、時間軸上で対応する長時間露光画像との差分を算出することで、差分画像を生成する（Ｓ１４０）。

符号化部１７０は、短時間露光画像と、減算器１５０の出力である差分画像との符号化を実行する（Ｓ１５０）。短時間露光画像及び差分画像の切り替えは、スイッチ１６０を用いて行う。なお、差分画像を符号化する際は、動きブレの追加情報も一緒に符号化される。動きブレの追加情報は、例えば、重み付け加算に用いた重み係数、重み付け加算に用いた短時間露光画像の枚数、及び、重み付け加算に用いた短時間露光画像を特定する情報などである。

撮影が終了でなければ（Ｓ１６０でＮｏ）、次の画像の判定（Ｓ１２１）に戻り、上記の処理（Ｓ１２１〜Ｓ１６０）を繰り返す。

続いて、本発明の実施の形態１に係る動きブレ追加部１４０の動作（Ｓ１３０）を、図５を用いて詳細に説明する。なお、図５は、本発明の実施の形態１における撮像装置１００による動きブレの追加処理の一例を説明するための図である。

図５に示すように、同期信号生成部１１２から出力される垂直同期パルス信号２１０に同期して、シャッタースピード切替部１１３は、撮像素子１１１にシャッタースピードの設定を行う。垂直同期パルス信号２１０のパルス数は、フレームレートに相当する。

シャッタースピード切替部１１３は、垂直同期パルス信号２１０に応じて、短時間露光画像２４０と長時間露光画像２５０とが生成されるように、短時間の露光時間２３０及び長時間の露光時間２３１を設定する。図５に示すように、短時間露光画像２４０と長時間露光画像２５０とは、撮像素子１１１から交互に出力される。

このとき、短時間露光画像２４０及び２４１における露光時間２３０は、長時間露光画像２５０及び２５１を撮影したときの露光時間２３１に比べて短い。したがって、短時間露光画像２４１及び２４１の画素の蓄積電圧２２０は、長時間露光画像２５０及び２５１の画素の蓄積電圧２２１に比べて小さい。なぜなら、蓄積電圧は、撮像素子１１１に照射される光の量と正の相関関係を有するためである。なお、ここでは、短時間露光画像２４０と長時間露光画像２５０とを撮影した時点における照射量は同じものとみなす。

本発明の実施の形態１に係る動きブレ追加部１４０は、動きブレの追加処理として、複数の短時間露光画像を重み付け加算することで、長時間露光画像の予測画像、すなわち、動きブレ追加画像を生成する。例えば、図５に示す例では、重み係数２６０及び２６１を用いて、短時間露光画像２４０と短時間露光画像２４１とを重み付け加算することで、動きブレ追加画像２７０を生成する。

短時間露光画像に乗ずる重み係数は、予め定められた固定値でもよい。例えば、図５に示すように、短時間露光画像と長時間露光画像とが交互に生成される場合には、短時間露光画像２４０及び２４１のそれぞれに乗ずる重み係数２６０及び２６１は、０．５でもよい。このように、重み係数が固定値の場合は、符号化部１７０は、重み係数を示す動きブレ追加情報を符号化しなくてよい。

なお、蓄積電圧が異なっているため、短時間露光画像２４０の平均輝度値と長時間露光画像２５０の平均輝度値とは異なっている。そのため、短時間露光画像２４０及び２４１が重み付け加算された動きブレ追加画像２７０を長時間露光画像２５０に近づけて長時間露光画像２５０との差分を小さくするために、動きブレ追加部１４０は、重み係数２６０及び２６１を適応的に決定してもよい。例えば、重み係数は、短時間露光画像の蓄積電圧２２０と、長時間露光画像の蓄積電圧２２１との比、又は、短時間の露光時間２３０と長時間の露光時間２３１との比に基づいて決定される。

このように、動きブレ追加部１４０は、露光時間の差による画素の蓄積電圧の差分を小さくするように、重み係数を決定し、決定した重み係数を用いて、時間的に長時間露光画像の前後の短時間露光画像を重み付け加算することで、被写体のブレ、又は、手ブレ等の動きブレの追加を行う。これにより、動きブレ追加部１４０は、長時間露光画像の予測画像として、動きブレ追加画像２７０を生成する。

以上のように、本発明の実施の形態１に係る撮像装置１００は、以上のように生成した動きブレ追加画像２７０と長時間露光画像２５０との差分画像を符号化することで、短時間露光画像と長時間露光画像とを別々に符号化した場合に比べて、符号化効率を向上することができる。また、短時間露光画像はそのまま符号化されるので、静止画再生時には、動きブレのないくっきりとした静止画を再生することができる。さらに、差分画像と短時間露光画像とから長時間露光画像を生成することができるので、動画再生時には、滑らかな動画像を再生することができる。

なお、本実施の形態において、交互に短時間露光画像と長時間露光画像を取得する１系統の撮像素子１１１を設けたがこれに限らない。例えば、２系統の撮像部を用意し、それぞれの撮像部に対して高速又は低速のシャッタースピードを固定で割り当ててもよい。

また、図５には、２枚の短時間露光画像２４０及び２４１を重み付け加算する例について示したが、３枚以上の短時間露光画像を重み付け加算してもよい。

また、短時間露光画像と長時間露光画像とを１フレームずつ交互に撮影したが、これには限られない。例えば、１フレーム内に複数枚の短時間露光画像を撮影してもよい。あるいは、複数フレームの長時間露光画像毎に１フレームの短時間露光画像を撮影、あるいは、複数フレームの短時間露光画像毎に１フレームの長時間露光画像を撮影してもよい。

（実施の形態２）
本発明の実施の形態２に係る撮像装置は、撮像時刻が互いに異なる複数の短時間露光画像間の動きベクトルを検出する動き検出部を備え、動きブレ追加部が、検出された動きベクトルを用いて補間画像を生成し、生成した補間画像を用いて短時間露光画像に動きブレの追加を行うことを特徴とする。

図６は、本発明の実施の形態２における撮像装置３００の構成の一例を示すブロック図である。撮像装置３００は、実施の形態１に係る図３に示す撮像装置１００と比べて、動きブレ追加部１４０の代わりに動きブレ追加部３４０を備え、新たに動き検出部３８０を備える点が異なっている。また、撮像装置３００は、ＬＳＩ１０１の代わりに、ＬＳＩ３０１を備える。図６において、図３と同じ構成要素については同じ符号を用い、説明を省略する。

動き検出部３８０は、短時間露光画像記憶部１２０に記憶された複数の短時間露光画像を用いて、前後のフレーム間における動きベクトルを検出する。例えば、動き検出部３８０は、ブロックマッチングなどの手法により、撮像時刻が互いに異なる複数の短時間露光画像のフレーム間の動きベクトルを検出する。

動きブレ追加部３４０は、動き検出部３８０によって検出された動きベクトルを用いて、予測画像が長時間露光画像に近づくように、短時間露光画像に動きブレ（残像）を付加することで、長時間露光画像の予測画像、すなわち、動きブレ追加画像を生成する。具体的には、動きブレ追加部３４０は、動きベクトルを分割し、分割した動きベクトルを用いて１枚以上の補間画像を生成する。そして、動きブレ追加部３４０は、生成した１枚以上の補間画像と、短時間露光画像とを重み付け加算することで、予測画像を生成する。なお、動きブレ追加部３４０は、重み付け加算に用いる重み係数を動きベクトルに基づいて決定してもよい。

なお、符号化部１７０は、動きブレ追加情報として、例えば、動きベクトルの分割数、及び、重み係数などを符号化する。また、符号化部１７０は、動きベクトルそのものを符号化してもよい。これにより、復号側で動き検出を行わなくて済むので、復号側での処理量を削減することができる。

ＬＳＩ３０１は、動きブレ追加部３４０と、減算器１５０と、スイッチ１６０と、符号化部１７０と、動き検出部３８０とを備える。

次に、本発明の実施の形態２に係る撮像装置３００の動作の一例について説明する。

図７は、本発明の実施の形態２における撮像装置３００の動作の一例を示すフローチャートである。なお、以下では、実施の形態１と同様の動作については同じ符号を付し、説明を省略する。

実施の形態１と同様にして、撮像部１１０は、短時間露光画像と長時間露光画像とを撮影し（Ｓ１１０）、短時間露光画像は、短時間露光画像記憶部１２０に記録され、長時間露光画像は、長時間露光画像記憶部１３０に記録される（Ｓ１２０）。

動き検出部３８０は、短時間露光画像記憶部１２０内にバッファリングされているフレームの前後関係から動きベクトルの検出を行う（Ｓ２３１）。例えば、動きベクトルの検出は、ブロック毎に行われる。

動きブレ追加部３４０は、動き検出部３８０において検出した動きベクトルを等分割し、複数の短時間露光画像の間を時間的に補間するための補間フレーム（補間画像）の生成を行い、生成した補間画像と短時間露光画像との重み付け加算を行うことで、動きブレ追加画像を生成する（Ｓ２３２）。

以下、実施の形態１と同様に、減算器１５０は、動きブレ追加画像と対応する長時間露光画像との差分である差分画像を算出し（Ｓ１４０）、符号化部１７０は、短時間露光画像と差分画像とを符号化する（Ｓ１５０）。このとき、符号化部１７０は、動きベクトル、動きベクトルの分割数、及び、重み係数などの動きブレ追加情報も一緒に符号化してもよい。

続いて、本発明の実施の形態２における動きブレ追加部３４０の動作（Ｓ２３２）を、図８〜図１０を用いて詳細に説明する。

図８は、本発明の実施の形態２における動きブレ追加部３４０の動作の一例を示すフローチャートである。

まず、動きブレ追加部３４０は、動きブレ追加画像を初期化する（Ｓ３１０）。具体的には、動きブレ追加部３４０は、動きブレ追加画像を、ベースとなる短時間露光画像の画素の値で初期化する（Ｓ３１１）。ここで、初期化とは、動きブレ追加画像の画素値Ａを、これから動きブレの追加を行う対象となる短時間露光画像の画素値Ａ０にすることである。ブレの追加回数は１回（Ｂ＝１）とする。

また、動きブレ追加部３４０は、動きベクトルＭＶの分割数ｄの設定を行う（Ｓ３１２）。分割数ｄは、２以上の自然数である。さらに、動きブレ追加部３４０は、動きブレ追加処理をブロック毎に行う際の、ブロック数をカウントするためのパラメータｋを１に設定する（Ｓ３１３）。

次に、動きブレ追加部３４０は、フレーム内のブロック数ｂｌｏｃｋ分の動きブレ追加処理を行ったか否かを判定する（Ｓ３２０）。つまり、動きブレ追加部３４０は、処理したブロック数を示すパラメータｋが、１フレームを構成するブロック数ｂｌｏｃｋ以上となるか否か、すなわち、ｋ≧ｂｌｏｃｋを満たすか否かを判定する。

ブロック数分の動きブレ追加処理が終わっていない場合（Ｓ３２０でＮｏ）、動きブレ追加部３４０は、フレーム内の各ブロックに対して、動き検出部３８０によって検出された短時間露光画像の動きベクトルＭＶを取得する（Ｓ３３０）。

次に、動きブレ追加部３４０は、取得した動きベクトルを分割数ｄで等分割する（Ｓ３４０）。このとき、分割数ｄは、短時間露光画像のフレーム間における、補間画像の枚数−１を表す。例として、図９において、動きベクトルＭＶａとＭＶｂとは、各々３等分して処理を行っており、補間画像の枚数は２枚である。

次に、動きブレ追加部３４０は、動きブレ追加処理を分割数毎に行う際の、動きベクトルの分割数をカウントするためのパラメータｊを１に設定する（Ｓ３５１）。そして、動きブレ追加部３４０は、動きベクトルの分割数ｄ分の動きブレ追加処理を行ったか否かを判定する（Ｓ３５２）。つまり、動きブレ追加部３４０は、処理した分割数を示すパラメータｊが、動きベクトルの分割数ｄ以上となるか否か、すなわち、ｊ≧ｄを満たすか否かを判定する。

分割数分の動きブレ追加処理が終わっていない場合（Ｓ３５２でＮｏ）、動きブレ追加部３４０は、動きブレ追加処理をピクセル毎に行う際の、ピクセル数をカウントするためのパラメータｉを１に設定する（Ｓ３５３）。そして、動きブレ追加部３４０は、ブロック内のピクセル数ｐｉｘｅｌ分の処理を行ったか否かを判定する（Ｓ３５４）。つまり、動きブレ追加部３４０は、処理したピクセル数を示すパラメータｉが、ブロックに含まれるピクセル数ｐｉｘｅｌ以上となるか否か、すなわち、ｉ≧ｐｉｘｅｌを満たすか否かを判定する。

ピクセル数分の処理が終わっていない場合（Ｓ３５４でＮｏ）、動きブレ追加部３４０は、画素値の加算を行う（Ｓ３５５）。具体的には、動きブレ追加部３４０は、対象となる画素の画素値Ａに、分割した動きベクトルＭＶが示す画素値Ａ_ｘｙを加算する。また、このとき、動きブレ追加部３４０は、加算を行った回数Ｂをインクリメントする。そして、次の画素を処理するために、パラメータｉをインクリメントする（Ｓ３５６）。以上の画素の加算処理が、対象ブロックに含まれる全てのピクセルについて実行されるまで繰り返される。

対象ブロックに含まれる全てのピクセルについて、画素の加算処理が終了した場合（Ｓ３５４でＹｅｓ）、動きブレ追加部３４０は、次の分割された動きベクトルを用いた処理を行うために、パラメータｊをインクリメントする（Ｓ３５７）。そして、画素の加算処理が、分割数ｄだけ画素の加算が実行されるまで繰り返される。

分割数分の加算処理が終了した場合（Ｓ３５２でＹｅｓ）、動きブレ追加部３４０は、次のブロックの処理を行うために、パラメータｋをインクリメントする（Ｓ３５８）。そして、画素の加算処理が、対象画像に含まれる全てのブロックについて実行されるまで繰り返される。

以上のように、動きブレ追加部３４０は、分割された動きベクトルの分割数ｄだけ、ブロックを構成するピクセル単位で、画素値の累積加算を行う。このとき、動きブレ追加部３４０は、ピクセル座標における累積加算回数Ｂを記録する。例として、図９において、画素ｐｉｘｅｌＡのポイントでは、動きベクトルＭＶａとＭＶｂ各々が分割後共に画素値を加算するピクセル座標である。

最終的に、フレーム内の全ブロックに対して動きブレ追加処理が終了すると（Ｓ３２０でＹｅｓ）、動きブレ追加部３４０は、累積加算した画素値Ａを累積加算回数Ｂで正規化することで最終画素値を出力する（Ｓ３６０）。ここでは、動きブレ追加部３４０は、画素値Ａを累積加算回数Ｂで割ることで、正規化を行う。

なお、以上の処理は、全ての画素又はブロックで実行しなくてもよい。例えば、動きが検出された画素又はブロックのみで実行してもよい。このとき、動きブレ追加部３４０は、処理の閾値となるブロック数ｂｌｏｃｋ、又は、ピクセル数ｐｉｘｅｌなどを、処理対象となるブロック数又はピクセル数に設定すればよい。

以下では、上述したような、本発明の実施の形態２における撮像装置３００による動きブレ追加処理を、図１０を用いて概念的に説明する。なお、図１０は、本発明の実施の形態２における撮像装置３００による動きブレ追加処理の一例を説明するための概念図である。

動き検出部３８０は、撮像時刻が互いに異なる短時間露光画像４１０及び４１１を用いて、動きベクトルを検出する。そして、動きブレ追加部３４０は、検出された動きベクトルを分割し、分割した動きベクトルを用いて補間画像４２１、４２２及び４２３を生成する。図１０には、動きベクトルが４分割された例を示す。

そして、動きブレ追加部３４０は、短時間露光画像４１０及び４１１と、補間画像４２１、４２２及び４２３とを重み付け加算することで、動きブレ追加画像４３０を生成する。なお、図８に示すフローチャートでは、短時間露光画像４１１の代わりに、検出された動きベクトル（すなわち、分割されていない動きベクトル）を用いて生成した補間画像（結果的には、短時間露光画像４１１に相当する）を用いている。

以上のように、本発明の実施の形態２に係る撮像装置３００は、複数の短時間露光画像間の動きベクトルを検出する動き検出部３８０を備え、検出された動きベクトルを分割し、分割した動きベクトルを用いて補間画像を生成し、短時間露光画像と補間画像とを重み付け加算することで、長時間露光画像の予測画像を生成する。これにより、本発明の実施の形態２に係る撮像装置３００は、実施の形態１に係る撮像装置１００に比べ、フレーム間の補間を行うため、より長時間露光画像に近い予測画像を生成することができ、符号化効率をさらに向上させることができる。

さらに、元々ブレの少ないくっきりとした画像である短時間露光画像を用いて動きベクトルを検出しているので、エッジも立ちやすいため、高精度に動きベクトルの検出を行うことができる。このため、被写体のブレ、又は、手ブレなどの動きブレを細かい粒度で高精度に追加することができ、より長時間露光画像との差分を削減することが期待できる。

最終的に、この差分を符号化することで、短時間露光画像と長時間露光画像とを別々に符号化した場合に比べ、符号化効率を向上することができる。

なお、本実施の形態において、画素単位で補間を行う際、画素値を累積加算する際の重み係数は一定で扱っているが、動きベクトルの大きさによって重み係数を変更するようにしてもよい。

また、動きブレ追加部３４０は、補間画像と短時間露光画像とを重み付け加算したが、複数の補間画像を生成した場合は、複数の補間画像の重み付け加算を行うことで、長時間露光画像の予測画像を生成してもよい。例えば、補間画像の生成元である動きベクトルを分割した比率をそれぞれ重み係数として扱ってもよい。あるいは、動きブレ追加部３４０は、長時間露光画像の予測画像として、生成した補間画像を用いてもよい。

（実施の形態３）
本発明の実施の形態３に係る再生装置は、符号化画像データを復号することで、短時間露光画像と差分画像とを生成する復号部と、短時間露光画像を記憶するための短時間露光画像記憶部と、短時間露光画像に動きブレが追加された画像である、長時間露光画像の予測画像を生成する動きブレ追加部と、予測画像と差分画像とを加算することで、長時間露光画像を生成する加算部と、長時間露光画像を記憶するための長時間露光画像記憶部と、短時間露光画像記憶部に記憶される短時間露光画像、又は、長時間露光画像記憶部に記憶される長時間露光画像を出力する出力部とを備えることを特徴とする。以上の構成により、滑らかな動画の再生と、くっきりした静止画の再生とを実現することができる。

図１１は、本発明の実施の形態３に係る再生装置５００の構成の一例を示すブロック図である。図１１に示すように、再生装置５００は、復号部５１０と、加算器５２０と、スイッチ５３０及び５４０と、短時間露光画像記憶部５５０と、長時間露光画像記憶部５６０と、動きブレ追加部５７０と、出力部５８０とを備える。また、復号部５１０と、加算器５２０と、スイッチ５３０及び５４０と、動きブレ追加部５７０とは、ＬＳＩ５０１に含まれる。

復号部５１０は、符号化画像データを復号することで、短時間露光画像と差分画像とを生成する。例えば、復号部５１０は、実施の形態１及び実施の形態２に示した撮像装置１００又は３００によって符号化された符号化画像データを復号する。つまり、符号化画像データは、短時間露光で撮像された短時間露光画像、及び、長時間露光で撮像された長時間露光画像と当該長時間露光画像の予測画像との差分である差分画像が符号化されて生成された画像データである。

加算器５２０は、動きブレ追加部５７０によって生成された予測画像と、復号部５１０によって生成された差分画像とを加算することで、長時間露光画像を生成する。具体的には、加算器５２０は、復号部５１０によって生成された差分画像が入力された場合、スイッチ５３０をオンにし、動きブレ追加部５７０によって生成される予測画像と加算することで、長時間露光画像を生成する。生成された長時間露光画像は、スイッチ５４０を介して、長時間露光画像記憶部５６０に記録される。

また、加算器５２０は、復号部５１０によって生成された短時間露光画像が入力された場合、スイッチ５３０をオフにし、そのまま（すなわち、ゼロ加算後）、スイッチ５４０を経由して、短時間露光画像記憶部５５０に記録する。

スイッチ５３０は、上述のように、差分画像と予測画像とが加算器５２０によって加算されるように、オンオフを切り替える。

スイッチ５４０は、加算器５２０から短時間露光画像が出力された場合は、当該短時間露光画像を短時間露光画像記憶部５５０に記録させる。また、スイッチ５４０は、加算器５２０から長時間露光画像が出力された場合は、当該長時間露光画像を長時間露光画像記憶部５６０に記録させる。

短時間露光画像記憶部５５０は、復号部５１０によって生成された短時間露光画像を記憶するためのメモリである。長時間露光画像記憶部５６０は、加算器５２０によって生成された長時間露光画像を記憶するためのメモリである。

動きブレ追加部５７０は、短時間露光画像記憶部５５０に保持された短時間露光画像を用いて、当該短時間露光画像に動きブレを追加することで、動きブレ追加画像、すなわち、長時間露光画像の予測画像を生成する。生成した動きブレ追加画像は、スイッチ５３０を介して、加算器５２０によって生成された差分画像と加算される。

具体的な動きブレ追加部５７０の処理は、実施の形態１又は２と同じであるため、説明を省略する。

出力部５８０は、短時間露光画像記憶部５５０に記憶された短時間露光画像、又は、長時間露光画像記憶部５６０に記憶された長時間露光画像を選択して出力する。図１１に示すように、出力部５８０は、動きブレ除去部５８１と、スイッチ５８２と、表示部５８３とを備える。

動きブレ除去部５８１は、短時間露光画像記憶部５５０に記憶された短時間露光画像と、長時間露光画像記憶部５６０に記憶された長時間露光画像とを用いて、動きブレを除去することで、動きブレ除去画像を生成する。具体的には、動きブレ除去部５８１は、短時間露光画像と長時間露光画像とを合成することで、広ダイナミックレンジでくっきりした静止画を、動きブレ除去画像として生成する。例えば、動きブレ除去部５８１は、動きのある領域の短時間露光画像と、動きのない領域の長時間露光画像とを合成することで、広ダイナミックレンジでくっきりした静止画を生成する。

このとき、短時間露光画像（動きのある領域）と長時間露光画像（動きのない領域）とでは、それぞれの領域内の平均輝度が異なっているので、平均輝度が同じになるように、例えば、動きブレ除去部５８１は、動きのある領域の輝度値に所定のオフセットを加算してもよい。あるいは、動きブレ除去部５８１は、平均輝度が同じになるように決定した重み係数を利用して、短時間露光画像と長時間露光画像とを合成してもよい。また、その両方を行ってもよい。

スイッチ５８２は、短時間露光画像を表示する際は、動きブレ除去部５８１から出力される動きブレ除去画像を短時間露光画像として表示部５８３へ出力する。また、スイッチ５８２は、長時間露光画像を表示する際は、長時間露光画像記憶部５６０から出力される長時間露光画像を表示部５８３へ出力する。

なお、短時間露光画像及び長時間露光画像のいずれを表示部５８３に表示させるかは、例えば、ユーザからの指示によって決定される。つまり、スイッチ５８２は、ユーザからの指示に基づいて、短時間露光画像及び長時間露光画像のいずれかを選択する。

表示部５８３は、スイッチ５８２によって選択された短時間露光画像又は長時間露光画像を表示する。

以上の構成により、本発明に係る再生装置５００では、動画再生時は、滑らか動画として、スイッチ５８２により長時間露光画像記憶部５６０から長時間露光画像のみを表示部５８３へ出力する。

逆に、動画の再生中に静止画を抜き出す際は、短時間露光画像記憶部５５０と長時間露光画像記憶部５６０とから、動きブレ除去部５８１が長短の露光時間が異なる画像を取得する。そして、取得した短時間露光画像及び長時間露光画像を合成することで、広ダイナミックレンジ化と被写体の動きの補正とを実現することができ、くっきりとした静止画を出力する。

これにより、滑らかな動画像と、広ダイナミックレンジでくっきりとした静止画とを再生することができる。

続いて、本発明の実施の形態３に係る再生装置５００の動作の一例について説明する。

図１２は、本発明の実施の形態３に係る再生装置５００の動作の一例を示すフローチャートである。

まず、復号部５１０は、符号化画像データを復号することで、短時間露光画像と差分画像とを生成する（Ｓ４１０）。そして、復号部５１０は、加算器５２０及びスイッチ５４０を介して、生成した短時間露光画像を短時間露光画像記憶部５５０に格納する（Ｓ４２０）。

次に、動きブレ追加部５７０は、短時間露光画像記憶部５５０に格納された複数の短時間露光画像を用いて、動きブレ追加画像、すなわち、長時間露光画像の予測画像を生成する（Ｓ４３０）。そして、加算器５２０は、予測画像と差分画像とを加算することで、長時間露光画像を生成する（Ｓ４４０）。加算器５２０は、スイッチ５４０を介して、生成した長時間露光画像を長時間露光画像記憶部５６０に格納する（Ｓ４５０）。

最後に、出力部５８０は、例えば、ユーザからの指示に基づいて、短時間露光画像記憶部５５０に記憶された短時間露光画像、又は、長時間露光画像記憶部５６０に記憶された長時間露光画像を再生する（Ｓ４６０）。

以上のように、本発明の実施の形態３に係る再生装置５００によれば、短時間露光画像と差分画像とが符号化されて生成された符号化画像データから、短時間露光画像と長時間露光画像とを復元することができる。したがって、滑らかな動画像と、広ダイナミックレンジでくっきりとした静止画とを再生することができる。

以上、本発明に係る撮像装置、再生装置、撮像方法及び再生方法について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を当該実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態では、動きブレ追加部１４０又は３４０は、複数の短時間露光画像の重み付け加算、又は、短時間露光画像及び補間画像の重み付け加算を行うことで、長時間露光画像の予測画像を生成したが、長時間露光画像に近い画像を生成する方法であれば、いかなる方法を用いてもよい。例えば、動きブレ追加部１４０は、１枚の短時間露光画像の各画素値に所定のオフセット値を加算することで、長時間露光画像の予測画像を生成してもよい。オフセット値は、予め定められた固定値でもよく、あるいは、長時間露光画像の平均輝度値と短時間露光画像の平均輝度値との比に基づいて決定される値でもよい。なお、符号化部１７０は、オフセット値が固定値でない場合は、オフセット値を示す情報を符号化する。

また、短時間露光画像記憶部１２０及び長時間露光画像記憶部１３０は、物理的に異なる２つのメモリでもよく、あるいは、物理的には１つのメモリが論理的に分割されたメモリでもよい。

また、本発明は、上述したように、撮像装置、再生装置、撮像方法及び再生方法として実現できるだけではなく、本実施の形態の撮像方法及び再生方法をコンピュータに実行させるためのプログラムとして実現してもよい。また、当該プログラムを記録するコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現してもよい。さらに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、これらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信されてもよい。

また、本発明は、撮像装置及び再生装置を構成する構成要素の一部又は全部を、１個のシステムＬＳＩから構成してもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭなどを含んで構成されるコンピュータシステムである。

例えば、本発明に係る集積回路の一例であるＬＳＩ１０１は、図３に示すように、動きブレ追加部１４０と、減算器１５０と、スイッチ１６０と、符号化部１７０とを備える。また、図６に示すように、ＬＳＩ３０１は、動きブレ追加部３４０と、減算器１５０と、スイッチ１６０と、符号化部１７０と、動き検出部３８０とを備えてもよい。

また、本発明に係る集積回路の一例であるＬＳＩ５０１は、図１１に示すように、復号部５１０と、加算器５２０と、スイッチ５３０及び５４０と、動きブレ追加部５７０とを備える。あるいは、ＬＳＩ５０１は、さらに、動きブレ除去部５８１を備えていてもよい。

本発明は、符号化効率を低下させることなく、広ダイナミックレンジの静止画と滑らかな動画像とを記録又は再生することができるという効果を奏し、例えば、デジタルカメラ、デジタルスチルカメラ、デジタルテレビ、デジタルレコーダーなどに利用することができる。

１０ 撮影記録装置
１１ 高速度カメラ
１２ メモリ
１３ ＭＶ算出部
１４、１４０、３４０、５７０ 動きブレ追加部
１５ 映像符号化部
１６ ＭＶ符号化器
１７ 多重化部
１８ 記録部
２０、１００、３００ 撮像装置
２１ Ａ／Ｄ変換器
２２ ＳＥメモリ
２３ ＬＥメモリ
２４ 乗算器
２５ 合成回路
２６ 圧縮回路
２７ 信号処理回路
２８ セレクタ
２９ ＣＰＵ
３０、３８０ 動き検出部
１０１、３０１、５０１ ＬＳＩ
１１０ 撮像部
１１１ 撮像素子
１１２ 同期信号生成部
１１３ シャッタースピード切替部
１１４、１６０、５３０、５４０、５８２ スイッチ
１２０、５５０ 短時間露光画像記憶部
１３０、５６０ 長時間露光画像記憶部
１５０ 減算器
１７０ 符号化部
２１０ 垂直同期パルス信号
２２０、２２１ 蓄積電圧
２３０、２３１ 露光時間
２４０、２４１、４１０、４１１ 短時間露光画像
２５０、２５１ 長時間露光画像
２６０、２６１ 重み係数
２７０、４３０ 動きブレ追加画像
４２１、４２２、４２３ 補間画像
５００ 再生装置
５１０ 復号部
５２０ 加算器
５８０ 出力部
５８１ 動きブレ除去部
５８３ 表示部

Claims (17)

1. 静止画の撮像に用いられる露光時間である第１露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、動画像の撮像に用いられる露光時間であって前記第１露光時間より長い第２露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像部と、
   前記撮像部によって生成された短時間露光画像を記憶するための短時間露光画像記憶部と、
   前記撮像部によって生成された長時間露光画像を記憶するための長時間露光画像記憶部と、
   前記短時間露光画像記憶部に記憶された短時間露光画像に対して前記短時間露光画像に基づいて生成された動きブレが追加された画像である、前記長時間露光画像の予測画像を生成する動きブレ追加部と、
   前記長時間露光画像記憶部に記憶された長時間露光画像と、前記動きブレ追加部によって生成された予測画像との差分を算出することで、差分画像を生成する減算部と、
   前記短時間露光画像記憶部に記憶された短時間露光画像と、前記減算部によって生成された差分画像とを符号化する符号化部とを備える
   撮像装置。
2. 前記動きブレ追加部は、前記短時間露光画像記憶部に記憶された、撮像時刻が互いに異なる複数の前記短時間露光画像を重み付け加算することで、前記予測画像を生成する
   請求項１記載の撮像装置。
3. 前記動きブレ追加部は、前記撮像部が前記短時間露光画像と前記長時間露光画像とをそれぞれ撮像するときに入射される光の光量比に基づいて重み係数を決定し、決定した重み係数を用いて前記複数の短時間露光画像を重み付け加算し、
   前記符号化部は、さらに、前記重み係数を符号化する
   請求項２記載の撮像装置。
4. 前記動きブレ追加部は、前記光量比に相当する前記第１露光時間と前記第２露光時間との比、又は、前記撮像部によって生成された短時間露光画像の平均輝度と前記撮像部によって生成された長時間露光画像の平均輝度との比に基づいて、前記重み係数を決定する
   請求項３記載の撮像装置。
5. 前記撮像装置は、さらに、
   前記短時間露光画像記憶部に記憶された、撮像時刻が互いに異なる複数の前記短時間露光画像間の動きベクトルを検出する動き検出部を備え、
   前記動きブレ追加部は、
   前記動きベクトルを分割し、分割した動きベクトルを用いて前記複数の短時間露光画像間を補間する補間画像を生成し、生成した補間画像を用いて前記予測画像を生成する
   請求項１記載の撮像装置。
6. 前記符号化部は、さらに、前記動きベクトルの分割数を示す情報を符号化する
   請求項５記載の撮像装置。
7. 前記動きブレ追加部は、前記補間画像と前記短時間露光画像記憶部に記憶された短時間露光画像とを重み付け加算することで、前記予測画像を生成する
   請求項５記載の撮像装置。
8. 前記動きブレ追加部は、前記動きベクトルに基づいて重み係数を決定し、決定した重み係数を用いて前記補間画像と前記短時間露光画像記憶部に記憶された短時間露光画像とを重み付け加算し、
   前記符号化部は、さらに、前記重み係数を符号化する
   請求項７記載の撮像装置。
9. 符号化画像データを復号することで、静止画の撮像に用いられる露光時間である第１露光時間の露光による撮像により生成された画像である短時間露光画像と差分画像とを生成する復号部と、
   前記復号部によって生成された短時間露光画像を記憶するための短時間露光画像記憶部と、
   前記短時間露光画像記憶部に記憶された短時間露光画像に対して前記短時間露光画像に基づいて生成された動きブレが追加された画像であり、動画像の撮像に用いられる露光時間であって前記第１露光時間より長い第２露光時間の露光による撮像により生成された画像である長時間露光画像の予測画像を生成する動きブレ追加部と、
   前記動きブレ追加部によって生成された予測画像と、前記復号部によって生成された差分画像とを加算することで、前記長時間露光画像を生成する加算部と、
   前記加算部によって生成された長時間露光画像を記憶するための長時間露光画像記憶部と、
   前記短時間露光画像記憶部に記憶された短時間露光画像、又は、前記長時間露光画像記憶部に記憶された長時間露光画像を出力する出力部とを備える
   再生装置。
10. 前記出力部は、
    前記長時間露光画像記憶部に記憶された長時間露光画像と、前記短時間露光画像記憶部に記憶された短時間露光画像とを用いて、動きブレを除去することで、動きブレ除去画像を生成する動きブレ除去部を備え、
    前記出力部は、生成した動きブレ除去画像を前記短時間露光画像として出力する
    請求項９記載の再生装置。
11. 前記動きブレ除去部は、前記長時間露光画像記憶部に記憶された長時間露光画像のうち、動きがない領域の画像と、前記短時間露光画像記憶部に記憶された短時間露光画像のうち、動きがある領域の画像とを合成することで、前記動きブレ除去画像を生成する
    請求項１０記載の再生装置。
12. 静止画の撮像に用いられる露光時間である第１露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、動画像の撮像に用いられる露光時間であって前記第１露光時間より長い第２露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像ステップと、
    前記撮像ステップにおいて生成された短時間露光画像と長時間露光画像とをメモリに格納する画像格納ステップと、
    前記メモリに格納された短時間露光画像に対して前記短時間露光画像に基づいて生成された動きブレが追加された画像である、前記長時間露光画像の予測画像を生成する動きブレ追加ステップと、
    前記メモリに格納された長時間露光画像と、前記動きブレ追加ステップにおいて生成された予測画像との差分を算出することで、差分画像を生成する減算ステップと、
    前記メモリに格納された短時間露光画像と、前記減算ステップにおいて生成された差分画像とを符号化する符号化部とを含む
    撮像方法。
13. 符号化画像データを復号することで、静止画の撮像に用いられる露光時間である第１露光時間の露光による撮像により生成された画像である短時間露光画像と差分画像とを生成する復号ステップと、
    前記復号ステップにおいて生成された短時間露光画像を短時間露光画像記憶部に格納する短時間露光画像格納ステップと、
    前記短時間露光画像記憶部に格納された短時間露光画像に対して前記短時間露光画像に基づいて生成された動きブレが追加された画像であり、動画像の撮像に用いられる露光時間であって前記第１露光時間より長い第２露光時間の露光による撮像により生成された画像である長時間露光画像の予測画像を生成する動きブレ追加ステップと、
    前記動きブレ追加ステップにおいて生成された予測画像と、前記復号ステップにおいて生成された差分画像とを加算することで、前記長時間露光画像を生成する加算ステップと、
    前記加算ステップにおいて生成された長時間露光画像を長時間露光画像記憶部に格納する長時間露光画像格納ステップと、
    前記短時間露光画像記憶部に格納された短時間露光画像、又は、前記長時間露光画像記憶部に格納された長時間露光画像を出力する出力ステップとを含む
    再生方法。
14. 静止画の撮像に用いられる露光時間である第１露光時間の露光による撮像により生成された短時間露光画像に対して前記短時間露光画像に基づいて生成された動きブレが追加された画像であり、動画像の撮像に用いられる露光時間であって前記第１露光時間より長い第２露光時間の露光による撮像により生成された画像である長時間露光画像の予測画像を生成する動きブレ追加部と、
    前記長時間露光画像と、前記動きブレ追加部によって生成された予測画像との差分を算出することで、差分画像を生成する減算部と、
    前記短時間露光画像と、前記減算部によって生成された差分画像とを符号化する符号化部とを備える
    集積回路。
15. 符号化画像データを復号することで、静止画の撮像に用いられる露光時間である第１露光時間の露光による撮像により生成された画像である短時間露光画像と差分画像とを生成する復号部と、
    前記復号部によって生成された短時間露光画像に対して前記短時間露光画像に基づいて生成された動きブレが追加された画像であり、動画像の撮像に用いられる露光時間であって前記第１露光時間より長い第２露光時間の露光による撮像により生成された画像である長時間露光画像の予測画像を生成する動きブレ追加部と、
    前記動きブレ追加部によって生成された予測画像と、前記復号部によって生成された差分画像とを加算することで、前記長時間露光画像を生成する加算部と、
    前記復号部によって生成された短時間露光画像、又は、前記加算部によって生成された長時間露光画像を出力する出力部とを備える
    集積回路。
16. 静止画の撮像に用いられる露光時間である第１露光時間の露光による撮像を行うことで短時間露光画像を生成し、かつ、動画像の撮像に用いられる露光時間であって前記第１露光時間より長い第２露光時間の露光による撮像を行うことで長時間露光画像を生成する撮像ステップと、
    前記撮像ステップにおいて生成された短時間露光画像と長時間露光画像とをメモリに格納する画像格納ステップと、
    前記メモリに格納された短時間露光画像に対して前記短時間露光画像に基づいて生成された動きブレが追加された画像である、前記長時間露光画像の予測画像を生成する動きブレ追加ステップと、
    前記メモリに格納された長時間露光画像と、前記動きブレ追加ステップにおいて生成された予測画像との差分を算出することで、差分画像を生成する減算ステップと、
    前記メモリに格納された短時間露光画像と、前記減算ステップにおいて生成された差分画像とを符号化する符号化ステップとを含む
    撮像方法をコンピュータに実行させるためのプログラム。
17. 符号化画像データを復号することで、静止画の撮像に用いられる露光時間である第１露光時間の露光による撮像により生成された画像である短時間露光画像と差分画像とを生成する復号ステップと、
    前記復号ステップにおいて生成された短時間露光画像を短時間露光画像記憶部に格納する短時間露光画像格納ステップと、
    前記短時間露光画像記憶部に格納された短時間露光画像に対して前記短時間露光画像に基づいて生成された動きブレが追加された画像であり、動画像の撮像に用いられる露光時間であって前記第１露光時間より長い第２露光時間の露光による撮像により生成された画像である長時間露光画像の予測画像を生成する動きブレ追加ステップと、
    前記動きブレ追加ステップにおいて生成された予測画像と、前記復号ステップにおいて生成された差分画像とを加算することで、前記長時間露光画像を生成する加算ステップと、
    前記加算ステップにおいて生成された長時間露光画像を長時間露光画像記憶部に格納する長時間露光画像格納ステップと、
    前記短時間露光画像記憶部に格納された短時間露光画像、又は、前記長時間露光画像記憶部に格納された長時間露光画像を出力する出力ステップとを含む
    再生方法をコンピュータに実行させるためのプログラム。

Images