JP5574792B2 - 撮影装置 - Google Patents

Description

本発明は、表示あるいはプリントされる画像のダイナミックレンジを拡大するための静止画および動画像の処理技術に関する。

人間の目のダイナミックレンジが、１０の６乗から１０乗（順応を含む場合）に達するのに対し、通常のデジタル写真におけるダイナミックレンジは、１０の４乗程度しかない。そのため、たとえ適正露出を設定して撮影したとしても、写真の中に白飛びや黒つぶれ部分が出来てしまうことが多かった。
これを解決するための方法として、露出を変えた複数の写真を撮影しておき、それらを合成することで、ハイダイナミックレンジの写真を作成する方法がある（特許文献１、２参照）。また、動画においては、暗部および明部のガンマカーブを調整することで、ある程度の黒つぶれや白とびを減少させることが可能であり、それはニー調整と呼ばれる機能である。

ハイダイナミックレンジの写真を作成する従来例を、図９、図１０（Ａ）、（Ｂ）を用いて説明する。
図９は、従来例によるハイダイナミックレンジの画像を作成するための機能ブロック図である。図中、１０６は適正露出画像に使用割合Ａを乗算する機能ブロック、１０７は露出オーバー画像に使用割合Ｂを乗算する機能ブロック、１０８は露出アンダー画像に使用割合Ｃを乗算する機能ブロックである。１０９は３つの画像を加算する加算ブロック、１１０は画像の階調数を出力画像として適当な階調数に削減または拡張する階調変換ブロック、である。

不図示の入力部から、適正露出、露出オーバー、露出アンダーの３種類の入力画像が入力される。それぞれの入力画像の階調値は、３種類の露出で撮影した時の撮像素子の出力電圧をデジタル化した値であり、後述する図１０（Ａ）の符号１１１〜１１３に相当する。
次に、機能ブロック１０６、１０７、１０８が、適正露出、露出オーバー、露出アンダーの３種類の画像に、それぞれ個別の割合（割合：Ａ、割合：Ｂ、割合：Ｃ）をかける。これらの画像は加算ブロック１０９にて足し合わされる（線形合成）。このとき、暗い側においては、適正露出と露出オーバーの階調が足しあわされ、明るい側において、適正露出と露出アンダーの階調が足しあわされる。その結果、入力される輝度に対して出力する階調数が広くなる（ハイダイナミックレンジ）。
最後に、階調変換ブロック１１０によって、画像の階調数の調整を行なう。これは、要求される階調数に合わせる処理を行う。通常乗算器で構成される。
このようにして、ハイダイナミックレンジの画像が得られる。

図１０（Ａ）、（Ｂ）は、従来のハイダイナミックレンジ（ＨＤＲ）画像の説明を行うための模式的な図である。図１０（Ａ）は撮像素子に入力される輝度と撮像素子の出力を示す図、図１０（Ｂ）は撮像素子に入力される輝度とＨＤＲ画像の階調値を示す図である。
図１０（Ａ）において、横軸は撮像素子に入力される輝度、縦軸は撮像素子の出力をアナログ／デジタル変換器でデジタルデータに変換した撮像素子の出力階調値である。

説明をわかりやすくするために、８ｂｉｔのアナログ／デジタル変換器を用いた例で出力階調値を０−２５５のデータとして示している。もちろん必要な階調数（ビット幅）に
変更しても良い。図１０（Ａ）において、点線１１１は適正露出で撮像した場合の撮像素子に入力される輝度と撮像素子の出力階調値の関係を示す。点線１１２は露出オーバーで撮像した場合の撮像素子に入力される輝度と撮像素子の出力階調値の関係を示す。点線１１３は露出アンダーで撮像した場合の撮像素子に入力される輝度と撮像素子の出力階調値の関係を示す。図１０（Ａ）では、図が見難くなるのを避けるために省略しているが、適正露出の場合は、出力階調値０に対応する輝度１１１Ｄより小さい輝度では出力階調値は０になり、出力階調値２５５に対応する輝度１１１Ｌより大きい輝度では出力階調値は２５５になる。すなわち、０から２５５以外をクリッピングしている。同様に露出オーバー、露出アンダーの場合も、０から２５５以外をクリッピングしている。

ＨＤＲ画像を作成しない通常の撮影では、例えば適正露出で撮像した場合、輝度１１１Ｄより小さい輝度では、出力階調値は一律に０となり、いわゆる黒つぶれが発生する。また、輝度１１１Ｌより大きい輝度では、出力階調値は一律に２５５となり、いわゆる白飛びが発生する。この輝度１１１Ｄから１１１Ｌまでの範囲がダイナミックレンジに相当する。

従来行われているＨＤＲ画像の作成はこれらの問題を解決するために、露出アンダー、露出オーバーで撮像し得られた画像を以下の説明のように処理してダイナミックレンジを広げる（すなわち、黒つぶれする輝度を小さく、白飛びする輝度を大きくする）。

図１０（Ｂ）を参照して、従来のＨＤＲ画像作成方法の説明を行う。図１０（Ｂ）において、横軸は撮像素子に入力される輝度、縦軸は撮像素子の出力階調値およびＨＤＲ加算画像の階調値である。点線１１１、１１２、１１３は前述した適正露出で撮像した場合、露出オーバーで撮像した場合、露出アンダーで撮像した場合の撮像素子に入力される輝度と撮像素子の出力階調値を示す。

ＨＤＲ画像の作成は、図９で説明したブロックで処理される。説明を簡単にするため、図９で説明した割合Ａ、Ｂ、Ｃをすべて１として説明する。撮像素子の出力階調値（点線１１１、１１２、１１３）が加算ブロック１０９で足しあわされる。ここで、加算ブロック１０９の出力をＨＤＲ加算画像と呼ぶことにする。図１０（Ｂ）の太い実線１１４はＨＤＲ加算画像の階調値を示す。このＨＤＲ加算画像は階調変換ブロック１１０により必要な階調数に変換される。
実線１１４では、図１０（Ｂ）に示すように、黒つぶれが発生する輝度が１１４Ｄで示す輝度まで小さくなり、白飛びが発生する輝度が１１４Ｌに示す輝度まで大きくなる。つまり、ＨＤＲ画像では、図１０（Ａ）で示した適正露出の画像に比べて、ダイナミックレンジが拡張されているのがわかる。

ＨＤＲ加算画像は実線１１４のように０から７６５の値を取るので、例えば２５６階調の表示装置に表示する場合は、階調変換ブロック１１０において階調値を１／３倍することが好適である。
図１０（Ｂ）において、実線１１４の形状はＨＤＲ画像の特性を示している。この実線１１４の形状は露出オーバー、露出アンダーの設定値、図９で説明した割合Ａ、Ｂ、Ｃにより変更可能であり、必要なダイナミックレンジで最適な特性の形状となるように設計すればよい。

特開２００８−２３６７２６号公報 特開２００６−３４５５０９号公報 特開２００９−７１８２１号公報 特開２００４−４８４４５号公報 特開２００９−９８７１８号公報

動いている被写体に対し、上述したハイダイナミックレンジ処理を行なう場合、瞬間的に露出を変えた複数の写真を撮影する必要がある。しかしながら、一般のカメラではどうしても、数十ｍｓの間隔をおかないと、次の撮影が出来ない。その結果として、複数の写真を合成した時に、動いている被写体の輪郭部分が２重に見えるような、２重写り（３枚だと３重写り）と呼ばれる問題が発生する。

こうした従来例の課題を、図１１を用いて説明する。図１１は、２次元画像における水平方向１ライン分の階調分布を示しており、横軸は水平方向の座標、縦軸は階調値である。
均一な背景の中を明るい色の四角い物体が左から右に動いているときに、適正露出画像と露出オーバー画像を順に撮影したとする。図１１の１３１は適正露出画像に割合Ａを乗算した画像の階調分布であり、１３２は露出オーバー画像に割合Ｂを乗算した画像の階調分布である。また１３３は、加算及び階調変換して得られたＨＤＲ画像の階調分布である。

四角い物体が動いているため、適正露出画像を撮影してから露出オーバー画像を撮影するまでの数十ｍｓの時間経過により、四角い物体の撮像素子内の位置が移動する。そのため、階調分布１３３に示すように、ＨＤＲ画像のエッジ部分が階段状になる。これが２重写りのように見える。幅が非常に狭い線状の物体の場合は、２本の線が現れるような画像になってしまう。この２重写りは、一般の写真において表現される動きを示す「自然な尾引き」ではないので、非常に見苦しいものになる。

そこで２重写り対策として、特許文献３のように、動きベクトルを演算し、動いた部分を補正する処理を行なうものがある。しかしながら、動きベクトルの演算は完璧に出来るものではないので、合成した写真において、動いた部分のエッジの一部がガタガタになって、見苦しい写真となってしまうことがある。特に静止画においては参照画像が少ないので、動きベクトルの抽出は難しい。また、動きベクトルの演算が困難な縞模様のようなパターンがあると、合成写真の品質低下が顕著になる。
また、特許文献４および５のように、画像の領域を分けて画像合成することにより、ハイダイナミックレンジの画像を作る方法において、境界部分の微妙な不一致をぼかし処理によって解決する方法がある。しかしながら、この方法は、両方の画像をぼかして合成するため、得られた画像は境界が不自然にぼけた画像になってしまう。

そこで、本発明は、動く被写体を連続撮影して得られた複数の静止画像からハイダイナミックレンジの静止画像を作成する際に、２重写りやエッジの乱れの発生を防ぎ、動く被写体のエッジ部分を自然な尾引きで表現する技術を提供することを目的とする。
また、本発明は、２重写りやエッジの乱れのない高品質なハイダイナミックレンジの静止画像および動画像を表示するための技術を提供することを目的とする。
また、本発明は、ハイダイナミックレンジの動画像を簡易に作成するための技術を提供することを目的とする。

本発明は、動画像を撮影する撮影装置であって、適正露出の適正画像、オーバー露出のオーバー露出画像、及び、アンダー露出のアンダー露出画像を撮影する撮影手段と、前記オーバー露出画像及び前記アンダー露出画像にローパスフィルター処理を行い、前記適正画像のフレーム、ローパスフィルター処理されたオーバー露出画像のフレーム、及び、ローパスフィルター処理されたアンダー露出画像のフレームを交互に含む動画像を生成する画像処理手段と、前記画像処理手段で生成された動画像を記憶する記憶手段と、を有することを特徴とする。

本発明によれば、動く被写体を連続撮影して得られた複数の静止画像からハイダイナミックレンジの静止画像を作成する際に、２重写りやエッジの乱れの発生を防ぎ、動く被写体のエッジ部分を自然な尾引きで表現することができる。
また、２重写りやエッジの乱れのない高品質なハイダイナミックレンジの静止画像および動画像を表示することができる。
また、ハイダイナミックレンジの動画像を簡易に作成することができる。

第１実施形態に係る画像処理装置の機能ブロック図。 第１実施形態における画像合成を説明する図。 第２実施形態に係る画像処理装置の機能ブロック図。 第２実施形態における画像合成を説明する図。 第３実施形態に係る画像処理装置の機能ブロック図。 第３実施形態における画像合成を説明する図。 第４実施形態に係る表示装置の機能ブロック図。 第５実施形態に係る撮影装置と表示装置の機能ブロック図。 従来例によるＨＤＲ画像を作成するための機能ブロック図。 従来例によるＨＤＲ画像の作成方法を説明する図。 従来例による２重写りを説明する図。

本発明は、露出の異なる複数の画像を使用してハイダイナミックレンジ画像（ＨＤＲ画像）を作成するための技術に関するものであり、特に、動く被写体のＨＤＲ画像を得る目的に好ましく利用されるものである。この技術は、例えば、露出の異なる複数の画像を合成して１枚のＨＤＲ画像を作成する画像処理装置、露出の異なる複数の画像を連続表示してＨＤＲと同様の視覚効果を得る表示装置、ＨＤＲの動画像を撮影し記録する撮影装置などに適用できる。

ここで露出の異なる複数の画像は、適正露出で撮影された画像（これを「適正露出画像」と呼ぶ）と、適正露出以外（露出アンダー、露出オーバーなど）で撮影された画像（これを「不適正露出画像」と呼ぶ）とを含んでいる。適正露出画像と不適正露出画像の２枚の画像から１枚のＨＤＲ画像を得ることもできるし、１又は複数の適正露出画像と１又は複数の不適正露出画像の複数枚の画像から１枚のＨＤＲ画像を得ることもできる。なお、「適正露出」とは、自然な階調再現が得られるように、被写体の明るさ等の条件により決まる標準の露出値のことであり、「標準露出」といいかえることもできる。

以下、添付する図面を参照して本発明の実施形態を説明する。第１〜第３実施形態は本発明を画像処理装置に適用した例であり、第４実施形態は本発明を表示装置に適用した例であり、第５実施形態は本発明を撮影装置に適用した例である。以下の実施形態で述べる装置は、例えば、ＴＶ装置、映像記録再生装置、パーソナルコンピューター、デジタルカメラ、デジタルビデオカメラ、デジタルフォトフレーム、携帯電話、ゲーム装置などの機能の一部として実装可能である。

（第１実施形態）
図１は、本発明の第１実施形態に係る画像処理装置の機能ブロック図である。
この画像処理装置は、適正露出画像と不適正露出画像を入力する入力手段１、不適正露出画像に対しローパスフィルター処理を行なうフィルター手段２、適正露出画像に対しフィルター手段２の出力画像を合成することでＨＤＲ画像を作成する合成手段３を備える。入力手段１からは、適正露出画像と、露出オーバーと露出アンダーの２枚の不適正露出画像とが入力される。フィルター手段２は、露出オーバー画像の高周波成分を除去するためのローパスフィルター（ＬＰＦ）１１と、露出アンダー画像の高周波成分を除去するためのローパスフィルター（ＬＰＦ）１２を備える。合成手段３は、機能ブロック１０６、１０７、１０８と、加算ブロック１０９と、階調変換ブロック１１０とを備えている。これらのブロック１０６〜１１０の機能は図９に示したものと同じである。図１において、Ｓ１１は、割合Ａが乗算された適正露出画像、Ｓ１２は、割合Ｂが乗算された、ローパスフィルター処理後の露出オーバー画像、Ｓ１３は、割合Ｃが乗算された、ローパスフィルター処理後の露出アンダー画像である。Ｓ１４は、加算ブロック１０９の出力画像（ＨＤＲ加算画像とも呼ぶ）である。

例えばデジタルカメラのオートブラケット機能を使用すると、適正露出の他に、露出オーバーと露出アンダーの３枚の画像が数十ｍｓの間隔をおいて、撮影できる。その３枚の画像を入力手段１から入力する。第１実施形態では、露出オーバー画像をローパスフィルター１１に通し、露出アンダー画像をローパスフィルター１２に通す。そして、図９と同様に機能ブロック１０６、１０７、１０８が、適正露出画像、ローパスフィルター処理後の露出オーバー画像、ローパスフィルター処理後の露出アンダー画像の３種類の画像に、それぞれ所定の割合Ａ、Ｂ、Ｃをかける。

このようにして得られた画像Ｓ１１、Ｓ１２、Ｓ１３は加算ブロック１０９にて足し合わされる。図１０（Ｂ）で説明したように、暗い側においては、ローパスフィルター処理後の露出オーバー画像Ｓ１２と適正露出画像Ｓ１１の階調が足しあわされる。また、明るい側においては、ローパスフィルター処理後の露出アンダー画像Ｓ１３と適正露出画像Ｓ１１の階調が足しあわされる。したがって、合成後の画像Ｓ１４は、元画とローパスフィルターを通した画が、混合された画となる。

図２は、本実施形態の画像合成を説明する図である。図２は、２次元画像における水平方向１ライン分の階調分布を示しており、横軸は水平方向の座標、縦軸は階調値である。以下、説明を簡略化するために、露出オーバー画像と適正露出画像の２枚からＨＤＲ画像を作成する処理を説明する。露出アンダー画像を合成する場合も同様に考えればよい。

図１１と同様、均一な背景の中を明るい色の四角い物体が左から右に動いている、という被写体を仮定する。本実施形態では、この被写体を露出オーバー、適正露出の順で撮影する。図２の３１は適正露出画像に割合Ａを乗算した画像Ｓ１１の階調分布であり、３２はローパスフィルター処理後の露出オーバー画像に割合Ｂを乗算した画像Ｓ１２の階調分布である。また３３は、合成画像Ｓ１４の階調分布である。

四角い物体が動いているため、露出オーバー画像を撮影してから適正露出画像を撮影す
るまでの数十ｍｓの時間経過により、四角い物体の撮像素子内の位置が移動する。この両方の画像に図１で示した処理を適用すると、適正露出画像に関しては、階調分布３１のようにエッジが維持されるが、露出オーバー画像に関しては、ローパスフィルターを通すことで、階調分布３２のようにエッジがなだらかな画像Ｓ１２に変換される。

この２つの画像Ｓ１１とＳ１２を加算すると、加算後の画像Ｓ１４は階調分布３３のようになる。この階調分布３３を見ると、四角い物体の進行方向前方では階調が僅かに減少しており（３３ａ参照）、後方では階調が僅かに増加している（３３ｂ参照）。このようなエッジ部分の階調変化は、写真撮影におけるシャッタースピードと物体の動きとの関係で生じる「尾引き」に類似しており、従来例のような２重写りとは違い、自然な画像に見える。また、幅が非常に狭い線状の物体の場合、露出オーバー画像側の線はローパスフィルターによりぼやけて目立たなくなるので、合成画像は２重線に見えない。したがって、本実施形態によれば、複数の画像からＨＤＲ画像を作成する際に、２重写りやエッジの乱れの発生を防ぎ、動く被写体のエッジ部分を自然な尾引きで表現することができる。

適正露出画像と不適正露出画像の撮影順は、不適正露出画像の撮影が先であることが好ましい。また不適正露出画像として、露出オーバー画像と露出アンダー画像の２つを用いる場合には、露出オーバー画像、露出アンダー画像、適正露出画像の順で撮影を行なうのがよい。このような撮影順とすることで、より自然な尾引きが生成されるからである。

なお本発明は、上記実施形態の構成に限るものでなく、目的、効果および結果が同じであれば、別の構成をとることも出来る。例えば、各画像に割合Ａ〜Ｃを乗算せず、適正露出画像に対しローパスフィルター処理後の不適正露出画像をそのまま加算してもよい。
入力画像としては、輝度に対して階調値が比例している画像（リニア系の画像）を用いることが好ましい。ＪＰＥＧ画像などガンマ系の画像を使用する場合は、リニア系の画像に変換してから上記のＨＤＲ合成処理を行うと良い。また出力するＨＤＲ画像は、必要に応じてリニア系からガンマ系に変換すると良い。あるいは、合成時に割合Ａ，Ｂ，Ｃを適宜設定することで、ガンマ系の画像のまま上記処理を行なっても良い。ただしガンマ系の画像に対し上記のＨＤＲ合成処理を行なう場合は、コントラストカーブが若干変化する。

（第２実施形態）
図３および図４を用いて、本発明の第２実施形態を説明する。第２実施形態では、ＨＤＲ画像における「ぼやけ」や「尾引き」を減少する方法を示す。

図３は、本発明の第２実施形態に係る画像処理装置の機能ブロック図である。
この画像処理装置は、適正露出画像から低周波成分を減じる処理を行なう適正露出画像調整手段４を有している点で、第１実施形態のものと異なる。それ以外の構成（入力手段１、フィルター手段２、合成手段３）は第１実施形態のものと同じである。
適正露出画像調整手段４は、適正露出画像に対しローパスフィルター処理を行なうローパスフィルター２１１と、ローパスフィルター処理前の適正露出画像Ｓ２０からローパスフィルター処理後の適正露出画像Ｓ２１を減算する減算ブロック２１２と、を有する。本実施形態では、減算ブロック２１２から出力される、調整された適正露出画像Ｓ２２がＨＤＲ合成に利用される。

適正露出画像から低周波成分を減算した画像Ｓ２２をＨＤＲ合成に用いることで、適正露出の階調範囲では、元の適正露出画像Ｓ２０に近い画像が得られる。このことを図４にて説明する。

図４は、第２実施形態の画像合成を説明する図である。第１実施形態（図２）の場合と同じ適正露出画像及び露出オーバー画像が入力された例を示している。図４の２３１は調
整された適正露出画像Ｓ２２に割合Ａを乗算した画像Ｓ２３の階調分布であり、２３２はローパスフィルター処理後の露出オーバー画像に割合Ｂを乗算した画像Ｓ２４の階調分布である。また２３３は、合成画像Ｓ２５の階調分布である。

四角い物体が動いているため、露出オーバー画像を撮影してから適正露出画像を撮影するまでの数十ｍｓの時間経過により、四角い物体の撮像素子内の位置が移動する。この両方の画像に図３で示した処理を適用すると、適正露出画像に関しては、低周波成分を減算しているので、エッジは維持され、輝度変化の小さい中央部分は凹んだような階調分布２３１になる。一方、露出オーバー画像に関しては、ローパスフィルターを通すことで、エッジがなだらかな階調分布２３２となる。

これらの合成画像Ｓ２５も、第１実施形態と同様、四角い物体の進行方向前方では階調が僅かに減少し（２３３ａ参照）、後方では階調が僅かに増加する（２３３ｂ参照）階調分布２３３をもつ。したがって、動く被写体を自然な「尾引き」で表現できる。
ここで、四角い物体の中央部の階調に注目する。画像Ｓ２３は低周波成分が減算されているのに対し、画像Ｓ２４は低周波成分である。そのため、画像Ｓ２３とＳ２４を加算すると、四角い物体の中央部の階調分布がほぼフラットになる。よって、第１実施形態よりも、「ぼやけ」や「尾引き」が減少し、より高品質なＨＤＲ画像が得られる。

（第３実施形態）
図５および図６を用いて、本発明の第３実施形態を説明する。第３実施形態では、不適正露出画像のなかの所定の階調部分にのみローパスフィルター処理を行なうことで、ＨＤＲ画像の品質をさらに向上する方法を示す。

図５は、本発明の第３実施形態に係る画像処理装置の機能ブロック図である。
この画像処理装置は、フィルター手段２が特殊ローパスフィルター３１１、３１２を有している点で、第２実施形態のものと異なる。それ以外の構成（入力手段１、合成手段３、適正露出画像調整手段４）は第２実施形態のものと同じである。

特殊ローパスフィルター３１１は、露出オーバー画像のなかの所定閾値ＴＨ１より明るい階調部分にのみローパスフィルターをかける（つまり、閾値ＴＨ１より暗い階調部分でフィルターをオフにする）、特殊なフィルターである。また特殊ローパスフィルター３１２は、露出アンダー画像のなかの所定閾値ＴＨ２より暗い階調部分にのみローパスフィルターをかける（つまり、閾値ＴＨ２より明るい階調部分でフィルターをオフにする）、特殊なフィルターである。本実施形態では、閾値ＴＨ１とＴＨ２をそれぞれ、適正露出のダイナミックレンジの最小値（図１０（Ａ）の１１１Ｄ）と最大値（図１０（Ａ）の１１１Ｌ）に設定する。ただし閾値ＴＨ１とＴＨ２の値はこれに限らず、それぞれ任意に設定してよい。

図６（Ａ）と図６（Ｂ）は、第３実施形態の画像合成を説明する図である。図６（Ａ）は、第１実施形態（図２）の場合と同じ適正露出画像及び露出オーバー画像が入力された例を示している。図６（Ｂ）は、図６（Ａ）よりも暗い四角い物体を撮影して得られた適正露出画像及び露出オーバー画像が入力された例である。３３１と３３４は、図５における画像Ｓ３３の階調分布であり、３３２と３３５は、画像Ｓ３４の階調分布であり、３３３と３３６は、合成画像Ｓ３５の階調分布である。

図６（Ａ）の明るい物体の場合は、第２実施形態と同じ合成画像Ｓ３５が得られる。よって、第２実施形態と同様、自然な尾引き表現による高品質なＨＤＲ画像（３３３参照）が生成される。
一方、図６（Ｂ）の暗い物体について考える。当該物体の輝度が適正露出では映らない
レベルの輝度だった場合、画像Ｓ３３の階調は０となる（３３４参照）。露出オーバー画像では、当該物体の輝度が閾値ＴＨ１より小さいためにローパスフィルターがオフになり、入力された画像と同様の階調分布３３５が得られる。よって、合成画像Ｓ３５の階調分布３３６では、ローパスフィルターによるエッジぼけがなく、元の物体のエッジが保たれる。図示していないが、露出アンダー画像に関しては、閾値ＴＨ１より大きい階調部分について、エッジぼけのない高品質な画像が得られる。
以上より、本実施形態によれば、第２実施形態よりもさらに「ぼやけ」や「尾引き」が減少した、より高品質なＨＤＲ画像が得られる。

（第４実施形態）
さてここまでの第１〜第３実施形態では、複数の入力画像から１枚のＨＤＲ画像を作成した後にそれを表示する例を述べた。
最近の表示装置は、１２０ｐなどの高速に表示できるものが増えている。このような表示装置において、複数の画像を高速に切り替えて表示すると、観者にはそれらの画像を合成した画像が見える。そこで、露出の異なる複数の入力画像に対し、第１〜第３実施形態と同様のフィルター処理を行った後、それらを繰り返し連続的に表示することで、観者には合成した結果であるＨＤＲ画像として見えることになる。

図７は、本発明の第４実施形態に係る表示装置における、ハイダイナミックレンジ処理を行なう部分の機能ブロック図である。図１と同じ符号が付されたブロックは、第１実施形態のものと同じ機能をもつものである。第１実施形態と異なる点は、加算ブロック１０９の代わりに、表示部に出力する画像をフレーム単位で切り替えるセレクタ４１１が設けられている点である。
セレクタ４１１は、垂直同期に従い所定の表示周波数で、適正露出画像（Ｓ４０）と不適正露出画像（Ｓ４１、Ｓ４２）とを交互に表示する。ここでは、フリッカーの発生を抑制するために、２つの画像を交互に表示する場合には表示周波数を７０Ｈｚ以上に、３つの画像を交互に表示する場合には表示周波数を１００Ｈｚ以上にする。

表示される画像を図２で説明すると、実際に表示される画像は階調分布３１と３２の２つの画像であるにもかかわらず、それらが高速に切り替わるため、観者の目の中で合成されて、階調分布３３のように見える。このように、簡単な構成で、高品質なＨＤＲ画像を得ることができる。

なお、第４実施形態では、第１実施形態と同じフィルター処理を行なう例を挙げたが、本発明の構成はこれに限られない。第２実施形態で述べた適正露出画像調整手段や、第３実施形態で述べた特殊ローパスフィルターを、第４実施形態の構成に追加することもできる。あるいは、図７の構成からフィルター手段２を省略して、入力手段１で入力された適正露出画像と不適正露出画像をそのまま表示することもできる。

（第５実施形態）
さてここまでの第１〜第４実施形態では、静止画の画像からハイダイナミックレンジの画像を表示する例を述べた。第１〜第３実施形態において、露出の異なる複数の静止画からハイダイナミックレンジの画像を合成する方法を述べた。また、第４実施形態においては、露出の異なる複数の画像を連続的に表示することによって、観者の目の中でハイダイナミック合成できることを示した。

ところで当然ながら、表示装置は動画を表示することができるものであって、ことに最近は１２０ｐなどの高速に表示できるものが増えている。このような表示装置においては、第４実施形態で示した静止画の例と同様に、動画像においても、露出の異なる画像を交互に表示することで、視聴者には合成した画像として見えることになる。
そこで、適正露出画像のフレームと不適正露出画像のフレームとが交互に含まれる動画像を作成すれば、この動画像を表示することで、観者にハイダイナミックレンジの画像を提供することができる。

図８を用いて、第５実施形態に係る撮影装置と表示装置の構成を説明する。撮影装置は、撮像素子５１１、アンプ５１２、ゲインセレクタ５１３、ＡＤコンバータ５１４、画像処理部５１５を有している。撮像素子５１１は、動画像を撮影する撮影手段であり、ＣＣＤ又はＣＭＯＳで構成される。アンプ５１２は、撮像素子５１１の出力電圧を変換する機能である。ゲインセレクタ５１３は、アンプ５１２のゲインを「適正なレベル」と「オーバーなレベル」と「アンダーなレベル」の間で切り替える機能である。ＡＤコンバータ５１４は、アンプ５１２の出力をデジタル信号に変換する機能である。画像処理部５１５は、デジタル演算によって画質調整や圧縮などの処理を行なう機能である。画像処理部５１５から出力される動画像は記憶媒体に記録される。５１６は、その動画像を表示するための表示装置である。

２種類の露出の画像を交互に表示する動画像の場合は、フリッカーの発生を抑制するために、その表示周波数を１２０Ｈｚのように７０Ｈｚ以上の値にする必要がある。
１２０Ｈｚで動作させる例では、撮像素子５１１をシャッター速度（蓄積速度）１２５分の１秒以下で動かし、図示していないレンズで結像した光信号を電気信号に変換する。次にアンプ５１２にて電気信号を増幅するが、この時の増幅率は、以下の２種類を１２０Ｈｚのタイミングで切り替えて繰り返し使用する。増幅率を変化させれば、ＩＳＯ感度が変化することになる。
ゲインＡ：適正露出より若干オーバーな増幅率（１．５倍〜２倍程度）
ゲインＢ：適正露出より若干アンダーな増幅率（０．７倍〜０．５倍程度）

そうすれば、交互に若干オーバーな画像レベルの信号とアンダーな画像レベルの信号が、１２０Ｈｚのフレーム周波数で得られる。この信号を、ＡＤコンバータ５１４でデジタル化する。そして、画像処理部５１５が、撮像素子のＲＡＷデータをＲＧＢ画像データに変換した後、ガンマ調整などの画質調整を行い、必要に応じて圧縮する。ただし、画像処理部５１５では、感度調整（露出調整）は行わない。
このようにすれば、若干オーバーな明るい画像フレームと、若干アンダーな暗い画像フレームが繰り返されている動画が得られる。なお、明るい画像フレームには、白飛び部分があり、暗い画像フレームには、黒つぶれ部分が存在する可能性がある。

本実施形態においては、１２０Ｈｚで連続した動画を撮影しているので、図１に示すローパスフィルター１１、１２はあっても良いが必須ではない。もしも、６０Ｈｚの動画から、１２０Ｈｚの動画を作成する場合は、第１〜第４実施形態のように、ローパスフィルターが必要になる。

このようにして得られた動画像は、不揮発性メモリ、ＨＤＤ、テープなどの記憶媒体（記憶手段）に記録される。つまり、本実施形態の撮影装置によれば、露出（感度）の異なる画像のフレームが交互に現れるような動画像が生成し、記憶される。

なお、露出を変える手段は、上に示したアンプ５１２によって感度を変えるものだけでない。ビデオカメラの（図示していない）絞りを連続的に変化させたり、撮像素子５１１の電子シャッター速度を連続的に変化させても、同様に露出を変えることができる。

上記手段で記録してあった動画像を、撮影時と同じ周波数（ここでは１２０Ｈｚ）で、高速動画表示装置５１６に送る。高速動画表示装置５１６では、入力された動画像を（合成はせずに）連続的に表示する。これにより、観者がフリッカーを感じない速度で、明る
い画像フレームと暗い画像フレームが繰り返し表示される。
そうすれば、観者の目の中で、明るい画像フレームと暗い画像フレームが合成した動画として見える。明るい画像フレームにあった白飛び部分は、暗い画像フレームでは階調があるので、合成後は、白飛びしていないように見える。逆に、暗い画像フレームにあった黒つぶれ部分は、明るい画像フレームでは階調があるので、合成後は、黒つぶれしていないように見える。よって、観者には合成した結果であるハイダイナミックレンジの画像として見える。

なお、上記実施形態では、露出の変更を２種類とする場合について述べたが、勿論露出変更を３種類としても、同様の効果が得られる。３種類の場合は、露出アンダーフレーム、適正露出フレーム、露出オーバーフレームの３種類とするのが、ダイナミックレンジが明暗方向の両側に広がるので適当である。ただし、より暗い部分の階調性を重視した画作りを行ないたい場合は、適正露出画像のフレーム１つに対して露出オーバー画像のフレームを複数使用してもよい。逆に、明るい部分の階調性を重視した作品にしたい場合などは、適正露出画像のフレーム１つに対して露出アンダー画像のフレームを複数使用してもよい。

また、上記実施形態は、１台のカメラで撮影しているが、露出の異なる２台のカメラで同じ被写体を撮影してもよい。各カメラで撮影し録画された２つの映像から、異なる露出のフレームが交互になるように編集をし直す事で、上記１台のカメラと同じことを実現することも可能である。

１：入力手段、２：フィルター手段、３：合成手段

Claims (2)

1. 動画像を撮影する撮影装置であって、
   適正露出の適正画像、オーバー露出のオーバー露出画像、及び、アンダー露出のアンダー露出画像を撮影する撮影手段と、
   前記オーバー露出画像及び前記アンダー露出画像にローパスフィルター処理を行い、前記適正画像のフレーム、ローパスフィルター処理されたオーバー露出画像のフレーム、及び、ローパスフィルター処理されたアンダー露出画像のフレームを交互に含む動画像を生成する画像処理手段と、
   前記画像処理手段で生成された動画像を記憶する記憶手段と、を有することを特徴とする撮影装置。
2. 前記動画像を７０Ｈｚ以上の周波数で表示する表示手段をさらに有する
   ことを特徴とする請求項１に記載の撮影装置。

Images