JPH08256303A

JPH08256303A - 画像処理装置

Info

Publication number: JPH08256303A
Application number: JP7058794A
Authority: JP
Inventors: Masato Ikeda; 政人池田; Yoshiro Udagawa; 善郎宇田川; Eiichiro Ikeda; 栄一郎池田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1995-03-17
Filing date: 1995-03-17
Publication date: 1996-10-01

Abstract

(57)【要約】【目的】ダイナミックレンジの拡大された画像を得る
ために記憶するデータ量を少なくできるようにする。【構成】同じ被写体を異なる露光量で撮像して得られ
る複数の画像データのうちの何れか１つを標準画像と
し、他の非標準画像の中からダイナミックレンジ拡大に
必要な領域を判別する領域判別手段９と、上記領域判別
手段９により判別された非標準画像中の領域の画像デー
タを圧縮して圧縮データを生成する圧縮手段１０と、上
記標準画像の画像データおよび上記非標準画像の圧縮デ
ータを記録媒体に記録する記録手段１１とを設け、非標
準画像についてはその画像データの一部のみを圧縮して
記録するようにすることにより、上記複数の画像データ
の全てをそのまま記憶しておく場合に比べ、ダイナミッ
クレンジの拡大された合成画像を得るために記憶してお
くデータ量を大幅に減らすことができるようにする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置に関し、特
に、撮像素子を用いた静止画および動画の撮像におい
て、１つの被写体を異なる露光量で撮像して得られる複
数枚の画像データを合成することによりダイナミックレ
ンジを拡大するようにした装置に用いて好適なものであ
る。

【０００２】

【従来の技術】一般に、ビデオカメラや電子カメラ等で
は、撮像した被写体像を表す画像信号を発生するための
ＣＣＤ等の固体撮像素子が用いられている。ところが、
固体撮像素子のダイナミックレンジは比較的狭いので、
視野内に含まれる明るい部分と暗い部分との輝度差が大
きい場合には、両者を適正露出で撮像することは困難で
あった。例えば、暗い部分に露出を合わせると明るい部
分は白くとんでしまい、明るい部分に露出を合わせると
暗い部分は黒くつぶれてしまっていた。

【０００３】従来、このような問題を解決するために、
同一の被写体を異なる露光量で複数回撮像し、これによ
り得られる複数枚の画像データを合成することにより、
ダイナミックレンジの拡大された画像を得るようにした
方法が提案されている（例えば、特開平５−６４０７５
号公報）。

【０００４】

【発明が解決しようとする課題】しかしながら、上述の
ような方法でダイナミックレンジを拡大するためには、
撮像した複数枚の画像データを記憶しておく必要があ
り、記憶する画像データのデータ量が多くなってしまう
という問題があった。そこで本発明は、ダイナミックレ
ンジの拡大された画像を得るために記憶するデータ量を
少なくできるようにすることを目的とする。

【０００５】

【課題を解決するための手段】本発明の画像処理装置
は、同じ被写体を異なる露光量で複数回撮像し、得られ
た複数の画像データを合成してダイナミックレンジの拡
大された画像を得ることができるようにした装置におい
て、前記複数の画像データのうちの何れか１つを標準画
像とし、前記標準画像以外の非標準画像の画像データを
圧縮して非標準画像圧縮データを生成する非標準画像圧
縮手段と、前記標準画像の画像データおよび前記非標準
画像圧縮データを記録する記録手段とを具備する。

【０００６】また、本発明の他の特徴とするところは、
同じ被写体を異なる露光量で複数回撮像し、得られた複
数の画像データを合成してダイナミックレンジの拡大さ
れた画像を得ることができるようにした装置において、
前記複数の画像データのうちの何れか１つを標準画像と
し、前記標準画像の画像データを圧縮して標準画像圧縮
データを生成する標準画像圧縮手段と、前記標準画像以
外の非標準画像の画像データを圧縮して非標準画像圧縮
データを生成する非標準画像圧縮手段と、前記標準画像
圧縮データおよび前記非標準画像圧縮データを記録する
記録手段とを具備する。

【０００７】また、本発明のその他の特徴とするところ
は、前記非標準画像の中からダイナミックレンジ拡大に
必要な領域を判別する領域判別手段を更に具備し、前記
非標準画像圧縮手段は、前記領域判別手段により判別さ
れた非標準画像中の領域の画像データを取り出し、これ
を圧縮して前記非標準画像圧縮データとすることを特徴
とする。

【０００８】また、本発明のその他の特徴とするところ
は、同じ被写体を異なる露光量で複数回撮像し、得られ
た複数の画像データを合成してダイナミックレンジの拡
大された画像を得ることができるようにした装置におい
て、前記複数の画像データのうちの何れか１つを標準画
像とし、前記標準画像以外の非標準画像の中からダイナ
ミックレンジ拡大に必要な領域を判別する領域判別手段
と、前記標準画像の画像データおよび前記領域判別手段
により判別された非標準画像中の領域の画像データを記
録する記録手段とを具備する。

【０００９】また、本発明のその他の特徴とするところ
は、前記非標準画像圧縮手段は、前記標準画像の画像デ
ータと前記非標準画像の画像データとの輝度レベルを合
わせるレベル合わせ手段と、前記レベル合わせ手段によ
り前記輝度レベルが合わせられた状態で、前記標準画像
の画像データと前記非標準画像の画像データとの差分デ
ータを生成する差分手段とにより構成されることを特徴
とする。

【００１０】また、本発明のその他の特徴とするところ
は、同じ被写体を異なる露光量で複数回撮像し、得られ
た複数の画像データを合成してダイナミックレンジの拡
大された画像を得ることができるようにした装置におい
て、前記複数の画像データのそれぞれの中からダイナミ
ックレンジ拡大に必要な領域を判別する領域判別手段
と、前記領域判別手段により判別された領域の画像デー
タのみを記録する記録手段とを具備する。

【００１１】

【作用】本発明は上記技術手段より成るので、ダイナミ
ックレンジの拡大された画像を得るために、同じ被写体
を異なる露光量で撮像した複数の画像データをそのまま
の形で全て記憶する場合に比べて、記憶するデータ量を
少なくすることが可能となる。

【００１２】

【実施例】以下、本発明による画像処理装置の一実施例
を図面に基づいて説明する。図１は、第１の実施例によ
る画像処理装置の構成を示す図である。図１において、
１は被写体を撮影するためのレンズ、２は入射する光量
を調節するための絞り、３は光学的ローパスフィルタ、
４はＣＣＤ等の固体撮像素子である。

【００１３】５は露光制御手段であり、絞り２の絞り量
や固体撮像素子４のシャッタースピードなどによって決
まる露光量を制御するものである。また、６は固体撮像
素子４から出力される画像信号をデジタル画像データに
変換するＡ／Ｄ変換器、７、８は１フレーム分のデジタ
ル画像データを一時的に記憶しておくためのフレームメ
モリである。

【００１４】９は領域判別手段であり、ダイナミックレ
ンジの拡大された画像を合成するために必要な領域（視
野中の明るい部分または暗い部分）を判別するものであ
る。１０は圧縮手段であり、上記フレームメモリ７、８
に記憶された画像データのうち、後述する標準画像ある
いは非標準画像の画像データを圧縮するものである。ま
た、１１は記録手段であり、上記標準画像および非標準
画像の画像データを図示しない記録媒体に記録するもの
である。

【００１５】次に、動作について説明する。まず、被写
体像は、レンズ１、絞り２および光学的ローパスフィル
ター３を通って固体撮像素子４の光電変換面に結像され
る。このとき、露光制御手段５は、１つの被写体を異な
る露光量で複数回撮影するように、絞り２および固体撮
像素子４を制御する。

【００１６】このようにして固体撮像素子４に結像され
た複数枚の被写体像は、光電変換により画像信号として
出力され、Ａ／Ｄ変換器６でアナログ−デジタル変換さ
れる。そして、これにより得られる複数のデジタル画像
データは、それぞれフレームメモリ７、８に一時的に記
憶される。

【００１７】ここで、上記固体撮像素子４により撮像さ
れた被写体像の一例を図２に示す。図２は、窓を有する
室内で露光量を異ならせて撮影を２回行った場合に得ら
れる２枚の画像とその画像データとを示している。

【００１８】このうち、図２（ａ）は、室内の領域Ｂ１
が適正露出になるように撮影した場合に得られる画像で
ある。この画像では、窓を通して見えている室外の領域
Ａ１は、室内の領域Ｂ１よりはるかに明るく、固体撮像
素子４の狭いダイナミックレンジではカバーしきれな
い。このため、室内の領域Ｂ１は適正露出になっている
が、室外の領域Ａ１の中で特に明るい部分は、固体撮像
素子４が飽和してしまい、白くとんでしまっている。

【００１９】また、図２（ｂ）は、窓の外に見える領域
Ａ２が白くとばないようにするために露出を抑えて撮影
した場合に得られる画像である。この画像では、室外の
領域Ａ２は適正露出になっているが、室内の領域Ｂ２
は、図２（ａ）に示した画像に比べて暗く映っている。

【００２０】今、図２（ａ）に基づく画像データがフレ
ームメモリ７に記憶され、図２（ｂ）に基づく画像デー
タがフレームメモリ８に記憶されているものとする。そ
して、フレームメモリ７に記憶されている画像データを
標準画像の画像データとし、また、フレームメモリ８に
記憶されている画像データを非標準画像の画像データと
する。

【００２１】ダイナミックレンジの拡大された画像を得
るためには、図２（ａ）（ｂ）に示した２枚の画像が必
要であるが、本例の場合は、（ａ）に示す画像（標準画
像）の全領域の画像データと、（ｂ）に示す画像（非標
準画像）中の領域Ａ２の画像データとがあれば十分であ
り、領域Ｂ２の画像データは不要である。

【００２２】つまり、標準画像である図２（ａ）の画像
データにおいて、領域Ａ１の部分に非標準画像である図
２（ｂ）の画像中の領域Ａ２の画像データを合成すれ
ば、明るい部分も暗い部分も共に適正露出の画像を得る
ことができる。このように、ダイナミックレンジの拡大
に必要な画像データの領域を判別するのが、領域判別手
段９である。

【００２３】図２（ｃ）は、図２（ａ）に示した標準画
像の水平方向１ライン分の画像データを示したものであ
る。この図２（ｃ）から明らかなように、室内より明る
い室外の風景の領域Ａ１のうち、特に明るい部分Ｃ１で
は固体撮像素子４が飽和している。

【００２４】領域判別手段９は、標準画像の中で固体撮
像素子４が飽和している領域、およびダイナミックレン
ジの拡大が必要な明るい領域を抽出するために、輝度レ
ベルが所定のしきい値Ｔ以上の領域を判定する。そし
て、これにより判定された標準画像中の領域Ａ１に対応
する非標準画像中の領域Ａ２を、ダイナミックレンジ拡
大に必要な領域として判別する。

【００２５】次に、圧縮手段１０は、非標準画像の画像
データの中から、上記領域判別手段９で判別された領域
Ａ２の画像データのみを取り出し、それを圧縮して圧縮
データを生成する。そして、記録手段１１は、標準画像
の画像データと上記圧縮データとをダイナミックレンジ
拡大に必要なデータとして図示しない記録媒体に記録す
る。このとき、上記圧縮データには、標準画像および非
標準画像の露光条件（絞り値やシャッタースピード等）
の情報と、非標準画像から取り出した画像の取り出し情
報（画像の位置等）とを合わせて記録する。

【００２６】なお、非標準画像から画像領域を取り出す
方法として、以下のような方法を採用しても良い。すな
わち、図３に示すように、画像を横にｎ分割、縦にｍ分
割したＷ₁₁〜Ｗ_nmの領域をあらかじめ設定しておく。そ
して、領域判別手段９によってしきい値Ｔ以上の画素が
所定個数以上存在する領域Ｗ_ij（１≦ｉ≦ｎ，１≦ｊ≦
ｍ）を判定し、その判定した領域Ｗ_ijをダイナミックレ
ンジ拡大に必要な領域とするようにしても良い。

【００２７】以上の例では、図２（ａ）の画像を標準画
像とし、図２（ｂ）の画像を非標準画像として説明して
いるが、逆に、図２（ｂ）の画像を標準画像とし、図２
（ａ）の画像を非標準画像とした場合でも、本発明を同
様に適用することが可能である。

【００２８】この場合は、図２（ｂ）の標準画像中にお
いて輝度レベルが所定のしきい値以下の領域Ｂ２を判定
し、図２（ａ）の非標準画像から上記判定した領域Ｂ２
に対応する領域Ｂ１の画像データのみを取り出し、圧縮
データを生成する。そして、この領域Ｂ１についての圧
縮データと、上記標準画像の画像データとをダイナミッ
クレンジ拡大に必要なデータとして記録するようにすれ
ば良い。

【００２９】以上説明したように、本実施例では、ダイ
ナミックレンジの拡大に必要な複数枚の画像データを全
て記録するのではなく、１枚の標準画像の画像データ
と、その標準画像をもとに非標準画像から必要な領域の
みを取り出して圧縮した圧縮データとを記録するように
しているので、ダイナミックレンジの拡大に必要なデー
タとして記録するデータ量を大幅に減らすことができ
る。この場合、非標準画像中の一部領域の画像データの
みを圧縮して記録するようにしているので、非標準画像
全体の画像データを単純に圧縮する場合に比べて記録す
るデータ量を少なくすることができる。

【００３０】また、図４の第２の実施例に示すように、
標準画像の画像データを標準画像圧縮手段１２を用いて
圧縮して標準画像圧縮データを生成し、標準画像の画像
データをそのまま記録する代わりに、上記標準画像圧縮
データを記録するようにしても良い。このようにすれ
ば、ダイナミックレンジの拡大に必要なデータとして記
録するデータ量を更に減らすことができる。

【００３１】なお、以上の第１、第２の実施例では、ダ
イナミックレンジの拡大された画像を得るために、露光
量の異なる画像を２枚撮影する場合について述べたが、
本発明はこれに限定されるものではない。例えば、露光
量の異なる画像を３枚以上撮影する場合、すなわち非標
準画像が複数枚となる場合についても本発明を適用する
ことが可能である。

【００３２】また、適正露光量で撮像した画像を標準画
像とするようにすれば、ダイナミックレンジの拡大され
た画像を合成する際に、適正露光量の画像を圧縮データ
から再生する必要がないので、画像合成が容易になると
いうメリットがある。

【００３３】また、以上の実施例では、非標準画像の中
からダイナミックレンジ拡大に必要な領域を取り出して
圧縮データを生成し、この圧縮データと標準画像の画像
データとをダイナミックレンジを拡大するためのデータ
として記録するようにしているが、本発明はこれに限定
されない。

【００３４】例えば、非標準画像の中から取り出した領
域の画像データを圧縮しないでそのまま記録するように
しても良いし、また、標準画像および非標準画像の双方
からダイナミックレンジ拡大に必要な領域の画像データ
のみを取り出し、これを圧縮して、あるいは圧縮しない
で記録するようにしても良い。何れの場合も、ダイナミ
ックレンジを拡大するために記録するデータ量を従来よ
りも少なくすることができる。

【００３５】次に、本発明の第３の実施例について説明
する。第３の実施例は、標準画像と非標準画像との差分
データを圧縮データとして記録するようにしたものであ
る。図５は、この第３の実施例による画像処理装置の構
成を示す図であり、図１と同じ部分には同じ符号を付し
て詳細な説明を省略する。

【００３６】図５において、１３はレベル合わせ手段で
あり、標準画像と非標準画像との輝度のレベル合わせを
するものである。また、１４は差分器であり、フレーム
メモリ７に記憶されている画像データとフレームメモリ
８に記憶されている画像データとから各画素の差分デー
タを生成するものである。

【００３７】上記のように構成した画像処理装置の動作
を、上述した第１の実施例と異なるところについてのみ
説明する。すなわち、フレームメモリ７には、標準画像
である図２（ａ）に基づく画像データが記憶され、フレ
ームメモリ８には、非標準画像である図２（ｂ）に基づ
く画像データが記憶されているものとする。

【００３８】この場合、レベル合わせ手段１３によって
フレームメモリ７内の標準画像とフレームメモリ８内の
非標準画像との間で輝度のレベル合わせが行われた後、
差分器１４により、上記標準画像と非標準画像との各画
素ごとの差分データ、すなわち圧縮データが生成され
る。

【００３９】例えば、非標準画像が標準画像の露光量の
１／２の露光量で撮影され、図２（ｂ）に示した非標準
画像中の室内の領域Ｂ２の輝度レベルが、図２（ａ）に
示した標準画像中の室内の領域Ｂ１の輝度レベルの１／
２となる場合は、非標準画像の画像データの輝度レベル
がレベル合わせ手段１３によって２倍にされた上で、差
分器１４によって各画素ごとの差分データが生成され
る。

【００４０】そして、記録手段１１により、標準画像の
画像データと上記圧縮データとがダイナミックレンジ拡
大に必要なデータとして図示しない記録媒体に記録され
る。このとき、上記圧縮データには、標準画像および非
標準画像の露光条件（絞り値やシャッタースピード等）
の情報と、差分データの生成時におけるレベル合わせの
条件の情報とが合わせて記録される。

【００４１】以上のように、第３の実施例では、ダイナ
ミックレンジの拡大に必要な複数枚の画像データを全て
記録するのではなく、１枚の標準画像の画像データと、
標準画像と非標準画像との差分から生成した圧縮データ
とを記録するようにしているので、ダイナミックレンジ
を拡大するために記録するデータ量を大幅に減らすこと
ができる。

【００４２】しかも、本実施例では、標準画像と非標準
画像との間で輝度のレベル合わせを行った後で差分デー
タを生成するようにしているので、レベル合わせをしな
い場合に比べて、データ圧縮率を大幅に高くすることが
できる。

【００４３】

【発明の効果】以上説明したように本発明によれば、同
じ被写体を異なる露光量で複数回撮像して得られる複数
の画像データの全てをそのまま記憶しておく場合に比べ
て、ダイナミックレンジの拡大された画像を得るために
記憶しておくデータ量を大幅に減らすことができ、少な
い量のデータでもってダイナミックレンジの拡大された
画像を得るようにすることができるようになる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の第１の実施例を示す図
である。

【図２】同じ被写体を露光量を異ならせて撮影した場合
に得られる２枚の画像およびその画像データを示す図で
あり、（ａ）は室内が適正露出となるように撮影した場
合に得られる画像、（ｂ）は室外の風景が白くとばない
ように露出を抑えて撮影した場合に得られる画像、
（ｃ）は（ａ）に示した標準画像の水平方向１ライン分
の画像データを示す図である。

【図３】非標準画像から取り出す画像領域としてあらか
じめ設定してある領域を示す図である。

【図４】本発明の画像処理装置の第２の実施例を示す図
である。

【図５】本発明の画像処理装置の第３の実施例を示す図
である。

【符号の説明】

１レンズ２絞り３光学的ローパスフィルター４固体撮像素子５露光制御手段６Ａ／Ｄ変換器７、８フレームメモリ９領域判別手段１０圧縮手段１１記録手段１２標準画像圧縮手段１３レベル合わせ手段１４差分器

Claims

【特許請求の範囲】

【請求項１】同じ被写体を異なる露光量で複数回撮像
し、得られた複数の画像データを合成してダイナミック
レンジの拡大された画像を得ることができるようにした
装置において、前記複数の画像データのうちの何れか１つを標準画像と
し、前記標準画像以外の非標準画像の画像データを圧縮
して非標準画像圧縮データを生成する非標準画像圧縮手
段と、前記標準画像の画像データおよび前記非標準画像圧縮デ
ータを記録する記録手段とを具備することを特徴とする
画像処理装置。
【請求項２】同じ被写体を異なる露光量で複数回撮像
し、得られた複数の画像データを合成してダイナミック
レンジの拡大された画像を得ることができるようにした
装置において、前記複数の画像データのうちの何れか１つを標準画像と
し、前記標準画像の画像データを圧縮して標準画像圧縮
データを生成する標準画像圧縮手段と、前記標準画像以外の非標準画像の画像データを圧縮して
非標準画像圧縮データを生成する非標準画像圧縮手段
と、前記標準画像圧縮データおよび前記非標準画像圧縮デー
タを記録する記録手段とを具備することを特徴とする画
像処理装置。
【請求項３】前記非標準画像の中からダイナミックレ
ンジ拡大に必要な領域を判別する領域判別手段を更に具
備し、前記非標準画像圧縮手段は、前記領域判別手段により判
別された非標準画像中の領域の画像データを取り出し、
これを圧縮して前記非標準画像圧縮データとすることを
特徴とする請求項１または２に記載の画像処理装置。
【請求項４】同じ被写体を異なる露光量で複数回撮像
し、得られた複数の画像データを合成してダイナミック
レンジの拡大された画像を得ることができるようにした
装置において、前記複数の画像データのうちの何れか１つを標準画像と
し、前記標準画像以外の非標準画像の中からダイナミッ
クレンジ拡大に必要な領域を判別する領域判別手段と、前記標準画像の画像データおよび前記領域判別手段によ
り判別された非標準画像中の領域の画像データを記録す
る記録手段とを具備することを特徴とする画像処理装
置。
【請求項５】前記領域判別手段は、前記標準画像中に
おいて輝度レベルが所定のしきい値以上の領域を判定
し、この判定した標準画像中の領域に対応する非標準画
像中の領域を、前記ダイナミックレンジ拡大に必要な領
域として判別することを特徴とする請求項３または４に
記載の画像処理装置。
【請求項６】前記領域判別手段は、前記標準画像中に
おいて輝度レベルが所定のしきい値以下の領域を判定
し、この判定した標準画像中の領域に対応する非標準画
像中の領域を、前記ダイナミックレンジ拡大に必要な領
域として判別することを特徴とする請求項３または４に
記載の画像処理装置。
【請求項７】前記非標準画像圧縮データは、前記標準
画像の画像データと前記非標準画像の画像データとの差
分データであることを特徴とする請求項１〜３の何れか
１項に記載の画像処理装置。
【請求項８】前記非標準画像圧縮手段は、前記標準画
像の画像データと前記非標準画像の画像データとの輝度
レベルを合わせるレベル合わせ手段と、前記レベル合わせ手段により前記輝度レベルが合わせら
れた状態で、前記標準画像の画像データと前記非標準画
像の画像データとの差分データを生成する差分手段とに
より構成されることを特徴とする請求項１〜３の何れか
１項に記載の画像処理装置。
【請求項９】前記標準画像は、適正露光量によって撮
像された画像であることを特徴とする請求項１〜８の何
れか１項に記載の画像処理装置。
【請求項１０】同じ被写体を異なる露光量で複数回撮
像し、得られた複数の画像データを合成してダイナミッ
クレンジの拡大された画像を得ることができるようにし
た装置において、前記複数の画像データのそれぞれの中からダイナミック
レンジ拡大に必要な領域を判別する領域判別手段と、前記領域判別手段により判別された領域の画像データの
みを記録する記録手段とを具備することを特徴とする画
像処理装置。