JP6935272B2

JP6935272B2 - ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム

Info

Publication number: JP6935272B2
Application number: JP2017164824A
Authority: JP
Inventors: 良隆佐々木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-08-29
Filing date: 2017-08-29
Publication date: 2021-09-15
Anticipated expiration: 2037-08-29
Also published as: JP2019047169A; US11245857B2; US20190068866A1; US20220124237A1

Description

本発明は、ハイダイナミックレンジ画像を作成するための技術に関する。

一般的に、デジタルカメラやデジタルビデオカメラにおいて用いられるＣＣＤやＣＭＯＳといった撮像素子のダイナミックレンジは、自然界のダイナミックレンジと比較して狭い。そのため、通常の方法で広いダイナミックレンジ（ハイダイナミックレンジと言う。本明細書ではＨＤＲと略記する。）を有するシーンを撮影した場合、黒潰れや白飛びなどが発生してしまう。そこで、このようなハイダイナミックレンジの画像（ＨＤＲ画像とする。これに対し、通常のダイナミックレンジの画像をＬＤＲ画像とする。）を取得するための様々な手法が検討されている。

ＨＤＲ画像を取得する一般的な手法として、ＨＤＲ合成が知られている。ＨＤＲ合成ではまず、露光時間を異ならせて被写体を複数回撮影し、複数の画像を得る。次に、複数の画像の各々に対し、各画像を撮影した際の露光時間に基づきゲイン調整を行う。最後に、画素位置毎に、ゲイン調整した複数の画像の中から最適な画素を抽出すること、または、ゲイン調整した複数の画像の画素値の加重平均を取ることで、広いダイナミックレンジを有する合成画像を取得する。しかし、複数枚の画像を合成するＨＤＲ合成のような手法では、画像毎に露光時間が異なることに起因して動被写体への対応が難しいという問題がある。

一方、複数枚の画像を必要としない手法として、画素単位で異なる露光時間を設定可能なＨＤＲセンサを用いる手法が提案されている（特許文献１）。この手法では、１枚の画像でＨＤＲ画像を得ることができるものの、隣接画素間の露光時間差が大きい場合その境界で画質差が生じる。そこで、境界における露光時間差が小さくなるように、境界の画素の露光時間に対する平滑化処理を適用することで画質差を軽減する。

特開２０１１−００４０８８号公報

しかしながら、境界の画素の露光時間だけを平滑化する方法では、その境界部分だけ黒潰れや白飛びが発生してしまうため、平滑化された画素と平滑化されていない画素との境界において疑似輪郭が発生する虞がある。そこで本発明は、この課題に鑑み、疑似輪郭の少ないハイダイナミックレンジ画像を作成することを目的とする。

本発明は、画像の複数の領域の各領域に対する撮影条件を設定することで、ハイダイナミックレンジ画像を作成する装置であって、前記複数の領域の各領域に対する露出条件を設定する設定手段と、前記複数の領域のうち少なくとも１つの領域の前記設定された露出条件を、前記複数の領域の各領域に対して設定された前記露出条件に含まれる最大値と最小値との間の差が小さくなるよう補正する補正手段と、を有することを特徴とする装置である。

本発明により、疑似輪郭の少ないハイダイナミックレンジ画像を作成することが可能になる。

画像処理装置（撮像装置）の外観を示す模式図である。画像処理装置（撮像装置）の内部構成を示すブロック図である。撮影モードを選択するＵＩを説明する模式図である。画像処理装置（撮像装置）で実行する撮影処理のフローチャートである。予備露光によって決定される領域毎の露出条件を説明する模式図である。露出補正処理後の領域毎の露出条件を説明する模式図である。露出補正処理のフローチャートである。露出条件と撮影条件との関係を説明する図である。

［実施例１］
＜画像処理装置の構成について＞
以下、本実施例における画像処理装置の構成について、撮像装置を例に挙げて説明する。図１は本実施例における撮像装置の構成を示す図であり、図１（ａ）は撮像装置１０１の正面図であり、図１（ｂ）は撮像装置１０１の背面図である。撮像装置１０１は、光学部１０２と、撮影ボタン１０３と、表示部１０４と、操作ボタン１０５と、を備える。光学部１０２は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター等から構成され、集光により被写体の光情報を取得する。撮影ボタン１０３は、ユーザが撮影の開始を撮像装置１０１に指示するためのボタンである。表示部１０４には、撮像装置１０１で処理された画像データ等の各種データが表示され、表示部１０４として例えば、液晶ディスプレイ等が用いられる。操作ボタン１０５は、撮影条件のパラメータを指定する等、ユーザが入力するためのボタンである。

図２は、本実施例における撮像装置１０１の内部構成を示すブロック図である。撮像素子２０１は、光学部１０２で取得した光情報を電流値へと変換する。撮像素子２０１とカラーフィルタとを組み合わせて用いることで、色情報が取得される。尚、本実施例では、撮像素子２０１として、画素毎または領域毎に露出条件を設定可能なＨＤＲセンサを用いる。露出条件とは、露出を制御するための条件であり、具体的には、絞りと、シャッタースピードと、感度とのうちの１つ以上を含む。露出条件の値は、絞りと、シャッタースピードと、感度との各値のうちの少なくとも１つに応じて決まる。ＨＤＲセンサは、画素毎または領域毎の露出を適応的に制御すること、具体的には、画素毎または領域毎に、露光時間とアナログゲインとの少なくとも一方を調整することで、ハイダイナミックレンジ画像（ＨＤＲ画像）を取得する。尚、領域毎に露出を制御する場合、２×２の４画素領域や３×２の６画素領域といった矩形領域毎に、露光時間やアナログゲインを調整することができるが、露出を制御する際の単位領域はこれらに限られず、任意の単位領域を設定して良い。ＣＰＵ２０２は、各構成要素における処理の全てに関わり、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０３や、ＲＡＭ（ＲｏｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０４に格納された命令を順次読み込み、解釈し、その結果に従って処理を実行する。この処理には、以下で説明する本実施例における処理も含まれる。

撮像系制御部２０５は、ＣＰＵ２０２からの指示に従い、光学部１０２に対する制御、具体的には、フォーカスを合わせる、シャッターを開く、絞りを調整する等の制御を行う。制御部２０６は、ユーザ指示、具体的にはユーザによる撮影ボタン１０３や操作ボタン１０５の押下に応じた、撮影動作の開始及び終了等の制御を行う。キャラクタージェネレーション部２０７は、表示部１０４に表示するための、文字やグラフィック等のデータを生成する。

Ａ／Ｄ変換部２０８は、撮像素子２０１で検知した被写体の光量をデジタル信号値に変換する。画像処理部２０９は、各画素がＡ／Ｄ変換部２０８による変換後のデジタル信号値を有する画像データに対して、画像処理を行う。エンコーダ部２１０は、画像処理部２０９で処理した画像データをＪｐｅｇ等のファイルフォーマットに変換する変換処理を行う。メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３、即ちＰＣやメディアに画像データを送受信するためのインタフェースである。尚、ここでいうメディアには、ハードディスク、メモリカード、ＣＦカード、ＳＤカード等が含まれる。システムバス２１２は、データを送受信するためのバスである。

＜撮影処理について＞
以下、本実施例における撮像装置１０１によって実行される撮影処理について、図４を用いて説明する。

ステップＳ４０１において、ＣＰＵ２０２は、ユーザが操作ボタン１０５を操作して入力した撮影条件を取得する。この撮影条件には、レンズの絞り値と、シャッタースピードと、ＩＳＯ感度とのうちの少なくとも１つが含まれる。

ステップＳ４０２において、ＣＰＵ２０２は、ユーザによって設定された撮影モードを示す情報（撮影モード情報とする。）を取得する。図３は表示部１０４に表示される撮影モードを設定するためのユーザインターフェイス（ＵＩ）の例である。ユーザは操作ボタン１０５を操作して所望の撮影モードを選択する。以下では、ＨＤＲ画像取得用の撮影モード（ＨＤＲ撮影モードとする。）として、幅広いダイナミックレンジを表現するダイナミックレンジ優先モード（以下Ｄレンジ優先モードとする）と階調表現を優先する階調優先モードとの何れかを、ユーザが選択可能な場合を説明する。ユーザが階調優先モードを選択した場合、許容可能な最大露出差（Ｅｔｈとする）を指定する必要がある。また、以下では、図３に示すような最大露出差Ｅｔｈが１［段］の場合を説明するが、当然、指定可能な最大露出差Ｅｔｈは１に限られず、０より大きい任意の一値を指定可能である。但し、最大露出差を大きくし過ぎるとＤレンジ優先モードとの画質差が小さくなるため、Ｅｔｈは１／３以上かつ１以下の範囲内であることが好ましい。尚、ユーザによって設定される撮影モードは上述のものに限られない。ＨＤＲ撮影モード以外の撮影モード、例えば人物や風景等の被写体に適した撮影モードや、晴れや曇りなどの天候に応じた撮影モードを設定しても良いし、或いは、これらの撮影モードを組み合わせた撮影モードを設定しても良い。

ステップＳ４０３において、ＣＰＵ２０２は、撮影ボタン１０３が押下されたか判定する。ステップＳ４０３の判定結果が真の場合、ステップＳ４０４に進む。一方、ステップＳ４０３の判定結果が偽の場合、ステップＳ４０１に戻る。

ステップＳ４０４において、ＣＰＵ２０２は撮像系制御部２０５を介して光学部１０２を駆動して予備露光を行うことで、撮像素子２０１の領域毎の露出条件を決定する。図５は、領域毎の露出条件の例を説明する模式図である。図５（ａ）は、屋内で人物を撮影したときの撮影シーンの模式図である。人物の背景には窓があり、屋外からの明かりがさしこんでいるものとする。このような撮影シーンに対し、本ステップにより、図５（ｂ）や図５（ｃ）に示すように、プロセッサエレメントアレイ層３０２における領域毎の露出条件が設定される。

図５（ｂ）は、図５（ａ）に示すシーンを人物が適正露出になるようにＬＤＲ画像取得用の撮影モードで撮影する場合に設定される領域毎の露出条件を示す。図示するように、全面で一様の露出条件の値（即ち０）が設定される結果、人物のいる屋内よりも明るい窓領域において白とびが発生してしまう。

図５（ｃ）は、図５（ａ）に示すシーンをＨＤＲ撮影モードで撮影する場合に設定される領域毎の露出条件を示す。図示するように、人物を含む屋内領域の露出は、図５（ｂ）と同様の露出条件の値（即ち０）が設定される結果、適正露出になる。一方、窓領域に対しては、より低い露出条件の値（即ち−２）が設定されている。このように窓領域に対して低い露出条件を設定することで、白飛びの発生を抑えることができる。以下、図５（ｃ）の場合、つまり、予備露光によって屋内領域の露出条件は０、窓領域の露出条件は−２に設定された場合について説明する。

ステップＳ４０５において、ＣＰＵ２０２は、ステップＳ４０２で取得した撮影モード情報によって指定されるＨＤＲ撮影モードがＤレンジ優先モードであるか判定する。ステップＳ４０５の判定結果が真の場合、ステップＳ４０７に進む。一方、ステップＳ４０５の判定結果が偽の場合、ステップＳ４０６に進む。

ステップＳ４０６において、ＣＰＵ２０２は、ステップＳ４０４で設定した領域毎の露出条件を補正する露出補正処理を実行する。尚、露出補正処理の詳細は、図７を用いて後述する。

ステップＳ４０７において、ＣＰＵ２０２から指示を受けた撮像系制御部２０５は、ステップＳ４０１で取得した撮影条件、及び、ステップＳ４０４とステップＳ４０６との少なくとも一方で設定された露出条件に従い光学部１０２を駆動させて、被写体を撮影する。これにより、被写体の光量が取得され、撮像素子２０１、即ちＨＤＲセンサで検出される。さらに、各画素が画素値として光量を有する画像データが、Ａ／Ｄ変換部２０８にて、ＲＡＷ画像データに変換される。尚、ここでは、ＲＡＷ画像データは各画素にＲ、Ｇ、Ｂのうちの何れか１色しか持たない画像データであるとして説明を行う。

ステップＳ４０８において、画像処理部２０９は、ＲＡＷ画像データに対して現像処理を適用し、ＲＧＢ画像（各画素が３チャンネル、即ちＲ、Ｇ、Ｂの画素値を有するビットマップ形式の画像データ）を作成する。一般的に、ＲＡＷ画像データからＲＧＢ画像を作成するような現像処理には、ホワイトバランス処理、デモザイク処理、ガンマ処理等が含まれる。

ステップＳ４０９において、ＣＰＵ２０２は、ステップＳ４０８で現像処理を適用した画像データを出力する。例えば、ＣＰＵ２０２は、画像データを表示部１０４に表示したり、エンコーダ部２１０にてＪｐｅｇ等のファイルフォーマットに変換した上で、メディアＩ／Ｆ２１１経由でＰＣ／メディア２１３、即ち外部のＰＣやメディアに出力したりする。

このように本実施例では、ＨＤＲ撮影モードに応じて処理を切り替えており、ＨＤＲ撮影モードが階調優先モードの場合は、露出補正処理を実行する一方で、ＨＤＲ撮影モードがＤレンジ優先モードの場合は、露出補正処理を実行することなく撮影処理を実行する。これにより、ユーザが階調優先モードで撮影する際に、被写体のダイナミックレンジが広い場合に生じ易い、階調の反転等の疑似輪郭の発生を抑制することが可能になる。以上が、本実施例における撮影処理の内容である。

＜露出補正処理について＞
以下、図４のステップＳ４０６で実行される露出補正処理について、図７を用いて説明する。

ステップＳ７０１において、ＣＰＵ２０２は、プロセッサエレメントアレイ層３０２の各領域を走査することで、各領域の露出条件の中から最大値（Ｅｍａｘとする。）、及び、最小値（Ｅｍｉｎとする。）を導出する。例えば図５（ｃ）の場合、Ｅｍａｘ＝０、Ｅｍｉｎ＝−２となる。

ステップＳ７０２において、ＣＰＵ２０２は、ステップＳ７０１で導出したＥｍａｘ及びＥｍｉｎに基づき、ＥｍａｘとＥｍｉｎとの差が、ステップＳ４０２で取得したＥｔｈより大きいか判定する。ステップＳ７０２の判定結果が真の場合、ステップＳ７０３に進む。一方、ステップＳ７０２の判定結果が偽の場合、露出補正処理は終了する。

ステップＳ７０３において、ＣＰＵ２０２は、プロセッサエレメントアレイ層３０２における未処理の１領域に着目する。本ステップで着目する１領域を着目領域とする。

ステップＳ７０４において、ＣＰＵ２０２は、画像内の露出条件の最大値と最小値との差が最大露出差以下（Ｅｔｈ以下）になるように、着目領域の露出条件を補正する。本ステップにおける露出条件の補正は、例えば、以下の式（１）に従って行われる。

式（１）において、Ｅ’は補正後の露出条件であり、Ｅは補正前の露出条件である。図６（ａ）は、図５（ｃ）に示す領域毎の露出条件を、式（１）に従って補正した結果を示す図である。尚、露出条件の補正に用いる数式は上記の式（１）に限られず、最大値と最小値との差がＥｔｈ以下になるようであれば他の数式を用いても良い。或いは、最大値と、最小値と、Ｅｔｈと、補正前の露出条件と、補正後の露出条件との関係を予め定めた変換テーブルを撮像装置１０１が保持しており、数式の代わりにこの変換テーブルを用いて露出条件を補正しても良い。本ステップで露出条件を補正することで、隣接領域間の露出差が小さくなるため疑似輪郭の発生を抑制できる。

また、露出条件が０以外の領域の露出を固定したい場合は、露出を固定、即ち露出条件を維持する領域（基準領域とする。）を設定し、式（１）で算出した補正値と基準領域の露出条件とに基づき、露出を固定しない領域の露出条件をシフトすれば良い。図６（ｂ）に、窓領域を基準領域とした場合の露出補正処理の結果を示す。尚、基準領域はユーザが任意に設定しても良いし、或いは、撮像装置１０１が、撮影シーンの中心領域等を、基準領域として自動で設定しても良い。

ステップＳ７０５において、ＣＰＵ２０２は、直近のステップＳ７０４で補正した露出条件に従って、着目領域に対する撮影条件を決定する。一般的に露出は、絞り、シャッタースピード、アナログゲインを調整することで制御されるが、本実施例では絞りを固定し、局所的に調整可能なシャッタースピードとアナログゲインとの少なくとも一方を調整することで、露出制御を行う。尚、ＨＤＲセンサのアナログゲインの大きさはＩＳＯ感度に比例するため、以下ではＩＳＯ感度を制御する場合を説明する。図８は、露出条件に対応する撮影条件の例を示す図である。図示するように、ここでは、露出条件が０の場合、ＩＳＯ感度は２００であり、かつ、シャッタースピードは１／１００秒であるものとする。以下、一例として、露出条件を０から−１にする場合、撮影条件がどう変化するか説明する。露出条件を１段下げるためには、シャッタースピードを維持してＩＳＯ感度を二分の一にするか、または、ＩＳＯ感度を維持してシャッタースピードを二分の一にすれば良い。または、図８の最下行に示すように、露出条件を１段下げるために、ＩＳＯ感度とシャッタースピードとの両方を変更することも可能である。尚、露出条件に基づき撮影条件を決定する方法は、上記のものに限られるものではなく、シャッタースピード優先やＩＳＯ感度固定等の撮影モードに準じて適切に決定できれば良い。

ステップＳ７０６において、ＣＰＵ２０２は、全ての領域に対して、ステップＳ７０３〜ステップＳ７０５の処理を実行したか判定する。本ステップの判定結果が真の場合、一連の処理は終了する。一方、本ステップの判定結果が偽の場合、ステップＳ７０３に戻る。以上が、本実施例における露出補正処理の内容である。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１撮像装置
２０２ＣＰＵ
２０５撮像系制御部

Claims

画像の複数の領域の各領域に対する撮影条件を設定することで、ハイダイナミックレンジ画像を作成する装置であって、
前記複数の領域の各領域に対する露出条件を設定する設定手段と、
前記複数の領域のうち少なくとも１つの領域の前記設定された露出条件を、前記複数の領域の各領域に対して設定された前記露出条件に含まれる最大値と最小値との間の差が小さくなるよう補正する補正手段と、
を有することを特徴とする装置。
前記露出条件を決定するための予備露光を行う予備露光手段を有することを特徴とする請求項１に記載の装置。
前記設定手段は、前記各領域のうち相対的に明るい領域に対する前記露出条件の値は、前記各領域のうち相対的に暗い領域に対する前記露出条件の値より低く設定することを特徴とする請求項１又は請求項２に記載の装置。
前記補正手段は、前記少なくとも１つの領域の前記設定された露出条件を、前記差に基づいて補正することを特徴とする請求項１乃至請求項３の何れか一項に記載の装置。
前記補正手段は、前記少なくとも１つの領域の前記設定された露出条件を、前記差が所定の許容可能な最大露出差以下となるように、補正することを特徴とする請求項１乃至請求項３の何れか一項に記載の装置。
前記少なくとも１つの領域の前記設定された露出条件が、以下の式に従って補正されることを特徴とする請求項５に記載の装置。

尚、Ｅ’は補正後の露出条件、Ｅは補正前の露出条件、Ｅｍａｘは前記最大値、Ｅｍｉｎは前記最小値、Ｅｔｈは前記許容可能な最大露出差である。
前記許容可能な最大露出差Ｅｔｈは、１／３以上かつ１以下の範囲内の一値であることを特徴とする請求項６に記載の装置。
前記撮影条件は、レンズの絞り値と、ＩＳＯ感度と、シャッタースピードとのうちの少なくとも１つを含むことを特徴とする請求項１乃至請求項７の何れか一項に記載の装置。
前記装置は、幅広いダイナミックレンジを表現する第１のモードと、階調表現を優先する第２のモードとの何れかの撮影モードで動作するように構成されることを特徴とする請求項１乃至請求項８の何れか一項に記載の装置。
前記装置が前記第２のモードで動作する場合、前記少なくとも１つの領域の前記設定された露出条件は補正され、前記装置が前記第１のモードで動作する場合、前記複数の領域の各領域に対する前記設定された露出条件は補正されないことを特徴とする請求項９に記載の装置。
前記複数の領域の各領域に対して設定される前記撮影条件と前記露出条件とに従って撮影する撮影手段を更に有することを特徴とする請求項１乃至請求項１０の何れか一項に記載の装置。
１つの領域の前記露出条件が補正された場合、前記撮影手段は、該領域の前記補正された露出条件に基づき変更される撮影条件に従って撮影することを特徴とする請求項１１に記載の装置。
前記補正された露出条件に基づく前記撮影条件の変更は、ＩＳＯ感度とシャッタースピードとの少なくとも一方を変更することで行われることを特徴とする請求項１２に記載の装置。
前記補正された露出条件に基づく前記撮影条件の変更は、露出条件と、ＩＳＯ感度と、シャッタースピードとの各値が格納されるテーブルを用いて行われることを特徴とする請求項１２に記載の装置。
前記補正された露出条件に基づく前記撮影条件の変更は、撮影モードに従って行われ、
前記撮影モードは、シャッタースピードを優先するモードと、ＩＳＯ感度を固定するモードと、を含むことを特徴とする請求項１２に記載の装置。
前記撮影手段により撮影することで取得される画像データに対する現像処理を行う現像手段を更に有し、
前記現像処理は、ホワイトバランス処理と、デモザイク処理と、ガンマ処理と、を含むことを特徴とする請求項１１に記載の装置。
前記設定手段は、前記複数の領域のうち前記露出条件が維持される基準領域を設定し、
前記基準領域の露出条件は補正されず、前記基準領域を除く領域の露出条件は補正されることを特徴とする請求項１乃至請求項１６の何れか一項に記載の装置。
前記露出条件は、絞り値と、シャッタースピードと、ＩＳＯ感度とのうちの少なくとも１つを含むことを特徴とする請求項１乃至請求項１７の何れか一項に記載の装置。
画像の複数の領域の各領域に対する撮影条件を設定可能な装置によって実行される、ハイダイナミックレンジ画像を作成する方法であって、
前記画像の前記複数の領域の各領域に対する露出条件を設定するステップと、
前記画像の前記複数の領域のうち少なくとも１つの領域の前記設定された露出条件を、前記複数の領域の各領域に対して設定された前記露出条件に含まれる最大値と最小値との間の差が小さくなるよう補正するステップと、
を有することを特徴とする方法。
請求項１９に記載の方法をコンピュータに実行させるためのプログラム。