JP7657629B2

JP7657629B2 - 撮像装置

Info

Publication number: JP7657629B2
Application number: JP2021054574A
Authority: JP
Inventors: 成悟金子
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2021-03-29
Filing date: 2021-03-29
Publication date: 2025-04-07
Anticipated expiration: 2041-03-29
Also published as: US11696044B2; JP2022151987A; US20220311982A1

Description

本発明は、撮像装置にする。

従来、イメージセンサ内で領域別に露光条件を変更可能な構成を備え、ホワイトバランス処理を領域別に行う技術が知られている（特許文献１参照）。

特願２０１４－５５７９０７号公報

本発明が解決しようとする課題は、異光源がある撮影シーンにおいても良好な現像パラメーターを適用することである。

本発明の一態様に係る撮像装置は、単一画素または複数画素で構成される複数の露光領域ごとに露光条件を設定可能なイメージセンサと、前記イメージセンサによって撮像された画像に対し、前記複数の露光領域に対応する画像領域ごとにホワイトバランスの補正処理を実行する画像処理部と、を有し、前記画像処理部は、前記露光領域ごとの前記露光条件に基づいて、前記画像領域における被写体の明るさが近い１以上の画像領域を１つの結合領域として設定し、前記結合領域ごとに個別に前記ホワイトバランスの補正処理を実行することを特徴とする。

異光源がある撮影シーンにおいても良好な現像パラメーターを適用することができる。

第１の実施形態にかかわる撮像装置の構成図本実施形態にかかわるイメージセンサと露光領域の関係を示した図本実施形態にかかわるフローチャート本実施形態にかかわるイメージセンサと結合領域の関係を示した図第２の実施形態にかかわる撮像装置の構成図

（第１の実施形態）
以下、図１から図４を参照して、第１の実施形態による、現像パラメーターのひとつであるホワイトバランス評価値の取得方法および補正方法について説明する。本明細書の実施形態での説明はすべてホワイトバランスについて説明するが、ホワイトバランスだけでなく、色に関わる色信号処理、彩度または色相を補正するための現像パラメーターであってもよい。本実施形態のホワイトバランスはすべてオートホワイトバランス（ＡＷＢ）であり、ホワイトバランスの評価値を自動で取得する。

本実施形態では異光源によって色味が異なる領域が存在する撮影環境において、ひとつの撮像装置で異光源の領域を同時に撮影する場合における、ホワイトバランス評価値の算出方法と、算出された評価値を基にした画像処理の方法について説明する。

図１を参照して、本実施形態における撮像装置１００の構成について説明する。図１は本実施形態における撮像装置１００の構成図である。撮像装置１００は、レンズ１０１、イメージセンサ１０２、画像処理部１０３、露光領域制御部１０４、画像出力部１０５から構成される。

レンズ１０１は、撮影画角内の光を受け、イメージセンサ１０２に集光する。

イメージセンサ１０２は、集光された光を光電変換して、映像信号として画像処理部１０３に送信する。また、イメージセンサ１０２はＲＧＢのカラーフィルタを有しており、ＲＧＢの色情報を持った映像信号を生成する。さらに、イメージセンサ１０２は、単一画素または複数画素で構成された領域（以下、露光領域と呼称する）ごとに露光条件を変更可能なイメージセンサであり、詳細については図２を用いて後述する。

画像処理部１０３は、デジタル信号である映像信号に対して、現像処理を含めた画像処理を行う。映像信号を画像データ（ＪＰＥＧ形式など）に変換する。このときイメージセンサ１０２から送信されるＲＧＢの色情報を持った映像信号は、ＹＵＶ形式などの色差信号に変換されてデジタル信号処理される。最終的に映像信号が画像データとして変換（現像）され、画像データは画像出力部１０５を介して出力される。現像処理とは、ホワイトバランス補正、彩度補正、色調補正、シャープネス補正、ガンマ補正、階調補正などである。ホワイトバランスは固定の現像パラメーターでなく、映像信号からホワイトバランス評価値（現像パラメーター）を算出する。算出された現像パラメーターを適用してホワイトバランス補正を行う。また、画像処理部１０３はＹＵＶ変換することで輝度情報および色差情報を算出することが可能である。この輝度情報を基に適正露光となる露光条件を決定する。露光条件とはイメージセンサ１０２の露光時間およびアナログゲイン値によって決定される。算出された露光条件は露光領域制御部１０４に送信される。また、輝度情報および色差情報を基にホワイトバランスの評価値を算出する。

露光領域制御部１０４は、露光領域ごとに露光条件を割り当て、イメージセンサ１０２を制御する。露光領域制御部１０４は被写体の明るさに対するダイナミックレンジを向上するために、例えば露光領域内の平均輝度値が、出力可能なデータ諧調の中央値となるように露光条件（露光時間およびアナログゲイン）を設定する。

画像出力部１０５は画像データの配信に関わるインターフェースであり、例えばネットワークを介して、撮像装置から画像データを出力することが可能である。

図２を参照して、本実施形態におけるイメージセンサ１０２の露光領域について説明する。図２はイメージセンサ１０２と露光領域２０１の関係を示した図である。図２においては、イメージセンサ１０２が９つの露光領域に分割されている。説明を明確化するために、図示する行に対応する記号Ａ，Ｂ，Ｃおよび列に対応する記号１，２，３を用いて、イメージセンサ１０２の露光領域２０１を説明する。例えば、図２における露光領域Ａ１はイメージセンサ１０２の左上の露光領域に対応し、露光領域Ｂ２はイメージセンサ１０２の中央の露光領域に対応する。９つの露光領域はそれぞれ独立に露光条件（露光時間およびアナログゲイン）を設定可能である。また、イメージセンサ１０２における露光領域に対応する画素の位置情報は画像処理部１０３および露光領域制御部１０４へ送信され、画像処理および評価値の算出に用いられる。画像処理部１０３は、露光領域ごとに映像信号から評価値の算出および現像処理を含めた画像処理を実施することが可能である。

図３を参照して、本実施形態における現像処理について説明する。図３は本実施形態の手順について示したフローチャートである。各ステップ（以降、Ｓと省略する）について説明する。

ステップＳ３０１において、露光領域制御部１０４が露光領域ごとの輝度情報を基に、各露光領域の露光条件を決定する。このとき露光領域内で適正露光となる露光条件に独立して制御される。また、輝度情報は前フレームの映像信号から算出する。イメージセンサ１０２は露光領域制御部１０４によって制御された露光条件が設定される。

ステップＳ３０２において、露光条件の閾値に基づき、露光領域を結合して結合領域を生成する。露光条件の閾値によって、撮影される被写体の明るい領域と暗い領域に分かることが可能となる。すなわち、異なる光源である領域を分割した結合領域を生成することができる。

露光条件の閾値の詳細な説明および被写体の明るさの算出方法については後述する。露光領域ごとに被写体の明るさが閾値に明るいか、暗いか判定する。閾値よりも明るい領域をまとめて明部の結合領域、閾値よりも暗い領域をまとめて暗部の結合領域と呼称する。明部の結合領域および暗部結合領域については図４を用いて補足説明する。

ステップＳ３０３において、設定された露光条件で撮影を行う。

ステップＳ３０４において、イメージセンサ１０２は撮影された映像信号を画像処理部１０３へ送信する。画像処理部１０３は、撮影された映像信号から結合領域ごとにホワイトバランスの評価値を算出する。またこのとき、画像処理部１０３は露光領域ごとに輝度情報を算出し、露光領域制御部１０４へ送信し、次フレームの露光条件の設定を行えるようにする。

ステップＳ３０５において、結合領域ごとにホワイトバランス補正を行う。またこのとき露光領域ごとに、ホワイトバランス補正以外の現像処理も実施する。

ステップＳ３０６において、現像された画像を出力する。

図４を参照して、本実施形態における結合領域について説明する。図４は、イメージセンサ１０２と結合領域の関係を示した図である。図４は、図２と同様にイメージセンサ１０２の露光領域を図示している。露光領域ごとに平均の輝度値および露光条件の設定から、露光領域ごとの被写体の明るさを推測する。このとき、イメージセンサ１０２は露光領域ごとに輝度値が同じになるように露光条件を設定しているため、露光条件のみを参照することで、被写体の明るさを推測することができる。すなわち露光時間が２倍長い領域は１／２倍の明るさの領域であり、アナログゲインが２倍大きい領域は１／２倍の明るさの領域であるといえる。本実施形態では露光条件を数式００１に表す。露光条件をＸ，露光時間をＴ、アナログゲインをＧとする。ただしこのとき、露光時間ＴおよびアナログゲインＧは被写体の明るさに対して正規化されており、露光時間ＴおよびアナログゲインＧの重みづけは一緒である。すなわち、Ｔ：Ｇ＝２：１のときもＴ：Ｇ＝１：２のときもＸの値としては同一となる。
Ｘ＝Ｔ×Ｇ・・・数式００１

このとき露光条件Ｘに対する閾値Ｘｔｈを設けて、結合領域を生成する。露光条件Ｘは露光領域ごとにそれぞれ独立して保有している。そのため、図４のように露光条件ＸがＸｔｈよりも小さい領域は、明部の結合領域４０１（図４の白の領域、Ａ２、Ａ３、Ｂ２、Ｂ３、Ｃ３）となる。対して露光条件ＸがＸｔｈ以上の領域は、暗部の結合領域４０２（図４の斜線の領域、Ａ１、Ｂ１、Ｃ１、Ｃ２）となる。同一の結合領域に割り当てられた露光領域は撮影される被写体の明るさが近く、同一光源によって照らされている可能性が高い領域である。そのため、結合領域ごとにホワイトバランスの評価値を取得する。さらにホワイトバランスの評価値は対応する結合領域ごとに適用し、デジタルゲインによってホワイトバランス補正を実施する。

以上の説明で示したように、異光源である可能性が高い領域である結合領域ごとにホワイトバランスの評価値を算出が可能となる。さらに算出されたホワイトバランスの評価値を露光領域（あるいは結合領域）ごとに適用することで、異光源に対して領域毎に適切なホワイトバランス補正を適用した画像を生成できる。

以降で、第一の実施形態について補足で説明を行う。

ホワイトバランスの補正は結合領域ごとではなく、露光領域ごとに実施してもよい。例えば、露光領域ごとに露光条件が異なるため、データ圧縮などの現像処理を露光領域ごとに実施する場合がある。このとき、露光領域ごとにホワイトバランス補正を含めた現像処理を一括して行うことで、信号処理を容易にできる。

ホワイトバランスの評価値の算出方法について補足で説明を行う。ホワイトバランスの評価値を算出する際、結合領域ごとにＲ，Ｇ，Ｂの比率を算出する。そのため、画素数が多ければ多いほどサンプル数が増え、精度が向上する。すなわち、結合領域が細かくなりすぎるとサンプル数が少なくなり、精度が低下してしまう。そのことからブロックの最小サイズ（最小の画素数）を定めておくことが望ましい。

また、黒つぶれや、白飛びしている画素が多いと適切なホワイトバランスの評価値が算出できない。そのため、中間輝度の画素または露光領域のみの映像信号からホワイトバランスの評価値を算出することが望ましい。

また、被写体の色の偏りが大きい場合には、適切なホワイトバランスの評価値を算出できない。そのため、評価値を算出する領域を結合領域内の無彩色の領域に限定してもよい。このとき、色味の偏りが多く、被写体の無彩色が検出されないことが考えられる。この場合、無彩色が検出できていない結合領域の露光条件差の閾値を緩和することが望ましい。これにより、無彩色の検出が可能となり、適切なホワイトバランスの補正が可能となる。

結合領域の生成方法について、補足で説明を行う。結像領域を生成する場合は露光領域が隣接している場合に限定してもよい。結合領域を隣接している露光領域に限定する場合は、すくなくとも画像上では近くにある領域に限定されるため、同じ光源である可能性が高くなる。そのため、ホワイトバランスの評価値の精度が向上する。

また、隣接している領域に限定しない場合にもメリットがある。撮影しているシーンに奥行きがあり、手間に被写体が存在して、背景の領域が分断される場合がある。このとき、隣接している領域に限定しない場合には、分断された領域を同一の結合領域として判定することができる。これにより、結合領域内のサンプル数が増え、精度が向上する。

露光条件の閾値について補足で説明を行う。露光条件Ｘに対する閾値Ｘｔｈは複数あってもよい。複数設けることで異光源が３つ以上ある場合であっても適切にホワイトバランスの補正が可能となる。

また、露光条件の閾値は絶対値と相対値のどちらでもよい。絶対値を用いる場合には、明るい被写体と暗い被写体が分かれるように事前に露光条件の閾値を設定しておくことが望ましい。この場合、事前に閾値を決めればよいため、演算負荷は小さくなる。

相対値を用いる場合には、露光条件の中から例えば最大値と最小値を算出し、中央値を閾値にする。これにより、撮影シーンに応じて適切な結合領域を生成できるため、ホワイトバランス補正の精度が向上する。また、画素ごとの明るさ予測からヒストグラムをとり、ヒストグラムが谷になっている（明るさの段差がある）値を閾値とするなど、ヒストグラムを参照してもよい。

露光条件について補足で説明を行う。撮像装置は単一の光学系であるため、露光領域ごとの輝度情報および露光領域ごとの露光条件から、露光領域ごとの被写体の明るさを予測することができる。例えば、同一の露光条件の場合には、輝度情報と被写体の明るさは比例する。露光領域間の輝度情報が２倍であれば被写体の明るさも２倍であると予測できる。

さらにアナログゲインはＩＳＯ感度に換算してもよい。イメージセンサ１０２の光学特性を基に、アナログゲインをＩＳＯ感度に変換可能である。また、しぼり値（Ｆ値）はイメージセンサ１０２で一律であるため、露光条件Ｘに追加して、ＩＳＯ感度およびしぼり値がわかれば、被写体の明るさを推測することが可能となる。

図３について補足で説明を行う。図３において、連続的に撮影が実施される場合にはＳ３０４で取得した輝度情報を基に、露光領域ごとに露光条件を設定する。これにより１フレーム前の被写体の明るさを反映した露光条件で撮影が可能となる。

ホワイトバランスの評価値について、補足で説明を行う。

ホワイトバランスの評価値の時間的な反映は露光条件の変化速度に合わせて行うことが望ましい。露光条件が急峻に変化している場合には、光源が変化している可能性が高いため、ホワイトバランス補正も急峻に実施する。また、露光条件が緩やかに変化している場合には、同様にホワイトバランス補正も緩やかにすることが望ましい。このように露光条件の変化速度に合わせて、ホワイトバランス補正を実施することで、動画としてみたときに自然な色味の変化となる。

また、ホワイトバランス補正の頻度を抑えることで、画像処理部１０３の負荷を低減させることができる。露光条件に変化があった結合領域のみに対してホワイトバランス補正を行うことで、画像処理部１０３の負荷を抑えることができる。このとき露光領域の露光条件の変化量について、閾値を設けておき、どこまで変化したらホワイトバランス補正（現像パラメータの再取得・再適用）を再度行うか決めておいてもよい。また、ホワイトバランス補正に関して、ホワイトバランス補正を実施しない場合には評価値を算出する必要もない。

本実施形態では結合領域を設け、結合領域ごとに異なるホワイトバランスの評価値を適用することを示した。しかし、結合領域の境界部分で極端にホワイトバランスの評価値が異なると、不自然な画像となってしまう。そこで、結合領域の境界部については、ホワイトバランスの評価値にグラデーションをつけ、なだらかに色味が変化させることが望ましい。例えば境界の中心のホワイトバランスの評価値を隣接する結合領域の平均値とし、結合領域ごとの内側５０画素まではなだらかに評価値の変化をつけるなどとすればよい。また、ホワイトバランスの評価値の差が大きければ大きいほど、グラデーションの範囲を広くすることが望ましい。これによりなだらかな変化となり、自然な画像となる。

図１の説明において露光領域制御部１０４は独立したブロックとして説明したが、イメージセンサ１０２や画像処理部１０３の機能の一部であってもよい。また、露光領域制御部１０４の制御の説明において、平均輝度値がデータ諧調の中央値とする制御の例を挙げたが、これに限定されない。黒つぶれや白飛びが少なくなるような露光条件に決定されていればよい。

図２の説明において、露光領域２０１が９つある例を挙げて説明したが、露光領域は２つ以上あれば本実施形態は適用可能である。さらに、単一画素をひとつの露光領域としてもよい。

（第２の実施形態）
第１の実施形態では現像処理のすべてを画像処理部１０３で実施する場合について説明した。第２の実施形態では現像処理の一部をイメージセンサ１０２で実施する場合について説明する。また、第２の実施形態では、第１の実施形態ですでに説明している内容については省略する。

本実施形態で用いる複数の露光領域を有するイメージセンサ１０２の映像信号は、領域毎に露光条件が異なるため、画像処理部１０３の処理が複雑となる。そのため、汎用的な画像処理では露光領域ごとの処理が実施できないことがある。第２の実施形態では複数の露光領域を有するイメージセンサ１０２が第１の実施形態で示した画像処理機能の一部を有することで、汎用的な画像処理部１０３であっても現像処理を実施することが可能となる。

図５を参照して第２の実施形態に示す現像処理部を有するイメージセンサ１０２を備えた撮像装置１００について説明する。図５は本実施形態にかかわる現像処理部５０１を有するイメージセンサ１０２を備えた、撮像装置１００の構成図である。レンズ１０１、画像出力部１０５、露光領域制御部１０４は第１の実施形態と同一のため説明は省略する。

図５のイメージセンサ１０２は現像処理部５０１を備えている。イメージセンサ１０２はカラーフィルタを通して集光された光を光電変換することでＲＧＢの映像信号に変換している。イメージセンサ１０２は積層センサであり、デジタル信号処理を行う回路である現像処理部５０１を有している。現像処理部５０１ではＲＧＢ信号をＹＵＶ信号（輝度情報および色差情報）に変換する。このとき露光領域ごとの露光条件を基にデジタルゲインによって画像の明るさを補正（以降、明るさ補正と呼称する）することが望ましい。明るさ補正では、画像全体としてみたときに暗い領域を暗く、明るい領域を明るくなるように、露光領域ごとにデジタルゲインで補正する。

ホワイトバランス補正は、明るさ補正前に実施することが望ましい。第１の実施形態で説明した結合領域によるホワイトバランス補正を、明るさ補正前に行うことで露光領域ごとに適切なホワイトバランスが適用される。その状態で明るさ補正のデジタルゲインがかかるため、現像後の色味がずれることなく、ホワイトバランス補正が可能となる。

イメージセンサ１０２は明るさ補正を実施した映像信号を画像処理部１０３へ送信する。その際、ＹＵＶ信号をそのまま出力してもよく、ＲＧＢ信号に再変換してもよい。画像処理部１０３は明るさ補正された映像信号を扱うため、露光条件がイメージセンサで一律に設定されている場合と同様に処理できるため、汎用的な画像処理部であっても処理が可能となる。

仮に、明るさ補正後にホワイトバランス補正をしてしまうと、明るさ補正のデジタルゲインによって、色味が露光領域ごとにずれてしまい、適切なホワイトバランス補正ができなくなってしまう。

以上で説明したように、イメージセンサ１０２が現像処理部５０１を備え、結合領域ごとにホワイトバランス補正を実施した映像信号を出力することで、汎用的な画像処理部１０３であっても現像処理を実施することが可能となる。また、汎用的な画像処理部１０３であっても適切なホワイトバランス補正を適用した画像を生成することができる。

イメージセンサ１０２の出力形式について補足で説明を行う。ＹＵＶ信号のまま出力することで、画像処理部１０３で実施するＲＧＢ信号からＹＵＶ信号へ変換する処理を省略することができる。また、ＲＧＢ信号からのデータ変換はＹＵＶ形式に限定されない。ＹＣｒＣｂなどのほかの色差信号の形式でも良い。

また、イメージセンサ１０２でＹＵＶ信号をＲＧＢ信号に再変換してから出力することで、イメージセンサとしては汎用的なフォーマットとして出力することができる。そのため、画像処理部１０３における映像信号の入力部分のソフト開発を容易にすることができる。

また、イメージセンサ１０２は映像信号とは別に結合領域の大きさおよび位置を示した結合領域マップを生成し、画像処理部１０３へ送信してもよい。これにより、画像処理部１０３は結合領域マップを基に画像処理や映像信号のデータ抽出が可能となる。

明るさ補正では現像処理とは別にデータ量（諧調）の圧縮処理を実施してもよい。また、画像処理部１０３で実施する処理の一部またはすべてを現像処理部５０１で実施してもよい。また、明るさ補正は画像処理部１０３で実施してもよく、現像処理部５０１と画像処理部１０３の役割は自由に変更してもよい。

明るさ補正について補足で説明を行う。イメージセンサ１０２は露光領域ごとに適正露光となる光量となる露光条件に設定されている。そのため、デジタルゲインによる明るさ補正をしない場合には画像全体として明るさの諧調がない画像となってしまう。明るさ補正を実施することで、明るい被写体を明るく、暗い被写体は暗く画像に表現することができる。

以上、本実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００撮像装置
１０１レンズ
１０２イメージセンサ
１０３画像処理部
１０４露光領域制御部
１０５画像出力部

Claims

単一画素または複数画素で構成される複数の露光領域ごとに露光条件を設定可能なイメージセンサと、
前記イメージセンサによって撮像された画像に対し、前記複数の露光領域に対応する画像領域ごとにホワイトバランスの補正処理を実行する画像処理部と、を有し、
前記画像処理部は、
前記露光領域ごとの前記露光条件に基づいて、前記画像領域における被写体の明るさが近い１以上の画像領域を１つの結合領域として設定し、
前記結合領域ごとに個別に前記ホワイトバランスの補正処理を実行することを特徴とする撮像装置。
前記画像処理部は、前記露光領域ごとの前記露光条件に基づいて被写体の明るさが近いと判定された複数の画像領域のうち、隣接する画像領域を前記１つの結合領域として設定することを特徴とする請求項１に記載の撮像装置。
前記画像処理部は、前記結合領域ごとに前記ホワイトバランスの評価値を算出し、前記評価値に基づいて前記結合領域ごとに前記補正処理を実行することを特徴とする請求項１または２に記載の撮像装置。
前記画像処理部は、前記露光条件に対する少なくとも１つの閾値との比較結果に基づいて、被写体の明るさが近い前記１以上の画像領域を１つの前記結合領域として設定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
設定された前記結合領域において、無彩色の領域が検出されるように前記少なくとも１つの閾値を調整することを特徴とする請求項４に記載の撮像装置。
前記画像処理部は、
前記露光条件が所定の閾値より小さい露光領域に対応する１以上の画像領域を１つの第１結合領域として設定し、
前記露光条件が前記所定の閾値以上の露光領域に対応する１以上の画像領域を１つの第２結合領域として設定し、
前記第１結合領域と前記第２結合領域のそれぞれに対し、個別に前記ホワイトバランスの補正処理を実行することを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
前記露光領域の露光条件の最大値および最小値に基づいて、前記所定の閾値を決定することを特徴とする請求項６に記載の撮像装置。
設定された前記結合領域において、無彩色の領域が検出されるように前記所定の閾値を変更することを特徴とする請求項６または７に記載の撮像装置。