JP5848580B2 - 撮像装置及びその制御方法 - Google Patents

Description

本発明は撮像装置及びその制御方法に関し、特には感度設定に応じて、非線形入出力特性を最適に制御する技術に関する。

デジタルカメラや携帯電話などの撮像装置においては、撮像素子の入出力特性のうち線形性のある範囲を使い切れるよう、出力される撮像信号に対する増幅率（感度）を設定している。図６（ｂ）は、ゲイン回路とも呼ばれる線形変換部の入出力特性例を示す。図６（ｂ）において、左上のゼロ点から（ア）の黒点のポイントまで、線形変換部の入力（撮像素子の出力）に対して出力が線形に変化している。（ア）の黒点より大きくなると、撮像素子の光電変換素子の飽和特性により出力が線形に上昇しなくなり、（ア）の黒点から傾きが小さくなっている。そして、（ア）の黒点で線形変換の最大出力（ここでは５１１）が得られるように入出力特性が設定されている。この時の感度が前述の増幅率（感度）であり、これを以降、基準感度と呼ぶこととする。

また、図６（ａ）はガンマ回路ともよばれる非線形変換部の入出力特性を示す。横軸は非線形変換部の入力であり、線形変換部の出力と等価である。縦軸は非線形変換部の出力であり、表示装置等の出力装置の特性に応じた入出力特性が設定される。

図６（ａ）の曲線は、図６（ｂ）における入出力特性が線形である領域（ゼロ点から黒点まで）を最大限利用したガンマ曲線である。ガンマ曲線は、線形変換部の最大出力値５１１がガンマ回路に入力された場合に、最大出力値２５５が得られるように設定されている。

ここで、線形変換部に２倍（６ｄＢ）（１の折れ線）と１倍（０ｄＢ）（２の折れ線）の入出力特性が設定されていた場合を比較する。非線形変換部の出力がＡになるためには６ｄＢ（１の折線）の場合は入力αが必要であり、０ｄＢ（２の折線）の場合は入力２αが必要となる。

すなわち、６ｄＢの設定（１の折線）であれば０ｄＢの設定（２の折線）と比較して、半分の入力で同じ出力を得ることができる。換言すると、６ｄＢの設定（１の折線）時のダイナミックレンジは０ｄＢの設定（２の折線）の時の２倍となる。このように、被写体輝度に対する撮像装置のダイナミックレンジを大きくするためには、センサ出力信号の増幅率（感度）を増加させれば良い。ただし、感度を増加することによりＳＮ比が低下する。

シネマ撮影向けの撮像装置には大きなダイナミックレンジが要求されることが多く、ＳＮ比よりもダイナミックレンジを優先し、基準となる感度を高くしているのが現状である。ただし、基準感度を比較的高くした場合でもＳＮ比を優先した撮像が可能なように、基準感度より低い感度を設定可能としていることが多い。

しかしながら、感度を基準感度以下とした場合、以下のような問題が生じる。例えば基準感度が図６（ｂ）に示す６ｄＢ（１の折線）に設定されていたとする。前述の通り、線形変換部の入出力特性は、ゼロ点から入力が２αとなる黒点までが線形であり、入力が２αを超えると非線形である。６ｄＢの設定であれば、非線形変換部の全入力範囲を線形変換部の入出力特性が線形の範囲でまかなえる。しかし、感度を０ｄＢに変更すると、非線形変換部の入力値のうちＢ〜５１１までの範囲（高輝度部分）が、線形変換部の入出力特性の非線形な部分に対応することになる。

このような入力に対して非線形変換部で図６（ａ）の入出力特性１を適用すると、高輝度部分のＲＧＢバランスが崩れ、不自然な色となってしまう。そのため、感度を基準感度よりも下げた場合、図６（ａ）の入出力曲線２に示すように、線形変換部の入出力特性が非線形になる部分の出力を一定にするクリップ処理を行い、不自然な色を見せないようにすることが知られている（特許文献１）。

特開２０１０−５１０２９号公報

しかしながら、クリップ処理される範囲は入力値に関わらず出力が一定値となるため、非線形変換部の入力レンジが有効に使用されていない。そのため、非線形変換部への入力の変化量に対する非線形変換部からの出力の変化量が大きく、画像の暗部の緩やかなグラデーション部に疑似輪郭が生じて不自然な画像となることが考えられる。

本発明はこのような従来技術の課題に鑑みてなされたもので、基準感度以下の感度で撮像された画像の暗部における解調性を改善することが可能な撮像装置及びその制御方法の提供を目的とする。

上述の目的は、入力された信号を線形的な入出力特性で変換して出力する線形変換手段と、線形変換手段の出力を非線形な入出力特性で変換して出力する非線形変換手段と、線形変換手段と非線形変換手段の入出力特性を制御する制御手段と、を有する撮像装置であって、制御手段は、撮像感度の変更指示を受け付けた場合、変更後の撮像感度が予め定められた基準感度を下回る場合には、非線形変換手段の入出力特性を基準感度に対応する入出力特性とは異なる入出力特性に変更し、変更後の撮像感度が基準感度以上の場合には、線形変換手段の入出力特性を基準感度に対応する入出力特性とは異なる入出力特性に変更する、ことを特徴とする撮像装置によって達成される。

このような構成により、本発明によれば、基準感度以下の感度で撮像された画像の暗部における解調性を改善することが可能な撮像装置が実現できる。

本発明の実施形態に係る撮像装置における、信号増幅に関する機能構成例を示すブロック図 図１の線形変換部及び非線形変換部の入出力特性を示す図 図１の線形変換部及び非線形変換部の入出力特性を示す図 本発明の効果を説明するための図 図１の動作を説明するためのフローチャート 従来の線形変換部及び非線形変換部の入出力特性を示す図

以下、添付図面を参照して本発明の例示的な実施形態について詳細に説明する。
図１は、本発明の実施形態に係る撮像装置において、撮像素子の出力を増幅するために設けられた構成を取り出して示したブロック図である。撮像素子１００は例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサであり、入射した光を電気信号に変換して出力する。線形変換部１０１は、撮像素子１００の出力を線形的な入出力特性で変換して出力する。線形変換部１０１は通常、ゲイン（ｄＢ）設定や撮像感度（ＩＳＯ）設定を変更する為に設けられる、所謂ゲイン回路である。非線形変換部１０２は線形変換部１０１の出力を非線形的な入出力特性で変換して出力する。非線形変換部１０２は通常、ガンマ回路と呼ばれ、表示装置等の出力装置の特性に応じた入出力特性（ガンマ曲線）が設定される。例えば、テレビモニタであれば、ＩＴＵ−ＢＴ７０９で規定されている、ガンマ＝０．４５のガンマ曲線を設定することにより、テレビモニタに入力された画像を正しく表示することができる。

入出力特性算出部１０３は、撮像感度に応じた出力が非線形変換部１０２から得られるように、線形変換部１０１と非線形変換部１０２の入出力特性を制御する。例えば、線形変換部のゲインを基準感度（６ｄＢとする）から３ｄＢ下降すべきと判断した場合、入出力特性算出部１０３は、線形変換部１０１に対して入出力特性の傾きを現在の約１／１．４１倍に設定するよう指示する。また、非線形変換部１０２の入出力特性を基準感度に対応した特性から３ｄＢ分下降すべきと判断される場合、入出力特性算出部１０３は非線形変換部１０２に対し、各入力値において出力が１／１．４１倍になるように入出力特性を変更するよう指示する。これらゲインの変更を、図２（ａ）は線形変換部１０１の入出力特性、図２（ｂ）は非線形変換部１０２の入出力特性について示している。

図１に戻って、ゲインスイッチ１０４は、ユーザが撮像装置に撮像感度の変更を指示するためのユーザインタフェースである。ゲインスイッチ１０４から、撮像感度を変更する指示が入力された場合、入出力特性算出部１０３は、その変更を線形変換部１０１と非線形変換部１０２のいずれによって、あるいは両方で実現すべきかを決定し、決定に応じた入出力特性の変更を制御する。

なお、ゲインスイッチ１０４からの変更指示ではなく、線形変換部１０１の出力から被写体の明るさの変化を検出し、明るさの変化に相当する感度変更を実現する入出力特性の変更を、入出力特性算出部１０３が自動的に実行してもよい。

以降、本実施形態ではゲインスイッチ１０４から撮像感度の変更指示がなされるものとする。また、感度以外に露出条件に関係する絞り値、ＮＤフィルタの有無、電子シャッタスピードは固定であるとして、感度変更動作について説明する。

次に、図３を使って本実施形態における感度設定動作について説明する。
図３は、図６と同様、非線形変換部１０２と線形変換部１０１の入出力特性を示す図である。まず、図３（ｂ）の線形変換部１０１の入出力特性は、図６（ｂ）において６ｄＢのゲイン設定をした場合と同様、ゼロ点から所定値である黒点までの入力値に対して一定の傾きを有する。この入出力特性を基準感度に対応する入出力特性とする。図３（ａ）は非線形変換部の入出力特性を示す。図３（ａ）に破線で描かれた曲線は、線形変換部１０１の基準感度における入出力特性が線形である範囲を最大限利用した場合のガンマ曲線である。線形変換部１０１の基準感度に対応する入出力特性において黒点に対応する出力値が、非線形変換部１０２の最大入力値５１１となり、最大入力値５１１に対して最大出力値２５５が出力されるように非線形変換部１０２の入出力特性が決定されている。なお、ガンマ曲線の形状を決定するガンマ係数は出力機器に応じて設定される。

ここで、ゲインスイッチ１０４を通じて、基準感度を１／２（−６ｄＢ）減ずるように指示されたものとする。この場合、従来の方法では、図６（ｂ）の２の折れ線で示したように、線形変換部１０１の入出力特性の傾きを基準感度の折れ線の１／２にするように設定し、また、非線形変換部ではクリップ処理が行われる。

これに対し本実施形態において入出力特性算出部１０３は、線形変換部１０１の入出力特性は変更せず、非線形変換部１０２の入出力特性を変更する。具体的には、入出力特性算出部１０３は、非線形変換部１０２の入出力特性（ガンマ曲線）を、全入力ポイントに対して出力を半分にするように変更する（図３（ａ）に実線で示す曲線）。これにより、あたかも線形変換部１０１で感度を１／２（−６ｄＢ）したのと同様の明るさを実現することができる。これは、線形変換部１０１で感度を１／２した場合（図３（ｂ）に破線で示す）に線形の入出力特性が維持される範囲を、非線形変換部１０２の入力範囲に対応させることと等価であるため、非線形変換部１０２のレンジを有効に使用できるようになる。

これにより、クリップ処理も不要となるので、非線形変換部１０２の入力における高輝度部分のＲＧＢバランスが崩れない。また、画像暗部の階調性が改善される。図４は、非線形変換部１０２の入出力特性曲線の原点付近を拡大したものであり、（ａ）が感度変更前（基準感度設定時。図３（ａ）の破線に対応）、（ｂ）が感度変更後（図３（ａ）の実線に対応）である。

図３（ａ）では入力の変化量に対する出力の変化量が大きく、所謂「飛んだ」状態となっている。微小な輝度変化が生じている被写体を撮影した場合、この「飛び」が大きくなればなるほど疑似輪郭がはっきりと認識され、低画質となる。特に感度を低減すると画像のＳＮ比が良くなり、疑似輪郭が見えやすくなるため、低感度において入力値の変化量に対する出力値の変化量が小さい（「飛び」が小さい）ことが、画質の面で重要である。本実施形態では、非線形変換部１０２の入出力特性を変更することにより感度低減を行うことで、原点付近の入出力特性は図４（ｂ）のように、入力の変化量に対する出力の変化量が小さいので、疑似輪郭の発生を抑制できる。

基準感度から感度を下げた場合を説明したが、基準感度以上から基準感度未満に感度を下げた場合、基準感度までは線形変換部１０１で感度を下げ、基準感度未満の部分は非線形変換部１０２の入出力特性を変更する。これにより、感度の低減時における非線形変換部１０２でのクリップ処理が不要となる。また、基準感度以上の範囲内での感度変更は従来通り線形変換部１０１のみで感度を変更すれば良い。

図５に示すフローチャートを用いて、上述した本実施形態の動作を説明する。
制御手段としての入出力特性算出部１０３は、Ｓ５００で、ゲインスイッチ１０４から、感度の変更指示が入力された場合、変更後の感度（変更予定感度）が基準感度未満かどうか判別する。入出力特性算出部１０３は、変更予定感度が基準感度未満であればＳ５０１に、基準感度以上であればＳ５０３に処理を進める。

Ｓ５０１で入出力特性算出部１０３は、線形変換部１０１に入出力特性を（基準感度でなければ）基準感度に設定するよう指示する。これにより、撮像素子出力（線形変換部入力）が線形である部分を最大限に利用することができる。

次に入出力特性算出部１０３はＳ５０２で、非線形変換部１０２に対し、入出力特性を（基準感度−変更予定感度）の分だけ、基準感度状態から変更するよう指示する。Ｓ５０１で指示した線形変換部１０１の感度変更と、Ｓ５０２で指示した非線形変換部１０２の入出力特性変更との合計により、ゲインスイッチ１０４を通じて指示された感度変更を実現する。

一方、Ｓ５００で変更予定感度が基準感度以上だった場合、入出力特性算出部１０３はＳ５０３にて線形変換部１０１の感度を変更予定感度に変更するよう指示する。非線形変換部１０２の入出力特性は変更しない。このように、変更予定感度が基準感度以上の場合には、線形変換部１０１の感度変更によって感度変更を実現する。

以上、説明したように、本実施形態は、基準感度を下回る部分の感度変化については線形変換部の入出力特性は基準感度を維持し、非線形変換部の入出力特性を変更することで対応する。また、基準感度を上回る部分の感度変化については線形変換部の入出力特性を変更することによって対応する。これにより、感度設定により映像を暗くし、またはＳＮ比を良くする際、特に画像の暗部における階調性を増加させ、より自然な画像を得ることができる。

特にシネマ撮影用のカメラのように、基準感度を高くしてダイナミックレンジを拡げている撮像装置では、一般的な撮像装置よりも基準感度未満の感度設定が実施されやすいため、本発明は特に有効である。

なお、上記の実施形態では、変更予定感度が基準感度未満の場合、入出力特性を基準感度に設定するよう指示したが、高輝度部分のＲＧＢバランス及び画像暗部の階調性への影響が許容できる範囲であれば、基準感度未満の感度に設定するよう指示してもよい。その場合、非線形変換部１０２に対し、入出力特性を（変更後感度−変更予定感度）の分だけ、基準感度状態から変更するよう指示する。すなわち、変更予定感度が基準感度未満の場合、線形変換部１０１の入出力特性変更と非線形変換部１０２の入出力特性変更との組み合わせにより、ゲインスイッチ１０４で指示された撮像感度に対応した出力を得るようにしてもよい。このような方法であっても、従来の方法に比べると、基準感度以下の感度で撮像された画像の暗部における解調性を改善することが可能である。

Claims (7)

1. 入力された信号を線形的な入出力特性で変換して出力する線形変換手段と、
   前記線形変換手段の出力を非線形な入出力特性で変換して出力する非線形変換手段と、
   前記線形変換手段と前記非線形変換手段の入出力特性を制御する制御手段と、を有する撮像装置であって、
   前記制御手段は、撮像感度の変更指示を受け付けた場合、
   変更後の撮像感度が予め定められた基準感度を下回る場合には、前記非線形変換手段の入出力特性を前記基準感度に対応する入出力特性とは異なる入出力特性に変更し、
   前記変更後の撮像感度が前記基準感度以上の場合には、前記線形変換手段の入出力特性を前記基準感度に対応する入出力特性とは異なる入出力特性に変更する、ことを特徴とする撮像装置。
2. 前記制御手段は、前記変更後の撮像感度が前記基準感度を下回る場合には、前記線形変換手段の入出力特性と前記非線形変換手段の入出力特性との組み合わせにより、前記変更後の撮像感度に対応した出力が前記非線形変換手段から得られるように、前記非線形変換手段の入出力特性を前記基準感度に対応する入出力特性とは異なる入出力特性に変更する、ことを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記変更後の撮像感度が前記基準感度を下回る場合には、前記線形変換手段の前記基準感度に対応する入出力特性と前記非線形変換手段の入出力特性との組み合わせにより、前記変更後の撮像感度に対応した出力が前記非線形変換手段から得られるように、前記非線形変換手段の入出力特性を前記基準感度に対応する入出力特性とは異なる入出力特性に変更する、ことを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、前記変更後の撮像感度が前記基準感度以上の場合には、前記非線形変換手段の前記基準感度に対応する入出力特性と前記線形変換手段の入出力特性との組み合わせにより、前記変更後の撮像感度に対応した出力が前記非線形変換手段から得られるように、前記線形変換手段の入出力特性を前記基準感度に対応する入出力特性とは異なる入出力特性に変更する、ことを特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
5. 前記線形変換手段の前記基準感度に対応する入出力特性が、ゼロ点から所定値までの入力に対して一定の傾きを有し、
   前記非線形変換手段の入力範囲が、前記線形変換手段の前記基準感度に対応する入出力特性における前記所定値に対応する出力値を最大入力値とするように定められていることを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
6. 前記線形変換手段がゲイン回路であり、前記非線形変換手段がガンマ回路であることを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像装置。
7. 入力された信号を線形的な入出力特性で変換して出力する線形変換手段と、
   前記線形変換手段の出力を非線形な入出力特性で変換して出力する非線形変換手段と、を有する撮像装置の制御方法であって、
   撮像感度の変更指示による変更後の撮像感度が予め定められた基準感度を下回る場合、制御手段が、前記非線形変換手段の入出力特性を前記基準感度に対応する入出力特性とは異なる入出力特性に変更する工程と、
   前記変更後の撮像感度が前記基準感度以上の場合、前記制御手段が、前記線形変換手段の入出力特性を前記基準感度に対応する入出力特性とは異なる入出力特性に変更する工程と、を有することを特徴とする撮像装置の制御方法。

Images