JP6497822B2

JP6497822B2 - 撮像装置

Info

Publication number: JP6497822B2
Application number: JP2017534447A
Authority: JP
Inventors: 志郎池田
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2015-08-13
Filing date: 2016-08-08
Publication date: 2019-04-10
Anticipated expiration: 2036-08-08
Also published as: JPWO2017026449A1; WO2017026449A1

Description

本開示は撮像装置に関し、例えば色分解光学系と複数の撮像素子とを含む撮像装置に適用可能である。

撮像素子では、入射光はその光量と経過時間に応じて電気信号に変換される。電気信号のダイナミックレンジは有限であるため、単位受光時間当たり素子のダイナミックレンジ以上の光量差を表現することはできない。そこで受光時間を短い映像と長い映像を取得し、合成することで撮像素子のダイナミックレンジ以上の明暗映像を取得することが可能となる。すなわち、短時間露光では、撮像素子が取得する受光時間が短くなり、明るい被写体において映像信号を飽和することなく取得できる。また、長時間露光では、撮像素子が取得する受光時間が長くなり、暗い被写体において必要な感度を得ることができ、十分な映像信号を得ることが可能となる。時分割で撮像素子の露光時間を変化させ、撮像素子内または後段映像処理部で短時間露光の映像と長時間露光の映像とを合成する方式がある（例えば、特開２００２−２２３３８８号公報）。また、短時間露光の映像と長時間露光の映像とを合成する方式として、ラインごとに短時間露光と長時間露光の映像とを取得し合成する方式や、１フレームごとに短露光時間の映像と長露光時間の映像とを取得し合成する方式などがある。

特開２００２−２２３３８８号公報特開２００６−３５２４６６号公報特許第５０３３７１１号公報

ラインごとに短時間露光と長時間露光の映像とを取得し２種類の映像を合成する方式では、垂直解像度が約１／２に低下する。１フレームごとに短露光時間の映像と長露光時間の映像とを取得し２種類の映像を合成する方式では、フレームレートが１／２になり動解像度が１／２に低下する。また、露光時間を短くすることにより露光しない期間が発生することで、点滅光源を撮影するとフリッカが発生する。一画面に露光時間の異なる映像を合成することにで、画面の一部にフリッカが発生し不自然な映像になる。本開示の課題は解像度の低下を抑えつつフリッカ発生を抑制する撮像装置を提供することにある。

本開示のうち、代表的なものの概要を簡単に説明すれば、下記のとおりである。すなわち、撮像装置は、色分解光学系と、減光フィルタを画素単位に備え、前記色分解光学系の光を電気信号に変換する第１および第２の撮像素子と、前記第１の撮像素子の減光フィルタを備える画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの輝度信号とを合成する明部輝度信号処理部と、前記第１の撮像素子の減光フィルタを備えない画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの輝度信号とを合成する暗部輝度信号処理部と、前記第１の撮像素子の減光フィルタを備える画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの色信号とを合成する明部色信号処理部と、前記第１の撮像素子の減光フィルタを備えない画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの色信号とを合成する暗部色信号処理部と、前記明部輝度信号処理部の出力信号と前記暗部輝度信号処理部の出力信号とを合成する輝度信号明暗合成部と、前記明部色信号処理部の出力信号と前記暗部色信号処理部の出力信号とを合成する色信号明暗合成部と、を備える。前記明部色信号処理部は欠落撮像データを隣接画素データに基づいて補間し、前記暗部色信号処理部は欠落撮像データを隣接画素データに基づいて補間する。

本開示によれば、解像度の低下を抑えつつフリッカ発生を抑制することができる。

実施例１に係る撮像装置の原理を説明するための信号処理図。実施例１に係る撮像装置の原理を説明するための信号処理図。実施例１に係る撮像装置の原理を説明するための信号処理図。実施例１に係る撮像装置の構成を説明するためのブロック図。実施例２に係る撮像装置の原理を説明するための信号処理図。実施例２に係る撮像装置の原理を説明するための信号処理図。実施例２に係る撮像装置の原理を説明するための信号処理図。実施例３に係る撮像装置の構成図。

以下、実施例について、図面を用いて説明する。ただし、以下の説明において、同一構成要素には同一符号を付し繰り返しの説明を省略することがある。

図１Ａ、１Ｂ、１Ｃは実施例１に係る撮像装置の原理を説明するための信号処理図である。実施例１に係る撮像装置は、色分解プリズム等の色分解光学系１と、分解された赤色（Ｒ）に対応する撮像素子（第１の撮像素子）２、緑色（Ｇ）に対応する撮像素子（第２の撮像素子）３、青色（Ｂ）に対応する撮像素子（第３の撮像素子）４とを備える。撮像素子２、３、４は、画素単位に減光フィルタ５を搭載する部分と搭載しない部分を有する。撮像素子２、４と撮像素子３の減光フィルタ５は逆転して（相補的に）配置されている。図１Ａに示すように、撮像素子２、３、４の減光フィルタ５は市松模様に配置されている。撮像素子２、３、４の減光フィルタ５が配置される画素の数と減光フィルタ５が配置されない画素の数は同じである。

図１Ｂに示すように、映像Ｐ_Ｂは撮像素子２、３、４の減光フィルタ５がある部分の画素を合成したものであり、図１Ｃに示すように、映像Ｐ_Ｂを被写体の明部の輝度信号に使用する。減光フィルタ５を備えた画素のみ選択したことにより、各画素においてカラーチャネルの一部欠落する。図１Ｃの映像Ｐ_Ｂにおいて、「ＲＢ」と表記している画素はＧのデータが欠落し、「Ｇ」と表記している画素はＲおよびＢのデータが欠落している。被写体の明部の色信号には、映像Ｐ_Ｂのデータに対し、各画素で欠落したカラーチャネルを上下左右から補間したデータで代替した映像Ｐ_{Ｂ_ＩＰ}を使用する。映像Ｐ_Ｂの「Ｇ」と表記の画素では、ＲとＢ信号は上下左右から補間し、「ＲＢ」と表記の画素では、Ｇ信号は上下左右から補間される。なお、輝度信号は補間しない。

また、図１Ｂに示すように、映像Ｐ_Ｄは撮像素子２、３、４の減光フィルタ５が無い部分の画素を、それらの位置を保ったまま合成したものであり、図１Ｃに示すように、映像Ｐ_Ｄを被写体の暗部の輝度信号に使用する。図１Ｃの映像Ｐ_Ｄにおいて、「ＲＢ」と表記している画素はＧのデータが欠落し、「Ｇ」と表記している画素はＲおよびＢのデータが欠落している。被写体の暗部の色信号は、映像Ｐ_Ｄのデータに対し、撮像素子データの欠落部を上下左右から補間したデータを算出した映像Ｐ_{Ｄ_ＩＰ}を使用する。映像Ｐ_Ｄの「Ｇ」と表記の画素では上下左右からＲとＢ信号を補間し、「ＲＢ」と表記の画素は上下左右からＧ信号を補間する。なお、輝度信号は補間しない。

図１Ｃに示すように、輝度信号、補間した色信号それぞれの明部データ、暗部データを合成して映像ＰＣを得る。これにより、ワイドダイナミックレンジの映像データを得ることができる。

図２は実施例１に係る撮像装置の構成を示すブロック図である。ダイクロイックミラー等を用いた色分解光学系１で分解されたＲ、Ｇ、Ｂは、撮像素子２、３、４で映像信号に変換される。クロック生成部２９が、各撮像素子２、３、４に同じクロック信号（ＣＬＫ）を供給するため、各撮像素子２、３、４は、露光の開始及び終了や読出しにおいて同じタイミングで作動する。撮像素子２、３、４からの映像信号は、適宜黒レベルやゲインが揃えられた後、セレクタ３１、３２、３３でそれぞれ減光フィルタありの信号（Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂ）と減光フィルタ無しの信号（Ｒ_Ｄ、Ｇ_Ｄ、Ｂ_Ｄ）に分割される。

セレクタ３１、３３はクロック生成部２９からの水平クロック信号で周期的に切換えられ、セレクタ３２はクロック信号（ＣＬＫ）をインバータ３０で反転した信号（ＣＬＫＢ）で周期的に切り換えられる。

加算器３４、３５は、Ｒ_Ｂ、Ｂ_Ｂ、Ｇ_Ｂを、必要に応じてスケールを調整したうえで加算して、輝度（白）信号の元となる部分加算信号Ｗ_Ｂを生成する。なおＲ_Ｂ、Ｂ_Ｂ、Ｇ_Ｂが全て同時に得られることはないため、部分加算信号Ｗ_Ｂは、Ｒ_ＢとＢ_Ｂの加算信号又はＧ_Ｂ信号が交互に並んだものとなる。

輝度信号処理部３８は、部分加算信号Ｗ_Ｂ（若しくはＲ_Ｂ、Ｂ_Ｂ、Ｇ_Ｂ）から減光フィルタ５有の画像の輝度成分（Ｙ_Ｂ）を生成する。輝度信号は、Rec. ITU-R BT.1391のカラリメトリーに従う場合、Ｙ = 0.2126R + 0.7152G + 0.0722Bにより計算されなければならず、加算器３４、３５で加算される前に、各カラーチャネルには適切な係数が乗算されるものとする。なおこの輝度成分（Ｙ_Ｂ）も、カラーチャネルの一部が欠落しているため、完全な輝度を表していない。

色信号処理部３９は、減光フィルタ５有の画像の色信号（ＲＧＢ_Ｂ）を画素毎に生成する。つまり上述したように、Ｒ_Ｂ、Ｂ_Ｂ、Ｇ_Ｂの内の欠落した信号を、その上下左右の画素を参照して補間する。なお補間には、４画素の単純平均である線形補間法の他、Ｇ信号の勾配方向と直交する方向に補間する勾配法、適応型カラーブレーン補間法等の公知の方法が利用でき、ベイヤー配列撮像素子用の色分離回路を流用してもよい。なおCb、Crの色差信号を出力する場合、所定の計算式により色信号（ＣＣ_Ｂ）を生成する。同様に減光フィルタ無しの信号（Ｒ_Ｄ、Ｇ_Ｄ、Ｂ_Ｄ）においても輝度信号処理部４０と色信号処理部４１で輝度信号（Ｙ_Ｄ）、色信号（ＲＧＢ_Ｄ）等を生成する。

輝度信号明暗合成部４２は、減光フィルタ有の輝度信号（Ｙ_Ｂ）と減光フィルタ無しの輝度信号（Ｙ_Ｄ）とを合成する。例えば、減光フィルタ有の輝度信号（Ｙ_Ｂ）に、スケールを一致させるための係数（減光フィルタ５の透過率の逆数に相当する）を乗算した後、減光フィルタ無しの輝度信号（Ｙ_Ｄ）と加算することで合成でき、もし必要であれば、最後にニ―／ガンマ等の非線形処理をして出力する。この合成により、同一画素位置で全てのカラーチャネルが揃うため、完全な輝度信号となる。また合成後の輝度信号ではビット数（ビット深度、ダイナミックレンジ）が増大する。なお規格に忠実に準拠するならば、輝度信号に変換される前に各カラーチャネルにおいて独立に非線形処理されるべきであるが、処理量低減のため、本例ではこのようにしている。

色信号明暗合成部４３は、減光フィルタ有の色信号（ＲＧＢ_Ｂ）と減光フィルタ無しの色信号（ＲＧＢ_Ｄ）とを、任意の判定により画素毎に合成する。ここで、色信号ＲＧＢ_ＢとＲＧＢ_Ｄは、いずれかのカラーチャネルで飽和が起こっていない限り、その色相や彩度は同じになるはずである。合成は、減光フィルタ無しの色信号ＲＧＢ_Ｄで飽和が起こっているチャネルでは、係数（減光フィルタ５の透過率の逆数に相当する）が乗じられたＲ_Ｂ、Ｇ_Ｂ或いはＢ_Ｂ等を選択し、飽和が起こっていないチャネルではＲ_Ｄ、Ｇ_Ｄ、Ｂ_Ｄを選択する方法で行うことができる。飽和の判断は、Ｒ_Ｂ、Ｇ_Ｂ、Ｂ_Ｂが対応する閾値以下であるかどうかで行ってもよい。なお色信号が式差信号ＣＣ_Ｂ等であっても演算は同様である。

他の方法として、色信号ＲＧＢ_ＢとＲＧＢ_ＤをそれぞれＨＳＶ空間に変換し、色相や彩度を平均化した後、輝度信号明暗合成部４２から出力された輝度信号と組み合わせて色信号（ＲＧＢやＣＣ）に戻してもよい。また、ＲＧＢ_ＢとＲＧＢ_Ｄでダイナミックレンジが重複している範囲において、一方を選択する代りにそれらを平均してもよい。ただしこれらの処理では係数の乗算により階調が離散的になった信号が合成されることにより、却って最終的な階調が悪化することがある。これにより、ワイドダイナミックレンジを実現する映像を生成することができる。

本実施例によれば、撮像素子の一部の画素に減光フィルタを配置することにより、暗部と明部の映像を同時に撮影することが可能となる。減光フィルタ方式であるので、露光時間は一定であり、画面の一部だけフリッカが発生する現象は原理的に発生しない。さらに色分解光学系と複数の撮像素子で構成することにより、輝度信号に関して解像度の低下も発生しない。

次に、感度低下を低減する実施例２に係る撮像装置について図３Ａから３Ｃを用いて説明する。図３Ａ、３Ｂ、３Ｃは実施例２に係る撮像装置の原理を説明するための信号処理図である。実施例２に係る撮像装置は、実施例１同と様の色分解光学系１と、分解された赤色（Ｒ）に対応する撮像素子（第１の撮像素子）２１、緑色（Ｇ）に対応する撮像素子（第２の撮像素子）３１、青色（Ｂ）に対応する撮像素子（第３の撮像素子）４１とを備える。ただし、撮像素子２１、３１、４１において、減光フィルタ５は、図３Ａに示すように実施例１より半減され、４画素のうち１画素だけに配置される。暗部を撮影するときは、できるだけ受光面を広く取ることが望ましが、明部の撮影では、受光量を減らしても問題はない。このような配置においても、実施例１と同様に縦２画素、横2画素の４画素を配置の単位をしていることには変わりがない。また、いずれかの色で遮光された画素に注目すると、ハイライト領域での空間分解能の低下を最小限にすることを意図して、それらが均等に離れるような市松模様の配置になっている。図３Ｂに示すように、映像Ｐ_Ｂ２は撮像素子２１、３１、４１の減光フィルタ５の画素（明部の部分）を合成したものであり、映像Ｐ_Ｄ２は撮像素子２１、３１、４１の減光フィルタ５無の画素（暗部の部分）を合成したものである。減光フィルタ５を備えることにより、撮像素子のデータが欠落する画素がある。図３Ｃの映像Ｐ_Ｂ２において、「ＲＢ」と表記している画素はＧのデータが欠落し、「Ｇ」と表記している画素はＲおよびＢのデータが欠落し、空白の画素はＲ、ＧおよびＢのデータが欠落している。被写体明部の色信号は、映像Ｐ_Ｂ２のデータに対し、撮像素子データの欠落部を上下及び／又は左右から補間したデータを算出した映像Ｐ_{Ｂ_ＩＰ２}を使用する。映像Ｐ_Ｂ２の空白の画素は上下からＲＢ信号を左右からＧ信号を補間したり、上下からＧ信号を左右からＲＢ信号を補間したりする。図３Ｃの映像ＰＤ２において、「ＲＢ」と表記している画素はＧのデータが欠落し、「Ｇ」と表記している画素はＲおよびＢのデータが欠落している。「ＲＧＢ」と表記の画素は欠落データがない。被写体暗部の色信号は、映像ＰＤ２のデータに対し、撮像素子データの欠落部を上下左右から補間したデータを算出した映像ＰＤＩＰ２を使用する。映像ＰＤ２の「Ｇ」と表記の画素は上下左右からＲＢ信号または斜め上下左右からＲＢ信号を補間する。映像ＰＤ２の「ＲＧ」と表記の画素は上下左右からＧ信号または斜め上下左右からＧ信号を補間する。

図３Ｃに示すように、補間した色信号それぞれの明部データ、暗部データを合成し、減光フィルタ有の輝度信号と減光フィルタ無しの輝度信号を任意の判定により合成して、映像ＰＣ２を得る。これにより、ワイドダイナミックレンジを実現する映像を生成することができる。実施例２の構成の場合、減光フィルタ無しの部分において約７０％の解像度を得ることができる。また、暗部は３／４の画素から生成することで、感度低下を約２．５ｄＢに抑えることができる。このように、減光フィルタの配置を変更することにより、輝度信号の解像度低下をある程度許容し、感度の低下を抑えることが可能である。

図４は実施例３に係る撮像装置の構成図である。撮像素子２、３、４は実施例１と同様の遮光フィルタ５が設けられているとする。撮像素子２、３、４からの信号は、まず補間フィルタ１１、１２、１３に入力される。

補間フィルタ１１、１２、１３は同じ構成であり、ある対象画素において撮像素子から入力されたままの信号と、対象画素に隣接する画素から補間された信号とを、各画素位置毎に出力する。補間フィルタ１１等においても、勾配法、適応型カラーブレーン補間法等の補間を適用することができ、それら適応制御は各色チャネルで連動させてもよく独立でもよい。

明暗セレクタ１４、１５、１６は、対応する補間フィルタ１１、１２、１３からの信号を、減光フィルタ５を備えた画素の信号に基づく信号（Ｇ_Ｂ等の明部データ）と、減光フィルタ５を備えない画素の信号に基づく信号（Ｇ_Ｄ等の暗部データ）とに、画素毎に分離する。

明暗合成部１７、１８、１９は、実施例１の色信号明暗合成部４３と同様に、明部データと暗部データの内、飽和していない方の信号を選択し、スケールを揃えて出力する回路である。

カラーマトリクス部２０は、明暗合成部１７、１８、１９からのＲＧＢ信号を、カラーマトリクス演算により輝度と色差信号に変換して出力する。4:2:2や4:2:0のフォーマットで出力する場合、色差信号は必要とされる(仮想の)画素位置おける、ＲＧＢ信号の補間フィルタ値から、色差信号を求めてもよい。

本実施例３で得られる輝度信号は、空間方向の補間（フィルタリング）を伴う点で実施例１などと異なる。この様に空間フィルタの程度を異ならせることで、本実施形態のような撮像素子から得られる映像の、（特に輝度に関する）空間分解能と、（輝度や色域に関する）ダイナミックレンジの広さや忠実性とのバランスを意図的に変更することもできる。例えば絵柄に応じて、テクスチャー部やエッジ部では実施例１の輝度信号を、平坦部では実施例３の輝度信号を使い分けたり、単純にフレーム毎に交互に切り替えたりすることで、主観画質の向上も期待できる。

以上、本発明者によってなされた発明を実施例に基づき具体的に説明したが、本発明は、上記実施例に限定されるものではなく、種々変更可能であることはいうまでもない。例えば、実施例１、２では撮像素子３枚の構成であるが、２枚以上の構成であればよい。実施例２では減光フィルタを４画素のうち１画素だけとしているが、任意の割合にすることができる。この出願は、２０１５年８月１３日に出願された日本出願特願２０１５−１５９７７２を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。

以上説明したように本発明は撮像装置に利用可能であり、例えば色分解光学系と複数の撮像素子とを含む撮像装置に好適なものである。

１…色分解光学系、２…撮像素子（第１の撮像素子）、３…撮像素子（第２の撮像素子）、４…撮像素子（第３の撮像素子）、５…減光フィルタ、ＰＢ…映像、ＰＤ…映像、ＰＢＩＰ…映像、ＰＤＩＰ…映像、ＰＣ…映像、２１…撮像素子（第１の撮像素子）、３１…撮像素子（第２の撮像素子）、４１…撮像素子（第３の撮像素子）、ＰＢ２…映像、ＰＤ２…映像、ＰＢＩＰ２…映像、ＰＤＩＰ２…映像、ＰＣ２…映像、２９…クロック、３０…インバータ、３１…セレクタ、３２…セレクタ、３３…セレクタ、３４…加算器、３５…加算器、３６…加算器、３７…加算器、３８…輝度信号処理部、３９…色信号処理部、４０…輝度信号処理部、４１…色信号処理部、４２…輝度信号明暗合成部、４３…色信号明暗合成部

Claims

色分解光学系と、
減光フィルタを画素単位に備え、前記色分解光学系の光を電気信号に変換する第１および第２の撮像素子と、
前記第１の撮像素子の減光フィルタを備える画素の部分からの輝度信号と、前記第２の撮像素子の減光フィルタを備える画素の部分からの輝度信号とを合成する明部輝度信号処理部と、
前記第１の撮像素子の減光フィルタを備えない画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの輝度信号とを合成する暗部輝度信号処理部と、
前記第１の撮像素子の減光フィルタを備える画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの色信号とを合成する明部色信号処理部と、
前記第１の撮像素子の減光フィルタを備えない画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの色信号とを合成する暗部色信号処理部と、
前記明部輝度信号処理部の出力信号と前記暗部輝度信号処理部の出力信号とを合成する輝度信号明暗合成部と、
前記明部色信号処理部の出力信号と前記暗部色信号処理部の出力信号とを合成する色信号明暗合成部と、を備え、
前記明部色信号処理部は欠落撮像データを隣接画素データに基づいて補間し、
前記暗部色信号処理部は欠落撮像データを隣接画素データに基づいて補間することにより暗部と明部の映像を同時に撮影することができる撮像装置。
請求項１において、
前記第１および第２の撮像素子の減光フィルタはそれぞれ市松模様に配置され、前記第１の撮像素子の減光フィルタと第２の撮像素子の減光フィルタとは相補的に配置される撮像装置。
請求項１において、
前記第１および第２の撮像素子のそれぞれにおいて、減光フィルタがある画素の数は減光フィルタがない画素の数よりも少ない撮像装置。
請求項３において、
前記第１および第２の撮像素子のそれぞれにおいて、減光フィルタがある画素の数は減光フィルタがない画素の数の１／３である。
請求項１において、さらに、
前記色分解光学系の光を電気信号に変換する第３の撮像素子を備え、
前記明部輝度信号処理部は、前記第１の撮像素子の減光フィルタを備える画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの輝度信号と前記第３の撮像素子の減光フィルタを備える画素の部分からの輝度信号とを合成し、
前記暗部輝度信号処理部は、前記第１の撮像素子の減光フィルタを備えない画素の部分からの輝度信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの輝度信号とを前記第３の撮像素子の減光フィルタを備えない画素の部分からの輝度信号と合成すると、
前記明部色信号処理部は、前記第１の撮像素子の減光フィルタを備える画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備える画素の部分からの色信号と前記第３の撮像素子の減光フィルタを備える画素の部分からの色信号とを合成し、
前記暗部色信号処理部は、前記第１の撮像素子の減光フィルタを備えない画素の部分からの色信号と前記第２の撮像素子の減光フィルタを備えない画素の部分からの色信号と前記第３の撮像素子の減光フィルタを備えない画素の部分からの色信号とを合成し、
前記第１、第２および第３の撮像素子のそれぞれは、赤、緑、青用の撮像素子である撮像装置。