JP7030703B2 - 信号処理装置、撮影装置、及び、信号処理方法 - Google Patents

Description

本技術は、信号処理装置、撮影装置、及び、信号処理方法に関し、特に、例えば、輝度差が非常に大きいシーンにおいて、点滅する対象物を確実に認識するとともに、正確に、障害物を認識することができるようにした信号処理装置、撮影装置、及び、信号処理方法に関する。

近年、自動運転など高度な運転制御を実現することを目的として自動車に車載カメラが搭載されるケースが増えている。

しかしながら、車載カメラでは安全性を確保するため、トンネルの出口など輝度差が非常に大きい条件においても視認性を担保することが求められており、画像の白飛びを抑えて広ダイナミックレンジ化するための技術が必要な状況である。このような白飛びの対策としては、例えば、特許文献１に開示されている技術が知られている。

また、近年、信号機や、電子的な道路標識の光源が、白熱電球等からLED(Light Emitting Diode)に置き換わりつつある。

LEDは、白熱電球に比較して、明滅の応答速度が高速であるため、例えば、自動車等に搭載される車載カメラ等で、LEDの信号機や道路標識を撮影すると、フリッカが発生し、信号機や道路標識が消灯した状態で撮影される。このようなフリッカの対策としては、例えば、特許文献２に開示されている技術が知られている。

また、自動運転を実現する際には、自動車の進行方向に存在する先行車両や、道路を横断中の歩行者などの障害物を認識するための技術が必須となる。このような障害物を認識するための技術としては、例えば、特許文献３に開示されている技術が知られている。

特開平５－６４０７５号公報 特開２００７－１６１１８９号公報 特開２００５－２６７０３０号公報

ところで、トンネルの出口など輝度差が非常に大きいシーンにおいて、明滅の応答速度が高速なLEDの信号機や道路標識などを確実に認識するとともに、正確に、先行車両や歩行者などの障害物を認識するための技術は確立されておらず、そのような技術が求められていた。

本技術はこのような状況に鑑みてなされたものであり、輝度差が非常に大きいシーンにおいて、点滅する対象物を確実に認識するとともに、正確に、障害物を認識することができるようにするものである。

本技術の一側面の信号処理装置は、異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、加算の結果得られる画像の信号を線形化する線形化部と、加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成する合成部とを備える信号処理装置である。

本技術の一側面の撮影装置は、異なる露光時間で撮影された複数の画像を生成する画像生成部と、前記複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、加算の結果得られる画像の信号を線形化する線形化部と、加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成する合成部とを備える撮影装置である。

本技術の一側面の信号処理方法は、異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算し、加算の結果得られる画像の信号を線形化し、加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成するステップを含む信号処理方法である。

本技術の一側面の信号処理装置、撮影装置、及び信号処理方法においては、異なる露光時間で撮影された複数の画像の信号が、異なる飽和信号量を用いて加算され、加算の結果得られる画像の信号が線形化され、加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号が合成される。

信号処理装置や撮影装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。

本技術の一側面によれば、輝度差が非常に大きいシーンにおいて、点滅する対象物を確実に認識するとともに、正確に、障害物を認識することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

輝度差が非常に大きい撮影対象の撮影の例を説明する図である。 点滅する撮影対象の撮影の例を説明する図である。 車両前方の認識の例を説明する図である。 輝度差が非常に大きい撮影対象に対する対処方法を説明する図である。 信号機の点灯状態が記録されるべきであるにも関わらず、消灯状態が記録されてしまう場合の例を示す図である。 点滅光源の消灯期間を上回る露光時間で撮影を行う場合の例を示す図である。 現状の技術の手法を説明するための図である。 現状の技術の手法を説明するための図である。 ヒストグラムのピーク位置を用いた障害物検出の手法を説明するための図である。 ヒストグラムのスパイクの例を示す図である。 現状の技術の合成結果の例を示す図である。 現状の技術を用いた合成で、ヒストグラムに発生する擬似的なスパイクの例を示す図である。 本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。 タイミング制御部によるシャッタ制御の例を示す図である。 タイミング制御部によるシャッタ制御の例を示す図である。 信号処理部の構成例を示す図である。 2枚合成を行う場合の信号処理を説明するフローチャートである。 信号処理の処理結果の例を示す図である。 実際の撮影画像の例を示す図である。 実際の撮影画像の例を示す図である。 3枚合成を行う場合の信号処理部の構成例を示す図である。 3枚合成を行う場合の信号処理を説明するフローチャートである。 3枚合成を行う場合の信号処理を説明するフローチャートである。 第１加算処理と第１線形化処理の詳細を説明する図である。 第２加算処理と第２線形化処理の詳細を説明する図である。 本技術によるヒストグラムのスパイクの抑制の詳細を説明する図である。 本技術で用いられる合成係数の詳細を説明する図である。 N枚合成を説明する図である。 積層型の固体撮像装置の構成例を示す図である。 画素領域と信号処理回路領域の詳細な構成例を示す図である。 積層型の固体撮像装置の他の構成例を示す図である。 画素領域と信号処理回路領域とメモリ領域の詳細な構成例を示す図である。 コンピュータの構成例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。

１．本技術の概要
２．本技術の実施の形態
３．本技術の実施の形態の変形例
４．本技術の信号処理の詳細な内容
５．N枚合成の計算式
６．固体撮像装置の構成例
７．コンピュータの構成例
８．応用例

＜１．本技術の概要＞

（輝度差が非常に大きい撮影対象の撮影の例）
近年、自動運転など高度な運転制御を実現することを目的として自動車に車載カメラが搭載されるケースが増えている。しかしながら、車載カメラでは安全性を確保するため、トンネルの出口など輝度差が非常に大きい条件においても視認性を担保することが求められており、画像の白飛びを抑えて広ダイナミックレンジ化するための技術が必要な状況である。

図１は、輝度差が非常に大きい撮影対象の撮影の例を説明する図である。図１においては、トンネルの出口の撮影の例を示しているが、トンネルの出口の状況が認識できないと、安全を確保するための運転制御を行うことができない。

（点滅する撮影対象の撮影の例）
また、近年において、信号機や標識の光源が電球からLEDに置き換わりつつある。しかしながらLEDは明滅の応答速度が従来式の電球に比べて高速であるため、撮影装置でLEDの信号機や標識を撮影するとフリッカが発生し消灯して見えてしまうという問題があり、ドライブレコーダの証拠能力の担保や自動車の運転自動化に向けて大きな課題となっている。

図２は、点滅する撮影対象の撮影の例を説明する図である。図２において、第１フレーム（Frame1）と第２フレーム（Frame2）の画像では、青（左端）が点灯している信号機が映っているが、第３フレーム（Frame3）と第４フレーム（Frame4）の画像では、消灯している状態の信号機が映っている。

このように、信号機が消灯した状態で映ることは、例えば、ドライブレコーダに利用されている場合に、映像（画像）の証拠能力に支障をきたす原因になる。また、信号機が消灯した状態で映ることは、その画像が、例えば、自動車の自動運転に利用されている場合に、自動車の停止等の運転制御に支障をきたす原因になる。

（車両前方の認識の例）
また、自動運転を実現する際に、自動車の進行方向に存在する先行車両や、道路を横断中の歩行者等の障害物（対象物）を認識するための技術が必須となる。例えば、自動車の前方の障害物の検出が遅れると、自動ブレーキの動作が遅れてしまう可能性がある。

図３は、車両前方の認識の例を説明する図である。図３においては、自動車の前方を走行する2台の車両や路面の状態等が認識され、その認識結果に応じた自動運転の制御が行われる。

（輝度差が非常に大きいシーンにおいて、点滅する撮影対象に対する対処方法）
ここで、上述した特許文献１には、複数の異なる露光量で撮影された画像を合成することで白飛びを抑制し、見かけのダイナミックレンジを拡大する手法が提案されている。この手法においては、図４に示すように、露光時間の長い長時間露光画像（長蓄画像）の輝度値を参照し、明るさが所定の閾値を下回れば長時間露光画像（長蓄画像）、上回れば短時間露光画像（短蓄画像）を出力することで、広いダイナミックレンジを持つ画像を生成することが可能となる。

一方で、図２に示したように、LED信号機など高輝度な被写体が点滅をしている場合に、長時間露光画像（長蓄画像）と短時間露光画像（短蓄画像）との合成を行うことで、本来信号機の点灯状態が記録されるべきであるにも関わらず消灯状態が記録されてしまう場合がある。図５には、信号機の点灯状態が記録されるべきであるにも関わらず、消灯状態が記録されてしまう場合の例を示している。

図５の例においては、長蓄画像にのみ、LED点灯状態が映っている場合に、光源が明るいため、信号が飽和して閾値を上回っている。そのため、長蓄画像から短蓄画像への置き換えが生じることになるが、短蓄画像には、LED点灯状態が映っていないため、消灯状態が発生してしまう。また、図５の例においては、短蓄画像にのみ、LED点灯状態が映っている場合に、長蓄画像の明るさが、閾値を下回っているため、長蓄画像から短蓄画像への置き換えは発生しない。その結果、長蓄画像にはLEDの点灯状態が映っていないため、消灯状態が発生してしまう。

また、図２に示したLEDのフリッカに対しては、点滅光源の消灯期間を上回る露光時間で撮影を行うことで、発光期間の撮り逃しを防ぐ手法がある。例えば、光源の点滅周波数が100Hz、発光Duty比が60%であれば消灯期間4msを露光時間の下限値とし、常にそれ以上の露光時間を確保することで光源の点灯状態を撮影し続けることができる（上述した特許文献２参照）。図６には、点滅光源の消灯期間を上回る露光時間で撮影を行う場合の例を示している。図６の例では、消灯期間4msの場合において、4ms < 露光時間となっている。

しかしながら、車載カメラなどレンズF値を固定で使用しなければならないシステムの場合、晴天時の屋外など照度の高い状況下では、露光時間を光源の消灯期間よりも短くできないため、露光過多となり、被写体の視認性が低下してしまう。そのため、図１に示した画像の白飛びが発生するような輝度差の大きいシーンにおいては、画像のダイナミックレンジを拡大する効果は得られない。

（現状の技術の手法）
図１に示した画像の白飛びと、図２に示したLEDのフリッカを同時に解決するための手法として、異なる露光時間で撮影した複数の撮影画像の加算信号を用いて、ダイナミックレンジの拡大された信号を生成する手法（以下、現状の技術の手法という）がある。

図７及び図８は、現状の技術の手法を説明するための図である。

この現状の技術の手法では、異なる露光時間（T1，T2）で撮影した複数の撮影画像（長蓄画像、短蓄画像）を合成することにより、ダイナミックレンジを拡大すると同時に、複数の撮影画像（長蓄画像、短蓄画像）の加算値を常に用いている。そのため、異なる露光タイミングで露光された複数の撮影画像のうち、いずれかの撮影画像にしか、LEDの点灯状態が記録されていない状況においても、そのLEDの点灯状態を含む撮影画像の画像信号を有効に活用して、LEDの消灯状態の発生を抑制することができる。

具体的には、現状の技術の手法では、次のような処理が行われる。すなわち、現状の技術の手法では、まず、長蓄（P1）と短蓄（P2）とを加算して得られる加算信号Plo（Plo = P1 + P2）の傾きが変化するポイント（ニーポイントKp1）を求める。ニーポイントKp1は、長蓄（P1）が飽和し、加算信号Ploの傾きが変わる信号量であると言える。

ここで、飽和信号量を、FULLSCALEとしたとき、飽和するポイントでは、下記の式（１）及び式（２）が成立する。

P1 = FULLSCALE ・・・（１）
P2 = FULLSCALE × 1 / g1 ・・・（２）

ただし、式（２）において、g1は、露光比（長蓄の露光時間（T1） / 短蓄の露光時間（T2））を表している。

したがって、ニーポイントKp1は、下記の式（３）により求められる。

Kp1 = 飽和するポイントのPlo = P1 + P2 = FULLSCALE × (1 + 1 / g1) ・・・（３）

また、図８においては、ニーポイントKp1を境界にして、第１領域と第２領域の領域ごとに、線形に復元された信号である線形信号（P）が求められる。

ここで、第１領域、すなわち、Plo < Kp1の領域は、非飽和領域であるため、加算信号（Plo）を、そのまま線形信号（P）とすることができる。したがって、Plo < Kp1の領域では、P = Ploとなる。

一方で、第２領域、すなわち、Kp1 ≦ Ploの領域は、飽和領域であるため、飽和して一定の値となっている長蓄（P1）の値を、短蓄（P2）の値から推測する必要がある。Kp1 ≦ Ploの領域では、Kp1からPloの増加分を、ΔPloとした場合、ΔPlo = ΔP2 = (Plo - Kp1) となる。このときのΔP1の値は、ΔP1 = ΔP2 × g1（P2の値の露光比倍）となる。

したがって、Kp1 ≦ Ploの領域のPは、P = Kp1 + (Plo - Kp1) + (Plo - Kp1) × g1 となる。なお、このPの算出式において、右辺の第１項は、第２領域の開始オフセットを表し、右辺の第２項は、短蓄の信号量を表し、右辺の第３項は、短蓄から推測した長蓄の信号量となる。

以上をまとめると、下記の式（４）及び式（５）のように表すことができる。

(i) Plo < Kp1の領域（第１領域）の場合、
P = Plo ・・・（４）

(ii) Kp1 ≦ Ploの領域（第２領域）の場合、
P = Kp1 + (Plo - Kp1) × (1 + g1) ・・・（５）

ここで、上述した特許文献３には、撮影装置から得られる自動車前方の画像の垂直方向のヒストグラムを取得し、そのピーク位置から障害物（対象物）の位置を検出する手法が提案されている。この手法においては、図９に示すように、自動車の前方の撮影画像に対して進行方向に沿った短冊状の領域Ａ１で、画素値のヒストグラムを取得する。

図９のＡにおいては、進行方向に障害物が存在しないため、路面のヒストグラムは、平坦となる。一方で、図９のＢにおいては、自動車の前方に他車が走行しており、進行方向に障害物が存在しているため、平坦な路面のヒストグラムに対し、特定の位置にピークが出現している。そして、このピークの輝度レベルに相当する座標を特定することで、障害物の位置を検出することが可能となる。

しかしながら、上述した現状の技術では、加算信号（Plo = P1 + P2）を、ダイナミックレンジの拡張された線形信号（P）に変換する際に、ニーポイントKp1を境目として、急峻に演算式が変化するため、画像のノイズの分布が非対称になるという特徴がある。そのため、例えば、自動車の進行方向に太陽が存在し、輝度が滑らかに変化しているような路面の状況において、当該路面のヒストグラムを取得すると、ヒストグラムには、擬似的なスパイク（ヒストグラムのスパイク）が発生することになる。

図１０には、ヒストグラムのスパイクの例を示している。図１０においては、輝度変化が滑らかな信号に対し、上述した現状の技術を用いて合成した結果得られるヒストグラムの例を示しているが、図中の枠Ａ２内に示すように、ヒストグラムのスパイクが発生している。

なお、図１０に示したヒストグラムのスパイクの発生位置は、図１１のＣの現状の技術を用いた合成結果の位置に対応している。ただし、図１１のＣの合成結果は、図１１のＡの長蓄（P1）の値と、図１１のＢの短蓄（P2）の値とを合成することで得られる。

すなわち、図１２に示すように、上述した現状の技術を用いた合成を行うと、自動車の前方に、障害物がない場合に、実際には障害物が存在しないにも関わらず、図中の枠Ａ３内に示すように、ヒストグラムに擬似的なスパイク（擬似ピーク）が発生してしまうことがある。また、自動車の前方に、障害物がある場合でも、図中の枠Ａ４内に示す障害物の存在を示すピーク（本ピーク）のほかに、図中の枠Ａ３内に示すように、ヒストグラムに擬似的なスパイク（擬似ピーク）が発生する可能性がある。

そして、現状の技術を用いた合成で、ヒストグラムに擬似的なスパイクが発生してしまうと、ヒストグラムのピーク位置を用いた障害物検出の手法を適用する際に、擬似ピークと、障害物の有無を検出するための本ピークとの区別がつかず、障害物の誤検出が発生してしまう可能性がある。

以上のように、図１に示した画像の白飛びが発生するような輝度差の大きいシーンにおいて、画像のダイナミックレンジを拡大することと、図２に示したLEDのフリッカの対策と、図９に示したヒストグラムのピーク位置を用いた障害物検出に支障を来さない画像を生成することを両立が可能な技術は、まだ確立されていない。本技術では、これらを両立させるために、特に、以下の3つの技術的特徴を有する点をポイントとしている。

（１）ヒストグラムのスパイクを抑制するために、長蓄や短蓄等の異なる露光時間で撮影された複数の画像の信号に対し、異なるクリップ値を設けるようにする。
（２）また、例えば、複数の画像の信号のうち、長蓄画像の信号だけ、クリップ値を下げて、加算信号の傾きが変化するポイントであるニーポイントKpの位置を引き下げた信号を並列に用意し、ヒストグラムのスパイクが発生するニーポイントKpの周辺を避けて信号の乗り換えを行うことで、ニーポイントKpにおける急峻な特性の変化を抑制する。
（３）その際に、動き補正処理をあわせて行うことにより、ニーポイントKpの位置を引き下げることで発生する懸念のある高速点滅被写体の減光を抑制する。

本技術では、このような技術的特徴を有することで、輝度差が非常に大きいシーンにおいて、白飛びや黒潰れを抑制すると同時に、LED信号機等の高速点滅被写体の点灯状態を正しく出力することが可能であり、かつヒストグラムのスパイクを抑制することで、誤検出することなく、正確に障害物を検出することができる。

以下、このような本技術の技術的特徴を、具体的な実施の形態を参照しながら説明する。

＜２．本技術の実施の形態＞

（カメラユニットの構成例）
図１３は、本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。

図１３において、カメラユニット１０は、レンズ１０１、撮像素子１０２、ディレイライン１０３、信号処理部１０４、出力部１０５、及びタイミング制御部１０６から構成される。

レンズ１０１は、被写体からの光を集光し、撮像素子１０２に入射させて結像させる。

撮像素子１０２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子１０２は、レンズ１０１からの入射光を受光し、光電変換を行うことにより、入射光に対応する撮影画像（の画像データ）を撮影する。

すなわち、撮像素子１０２は、タイミング制御部１０６から指定される撮影タイミングで撮影を行う撮影部として機能し、出力部１０５が出力する出力画像のフレームレートの期間に、N回の撮影を行い、そのN回の撮影により得られるN枚の撮影画像を、順次出力する。

ディレイライン１０３は、撮像素子１０２が順次出力するN枚の撮影画像を順次記憶し、そのN枚の撮影画像を、同時に、信号処理部１０４に供給する。

信号処理部１０４は、ディレイライン１０３からのN枚の撮影画像を処理し、１フレーム（枚）の出力画像を生成する。その際、信号処理部１０４は、N枚の撮影画像の同一座標の画素値の加算値を算出した後に線形化を行う処理をN系統持ち、それらの処理結果をブレンドして、出力画像を生成する。

さらに、信号処理部１０４は、出力画像に対して、例えば、ノイズの除去や、WB（ホワイトバランス）の調整等の処理を行い、出力部１０５に供給する。また、信号処理部１０４は、ディレイライン１０３からのN枚の撮影画像の明るさから露光レベルを検出（検波）し、タイミング制御部１０６に供給する。

出力部１０５は、信号処理部１０４からの出力画像（映像データ）を出力する。

タイミング制御部１０６は、撮像素子１０２の撮影タイミングを制御する。すなわち、タイミング制御部１０６は、信号処理部１０４で検出された露光レベルに基づいて、撮像素子１０２の露光時間の調整を行う。その際に、タイミング制御部１０６は、N枚の撮影画像の露光タイミングを可能な限り近接させるようにシャッタ制御を行う。

カメラユニット１０は、以上のように構成される。

（タイミング制御部のシャッタ制御の例）
次に、図１４及び図１５を参照して、図１３のタイミング制御部１０６によるシャッタ制御について説明する。

図１３のカメラユニット１０において、撮像素子１０２は、露光時間の異なるN枚の撮影画像の撮影データを取得する。その際、タイミング制御部１０６は、それらの撮影期間を可能な限り近接させることで実効的な露光時間を伸ばし、LED等の高速点滅被写体の点滅周期をカバーしやすくするための制御を行う。

ここでは、図１４を参照しながら、その具体例として3枚の撮影画像を取得する際の露光タイミングについて説明する。図１４において、T1，T2，T3は、1フレーム以内で3回撮影を行う際のそれぞれの露光タイミングを示している。それぞれの露光における露光時間の比率は、信号のダイナミックレンジを確保するために、例えば、T1：T2：T3 = 4：2：1の比率とすることができる。

この際、タイミング制御部１０６は、T1の露光が完了次第、すぐにT2の露光を開始し、T2の露光が完了次第、すぐにT3の露光を開始するように露光タイミングの制御を行う。すなわち、T1の露光終了とT2の露光開始との間隔、及びT2の露光終了とT3の露光開始との間隔が極小化されている。このような露光タイミング制御を行うことで、高速点滅被写体の点灯期間がT1，T2，T3のいずれかの露光期間とオーバーラップしやすくなり、点灯期間の画像を捕捉できる確率を上げることができる。

また、N枚の撮影画像の撮影期間を近接させることで、次のような効果が得られる。すなわち、図１５のＡと図１５のＢを比較して説明すれば、図１５のＡに示すように、T1，T2，T3の露光タイミングを離して設定する場合には、点灯期間が短い（発光Duty比が小さい）点滅光源の場合に、露光タイミングと発光タイミングがオーバーラップしない可能性がある。

一方で、図１５のＢに示すように、T1，T2，T3の露光タイミングを近接させる場合には、実効的な露光時間が伸びるため、点灯期間が短い点滅光源に対して露光タイミングと発光タイミングがオーバーラップする可能性を向上させることができる。なお、例えば、LED信号機の消灯期間は、典型的には3ms前後が想定されるので、タイミング制御部１０６は、この消灯期間に応じて、T1，T2，T3の露光タイミングを近接させる制御を行うことができる。

（信号処理部の構成例）
図１６は、図１３の信号処理部１０４の構成例を示す図である。

図１６の信号処理部１０４においては、撮像素子１０２で取得されたN枚の撮影画像の画像データを処理し、1フレーム（枚）の出力画像に合成している。その際に、信号処理部１０４は、常にN枚の撮影画像の画像データ間で合成を行い、トータルN-1回の合成処理が行われるようにする。

図１６においては、その最も単純な例として、2枚の撮影画像を、1枚の出力画像に合成する際の信号処理について説明する。

なお、図１６においては、T1，T2は、1フレーム以内で2回撮影を行った際のそれぞれの露光時間に対応する撮影画像を示している。また、図１６において、それぞれの露光における露光時間の比率は、信号のダイナミックレンジを確保するために、例えば、T1：T2 = 16：1の比率であると仮定する。T2の明るさをT1に合わせるための露光比ゲインを、G1と定義すると、G1 = T1の露光時間 / T2の露光時間 = 16[倍]となる。以下、このT1，T2に対応する撮影画像をそれぞれ、画像信号T1，画像信号T2とも記述する。

図１６において、信号処理部１０４は、第１加算処理部１２１、第１線形化処理部１２２、第２加算処理部１２３、第２線形化処理部１２４、合成係数算出部１２５、動き検出部１２６、合成係数変調部１２７、及び合成処理部１２８から構成される。

第１加算処理部１２１は、そこに入力される画像信号T1と画像信号T2とを加算する第１加算処理を行い、加算信号SUM1を生成する。第１加算処理部１２１は、第１加算処理で得られる加算信号SUM1を、第１線形化処理部１２２に供給する。

具体的には、この第１加算処理では、画像信号T1と画像信号T2の値に対し、あらかじめ定められた値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。

ここで、上限クリップ処理では、第１加算処理における、画像信号T1と画像信号T2のクリップ値が設定される。なお、クリップ値（上限クリップ値）は、飽和値（飽和信号量）又は制限値であるとも言える。例えば、画像信号T1のクリップ値を、CLIP_T1_1とし、画像信号T2のクリップ値を、CLIP_T2_1とした場合、第１加算処理では、下記の式（６）が演算され、加算信号SUM1が得られる。

SUM1 = MIN(CLIP_T1_1, T1) + MIN(CLIP_T2_1, T2) ・・・（６）

ただし、式（６）において、MIN(a, b)である関数は、bの上限値（飽和値、制限値）がaであることを意味する。なお、この関数の意味は、後述する式でも同様とされる。

第１線形化処理部１２２は、第１加算処理部１２１からの加算信号SUM1を参照して、第１線形化処理を行い、明るさに対して線形な線形信号LIN1を生成する。第１線形化処理部１２２は、第１線形化処理で得られる線形信号LIN1を、動き検出部１２６及び合成処理部１２８に供給する。

具体的には、この第１線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間とした場合に、ニーポイントKpの位置が、下記の式（７）により求められる。

KP1_1 = CLIP_T1_1 × (1 + 1 / G1) ・・・（７）

そして、第１線形化処理では、加算信号SUM1とニーポイントKp（KP1_1）の領域に応じて、下記の式（８）又は式（９）により、線形信号LIN1が求められる。

(i) SUM1 < KP1_1の領域の場合、
LIN1 = SUM1 ・・・（８）

(ii) KP1_1 ≦ SUM1の領域の場合、
LIN1 = KP1_1 + (SUM1 - KP1_1) × (1 + G1) ・・・（９）

第２加算処理部１２３は、そこに入力される画像信号T1と画像信号T2とを加算する第２加算処理を行い、加算信号SUM2を生成する。第２加算処理部１２３は、第２加算処理で得られる加算信号SUM2を、第２線形化処理部１２４に供給する。

具体的には、この第２加算処理では、画像信号T1と画像信号T2の値に対し、上述の第１の加算処理とは異なる値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。

ここで、上限クリップ処理では、第２加算処理における、画像信号T1と画像信号T2のクリップ値が設定される。例えば、画像信号T1のクリップ値を、CLIP_T1_2とし、画像信号T2のクリップ値を、CLIP_T2_2とした場合、第２加算処理では、下記の式（１０）が演算され、加算信号SUM2が得られる。

SUM2 = MIN(CLIP_T1_2, T1) + MIN(CLIP_T2_2, T2) ・・・（１０）

第２線形化処理部１２４は、第２加算処理部１２３からの加算信号SUM2を参照して、第２線形化処理を行い、明るさに対して線形な線形信号LIN2を生成する。第２線形化処理部１２４は、第２線形化処理で得られる線形信号LIN2を、動き検出部１２６及び合成処理部１２８に供給する。

具体的には、この第２線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間とした場合に、ニーポイントKpの位置が、下記の式（１１）により求められる。

KP1_2 = CLIP_T1_2 × (1 + 1 / G1) ・・・（１１）

そして、第２線形化処理では、加算信号SUM2とニーポイントKp（KP1_2）の領域に応じて、下記の式（１２）又は式（１３）により、線形信号LIN2が求められる。

(i) SUM2 < KP1_2の領域の場合
LIN2 = SUM2 ・・・（１２）

(ii) KP1_2 ≦ SUM2の領域の場合
LIN2 = KP1_2 + (SUM2 - KP1_2) × (1 + G1) ・・・（１３）

合成係数算出部１２５は、画像信号T1を参照して、線形信号LIN1と線形信号LIN2とを合成するための合成係数を算出する。合成係数算出部１２５は、算出した合成係数を、合成係数変調部１２７に供給する。

具体的には、線形信号LIN1に対して、線形信号LIN2の合成（ブレンド）を開始する閾値を、BLD_TH_LOWとし、合成割合（ブレンド率）が1.0となり、線形信号LIN2が100％になる閾値を、BLD_TH_HIGHとすると、合成係数は、下記の式（１４）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

合成係数 = (T1 - BLD_TH_LOW)÷(BLD_TH_HIGH - BLD_TH_LOW) ・・・（１４）

動き検出部１２６は、第１線形化処理部１２２からの線形信号LIN1と、第２線形化処理部１２４からの線形信号LIN2との差分を動き量と定義して、動き判定を行う。その際、動き検出部１２６は、信号のノイズとLED等の高速点滅体の点滅を区別するために、動き量をセンサ特性から想定されるノイズ量と比較して動き係数を算出する。動き検出部１２６は、算出した動き係数を、合成係数変調部１２７に供給する。

具体的には、差分に対して100％動きではないと判定されるレベルの上限値を、MDET_TH_LOWとし、100％動きであると判定されるレベルを、MDET_TH_HIGHとすると、動き係数は、下記の式（１５）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

動き係数 = (ABS(LIN1 - LIN2) - MDET_TH_LOW)÷(MDET_TH_HIGH - MDET_TH_LOW) ・・・（１５）

ただし、式（１５）において、ABS()は、絶対値を返す関数を意味する。なお、この関数の意味は、後述する式でも同様とされる。

合成係数変調部１２７は、合成係数算出部１２５からの合成係数に対して、動き検出部１２６からの動き係数を加味した変調を行い、動き補償後合成係数を算出する。合成係数変調部１２７は、算出した動き補償後合成係数を、合成処理部１２８に供給する。

具体的には、動き補償後合成係数は、下記の式（１６）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

動き補償後合成係数 = 合成係数 - 動き係数 ・・・（１６）

合成処理部１２８は、第１線形化処理部１２２からの線形信号LIN1と、第２線形化処理部１２４からの線形信号LIN2とを、合成係数変調部１２７からの動き補償後合成係数で合成（アルファブレンド）して、その結果得られるHDR(High Dynamic Range)合成後信号としての合成後画像信号を出力する。

具体的には、合成後画像信号は、下記の式（１７）により求められる。

合成後画像信号 = (LIN2 - LIN1) × 動き補償後合成係数 + LIN1 ・・・（１７）

信号処理部１０４は、以上のように構成される。

（2枚合成を行う場合の信号処理）
次に、図１７のフローチャートを参照して、図１６の信号処理部１０４により実行される、2枚合成を行う場合の信号処理の流れを説明する。

ステップＳ１１において、第１加算処理部１２１は、画像信号T1と画像信号T2の値に対し、あらかじめ定められたクリップ値（CLIP_T1_1，CLIP_T2_1）を用い、上限クリップ処理を行う。

ステップＳ１２において、第１加算処理部１２１は、上記の式（６）を演算することで、ステップＳ１１の上限クリップ処理後の画像信号T1と画像信号T2を加算して、加算信号SUM1を生成する。

ステップＳ１３において、第２加算処理部１２３は、画像信号T1と画像信号T2の値に対し、第１加算処理（Ｓ１１，Ｓ１２）とは異なるクリップ値（CLIP_T1_2，CLIP_T2_2）を用い、上限クリップ処理を行う。

ステップＳ１４において、第２加算処理部１２３は、上記の式（１０）を演算することで、ステップＳ１３の処理で得られる上限クリップ処理後の画像信号T1と画像信号T2を加算して、加算信号SUM2を生成する。

なお、T1とT2の露光時間の比率は、例えば、T1：T2 = 16：1の比率とすることができる。したがって、画像信号T1は、長時間露光画像（長蓄画像）である一方で、画像信号T2は、短時間露光画像（短蓄画像）であるとも言える。また、例えば、長蓄画像である画像信号T1に対して設定されるクリップ値としては、第２の加算処理（Ｓ１３，Ｓ１４）で用いられるクリップ値（CLIP_T1_2）を、第１の加算処理（Ｓ１１，Ｓ１２）で用いられるクリップ値（CLIP_T1_1）よりも低くすることができる。

ステップＳ１５において、第１線形化処理部１２２は、上記の式（７）乃至式（９）を演算することで、ステップＳ１２の処理で得られる加算信号SUM1を線形化し、線形信号LIN1を生成する。

ステップＳ１６において、第２線形化処理部１２４は、上記の式（１１）乃至式（１３）を演算することで、ステップＳ１４の処理で得られる加算信号SUM2を線形化し、線形信号LIN2を生成する。

ステップＳ１７において、合成係数算出部１２５は、画像信号T1を参照して、上記の式（１４）を演算することで、合成係数を算出する。

ステップＳ１８において、動き検出部１２６は、ステップＳ１５の処理で得られる線形信号LIN1と、ステップＳ１６の処理で得られる線形信号LIN2で動きを検出して、上記の式（１５）を演算することで、動き係数を算出する。

ステップＳ１９において、合成係数変調部１２７は、上記の式（１６）を演算することで、ステップＳ１７の処理で得られる合成係数から、ステップＳ１８の処理で得られる動き係数を減算し、動き補償後合成係数を算出する。

ステップＳ２０において、合成処理部１２８は、ステップＳ１９の処理で得られる動き補償後合成係数を参照して、上述の式（１７）を演算することで、ステップＳ１５の処理で得られる線形信号LIN1と、ステップＳ１６の処理で得られる線形信号LIN2とを合成し、合成後画像信号を生成する。

なお、線形信号LIN1と線形信号LIN2との合成処理の詳細は、図２４乃至図２７を参照して後述するが、ここでは、動き補償後合成係数に応じた合成を行うことで、ヒストグラムのスパイクが発生するニーポイントKpの周辺を避けて、線形信号LIN1と線形信号LIN2とが合成されることになる。すなわち、ヒストグラムのスパイクの発生位置をずらし、長蓄が飽和するまでに（ヒストグラムのスパイクが発生する前に）、線形信号LIN1側から、異なるニーポイントKpを持つ線形信号LIN2側に、滑らかに乗り換えるようにすることで、ヒストグラムのスパイクを抑制することができる。

ステップＳ２１において、合成処理部１２８は、ステップＳ２０の処理で得られる合成後画像信号を出力する。

以上、2枚合成を行う場合の信号処理の流れを説明した。

（信号処理部の処理結果の例）
次に、図１８乃至図２０を参照して、図１６の信号処理部１０４による信号処理（図１７）の処理結果について説明する。

図１８には、信号処理の処理結果の例を示している。なお、ここでは、図１８のＡに、上述した現状の技術の手法を用いた場合の処理結果を示して、図１８のＢの本技術の手法を用いた場合の処理結果と比較している。

図１８のＡの現状の技術の手法の場合、図中の枠Ａ５内に示すように、長蓄が飽和する境界付近の明るさで、処理が急峻に変化するため、ヒストグラムの擬似的なスパイク（擬似ピーク）が発生してしまっている。その結果として、実際には障害物がないにも関わらず、障害物があると誤検出されることに繋がるのは、先に述べた通りである。

一方で、図１８のＢの本技術の手法の場合、異なるクリップ値を設定して、線形信号LINごとに、ヒストグラムのスパイクの発生位置をずらし、長蓄が飽和するまでに（ヒストグラムのスパイクが発生する前に）、線形信号LIN1側から、異なるニーポイントKpを持つ線形信号LIN2側に、滑らかに乗り換えるようにしている。そのため、図１８のＢでは、擬似的なスパイク（擬似ピーク）が発生しておらず、実際には障害物がないにも関わらず、障害物があると誤検出されることを抑制することができる。

なお、図１９及び図２０には、実際の撮影画像の例を示している。すなわち、図１９と図２０は、現状の技術の手法を用いた場合の信号処理の結果を表している。これらの撮影画像に対する信号処理では、正面に太陽がある逆光シーンで道路に沿った方向のヒストグラムを取得しているが、図２０では、スパイクが撮影画像のどこで発生しているのかがわかるように、ヒストグラム中のスパイクの輝度レベルに相当する画素の位置を強調して表示している（例えば、図中の枠Ａ６内など）。図２０においては、進行方向正面に太陽等の明るい光源がある場合に、円環状にスパイクが発生する領域が存在している。

＜３．本技術の実施の形態の変形例＞

（3枚合成を行う場合の信号処理部の構成例）
図２１は、3枚合成を行う場合の信号処理部１０４の構成例を示す図である。

すなわち、上述した説明では、最も単純な例として、2枚の撮影画像を、1枚の出力画像に合成する際の信号処理について説明したが、図２１においては、3枚の撮影画像を、1枚の出力画像に合成する際の信号処理について説明する。

なお、図２１においては、T1，T2，T3は、1フレーム以内で3回撮影を行った際のそれぞれの露光時間に対応する撮影画像を示している。また、図２１において、それぞれの露光における露光時間の比率は、信号のダイナミックレンジを確保するために、例えば、T1：T2：T3 = 4：2：1の比率であると仮定する。T2の明るさをT1に合わせるための露光比ゲインをG1、T3の明るさをT2に合わせるための露光比ゲインをG2と定義する。上記の例では、G1 = 2，G2 = 2となる。以下、このT1，T2，T3に対応する撮影画像をそれぞれ、画像信号T1，画像信号T2，画像信号T3とも記述する。

図２１において、信号処理部１０４は、第１加算処理部１４１、第１線形化処理部１４２、第２加算処理部１４３、第２線形化処理部１４４、第３加算処理部１４５、第３線形化処理部１４６、第１合成係数算出部１４７、第１動き検出部１４８、第１合成係数変調部１４９、第１合成処理部１５０、第２合成係数算出部１５１、第２動き検出部１５２、第２合成係数変調部１５３、及び第２合成処理部１５４から構成される。

第１加算処理部１４１は、そこに入力される画像信号T1と画像信号T2と画像信号T3とを加算する第１加算処理を行い、加算信号SUM1を生成する。第１加算処理部１４１は、第１加算処理で得られる加算信号SUM1を、第１線形化処理部１４２に供給する。

具体的には、この第１加算処理では、画像信号T1，T2，T3の値に対し、あらかじめ定められた値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。

ここで、上限クリップ処理では、第１加算処理における、画像信号T1，T2，T3のクリップ値が設定される。例えば、画像信号T1のクリップ値を、CLIP_T1_1とし、画像信号T2のクリップ値を、CLIP_T2_1とし、画像信号T3のクリップ値を、CLIP_T3_1とした場合、第１加算処理では、下記の式（１８）が演算され、加算信号SUM1が得られる。

SUM1 = MIN(CLIP_T1_1, T1) + MIN(CLIP_T2_1, T2) + MIN(CLIP_T3_1, T3) ・・・（１８）

第１線形化処理部１４２は、第１加算処理部１４１からの加算信号SUM1を参照して、第１線形化処理を行い、明るさに対して線形な線形信号LIN1を生成する。第１線形化処理部１４２は、第１線形化処理で得られる線形信号LIN1を、第１動き検出部１４８及び第１合成処理部１５０に供給する。

具体的には、この第１線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間、かつ、露光比G2 = T2の露光時間 / T3の露光時間とした場合に、ニーポイントKp（KP1_1，KP2_1）の位置が、下記の式（１９）又は式（２０）により求められる。

KP1_1 = CLIP_T1_1 × (1 + 1 / G1 + 1 / (G1 × G2)) ・・・（１９）
KP2_1 = CLIP_T1_1 + CLIP_T2_1 × (1 + 1 / G2) ・・・（２０）

そして、第１線形化処理では、加算信号SUM1とニーポイントKp（KP1_1，KP2_1）の領域に応じて、下記の式（２１）乃至式（２３）により、線形信号LIN1が求められる。

(i) SUM1 < KP1_1の領域の場合、
LIN1 = SUM1 ・・・（２１）

(ii) KP1_1 ≦ SUM1 < KP2_1の領域の場合、
LIN1 = KP1_1 + (SUM1 - KP1_1) × (1 + G1 × G2 / (1 + G2)) ・・・（２２）

(iii) KP2_1 ≦ SUM1の領域の場合、
LIN1 = KP2_1 + (KP2_1 - KP1_1) × (1 + G1 × G2 / (1 + G2)) + (SUM1 - KP2_1) × (1 + G2 + G1 × G2) ・・・（２３）

第２加算処理部１４３は、そこに入力される画像信号T1と画像信号T2と画像信号T3とを加算する第２加算処理を行い、加算信号SUM2を生成する。第２加算処理部１４３は、第２加算処理で得られる加算信号SUM2を、第２線形化処理部１４４に供給する。

具体的には、この第２加算処理では、画像信号T1，T2，T3の値に対し、あらかじめ定められた値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。

ここで、上限クリップ処理では、第２加算処理における、画像信号T1，T2，T3のクリップ値が設定される。例えば、画像信号T1のクリップ値を、CLIP_T1_2とし、画像信号T2のクリップ値を、CLIP_T2_2とし、画像信号T3のクリップ値を、CLIP_T3_2とした場合、第２加算処理では、下記の式（２４）が演算され、加算信号SUM2が得られる。

SUM2 = MIN(CLIP_T1_2, T1) + MIN(CLIP_T2_2, T2) + MIN(CLIP_T3_2, T3) ・・・（２４）

第２線形化処理部１４４は、第２加算処理部１４３からの加算信号SUM2を参照して、第２線形化処理を行い、明るさに対して線形な線形信号LIN2を生成する。第２線形化処理部１４４は、第２線形化処理で得られる線形信号LIN2を、第１動き検出部１４８、第１合成処理部１５０、及び第２動き検出部１５２に供給する。

具体的には、この第２線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間、かつ、露光比G2 = T2の露光時間 / T3の露光時間とした場合に、ニーポイントKp（KP1_2，KP2_2）の位置が、下記の式（２５）又は式（２６）により求められる。

KP1_2 = CLIP_T1_2 × (1 + 1 / G1 + 1 / (G1 × G2)） ・・・（２５）
KP2_2 = CLIP_T1_2 + CLIP_T2_2 × (1 + 1 / G2) ・・・（２６）

そして、第２線形化処理では、加算信号SUM2とニーポイントKp（KP1_2，KP2_2）の領域に応じて、下記の式（２７）乃至式（２９）により、線形信号LIN2が求められる。

(i) SUM2 < KP1_2の場合、
LIN2 = SUM2 ・・・（２７）

(ii) KP1_2 ≦ SUM2 < KP2_2の領域の場合、
LIN2 = KP1_2 + (SUM2 - KP1_2) × (1 + G1 × G2 / (1 + G2)) ・・・（２８）

(iii) KP2_2 ≦ SUM2の領域の場合、
LIN2 = KP2_2 + (KP2_2 - KP1_2 ) × (1 + G1 × G2 / (1 + G2)) + (SUM2 - KP2_2) × (1 + G2 + G1 × G2) ・・・（２９）

第３加算処理部１４５は、そこに入力される画像信号T1と画像信号T2と画像信号T3とを加算する第３加算処理を行い、加算信号SUM3を生成する。第３加算処理部１４５は、第３加算処理で得られる加算信号SUM3を、第３線形化処理部１４６に供給する。

具体的には、この第３加算処理では、画像信号T1，T2，T3の値に対し、あらかじめ定められた値を用いて上限クリップ処理を行った後で、その結果得られる信号の加算が行われる。

ここで、上限クリップ処理では、第３加算処理における、画像信号T1，T2，T3のクリップ値が設定される。例えば、画像信号T1のクリップ値を、CLIP_T1_3とし、画像信号T2のクリップ値を、CLIP_T2_3とし、画像信号T3のクリップ値を、CLIP_T3_3とした場合、第３加算処理では、下記の式（３０）が演算され、加算信号SUM3が得られる。

SUM3 = MIN(CLIP_T1_3, T1) + MIN(CLIP_T2_3, T2) + MIN(CLIP_T3_3, T3) ・・・（３０）

第３線形化処理部１４６は、第３加算処理部１４５からの加算信号SUM3を参照して、第３線形化処理を行い、明るさに対して線形な線形信号LIN3を生成する。第３線形化処理部１４６は、第３線形化処理で得られる線形信号LIN3を、第２動き検出部１５２、及び第２合成処理部１５４に供給する。

具体的には、この第３線形化処理では、露光比G1 = T1の露光時間 / T2の露光時間、かつ、露光比G2 = T2の露光時間 / T3の露光時間とした場合に、ニーポイントKp（KP1_3，KP2_3）の位置が、下記の式（３１）又は式（３２）により求められる。

KP1_3 = CLIP_T1_3 × (1 + 1 / G1 + 1 / (G1 × G2)） ・・・（３１）
KP2_3 = CLIP_T1_3 + CLIP_T2_3 × (1 + 1 / G2) ・・・（３２）

そして、第３線形化処理では、加算信号SUM3とニーポイントKp（KP1_3，KP2_3）の領域に応じて、下記の式（３３）乃至式（３５）により、線形信号LIN3が求められる。

(i) SUM3 < KP1_3の領域の場合、
LIN3 = SUM3 ・・・（３３）

(ii) KP1_3 ≦ SUM3 < KP2_3の領域の場合、
LIN3 = KP1_3 + (SUM3 - KP1_3) × (1 + G1 × G2 / (1 + G2)) ・・・（３４）

(iii) KP2_3 ≦ SUM3の領域の場合、
LIN3 = KP2_3 + (KP2_3 - KP1_3) × (1 + G1 × G2 / (1 + G2)) + (SUM3 - KP2_3) × (1 + G2 + G1 × G2) ・・・（３５）

第１合成係数算出部１４７は、画像信号T1を参照して、線形信号LIN1と線形信号LIN2とを合成するための第１合成係数を算出する。第１合成係数算出部１４７は、算出した第１合成係数を、第１合成係数変調部１４９に供給する。

具体的には、線形信号LIN1に対して、線形信号LIN2の合成（ブレンド）を開始する閾値を、BLD_TH_L_LOWとし、合成割合（ブレンド率）が1.0となり、線形信号LIN2が100％になる閾値を、BLD_TH_L_HIGHとすると、第１合成係数は、下記の式（３６）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

第１合成係数 = (T1 - BLD_TH_L_LOW) ÷ (BLD_TH_L_HIGH - BLD_TH_L_LOW) ・・・（３６）

第１動き検出部１４８は、第１線形化処理部１４２からの線形信号LIN1と、第２線形化処理部１４４からの線形信号LIN2との差分を動き量と定義して、動き判定を行う。その際、第１動き検出部１４８は、信号のノイズとLED等の高速点滅体の点滅を区別するために、動き量をセンサ特性から想定されるノイズ量と比較して第１動き係数を算出する。第１動き検出部１４８は、算出した第１動き係数を、第１合成係数変調部１４９に供給する。

具体的には、差分に対して100％動きではないと判定されるレベルの上限値を、MDET_TH_LOWとし、100％動きであると判定されるレベルを、MDET_TH_HIGHとすると、第１動き係数は、下記の式（３７）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

第１動き係数 = (ABS(LIN1 - LIN2) - MDET_TH_LOW) ÷ (MDET_TH_HIGH - MDET_TH_LOW) ・・・（３７）

第１合成係数変調部１４９は、第１合成係数算出部１４７からの第１合成係数に対して、第１動き検出部１４８からの第１動き係数を加味した変調を行い、第１動き補償後合成係数を算出する。第１合成係数変調部１４９は、算出した第１動き補償後合成係数を、第１合成処理部１５０に供給する。

具体的には、第１動き補償後合成係数は、下記の式（３８）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

第１動き補償後合成係数 = 第１合成係数 - 第１動き係数 ・・・（３８）

第１合成処理部１５０は、第１線形化処理部１４２からの線形信号LIN1と、第２線形化処理部１４４からの線形信号LIN2とを、第１合成係数変調部１４９からの第１動き補償後合成係数で合成（アルファブレンド）する。第１合成処理部１５０は、合成の結果得られる合成信号BLD1を、第２合成処理部１５４に供給する。

具体的には、合成信号BLD1は、下記の式（３９）により求められる。

合成信号BLD1 = (LIN2 - LIN1) × 第１動き補償後合成係数 + LIN1 ・・・（３９）

第２合成係数算出部１５１は、画像信号T2を参照して、合成信号BLD1と線形信号LIN3とを合成するための第２合成係数を算出する。第２合成係数算出部１５１は、算出した第２合成係数を、第２合成係数変調部１５３に供給する。

具体的には、合成信号BLD1に対して、線形信号LIN3の合成（ブレンド）を開始する閾値を、BLD_TH_H_LOWとし、合成割合（ブレンド率）が1.0となり、線形信号LIN3が100％になる閾値を、BLD_TH_H_HIGHとすると、第２合成係数は、下記の式（４０）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

第２合成係数 = (T2 - BLD_TH_H_LOW) ÷ (BLD_TH_H_HIGH - BLD_TH_H_LOW) ・・・（４０）

第２動き検出部１５２は、第２線形化処理部１４４からの線形信号LIN2と、第３線形化処理部１４６からの線形信号LIN3との差分を動き量と定義して、動き判定を行う。その際、第２動き検出部１５２は、信号のノイズとLED等の高速点滅体の点滅を区別するために、動き量をセンサ特性から想定されるノイズ量と比較して第２動き係数を算出する。第２動き検出部１５２は、算出した第２動き係数を、第２合成係数変調部１５３に供給する。

具体的には、差分に対して100％動きではないと判定されるレベルの上限値を、MDET_TH_LOWとし、100％動きであると判定されるレベルを、MDET_TH_HIGHとすると、第２動き係数は、下記の式（４１）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

第２動き係数 = {ABS(LIN2 - LIN3) ÷ 正規化ゲイン - MDET_TH_LOW} ÷ (MDET_TH_HIGH - MDET_TH_LOW) ・・・（４１）

ただし、式（４１）の正規化ゲインは、下記の式（４２）により求められる。

正規化ゲイン = 1 + {G1 × G2 ÷ (1 + G2)} ・・・（４２）

第２合成係数変調部１５３は、第２合成係数算出部１５１からの第２合成係数に対して、第２動き検出部１５２からの第２動き係数を加味した変調を行い、第２動き補償後合成係数を算出する。第２合成係数変調部１５３は、算出した第２動き補償後合成係数を、第２合成処理部１５４に供給する。

具体的には、第２動き補償後合成係数は、下記の式（４３）により求められる。ただし、ここでは、0 ～ 1.0の範囲で、信号をクリップすることになる。

第２動き補償後合成係数 = 第２合成係数 - 第２動き係数 ・・・（４３）

第２合成処理部１５４は、第１合成処理部１５０からの合成信号BLD1と、第３線形化処理部１４６からの線形信号LIN3とを、第２合成係数変調部１５３からの第２動き補償後合成係数で合成（アルファブレンド）して、その結果得られるHDR合成後信号としての合成後画像信号を出力する。

具体的には、合成後画像信号は、下記の式（４４）により求められる。

合成後画像信号 = (LIN3 - BLD1) × 第２動き補償後合成係数 + BLD1 ・・・（４４）

図２１の信号処理部１０４は、以上のように構成される。

（3枚合成を行う場合の信号処理）
次に、図２２及び図２３のフローチャートを参照して、図２１の信号処理部１０４により実行される、3枚合成を行う場合の信号処理の流れを説明する。

ステップＳ５１において、第１加算処理部１４１は、画像信号T1と画像信号T2と画像信号T3の値に対し、あらかじめ定められたクリップ値（CLIP_T1_1，CLIP_T2_1，CLIP_T3_1）を用い、上限クリップ処理を行う。

ステップＳ５２において、第１加算処理部１４１は、上記の式（１８）を演算することで、ステップＳ５１の処理で得られる上限クリップ処理後の画像信号T1と画像信号T2と画像信号T3を加算して、加算信号SUM1を生成する。

ステップＳ５３において、第２加算処理部１４３は、少なくとも画像信号T1の値に対し、第１加算処理（Ｓ５１，Ｓ５２）とは異なるクリップ値（CLIP_T1_2，CLIP_T2_2，CLIP_T3_2）を用い、上限クリップ処理を行う。

ステップＳ５４において、第２加算処理部１４３は、上記の式（２４）を演算することで、ステップＳ５３の処理で得られる上限クリップ処理後の画像信号T1と画像信号T2と画像信号T3を加算して、加算信号SUM2を生成する。

ステップＳ５５において、第３加算処理部１４５は、少なくとも画像信号T2の値に対し、第２加算処理（Ｓ５３，Ｓ５４）とは異なるクリップ値（CLIP_T1_3，CLIP_T2_3，CLIP_T3_3）を用い、上限クリップ処理を行う。

ステップＳ５６において、第３加算処理部１４５は、上記の式（３０）を演算することで、ステップＳ５５の処理で得られる上限クリップ処理後の画像信号T1と画像信号T2と画像信号T3を加算して、加算信号SUM3を生成する。

なお、T1とT2とT3の露光時間の比率は、例えば、T1：T2：T3 = 4：2：1の比率とすることができる。したがって、画像信号T1は、長時間露光画像（長蓄画像）であり、画像信号T2は、中間時間露光画像（中蓄画像）であり、画像信号T3は、短時間露光画像（短蓄画像）であるとも言える。

また、例えば、長蓄画像である画像信号T1に対して設定されるクリップ値としては、第２の加算処理（Ｓ５３，Ｓ５４）で用いられるクリップ値（CLIP_T1_2）を、第１の加算処理（Ｓ５１，Ｓ５２）で用いられるクリップ値（CLIP_T1_1）よりも低くすることができる。また、例えば、中蓄画像である画像信号T2に対して設定されるクリップ値としては、第３の加算処理（Ｓ５５，Ｓ５６）で用いられるクリップ値（CLIP_T2_3）を、第２の加算処理（Ｓ５３，Ｓ５４）で用いられるクリップ値（CLIP_T2_2）よりも低くすることができる。

ステップＳ５７において、第１線形化処理部１４２は、上記の式（１９）乃至式（２３）を演算することで、ステップＳ５２の処理で得られる加算信号SUM1を線形化し、線形信号LIN1を生成する。

ステップＳ５８において、第２線形化処理部１４４は、上記の式（２５）乃至式（２９）を演算することで、ステップＳ５４の処理で得られる加算信号SUM2を線形化し、線形信号LIN2を生成する。

ステップＳ５９において、第３線形化処理部１４６は、上記の式（３１）乃至式（３５）を演算することで、ステップＳ５６の処理で得られる加算信号SUM3を線形化し、線形信号LIN3を生成する。

ステップＳ６０において、第１合成係数算出部１４７は、画像信号T1を参照して、上記の式（３６）を演算することで、第１合成係数を算出する。

ステップＳ６１において、第１動き検出部１４８は、ステップＳ５７の処理で得られる線形信号LIN1と、ステップＳ５８の処理で得られる線形信号LIN2で動きを検出して、上記の式（３７）を演算することで、第１動き係数を算出する。

ステップＳ６２において、第１合成係数変調部１４９は、上記の式（３８）を演算することで、ステップＳ６０の処理で得られる第１合成係数から、ステップＳ６１の処理で得られる第１動き係数を減算し、第１動き補償後合成係数を算出する。

ステップＳ６３において、第１合成処理部１５０は、ステップＳ６２の処理で得られる第１動き補償後合成係数を参照して、上記の式（３９）を演算することで、ステップＳ５７の処理で得られる線形信号LIN1と、ステップＳ５８の処理で得られる線形信号LIN2とを合成し、合成信号BLD1を生成する。

なお、線形信号LIN1と線形信号LIN2との合成処理の詳細は、図２４乃至図２７を参照して後述するが、ここでは、第１動き補償後合成係数に応じた合成を行うことで、ヒストグラムのスパイクが発生するニーポイントKpの周辺を避けて、線形信号LIN1と線形信号LIN2とが合成されることになる。

ステップＳ６４において、第２合成係数算出部１５１は、画像信号T2を参照して、上記の式（４０）を演算することで、第２合成係数を算出する。

ステップＳ６５において、第２動き検出部１５２は、ステップＳ５８の処理で得られる線形信号LIN2と、ステップＳ５９の処理で得られる線形信号LIN3で動きを検出して、上記の式（４１）及び式（４２）を演算することで、第２動き係数を算出する。

ステップＳ６６において、第２合成係数変調部１５３は、上記の式（４３）を演算することで、ステップＳ６４の処理で得られる第２合成係数から、ステップＳ６５の処理で得られる第２動き係数を減算し、第２動き補償後合成係数を算出する。

ステップＳ６７において、第２合成処理部１５４は、ステップＳ６６の処理で得られる第２動き補償後合成係数を参照して、上記の式（４４）を演算することで、ステップＳ６３の処理で得られる合成信号BLD1と、ステップＳ５９の処理で得られる線形信号LIN3とを合成し、合成後画像信号を生成する。

なお、線形信号LIN1と線形信号LIN2との合成処理の詳細は、図２４乃至図２７を参照して後述するが、ここでは、第２動き補償後合成係数に応じた合成を行うことで、ヒストグラムのスパイクが発生するニーポイントKpの周辺を避けて、合成信号BLD1と線形信号LIN3とが合成されることになる。

ステップＳ６８において、第２合成処理部１５４は、ステップＳ６７の処理で得られる合成後画像信号を出力する。

以上、3枚合成を行う場合の信号処理の流れを説明した。

＜４．本技術の信号処理の詳細な内容＞

次に、図２４乃至図２７を参照して、信号処理部１０４により行われる信号処理の詳細な内容について説明する。なお、ここでは、図２１の信号処理部１０４により実行される、3枚合成を行う場合の信号処理を一例に説明する。

（第１加算処理と第１線形化処理）
図２４は、第１加算処理部１４１による第１加算処理と、第１線形化処理部１４２による第１線形化処理の詳細を説明する図である。

第１加算処理では、あらかじめ定められたクリップ値を用いたクリップ処理が行われ、画像信号T1，T2，T3に対して、クリップ値CLIP_T1_1，CLIP_T2_1，CLIP_T3_1がそれぞれ設定される。図２４においては、画像信号T1のクリップ値が、CLIP_T1_1となる。また、画像信号T2のクリップ値が、CLIP_T2_1となり、画像信号T3のクリップ値が、CLIP_T3_1となる。

そして、第１加算処理では、上記の式（１８）により、長蓄、中蓄、及び短蓄のそれぞれの画像信号T1，T2，T3を、独立なクリップ値（CLIP_T1_1，CLIP_T2_1，CLIP_T3_1）でクリップした後に加算することで、加算信号SUM1が得られる。

次に、第１線形化処理では、加算信号SUM1の傾きが変化する点として、ニーポイントKp（図２４のKP1_1，KP2_1）の位置が、上記の式（１９）及び式（２０）により求められる。そして、第１線形化処理では、第１領域乃至第３領域の領域ごとに、加算信号SUM1の値を参照して、明るさに対して線形な信号（線形に復元された信号）である線形信号LIN1を生成する。

具体的には、図２４に示すように、画像信号T1（長蓄）が飽和するレベル以下となる第１領域（SUM1 < KP1_1）は、画像信号T1（長蓄）、画像信号T2（中蓄）、及び画像信号T3（短蓄）ともに信号量が光量に対して線形に変化する領域である。

そのため、第１線形化処理では、線形信号LIN1として、加算信号SUM1を使用する。すなわち、この第１領域では、上記の式（２１）により、線形信号LIN1が求められる。

また、図２４に示すように、画像信号T2（中蓄）が飽和するレベル以下となる第２領域（KP1_1 ≦ SUM1 < KP2_1）は、画像信号T1（長蓄）がクリップされ、光量が変化しても信号量は変化しないが、画像信号T2（中蓄）と画像信号T3（短蓄）は、信号量が光量に対して線形に変化する領域である。

そのため、第１線形化処理では、画像信号T2（中蓄）と画像信号T3（短蓄）の値から推測した画像信号T1（長蓄）の値を加算した値を、線形信号LIN1として使用する。すなわち、この第２領域では、上記の式（２２）により、線形信号LIN1が求められる。

さらに、図２４に示すように、画像信号T2（中蓄）が飽和するレベルを超える第３領域（KP2_1 ≦ SUM1）は、画像信号T1（長蓄）、画像信号T2（中蓄）ともにクリップされ、光量が変化しても信号量が変化しないが、画像信号T3（短蓄）は、信号量が光量に対して線形に変化する領域である。

そのため、第１線形化処理では、画像信号T3（短蓄）の値から推測した画像信号T1（長蓄）と画像信号T2（中蓄）の値を加算した値を、線形信号LIN1として使用する。すなわち、この第３領域では、上記の式（２３）により、線形信号LIN1が求められる。

以上のようにして、第１線形化処理では、第１加算処理で得られる加算信号SUM1を参照して、明るさに対して線形な信号である線形信号LIN1が生成される。

（第２加算処理と第２線形化処理）
図２５は、第２加算処理部１４３による第２加算処理と、第２線形化処理部１４４による第２線形化処理の詳細を説明する図である。

第２加算処理では、あらかじめ定められたクリップ値を用いたクリップ処理が行われ、画像信号T1，T2，T3に対して、クリップ値CLIP_T1_2，CLIP_T2_2，CLIP_T3_2がそれぞれ設定される。図２５においては、画像信号T1のクリップ値が、CLIP_T1_2となる。また、画像信号T2のクリップ値が、CLIP_T2_2となり、画像信号T3のクリップ値が、CLIP_T3_2となる。

なお、図２５において、各画像信号に設定されるクリップ値は、上述した図２４のクリップ値と比べて、画像信号T2，T3に対するクリップ値CLIP_T2_2，CLIP_T3_2と、クリップ値CLIP_T2_1，CLIP_T3_1は、同一の値となるが、クリップ値CLIP_T1_2とクリップ値CLIP_T1_1の値は異なっている。

すなわち、第２の加算処理（図２５）を、第１の加算処理（図２４）と比べれば、画像信号T1（長蓄）に対するクリップ値として、クリップ値CLIP_T1_1よりも低い値となるクリップ値CLIP_T1_2を設定している。一方で、第１の加算処理と第２の加算処理において、画像信号T2（中蓄）と画像信号T3（短蓄）のクリップ値には、同一の値を設定している。

そして、第２加算処理では、上記の式（２４）により、長蓄、中蓄、及び短蓄のそれぞれの画像信号T1，T2，T3を、独立なクリップ値（CLIP_T1_2，CLIP_T2_2，CLIP_T3_2）でクリップした後に加算することで、加算信号SUM2が得られる。

次に、第２線形化処理では、加算信号SUM2の傾きが変化する点として、ニーポイントKp（図２５のKP1_2，KP2_2）の位置が、上記の式（２５）及び式（２６）により求められる。そして、第２線形化処理では、第１領域乃至第３領域の領域ごとに、加算信号SUM2の値を参照して、明るさに対して線形な信号（線形に復元された信号）である線形信号LIN2を生成する。

具体的には、図２５に示すように、画像信号T1（長蓄）が飽和するレベル以下となる第１領域（SUM2 < KP1_2）は、画像信号T1（長蓄）、画像信号T2（中蓄）、及び画像信号T3（短蓄）ともに信号量が光量に対して線形に変化する領域である。

そのため、第２線形化処理では、線形信号LIN2として、加算信号SUM2を使用する。すなわち、この第１領域では、上記の式（２７）により、線形信号LIN2が求められる。

また、図２５に示すように、画像信号T2（中蓄）が飽和するレベル以下となる第２領域（KP1_2 ≦ SUM2 < KP2_2）は、画像信号T1（長蓄）がクリップされ、光量が変化しても信号量は変化しないが、画像信号T2（中蓄）と画像信号T3（短蓄）は、信号量が光量に対して線形に変化する領域である。

そのため、第２線形化処理では、画像信号T2（中蓄）と画像信号T3（短蓄）の値から推測した画像信号T1（長蓄）の値を加算した値を、線形信号LIN2として使用する。すなわち、この第２領域では、上記の式（２８）により、線形信号LIN2が求められる。

さらに、図２５に示すように、画像信号T2（中蓄）が飽和するレベルを超える第３領域（KP2_2 ≦ SUM2）は、画像信号T1（長蓄）、画像信号T2（中蓄）ともにクリップされ、光量が変化しても信号量が変化しないが、画像信号T3（短蓄）は、信号量が光量に対して線形に変化する領域である。

そのため、第２線形化処理では、画像信号T3（短蓄）の値から推測した画像信号T1（長蓄）と画像信号T2（中蓄）の値を加算した値を、線形信号LIN2として使用する。すなわち、この第３領域では、上記の式（２９）により、線形信号LIN2が求められる。

以上のようにして、第２線形化処理では、第２加算処理で得られる加算信号SUM2を参照して、明るさに対して線形な信号である線形信号LIN2が生成される。

なお、図示はしていないが、第３加算処理部１４５による第３加算処理においても、第１の加算処理及び第２の加算処理と同様に、上記の式（３０）が演算されることで、加算信号SUM3が得られる。また、第３線形化処理部１４６による第３線形化処理においても、第１の線形化処理及び第２の線形化処理と同様に、上記の式（３１）及び式（３２）により、ニーポイントKp（KP1_3，KP2_3）が求められ、上記の式（３３）乃至式（３５）により、第１領域乃至第３領域の領域ごとに、線形信号LIN3が生成される。

（ヒストグラムスパイクの抑制）
図２６は、本技術によるヒストグラムのスパイクの抑制の詳細を説明する図である。

図２６においては、図中の横軸を明るさとして、線形信号LIN1と、線形信号LIN2と、それらの線形信号（LIN1，LIN2）の合成信号BLD1の変化の様子を表している。

図２６において、ヒストグラムのスパイクが発生する信号の位置は、加算信号SUMを生成する前の信号のクリップ位置（とそこから求まるニーポイントKp）に依存している。そこで、本技術では、第２加算処理において、第１加算処理で用いられるクリップ値とは異なるクリップ値を設定することで、ヒストグラムのスパイクの発生位置をずらした線形信号LIN1と線形信号LIN2が生成されるようにしている。

図２６の例では、図２４に示した線形信号LIN1と、図２５に示した線形信号LIN2とでは、画像信号T1（長蓄）に対して設定されたクリップ値（CLIP_T1_1とCLIP_T1_2）が異なっているため、ヒストグラムのスパイクの発生位置（LIN1の「ＳＰ１」と、LIN2の「ＳＰ２」）がずれている。

そして、本技術では、図２６の点線Ａ１乃至Ａ３の流れで示すように、線形信号LIN1において、ヒストグラムのスパイク（LIN1の「ＳＰ１」）が発生する前に、クリップ値を下げることで、はやめにニーポイントKpを通過した線形信号LIN2側に乗り換えることで（図中の点線Ａ２）、ヒストグラムのスパイクの発生を抑制した合成信号BLD1（ブレンド信号）が生成されるようにしている。

すなわち、図２６においては、画像信号T1（長蓄）だけクリップ値を下げることで、ニーポイントKpの位置を引き下げた信号（線形信号LIN2）を並列に用意して、クリップ値に応じて変化するニーポイントKp（LIN1の「ＳＰ１」と、LIN2の「ＳＰ２」）の周辺を避けるように（周辺と異なる領域で）、線形信号LIN1側（図中の点線Ａ１）から線形信号LIN2側（図中の点線Ａ３）への乗り換えを行うようにしている。

これにより、上述した図１８のＢに示したように、ニーポイントKpにおける急峻な特性の変化が抑制されることになる。その結果として、線形信号LIN1と線形信号LIN2とを合成して得られる合成信号BLD1では、ヒストグラムのスパイクの発生を抑制することが可能となる。

また、図２６には図示していないが、合成信号BLD1と線形信号LIN3との合成の際には、線形信号LIN1と線形信号LIN2との合成時の関係と同様に、ニーポイントKpの周辺を避けるように、合成信号BLD1側から線形信号LIN3側に乗り換えることで、全信号域に渡って、ヒストグラムのスパイクを抑制することが可能となる。

なお、図２６において、合成信号BLD1は、点線Ｂ１乃至Ｂ２の範囲で、線形信号LIN1と線形信号LIN2とを合成して得られる合成信号BLD1における、線形信号LIN2の合成割合が0%から100%（線形信号LIN1の合成割合が100%から0%）になるが、その合成割合は、第１合成係数（第１動き補償後合成係数）により定められる。図２７には、このような合成係数の詳細を示している。

（合成係数の詳細）
図２７は、本技術で用いられる合成係数の詳細を説明する図である。

図２７においては、図中の横軸を明るさとして、線形信号LIN1の画像信号T1（長蓄）の画素値と、線形信号LIN1に対する線形信号LIN2の合成割合（第１合成係数）と、線形信号LIN2の画像信号T1（長蓄）の画素値の変化の様子を表している。

ここで、線形信号LIN1においては、画像信号T1（長蓄）が、クリップ値CLIP_T1_1でクリップされるまでは、ヒストグラムのスパイクは発生しないので、画像信号T1（長蓄）のレベルを見て、線形信号LIN1と線形信号LIN2との合成割合（第１合成係数）を設定する。

また、画像信号T1（長蓄）が、クリップ値CLIP_T1_1となるときには、既に、線形信号LIN1側から線形信号LIN2側に、完全に切り替わっているように（線形信号LIN2の合成割合が100％となるように）、第１合成係数（BLD_TH_L_LOW，BLD_TH_L_HIGH）を設定する。ただし、この合成領域の幅を、どのような値に設定するかは任意である。

一方で、線形信号LIN2側は、線形信号LIN1と線形信号LIN2との合成（ブレンド）が開始されるBLD_TH_L_LOWの領域では、既に、ヒストグラムのスパイクが発生しないという条件を満たしている必要がある。そのため、本技術では、BLD_TH_L_LOWから、その付近の画像信号T2（中蓄）と画像信号T3（短蓄）のノイズ量だけを引き下げた値が、クリップ値CLIP_T1_2に設定されるようにしている。

（動き補償後合成係数の詳細）
次に、本技術で用いられる動き補償後合成係数の詳細について説明する。

上述した図２４乃至図２７の例においては、第２加算処理で用いられる画像信号T1のクリップ値（CLIP_T1_2）として、第１加算処理で用いられるクリップ値（CLIP_T1_1）よりも、低い値を設定しているため、線形信号LIN2では、線形信号LIN1よりも、画像信号T1（長蓄）の信号量が、はやめにクリップされる。

その際に、線形信号LIN2では、減った分の信号量を、画像信号T2（中蓄）と画像信号T3（短蓄）を用いて推測することになるが、画像信号T1（長蓄）にのみ明るく映った動体などは、より高いクリップ値が設定されている線形信号LIN1よりも暗くなってしまう可能性がある。

そこで、本技術では、線形信号LIN1と線形信号LIN2との間で動き判定を行い、動きがある場合には、より安全な（より信頼性の高い）線形信号LIN1側の合成割合を上げるように、第１合成係数の制御（変調）を行う。そして、このようにして得られる第１動き補償後合成係数を用い、線形信号LIN1と線形信号LIN2との合成が行われるようにすることで、例えば、動体などが暗くなることを抑制することが可能となる。

なお、例えば、第１の加算処理で、画像信号T1（長蓄）を使用する一方で、第２加算処理では、画像信号T1（長蓄）の画像信号T1を使用しないモードも想定されるが、このようなモードの場合、より信頼性の高い情報は、線形信号LIN2ではなく、線形信号LIN1の方となる。この場合においても、線形信号LIN1側の合成割合が上がるように、第１合成係数の制御が行われる。

ここでは、例えば、線形信号LIN1と線形信号LIN2とを比較して、その差分が大きければ、線形信号LIN1の方を使用すればよい。すなわち、線形信号LIN1と線形信号LIN2との合成の際には、情報の信頼性の高い方の信号の合成割合が増加されるように、第１合成係数を変調することになる。

なお、ここでは、線形信号LIN1と線形信号LIN2とを合成するための第１合成係数とその第１動き補償後合成係数について述べたが、合成信号BLD1と線形信号LIN3とを合成するための第２合成係数とその第２動き補償後合成係数についても、同様に制御することができる。

＜５．N枚合成の計算式＞

上述した説明では、2枚合成を行う場合と3枚合成を行う場合の信号処理を説明したが、それらの合成の枚数は一例であり、4枚以上の合成を行うこともできる。すなわち、信号処理部１０４に入力されるN枚（N：1以上の整数）の撮影画像に対して、本技術を適用した信号処理を行うことができる。

ここで、信号処理部１０４に、N枚の撮影画像が入力される場合に、感度の高い画像信号から順に、T1，T2，T3，・・・，TNとする。例えば、3枚合成が行われる場合には、画像信号T1が長蓄画像に相当する。また、画像信号T2が中蓄画像に相当し、画像信号T3が短蓄画像に相当することになる。

また、露光時間として、画像信号T1の露光時間をS1とし、画像信号T2の露光時間をS2とし、画像信号T3の露光時間をS3とする。画像信号T4以降についても同様に露光時間を指定すれば、画像信号TNの露光時間は、SNとなる。

また、加算処理前のクリップ値の値として、画像信号T1のクリップ値をCLIP_T1とし、画像信号T2のクリップ値をCLIP_T2とし、画像信号T3のクリップ値をCLIP_T3とする。画像信号T4以降についても同様にクリップ値を指定すれば、画像信号TNのクリップ値は、CLIP_TNとなる。

また、ニーポイントKpとして、画像信号T1が飽和して最初に加算信号SUMの傾きが変わる点を、KP_1とし、次に、画像信号T2が飽和して加算信号SUMの傾きが変わる点を、KP_2とする。画像信号T3以降についても同様に、画像信号T3，・・・，TNが飽和して加算信号SUMの傾きが変わる点を、順次、KP_3，・・・，KP_Nとする。

また、線形化後の線形信号LINとして、SUM < KP_1の領域の線形信号を、LIN_1とし、KP_1 ≦ SUM < KP_2の領域の線形信号を、LIN_2とし、KP_2 ≦ SUM < KP_3の領域の線形信号を、LIN_3とする。それ以降についても同様の関係を有するとすれば、KP_N-1 < SUMの領域の線形信号は、LIN_Nとなる。

このような関係を図示すると、例えば、図２８のように表すことができる。

図２８においては、加算処理が行われる画像信号T1，T2，T3に対し、クリップ値CLIP_T1，CLIP_T2，CLIP_T3がそれぞれ設定されている。ここで、画像信号T1，T2，T3の加算信号SUMであるが、画像信号T1のクリップ値CLIP_T1に応じたニーポイントKP_1でその傾きが変化（図中のＣ１内の最初の変化）し、画像信号T2のクリップ値CLIP_T2に応じたニーポイントKP_2でその傾きがさらに変化（図中のＣ２内の2回目の変化）している。

この場合において、図中のＬで示すように、画像信号T1，T2，T3の加算信号SUMを線形化（Linearization）することになるが、SUM < KP_1の第１領域では、線形信号LIN_1が復元され、KP_1 ≦ SUM < KP_2の第２領域では、線形信号LIN_2が復元され、KP_2 ≦ SUMの第３領域では、線形信号LIN_3が復元される。

なお、図２８においては、説明の簡略化のため、加算処理が行われる画像信号として、3つの画像信号T1，T2，T3、すなわち、3枚合成の場合を示しているが、画像信号T4以降の画像信号についても同様に処理され、ニーポイントKpに応じて、加算信号SUMから線形信号が復元される。

このような関係を有する場合において、加算信号SUMを、線形信号LINに変換する計算式は、下記の式（４５）及び式（４６）のように表すことができる。なお、下記の式（４５）は、加算信号SUMを求める計算式である。

・・・（４５）

例えば、N = 2，すなわち、2枚合成の場合、上記の式（６）や式（１０）に示したように、画像信号T1をクリップ値CLIP_T1によりクリップした信号と、画像信号T2をクリップ値CLIP_T2によりクリップした信号との加算値が、加算信号SUMとされる。

そして、上述したように、線形信号LINとして、KP_m-1 ≦ SUM < KP_mの領域の線形信号LINを、LIN_mと定義すれば、LIN_mは、1 ≦ m < Nに対して、下記の式（４６）のように表すことができる。

・・・（４６）

ただし、式（４６）において、SUMは、上記の式（４５）に相当している。また、式（４６）においては、クリップ値CLIP_T0 = 0とされる。

また、ニーポイントKpの一般解として、KP_mの位置は、1 ≦ m < Nに対して、下記の式（４７）のように表すことができる。

・・・（４７）

ただし、式（４７）においては、ニーポイントKP_0 = 0とされ、クリップ値CLIP_T0 = 0とされる。

以上のように、本技術によれば、トンネルの出口など輝度差が非常に大きいシーンにおいて、明滅の応答速度が高速なLEDの信号機や道路標識などを確実に認識するとともに、正確に、先行車両や歩行者などの障害物を認識することができる。

なお、本技術では、上述したヒストグラムのスパイクの抑制を行う際に、長蓄の信号量が減った分を、中蓄と短蓄から推測するため、長蓄にのみ明るく映った動体などは、単純加算した場合と比べて、暗くなってしまう可能性がある。そこで、本技術では、動き補正処理があわせて行われるようにしている。

また、本技術は、車載カメラや監視カメラなどの撮影装置全般に適用することができる。また、撮影対象としては、LED信号機やLED速度規制標識に限らず、輝度差が非常に大きいものや、点滅するもの（例えば高速に点滅する発光体）などを撮影対象とすることができる。また、本技術は、特に、ヒストグラムを使用して障害物の検出を行う撮影装置において有用な技術である。

＜６．固体撮像装置の構成例＞

図１３に示したカメラユニット１０は、例えば、裏面照射型のCMOSイメージセンサなど、積層型の固体撮像装置として構成することができる。

具体的には、図２９に示すように、画素領域２０１が形成された半導体基板２００Ａと、信号処理回路領域２０２が形成された半導体基板２００Ｂとが積層された構成とすることができる。なお、図２９において、半導体基板２００Ａと半導体基板２００Ｂとは、例えば貫通ビアや金属結合等により電気的に接続される。

図３０には、図２９の画素領域２０１と信号処理回路領域２０２の詳細な構成を示している。図３０において、信号処理回路領域２０２は、カメラ信号処理部２１１や、各種の信号処理を行う信号処理部２１２乃至２１４などから構成される。

ここで、カメラ信号処理部２１１は、上述の信号処理部１０４（図１３）を含んで構成することができる。すなわち、カメラ信号処理部２１１は、図１７や図２２乃至図２３のフローチャートに示した信号処理を行うことができる。なお、カメラ信号処理部２１１には、ディレイライン１０３やタイミング制御部１０６などを含めるようにしてもよい。また、画素領域２０１には、撮像素子１０２の画素アレイ部などが含まれる。

また、図３１に示すように、画素領域２０１が形成された半導体基板２００Ａと、信号処理回路領域２０２が形成された半導体基板２００Ｂとの間に、メモリ領域２０３が形成された半導体基板２００Ｃが積層されるようにしてもよい。

図３２には、図３１の画素領域２０１と、信号処理回路領域２０２と、メモリ領域２０３の詳細な構成を示している。図３２において、信号処理回路領域２０２は、カメラ信号処理部３１１や、各種の信号処理を行う信号処理部３１２乃至３１４などから構成される。また、メモリ領域２０３は、メモリ部３２１乃至３２２などから構成される。

ここで、カメラ信号処理部３１１は、図３０のカメラ信号処理部２１１と同様に、信号処理部１０４（図１３）等を含んで構成される。なお、メモリ領域２０３に、ディレイライン１０３を含めるようにして、当該ディレイライン１０３が、画素領域２０１（撮像素子１０２）からの画像データを順次記憶し、適宜、カメラ信号処理部３１１（信号処理部１０４）に供給するようにしてもよい。

＜７．コンピュータの構成例＞

上述した一連の処理（例えば、図１７や図２２乃至図２３に示した信号処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図３３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。

入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。

以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。

コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータ１０００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

ここで、本明細書において、コンピュータ１０００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。

また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

＜８．応用例＞

本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図３４は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図３４に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図３４では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図３５は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図３５には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図３４に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図３４の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図３４に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、図１３を用いて説明した本実施形態に係るカメラユニット１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、図１３を用いて説明した本実施形態に係るカメラユニット１０は、図３４に示した応用例の統合制御ユニット７６００に適用することができる。例えば、カメラユニット１０の信号処理部１０４及びタイミング制御部１０６は、統合制御ユニット７６００のマイクロコンピュータ７６１０に相当する。例えば、統合制御ユニット７６００が、ヒストグラムのスパイクを抑制するために、長蓄と短蓄とで、異なるクリップ値を設けるようにすることで、トンネルの出口など輝度差が非常に大きいシーンにおいて、明滅の応答速度が高速なLEDの信号機や道路標識などを確実に認識するとともに、正確に、先行車両や歩行者などの障害物を認識することができる。

また、図１３を用いて説明したカメラユニット１０の少なくとも一部の構成要素は、図３４に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、図１３を用いて説明したカメラユニット１０が、図３４に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

なお、本技術は、以下のような構成をとることができる。

（１）
異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、
加算の結果得られる複数の画像の信号を合成する合成部と
を備える信号処理装置。
（２）
加算の結果得られる画像の信号を線形化する線形化部をさらに備え、
前記合成部は、加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成する
前記（１）に記載の信号処理装置。
（３）
前記傾きが変化するときの信号量は、前記飽和信号量に応じて変化する
前記（２）に記載の信号処理装置。
（４）
加算の対象となる複数の画像の信号ごとに、少なくとも１つの画像の信号に対する飽和信号量が異なるように設定される
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記複数の画像の信号のうち、より長い露光時間を有する画像の信号は、前記飽和信号量が異なるように設定される
前記（４）に記載の信号処理装置。
（６）
前記複数の画像の信号のうち、基準の画像の信号に基づいて、線形化の結果得られる複数の画像の信号の合成割合を示す合成係数を算出する合成係数算出部をさらに備え、
前記合成部は、前記合成係数に基づいて、前記複数の画像の信号を合成する
前記（２）乃至（５）のいずれかに記載の信号処理装置。
（７）
前記合成係数算出部は、第１の飽和信号量を用いた加算と線形化の結果得られる第１の画像の信号と、前記第１の飽和信号量よりも低い第２の飽和信号量を用いた加算と線形化の結果得られる第２の画像の信号とを合成する際に、前記第１の飽和信号量が設定された設定画像の信号のレベルに応じて、前記第１の画像の信号と前記第２の画像の信号とを合成するための前記合成係数を算出する
前記（６）に記載の信号処理装置。
（８）
前記合成係数算出部は、前記設定画像の信号のレベルが、前記第１の飽和信号量のとなるときまでに、前記第１の画像の信号と前記第２の画像の信号とを合成して得られる合成画像の信号における、前記第２の画像の信号の合成割合が100％になるように、前記合成係数を算出する
前記（７）に記載の信号処理装置。
（９）
前記設定画像の信号のレベルが、前記第１の飽和信号量となるとき、加算の結果得られる画像の信号における前記傾きが変化する
前記（８）に記載の信号処理装置。
（１０）
前記複数の画像の信号間の動き検出結果に基づいて、前記合成係数を変調する合成係数変調部をさらに備え、
前記合成部は、変調の結果得られる動き補償後の合成係数に基づいて、前記複数の画像の信号を合成する
前記（６）に記載の信号処理装置。
（１１）
前記合成係数変調部は、前記複数の画像の信号間で動きが検出された場合、前記複数の画像の信号のうち、情報の信頼性の高い画像の信号の合成割合が増加されるように、前記合成係数を変調する
前記（１０）に記載の信号処理装置。
（１２）
前記合成係数変調部は、第１の飽和信号量を用いた加算と線形化の結果得られる第１の画像の信号と、前記第１の飽和信号量よりも低い第２の飽和信号量を用いた加算と線形化の結果得られる第２の画像の信号との間で動きが検出された場合、前記第１の画像の信号と前記第２の画像の信号とを合成して得られる合成画像の信号における、前記第１の画像の信号の合成割合が増加されるように、前記第１の画像の信号と前記第２の画像の信号とを合成するための前記合成係数を変調する
前記（１１）に記載の信号処理装置。
（１３）
前記複数の画像の露光時間を制御する制御部をさらに備え、
前記複数の画像は、第１の露光時間を有する第１の露光画像と、前記第１の露光時間とは異なる第２の露光時間を有する第２の露光画像とを含み、
前記制御部は、前記第１の露光画像に続いて前記第２の露光画像を撮影するように制御するとともに、前記第１の露光画像の露光終了と前記第２の露光画像の露光開始との間隔を極小化する
前記（１）乃至（１２）のいずれかに記載の信号処理装置。
（１４）
異なる露光時間で撮影された複数の画像を生成する画像生成部と、
前記複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、
加算の結果得られる複数の画像の信号を合成する合成部と
を備える撮影装置。
（１５）
異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算し、
加算の結果得られる複数の画像の信号を合成する
ステップを含む信号処理方法。

１０ カメラユニット， １０１ レンズ， １０２ 撮像素子， １０３ ディレイライン， １０４ 信号処理部， １０５ 出力部， １０６ タイミング制御部， １２１ 第１加算処理部， １２２ 第１線形化処理部， １２３ 第２加算処理部， １２４ 第２線形化処理部， １２５ 合成係数算出部， １２６ 動き検出部， １２７ 合成係数変調部， １２８ 合成処理部， １４１ 第１加算処理部， １４２ 第１線形化処理部， １４３ 第２加算処理部， １４４ 第２線形化処理部， １４５ 第３加算処理部， １４６ 第３線形化処理部， １４７ 第１合成係数算出部， １４８ 第１動き検出部， １４９ 第１合成係数変調部， １５０ 第１合成処理部， １５１ 第２合成係数算出部， １５２ 第２動き検出部， １５３ 第２合成係数変調部， １５４ 第２合成処理部， ２０１ 画素領域， ２０２ 信号処理回路領域， ２０３ メモリ領域， ２１１ カメラ信号処理部， ３１１ カメラ信号処理部， １０００ コンピュータ， １００１ CPU， ７０００ 車両制御システム， ７６００ 統合制御ユニット， ７６１０ マイクロコンピュータ

Claims (14)

1. 異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、
   加算の結果得られる画像の信号を線形化する線形化部と、
   加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成する合成部と
   を備える信号処理装置。
2. 前記傾きが変化するときの信号量は、前記飽和信号量に応じて変化する
   請求項１に記載の信号処理装置。
3. 加算の対象となる複数の画像の信号ごとに、少なくとも１つの画像の信号に対する飽和信号量が異なるように設定される
   請求項１又は２に記載の信号処理装置。
4. 前記複数の画像の信号のうち、より長い露光時間を有する画像の信号は、前記飽和信号量が異なるように設定される
   請求項３に記載の信号処理装置。
5. 前記複数の画像の信号のうち、基準の画像の信号に基づいて、線形化の結果得られる複数の画像の信号の合成割合を示す合成係数を算出する合成係数算出部をさらに備え、
   前記合成部は、前記合成係数に基づいて、前記複数の画像の信号を合成する
   請求項１乃至４のいずれかに記載の信号処理装置。
6. 前記合成係数算出部は、第１の飽和信号量を用いた加算と線形化の結果得られる第１の画像の信号と、前記第１の飽和信号量よりも低い第２の飽和信号量を用いた加算と線形化の結果得られる第２の画像の信号とを合成する際に、前記第１の飽和信号量が設定された設定画像の信号のレベルに応じて、前記第１の画像の信号と前記第２の画像の信号とを合成するための前記合成係数を算出する
   請求項５に記載の信号処理装置。
7. 前記合成係数算出部は、前記設定画像の信号のレベルが、前記第１の飽和信号量のとなるときまでに、前記第１の画像の信号と前記第２の画像の信号とを合成して得られる合成画像の信号における、前記第２の画像の信号の合成割合が100％になるように、前記合成係数を算出する
   請求項６に記載の信号処理装置。
8. 前記設定画像の信号のレベルが、前記第１の飽和信号量となるとき、加算の結果得られる画像の信号における前記傾きが変化する
   請求項７に記載の信号処理装置。
9. 前記複数の画像の信号間の動き検出結果に基づいて、前記合成係数を変調する合成係数変調部をさらに備え、
   前記合成部は、変調の結果得られる動き補償後の合成係数に基づいて、前記複数の画像の信号を合成する
   請求項５に記載の信号処理装置。
10. 前記合成係数変調部は、前記複数の画像の信号間で動きが検出された場合、前記複数の画像の信号のうち、情報の信頼性の高い画像の信号の合成割合が増加されるように、前記合成係数を変調する
    請求項９に記載の信号処理装置。
11. 前記合成係数変調部は、第１の飽和信号量を用いた加算と線形化の結果得られる第１の画像の信号と、前記第１の飽和信号量よりも低い第２の飽和信号量を用いた加算と線形化の結果得られる第２の画像の信号との間で動きが検出された場合、前記第１の画像の信号と前記第２の画像の信号とを合成して得られる合成画像の信号における、前記第１の画像の信号の合成割合が増加されるように、前記第１の画像の信号と前記第２の画像の信号とを合成するための前記合成係数を変調する
    請求項１０に記載の信号処理装置。
12. 前記複数の画像の露光時間を制御する制御部をさらに備え、
    前記複数の画像は、第１の露光時間を有する第１の露光画像と、前記第１の露光時間とは異なる第２の露光時間を有する第２の露光画像とを含み、
    前記制御部は、前記第１の露光画像に続いて前記第２の露光画像を撮影するように制御するとともに、前記第１の露光画像の露光終了と前記第２の露光画像の露光開始との間隔を極小化する
    請求項１乃至１１のいずれかに記載の信号処理装置。
13. 異なる露光時間で撮影された複数の画像を生成する画像生成部と、
    前記複数の画像の信号を、異なる飽和信号量を用いて加算する加算部と、
    加算の結果得られる画像の信号を線形化する線形化部と、
    加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成する合成部と
    を備える撮影装置。
14. 異なる露光時間で撮影された複数の画像の信号を、異なる飽和信号量を用いて加算し、
    加算の結果得られる画像の信号を線形化し、
    加算の結果得られる画像の信号の信号量であって、その信号量の光量に対する傾きが変化するときの信号量の周辺と異なる領域で、線形化の結果得られる複数の画像の信号を合成する
    ステップを含む信号処理方法。

Images