JPWO2016167137A1 - 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム - Google Patents

撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム Download PDF

Info

Publication number
JPWO2016167137A1
JPWO2016167137A1 JP2017512261A JP2017512261A JPWO2016167137A1 JP WO2016167137 A1 JPWO2016167137 A1 JP WO2016167137A1 JP 2017512261 A JP2017512261 A JP 2017512261A JP 2017512261 A JP2017512261 A JP 2017512261A JP WO2016167137 A1 JPWO2016167137 A1 JP WO2016167137A1
Authority
JP
Japan
Prior art keywords
pixel
output image
shooting
value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017512261A
Other languages
English (en)
Other versions
JP6627866B2 (ja
Inventor
小泉　誠
誠 小泉
田中　寛之
寛之 田中
純 大野
純 大野
大典 川又
大典 川又
昌勝 藤本
昌勝 藤本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016167137A1 publication Critical patent/JPWO2016167137A1/ja
Application granted granted Critical
Publication of JP6627866B2 publication Critical patent/JP6627866B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)

Abstract

本技術は、点滅する撮影対象を、確実に撮影することができるようにする撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関する。所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、撮影部の撮影タイミングが制御される。本技術は、例えば、画像を撮影するカメラユニット等に適用することができる。

Description

本技術は、撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関し、特に、例えば、点滅する撮影対象を確実に撮影することができるようにする撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラムに関する。
近年、信号機や、電子的な道路標識の光源が、白熱電球等からLED(Light Emitting Diode)に置き換わりつつある。
LEDは、白熱電球に比較して、明滅の応答速度が高速であるため、例えば、自動車等に搭載される車載カメラ等で、LEDの信号機や道路標識を撮影すると、フリッカが発生し、信号機や道路標識が消灯した状態で撮影される。
車載カメラで撮影される撮影画像において、信号機や道路標識が消灯した状態で映ることは、車載カメラが、例えば、ドライブレコーダとして利用されている場合に、事故発生時において、撮影画像の証拠能力に支障をきたす原因になる。
また、車載カメラで撮影される撮影画像において、信号機や道路標識が消灯した状態で映ることは、車載カメラで撮影される撮影画像が、例えば、自動車の自動運転に利用されている場合に、自動車の停止等の運転制御に支障をきたす原因になる。
そこで、信号機等の、点滅する点滅光源を有する物体を、撮影対象とする場合には、点滅光源が消灯している消灯期間を上回る露光時間で撮影する方法が提案されている（例えば、特許文献１を参照）。
また、車載カメラが撮影を行って出力する出力画像のフレームレートを上回るフレームレートで、出力画像のフレームレートの期間に、複数回の撮影を行い、その複数の撮影により得られる複数の撮影画像の中から１枚の撮影画像を、出力画像として、ランダムに選択する方法が提案されている（例えば、特許文献２を参照）。
特開2007-161189号公報 特開2009-278496号公報
点滅光源が消灯している消灯期間を上回る露光時間で撮影する場合には、晴天時の屋外等の照度の高い撮影状況下において、露光過多になり、点滅光源の視認性が低下することがある。
また、出力画像のフレームレートを上回るフレームレートでの複数の撮影により得られる複数の撮影画像の中から１枚の撮影画像を、出力画像として、ランダムに選択する場合には、消灯している点滅光源が映っている撮影画像が、出力画像として選択されることがある。
本技術は、このような状況に鑑みてなされたものであり、点滅する撮影対象を確実に撮影することができるようにするものである。
本技術の撮影装置、又は、プログラムは、所定の撮影タイミングで撮影を行う撮影部と、前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部とを備える撮影装置、又は、そのような撮影装置が備える制御部として、コンピュータを機能させるためのプログラムである。
本技術の撮影方法は、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することを含む撮影方法である。
以上のような撮影装置、撮影方法、及び、プログラムにおいては、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングが制御される。
本技術の信号処理装置、又は、プログラムは、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部を備える信号処理装置、又は、そのような信号処理装置として、コンピュータを機能させるためのプログラムである。
本技術の信号処理方法は、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成することを含む信号処理方法である。
本技術の信号処理装置、信号処理方法、及び、プログラムは、所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御することで行われる前記N回の撮影により得られるN枚の撮影画像が処理され、１フレームの出力画像が生成される。
なお、撮影装置や信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。
本技術によれば、点滅する撮影対象を確実に撮影することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。 撮影を行おうとする撮影対象が点滅する場合の、その撮影対象の撮影の例を説明する図である。 信号機が消灯している消灯期間を上回る露光時間での通常モードでの撮影を説明する図である。 高速モードでの撮影を説明する図である。 新高速モードでの撮影を説明する図である。 新高速モードにおいて、カメラユニットの立ち上げ時に行われる立ち上げ処理の例を説明するフローチャートである。 新高速モードにおいて、出力画像のフレームごとに行われるフレームごとの処理の例を説明するフローチャートである。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第１の例を説明するフローチャートである。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第２の例を説明するフローチャートである。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 新高速モードの第１の応用例を説明する図である。 新高速モードの第２の応用例を説明する図である。 新高速モードの第２の応用例を説明する図である。 信号処理部４が行う出力画像を生成する生成処理の、フリッカの対策への応用を説明する図である。 偽色が発生した出力画像の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第３の例を説明するフローチャートである。 画素値がなだらかに変化する２枚の撮影画像と、その２枚の撮影画像を用いて生成される出力画像との画素値の例を示す図である。 最大値maxと平均値aveとをブレンドするブレンド率a1の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第４の例を説明するフローチャートである。 生成処理で生成された出力画像の例を示す図である。 出力画像に生じる動きぶれを説明する図である。 出力画像（又は撮影画像）に映る被写体の動き量に対応する値をブレンド率a2として求める場合の、そのブレンド率a2の例を示す図である。 出力画像の注目画素の位置に応じて、平均値aveと、生成用画像の対応画素の画素値とをブレンドする場合の、そのブレンドに用いるブレンド率a2の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第５の例を説明するフローチャートである。 生成処理で生成された出力画像の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第６の例を行う生成装置の構成例を示すブロック図である。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。 日中、及び、夜間の撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像の視認性の評価の例を示す図である。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第７の例を説明するフローチャートである。 N枚の撮影画像から、１枚の出力画像を生成する生成処理の第８の例を説明する図である。 カメラユニットを使用する使用例を示す図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
＜本技術を適用したカメラユニットの一実施の形態＞
図１は、本技術を適用した撮影装置としてのカメラユニットの一実施の形態の構成例を示すブロック図である。
なお、カメラユニットは、静止画、及び、動画のいずれも撮像することができる。
図１において、カメラユニットは、光学系１、イメージセンサ２、メモリ３、信号処理部４、出力部５、及び、タイミング制御部６を有する。
光学系１は、例えば、図示せぬズームレンズや、フォーカスレンズ、絞り等を有し、外部からの光を、イメージセンサ２に入射させて結像させる。
イメージセンサ２は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサであり、光学系１からの入射光を受光し、光電変換を行うことにより、光学系１からの入射光に対応する撮影画像（の画像データ）を撮影する。
すなわち、イメージセンサ２は、タイミング制御部６から指定される撮影タイミングで撮影を行う撮影部として機能し、後述する出力部５が出力する出力画像のフレームレートの期間に、複数であるN回の撮影を行い、そのN回の撮影により得られるN枚の撮影画像を、順次出力する。
メモリ３は、イメージセンサ２が順次出力するN枚の撮影画像を順次記憶し、そのN枚の撮影画像を、同時に、信号処理部４に供給する。
信号処理部４は、メモリ３からのN枚の撮影画像を処理し、１フレーム（枚）の出力画像を生成する。さらに、信号処理部４は、出力画像に対して、例えば、ノイズの除去や、WB（ホワイトバランス）の調整等の処理を行い、出力部５に供給する。
また、信号処理部４は、メモリ３からのN枚の撮影画像の明るさを検出（検波）し、撮影画像の明るさが適正な明るさになる露光時間を、適正露光時間として、タイミング制御部６に供給する。
出力部５は、信号処理部４からの出力画像を出力する。
すなわち、出力部５は、例えば、液晶等で構成されるディスプレイ（図示せず）を有し、信号処理部４からの出力画像を、いわゆるスルー画として表示する。
また、出力部５は、例えば、半導体メモリや、磁気ディスク、光ディスク等の記録媒体を駆動するドライバ（図示せず）を有し、信号処理部４からの出力画像を記録媒体に記録する。
タイミング制御部６は、イメージセンサ２の撮影タイミングを制御する。
すなわち、タイミング制御部６は、イメージセンサ２で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
さらに、タイミング制御部６は、N回の撮影のうちの、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
なお、タイミング制御部６は、信号処理部４から供給される適正露光時間が、後述する下限露光時間SHT_MINより長い場合には、その信号処理部４から供給される適正露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
また、タイミング制御部６は、信号処理部４から供給される適正露光時間が、下限露光時間SHT_MIN以下である場合には、下限露光時間SHT_MINより大きい露光時間の中で、イメージセンサ２が対応することができる最小の露光時間で撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
以上のように構成されるディジタルカメラでは、イメージセンサ２が、タイミング制御部６の制御に従い、N枚の撮影画像を撮影して出力する。
イメージセンサ２が出力するN枚の撮影画像は、メモリ３に供給されて記憶される。信号処理部４は、メモリ３に記憶されたN枚の撮影画像を処理して、１フレームの出力画像を生成する。さらに、信号処理部４は、出力画像に、WBの調整等の必要な信号処理を施し、出力部５に供給する。出力部５では、信号処理部４からの出力画像が出力される。
図１のカメラユニットは、例えば、ディジタルカメラや、自動車等に搭載される車載カメラ、高速道路等に設置される監視カメラ等の撮影機能が搭載される任意の電子機器に適用することができる。
ここで、図１のカメラユニットの撮影モードとしては、例えば、通常モードや、高速モード、新高速モードがある。
通常モードでは、出力画像のフレームレートの期間に、１回の撮影が行われ、その撮影の結果得られる撮影画像が、出力画像として出力される。
高速モードでは、出力画像のフレームレートの期間に、複数回の撮影が行われ、その複数回の撮影の結果得られる複数枚の撮影画像のうちの１枚の撮影画像が、出力画像として、ランダムに選択される。
新高速モードでは、上述のように、イメージセンサ２で撮影を行おうとする撮影対象が点滅する点滅周期を、N等分するタイミングで、少なくとも１回の撮影の露光時間に、撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影が行われる。
＜点滅する撮影対象の撮影の例＞
図２は、撮影を行おうとする撮影対象が点滅する場合の、その撮影対象の撮影の例を説明する図である。
すなわち、図２は、点滅する撮影対象としてのLEDの信号機を、通常モードで撮影することにより得られる出力画像の例を示している。
図２では、青になっている信号機が、撮影対象として撮影されている。
図２において、第１フレーム(Frame1)、及び、第２フレームの出力画像では、青（左端）が点灯している信号機が映っているが、第３フレーム、及び、第４フレームの出力画像では、消灯している状態の信号機が映っている。
以上のように、信号機が消灯した状態で映ることは、カメラユニットが、例えば、ドライブレコーダに利用されている場合に、出力画像の証拠能力に支障をきたす原因になる。
また、信号機が消灯した状態で映ることは、カメラユニットで得られる出力画像が、例えば、自動車の自動運転に利用されている場合に、自動車の停止等の運転制御に支障をきたす原因になる。
＜信号機が消灯している消灯期間を上回る露光時間での、通常モードでの撮影＞
図３は、信号機が消灯している消灯期間を上回る露光時間での、通常モードでの撮影を説明する図である。
図３において、横軸は時間を表し、縦軸は信号機を構成するLEDの発光（量）を表す。
図３では、点滅する撮影対象としての信号機の電源として、例えば、周波数が50Hzの交流電源を全波整流した、周波数が100Hzの電源が用いられている。
そのため、信号機は、100Hzに対応する10ms（ミリ秒）の周期（点滅周期）で点滅する。
図３では、信号機の10msの点滅周期において、信号機が点灯する点灯デューティ(Duty)比が、例えば、60%になっている。
したがって、信号機の10msの点滅周期のうちの、6ms(=100ms×60%/100)の期間が、信号機が点灯する点灯期間であり、残りの4msの期間が、信号機が消灯する消灯期間である。
通常モードにおいて、消灯期間内でのみ撮影が行われると、その撮影により得られる撮影画像、ひいては、出力画像には、図２に示したように、信号機が消灯した状態で映る。
以上のように、通常モードにおいて、信号機が消灯した状態で映ることを防止する方法としては、信号機が消灯している消灯期間を上回る露光時間で撮影する方法がある。
図３では、消灯時間が4msであるので、通常モードにおいて、消灯期間である4msを上回る露光時間で撮影を行うことにより、露光時間の少なくとも一部が、点灯期間に重なるので、必ず、点灯した状態の信号機を撮影することができる。
しかしながら、カメラユニットが、車載カメラ等のように、光学系１のF値を固定して使用される場合には、常時、消灯期間を上回る露光時間で撮影を行うと、晴天時の屋外等の照度の高い撮影状況下において、露光過多になり、点滅光源の視認性が低下することがある。
例えば、あるイメージセンサでは、F値が2.0のレンズを用いた場合に、1msの露光時間で、撮影画像（出力画像）に映る信号機が飽和した状態になる（イメージセンサ２が出力する撮影画像の画素値が、とり得る値の最大レベル（飽和レベル）になる）。
＜高速モードでの撮影＞
図４は、高速モードでの撮影を説明する図である。
図４では、図３と同様に、横軸は時間を表し、縦軸は信号機を構成するLEDの発光を表す。
また、図４では、図３と同様に、点滅する撮影対象としての信号機の電源として、周波数が100Hzの電源が用いられており、点滅周期が、10msになっている。さらに、図４では、図３と同様に、点灯デューティ比が、60%になっており、信号機の10msの点滅周期のうちの、6msの期間が、信号機が点灯する点灯期間に、残りの4msの期間が、信号機が消灯する消灯期間に、それぞれなっている。
図４では、高速モードの撮影として、出力画像のフレームレート（例えば、30Hzや60Hz等）を上回るフレームレートで、出力画像のフレームレートの期間に、複数回としての、例えば、３回の撮影が行われている。
そして、３回の撮影により得られる３枚の撮影画像S0，S1，S2の中から１枚の撮影画像が、出力画像として、ランダムに選択される。
しかしながら、３枚の撮影画像S0ないしS2の中から、１枚の撮影画像を、出力画像として、ランダムに選択する場合には、消灯している信号機が映っている撮影画像が、出力画像として選択されることが、確率的にあり得る。
カメラユニットから出力される出力画像を、高速走行する自動車の自動運転の制御に用いる場合には、出力画像に映る信号機が、必ず点灯していることが要求される。したがって、消灯している信号機が映っている撮影画像が、出力画像として選択されることが、確率的にあり得ることは、望ましくない。
また、高速モードでは、3枚の撮影画像S0ないしS2に映る信号機が、いずれも消灯していることがあり得る。
＜新高速モードでの撮影＞
図５は、新高速モードでの撮影を説明する図である。
図５では、図３と同様に、横軸は時間を表し、縦軸は信号機を構成するLEDの発光を表す。
図５では、全波整流後の電源の周期、ひいては、点滅する撮影対象としての信号機の点滅周期が、Tb[秒]になっている。また、信号機の点灯デューティ比は、Db[%]になっている。
この場合、信号機の点灯期間は、Tb×Db/100で表され、消灯期間は、Tb×(1-Db/100)で表される。
新高速モードでは、図１で説明したように、イメージセンサ２で撮影を行おうとする信号機等の撮影対象が点滅する点滅周期Tbを、N等分するタイミングで、少なくとも１回の撮影の露光時間に、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間で、N回の撮影が行われる。
いま、N回の撮影として、例えば、3回の撮影を行うこととすると、新高速モードでは、点滅周期Tbを3等分するタイミングで、3回の撮影が行われる。
ここで、3回の撮影のうちの、少なくとも１回の撮影の露光時間に、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間を、Tcと表すとともに、信号機の点滅周期Tbの先頭の時刻を0とする。
この場合、3回の撮影により得られる３枚の撮影画像S0，S1，S2の露光（撮影）開始時刻は、それぞれ、0，Tb/3，2Tb/3で、それぞれ表される。
また、３枚の撮影画像S0，S1，S2の露光（撮影）終了時刻は、それぞれ、0+Tc，Tb/3+Tc，2Tb/3+Tcで、それぞれ表される。
ここで、新高速モードにおいて、少なくとも１回の撮影の露光時間Tcが点灯期間Tb×Db/100の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と表すこととすると、下限露光時間SHT_MINは、式SHT_MIN=Tb/N-TbDb/100で表される。
Nが3である場合、下限露光時間SHT_MINは、式SHT_MIN=Tb/3-TbDb/100で表される。
新高速モードの露光時間Tcとしては、下限露光時間SHT_MINを超える時間が採用される。
なお、式SHT_MIN=Tb/N-TbDb/100で求められるSHT_MINが負の値である場合には、下限露光時間SHT_MINとしては、0が採用される。
下限露光時間SHT_MINが0である場合には、新高速モードの露光時間Tcとしては、カメラユニットが露光時間としてとり得る任意の（正の）値を採用することができる。
例えば、点灯時間Tbが10msであり、点灯デューティ比が60%である場合、式SHT_MIN=Tb/3-TbDb/100=10ms/3-10ms×60%/100は、負の値になるので、下限露光時間SHT_MINは、0になる。
したがって、露光時間Tcは、カメラユニットの限界まで小さくすることができる。
また、例えば、点灯時間Tbが10msであり、点灯デューティ比が20%である場合、式SHT_MIN=Tb/3-TbDb/100=10ms/3-10ms×20%/100は、1.33...になる。
したがって、露光時間Tcとしては、下限露光時間SHT_MINである1.33...を超える時間であって、カメラユニットが対応することができる最小の露光時間以上の時間を設定することができる。
新高速モードで撮影されるN枚の撮影画像、すなわち、撮影対象としての信号機が点滅する点滅周期Tbを、N等分するタイミングで、少なくとも１回の撮影の露光時間Tcに、信号機が点灯している点灯期間Tb×Db/100の少なくとも一部が重複する露光時間Tcで、N回の撮影が行われることにより得られるN枚の撮影画像については、少なくとも1枚の撮影画像の露光時間Tcが、点灯期間Tb×Db/100の少なくとも一部に重複する。
したがって、新高速モードで撮影されるN枚の撮影画像のうちの、少なくとも1枚の撮影画像には、点灯している信号機が、必ず映っている。
その結果、新高速モードによれば、点滅する信号機等の撮影対象を確実に撮影することができる。
さらに、新高速モードでは、下限露光時間SHT_MINを超える時間であれば、任意の時間を、露光時間Tcとして設定することができるので、撮影画像に映る被写体が飽和したり、暗すぎるようにならないような適正な露光で、撮影を行うことができる。
ここで、新高速モードにおいて、N枚の撮影を行う場合、点滅周期Tbの先頭の時刻を0とすると、N枚の撮影により得られるN枚の撮影画像の露光開始時刻と、露光終了時刻とは、下限露光時間SHT_MINを超える露光時間を、Tcとして、以下のように表される。
すなわち、撮影画像の露光開始時刻と、露光終了時刻とのセットを、(露光開始時刻，露光終了時刻)と表すこととすると、
n=1枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(0，0+Tc)、
n=2枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(Tb/N，Tb/N+Tc)、
n=3枚目の撮影画像の(露光開始時刻，露光終了時刻)は、(2Tb/N，2Tb/N+Tc)、
...
n=k枚目の撮影画像の(露光開始時刻，露光終了時刻)は、((k-1)×Tb/N，(k-1)×Tb/N+Tc)、
...
n=N枚目の撮影画像の(露光開始時刻，露光終了時刻)は、((N-1)×Tb/N，(N-1)×Tb/N+Tc)
で表される。
＜新高速モードの処理＞
図６は、新高速モードにおいて、カメラユニットの立ち上げ時に行われる立ち上げ処理の例を説明するフローチャートである。
ステップＳ１１において、タイミング制御部６は、カメラユニットで撮影しようとする撮影対象の点滅周期Tb[秒]と、点灯デューティ比Db[%]とを設定し、処理は、ステップＳ１２に進む。
ここで、点滅周期Tbや点灯デューティ比Db[%]は、例えば、デフォルトの値や、ユーザの操作に応じた値等を設定することができる。撮影対象が信号機等である場合には、国や地域等に応じて、点滅周期Tb[秒]と、点灯デューティ比Db[%]とを設定することができる。
ステップＳ１２では、タイミング制御部６は、点灯周期Tbにおいて、N回の等間隔撮影（点滅周期Tbを、N等分するタイミングでのN回の撮影）を行ったときに、少なくとも1回の撮影の露光時間Tcが、撮影対象の点灯期間Tb×Db/100と重複するための下限露光時間SHT_MINを、図５で説明したように求める。
なお、撮影の回数Nは、例えば、あらかじめ設定しておくことや、ユーザの操作に応じて設定すること等ができる。
その後、処理は、ステップＳ１２からステップＳ１３に進み、タイミング制御部６は、新高速モードにおいて、撮影対象の点滅周期TbをN等分するタイミングを、N回の等間隔撮影の開始タイミング（露光開始時刻）SHT_STA0，SHT_STA1，...，SHT_STA#N-1として求め、立ち上げ処理を終了する。
図７は、新高速モードにおいて、出力画像のフレームごとに行われるフレームごとの処理の例を説明するフローチャートである。
ステップＳ２１において、タイミング制御部６は、図６の立ち上げ処理で求められた下限露光時間SHT_MINを超える時間を、指定露光時間Tcとして設定し、イメージセンサ２に、撮影を行う露光時間として、指定露光時間Tcを指定して、処理は、ステップＳ２２に進む。
ステップＳ２２では、タイミング制御部６は、図６の立ち上げ処理で求められた開始タイミングSHT_STA0，SHT_STA1，...，SHT_STA#N-1それぞれを露光開始時刻として、指定露光時間Tcだけ露光を行う、N回の等間隔撮影を行うように、イメージセンサ２の撮影タイミングを制御する。
これにより、ステップＳ２２では、イメージセンサ２において、指定露光時間TcでのN回の等間隔撮影が行われ、その結果得られるN枚の撮影画像が、メモリ３を介して、信号処理部４に供給される。
イメージセンサ２から、メモリ３を介して、信号処理部４に、N枚の撮影画像が供給されると、処理は、ステップＳ２２からステップＳ２３に進む。
ステップＳ２３では、信号処理部４は、メモリ３を介して供給されるN枚の撮影画像の明るさを検出（検波）し、処理は、ステップＳ２４に進む。
ステップＳ２４では、信号処理部４は、ステップＳ２３でのN枚の撮影画像の明るさの検出の結果に基づき、現在の指定露光時間Tcが、適正な露光時間（適正露光時間）であるかどうかを判定する。
ステップＳ２４において、現在の指定露光時間Tcが、適正露光時間であると判定された場合、すなわち、N枚の撮影画像が、全体として、明るすぎることもなく、暗すぎることもない場合、処理は、ステップＳ２５に進む。
ステップＳ２５では、信号処理部４は、指定露光時間Tcとして、現在の露光時間を、タイミング制御部６に供給する。タイミング制御部６は、イメージセンサ２に対し、露光時間として、信号処理部４からの指定露光時間Tcを指定する。
一方、ステップＳ２４において、現在の指定露光時間Tcが、適正露光時間でないと判定された場合、すなわち、N枚の撮影画像が、全体として、明るすぎるか、又は、暗すぎる場合、処理は、ステップＳ２６に進む。
ステップＳ２６では、信号処理部４は、ステップＳ２３でのN枚の撮影画像の明るさの検出の結果に基づき、適正露光時間を求め、タイミング制御部６に供給する。タイミング制御部６は、信号処理部４からの適正露光時間が、下限露光時間SHT_MINを超える時間であれば、その適正露光時間を、指定露光時間Tcとして、イメージセンサ２に指定する。
ここで、信号処理部４からの適正露光時間が、下限露光時間SHT_MINを超えない時間である場合には、タイミング制御部６は、下限露光時間SHT_MINより大きい露光時間の中で、イメージセンサ２が対応することができる最小の露光時間を、指定露光時間Tcとして、イメージセンサ２に指定する。
ステップＳ２５又はＳ２６の処理後は、ステップＳ２２に戻り、ステップＳ２２では、ステップＳ２５又はＳ２６で指定された指定露光時間TcでのN回の等間隔撮影が行われ、以下、同様の処理が繰り返される。
＜出力画像の生成処理＞
図８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第１の例を説明するフローチャートである。
信号処理部４は、N回の撮影で得られるN枚の撮影画像を処理し、１枚の出力画像を生成する生成処理を行う。
図８は、信号処理部４が行う生成処理の第１の例を示している。
生成処理の第１の例では、ステップＳ４１において、信号処理部４は、（これから生成しようとする）出力画像の、例えば、ラスタスキャン順で、まだ、注目画素に選択していない、順番が最も手前の１つの画素を、注目画素に選択し、処理は、ステップＳ４２に進む。
ステップＳ４２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素（注目画素と同一位置にある画素）の画素値のうちの最大値maxを、注目画素の画素値として求め、処理は、ステップＳ４３に進む。
ステップＳ４３では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
ステップＳ４３において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ４１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ４３において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
N枚の撮影画像の対応画素のうちの、画素値が最大値maxの対応画素には、点灯している撮影対象が映っており、上述のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値として求める場合には、点灯している撮影対象が映っている出力画像を生成することができる。
なお、図８のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値として求める場合には、出力画像において、撮影画像にフリッカとして現れる、短周期の輝度の揺れを低減することができる。
図９は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第２の例を説明するフローチャートである。
生成処理の第２の例では、ステップＳ５１において、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ５２に進む。
ステップＳ５２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値の平均値aveを、注目画素の画素値として求め、処理は、ステップＳ５３に進む。ここで、N枚の撮影画像の対応画素の画素値の平均値aveとしては、対応画素の画素値の単純平均や、重み付け平均を採用することができる。重み付け平均では、例えば、N枚の撮影画像の対応画素の画素値のうちの最大値maxに、大きな重みを付すことができる。
ステップＳ５３では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
ステップＳ５３において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ５１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ５３において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
新高速モードで撮影されるN枚の撮影画像については、少なくとも、そのうちの１枚の撮影画像に、点灯している撮影対象が映っている。したがって、上述のように、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値として求める場合には、点灯している撮影対象が映っている出力画像を生成することができる。
なお、図９のように、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値として求める場合には、ランダムノイズを低減した出力画像を得ることができる。
＜出力画像の例＞
図１０、図１１、及び、図１２は、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
すなわち、図１０ないし図１２は、異なるフレームの出力画像を示している。
また、図１０ないし図１２のＡは、市販の車載カメラで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像を示している。
図１０ないし図１２のＢは、通常モードで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像を示している。
図１０ないし図１２のＣは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値とした場合の、その出力画像を示している。
図１０ないし図１２のＤは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値とした場合の、その出力画像を示している。
図１０に示したフレームでは、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像のいずれにも、青（左端）が点灯した状態の信号機が映っている。
しかしながら、図１１及び図１２に示したフレームでは、新高速モードで撮影した出力画像に映る信号機は点灯しているが、市販の車載カメラで撮影した出力画像、及び、通常モードで撮影した出力画像に映る信号機は、いずれも、消灯している。
なお、本件発明者によれば、日中に信号機を撮影した場合には、（３枚の撮影画像の対応画素の画素値のうちの）最大値maxを画素値とした出力画像の方が、平均値aveを画素値とした出力画像よりも、信号機の視認性が良いことが確認された。
＜新高速モードの応用例＞
図１３は、新高速モードの第１の応用例を説明する図である。
新高速モードでは、タイミング制御部６は、イメージセンサ２の撮影タイミングを制御することにより、出力画像の各フレームにおいて、撮影対象の点滅周期Tbを、１つの周期に固定し、その１つの点滅周期Tbを対象として、N回の等間隔撮影を行わせることができる。
また、新高速モードでは、タイミング制御部６は、イメージセンサ２の撮影タイミングを制御することにより、出力画像の１又は複数フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行わせることができる。
図１３は、新高速モードにおいて、出力画像の１フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う例を示している。
図１３では、等間隔撮影の回数Nを３回として、出力画像の第１フレームにおいて、点滅周期Tb=1/100秒を、第２フレームにおいて、点滅周期Tb=1/200秒を、第３フレームにおいて、点滅周期Tb=1/400秒を、それぞれ対象として、等間隔撮影が行われている。
そして、出力画像の第４フレーム以降では、点滅周期Tbを、1/100秒、1/200秒、及び、1/400秒とする等間隔撮影が順次繰り返し行われる。
３回の等間隔撮影では、点滅周期Tb=1/100秒の場合には、３枚の撮影画像は、10/3ms（約3.3ms）間隔で撮影される。また、点滅周期Tb=1/200秒の場合には、３枚の撮影画像は、5/3ms（約1.67ms）間隔で撮影され、点滅周期Tb=1/400秒の場合には、３枚の撮影画像は、2.5/3ms（約0.8ms）間隔で撮影される。
以上のように、出力画像の１フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う場合には、異なる点滅周期Tbで点滅する、異なる撮影対象を、点灯した状態で撮影することができる。
図１４及び図１５は、新高速モードの第２の応用例を説明する図である。
図１４は、新高速モードにおいて、点滅周期がTbで点滅する撮影対象を、３回の等間隔撮影で撮影する様子を示している。
図１４では、点滅周期Tbを３等分するタイミングで、３回の撮影が行われ、３枚の撮影画像S0，S1，S2が得られている。
３枚の撮影画像S0ないしS2を撮影するタイミング（撮影の開始タイミング）は、点滅周期Tbによって一意に決まる。
そのため、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う場合には、基本的に、図１３で説明したように、出力画像の１又は複数フレームごとに、異なる点滅周期Tbを対象として、N回の等間隔撮影を行う必要がある。
但し、異なる点滅周期Tbが、特定の関係にある場合には、出力画像の１フレームにおいて、異なる点滅周期Tbを対象とするN回の等間隔撮影を、同時に行うことができる。
図１５は、出力画像の１フレームにおいて、特定の関係にある、異なる点滅周期Tbを対象とするN回の等間隔撮影を、同時に行う様子を示している。
ある撮影対象（第１の撮影対象）の点滅周期Tb_Aが、他の撮影対象（第２の撮影対象）の点滅周期Tb_Bの2のべき乗倍の周期である場合、点滅周期Tb_Aを対象として、N回の等間隔撮影を行うことにより、出力画像の１フレームにおいて、点滅周期Tb_A及びTb_Bの両方を対象とするN回の等間隔撮影を行うことができる。
すなわち、図１５では、３つの異なる点滅周期Tb1，Tb2，Tb3として、500Hzに対応する周期である2ms、250Hzに対応する周期である4ms、125Hzに対応する周期である8msが、それぞれ図示されている。
また、図１５では、等間隔撮影の回数Nを３回として、点滅周期Tb1=2ms(500Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(500)，S1(500)，S2(500)で、それぞれ示されている。
同様に、図１５では、点滅周期Tb2=4ms(250Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(250)，S1(250)，S2(250)で、それぞれ示され、点滅周期Tb3=8ms(125Hz)を対象とする３回の等間隔撮影で得られる３枚の撮影画像が、S0(125)，S1(125)，S2(125)で、それぞれ示されている。
点滅周期Tb3=8msは、点滅周期Tb1=2ms、及び、Tb2=4msいずれに対しても、2のべき乗倍の周期になっている。
この場合、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)のうちのいずれかが撮影されるタイミングは、点滅周期Tb1=2msを対象として、３枚の撮影画像S0(500)，S1(500)，S2(500)のうちのいずれかが撮影されるタイミングと一致する。
すなわち、図１５に示すように、点滅周期Tb3=8msの１周期は、点滅周期Tb1=2msの４周期に対応し、点滅周期Tb3=8msの１周期目の１枚目の撮影画像S0(125)が撮影されるタイミングは、点滅周期Tb1=2msの１周期目の１枚目の撮影画像S0(500)が撮影されるタイミングに一致する。さらに、点滅周期Tb3=8msの１周期目の２枚目の撮影画像S1(125)が撮影されるタイミングは、点滅周期Tb1=2msの２周期目の２枚目の撮影画像S1(500)が撮影されるタイミングに一致する。また、点滅周期Tb3=8msの１周期目の３枚目の撮影画像S2(125)が撮影されるタイミングは、点滅周期Tb1=2msの３周期目の３枚目の撮影画像S2(500)が撮影されるタイミングに一致する。
したがって、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)を撮影する場合には、その３枚の撮影画像S0(125)，S1(125)，S2(125)は、点滅周期Tb1=2msを対象とする３枚の撮影画像S0(500)，S1(500)，S2(500)として、それぞれ使用することができる。
同様に、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)のうちのいずれかが撮影されるタイミングは、点滅周期Tb2=4msを対象として、３枚の撮影画像S0(250)，S1(250)，S2(250)のうちのいずれかが撮影されるタイミングと一致する。
すなわち、図１５に示すように、点滅周期Tb3=8msの１周期は、点滅周期Tb2=4msの２周期に対応し、点滅周期Tb3=8msの１周期目の１枚目の撮影画像S0(125)が撮影されるタイミングは、点滅周期Tb2=4msの１周期目の１枚目の撮影画像S0(250)が撮影されるタイミングに一致する。さらに、点滅周期Tb3=8msの１周期目の２枚目の撮影画像S1(125)が撮影されるタイミングは、点滅周期Tb2=4msの１周期目の３枚目の撮影画像S2(250)が撮影されるタイミングに一致する。また、点滅周期Tb3=8msの１周期目の３枚目の撮影画像S2(125)が撮影されるタイミングは、点滅周期Tb2=4msの２周期目の２枚目の撮影画像S1(250)が撮影されるタイミングに一致する。
したがって、点滅周期Tb3=8msを対象として、３枚の撮影画像S0(125)，S1(125)，S2(125)を撮影する場合には、その３枚の撮影画像S0(125)，S1(125)，S2(125)は、点滅周期Tb2=4msを対象とする３枚の撮影画像S0(250)，S2(250)，S1(250)として、それぞれ使用することができる。
以上から、ある点滅周期Tbを対象とする等間隔撮影を行う場合には、その点滅周期Tbの2M倍（Mは0以上の整数）の点滅周期2M×Tbであって、カメラモジュールが、N回の等間隔撮影を行うことができる最大の点滅周期2M'×Tbを対象に（M'は0以上の整数）、等間隔撮影を行うことにより、20×Tb，21×Tb，22×Tb，...，2M'×Tbの、M'個の点滅周期を対象とする等間隔撮影を、出力画像の１フレームにおいて同時に行うことができる。
＜生成処理の、フリッカの対策への応用＞
図１６は、信号処理部４が行う出力画像を生成する生成処理の、フリッカの対策への応用を説明する図である。
すなわち、図１６は、点滅する撮影対象の発光量、並びに、その撮影対象を、通常モード及び新高速モードで撮影することにより得られる出力画像の輝度の時間変化を模式的に表している。
通常モードでは、出力画像の１フレームの期間に、１枚の撮影画像が撮影され、その撮影画像が出力画像として出力される。したがって、通常モードで得られる出力画像の輝度は、点滅する撮影対象の発光量に従って変化する。この輝度の変化が、フリッカとして観察される。
一方、新高速モードでは、出力画像の１フレームの期間に、N枚の撮影画像が等間隔撮影される。そして、生成処理において、N枚の撮影画像の対応画素の画素値のうちの最大値max、又は、平均値aveが、出力画像の画素値として求められる。
N枚の撮影画像の対応画素の画素値のうちの最大値max、又は、平均値aveを画素値とする出力画像を、それぞれ、最大値maxの出力画像、又は、平均値aveの出力画像ともいうこととすると、最大値maxの出力画像や、平均値aveの出力画像では、図１５に示すように、通常モードで得られる出力画像よりも、輝度の変化が緩やかになる。
すなわち、最大値maxの出力画像や、平均値aveの出力画像では、フリッカ（短周期の輝度の揺れ）が低減される。したがって、信号処理部４が行う出力画像の生成処理は、フリッカの低減に利用することができる。
図１６では、最大値maxの出力画像と、平均値aveの出力画像とを比較した場合、最大値maxの出力画像の方が、フリッカがより低減されることを確認することができる。
なお、新高速モードでは、撮影対象の点滅周期Tbを測定し、その測定した点滅周期Tbを対象として、N回の等間隔撮影を行うことができる。
また、カメラユニットでは、新高速モードで撮影を行うフレームと、通常モードで撮影を行うフレームとを、１フレームや複数フレームごとに入れ替えることができる。この場合、出力画像の視認性を向上させることができる。
さらに、カメラユニットでは、新高速モードと通常モードとの変更をシームレスに行うことができる。新高速モードと通常モードとの変更をシームレスに行う方法としては、例えば、新高速モードにおいて、等間隔撮影を行う回数Nを、徐々に増加又は減少させていく方法がある。
また、新高速モードは、イメージセンサ２を構成する図示せぬ画素のうちの全部に適用することもできるし、一部の画素にだけ適用することもできる。例えば、イメージセンサ２を構成する画素のうちの中央部の画素については、新高速モードを適用し、周辺部の画素については、通常モードを適用することができる。
さらに、新高速モードにおいて、撮影対象としては、LEDの信号機や道路標識、その他の、一定の周波数（周期）で点滅する物体を採用することができる。
＜出力画像の生成処理の他の例＞
図１７は、偽色が発生した出力画像の例を示す図である。
出力画像の生成処理において、平均値aveの出力画像、すなわち、N枚の撮影画像の対応画素の画素値の平均値aveを画素値とする出力画像を生成する場合には、その出力画像に、動体（動く物体）が映っているときに、その動体の動きぶれの部分に、偽色が発生することがある。
すなわち、平均値aveの出力画像の生成に用いられるN枚の撮影画像の対応画素のいずれかが飽和している場合、信号処理部４において、平均値aveの出力画像に、WBの調整のためのWBゲインがかけられると、その平均値aveの出力画像に映る動体の動きぶれの部分に、偽色が発生する。
例えば、いま、撮影画像の画素値としてのR(Red)，G(Green)，B(Blue)の値を(R, G, B)と、WBゲインを(Gr, Gg, Gb)と、WBゲインがかけられた後の画素値を(R', G', B')と、それぞれ表すこととする。
WBゲインがかけられた後の画素値(R', G', B')は、次式で表される。
R'=MIN(MM, R×Gr)
G'=MIN(MM, G×Gg)
B'=MIN(MM, B×Gb)
ここで、MIN(A, B)は、A及びBのうちの小さい方を表す。
撮影画像の画素値(R, G, B)が飽和している場合、すなわち、画素値(R, G, B)が、飽和状態の白としての(MM, MM, MM)である場合（MMは、画素値がとり得る最大値）、その画素値(R, G, B)=(MM, MM, MM)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(MM, MM, MM)のままになる。
一方、撮影画像の画素値(R, G, B)が、黒としての(0, 0, 0)である場合、その画素値(R, G, B)=(0, 0, 0)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(0, 0, 0)のままになる。
したがって、ある撮影画像の対応画素の画素値(R, G, B)が、(MM, MM, MM)であり、他の撮影画像の対応画素の画素値(R, G, B)が、(0, 0, 0)である場合に、出力画像の注目画素の画素値である平均値aveは、(MM/2, MM/2, MM/2)になる。
さらに、出力画像の注目画素の画素値(MM/2, MM/2, MM/2)に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')は、(Gr, Gg, Gb)×MM/2になる。
したがって、例えば、WBゲイン(Gr, Gg, Gb)に、式Gg＜Gr≒Gb（但し、Gg＜2）で表される関係があるとすると、飽和状態の白としての画素値(R, G, B)=(MM, MM, MM)と、黒としての画素値(R, G, B)=(0, 0, 0)との平均値ave(=(MM/2, MM/2, MM/2))に、WBゲイン(Gr, Gg, Gb)をかけて得られる画素値(R', G', B')=(Gr×MM/2,Gg×MM/2,Gb×MM/2)は、撮影画像に存在しない紫になる。
すなわち、平均値aveの出力画像に、紫の偽色が発生する。
図１７は、３枚の撮影画像の対応画素の画素値の平均値aveを画素値とする出力画像の例を示しており、図中、斜線を付してある部分に、紫の偽色が発生している。
すなわち、３枚の撮影画像には、動体として、右から左方向に移動している白い自動車が映っている。さらに、３枚の撮影画像のうちの１枚目の対応画素の画素値(R, G, B)は、黒としての(0, 0, 0)になっているが、２枚目の対応画素の画素値(R, G, B)は、飽和状態の白としての(MM, MM, MM)になっている。
以上のような対応画素の画素値を単純に平均し、その結果得られる平均値aveに、WBゲインをかけると、図１７に斜線を付して示すように、偽色が発生する。
なお、ここでは、画素値が、R，G，Bの３値を有することとしたが、イメージセンサ２が、例えば、ベイヤ配列等のイメージセンサであり、画素値が、R，G，Bのうちのいずれか１色だけのRAWデータである場合も、同様に、偽色が発生する。
飽和状態の対応画素は、WBゲインをかける前の段階で、WBが崩れており、そのようなWBが崩れている飽和状態の対応画素の画素値と、WBが崩れていない（飽和状態ではない）対応画素の画素値との平均をとると、その平均により得られる平均値aveのWBは変化する。
このように、平均値aveのWBが変化することが、偽色が発生する原因である。
以上のような偽色を抑制する方法としては、例えば、生成処理において、対応画素が飽和状態である場合に、その対応画素の画素値を用いた平均値aveに代えて、N枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の（注目画素）の画素値として採用する方法がある。
図１８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第３の例を説明するフローチャートである。
すなわち、図１８は、対応画素が飽和状態でない場合に、平均値aveを、出力画像の画素値として採用し、対応画素が飽和状態である場合に、最大値maxを、出力画像の画素値として採用する生成処理の例を説明するフローチャートである。
生成処理の第３の例では、ステップＳ６１において、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ６２に進む。
ステップＳ６２では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとを求め、処理は、ステップＳ６３に進む。
ステップＳ６３では、信号処理部４は、N枚の撮影画像の対応画素の中に、飽和状態になっている飽和画素があるかどうかを判定する。
ステップＳ６３において、N枚の撮影画像の対応画素の中に、飽和画素がないと判定された場合、すなわち、N枚の撮影画像の対応画素のうちの最大値maxの対応画素が、飽和していない場合、処理は、ステップＳ６４に進む。
ステップＳ６４では、信号処理部４は、ステップＳ６２で求めた平均値aveを、注目画素の画素値として選択し、処理は、ステップＳ６６に進む。
また、ステップＳ６３において、N枚の撮影画像の対応画素の中に、飽和画素があると判定された場合、すなわち、N枚の撮影画像の対応画素のうちの最大値maxの対応画素が、飽和している場合、処理は、ステップＳ６５に進む。
ステップＳ６５では、信号処理部４は、ステップＳ６２で求めた最大値max（飽和画素の画素値）を、注目画素の画素値として選択し、処理は、ステップＳ６６に進む。
ステップＳ６６では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
ステップＳ６６において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ６１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ６６において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
以上のように、N枚の撮影画像の対応画素の画素値のうちの最大値maxが飽和しているとき、その最大値maxを、出力画像の注目画素の画素値として求め、N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、N枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の注目画素の画素値として求めることにより、図１７で説明したような偽色が、出力画像に生じることを抑制することができる。
ところで、図１８の生成処理の第３の例では、撮影画像の対応画素が飽和画素であるかどうかによって、出力画像の画素値として、撮影画像の対応画素の平均値ave、又は、最大値maxが選択される。
この場合、出力画像において、画素値が、なだらかに変化している部分に、段差が、突然生じることがある。
図１９は、画素値がなだらかに変化する２枚の撮影画像と、その２枚の撮影画像を用いて生成される出力画像との画素値の変化の例を示す図である。
なお、図１９において、横軸は画素の位置（例えば、水平方向の位置）を表し、縦軸は、撮影画像及び出力画像の画素値を表す。
図１９に示すように、２枚の撮影画像の画素値は、左から右の位置に向かって、ランプ信号のように、なだらかに上昇し、画素値の飽和レベル（飽和状態）に到達している。
但し、２枚の撮影画像の画素値は、位相がずれている。すなわち、２枚の撮影画像のうちの一方の撮影画像の画素値は、他方の撮影画像の画素値を、水平方向にシフトした画素値になっている。
この場合、生成処理の第３の例（図１８）では、２枚の撮影画像の対応画素の画素値のうちのいずれかが、飽和レベルに到達するまでは、その２枚の撮影画像の対応画素の画素値の平均値aveが、出力画像の画素値として求められる。
２枚の撮影画像の画素値は、左から右の位置に向かって、なだらかに上昇しているので、その２枚の撮影画像の画素値の平均値aveも、左から右の位置に向かって、なだらかに上昇する。
２枚の撮影画像の画素値は、位相がずれた状態で、左から右の位置に向かって、なだらかに上昇するので、その２枚の撮影画像のうちの一方の画素値が、先に、飽和レベルに到達する。
２枚の撮影画像のうちの一方の画素値が、先に、飽和レベルに到達すると、その飽和レベルの画素値が、出力画像の画素値として求められる。
したがって、出力画像の水平方向の画素については、左から右に向かって、２枚の撮影画像の画素値の平均値aveが、出力画像の画素値として求められるが、２枚の撮影画像のうちの一方の画素値が飽和レベルになると、その飽和レベルになった画素値の画素の位置からは、飽和レベルが、出力画像の画素値として求められる。
その結果、飽和レベルになった画素の位置において、出力画像の画素値が、突然、飽和レベルに上昇し、段差が生じる。そして、この段差によって、出力画像の画質が劣化する。
以上のような画素値の段差が生じることによる出力画像の画質の劣化を防止する方法としては、例えば、生成処理において、所定のブレンド率a1に従って(0=<a1<=1)、最大値maxと平均値aveとをブレンドし、そのブレンドにより得られるブレンド値を、出力画像の画素値として求める方法がある。
図２０は、最大値maxと平均値aveとをブレンドするブレンド率a1の例を示す図である。
ブレンド率a1としては、例えば、N枚の撮影画像の対応画素の画素値のうちの最大値maxに対応する値を採用することができる。
図２０では、最大値maxが、最大値maxの閾値SAT_TH以下である場合には、値SAT_OFS(>=0)が、ブレンド率a1として採用される。
また、図２０では、最大値maxが、閾値SAT_THより大である場合には、最大値maxに比例する値SAT_SLOPE(>SAT_OFS)が、ブレンド率a1として採用される。
そして、最大値maxに比例する値SAT_SLOPEが、ブレンド率a1の閾値SAT_LIMIT（但し、SAT_OFS<SAT_LIMIT=<1）以上である場合には、閾値SAT_LIMITが、ブレンド率a1として採用される。
図２１は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第４の例を説明するフローチャートである。
すなわち、図２１は、ブレンド率a1に従って、最大値maxと平均値aveとをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
生成処理の第４の例では、信号処理部４は、ステップＳ７１及びＳ７２において、図１８のステップＳ６１及びＳ６２とそれぞれ同様の処理を行う。これにより、出力画像の注目画素が選択されるとともに、その注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとが求められ、処理は、ステップＳ７２からステップＳ７３に進む。
ステップＳ７３では、信号処理部４は、図２０で説明したように、最大値maxに応じた値を、ブレンド率a1として求め、処理は、ステップＳ７４に進む。
ステップＳ７４では、信号処理部４は、例えば、最大値maxと平均値aveとを、式bld1=max×a1+ave×(1-a1)に従ってブレンドし、その結果得られるブレンド値bld1を、注目画素の画素値として求め、処理は、ステップＳ７５に進む。
ステップＳ７５では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
ステップＳ７５において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ７１に戻り、以下、同様の処理が繰り返される。
また、ステップＳ７５において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
以上のように、最大値maxに応じた値を、ブレンド率a1として求め、そのブレンド率a1に従って、最大値maxと平均値aveとをブレンドしたブレンド値bld1を、注目画素の画素値として求めることにより、最大値maxが小さい場合には、平均値aveに重みをおいた値が、注目画素の画素値として求められる。また、最大値maxが大きくなるにつれて、最大値maxに重みをおいた値が、注目画素の画素値として求められる。
その結果、図１７で説明したような、偽色が出力画像に生じることを抑制することができるとともに、図１９で説明したような、画素値の段差が生じることによる出力画像の画質の劣化を防止することができる。
なお、最大値maxが、飽和レベルである場合に、ブレンド率a1を1とするとともに、最大値maxが、飽和レベル未満である場合に、ブレンド率a1を0とすることにより、図２１の生成処理は、図１８の生成処理と等価になる。
図２２は、図９の生成処理で生成された出力画像（平均値aveの出力画像）と、図１８又は図２１の生成処理で生成された出力画像との例を示す図である。
図９の生成処理で生成された出力画像（平均値aveの出力画像）を、色付き対策機能なしの出力画像ともいうとともに、図１８又は図２１の生成処理で生成された出力画像を、色付き対策機能ありの出力画像ともいうこととする。
色付き対策機能なしの出力画像では、図中、斜線を付して示すように、偽色が発生することがあるが、色付き対策機能ありの出力画像では、偽色の発生を抑制することができる。
ここで、撮影画像が、画素値として、R，G，Bのうちのいずれか１色だけのRAWデータを有する画像であり、そのような撮影画像において、互いに近接する３つの画素Pr，Pg，Pbが、画素値として、R，G，Bを、それぞれ有することとする。
いま、例えば、２枚の撮影画像のうちの１枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)が、(2000, 4000, 2000)で、２枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)が、(0, 0, 0)であるとする。また、例えば、WBゲイン(Gr, Gg, Gb)が、(2, 1, 2)であるとする。
なお、飽和レベルは、4000であることとする。１枚目の撮影画像の画素Pgの画素値Gは4000であり、飽和している。
１枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)=(2000, 4000, 2000)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、(4000, 4000, 4000)で、白（飽和状態）になる。
２枚目の撮影画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)=(0, 0, 0)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、(0, 0, 0)で、黒になる。
したがって、出力画像の３つの画素Pr，Pg，Pbは、白、又は、黒になることが望ましい。
しかしながら、撮影画像の対応画素だけに応じて、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択する場合（図１８）や、ブレンド率a1を求める場合（図２１）には、出力画像に、感度の高い（WBゲインが低い）緑の色付きが生じることがある。
すなわち、いま、説明を簡単にするため、撮影画像の対応画素だけに応じて、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択することとする。
画素Prについては、１枚目の撮影画像の画素値R=2000も、２枚目の撮影画像の画素値R=0も飽和していないので、出力画像の画素値としては、画素値R=2000と画素値R=0との平均値ave=1000が選択される。
同様に、画素Pbについては、１枚目の撮影画像の画素値B=2000も、２枚目の撮影画像の画素値B=0も飽和していないので、出力画像の画素値としては、画素値B=2000と画素値B=0との平均値ave=1000が選択される。
一方、画素Pgについては、１枚目の撮影画像の画素値G=4000、及び、２枚目の撮影画像の画素値G=0のうちの、１枚目の撮影画像の画素値G=4000が飽和しているので、出力画像の画素値としては、その飽和している画素値G=4000が選択される。
したがって、出力画像の３つの画素Pr，Pg，Pbの画素値(R, G, B)は、(1000, 4000, 1000)になる。
そして、この出力画像の画素値(R, G, B)=(1000, 4000, 1000)に、WBゲイン(Gr, Gg, Gb)=(2, 1, 2)をかけた結果(R', G', B')は、飽和レベル以上の値が飽和レベルである4000にクリップされることにより、(2000, 4000, 2000)で、緑になる。
以上のような、出力画像に生じる、撮影画像にない緑の色付きは、例えば、撮影画像のある画素Pが、対応画素である場合に、撮影画像にLPF(Low Pass Filter)をかけることにより得られる、LPF後の画素Pの画素値を用いて、生成処理を行うことで抑制することができる。
すなわち、LPF後の画素Pの画素値には、LPF前の画素Pの画素値の他、その画素Pの周辺の画素の画素値が反映されている。
かかるLPF後の画素Pの画素値に応じて、図１８において、出力画像の画素値となる、撮影画像の対応画素の平均値ave、又は、最大値maxを選択すること、あるいは、図２１において、ブレンド率a1を求めることにより、出力画像に、撮影画像にない緑の色付きが生じることを抑制することができる。
なお、画素PにLPFをかけるときに用いる画素値には、その画素Pを含む、画素Pの周辺の画素のR，G，Bの３色の画素値が含まれていることが望ましいが、画素Pと、その画素Pの水平方向に隣接する数個の画素との画素値を用いるだけでも、出力画像に生じる、撮影画像にない緑の色付きを、十分に抑制することができる。
図２３は、出力画像に生じる動きぶれを説明する図である。
図２３のＡは、新高速モードで撮影される撮影画像の例を示している。
撮影画像に映る被写体が動いている場合、すなわち、例えば、カメラユニットが、車載カメラとして、自動車等の移動体に搭載されている場合、撮影画像に映る、動いている被写体には、動きぶれが生じる。
例えば、自動車が直進している場合には、撮影画像の水平方向の中央部に映る被写体よりも、水平方向の周辺部（端部）に映る被写体の方の動きが速いため、図２３のＡに示すように、撮影画像の水平方向の中央部よりも周辺部において、大きな動きぶれが生じる。
図２３のＢは、新高速モードで撮影される撮影画像の例を示している。
例えば、自動車がカーブを走行している場合には、撮影画像の水平方向のカーブの方向にある被写体よりも、カーブの方向の反対方向にある被写体の方の動きが速いため、図２３のＢに示すように、撮影画像の水平方向のカーブの方向の部分よりも、カーブの方向と反対方向の部分において、大きな動きぶれが生じる。
その他、撮影画像において、動きぶれは、例えば、自動車の速度が速いほど、大きくなる。
N枚の撮影画像に動きぶれが生じている場合、そのような動きぶれが生じているN枚の撮影画像の画素値の平均値aveを、出力画像の画素値とすると、出力画像には、より程度の大きい動きぶれが生じる。
また、N枚の撮影画像に動きぶれが生じている場合には、ある撮影画像に映っている被写体は、他の撮影画像において、ずれた位置に映っているため、そのようなN枚の撮影画像の画素値の平均値aveを、出力画像の画素値とすると、出力画像には、やはり、より程度の大きい動きぶれが生じる。
一方、N枚の撮影画像に動きぶれが生じている場合に、そのN枚の撮影画像を用いて得られる出力画像の中では、N枚の撮影画像のうちの、ある１枚の撮影画像の画素値を、そのまま出力画像の画素値とした出力画像が、動きぶれの程度が最も小さい画像になる。
そこで、出力画像に生じる動きぶれを抑制するために、出力画像の生成処理では、出力画像（ひいては、撮影画像）に映る被写体の動き量や、注目画素の位置、カメラユニットが搭載されている自動車の速度や、自動車がカーブを走行しているときの、そのカーブの方向や曲がり具合等に応じたブレンド率a2を求め(0=<a2<=1)、そのブレンド率a2に従って、平均値ave又は最大値maxと、N枚の撮影画像のうちの、任意の１枚の撮影画像の画素値とをブレンドすることにより、出力画像を求めることができる。
なお、自動車がカーブを走行しているときの、そのカーブの方向や曲がり具合（を表す物理量）としては、例えば、自動車のハンドルの切れ角を採用することができる。
図２４は、出力画像（又は撮影画像）に映る被写体の動き量に対応する値をブレンド率a2として求める場合の、そのブレンド率a2の例を示す図である。
出力画像に映る被写体の動き量に対応する値をブレンド率a2として求める場合には、信号処理部４は、注目画素の動き量として、例えば、N枚の撮影画像のうちの１枚の撮影画像の対応画素の動きを、ブロックマッチングや特徴点マッチング等によって求める。
さらに、信号処理部４は、図２４に示すように、注目画素の動き量に応じて、その動き量の大きさ（絶対値）が大であるほど、大きな値のブレンド率a2を求める。
また、信号処理部４は、N枚の撮影画像の中から、例えば、ユーザの操作等に応じて、１枚の撮影画像を、出力画像の生成に用いる生成用画像として選択する。
そして、信号処理部４は、N枚の撮影画像の対応画素の画素値の平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、出力画像の注目画素の画素値として求める。
図２５は、出力画像の注目画素の位置（撮影画像の対応画素の位置）に応じて、平均値ave（又は最大値max）と、生成用画像の対応画素の画素値とをブレンドする場合の、そのブレンドに用いるブレンド率a2の例を示す図である。
出力画像の注目画素の位置に応じてブレンドを行う場合には、信号処理部４は、注目画素の位置に応じて、その注目画素の水平方向の位置が、出力画像の水平方向の中央部から遠いほど、大きな値のブレンド率a2を求める。
また、信号処理部４は、N枚の撮影画像の中から、ユーザの操作等に応じて、１枚の撮影画像を、出力画像の生成に用いる生成用画像として選択する。
そして、信号処理部４は、N枚の撮影画像の対応画素の画素値の平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、出力画像の注目画素の画素値として求める。
ブレンド率a2は、上述のように、注目画素の動き量や位置に応じて求める他、カメラユニットが搭載されている自動車の速度や、ハンドルの切れ角等に応じて求めることができる。
すなわち、ブレンド率a2は、注目画素の動き量、注目画素の位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの１の項目だけに応じて、その１の項目の関数として求めることができる。
また、ブレンド率a2は、注目画素の動き量、注目画素の位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの２以上の項目に応じて、その２以上の項目の関数として求めることができる。
図２６は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第５の例を説明するフローチャートである。
すなわち、図２６は、注目画素の動き量及び位置に応じたブレンド率a2に従って、平均値ave（又は最大値max）と、生成用画像の画素値とをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
生成処理の第５の例では、信号処理部４は、ステップＳ８１において、N枚の撮影画像のうちの１枚の撮影画像を、生成用画像として選択し、処理は、ステップ８２に進む。
ここで、ステップＳ８１では、例えば、ユーザの操作に応じて、N枚の撮影画像のうちの１枚の撮影画像を、生成用画像に選択することができる。また、ステップＳ８１では、例えば、N枚の撮影画像のうちの、カメラユニットにあらかじめ設定された枚数目の撮影画像を、生成用画像に選択することができる。
ステップＳ８２では、信号処理部４は、図８のステップＳ４１と同様に、出力画像の注目画素を選択し、処理は、ステップＳ８３に進む。
ステップＳ８３では、信号処理部４は、図９のステップＳ５２（又は図８のステップＳ４２）と同様に、注目画素に対応する対応画素の画素値の平均値ave（又は最大値max）を求め、処理は、ステップ８４に進む。
ステップＳ８４では、信号処理部４は、注目画素の動き量を求め、処理は、ステップＳ８５に進む。
ステップＳ８５では、信号処理部４は、注目画素の動き量と位置とに応じて、ブレンド率a2を求め（設定し）、処理は、ステップＳ８６に進む。
ここで、ステップＳ８５では、信号処理部４は、例えば、図２４で説明したように、注目画素の動き量に応じたブレンド率a2'を求めるとともに、図２５で説明したように、注目画素の位置に応じたブレンド率a2''を求め、その動き量に応じたブレンド率a'と、位置に応じたブレンド率a2''との平均値や乗算値等を、注目画素の動き量と位置とに応じたブレンド率a2として求めることができる。
ステップＳ８６では、信号処理部４は、例えば、平均値ave（又は最大値max）と、生成用画像の対応画素の画素値sideとを、式bld=side×a2+ave×(1-a2)に従ってブレンドし、その結果得られるブレンド値bldを、注目画素の画素値として求め、処理は、ステップＳ８７に進む。
ステップＳ８７では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
ステップＳ８７において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ８２に戻り、以下、同様の処理が繰り返される。
また、ステップＳ８７において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
図２７は、図９の生成処理で生成された出力画像（平均値aveの出力画像）と、図２６の生成処理で生成された出力画像との例を示す図である。
図９の生成処理で生成された出力画像（平均値aveの出力画像）を、動きぶれ対策機能なしの出力画像ともいうとともに、図２６の生成処理で生成された出力画像を、動きぶれ対策機能ありの出力画像ともいうこととする。
図２７は、動きぶれ対策機能なしの出力画像、及び、動きぶれ対策機能ありの出力画像それぞれの水平方向の周辺部（端部）の画像の例を示している。動きぶれ対策機能なしの出力画像の周辺部では、程度の大きな動きぶれが発生しているが、動きぶれ対策機能ありの出力画像の周辺部では、その動きぶれの程度が抑制されていることを確認することができる。
ここで、以下では、図２０等で説明したブレンド率a1を、色付き対策用ブレンド率a1ともいい、図２４及び図２５等で説明したブレンド率a2を、動きぶれ対策用ブレンド率a2ともいう。
図２８は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第６の例を行う生成装置の構成例を示すブロック図である。
すなわち、図２８は、色付き対策用ブレンド率a1、及び、動きぶれ対策用ブレンド率a2に従って、平均値ave、最大値max、及び、生成用画像の画素値をブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理を行う生成装置の構成例を示すブロック図である。
図２８の生成装置は、信号処理部４に内蔵される。
図２８において、生成装置は、平均値画像生成部５１、最大値画像生成部５２、生成用画像選択部５３、（色付き対策用）ブレンド率設定部５４、（動きぶれ対策用）ブレンド率設定部５５、並びに、ブレンド部５６，５７、及び、５８を有する。
平均値画像生成部５１、最大値画像生成部５２、及び、生成用画像選択部５３には、N枚の撮影画像としての、例えば、３枚の撮影画像（の画素値）S0，S1，S2が、メモリ３（図１）から供給される。
平均値画像生成部５１は、そこに供給される３枚の撮影画像の同一位置の画素の画素値S0，S1，S2の平均値ave=(S0+S1+S2)/3を画素値とする平均値画像を求め、ブレンド部５６に供給する。
最大値画像生成部５２は、そこに供給される３枚の撮影画像の同一位置の画素の画素値S0，S1，S2のうちの最大値max=MAX(S0, S1, S2)を画素値とする最大値画像を求め、ブレンド率設定部５４、及び、ブレンド部５６に供給する。ここで、MAX(S0, S1, S2)は、S0, S1, S2の中の最大値を表す。
生成用画像選択部５３は、そこに供給される３枚の撮影画像のうちの１枚の撮影画像を、生成用画像として選択し、ブレンド率設定部５５、及び、ブレンド部５７に供給する。
ブレンド率設定部５４は、最大値画像生成部５２から供給される最大値画像の画素値である最大値maxに応じて、出力画像の各画素の色付き対策用ブレンド率a1を、例えば、図２０で説明したようにして求め、ブレンド部５６及び５８に供給する。
ブレンド率設定部５５は、生成用画像選択部５３からの生成用画像を用いて、出力画像の各画素の動き量を求める。そして、ブレンド率設定部５５は、例えば、出力画像の各画素の動き量、及び、各画素の位置に応じて、出力画像の各画素の動きぶれ対策用ブレンド率a2を、図２４ないし図２６で説明したようにして求め、ブレンド部５７に供給する。
なお、ブレンド率設定部５５では、その他、例えば、出力画像の画素の動き量、位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの１の項目だけに応じて、動きぶれ対策用ブレンド率a2を求めることができる。
また、ブレンド率設定部５５では、例えば、出力画像の画素の動き量、位置、カメラユニットが搭載されている自動車の速度、及び、ハンドルの切れ角のうちの２以上の項目に応じて、動きぶれ対策用ブレンド率a2を求めることができる。
ブレンド部５６は、平均値画像生成部５１から供給される平均値画像の各画素の画素値である平均値aveと、最大値画像生成部５２から供給される最大値画像の各画素の画素値である最大値maxとを、ブレンド率設定部５４からのブレンド率a1を用いて、式bld1=max×a1+ave×(1-a1)に従ってブレンドする。そして、ブレンド部５６は、ブレンドの結果得られるブレンド値bld1を画素値とする第１ブレンド画像(bld1)を、ブレンド部５７に供給する。
ブレンド部５６のブレンドにより、図１７で説明した偽色の発生が抑制される。
ブレンド部５７は、生成用画像選択部５３から供給される生成用画像の各画素の画素値sideと、ブレンド部５６から供給される第１ブレンド画像の各画素の画素値bld1とを、ブレンド率設定部５５からのブレンド率a2を用いて、式bld2=side×a2+bld1×(1-a2)に従ってブレンドする。そして、ブレンド部５７は、ブレンドの結果得られるブレンド値bld2を画素値とする第２ブレンド画像(bld2)を、ブレンド部５８に供給する。
また、ブレンド部５７は、生成用画像選択部５３から供給される生成用画像の各画素の画素値sideと、ブレンド部５６から供給される第１ブレンド画像の、同一位置の画素の画素値bld1とのうちの最大値max2=MAX(bld1, side)を画素値とするmax2画像を求め、ブレンド部５８に供給する。ここで、MAX(bld1, side)は、bld1, sideの中の最大値を表す。
ブレンド部５７のブレンドにより、図２３で説明した動きぶれが抑制される。
ブレンド部５８は、ブレンド部５７から供給される第２ブレンド画像の各画素の画素値bld2と、同じく、ブレンド部５７から供給されるmax2画像の、同一位置の画素の画素値max2とを、ブレンド率設定部５４からのブレンド率a1を用いて、式bld3=max2×a1+bld2×(1-a1)に従ってブレンドする。そして、ブレンド部５８は、ブレンドの結果得られるブレンド値bld3を画素値とする画像を、出力画像として出力する。
ブレンド部５８のブレンドにより、ブレンド部５７において、第１ブレンド画像の画素値bld1と、生成用画像の画素値sideとをブレンドしたブレンド値bld2を画素値とする画素に、本来存在しない色が生じることを抑制することができる。
なお、ブレンド部５８では、前段のブレンド部５７でのブレンドに用いられるブレンド率a2が0又は1ではない画素のブレンド率a1だけを有効にすることができる。
この場合、ブレンド部５８では、ブレンド率a1が有効な画素についてだけ、第２ブレンド画像の画素値bld2とmax2画像の画素値max2とのブレンドを行い、他の画素については、例えば、ブレンド率a1=0として、第２ブレンド画像の画素値bld2を、そのまま出力画像の画素値とすることができる。
図２９及び図３０は、市販の車載カメラで撮影した出力画像、通常モードで撮影した出力画像、及び、新高速モードで撮影した出力画像の例を模式的に示す図である。
すなわち、図２９及び図３０は、異なる撮影状況で得られた出力画像を示している。
図２９は、照度が大の、例えば、日中の撮影で得られた出力画像を示しており、図３０は、照度が小の、例えば、夜間の撮影で得られた出力画像を示している。
また、図２９及び図３０のＡは、市販の車載カメラで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像（以下、市販カメラ出力画像ともいう）を示している。
図２９及び図３０のＢは、通常モードで撮影した撮影画像を、そのまま出力画像とした場合の、その出力画像（以下、通常モード出力画像ともいう）を示している。
図２９及び図３０のＣは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値の平均値aveを、出力画像の画素値とした場合の、その出力画像（平均値aveの出力画像）を示している。
図２９及び図３０のＤは、新高速モードで撮影した３枚の撮影画像の対応画素の画素値のうちの最大値maxを、出力画像の画素値とした場合の、その出力画像（最大値maxの出力画像）を示している。
図２９及び図３０によれば、新高速モードで得られる出力画像において、道路標識が見えるように映っていることを確認することができる。
図３１は、日中、及び、夜間の撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像の視認性の評価の例を示す図である。
視認性の評価は、日中(Day)、及び、夜間(Night)のそれぞれの撮影で得られた市販カメラ出力画像、通常モード出力画像、平均値aveの出力画像、及び、最大値maxの出力画像に映る撮影対象としてのLEDの信号機(Signal)、及び、道路標識(Traffic Sign)を対象に行った。
なお、信号機については、点滅周波数(frequency)は、100Hzであり、点灯デューティ比(duty)は、70%である。また、道路標識については、点滅周波数は、250Hzであり、点灯デューティ比は、50%又は20%である。
図３１においては、×、△、〇、◎の順で、視認性が良いことを表す。
図３１によれば、日中や夜間等の撮影状況によって、最大値maxの出力画像の方が、平均値aveの出力画像よりも視認性が良い場合や、逆に、平均値aveの出力画像の方が、最大値maxの出力画像よりも視認性が良い場合があることを確認することができる。
そこで、出力画像の視認性を向上させるために、出力画像の生成処理では、撮影状況に応じて、平均値aveと最大値maxとをブレンドすることにより、出力画像を求めることができる。
図３２は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第７の例を説明するフローチャートである。
すなわち、図３２は、撮影状況に応じたブレンド率a1'に従って、平均値aveと最大値maxとをブレンドすることにより得られるブレンド値を、出力画像の画素値として求める生成処理の例を説明するフローチャートである。
生成処理の第７の例では、ステップＳ９１において、信号処理部４は、撮影状況に応じて、ブレンド率a1'を求め（設定し）、処理は、ステップＳ９２に進む。
ここで、ステップＳ９１では、信号処理部４は、例えば、撮影画像の撮影時の照度が大であるほど、大きな値のブレンド率a1'を設定する(0=<a1'=<1)。
ステップＳ９２では、信号処理部４は、図８のステップＳ４１と同様に、出力画像の１つの画素を、注目画素に選択し、処理は、ステップＳ９３に進む。
ステップＳ９３では、信号処理部４は、N枚の撮影画像それぞれの、注目画素に対応する対応画素の画素値のうちの最大値maxと平均値aveとを求め、処理は、ステップＳ９４に進む。
ステップＳ９４では、信号処理部４は、例えば、最大値maxと平均値aveとを、式bld1'=max×a1'+ave×(1-a1')に従ってブレンドし、その結果得られるブレンド値bld1'を、注目画素の画素値として求め、処理は、ステップＳ９５に進む。
ステップＳ９５では、信号処理部４は、出力画像のすべての画素を、注目画素に選択したかどうかを判定する。
ステップＳ９５において、出力画像のすべての画素を、まだ、注目画素に選択していないと判定された場合、処理は、ステップＳ９２に戻り、以下、同様の処理が繰り返される。
また、ステップＳ９５において、出力画像のすべての画素を、注目画素に選択したと判定された場合、１枚の出力画像を生成する生成処理は、終了する。
以上のように、撮影状況に応じて、ブレンド率a1'を求め、そのブレンド率a1'に従って、最大値maxと平均値aveとをブレンドすることにより、視認性の良い出力画像を得ることができる。
図３３は、N枚の撮影画像から、１枚（フレーム）の出力画像を生成する生成処理の第８の例を説明する図である。
図２３で説明したように、例えば、カメラユニットが、車載カメラとして、自動車等の移動体に搭載されている場合には、平均値aveを、出力画像の画素値とすると、出力画像の水平方向の周辺部には、大きい動きぶれが生じる。
さらに、図２３で説明したように、N枚の撮影画像に動きぶれが生じている場合に、そのN枚の撮影画像を用いて得られる出力画像の中では、N枚の撮影画像のうちの、ある１枚の撮影画像の画素値を、そのまま出力画像の画素値とした出力画像が、動きぶれの程度が最も小さい画像になる。
そこで、図３２で説明したように、撮影状況に応じたブレンド率a1'に従って、平均値aveと最大値maxとをブレンドする場合には、図３３に示すように、平均値aveと最大値maxとのブレンドの結果得られるブレンド値bld1'を、出力画像の水平方向の中心部分の画素値として採用するとともに、N枚の撮影画像の中から選択された１枚の撮影画像である生成用画像の画素値sideを、出力画像の水平方向の周辺部の画素値として採用することができる。
この場合、視認性が良く、動きぶれを抑制した出力画像を得ることができる。
なお、信号処理部４の生成処理によれば、点滅する撮影対象が映った撮影画像に限らず、任意のN枚の撮影画像を合成する場合において、そのうちの１枚以上の撮影画像の画素値が飽和しているときに、偽色が生じることを防止することができる。
さらに、信号処理部４の信号処理によれば、自動車等の移動体にカメラユニットが搭載され、カメラユニット自体が移動する場合の他、カメラユニットが、高速道路の監視カメラのように固定されている場合であっても、出力画像（撮影画像）に映る、動く被写体の動きぶれを抑制することができる。
＜カメラユニットの使用例＞
図３４は、図１のカメラユニットを使用する使用例を示す図である。
上述したカメラユニットは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
＜本技術を適用したコンピュータの説明＞
図１の信号処理部４やタイミング制御部６の一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、マイクロコンピュータ等にインストールされる。
図３５は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。
CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。
これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下のような構成をとることができる。
＜１＞
所定の撮影タイミングで撮影を行う撮影部と、
前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部と
を備える撮影装置。
＜２＞
前記撮影対象の点滅周期をTb[秒]と、前記撮影対象が点滅周期に点灯する点灯デューティ比をDb[%]と、少なくとも１回の撮影の露光時間が前記点灯期間の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と、それぞれ表すとき、
前記制御部は、式SHT_MIN=Tb/N-TbDb/100に従って求められる下限露光時間SHT_MINを超える露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
＜１＞に記載の撮影装置。
＜３＞
前記制御部は、１又は複数フレームごとに、異なる点滅周期を対象として、前記撮影タイミングを制御する
＜１＞又は＜２＞に記載の撮影装置。
＜４＞
第１の撮影対象の点滅周期が、第２の撮影対象の点滅周期の2のべき乗倍の周期であるとき、
前記制御部は、前記第１の撮影対象の点滅周期を対象として、前記撮影タイミングを制御する
＜１＞又は＜２＞に記載の撮影装置。
＜５＞
前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部をさらに備える
＜１＞ないし＜４＞のいずれかに記載の撮影装置。
＜６＞
前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜７＞
前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値の平均値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜８＞
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値が飽和しているとき、前記最大値を、前記出力画像の画素値として求め、
前記N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、前記N枚の撮影画像の対応画素の画素値の平均値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜９＞
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値に対応する値を、前記最大値と、前記N枚の撮影画像の対応画素の画素値の平均値とをブレンドするブレンド率として求め、
前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１０＞
前記処理部は、
前記出力画像の画素の動き量に対応する値を、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率として求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１１＞
前記処理部は、
前記出力画像の画素の位置に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１２＞
前記撮影装置が、移動体に搭載されているとき、
前記処理部は、
前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１３＞
前記撮影装置が、移動体に搭載されているとき、
前記処理部は、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上と
に応じて、前記最大値、前記対応画素の画素値の平均値、及び、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値をブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１４＞
前記処理部は、
撮影状況に応じて、
前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
前記対応画素の画素値の平均値と
をブレンドするブレンド率を求め、
前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
＜５＞に記載の撮影装置。
＜１５＞
前記処理部は、
前記出力画像の画素の位置に応じて、
前記ブレンド値、
又は、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値
を、前記出力画像の画素値として求める
＜１４＞に記載の撮影装置。
＜１６＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことを含む撮影方法。
＜１７＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部
として、コンピュータを機能させるためのプログラム。
＜１８＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
を備える信号処理装置。
＜１９＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する
ことを含む信号処理方法。
＜２０＞
所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
として、コンピュータを機能させるためのプログラム。
１ 光学系， ２ イメージセンサ， ３ メモリ， ４ 信号処理部， ５ 出力部， ６ タイミング制御部， ５１ 平均値画像生成部， ５２ 最大値画像生成部， ５３ 生成用画像選択部， ５４，５５ ブレンド率設定部， ５６ないし５８ ブレンド部， １０１ バス， １０２ CPU， １０３ ROM， １０４ RAM， １０５ ハードディスク， １０６ 出力部， １０７ 入力部， １０８ 通信部， １０９ ドライブ， １１０ 入出力インタフェース， １１１ リムーバブル記録媒体

Claims (20)

  1. 所定の撮影タイミングで撮影を行う撮影部と、
    前記撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部と
    を備える撮影装置。
  2. 前記撮影対象の点滅周期をTb[秒]と、前記撮影対象が点滅周期に点灯する点灯デューティ比をDb[%]と、少なくとも１回の撮影の露光時間が前記点灯期間の少なくとも一部に重複するための下限露光時間を、SHT_MIN[秒]と、それぞれ表すとき、
    前記制御部は、式SHT_MIN=Tb/N-TbDb/100に従って求められる下限露光時間SHT_MINを超える露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    請求項１に記載の撮影装置。
  3. 前記制御部は、１又は複数フレームごとに、異なる点滅周期を対象として、前記撮影タイミングを制御する
    請求項１に記載の撮影装置。
  4. 第１の撮影対象の点滅周期が、第２の撮影対象の点滅周期の2のべき乗倍の周期であるとき、
    前記制御部は、前記第１の撮影対象の点滅周期を対象として、前記撮影タイミングを制御する
    請求項１に記載の撮影装置。
  5. 前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部をさらに備える
    請求項１に記載の撮影装置。
  6. 前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  7. 前記処理部は、前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値の平均値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  8. 前記処理部は、
    前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値が飽和しているとき、前記最大値を、前記出力画像の画素値として求め、
    前記N枚の撮影画像の対応画素の画素値のいずれも飽和していないとき、前記N枚の撮影画像の対応画素の画素値の平均値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  9. 前記処理部は、
    前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値に対応する値を、前記最大値と、前記N枚の撮影画像の対応画素の画素値の平均値とをブレンドするブレンド率として求め、
    前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  10. 前記処理部は、
    前記出力画像の画素の動き量に対応する値を、
    前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
    前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
    をブレンドするブレンド率として求め、
    前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  11. 前記処理部は、
    前記出力画像の画素の位置に応じて、
    前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
    前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
    をブレンドするブレンド率を求め、
    前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  12. 前記撮影装置が、移動体に搭載されているとき、
    前記処理部は、
    前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上に応じて、
    前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値、又は、前記対応画素の画素値の平均値と、
    前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値と
    をブレンドするブレンド率を求め、
    前記ブレンド率に従って、前記最大値、又は、前記平均値と、前記生成用画像の対応画素の画素値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  13. 前記撮影装置が、移動体に搭載されているとき、
    前記処理部は、
    前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
    前記移動体の速度、前記移動体のハンドルの切れ角、及び、前記出力画像の画素の位置のうちの1以上と
    に応じて、前記最大値、前記対応画素の画素値の平均値、及び、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値をブレンドしたブレンド値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  14. 前記処理部は、
    撮影状況に応じて、
    前記出力画像の画素に対応する、前記N枚の撮影画像の画素である対応画素の画素値のうちの最大値と、
    前記対応画素の画素値の平均値と
    をブレンドするブレンド率を求め、
    前記ブレンド率に従って、前記最大値と前記平均値とをブレンドしたブレンド値を、前記出力画像の画素値として求める
    請求項５に記載の撮影装置。
  15. 前記処理部は、
    前記出力画像の画素の位置に応じて、
    前記ブレンド値、
    又は、前記N枚の撮影画像のうちの所定の１枚の撮影画像である生成用画像の対応画素の画素値
    を、前記出力画像の画素値として求める
    請求項１４に記載の撮影装置。
  16. 所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    ことを含む撮影方法。
  17. 所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する制御部
    として、コンピュータを機能させるためのプログラム。
  18. 所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
    を備える信号処理装置。
  19. 所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する
    ことを含む信号処理方法。
  20. 所定の撮影タイミングで撮影を行う撮影部で撮影を行おうとする撮影対象が点滅する点滅周期を、複数であるN等分するタイミングで、少なくとも１回の撮影の露光時間に、前記撮影対象が点灯している点灯期間の少なくとも一部が重複する露光時間で、N回の撮影を行うように、前記撮影タイミングを制御する
    ことで行われる前記N回の撮影により得られるN枚の撮影画像を処理し、１フレームの出力画像を生成する処理部
    として、コンピュータを機能させるためのプログラム。
JP2017512261A 2015-04-13 2016-04-01 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム Active JP6627866B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015081607 2015-04-13
JP2015081607 2015-04-13
PCT/JP2016/060894 WO2016167137A1 (ja) 2015-04-13 2016-04-01 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JPWO2016167137A1 true JPWO2016167137A1 (ja) 2018-02-08
JP6627866B2 JP6627866B2 (ja) 2020-01-08

Family

ID=57127242

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017512261A Active JP6627866B2 (ja) 2015-04-13 2016-04-01 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム

Country Status (5)

Country Link
US (2) US10412309B2 (ja)
EP (1) EP3285478B1 (ja)
JP (1) JP6627866B2 (ja)
CN (1) CN107431758B (ja)
WO (1) WO2016167137A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627866B2 (ja) 2015-04-13 2020-01-08 ソニー株式会社 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
JP2019036907A (ja) * 2017-08-21 2019-03-07 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び機器
JP6958199B2 (ja) * 2017-09-29 2021-11-02 株式会社ジェイテクト 設備管理システム
US10939046B2 (en) * 2017-11-30 2021-03-02 BAE Systems Imaging Solutions Inc. LED flicker mitigation for motion pictures
WO2020188669A1 (ja) * 2019-03-15 2020-09-24 株式会社ニコン 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム
JP2021022057A (ja) * 2019-07-25 2021-02-18 ファナック株式会社 設置支援装置、設置支援システム及び設置支援プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7920175B2 (en) * 2005-01-13 2011-04-05 Canon Kabushiki Kaisha Electronic still camera performing composition of images and image capturing method therefor
JP4979933B2 (ja) * 2005-12-16 2012-07-18 株式会社オートネットワーク技術研究所 車載カメラ及びドライブレコーダ
JP4937851B2 (ja) * 2007-07-05 2012-05-23 パナソニック株式会社 撮像装置
JP2009278496A (ja) 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 撮像装置
JP5419390B2 (ja) * 2008-06-13 2014-02-19 富士通テン株式会社 ドライブレコーダ及びシステム
US8384800B2 (en) * 2009-11-23 2013-02-26 Samsung Electronics Co., Ltd. Methods of acquiring images
JP2011234318A (ja) * 2010-04-30 2011-11-17 Yamaha Corp 撮像装置
JP5397714B1 (ja) * 2012-08-01 2014-01-22 株式会社ジェイエイアイコーポレーション 監視用カメラ装置
CN104268508A (zh) * 2014-09-15 2015-01-07 济南大学 便携式色盲色弱人员交通信号灯辨别方法
JP6627866B2 (ja) 2015-04-13 2020-01-08 ソニー株式会社 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP6627866B2 (ja) 2020-01-08
EP3285478A4 (en) 2019-02-13
US20200029005A1 (en) 2020-01-23
US20180084175A1 (en) 2018-03-22
EP3285478B1 (en) 2021-10-06
EP3285478A1 (en) 2018-02-21
US10999520B2 (en) 2021-05-04
WO2016167137A1 (ja) 2016-10-20
US10412309B2 (en) 2019-09-10
CN107431758A (zh) 2017-12-01
CN107431758B (zh) 2020-06-16

Similar Documents

Publication Publication Date Title
JP6627866B2 (ja) 撮影装置、撮影方法、信号処理装置、信号処理方法、及び、プログラム
US8743238B2 (en) Image processing apparatus, imaging apparatus, image processing method, and white balance adjustment method
US10194074B2 (en) Imaging system, warning generation device and method, imaging device and method, and program
JP2019036907A (ja) 撮像装置及び機器
JP6045896B2 (ja) 評価値算出装置および評価値算出方法
JP2009017474A (ja) 画像処理装置および画像処理方法
JP6645494B2 (ja) 撮像装置および方法、電子機器、並びに車載用電子機器
CN111263035B (zh) 拍摄高动态范围图像的系统、方法与照相机
US10455159B2 (en) Imaging setting changing apparatus, imaging system, and imaging setting changing method
US20200204716A1 (en) Electronic apparatus and image capture apparatus capable of detecting halation, method of controlling electronic apparatus, method of controlling image capture apparatus, and storage medium
JP2017063245A (ja) 撮像装置
CN114979503A (zh) 摄像设备、闪烁检测方法和非暂时性计算机可读存储介质
JP5712821B2 (ja) 撮影表示制御システム
EP3331235B1 (en) Image processing device, image capture device, driver monitoring system, mobile body, and image processing method
US20180176445A1 (en) Imaging device and imaging method
US10829042B2 (en) Imaging apparatus with image sensor for detecting light in an atmospheric peak and vehicle having same
JP2013009041A (ja) 車両用撮影表示制御システム
JP4677924B2 (ja) 撮影システム、動画像処理方法および動画像処理装置
JP6338062B2 (ja) 画像処理装置および撮像装置並びに画像処理方法
JP2014179686A (ja) 撮像装置、その制御方法、および制御プログラム
JP2023130999A (ja) 撮像システム、撮像システム制御方法、及びプログラム
JP2021034875A (ja) 撮像制御システム、制御装置、およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191118

R151 Written notification of patent or utility model registration

Ref document number: 6627866

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151