JP7318656B2 - 画像処理装置と画像処理方法およびプログラム - Google Patents

画像処理装置と画像処理方法およびプログラム Download PDF

Info

Publication number
JP7318656B2
JP7318656B2 JP2020550254A JP2020550254A JP7318656B2 JP 7318656 B2 JP7318656 B2 JP 7318656B2 JP 2020550254 A JP2020550254 A JP 2020550254A JP 2020550254 A JP2020550254 A JP 2020550254A JP 7318656 B2 JP7318656 B2 JP 7318656B2
Authority
JP
Japan
Prior art keywords
information
color
fading
comparison
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020550254A
Other languages
English (en)
Other versions
JPWO2020071091A1 (ja
Inventor
竜太 佐藤
駿 李
啓太郎 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020071091A1 publication Critical patent/JPWO2020071091A1/ja
Application granted granted Critical
Publication of JP7318656B2 publication Critical patent/JP7318656B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B11/00—Filters or other obturators specially adapted for photographic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B43/00—Testing correct operation of photographic apparatus or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/40006—Compensating for the effects of ageing, i.e. changes over time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6091—Colour correction or control controlled by factors external to the apparatus by environmental factors, e.g. temperature or humidity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

この技術は、画像処理装置と画像処理方法およびプログラムに関し、カラーフィルタの退色状態を精度よく検出できるようにする。
撮像素子の前面に装着されているカラーフィルタは、長時間の露光によって退色が進み、性能が劣化することが知られている。このため、特許文献１では、シャッターが開いている時間を加算した累積露光時間が撮像素子の限界露光時間を超えたとき、その旨を通知することが行われている。
特開２０１１－１０３５１３号公報
ところで、動画の撮像で例えば暗いシーンを撮像する場合と明るいシーンを撮像する場合では、撮像時間が等しくても撮像素子の入射光量が異なる。したがって、特許文献１に示すようにシャッターが開いている時間を加算した累積露光時間では、精度よく退色状態を判別することができない。
そこで、この技術では、カラーフィルタの退色状態を精度よく検出できる画像処理装置と画像処理方法およびプログラムを提供することを目的とする。
この技術の第１の側面は、
カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する退色情報生成部
を備える画像処理装置にある。
この技術においては、カラーフィルタを用いた撮像部で生成された画像信号から生成した色情報が比較対象情報として用いられる。また、カラーフィルタの退色がない場合の色情報が退色判別基準情報として用いられる。この比較対象情報と退色判別基準情報を比較して、比較結果に基づき退色情報が生成される。画像処理装置では、例えば撮像部で生成された画像信号に基づいて退色判別物体の画像領域が比較領域と検出されて、比較領域の画像信号から生成された色情報が比較対象情報として用いられる。また、比較領域の検出は、比較結果に基づいて推定した退色レベルに応じて行うようにしてもよく、比較領域の検出は予め設定した画像領域内で行うようにしてもよい。
また、撮像部には、カラーフィルタを設けた色成分画素と退色を生じない参照画素が設けられており、色成分画素で生成された画像信号から生成した色情報を比較対象情報として、参照画素の信号に基づいて生成した色情報を退色判別基準情報としてもよい。参照画素は、例えばカラーフィルタが設けられていない画素、あるいはカラーフィルタに代えて分光フィルタを設けた画素である。
比較対象情報と退色判別基準情報の比較結果を示す比較情報は蓄積されて、蓄積された比較情報に基づき、カラーフィルタの退色レベルが所定レベルを超えたこと、あるいはカラーフィルタの退色レベルを示す退色情報が生成される。
また、画像信号に基づいて生成した照度情報、あるいは照度情報と画像信号の生成時における環境情報を累積して、累積された照度情報あるいは照度情報と環境情報を比較対象情報として、照度情報や環境情報の累積結果に対するカラーフィルタの退色レベルの関係を示す情報を退色判別基準情報として、比較対象情報と退色判別基準情報に基づき、カラーフィルタの退色レベルが所定レベルを超えたこと、あるいはカラーフィルタの退色レベルを示す退色情報が生成される。
この技術の第２の側面は、
カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を退色情報生成部で生成すること
を含む画像処理方法にある。
この技術の第３の側面は、
撮像部で用いられているカラーフィルタに関する情報の生成をコンピュータで実行させるプログラムであって、
前記カラーフィルタを用いた前記撮像部で生成された画像信号に基づき比較対象情報を生成する手順と、
前記比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する手順と
を前記コンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
撮像システムの構成を示した図である。 第１の実施の形態の構成を例示した図である。 第１の実施の形態の動作を例示したフローチャートである。 第１の実施の形態の動作を例示したフローチャートである。 退色のない物体を例示した図である。 画像信号と参照信号を生成する撮像部の構成を例示した図である。 第２の実施の形態の構成を例示した図である。 第２の実施の形態の動作を例示したフローチャートである。 第２の実施の形態の動作を例示したフローチャートである。 第３の実施の形態の構成を例示した図である。 第３の実施の形態の動作を例示したフローチャートである。 第３の実施の形態の動作を例示したフローチャートである。 車両制御システムの概略的な機能の構成例を示すブロック図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．撮像システムについて
２．第１の実施の形態
２－１．第１の実施の形態の構成
２－２．第１の実施の形態の動作
３．第２の実施の形態
３－１．第２の実施の形態の構成
３－２．第２の実施の形態の動作
４．第３の実施の形態
４－１．第３の実施の形態の構成
４－２．第３の実施の形態の動作
５．他の実施の形態
６．退色情報利用部について
７．応用例
＜１．撮像システムについて＞
図１は、本技術の画像処理装置を用いた撮像システムの構成を示している。撮像システム１０は、撮像部２０（２１）と画像処理部３０を有している。また、撮像システム１０には、環境情報生成部４０や退色情報利用部５０および画像利用部６０を設けても良い。
撮像部２０（２１）は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）等の撮像素子を用いて構成されている。また、撮像素子の撮像面側にカラーフィルタが設けられている。撮像部２０は、被写体光学像の光電変換を行い、被写体光学像に応じた画像信号を生成して画像処理部３０と退色情報利用部５０あるいは画像利用部６０へ出力する。また、撮像部２１は、後述するように画像信号と参照信号を生成して画像処理部３０へ出力する。
画像処理部３０は、カラーフィルタを用いた撮像部２０（２１）で生成された画像信号に基づく比較対象情報とカラーフィルタの退色を判別するための退色判別基準情報を用いてカラーフィルタの退色を示す退色情報の生成を行う。画像処理部３０は、例えば画像信号から色情報を生成して比較対象情報としてもよく、画像信号に基づいて生成した照度情報を蓄積して、あるいは照度情報と画像信号の生成時の環境情報を蓄積して比較対象情報としてもよい。また、画像処理部３０は、退色のない色情報、例えば退色のない物体の色情報、あるいは退色を生じない参照画素で生成された信号に基づく色情報を退色判別基準情報として用いてもよく、照度情報の蓄積結果あるいは照度情報と環境情報の蓄積結果に対するカラーフィルタの退色レベルの関係を示す情報を退色判別基準情報として用いてもよい。画像処理部３０は、比較対象情報を退色判別基準情報と比較して、比較結果に基づきカラーフィルタの退色を判別して退色情報を生成する。画像処理部３０は、生成した退色情報を退色情報利用部５０へ出力する。
環境情報生成部４０は、撮像環境を検出するセンサを有しており、撮像時の環境例えば撮像時の温度を検出して、検出した温度を示す撮像環境情報を画像処理部３０へ出力する。
退色情報利用部５０は、画像処理部３０で生成された退色情報に基づき、退色の警告や退色に対応する制御を行う。例えば、退色情報利用部５０は、退色情報によって所定レベルを超える退色が生じていることが示されたとき、警告表示や警告音をユーザに提示する。また、撮像システム１０において、複数の撮像部２０（２１）が切替可能に設けられている場合、退色情報によって所定レベルを超える退色が生じていることが示されたとき、他の撮像部への切り替えを行うようにしてもよい。さらに、退色情報利用部５０は、撮像部２０（２１）で生成された画像信号に対して退色情報に基づき退色を補正してもよい。
画像利用部６０は、撮像部２０（２１）で取得された画像信号、あるいは退色情報利用部５０で退色が補正された画像信号を用いて、例えば運転制御や監視等のアプリケーション動作、画像信号の記録等を行う。
＜２．第１の実施の形態＞
次に、本技術の第１の実施の形態について説明する。第１の実施の形態は、比較対象情報として画像信号から生成した色情報、退色判別基準情報として退色のない物体の色情報を用いる場合を示している。
＜２－１．第１の実施の形態の構成＞
図２は、第１の実施の形態の構成を例示している。画像処理部３０-1は、比較領域検出部３１、色情報生成部３２ａ、色情報比較部３３ａ、比較情報蓄積部３４ａおよび退色情報生成部３５ａを有している。
比較領域検出部３１は、撮像部２０で生成された画像信号を用いて被写体認識を行い、退色のない物体の画像領域を比較領域として検出する。比較領域検出部３１は、検出した比較領域の画像信号を色情報生成部３２ａへ出力する。また、後述するように退色情報生成部３５ａから比較領域検出部３１に退色レベルを通知して、比較領域検出部３１は、退色レベルに応じた認識処理を行うようにしてもよい。例えば、比較領域検出部３１は、認識処理で用いる辞書を通知された退色レベルに応じて切り替える。このように被写体認識を行えば、カラーフィルタの退色状態にかかわらず精度よく比較領域を検出できるようになる。また、比較領域検出部３１は、比較領域として検出する物体に応じて、被写体認識領域を設定してもよい。例えば図５を用いて後述するように、退色のない物体の検出として信号機あるいは照明器具を検出する場合、信号機あるいは照明器具は、撮像画において画像中央よりも上側に位置することから、撮像画において画像中央よりも上側の領域を被写体認識領域として設定すれば、信号機あるいは照明器具の検出を効率よく行うことができる。
色情報生成部３２ａは、比較領域検出部３１で検出された比較領域の画像信号から色情報、例えば三原色の色成分毎のレベルを示す色情報を比較対象情報として色情報比較部３３ａへ出力する。
色情報比較部３３ａは、退色のない物体の色情報を退色判別基準情報として予め記憶している。色情報比較部３３ａは、色情報生成部３２ａで生成された色情報（比較対象情報）を比較領域検出部３１で検出された物体の色情報（退色判別基準情報）と比較して、退色判別基準情報に対する比較対象情報の割合（退色のレベル）あるいは退色レベルが所定のレベルを超える退色を生じているか否かを示す比較情報を生成する。色情報比較部３３ａは、生成した比較情報を比較情報蓄積部３４ａへ出力する。
比較情報蓄積部３４ａは、色情報比較部３３ａで生成された比較情報を蓄積する。また、比較情報蓄積部３４ａは、比較情報の蓄積結果である蓄積比較情報を退色情報生成部３５ａへ出力する。
退色情報生成部３５ａは、比較情報蓄積部３４ａから供給された蓄積比較情報の統計処理等を行い、退色判別情報を算出する。例えば退色情報生成部３５ａは、蓄積比較情報に基づき、例えば最後に蓄積された比較情報によって予め設定されている所定レベルよりも退色していることが示されたとき、所定レベルよりも退色していることを示す比較結果の継続期間や継続数を退色判別情報として算出する。また、退色情報生成部３５ａは、蓄積比較情報に基づき現在の退色レベルを推定して、推定した退色レベルを比較領域検出部３１へ出力してもよい。退色情報生成部３５ａは、所定レベルよりも退色していることを示す比較結果の継続期間や継続数が閾値を超えていた場合、退色が発生したと判別して、退色していることを示す退色情報を生成して退色情報利用部５０へ出力する。また、退色情報生成部３５ａは、退色情報で退色していることを示すだけでなく退色レベルを退色情報に含めてもよい。
なお、比較情報蓄積部３４ａは、必須の構成要素ではなく、色情報比較部３３ａで生成した比較情報を退色情報生成部３５ａに出力してもよい。比較情報蓄積部３４ａを設けた場合には、色情報比較部３３ａ生成された比較情報にばらつきを生じても、蓄積比較情報に基づき安定した退色情報を生成できる。また、比較情報蓄積部３４ａを設けない場合には、画像処理部３０-1の構成を簡易とすることができる。
＜２－２．第１の実施の形態の動作＞
図３，図４は、第１の実施の形態の動作を例示したフローチャートであり、図３は退色の判別に用いる情報の処理動作を行う。また、図４は退色情報の生成動作を示している。退色の判別に用いる情報の処理動作は撮像部の動作中に行い、退色情報の生成動作は、所定期間間隔で行う。
図３のステップＳＴ１で画像処理部は画像信号を取得する。画像処理部３０-1は、撮像部２０で生成された画像信号を取得してステップＳＴ２に進む。
ステップＳＴ２で画像処理部は比較領域検出処理を行う。画像処理部３０-1は、ステップＳＴ１で取得した画像信号に基づく画像において、退色のない物体を示す画像領域を比較領域として検出する。図５は、退色のない物体を例示しており、図５の（ａ）に示すように、色が明らかである信号機や図５の（ｂ）に示すように所定の波長の照明光を出射する照明器具等を比較領域として検出する物体とする。また、図５の（ｃ）に示すようにＲＳＵ（Road Side Unit）として設けられた所定色のマーカー等を比較領域として検出する物体としてもよい。画像処理部３０-1は比較領域検出処理を行いステップＳＴ３に進む。
ステップＳＴ３で画像処理部は比較領域を検出したか判別する。画像処理部３０-1は、ステップＳＴ２の比較領域検出処理で、比較領域を検出した場合にステップＳＴ４に進み、検出していない場合にステップＳＴ１に戻る。
ステップＳＴ４で画像処理部は比較対象情報生成処理を行う。画像処理部３０-1は、ステップＳＴ２で検出した比較領域の画像信号を用いて生成した色情報を比較対象情報としてステップＳＴ５に進む。
ステップＳＴ５で画像処理部は情報比較処理を行う。画像処理部３０-1は、ステップＳＴ４で生成した比較対象情報と、予め登録されている退色のない物体の色情報である退色判別基準情報を比較して、比較結果に基づき比較情報を生成してステップＳＴ６に進む。
ステップＳＴ６で画像処理部は比較情報蓄積処理を行う。画像処理部３０-1は、ステップＳＴ５で生成された比較情報を蓄積してステップＳＴ１に戻る。
図４のステップＳＴ１１で画像処理部は蓄積比較情報を取得する。画像処理部３０-1は図３のステップＳＴ６で比較情報蓄積処理によって比較情報を蓄積することで生成された蓄積比較情報を取得してステップＳＴ１２に進む。
ステップＳＴ１２で画像処理部は退色判別情報を算出する。画像処理部３０-1はステップＳＴ１１で取得された蓄積比較情報に基づき退色判別情報を算出する。画像処理部３０-1は、例えば所定レベルよりも退色していることを示す比較結果の継続期間や継続数を退色判別情報として算出してステップＳＴ１３に進む。
ステップＳＴ１３で画像処理部は退色発生であるか判別する。画像処理部３０-1はステップＳＴ１２で算出した退色判別情報が予め設定されている閾値を超えているか判別して、閾値を超えた退色が生じていると退色判別情報に基づき判別した場合はステップＳＴ１４に進み、閾値を超えた退色が生じていないと退色判別情報に基づき判別した場合はステップＳＴ１５に進む。
ステップＳＴ１４で画像処理部は退色情報を生成する。画像処理部３０-1は、撮像部２０で用いられているカラーフィルタが閾値を超えた退色を生じていること等を示す退色情報を生成する。
ステップＳＴ１５で画像処理部は領域検出フィードバック処理を行う。画像処理部３０-1は、ステップＳＴ１１で取得された蓄積比較情報に基づき現在の退色レベルを推定して、推定した退色レベルを図３のステップＳＴ２の比較領域の検出処理にフィードバックすることで、比較領域を精度よく検出できるようにしてステップＳＴ１１に戻る。
このように、第１の実施の形態によれば、退色状態を精度よく検出できるようになる。また、撮像画から退色のない物体の画像領域を検出して、検出された領域の色情報と物体の色情報から退色を判別できるので、退色のない物体の色情報を予め記憶させておけば、外部機器で取得された情報等を用いることなくカラーフィルタの退色を検出できるようになる。
＜３．第２の実施の形態＞
次に、本技術の第２の実施の形態について説明する。第２の実施の形態は、比較対象情報として画像信号から生成した色情報、退色判別基準情報として退色を生じない参照画素で生成された信号に基づく色情報を用いる場合を示している。
＜３－１．第２の実施の形態の構成＞
図６は、画像信号と参照信号を生成する撮像部の構成を例示している。撮像部２１の撮像素子は、カラーフィルタが設けられている色画素と、退色を生じない参照画素を有している。
図６の（ａ）は、参照画素がカラーフィルタを設けていない画素である場合を例示しており、例えば２×２画素のブロックを、赤色画素と緑色画素と青色画素と参照画素で構成している。
図６の（ｂ）は、参照画素が分光フィルタを設けた画素である場合を例示している。分光フィルタとしては、例えば表面プラズモン共鳴を利用したフィルタ（以下「表面プラズモンフィルタ」という）を用いる。表面プラズモンフィルタでは、誘電体の表面に透過する光の波長に応じた周期性を有する金属薄膜パターンが形成されている。参照画素では、カラーフィルタの退色の影響のない信号を生成する。なお、参照画素として分光フィルタを用いる場合、カラーフィルタと等しい波長の光を透過するように分光フィルタ（赤，緑，青）を形成する。なお、図６の（ｂ）では、例えば２×２画素のブロックを、赤色画素と緑色画素と青色画素と参照画素で構成しており、隣接するブロックの参照画素は、異なる色の分光フィルタを用いている。
図６の（ｃ）は、参照画素がカラーフィルタを設けていない画素である場合を例示しており、参照画素をライン方向に設けている。なお、図６に示す参照画素の配列は、例示であって図６の配列に限られない。
撮像部２１は、色画素から信号を読み出して生成された画像信号と、退色のない参照画素から読み出して生成された参照信号を出力する。なお、参照画素を図６の（ａ）または図６の（ｂ）に示すように複数画素からなる画素ブロック毎に参照画素を設ければ、偏りなく参照画素を配置できる。また、図６の（ｃ）に示すように配置すれば、ライン読み出しを行うだけで容易に参照信号を生成できる。
図７は、第２の実施の形態の構成を例示している。画像処理部３０-2は、色情報生成部３２ｂ，３２ｃ、色情報比較部３３ｂ、比較情報蓄積部３４ｂおよび退色情報生成部３５ｂを有している。
色情報生成部３２ｂは、撮像部２１で生成された画像信号から色情報、例えば三原色の色成分毎のレベルを示す色情報を比較対象情報として生成して色情報比較部３３ｂへ出力する。
色情報生成部３２ｃは、撮像部２１で生成された参照信号から色情報を生成して比較対象情報とする。色情報生成部３２ｃは、参照画素がカラーフィルタを設けていない画素である場合、輝度レベルを示す情報を退色判別基準情報として生成する。また、色情報生成部３２ｃは、参照画素が分光フィルタを設けた画素である場合、カラーフィルタと等しい色成分について、色成分毎のレベルを示す退色判別基準情報を生成する。色情報生成部３２ｃは、生成した退色判別基準情報を色情報比較部３３ｂへ出力する。
色情報比較部３３ｂは、色情報生成部３２ｂで生成された比較対象情報と色情報生成部３２ｃで生成された退色判別基準情報を比較して、退色判別基準情報に対する比較対象情報の割合（退色のレベル）あるいは退色レベルが所定のレベルを超える退色を生じているか否かを示す比較情報を生成する。
色情報比較部３３ｂは、参照画素がカラーフィルタを設けていない画素である場合、色情報生成部３２ｂで生成された色情報（赤色成分Ｒと緑色成分Ｇと青色成分Ｂ）から式（１）に示すように輝度レベルを示す色情報Ｌrgbを比較対象情報として算出する。なお、式（１）において、係数ｋrは赤色成分の割合、係数ｋgは緑色成分の割合、係数ｋbは青色成分の割合を示している。
Ｌrgb＝ｋrＲ＋ｋgＧ＋ｋbＢ ・・・（１）
色情報比較部３３ｂは、カラーフィルタを設けていない参照画素の信号レベルを退色判別基準情報Ｌrefと比較して、比較対象情報Ｌrgbと退色判別基準情報Ｌrefを比較して、比較結果を示す比較情報を比較情報蓄積部３４ｂへ出力する。
色情報比較部３３ｂは、参照画素が分光フィルタを設けた画素である場合、色情報生成部３２ｂで生成された比較対象情報（赤色成分Ｒと緑色成分Ｇと青色成分Ｂ）と色情報生成部３２ｃで生成された退色判別基準情報（参照赤色成分Ｒrefと参照緑色成分Ｇrefと参照青色成分Ｂref）を色成分毎に比較する。色情報比較部３３ｂは、比較結果を示す比較情報を比較情報蓄積部３４ｂへ出力する。
なお、参照画素が図６の（ａ）に示すように設けられている場合、色情報比較部３３ｂは、例えば画素ブロック毎に比較情報を生成できる。また、参照画素が図６の（ｂ）に示すように設けられている場合、画素ブロック毎あるいは各色の参照画素を含む複数の画素ブロック毎に比較情報を生成できる。また、参照画素が図６の（ｃ）に示すように設けられている場合、例えば参照画素のラインを基準とした所定ライン幅の領域毎に比較情報を生成できる。
比較情報蓄積部３４ｂは、色情報比較部３３ｂで生成された比較情報を蓄積する。また、比較情報蓄積部３４ｂは、比較情報の蓄積結果である蓄積比較情報を退色情報生成部３５ｂへ出力する。
退色情報生成部３５ｂは、比較情報蓄積部３４ｂから供給された蓄積比較情報の統計処理等を行い、退色判別情報を算出する。例えば退色情報生成部３５ｂは、蓄積比較情報に基づき、例えば最後に蓄積された比較情報によって予め設定されている所定レベルよりも退色していることが示されたとき、所定レベルよりも退色していることを示す比較結果の継続期間や継続数を退色判別情報として算出する。退色情報生成部３５ｂは、所定レベルよりも退色していることを示す比較結果の継続期間や継続数が閾値を超えていた場合、退色が発生したと判別して、退色していることを示す退色情報を生成して退色情報利用部５０へ出力する。また、退色情報生成部３５ｂは、退色情報で退色していることを示すだけでなく退色レベルを退色情報に含めてもよい。
なお、比較情報蓄積部３４ｂは、必須の構成要素ではなく、色情報比較部３３ｂで生成した比較情報を退色情報生成部３５ｂに出力してもよい。比較情報蓄積部３４ｂを設けた場合、色情報比較部３３ｂ生成された比較情報にばらつきを生じても、蓄積比較情報に基づき安定した退色情報を生成できる。また、比較情報蓄積部３４ｂを設けない場合、画像処理部３０-2の構成を簡易とすることができる。
＜３－２．第２の実施の形態の動作＞
図８，図９は、第２の実施の形態の動作を例示したフローチャートであり、図８は退色の判別に用いる情報の処理動作、図９は退色情報の生成動作を示している。退色の判別に用いる情報の処理動作は撮像部の動作中に行い、退色情報の生成動作は、所定期間間隔で行う。
図８のステップＳＴ２１で画像処理部は画像信号を取得する。画像処理部３０-2は、撮像部２１で生成された画像信号を取得してステップＳＴ２２に進む。
ステップＳＴ２２で画像処理部は比較対象情報生成処理を行う。画像処理部３０-2は、ステップＳＴ２１で取得した画像信号に基づき、輝度あるいは色成分毎の信号レベルを示す色情報を比較対象情報として生成してステップＳＴ２３に進む。
ステップＳＴ２３で画像処理部は参照信号を取得する。画像処理部３０-2は、撮像部２１で生成された参照信号を取得してステップＳＴ２４に進む。
ステップＳＴ２４で画像処理部は退色判別参照情報生成処理を行う。画像処理部３０-2は、ステップＳＴ２３で取得した参照信号に基づき、輝度あるいは色成分毎の信号レベルを示す色情報を退色判別基準情報として生成してステップＳＴ２５に進む。
ステップＳＴ２５で画像処理部は情報比較処理を行う。画像処理部３０-2は、ステップＳＴ２２で生成した比較対象情報とステップＳＴ２４で生成した退色判別基準情報を比較して、比較結果に基づき比較情報を生成してステップＳＴ２６に進む。
ステップＳＴ２６で画像処理部は比較情報蓄積処理を行う。画像処理部３０-2は、ステップＳＴ２５で生成された比較情報を蓄積してステップＳＴ２１に戻る。
図９のステップＳＴ３１で画像処理部は蓄積比較情報を取得する。画像処理部３０-2は図８のステップＳＴ２６で比較情報蓄積処理によって比較情報を蓄積することで生成された蓄積比較情報を取得してステップＳＴ３２に進む。
ステップＳＴ３２で画像処理部は退色判別情報を算出する。画像処理部３０-2はステップＳＴ３１で取得された蓄積比較情報に基づき退色判別情報を算出する。画像処理部３０-2は、例えば所定レベルよりも退色していることを示す比較結果の継続期間や継続数を退色判別情報として算出してステップＳＴ３３に進む。
ステップＳＴ３３で画像処理部は退色発生であるか判別する。画像処理部３０-2はステップＳＴ３２で算出した退色判別情報が予め設定されている閾値を超えているか判別して、閾値を超えた退色が生じていると退色判別情報に基づき判別した場合はステップＳＴ３４に進み、閾値を超えた退色が生じていないと退色判別情報に基づき判別した場合はステップＳＴ３１に戻る。
ステップＳＴ３４で画像処理部は退色情報を生成する。画像処理部３０-2は、撮像部２０で用いられているカラーフィルタが閾値を超えた退色を生じていること等を示す退色情報を生成する。
このように、第２の実施の形態によれば、第１の実施の形態と同様に、退色状態を精度よく検出できるようになる。また、撮像部２１で生成された画像信号と参照信号に基づいて退色を判別できるので、外部機器で取得された情報等を用いることなくカラーフィルタの退色を検出できるようになる。
＜４．第３の実施の形態＞
次に、本技術の第３の実施の形態について説明する。第３の実施の形態は、比較対象情報として画像信号に基づいて生成した照度情報を累積した累積照度情報と環境情報を累積した累積環境情報、退色判別基準情報として照度情報と環境情報の累積結果に対するカラーフィルタの退色レベルの関係を示す情報を用いる場合を示している。
＜４－１．第３の実施の形態の構成＞
図１０は、第３の実施の形態の構成を例示している。画像処理部３０-3は、照度情報累積部３６と環境情報累積部３７と退色情報生成部３８を有している。
照度情報累積部３６は、撮像部２０から供給された画像信号に基づき照度情報を生成する。照度情報累積部３６は例えば撮像画における画素値の平均値を照度情報として累積して、撮像部２０のカラーフィルタが最初に使用されてから現在までの照度情報の時間積分値を累積照度情報として退色情報生成部３８へ出力する。
環境情報累積部３７は、環境情報生成部４０から供給された環境情報例えば温度計測値を累積して、撮像部２０のカラーフィルタが最初に使用されてから現在までの温度計測値の時間積分値を累積環境情報として退色情報生成部３８へ出力する。なお、環境情報累積部は、温度計測値に限らず湿度計測値を環境情報として用いてもよい。
退色情報生成部３８は、照度情報累積部３６から供給された累積照度情報と環境情報累積部３７から供給された累積温度情報に基づき、予め設定されている所定レベルを超える退色を生じているか否かを判別する。退色情報生成部３８は、累積照度情報と累積温度情報に対する退色レベルを示す特性（退色モデル等）を退色判別基準情報として予め記憶しており、この特性を利用して、照度情報累積部３６から供給された累積照度情報と環境情報累積部３７から供給された累積温度情報に基づき、退色レベルを判別する。また、累積照度情報に対する退色レベルを示す特性と累積温度情報に対する退色レベルを示す特性を個々に用いて、累積照度情報に基づく退色レベルと累積温度情報に基づく退色レベルを判別して、これらの退色レベルの統合してカラーフィルタの退色レベルとしてもよい。さらに、累積照度情報や累積温度情報をパラメータとして評価値の算出を行い、算出した評価値を退色レベルとしてもよい。退色情報生成部３８は、判別した退色レベルと予め設定されている閾値を比較して、比較結果に基づき閾値を超える退色を生じているか否かを示す退色情報を生成して、退色情報利用部５０へ出力する。また、退色情報生成部３８は、退色情報で退色していることを示すだけでなく、退色レベルを退色情報に含めてもよい。
＜４－２．第３の実施の形態の動作＞
図１１，図１２は、第３の実施の形態の動作を例示したフローチャートであり、図１１は退色の判別に用いる情報の処理動作、図１２は退色情報の生成動作を示している。退色の判別に用いる情報の処理動作は撮像部の動作中に行い、退色情報の生成動作は、所定期間間隔で行う。
図１１のステップＳＴ４１で画像処理部は画像信号を取得する。画像処理部３０-3は、撮像部２０で生成された画像信号を取得してステップＳＴ４２に進む。
ステップＳＴ４２で画像処理部は照度情報を累積する。画像処理部３０-3は、ステップＳＴ４１で取得した画像信号に基づき照度情報を生成する。さらに、画像処理部３０-3は、照度情報を累積してステップＳＴ４３に進む。
ステップＳＴ４３で画像処理部は環境情報を取得する。画像処理部３０-3は、環境情報生成部４０で生成された環境情報を取得してステップＳＴ４４に進む。
ステップＳＴ４４で画像処理部は環境情報を累積する。画像処理部３０-3は、ステップＳＴ４３で取得した環境情報を累積してステップＳＴ４１に戻る。
図１２のステップＳＴ５１で画像処理部は比較対象情報を取得する。画像処理部３０-3は図１１のステップＳＴ４２で累積した照度情報とステップＳＴ４４で累積した環境情報を比較対象情報として取得してステップＳＴ５２に進む。
ステップＳＴ５２で画像処理部は退色レベルを判別する推定する。画像処理部３０-3は、累積照度情報と累積温度情報に対する退色レベルを示す退色判別基準情報を用いて、ステップＳＴ５１で取得した比較対象情報に対応する退色レベルを判別してステップＳＴ５３に進む。
ステップＳＴ５３で画像処理部は退色発生であるか判別する。画像処理部３０-3はステップＳＴ５２で判別した退色レベルが予め設定されている閾値を超えているか判別して、閾値を超えた退色が生じていると判別した場合はステップＳＴ５４に進み、閾値を超えた退色が生じていないと判別した場合はステップＳＴ５１に戻る。
ステップＳＴ５４で画像処理部は退色情報を生成する。画像処理部３０-3は、撮像部２０で用いられているカラーフィルタが閾値を超えた退色を生じていることを示す退色情報を生成して出力する。
このように、第３の実施の形態によれば、第１および第２の実施の形態と同様に、退色状態を精度よく検出できるようになる。また、画像信号に基づいて生成した照度情報を累積した累積照度情報あるいは累積照度情報と環境情報を累積した累積環境情報を比較対象情報として、照度情報と環境情報の累積結果に対するカラーフィルタの退色レベルの関係を示す退色判別基準情報と比較対象情報に基づいて退色を判別できるので、認識処理等を行うことなくカラーフィルタの退色を容易に検出できるようになる。
＜５．他の実施の形態＞
画像処理部３０では、上述の第１乃至第３の実施の形態を組み合わせて行うようにしてもよい。例えば第１の実施の形態と第３の実施の形態を組み合わせて行うようにすれば、退色のない物体を長期間検出できない場合でも累積照度情報等に基づき、カラーフィルタの退色を検出できるようになる。
また、第２の実施の形態では、撮像部２１に退色を生じない参照画素を設けて、退色判別基準情報を生成したが、撮像部と別個に分光カメラを設けて、分光カメラによって退色判別基準情報を生成してもよい。
なお、上述の第１乃至第３の実施の形態や他の実施の形態に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
＜６．退色情報利用部について＞
次に、退色情報利用部について説明する。退色情報利用部５０は、画像処理部３０で退色状況が得られた場合、撮像部２０で取得された画像信号に対して退色補正を行う。
画像処理部３０では、カラーフィルタの退色レベルに応じた補正係数を用いて退色補正を行う。例えば退色レベルに応じて赤色補正係数Ｃrと緑色補正係数Ｃgと青色補正係数Ｃbを決定する。さらに、撮像部２０で生成された画像信号における赤色成分Ｒと緑色成分Ｇと青色成分Ｂに対して、式（２）～（４）の演算を行い、退色を補正した赤色成分Ｒｃと緑色成分Ｇｃと青色成分Ｂｃを算出する。
Ｒｃ＝Ｃr×Ｒ ・・・（２）
Ｇｃ＝Ｃg×Ｇ ・・・（３）
Ｂｃ＝Ｃb×Ｂ ・・・（４）
また、累積照度と累積温度に対する退色レベルを示す特性（退色モデル等）を利用して退色レベルを推定できることから、ルックアップテーブルによって退色を補正してもよい。例えば退色レベルに応じた赤色ルックアップテーブルＬＵＴｒを用いて式（５）に示すように、赤色成分Ｒに対応する退色補正後の赤色成分Ｒｃを算出する。同様に、退色レベルに応じた緑色ルックアップテーブルＬＵＴｇを用いて式（６）に示すように、緑色成分Ｇに対応する退色補正後の緑色成分Ｇｃと、退色レベルに応じた青色ルックアップテーブルＬＵＴｂを用いて式（７）に示すように、青色成分Ｂに対応する退色補正後の青色成分Ｂｃを算出する。
Ｒｃ＝ＬＵＴｒ［Ｒ］ ・・・（５）
Ｇｃ＝ＬＵＴｇ［Ｇ］ ・・・（６）
Ｂｃ＝ＬＵＴｂ［Ｂ］ ・・・（７）
さらに、画像処理部３０では、色成分毎に退色補正を行う場合に限らず各色成分Ｒ，Ｇ，Ｂのペアに対して退色補正後の各色成分Ｒｃ，Ｇｃ，Ｂｃを算出してもよい。例えば退色レベルに応じた補正係数Ｃｗを用いて式（８）の演算を行い各色成分Ｒｃ，Ｇｃ，Ｂｃを算出してもよく、式（９）～（１１）に示すように退色補正後の各色成分を算出してもよい。
［Ｒｃ，Ｇｃ，Ｂｃ］Ｔ ＝Ｃw［Ｒ，Ｇ，Ｂ］Ｔ ・・・（８）
Ｒｃ＝ＬＵＴｒ［Ｒ，Ｇ，Ｂ］ ・・・（９）
Ｇｃ＝ＬＵＴｇ［Ｒ，Ｇ，Ｂ］ ・・・（１０）
Ｂｃ＝ＬＵＴｂ［Ｒ，Ｇ，Ｂ］ ・・・（１１）
また、機械学習によって、退色補正を行うようにしてもよい。例えば、「Conditional GAN(Generative Adversarial Networks)」と呼ばれるカテゴリの手法を用いて、画像を変換するルールや退色した色を元の色に変換する学習を行い、学習結果に基づき退色を生じた画像を退色のない画像に変換する。また、機械学習では、「Pix2Pix」と呼ばれる手法を用いて、予め退色のない画像と退色を生じた画像間の関係を学習して、学習した関係に基づき撮像部で取得されている退色を生じた画像から退色のない画像を生成してもよい。また、「Cycle GAN」と呼ばれる手法を用いて退色のない画像を生成してもよい。
＜７．応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１３は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
以上説明した車両制御システム１００において、本実施の形態で示した撮像部２０（２１）はデータ取得部１０２、画像処理部３０-1（３０-2，３０-3）は車外情報検出部１４１に相当する。撮像部２０（２１）と画像処理部３０-1（３０-2，３０-3）を車両制御システム１００に設けて、車両の運転中に撮像部２０（２１）で周囲を撮像する場合、撮像部２０（２１）で撮像動作が長時間行われることから、携帯型の撮像装置に比べてカラーフィルタの退色を生じ易い。しかし、画像処理部３０-1（３０-2，３０-3）で生成された退色情報を利用して退色補正等を行うことができるので、カラーフィルタの退色による影響を軽減できるようになる。例えば、撮像部で生成された画像信号を用いて信号機や道路標示，車のナンバー等の認識処理のように色が重要なシーンである場合、あるいは路面検出や周囲の物体認識あるいは走行レーンの認識処理のように色を使うことで精度を向上できるシーンである場合、第１の実施の形態の比較領域検出部と同様に、退色情報に基づき認識処理で用いる辞書の切り替え等を行うことで、精度よく認識処理を行うことが可能となる。
また、本技術は、移動体制御システムに限らず、長時間の撮像動作が行われる監視システム等に適用して、カラーフィルタの退色による影響を軽減して監視動作等を行えるようにしてもよい。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
（１） カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する退色情報生成部を備える画像処理装置。
（２） 前記画像信号から色情報を生成して前記比較対象情報とする色情報生成部と
前記カラーフィルタの退色がない場合の色情報を前記退色判別基準情報として、前記比較対象情報と前記退色判別基準情報を比較する色情報比較部をさらに備え、
前記退色情報生成部は、前記色情報比較部の比較結果に基づき前記退色情報を生成する（１）に記載の画像処理装置。
（３） 前記画像信号に基づいて退色判別物体の画像領域を示す比較領域を検出する比較領域検出部をさらに備え、
前記色情報生成部は、前記比較領域検出部で検出された比較領域の画像信号から前記色情報を生成して前記比較対象情報として、
前記色情報比較部は、前記退色判別物体の色情報を前記退色判別基準情報とする（２）に記載の画像処理装置。
（４） 前記退色情報生成部は、前記色情報比較部の比較結果に基づき退色レベルを推定して、
前記比較領域検出部は、前記退色情報生成部で推定した退色レベルに応じて前記比較領域の検出を行う（３）に記載の画像処理装置。
（５） 前記比較領域検出部は、前記比較領域の検出を予め設定した画像領域内で行う（３）に記載の画像処理装置。
（６） 前記撮像部には、カラーフィルタを設けた色成分画素と退色を生じない参照画素が設けられており、
前記色情報生成部は、前記色成分画素で生成された前記画像信号から色情報を生成して前記比較対象情報として、
前記色情報比較部は、前記参照画素の信号に基づいて生成した色情報を前記退色判別基準情報とする（２）に記載の画像処理装置。
（７） 前記参照画素は、カラーフィルタが設けられていない画素である（６）に記載の画像処理装置。
（８） 前記参照画素は、前記カラーフィルタに代えて分光フィルタを設けた画素である（６）に記載の画像処理装置。
（９） 前記色成分画素と前記参照画素を設けた撮像部をさらに備える（６）乃至（８）のいずれかに記載の画像処理装置。
（１０） 前記色情報比較部の比較結果を示す比較情報を蓄積する比較情報蓄積部をさらに備え、
前記退色情報生成部は、前記比較情報蓄積部で蓄積された比較情報に基づき前記退色情報を生成する（２）乃至（９）のいずれかに記載の画像処理装置。
（１１） 前記画像信号に基づいて生成した照度情報を累積する照度情報累積部をさらに備え、
前記退色情報生成部は、前記照度情報累積部で累積された照度情報を前記比較対象情報として、照度情報の累積結果に対する前記カラーフィルタの退色レベルの関係を示す情報を前記退色判別基準情報として用いる（１）乃至（１０）のいずれかに記載の画像処理装置。
（１２） 前記画像信号の生成時における環境情報を累積して前記比較対象情報に含める環境情報累積部をさらに備え、
前記退色情報生成部は、前記環境情報累積部で累積された環境情報を前記比較対象情報に含めて、照度情報と環境情報の累積結果に対する前記カラーフィルタの退色レベルの関係を示す情報を前記退色判別基準情報として用いる（１１）に記載の画像処理装置。
（１３） 前記退色情報では、前記カラーフィルタの退色レベルが所定レベルを超えたこと、あるいは前記カラーフィルタの退色レベルを示す（１）乃至（１２）のいずれかに記載の画像処理装置。
１０・・・撮像システム
２０，２１・・・撮像部
３０，３０-1，３０-2，３０-3・・・画像処理部
３１・・・比較領域検出部
３２ａ，３２ｂ，３２ｃ・・・色情報生成部
３３ａ，３３ｂ・・・色情報比較部
３４ａ，３４ｂ・・・比較情報蓄積部
３５ａ，３５ｂ，３８・・・退色情報生成部
３６・・・照度情報累積部
３７・・・環境情報累積部
４０・・・環境情報生成部
５０・・・退色情報利用部
６０・・・画像利用部

Claims (14)

  1. カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する退色情報生成部を備え、
    前記画像信号から色情報を生成して前記比較対象情報とする色情報生成部と、
    前記カラーフィルタの退色がない場合の色情報を前記退色判別基準情報として、前記比較対象情報と前記退色判別基準情報を比較する色情報比較部と、
    前記色情報比較部の比較結果を示す比較情報を蓄積する比較情報蓄積部をさらに備え、
    前記退色情報生成部は、前記比較情報蓄積部で蓄積された比較情報に基づき前記退色情報を生成する
    画像処理装置。
  2. 前記画像信号に基づいて退色判別物体の画像領域を示す比較領域を検出する比較領域検出部をさらに備え、
    前記色情報生成部は、前記比較領域検出部で検出された比較領域の画像信号から前記色情報を生成して前記比較対象情報として、
    前記色情報比較部は、前記退色判別物体の色情報を前記退色判別基準情報とする
    請求項１に記載の画像処理装置。
  3. 前記退色情報生成部は、前記比較情報蓄積部で蓄積された比較情報に基づきさらに退色レベルを推定して、
    前記比較領域検出部は、前記退色情報生成部で推定した退色レベルに応じて前記比較領域の検出を行う
    請求項２に記載の画像処理装置。
  4. 前記比較領域検出部は、前記比較領域の検出を予め設定した画像領域内で行う
    請求項２に記載の画像処理装置。
  5. 前記撮像部には、カラーフィルタを設けた色成分画素と退色を生じない参照画素が設けられており、
    前記色情報生成部は、前記色成分画素で生成された前記画像信号から色情報を生成して前記比較対象情報として、
    前記色情報比較部は、前記参照画素の信号に基づいて生成した色情報を前記退色判別基準情報とする
    請求項１に記載の画像処理装置。
  6. 前記参照画素は、カラーフィルタが設けられていない画素である
    請求項５に記載の画像処理装置。
  7. 前記参照画素は、前記カラーフィルタに代えて分光フィルタを設けた画素である
    請求項５に記載の画像処理装置。
  8. 前記退色情報では、前記カラーフィルタの退色レベルが所定レベルを超えたこと、あるいは前記カラーフィルタの退色レベルを示す
    請求項１に記載の画像処理装置。
  9. カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を退色情報生成部で生成することを含み、
    色情報生成部で前記画像信号から色情報を生成して前記比較対象情報とすること、
    前記カラーフィルタの退色がない場合の色情報を前記退色判別基準情報として、前記比較対象情報と前記退色判別基準情報を色情報比較部で比較すること、
    前記色情報比較部の比較結果を示す比較情報を比較情報蓄積部で蓄積することをさらに含み、
    前記退色情報生成部は、前記比較情報蓄積部で蓄積された比較情報に基づき前記退色情報を生成する
    画像処理方法。
  10. カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する手順を有し、
    前記画像信号から色情報を生成して前記比較対象情報とする手順と、
    前記カラーフィルタの退色がない場合の色情報を前記退色判別基準情報として、前記比較対象情報と前記退色判別基準情報を比較する手順と、
    前記比較の結果を示す比較情報を蓄積する手順をさらに有し、
    前記退色情報を生成する手順では、前記蓄積された比較情報に基づき前記退色情報を生成する
    画像処理方法をコンピュータに実行させるためのプログラム。
  11. カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する退色情報生成部を備え、
    前記画像信号から色情報を生成して前記比較対象情報とする色情報生成部と、
    前記カラーフィルタの退色がない場合の色情報を前記退色判別基準情報として、前記比較対象情報と前記退色判別基準情報を比較する色情報比較部と、
    前記画像信号に基づいて退色判別物体の画像領域を示す比較領域を検出する比較領域検出部をさらに備え、
    前記色情報生成部は、前記比較領域検出部で検出された比較領域の画像信号から前記色情報を生成して前記比較対象情報として、
    前記色情報比較部は、前記退色判別物体の色情報を前記退色判別基準情報として、
    前記退色情報生成部は、前記色情報比較部の比較結果に基づき前記退色情報を生成する
    画像処理装置。
  12. カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する退色情報生成部を備え、
    前記画像信号から色情報を生成して前記比較対象情報とする色情報生成部と、
    前記カラーフィルタの退色がない場合の色情報を前記退色判別基準情報として、前記比較対象情報と前記退色判別基準情報を比較する色情報比較部と、
    前記画像信号に基づいて退色判別物体の画像領域を示す比較領域を検出する比較領域検出部をさらに備え、
    前記色情報生成部は、前記比較領域検出部で検出された比較領域の画像信号から前記色情報を生成して前記比較対象情報として、
    前記色情報比較部は、前記退色判別物体の色情報を前記退色判別基準情報として、
    前記比較領域検出部は、前記比較領域の検出を予め設定した画像領域内で行って、
    前記退色情報生成部は、前記色情報比較部の比較結果に基づき前記退色情報を生成する
    画像処理装置。
  13. カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する退色情報生成部を備え、
    前記画像信号に基づいて生成した照度情報を累積する照度情報累積部をさらに備え、
    前記退色情報生成部は、前記照度情報累積部で累積された照度情報を前記比較対象情報として、照度情報の累積結果に対する前記カラーフィルタの退色レベルの関係を示す情報を前記退色判別基準情報として用いる
    画像処理装置。
  14. カラーフィルタを用いた撮像部で生成された画像信号に基づく比較対象情報と退色判別基準情報に基づいて、前記カラーフィルタの退色を示す退色情報を生成する退色情報生成部を備え、
    前記画像信号に基づいて生成した照度情報を累積する照度情報累積部と
    前記画像信号の生成時における環境情報を累積する環境情報累積部をさらに備え、
    前記退色情報生成部は、前記照度情報累積部で累積された照度情報に前記環境情報累積部で累積された環境情報を含めて前記比較対象情報として、照度情報と環境情報の累積結果に対する前記カラーフィルタの退色レベルの関係を示す情報を前記退色判別基準情報として用いる
    画像処理装置。
JP2020550254A 2018-10-04 2019-09-13 画像処理装置と画像処理方法およびプログラム Active JP7318656B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018189010 2018-10-04
JP2018189010 2018-10-04
PCT/JP2019/036082 WO2020071091A1 (ja) 2018-10-04 2019-09-13 画像処理装置と画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2020071091A1 JPWO2020071091A1 (ja) 2021-09-02
JP7318656B2 true JP7318656B2 (ja) 2023-08-01

Family

ID=70054521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020550254A Active JP7318656B2 (ja) 2018-10-04 2019-09-13 画像処理装置と画像処理方法およびプログラム

Country Status (6)

Country Link
US (1) US11417023B2 (ja)
EP (1) EP3863282B1 (ja)
JP (1) JP7318656B2 (ja)
KR (1) KR20210069632A (ja)
CN (1) CN112771851A (ja)
WO (1) WO2020071091A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324502A (ja) 1999-05-14 2000-11-24 Konica Corp 撮像装置
JP2003153859A (ja) 2001-11-21 2003-05-27 Pentax Corp 電子内視鏡スコープ
JP2011103513A (ja) 2009-11-10 2011-05-26 Ricoh Co Ltd レンズユニット、本体ユニット及び撮像装置、
JP2012059865A (ja) 2010-09-08 2012-03-22 Sony Corp 撮像素子および撮像装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3715794B2 (ja) * 1998-09-08 2005-11-16 キヤノン株式会社 画像読み取り装置及び画像読み取り装置の制御方法
JP2004120540A (ja) * 2002-09-27 2004-04-15 Fuji Photo Film Co Ltd 撮像装置用校正装置
JP2004165910A (ja) * 2002-11-12 2004-06-10 Canon Inc 撮像装置を備えた機器
US20060017743A1 (en) * 2004-07-23 2006-01-26 Chan Victor G Display intensity filter
JP4350741B2 (ja) * 2006-12-05 2009-10-21 キヤノン株式会社 画像処理方法およびその装置
US8064691B2 (en) * 2007-05-15 2011-11-22 Creative Lifestyle, Inc. Method for identifying color in machine and computer vision applications
US20090244360A1 (en) * 2008-03-28 2009-10-01 Panasonic Corporation Camera System And Camera Body Composing The Same
JP2009246095A (ja) * 2008-03-31 2009-10-22 Epson Imaging Devices Corp 光センサ、光検出装置、電気光学装置及び電子機器
US8405727B2 (en) * 2008-05-01 2013-03-26 Apple Inc. Apparatus and method for calibrating image capture devices
JP2010032410A (ja) * 2008-07-30 2010-02-12 Toshiba Corp イメージセンサおよびその製造方法
US9378685B2 (en) * 2009-03-13 2016-06-28 Dolby Laboratories Licensing Corporation Artifact mitigation method and apparatus for images generated using three dimensional color synthesis
JP5563283B2 (ja) * 2009-12-09 2014-07-30 キヤノン株式会社 画像処理装置
JP5589760B2 (ja) * 2010-10-27 2014-09-17 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP6279825B2 (ja) * 2011-05-18 2018-02-14 ソニー株式会社 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP5765081B2 (ja) * 2011-06-22 2015-08-19 ソニー株式会社 撮像素子、電子機器、製造方法、および検査装置
JP5987326B2 (ja) * 2012-01-23 2016-09-07 ソニー株式会社 固体撮像素子および信号処理方法、並びに電子機器
JP5619041B2 (ja) * 2012-01-23 2014-11-05 富士フイルム株式会社 吐出不良検出方法及び装置、画像処理装置、プログラム、並びに印刷システム
KR20130104756A (ko) * 2012-03-15 2013-09-25 삼성전자주식회사 영상 촬영 장치 및 이에 포함된 이미지 센서
JP5900194B2 (ja) * 2012-07-02 2016-04-06 ソニー株式会社 信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器
JP5687676B2 (ja) * 2012-10-23 2015-03-18 オリンパス株式会社 撮像装置及び画像生成方法
JP2014103461A (ja) * 2012-11-16 2014-06-05 Jai Corporation 収差補正機能付き画像読取装置
JP6269816B2 (ja) * 2014-03-27 2018-01-31 日本電気株式会社 Ｐｏｓ端末、情報処理装置、ホワイトバランス調整方法およびプログラム
US9525865B2 (en) * 2014-10-23 2016-12-20 Texas Instruments Incorporated Fault detection and method of detecting faults in digital imaging systems
JP6426433B2 (ja) * 2014-10-27 2018-11-21 株式会社日立製作所 画像処理装置、画像処理方法、ｐｏｉ情報作成システム、警告システム、及び誘導システム
JP6436840B2 (ja) * 2015-04-07 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6275333B2 (ja) * 2015-05-21 2018-02-07 富士フイルム株式会社 赤外線撮像装置および赤外線撮像装置による信号補正方法
US10580149B1 (en) * 2017-06-26 2020-03-03 Amazon Technologies, Inc. Camera-level image processing
WO2019017081A1 (ja) * 2017-07-21 2019-01-24 ソニー株式会社 画像処理装置と画像処理方法とプログラムおよび撮像装置
US10812708B2 (en) * 2019-02-22 2020-10-20 Semiconductor Components Industries, Llc Imaging systems with weathering detection pixels
JP7507554B2 (ja) * 2019-11-20 2024-06-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324502A (ja) 1999-05-14 2000-11-24 Konica Corp 撮像装置
JP2003153859A (ja) 2001-11-21 2003-05-27 Pentax Corp 電子内視鏡スコープ
JP2011103513A (ja) 2009-11-10 2011-05-26 Ricoh Co Ltd レンズユニット、本体ユニット及び撮像装置、
JP2012059865A (ja) 2010-09-08 2012-03-22 Sony Corp 撮像素子および撮像装置

Also Published As

Publication number Publication date
EP3863282B1 (en) 2023-08-02
US11417023B2 (en) 2022-08-16
US20210350578A1 (en) 2021-11-11
CN112771851A (zh) 2021-05-07
EP3863282A1 (en) 2021-08-11
WO2020071091A1 (ja) 2020-04-09
JPWO2020071091A1 (ja) 2021-09-02
KR20210069632A (ko) 2021-06-11
EP3863282A4 (en) 2021-11-10

Similar Documents

Publication Publication Date Title
KR102533860B1 (ko) 화상 처리 장치 및 화상 처리 방법
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
JP7188394B2 (ja) 画像処理装置及び画像処理方法
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
KR102685934B1 (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
WO2020116195A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2019049762A1 (en) IMAGE PROCESSING, IMAGE PROCESSING METHOD, AND IMAGE FLOUD CORRECTION PROGRAM
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20200298849A1 (en) Information processing apparatus, information processing method, program, and vehicle
JP7380674B2 (ja) 情報処理装置と情報処理方法および移動制御装置と移動制御方法
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US11585898B2 (en) Signal processing device, signal processing method, and program
JP7409309B2 (ja) 情報処理装置と情報処理方法とプログラム
JP7318656B2 (ja) 画像処理装置と画像処理方法およびプログラム
WO2020158489A1 (ja) 可視光通信装置、可視光通信方法及び可視光通信プログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R151 Written notification of patent or utility model registration

Ref document number: 7318656

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151