JP7065409B2 - 処理システム、センサシステム、移動体、異常判定方法、及びプログラム - Google Patents

処理システム、センサシステム、移動体、異常判定方法、及びプログラム Download PDF

Info

Publication number
JP7065409B2
JP7065409B2 JP2018179431A JP2018179431A JP7065409B2 JP 7065409 B2 JP7065409 B2 JP 7065409B2 JP 2018179431 A JP2018179431 A JP 2018179431A JP 2018179431 A JP2018179431 A JP 2018179431A JP 7065409 B2 JP7065409 B2 JP 7065409B2
Authority
JP
Japan
Prior art keywords
circuit
circuits
processing
determination
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018179431A
Other languages
English (en)
Other versions
JP2020053776A (ja
Inventor
晴子 寺井
厳太朗 竹田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018179431A priority Critical patent/JP7065409B2/ja
Priority to CN201980016075.XA priority patent/CN111788828B/zh
Priority to PCT/JP2019/037076 priority patent/WO2020066933A1/ja
Priority to DE112019000569.3T priority patent/DE112019000569B4/de
Publication of JP2020053776A publication Critical patent/JP2020053776A/ja
Priority to US17/002,396 priority patent/US11663069B2/en
Application granted granted Critical
Publication of JP7065409B2 publication Critical patent/JP7065409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/079Root cause analysis, i.e. error or fault diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0706Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
    • G06F11/0721Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment within a central processing unit [CPU]
    • G06F11/0724Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment within a central processing unit [CPU] in a multiprocessor or a multi-core unit
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing Electric Properties And Detecting Electric Faults (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

本開示は、処理システム、センサシステム、移動体、異常判定方法、及びプログラムに関する。より詳細には、本開示は、センサからの入力信号の信号処理を行う処理システム、センサシステム、移動体、異常判定方法、及びプログラムに関する。
従来、画素アレイが第1の露光時間で取得した第1の画像情報と、画素アレイが第2の露光時間で取得した第2の画像情報とを合成した合成画像を出力する画像合成部を備えた撮像センサ(処理システム)があった(例えば特許文献1参照)。
特開2017-28490号公報
特許文献1に開示されるような撮像センサ(処理システム)が車載電子システムに用いられる場合、車載電子システムでは高い安全性が要求されるため、撮像センサの故障の有無を監視する機能が必要になる。
ここで、処理システムの全体を二重化し、二重化された処理システムの出力を比較することで、故障の有無を監視する場合、処理システムの全体が二重化されるので回路の規模が大型になるという問題があった。
本開示の目的は、回路の規模の大型化を抑制しつつ、故障の有無を監視することが可能な処理システム、センサシステム、移動体、異常判定方法、及びプログラムを提供することにある。
本開示の一態様の処理システムは、それぞれセンサからの入力信号が入力され、互いに同じ機能を実現する回路部分が同じ構成である複数の回路と、判定回路と、合成回路と、を備える。前記複数の回路のうちの2以上の回路を、それぞれ前記入力信号の信号処理を行う2以上の処理回路とする。前記入力信号が画像データであり、前記2以上の処理回路にそれぞれ入力される2以上の入力信号が、露光時間が互いに異なる画像データであり、前記合成回路は、前記2以上の処理回路から出力される出力信号を合成する。前記複数の回路のうち前記2以上の処理回路以外の回路であって前記処理回路よりも少ない数の回路を参照用回路とする。前記判定回路は、前記2以上の処理回路のうちのいずれか一つである判定対象回路と前記参照用回路の各々が同じ入力信号に対して同じ信号処理を行って出力した出力信号の比較結果に基づいて、前記判定対象回路の異常判定を行い、前記判定回路が異常判定を行う前記判定対象回路が、前記2以上の処理回路の中で時間経過に伴って切り替わる。
本開示の一態様の処理システムは、インタフェース回路と、複数の回路と、判定回路と、を備える。前記インタフェース回路は、前記複数の回路の各々にセンサからの入力信号を入力させる。前記複数の回路は、それぞれ、前記センサからの前記入力信号が前記インタフェース回路を介して入力され、互いに同じ機能を実現する回路部分が同じ構成である。前記複数の回路のうちの2以上の回路を、それぞれ前記入力信号の信号処理を行う2以上の処理回路とし、前記複数の回路のうち前記2以上の処理回路以外の回路であって前記2以上の処理回路よりも少ない数の回路を参照用回路とする。前記判定回路は、前記2以上の処理回路のうちのいずれか一つである判定対象回路と前記参照用回路の各々が同じ入力信号に対して同じ信号処理を行って出力した出力信号の比較結果に基づいて、前記判定対象回路の異常判定を行い、前記判定回路が異常判定を行う前記判定対象回路が、前記2以上の処理回路の中で時間経過に伴って切り替わる。前記判定回路が、前記2以上の処理回路のうち一部の処理回路が異常であると判定した場合、前記インタフェース回路は、前
記一部の処理回路に入力される前記入力信号を、前記2以上の処理回路のうち残りの処理回路に入力させ、前記2以上の処理回路のうち残りの処理回路で前記入力信号の信号処理を行う。
本開示の一態様の処理システムは、それぞれセンサからの入力信号が入力され、互いに同じ機能を実現する回路部分が同じ構成である複数の回路と、判定回路と、を備える。前記複数の回路のうちの2以上の回路を、それぞれ前記入力信号の信号処理を行う2以上の処理回路とし、前記複数の回路のうち前記2以上の処理回路以外の回路であって前記2以上の処理回路よりも少ない数の回路を参照用回路とする。前記判定回路は、前記2以上の処理回路のうちのいずれか一つである判定対象回路と前記参照用回路の各々が同じ入力信号に対して同じ信号処理を行って出力した出力信号の比較結果に基づいて、前記判定対象回路の異常判定を行う。前記判定回路が異常判定を行う前記判定対象回路が、前記2以上の処理回路の中で時間経過に伴って切り替わる。前記2以上の処理回路のうちの一部が異常であると前記判定回路が判定した場合、前記2以上の処理回路のうち残りの処理回路で前記入力信号の信号処理を行う。前記参照用回路が異常であると前記判定回路が判定した場合、前記参照用回路が前記複数の回路のいずれかに変更される。
本開示の一態様のセンサシステムは、前記処理システムと、前記センサと、を備える。
本開示の一態様の移動体は、前記センサシステムと、前記センサシステムを搭載する移動体本体と、を備える。
本開示の一態様の異常判定方法は、前記処理システムの異常判定方法であって、それぞれセンサからの入力信号が入力され、互いに同じ機能を実現する回路部分が同じ構成である複数の回路のうち2以上の回路を、前記入力信号の信号処理を行う2以上の処理回路と、前記複数の回路のうち前記2以上の処理回路以外の回路であって前記2以上の処理回路よりも少ない数の回路を参照用回路と、前記2以上の処理回路のうちのいずれか一つである判定対象回路と前記参照用回路の各々が同じ入力信号に対して同じ信号処理を行って出力した出力信号の比較結果に基づいて、前記判定対象回路の異常判定を行い、前記判定回路が異常判定を行う前記判定対象回路を、前記2以上の処理回路の中で時間経過に伴って切り替える。
本開示の一態様のプログラムは、コンピュータシステムに、前記異常判定方法を実行させるためのプログラムである。
本開示によれば、回路の規模の大型化を抑制しつつ、故障の有無を監視することが可能な処理システム、センサシステム、移動体、異常判定方法、及びプログラムを提供することができる。
図1は、本開示の一実施形態に係る処理システムを含むセンサシステムのブロック図である。 図2は、同上のセンサシステムを搭載した移動体の説明図である。 図3は、同上のセンサシステムの動作を説明するフローチャートである。 図4は、同上のセンサシステムの動作を説明するタイミングチャートである。 図5は、同上の処理システムにおいて、1つの回路が故障した場合の状態を説明するブロック図である。 図6は、同上の処理システムにおいて、1つの回路が故障した場合の動作を説明するタイミングチャートである。
(実施形態)
(1)概要
本実施形態に係る処理システム1は、図1に示すように、それぞれセンサ2からの入力信号S1が入力される複数の回路20と、判定回路40と、を備える。
処理システム1は、複数の回路20のうちの2以上の回路20を、それぞれ入力信号S1の信号処理を行う2以上の処理回路A1とする。
処理システム1は、複数の回路20のうち2以上の処理回路A1以外の回路20であって、2以上の処理回路A1よりも少ない数の回路20を参照用回路B1とする。
判定回路40は、2以上の処理回路A1のうちのいずれか一つである判定対象回路の出力信号と、参照用回路B1の出力信号との比較結果に基づいて、判定対象回路の異常判定を行う。
ここにおいて、判定対象回路の出力信号と、参照用回路B1の出力信号との比較結果とは、判定対象回路の出力信号そのものと、参照用回路B1の出力信号そのものとを比較した比較結果に限定されない。例えば、判定回路40は、入力された信号に対して所定の処理を行う処理部に判定対象回路の出力信号を入力した場合の出力信号と、処理部に参照用回路B1の出力信号を入力した場合の出力信号との比較結果に基づいて、判定対象回路の異常判定を行ってもよい。処理部としては、例えば、露光時間が異なる複数の画像データを合成するHDR(High Dynamic Range)合成回路、入力信号に含まれる所定の成分を低減させるフィルタ回路などがある。ここで、判定対象回路の出力信号が入力される処理部と、参照用回路B1の出力信号が入力される処理部とは同じ回路でもよいし、同一の機能を有する、互いに異なる回路でもよい。
本実施形態では、判定回路40が、2以上の処理回路A1のいずれか1つを判定対象回路として異常判定を行っているので、2以上の処理回路A1の中で判定対象回路を変更することによって、全ての処理回路A1について異常判定を行うことができる。参照用回路B1の数は、2以上の処理回路A1の数よりも少ないので、2以上の処理回路A1のそれぞれについて異常判定を行うために2以上の処理回路A1と同数の参照用回路を備える場合に比べて、回路の規模が大型化するのを抑制できる。よって、本実施形態の処理システム1では、回路の規模の大型化を抑制しつつ、故障の有無を監視できる。
(2)詳細
以下、本実施形態に係る処理システム1及び処理システム1を備えるセンサシステム100について図面を参照して詳しく説明する。
処理システム1及びセンサシステム100は、一例として、移動体に搭載される。図2は、移動体としての自動車300を示す。自動車300は、センサシステム100と、センサシステム100が搭載される移動体本体としての車体301とを備えている。
本実施形態のセンサシステム100は、例えばイメージセンサのようなセンサ2からの入力信号S1を処理する。センサシステム100は、例えば自動車300の車室内に設けられたバックミラー302に取り付けられており、センサ2は自動車300の前方を撮影する。センサシステム100は、センサ2から出力される画像データである入力信号S1を信号処理して上位システム3(図1参照)に出力する。上位システム3は例えば自動車300に搭載されたECU(Electronic Control Unit)である。上位システム3は、センサ2からの画像データに基づいて、自動車300の周囲における障害物を検知したり、制動装置を制御したりする処理等を行う。
(2.1)処理システム
処理システム1は、インタフェース回路10と、複数(本実施形態では例えば4つ)の回路20と、処理部であるHDR合成回路30と、判定回路40と、制御回路50とを備える。また、処理システム1は、出力部25を更に備えている。本実施形態では処理システム1は例えば4つの回路20を備えており、以下の説明において、個々の回路20を特定して説明する場合、回路21,22,23,24と記載する場合もある。また、本実施形態では4つの回路20のうち3つの回路21,22,23を処理回路A1としており、個々の処理回路A1を特定して説明する場合、処理回路A11,A12,A13と記載する場合もある。また、本実施形態では2つのHDR合成回路30を備えており、以下の説明において、個々のHDR合成回路30を特定して説明する場合、HDR合成回路31,32と記載する場合もある。
本実施形態の処理システム1は、例えば、センサ2からの入力信号S1の処理を行う。本実施形態のセンサ2は、例えばCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ又はCCD(Charge Coupled Device)イメージセンサ等のイメージセンサである。本実施形態では、センサ2からの入力信号S1は画像データである。より詳細には、センサ2から2以上(本実施形態では例えば3つ)の処理回路A1にそれぞれ入力される2以上(本実施形態では例えば3つ)の入力信号S1が、露光時間が互いに異なる画像データである。以下の説明において、センサ2からの複数の入力信号を特定して説明する場合は、入力信号S11,S12,S13と記載する場合もある。ここで、センサ2からの3つの入力信号S11,S12,S13の中で、入力信号S11の露光時間が最も長く、入力信号S13の露光時間が最も短くなっている。なお、センサ2からの入力信号S11,S12,S13は、例えばカラー画像の画像データであるが、モノクロ画像の画像データでもよい。
上述のように、センサ2はイメージセンサであり、本実施形態の処理システム1は、例えば、カメラ用画像処理プロセッサ(ISP:Image Signal Processor)で実現されている。すなわち、処理システム1は、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを主構成とする。マイクロコントローラのメモリに記録されたプログラムを、マイクロコントローラのプロセッサが実行することにより、処理システム1の各機能が実現される。プログラムは、メモリに記録されていてもよいし、インターネット等の電気通信回線を通して提供されてもよく、メモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
制御回路50は、処理システム1の全体的な動作を制御する。
インタフェース回路10には、センサ2からの入力信号S11~S13が入力される。インタフェース回路10は、センサ2からの入力信号S11~S13を、複数の回路21~24に出力する。具体的には、インタフェース回路10は、複数の回路20の各々にセンサ2からの入力信号S1を入力させる。インタフェース回路10は、参照用回路B1に対して、判定対象回路と同じ入力信号S1を入力させる。
本実施形態の処理システム1は、複数の回路21~24のうち入力信号S11~S13と同数(つまり3つ)の回路21,22,23を、それぞれ入力信号S11,S12,S13に対して信号処理を行う処理回路A11,A12,A13とする。また、処理システム1は、複数の回路21~24のうち処理回路A11,A12,A13以外の回路24を参照用回路B1とする。つまり、参照用回路B1の数は1つであり、処理回路A11,A12,A13の数よりも少ない。したがって、インタフェース回路10は、センサ2からの入力信号S11を処理回路A11に、入力信号S12を処理回路A12に、入力信号S13を処理回路A13にそれぞれ出力する。また、インタフェース回路10は、判定対象回路(処理回路A11,A12,A13のいずれか)に入力される入力信号S1と同じ入力信号S1を参照用回路B1に出力する。つまり、参照用回路B1に入力される入力信号S1nは、処理回路A11,A12,A13のうち判定対象回路とされる処理回路A1の入力信号S1と同じ信号である。例えば、判定対象回路が処理回路A11であれば、インタフェース回路10は、処理回路A11の入力信号S11を参照用回路B1に出力しており、参照用回路B1の入力信号S1nは処理回路A11の入力信号S11となる。本実施形態では、判定回路40が異常判定を行う判定対象回路が、2以上の処理回路A1(本実施形態では3つの処理回路A11~A13)の中で時間経過に伴って切り替わる。処理システム1の制御回路50が、参照用回路B1に入力させる入力信号S1nを時間経過に伴って変更することで、判定対象回路を2以上の処理回路A1の中で時間経過に伴って切り替えている。
複数の回路20(処理回路A11~A13及び参照用回路B1)は、互いに同じ回路構成である。複数の回路21~24は互いに同じ回路構成を有しているので、以下では回路21を例にして回路構成を説明し、他の回路22~24の回路構成については説明を省略する。本実施形態では処理システム1がカメラ用画像処理プロセッサで実現されており、複数の回路20はそれぞれカメラ用画像処理プロセッサがプログラムを実行することによって実現されている。なお、複数の回路20が互いに同じ回路構成であるとは、複数の回路20が完全に同一の回路構成を有することに限定されず、各回路20の機能を実現する主要な回路部分が同じであれば、各回路20の一部が異なっていてもよい。
回路21は、ホワイトバランス調整部201と、画素補正部202と、増幅部203と、を備える。処理システム1の制御回路50は、複数の回路20の各々について、入力信号S1の信号処理に関するパラメータを設定する。ここにおいて、パラメータは、ホワイトバランス調整部201、画素補正部202、及び増幅部203等の調整値等である。処理システム1の制御回路50が複数の回路20の各々について処理対象の入力信号S1に応じたパラメータを設定することで、複数の回路20の各々が処理対象の入力信号S1に応じた信号処理を行うことができる。本実施形態では入力信号S11,S12,S13が互いに露光時間が異なる画像データであるので、複数の回路20の各々には入力される入力信号S11,S12,S13の露光時間に応じたパラメータが設定される。すなわち、複数の回路20の各々には、入力信号S1の信号処理に関するパラメータが設定される。参照用回路B1(具体的には、参照用回路B1となる回路24)に設定されるパラメータが変更されることによって、判定対象回路が切り替わる。具体的には、処理システム1の制御回路50が、判定対象回路と同じパラメータを参照用回路B1に設定し、インタフェース回路10から参照用回路B1に判定対象回路と同じ入力信号S1を入力させることで、判定対象回路が切り替わる。
回路21のホワイトバランス調整部201は、センサ2からインタフェース回路10を介して入力される入力信号S11の画素値を補正することで、画像データである入力信号S11のホワイトバランスを調整する。ホワイトバランスの調整方法は周知であるので、詳細な説明は省略する。
回路21の画素補正部202は、例えば、画像データである入力信号S11の各画素の画素値をもとに、画素値が異常な値となっている欠陥画素の画素値を、当該欠陥画素の近傍画素の画素値をもとに補正する処理等を行う。
増幅部203は、例えば、画像データである入力信号S11の各画素の画素値を増幅する処理等を行う。
上述のように、複数の回路20の各々は、ホワイトバランス調整部201と画素補正部202と増幅部203とを備え、センサ2からインタフェース回路10を介して入力される入力信号S1に所定の信号処理を行う。回路20は、入力信号S1に所定の信号処理を行って得た信号(画像データ)を出力部25に出力する。なお、各回路20が行う信号処理の処理内容は一例であり、各回路20が実施する信号処理の処理内容は適宜変更が可能である。
出力部25は、複数の回路21,22,23,24(つまり、処理回路A11,A12,A13及び参照用回路B1)のそれぞれで信号処理された画像データS21,S22,S23,S2nをHDR合成回路31,32に出力する。より詳細には、出力部25は、処理回路A11,A12,A13で信号処理された画像データS21,S22,S23をHDR合成回路31に出力する。また、処理システム1の制御回路50が、出力部25を制御することによって、出力部25から参照用回路B1で信号処理された画像データS2nと2つの画像データSG1,SG2とをHDR合成回路32に出力させる。ここで、2つの画像データSG1,SG2は、3つの処理回路A11~A13のうち判定対象回路以外の2つの処理回路で信号処理された画像データである。なお、出力部25は必須の構成ではなく、適宜省略が可能である。
HDR合成回路30は、2以上の処理回路A1から出力される出力信号(画像データ)を合成する。具体的には、HDR合成回路30は、露光時間が異なる複数の画像データを合成することによって、個々の画像データよりもダイナミックレンジの広い画像データを生成する。
本実施形態の処理システム1は2つのHDR合成回路31,32を備えている。
一方のHDR合成回路31には、3つの処理回路A11,A12,A13でそれぞれ信号処理された3つの画像データS21,S22,S23が出力部25を介して入力される。HDR合成回路31は、互いに露光時間が異なる3つの画像データS21,S22,S23を合成して得た画像データS31を上位システム3及び判定回路40に出力する。
他方のHDR合成回路32には、出力部25を介して3つの画像データSG1,SG2,及びS2nが入力される。画像データSG1及びSG2は、3つの処理回路A11,A12,A13のうち、判定対象回路とされた処理回路A1以外の2つの処理回路A1から出力される画像データである。画像データS2nは、参照用回路B1から出力される画像データである。HDR合成回路32は、3つの画像データSG1,SG2,S2nを合成して得た画像データS32を判定回路40へ出力する。
例えば、判定対象回路が処理回路A11である場合、出力部25は、処理回路A11以外の2つの処理回路A12,A13からそれぞれ出力される画像データS22,S23を画像データSG1,SG2としてHDR合成回路32に出力する。また、判定対象回路が処理回路A11である場合、参照用回路B1には、判定対象回路である処理回路A11と同じ入力信号S11が入力されており、参照用回路B1が入力信号S11を信号処理して得た画像データS2nがHDR合成回路32に入力される。よって、HDR合成回路32には、判定対象回路である処理回路A11と同じ入力信号S11を参照用回路B1が信号処理して得た画像データS2nが入力される。HDR合成回路32は、画像データS2n,S22,及びS23を合成して得た画像データS32を出力する。
これにより、HDR合成回路31には、センサ2の入力信号S1を判定対象回路が信号処理した画像データが入力され、HDR合成回路32には、判定対象回路と同じ入力信号S1を参照用回路B1が信号処理した画像データSnが入力される。したがって、判定対象回路及び参照用回路B1が正常であれば、判定対象回路及び参照用回路B1から出力される画像データは同じになり、HDR合成回路31,32から出力される画像デ-タS31,S32も同じになる。一方、判定対象回路及び参照用回路B1の少なくとも一方が異常であれば、判定対象回路及び参照用回路B1から出力される画像データは少なくとも一部が異なる。よって、判定対象回路及び参照用回路B1の少なくとも一方が異常であれば、HDR合成回路31,32から出力される画像デ-タS31,S32も少なくとも一部が異なる。
判定回路40は、HDR合成回路31から出力される画像データS31と、HDR合成回路32から出力される画像データS32とを比較し、比較結果に基づいて判定対象回路の異常の有無を判定する。判定回路40は、判定対象回路の異常の有無を判定した結果を上位システム3と制御回路50とに出力する。
判定回路40は、例えば二次元画像の画像データS31,S32の各画素の画素値を比較する。判定回路40は、画像データS31,S32の各画素の画素値が一致している場合、判定対象回路と参照用回路B1とに同じ入力信号S1を入力した場合の出力が同じであるので、判定対象回路が正常であると判定する。一方、判定回路40は、画像データS31,S32の各画素の画素値が一部でも一致していない場合、判定対象回路と参照用回路B1とに同じ入力信号S1を入力した場合の出力が異なっているので、判定対象回路である処理回路A1が異常であると判定する。また、判定回路40は、3つの処理回路A11,A12,A13の中で判定対象回路を時間経過に伴って変更させながら、判定対象回路の異常判定を行っている。そして、判定回路40は、3つの処理回路A11,A12,A13が全て異常であると判定した場合、処理回路A11,A12,A13ではなく、参照用回路B1である回路24が異常であると判定する。なお、判定回路40は、二次元画像の画像データS31,S32に対して、CRC(Cyclic Redundancy Check)などの誤り検出符号を用いた誤り検出を行うことで、画像データS31,S32が同一であるか否かを判定してもよい。
(2.2)センサシステム
センサシステム100は、上記の処理システム1と、センサ2とを備える。
センサ2から処理システム1に入力される入力信号S1は例えば画像データである。
センサシステム100では、センサ2からの画像データのような入力信号S1を処理して、上位システム3に出力する。上位システム3には、センサシステム100のHDR合成回路31で合成された画像データS31が入力されており、上位システム3は、センサシステム100で処理された画像データS31を自動車300の制御等に利用することができる。
(2.3)動作
処理システム1及びセンサシステム100の動作を図3及び図4に基づいて説明する。図3は、3つの処理回路A11~A13について異常判定を1巡して行う動作を説明するフローチャートである。図4は処理回路A11~A13及び参照用回路B1に入力される入力信号を説明するタイミングチャートである。
処理システム1のインタフェース回路10は、所定の周期TA1(例えば、30fps(frame per second)の時間間隔)でセンサ2からセンサ信号(入力信号S1)を取得する(図3のST1)。換言すると、センサ2からインタフェース回路10に所定の周期TA1ごとに入力信号S1(S11~S13)が入力される。
時点t0においてセンサ2からインタフェース回路10に入力信号S1が入力されると、インタフェース回路10は、処理回路A11~A13及び参照用回路B1にセンサ2からの入力信号S1を入力させる(図3のST2)。ここで、インタフェース回路10は、処理回路A11,A12,A13に対してそれぞれ入力信号S11,S12,S13を入力させる。また、インタフェース回路10は、各フレームFR0~FR5での判定対象回路に入力されるセンサ2の入力信号S1を入力信号S1nとして参照用回路B1に入力させる。例えば、時点t0~t1のフレームFR0では、判定回路40が処理回路A11を判定対象回路としているので、インタフェース回路10は、参照用回路B1に対して処理回路A11の入力信号S11を入力させる。なお、判定回路40は、フレームFR0~FR5ごとに判定対象回路を切り替えており、判定対象回路を処理回路A11→A12→A13→A11→…の順番で周期的に変更している。そのため、インタフェース回路10は、フレームFR0~FR5ごとに参照用回路B1に入力させる入力信号S1nを、入力信号S11→S12→S13→S11→…の順番に時間経過に伴って周期的に変更している。これにより、本実施形態の判定回路40は、3フレーム分の期間TA2(例えば100ミリ秒)で3つの処理回路A11~A13の全てについて異常判定を終えることができる。すなわち、判定回路40は、フレームFR0~FR5ごとに判定対象回路を切り替えて異常判定を行うことによって、所定の期間TA2が経過するまでの間に、各処理回路A1の異常を検知することができる。
処理回路A11,A12,A13及び参照用回路B1に入力信号S11,S12,S13,S1nが入力されると、処理回路A11,A12,A13及び参照用回路B1は入力信号に対して映像信号処理を行う(図3のST3)。
このとき、処理回路A11,A12,A13によって信号処理された画像データS21,S22,S23は出力部25を介してHDR合成回路31に出力される。HDR合成回路31は、画像データS21,S22,S23を合成して得た画像データS31を上位システム3と判定回路40とに出力する。これにより、センサシステム100は各フレームにおいてHDR合成回路31で合成して得た画像データS31を上位システム3に出力でき、上位システム3はセンサシステム100から入力された画像データS31を、自動車300の制御等に利用することができる。
また、フレームFR0において、参照用回路B1には、当該フレームでの判定対象回路である処理回路A11の入力信号S11が入力信号S1nとして入力される。フレームFR0において、処理システム1の制御回路50は、判定対象回路の処理回路A11に設定されるパラメータと同じパラメータを参照用回路B1に設定し、参照用回路B1は、入力信号S11に対して処理回路A11と同じ信号処理を行う。そして、フレームFR0では、処理システム1の制御回路50は、出力部25からHDR合成回路32に、処理回路A12,A13の画像データS22,S23である画像データSG1,SG2と、参照用回路B1の画像データS2nとを出力させる。HDR合成回路32は、画像データS22,S23,S2nを合成して得た画像データS32を判定回路40に出力する。
フレームF0において、判定回路40は、HDR合成回路31,32から画像データS31,S32が入力されると、画像データS31,S32を比較することによって判定対象回路である処理回路A11の異常判定を行う(図3のST4)。判定回路40は、画像データS31,S32の各画素の値を比較する。判定回路40は、画像データS31,S32の各画素の値が一部でも異なっていれば、判定対象回路(フレームFR0では処理回路A11)が異常であると判定し、判定結果を上位システム3に出力する。これにより、上位システム3は、処理システム1の回路20での異常を把握することができる。一方、判定回路40は、画像データS31,S32の各画素の値が全て一致していれば、判定対象回路(フレームFR0では処理回路A11)が正常であると判定する。
次に、処理システム1の制御回路50は、全ての処理回路A11~A13について異常判定を行ったか否か、換言すれば、3つの処理回路A11~A13に対する異常判定が1巡したか否かを判定する(図3のST5)。
ここで、ステップST5において3つの処理回路A11~A13に対する異常判定が1巡していないと判定されると(ST5:No)、処理システム1の制御回路50は、判定対象回路を変更して(図3のST6)、ST1~ST5の処理を繰り返し行う。例えば、フレームF0での異常判定が終了すると、処理システム1の制御回路50は、フレームF1において判定対象回路を処理回路A12とし、ST1~ST5の処理を行うことで処理回路A12の異常判定を行う。また、フレームF1での異常判定が終了すると、処理システム1の制御回路50は、フレームF2において判定対象回路を処理回路A13とし、ST1~ST5の処理を行うことで処理回路A13の異常判定を行う。
一方、ステップST5において3つの処理回路A11~A13に対する異常判定が1巡したと判定されると(ST5:Yes)、処理システム1の制御回路50は、1つの期間TA2での異常判定を終了する。ここで、判定回路40は、3つの処理回路A11~A13に対する異常判定が1巡した場合に、3つの処理回路A11~A13が全て異常であると判定した場合、処理回路A11~A13ではなく参照用回路B1が異常であると判定する。そして、判定回路40は、異常の判定結果を上位システム3に出力する。その後、次のフレームがくると、処理システム1の制御回路50は、3つの処理回路A11~A13に対する異常判定処理を再開しており、3つの処理回路A11~A13に対する異常判定処理を繰り返すことで、各処理回路A1の異常の有無を常時監視できる。
以上のようにして判定回路40は、3つの処理回路A11~A13の各々について異常判定を行っている。本実施形態の処理システム1では、判定回路40が、2以上の処理回路A1(本実施形態では3つの処理回路A11~A13)の全てについて異常判定を行う間に、同じ処理回路A1について異常判定を複数回行わないように、判定対象回路が切り替わる。具体的には、処理システム1の制御回路50が、判定回路40が、2以上の処理回路A1の全てについて異常判定を行う間に同じ処理回路A1について異常判定を複数回行わないように、参照用回路B1に設定するパラメータと参照用回路B1の入力信号S1nとを変更することで判定対象回路を切り替えている。これにより、処理システム1は、3フレームで3つの処理回路A11~A13の全てについて異常判定を行うことができ、処理回路A11~A13の全てについて異常判定を行うのに要する時間を短縮できる。換言すれば、処理システム1は、処理回路A11~A13の各々について異常の発生を検知するまでの時間を短縮できる。なお、判定回路40は、時間経過に伴って3つの処理回路A11~A13の中で判定対象回路を所定の順番で変更しているが、判定対象回路をランダムに変更してもよい。
また、判定回路40は、3つの処理回路A11~A13の全てについて異常判定を行うまで間に、特定の処理回路A1について異常判定が2回以上行われるように判定対象回路を変更してもよい。例えば重要度が高い処理回路A1ほど異常判定が行われる頻度が高くなるように、処理システム1の制御回路50が判定対象回路を変更することによって、重要度が高い処理回路A1の異常を早期に検出することができる。
上述のように、本実施形態の処理システム1では、判定回路40が、センサ2からの入力信号S1を処理する複数の処理回路A1の各々について異常の有無を常時監視している。ここで、処理システム1では、2以上の処理回路A1のうちの一部が異常であると判定回路40が判定した場合、2以上の処理回路A1のうち残りの処理回路A1で入力信号S1の信号処理を行う。本実施形態では、処理回路A1の数が3つであり、いずれかの処理回路A1が異常になると、処理回路A1の数が2つになるので、処理回路A1で処理できるセンサ2の入力信号が1つ減る。よって、処理システム1の制御回路50は、センサ2からの3つの入力信号S11,S12,S13のうちの2つ(例えば入力信号S11,S12)を残りの処理回路A1で信号処理することで、動作を継続する。
例えば、処理回路A11として用いられていた回路21が異常であると判定回路40が判定した場合、処理システム1の制御回路50は、図5に示すように、回路22,23をそれぞれ処理回路A11,A12とする。
制御回路50は、回路22に入力信号S11に対応したパラメータを設定し、回路23に入力信号S12に対応したパラメータを設定する。また、制御回路50は、インタフェース回路10を制御し、インタフェース回路10により、回路22を用いる処理回路A11にセンサ2の入力信号S11を入力させ、回路23を用いる処理回路A12にセンサ2の入力信号S12を入力させる(図6参照)。出力部25は、処理回路A11,A12によって生成された画像データS21,S22をHDR合成回路31に出力する。HDR合成回路31は、処理回路A11,A12から出力部25を介して入力される画像データS21,S22を合成して画像データS31を生成し、この画像データS31を上位システム3と判定回路40とに出力する。
また、制御回路50はインタフェース回路10を制御し、インタフェース回路10により、各フレームにおいて、判定対象回路に入力される入力信号を入力信号S1nとして参照用回路B1に入力させる(図6参照)。出力部25は、処理回路A11,A12のうち判定対象回路以外の処理回路からの画像データSG1と、参照用回路B1の画像データS2nとをHDR合成回路32に出力させる。HDR合成回路32は、画像データS2n,SG1を合成して画像データS32を生成し、この画像データS32を判定回路40に出力する。
そして、判定回路40が、HDR合成回路31,32の画像データS31,S32を比較することで判定対象回路の異常の有無を判定する。これにより、判定回路40は、2フレーム分の期間TA3で2つの処理回路A11,A12の全てについて異常判定を終えることができる。したがって、複数の回路20の一部が異常となった場合でも、少なくとも3つの回路20が正常であれば、処理システム1は、3つの回路20のうちの一つを参照用回路B1とし、残りの2つの回路を処理回路A1とすることで動作を継続することができる。
ここにおいて、判定回路40が、2以上の処理回路A1のうち一部の処理回路A1が異常であると判定した場合、インタフェース回路10は、一部の処理回路A1に入力される入力信号S1を、2以上の処理回路A1のうち残りの処理回路A1に入力させる。例えば、回路21からなる処理回路A11が異常であると判定回路40が判定した場合、処理システム1の制御回路50は、異常と判定された処理回路A11に入力されていた入力信号S11を、残りの回路22に入力させるようにインタフェース回路10を制御する。これにより、異常と判定された処理回路A1で信号処理が行われていた入力信号S1を、残りの処理回路A1で信号処理することができる。
なお、判定回路40が、2以上の処理回路A1のうち一部の処理回路A1が異常であると判定した場合に、インタフェース回路10は、異常と判定された処理回路A1に入力されていた入力信号S11を別の回路20に入力させなくてもよい。例えば、回路23からなる処理回路A13が異常であると判定回路40が判定した場合、インタフェース回路10は残りの処理回路A11,A12に入力される入力信号S11,S12を変更しなくてもよい。この場合、残りの2つの処理回路A11,A12は入力信号S11,S12の信号処理を継続して行うことができる。
また、処理システム1では、参照用回路B1が異常であると判定回路40が判定した場合、参照用回路B1が複数の回路20のいずれかに変更される。具体的には、処理システム1の制御回路50は、参照用回路B1が異常であると判定回路40が判定した場合、参照用回路B1を複数の回路20のうち異常と判定されていない回路20に変更する。例えば、参照用回路B1として用いられる回路24が異常であると判定回路40が判定した場合、処理システム1の制御回路50は、複数の回路21~24のうち異常と判定された回路24以外の回路のいずれかを参照用回路B1とする。例えば判定回路40が回路23を参照用回路B1とすると、処理回路A1の数が一つ減るが、処理システム1では回路21,22を処理回路A11,A12としてセンサ2の入力信号S11,S12の信号処理を行わせることで、動作を継続させることができる。
ところで、本実施形態では、インタフェース回路10が、判定対象回路が切り替わる時間間隔に応じた時間間隔で、参照用回路B1に入力する入力信号を変更している。換言すれば、処理システム1の制御回路50は、インタフェース回路10を制御し、判定対象回路が切り替わる時間間隔に応じて、参照用回路B1に入力する入力信号を変更する時間間隔を変更する。例えば、処理システム1の制御回路50は、入力信号S1の数に応じて、判定対象回路を変更する時間間隔を設定することができる。処理システム1の制御回路50は、所定の期間TA2内に全ての処理回路A1の異常判定を行えるように、判定対象回路を変更する時間間隔を設定する。このように、処理システム1の制御回路50が、判定対象回路を変更する時間間隔を設定することで、2以上の処理回路A1の全てについて異常判定が完了するまでの時間を調整できる。
(3)変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。
また、処理システム1及びセンサシステム100と同様の機能は、異常判定方法、コンピュータプログラム、又はプログラムを記録した非一時的な記録媒体等で具現化されてもよい。一態様に係る異常判定方法は、それぞれセンサ2からの入力信号が入力される複数の回路20のうち2以上の回路20を、入力信号S1の信号処理を行う2以上の処理回路A1とする。また、異常判定方法は、複数の回路20のうち2以上の処理回路A1以外の回路であって2以上の処理回路A1よりも少ない数の回路20を参照用回路B1とする。また、異常判定方法は、2以上の処理回路A1のうちのいずれか一つである判定対象回路の出力信号と、参照用回路B1の出力信号との比較結果に基づいて、判定対象回路の異常判定を行う。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、異常判定方法を実行させるためのプログラムである。
以下、上記の実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示における処理システム1及びセンサシステム100は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における処理システム1及びセンサシステム100としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、処理システム1における複数の機能が、1つの筐体内に集約されていることは処理システム1に必須の構成ではなく、処理システム1の構成要素は、複数の筐体に分散して設けられていてもよい。同様に、センサシステム100における複数の機能が、1つの筐体内に集約されていることはセンサシステム100に必須の構成ではなく、センサシステム100の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、処理システム1とセンサ2とが複数の筐体に分散して設けられていてもよい。さらに、処理システム1及びセンサシステム100の少なくとも一部の機能、例えば、処理回路A1、参照用回路B1、及び判定回路40のうちの一部の機能がクラウド(クラウドコンピューティング)等によって実現されてもよい。
上記の実施形態では、それぞれセンサ2からの入力信号が入力される回路20の数が4つであったが、回路20の数は4つに限定されない。例えばセンサ2からの入力信号S1の数がn個(nは正の整数)であれば、回路20の数は(n+1)以上であればよい。
上記の実施形態では、参照用回路B1の数が1つであったが、参照用回路B1の数が1つに限定されない。参照用回路B1の数は、処理回路A1の数よりも少なければ、2つ以上でもよい。参照用回路B1の数が2つ以上であれば、2つ以上の参照用回路B1で互いに異なる判定対象回路の異常判定を並行して行うことができ、複数の処理回路A1の全てについて異常判定を完了するまでの時間を短縮できる。よって、処理システム1は、複数の処理回路A1の各々について異常を検知するまでの時間を短縮できる。
上記の実施形態では、インタフェース回路10に入力される複数の入力信号S1が、1つのセンサ2から入力される、露光時間が互いに異なる信号であったが、インタフェース回路10に入力される入力信号S1は、露光時間が互いに異なる信号に限定されない。
例えば、インタフェース回路10に入力される複数の入力信号S1は、複数のセンサ2から入力される信号でもよい。例えば、複数の入力信号S1が、複数のイメージセンサから入力される複数の画像データでもよい。インタフェース回路10は、複数のイメージセンサの各々から入力される画像データを、複数の回路20のうち対応する回路20に出力する。例えば、複数の回路20は、それぞれ入力された画像データを同期をとりながら処理する。また、参照用回路B1となる回路24には、判定対象回路である回路20と同じ入力信号が入力され、判定対象回路と同じ処理を行う。これにより、判定回路40は、判定対象回路である回路20の出力信号と、参照用回路B1となる回路24の出力信号との比較結果に基づいて、判定対象回路の異常判定を行うことができる。
また、センサ2はイメージセンサに限定されず、例えば、ドップラーレーダ、超音波センサ、LiDAR(Light Detection and Ranging)などの物体検知センサでもよい。インタフェース回路10には複数のセンサからの複数の入力信号S1が入力され、複数の回路20は入力信号に対して同じ処理を行う。参照用回路B1となる回路24には、判定対象回路である回路20と同じ入力信号が入力され、判定対象回路と同じ処理を行う。これにより、判定回路40は、判定対象回路である回路20の出力信号と、参照用回路B1となる回路24の出力信号との比較結果に基づいて、判定対象回路の異常判定を行うことができる。
(まとめ)
以上説明したように、第1の態様に係る処理システム(1)は、それぞれセンサ(2)からの入力信号(S1)が入力される複数の回路(20)と、判定回路(40)と、を備える。処理システム(1)は、複数の回路(20)のうちの2以上の回路(20)を、それぞれ入力信号(S1)の信号処理を行う2以上の処理回路(A1)とする。処理システム(1)は、複数の回路(20)のうち2以上の処理回路(A1)以外の回路(20)であって2以上の処理回路(A1)よりも少ない数の回路(20)を参照用回路(B1)とする。判定回路(40)は、2以上の処理回路(A1)のうちのいずれか一つである判定対象回路の出力信号と、参照用回路(B1)の出力信号との比較結果に基づいて、判定対象回路の異常判定を行う。
この態様によれば、回路の規模の大型化を抑制しつつ、故障の有無を監視することが可能な処理システム(1)を提供することができる。
第2の態様に係る処理システム(1)では、第1の態様において、複数の回路(20)は、互いに同じ回路構成である。
この態様によれば、同じ回路構成である複数の回路(20)について異常判定を行うことができる。
第3の態様に係る処理システム(1)では、第1又は2の態様において、判定回路(40)が異常判定を行う判定対象回路が、2以上の処理回路(A1)の中で時間経過に伴って切り替わる。
この態様によれば、判定対象回路が2以上の処理回路(A1)の中で時間経過に伴って切り替えられることで、参照用回路(B1)の数を低減することができる。
第4の態様に係る処理システム(1)では、第3の態様において、複数の回路(20)の各々には、入力信号(S1)の信号処理に関するパラメータが設定される。参照用回路(B1)に設定されるパラメータが変更されることによって、判定対象回路が切り替わる。
この態様によれば、参照用回路(B1)に設定されるパラメータを変更することで判定対象回路を変更することができる。
第5の態様に係る処理システム(1)は、第3又は4の態様において、複数の回路(20)の各々にセンサ(2)からの入力信号(S1)を入力させるインタフェース回路(10)を、更に備える。インタフェース回路(10)は、参照用回路(B1)に対して、判定対象回路と同じ入力信号(S1)を入力させる。
この態様によれば、インタフェース回路(10)が、参照用回路(B1)に対して、判定対象回路と同じ入力信号(S1)を入力させることで、判定対象回路の出力信号と参照用回路(B1)の出力信号との比較結果に基づいて異常判定を行うことができる。
第6の態様に係る処理システム(1)では、第5の態様において、インタフェース回路(10)は、判定対象回路が切り替わる時間間隔に応じた時間間隔で、参照用回路(B1)に入力する入力信号(S1)を変更する。
この態様によれば、参照用回路(B1)に入力する入力信号(S1)を変更する時間間隔に応じて、判定対象回路が切り替わる時間間隔を調整できる。
第7の態様に係る処理システム(1)では、第3~6のいずれかの態様において、判定回路(40)が、2以上の処理回路(A1)の全てについて異常判定を行う間に、同じ処理回路(A1)について異常判定を複数回行わないように、判定対象回路が切り替わる。
この態様によれば、2以上の処理回路(A1)の全てについて異常判定が完了するまでの時間を調整できる。
第8の態様に係る処理システム(1)では、第1~7のいずれかの態様において、入力信号(S1)が画像データである。
この態様によれば、画像データを処理する処理システム(1)において、回路の規模の大型化を抑制しつつ、故障の有無を監視することができる。
第9の態様に係る処理システム(1)では、第8の態様において、2以上の処理回路(A1)にそれぞれ入力される2以上の入力信号(S1)が、露光時間が互いに異なる画像データである。処理システム(1)は、2以上の処理回路(A1)から出力される出力信号を合成する合成回路(30)を、更に備える。
この態様によれば、露光時間が互いに異なる画像データを合成することで、個々の画像データよりもダイナミックレンジを広げた画像データを生成することができる。
第10の態様に係る処理システム(1)では、第1~9のいずれかの態様において、2以上の処理回路(A1)のうちの一部が異常であると判定回路(40)が判定した場合、所定の処理を行う。所定の処理は、2以上の処理回路(A1)のうち残りの処理回路(A1)で入力信号(S1)の信号処理を行う処理である。
この態様によれば、2以上の処理回路(A1)のうちの一部が異常となった場合でも、残りの処理回路(A1)で入力信号(S1)の信号処理を継続して行うことができる。
第11の態様に係る処理システム(1)は、第10の態様において、複数の回路(20)の各々にセンサ(2)からの入力信号(S1)を入力させるインタフェース回路(10)を、更に備える。判定回路(40)が、2以上の処理回路(A1)のうち一部の処理回路が異常であると判定した場合、インタフェース回路(10)は、一部の処理回路に入力される入力信号(S1)を、2以上の処理回路(A1)のうち残りの処理回路に入力させる。
この態様によれば、2以上の処理回路(A1)のうちの一部が異常となった場合でも、残りの処理回路(A1)で入力信号(S1)の信号処理を継続して行うことができる。
第12の態様に係る処理システム(1)では、第10又は11の態様において、参照用回路(B1)が異常であると判定回路(40)が判定した場合、参照用回路(B1)が複数の回路(20)のいずれかに変更される。
この態様によれば、参照用回路(B1)が異常であると判定された場合でも、参照用回路(B1)を変更することで、処理回路(A1)の異常判定を継続して行うことができる。
第13の態様に係るセンサシステム(100)は、第1~12のいずれかの態様の処理システム(1)と、センサ(2)と、を備える。
この態様によれば、回路の規模の大型化を抑制しつつ、故障の有無を監視することが可能な処理システム(1)を備えるセンサシステム(100)を提供することができる。
第14の態様に係る移動体(300)は、第13の態様のセンサシステム(100)と、センサシステム(100)を搭載する移動体本体(301)と、を備える。
この態様によれば、回路の規模の大型化を抑制しつつ、故障の有無を監視することが可能なセンサシステム(100)を備える移動体(300)を提供することができる。
第15の態様に係る異常検出方法は、それぞれセンサ(2)からの入力信号(S1)が入力される複数の回路(20)のうち2以上の回路(20)を、入力信号(S1)の信号処理を行う2以上の処理回路(A1)とする。異常検出方法は、複数の回路(20)のうち2以上の処理回路(A1)以外の回路(20)であって2以上の処理回路(A1)よりも少ない数の回路(20)を参照用回路(B1)とする。異常検出方法は、2以上の処理回路(A1)のうちのいずれか一つである判定対象回路の出力信号と、参照用回路(B1)の出力信号との比較結果に基づいて、判定対象回路の異常判定を行う。
この態様によれば、回路の規模の大型化を抑制しつつ、故障の有無を監視することが可能な異常判定方法を提供することができる。
第16の態様に係るプログラムは、コンピュータシステムに、第15の態様の異常判定方法を実行させるためのプログラムである。
この態様によれば、回路の規模の大型化を抑制しつつ、故障の有無を監視することが可能なプログラムを提供することができる。
上記態様に限らず、上記実施形態に係る処理システム(1)又はセンサシステム(100)の種々の構成(変形例を含む)は、異常判定方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化可能である。
第2~第12の態様に係る構成については、処理システム(1)に必須の構成ではなく、適宜省略可能である。
1 処理システム
2 センサ
10 インタフェース回路
20 回路
30 HDR合成回路(合成回路)
40 判定回路
100 センサシステム
300 自動車(移動体)
301 車体(移動体本体)
A1,A11,A12,A13 処理回路
B1 参照用回路
S1,S11,S12,S13 入力信号

Claims (11)

  1. それぞれセンサからの入力信号が入力され、互いに同じ機能を実現する回路部分が同じ構成である複数の回路と、判定回路と、合成回路と、を備え、
    前記複数の回路のうちの2以上の回路を、それぞれ前記入力信号の信号処理を行う2以上の処理回路とし、
    前記入力信号が画像データであり、
    前記2以上の処理回路にそれぞれ入力される2以上の入力信号が、露光時間が互いに異なる画像データであり、
    前記合成回路は、前記2以上の処理回路から出力される出力信号を合成しており、
    前記複数の回路のうち前記2以上の処理回路以外の回路であって前記2以上の処理回路よりも少ない数の回路を参照用回路とし、
    前記判定回路は、前記2以上の処理回路のうちのいずれか一つである判定対象回路と前記参照用回路の各々が同じ入力信号に対して同じ信号処理を行って出力した出力信号の比較結果に基づいて、前記判定対象回路の異常判定を行い、
    前記判定回路が異常判定を行う前記判定対象回路が、前記2以上の処理回路の中で時間経過に伴って切り替わる、
    処理システム。
  2. インタフェース回路と、複数の回路と、判定回路と、を備え、
    前記インタフェース回路は、前記複数の回路の各々にセンサからの入力信号を入力させ、
    前記複数の回路は、それぞれ、前記センサからの前記入力信号が前記インタフェース回路を介して入力され、互いに同じ機能を実現する回路部分が同じ構成であり、
    前記複数の回路のうちの2以上の回路を、それぞれ前記入力信号の信号処理を行う2以上の処理回路とし、
    前記複数の回路のうち前記2以上の処理回路以外の回路であって前記2以上の処理回路よりも少ない数の回路を参照用回路とし、
    前記判定回路は、前記2以上の処理回路のうちのいずれか一つである判定対象回路と前
    記参照用回路の各々が同じ入力信号に対して同じ信号処理を行って出力した出力信号の比較結果に基づいて、前記判定対象回路の異常判定を行い、
    前記判定回路が異常判定を行う前記判定対象回路が、前記2以上の処理回路の中で時間経過に伴って切り替わり、
    前記判定回路が、前記2以上の処理回路のうち一部の処理回路が異常であると判定した場合、前記インタフェース回路は、前記一部の処理回路に入力される前記入力信号を、前記2以上の処理回路のうち残りの処理回路に入力させ、前記2以上の処理回路のうち残りの処理回路で前記入力信号の信号処理を行う、
    処理システム。
  3. それぞれセンサからの入力信号が入力され、互いに同じ機能を実現する回路部分が同じ構成である複数の回路と、判定回路と、を備え、
    前記複数の回路のうちの2以上の回路を、それぞれ前記入力信号の信号処理を行う2以上の処理回路とし、
    前記複数の回路のうち前記2以上の処理回路以外の回路であって前記2以上の処理回路よりも少ない数の回路を参照用回路とし、
    前記判定回路は、前記2以上の処理回路のうちのいずれか一つである判定対象回路と前記参照用回路の各々が同じ入力信号に対して同じ信号処理を行って出力した出力信号の比較結果に基づいて、前記判定対象回路の異常判定を行い、
    前記判定回路が異常判定を行う前記判定対象回路が、前記2以上の処理回路の中で時間経過に伴って切り替わり、
    前記2以上の処理回路のうちの一部が異常であると前記判定回路が判定した場合、前記2以上の処理回路のうち残りの処理回路で前記入力信号の信号処理を行い、
    前記参照用回路が異常であると前記判定回路が判定した場合、前記参照用回路が前記複数の回路のいずれかに変更される、
    処理システム。
  4. 前記複数の回路の各々には、前記入力信号の信号処理に関するパラメータが設定され、
    前記参照用回路に設定されるパラメータが変更されることによって、前記判定対象回路が切り替わる、
    請求項1~3のいずれか1項に記載の処理システム。
  5. 前記複数の回路の各々に前記センサからの前記入力信号を入力させるインタフェース回路を、更に備え、
    前記インタフェース回路は、前記参照用回路に対して、前記判定対象回路と同じ前記入力信号を入力させる、
    請求項1~4のいずれか1項に記載の処理システム。
  6. 前記インタフェース回路は、前記判定対象回路が切り替わる時間間隔に応じた時間間隔で、前記参照用回路に入力する前記入力信号を変更する、
    請求項5に記載の処理システム。
  7. 前記判定回路が、前記2以上の処理回路の全てについて異常判定を行う間に、同じ処理回路について異常判定を複数回行わないように、前記判定対象回路が切り替わる、
    請求項1~6のいずれか1項に記載の処理システム。
  8. 請求項1~7のいずれか1項に記載の処理システムと、
    前記センサと、を備える、
    センサシステム。
  9. 請求項8に記載のセンサシステムと、前記センサシステムを搭載する移動体本体と、を備える、
    移動体。
  10. 請求項1~7のいずれか1項に記載の処理システムの異常判定方法であって、
    それぞれセンサからの入力信号が入力され、互いに同じ機能を実現する回路部分が同じ構成である複数の回路のうち2以上の回路を、前記入力信号の信号処理を行う2以上の処理回路とし、
    前記複数の回路のうち前記2以上の処理回路以外の回路であって前記2以上の処理回路よりも少ない数の回路を参照用回路とし、
    前記2以上の処理回路のうちのいずれか一つである判定対象回路と前記参照用回路の各々が同じ入力信号に対して同じ信号処理を行って出力した出力信号の比較結果に基づいて、前記判定対象回路の異常判定を行い、
    前記判定回路が異常判定を行う前記判定対象回路を、前記2以上の処理回路の中で時間経過に伴って切り替える、
    異常判定方法。
  11. コンピュータシステムに、請求項10に記載の異常判定方法を実行させるためのプログラム。
JP2018179431A 2018-09-25 2018-09-25 処理システム、センサシステム、移動体、異常判定方法、及びプログラム Active JP7065409B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018179431A JP7065409B2 (ja) 2018-09-25 2018-09-25 処理システム、センサシステム、移動体、異常判定方法、及びプログラム
CN201980016075.XA CN111788828B (zh) 2018-09-25 2019-09-20 处理系统、传感器系统、移动体、异常判定方法以及程序
PCT/JP2019/037076 WO2020066933A1 (ja) 2018-09-25 2019-09-20 処理システム、センサシステム、移動体、異常判定方法、及びプログラム
DE112019000569.3T DE112019000569B4 (de) 2018-09-25 2019-09-20 Verarbeitungssystem, Sensorsystem, mobiles Objekt, Abnormalitätsbestimmungsverfahren und Programm
US17/002,396 US11663069B2 (en) 2018-09-25 2020-08-25 Processing system, sensor system, mobile object, abnormality determination method, and non-transitory storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018179431A JP7065409B2 (ja) 2018-09-25 2018-09-25 処理システム、センサシステム、移動体、異常判定方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020053776A JP2020053776A (ja) 2020-04-02
JP7065409B2 true JP7065409B2 (ja) 2022-05-12

Family

ID=69950589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018179431A Active JP7065409B2 (ja) 2018-09-25 2018-09-25 処理システム、センサシステム、移動体、異常判定方法、及びプログラム

Country Status (5)

Country Link
US (1) US11663069B2 (ja)
JP (1) JP7065409B2 (ja)
CN (1) CN111788828B (ja)
DE (1) DE112019000569B4 (ja)
WO (1) WO2020066933A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113884123A (zh) * 2021-09-23 2022-01-04 广州小鹏汽车科技有限公司 一种传感器校验方法及装置、车辆、存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000243916A (ja) 1999-02-24 2000-09-08 Toshiba Corp 半導体装置
JP2003098225A (ja) 2001-09-25 2003-04-03 Toshiba Corp 半導体集積回路
JP2009128532A (ja) 2007-11-21 2009-06-11 Sharp Corp 表示装置
JP2010060498A (ja) 2008-09-05 2010-03-18 Denso Corp 自己診断回路
JP2010124216A (ja) 2008-11-19 2010-06-03 Sharp Corp 表示装置の修復情報処理システム
JP2015206785A (ja) 2014-04-11 2015-11-19 ルネサスエレクトロニクス株式会社 半導体装置、診断テスト方法及び診断テスト回路
JP2017120966A (ja) 2015-12-28 2017-07-06 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2020046974A (ja) 2018-09-19 2020-03-26 日立オートモティブシステムズ株式会社 電子制御装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4066381B2 (ja) * 2005-03-01 2008-03-26 三菱電機株式会社 車載電子制御装置
JP4442617B2 (ja) * 2007-02-16 2010-03-31 株式会社デンソー 電子制御装置
JP2009111546A (ja) * 2007-10-29 2009-05-21 Panasonic Corp 自己診断機能を備えた半導体集積回路、撮像装置およびカメラシステム
JP5154386B2 (ja) * 2008-11-28 2013-02-27 シャープ株式会社 駆動回路および表示装置
JP5855035B2 (ja) * 2013-02-28 2016-02-09 株式会社東芝 固体撮像装置
JP6351452B2 (ja) * 2014-09-08 2018-07-04 オリンパス株式会社 撮像装置、撮像方法およびプログラム
JP6277971B2 (ja) 2015-02-24 2018-02-14 トヨタ自動車株式会社 情報処理装置
JP2017028490A (ja) 2015-07-22 2017-02-02 ルネサスエレクトロニクス株式会社 撮像センサ及びセンサモジュール

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000243916A (ja) 1999-02-24 2000-09-08 Toshiba Corp 半導体装置
JP2003098225A (ja) 2001-09-25 2003-04-03 Toshiba Corp 半導体集積回路
JP2009128532A (ja) 2007-11-21 2009-06-11 Sharp Corp 表示装置
JP2010060498A (ja) 2008-09-05 2010-03-18 Denso Corp 自己診断回路
JP2010124216A (ja) 2008-11-19 2010-06-03 Sharp Corp 表示装置の修復情報処理システム
JP2015206785A (ja) 2014-04-11 2015-11-19 ルネサスエレクトロニクス株式会社 半導体装置、診断テスト方法及び診断テスト回路
JP2017120966A (ja) 2015-12-28 2017-07-06 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2020046974A (ja) 2018-09-19 2020-03-26 日立オートモティブシステムズ株式会社 電子制御装置

Also Published As

Publication number Publication date
US20200387420A1 (en) 2020-12-10
US11663069B2 (en) 2023-05-30
DE112019000569T5 (de) 2020-10-22
DE112019000569B4 (de) 2024-02-01
JP2020053776A (ja) 2020-04-02
CN111788828A (zh) 2020-10-16
WO2020066933A1 (ja) 2020-04-02
CN111788828B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
US11115640B2 (en) Multi-sensor video frame synchronization apparatus and methods
US20200351438A1 (en) System and method for fault detection and correction
US9843794B2 (en) Imaging systems with real-time digital testing capabilities
CN112449141A (zh) 用于处理输入视频的系统和方法
US9424623B2 (en) Image processor
JP7065409B2 (ja) 処理システム、センサシステム、移動体、異常判定方法、及びプログラム
US20140152848A1 (en) Technique for configuring a digital camera
US11546570B2 (en) Apparatus, apparatus control method, and recording medium, for synchronizing a plurality of imaging devices
JP2009111546A (ja) 自己診断機能を備えた半導体集積回路、撮像装置およびカメラシステム
US20200221007A1 (en) Image processing apparatus, image processing method, imaging apparatus, and program
JP7147199B2 (ja) 信号処理装置及び信号処理方法
EP3761263A1 (en) Image data pre-processing for neural networks
TW202006666A (zh) 影像處理方法與電子裝置
JP6407176B2 (ja) 撮像装置及び故障検出方法、並びにプログラム及び記録媒体
US10922787B2 (en) Imaging apparatus and method for controlling imaging apparatus
JPWO2021039113A5 (ja)
JP7098958B2 (ja) 撮像装置、画像処理装置、および画像処理プログラム
JP2017224971A (ja) 画像処理装置、画像処理方法、およびプログラム
JP7460561B2 (ja) 撮像装置および画像処理方法
US11146756B2 (en) Image apparatus with locking operation for serial data
US20230073138A1 (en) Image sensor, image processing system including the same, and image processing method
JP6066942B2 (ja) 画像処理装置
US10999497B1 (en) System for parallelly processing image lines from multiple image sensors
JP6720721B2 (ja) 画像データ取得システム
EP3654636B1 (en) Imaging device and camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220331

R151 Written notification of patent or utility model registration

Ref document number: 7065409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03