WO2020250702A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2020250702A1
WO2020250702A1 PCT/JP2020/021151 JP2020021151W WO2020250702A1 WO 2020250702 A1 WO2020250702 A1 WO 2020250702A1 JP 2020021151 W JP2020021151 W JP 2020021151W WO 2020250702 A1 WO2020250702 A1 WO 2020250702A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
recognition
image data
unit
image
Prior art date
Application number
PCT/JP2020/021151
Other languages
English (en)
French (fr)
Inventor
林　宏樹
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2020250702A1 publication Critical patent/WO2020250702A1/ja
Priority to US17/547,488 priority Critical patent/US20220101636A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/273—Tester hardware, i.e. output processing circuits
    • G06F11/277—Tester hardware, i.e. output processing circuits with comparison between actual response and known fault-free response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • This disclosure relates to an image processing device.
  • an image processing unit having a recognition algorithm formed by an electronic circuit and performing image processing by the image processing unit is provided.
  • the electronic circuit of the image processing unit fails, Image processing by the recognition algorithm cannot be performed correctly.
  • Patent Document 1 proposes to input a test image corresponding to the recognition algorithm into the recognition algorithm in a time-divided manner, and to identify the failure by comparing the image processing result, which is the recognition result, with the initially expected value. ..
  • the image processing unit is configured to perform image recognition by time division by a plurality of recognition algorithms, the recognition algorithm is used every time image recognition is performed by the recognition algorithm in time division when diagnosing a failure. It is necessary to change the test image corresponding to in time division and give it. For this reason, the time required for failure diagnosis becomes long, and there is a problem that the usage efficiency of the image processing unit is poor.
  • An object of the present disclosure is to provide an image processing apparatus capable of improving the usage efficiency of the image processing unit in a configuration in which image data is processed by a plurality of recognition algorithms of the image processing unit.
  • test image data is configured to include a feature pattern that can be recognized by a plurality of recognition algorithms
  • failure diagnosis unit gives the test image data stored in the storage unit to the image processing unit.
  • the recognition result by the recognition algorithm is stored in the test image processing result unit.
  • the failure diagnosis unit diagnoses that the image processing unit is out of order when the recognition result when the test image data is given to the image processing unit and the expected value data stored in the storage unit are different. As a result, a plurality of recognition algorithms can be diagnosed at the same time, so that the efficiency of use of the image processing unit can be improved.
  • FIG. 1 is a functional block diagram showing an overall configuration in one embodiment.
  • FIG. 2 is a diagram schematically showing a neural network.
  • FIG. 3 is a diagram showing the recognition rate by the neural network.
  • FIG. 4 is a block diagram showing a calculation block.
  • FIG. 5 is a timing diagram showing the processing operation of image recognition.
  • the camera 1 shown in FIG. 1 is installed on the windshield of a vehicle (not shown) and photographs the front of the vehicle.
  • the camera 1 photographs the front of the vehicle and outputs image data to the image processing device 2.
  • the camera 1 corresponds to the photographing unit.
  • the image processing device 2 executes image processing for recognizing whether the image data input from the camera 1 includes a predetermined recognition object.
  • the image processing device 2 is composed of an image processing unit 3 and a microcomputer 4.
  • the image processing unit 3 is composed of a semiconductor integrated circuit, and forms a plurality of recognition algorithms for image recognition as to whether or not a predetermined recognition object is included in the image data input from the camera 1. Image recognition is performed at the same cycle as the frame rate of the image data from the camera 1.
  • the recognition algorithm is formed by the neural network 5, and is designed so that the recognition rate of the feature pattern of the predetermined recognition object is high. That is, since the detection target is a vehicle, a person, a road sign, or the like located in front of the vehicle, it is designed to be a recognition algorithm suitable for recognizing the characteristic pattern possessed by them.
  • the neural network 5 will be briefly described. As shown in FIG. 2, the neural network 5 can process image recognition by a plurality of recognition algorithms in parallel, and is typically composed of an input layer 6, an intermediate layer 7, and an output layer 8. Image data from the camera 1 is input to the input layer 6.
  • the intermediate layer 7 is formed by combining a convolution layer and a pooling layer.
  • the output layer 8 outputs the recognition rate of the recognition target object as the recognition result.
  • the intermediate layer 7 is composed of an arithmetic block 9 composed of a semiconductor integrated circuit.
  • the calculation block 9 is configured by connecting the convolution calculation circuit 10 and the pooling processing circuit 11.
  • a plurality of convolution calculation circuits 10 and pooling processing circuits 11 are connected according to the depth of the intermediate layer 7.
  • the arithmetic block 9 corresponds to an electronic circuit.
  • the convolution calculation circuit 10 functions as a convolution layer, and outputs the convolution calculation result data required for one pooling process to the pooling process circuit 11 for each calculation cycle.
  • the pooling processing circuit 11 functions as a pooling layer, inputs a convolution calculation result from the convolution calculation circuit 10, executes a well-known pooling calculation, and outputs the result. In this case, for example, the data having the largest value among the convolution calculation result data by the convolution calculation circuit 10 is output as the pooling calculation result.
  • the microcomputer 4 includes a CPU 12, a ROM 13, a RAM 14, and the like.
  • ROM 13 corresponds to a storage unit.
  • the ROM 13 stores the original test image data 16 developed in the RAM 14 and the expected value data 17 which is the original expected value corresponding to the test image data 16.
  • the expected value data 17 is information indicating a normal recognition rate when the test image data 16 is subjected to image processing by the image processing unit 3.
  • the test image data 16 is formed to include all the feature patterns recognized by each recognition algorithm.
  • the test image data 16 and the expected value data 17 stored in the ROM 13 are transferred from the ROM 13 to the RAM 14 when the image processing device 2 is started.
  • the RAM 14 includes a test image adding unit 18 for storing the image data of the test image data 16 used for failure diagnosis of the image processing unit 3, and an expected value storage unit 17 for storing the expected value data 17 corresponding to the test image data 16. 19 is provided. Further, the recognition rate by the image processing of the image processing unit 3 is stored in the image data from the camera 1, and the recognition rate by the image processing of the image processing unit 3 is stored in the image processing result unit 20 and the test image data 16. The test image processing result unit 21 to be performed is provided.
  • the CPU 12 has functions as a failure diagnosis unit 12a and an output control unit 12b realized by executing a program recorded on a non-transitional substantive recording medium.
  • the failure diagnosis unit 12a causes the image processing unit 3 to perform image processing using the test image data 16 developed in the RAM 14.
  • the failure diagnosis unit 12a compares the recognition rate for the test image data 16 with the expected value data 17 corresponding to the test image data 16 and diagnoses the presence or absence of a failure in the image processing unit 3. Further, the failure diagnosis unit 12a periodically performs a failure diagnosis using the test image data 16 in parallel with the image processing performed on the image data input from the camera 1 by the image processing unit 3.
  • the output control unit 12b performs output control regarding the recognition rate of image data based on the diagnosis result by the failure diagnosis unit 12a. Specifically, when the diagnosis result by the failure diagnosis unit 12a is normal, the output control unit 12b outputs the image-processed processing result as valid. The processing result output as valid from the output control unit 12b is output to the vehicle control device 15 and used for presenting information to the driver of the vehicle and controlling the vehicle related to driving safety. On the other hand, when the diagnosis result by the failure diagnosis unit 12a indicates a failure, fail-safe control is executed for the vehicle control device 15.
  • the image processing unit 3 performs image processing for recognizing the feature pattern on the image data from the camera 1, and stores the recognition rate for the image data in the image processing result unit 20 of the RAM 14.
  • the failure diagnosis unit 12a uses the test image data 16 developed in the test image addition unit 18 of the RAM 14 to the image processing unit 3 before the image processing is completed and the recognition rate is output. Image processing is executed on the test image data 16.
  • the image processing unit 3 stores the recognition rate for the test image data 16 in the test image processing result unit 21 of the RAM 14.
  • the failure diagnosis unit 12a formed by the CPU 12 has a recognition rate for the test image data 16 stored in the test image processing result unit 21 and expected value data corresponding to the test image data 16 previously expanded in the expected value storage unit 19. It is compared with 17 and it is determined whether or not the image processing result is normal based on the consistency between the two.
  • the recognition rate for the test image data 16 and the expected value data 17 corresponding to the test image data 16 satisfy a predetermined matching criterion, it is determined to be normal, and when the matching criterion is not satisfied, the image processing unit 3 Diagnose that is out of order.
  • the image processing unit 3 executes various arithmetic processes based on the image processing result on the image data. In this case, since the processing of the failure diagnosis unit 12a is prioritized, various arithmetic processes are executed at the timing when the processing by the failure diagnosis unit 12a is completed.
  • the output control unit 12b determines that the image is normal based on the determination result of the failure diagnosis unit 12a, the output control unit 12b outputs the processing result related to the current image as an effective processing result.
  • the driver is notified via the vehicle control device 15 of notification information indicating that the function related to image processing by the image processing unit 3 can be used.
  • the output control unit 12b executes fail-safe control on the vehicle control device 15 when it is determined that the failure is based on the judgment result of the failure diagnosis unit 12a and the event in which the failure is detected is not continuous a specified number of times. Specifically, the output control unit 12b discards the processing result related to the current image without outputting it. Further, the output control unit 12b notifies the driver via the vehicle control device 15 of notification information indicating that the function related to image processing of the image processing unit 3 cannot be used.
  • the output control unit 12b executes a repair operation related to the image processing unit 3 when the event in which a failure is detected continues for a specified number of times. Specifically, the output control unit 12b resets the test image data 16 by retransferring the test image data 16 from the ROM 13 to the test image adding unit 18 of the RAM 14.
  • the electronic circuit forming the calculation block 9 for example, a transistor, fails, the image recognition result by the neural network 5 fluctuates from the initial image recognition result. Therefore, it becomes impossible to correctly recognize the feature pattern based on the image data from the camera 1.
  • test image data 16 can be given to the recognition algorithm, and it can be determined whether or not the recognition result fluctuates from the normal time.
  • the recognition algorithm is designed to recognize a round pattern, a square pattern, or a triangular pattern as shown in FIG. 23, for example, each recognition algorithm has a round pattern, a square pattern, or a triangular pattern. It is designed to have a high recognition rate.
  • the recognition algorithm optimized for recognizing the round pattern, the square pattern, and the triangular pattern is operated in time division.
  • a round pattern, a square pattern, or a triangular pattern is given to the neural network 5 in a time division manner. If the recognition result when the round pattern is given to the neural network 5 is different from the round pattern, it can be determined that the electronic circuit for executing the round pattern recognition algorithm has failed. Similarly, if the calculation result when the square pattern or triangle pattern is given to the neural network 5 is different from the recognition result at the normal time, it is determined that the calculation circuit for executing the square pattern or triangle pattern recognition algorithm has failed. be able to.
  • the image processing device 2 is configured to determine whether or not the image recognition function of the neural network 5 is normal with one piece of test image data 16 at the time of failure diagnosis.
  • the test image data 16 is set to include feature patterns of all recognition objects.
  • each recognition algorithm is designed so that the recognition rate of the round pattern, the square pattern, or the triangular pattern is high.
  • the double circle pattern includes all feature patterns such as a round pattern, a square pattern, and a triangular pattern. Therefore, when the double circle pattern is image-recognized by each recognition algorithm, the feature pattern of the circle pattern is most similar to the double circle pattern. Therefore, the recognition rate for the recognition algorithm that recognizes the circle pattern recognizes the circle pattern. Is the highest.
  • the characteristic pattern of the square pattern is not similar to that of the double circle pattern, the characteristic pattern of the ring is the same, so the recognition rate for the square pattern recognition algorithm to recognize the square pattern is relatively high.
  • the triangular pattern is not the most similar to the double circle pattern, but the characteristic pattern of the ring is the same as the square pattern, so the recognition rate of the triangular pattern recognition algorithm is the lowest. ..
  • test image data 16 including those characteristic patterns will be created.
  • the test image data 16 depends on the recognition algorithm, and when the recognition algorithm is changed, it is necessary to create the test image data 16 corresponding to the changed recognition algorithm.
  • failure detection is executed by recognizing the test image data 16 by a recognition algorithm.
  • diagnosis can be performed simultaneously by all the recognition algorithms as described above, there will be a free time before the image data is recognized by the recognition algorithm as shown in FIG. This makes it possible to execute arithmetic processing using the free time.
  • the image processing unit 3 when the recognition result by the plurality of recognition algorithms when the test image data 16 is given to the image processing unit 3 and the recognition result of the original stored in advance are different, the image processing unit 3 causes the image processing unit 3. Since it is diagnosed that the image is out of order, a plurality of recognition algorithms can be diagnosed at the same time, and the usage efficiency of the image processing unit 3 can be improved. Since the image processing unit 3 is formed of the neural network 5, it is possible to simultaneously detect a failure of the electronic circuit forming the neural network 5.
  • a stereo camera may be used as the camera.
  • the distance to the recognition target is measured from the image data from the stereo camera, and when image processing is performed according to the measured distance, a test image is created in consideration of the viewing angles of both cameras.
  • layers corresponding to each color may be provided as layers 6 to 8 constituting the neural network 5.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

撮影部（１）は、画像データを出力する。画像処理部（３）は、前記画像データに含まれる所定の認識対象物を画像認識するのに適した複数の認識アルゴリズムを電子回路により形成する。故障診断部（１２ａ）は、前記認識対象物が有する特徴パターンを含んだテスト画像データ（１６）を前記画像処理部に与えた場合の認識結果と、前記テスト画像データを前記認識アルゴリズムに与えた場合の認識結果である期待値データ（１７）とが異なっていた場合は前記画像処理部は故障していると診断する。

Description

画像処理装置 関連出願の相互参照
　本出願は、２０１９年６月１３日に出願された日本出願番号２０１９－１１０３３５号に基づくもので、ここにその記載内容を援用する。
　本開示は、画像処理装置に関する。
　画像処理装置として、電子回路により認識アルゴリズムが形成された画像処理部を有し、その画像処理部により画像処理を行うものが供されているが、画像処理部の電子回路が故障した場合は、認識アルゴリズムによる画像処理を正しく行うことができなくなる。
特開２０１６－８５７２１号公報
　特許文献１では、認識アルゴリズムに対応するテスト画像を時分割で認識アルゴリズムに入力し、その認識結果である画像処理結果を当初の期待値と比較することにより故障を特定することを提案している。
　しかしながら、画像処理部は、複数の認識アルゴリズムにより画像認識を時分割して行うように構成されているので、故障診断する場合は、認識アルゴリズムにより画像認識を時分割で行う毎に、当該認識アルゴリズムに対応するテスト画像を時分割で変更して与える必要がある。このため、故障診断に要する時間が長くなるので、画像処理部の使用効率が悪いという問題がある。
　本開示の目的は、画像データを画像処理部の複数の認識アルゴリズムにより画像処理を行う構成において、画像処理部の使用効率を高めることができる画像処理装置を提供することにある。
　本開示の一態様において、テスト画像データは複数の認識アルゴリズムが認識可能な特徴パターンを含んで構成されているので、故障診断部が記憶部に記憶されたテスト画像データを画像処理部に与えると、認識アルゴリズムによる認識結果がテスト画像処理結果部に格納される。
　故障診断部は、テスト画像データを画像処理部に与えた場合の認識結果と、記憶部に記憶されている期待値データとが異なっていたときは画像処理部が故障していると診断する。これにより、複数の認識アルゴリズムを同時に診断することができるので、画像処理部の使用効率を高めることができる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、一実施形態における全体構成を示す機能ブロック図であり、 図２は、ニューラルネットワークを概略的に示す図であり、 図３は、ニューラルネットワークによる認識率を示す図であり、 図４は、演算ブロックを示すブロック図であり、 図５は、画像認識の処理動作を示すタイミング図である。
　一実施形態について図面を参照して説明する。
　図１に示すカメラ１は図示しない車両のフロントガラスに設置されており、車両の前方を撮影する。このカメラ１は、車両の前方を撮影して画像データを画像処理装置２に出力する。カメラ１が撮影部に相当する。
　画像処理装置２は、カメラ１から入力した画像データに所定の認識対象物が含まれているかを認識する画像処理を実行する。画像処理装置２は、画像処理部３とマイクロコンピュータ４とから構成されている。
　画像処理部３は半導体集積回路から構成されており、カメラ１から入力した画像データに所定の認識対象物が含まれているかを画像認識する複数の認識アルゴリズムを形成している。画像認識は、カメラ１からの画像データのフレームレートと同一周期で行われる。
　認識アルゴリズムはニューラルネットワーク５により形成されており、所定の認識対象物が有する特徴パターンの認識率が高くなるように設計されている。つまり、検出対象物は車両の前方に位置する車両や人や道路標識等であることから、それらが有する特徴パターンを認識するのに適した認識アルゴリズムとなるように設計されている。
　ニューラルネットワーク５について簡単に説明する。
　図２に示すようにニューラルネットワーク５は複数の認識アルゴリズムによる画像認識を並列処理可能であり、代表的には入力層６と中間層７と出力層８とから構成されている。入力層６にはカメラ１からの画像データが入力される。中間層７は、畳み込み層とプーリング層とを組み合わして構成されている。出力層８は、認識結果として認識対象物の認識率を出力する。
　中間層７は、図４に示すように半導体集積回路からなる演算ブロック９から構成されている。演算ブロック９は、畳み込み演算回路１０とプーリング処理回路１１とを連結して構成されている。畳み込み演算回路１０及びプーリング処理回路１１は、中間層７の深さ度に応じて複数連結される。演算ブロック９が電子回路に相当する。
　畳み込み演算回路１０は畳込み層として機能し、１演算サイクルごとに、１回分のプーリング処理に必要な畳み込み演算結果データをプーリング処理回路１１に出力する。
　プーリング処理回路１１はプーリング層として機能し、畳み込み演算回路１０から畳み込み演算結果を入力して周知のプーリング演算を実行して出力する。この場合、例えば畳み込み演算回路１０による畳み込み演算結果データのうち最も値が大きいデータがプーリング演算結果として出力される。
　マイクロコンピュータ４は、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４等を備えて構成されている。ＲＯＭ１３が記憶部に相当する。
　ＲＯＭ１３には、ＲＡＭ１４に展開される原本となるテスト画像データ１６、及びテスト画像データ１６に対応する期待値の原本となる期待値データ１７が記憶されている。この期待値データ１７は、テスト画像データ１６に対して画像処理部３による画像処理を施したときの正常な認識率を示す情報である。テスト画像データ１６は、各認識アルゴリズムが認識する全ての特徴パターンを含んで形成されている。ＲＯＭ１３に記憶されているテスト画像データ１６及び期待値データ１７は、画像処理装置２の起動時にＲＯＭ１３からＲＡＭ１４に転送される。
　ＲＡＭ１４には、画像処理部３の故障診断に用いられるテスト画像データ１６の画像データが格納されるテスト画像付与部１８、テスト画像データ１６に対応する期待値データ１７が格納される期待値格納部１９が設けられている。また、カメラ１からの画像データに対して画像処理部３の画像処理による認識率が格納される画像処理結果部２０、テスト画像データ１６に対して画像処理部３の画像処理による認識率が格納されるテスト画像処理結果部２１が設けられている。
　ＣＰＵ１２は、非遷移的実体的記録媒体に記録されたプログラムを実行することにより実現される故障診断部１２ａ及び出力制御部１２ｂとしての機能を備える。故障診断部１２ａは、ＲＡＭ１４に展開されているテスト画像データ１６を用いて、画像処理部３に画像処理を実行させる。故障診断部１２ａは、テスト画像データ１６に対する認識率とテスト画像データ１６に対応する期待値データ１７とを比較し、画像処理部３の故障の有無を診断する。さらに故障診断部１２ａは、画像処理部３がカメラ１から入力する画像データに対して行う画像処理と並行して、周期的にテスト画像データ１６を用いる故障診断を行う。
　出力制御部１２ｂは、故障診断部１２ａによる診断結果に基づいて、画像データの認識率に関する出力制御を行う。具体的には、出力制御部１２ｂは、故障診断部１２ａによる診断結果が正常を示す場合、そのとき画像処理された処理結果を有効なものとして出力する。出力制御部１２ｂから有効として出力された処理結果は、車両制御装置１５に出力され、車両の運転者に対する情報提示や走行安全に係る車両制御に用いられる。一方、故障診断部１２ａによる診断結果が故障を示す場合、車両制御装置１５に対してフェイルセーフ制御を実行する。
　画像処理装置２が実行する一連の処理手順について説明する。画像処理部３は、カメラ１からの画像データに対して、特徴パターンを認識する画像処理を行い、画像データに対する認識率をＲＡＭ１４の画像処理結果部２０に格納する。
　故障診断部１２ａは、画像処理が終了し、その認識率が出力される前までの間に、ＲＡＭ１４のテスト画像付与部１８に展開されているテスト画像データ１６を用いて、画像処理部３にテスト画像データ１６について画像処理を実行させる。画像処理部３は、テスト画像データ１６に対する認識率をＲＡＭ１４のテスト画像処理結果部２１に格納する。
　ＣＰＵ１２が形成する故障診断部１２ａは、テスト画像処理結果部２１に格納されたテスト画像データ１６に対する認識率と、予め期待値格納部１９に展開されているテスト画像データ１６に対応する期待値データ１７とを比較し、両者の一致性に基づいて画像処理結果が正常か否か判断する。ここでは、テスト画像データ１６に対する認識率と、当該テスト画像データ１６に対応する期待値データ１７とが所定の一致基準を満たす場合、正常と判断し、一致基準を満たさない場合、画像処理部３が故障していると診断する。
　一方、故障診断部１２ａの処理と並行して、画像処理部３により画像データに対して画像処理結果に基づく各種演算処理が実行される。この場合、故障診断部１２ａの処理が優先されることから、故障診断部１２ａによる処理が終了したタイミングで各種演算処理が実行される。
　出力制御部１２ｂは、故障診断部１２ａの判断結果により正常と判断した場合、今回の画像に関する処理結果を、有効な処理結果として出力する。また、画像処理部３による画像処理に関する機能が使用可能であることを表す通知情報を、車両制御装置１５を介して運転者に報知する。
　出力制御部１２ｂは、故障診断部１２ａの判断結果により故障と判断した場合、故障が検知された事象が規定回数連続していない場合、車両制御装置１５に対してフェイルセーフ制御を実行する。具体的には、出力制御部１２ｂは、今回の画像に関する処理結果を出力せず破棄する。また、出力制御部１２ｂは、画像処理部３の画像処理に関する機能が使用不能であることを表す通知情報を、車両制御装置１５を介して運転者に報知する。
　出力制御部１２ｂは、故障が検知された事象が規定回数連続した場合は、画像処理部３に関する修復動作を実行する。具体的には、出力制御部１２ｂは、ＲＯＭ１３からテスト画像データ１６をＲＡＭ１４のテスト画像付与部１８に再転送することでテスト画像データ１６をリセットする。
　ところで、演算ブロック９を形成する電子回路、例えばトランジスタが故障した場合は、ニューラルネットワーク５による画像認識結果が当初の画像認識結果から変動する。このため、カメラ１からの画像データに基づいて特徴パターンの認識を正しく行うことができなくなる。
　このような演算ブロック９の故障を診断する場合、認識アルゴリズムにテスト画像データ１６を与え、その認識結果が正常時から変動するか否かで判断することができる。具体的には、認識アルゴリズムが、例えば図２３に示すように丸パターンや四角パターンや三角パターンを認識するように設計されている場合は、各認識アルゴリズムは、丸パターンや四角パターンや三角パターンの認識率が高くなるように設計されている。この場合、丸パターン、四角パターン、三角パターンをそれぞれ認識するのに最適化された認識アルゴリズムを時分割で動作させることになる。
　即ち、テスト画像データ１６として、丸パターンや四角パターンや三角パターンをニューラルネットワーク５に時分割で与える。丸パターンをニューラルネットワーク５に与えた場合の認識結果が丸パターンと異なる場合は丸パターンの認識アルゴリズムを実行するための電子回路が故障したと判断することができる。同様に、四角パターンや三角パターンをニューラルネットワーク５に与えた場合の演算結果が正常時の認識結果と異なる場合は四角パターンや三角パターンの認識アルゴリズムを実行するための演算回路が故障したと判断することができる。
　しかしながら、このような時分割によるテスト画像データ１６の画像処理はカメラ１から画像データを入力して画像処理する毎に行う必要があるので、全ての認識アルゴリズムを検査するのに時間を要する。このため、画像処理装置２がテスト画像データ１６の画像処理のために時間を取られてしまい、本来の画像処理に支障を生じることが予測される。
　このような事情から、本実施形態では、画像処理装置２は故障診断時に１枚のテスト画像データ１６でニューラルネットワーク５の画像認識機能が正常か否かを判断するように構成されている。このテスト画像データ１６は、全ての認識対象物の特徴パターンを含むように設定されている。
　例えば単純な例として、検出対象物が丸パターンや四角パターンや三角パターンである場合は、各認識アルゴリズムは、丸パターンや四角パターンや三角パターンの認識率が高くなるように設計されている。ここで、二重丸パターンは丸パターンや四角パターンや三角パターンの全ての特徴パターンを含んでいる。したがって、二重丸パターンを各認識アルゴリズムにより画像認識した場合、丸パターンは二重丸パターンに特徴パターンが最も類似していることから、丸パターンを認識する認識アルゴリズムが丸パターンを認識する認識率は最も高い。
　四角パターンは二重丸パターンに特徴パターンが類似していないものの、環状という特徴パターンは同一であることから、四角パターンの認識アルゴリズムが四角パターンを認識する認識率は比較的高い。三角パターンは二重丸パターンに特徴パターンが最も類似していないが、四角パターンと同様に環状という特徴パターンでは同一であることから、三角パターンの認識アルゴリズムが三角パターンを認識する認識率は最も低い。
　即ち、二重丸パターンをテスト画像データ１６として各認識アルゴリズムに与えた場合は、全ての認識アルゴリズムにより認識されるもののその認識率は異なることから、その認識結果の正常時からの変動を検出することで演算ブロック９が故障したか否かを判定することができる。
　現実的には、検出対象物は車両や人や道路標識等であることから、それらの特徴パターンを含んだテスト画像データ１６を作成することになる。テスト画像データ１６は認識アルゴリズムに依存し、認識アルゴリズムを変更した場合は、変更した認識アルゴリズムに対応したテスト画像データ１６を作成する必要がある。
　認識動作としては、テスト画像データ１６を認識アルゴリズムにより認識させることで故障検出を実行する。この場合、上述したように全ての認識アルゴリズムにより同時に診断することができるので、図５に示すように画像データを認識アルゴリズムにより認識するまでの間に空き時間が発生することになる。これにより、空き時間を使用して演算処理を実行することが可能となる。
　このような実施形態によれば、次のような効果を奏することができる。
　画像処理装置２は、テスト画像データ１６を画像処理部３に与えた場合の複数の認識アルゴリズムによる認識結果と、予め記憶されている原本の認識結果とが異なっていたときは画像処理部３が故障していると診断するので、複数の認識アルゴリズムを同時に診断することができ、画像処理部３の使用効率を高めることができる。
　画像処理部３はニューラルネットワーク５から形成されているので、ニューラルネットワーク５を形成する電子回路の故障を同時に検出することが可能となる。
（他の実施形態）
　カメラ１により運転者を撮影して運転者の状態を監視するＤＳＭ（ドライバーステータスモニタ）に適用するようにしても良い。この場合、認識アルゴリズムによりサングラスやマスクを認識する場合は、サングラスやマスクの特徴パターンを含んだテスト画像データ１６を作成する。
　カメラとしてステレオカメラを用いるようにしても良い。この場合、ステレオカメラからの画像データにより認識対象物までの距離を測定し、その測定距離に応じて画像処理する場合は、両方のカメラの視角を考慮してテスト画像を作成する。
　カメラからカラー画像データが出力される場合は、ニューラルネットワーク５を構成する各層６～８として各色に対応した層を設ければ良い。
　本開示は、実施形態に準拠して記述されたが、本開示は当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。
 

Claims (7)

  1. 　画像データを出力する撮影部（１）と、
    　前記画像データに含まれる所定の認識対象物を画像認識するのに適した複数の認識アルゴリズムを電子回路により形成した画像処理部（３）と、
    　前記認識対象物が有する特徴パターンを含んだテスト画像データ（１６）を前記画像処理部に与えた場合の認識結果と、前記テスト画像データを前記認識アルゴリズムに与えた場合の認識結果である期待値データ（１７）とが異なっていた場合は前記画像処理部は故障していると診断する故障診断部（１２ａ）と、
    　を備えた画像処理装置。
  2. 　前記テスト画像データと前記期待値データとを記憶した記憶部（１３）を備えた請求項１に記載の画像処理装置。
  3. 　前記認識アルゴリズムは、ニューラルネットワーク（５）により形成されている請求項１または２に記載の画像処理装置。
  4. 　前記ニューラルネットワークは、畳み込み層とプーリング層とを組み合わせて構成されている請求項３に記載の画像処理装置。
  5. 　前記認識結果は、認識率で示される請求項１から４のいずれか一項に記載の画像処理装置。
  6. 　前記認識対象物は、車両の周囲に位置する障害物である請求項１から５のいずれか一項に記載の画像処理装置。
  7. 　前記認識対象物は、車両の乗員である請求項１から５のいずれか一項に記載の画像処理装置。
PCT/JP2020/021151 2019-06-13 2020-05-28 画像処理装置 WO2020250702A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/547,488 US20220101636A1 (en) 2019-06-13 2021-12-10 Image processing apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-110335 2019-06-13
JP2019110335A JP7392297B2 (ja) 2019-06-13 2019-06-13 画像処理装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/547,488 Continuation US20220101636A1 (en) 2019-06-13 2021-12-10 Image processing apparatus

Publications (1)

Publication Number Publication Date
WO2020250702A1 true WO2020250702A1 (ja) 2020-12-17

Family

ID=73742693

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021151 WO2020250702A1 (ja) 2019-06-13 2020-05-28 画像処理装置

Country Status (3)

Country Link
US (1) US20220101636A1 (ja)
JP (1) JP7392297B2 (ja)
WO (1) WO2020250702A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995656A (zh) * 2021-03-04 2021-06-18 黑芝麻智能科技(上海)有限公司 用于图像处理电路的异常检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096943A (ja) * 1995-06-19 1997-01-10 Hitachi Denshi Ltd 画像処理装置の故障診断方法
JP2005115566A (ja) * 2003-10-06 2005-04-28 Murata Mach Ltd データ処理装置及びデータ処理装置のテスト方法
JP2016085721A (ja) * 2014-10-27 2016-05-19 株式会社デンソー 画像処理装置
JP2018045560A (ja) * 2016-09-16 2018-03-22 株式会社東芝 半導体装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH096943A (ja) * 1995-06-19 1997-01-10 Hitachi Denshi Ltd 画像処理装置の故障診断方法
JP2005115566A (ja) * 2003-10-06 2005-04-28 Murata Mach Ltd データ処理装置及びデータ処理装置のテスト方法
JP2016085721A (ja) * 2014-10-27 2016-05-19 株式会社デンソー 画像処理装置
JP2018045560A (ja) * 2016-09-16 2018-03-22 株式会社東芝 半導体装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112995656A (zh) * 2021-03-04 2021-06-18 黑芝麻智能科技(上海)有限公司 用于图像处理电路的异常检测方法及系统
CN112995656B (zh) * 2021-03-04 2024-05-17 黑芝麻智能科技(上海)有限公司 用于图像处理电路的异常检测方法及系统

Also Published As

Publication number Publication date
US20220101636A1 (en) 2022-03-31
JP2020201875A (ja) 2020-12-17
JP7392297B2 (ja) 2023-12-06

Similar Documents

Publication Publication Date Title
CN111469802B (zh) 座椅安全带状态确定系统和方法
JP6183305B2 (ja) 故障検出装置および故障検出プログラム
JP6556253B2 (ja) 車両安全電子制御システム
JP7281000B2 (ja) 車両制御方法および車両制御システム
JP6458579B2 (ja) 画像処理装置
KR102252189B1 (ko) 머신 러닝을 이용한 고장 진단 관리 시스템 및 방법
CN106233724A (zh) 确保基于摄影机的安全系统中的成像子系统完整性
JP6865572B2 (ja) 自動車のリスクベースの制御
US9852502B2 (en) Image processing apparatus
CN112693474A (zh) 使用预测的传感器数据和感知结果的感知系统诊断
WO2020250702A1 (ja) 画像処理装置
WO2016027408A1 (ja) 画像処理装置、及び画像処理装置の故障診断方法
JP6221464B2 (ja) ステレオカメラ装置、移動体制御システム及び移動体、並びにプログラム
CN108466622A (zh) 用于控制对象安全系统的传感器设备的装置和方法
JP4980089B2 (ja) ステレオ画像処理装置
JP4539427B2 (ja) 画像処理装置
JP4820679B2 (ja) 車両用電子制御装置
JP7051014B2 (ja) 顔検出処理装置および顔検出処理方法
JP7118911B2 (ja) 画像処理装置
EP3792814A1 (en) Method and system for selecting an operation mode for an at least partly self-driving vehicle
JP2020201875A5 (ja)
JP6289844B2 (ja) 診断装置及び診断方法
KR20230012139A (ko) 차량의 프로세서 이상감지방법 및 이상감지시스템
KR20230015745A (ko) 설명 가능한 인공지능을 이용한 열화상 기반 진단시스템 및 방법
JP2023008416A (ja) 異常検知システムおよび異常検知方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20821857

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20821857

Country of ref document: EP

Kind code of ref document: A1