WO2021179679A1 - 一种基于机器视觉的汽车仪表盘检测系统和检测方法 - Google Patents

一种基于机器视觉的汽车仪表盘检测系统和检测方法 Download PDF

Info

Publication number
WO2021179679A1
WO2021179679A1 PCT/CN2020/131201 CN2020131201W WO2021179679A1 WO 2021179679 A1 WO2021179679 A1 WO 2021179679A1 CN 2020131201 W CN2020131201 W CN 2020131201W WO 2021179679 A1 WO2021179679 A1 WO 2021179679A1
Authority
WO
WIPO (PCT)
Prior art keywords
instrument panel
camera
image
detection
dashboard
Prior art date
Application number
PCT/CN2020/131201
Other languages
English (en)
French (fr)
Inventor
石颉
杨健
池越
周亚同
胡凯
Original Assignee
苏州鑫睿益荣信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 苏州鑫睿益荣信息技术有限公司 filed Critical 苏州鑫睿益荣信息技术有限公司
Publication of WO2021179679A1 publication Critical patent/WO2021179679A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal

Definitions

  • the present invention relates to the technical field of machine vision, in particular to an automobile instrument panel detection system and a detection method based on machine vision.
  • the patent application number CN201610629777.3 proposes a non-contact automobile instrument panel test system and method, which uses a camera to collect images, sends instructions through a computer and performs tests.
  • This patent solves the problems of manual misjudgment and low efficiency, but the disadvantage is that it does not give a specific detection device design plan; application number CN201920370593.9 provides an automobile instrument panel detection device with reasonable structure, but the device The disadvantage is that it does not use electric drive, requires manual operation by inspectors and has less inspection content; application number CN201610021890.3 discloses an automobile instrument panel inspection platform, which uses electric drive tooling to make the automobile instrument panel do 360 °Rotate, and use the manipulator to drive the camera movement to detect various parts and angles of the instrument panel.
  • the technical problem solved by the present invention is to provide an automobile instrument panel detection system based on machine vision, which is used to solve the problem of low efficiency of manual inspection of automobile instrument panels.
  • a vehicle instrument panel detection system based on machine vision including:
  • the camera fixation detection device includes a workbench and a focus adjustment module set on the workbench, a slide rail, a horizontal transfer platform, a lens bracket, and a dashboard slide fixture for placing the instrument panel to be tested ,
  • the lens holder is fixed on the horizontal shifting platform
  • the horizontal shifting platform is fixed on the focal length adjustment module
  • the focal length adjustment module can control the horizontal shifting platform to move up and down to adjust the camera and the instrument panel under test Distance
  • the slide rail is set on the workbench, and also includes a dashboard slide fixture set on the slide rail;
  • the detection camera is fixed on the lens bracket, and the lens of the detection camera is downward and vertical to the instrument panel to be tested, and the detection camera can perform synchronous shooting for changes in the relevant state of the instrument panel to be tested;
  • the upper computer is used to send control instructions to display the status of the instrument panel to be tested, and to control the detection camera to collect and process the image of the instrument panel. It also includes an alarm connected to the upper computer to receive the signal of eligibility sent by the upper computer;
  • the IO module, the host computer, the instrument panel to be tested and the testing camera are linked through the IO module to realize the interaction between the status signal between the host computer and the instrument panel to be tested, control the camera to shoot the status change of the instrument panel, and transmit the image to Detection software to realize the interconnection of the system.
  • the instrument panel sliding table jig includes a slider, a jig bottom plate, a positioning step and two pulling handles, the jig bottom plate is set on the slide rail by the slider and can be displaced on the slide rail by the slider, so The two pulling handles are distributed left and right on the bottom plate of the smelting tool, and the bottom plate of the smelting tool is also distributed with 4 positioning steps for fixing the instrument panel.
  • the focus adjustment module includes a first focus adjustment module and a second focus adjustment module, and the first focus adjustment module and the second focus adjustment module are respectively located on both sides of the dashboard slide fixture,
  • the horizontal transfer platform includes a first horizontal transfer platform and a second horizontal transfer platform
  • the inspection camera includes a first inspection camera, a second inspection camera, and a third inspection camera.
  • the first inspection camera and the second inspection camera are arranged on a first horizontal translation platform, and the third inspection camera is arranged on the first horizontal transfer platform. 2. On the horizontal transfer platform.
  • first focal length adjustment module and the second focal length adjustment module include a transfer platform support and a linear module that drives the transfer platform support to move up and down, and the bottom of the linear module is provided with a driving source
  • the driving motor also includes a sensor arranged on the side of the linear module for detecting the position of the support of the transfer platform.
  • the transfer platform includes an X-direction motor, an X-direction sliding table, a Y-direction sliding table, a bracket fixing hole, a platform guide rail, a Y-direction motor and a signal interface, and the signal interface is arranged on the X-direction motor and the Y-direction.
  • the motor side of the motor is used to receive signal commands to control the operation of the X-direction motor and the Y-direction motor.
  • the X-direction motor and the Y-direction motor are connected to the X-direction sliding table and the Y-direction sliding table through the platform guide rail, and respectively drive the X-direction
  • the sliding table and the Y-direction sliding table are displaced along the X and Y directions on the platform guide rail, the Y-direction sliding table is located at the top position of the X-direction sliding table, and the Y-direction sliding table is provided with the lens bracket.
  • the invention also discloses an automobile instrument panel detection method based on machine vision, which includes:
  • the first step establish a database, the database includes the qualified information of the features to be detected in the dashboard;
  • Step 2 The host computer controls the instrument panel to be tested to display corresponding information at the set frequency, and controls the detection camera to reach the target area;
  • Step 3 While the instrument panel to be tested is working, the host computer controls the camera to capture images of the instrument panel at the set frequency and number of times, including the image of the instrument pointer, the indicator icon image and the TFT LCD screen image, and the image is fed back to the instrument panel for inspection Module, the camera enters the waiting state;
  • the fourth step the dashboard detection module performs preprocessing, image feature extraction and image recognition on the picture.
  • the image preprocessing includes image enhancement, image segmentation, grayscale processing and binarization processing;
  • Step 5 The instrument panel detection module compares the preprocessed information with the qualified information in the database, saves the result and returns the alarm to the alarm, if it is unqualified, it will alarm.
  • the Hough transform is used to extract the meter pointer straight line, and then the image segmentation method is used to extract the rectangular area on both sides of the pointer, and then the support vector machine algorithm is used to identify the numbers on both sides of the pointer.
  • Distance judgment pointer reading is used to identify the numbers on both sides of the pointer.
  • the threshold is set by the Otsu algorithm to divide the pixel into two parts. Since the detection environment is in the dark, the brightness is higher when the indicator light is on, and the indicator light can be quickly and accurately detected. The indicator light is alternately lit according to the instrument The off time interval can be used to calculate the flashing frequency of the indicator light.
  • the Hu invariant moment method is used to extract the indicator feature recognition
  • the YOLO V3 algorithm is used to train the neural network for recognition.
  • the Otsu algorithm sets a threshold to divide the pixel into two parts to detect the on and off of the indicator light.
  • the OCR technology when processing the image of the TFT liquid crystal display screen, the OCR technology is used to recognize the characters and characters on the display screen.
  • the instrument panel image acquisition system based on three cameras is designed.
  • the three detection cameras simultaneously take clear and accurate shots of all parts of the instrument panel, which reduces the impact of image segmentation on the shooting quality in the later stage, and improves the shooting efficiency and accuracy;
  • All three inspection cameras can be driven by electric power to achieve vertical and horizontal displacement, which can make the inspection camera reach the designated shooting position quickly and accurately.
  • the instrument panel to be inspected can be displaced by sliding rails and sliders, which greatly improves The flexibility of the entire system operation;
  • the indicator icons on the dashboard are divided into floating icons and static icons. Because the position of the floating icon will change with the displayed content, the Hu invariant moment algorithm cannot get the result, and the latest YOLO V3 algorithm can recognize floating icons in real time, and the recognition accuracy is high. If all the icons are performed using the YOLO V3 algorithm Recognition is too complicated to train a neural network, so this patent uses the Hu invariant moment method to recognize static icons;
  • dashboard decoration is an important part of the dashboard. Whether the decoration is cut accurately, whether the light transmittance of the material meets the requirements, and whether the decoration is shifted due to external force is directly related to whether the dashboard can be displayed correctly.
  • the traditional instrument panel detection scheme only pays attention to the identification of the pointer and the indicator lamp and ignores the detection of the instrument panel decoration. This patent combines the detection results to analyze the error of the instrument panel decoration;
  • Figure 1 is a schematic diagram of the overall structure of the auto instrument panel automatic detection system of this patent.
  • Figure 2 is a schematic diagram of the camera focal length adjustment module of the auto instrument panel automatic detection system of the patent;
  • Figure 3 is a schematic diagram of the camera horizontal shifting platform of the auto instrument panel automatic detection system of the patent.
  • Figure 4 is a schematic diagram of the instrument panel sliding table fixture of the auto instrument panel automatic detection system of the patent.
  • Fig. 5 is a schematic diagram of the camera of the auto instrument panel automatic detection system of the patent.
  • Figure 6 is a schematic diagram of the camera bracket of the auto instrument panel automatic detection system of the patent.
  • Figure 7 is a flow chart of the indicator icon detection flow chart of the patented auto instrument panel automatic detection system
  • Figure 8 is a flow chart of pointer instrument detection of the patented auto instrument panel automatic detection system
  • FIG. 9 is an overall block diagram of the auto instrument panel automatic detection system of this patent.
  • Figure 10 is a schematic diagram of the detection method of the car dashboard
  • 31-X-direction motor 32-X-direction sliding table, 33-Y-direction sliding table, 34-bracket fixing hole, 35-platform guide rail, 36-Y-direction motor, 37-signal interface;
  • 51-focusing device 52-fixed screw, 53-indicator, 54-data line interface, 55-power line interface, 56-camera housing;
  • an automobile instrument panel inspection system based on machine vision includes:
  • the camera fixation detection device includes a workbench 2 and a focus adjustment module set on the workbench 2, a slide rail 10, a horizontal transfer platform, a lens bracket 5 and a device for placing the instrument panel 1 to be tested
  • the instrument panel sliding table fixture 9, the lens bracket 5 is fixed on the horizontal transfer platform, the horizontal transfer platform is fixed on the focus adjustment module, and the horizontal transfer platform can be controlled by the focus adjustment module to move up and down for adjustment
  • the slide rail 10 is set on the workbench 2, and also includes an instrument panel slide table fixture 9 set on the slide rail 10;
  • the detection camera 4 is fixed on the lens holder 5, and the lens of the detection camera 4 is downward and vertical to the instrument panel 1 to be tested, and the detection camera 4 can synchronously photograph the related state changes of the instrument panel 1 to be tested;
  • the upper computer is used to send control instructions to display the status of the instrument panel 1 under test, and control the detection camera 4 to collect and process the image of the instrument panel. It also includes an alarm connected to the upper computer to receive the signal from the upper computer whether it is qualified or not. ;
  • the IO module, the host computer, the instrument panel to be tested and the inspection camera 4 are linked through the IO module to realize the interaction between the status signal between the host computer and the instrument panel to be tested, control the camera to shoot the status change of the instrument panel, and transmit the image To the detection software, to realize the interconnection of the system;
  • the host computer sends control commands to control the working status of the dashboard and controls the detection camera 4 to move to the designated area.
  • the detection camera 4 collects the image of the dashboard and transmits the image to the dashboard detection software for image preprocessing. , Image feature extraction and image recognition, output the recognition result and send it to the alarm.
  • the detection camera 4 in this detection system uses a digital camera with a USB interface, which can directly convert the collected image information into a digital signal and send it to the host computer through the USB interface.
  • CMOS complementary metal-oxide-semiconductor
  • the combination of new CMOS technology and USB3.0 interface makes CMOS cameras More and more applications in the industrial field, so this detection system uses CMOS industrial camera for image acquisition.
  • the resolution of the camera is the product of the number of pixels in the vertical and horizontal directions. Its size directly reflects the sharpness of the shooting, which is also very important. To the accuracy of the entire measurement system.
  • the frame rate of the camera refers to the number of shots per unit time.
  • the industrial camera includes a focus adjuster 51, a fixing screw 52, an indicator light 53, a data line interface 54, a power line interface 55, and a camera housing 56.
  • the focuser is used to adjust the focal length of the camera.
  • the resolution of the camera is 1280*1024, and the frame rate at the maximum resolution is 18.6fps.
  • the image acquisition methods are diversified and can be used under multiple operating systems such as Windows; when recognizing dashboard information If there is a deviation in the installation position and angle of the detection camera 4, it will cause a great error in the recognition process. However, it is difficult to achieve accurate installation through human observation. In order to ensure the accuracy of the installation position of the detection camera 4, a corresponding auxiliary program is used to ensure the accurate installation of the detection camera 4.
  • the instrument panel sliding table jig 9 includes a slider 41, a jig bottom plate 42, a positioning step 43, and two pulling handles 44.
  • the jig plate 42 is set on the slide rail 10 through the slider 41.
  • the two pull handles 44 are distributed on the bottom plate 42 of the fixture on the left and right sides, and 4 positioning steps 43 for fixing the instrument panel are distributed on the bottom plate 42 of the fixture. This setting makes it easy to adjust the position of the bottom plate 42 of the jig, and it is convenient for the inspection camera 4 to focus with the instrument panel to be inspected;
  • the focus adjustment module includes a first focus adjustment module 7 and a second focus adjustment module 3.
  • the first focus adjustment module 7 and the second focus adjustment module 3 are respectively located on the dashboard
  • the horizontal transfer platform includes a first horizontal transfer platform 6 and a second horizontal transfer platform 8
  • the inspection camera 4 includes a first inspection camera 4, a second inspection camera 4, and a third
  • the detection camera 4, the first detection camera 4 and the second detection camera 4 are set on the first horizontal transfer platform 6, and the third detection camera 4 is set on the second horizontal transfer platform 8.
  • the first inspection camera 4 is used to photograph the speedometer and fuel gauge
  • the second inspection camera 4 is used to photograph the tachometer and water temperature gauge
  • the third inspection camera 4 is used to photograph the TFT display and indicator lights.
  • the group 7 and the second focal length adjustment module 3 include a transfer platform support 22 and a linear module 23 that drives the transfer platform support 22 to move up and down.
  • the bottom of the linear module 23 is provided with a drive motor 21 used as a drive source, and It includes a sensor 24 arranged on the side of the linear module 23 for detecting the position of the transfer platform support 22, the sensor 24 may be a laser sensor 24 or a photoelectric sensor 24, etc., for receiving related instructions and controlling the lifting and lowering of the transfer platform support 22;
  • the transfer platform includes an X-direction motor 31, an X-direction sliding table 32, a Y-direction sliding table 33, a bracket fixing hole 34, a platform guide rail 35, a Y-direction motor 36, and a signal interface 37.
  • the interface 37 is arranged on the motor side of the X-direction motor 31 and the Y-direction motor 36, and is used to receive signal instructions to control the operation of the X-direction motor 31 and the Y-direction motor 36.
  • the X-direction motor 31 and the Y-direction motor 36 pass through the platform guide rail 35.
  • the lens holder 5 is provided on the Y-direction sliding table 33.
  • the auxiliary frame changes from red to green, indicating that the installation is successful; when detecting the dashboard image, if there is a deviation in the installation position or angle of the detection camera 4 , It may cause the problem of inaccurate icon recognition or unrecognizable character information. Therefore, the installation position of the detection camera 4 and the instrument panel 1 under test must be accurate.
  • the computer-assisted program automatically generates a rectangular frame with the same area as the TFT display. Calculate the overlap area between the meter area detected by the algorithm and the rectangular frame, and prompt the moving direction of the detection camera 4 according to the relative position of the overlapped part and the rectangular frame. If it is completely overlapped, the color of the auxiliary line of the rectangular frame changes from red to green, indicating the detection camera 4 has been accurately installed.
  • the invention also discloses an automobile instrument panel detection method based on machine vision, which includes:
  • the first step establish a database, the database includes the qualified information of the features to be detected in the dashboard;
  • Step 2 The host computer controls the instrument panel 1 to be tested to display corresponding information at the set frequency, and controls the detection camera 4 to reach the target area;
  • Step 3 While the instrument panel 1 under test is working, the host computer controls the camera to capture images of the instrument panel at the set frequency and times, including the image of the instrument pointer, the indicator icon image and the TFT LCD screen image, and the image is fed back to the instrument panel Detection module, the camera enters the waiting state;
  • the fourth step the dashboard detection module performs preprocessing, image feature extraction and image recognition on the picture;
  • Step 5 The instrument panel detection module compares the preprocessed information with the qualified information in the database, saves the result and returns the alarm to the alarm, if it is unqualified, it will alarm.
  • the common faults of the car dashboard can be divided into the following aspects:
  • the image preprocessing described in step 4 is first performed, which may specifically include image enhancement, image segmentation, grayscale processing, and binarization processing;
  • the image enhancement processing method enhances the dashboard image, suppresses the background area, and improves the image contrast.
  • Each pixel in a color image has three gray values (red, green, and blue), so the image can be studied according to the three gray levels of red, green and blue. Because the indicator pointer is red, there is a clear pointer in the red channel The other channels do not have the area, so the pointer area is extracted by the subtraction method.
  • the Hough transform can be used to extract the straight line of the meter pointer, and then the image segmentation method is used to extract the rectangular areas on both sides of the pointer, and then the support vector machine algorithm is used to identify the numbers on both sides of the pointer, and the pointer reading is judged based on the scale distance from the pointer to the indicator on both sides.
  • Hough transform method to extract a straight line is a method to extract a straight line from the transform domain. The basic principle is to convert the curve of the original space into a point in the parameter space through the corresponding relationship, and convert the coordinate of the point on the straight line to the coefficient of the straight line passing the point Domain, using the principle of collinear and straight line intersection to transform the extraction of straight lines into a counting problem.
  • the characters to be recognized should be filtered, corroded, and expanded, and then the character size should be normalized to make the character size consistent and easy to recognize. Finally, the digital image is refined to the width of one pixel. Since the numbers on the dashboard are relatively simple, support vector machines can well solve the problem of small samples and non-linear pattern recognition, so support vector machines are used to establish a model to effectively classify numbers through a large number of training samples.
  • Support vector machines are widely used in the field of pattern recognition, and it is better to predict problems with higher dimensionality, nonlinearity and fewer samples.
  • the accuracy of the reading recognition of the automobile instrument panel is required to be within 1%. Calculate the relative error of each measurement, and take the average of the relative errors of multiple measurements to determine whether the accuracy of the meter meets the requirements.
  • the indicator lights on the car dashboard include fog light indicator, parking system failure warning light, seat belt failure warning light, tire pressure warning light, oil pressure warning light, SRS failure light, engine failure light, and airbag failure warning light , Turn indicator lights, etc.
  • the goal of the indicator light recognition system is to accurately identify whether each indicator light is on or off, the color display and the shape are correct.
  • the database in the above step 1 contains information such as the position coordinates of the light, the ID of the light, and the color of the light.
  • the identification of color information is very important. If the indicator color is displayed incorrectly, the instrument panel is unqualified.
  • the color identification method is: when the indicator light is on, in the indicator display range (Database calibrated coordinate range) Intercept the picture of the current frame. Since the icon color is all monochrome, its RGB value can be counted through the program. When the total value of a certain color component is the largest, it is recorded as the corresponding color.
  • the Hu invariant moment method is used to extract the indicator feature recognition
  • the YOLO V3 algorithm is used to train the neural network for recognition.
  • the threshold is set by Otsu algorithm to divide the pixel into two parts to detect the on and off of the indicator light;
  • the icons on the display screen can be divided into static icons and floating icons according to whether the position changes or not, the display position of the static icons is fixed, and the identification method is relatively simple; the floating icons refer to warning icons, which are displayed when needed. When new information is added, the position of the original warning icon will continue to change with the position of the displayed content.
  • Hu invariant moments are widely used in image recognition and image feature extraction. Its core idea is to use algebraic methods to propose invariant moments with translation, rotation and scale invariance. In the establishment of indicator recognition database and operation indicator recognition program In the process, the Hu invariant moment information needs to be used to identify the indicator. It is invariant to image translation, rotation and scaling, and has good noise resistance.
  • the comparison of the indicator shape only needs to compare the shape of the indicator with the shape of the indicator. Whether the prior data in the database is consistent, the Hu invariant moment method is used to obtain the similarity between the icon to be tested and the source image, and then it is compared with the set threshold. If the similarity is less than the threshold, the corresponding position is indicated. The shape of the icon is displayed correctly, otherwise the indicator light is displayed incorrectly;
  • Using the YOLO V3 algorithm needs to convert the color space of the detected icon from RGB to HSV, extract the ROI according to the color characteristics of the floating icon, and use the YOLO V3 algorithm to realize the detection of the floating icon.
  • the YOLO V3 algorithm directly distinguishes the classification and location of different icons on the dashboard through a neural network. Divide the input image into grids. If the center of an icon falls on the grid, the grid will identify the icon.
  • the location file generated by the conversion label is in a format that can be recognized by YOLO V3;
  • the traditional Hu invariant moment and SIFT recognition algorithm need to manually intercept the required location area and template image in the meter picture, it cannot match and recognize the floating icon. Therefore, we use other target detection algorithms to recognize floating icons.
  • Target recognition algorithms such as R-CNN and fast-RCNN have a low recognition error rate but slow recognition speed, which is not conducive to improving the detection efficiency; the traditional YOLO algorithm can realize floating icons.
  • the YOLO algorithm can identify it.
  • the accuracy rate is low, and missed detection and wrong detection are prone to occur.
  • the YOLO V3 algorithm combines the advantages of the SSD algorithm to ensure high detection efficiency while solving the shortcomings of low accuracy and easy missed detection. Therefore, for floating icons
  • the YOLO V3 algorithm includes three parts: convolutional layer, target detection layer, and NMS screening layer.
  • YOLO V3 completes object classification and object positioning in one step, which improves the detection speed.
  • YOLO V3 improves the following:
  • YOLO V3 uses logistic loss instead of softmax loss to facilitate multi-label classification
  • the Darknet-53 network is used for feature extraction, and the residual unit is added, which can not only detect in real time, but also greatly improve the accuracy. After each convolutional layer, batch normalize and discard the dropout operation;
  • YOLO V3 has the advantages of fast recognition speed, high accuracy, and strong generalization ability. It draws on the residual network structure to form a deeper network level and multi-scale detection, which improves the effect of icon detection.
  • the TFT liquid crystal display of a car dashboard usually displays text and character information, including vehicle speed, rotation speed, and temperature.
  • TFT liquid crystal display detection mainly recognizes whether there are errors or missing display of characters and characters.
  • OCR uses image processing technology to perform pattern recognition through light and dark changes, and converts optical characters into computer characters.
  • OCR products on the market There are already open source OCR products on the market that can be put into use.
  • the text, numbers and letters to be displayed on the LCD screen of the instrument panel need to be stored in the database after repeated training to improve the recognition accuracy.
  • the sticker is a plastic sheet printed with speedometer, tachometer, and indicator icons. It is an important part of the dashboard. If the glue is aging or the sticker is shifted due to car vibration, or the sticker is printed When an error occurs and the icon display does not meet the standard, it will cause the car instrument to not be displayed correctly, which brings great hidden dangers to driving.
  • This patent aims at this detection scheme as:
  • the indicator icons are on and off and the display frequency is normal, but the color difference of multiple indicator icons is beyond the specified normal range. After testing the welding LED lamp model is correct, it is determined that the material used for the instrument panel decoration is unqualified;
  • test result shows that after the multiple pointers of the instrument panel reach the designated position, the deviation between the display scale and the true value is too large, and there are situations where multiple indicator icons cannot be correctly identified, it is judged that the instrument panel decoration has shifted Bit.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)

Abstract

一种基于机器视觉的汽车仪表盘自动检测系统和检测方法，该系统包括：上位机，电控单元，1-3号可见光相机，仪表盘检测装置，IO模块，CAN总线，仪表盘检测软件；上位机通过IO模块发送控制指令到电控单元并控制可见光相机开机，电控单元处理数据后通过MCU模块控制仪表盘各部分显示相应状态；可见光相机通过IO模块与仪表盘实现计数同步，保证仪表盘显示状态发生变化的同时相应位置可见光相机进行抓拍，并将拍摄图片转化成数字信号传送给仪表盘检测软件；软件对图片进行处理后与数据库中相关指令进行比对，最终将是否合格的信号传给报警器，不合格则报警。

Description

一种基于机器视觉的汽车仪表盘检测系统和检测方法 技术领域
本发明涉及机器视觉技术领域，特别涉及一种基于机器视觉的汽车仪表盘检测系统和检测方法。
背景技术
自上世纪末汽车诞生至今已有一百多年的历史。作为汽车重要零部件之一，汽车仪表盘技术取得了极大的发展。可靠的仪表盘能够快速准确地显示车辆信息，使得驾驶员能够实时了解车辆的工作状态，对于车辆驾驶的安全有着极其重要的意义。随着电子技术的发展，汽车仪表盘已不仅限于显示车速，转速等基础性功能，越来越复杂的功能以及更高的精度和灵敏度给仪表盘检测带来了更高的要求。
传统的汽车仪表盘测试采用人工检测对仪表盘显示状态正确与否进行测试，但人工检测受到诸多客观因素的影响，存在检测效率低下，检测员易疲劳等问题，难以满足工业仪表检测对效率与精度的需求。随着机器视觉及图像处理技术的不断发展，以及自动化测试在工业生产中的不断普及，机器视觉智能读数成为了发展的方向。机器视觉通过感光元件感知光信号，不影响仪表的正常工作，与机器硬件软件配合可以持续稳定运行，不会因长时间工作而出现错误率较高的问题。
申请号为CN201610629777.3的专利提出了一种非接触式汽车仪表盘测试系统及方法，采用摄像头采集图像，通过计算机发送指令并进行测试。该专利解决了人工造成的误判和效率低下问题，但缺点在于并未给出具体的检测装置设计方案；申请号为CN201920370593.9提供了一种汽车仪表盘检测装置，结构合理，但该装置缺点在于并未采用电力驱动，需要检测人员手工进行操作且检测内容较少；申请号为CN201610021890.3公开了一种汽车仪表盘检测台，该检测台采用电力驱动工装架使汽车仪表盘做360°旋转，同时用机械手带动相机运动对仪表盘各个部分及角度进行检测。该专利优点在于采用电力驱动操作简单，可对仪表盘各部分进行检测；但其缺点在于仪表盘与相机均需位移，设计太过复杂，不能同时对仪表盘各部分进行并行检测；为改进上述问题，本专利研究设计了一种基于机器视觉的汽车仪表盘自动检测系统。
发明内容
本发明解决的技术问题是提供一种基于机器视觉的汽车仪表盘检测系统，用于解决汽车仪表盘人工检测效率低下的问题。
本发明解决其技术问题所采用的技术方案是：一种基于机器视觉的汽车仪表盘检测系统，包括，
相机固定检测装置，所述相机固定检测装置包括工作台和设置在工作台上的焦距调整模组、滑轨、水平移转平台、镜头支架和用于放置待测仪表盘的仪表盘滑台冶具，所述镜头支架固定在水平移转平台上，所述水平移转平台固定在焦距调整模组上，可由焦距调整模组控制水平移转平台上下移动，用以调节相机与待测仪表盘的距离；所述滑轨设置在工作台上，还包括设置在滑轨上的仪表盘滑台冶具；
检测相机，固定在镜头支架上，所述检测相机的镜头向下且与待测仪表盘保持垂直，所述检测相机可针对待测仪表盘相关状态变化做到同步拍摄；
上位机，用于发送控制指令待测仪表盘显示状态，控制检测相机对仪表盘进行图像采集和处理，还包括与上位机连接的报警器，用于接收上位机发出的是否合格的信号；
IO模块，所述上位机，待检测仪表盘和检测相机通过IO模块链接，实现状态信号在上位机与待检测仪表盘、之间的交互，控制相机拍摄仪表盘状态变化，并将图像传送至检测软件，实现系统的联通。
进一步的是：所述仪表盘滑台冶具包括滑块、冶具底板、定位台阶和两个拉动把手，所述冶具底板通过滑块设置在滑轨上并可通过滑块在滑轨上位移，所述两个拉动把手左右分布在冶具底板上，所述冶具底板上还分布有4个用于固定仪表盘定位台阶。
进一步的是：所述焦距调整模组包括第一焦距调整模组和第二焦距调整模组，所述第一焦距调整模组和第二焦距调整模组分别位于仪表盘滑台冶具两侧，
所述水平移转平台包括第一水平移转平台和第二水平移转平台，
所述检测相机包括第一检测相机、第二检测相机和第三检测相机，所述第一检测相机和第二检测相机设置在第一水平移转平台上，所述第三检测相机设置在第二水平移转平台上。
进一步的是：所述第一焦距调整模组和第二焦距调整模组包括移转平台支架和驱动移转平台支架做升降运动的直线模组，所述直线模组底部设置有用作驱动源的驱动电机，还包括设置在直线模组侧面用于检测移转平台支架位置的传感器。
进一步的是：所述移转平台包括X向电机、X向滑台、Y向滑台、支架固定孔、平台导轨、Y向电机和信号接口，所述信号接口设置在X向电机和Y向电机电机一侧，用于接收信号指令控制X向电机和Y向电机电机运转，所述X向电机和Y向电机通过平台导轨与X向滑台和Y向滑台向连，分别驱动X向滑台和Y向滑台在平台导轨上沿X,Y向位移，所述Y向滑台位于X向滑台顶部位置，所述Y向滑台上设置有所述镜头支架。
本发明还公开了一种基于机器视觉的汽车仪表盘检测方法，包括：
第一步：建立数据库，所述数据库内包括仪表盘内待检测特征的合格信息；
第二步：上位机以设定频率控制待测仪表盘显示相应的信息，并控制检测相机到达目标 区域；
第三步：待测仪表盘工作的同时上位机控制相机以设定的频率和次数抓拍仪表盘图像，包括仪表指针图像、指示图标图像和TFT液晶显示屏图像，并将图像反馈给仪表盘检测模块，相机进入等待状态；
第四步：仪表盘检测模块对图片进行预处理、图像特征提取及图像识别，所述图像预处理包括图像增强、图像分割、灰度化处理和二值化处理；
第五步：仪表盘检测模块将预处理后的信息与数据库内的合格信息进行比对，并将结果进行保存并回传报警器，若不合格则报警。
进一步的是：上述步骤四中，当对仪表指针图像进行处理时；
第一，在确定仪表指针读数时采用Hough变换提取仪表指针直线，接着采用图像分割法提取指针两侧矩形区域，然后采用支持向量机算法识别指针两侧数字，根据指针到两侧示数的刻度距离判断指针读数；
第二，在进行指示灯亮灭情况判断时，在预处理采集到的指示灯图片时，需要先对提取的彩色图片进行灰度化处理，得到灰度图后，为分割目标与背景，需进一步进行二值化处理。通过Otsu算法设定阈值将像素点分为两部分，由于检测环境在黑暗中进行，当指示灯点亮时亮度较高，可以快速准确地检测出指示灯的亮灭，根据仪表指示灯交替亮灭的时间间隔可以推算出指示灯的闪烁频率。
进一步的是：上述步骤四中，当对指示图标图像进行处理时，对于静止图标，采用Hu不变矩方法提取指示灯特征识别，对于浮动图标，采用YOLO V3算法训练神经网络进行识别，通过通过Otsu算法设定阈值将像素点分为两部分来检测指示灯的亮灭。
进一步的是：上述步骤四中，当对TFT液晶显示屏图像进行处理时，采用OCR技术识别显示屏上的文字和字符。
本发明的有益效果是：
1、设计了基于三相机的仪表盘图像采集系统，三部检测相机同时对仪表盘各个部分进行清晰准确拍摄，减少了后期进行图像分割对拍摄质量的影响，提高了拍摄效率和精度；
2、三部检测相机均可通过电力驱动实现竖直水平方向的位移，可以使检测相机快速准确地到达指定拍摄位置，同时待检测仪表盘可通过滑轨和滑块进行位移，极大地提高了整套系统操作的灵活性；
3、设计软件辅助定位法，根据拍摄区域与目标区域的相对位置提示相机的移动方向，当相机到达指定拍摄位置时，辅助框由红色变为绿色，表示可以进行拍摄，可以帮助相机快速准确定位；
4、设计读数算法仿照人眼读数习惯，先读取指针，然后进行图像分割提取指针周围狭长的矩形区域，使用支持向量机算法读取指针周围数字，计算指针到两侧数字刻度距离，仅需拍摄一次即可准确读取示数，提高了检测的准确度及精度；
5、仪表盘上的指示图标分为浮动图标和静止图标。浮动图标因为其图标位置会随显示内容发生变化，Hu不变矩算法无法得到结果，而最新的YOLO V3算法可以实时识别浮动图标，且识别精度较高，若将全部图标均采用YOLO V3算法进行识别则训练神经网络太为复杂，故针对静止图标本专利采用Hu不变矩方法进行识别；
6、仪表盘贴饰是仪表盘重要组成部分，贴饰是否准确裁切，材料透光率是否达到要求，是否因外力导致贴饰发生移位直接关系到仪表盘能否正确显示。传统仪表盘检测方案只注重于指针与指示灯的识别而忽略检测仪表盘贴饰，本专利结合检测结果对仪表盘贴饰错误进行了分析；
附图说明
图1是本专利汽车仪表盘自动检测系统的整体结构示意图；
图2是本专利汽车仪表盘自动检测系统的相机焦距调整模组示意图；
图3是本专利汽车仪表盘自动检测系统的相机水平移转平台示意图；
图4是本专利汽车仪表盘自动检测系统的仪表盘滑台冶具示意图；
图5是本专利汽车仪表盘自动检测系统的相机示意图；
图6是本专利汽车仪表盘自动检测系统的相机支架示意图；
图7是本专利汽车仪表盘自动检测系统的指示图标检测流程图；
图8是本专利汽车仪表盘自动检测系统的指针仪表检测流程图；
图9是本专利汽车仪表盘自动检测系统的总体框图；
图10是汽车仪表盘检测方法示意图
图中标记为：
1-待测仪表盘，2-工作台，3-第二焦距调整模组，4-检测相机，5-镜头支架、6-第一水平移转平台，7-第一焦距调整模组,8-第二水平移转平台，9-仪表盘滑台冶具，10-滑轨；
21-驱动电机，22-移转平台支架，23-直线模组，24-传感器；
31-X向电机，32-X向滑台，33-Y向滑台，34-支架固定孔，35-平台导轨，36-Y向电机，37-信号接口；
41-滑块，42-冶具底板，43-定位台阶，44-拉动把手，45-导轨固定孔；
51-调焦器，52-固定螺丝，53-指示灯，54-数据线接口，55-电源线接口，56-相机外壳；
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。
如图1和图9所示的一种基于机器视觉的汽车仪表盘检测系统，包括，
相机固定检测装置，所述相机固定检测装置包括工作台2和设置在工作台2上的焦距调整模组、滑轨10、水平移转平台、镜头支架5和用于放置待测仪表盘1的仪表盘滑台冶具9，所述镜头支架5固定在水平移转平台上，所述水平移转平台固定在焦距调整模组上，可由焦距调整模组控制水平移转平台上下移动，用以调节相机与待测仪表盘1的距离；所述滑轨10设置在工作台2上，还包括设置在滑轨10上的仪表盘滑台冶具9；
检测相机4，固定在镜头支架5上，所述检测相机4的镜头向下且与待测仪表盘1保持垂直，所述检测相机4可针对待测仪表盘1相关状态变化做到同步拍摄；
上位机，用于发送控制指令待测仪表盘1显示状态，控制检测相机4对仪表盘进行图像采集和处理，还包括与上位机连接的报警器，用于接收上位机发出的是否合格的信号；
IO模块，所述上位机，待检测仪表盘和检测相机4通过IO模块链接，实现状态信号在上位机与待检测仪表盘、之间的交互，控制相机拍摄仪表盘状态变化，并将图像传送至检测软件，实现系统的联通；
具体工作时，上位机发送控制命令控制仪表盘的工作状态并控制检测相机4运动弄至指定区域，同时检测相机4对仪表盘的图像进行采集，将图像传送给仪表盘检测软件进行图像预处理，图像特征提取及图像识别，输出识别结果并传给报警器。
具体使用时，在检测仪表过程中，需要选择正确的电控驱动，不仅需要为汽车仪表进行供电，还需要将上位机传送的指令转化为仪表盘可以识别的信息，实现对仪表的控制，本专利选择Kavaser USBcan Professional通信线路，支持CAN协议，同时可以在多种操作系统下使用，同时，在采集图像时，若采集到的图像模糊不清则会加大图像处理的难度，同时极大降低检测的准确性，因此需要采用合适的图像采集单元，本检测系统中的检测相机4采用USB接口的数字相机，可以通过USB接口直接将采集到的图像信息转化为数字信号传送给上位机，由于根据图像传感器24类型不同相机可分为CCD相机和CMOS相机。随着技术的进步，CMOS芯片在很多领域已经超过了CCD。其具有较高分辨率，较高帧速率，且功耗较低，噪声表现与效率有所改善，相较于CCD而言性价比出众，新的CMOS技术与USB3.0接口相结合，使得CMOS相机越来越多地应用于工业领域，故本检测系统选用CMOS工业相机进行图像采集， 相机的分辨率为垂直与水平方向像素点数的乘积，其大小直接反映了拍摄的清晰程度，也极大关系到整个测量系统的精度。相机的帧率是指单位时间内拍摄数量。帧率过低会降低检测效率，过高则对系统配置要求较高。为保证检测系统的检测效率与准确率，应选择帧率和分辨率较高的数字相机。综上，我们选择DAHENG_DH-HV1310FM工业相机，如图5所示，该工业相机包括调焦器51、固定螺丝52，指示灯53、数据线接口54、电源线接口55、相机外壳56几部分。调焦器用于调整相机焦距，该相机分辨率为1280*1024，最大分辨率下帧率为18.6fps,图像采集方式多样化且能在Windows等多种操作系统下使用；在识别仪表盘信息时，若检测相机4安装的位置及角度存在偏差，则会给识别过程造成极大的误差。而通过人眼观察很难达到准确安装。为保证检测相机4安装位置的精确，通过相应的辅助程序来确保检测相机4的准确安装。
具体的，如图4所示，所述仪表盘滑台冶具9包括滑块41、冶具底板42、定位台阶43和两个拉动把手44，所述冶具底板42通过滑块41设置在滑轨10上并可通过滑块41在滑轨10上位移，所述两个拉动把手44左右分布在冶具底板42上，所述冶具底板42上还分布有4个用于固定仪表盘定位台阶43，此种设置可方便调整冶具底板42的位置，方便检测相机4与待检测仪表盘对焦；
如图2所示，所述焦距调整模组包括第一焦距调整模组7和第二焦距调整模组3，所述第一焦距调整模组7和第二焦距调整模组3分别位于仪表盘滑台冶具9两侧，所述水平移转平台包括第一水平移转平台6和第二水平移转平台8，所述检测相机4包括第一检测相机4、第二检测相机4和第三检测相机4，所述第一检测相机4和第二检测相机4设置在第一水平移转平台6上，所述第三检测相机4设置在第二水平移转平台8上，具体使用时，第一检测相机4用来拍摄车速表与燃油表，第二检测相机4用来拍摄转速表与水温表，第三检测相机4用来拍摄TFT显示屏及指示灯，所述第一焦距调整模组7和第二焦距调整模组3包括移转平台支架22和驱动移转平台支架22做升降运动的直线模组23，所述直线模组23底部设置有用作驱动源的驱动电机21，还包括设置在直线模组23侧面用于检测移转平台支架22位置的传感器24，所述传感器24可为激光传感器24或光电传感器24等，用于接收相关指令，控制移转平台支架22升降；
如图3所示，所述移转平台包括X向电机31、X向滑台32、Y向滑台33、支架固定孔34、平台导轨35、Y向电机36和信号接口37，所述信号接口37设置在X向电机31和Y向电机36电机一侧，用于接收信号指令控制X向电机31和Y向电机36电机运转，所述X向电机31和Y向电机36通过平台导轨35与X向滑台32和Y向滑台33向连，分别驱动X向滑台32和Y向滑台33在平台导轨35上沿X,Y向位移，所述Y向滑台33位于X向滑台32顶部位置， 所述Y向滑台33上设置有所述镜头支架5。
在安装指针式仪表盘检测相机4(包括车速表，转速表，水温表，燃油表)时，将检测相机4与表盘面垂直放置，此时摄入的表盘应为正圆图像，计算机辅助程序生成边长与表盘直径相同的虚拟正方形辅助框，若未达到安装要求，辅助框为红色，并根据表盘与正方形辅助框的相对位置提示检测相机4的移动方向；通过焦距调整模组和水平移转平台不断调整相机位置，若表盘图像与虚拟正方形框四条边均相交时，辅助框由红色变为绿色，表示安装成功；在检测仪表盘图像时，若检测相机4安装的位置或角度存在偏差，则可能会导致图标识别不准确或字符信息无法识别的问题，因此检测相机4及待测仪表盘1安装位置一定要精确，计算机辅助程序自动生成一个和TFT显示屏等面积的矩形框，然后计算算法检测到的仪表面积与矩形框的重叠面积，并根据重叠部分与矩形框的相对位置提示检测相机4的移动方向，若完全重叠则矩形框辅助线颜色由红色变为绿色，表示检测相机4已准确安装。
本发明还公开了一种基于机器视觉的汽车仪表盘检测方法，包括：
第一步：建立数据库，所述数据库内包括仪表盘内待检测特征的合格信息；
第二步：上位机以设定频率控制待测仪表盘1显示相应的信息，并控制检测相机4到达目标区域；
第三步：待测仪表盘1工作的同时上位机控制相机以设定的频率和次数抓拍仪表盘图像，包括仪表指针图像、指示图标图像和TFT液晶显示屏图像，并将图像反馈给仪表盘检测模块，相机进入等待状态；
第四步：仪表盘检测模块对图片进行预处理、图像特征提取及图像识别；
第五步：仪表盘检测模块将预处理后的信息与数据库内的合格信息进行比对，并将结果进行保存并回传报警器，若不合格则报警。
检测时，汽车仪表盘常见故障可分为如下几个方面：
(1)指针读数显示故障，指针未按照相关指令运动到正确读数位置；
(2)液晶显示屏显示故障，各类信息如车速、油耗、温度等未按照指令正确显示，文字及字符部分存在错显或漏显情况；
(3)指示灯部分未按照相关指令显示相应的状态及显示灯颜色信息不正确；
(4)仪表盘贴饰由于印刷错误或发生移位现象导致仪表盘显示错误；
具体的，当对仪表指针图像进行处理时，先进行步骤四所述的图像预处理，具体可包括图像增强、图像分割、灰度化处理和二值化处理；
具体的，先将仪表盘彩色图像转化为灰色图像，可以有效减少后续图像处理的计算量；然后将仪表盘图像进行二值化，将仪表盘的灰度图像转化为黑白图像，最后采用空间域图像 增强处理方法增强仪表盘图像，抑制背景区域，提高图像对比度。
彩色图像中每个像素有三个灰度值(红、绿和蓝)，因此可以将图像按照红、绿和蓝三个灰度图进行研究，由于仪表指针为红色，红色通道内有清晰的指针区域而其余通道没有，因此采用减影法提取出指针区域。
每次应用细化操作都会从二值图像物体中删除一至两个像素，对指针图像重复执行细化操作直至图像停止改变，从而找到指针的中间轴线，即找到指针的位置信息。
具体的，还可采用Hough变换提取仪表指针直线，接着采用图像分割法提取指针两侧矩形区域，然后采用支持向量机算法识别指针两侧数字，根据指针到两侧示数的刻度距离判断指针读数，Hough变换法提取直线是一种变换域提取直线的方法，基本原理是将原始空间的曲线通过对应关系转化为参数空间中的一个点，把直线上点的坐标转换到过点的直线的系数域，利用共线以及直线相交原理将直线的提取变换成计数问题。
接着，在确定表盘读数时，确定表盘中心及指针所在象限位置较为复杂，本专利根据人眼先定位表盘关键元素指针，然后再确定指针两旁数字，最后根据数字间的刻度线确定准确读数的识别顺序，采用数字法确定仪表盘示数。
提取邻近数字区域时，首先应以指针图像为中心，根据表盘上各点到直线的距离设定一个阈值，提取距离值小于阈值的长方形区域，即为邻近数字区域。
首先应对待识别的字符进行滤波、腐蚀、膨胀等预处理，然后对字符大小进行归一化处理使字符大小一致便于识别。最后对数字图像采取细化处理直至一个像素宽度。由于仪表盘上的数字较为简单，支持向量机能够很好地解决小样本、非线性的模式识别问题，故采用支持向量机通过大量的训练样本，建立模型对数字进行有效的分类。
支持向量机在模式识别领域应用十分广泛，预测较高维度、非线性及样本数较少问题效果较好。
在使用支持向量机算法进行识别检测步骤如下：
1、将输入样本进行归一化；
2、划分样本为训练集和测试集，优化参数训练SVM模型；
3、利用训练的SVM模型得到分类结果；
在实际工业测试中，汽车仪表盘的读数识别精度要求在1％以内。计算每次测量的相对误差，对多次测量的相对误差取平均判断该仪表精度是否符合要求。
汽车仪表盘上的指示灯包括雾灯指示灯、驻车系统故障警告灯、安全带未系警告灯、胎压警告灯、机油压力警告灯、SRS故障灯、发动机故障灯、安全气囊故障警告灯、转向指示灯等，指示灯识别系统的目标是准确识别每个指示灯的亮灭、颜色显示及形状是否正确。
为提高指示灯状态的识别效率，上述步骤一中的数据库中包含有灯的位置坐标、灯的ID、灯的颜色等信息。
接着，在进行指示灯亮灭情况判断时，在预处理采集到的指示灯图片时，需要先对提取的彩色图片进行灰度化处理，得到灰度图后，为分割目标与背景，需进一步进行二值化处理。通过Otsu算法设定阈值将像素点分为两部分，由于检测环境在黑暗中进行，当指示灯点亮时亮度较高，可以快速准确地检测出指示灯的亮灭，根据仪表指示灯交替亮灭的时间间隔可以推算出指示灯的闪烁频率。
在指示灯识别过程中，颜色信息的识别至关重要，若指示灯颜色显示有误，则说明仪表盘不合格，其颜色识别方法为：在指示灯点亮的情况下，在指示灯显示范围(数据库标定的坐标范围)内截取当前帧的图片，由于图标颜色均为单色，故可通过程序对其RGB值进行统计，其中某一颜色分量的总值最大时，记为对应的颜色。
在上述基础上，上述步骤四中，当对指示图标图像进行处理时，对于静止图标，采用Hu不变矩方法提取指示灯特征识别，对于浮动图标，采用YOLO V3算法训练神经网络进行识别，通过通过Otsu算法设定阈值将像素点分为两部分来检测指示灯的亮灭；
具体的，由于显示屏上的图标根据位置变化与否又可分为静态图标和浮动图标，静态图标的显示位置是固定不变的，识别方法较为简单；浮动图标多指警示图标，当需要显示新的信息时，原警示图标位置会随显示内容位置不断变化。
Hu不变矩在图像识别和图像特征提取上应用十分广泛，其核心思想是用代数的方式提出具有平移、旋转及比例不变性的不变矩，在建立指示灯识别数据库和运行指示灯识别程序的过程中，都需要用到Hu不变矩信息对指示灯进行识别，其对图像平移、旋转及缩放具有不变性，具有良好的抗噪性能，指示灯形状对比只需要比较指示灯的形状与数据库中的先验数据是否相符，采用Hu不变矩方法求得待测图标与源图像的相似度大小，再与实现设定的阈值进行比对，若相似度小于阈值，则说明对应位置指示图标形状显示正确，否则说明指示灯显示错误；
采用Hu不变矩识别指示灯静止图标的步骤为：
1、解析命令，从数据库中获取待测图标ID、图标形状特征、位置信息、颜色信息；
2、截取图像中对应位置的坐标区域，采用Hu不变矩表征截取区域的特征与模板图标的特征，并进行特征量的匹配，若颜色及形状信息均满足要求，则表明仪表盘位置显示了相应的静态图标。
上述方法通过大量重复性试验证明，可以将图标识别的误差降至1％以下，完全满足识别系统的需求。
使用YOLO V3算法需要将检测图标的色彩空间由RGB转换为HSV，根据浮动图标的颜色特性提取出ROI,使用YOLO V3算法实现对浮动图标的检测。
YOLO V3算法通过神经网络直接对仪表盘不同图标所属分类及位置进行判别。将输入的图像划分成网格，如果某个图标的中心落在网格中，则此网格对该图标进行判别。
YOLO V3网络模型识别仪表盘浮动图标步骤如下：
1、将仪表盘上浮动图标位置及名称用于标注数据集，
2、划分标注数据集为训练集和测试集两部分；
3、转换标注生成的位置文件为YOLO V3可以识别的格式；
4、设置初始化权重，训练网络模型；
5、迭代一定次数后，对浮动图标进行检测识别，并输出识别结果；
由于传统的Hu不变矩和SIFT识别算法需要人为在仪表图片中截取需要的位置区域和模板图像，不能对浮动图标进行匹配识别。因此我们采用其他目标检测算法来对浮动图标进行识别，R-CNN、fast-RCNN等目标识别算法识别错误率低但识别速度较慢，不利于提高检测效率；传统的YOLO算法可以实现对浮动图标的实时检测，不需从指定位置寻找符号，只要其实时出现在屏幕上，YOLO算法就可以识别出来。但准确率较低，容易出现漏检、错检的情况，而YOLO V3算法结合了SSD算法的优点，在保证检测效率较高的同时解决了准确率低容易漏检的缺点，因此对于浮动图标我们采用以卷积神经网络为基础的YOLO V3算法。无论符号位置出现在哪里，通过YOLO V3算法，我们只需将所需的数据标注好进行训练即可，而不用截取记录仪表中每一个符号位置,提高了效率，实时性更好。
YOLO V3算法包含卷积层、目标检测层、NMS筛选层三部分，YOLO V3将物体分类和物体定位在一个步骤中完成，提高了检测速度，YOLO V3改进之处在于：
1、增加了top down多级预测，提升了对小目标识别的准确率，适合与仪表盘上浮动图标的检测；
2、YOLO V3使用logistic loss代替了softmax loss，便于多标签分类；
3、将Darknet-53网络用于特征提取，添加了残差单元，不仅可以实时检测，准确度也有了很大提高。在每个卷积层后批量归一化并舍弃dropout操作；
综上，YOLO V3具有识别速度快，精度高，泛化能力强的优点，借鉴了残差网络结构，形成更深的网络层次，以及多尺度检测，提升了图标检测效果。
在上述基础上，上述步骤四中，当对TFT液晶显示屏图像进行处理时，采用OCR技术识别显示屏上的文字和字符；
具体的，汽车仪表盘TFT液晶显示屏通常会显示文字与字符信息，包括车速，转速，温 度等。TFT液晶显示屏检测主要识别文字和字符是否存在错显及漏显等现象。
OCR运用图像处理技术，通过亮暗变化进行模式识别，将光学字符转化成计算机文字。如今市场上已经存在开源的OCR产品可以投入使用。在对液晶显示屏的文字进行识别之前，需要将仪表盘液晶显示屏将要显示的文字，数字和字母经过反复训练存入数据库，用以提高识别精度。
采用OCR技术检测液晶显示屏上的文字和字符信息的具体步骤如下：
1、将液晶显示屏上的文字与字符反复训练存入数据库中；
2、对获取的图像进行预处理操作，运用OCR技术识别文字和字符；
3、将识别到的文字和字符与数据库中相关指令进行比对；
而贴饰是一种印有车速表、转速表、指示灯图标的塑料薄板，是仪表板中的重要组成部分，若出现胶水老化或由于汽车震动导致贴饰移位，或者在印制贴饰时出现错误导致图标显示不符合标准，则会导致汽车仪表不能正确显示，给行车带来极大隐患。
本专利针对此检测方案为：
1、指示图标亮灭及显示频率正常，但多个指示图标色差超出规定正常范围，经检测焊接LED灯型号无误，则判定为仪表盘贴饰所用材料不合格；
2、若指示灯亮灭、颜色一切正常，但OCR技术多次识别图标形状不正确，若其他指示图标识别均正常则判定该位置图标形状贴饰形状不正确；
3、进行各项检测完毕后，检测结果显示仪表盘多个指针到达指定位置后显示刻度与真实值偏差过大，且存在多个指示图标不能正确识别的情况，则判定为仪表盘贴饰移位。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

  1. 一种基于机器视觉的汽车仪表盘检测系统，其特征在于：包括，
    相机固定检测装置，所述相机固定检测装置包括工作台(2)和设置在工作台(2)上的焦距调整模组、滑轨(10)、水平移转平台、镜头支架(5)和用于放置待测仪表盘(1)的仪表盘滑台冶具(9)，所述镜头支架(5)固定在水平移转平台上，所述水平移转平台固定在焦距调整模组上，可由焦距调整模组控制水平移转平台上下移动，用以调节相机与待测仪表盘(1)的距离；所述滑轨(10)设置在工作台(2)上，还包括设置在滑轨(10)上的仪表盘滑台冶具(9)；
    检测相机(4)，固定在镜头支架(5)上，所述检测相机(4)的镜头向下且与待测仪表盘(1)保持垂直，所述检测相机(4)可针对待测仪表盘(1)相关状态变化做到同步拍摄；
    上位机，用于发送控制指令待测仪表盘(1)显示状态，控制检测相机(4)对仪表盘进行图像采集和处理，还包括与上位机连接的报警器，用于接收上位机发出的是否合格的信号；
    IO模块，所述上位机，待检测仪表盘和检测相机(4)通过IO模块链接，实现状态信号在上位机与待检测仪表盘、之间的交互，控制相机拍摄仪表盘状态变化，并将图像传送至检测软件，实现系统的联通。
  2. 如权利要求1所述的一种基于机器视觉的汽车仪表盘检测系统，其特征在于：所述仪表盘滑台冶具(9)包括滑块(41)、冶具底板(42)、定位台阶(43)和两个拉动把手(44)，所述冶具底板(42)通过滑块(41)设置在滑轨(10)上并可通过滑块(41)在滑轨(10)上位移，所述两个拉动把手(44)左右分布在冶具底板(42)上，所述冶具底板(42)上还分布有4个用于固定仪表盘定位台阶(43)。
  3. 如权利要求1所述的一种基于机器视觉的汽车仪表盘检测系统，其特征在于：所述焦距调整模组包括第一焦距调整模组(7)和第二焦距调整模组(3)，所述第一焦距调整模组(7)和第二焦距调整模组(3)分别位于仪表盘滑台冶具(9)两侧，
    所述水平移转平台包括第一水平移转平台(6)和第二水平移转平台(8)，
    所述检测相机(4)包括第一检测相机(4)、第二检测相机(4)和第三检测相机(4)，所述第一检测相机(4)和第二检测相机(4)设置在第一水平移转平台(6)上，所述第三检测相机(4)设置在第二水平移转平台(8)上。
  4. 如权利要求3所述的一种基于机器视觉的汽车仪表盘检测系统，其特征在于：所述第一焦距调整模组(7)和第二焦距调整模组(3)包括移转平台支架(22)和驱动移转平台支架(22)做升降运动的直线模组(23)，所述直线模组(23)底部设置有用作驱动源的驱动电 机(21)，还包括设置在直线模组(23)侧面用于检测移转平台支架(22)位置的传感器(24)。
  5. 如权利要求1所述的一种基于机器视觉的汽车仪表盘检测系统，其特征在于：所述移转平台包括X向电机(31)、X向滑台(32)、Y向滑台(33)、支架固定孔(34)、平台导轨(35)、Y向电机(36)和信号接口(37)，所述信号接口(37)设置在X向电机(31)和Y向电机(36)电机一侧，用于接收信号指令控制X向电机(31)和Y向电机(36)电机运转，所述X向电机(31)和Y向电机(36)通过平台导轨(35)与X向滑台(32)和Y向滑台(33)向连，分别驱动X向滑台(32)和Y向滑台(33)在平台导轨(35)上沿X,Y向位移，所述Y向滑台(33)位于X向滑台(32)顶部位置，所述Y向滑台(33)上设置有所述镜头支架(5)。
  6. 一种基于机器视觉的汽车仪表盘检测方法，其特征在于：
    第一步：建立数据库，所述数据库内包括仪表盘内待检测特征的合格信息；
    第二步：上位机以设定频率控制待测仪表盘(1)显示相应的信息，并控制检测相机(4)到达目标区域；
    第三步：待测仪表盘(1)工作的同时上位机控制相机以设定的频率和次数抓拍仪表盘图像，包括仪表指针图像、指示图标图像和TFT液晶显示屏图像，并将图像反馈给仪表盘检测模块，相机进入等待状态；
    第四步：仪表盘检测模块对图片进行预处理、图像特征提取及图像识别；
    第五步：仪表盘检测模块将预处理后的信息与数据库内的合格信息进行比对，并将结果进行保存并回传报警器，若不合格则报警。
  7. 如权利要求6所述的一种基于机器视觉的汽车仪表盘检测方法，其特征在于：上述步骤四中，当对仪表指针图像进行处理时；
    第一，在确定仪表指针读数时采用Hough变换提取仪表指针直线，接着采用图像分割法提取指针两侧矩形区域，然后采用支持向量机算法识别指针两侧数字，根据指针到两侧示数的刻度距离判断指针读数；
    第二，在进行指示灯亮灭情况判断时，在预处理采集到的指示灯图片时，需要先对提取的彩色图片进行灰度化处理，得到灰度图后，为分割目标与背景，需进一步进行二值化处理。通过Otsu算法设定阈值将像素点分为两部分，由于检测环境在黑暗中进行，当指示灯点亮时亮度较高，可以快速准确地检测出指示灯的亮灭，根据仪表指示灯交替亮灭的时间间隔可以推算出指示灯的闪烁频率。
  8. 如权利要求6所述的一种基于机器视觉的汽车仪表盘检测方法，其特征在于：上述步骤四中，当对指示图标图像进行处理时，对于静止图标，采用Hu不变矩方法提取指示灯特征识别，对于浮动图标，采用YOLO V3算法训练神经网络进行识别，通过通过Otsu算法设定阈值将像素点分为两部分来检测指示灯的亮灭。
  9. 如权利要求6所述的一种基于机器视觉的汽车仪表盘检测方法，其特征在于：上述步骤四中，当对TFT液晶显示屏图像进行处理时，采用OCR技术识别显示屏上的文字和字符。
PCT/CN2020/131201 2020-03-13 2020-11-24 一种基于机器视觉的汽车仪表盘检测系统和检测方法 WO2021179679A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010173128.3A CN111239158A (zh) 2020-03-13 2020-03-13 一种基于机器视觉的汽车仪表盘检测系统和检测方法
CN202010173128.3 2020-03-13

Publications (1)

Publication Number Publication Date
WO2021179679A1 true WO2021179679A1 (zh) 2021-09-16

Family

ID=70875280

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/131201 WO2021179679A1 (zh) 2020-03-13 2020-11-24 一种基于机器视觉的汽车仪表盘检测系统和检测方法

Country Status (2)

Country Link
CN (1) CN111239158A (zh)
WO (1) WO2021179679A1 (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138327A (zh) * 2021-04-22 2021-07-20 珠海格力智能装备有限公司 自动化耐压检测装置、系统及方法
CN113983930A (zh) * 2021-10-31 2022-01-28 门剑中 一种产品规格形状检测的可调式对准装置
CN114170612A (zh) * 2021-12-15 2022-03-11 江门市浩远科技有限公司 一种基于led单元板缺陷判断的回收生产方法
CN114199155A (zh) * 2021-12-09 2022-03-18 湖北文理学院 一种基于机器视觉的机车构架拉杆座形变测量平台及方法
CN114264328A (zh) * 2021-12-24 2022-04-01 盐城家安乐自动化科技有限公司 一种汽车仪表台检测系统
CN114295916A (zh) * 2021-12-31 2022-04-08 厦门巨帮自动化科技有限公司 一种器件检测设备及其检测方法
CN114353702A (zh) * 2021-12-06 2022-04-15 北京动力机械研究所 一种基于视觉检测的旋转开口调节面积测量装置
CN114536112A (zh) * 2022-03-21 2022-05-27 南通新蓝机器人科技有限公司 汽车外观检测与修复工作站
CN114740021A (zh) * 2022-06-10 2022-07-12 苏州鼎纳自动化技术有限公司 一种眼镜自动检测装置及检测方法
CN114937028A (zh) * 2022-06-21 2022-08-23 苏州上舜精密工业科技有限公司 一种智能标识识别的直线滑台模组质量检测方法及系统
CN115330000A (zh) * 2022-08-31 2022-11-11 武汉旻一数字科技有限公司 一种工业自动化控制仪表运行智能监测管理系统
CN115406363A (zh) * 2022-11-02 2022-11-29 惠博新材料股份有限公司 一种定尺长度镀锌板线上尺寸测量装置及测量方法
CN115524579A (zh) * 2022-10-10 2022-12-27 国网河南省电力公司商丘供电公司 一种非接触式架空导线参数识别方法及其装置
CN115631499A (zh) * 2022-09-28 2023-01-20 武汉安屏技术有限公司 一种基于机器视觉的钳形表液晶屏字符自动识别方法及系统
CN115980116A (zh) * 2022-11-22 2023-04-18 宁波博信电器有限公司 一种仪表盘耐高温检测方法、系统、存储介质及智能终端
CN116475083A (zh) * 2023-01-19 2023-07-25 杭州德创能源设备有限公司 一种气泡视觉检测机构
CN116500311A (zh) * 2023-04-17 2023-07-28 浙江汽车仪表有限公司 一种汽车仪表盘绝缘性检测装置及其检测方法
CN116626036A (zh) * 2023-05-24 2023-08-22 北京盛和信科技股份有限公司 一种基于机器视觉识别的外观质检方法及系统
CN117566398A (zh) * 2023-12-21 2024-02-20 芯云半导体(诸暨)有限公司 一种芯片输送装置和方法
CN117629076A (zh) * 2023-11-27 2024-03-01 广东格林精密部件股份有限公司 一种后盖尺寸检测装置
CN117912383A (zh) * 2024-03-20 2024-04-19 四川启睿克科技有限公司 平板显示设备亮色均匀性测试方法
CN118011309A (zh) * 2024-04-08 2024-05-10 江苏西欧电子有限公司 一种避免位置偏移的电能表检定流水线自动压表装置
CN117912383B (zh) * 2024-03-20 2024-05-31 四川启睿克科技有限公司 平板显示设备亮色均匀性测试方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146121B (zh) * 2019-05-24 2021-02-09 安徽扬远信息科技有限公司 一种仪表盘性能评估控制系统
CN111239158A (zh) * 2020-03-13 2020-06-05 苏州鑫睿益荣信息技术有限公司 一种基于机器视觉的汽车仪表盘检测系统和检测方法
CN112116678B (zh) * 2020-08-09 2023-08-22 东风电驱动系统有限公司 一种液晶仪表不规则虚拟指针显示方法及液晶仪表
CN111982934A (zh) * 2020-08-10 2020-11-24 广州瑞松北斗汽车装备有限公司 一种汽车车架号打刻字符缺陷检测装置
CN111948208A (zh) * 2020-08-13 2020-11-17 东风电子科技股份有限公司 实现仪表视觉识别的自动化检测系统
CN111999314B (zh) * 2020-10-28 2021-02-05 南京大量数控科技有限公司 一种自动检查柔性pcb加工过程中变形的装置及其方法
CN112418230A (zh) * 2020-11-14 2021-02-26 武汉光庭信息技术股份有限公司 一种基于车载显示的自动化测试方法及测试系统
CN113128555B (zh) * 2021-03-09 2022-05-31 西南交通大学 一种用于列车闸片部件异常检测的方法
CN113834811A (zh) * 2021-03-19 2021-12-24 长春工业大学 一种汽车保险丝盒图像采集系统
CN113138074B (zh) * 2021-04-22 2024-05-28 徐州徐工矿业机械有限公司 用于工程机械故障显示仪表的自动检测系统及方法
CN113092479A (zh) * 2021-04-28 2021-07-09 北京安道拓汽车部件有限公司 汽车内饰通用视觉防错系统
CN113361413A (zh) * 2021-06-08 2021-09-07 南京三百云信息科技有限公司 一种里程显示区域检测方法、装置、设备及存储介质
CN113608117B (zh) * 2021-06-16 2024-03-05 睿信汽车电器（荆州）有限公司 一种汽车发电机电压合格率检测设备
CN113358070B (zh) * 2021-07-07 2023-03-28 苏州鑫睿益荣信息技术有限公司 一种汽车刹车片平整度及销钉高度检测系统及其检测方法
CN113269210B (zh) * 2021-07-16 2021-09-17 四川泓宝润业工程技术有限公司 基于图像处理对液位表指针浮动频率进行检测的方法
CN113532882A (zh) * 2021-07-22 2021-10-22 中国第一汽车股份有限公司 一种汽车仪表测试方法、装置、系统及存储介质
CN113751346B (zh) * 2021-09-16 2022-11-18 安徽科技学院 一种产品搬运装置
CN114113109A (zh) * 2021-11-26 2022-03-01 科士恩智能科技(上海)有限公司 一种自动化和智能化的汽车仪表台缺陷检测方法
CN114486902B (zh) * 2021-12-03 2024-02-06 平方和(北京)科技有限公司 质量检测系统和方法
CN114323106A (zh) * 2021-12-24 2022-04-12 航天科技控股集团股份有限公司 一种左右滑动的自动汽车仪表指针视觉校准系统
CN114234823B (zh) * 2022-02-23 2022-05-10 季华实验室 汽车模具镶块智能视觉检测装置
CN116698753B (zh) * 2023-07-25 2024-03-26 广州纳动半导体设备有限公司 一种基于机器视觉的mini-LED面板缺陷检测设备及方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120122318A (ko) * 2011-04-28 2012-11-07 한국지능기계 주식회사 다품종 제품을 위한 머신비전 검사기
CN202735263U (zh) * 2012-08-23 2013-02-13 深圳市纳研科技有限公司 利用机器视觉检测阵列图形细微缺陷的装置
CN106855421A (zh) * 2017-01-17 2017-06-16 中国第汽车股份有限公司 一种基于机器视觉的汽车仪表自动化测试系统及测试方法
CN208269851U (zh) * 2018-06-20 2018-12-21 嘉兴学院 基于机器视觉测量的大尺寸零部件平行度高精检测装置
CN208296869U (zh) * 2018-04-09 2018-12-28 东莞奥尔思自动化科技有限公司 一种机器视觉实验系统
CN110044405A (zh) * 2019-05-16 2019-07-23 吉林大学 一种基于机器视觉的汽车仪表自动化检测装置及方法
CN110320100A (zh) * 2019-07-03 2019-10-11 中北大学 一种基于机器视觉的双相机布氏硬度测量装置和测量方法
CN111239158A (zh) * 2020-03-13 2020-06-05 苏州鑫睿益荣信息技术有限公司 一种基于机器视觉的汽车仪表盘检测系统和检测方法
CN211856402U (zh) * 2020-03-13 2020-11-03 苏州鑫睿益荣信息技术有限公司 一种基于机器视觉的汽车仪表盘检测系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2539372Y2 (ja) * 1991-03-01 1997-06-25 株式会社明電舎 インパネ組立品の検査装置
CN102628854A (zh) * 2012-03-29 2012-08-08 赵宝明 汽车仪表板检测系统及方法
CN103697810A (zh) * 2012-09-28 2014-04-02 长春工业大学 轿车仪表板示值精度视觉检测仪
CN105588598A (zh) * 2014-10-21 2016-05-18 郑州精益达汽车零部件有限公司 一种基于机器视觉的汽车仪表自动化检测设备
CN206627144U (zh) * 2017-04-19 2017-11-10 吉林宇恒光电仪器有限责任公司 基于图像处理的光电编码器码盘不均匀误差检测系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120122318A (ko) * 2011-04-28 2012-11-07 한국지능기계 주식회사 다품종 제품을 위한 머신비전 검사기
CN202735263U (zh) * 2012-08-23 2013-02-13 深圳市纳研科技有限公司 利用机器视觉检测阵列图形细微缺陷的装置
CN106855421A (zh) * 2017-01-17 2017-06-16 中国第汽车股份有限公司 一种基于机器视觉的汽车仪表自动化测试系统及测试方法
CN208296869U (zh) * 2018-04-09 2018-12-28 东莞奥尔思自动化科技有限公司 一种机器视觉实验系统
CN208269851U (zh) * 2018-06-20 2018-12-21 嘉兴学院 基于机器视觉测量的大尺寸零部件平行度高精检测装置
CN110044405A (zh) * 2019-05-16 2019-07-23 吉林大学 一种基于机器视觉的汽车仪表自动化检测装置及方法
CN110320100A (zh) * 2019-07-03 2019-10-11 中北大学 一种基于机器视觉的双相机布氏硬度测量装置和测量方法
CN111239158A (zh) * 2020-03-13 2020-06-05 苏州鑫睿益荣信息技术有限公司 一种基于机器视觉的汽车仪表盘检测系统和检测方法
CN211856402U (zh) * 2020-03-13 2020-11-03 苏州鑫睿益荣信息技术有限公司 一种基于机器视觉的汽车仪表盘检测系统

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113138327A (zh) * 2021-04-22 2021-07-20 珠海格力智能装备有限公司 自动化耐压检测装置、系统及方法
CN113983930A (zh) * 2021-10-31 2022-01-28 门剑中 一种产品规格形状检测的可调式对准装置
CN114353702A (zh) * 2021-12-06 2022-04-15 北京动力机械研究所 一种基于视觉检测的旋转开口调节面积测量装置
CN114199155A (zh) * 2021-12-09 2022-03-18 湖北文理学院 一种基于机器视觉的机车构架拉杆座形变测量平台及方法
CN114199155B (zh) * 2021-12-09 2023-11-14 湖北文理学院 一种基于机器视觉的机车构架拉杆座形变测量平台及方法
CN114170612A (zh) * 2021-12-15 2022-03-11 江门市浩远科技有限公司 一种基于led单元板缺陷判断的回收生产方法
CN114264328A (zh) * 2021-12-24 2022-04-01 盐城家安乐自动化科技有限公司 一种汽车仪表台检测系统
CN114295916A (zh) * 2021-12-31 2022-04-08 厦门巨帮自动化科技有限公司 一种器件检测设备及其检测方法
CN114295916B (zh) * 2021-12-31 2023-12-12 厦门巨帮自动化科技有限公司 一种器件检测设备及其检测方法
CN114536112A (zh) * 2022-03-21 2022-05-27 南通新蓝机器人科技有限公司 汽车外观检测与修复工作站
CN114740021A (zh) * 2022-06-10 2022-07-12 苏州鼎纳自动化技术有限公司 一种眼镜自动检测装置及检测方法
CN114937028A (zh) * 2022-06-21 2022-08-23 苏州上舜精密工业科技有限公司 一种智能标识识别的直线滑台模组质量检测方法及系统
CN114937028B (zh) * 2022-06-21 2023-12-08 苏州上舜精密工业科技有限公司 一种智能标识识别的直线滑台模组质量检测方法及系统
CN115330000A (zh) * 2022-08-31 2022-11-11 武汉旻一数字科技有限公司 一种工业自动化控制仪表运行智能监测管理系统
CN115631499A (zh) * 2022-09-28 2023-01-20 武汉安屏技术有限公司 一种基于机器视觉的钳形表液晶屏字符自动识别方法及系统
CN115524579A (zh) * 2022-10-10 2022-12-27 国网河南省电力公司商丘供电公司 一种非接触式架空导线参数识别方法及其装置
CN115524579B (zh) * 2022-10-10 2023-12-22 国网河南省电力公司商丘供电公司 一种非接触式架空导线参数识别方法及其装置
CN115406363A (zh) * 2022-11-02 2022-11-29 惠博新材料股份有限公司 一种定尺长度镀锌板线上尺寸测量装置及测量方法
CN115406363B (zh) * 2022-11-02 2023-04-04 惠博新材料股份有限公司 一种定尺长度镀锌板线上尺寸测量装置及测量方法
CN115980116B (zh) * 2022-11-22 2023-07-14 宁波博信电器有限公司 一种仪表盘耐高温检测方法、系统、存储介质及智能终端
CN115980116A (zh) * 2022-11-22 2023-04-18 宁波博信电器有限公司 一种仪表盘耐高温检测方法、系统、存储介质及智能终端
CN116475083A (zh) * 2023-01-19 2023-07-25 杭州德创能源设备有限公司 一种气泡视觉检测机构
CN116475083B (zh) * 2023-01-19 2024-06-11 杭州德创能源设备有限公司 一种气泡视觉检测机构
CN116500311A (zh) * 2023-04-17 2023-07-28 浙江汽车仪表有限公司 一种汽车仪表盘绝缘性检测装置及其检测方法
CN116500311B (zh) * 2023-04-17 2024-04-12 绍兴浙玮汽车电子有限公司 一种汽车仪表盘绝缘性检测装置及其检测方法
CN116626036A (zh) * 2023-05-24 2023-08-22 北京盛和信科技股份有限公司 一种基于机器视觉识别的外观质检方法及系统
CN116626036B (zh) * 2023-05-24 2024-04-02 北京盛和信科技股份有限公司 一种基于机器视觉识别的外观质检方法及系统
CN117629076A (zh) * 2023-11-27 2024-03-01 广东格林精密部件股份有限公司 一种后盖尺寸检测装置
CN117566398A (zh) * 2023-12-21 2024-02-20 芯云半导体(诸暨)有限公司 一种芯片输送装置和方法
CN117912383A (zh) * 2024-03-20 2024-04-19 四川启睿克科技有限公司 平板显示设备亮色均匀性测试方法
CN117912383B (zh) * 2024-03-20 2024-05-31 四川启睿克科技有限公司 平板显示设备亮色均匀性测试方法
CN118011309A (zh) * 2024-04-08 2024-05-10 江苏西欧电子有限公司 一种避免位置偏移的电能表检定流水线自动压表装置

Also Published As

Publication number Publication date
CN111239158A (zh) 2020-06-05

Similar Documents

Publication Publication Date Title
WO2021179679A1 (zh) 一种基于机器视觉的汽车仪表盘检测系统和检测方法
CN107229930B (zh) 一种指针式仪表数值智能识别方法
CN109969736B (zh) 一种大型运载皮带跑偏故障智能检测方法
CN110044405B (zh) 一种基于机器视觉的汽车仪表自动化检测装置及方法
CN105067639B (zh) 一种光栅调制的镜片疵病自动检测装置和方法
CN108956645A (zh) 一种多视觉系统的光学镜片缺陷检测装置及方法
CN110991360B (zh) 一种基于视觉算法的机器人巡检点位智能配置方法
CN204924983U (zh) 一种光栅调制的镜片疵病自动检测装置
CN105868756A (zh) 应用数字图像识别技术的燃气表计数器直读系统和直读方法
CN211856402U (zh) 一种基于机器视觉的汽车仪表盘检测系统
CN102175692A (zh) 织物坯布疵点快速检测系统及方法
CN109584239B (zh) 一种基于反射光的高光物体表面缺陷检测系统及方法
CN112819844B (zh) 一种图像边缘检测方法及装置
CN209858405U (zh) 基于机器光学的pcb板缺陷检测系统装置
CN104123728A (zh) 基于Hough变换的圆管检测方法
CN111860464B (zh) 变电所辅助监控系统指针读数识别补偿方法及装置
CN113191362A (zh) 一种变电设备油渗漏缺陷检测装置及方法
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN117330582A (zh) 一种高分子pe薄膜表面晶点检测系统
CN107014830A (zh) Ito导电玻璃检测方法与检测装置
Yu et al. Surface defect detection of hight-speed railway hub based on improved YOLOv3 algorithm
CN115689990A (zh) 一种基于机器视觉的地毯灯杂光缺陷智能检测算法及设备
CN110245647B (zh) 一种玻璃液体温度计自动定位与读数的方法
CN204630546U (zh) 一种风电设备紧固件的在线自学习视觉化检测系统
CN109858474B (zh) 一种变压器油面温控器检测与识别方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20924805

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20924805

Country of ref document: EP

Kind code of ref document: A1