WO2022019324A1 - 故障識別及び対応方法、システム - Google Patents

故障識別及び対応方法、システム Download PDF

Info

Publication number
WO2022019324A1
WO2022019324A1 PCT/JP2021/027277 JP2021027277W WO2022019324A1 WO 2022019324 A1 WO2022019324 A1 WO 2022019324A1 JP 2021027277 W JP2021027277 W JP 2021027277W WO 2022019324 A1 WO2022019324 A1 WO 2022019324A1
Authority
WO
WIPO (PCT)
Prior art keywords
failure
code
identification
video
failure code
Prior art date
Application number
PCT/JP2021/027277
Other languages
English (en)
French (fr)
Inventor
斯 ▲盤▼
Original Assignee
ダイキン工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ダイキン工業株式会社 filed Critical ダイキン工業株式会社
Priority to JP2022538036A priority Critical patent/JPWO2022019324A1/ja
Priority to EP21845207.6A priority patent/EP4187454A4/en
Priority to AU2021313596A priority patent/AU2021313596A1/en
Publication of WO2022019324A1 publication Critical patent/WO2022019324A1/ja
Priority to US18/099,111 priority patent/US20230156161A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q1/00—Details of selecting apparatus or arrangements
    • H04Q1/18—Electrical details
    • H04Q1/20—Testing circuits or apparatus; Circuits or apparatus for detecting, indicating, or signalling faults or troubles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks

Definitions

  • the camera collection module captures an LED lamp group image with a camera and sends it to the failure positioning / collection / identification module, and the failure positioning / collection / identification module performs image identification and analysis on the LED lamp group image.
  • the specific state information of the hardware circuit is acquired, the failure analysis is performed based on the lamp group coding information base, and the analysis result of the hardware circuit is acquired and then fed back.
  • a digital camera is used to take an image such as a system error code displayed on a display unit of a user computer, and the image is transmitted to a failure recovery process server by a mobile phone, and the server is said to be the same.
  • the system error code is detected based on the image, and the failure content information associated with the error code is acquired from the database and sent to the mobile phone.
  • the failure code when the failure code is displayed on the panel of the device and the two-dimensional code is also displayed, the user can quickly access the homepage including the maintenance information after scanning the two-dimensional code. , Thereby, failure and maintenance information can be acquired.
  • the present inventor has obtained the following findings.
  • the failure code cannot be displayed in a single image because the failure code display method is diversified or limited by parameters such as image collection speed and collection time. It may be complete or inaccurate, making it impossible to obtain accurate and timely related failure and maintenance information, which may affect the use of the equipment.
  • the method of acquiring failure and maintenance information by scanning the two-dimensional code and accessing the homepage it is necessary to design a certain two-dimensional code for various failures in each device, so equipment manufacturing. As the burden of time increases, it cannot be widely applied to existing general equipment.
  • the present disclosure proposes a failure identification, a countermeasure method, and a system.
  • a failure identification by shooting a video including the failure code and identifying the failure code based on the video, the complete failure code can be accurately identified without being limited by the failure code display method or the image collection parameter. can do. Therefore, it is possible to quickly and accurately obtain information on a failure based on the identified complete and accurate failure code.
  • a step of shooting a video including a failure code, a step of identifying a failure code in the video and obtaining an identified failure code, and a step based on the identified failure code.
  • Failure identification and response including a step of determining information about a failure corresponding to the failure code and generating display data based on the information about the failure, and a step of showing information about the failure based on the display data.
  • a photographing unit that shoots a video including a failure code, an identification unit that identifies the failure code in the video and obtains the identified failure code, and an identified failure.
  • a confirmation unit that determines information about a failure corresponding to the failure code based on the code and generates display data based on the information about the failure, and a display unit that shows information about the failure based on the display data.
  • a shooting unit that shoots a video including a failure code, a first transmission unit that transmits the video to a server, and a first transmission unit that receives display data from the server.
  • a terminal device including a receiving unit and a display unit that shows information about a failure based on the display data.
  • a second receiving unit that receives a video including a failure code taken by the terminal device from the terminal device and a failure code in the video are identified and identified.
  • An identification unit that acquires a failure code, a confirmation unit that determines information about a failure corresponding to the failure code based on the identified failure code, and a confirmation unit that generates display data based on the information about the failure, and the display data.
  • a server including a second transmission unit that transmits the data to the terminal device.
  • a shooting unit that shoots a video including a fault code, an identification unit that identifies the fault code in the video and obtains the identified fault code, and the identified fault.
  • a confirmation unit that determines information about a failure corresponding to the failure code based on the code and generates display data based on the information about the failure, and a display unit that shows information about the failure based on the display data.
  • One of the beneficial effects of the embodiments of the present disclosure is as follows. By shooting a video containing the fault code and identifying the fault code based on the video, it is possible to accurately identify the complete fault code without being limited by the fault code display method or image collection parameters. can. Therefore, it is possible to quickly and accurately obtain information on a failure based on the identified complete and accurate failure code.
  • prepare / include is used in the text to indicate the presence of a feature information, manipulative member, step or member, but one or more other feature information, The presence or addition of manipulative members, steps or members is not excluded.
  • FIG. 1 is a schematic diagram of a failure identification and response method according to the first embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram of a display method for a failure code according to the first embodiment of the present disclosure.
  • FIG. 3 is a schematic diagram of a display method for a failure code according to the first embodiment of the present disclosure.
  • FIG. 4 is a schematic diagram of another display method for the failure code according to the first embodiment of the present disclosure.
  • FIG. 5 is a schematic diagram of another display method for the failure code according to the first embodiment of the present disclosure.
  • FIG. 6 is a schematic view of still another display method for the failure code according to the first embodiment of the present disclosure.
  • FIG. 7 is a schematic diagram of still another display method for the failure code according to the first embodiment of the present disclosure.
  • FIG. 1 is a schematic diagram of a failure identification and response method according to the first embodiment of the present disclosure.
  • FIG. 2 is a schematic diagram of a display method for a failure code according to the first embodiment of
  • FIG. 8 is a schematic diagram of a method for realizing step 102 according to the first embodiment of the present disclosure.
  • FIG. 9 is a schematic diagram of another implementation method of step 102 according to the first embodiment of the present disclosure.
  • FIG. 10 is a schematic diagram of still another realization method of step 102 according to the first embodiment of the present disclosure.
  • FIG. 11 is a schematic diagram in which adjacent frames of the video according to the first embodiment of the present disclosure are superimposed.
  • FIG. 12 is a schematic diagram of a failure identification and response system according to the second embodiment of the present disclosure.
  • FIG. 13 is a schematic diagram in which the failure identification and response system according to the second embodiment of the present disclosure executes an appropriate method.
  • FIG. 14 is a schematic diagram of an embodiment of the identification unit according to the second embodiment of the present disclosure.
  • FIG. 15 is a schematic diagram of another embodiment of the identification unit according to the second embodiment of the present disclosure.
  • FIG. 16 is a schematic diagram of the second identification module according to the second embodiment of the present disclosure.
  • FIG. 17 is a schematic diagram of another embodiment of the identification unit according to the second embodiment of the present disclosure.
  • FIG. 18 is a schematic diagram of the fourth identification module according to the second embodiment of the present disclosure.
  • FIG. 19 is a schematic diagram of the terminal device according to the third embodiment of the present disclosure.
  • FIG. 1 is a schematic diagram of a failure identification and response method according to the first embodiment of the present disclosure.
  • Step 101 Shooting a video containing the fault code
  • Step 102 Identifying the fault code in the video and obtaining the identified fault code
  • Step 103 Based on the identified failure code, the information about the failure corresponding to the failure code is determined, and the display data is generated based on the information about the failure
  • Step 104 Includes showing information about the failure based on the display data.
  • the complete failure code can be accurately identified without being limited by the failure code display method or the image collection parameter. be able to. Therefore, it is possible to quickly and accurately obtain information on a failure based on the identified complete and accurate failure code.
  • the device in which the method is used may be various devices capable of displaying a failure code, for example, various industrial devices, or various household devices. good.
  • equipment such as an air conditioner, a washing machine, a refrigerator, or a water heater can be mentioned.
  • the failure code is displayed on the display panel of the device.
  • the manufacturer of the device can indicate the failure code by various methods.
  • the failure code consists of at least one of a number, an alphabet, and a symbol, and the number of digits thereof may be one or more.
  • the specific display format and the number of digits of the failure code may be set by the manufacturer of the device according to the actual need.
  • step 101 a video including a failure code is shot.
  • step 101 may be performed by a terminal device. That is, the video may be shot by a terminal device.
  • the terminal device may be a smartphone, an intelligent tablet, or intelligent glasses.
  • the intelligent tablet may be a tablet terminal (tablet type information communication terminal).
  • the intelligent glasses may be smart glasses (glasses-type information communication terminals).
  • the captured video is captured with respect to the display panel area of the device, and the failure code may be displayed on the display panel.
  • the display panel may be a control panel of the device or another display panel.
  • the failure code is displayed in the failure display area of the display panel.
  • the display panel on which the failure code is displayed may be various types of display screens.
  • it may be a liquid crystal display screen or a digital tube display screen.
  • the method may be applied to various failure code display methods.
  • the time length of the recorded video may be determined according to the actual need. For example, it may be determined by the display method of the failure code.
  • failure code display method As an example, but the first embodiment of the present disclosure is not limited to those display methods.
  • the failure code is displayed within a certain time zone, but it may be constantly circulated so that it is not displayed within a certain time zone.
  • the video taken may include the time zone in which the fault code was displayed.
  • FIG. 2 and 3 are schematic views of a failure code display method according to the first embodiment of the present disclosure. As shown in FIG. 2, the failure code is displayed in "A9-01" within a certain time zone, and as shown in FIG. 3, the failure code is not displayed within a certain time zone.
  • the failure code may be constantly circulated so that a part of the failure code is displayed within a certain time zone, but the remaining part is displayed within another time zone.
  • the filmed video may include a time zone in which part of the fault code is displayed and another time zone in which the rest of the fault code is displayed.
  • FIG. 4 and 5 are schematic views of another display method of the failure code according to the first embodiment of the present disclosure. As shown in FIG. 4, a part of the failure code is displayed in "J5" within one time zone, and as shown in FIG. 5, the remaining part of the failure code is "" in another time zone. -01 "is displayed.
  • the part of the failure code is called an error code, which indicates a member in which the failure has occurred, and the remaining part of the failure code is called a detail code, which is specific. The details of the failure may be indicated.
  • the error code and detail code are combined as one complete failure code. For example, "J5" in FIG. 4 indicates an error code, "-01" in FIG. 5 indicates a detailed code, and the combination of both is a complete error code "J5-01".
  • the failure code may be displayed by a digital tube, and may be displayed by blinking at a predetermined frequency according to the display principle of the digital tube.
  • the time length of the filmed video may be an appropriate time length, for example, a few seconds such as collecting multiple frames to identify a fault code.
  • FIG. 6 and 7 are schematic views of another display method of the failure code according to the first embodiment of the present disclosure. Since the digital tube blinks at a predetermined frequency to display the failure code, the failure code "J5" is displayed at the relevant time as shown in FIG. 6, and the failure code "J5" is displayed at the relevant time as shown in FIG. , The failure code "J5" is displayed incompletely.
  • step 102 the failure code in the video is identified, and the identified failure code is acquired.
  • step 102 may be executed by a local terminal device, or the terminal device transmits the video data to a server installed at a remote location, for example, a cloud server, and the server. Step 102 may be executed by.
  • step 102 for different failure code display methods.
  • a display method in which a failure code is displayed within a certain time zone, is not displayed within a certain time zone, and is constantly circulated that is, for the example shown in FIGS. 2 and 3, in step 102, the video is concerned. It is possible to identify each frame of.
  • FIG. 8 is a schematic diagram of a method for realizing step 102 according to the first embodiment of the present disclosure.
  • Step 801 Take an average value for the pixel values of all the pixel points in the failure code display area of the frame.
  • Step 802 When the average value satisfies the preset condition, it is determined that the failure code display area includes the failure code, and
  • Step 803 Acquiring the identified failure code by identifying the failure code display area including the failure code using a first identification model obtained by training in advance.
  • the preset condition may be determined by the difference in display between the failure code and the background of the display area. For example, when the background of the display area is dark but the displayed failure code is bright, the preset condition is that the average value of the pixel values is larger than the predefined threshold value. Further, for example, when the background of the display area is bright but the displayed failure code is dark, the preset condition is that the average value of the pixel values is smaller than the predefined threshold value.
  • the predefined threshold value may be determined by the pixel value of the background of the display area.
  • the first discriminative model used was obtained by training using training data.
  • a first discriminative model is acquired by training a neural network using training data.
  • the neural network the structure of a conventional neural network may be used.
  • the image of the one frame is determined. No processing is performed.
  • the failure code is used as the identification result, but the identification for each frame is performed. If the fault codes obtained by the operation do not match, the fault code identified from more frames can be used as the identification result.
  • FIG. 9 is a schematic diagram of another implementation method of step 102 according to the first embodiment of the present disclosure.
  • Step 901 Obtaining the identified first partial failure code and second partial failure code by identifying each frame of the video one by one
  • Step 902 The first partial failure code and the second partial failure code are combined into one complete failure code to form an identified failure code.
  • the first partial failure code "J5" in FIG. 4 and the second partial failure code “-01” in FIG. 5 are acquired, and the first partial failure code is obtained. Combine “J5" and the second partial failure code "-01” into the complete failure code "J5-01".
  • the step of identifying one frame of the video is similar to steps 801 to 803, that is, Taking the average value for the pixel values of all the pixel points in the failure code display area of the frame, When the average value satisfies the preset condition, it is confirmed that the failure code is included in the failure code display area, and the failure code is determined to be included.
  • Obtaining the identified first partial failure code or second partial failure code by identifying the fault code display area including the fault code using the first identification model obtained by training in advance. ,including.
  • the first part failure code it may be determined which part of the failure code is preceded as the first part failure code according to the actual need. For example, for some fault codes that include the identified alphabet, it can be preceded as a first partial fault code. Further, for example, for some fault codes that do not contain the identified symbol, they are preceded as the first partial fault code, but some fault codes that include the identified symbol, for example, the symbol "-". Some of the included codes can be later placed as the second partial failure code.
  • FIG. 10 shows step 102 according to the first embodiment of the present disclosure.
  • Step 1001 Superimposing adjacent frames or interval frames of the video based on a preset weight value to acquire a plurality of superimposed frames
  • Step 1002 Includes fault code identification based on a plurality of superimposed frames.
  • step 1001 adjacent frames or interval frames of the video are superimposed every two based on the weight value, and the interval frame may be two interval frames spaced by a preset number of frames. ..
  • the weight value for superimposition may be set according to the actual necessity. For example, when the average of the weight values is 0.5, that is, the average value is taken with respect to the pixel values of the corresponding pixel points of two adjacent frames or two spaced frames. Further, for example, when the average of the weight values is 1, that is, the pixel values of the corresponding pixel points of two adjacent frames or two spaced frames are added.
  • the failure code is indicated that a part of the fault code is displayed in a certain time zone, but the remaining part is constantly circulated so as to be displayed in another time zone.
  • the identified first partial failure code and second partial failure code are acquired by identifying each superimposed frame one by one, and the first partial failure code and the second partial failure code are obtained. It involves combining partial fault codes into one complete fault code into an identified fault code.
  • FIG. 11 is a schematic diagram in which adjacent frames of the video according to the first embodiment of the present disclosure are superimposed.
  • the 2nd frame, 3rd frame, and 5th frame images are incomplete in the failure code taken by the blinking of the digital tube.
  • the first partial failure code "LC” is identified, and the third frame and the third frame are identified. Since the normal failure code cannot be identified after the 4th frame is superimposed, it is discarded, and after the 5th and 6th frames are superimposed, the second partial failure code "-14" is identified. Will be done.
  • a complete failure code "LC-14" can be obtained.
  • step 102 the video is divided to acquire each frame of the video, and a failure code display area is provided for each frame of the video before identification. It may further include steps that include confirming.
  • the failure code display area of each frame can be determined, which makes it easy to identify the failure code for the failure code display area.
  • the position of the failure code display area can be determined or in advance by a preset positional relationship between the failure code display area and the display panel displaying the failure code.
  • the position of the fault code display area can be determined by the second discrimination model obtained by training.
  • the area where the video was shot is almost the area of the display panel, and the position of the failure code display area is determined by the preset positional relationship of the failure code display area on the display panel.
  • the second discriminative model may be a neural network, and the neural network may use the structure of a conventional neural network.
  • step 103 may be executed by a local terminal device or step 103 may be executed by a server.
  • a failure information database may be constructed in advance, and the failure information database stores information on failures of various devices, and the information on the failures is the type and type of the device. Corresponds to the number and failure code.
  • the information regarding the failure corresponding to the failure code may include the failure content corresponding to the failure code and / or the first model of the device in which the failure has occurred.
  • the first model is a two-dimensional model or a three-dimensional model that can represent each member of the device.
  • the failure content may include information on the position or member where the failure occurred and / or appropriate after-service maintenance information.
  • the after-service maintenance information may include maintenance methods and steps, and may further include, for example, information such as costs related to member replacement.
  • step 103 the fault information database is searched based on the identified fault code, the information about the fault corresponding to the fault code is determined, and the display data is generated based on the information about the fault, and the display data is displayed. Is display data that can indicate information about the failure.
  • step 104 information on the failure is shown based on the display data.
  • the server may transmit the generated display data to the terminal device.
  • various methods may be used to indicate information regarding the failure.
  • the failure content indicated by characters may be displayed by the screen
  • the failure content indicated by a combination of characters and figures may be displayed by the screen
  • the failure content may be displayed by a method of combining the truth.
  • the model of the device that can be represented may be displayed.
  • the way of presenting information regarding the failure is not limited.
  • a second model of the device capable of representing the failure content is displayed based on the display data, and the second model may be formed based on the first model of the device. good. Then, the structure of the device and the position of the failure can be intuitively shown, which improves the efficiency of failure confirmation and failure elimination.
  • the second model is a two-dimensional model or a three-dimensional model that can represent each member of the device and can clearly represent the position or member where the failure has occurred.
  • the second model is displayed by the augmented reality, image or moving method. Then, the failure information can be grasped more intuitively, and as a result, the efficiency of failure confirmation and failure elimination is further improved.
  • the position or member where the failure occurred is displayed in a different color. Then, the failure information can be grasped more intuitively, and as a result, the efficiency of failure confirmation and failure elimination is further improved.
  • after-service maintenance information among the information regarding the failure may be displayed.
  • maintenance methods and steps may be displayed in a video or video format. Then, the efficiency of failure elimination was further improved.
  • the failure code display method and the image acquisition parameter are not limited, and the failure code is completely identified. Can accurately identify the fault code. Therefore, it is possible to quickly and accurately obtain information on a failure based on the identified complete and accurate failure code.
  • the second embodiment of the present disclosure provides a failure identification and response system corresponding to the failure identification and response method described in the first embodiment, and the specific implementation thereof is the implementation of the method described in the first embodiment. May be referred to, and the description thereof will be omitted with respect to the same or related contents.
  • FIG. 12 is a schematic diagram of the failure identification and response system according to the second embodiment of the present disclosure, and as shown in FIG. 12, the failure identification and response system 1200 is The shooting unit 1201 that shoots the video including the failure code, The identification unit 1202 that identifies the fault code in the video and acquires the identified fault code, Based on the identified failure code, the confirmation unit 1203 that determines the information about the failure corresponding to the failure code and generates the display data based on the information about the failure. A display unit 1204 that shows information about the failure based on the display data is provided.
  • the failure identification and response system 1200 includes a terminal device 1210 and a server 1220, the terminal device 1210 includes an image pickup unit 1201 and a display unit 1204, and the server 1220. May include identification unit 1202 and determination unit 1203.
  • a first transmission unit 1205 that transmits the video to the server 1220, and Includes a first receiving unit 1206, which receives display data from the server 1220.
  • the server 1220 further A second receiving unit 1207 that receives a video including a failure code taken by the terminal device 1210 from the terminal device, and a second receiving unit 1207. It includes a second transmission unit 1208 that transmits the display data to the terminal device 1210.
  • the terminal device 1210 may be various types of terminal devices.
  • the terminal device may be a smartphone, an intelligent tablet, or intelligent glasses.
  • the server 1220 may be various types of servers, for example, a cloud server.
  • FIG. 13 is a schematic diagram in which the failure identification and response system according to the second embodiment of the present disclosure executes an appropriate method.
  • the terminal device 1210 captures a video containing the fault code.
  • Step 1302 The terminal device 1210 transmits the video to the server 1220
  • Step 1303 The server 1220 identifies the fault code in the video and obtains the identified fault code.
  • Step 1304 The server 1220 determines the information about the failure corresponding to the failure code based on the identified failure code, and generates the display data based on the information about the failure.
  • Step 1305 The server 1220 transmits the display data to the terminal device 1210
  • Step 1306 The terminal device 1210 includes showing information about the failure based on the display data.
  • FIG. 14 is a schematic diagram of an embodiment of the identification unit according to the second embodiment of the present disclosure.
  • the identification unit 1202 The first calculation module 1401 that takes an average value for the pixel values of all the pixel points in the failure code display area of the frame, and When the average value satisfies the preset condition, the failure code display area includes the first determination module 1402 for determining that the failure code is included, and The fault code display area including the fault code includes a first identification module 1403 for acquiring the identified fault code by identifying the fault code display area by using a first discrimination model obtained by training in advance. ..
  • FIG. 15 is a schematic diagram of another embodiment of the identification unit according to the second embodiment of the present disclosure.
  • the identification unit 1202 A second identification module 1501 that acquires the identified first partial failure code and second partial failure code by identifying each frame of the video one by one. It includes a first combination module 1502 that combines the first partial failure code and the second partial failure code into a complete failure code to form an identified failure code.
  • FIG. 16 is a schematic diagram of the second identification module according to the second embodiment of the present disclosure.
  • the second identification module 1501 A second calculation module 1601 that takes an average value for the pixel values of all the pixel points in the failure code display area of the frame, and When the average value satisfies the preset condition, the failure code display area includes the second determination module 1602 for determining that the failure code is included.
  • the identified first partial fault code or the second partial fault code is acquired. Includes 3 identification modules 1603 and.
  • FIG. 17 is a schematic diagram of another embodiment of the identification unit according to the second embodiment of the present disclosure.
  • the identification unit 1202 A superimposition module 1701 that superimposes adjacent frames or interval frames of the video based on a preset weight value and acquires a plurality of superimposed frames.
  • a fourth identification module 1702 which identifies fault codes based on a plurality of superimposed frames.
  • FIG. 18 is a schematic diagram of the fourth identification module according to the second embodiment of the present disclosure.
  • the fourth identification module 1702 A fifth identification module 1801 that acquires the identified first partial failure code and second partial failure code by identifying each superimposed frame one by one. Includes a second combination module 1802 that combines the first partial failure code and the second partial failure code into a complete failure code to form an identified failure code.
  • a split module that splits the video and gets each frame of the video, It may further include a second determination module that determines the failure code display area for each frame of the video.
  • the second determination module determines the position of the failure code display area by a preset positional relationship between the failure code display area and the display panel displaying the failure code.
  • the position of the failure code display area can be determined by the second identification model obtained by training in advance.
  • the information regarding the failure corresponding to the failure code may include the failure content corresponding to the failure code and / or the first model of the device in which the failure has occurred.
  • the display unit 1204 displays a second model of the device capable of representing the failure content based on the display data, and the second model is the first model of the device. It may be formed based on a model.
  • the first model of the device is a two-dimensional model or a three-dimensional model that can represent each member of the device
  • the second model of the device can represent each member of the device.
  • it is a two-dimensional model or a three-dimensional model that can conspicuously represent the position or member where the failure occurred.
  • the display unit 1204 may display the second model in the form of augmented reality, an image or a moving image.
  • the failure content may include information on the location or member where the failure occurred and / or appropriate after-service maintenance information.
  • a third embodiment of the present disclosure provides a terminal device corresponding to the failure identification and response method described in the first embodiment, and for specific implementation thereof, refer to the implementation of the method described in the first embodiment. The description may be omitted with respect to the same or related contents.
  • FIG. 19 is a schematic diagram of the terminal device according to the third embodiment of the present disclosure.
  • the terminal device 1900 is A shooting unit 1901 that shoots a video containing a failure code, An identification unit 1902 that identifies the fault code in the video and acquires the identified fault code. Based on the identified failure code, the confirmation unit 1903 that determines the information about the failure corresponding to the failure code and generates the display data based on the information about the failure.
  • a display unit 1904 that shows information about the failure based on the display data is provided.
  • all the steps in the first embodiment may be executed by the terminal device, and the contents of the related steps in the first embodiment may be referred to for the realization of the function of each unit of the terminal device. The description is omitted here.
  • a complete failure is not limited by the failure code display method or the image acquisition parameter.
  • the code can be identified accurately. Therefore, it is possible to quickly and accurately obtain information on a failure based on the identified complete and accurate failure code.
  • the above-mentioned devices and methods in the present disclosure may be realized by hardware, or may be realized by a combination of hardware and software.
  • the present disclosure relates to the following computer-readable programs.
  • the logic unit can be made to realize the above-mentioned devices or components, or the logic unit can be made to realize the above-mentioned various methods or steps.
  • the present disclosure relates to a storage medium for storing the above program, for example, to a hard disk, a magnetic disk, an optical disk, a DVD, a flash memory, or the like.
  • 1200 Failure identification and response system 1210 Terminal equipment 1201 Imaging unit 1202 Identification unit 1203 Confirmation unit 1204 Display unit 1205 First transmission unit 1206 First reception unit 1207 Second reception unit 1208 Second transmission unit 1220 Server 1401 First Calculation module 1402 First determination module 1403 First identification module 1501 Second identification module 1502 First combination module 1601 Second calculation module 1602 Second determination module 1603 Third identification module 1701 Superimposition module 1702 Second Identification module of 4 1801 Fifth identification module 1802 Second combination module 1901 Imaging unit 1902 Identification unit 1903 Confirmation unit 1904 Display unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本開示は、故障識別及び対応方法、システムを提案する。当該故障識別及び対応方法、システムは、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。

Description

故障識別及び対応方法、システム
　機械保守の分野に関し、特に、故障識別及び対応方法、システムに関する。
　科学技術の発展や生活水準の向上に伴い、様々な電子機器又は電気機器が各分野に幅広く応用されるようになっている。機器に故障が発生した場合、ユーザ又はアフターサービスの係員は、通常、現場で機器のパネルに表示された故障コードを閲覧してから、メンテナンスマニュアルから故障コードに対応する故障情報を検索して故障に対する確認や排除を行う。しかしながら、このような方法では、時間がかかり、故障がやや複雑なものであれば、ユーザは、自己による故障の確認や排除を行うことが不可能となり、アフターサービスの係員と連絡して訪問サービスを要求する必要があり、それにより、更に長い時間がかかり、機器の正常使用に対して影響を与える。また、メンテナンスマニュアルに記載の故障情報や排除方式は、直観的なものではなく、故障確認の正確性や故障排除の効率に対して影響を与える。
　近年、情報を識別することで故障を確認する方法が提案されている。
　例えば、カメラ収集モジュールは、カメラによってＬＥＤランプグループ画像を撮影して、故障位置決め・収集・識別モジュールに送信し、故障位置決め・収集・識別モジュールはＬＥＤランプグループ画像に対して画像識別や解析を行うことでハードウェア回路の具体的な状態情報を取得し、ランプグループ符号化情報ベースに基づいて故障解析を行い、ハードウェア回路の分析結果を取得してからフィードバックする。
　また、例えば、デジタルカメラを用いて、ユーザコンピュータにおける表示部に表示されたシステムエラーコードなどのような画像を撮影し、当該画像を携帯電話によって故障回復プロセスサーバに送信し、当該サーバは、当該画像に基づいてシステムエラーコードへの検出を行うとともに、エラーコードに関連付けられた故障内容情報をデータベースから取得して携帯電話に送信する。
　さらに、例えば、機器のパネルに故障コードが表示されるとともに、二次元コードも表示された場合、ユーザは、当該二次元コードをスキャンした後、メンテナンス情報を含むホームページに迅速にアクセスすることができ、それにより、故障やメンテナンス情報を取得することができる。
　ここで注意すべきなのは、上記の技術背景に対する紹介は、本開示の技術案に対してより明瞭かつ完全な説明を行うことに利便を図りながら、当業者が理解しやすいように供するものに過ぎない。それらの方案が本開示の背景技術の部分に記載されていることだけで、上記の技術方案が当業者により公知されたものであると認定してはならない。
　しかしながら、本発明者は、以下のような知見を得た。上述した従来の方法では、故障コードの表示方式が多様化された原因で、又は、画像の収集速度や収集時間などのパラメータによって制限されているので、単一の画像における故障コードの表示が不完全または不正確となり、関連する故障やメンテナンス情報を正確かつタイムリーに取得できなくなり、機器の使用に影響を与えることがある。また、二次元コードをスキャンしてホームページにアクセスすることで故障やメンテナンス情報を取得する方法では、各機器において、様々な故障に対してそれなりの二次元コードを設計する必要があるので、機器製造時の負担が増加するとともに、既存の一般的な機器に対しても幅広く応用できなくなる。
　上記問題のうちの少なくとも１つを解決するために、本開示は、故障識別及び対応方法、システムを提案する。これにより、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
　本開示の実施形態の第一態様によれば、故障コードを含むビデオを撮影するステップ、前記ビデオにおける故障コードを識別し、識別された故障コードを取得するステップ、識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成するステップ、および、前記表示データに基づき、前記故障に関する情報を示すステップを含む、故障識別及び対応方法を提供する。
　本開示の実施形態の第二態様によれば、故障コードを含むビデオを撮影する撮影ユニットと、前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備えた故障識別及び対応システムを提供する。
　本開示の実施形態の第三態様によれば、故障コードを含むビデオを撮影する撮影ユニットと、前記ビデオをサーバに送信する第１の送信ユニットと、前記サーバから表示データを受信する第１の受信ユニットと、前記表示データに基づいて、故障に関する情報を示す表示ユニットと、を備えた端末機器を提供する。
　本開示の実施形態の第四態様によれば、端末機器によって撮影された故障コードを含むビデオを前記端末機器から受信する第２の受信ユニットと、前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、前記表示データを前記端末機器に送信する第２の送信ユニットと、を備えたサーバを提供する。
　本開示の実施形態の第四態様によれば、故障コードを含むビデオを撮影する撮影ユニットと、前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備えた端末機器を提供する。
　本開示の実施形態による有益な効果の一つは以下の通りである。故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
　後述する説明と図面を参照して、本開示の特定な実施の形態は詳しく開示され、本開示の原理が使用されることも示された。理解すべきことは、本開示の実施の形態は、範囲上にそれで限定されていない。添付される特許請求の範囲の精神及び請求項の範囲内において、本開示の実施の形態は多くの変更、修正及び均等物を含む。
　１つの実施の形態の記載及び示された特徴情報に対して、同一又は類似した様態で１つ又は更に多くのその他の実施の形態に使用されてもよいし、その他の実施の形態の特徴と組み合わせてもよいし、或は、その他の実施の形態の特徴情報の代わりに使用してもよい。
　強調すべきことは、術語である「備える／含む」は、本文で特徴情報、整体部材、ステップ又は部材の存在を示すために使われているが、１つ又は更に多くのその他の特徴情報、整体部材、ステップ又は部材の存在或は付加が排除されるわけではない。
　下記の添付図面を参照することで、本開示の多くの態様をよりよく理解することが可能となる。添付図面に示す部材は、比例にして描かれたものではなく、本開示の原理を示すためのものに過ぎない。本開示に係るいくつかの部分の表現や記述に利便性を図るために、添付図面に対応する部分は、拡大されたり縮小されたりする可能性がある。本開示に係る１枚の添付図面または１つの実施の形態に示された要素や特徴情報は、１つ又は更に多くのその他の添付図面または実施の形態に示された要素や特徴情報と組み合わせることができる。また、添付図面における類似した符号は、いくつかの添付図面における対応する部材を示し、かつ、１つ以上の実施の形態に使用された対応部材を示すこともできる。
図１は、本開示の第１実施形態に係る故障識別及び対応方法の概略図である。 図２は、本開示の第１実施形態に係る故障コードに対する一表示方式の概略図である。 図３は、本開示の第１実施形態に係る故障コードに対する一表示方式の概略図である。 図４は、本開示の第１実施形態に係る故障コードに対する別の表示方式の概略図である。 図５は、本開示の第１実施形態に係る故障コードに対する別の表示方式の概略図である。 図６は、本開示の第１実施形態に係る故障コードに対する更に別の表示方式の概略図である。 図７は、本開示の第１実施形態に係る故障コードに対する更に別の表示方式の概略図である。 図８は、本開示の第１実施形態に係るステップ１０２の一実現方法の概略図である。 図９は、本開示の第１実施形態に係るステップ１０２の別の実現方法の概略図である。 図１０は、本開示の第１実施形態に係るステップ１０２の更に別の実現方法の概略図である。 図１１は、本開示の第１実施形態に係る当該ビデオの隣接フレームを重畳する概略図である。 図１２は、本開示の第２実施形態に係る故障識別及び対応システムの概略図である。 図１３は、本開示の第２実施形態に係る故障識別及び対応システムが相応な方法を実行する概略図である。 図１４は、本開示の第２実施形態に係る識別ユニットの一実施の形態の概略図である。 図１５は、本開示の第２実施形態に係る識別ユニットの別の実施の形態の概略図である。 図１６は、本開示の第２実施形態に係る第２の識別モジュールの概略図である。 図１７は、本開示の第２実施形態に係る識別ユニットの別の実施の形態の概略図である。 図１８は、本開示の第２実施形態に係る第４の識別モジュールの概略図である。 図１９は、本開示の第３実施形態に係る端末機器の概略図である。
　以下、図面を参照して本開示の好ましい実施の形態を説明する。
（第１実施形態）
　本開示の第１実施形態は、故障識別及び対応方法を提供する。図１は、本開示の第１実施形態に係る故障識別及び対応方法の概略図である。図１に示されるように、当該方法において、
ステップ１０１：故障コードを含むビデオを撮影すること、
ステップ１０２：当該ビデオにおける故障コードを識別し、識別された故障コードを取得すること、
ステップ１０３：識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成すること、および、
ステップ１０４：当該表示データに基づき、当該故障に関する情報を示すことを含む。
　そうすると、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
　本開示の第１実施形態では、当該方法が用いられた機器は、故障コードを表示することができる種々の機器、例えば、種々の工業用機器、又は、種々の家庭用機器などであってもよい。例えば、エアコン、洗濯機、冷蔵庫、又は、温水器などの機器が挙げられる。　当該機器に故障が発生した場合、当該機器の表示パネルには、故障コードが表示される。
　本開示の第１実施形態では、機器の製造メーカーは、故障コードを種々の方式によって示すことができる。例えば、故障コードは、数字、アルファベット、及び、シンボルのうちの少なくとも１種からなり、その桁数も１つ以上であってもよい。故障コードの具体的な表示形式や桁数は、機器の製造メーカーによって実際の必要性に応じて設定されてもよい。
　ステップ１０１では、故障コードを含むビデオを撮影する。本開示の第１実施形態では、ステップ１０１は、端末機器によって実行されてもよい。即ち、端末機器によって当該ビデオを撮影されてもよい。例えば、当該端末機器は、スマートフォン、知能型タブレット、又は、知能型メガネであってもよい。知能型タブレットは、タブレット端末（タブレット型の情報通信端末）であってもよい。知能型メガネは、スマートグラス（メガネ型の情報通信端末）であってもよい。
　本開示の第１実施形態では、例えば、撮影された当該ビデオは、機器の表示パネル領域に対して撮影されたものであり、当該表示パネルに故障コードが表示されてもよい。例えば、当該表示パネルは、当該機器の制御パネル又は他の表示用のパネルであってもよい。
　例えば、故障コードは、当該表示パネルの故障表示領域内に表示される。
　本開示の第１実施形態では、故障コードが表示される表示パネルは、様々な種類の表示スクリーンであってもよい。例えば、液晶表示スクリーン又はデジタルチューブ表示スクリーンであってもよい。
　本開示の第１実施形態では、当該方法は、種々の故障コードの表示方式に適用されてもよい。
　また、撮影された当該ビデオの時間長さは、実際の必要性に応じて決められてもよい。例えば、故障コードの表示方式により、決められてもよい。
　以下は、故障コードの表示方式を例示的に説明するが、本開示の第１実施形態はそれらの表示方式によって限定されない。
　例えば、故障コードがある時間帯内に表示されるが、ある時間帯内に表示されないように絶えずに循環してもよい。その場合について、撮影されたビデオは、故障コードが表示された時間帯を含んでもよい。
　図２と図３は、本開示の第１実施形態に係る故障コードの一表示方式の概略図である。図２に示されるように、ある時間帯内に故障コードが「Ａ９－０１」に表示され、図３に示されるように、ある時間帯内に当該故障コードが表示されない。
　更に、例えば、故障コードは、ある時間帯内にその一部が表示されるが、別の時間帯内にその残りの一部が表示されるように絶えずに循環してもよい。その場合について、撮影されたビデオは、故障コードの一部が表示された時間帯及び故障コードの残りの一部が表示された別の時間帯を含んでもよい。
　図４と図５は、本開示の第１実施形態に係る故障コードの別の表示方式の概略図である。図４に示されるように、ある時間帯内に故障コードの一部が「Ｊ５」に表示され、図５に示されるように、別の時間帯内に当該故障コードの残りの一部が「－０１」に表示される。
　本願の第１実施形態では、当該一部の故障コードは、エラーコードと呼ばれて、故障が発生した部材を示し、残りの一部の故障コードは、詳細コードと呼ばれて、具体的な故障内容を示してもよい。エラーコードと詳細コードは、１つの完全な故障コードとして組み合わせられる。例えば、図４中の「Ｊ５」はエラーコードを示し、図５中の「－０１」は詳細コードを示し、両者の組合せが完全なエラーコードの「Ｊ５－０１」となる。
　更に例えば、故障コードは、デジタルチューブによって表示され、デジタルチューブの表示原理により、所定の頻度で点滅して表示されてもよい。その場合について、撮影されたビデオの時間長さは、適切な時間長さであってもよく、例えば、故障コードの識別のために複数のフレームを収集するような数秒間であってもよい。
　図６と図７は、本開示の第１実施形態に係る故障コードの別の表示方式の概略図である。デジタルチューブが所定の頻度で点滅して故障コードを表示するため、図６に示されるように、当該時刻にて故障コード「Ｊ５」が表示され、図７に示されるように、当該時刻にて、故障コード「Ｊ５」が不完全に表示される。
　ステップ１０２では、当該ビデオにおける故障コードを識別し、識別された故障コードを取得する。本開示の第１実施形態では、ローカル端末機器によってステップ１０２が実行されてもよいし、端末機器が当該ビデオのデータを遠隔地に設置されたサーバ、例えば、クラウドサーバに送信して、当該サーバによってステップ１０２が実行されてもよい。
　以下は、異なる故障コードの表示方式に対する、ステップ１０２の具体的な説明をそれぞれ、例示的に行う。
　例えば、故障コードがある時間帯内に表示され、ある時間帯内に表示されず、絶えずに循環するという表示方式について、即ち、図２と図３に示した例について、ステップ１０２では、当該ビデオの各フレームを逐一に識別することが可能である。
　図８は、本開示の第１実施形態に係るステップ１０２の一実現方法の概略図である。図８に示されるように、当該ビデオの１フレームを識別するステップにおいて、
ステップ８０１：当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
ステップ８０２：前記平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定すること、および、
ステップ８０３：故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得すること、を含む。
　ステップ８０２では、当該予め設定された条件は、故障コードと表示領域の背景との表示上の差によって決められてもよい。例えば、表示領域の背景が暗いが、表示された故障コードが明るい場合、当該予め設定された条件は、画素値の平均値が予め定義された閾値よりも大きいということである。更に例えば、表示領域の背景が明るいが、表示された故障コードが暗い場合、当該予め設定された条件は、画素値の平均値が予め定義された閾値よりも小さいということである。ここで、当該予め定義された閾値は、表示領域の背景の画素値によって決められてもよい。
　ステップ８０３では、使用される第１の識別モデルは、トレーニングデータを用いてトレーニングされて得られたものである。例えば、トレーニングデータを用いてニューラルネットワークをトレーニングすることで、第１の識別モデルを取得する。当該ニューラルネットワークは、従来のニューラルネットワークの構造が用いられてもよい。
　本開示の第１実施形態では、当該平均値が予め設定された条件を満足しなかった場合、当該故障コード表示領域には、故障コードが含まれないことを確定すると、その１フレームの画像に対する処理を行わない。
　本開示の第１実施形態では、各フレームをそれぞれ識別した後、各フレームに対する識別が行われて得られた故障コードが一致すれば、当該故障コードを識別結果とするが、各フレームに対する識別が行われて得られた故障コードが一致しなければ、より多くのフレームから識別された故障コードを識別結果とすることができる。
　更に、例えば、故障コードは、ある時間帯内にその一部が表示されるが、別の時間帯内にその残りの一部が表示されるように絶えずに循環するという表示方式について、即ち、図４と図５の例について、図９は、本開示の第１実施形態に係るステップ１０２の別の実現方法の概略図である。図９に示されるように、当該方法において、
ステップ９０１：当該ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
ステップ９０２：当該第１部分故障コードと第２部分故障コードを、１つの完全な故障コードに組み合わせて、識別された故障コードとすることを含む。
　そうすると、異なる時間にて異なる部分の完全な故障コードが表示されることを識別することができ、それにより、正確な故障情報を取得することが可能となる。
　例えば、当該ビデオの各フレームを逐一に識別することで、図４中の第１部分故障コード「Ｊ５」と図５中の第２部分故障コード「－０１」を取得し、第１部分故障コード「Ｊ５」と第２部分故障コード「－０１」とを、完全な故障コード「Ｊ５－０１」に組み合わせる。
　ここで、当該ビデオの１フレームを識別するステップは、ステップ８０１～８０３と類似し、即ち、
当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値をとること、
当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定すること、および、
故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得すること、を含む。
　本開示の第１実施形態では、実際の必要性に応じて、どの部分の故障コードを第１部分故障コードとして前に置くかを決定してもよい。例えば、識別されたアルファベットを含む一部の故障コードに対し、それを第１部分故障コードとして前に置くことができる。更に例えば、識別されたシンボルを含まない一部の故障コードに対し、それを第１部分故障コードとして前に置くが、識別されたシンボルを含む一部の故障コード、例えば、シンボル「－」を含む一部のコードを第２部分故障コードとして後に置くことができる。
　更に例えば、故障コードがデジタルチューブによって一定の頻度で点滅して表示される表示方式について、即ち、図６と図７の例について、図１０は、本開示の第１実施形態に係るステップ１０２の更に別の実現方法の概略図である。図１０に示されるように、当該方法において、
ステップ１００１：予め設定された重み値に基づき、当該ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得すること、および、
ステップ１００２：重畳された複数のフレームに基づいて故障コードの識別を行うことを含む。
　そうすると、単一の画像では、故障コードを正確に表示できなくなるという欠陥を解消することができ、故障コードを正確に確定することが可能となり、正確な故障情報を取得することができる。
　ステップ１００１では、重み値に基づき、当該ビデオの隣接フレーム又は間隔フレームを２つごとに重畳し、当該間隔フレームは、予め設定されたフレーム数の間隔を置いた２つの間隔フレームであってもよい。
　本開示の第１実施形態では、重畳用の重み値は実際の必要性に応じて設定されてもよい。例えば、重み値の平均が０．５である場合、つまり、隣り合う２つのフレーム又は間隔を置いた２つのフレームの対応する画素点の画素値に対して平均値をとる。更に例えば、重み値の平均が１である場合、つまり、隣り合う２つのフレーム又は間隔を置いた２つのフレームの対応する画素点の画素値を加算する。
　本開示の第１実施形態では、故障コードは、ある時間帯内にその一部が表示されるが、別の時間帯内にその残りの一部が表示されるように絶えずに循環するという表示方式について、ステップ１００２では、重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、当該第１部分故障コードと第２部分故障コードを、１つの完全な故障コードに組み合わせて、識別された故障コードとすることを含む。
　図１１は、本開示の第１実施形態に係る当該ビデオの隣接フレームを重畳する概略図である。図１１に示されるように、当該ビデオに含まれた６フレーム画像において、２フレーム目、３フレーム目、５フレーム目の画像は、デジタルチューブの点滅によって撮影された故障コードが不完全なものとなる。隣り合う２つのフレームに対して、画素値の加算に関する重畳をそれぞれ、行い、１フレーム目と２フレーム目を重畳してから、第１部分故障コードの「ＬＣ」が識別され、３フレーム目と４フレーム目を重畳してから、正常の故障コードを識別することができないので、それを破棄し、５フレーム目と６フレーム目を重畳してから、第２部分故障コード「－１４」が識別される。第１部分故障コード「ＬＣ」と第２部分故障コード「－１４」とを組み合わせたことで、完全な故障コード「ＬＣ－１４」が得られる。
　本開示の第１実施形態では、ステップ１０２において、識別する前に、当該ビデオを分割して、当該ビデオの各フレームを取得すること、および、当該ビデオの各フレームに対して故障コード表示領域を確定すること、を含むステップをさらに含んでもよい。
　そうすると、各フレームの故障コード表示領域を確定することができ、それにより、当該故障コード表示領域に対する故障コードの識別が容易となる。
　本開示の第１実施形態では、例えば、故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係により、当該故障コード表示領域の位置を確定することができ、または、予めトレーニングして得られた第２の識別モデルにより、当該故障コード表示領域の位置を確定することができる。
　例えば、ビデオを撮影された領域はほぼ表示パネルの領域であり、当該表示パネルにおける故障コード表示領域の予め設定された位置関係により、当該故障コード表示領域の位置を確定する。
　例えば、当該第２の識別モデルは、ニューラルネットワークであってもよく、当該ニューラルネットワークは従来のニューラルネットワークの構造が用いられてもよい。
　本開示の第１実施形態では、ステップ１０２において故障コードが識別された後、ステップ１０３において、識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成する。本開示の第１実施形態では、ローカル端末機器によってステップ１０３が実行されてもよいし、サーバによってステップ１０３が実行されてもよい。
　本開示の第１実施形態では、故障情報データベースが予め構築されてもよく、当該故障情報データベースでは、種々の機器の故障に関する情報が記憶されており、当該故障に関する情報は、機器の種類や型番号、故障コードに対応する。
　本開示の第１実施形態では、故障コードに対応する当該故障に関する情報は、故障コードに対応する故障内容及び／または故障が発生した機器の第１のモデルを含んでもよい。当該第１のモデルは、当該機器の各部材を表すことができる二次元モデル又は三次元モデルである。
　本開示の第１実施形態では、当該故障内容は、故障が発生した位置又は部材の情報及び／又は相応なアフターサービスメンテナンス情報を含んでもよい。例えば、当該アフターサービスメンテナンス情報は、メンテナンスの方法及びステップを含んでもよく、更に例えば、部材交換に係る費用などの情報をさらに含んでもよい。
　ステップ１０３において、識別された故障コードに基づき、当該故障情報データベースにおいて検索し、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成し、当該表示データが故障に関する情報を示すことができる表示データである。
　ステップ１０４において、当該表示データに基づき、当該故障に関する情報を示す。本開示の第１実施形態では、ローカル端末機器によってステップ１０４が実行され、サーバによってステップ１０３が実行された場合、サーバは生成した表示データを端末機器に送信してもよい。
　本開示の第１実施形態では、当該故障に関する情報を示すには、種々の方式によって示されてもよい。例えば、スクリーンによって文字で示される故障内容が表示されてもよく、又は、スクリーンによって文字と図形を組み合わせて示された故障内容が表示されてもよく、又は、虚実を結合する方式によって故障内容を表すことができる当該機器のモデルが表示されてもよい。本開示の第１実施形態では、当該故障に関する情報の示し方が制限されていない。
　例えば、ステップ１０４において、当該表示データに基づき、故障内容を表すことができる当該機器の第２のモデルを表示し、当該第２のモデルが当該機器の第１のモデルに基づいて形成されてもよい。そうすると、機器の構造や故障の位置を直感的に示すことができ、それにより、故障確定や故障排除の効率が向上した。
　例えば、当該第２のモデルは、当該機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルである。
　例えば、当該第２のモデルを、拡張現実、画像又は動画の方式によって表示する。そうすると、故障情報をさらに直観的に把握することができ、それにより、故障確定や故障排除の効率がさらに向上した。
　例えば、当該第２のモデルでは、故障が発生した位置または部材を異なる色で表示する。そうすると、故障情報をさらに直観的に把握することができ、それにより、故障確定や故障排除の効率がさらに向上した。
　本開示の第１実施形態では、故障に関する情報のうちのアフターサービスメンテナンス情報を表示してもよい。例えば、メンテナンスの方法やステップを動画又はビデオの方式によって表示してもよい。そうすると、故障排除の効率がさらに向上した。
　上記第１実施形態から分かるように、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
（第２実施形態）
　本開示の第２実施形態は、第１実施形態に記載の故障識別及び対応方法に対応する故障識別及び対応システムを提供し、その具体的な実施について、第１実施形態に記載の方法の実施を参照してもよく、同一又は関連する内容に関しては、説明を省略する。
　図１２は、本開示の第２実施形態に係る故障識別及び対応システムの概略図であり、図１２に示されるように、故障識別及び対応システム１２００は、
故障コードを含むビデオを撮影する撮影ユニット１２０１と、
当該ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニット１２０２と、
識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成する確定ユニット１２０３と、
当該表示データに基づいて、前記故障に関する情報を示す表示ユニット１２０４と、を備える。
　本開示の第２実施形態では、図１２に示されるように、故障識別及び対応システム１２００は、端末機器１２１０とサーバ１２２０を含み、端末機器１２１０が撮像ユニット１２０１と表示ユニット１２０４を含み、サーバ１２２０が識別ユニット１２０２と確定ユニット１２０３を含んでもよい。
　また、図１２に示されるように、端末機器１２１０は、さらに、
当該ビデオをサーバ１２２０に送信する第１の送信ユニット１２０５と、
サーバ１２２０から表示データを受信する第１の受信ユニット１２０６と、を含み、
当該サーバ１２２０は、さらに、
端末機器１２１０によって撮影された故障コードを含むビデオを当該端末機器から受信する第２の受信ユニット１２０７と、
当該表示データを端末機器１２１０に送信する第２の送信ユニット１２０８と、を含む。
　本開示の第２実施形態では、端末機器１２１０は、様々な種類の端末機器であってもよい。例えば、当該端末機器は、スマートフォン、知能型タブレット、又は、知能型メガネであってもよい。
　サーバ１２２０は、様々な種類のサーバであってもよく、例えば、クラウドサーバであってもよい。
　図１３は、本開示の第２実施形態に係る故障識別及び対応システムが相応な方法を実行する概略図である。図１３に示されるように、当該方法において、
ステップ１３０１：端末機器１２１０が故障コードを含むビデオを撮影すること、
ステップ１３０２：端末機器１２１０が当該ビデオをサーバ１２２０に送信すること、
ステップ１３０３：サーバ１２２０が当該ビデオにおける故障コードを識別し、識別された故障コードを取得すること、
ステップ１３０４：サーバ１２２０が識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成すること、
ステップ１３０５：サーバ１２２０が当該表示データを端末機器１２１０に送信すること、および、
ステップ１３０６：端末機器１２１０が当該表示データに基づき、当該故障に関する情報を示すことを含む。
　図１４は、本開示の第２実施形態に係る識別ユニットの一実施の形態の概略図である。図１４に示されるように、識別ユニット１２０２は、
　当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第１の計算モジュール１４０１と、
　当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定する第１の確定モジュール１４０２と、
　故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得する第１の識別モジュール１４０３と、を含む。
　図１５は、本開示の第２実施形態に係る識別ユニットの別の実施の形態の概略図である。図１５に示されるように、識別ユニット１２０２は、
　当該ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第２の識別モジュール１５０１と、
　当該第１部分故障コードと当該第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第１の組合せモジュール１５０２と、を含む。
　図１６は、本開示の第２実施形態に係る第２の識別モジュールの概略図である。図１６に示されるように、第２の識別モジュール１５０１は、
当該フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第２の計算モジュール１６０１と、
当該平均値が予め設定された条件を満足した場合、当該故障コード表示領域には、故障コードが含まれることを確定する第２の確定モジュール１６０２と、
故障コードを含む当該故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得する第３の識別モジュール１６０３と、を含む。
　図１７は、本開示の第２実施形態に係る識別ユニットの別の実施の形態の概略図である。図１７に示されるように、識別ユニット１２０２は、
予め設定された重み値に基づき、当該ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュール１７０１と、
重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュール１７０２と、を含む。
　図１８は、本開示の第２実施形態に係る第４の識別モジュールの概略図である。図１８に示されるように、第４の識別モジュール１７０２は、
重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第５の識別モジュール１８０１と、
当該第１部分故障コードと当該第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第２の組合せモジュール１８０２と、を含む。
　本開示の第２実施形態では、当該識別ユニット１２０２は、さらに、
当該ビデオを分割して、当該ビデオの各フレームを取得する分割モジュールと、
当該ビデオの各フレームに対して故障コード表示領域を確定する第２の確定モジュールと、をさらに含んでもよい。
　本開示の第２実施形態では、当該第２の確定モジュールは、故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係により、当該故障コード表示領域の位置を確定することができ、または、予めトレーニングして得られた第２の識別モデルにより、当該故障コード表示領域の位置を確定することができる。
　本開示の第２実施形態では、故障コードに対応する当該故障に関する情報は、当該故障コードに対応する故障内容及び／または故障が発生した機器の第１のモデルを含んでもよい。
　本開示の第２実施形態では、表示ユニット１２０４は、当該表示データに基づき、故障内容を表すことができる当該機器の第２のモデルを表示し、当該第２のモデルが当該機器の第１のモデルに基づいて形成されてもよい。
　例えば、当該機器の第１のモデルは、当該機器の各部材を表すことができる二次元モデル又は三次元モデルであり、当該機器の第２のモデルは、当該機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルである。
　しかも、表示ユニット１２０４は、当該第２のモデルを、拡張現実、画像又は動画の方式によって表示してもよい。本開示の第２実施形態では、当該故障内容は、故障が発生した位置又は部材の情報及び／又は相応なアフターサービスメンテナンス情報を含んでもよい。
　本開示の第２実施形態では、上記各ユニットやモジュールの機能の実現について、第１実施形態における関連ステップの内容を参照されてもよい。ここでは説明を省略する。
　上記実施形態から分かるように、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
（第３実施形態）
　本開示の第３実施形態３は、第１実施形態に記載の故障識別及び対応方法に対応する端末機器を提供し、その具体的な実施について、第１実施形態に記載の方法の実施を参照されてもよく、同一又は関連する内容に関して、説明を省略する。
　図１９は、本開示の第３実施形態に係る端末機器の概略図である。図１９に示されたように、端末機器１９００は、
故障コードを含むビデオを撮影する撮影ユニット１９０１と、
当該ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニット１９０２と、
識別された故障コードに基づき、当該故障コードに対応する故障に関する情報を確定するとともに、当該故障に関する情報に基づいて表示データを生成する確定ユニット１９０３と、
当該表示データに基づいて、当該故障に関する情報を示す表示ユニット１９０４と、を備える。
　つまり、第１実施形態における全てのステップは、端末機器によって実行されてもよく、端末機器の各ユニットの機能の実現について、第１実施形態における関連ステップの内容を参照されてもよい。ここでは説明を省略する。
　上記実施形態から分かるように、故障コードを含むビデオを撮影するとともに当該ビデオに基づいて故障コードの識別を行うことにより、故障コードの表示方式や画像収集パラメータによって制限されることなく、完全な故障コードを正確に識別することができる。そのため、識別された完全かつ正確な故障コードに基づいて、故障に関する情報を迅速かつ正確に取得することができる。
　本開示における上記装置や方法はハードウェアによって実現されてもよく、ハードウェアとソフトウェアとの組合せによって実現されてもよい。本開示は、以下のようなコンピュータ読み出し可能なプログラムに関するものである。当該プログラムがロジックユニットにより実行された場合、当該ロジックユニットに以上の装置又は構成部材を実現させることができ、或いは、当該ロジックユニットに以上の各種の方法又はステップを実現させることができる。
　本開示は上記のプログラムを記憶するための記憶媒介に関し、たとえば、ハードディスク、磁気ディスク、光ディスク、ＤＶＤ、フラッシュメモリ等に関する。
　以上、具体的な実施の形態を結び付けて、本開示を説明した。しかし、当業者が理解すべきことは、それらの記載はいずれも例示的なものに過ぎず、本開示の保護範囲に対する限定ではない。当業者は本開示の精神と原理に基づいて、本開示に対して種々変形や修正を行うことができるが、それらの変形と修正も本開示の範囲内に入っている。
１２００　故障識別及び対応システム
１２１０　端末機器
１２０１　撮像ユニット
１２０２　識別ユニット
１２０３　確定ユニット
１２０４　表示ユニット
１２０５　第１の送信ユニット
１２０６　第１の受信ユニット
１２０７　第２の受信ユニット
１２０８　第２の送信ユニット
１２２０　サーバ
１４０１　第１の計算モジュール
１４０２　第１の確定モジュール
１４０３　第１の識別モジュール
１５０１　第２の識別モジュール
１５０２　第１の組合せモジュール
１６０１　第２の計算モジュール
１６０２　第２の確定モジュール
１６０３　第３の識別モジュール
１７０１　重畳モジュール
１７０２　第４の識別モジュール
１８０１　第５の識別モジュール
１８０２　第２の組合せモジュール
１９０１　撮像ユニット
１９０２　識別ユニット
１９０３　確定ユニット
１９０４　表示ユニット

Claims (29)

  1. 　故障コードを含むビデオを撮影するステップ、
    　前記ビデオにおける故障コードを識別し、識別された故障コードを取得するステップ、
    　識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成するステップ、および、
    　前記表示データに基づき、前記故障に関する情報を示すステップを含む、ことを特徴とする故障識別及び対応方法。
  2. 　前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、
    　前記ビデオの各フレームを逐一に識別することを含み、ここに、前記ビデオの１フレームを識別するステップは、
    　前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
    　前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定すること、および、
    　故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得すること、を含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
  3. 　前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、
    　前記ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
    　前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとすることを含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
  4. 　前記ビデオの１フレームを識別する前記ステップは、
    　前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取ること、
    　前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定すること、および、
    　故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得すること、を含む、ことを特徴とする請求項３に記載の故障識別及び対応方法。
  5. 　前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、
    　予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得すること、および、
    　重畳された複数のフレームに基づいて故障コードの識別を行うことを含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
  6. 　重畳された複数のフレームに基づいて故障コードの識別を行う前記ステップは、
    　重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得すること、および、
    　前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとすることを含む、ことを特徴とする請求項５に記載の故障識別及び対応方法。
  7. 　前記ビデオにおける故障コードを識別し、識別された故障コードを取得する前記ステップは、さらに、
    　前記ビデオを分割して、前記ビデオの各フレームを取得すること、および、
    　前記ビデオの各フレームに対して故障コード表示領域を確定すること、を含むことを特徴とする請求項１～６のいずれか１項に記載の故障識別及び対応方法。
  8. 　前記ビデオの各フレームに対して故障コード表示領域を確定する前記ステップは、
    　故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係に応じて、前記故障コード表示領域の位置を確定し、又は、
    　予めトレーニングして得られた第２の識別モデルにより、前記故障コード表示領域の位置を識別することを含む、ことを特徴とする請求項７に記載の故障識別及び対応方法。
  9. 　前記故障コードに対応する前記故障に関する情報は、前記故障コードに対応する故障内容及び／または故障が発生した機器の第１のモデルを含む、ことを特徴とする請求項１に記載の故障識別及び対応方法。
  10. 　前記表示データに基づいて、前記故障に関する情報を示す前記ステップは、
    　前記表示データに基づき、前記故障内容を表すことができる前記機器の第２のモデルを表示し、前記第２のモデルが前記第１のモデルに基づいて形成されたことを含む、ことを特徴とする請求項９に記載の故障識別及び対応方法。
  11. 　前記機器の第１のモデルは、前記機器の各部材を表すことができる二次元モデル又は三次元モデルであり、
    　前記機器の第２のモデルは、前記機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルであり、
    　前記故障内容を表すことができる前記機器の第２のモデルを表示する前記ステップは、前記第２のモデルを、拡張現実、画像又は動画の方式によって表示することを含む、ことを特徴とする請求項１０に記載の故障識別及び対応方法。
  12. 　前記故障内容は、故障が発生した位置又は部材の情報及び／又は相応なアフターサービスメンテナンス情報を含む、ことを特徴とする請求項９～１１のいずれか１項に記載の故障識別及び対応方法。
  13. 　故障コードを含むビデオを撮影する撮影ユニットと、
    　前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
    　識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
    　前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備えたことを特徴とする故障識別及び対応システム。
  14. 　前記識別ユニットは、前記ビデオの各フレームを逐一に識別し、
    　前記識別ユニットは、
    　前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第１の計算モジュールと、
    　前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定する第１の確定モジュールと、
    　故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された故障コードを取得する第１の識別モジュールと、を含む、ことを特徴とする請求項１３に記載の故障識別及び対応システム。
  15. 　前記識別ユニットは、
    　前記ビデオの各フレームを逐一に識別することで、識別された第１部分故障コードと第　２部分故障コードを取得する第２の識別モジュールと、
    　前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第１の組合せモジュールと、を含む、ことを特徴とする請求項１３に記載の故障識別及び対応システム。
  16. 　前記第２の識別モジュールは、
    　前記フレームの故障コード表示領域におけるすべての画素点の画素値に対して平均値を取る第２の計算モジュールと
    　前記平均値が予め設定された条件を満足した場合、前記故障コード表示領域には、故障コードが含まれることを確定する第２の確定モジュールと、
    　故障コードを含む前記故障コード表示領域に対し、予めトレーニングして得られた第１の識別モデルを用いて識別することにより、識別された第１部分故障コード又は第２部分故障コードを取得する第３の識別モジュールと、を含む、ことを特徴とする請求項１５に記載の故障識別及び対応システム。
  17. 　前記識別ユニットは、
    予め設定された重み値に基づき、前記ビデオの隣接フレームまたは間隔フレームを重畳し、重畳された複数のフレームを取得する重畳モジュールと、
    　重畳された複数のフレームに基づいて故障コードの識別を行う第４の識別モジュールと、を含む、ことを特徴とする請求項１３に記載の故障識別及び対応システム。
  18. 　前記第４の識別モジュールは、
    　重畳された各フレームを逐一に識別することで、識別された第１部分故障コードと第２部分故障コードを取得する第５の識別モジュールと、
    　前記第１部分故障コードと前記第２部分故障コードを、完全な故障コードに組み合わせて、識別された故障コードとする第２の組合せモジュールと、を含む、ことを特徴とする請求項１７に記載の故障識別及び対応システム。
  19. 　前記識別ユニットは、
    　前記ビデオを分割して、前記ビデオの各フレームを取得する分割モジュールと、
    　前記ビデオの各フレームに対して故障コード表示領域を確定する第２の確定モジュールと、をさらに含む、ことを特徴とする請求項１３～１８のいずれか１項に記載の故障識別及び対応システム。
  20. 　前記第２の確定モジュールは、故障コード表示領域と故障コードを表示する表示パネルとの予め設定された位置関係により、前記故障コード表示領域の位置を確定し、または、予めトレーニングして得られた第２の識別モデルにより、前記故障コード表示領域の位置を確定する、ことを特徴とする請求項１９に記載の故障識別及び対応システム。
  21. 　前記故障コードに対応する前記故障に関する情報は、前記故障コードに対応する故障内容及び／または故障が発生した機器の第１のモデルを含む、ことを特徴とする請求項１３に記載の故障識別及び対応システム。
  22. 　前記表示ユニットは、前記表示データに基づき、前記故障内容を表すことができる前記機器の第２のモデルを表示し、前記第２のモデルが前記第１のモデルに基づいて形成された、ことを特徴とする請求項２１に記載の故障識別及び対応システム。
  23. 　前記機器の第１のモデルは、前記機器の各部材を表すことができる二次元モデル又は三次元モデルであり、
    　前記機器の第２のモデルは、前記機器の各部材を表すことができるとともに、故障が発生した位置又は部材を際立って表すことができる二次元モデル又は三次元モデルであり、
    　前記表示ユニットは、前記第２のモデルを、拡張現実、画像又は動画の方式によって表示する、ことを特徴とする請求項２２に記載の故障識別及び対応システム。
  24. 　前記故障内容は、故障が発生した位置又は部材の情報及び／又は相応なアフターサービスメンテナンス情報を含む、ことを特徴とする請求項２１～２３のいずれか１項に記載の故障識別及び対応システム。
  25. 　前記故障識別及び対応システムは、端末機器とサーバを含み、
    　前記端末機器は、前記撮像ユニットと前記表示ユニットを含み、
    　前記サーバは、前記識別ユニットと前記確定ユニットを含む、ことを特徴とする請求項１３に記載の故障識別及び対応システム。
  26. 　前記端末機器は、スマートフォン、知能型タブレット、又は、知能型メガネである、ことを特徴とする請求項２５に記載の故障識別及び対応システム。
  27. 　故障コードを含むビデオを撮影する撮影ユニットと、
    　前記ビデオをサーバに送信する第１の送信ユニットと、
    　前記サーバから表示データを受信する第１の受信ユニットと、
    　前記表示データに基づいて、故障に関する情報を示す表示ユニットと、を備えたことを特徴とする端末機器。
  28. 　端末機器によって撮影された故障コードを含むビデオを前記端末機器から受信する第２の受信ユニットと、
    　前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
    　識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
    　前記表示データを前記端末機器に送信する第２の送信ユニットと、を含む、ことを特徴とするサーバ。
  29. 　故障コードを含むビデオを撮影する撮影ユニットと、
    　前記ビデオにおける故障コードを識別し、識別された故障コードを取得する識別ユニットと、
    　識別された故障コードに基づき、前記故障コードに対応する故障に関する情報を確定するとともに、前記故障に関する情報に基づいて表示データを生成する確定ユニットと、
    　前記表示データに基づき、前記故障に関する情報を示す表示ユニットと、を備えたことを特徴とする端末機器。
PCT/JP2021/027277 2020-07-22 2021-07-21 故障識別及び対応方法、システム WO2022019324A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022538036A JPWO2022019324A1 (ja) 2020-07-22 2021-07-21
EP21845207.6A EP4187454A4 (en) 2020-07-22 2021-07-21 FAULT IDENTIFICATION AND MANAGEMENT METHOD AND SYSTEM
AU2021313596A AU2021313596A1 (en) 2020-07-22 2021-07-21 Failure identification and handling method, and system
US18/099,111 US20230156161A1 (en) 2020-07-22 2023-01-19 Failure identification and handling method, and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010709092.6A CN113971771A (zh) 2020-07-22 2020-07-22 故障识别与应对方法及系统
CN202010709092.6 2020-07-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/099,111 Continuation US20230156161A1 (en) 2020-07-22 2023-01-19 Failure identification and handling method, and system

Publications (1)

Publication Number Publication Date
WO2022019324A1 true WO2022019324A1 (ja) 2022-01-27

Family

ID=79584711

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/027277 WO2022019324A1 (ja) 2020-07-22 2021-07-21 故障識別及び対応方法、システム

Country Status (6)

Country Link
US (1) US20230156161A1 (ja)
EP (1) EP4187454A4 (ja)
JP (1) JPWO2022019324A1 (ja)
CN (1) CN113971771A (ja)
AU (1) AU2021313596A1 (ja)
WO (1) WO2022019324A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115016969A (zh) * 2022-06-06 2022-09-06 广东大舜汽车科技有限公司 一种汽车电子系统修复方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014212438A (ja) * 2013-04-18 2014-11-13 ヴイ・インターネットオペレーションズ株式会社 監視システム
JP2015069477A (ja) * 2013-09-30 2015-04-13 富士電機株式会社 釣銭機の保守作業支援システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013109541A (ja) * 2011-11-21 2013-06-06 Hitachi Consumer Electronics Co Ltd 情報処理装置、及び、情報処理方法
KR20190104282A (ko) * 2019-08-20 2019-09-09 엘지전자 주식회사 영상 기반으로 정보를 제공하는 방법 및 이를 위한 이동 단말

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014212438A (ja) * 2013-04-18 2014-11-13 ヴイ・インターネットオペレーションズ株式会社 監視システム
JP2015069477A (ja) * 2013-09-30 2015-04-13 富士電機株式会社 釣銭機の保守作業支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4187454A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115016969A (zh) * 2022-06-06 2022-09-06 广东大舜汽车科技有限公司 一种汽车电子系统修复方法和装置
CN115016969B (zh) * 2022-06-06 2023-07-25 广东大舜汽车科技有限公司 一种汽车电子系统修复方法和装置

Also Published As

Publication number Publication date
US20230156161A1 (en) 2023-05-18
AU2021313596A1 (en) 2023-03-23
JPWO2022019324A1 (ja) 2022-01-27
CN113971771A (zh) 2022-01-25
EP4187454A4 (en) 2024-01-17
EP4187454A1 (en) 2023-05-31

Similar Documents

Publication Publication Date Title
CN108846365B (zh) 视频中打架行为的检测方法、装置、存储介质及处理器
CN110383274B (zh) 识别设备的方法、装置、系统、存储介质、处理器和终端
US10235574B2 (en) Image-capturing device, recording device, and video output control device
CN106708451B (zh) 同屏监控智能设备状态的方法、投影设备及用户终端
WO2019174009A1 (zh) 一种机房管理方法及动环系统
JP6289762B1 (ja) 映像処理装置、映像処理方法、映像処理プログラム、及び映像監視システム
US9554060B2 (en) Zoom images with panoramic image capture
WO2019065212A1 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
CN106686372A (zh) 一种显示终端图像显示的检测方法及其显示终端
CN110740290B (zh) 监控录像预览方法及装置
JP2016201758A (ja) 施設内人物捜索支援装置、施設内人物捜索支援システムおよび施設内人物捜索支援方法
WO2022019324A1 (ja) 故障識別及び対応方法、システム
CN110619308A (zh) 一种过道杂物检测方法、装置、系统和设备
JP6034639B2 (ja) 機器情報表示装置、機器情報表示システム、及び機器情報表示方法
CN113627005A (zh) 一种智能视觉监控方法
CN111612088A (zh) 叠加字符的图像的检测方法及装置
US20230104061A1 (en) Methods and apparatuses for determining statuses of positions on shelves, shelves and non-transitory computer-readable storage media
CN113411543A (zh) 一种多路监控视频融合显示方法及系统
CN111260716A (zh) 商户座位间隔的确定方法、装置、服务器及存储介质
CN116230173B (zh) 影像处理方法、装置及系统
CN111914672B (zh) 图像标注方法和装置及存储介质
CN110909579A (zh) 一种视频图像处理方法、装置、电子设备及存储介质
TWI840012B (zh) 擴增實境作業程序判斷系統、擴增實境作業程序判斷方法及擴增實境作業程序判斷裝置
US11488199B2 (en) Display system for calculating advertising costs
CN110264515B (zh) 一种标注方法及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21845207

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022538036

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021845207

Country of ref document: EP

Effective date: 20230222

ENP Entry into the national phase

Ref document number: 2021313596

Country of ref document: AU

Date of ref document: 20210721

Kind code of ref document: A