WO2022208894A1 - 機械診断装置、機械診断方法、および記録媒体 - Google Patents

機械診断装置、機械診断方法、および記録媒体 Download PDF

Info

Publication number
WO2022208894A1
WO2022208894A1 PCT/JP2021/014402 JP2021014402W WO2022208894A1 WO 2022208894 A1 WO2022208894 A1 WO 2022208894A1 JP 2021014402 W JP2021014402 W JP 2021014402W WO 2022208894 A1 WO2022208894 A1 WO 2022208894A1
Authority
WO
WIPO (PCT)
Prior art keywords
machine
time
series data
knowledge
data
Prior art date
Application number
PCT/JP2021/014402
Other languages
English (en)
French (fr)
Inventor
純明 榮
裕樹 多賀戸
貴史 小梨
淳 西岡
佑嗣 小林
純 児玉
悦子 市原
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/014402 priority Critical patent/WO2022208894A1/ja
Priority to JP2023510159A priority patent/JPWO2022208894A5/ja
Publication of WO2022208894A1 publication Critical patent/WO2022208894A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G01M17/007—Wheeled or endless-tracked vehicles

Definitions

  • the present invention relates to a machine diagnostic device, a machine diagnostic method, and a recording medium, and for example, to a machine diagnostic device, a machine diagnostic method, and a recording medium for remotely diagnosing a machine based on time-series data received from equipment of the machine. .
  • Patent Document 1 provides a diagnostic system for remotely diagnosing automobiles.
  • the diagnostic system transmits diagnostic program data from the information center to the onboard computer.
  • the diagnostic program displays guidance on the in-vehicle display. By following the guidance and answering the questions from the diagnostic program, the user can identify the cause of the vehicle abnormality (or no failure).
  • Patent Document 1 With the related technology described in Patent Document 1, the user has to answer many questions until the diagnostic program can identify the cause of the abnormality, which imposes a heavy burden on the user.
  • the present invention has been made in view of the above problems, and its purpose is to reduce the user's burden in diagnosing a machine remotely.
  • a machine diagnostic apparatus comprises acquisition means for acquiring time-series data obtained from equipment of a machine, prediction means for predicting the state of the machine based on the time-series data, and the time-series data. search means for searching knowledge information related to the state of the machine from a knowledge database storing records of past diagnoses using data as a query; and providing means for providing the result of the prediction and the knowledge information.
  • a machine diagnosis method acquires time-series data obtained from equipment of a machine, predicts the state of the machine based on the time-series data, uses the time-series data as a query, retrieving knowledge information associated with the state of the machine from a knowledge database storing records in the diagnosis of the machine, and providing results of the prediction and the knowledge information.
  • a recording medium acquires time-series data obtained from equipment of a machine, predicts the state of the machine based on the time-series data, uses the time-series data as a query, Knowledge information associated with the state of the machine is retrieved from a knowledge database containing records in the diagnosis to provide results of the prediction and the knowledge information.
  • FIG. 1 schematically shows an example of a diagnostic system to which the machine diagnostic device according to Embodiment 1 or 2 is applied;
  • 2 is a diagram illustrating functions of an analysis engine included in the diagnostic system shown in FIG. 1;
  • FIG. 2 is a diagram showing an example of the data structure of a knowledge database provided in the diagnostic system shown in FIG. 1;
  • FIG. 2 is a diagram showing an example of the data structure of a data dictionary provided in the diagnostic system shown in FIG. 1;
  • FIG. 1 is a block diagram showing the configuration of a machine diagnostic device according to Embodiment 1;
  • FIG. 4 is a flow chart showing the operation of the machine diagnostic device according to the first embodiment;
  • FIG. 11 is a block diagram showing the configuration of a machine diagnostic device according to Embodiment 2; 9 is a flow chart showing the operation of the machine diagnostic device according to the second embodiment;
  • FIG. 5 is a diagram schematically showing a modified example of a diagnostic system to which the machine diagnostic device according to Embodiment 1 or 2 is applied; It is a figure which shows an example of the time-series data to which the comment was added.
  • FIG. 1 schematically shows an example of a diagnostic system 1 to which a machine diagnostic device 10 (FIG. 4) or a machine diagnostic device 20 (FIG. 6) according to Embodiments 1 or 2, which will be described later, is applied.
  • machine diagnostic device 10 or machine diagnostic device 20 is referred to as “machine diagnostic device 10 (20)”.
  • the diagnostic system 1 includes a machine diagnostic device 10 (20), an analysis engine 100, a knowledge database 200, and a data dictionary 300.
  • the knowledge database 200 hereinafter sometimes referred to as knowledge DB (Data Base) 200.
  • the machine diagnosis device 10 (20) remotely diagnoses the machine based on the time-series data obtained from the equipment of the machine.
  • a machine is an industrially applicable device that operates by converting a power source such as electric power or fuel into power.
  • the machine is an automobile, a watercraft, an agricultural machine, an industrial machine, an unmanned aerial vehicle, or a personal airplane.
  • an automobile is taken as an example.
  • a machine's equipment is equipment, devices, equipment, or a combination thereof.
  • Mechanical equipment outputs time series data continuously or intermittently.
  • the time-series data is, for example, sensor data output from various sensors.
  • various accessories such as power windows, seat belts, door locks, fuel gauges, wipers, fog lamps, air conditioners, and interior lights output sensor data.
  • the machine diagnosis device 10 (20) uses the analysis engine 100 to analyze the time-series data obtained from the equipment of the machine.
  • the machine diagnosis device 10 (20) diagnoses the state of the machine based on the analysis results of the time-series data. After that, the machine diagnosis device 10 (20) transmits the diagnosis result to the machine, user device, or the like, such as whether the machine has a symptom of failure or needs to be inspected.
  • the user decides whether to continue driving the car or bring the car to a dealer based on the diagnostic results sent from the machine diagnostic device 10 (20).
  • the analysis engine 100 includes a computer program such as LSTM (Long short-term memory) that performs machine learning on feature amounts of normal time-series data and feature amounts of abnormal time-series data. Analysis engine 100 further comprises computer hardware such as a processor and memory for executing computer programs and interfaces.
  • the analysis engine 100 analyzes the time series data input by the machine diagnosis device 10 (20), searches for comments having feature amounts similar to the feature amounts of the time series data, and outputs search results. For example, the analysis engine 100 searches for comments having feature quantities similar to those of the time-series data based on a known similarity concept such as Euclidean distance in the feature vector space.
  • the comment is text data representing the state of the machine implied by the time-series data.
  • the analysis engine 100 returns search results having a data format different from that of the query. This is done so that the position of a feature extracted from a segment of time-series data is close to the position of a feature extracted from text data related to this segment of time-series data in the feature space. , by training a computer program (LSTM, etc.) to correlate time-series data and text data. For example, a comment (text data) are associated.
  • LSTM computer program
  • FIG. 2 is a diagram explaining the functions of the analysis engine 100 included in the diagnostic system 1 (FIG. 1).
  • time-series data is input to the analysis engine 100 as a search query.
  • the analysis engine 100 extracts feature quantities from the input time-series data.
  • the analysis engine 100 searches the data dictionary 300 (FIG. 4) for comments having feature quantities similar to those of the time-series data.
  • the analysis engine 100 then outputs comments as search results.
  • FIG. 3 shows an example of the data structure of the knowledge DB 200 included in the diagnostic system 1 (FIG. 1).
  • the knowledge DB 200 stores knowledge information associated with feature amounts or their hash values.
  • the knowledge information includes audio data and video data.
  • Knowledge information is not limited to these.
  • the knowledge information is related to the state of the machine implied by the feature quantity of the time-series data, and is provided from the diagnostic system 1 to the user.
  • Knowledge information includes arbitrary content data and arbitrary text data.
  • the knowledge information is a video showing actions to be taken to check the state of the machine (such as "perform a specific operation on the machine").
  • the knowledge information is text data of comments (such as "sensor is broken") that describe the state of the machine.
  • Auxiliary information may accompany the time-series data sent from the automobile to the machine diagnostic device 10 (20).
  • Auxiliary information attached to the time-series data is stored in the knowledge DB 200 as knowledge information.
  • the auxiliary information stored as knowledge information in the knowledge DB 200 is provided from the diagnostic system 1 to the user as knowledge information related to the state of the machine during another diagnosis later.
  • Auxiliary information is perceived using the user's senses or intuition, or obtained using a user device.
  • the auxiliary information may be structured data or unstructured data. Also, the content of the auxiliary information is not limited.
  • Auxiliary information includes content data generated by the user device.
  • the auxiliary information also includes text data describing the user's perception.
  • the auxiliary information may be structured data, such as acceleration data output by a smartphone's gyro sensor.
  • the auxiliary information may be unstructured data, such as voice data entered by the user into a microphone or text data entered into the smartphone by the user.
  • FIG. 4 is a diagram showing an example of the data structure of the data dictionary 300.
  • the data dictionary 300 stores time-series data and comments that are related to each other in association with respective feature amounts.
  • “mutually related” means that the position of the feature quantity of the time-series data and the position of the feature quantity of the comment are close to each other in the feature quantity space, that is, that the feature quantities are similar.
  • Time-series data and comments are classified into either a normal (no abnormality) group or an abnormality or its precursor group for each abnormality type. More specifically, time-series data and comments from vehicle installations for which a particular sensor is in good condition are grouped in the data dictionary 300 in the normal group for that sensor. On the other hand, the time-series data and comments obtained from the vehicle equipment in which a particular sensor is in an abnormal state are classified into the abnormal group for that sensor in the data dictionary 300 .
  • the diagnosis target is an automobile.
  • the target of diagnosis is not limited to automobiles.
  • the object of diagnosis may be a machine such as an automobile, a ship, an agricultural machine, an industrial machine, an unmanned aerial vehicle, or a private airplane.
  • Embodiment 1 Embodiment 1 will be described with reference to FIGS. 5 and 6.
  • FIG. 5 An illustration of FIG. 5
  • FIG. 5 is a block diagram showing the configuration of the machine diagnostic device 10 according to the first embodiment. As shown in FIG. 5, the machine diagnostic device 10 includes an acquisition unit 11, a prediction unit 12, a search unit 13, and a provision unit .
  • the acquisition unit 11 acquires time-series data obtained from equipment of a machine (here, an automobile). Acquisition unit 11 is an example of acquisition means.
  • the acquisition unit 11 acquires ECU (Engine Control Unit) output data, sensor data, and/or other time-series data from the user's vehicle equipment via any wireless network such as a mobile network. do.
  • the time-series data is obtained to measure the state of the drive train of the vehicle or the state of the accessories.
  • the acquisition unit 11 outputs the acquired time-series data to the prediction unit 12 and the search unit 13 .
  • auxiliary information attached to the time-series data may be transmitted from the user's vehicle equipment (eg, car navigation device or touch panel display device) or user device (eg, smartphone).
  • the acquiring unit 11 acquires auxiliary information attached to the time-series data together with the time-series data. Then, the acquisition unit 11 outputs the time-series data and the auxiliary information to a recording unit (not shown) (second embodiment).
  • the prediction unit 12 predicts the state of the machine based on the time-series data.
  • the prediction unit 12 is an example of prediction means.
  • the prediction unit 12 inputs the time-series data as a query to the analysis engine 100 (FIG. 2) that performs machine learning on the feature amount of normal time-series data and the feature amount of abnormal time-series data, and performs a search. Receive the result of the prediction as a result.
  • the analysis engine 100 FIG. 2
  • the prediction unit 12 receives time-series data from the acquisition unit 11 .
  • the prediction unit 12 inputs the time-series data to the analysis engine 100 .
  • the analysis engine 100 extracts the feature amount of the input time-series data, and searches the data dictionary 300 (FIG. 4) for comments (text data) having similar feature amounts.
  • the data dictionary 300 the correlated time-series data and comments are classified by type of abnormality (for example, by sensor) into a normal group or an abnormality or its precursor group.
  • the analysis engine 100 outputs comments belonging to either the normal group or the abnormal group in the data dictionary 300 .
  • the prediction unit 12 predicts the state of the automobile based on whether the comments output from the analysis engine 100 belong to the normal group or the abnormal group in the data dictionary 300 . Specifically, if the comment output from the analysis engine 100 belongs to the normal group in the data dictionary 300, the prediction unit 12 predicts that the car is normal.
  • the prediction unit 12 predicts that the vehicle is abnormal.
  • the prediction unit 12 may predict the state of the automobile by analyzing the comments output from the analysis engine 100. For example, if the output comment includes the word "stable” or a synonym thereof, the prediction unit 12 predicts that the car is normal. On the other hand, if the output comment includes the word "abnormality" or a synonym thereof, it is predicted that there is an abnormality in the vehicle. The prediction unit 12 outputs the comment output from the analysis engine 100 to the provision unit 14 together with the prediction result.
  • the search unit 13 uses the time-series data as a query to search the knowledge DB 200 that stores records of past diagnoses for knowledge information related to machine abnormalities.
  • the search unit 13 is an example of search means.
  • the search unit 13 receives time-series data from the acquisition unit 11 .
  • the search unit 13 inputs the time-series data to the analysis engine 100 (FIG. 2).
  • the search unit 13 acquires feature data extracted from the time-series data by the analysis engine 100 .
  • the search unit 13 searches the knowledge DB 200 (FIG. 3) for knowledge information associated with a feature quantity similar to the feature quantity of the time-series data.
  • the search unit 13 outputs knowledge information obtained as a result of the search to the provision unit 14 .
  • the providing unit 14 provides prediction results and knowledge information.
  • the providing unit 14 is an example of providing means.
  • the providing unit 14 receives prediction results (and comments) from the prediction unit 12 .
  • the providing unit 14 also receives knowledge information obtained as a result of the search from the searching unit 13 .
  • the providing unit 14 outputs the prediction result and the knowledge information to a subsequent processing unit (not shown).
  • the providing unit 14 transmits prediction results and knowledge information to vehicle equipment (e.g., car navigation device or display device) or user device (e.g., smartphone) via any wireless network such as a mobile network. do.
  • the provision unit 14 may display the knowledge information on the screen of the car navigation device or smartphone.
  • the providing unit 14 may output the knowledge information as audio from a speaker provided in the vehicle or the user device.
  • FIG. 6 is a flow chart showing the flow of processing executed by each unit of the machine diagnostic apparatus 10. As shown in FIG.
  • the user turns on the diagnostic button installed in advance on the car to start the on-demand diagnosis.
  • the machine diagnosis device 10 is notified from the diagnosis button that the diagnosis button has been pressed.
  • the diagnostic button may be an in-vehicle device.
  • the user may input voice into the microphone or use a smartphone application.
  • a voice AI Artificial Intelligence
  • chatbot may perform a simple medical question to the user.
  • the machine diagnostic system 10 then initiates remote diagnostics as described below.
  • the acquisition unit 11 acquires time-series data obtained from equipment of the machine (S101).
  • the prediction unit 12 predicts the state of the machine based on the time series data (S102).
  • the search unit 13 searches the knowledge DB 200 storing records of past diagnoses for knowledge information related to the state of the machine (S103).
  • the providing unit 14 provides the prediction result and knowledge information to the user by transmitting the prediction result and knowledge information to the equipment of the vehicle or the user device (S104).
  • the acquisition unit 11 acquires time-series data obtained from equipment of the machine.
  • a prediction unit 12 predicts the state of the machine based on the time-series data.
  • the search unit 13 uses the time-series data as a query to search knowledge information related to the state of the machine from a knowledge database that stores records of past diagnoses.
  • the providing unit 14 provides prediction results and knowledge information.
  • the user can obtain knowledge information along with prediction results without having to answer numerous questions. For example, the user obtains, as knowledge information, a video showing actions to be taken to confirm the state of the machine. The user refers to the contents of the video (knowledge information) to confirm whether the machine is normal. This reduces the burden on the user in diagnosing the machine remotely.
  • Embodiment 2 will be described with reference to FIGS. 7 and 8.
  • FIG. 7 In the second embodiment, how to expand the knowledge DB 200 (FIG. 3) of the diagnostic system 1 (FIG. 1) will be explained.
  • FIG. 7 is a block diagram showing the configuration of the machine diagnostic device 20 according to the second embodiment.
  • the machine diagnostic device 20 includes an acquisition unit 11, a prediction unit 12, a search unit 13, and a provision unit .
  • the machine diagnostic device 20 further includes a recording section 25 .
  • the recording unit 25 associates the feature amount extracted from the time-series data by the analysis engine or the data of the hash value thereof with the auxiliary information and saves it in the knowledge database.
  • the recording unit 25 is an example of recording means.
  • the recording unit 25 receives time-series data and auxiliary information from the acquisition unit 11 .
  • the recording unit 25 inputs the received time-series data to the analysis engine 100 (FIG. 2).
  • the recording unit 25 acquires feature data extracted from the time-series data by the analysis engine 100 .
  • the recording unit 25 associates the auxiliary information attached to the time-series data with the feature amount data of the time-series data. Then, the recording unit 25 saves the feature amount data and the auxiliary information in the knowledge DB 200 .
  • FIG. 8 is a flow chart showing the flow of processing executed by each part of the machine diagnosis device 20. As shown in FIG.
  • the user turns on a diagnostic button installed in advance on the vehicle to start on-demand diagnostics.
  • the machine diagnostic device 20 then initiates remote diagnostics as described below.
  • the acquisition unit 11 acquires the time-series data obtained from the equipment of the machine and auxiliary information attached to the time-series data (S201).
  • auxiliary information includes content data generated by a user device such as a smart phone.
  • the auxiliary information includes text data describing the user's perception.
  • the prediction unit 12 predicts the state of the machine based on the time series data (S202).
  • the recording unit 25 stores the auxiliary information linked with the feature amount of the time-series data in the knowledge DB (Fig. 3) (S203). It should be noted that the recording unit 25 skips the process of step S203 when auxiliary information is not attached to the time-series data.
  • the search unit 13 searches the knowledge DB 200 storing records of past diagnoses for knowledge information related to the state of the machine (S204).
  • the providing unit 14 provides the prediction result and knowledge information to the user by transmitting the prediction result and knowledge information to the vehicle equipment or user device (S205).
  • the acquisition unit 11 acquires time-series data obtained from equipment of the machine.
  • a prediction unit 12 predicts the state of the machine based on the time-series data.
  • the search unit 13 uses the time-series data as a query to search knowledge information related to the state of the machine from a knowledge database that stores records of past diagnoses.
  • the providing unit 14 provides prediction results and knowledge information.
  • the user can obtain knowledge information along with prediction results without having to answer numerous questions. For example, the user obtains, as knowledge information, a video showing actions to be taken to confirm the state of the machine. The user refers to the contents of the video (knowledge information) to confirm whether the machine is normal. This reduces the burden on the user in diagnosing the machine remotely.
  • the recording unit 25 associates the feature amount extracted from the time-series data by the analysis engine or its hash value data with the auxiliary information and saves it in the knowledge database.
  • Auxiliary information stored in the knowledge database is referred to as knowledge information in future diagnoses. In this way, the knowledge database can be expanded.
  • the machine diagnosis device 10 introduces a candidate dealer to the user (driver) to inspect the automobile.
  • FIG. 9 schematically shows a modified example of the diagnostic system 1 shown in FIG. 1 (referred to as "diagnostic system 1'").
  • the machine diagnostic device 10 (20) of the diagnostic system 1' receives a reaction indicating whether the diagnostic result is appropriate or not from the user.
  • the machine diagnostic device 10 (20) receives a reaction including information indicating whether or not the diagnostic result is appropriate from the car navigation device or smart phone.
  • the machine diagnosis device 10 (20) responds differently depending on the content of the reaction.
  • the machine diagnostic device 10 (20) receives (1) a diagnostic result indicating that there is an abnormality in the vehicle and a reaction corresponding to the diagnostic result, Provide the user with candidate information.
  • the machine diagnosis device 10 (20) receives (2) a diagnosis result indicating that there is an abnormality in the vehicle and a reaction indicating that the diagnosis result does not apply, the machine diagnosis device 10 (20) is a high-level dealer capable of performing a highly difficult inspection. Provide the user with candidate information.
  • the machine diagnosis device 10 (20) does not provide information on dealer candidates to the user when (3) there is a diagnosis result that there is no abnormality in the automobile and a reaction that corresponds to the diagnosis result is received. Instead, the machine diagnostic device 10 (20) transitions from the on-demand diagnostic mode to the constant diagnostic mode. In the constant diagnosis mode, the machine diagnosis device 10 (20) executes automobile diagnosis periodically or at a predetermined timing without receiving a request for on-demand diagnosis from the user (that is, turning on the diagnosis button).
  • the dealer will inspect the car and, if necessary, repair the car.
  • the dealer sends an inspection record containing information such as findings, symptoms, and countermeasures related to the inspection of the automobile to the management system or machine diagnostic device 10 (20).
  • the inspection record sent from the dealer is linked to the feature amount data of the time-series data or its hash value (index) and stored in the knowledge DB 200 (FIG. 3).
  • the machine diagnostic device 10 (20) may generate a comment from the inspection record.
  • the comment is text data representing the state of the machine implied by the time-series data.
  • the machine diagnosis device 10 (20) extracts descriptions of symptoms and measures from inspection records, and generates comments on symptoms and measures.
  • the machine diagnostic device 10 (20) stores the generated comment (text data) in the data dictionary 300 (FIG. 4) in association with the time-series data.
  • the comments saved in the data dictionary 300 can be used for learning the analysis engine 100 (FIG. 11).
  • FIG. Training of the analysis engine 100 requires time-series data and comments representing the state of the machine implied by the time-series data.
  • FIG. 10 is a diagram showing an example of time-series data with comments added.
  • the time-series data are four sensor data obtained from four sensors AD.
  • different comments are added to four segment data of a predetermined time width extracted from time-series data at different times.
  • the segment data at the left end has a comment of "normal + working". This indicates that the time series data imply that all four sensors AD are operating normally.
  • FIG. 11 is an explanatory diagram showing the learning flow of the analysis engine 100.
  • a plurality of mutually related time-series data and comments are prepared. Note that the time-series data and comments that are related to each other are not limited to one-to-one pairs. One or more pieces of time-series data may be linked (associated) with one or more comments.
  • time-series data is input to the analysis engine 100 .
  • the analysis engine 100 outputs the feature amount of the input time-series data.
  • comments associated with the previously input time-series data are input to the analysis engine 100 .
  • the analysis engine 100 outputs the feature amount of the input comment. In this way, the time-series data feature amount and the comment feature amount that are related to each other are obtained.
  • the operator causes the analysis engine 100 to learn so that the feature amount of the time-series data and the feature amount of the comment are brought closer to each other. For example, the operator makes the analysis engine 100 learn to maximize the similarity between the feature amount of the time-series data and the feature amount of the comment.
  • Learning of the analysis engine 100 is completed by repeating the above procedure for mutually related time-series data and comments. As described with reference to FIG. 2, the analysis engine 100 that has completed learning can return comments as search results when time-series data is input as a query.
  • FIG. 12 is a block diagram showing an example of the hardware configuration of the information processing device 900. As shown in FIG. 12
  • the information processing device 900 includes the following configuration as an example.
  • a program 904 that implements the function of each component is stored in advance in, for example, the storage device 905 or the ROM 902, and is loaded into the RAM 903 and executed by the CPU 901 as necessary.
  • the program 904 may be supplied to the CPU 901 via the communication network 909 or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901 .
  • the machine diagnostic devices 10 and 20 described in the first and second embodiments are implemented as hardware. Therefore, the same effects as those described in the first and second embodiments can be obtained.
  • (Appendix 1) Acquisition means for acquiring time-series data obtained from equipment of the machine; prediction means for predicting the state of the machine based on the time-series data; a search means for searching knowledge information related to the state of the machine from a knowledge database storing records of past diagnoses using the time-series data as a query; a providing means for providing said prediction result and said knowledge information.
  • the prediction means inputs the time-series data as a query to an analysis engine that machine-learns the feature amount of normal time-series data and the feature amount of abnormal time-series data, and outputs the result of the prediction as a search result.
  • Appendix 3 The machine diagnostic apparatus according to appendix 1 or 2, wherein the acquiring means acquires auxiliary information attached to the time-series data together with the time-series data.
  • Appendix 4 The machine diagnostic apparatus according to appendix 3, wherein the auxiliary information includes content data generated by a user device.
  • Appendix 5 The machine diagnostic apparatus according to appendix 3 or 4, wherein the auxiliary information includes text data describing the user's perception.
  • appendix 6 Any one of appendices 3 to 5, further comprising recording means for storing in the knowledge database the data of the feature amount or its hash value extracted from the time-series data in association with the auxiliary information. 2. The machine diagnostic device according to claim 1.
  • Appendix 7 The machine diagnosis device according to any one of appendices 1 to 6, wherein the result of the prediction includes a comment regarding the state of the machine.
  • Appendix 8 The machine diagnostic apparatus according to any one of appendices 1 to 7, wherein the providing means provides the knowledge information via a third party's platform.
  • a non-transitory recording medium storing a program that causes a computer to perform: providing the prediction result and the knowledge information.
  • the present invention can be used, for example, as a machine diagnostic device for remotely diagnosing machines such as automobiles, ships, agricultural machines, industrial machines, unmanned aerial vehicles, and private airplanes.

Abstract

遠隔での機械の診断において、ユーザの負担を低減する。取得部（１１）は、機械の設備から得られる時系列データを取得し、予測部（１２）は、時系列データに基づいて、機械の状態を予測し、検索部（１３）は、時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、機械の状態と関連する知識情報を検索し、提供部（１４）は、予測の結果および知識情報を提供する。

Description

機械診断装置、機械診断方法、および記録媒体
　本発明は、機械診断装置、機械診断方法、および記録媒体に関し、例えば、機械の設備から受信する時系列データに基づいて、機械を遠隔で診断する機械診断装置、機械診断方法、および記録媒体に関する。
　機械の設備から得た時系列データに基づいて、機械を遠隔で診断する関連する技術が存在する。
　一例では、特許文献１は、自動車を遠隔で診断する診断システムを提供する。ユーザ（ドライバー）は、自動車が故障しているかもしれないと感じたとき、診断システムに自動車の診断を依頼する。診断システムは、診断プログラムのデータを、情報センタから車載コンピュータへ送信する。診断プログラムは、車載ディスプレイにガイダンスを表示する。ユーザは、ガイダンスにしたがい、診断プログラムからの質問に回答することで、自動車の異常の原因（あるいは故障なし）を特定することができる。
特開２００２－３３１８８４号公報 国際公開第ＷＯ２０２０／０４９６６６号
　特許文献１に記載の関連する技術では、診断プログラムが異常の原因を特定できるまで、ユーザがいくつもの質問に答える必要があるため、ユーザの負担が大きい。
　本発明は、上記の課題に鑑みてなされたものであり、その目的は、遠隔での機械の診断において、ユーザの負担を低減することにある。
　本発明の一態様に係わる機械診断装置は、機械の設備から得られる時系列データを取得する取得手段と、前記時系列データに基づいて、前記機械の状態を予測する予測手段と、前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索する検索手段と、前記予測の結果および前記知識情報を提供する提供手段とを備えている。
　本発明の一態様に係わる機械診断方法は、機械の設備から得られる時系列データを取得し、前記時系列データに基づいて、前記機械の状態を予測し、前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索し、前記予測の結果および前記知識情報を提供する。
　本発明の一態様に係わる記録媒体は、機械の設備から得られる時系列データを取得し、前記時系列データに基づいて、前記機械の状態を予測し、前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索し、前記予測の結果および前記知識情報を提供する。
　本発明の一態様によれば、遠隔での機械の診断において、ユーザの負担を低減することができる。
実施形態１または２に係わる機械診断装置が適用される診断システムの一例を概略的に示す。 図１に示す診断システムが備えた分析エンジンの機能を説明する図である。 図１に示す診断システムが備えた知識データベースのデータ構造の一例を示す図である。 図１に示す診断システムが備えたデータ辞書のデータ構造の一例を示す図である。 実施形態１に係わる機械診断装置の構成を示すブロック図である。 実施形態１に係わる機械診断装置の動作を示すフローチャートである。 実施形態２に係わる機械診断装置の構成を示すブロック図である。 実施形態２に係わる機械診断装置の動作を示すフローチャートである。 実施形態１または２に係わる機械診断装置が適用される診断システムの一変形例を概略的に示す図である。 コメントを付加された時系列データの一例を示す図である。 図２に示す分析エンジンの学習の流れを示す説明図である。 実施形態１～２のいずれかに係わる機械診断装置のハードウェア構成の一例を示す図である。
　本発明を実施するためのいくつかの形態について、以下で説明する。
　（診断システム１）
　図１は、後述する実施形態１または２に係わる機械診断装置１０（図４）または機械診断装置２０（図６）が適用される診断システム１の一例を概略的に示す。なお、以下では、「機械診断装置１０または機械診断装置２０」を、「機械診断装置１０（２０）」と記載する。
　図１に示すように、診断システム１は、機械診断装置１０（２０）、分析エンジン１００、および知識データベース２００、及びデータ辞書３００を備えている。以下では、知識データベース２００（以下、知識ＤＢ（Data Base）２００と記載する場合がある。
　機械診断装置１０（２０）は、機械の設備から得た時系列データに基づいて、機械を遠隔で診断する。機械とは、電力又は燃料などの動力源を動力に変換して稼働する、産業上利用可能な装置である。例えば、機械は、自動車、船舶、農業機械、工業機械、無人航空機、又は個人用飛行機である。以下では、自動車を例に挙げて説明する。
　機械の設備は、機械が具備する機器、デバイス、装置、またはそれらの組み合わせである。機械の設備は、持続的に、又は断続的に、時系列データを出力する。時系列データは、一例では、各種センサから出力されるセンサデータである。例えば、自動車であれば、エンジン及びモータのほか、パワーウインドウ、シートベルト、ドアロック、燃料計、ワイパー、フォグランプ、エアコン、室内灯などの様々な補器類が、センサデータを出力する。
　機械診断装置１０（２０）は、分析エンジン１００を用いて、機械の設備から得た時系列データを分析する。機械診断装置１０（２０）は、時系列データの分析結果に基づいて、機械の状態を診断する。その後、機械診断装置１０（２０）は、機械またはユーザデバイス等へ、機械に故障の兆候があるか、または検査の必要があるかなどの診断結果を送信する。
　ユーザ（ドライバー）は、機械診断装置１０（２０）から送信された診断結果に基づいて、自動車にそのまま乗り続けるか、またはディーラーへ自動車を持ち込むかを判断する。
　（分析エンジン１００）
　分析エンジン１００は、正常な時系列データの特徴量と異常な時系列データの特徴量とを機械学習したＬＳＴＭ（Long short-term memory）などのコンピュータプログラムを備えている。分析エンジン１００は、コンピュータプログラムを実行するプロセッサとメモリ、および、インタフェースなどのコンピュータハードウェアをさらに備えている。分析エンジン１００は、機械診断装置１０（２０）が入力した時系列データを分析して、時系列データの特徴量と類似する特徴量を有するコメントを検索し、検索結果を出力する。例えば、分析エンジン１００は、特徴ベクトル空間におけるユークリッド距離など、既知の類似度の概念に基づいて、時系列データの特徴量と類似する特徴量を有するコメントを検索する。コメントは、時系列データが暗示する機械の状態を表すテキストデータである。
　分析エンジン１００は、クエリとは異なるデータ形式を有する検索結果を返す。これは、特徴量空間上において、時系列データのあるセグメントから抽出された特徴量の位置と、この時系列データのセグメントと関連するテキストデータから抽出された特徴量の位置とが近くなるように、コンピュータプログラム（ＬＳＴＭなど）を学習させることで、時系列データとテキストデータとを相互に関連付ける技術によって実現可能である。例えば、エンジンの回転数が急に上がっているときの時系列データの区間に対して、この区間に紐づけられた「ニュートラルギアの状態でエンジンを空ぶかしした」というようなコメント（テキストデータ）が関連付けられる。
　図２は、診断システム１（図１）が備えた分析エンジン１００の機能を説明する図である。上述のように、分析エンジン１００に対し、時系列データが、検索のクエリとして入力される。分析エンジン１００は、入力された時系列データから、特徴量を抽出する。分析エンジン１００は、データ辞書３００（図４）から、時系列データの特徴量と類似する特徴量を有するコメントを検索する。そして、分析エンジン１００は、検索結果として、コメントを出力する。
　（知識ＤＢ２００）
　図３は、診断システム１（図１）が備えた知識ＤＢ２００のデータ構造の一例を示す。図３に示すように、知識ＤＢ２００は、特徴量またはそのハッシュ値と紐づけられた知識情報を格納している。図３に示す一例では、知識情報は、音声データおよびビデオデータを含む。しかしながら、知識情報はこれらに限定されない。知識情報は、時系列データの特徴量が暗示する機械の状態と関連するものであり、診断システム１からユーザへ提供される。知識情報は、任意のコンテンツデータ、および任意のテキストデータを含む。例えば、知識情報は、機械の状態を確認するための対処（「機械に対して特定の操作を行う」など）を表したビデオである。あるいは、知識情報は、機械の状態を表したコメント（「センサが故障」など）のテキストデータである。
　自動車から機械診断装置１０（２０）へ送信される時系列データには、補助情報（図１）が付帯している場合がある。時系列データに付帯する補助情報は、知識情報として、知識ＤＢ２００に格納される。なお、知識ＤＢ２００に知識情報として格納された補助情報は、のちの別の診断の際に、機械の状態と関連する知識情報として、診断システム１からユーザへ提供される。補助情報は、ユーザの五感または直感を用いて知覚されるか、もしくは、ユーザデバイスを用いて取得される。補助情報は、構造化データであってもよいし、非構造化データであってもよい。また、補助情報の内容は限定されない。
　補助情報は、ユーザデバイスが生成したコンテンツデータを含む。また、補助情報は、ユーザの知覚を記述したテキストデータを含む。補助情報は、スマートフォンのジャイロセンサが出力する加速度データなどの構造化データであってもよい。あるいは、補助情報は、ユーザがマイクロフォンに入力した音声データや、ユーザがスマートフォンに入力したテキストデータなどの、非構造化データであってもよい。
　さらに、後述する変形例（図８）で説明するように、自動車の検査及び修理を対応したディーラーから、所見、症状、および対処などの、時系列データが暗示する自動車（機械）の状態を表すテキストデータが、管理システムへ送信される。このテキストデータは、時系列データに係るコメントとして、後述するデータ辞書３００に格納される。
　（データ辞書３００）
　図４は、データ辞書３００のデータ構造の一例を示す図である。図４に示すように、データ辞書３００には、相互に関連する時系列データおよびコメントが、それぞれの特徴量と紐づけられて格納されている。ここでの「相互に関連する」とは、特徴量空間上における時系列データの特徴量の位置とコメントの特徴量の位置とが近い、つまり特徴量が類似することを意味する。時系列データおよびコメントは、異常の種別ごとに、正常（異常なし）のグループと、異常またはその前兆ありのグループとのどちらか一方に分類されている。より詳細には、ある特定のセンサが正常な状態にある自動車の設備より得られた時系列データおよびコメントは、データ辞書３００における当該センサに関する正常のグループに分類されている。一方、ある特定のセンサが異常な状態にある自動車の設備より得られた時系列データおよびコメントは、データ辞書３００における当該センサに関する異常のグループに分類されている。
　以下の実施形態１～２では、診断の対象が自動車である場合について説明する。しかしながら、診断の対象は自動車に限定されない。診断の対象は、自動車のほか、船舶、農業機械、工業機械、無人航空機、または自家用飛行機などの機械であってよい。
　〔実施形態１〕
　図５～図６を参照して、実施形態１について説明する。
　（機械診断装置１０）
　図５は、本実施形態１に係わる機械診断装置１０の構成を示すブロック図である。図５に示すように、機械診断装置１０は、取得部１１、予測部１２、検索部１３、および提供部１４を備えている。
　取得部１１は、機械（ここでは自動車）の設備から得られる時系列データを取得する。取得部１１は、取得手段の一例である。
　一例では、取得部１１は、ユーザの自動車の設備から、モバイルネットワークなどの任意の無線ネットワークを介して、ＥＣＵ（Engine Control Unit）の出力データ、センサデータ、および／またはその他の時系列データを取得する。時系列データは、自動車の駆動系の状態、または補器類の状態を計測するために取得される。取得部１１は、予測部１２および検索部１３へ、取得した時系列データを出力する。
　さらに、ユーザの自動車の設備（例えば、カーナビゲーション装置、またはタッチパネルディスプレイデバイス）、またはユーザデバイス（例えば、スマートフォン）から、時系列データに付帯する補助情報が送信される場合もある。この場合、取得部１１は、時系列データとともに、時系列データに付帯する補助情報も取得する。そして、取得部１１は、時系列データおよび補助情報を、図示しない記録部へ出力する（実施形態２）。
　予測部１２は、時系列データに基づいて、機械の状態を予測する。予測部１２は、予測手段の一例である。
　一例では、予測部１２は、正常な時系列データの特徴量と異常な時系列データの特徴量とを機械学習した分析エンジン１００（図２）へ、クエリとして時系列データを入力して、検索結果として予測の結果を受信する。
　まず、予測部１２は、取得部１１から、時系列データを受信する。予測部１２は、時系列データを、分析エンジン１００へ入力する。
　上述したように、分析エンジン１００は、入力された時系列データの特徴量を抽出し、類似する特徴量を有するコメント（テキストデータ）を、データ辞書３００（図４）から検索する。データ辞書３００では、相互に関連する時系列データおよびコメントが、異常の種類ごと（例えば、センサ別）に、正常のグループ、または、異常またはその前兆ありのグループに分類されている。分析エンジン１００は、データ辞書３００において、正常のグループおよび異常のグループのどちらか一方に属するコメントを出力する。
　予測部１２は、分析エンジン１００から出力されたコメントが、データ辞書３００において、正常のグループおよび異常のグループのどちらに属するかに基づいて、自動車の状態を予測する。具体的には、分析エンジン１００から出力されたコメントが、データ辞書３００において、正常のグループに属する場合、予測部１２は、自動車が正常であると予測する。
　一方、分析エンジン１００から出力されたコメントが、データ辞書３００において、異常のグループに属する場合、予測部１２は、自動車が異常であると予測する。
　あるいは、予測部１２は、分析エンジン１００から出力されたコメントを分析することによって、自動車の状態を予測してもよい。例えば、出力されたコメントが「安定」なる文言あるいはその類義語を含む場合、予測部１２は、自動車が正常であると予測する。一方、出力されたコメントが「異常」なる文言あるいはその類義語を含む場合、自動車に異常があると予測する。予測部１２は、予測の結果とともに、分析エンジン１００から出力されたコメントを、提供部１４へ出力する。
　検索部１３は、時系列データをクエリとして、過去の診断における記録を格納した知識ＤＢ２００から、機械の異常に関する知識情報を検索する。検索部１３は、検索手段の一例である。
　一例では、検索部１３は、取得部１１から、時系列データを受信する。検索部１３は、時系列データを、分析エンジン１００（図２）へ入力する。検索部１３は、分析エンジン１００によって時系列データから抽出された特徴量のデータを取得する。そして、検索部１３は、知識ＤＢ２００（図３）から、時系列データの特徴量と類似する特徴量と紐づけられた知識情報を検索する。検索部１３は、検索の結果として得た知識情報を、提供部１４へ出力する。
　提供部１４は、予測の結果および知識情報を提供する。提供部１４は、提供手段の一例である。
　一例では、提供部１４は、予測部１２から、予測の結果（およびコメント）を受信する。また、提供部１４は、検索部１３から、検索の結果として得た知識情報を受信する。提供部１４は、予測の結果および知識情報を、図示しない後段の処理部へ出力する。あるいは、提供部１４は、モバイルネットワークなどの任意の無線ネットワークを介して、予測の結果および知識情報を、自動車の設備（例えばカーナビゲーション装置、又はディスプレイデバイス）、またはユーザデバイス（例えばスマートフォン）へ送信する。
　知識情報がビデオである場合、提供部１４は、カーナビゲーション装置またはスマートフォンの画面に、知識情報を表示してもよい。あるいは、知識情報が音声データである場合、提供部１４は、自動車またはユーザデバイスが具備するスピーカから、知識情報を音声出力してもよい。
　（機械診断装置１０の動作）
　図６を参照して、本実施形態１に係わる機械診断装置１０の動作を説明する。図６は、機械診断装置１０の各部が実行する処理の流れを示すフローチャートである。
　まず、ユーザ（ドライバー）が、オンデマンド診断を開始するために、自動車にあらかじめ設置された診断ボタンをＯＮする。診断ボタンが押下されたことが、診断ボタンから機械診断装置１０へ通知される。診断ボタンは、車載デバイスであってもよい。
　あるいは、ユーザは、診断ボタンを押下する代わりに、マイクロフォンへ音声入力してもよいし、スマートフォンアプリケーションを利用してもよい。さらに、ユーザが、診断ボタンをＯＮした後、音声ＡＩ（Artificial Intelligence）またはチャットボットが、ユーザに簡単な問診を行ってもよい。その後、機械診断装置１０は、以下で説明するように、遠隔での診断を開始する。
　図６に示すように、取得部１１は、機械の設備から得られる時系列データを取得する（Ｓ１０１）。
　次に、予測部１２は、時系列データに基づいて、機械の状態を予測する（Ｓ１０２）。
　検索部１３は、時系列データをクエリとして、過去の診断における記録を格納した知識ＤＢ２００から、機械の状態と関連する知識情報を検索する（Ｓ１０３）。
　提供部１４は、予測の結果および知識情報を、自動車の設備、またはユーザデバイスへ送信することにより、予測の結果および知識情報をユーザに提供する（Ｓ１０４）。
　以上で、本実施形態１に係わる機械診断装置１０の動作は終了する。
　（本実施形態の効果）
　本実施形態の構成によれば、取得部１１は、機械の設備から得られる時系列データを取得する。予測部１２は、時系列データに基づいて、機械の状態を予測する。検索部１３は、時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、機械の状態と関連する知識情報を検索する。提供部１４は、予測の結果および知識情報を提供する。ユーザは、多量の質問に返答することなしに、予測の結果とともに、知識情報を得ることができる。例えば、ユーザは、知識情報として、機械の状態を確認するための対処を表したビデオを得る。ユーザは、ビデオ（知識情報）の内容を参考にして、機械が正常であるのかどうかを確認する。これにより、遠隔での機械の診断において、ユーザの負担を低減することができる。
　〔実施形態２〕
　図７～図８を参照して、実施形態２について説明する。本実施形態２では、診断システム１（図１）の知識ＤＢ２００（図３）を、どのようにして拡充してゆくのかについて説明する。
　（機械診断装置２０）
　図７は、本実施形態２に係わる機械診断装置２０の構成を示すブロック図である。図７に示すように、機械診断装置２０は、取得部１１、予測部１２、検索部１３、および提供部１４を備えている。また、機械診断装置２０は、記録部２５をさらに備えている。
　記録部２５は、分析エンジンにより時系列データから抽出された特徴量またはそのハッシュ値のデータを、補助情報に紐づけて、知識データベースに保存する。記録部２５は、記録手段の一例である。記録部２５は、取得部１１から、時系列データおよび補助情報を受信する。記録部２５は、受信した時系列データを、分析エンジン１００（図２）へ入力する。記録部２５は、分析エンジン１００が時系列データから抽出した特徴量のデータを取得する。記録部２５は、時系列データに付帯する補助情報に、時系列データの特徴量のデータを紐づける。そして、記録部２５は、特徴量のデータおよび補助情報を、知識ＤＢ２００に保存する。
　（機械診断装置２０の動作）
　図８を参照して、本実施形態２に係わる機械診断装置２０の動作を説明する。図８は、機械診断装置２０の各部が実行する処理の流れを示すフローチャートである。
　前記実施形態１と同様に、ユーザ（ドライバー）が、オンデマンド診断を開始するために、自動車にあらかじめ設置された診断ボタンをＯＮする。その後、機械診断装置２０は、以下で説明するように、遠隔での診断を開始する。
　図８に示すように、取得部１１は、機械の設備から得られる時系列データ、及び時系列データに付帯する補助情報を取得する（Ｓ２０１）。例えば、補助情報は、スマートフォンなどのユーザデバイスが生成したコンテンツデータを含む。他の例では、補助情報は、ユーザの知覚を記述したテキストデータを含む。
　次に、予測部１２は、時系列データに基づいて、機械の状態を予測する（Ｓ２０２）。
　記録部２５は、時系列データの特徴量を紐づけた補助情報を、知識ＤＢ（図３）に保存する（Ｓ２０３）。なお、時系列データに対し、補助情報が付帯されていない場合、記録部２５は、ステップＳ２０３の処理をスキップする。
　検索部１３は、時系列データをクエリとして、過去の診断における記録を格納した知識ＤＢ２００から、機械の状態と関連する知識情報を検索する（Ｓ２０４）。
　提供部１４は、予測の結果および知識情報を、自動車の設備、またはユーザデバイスへ送信することにより、予測の結果および知識情報をユーザに提供する（Ｓ２０５）。
　以上で、本実施形態２に係わる機械診断装置２０の動作は終了する。
　（本実施形態の効果）
　本実施形態の構成によれば、取得部１１は、機械の設備から得られる時系列データを取得する。予測部１２は、時系列データに基づいて、機械の状態を予測する。検索部１３は、時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、機械の状態と関連する知識情報を検索する。提供部１４は、予測の結果および知識情報を提供する。ユーザは、多量の質問に返答することなしに、予測の結果とともに、知識情報を得ることができる。例えば、ユーザは、知識情報として、機械の状態を確認するための対処を表したビデオを得る。ユーザは、ビデオ（知識情報）の内容を参考にして、機械が正常であるのかどうかを確認する。これにより、遠隔での機械の診断において、ユーザの負担を低減することができる。
　さらに、本実施形態の構成によれば、記録部２５は、分析エンジンにより時系列データから抽出された特徴量またはそのハッシュ値のデータを、補助情報に紐づけて、知識データベースに保存する。知識データベースに保存された補助情報は、将来の診断において、知識情報として参照される。このようにして、知識データベースを拡充することができる。
　（変形例）
　前記実施形態１～２の一変形例では、機械診断装置１０（２０）は、自動車を検査するために、ユーザ（ドライバー）に、ディーラー候補を紹介する。
　図９は、図１に示す診断システム１の一変形例（「診断システム１´」と呼ぶ）を概略的に示す。
　図９に示すように、本変形例に係わる診断システム１´の機械診断装置１０（２０）は、診断結果を提供したのち、ユーザから、診断結果の該否を表すリアクションを受信する。一例では、機械診断装置１０（２０）は、カーナビゲーション装置、またはスマートフォンから、診断結果の該否を表す情報を含むリアクションを受信する。
　機械診断装置１０（２０）は、リアクションの内容に応じて、異なる応答をする。
　具体的には、機械診断装置１０（２０）は、（１）自動車に異常があるという診断結果があり、かつ、診断結果に該当するというリアクションを受信した場合、通常のリストに掲載されたディーラー候補の情報を、ユーザに提供をする。
　一方、機械診断装置１０（２０）は、（２）自動車に異常があるという診断結果があり、かつ、診断結果に該当しないというリアクションを受信した場合、高難易度の検査が可能なハイレベルディーラ候補の情報を、ユーザに提供をする。
　また一方、機械診断装置１０（２０）は、（３）自動車に異常がないという診断結果があり、かつ、診断結果に該当するというリアクションを受信した場合、ユーザにディーラー候補の情報を提供しない。その代わりに、機械診断装置１０（２０）は、オンデマンド診断モードから、常時診断モードに遷移する。常時診断モードでは、機械診断装置１０（２０）は、ユーザからオンデマンド診断の要望（すなわち診断ボタンＯＮ）を受けることなしに、定期的に、または所定のタイミングで、自動車の診断を実行する。
　（１）または（２）のケースでは、ユーザは、ディーラーへ自動車を持ち込む。
　ディーラーは、自動車の検査を行い、もし必要であれば、自動車を修理する。ディーラーは、自動車の検査に関する所見、症状、対処などの情報を含む検査記録を、管理システムまたは機械診断装置１０（２０）へ送信する。ディーラーから送信された検査記録は、時系列データの特徴量のデータまたはそのハッシュ値（インデックス）と紐づけられて、知識ＤＢ２００（図３）に保存される。
　あるいは、機械診断装置１０（２０）は、検査記録から、コメントを生成してもよい。コメントは、時系列データが暗示する機械の状態を表すテキストデータである。例えば、機械診断装置１０（２０）は、検査記録から、症状および対処に関する記載を抽出して、症状および対処に関するコメントを生成する。そして、機械診断装置１０（２０）は、生成したコメント（テキストデータ）を、時系列データと紐づけて、データ辞書３００（図４）に保存する。データ辞書３００に保存されたコメントは、分析エンジン１００の学習（図１１）に利用することができる。
（補足：分析エンジン１００の学習）
　図１０および図１１を参照して、診断システム１（図１）あるいは診断システム１´（図９）が備えた分析エンジン１００の学習について説明する。分析エンジン１００の学習には、時系列データと、時系列データが暗示する機械の状態を表すコメントが必要である。
　図１０は、コメントを付加された時系列データの一例を示す図である。ここでは、時系列データが、４つのセンサＡ～Ｄから得られた４つのセンサデータであることを想定している。図１０に示す一例では、互いに異なる時刻における時系列データから切り出された所定の時間幅の４つのセグメントデータに対し、それぞれ、異なるコメントが付加されている。例えば、左端のセグメントデータには、「通常＋作動」というコメントが付加されている。これは、４つのセンサＡ～Ｄはいずれも通常通り作動していることを、時系列データが暗示していることを示す。
　図１１は、分析エンジン１００の学習の流れを示す説明図である。図１１に示すように、相互に関連する時系列データおよびコメント（テキストデータ）が複数準備される。なお、相互に関連する時系列データとコメントは１対１の組に限定されない。1または複数の時系列データと、１または複数のコメントとが紐づけられて（関連付けられて）いてもよい。まず、分析エンジン１００へ時系列データが入力される。分析エンジン１００は、入力された時系列データの特徴量を出力する。次に、先に入力された時系列データと関連するコメントが分析エンジン１００へ入力される。
　分析エンジン１００は、入力されたコメントの特徴量を出力する。このようにして、相互に関連する時系列データの特徴量とコメントの特徴量が得られる。オペレータは、時系列データの特徴量とコメントの特徴量を近づけるように、分析エンジン１００を学習させる。例えば、オペレータは、時系列データの特徴量とコメントの特徴量との類似度を最大化するように、分析エンジン１００を学習させる。
　相互に関連する時系列データおよびコメントについて、以上の手順を繰り返すことにより、分析エンジン１００の学習は完了する。図２を参照して説明したように、学習を完了した分析エンジン１００は、クエリとして時系列データを入力されると、検索結果として、コメントを返すことができる。
　〔ハードウェア構成〕
　前記実施形態１～２で説明した機械診断装置１０，２０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図１２に示すような情報処理装置９００により実現される。図１２は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。
　図１２に示すように、情報処理装置９００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　前記実施形態１～２で説明した機械診断装置１０，２０の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　上記の構成によれば、前記実施形態１～２において説明した機械診断装置１０，２０が、ハードウェアとして実現される。したがって、前記実施形態１～２において説明した効果と同様の効果を奏することができる。
　〔付記〕
　本発明の一態様は、以下の付記のようにも記載されるが、以下に限定されない。
　　（付記１）
　機械の設備から得られる時系列データを取得する取得手段と、
　前記時系列データに基づいて、前記機械の状態を予測する予測手段と、
　前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索する検索手段と、
　前記予測の結果および前記知識情報を提供する提供手段と
　を備えた機械診断装置。
　　（付記２）
　前記予測手段は、正常な時系列データの特徴量と異常な時系列データの特徴量とを機械学習した分析エンジンへ、クエリとして前記時系列データを入力して、検索結果として前記予測の結果を受信する
　ことを特徴とする付記１に記載の機械診断装置。
　　（付記３）
　前記取得手段は、前記時系列データとともに、前記時系列データに付帯する補助情報を取得する
　ことを特徴とする付記１または２に記載の機械診断装置。
　　（付記４）
　前記補助情報は、ユーザデバイスが生成したコンテンツデータを含む
　ことを特徴とする付記３に記載の機械診断装置。
　　（付記５）
　前記補助情報は、ユーザの知覚を記述したテキストデータを含む
　ことを特徴とする付記３または４に記載の機械診断装置。
　　（付記６）
　前記時系列データから抽出された特徴量またはそのハッシュ値のデータを、前記補助情報に紐づけて、前記知識データベースに保存する記録手段をさらに備えた
　ことを特徴とする付記３から５のいずれか１項に記載の機械診断装置。
　　（付記７）
　前記予測の結果は、前記機械の状態に関するコメントを含む
　ことを特徴とする付記１から６のいずれか１項に記載の機械診断装置。
　　（付記８）
　前記提供手段は、第三者のプラットフォームを介して、前記知識情報を提供する
　ことを特徴とする付記１から７のいずれか１項に記載の機械診断装置。
　　（付記９）
　機械の設備から得られる時系列データを取得し、
　前記時系列データに基づいて、前記機械の状態を予測し、
　前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索し、
　前記予測の結果および前記知識情報を提供する
　機械診断方法。
　　（付記１０）
　機械の設備から得られる時系列データを取得することと、
　前記時系列データに基づいて、前記機械の状態を予測することと、
　前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索することと、
　前記予測の結果および前記知識情報を提供することと
　をコンピュータに実行させるプログラムを格納した、一時的でない記録媒体。
　本発明は、例えば、自動車、船舶、農業機械、工業機械、無人航空機、または自家用飛行機などの機械を、遠隔で診断する機械診断装置に利用することができる。
　　　１　診断システム
　　１´　診断システム
　　１０　機械診断装置
　　１１　取得部
　　１２　予測部
　　１３　検索部
　　１４　提供部
　　２０　機械診断装置
　　２５　記録部
　１００　分析エンジン
　２００　知識ＤＢ（データベース）

Claims (10)

  1. 　機械の設備から得られる時系列データを取得する取得手段と、
    　前記時系列データに基づいて、前記機械の状態を予測する予測手段と、
    　前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索する検索手段と、
    　前記予測の結果および前記知識情報を提供する提供手段と
    　を備えた機械診断装置。
  2. 　前記予測手段は、正常な時系列データの特徴量と異常な時系列データの特徴量とを機械学習した分析エンジンへ、クエリとして前記時系列データを入力して、検索結果として前記予測の結果を受信する
    　ことを特徴とする請求項１に記載の機械診断装置。
  3. 　前記取得手段は、前記時系列データとともに、前記時系列データに付帯する補助情報を取得する
    　ことを特徴とする請求項１または２に記載の機械診断装置。
  4. 　前記補助情報は、ユーザデバイスが生成したコンテンツデータを含む
    　ことを特徴とする請求項３に記載の機械診断装置。
  5. 　前記補助情報は、ユーザの知覚を記述したテキストデータを含む
    　ことを特徴とする請求項３または４に記載の機械診断装置。
  6. 　前記時系列データから抽出された特徴量またはそのハッシュ値のデータを、前記補助情報に紐づけて、前記知識データベースに保存する記録手段をさらに備えた
    　ことを特徴とする請求項３から５のいずれか１項に記載の機械診断装置。
  7. 　前記予測の結果は、前記機械の状態に関するコメントを含む
    　ことを特徴とする請求項１から６のいずれか１項に記載の機械診断装置。
  8. 　前記提供手段は、第三者のプラットフォームを介して、前記知識情報を提供する
    　ことを特徴とする請求項１から７のいずれか１項に記載の機械診断装置。
  9. 　機械の設備から得られる時系列データを取得し、
    　前記時系列データに基づいて、前記機械の状態を予測し、
    　前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索し、
    　前記予測の結果および前記知識情報を提供する
    　機械診断方法。
  10. 　機械の設備から得られる時系列データを取得することと、
    　前記時系列データに基づいて、前記機械の状態を予測することと、
    　前記時系列データをクエリとして、過去の診断における記録を格納した知識データベースから、前記機械の状態と関連する知識情報を検索することと、
    　前記予測の結果および前記知識情報を提供することと
    　をコンピュータに実行させるプログラムを格納した、一時的でない記録媒体。
PCT/JP2021/014402 2021-04-02 2021-04-02 機械診断装置、機械診断方法、および記録媒体 WO2022208894A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2021/014402 WO2022208894A1 (ja) 2021-04-02 2021-04-02 機械診断装置、機械診断方法、および記録媒体
JP2023510159A JPWO2022208894A5 (ja) 2021-04-02 機械診断装置、機械診断方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/014402 WO2022208894A1 (ja) 2021-04-02 2021-04-02 機械診断装置、機械診断方法、および記録媒体

Publications (1)

Publication Number Publication Date
WO2022208894A1 true WO2022208894A1 (ja) 2022-10-06

Family

ID=83457570

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014402 WO2022208894A1 (ja) 2021-04-02 2021-04-02 機械診断装置、機械診断方法、および記録媒体

Country Status (1)

Country Link
WO (1) WO2022208894A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248070A (ja) * 2006-03-13 2007-09-27 Nissan Motor Co Ltd 車両走行試験装置
JP2008216113A (ja) * 2007-03-06 2008-09-18 Toyota Infotechnology Center Co Ltd 不具合情報集約システムおよび車両
JP2015176285A (ja) * 2014-03-14 2015-10-05 株式会社デンソー 故障情報提示システム
WO2020110446A1 (ja) * 2018-11-27 2020-06-04 住友電気工業株式会社 車両故障予測システム、監視装置、車両故障予測方法および車両故障予測プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007248070A (ja) * 2006-03-13 2007-09-27 Nissan Motor Co Ltd 車両走行試験装置
JP2008216113A (ja) * 2007-03-06 2008-09-18 Toyota Infotechnology Center Co Ltd 不具合情報集約システムおよび車両
JP2015176285A (ja) * 2014-03-14 2015-10-05 株式会社デンソー 故障情報提示システム
WO2020110446A1 (ja) * 2018-11-27 2020-06-04 住友電気工業株式会社 車両故障予測システム、監視装置、車両故障予測方法および車両故障予測プログラム

Also Published As

Publication number Publication date
JPWO2022208894A1 (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
CN108563214B (zh) 车辆诊断方法、装置及设备
US20230186697A1 (en) Systems and methods for in-vehicle predictive failure detection
US7987028B2 (en) Method and apparatus for reading and erasing diagnostic trouble codes from a vehicle
US10332319B2 (en) Methods and systems for updating diagnostic and repair information
EP3267400B1 (en) Vehicle-diagnostic client-server system
USRE45815E1 (en) Method for simplified real-time diagnoses using adaptive modeling
JP2009265104A (ja) 診断データマイニング
WO2014001799A1 (en) Vehicle diagnostic system and method
WO2014174791A1 (ja) 車両修理支援システム、サーバ及びコンピュータプログラム
WO2022020453A1 (en) Mobile vehicle inspection system
Gültekin et al. A novel deep learning approach for intelligent fault diagnosis applications based on time-frequency images
CN112254983A (zh) 一种车辆检测方法、装置、设备及存储介质
CN105468667A (zh) 用于车辆的诊断方法和调查方法
US20220108569A1 (en) Automated detection of vehicle data manipulation and mechanical failure
WO2022208894A1 (ja) 機械診断装置、機械診断方法、および記録媒体
US20110125364A1 (en) Method and system for diagnosing a malfunction of an automobile
CN113885476B (zh) 一种车辆诊断方法及相关装置
JPH0715427B2 (ja) 自動車用故障診断装置
US20230239639A1 (en) Abnormal sound diagnosis system
US20240104977A1 (en) Abnormal sound diagnostic system
JPH05172702A (ja) 自動車用故障診断装置
US20240029479A1 (en) Abnormal sound diagnosis system
Rizzoni et al. A survey of automotive diagnostic equipment and procedures
CN114896168B (en) Quick debugging system, method and memory for automatic driving algorithm development
CN117972508A (zh) 故障诊断方法、装置、终端设备以及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21935054

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18283942

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023510159

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21935054

Country of ref document: EP

Kind code of ref document: A1