WO2020026871A1 - 情報提供システム及び情報提供方法 - Google Patents

情報提供システム及び情報提供方法 Download PDF

Info

Publication number
WO2020026871A1
WO2020026871A1 PCT/JP2019/028626 JP2019028626W WO2020026871A1 WO 2020026871 A1 WO2020026871 A1 WO 2020026871A1 JP 2019028626 W JP2019028626 W JP 2019028626W WO 2020026871 A1 WO2020026871 A1 WO 2020026871A1
Authority
WO
WIPO (PCT)
Prior art keywords
scene
information
content
list
user terminal
Prior art date
Application number
PCT/JP2019/028626
Other languages
English (en)
French (fr)
Inventor
黒田 聡
Original Assignee
株式会社 情報システムエンジニアリング
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 情報システムエンジニアリング filed Critical 株式会社 情報システムエンジニアリング
Priority to US16/604,079 priority Critical patent/US11341714B2/en
Priority to CN201980003667.8A priority patent/CN110972519B/zh
Priority to DE112019000045.4T priority patent/DE112019000045T5/de
Publication of WO2020026871A1 publication Critical patent/WO2020026871A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9035Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand

Definitions

  • the present invention relates to an information providing system and an information providing method for narrowing down a plurality of contents to be output to a user terminal based on video information acquired from the user terminal.
  • an image of a crop entering the field of view of the wearable terminal is taken by a camera, the image is analyzed, a type of the crop is specified, and a determination criterion according to the type of the crop is selected. Based on the criterion, the image is analyzed to determine the color and size, the crop harvest time is predicted, and the predicted harvest time is displayed on the display panel of the wearable terminal as augmented reality.
  • Patent Document 2 As a method of determining a work target based on a rule of a work manual or the like on a display board of a wearable terminal of a worker and displaying work support information as augmented reality, a work support system of Patent Document 2 has been proposed. I have.
  • a rule describing a determination condition of a work target or a work situation is generated by associating a manual element describing a work procedure, contents, points to be considered, or other matters, and a model case is evaluated as highest. Learning is performed by optimizing the rules so as to satisfy, and the work target and the work situation are recognized based on the sensor information acquired by the sensor, and the work support information is output based on the generated rules and the recognition result of the recognition unit.
  • the equipment is configured by combining the time of installation on the line and a plurality of equipments and modules. For this reason, it is necessary to confirm the movable state of the peripheral devices, the component configuration, and the like to specify the abnormal location.
  • Patent Document 1 a prediction result is displayed based on the result determined from the appearance shape and the like of the crop. Therefore, it is difficult to sequentially narrow down and provide information to be provided according to various field environments, installation situations, device configurations, and the like.
  • a learning model based on a manual rule is only generated to support work. Therefore, if there is a change in the actual configuration of the field or the device, and the content or procedure is different from the content or procedure described in the manual used for the learning, it is not possible to make a flexible response or judgment in the field. In order to newly correspond, a learning model is generated each time, and it takes time and cost. For this reason, it is difficult to efficiently provide information and update target information suitable for actual fields and operations.
  • the present invention has been devised in view of the above-described problems, and has as its object the ability to narrow down the state according to the status of the field and to utilize the existing information assets as they are It is an object of the present invention to provide an information providing system which can provide the most suitable thing to the site.
  • An information providing system is an information providing system for narrowing down a plurality of contents to be output to a user terminal based on video information acquired from a user terminal.
  • 1 acquiring means, past first video information acquired in advance, scene information including a scene ID associated with the past first video information, and the information between the past first video information and the scene information.
  • a first evaluation in which a scene model database in which three or more levels of scene association are stored, and a scene ID list including the first scene association between the first video information and the scene information with reference to the scene model database Means, a first generation means for generating a scene name list corresponding to the scene ID list, and second video information and a scene name list from the user terminal.
  • a second acquisition unit that acquires target information that is a set of a first scene ID corresponding to the selected scene name; and a past that is a set of previously acquired second video information and a scene ID.
  • a content model database in which a reference ID corresponding to the content and three or more levels of content association between the past target information and the reference ID are stored.
  • a second evaluation means for referring to the model database to obtain a reference ID list including the first content association degree between the target information and the reference ID, and a second generation for generating a reference summary list corresponding to the reference ID list Means, third acquisition means for acquiring the first reference ID selected from the reference summary list via the user terminal, and correspondence to the acquired first reference ID.
  • an outputting means for outputting the content.
  • the information providing system is the information processing system according to the first invention, further comprising a scene ID generation unit, wherein the scene ID generation unit obtains the previously acquired first video information and a scene name corresponding to the past first video information.
  • a scene ID generating means for generating a scene ID having a smaller amount of information than the scene name for each obtained scene name, and machine learning using the scene information and the past first video information
  • a first learning means for generating a scene model database.
  • An information providing system further includes a content ID generation unit, wherein the content ID generation unit adds the past second video information and the past second video information acquired in advance.
  • a content acquisition unit for acquiring a corresponding content
  • a content ID generation unit for generating a content ID having an information amount smaller than the content for each acquired content
  • machine learning using reference information and past target information It has a second learning means for generating a content model database.
  • the information providing system according to the fourth invention is characterized in that, in the third invention, the content ID is associated with a plurality of pieces of meta information.
  • An information providing system is the information providing system according to any one of the first invention to the fourth invention, wherein the user terminal receives the scene ID list acquired by the first evaluation means, and a result of the reception of the scene ID list.
  • Determining means for determining whether or not the scene ID included in the received scene ID list exists in the cache area of the user terminal according to the above. If the scene ID does not exist in the cache area of the user terminal according to the determination result, In addition, an inquiry means for inquiring the content information database holding the content is further provided.
  • the information providing system is the information providing system according to any one of the first to fifth aspects, wherein the user terminal includes: a receiving unit that receives the reference ID list acquired by the second acquiring unit; Determining means for determining whether or not the reference ID included in the received reference ID list exists in the cache area of the user terminal according to the result; and determining whether the reference ID does not exist in the cache area of the user terminal according to the determination result. Is further provided with an inquiry means for inquiring a content information database holding the content.
  • An information providing system is the information providing system according to any one of the first to sixth aspects, wherein the user terminal is mounted on a head or glasses and generated based on the first video information acquired from the user terminal. And a display unit for displaying in a transparent state.
  • An information providing system is the information providing system according to any one of the first to seventh aspects, wherein the content includes at least any of text, illustration, moving image, part or all of information. I do.
  • An information providing method is an information providing method for narrowing down a plurality of contents to be output to a user terminal based on video information acquired from a user terminal, wherein the first video information is acquired from the user terminal.
  • One process past first video information acquired in advance, scene information including a scene ID associated with the past first video information, and three stages between the past first video information and the scene information
  • Generating a scene name list corresponding to the scene ID list, the second video information from the user terminal, and the scene name selected from the scene name list A fifth step of acquiring the target information with the corresponding first scene ID as a set, and the past target information and the target information with the previously acquired second video information and the scene ID as a set.
  • the apparatus includes the first evaluation unit and the first generation unit. Therefore, a scene ID list can be acquired based on the acquired first video information with reference to the scene model database, and a scene name list corresponding to the scene ID list can be generated. Further, a second evaluation unit and a second generation unit are provided. Therefore, the reference ID list can be acquired based on the acquired target information with reference to the content model database, and the reference summary list can be generated. As a result, it is possible to appropriately narrow down the scene and the content to be output according to the state of the field, the progress of the work of the worker, and the state of the device.
  • a scene model database is provided. For this reason, it is possible to acquire a scene ID list based on the degree of scene association between the previously acquired first video information and scene information. Furthermore, it has a content model database. For this reason, it is possible to acquire the reference ID list based on the degree of content association between the previously acquired past target information and the reference ID.
  • the scene model database and the content model database are managed via a common ID. Therefore, when updating one database (scene model database), it is not necessary to update the other database (content model database). Therefore, the generation time and update time for machine learning can be greatly reduced. Furthermore, the state can be narrowed down according to the status of the field, and existing information assets can be used as they are. Among existing information assets, it is possible to provide the most suitable one for the site.
  • the information processing apparatus further includes a second acquisition unit, a third acquisition unit, and an output unit. Therefore, the generated reference summary list can be transmitted to the user terminal, the reference ID selected via the user terminal can be acquired, and the corresponding content can be output based on the acquired reference ID. Thus, it is possible to efficiently obtain and provide appropriate information.
  • a scene ID generation unit has a scene name acquisition unit, a scene ID generation unit, and a first learning unit. For this reason, a scene ID having an information amount smaller than the scene name is generated for each acquired scene name. As a result, it is possible to save the communication amount required for the exchange, and it is possible to provide a quick response. Furthermore, when updating one database, it is only necessary to correct the target ID, so there is no need to update the other database.
  • the content ID generation unit has a content acquisition unit, a content ID generation unit, and a second learning unit. For this reason, a second content ID having an information amount smaller than the content information is generated from the acquired content information. As a result, it is possible to save the communication amount required for the exchange, and it is possible to provide a quick response. Furthermore, when updating one database, it is only necessary to correct the target ID, so there is no need to update the other database.
  • the content information includes meta information. For this reason, more detailed attributes can be added to the content information. As a result, accurate assignment and provision of content can be achieved, and appropriate acquisition and provision of information can be efficiently performed.
  • the user terminal includes the receiving unit, the determining unit, and the inquiry unit. Therefore, it is possible to determine whether or not a scene ID included in the received scene ID list exists in the cache area. For this reason, only when the corresponding scene ID does not exist in the own terminal, it is obtained from another scene model database. As a result, it is possible to narrow down the state according to the state of the field, and it is possible to efficiently obtain and provide appropriate information.
  • the user terminal includes the receiving unit, the determining unit, and the inquiry unit. Therefore, it is possible to determine whether or not the reference ID included in the received reference ID list exists in the cache area. For this reason, only when the corresponding reference ID does not exist in the terminal itself, it is obtained from another content model database. As a result, it is possible to narrow down the state according to the state of the field, and it is possible to efficiently obtain and provide appropriate information.
  • the user terminal includes the display unit that is mounted on the head or the glasses and that displays information generated based on the first video information acquired from the user terminal in a transparent state. Therefore, hands-free operation can be performed by operating the field. This makes it possible to efficiently obtain and provide appropriate information.
  • the reference information includes at least part or all of text, illustration, moving image, and audio. For this reason, various contents can be provided. This makes it possible to efficiently obtain and provide appropriate information.
  • FIG. 1 is a block diagram illustrating an example of a configuration of an information providing system according to the present embodiment.
  • FIG. 2 is a schematic diagram illustrating an example of a scene model database according to the present embodiment.
  • FIG. 3 is a schematic diagram illustrating an example of the content model database according to the present embodiment.
  • FIG. 4A is a schematic diagram illustrating an example of a configuration of a user device of the information providing system according to the present embodiment.
  • FIG. 4B illustrates an example of a function of a management server of the information providing system according to the present embodiment.
  • FIG. FIG. 5A is a schematic diagram illustrating an example of a configuration of a scene model table according to the present embodiment.
  • FIG. 5B is a schematic diagram showing an example of the configuration of a scene content model table (for 0FE).
  • FIG. 6A is a schematic diagram illustrating an example of a scene table according to the present embodiment.
  • FIG. 6B is a schematic diagram illustrating an example of a content table according to the present embodiment.
  • FIG. 7A is a schematic diagram illustrating an example of the configuration of the name cache table according to the present embodiment
  • FIG. 7B is a schematic diagram illustrating an example of the configuration of the summary cache table according to the present embodiment.
  • FIG. 8A is a schematic diagram illustrating an example of a configuration of a meta table according to the present embodiment.
  • FIG. 8B is a schematic diagram illustrating an example of a configuration of a meta category master table according to the present embodiment.
  • FIG. 8C is a schematic diagram illustrating an example of the configuration of the meta master table according to the present embodiment.
  • FIG. 9 is a flowchart illustrating an example of the operation of the information providing system according to the present embodiment.
  • FIG. 10A is a flowchart illustrating an example of the operation of the scene ID generation unit according to the present embodiment.
  • FIG. 10B is a flowchart illustrating an example of the operation of the content ID generation unit according to the present embodiment.
  • FIG. 11 is a flowchart illustrating an example of the operation of checking the cache area in the user terminal according to the present embodiment.
  • FIG. 12A is a schematic diagram illustrating an example of a first acquisition unit according to the present embodiment.
  • FIG. 12B is a schematic diagram illustrating an example of a second acquisition unit according to the present embodiment.
  • FIG. 12C is a schematic diagram illustrating an example of the third acquisition unit according to the present embodiment.
  • FIG. 12D is a schematic diagram illustrating an example of an output unit according to the present
  • FIG. 1 is a schematic diagram showing an example of an information providing system 1 to which the invention according to the present embodiment is applied.
  • FIG. 1 is a block diagram illustrating an overall configuration of an information providing system 1 according to the present embodiment.
  • the information providing system 1 includes a management server 2, a scene model database 3, a content model database 4, and a content information database 5.
  • the management server 2 is connected, for example, via a public communication network 6 to a user terminal 7 provided to a worker in the field (site).
  • the management server 2 is used to perform, for example, maintenance, maintenance, repair, and the like of devices and the like installed in the field.
  • the management server 2 acquires, for example, video information of a device or the like acquired from the user terminal 7 in the field.
  • the management server 2 refers to the scene model database 3 and the content model database 4 to acquire each data, evaluate the data, and output information.
  • the scene model database 3 includes previously acquired past first video information, scene information including a scene ID associated with the past first video information, and the past first video information and the scene information. 3 or more levels of scene association between the two.
  • the content model database 4 includes past target information in which the past second video information acquired in advance and the scene ID are a set, a reference ID associated with the past target information, And three or more levels of content association between the past target information and the reference ID are stored. For example, the result constructed based on the target information and the reference ID (content ID) is stored in the content model database.
  • the content information database 5 records, for example, content.
  • the content may be, for example, a document introduction video, a solution manual video, or the like, in addition to document-related materials such as a device manual, an instruction manual, a catalog, a report, and a report.
  • the content is registered by, for example, an administrator of each content.
  • the registered content may be, for example, a file such as a voice or a file such as a translated voice such as a foreign language corresponding to Japanese. For example, if a speech language of a certain country is registered, a corresponding translated speech file of a foreign language may be stored.
  • the registration and update of these contents may be performed via the public communication network 6 (network) by, for example, operating a terminal by an administrator of each manufacturer or a person in charge of manual creation. Further, for example, a company that performs management and the like performed by an administrator or a person in charge of creating a manual may be performed collectively.
  • the public communication network 6 is an Internet network or the like to which the information providing system 1 and the management server 2 are connected via a communication circuit.
  • the public communication network 6 may be constituted by a so-called optical fiber communication network.
  • the public communication network 6 is not limited to a wired communication network, and may be realized by a wireless communication network.
  • the user terminal 7 is integrally or partially attached to the head or glasses of the worker, and includes a display unit that displays information generated based on the first video information acquired from the user terminal 7 in a transparent state.
  • the user terminal 7 may be, for example, a holo lens (registered trademark), which is one type of HMD (head mounted display).
  • HMD head mounted display
  • the operator can see through the work area and the device to be evaluated through the display unit such as a head-mounted display or a holographic lens that shows and displays the display information of the user terminal 7.
  • the worker can check the scene name list, the reference summary list, and the content generated based on the acquired first video information while looking at the situation at hand.
  • the user terminal 7 receives the scene ID list acquired by the first evaluation unit or the reference ID list acquired by the second acquisition unit, and determines whether the target ID exists in the cache area of the user terminal 7. And a query unit for querying the corresponding content information database 5 when it does not exist in the cache area of the user terminal 7.
  • FIG. 2 is a schematic diagram illustrating an example of the scene model database 3 in the present embodiment.
  • the scene model database 3 includes previously acquired past first video information, scene information including a scene ID associated with the past first video information, and information between the past first video information and the scene information. Are stored in three or more stages.
  • the first image information is, for example, an image photographed by a camera or the like of the user terminal 7 provided to a field worker.
  • the first video information may be, for example, any of a still image and a moving image, and may be automatically captured by an operator by shooting or by setting of the user terminal 7. Further, the information may be read into video information recorded in a memory or the like of the user terminal 7 or acquired via the public communication network 6.
  • the scene model database 3 is constructed based on the evaluation results of the first video information, the past first video information, and the scene ID obtained by the machine learning, and stores, for example, each relationship as a degree of scene association. For example, “01” of the past first video information has a 70% association with the scene ID “A”, 50% with the scene ID “D”, 10% with the scene ID “C”, and the like.
  • the first video information acquired from the user terminal 7 is configured by machine learning to construct an evaluation result such as similarity to the previously acquired first video information. For example, by performing deep learning, it is possible to deal with similar information that is not the same.
  • the scene model database 3 indicates previously acquired past first video information, scene information including a scene ID associated with the past first video information, and a degree between the past first video information and the scene information.
  • the first scene association degree of three or more stages is stored.
  • the first evaluation means refers to the scene model database 3 and selects past first video information that matches, partially matches, or is similar to the past first video information, and selects the past first video information as the selected past first video information. Selecting the scene information including the linked scene ID, calculating the first scene association based on the association between the selected past first video information and the scene information, and calculating the calculated first scene
  • a scene ID including the degree of association is acquired, and a list of scene names selected based on the scene ID list is displayed on the user terminal 7.
  • the scene model database 3 stores a scene ID list.
  • the scene ID list is obtained by a first evaluation unit 202 described later.
  • the scene name list is, for example, a list in which a pair of past first video information and a scene ID is evaluated based on the degree of scene association calculated by machine learning.
  • the scene model database 3 stores the listed contents that are the evaluation results.
  • the contents listed are, for example, “scene ID @ A: 70%”, “scene ID @ D: 50%”, and the like, which are scene IDs indicating a high relationship between scenes.
  • the scene model database 3 stores a scene ID list and a scene name list.
  • the scene name list is generated by a first generation unit 203 described later.
  • the scene name corresponding to the scene ID is acquired from the scene ID list by the first evaluation unit 202, and the scene name list is stored.
  • the scene name list stored in the scene model database 3 is transmitted to the user terminal 7 in the subsequent processing.
  • the user refers to the scene name list received by the user terminal 7 and grasps the scene corresponding to the first video information.
  • the scene information corresponding to the first video information and the scene name corresponding to the scene ID do not exist in the scene model database 3 in order to update the scene model database or correct or add the registered data
  • a process of acquiring the first video information in another field of view, or a scene name list to which a scene name such as “no corresponding scene” is added may be generated and transmitted to the user terminal 7.
  • FIG. 3 is a schematic diagram illustrating an example of the content model database 4 in the present embodiment.
  • the content model database 4 includes past target information, which is a set of previously acquired second video information and a scene ID, a reference ID corresponding to the content linked to the past target information, and a past ID. 3 or more levels of content association between the target information and the reference ID.
  • the video information stored in the content model database 4 is photographed by the user terminal 7.
  • the first acquisition unit 201 acquires captured second video information as video information that is video information of a field.
  • the second video information is, for example, video captured by a camera or the like of the user terminal 7 provided to the field worker.
  • the second video information may be, for example, any of a still image and a moving image, similarly to the above-described first video information, and may be automatically captured by a worker or set by the user terminal 7. Good. Further, the information may be read into video information recorded in a memory or the like of the user terminal 7 or acquired via the public communication network 6.
  • the content model database 4 stores the first scene ID together with the second video information obtained from the user terminal 7.
  • the first scene ID is a scene name list stored in the scene model database 3, and is a scene ID corresponding to the scene name selected by the user.
  • the content model database 4 stores the first scene ID and the second video information as target information. When performing repetitive operations, the processing up to this point is repeatedly performed. Note that there may be a plurality of first scene IDs, in which case, a plurality of scene name lists have been selected by the user.
  • the content model database 4 includes, in advance, past second video information, past target information having a set of scene IDs as a set, reference IDs corresponding to the content linked to the past target information, and past target information.
  • a content association degree of three or more levels indicating a degree between the information and the reference ID is stored.
  • the second evaluation means refers to the content model database 4, selects past second video information and past second video information that matches, partially matches, or is similar to the target second video information and the target information, and selects the scene ID.
  • the second video information and the reference ID associated with the target information are selected, and the second correlation is calculated based on the correlation between the selected past second video information and the target information.
  • the reference ID including the second scene association degree is acquired, and the reference summary list selected based on the reference ID list is displayed on the user terminal 7.
  • the evaluation result of the target information and the reference ID having a high similarity is, for example, if the target information is “A ⁇ 01”, the reference ID “reference ID: A” has a 70% association degree, and the reference ID “reference “ID: D” indicates that it is 50%, and the reference ID “reference ID: C” indicates that it is 10%.
  • the target information acquired by the second acquisition unit is evaluated for, for example, similarity to the target information.
  • This processing may be performed by AI image processing or the like (not shown). By performing the AI image processing, remarkable processing can be performed in a shorter time than the conventional processing.
  • the content model database 4 stores the reference ID list.
  • the reference ID list is obtained by the second evaluation means. For example, a pair of the target information, the past second video information, and the reference information associated with the reference ID is evaluated based on the content association degree constructed by the machine learning. Based on the evaluation results, reference IDs of evaluation results having a high degree of association are listed.
  • the list of reference IDs is constructed as reference IDs having a high content association degree such as “reference ID: A $ 70%”, “reference ID: D $ 50%”, and stored in the content model database 4. You.
  • the content model database 4 stores the reference ID list obtained by the second evaluation unit and the reference summary list generated by the second generation unit.
  • the reference summary list is recorded in a content table, which will be described later, based on the reference ID determined from the reference ID list.
  • the second obtaining unit 204 obtains “summary” registered in the content table stored in the content model database 4.
  • the second evaluation means 205 acquires a reference ID list including the first content association degree with the reference ID.
  • the second generation unit 206 generates a reference summary list based on the obtained summary information.
  • the reference summary list generated by the second generation unit 206 is transmitted to the user terminal 7.
  • a scene ID prepared as an alternative correspondence at the time of correspondence may be newly associated, and the associated alternative content may be transmitted to the user terminal 7.
  • FIG. 4A is a schematic diagram of the management server 2 of the information providing system 1.
  • the management server 2 includes a housing 10, a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a storage unit 104, and an I / F 105. To 107. The components 101 to 107 are connected by an internal bus 110.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 101 controls the entire management server 2.
  • the ROM 102 stores the operation code of the CPU 101.
  • the RAM 103 is a work area used when the CPU 101 operates.
  • the storage unit 104 stores various information such as measurement information.
  • an SSD solid state drive
  • HDD Hard Disk Drive
  • the I / F 105 is an interface for transmitting and receiving various information to and from the user terminal 7 via the public communication network 6.
  • the I / F 106 is an interface for transmitting and receiving information to and from the input unit 108.
  • As the input unit 108 for example, a keyboard is used, and an administrator, an operator, a content administrator, or the like using the information providing system 1 inputs or controls various information or control commands of the management server 2 through the input unit 108. select.
  • the I / F 107 is an interface for transmitting and receiving various information to and from the output unit 109.
  • the output unit 109 outputs various information stored in the storage unit 104 or the processing status of the management server 2.
  • a display is used as the output unit 109, and may be, for example, a touch panel type. In this case, the output section 109 may include the input section 108.
  • FIG. 4B is a schematic diagram illustrating an example of a function of the management server 2.
  • the management server 2 includes a first acquisition unit 201, a first evaluation unit 202, a first generation unit 203, a second acquisition unit 204, a second evaluation unit 205, a second generation unit 206, and a third acquisition unit 207.
  • the management server 2 is connected to a scene model database 3, a content model database 4, and a content information database 5. Note that each function illustrated in FIG.
  • Each function may be controlled by artificial intelligence, for example.
  • artificial intelligence may be based on any known artificial intelligence technology.
  • the first obtaining unit 201 obtains first video information from the user terminal 7.
  • the first video information is a device, a part, or the like photographed by an operator, and is photographed by, for example, an HMD (head mounted display), a holographic lens, or the like.
  • the captured video may be transmitted to the management server 2 in real time. Further, the video being shot may be acquired as the first video information.
  • the first evaluation means 202 refers to the scene model database 3.
  • the scene model database 3 includes past first video information acquired in advance, scene information including a scene ID associated with the past first video information, and information between the past first video information and the scene information. Are stored in three or more stages.
  • the first evaluation unit 202 acquires a scene ID list including a first scene association degree between the first video information and the scene information.
  • the first generation unit 203 generates a scene name list corresponding to the scene ID list acquired by the first evaluation unit 202.
  • the generated scene ID list includes, for example, “scene ID”, “scene ID association”, and the like, and is a scene ID having a high association with the past first video information.
  • the scene ID is generated based on, for example, a scene model table shown in FIG. 5A and a scene content model table (0FE) shown in FIG. 5B.
  • a scene ID, a reference ID, learning model information, and the like are recorded in the scene model table, and a scene ID, a scene name, and the like are recorded in the scene table.
  • the first generation unit 203 generates a scene name list based on the information.
  • the second acquisition unit 204 acquires, from the user terminal 7, target information in which a set of the second video information and the first scene ID corresponding to the scene name selected from the scene name list.
  • the second evaluation means 205 refers to the content model database 4 and acquires a reference ID list including the first content association degree between the target information and the reference ID.
  • the acquired scene ID list includes, for example, “reference ID”, “content association degree”, and the like, and is a scene ID having a high association degree with the target information.
  • the second generation unit 206 generates a reference summary list that is evaluated by the second evaluation unit and that corresponds to the acquired reference ID list.
  • the reference summary list is generated based on summary information stored in a content table described later.
  • the third acquisition unit 207 acquires, via the user terminal 7, the first reference ID selected from the reference summary list.
  • the output unit 208 outputs the content corresponding to the acquired first reference ID.
  • the acquisition is performed from the content information database 5.
  • the output content is acquired, for example, from the content table shown in FIG.
  • the content table is stored in the content information database 5, for example.
  • a scene ID, a reference ID, a content, a summary, and a hash value are registered in association with each other.
  • One first reference ID is associated with a plurality of pieces of meta information.
  • meta information shown in FIG. 8 is assigned to the first reference ID.
  • the meta information is linked by, for example, a meta table, a meta category master table, and a meta master table.
  • the scene ID generation unit 209 includes a scene name acquisition unit, a scene ID generation unit, and a first learning unit.
  • the scene name acquiring means refers to the scene table stored in the scene model database 3 and acquires the previously acquired past first video information and the scene name corresponding to the past first video information.
  • the scene ID generation means determines, for example, the character length of the acquired scene name, and generates a scene ID of an information amount smaller than the scene name of the determined character length for each acquired scene name. As a result, the scene ID generated here has a smaller amount of information than the scene name.
  • the first learning unit generates a scene model database by machine learning using scene information including at least the generated scene ID and past first video information.
  • the content ID generation unit 210 has a content acquisition unit, a content ID generation unit, and a second learning unit.
  • the content acquisition unit refers to the content table stored in the content model database 4 and acquires the previously acquired past second video information and the content corresponding to the past second video information.
  • the content ID generation means determines, for example, the file name of the acquired content, the related information, or the character length of the body, and determines the content ID having an information amount smaller than the data capacity of the determined character length content for each acquired content. To be generated. Also, a content ID having an information amount smaller than the content is generated for each acquired content. As a result, the content ID generated here has a smaller amount of information than the content.
  • the second learning unit generates the content model database by machine learning using reference information including at least the generated content ID and past target information.
  • the receiving means is provided in the user terminal 7 and receives the scene ID list acquired by the first evaluating means. Further, the reference ID list acquired by the second acquisition unit is received.
  • the determining means is provided in the user terminal 7 and determines whether or not a scene ID included in the received scene ID list exists in the cache area of the user terminal according to a result of receiving the scene ID list. Also, according to the result of receiving the reference ID list, it is determined whether or not the reference ID included in the received reference ID list exists in the cache area of the user terminal, and the scene ID list or the reference ID is stored in the cache area. If a list exists, it is checked first.
  • the cache is, for example, a name cache table and a summary cache table shown in FIG.
  • a scene ID and a scene name are stored in association with each other.
  • reference IDs are stored in association with each other, and are referred to.
  • the inquiry means makes an inquiry to the content information database holding the content in the user terminal 7 according to the result of the determination by the determination means, if the content does not exist in the cache area of the user terminal.
  • FIG. 5A is a schematic diagram illustrating an example of a configuration of a scene model table.
  • FIG. 5B is a schematic diagram showing an example of the configuration of a scene content model table (for 0FE).
  • the scene model table shown in FIG. 5A is stored in the scene model database 3.
  • a scene ID for identifying each task performed in the field performed by the worker and a learning model corresponding to the scene ID are stored in association with each other.
  • a plurality of scene IDs exist, and a learning model of video information corresponding to each scene is stored in association with the scene ID.
  • the reference ID of each scene ID and the learning model are stored in association with each other.
  • the scene ID is “0FE”, and reference IDs corresponding to various scenes are separately stored.
  • FIG. 6A is a schematic diagram illustrating an example of a scene table.
  • the scene table shown in FIG. 6A is stored in the scene model database 3.
  • the scene table for example, an outline of video information of each operation performed in a field performed by an operator and a scene ID for identifying the outline operation are stored in association with each other.
  • FIG. 6B is a schematic diagram illustrating an example of the content table.
  • the content table shown in FIG. 6A is stored in the content model database 4.
  • a scene ID, a reference ID, a content, a summary of the content, and a hash value are stored in association with each other.
  • the content table stores a plurality of contents output to the user terminal 7 based on the video information acquired from the user terminal 7.
  • the reference ID may include a scene-undesignated content. In this case, "NULL" is stored in the scene ID.
  • FIG. 7A is a schematic diagram illustrating an example of a configuration of a name cache table
  • FIG. 7B is a schematic diagram illustrating an example of a configuration of a summary cache table in the present embodiment. It is stored in the storage area of the terminal 7.
  • the user terminal 7 receives, for example, the scene ID list generated by the management server 2 and stores it in the storage area.
  • the user terminal 7 refers to the scene ID list stored in the user terminal 7 and returns a scene name list to the management server 2 based on the result, so that efficient narrowing down can be performed.
  • the user terminal 7 receives, for example, the reference ID list generated by the management server 2 and stores it in the storage area.
  • the user terminal 7 refers to the reference ID list stored in the user terminal 7 and returns the reference ID list to the management server 2 based on the result, so that efficient narrowing can be performed.
  • FIG. 8A is a schematic diagram illustrating an example of a configuration of a meta table
  • FIG. 8B is a schematic diagram illustrating an example of a configuration of a meta category master table
  • FIG. FIG. 4 is a schematic diagram showing an example of the configuration of a meta master table.
  • meta table shown in FIG. 8A reference IDs and meta IDs are associated with each other and stored in the content model database 4.
  • a plurality of meta IDs may be assigned to one content.
  • the meta category master table shown in FIG. 8B and the meta master table shown in FIG. 8C manage the classification of meta information.
  • information such as "model name” and "series name” is not information that changes according to the model or product, but, for example, "color", "weight” And so on.
  • FIG. 9 is a flowchart illustrating an example of the operation of the information providing system 1 according to the present embodiment.
  • FIG. 9 is a flowchart illustrating an example of the operation of the information providing system 1 according to the present embodiment.
  • the first acquisition unit 201 acquires first video information from the user terminal 7 (first acquisition unit S100). For example, as shown in FIG. 12A, the first acquisition unit 201 acquires video information obtained by capturing video information of a target device by the user terminal 7.
  • the first acquisition unit 201 may be, for example, a plurality of user terminals 7 connected via the public communication network 6. In this case, the first acquisition unit may acquire the first video information together with the device identification number of each user terminal 7.
  • the first evaluation means 202 refers to the scene model database 3.
  • the scene model database 3 includes past first video information acquired in advance, scene information including a scene ID associated with the past first video information, and the past first video information and the scene information. And a scene ID list including the first scene association between the acquired first video information and the scene information.
  • the scene ID is a list of data obtained from the scene table shown in FIG. 6A, for example.
  • the first generation unit 203 generates a scene name list based on the scene name list corresponding to the scene ID list acquired by the first evaluation unit 202.
  • the first generation unit 203 generates a corresponding scene name list with reference to, for example, a scene table shown in FIG. For example, when the scene ID included in the scene ID list acquired by the first evaluation unit 202 is “0FD”, the scene name “Restart ABC-999 device” is selected as the scene name. For example, when the scene ID is “0FE”, a scene name “remove the memory of the ABC-999 device” is selected as the scene name.
  • the second acquisition unit 204 acquires, from the user terminal 7, target information in which the second video information and the first scene ID corresponding to the scene name selected from the scene name list are set as one set. For example, as shown in FIG. 12B, the second acquisition unit 204 acquires target information in which the first scene ID corresponding to the scene name (device D) selected by the user terminal 7 is a set.
  • the second evaluation means 205 refers to the content model database 4 and acquires a reference ID list including the first content association degree between the target information and the reference ID.
  • a reference ID list for example, information such as a reference ID and a content association degree is listed.
  • the second generation unit 206 generates a reference summary list corresponding to the reference ID list acquired by the second evaluation unit 205.
  • a summary corresponding to the reference ID is obtained from the content table shown in FIG. 6B based on the reference ID. For example, if the reference ID is "1B827-02", the corresponding summary is "Step 1 Remove the screws at the four corners and then firmly with both hands ".
  • the reference ID summary list may be configured to be recorded in a cache area of the user terminal 7, for example.
  • the third acquisition unit 207 acquires, via the user terminal 7, the first reference ID selected from the reference summary list.
  • the third acquisition unit 207 receives, for example, only the target reference ID. With such a configuration, the amount of information transferred between the user terminal 7 and the management server 2 can be reduced. For example, as shown in FIG. 12C, the third acquisition unit 207 transmits the first reference ID selected from the reference summary list (“disassembly procedure 1 after removing the four corner screws, ⁇ ) To get.
  • the output unit 208 outputs the content corresponding to the acquired first reference ID.
  • the content is acquired from the content information database 5 and output to the user terminal 7.
  • the reference ID is “1B827-02”
  • the output content is “1B827-02 / 1.pdf”. This file is output to the user terminal 7.
  • the content selected from the reference summary list corresponding to the first reference ID is output to the user terminal 7.
  • FIG. 10A is a flowchart illustrating an example of the operation of the scene ID generation unit according to the present embodiment
  • FIG. 10B is a flowchart illustrating an example of the operation of the content ID generation unit according to the embodiment.
  • FIG. 10A is a flowchart illustrating an example of the operation of the scene ID generation unit according to the present embodiment.
  • the scene ID generation unit includes a scene name acquisition unit S200, a scene ID generation unit S201, and a first learning unit S202.
  • the scene name acquiring means S200 acquires, from the scene model database 3, past first video information acquired in advance and a scene name corresponding to the past first video information.
  • the scene ID generation unit S201 generates a scene ID having an information amount smaller than the scene name for each scene name acquired by the scene name acquisition unit S200.
  • the first learning unit S202 generates the scene model database 3 by machine learning using scene information including a scene ID and past first video information.
  • FIG. 10B is a flowchart illustrating an example of the operation of the content ID generation unit according to the present embodiment.
  • the content ID generation unit includes a content acquisition unit S205, a content ID generation unit S206, and a second learning unit S207.
  • the content acquisition unit S205 acquires, from the content model database 4, past second video information acquired in advance and content corresponding to the past second video information.
  • the content ID generation unit S206 generates a content ID having an information amount smaller than the content for each content acquired by the content acquisition unit S205.
  • the second learning means S207 generates a content model database by machine learning using a reference ID including at least a content ID and past target information.
  • FIG. 11 is a flowchart showing an example of the operation of checking the cache area in the user terminal according to the present embodiment.
  • the receiving unit S300 receives the scene ID list acquired by the first evaluating unit 202 or the reference ID list acquired by the second acquiring unit.
  • the determining unit S301 determines whether a scene ID included in the scene ID list received by the receiving unit S300 exists in the cache area of the user terminal 7, or whether a reference ID included in the received reference ID list exists. Is determined.
  • the scene ID generation unit and the content ID generation unit can generate an ID having a smaller amount of information than the scene name and the content. Therefore, the amount of information between the user terminal 7 and the management server 2 can be reduced. Thereby, the response of the narrowing down between the user terminal 7 and the management server 2 is improved. Further, in order to enable exchange with a newly generated ID, when updating one database, it is only necessary to correct the target ID, and there is no need to update the other database. As a result, the update time can be shortened, and the time and man-hours required for work preparation such as maintenance and repair of devices and the like in the field can be reduced.
  • a scene ID generation unit is provided, and a scene name acquisition unit, a scene ID generation unit, and a first learning unit are provided. For this reason, a scene name stored in the scene model database 3 is acquired, and a scene ID having an information amount smaller than the scene name can be generated for each scene name. As a result, it is possible to save the communication amount required for the exchange, and it is possible to provide a quick response. Further, the generated scene ID is stored in a scene table shown in FIG. The scene ID is associated with content-related information in the content table shown in FIG. Thus, when updating the scene table of the scene model database 3, only the target ID needs to be corrected, and the other content model database 4 does not need to be updated.
  • the content ID generation unit 210 is provided, and the content acquisition unit, the content ID generation unit, and the second learning unit are provided. Therefore, it is possible to acquire the content stored in the content model database 4 and generate a reference ID having an information amount smaller than the content for each content name. As a result, it is possible to save the communication amount required for the exchange, and it is possible to provide a quick response. Further, the generated reference ID is stored in the content table shown in FIG. The reference ID is associated with the meta information of the meta table shown in FIG. Thus, when updating the content table of the content model database 4, only the target ID needs to be corrected, and there is no need to update the other meta table.
  • the user terminal 7 is a device that is mounted on the head or glasses and includes a display unit that displays information generated based on the first video information acquired from the user terminal in a transparent state. I just need. Therefore, it is possible to narrow down the information by the first video information acquired by the management server 2 based on the captured video information.
  • the operation for the acquired first video information is exchanged with the management server 2 in accordance with the operation provided for the user terminal 7. For example, some kind of gesture operation or voice instruction may be performed, and the operation is executed according to an agreement between the user terminal 7 and the management server 2. This makes it possible to efficiently obtain and provide appropriate information.
  • the content to be output to the user terminal 7 by the output unit 208 may be text, an illustration, a moving image, a part or all of audio. Therefore, existing information assets can be used as they are. Thus, various contents can be provided. This makes it possible to provide an existing information asset that is optimal for the site.
  • the information providing method for narrowing down a plurality of contents to be output from the management server 2 to the user terminal based on the video information obtained from the user terminal 7 includes a first step of performing the first obtaining unit.
  • a seventh step of performing the second evaluation means, an eighth step of performing the second generation means, a ninth step of performing the third generation means, and a tenth step of performing the output means. Can be provided.
  • Information providing system 2 Management server 3: Scene model database 4: Content model database 5: Content information database 6: Public communication network 7: User terminal 101: CPU 102: ROM 103: RAM 104: storage units 105 to 107: I / F 108: input part 109: output part 110: internal bus 201: first acquisition means 202: first evaluation means 203: first generation means 204: second acquisition means 205: second evaluation means 206: second generation means 207: Third acquisition unit 208: output unit 209: scene ID generation unit 210: content ID generation unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】 ユーザ端末から取得した映像情報に基づきユーザ端末に出力する複数のコンテンツの絞り込みを行う情報提供システムを提供する。 【解決手段】 ユーザ端末から取得した第1映像情報に基づいて、第1映像情報とシーン情報との間における第1シーン連関度を含むシーンIDリストを取得し、シーン名リストを生成する。その後、ユーザ端末から第2映像情報とシーン名リストから選択されたシーン名を取得し、対象情報と、前記参照IDとの間における第1コンテンツ連関度を含む参照IDリストを取得し、参照IDリストに対応する参照サマリーリストを生成し、ユーザ端末を介して参照サマリーリストから選択された第1参照IDを取得し、対応するコンテンツを出力する。

Description

情報提供システム及び情報提供方法
 本発明は、ユーザ端末から取得した映像情報に基づきユーザ端末に出力する複数のコンテンツの絞り込みを行う情報提供システム及び情報提供方法に関するものである。
 近年、画像認識技術及び仮想現実(VR:Virtual Reality)や拡張現実(AR:Augmented Reality)、複合現実(MR:Mixed Reality)といった技術の発達に伴い、ユーザの頭部に装着される頭部装着型映像表示装置(HMD:Head Mounted Display)と呼ばれる表示部を介して、様々な情報をオーバーラップして参照させる方法が公開されている。例えば、ウェアラブル端末の表示板に、表示板を透過して見える農作物に対して、予測された収穫時期を拡張現実として表示する方法として、特許文献1のウェアラブル端末表示システムが提案されている。
 特許文献1のウェアラブル端末表示システムでは、ウェアラブル端末の視界に入った農作物の画像をカメラで撮影し、その画像を解析して、農作物の種類を特定し、農作物の種類に応じた判定基準を選択し、その判定基準に基づいて、画像を解析して色およびサイズを判定し、農作物の収穫時期を予測し、ウェアラブル端末の表示板に、予測された収穫時期を拡張現実として表示する。
 また、例えば、作業者のウェアラブル端末の表示板に、作業マニュアル等のルールに基づき作業対象を判定し、作業支援情報を拡張現実として表示する方法として、特許文献2の作業支援システムが提案されている。
 特許文献2の作業支援システムでは、作業の手順、内容、留意点又はその他の事項を記述したマニュアル要素を関連付けて作業対象又は作業状況の判定条件を記述したルールを生成し、模範事例が最高評価となるようにルールを最適化させ学習し、センサで取得したセンサ情報に基づいて作業対象及び作業状況を認識し、生成したルール及び認識手段の認識結果に基づいて作業支援情報を出力する。
特許第6267841号公報 特許第6321879号公報
 ここで、フィールド(作業現場)における機器等の保全や修理等の作業において、例えば、ユーザ先等に設置されている機器に異常が発生した場合、異常の発生から対応までの間は機器を停止させる必要がある。これにより、ユーザ先等における業務やサービスに影響を与えてしまう懸念がある。
 例えば、工場内の生産ラインに設置される機器等の場合は、ラインに設置された時期や複数の機器やモジュールが組み合わさり構成される。そのため、異常個所の特定は、周辺の機器の可動状態や部品構成等を確認する必要がある。
 また、例えば、駅や商業施設などに設置されるエスカレータやエレベータ、または屋外駐車場等の機器の場合は、機器の構造が複雑な上、設置後に部品交換等がなされ、交換部品の形状や部番が変わっているケースもある。機器を分解してから始めて分かるケースもあり、整備マニュアルに記載されている内容と異なるケースもある。そのため、機器のマニュアルの情報に加え、関連する部品や代替部品の交換手順等についても把握しておく必要がある。
 しかしながら、実際のフィールドでは、このような経験豊富なエキスパート技術者の存在は年々少なくなる一方であるため、今後は、人材育成を兼ね、経験が浅く、比較的に年齢の若い技術者にも対応させる。あるいは、海外から来日し、機器保全や修理の研修を終えた外国人技術者等が対応していくと予想される。
 この点、特許文献1の開示技術では、農作物の外観形状等から判断した結果に基づき予測結果を表示する。そのため、様々なフィールド環境や設置された状況、機器の構成等に応じて、提供する情報を順次に絞り込んで提供していくことが難しい。
 さらに、特許文献2の開示技術では、マニュアルのルールに基づく学習モデルを生成して作業支援を行うに過ぎない。このため、実際のフィールドや機器の構成に変更があり、学習に用いたマニュアルに記載されている内容や手順と異なっている場合、フィールドにおける臨機応変な対応や判断ができない。新たに対応させるためには、その都度学習モデルを生成することになり、時間と費用がかかる。このため、実際のフィールド、作業に適した情報提供や対象情報の更新を効率よく行うことが難しい。
 そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、フィールドの状況に応じて状態の絞込みを行え、既存の情報資産をそのまま活用してその中で現場に最適なものを提供することを可能とする情報提供システムを提供することにある。
 第1発明に係る情報提供システムは、ユーザ端末から取得した映像情報に基づき、ユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供システムであって、ユーザ端末から第1映像情報を取得する第1取得手段と、予め取得された過去の第1映像情報、過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、過去の第1映像情報と前記シーン情報との間における3段階以上のシーン連関度が記憶されたシーンモデルデータベースと、シーンモデルデータベースを参照し、第1映像情報とシーン情報との間における第1シーン連関度を含むシーンIDリストを取得する第1評価手段と、シーンIDリストに対応するシーン名リストを生成する第1生成手段と、ユーザ端末から、第2映像情報と、シーン名リストから選択されたシーン名に対応する第1シーンIDとを1組とした対象情報を、取得する第2取得手段と、予め取得された過去の第2映像情報とシーンIDとを1組とした過去の対象情報、過去の対象情報に紐づけられ、コンテンツに対応する参照ID、及び、過去の対象情報と参照IDとの間における3段階以上のコンテンツ連関度が記憶されたコンテンツモデルデータベースと、コンテンツモデルデータベースを参照し、対象情報と、参照IDとの間における第1コンテンツ連関度を含む参照IDリストを取得する第2評価手段と、参照IDリストに対応する参照サマリーリストを生成する第2生成手段と、ユーザ端末を介して参照サマリーリストから選択された第1参照IDを取得する第3取得手段と、取得した第1参照IDに対応するコンテンツを出力する出力手段とを備えることを特徴とする。
 第2発明に係る情報提供システムは、第1発明において、シーンID生成部をさらに備え、シーンID生成部は、予め取得した過去の第1映像情報及び過去の第1映像情報に対応するシーン名を取得するシーン名取得手段と、シーン名より小さい情報量のシーンIDを、取得したシーン名毎に生成するシーンID生成手段と、シーン情報と、過去の第1映像情報とを用いた機械学習によりシーンモデルデータベースを生成する第1学習手段とを有することを特徴とする。
 第3発明に係る情報提供システムは、第1発明又は第2発明において、コンテンツID生成部をさらに備え、コンテンツID生成部は、予め取得した過去の第2映像情報及び過去の第2映像情報に対応するコンテンツを取得するコンテンツ取得手段と、コンテンツより小さい情報量のコンテンツIDを、取得したコンテンツ毎に生成するコンテンツID生成手段と、参照情報と、過去の対象情報とを用いた機械学習により前記コンテンツモデルデータベースを生成する第2学習手段を有すること特徴とする。
 第4発明に係る情報提供システムは、第3発明において、コンテンツIDは、複数のメタ情報と対応づけられることを特徴とする。
 第5発明に係る情報提供システムは、第1発明~第4発明の何れかにおいて、ユーザ端末は第1評価手段によって取得されたシーンIDリストを受信する受信手段と、シーンIDリストの受信の結果に応じて、ユーザ端末のキャッシュ領域に受信したシーンIDリストに含まれるシーンIDが存在するか否かを判別する判別手段と、判別の結果に応じて、ユーザ端末のキャッシュ領域に存在しない場合は、コンテンツを保有するコンテンツ情報データベースに問い合わせる問い合わせ手段をさらに備えることを特徴とする。
 第6発明に係る情報提供システムは、第1発明~第5発明の何れかにおいて、ユーザ端末は、第2取得手段によって取得された参照IDリストを受信する受信手段と、参照IDリストの受信の結果に応じて、ユーザ端末のキャッシュ領域に受信した参照IDリストに含まれる参照IDが存在するか否かを判別する判別手段と、判別の結果に応じて、ユーザ端末のキャッシュ領域に存在しない場合は、コンテンツを保有するコンテンツ情報データベースに問い合わせる問い合わせ手段をさらに備えることを特徴とする。
 第7発明に係る情報提供システムは、第1発明~第6発明の何れかにおいて、ユーザ端末は、頭部又は眼鏡に装着され、ユーザ端末から取得した第1映像情報に基づいて生成された情報を透過状態で表示する表示部を備えることを特徴とする。
 第8発明に係る情報提供システムは、第1発明~第7発明の何れかにおいて、コンテンツは、少なくともテキスト、イラスト、動画、音声の一部、又は全部の情報の何れかを含むことを特徴とする。
 第9発明に係る情報提供方法は、ユーザ端末から取得した映像情報に基づき、ユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供方法であって、ユーザ端末から第1映像情報を取得する第1工程と、予め取得された過去の第1映像情報、過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、過去の第1映像情報とシーン情報との間における3段階以上のシーン連関度をシーンモデルデータベースに記憶する第2工程と、シーンモデルデータベースを参照し、第1映像情報とシーンIDとの間におけるシーン連関度を含むシーンIDリストを取得する第3工程と、シーンIDリストに対応するシーン名リストを生成する第4工程と、ユーザ端末から、第2映像情報と、シーン名リストから選択されたシーン名に対応する第1シーンIDとを1組とした対象情報を、取得する第5工程と、予め取得された過去の第2映像情報とシーンIDとを1組とした過去の対象情報、対象情報に紐づけられ、コンテンツに対応する参照ID、及び、過去の対象情報と参照IDとの間における3段階以上のコンテンツ連関度をコンテンツモデルデータベースに記憶する第6工程と、コンテンツモデルデータベースを参照し、対象情報と、参照IDとの間における第1コンテンツ連関度を含む参照IDリストを取得する第7工程と、参照IDリストに対応する参照サマリーリストを生成する第8工程と、ユーザ端末を介して参照サマリーリストから選択された第1参照IDを取得する第9工程と、取得した第1参照IDに対応するコンテンツを出力する第10工程とを備えることを特徴とする。
 第1発明によれば、第1評価手段及び第1生成手段を備える。このため、シーンモデルデータベースを参照し、取得した第1映像情報に基づきシーンIDリストを取得でき、シーンIDリストに対応するシーン名リストを生成することができる。また、第2評価手段及び第2生成手段を備える。このため、コンテンツモデルデータベースを参照し、取得した対象情報に基づき参照IDリストを取得でき、参照サマリーリストを生成することができる。これらにより、フィールドの状況、作業者の作業の進捗、機器の様態に応じて、適宜に、シーン及び出力するコンテンツの絞込みを行うことが可能となる。
 また、第1発明によれば、シーンモデルデータベースを備える。このため、予め取得された過去の第1映像情報及びシーン情報との間におけるシーン連関度に基づき、シーンIDリストを取得することが可能となる。さらに、コンテンツモデルデータベースを備える。このため、予め取得された過去の対象情報と、参照IDとの間におけるコンテンツ連関度に基づき、参照IDリストを取得することが可能となる。また、シーンモデルデータベース及びコンテンツモデルデータベースは、共通のIDを介して管理される。このため、一方のデータベース(シーンモデルデータベース)を更新するとき、他方のデータベース(コンテンツモデルデータベース)を更新する必要がない。そのため、機械学習させるための生成時間や更新時間を大幅に短縮することができる。さらに、フィールドの状況に応じて状態の絞込みを行え、既存の情報資産をそのまま活用できる。既存の情報資産の中で、現場に最適なものを提供することが可能となる。
 また、第1発明によれば、第2取得手段、第3取得手段、及び出力手段を備える。このため、生成した参照サマリーリストをユーザ端末に送信し、ユーザ端末を介して選択された参照IDを取得し、取得した参照IDに基づいて、対応するコンテンツを出力できる。これらにより、適切な情報の取得及び提供を効率的に行うことが可能となる。
 また、第2発明によれば、シーンID生成部を備える。シーンID生成部は、シーン名取得手段、シーンID生成手段、及び第1学習手段を有する。このため、シーン名より小さい情報量のシーンIDを、取得したシーン名毎に生成する。これにより、やり取りにかかる通信量をセーブすることができ、早いレスポンスが可能となる。さらに、一方のデータベースを更新するとき、対象のIDの修正だけでいいので、他方のデータベースを更新する必要がない。
 また、第3発明によれば、コンテンツID生成部を備える。コンテンツID生成部は、コンテンツ取得手段、コンテンツID生成手段、及び第2学習手段を有する。このため、コンテンツ情報より小さい情報量の第2コンテンツIDを、前記取得したコンテンツ情報より生成する。これにより、やり取りにかかる通信量をセーブすることができ、早いレスポンスが可能となる。さらに、一方のデータベースを更新するとき、対象のIDの修正だけでいいので、他方のデータベースを更新する必要がない。
 また、第4発明によれば、コンテンツ情報は、メタ情報を含む。このため、より細かい属性をコンテンツ情報に付与することができる。これにより、正確なコンテンツの割り当てや提供が可能となり、適切な情報の取得及び提供を効率的に行うことが可能となる。
 また、第5発明によれば、ユーザ端末は、受信手段、判別手段、及び問い合わせ手段を備える。このため、キャッシュ領域に受信したシーンIDリストに含まれるシーンIDが存在するか否かを判別すことができる。このため、自端末内に対応するシーンIDが存在しない場合に限り、他のシーンモデルデータベースから入手する。これにより、フィールドの状況に応じて状態の絞込みを行え、さらに、適切な情報の取得及び提供を効率的に行うことが可能となる。
 また、第6発明によれば、ユーザ端末は、受信手段、判別手段、及び問い合わせ手段を備える。このため、キャッシュ領域に受信した参照IDリストに含まれる参照IDが存在するか否かを判別すことができる。このため、自端末内に対応する参照IDが存在しない場合に限り、他のコンテンツモデルデータベースから入手する。これにより、フィールドの状況に応じて状態の絞込みを行え、さらに、適切な情報の取得及び提供を効率的に行うことが可能となる。
 また、第7発明によれば、ユーザ端末は、頭部又は眼鏡に装着され、ユーザ端末から取得した第1映像情報に基づいて生成された情報を透過状態で表示する表示部を備える。このため、フィールドの操作でハンズフリーの操作が可能となる。これにより、適切な情報の取得及び提供を効率的に行うことが可能となる。
 また、第8発明によれば、参照情報は、少なくともテキスト、イラスト、動画、音声の一部、又は全部の情報を含む。このため、さまざまなコンテンツの提供が可能となる。これにより、適切な情報の取得及び提供を効率的に行うことが可能となる。
図1は、本実施形態における情報提供システムの構成の一例を示すブロック図である。 図2は、本実施形態におけるシーンモデルデータベースの一例を示す模式図である。 図3は、本実施形態におけるコンテンツモデルデータベースの一例を示す模式図である。 図4(a)は、本実施形態における情報提供システムのユーザ装置の構成の一例を示す模式図であり、図4(b)は、本実施形態における情報提供システムの管理サーバの機能の一例を示す模式図である。 図5(a)は、本実施形態におけるシーンモデルテーブルの構成の一例を示す模式図である。図5(b)は、シーン用コンテンツモデルテーブル(0FE用)の構成の一例を示す模式図である。 図6(a)は、本実施形態におけるシーンテーブルの一例を示す模式図である。図6(b)は、本実施形態におけるコンテンツテーブルの一例を示す模式図である。 図7(a)は、本実施形態における名前キャッシュテーブルの構成の一例を示す模式図であり、図7(b)は、本実施形態におけるサマリーキャッシュテーブルの構成の一例を示す模式図である。 図8(a)は、本実施形態におけるメタテーブルの構成の一例を示す模式図であり、図8(b)は、本実施形態におけるメタカテゴリーマスターテーブルの構成の一例を示す模式図であり、図8(c)は、本実施形態におけるメタマスターテーブルの構成の一例を示す模式図である。 図9は、本実施形態における情報提供システムの動作の一例を示すフローチャートである。 図10(a)は、本実施形態におけるシーンID生成部の動作の一例を示すフローチャートである。図10(b)は、本実施形態におけるコンテンツID生成部の動作の一例を示すフローチャートである。 図11は、本実施形態におけるユーザ端末におけるキャッシュ領域の確認動作の一例を示すフローチャートである。 図12(a)は、本実施形態における第1取得手段の一例を示す模式図である。図12(b)は、本実施形態における第2取得手段の一例を示す模式図である。図12(c)は、本実施形態における第3取得手段の一例を示す模式図である。図12(d)は、本実施形態における出力手段の一例を示す模式図である。
 以下、本発明の実施形態における情報提供システム及び情報提供方法の一例について、図面を参照しながら説明する。
 図1は、本実施形態における発明が適用される情報提供システム1の一例を示す模式図である。
(第1実施形態)
 図1~図12を参照して、第1実施形態における情報提供システム1の構成の一例について説明する。図1は、本実施形態における情報提供システム1の全体の構成を示すブロック図である。
 図1に示すように、情報提供システム1は、管理サーバ2、シーンモデルデータベース3、コンテンツモデルデータベース4、コンテンツ情報データベース5を備える。管理サーバ2は、例えば、公衆通信網6を介して、フィールド(現場)の作業者に備わるユーザ端末7に接続される。
 管理サーバ2は、例えば、フィールドに設置されている機器等の保守や保全、修理等の作業を実施するために使用される。管理サーバ2は、例えば、フィールドのユーザ端末7から取得する機器などの映像情報を取得する。管理サーバ2は、シーンモデルデータベース3及びコンテンツモデルデータベース4を参照し、各データの取得、データの評価、情報の出力を行う。
 シーンモデルデータベース3は、予め取得された過去の第1映像情報、前記過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、前記過去の第1映像情報と前記シーン情報との間における3段階以上のシーン連関度を記憶する。コンテンツモデルデータベース4は、予め取得された過去の第2映像情報と前記シーンIDとを1組とした過去の対象情報、前記過去の対象情報に紐づけられ、前記コンテンツに対応する参照ID、及び、前記過去の対象情報と前記参照IDとの間における3段階以上のコンテンツ連関度を記憶する。例えば、対象情報と参照ID(コンテンツID)に基づき構築された結果を、コンテンツモデルデータベースに記憶する。コンテンツ情報データベース5は、例えば、コンテンツを記録する。コンテンツは、例えば、機器マニュアル、取扱い説明書、カタログ、報告書、リポート等のドキュメント関連の資料の他に、例えば、商品紹介の動画や解決マニュアル動画等であってもよい。コンテンツは、例えば、各コンテンツの管理者等により登録される。登録されるコンテンツは、例えば、音声等のファイルであってもよく、日本語に対応する外国語等の翻訳された音声等のファイルであってもよい。例えば、ある1ヶ国の音声言語が登録されれば、それに合わせて対応する外国語の翻訳音声ファイルが記憶されてもよい。これらコンテンツの登録や更新は、例えば、各メーカーの管理者やマニュアル作成担当による端末の操作で、公衆通信網6(ネットワーク)を介して行ってもよい。また、例えば、管理者やマニュアル作成担当者が行う管理等を代行するような業者が一括して行ってもよい。
 公衆通信網6は、情報提供システム1及び管理サーバ2等が通信回路を介して接続されるインターネット網等である。公衆通信網6は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網6は、有線通信網には限定されず、無線通信網で実現してもよい。
<ユーザ端末7>
 ユーザ端末7は、作業者の頭部又は眼鏡に一体又は部分的に装着され、ユーザ端末7から取得した第1映像情報に基づいて生成された情報を透過状態で表示する表示部を備える。ユーザ端末7は、例えば、HMD(ヘッドマウントディスプレイ)の1種類であるホロレンズ(登録商標)であってもよい。作業者は、ユーザ端末7の表示情報をヘッドマウントディスプレイ又はホロレンズ等の透過して表示する表示部を介して、作業エリアや評価対象の機器を透過して確認することができる。これにより作業者は、目の前の状況を見つつ、取得された第1映像情報に基づいて生成されたシーン名リスト、参照サマリーリスト、コンテンツを合わせて確認することが可能となる。
 さらに、ユーザ端末7は、第1評価手段によって取得されたシーンIDリスト又は第2取得手段によって取得された参照IDリストを受信する受信手段、ユーザ端末7のキャッシュ領域に対象のIDが存在するかを確認する判別手段、ユーザ端末7のキャッシュ領域内に存在しない場合に対応するコンテンツ情報データベース5に問い合わせる問い合わせ手段を備える。
<シーンモデルデータベース3>
 図2は、本実施形態におけるシーンモデルデータベース3の一例を示す模式図である。シーンモデルデータベース3は、予め取得された過去の第1映像情報、過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、過去の第1映像情報と前記シーン情報との間における3段階以上のシーン連関度が記憶される。第1映像情報は、例えば、フィールドの作業者が備えるユーザ端末7のカメラ等により撮影された映像である。第1映像情報は、例えば、静止画、動画、何れであっても良く、作業者による撮影、又はユーザ端末7の設定で、自動的に撮像されてもよい。さらに、ユーザ端末7のメモリ等に記録されている映像情報に読み込ませたり、公衆通信網6経由で取得する等してもよい。
 シーンモデルデータベース3は、機械学習により取得された第1映像情報と過去の第1映像情報とシーンIDとの評価結果により構築され、例えば、各々の関係がシーン連関度として記憶する。例えば、過去の第1映像情報の『01』は、シーンID『A』とは70%の連関度であり、シーンID『D』とは50%、シーンID『C』とは10%等として記憶する。ユーザ端末7から取得された第1映像情報は、機械学習により、例えば、予め取得された過去の第1映像情報と類似性等の評価結果が構築される。例えば、深層学習を行うことで、同一ではなく類似の情報に対しても対応可能となる。
 シーンモデルデータベース3は、予め取得された過去の第1映像情報、過去の第1映像情報に紐づくシーンIDを含むシーン情報、及び過去の第1映像情報とシーン情報との間における度合いを示す3段階以上の第1シーン連関度を記憶する。第1評価手段は、シーンモデルデータベース3を参照し、過去の第1映像情報と一致、一部一致、又は類似する過去の第1映像情報を選択し、選択された過去の第1映像情報に紐づけられたシーンIDを含むシーン情報を選択し、選択された過去の第1映像情報とシーン情報との間における連関度に基づいて第1シーン連関度を算出し、算出された第1シーン連関度を含むシーンIDを取得し、シーンIDリストに基づいて選択されたシーン名リストを、ユーザ端末7に表示する。
 シーンモデルデータベース3は、シーンIDリストを記憶する。シーンIDリストは、後述する第1評価手段202によって取得される。シーン名リストは、例えば、機械学習により算出されたシーン連関度により、過去の第1映像情報とシーンIDの対が評価されたリストである。シーンモデルデータベース3は、この評価された結果であるリスト化された内容を記憶する。リスト化された内容は、例えば、『シーンID A:70%』、『シーンID D:50%』等と、シーン連関度の高い関係性を表すシーンIDである。
 シーンモデルデータベース3は、シーンIDリスト、シーン名リストを記憶する。シーン名リストは、後述する第1生成手段203により生成される。例えば、シーンIDリストには、第1評価手段202によってシーンIDに対応するシーン名が取得され、それらシーン名リストを記憶する。シーンモデルデータベース3に記憶されたシーン名リストは、その後の処理でユーザ端末7に送信される。ユーザは、ユーザ端末7により受信されたシーン名リストを参照し、第1映像情報に対応するシーンを把握する。
 なお、シーンモデルデータベースの更新や登録されているデータの修正や追加等のため、シーンモデルデータベース3に第1映像情報に対応するシーン情報、及びシーンIDに対応するシーン名が存在しない場合は、例えば、別視野における第1映像情報の取得処理を行う、又は『該当シーン無し』というようなシーン名を加えたシーン名リストを生成し、ユーザ端末7に送信するようにしてもよい。
<コンテンツモデルデータベース4>
 図3は、本実施形態におけるコンテンツモデルデータベース4の一例を示す模式図である。コンテンツモデルデータベース4は、予め取得された過去の第2映像情報とシーンIDとを1組とした過去の対象情報、前記過去の対象情報に紐づけられ、コンテンツに対応する参照ID、及び、過去の対象情報と参照IDとの間における3段階以上のコンテンツ連関度を記憶する。コンテンツモデルデータベース4が記憶する映像情報は、ユーザ端末7によって撮影される。第1取得手段201は、フィールドの映像情報である映像情報として、撮影された第2映像情報を取得する。この第2映像情報は、例えば、フィールドの作業者が備えるユーザ端末7のカメラ等により撮影された映像である。第2映像情報は、前述の第1映像情報と同様に、例えば、静止画、動画、何れであっても良く、作業者による撮影、又はユーザ端末7の設定で、自動的に撮像されてもよい。さらに、ユーザ端末7のメモリ等に記録されている映像情報に読み込ませたり、公衆通信網6経由で取得する等してもよい。
 コンテンツモデルデータベース4は、ユーザ端末7から、取得された第2映像情報とともに第1シーンIDを記憶する。第1シーンIDとは、シーンモデルデータベース3に記憶されたシーン名リストであり、ユーザによって選択されたシーン名に対応するシーンIDである。コンテンツモデルデータベース4は、この第1シーンIDと第2映像情報を対象情報として記憶する。なお、繰り返し作業を行ったりする場合は、ここまでの処理が繰り返し行われることとなる。なお、第1シーンIDは、複数あってもよく、その場合は、シーン名リストの選択が、ユーザによって複数選択されたことになる。
 コンテンツモデルデータベース4は、予め取得された過去の第2映像情報、シーンIDを1組とした過去の対象情報、過去の対象情報に紐づけられ、コンテンツに対応する参照ID、及び、過去の対象情報と参照IDとの間における度合いを示す3段階以上のコンテンツ連関度を記憶する。第2評価手段は、コンテンツモデルデータベース4を参照し、過去の第2映像情報、対象情報と一致、一部一致、又は類似する過去の第2映像情報、シーンIDを選択し、選択された過去の第2映像情報、対象情報に紐づけられた参照IDを選択し、選択された過去の第2映像情報と対象情報との間における連関度に基づいて第2連関度を算出し、算出された第2シーン連関度を含む参照IDを取得し、参照IDリストに基づいて選択された参照サマリリストを、ユーザ端末7に表示する。
 類似度が高かった対象情報と参照IDの評価結果は、例えば、対象情報『A×01』であれば、参照ID『参照ID:A』とは70%の連関度であり、参照ID『参照ID:D』とは50%、参照ID『参照ID:C』とは10%であることを示している。第2取得手段が取得した対象情報は、例えば、対象情報と類似性等の評価がされる。この処理は、AI画像処理等により行われてもよい(図示せず)。AI画像処理を行うことで、従来の処理に比べ、格段の処理が短時間に行える。
 次に、コンテンツモデルデータベース4は、参照IDリストを記憶する。参照IDリストの取得は、第2評価手段によって取得される。例えば、機械学習により構築されたコンテンツ連関度により、対象情報と過去の第2映像情報と参照IDに紐づけられる参照情報の対が評価される。その評価結果に基づき、連関度の高い評価結果の参照IDがリスト化される。参照IDのリスト化は、例えば、『参照ID:A 70%』、『参照ID:D 50%』等と、コンテンツ連関度の高い関係性の参照IDとして構築され、コンテンツモデルデータベース4に記憶される。
 次に、コンテンツモデルデータベース4は、第2評価手段により取得された参照IDリストと、第2生成手段により生成された参照サマリーリストを記憶する。参照サマリーリストは、参照IDリストで判別される参照IDに基づき、後述するコンテンツテーブルに記録されている。第2取得手段204は、コンテンツモデルデータベース4に記憶されるコンテンツテーブルに登録される『サマリー』を取得する。第2評価手段205は、参照IDとの間における第1コンテンツ連関度を含む参照IDリストを取得する。第2生成手段206は、取得されたサマリー情報に基づき参照サマリーリストを生成する。第2生成手段206によって生成された参照サマリーリストは、ユーザ端末7に送信する。
 なお、コンテンツモデルデータベース4の更新や登録されているデータの修正や追加等のため、コンテンツモデルデータベース4にシーンIDに対応する参照ID、コンテンツ、サマリー等のデータが存在しない場合は、例えば、未対応時の代替対応として準備されているシーンIDを新たに対応付け、対応づけられた代替コンテンツをユーザ端末7に送信するようにしてもよい。
<管理サーバ2>
 図4(a)は、情報提供システム1の管理サーバ2の略式図である。管理サーバ2として、管理サーバ2は、筐体10と、CPU(Central Processing Unit)101と、ROM(Read Only Memory)102と、RAM(Random Access Memory)103と、保存部104と、I/F105~107とを備える。各構成101~107は、内部バス110により接続される。
 CPU101は、管理サーバ2全体を制御する。ROM102は、CPU101の動作コードを格納する。RAM103は、CPU101の動作時に使用される作業領域である。保存部104は、測定情報等の各種情報が記憶される。保存部104として、例えばHDD(Hard Disk Drive)のほか、SSD(solid state drive)等が用いられる。
 I/F105は、公衆通信網6を介してユーザ端末7等との各種情報の送受信を行うためのインターフェースである。I/F106は、入力部分108との情報の送受信を行うためのインターフェースである。入力部分108として、例えばキーボードが用いられ、情報提供システム1を利用する管理者や作業者やコンテンツ管理者等は、入力部分108を介して、各種情報又は管理サーバ2の制御コマンド等を入力又は選択する。I/F107は、出力部分109との各種情報の送受信を行うためのインターフェースである。出力部分109は、保存部104に保存された各種情報、又は管理サーバ2の処理状況等を出力する。出力部分109として、ディスプレイが用いられ、例えばタッチパネル式でもよい。この場合、出力部分109が入力部分108を含む構成としてもよい。
 図4(b)は、管理サーバ2の機能の一例を示す模式図である。管理サーバ2は、第1取得手段201、第1評価手段202、第1生成手段203、第2取得手段204と、第2評価手段205と、第2生成手段206と、第3取得手段207と、出力手段208と、シーン名取得手段、シーンID生成手段、及び第1学習手段を含むシーンID生成部209、コンテンツ取得手段、コンテンツID生成手段、第2学習手段を含むコンテンツID生成部210とを備える。管理サーバ2は、シーンモデルデータベース3、コンテンツモデルデータベース4、コンテンツ情報データベース5と接続される。なお、図4(b)に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に記憶されたプログラムを実行することにより実現される。また、各機能は、例えば人工知能により制御されてもよい。ここで、「人工知能」は、いかなる周知の人工知能技術に基づくものであってもよい。
<第1取得手段201>
 第1取得手段201は、ユーザ端末7から第1映像情報を取得する。第1映像情報は、作業者によって撮影された機器や部品等であり、例えば、HMD(ヘッドマウントディスプレイ)やホロレンズ等により撮影される。撮影された映像は、リアルタイムで管理サーバ2に送信されてもよい。また、撮影されている映像が、第1映像情報として取得されてもよい。
<第1評価手段202>
 第1評価手段202は、シーンモデルデータベース3を参照する。シーンモデルデータベース3には、予め取得された過去の第1映像情報、過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、過去の第1映像情報とシーン情報との間における3段階以上のシーン連関度が記憶されている。第1評価手段202は、第1映像情報とシーン情報との間における第1シーン連関度を含むシーンIDリストを取得する。
<第1生成手段203>
 第1生成手段203は、第1評価手段202により取得されたシーンIDリストに対応するシーン名リストを生成する。生成されるシーンIDリストは、例えば、『シーンID』、『シーンID連関度』等であり、過去の第1映像情報との連関度の高いシーンIDとなる。シーンIDは、例えば、図5(a)に示すシーンモデルテーブル及び図5(b)に示すシーン用コンテンツモデルテーブル(0FE)に基づいて生成される。シーンモデルテーブルには、例えば、シーンID、参照ID、学習モデル等情報、シーンテーブルにはシーンID、シーン名等が記録される。第1生成手段203は、これらの情報に基づいてシーン名リストが生成する。
<第2取得手段204>
 第2取得手段204は、ユーザ端末7から第2映像情報と、シーン名リストから選択されたシーン名に対応する第1シーンIDとを1組とした対象情報を取得する。
<第2評価手段205>
 第2評価手段205は、コンテンツモデルデータベース4を参照し、対象情報と、参照IDとの間における第1コンテンツ連関度を含む参照IDリストを取得する。取得されるシーンIDリストは、例えば、『参照ID』、『コンテンツ連関度』等であり、対象情報との連関度の高いシーンIDとなる。
<第2生成手段206>
 第2生成手段206は、第2評価手段で評価され、取得された参照IDリストに対応した参照サマリーリストを生成する。参照サマリーリストは、後述するコンテンツテーブルに記憶されているサマリー情報に基づき、生成される。
<第3取得手段207>
 第3取得手段207は、ユーザ端末7を介して、参照サマリーリストから選択された第1参照IDを取得する。
<出力手段208>
 出力手段208は、取得した第1参照IDに対応するコンテンツを出力する。取得は、コンテンツ情報データベース5から行う。出力されるコンテンツは、例えば、図6に示すコンテンツテーブルにより取得される。コンテンツテーブルは、例えば、コンテンツ情報データベース5に記憶される。コンテンツテーブルには、例えば、シーンID、参照ID、コンテンツ、サマリー、ハッシュ値が各々対応づけられて登録される。また、1つの第1参照IDは、複数のメタ情報と対応づけられる。第1参照IDには、例えば、図8に示すメタ情報が付与される。メタ情報は、例えば、メタテーブル、メタカテゴリーマスターテーブル、メタマスターテーブルによって紐づけられる。
<シーンID生成部209>
 シーンID生成部209は、シーン名取得手段とシーンID生成手段と第1学習手段とを有する。
<シーン名取得手段>
 シーン名取得手段は、シーンモデルデータベース3に記憶されるシーンテーブルを参照し、予め取得した過去の第1映像情報及び過去の第1映像情報に対応するシーン名を取得する。
<シーンID生成手段>
 シーンID生成手段は、例えば、取得したシーン名の文字長を判別し、判別した文字長のシーン名より小さい情報量のシーンIDを、取得したシーン名毎に生成する。これにより、ここで生成されるシーンIDは、シーン名よりも情報量が小さくなる。
<第1学習手段>
 第1学習手段は、生成されたシーンIDを少なくとも含むシーン情報と、過去の第1映像情報とを用いた機械学習によりシーンモデルデータベースを生成する。
<コンテンツID生成部210>
 コンテンツID生成部210は、コンテンツ取得手段とコンテンツID生成手段と第2学習手段とを有する。
<コンテンツ取得手段>
 コンテンツ取得手段は、コンテンツモデルデータベース4に記憶されるコンテンツテーブルを参照し、予め取得した過去の第2映像情報及び過去の第2映像情報に対応するコンテンツを取得する。
<コンテンツID生成手段>
 コンテンツID生成手段は、例えば、取得したコンテンツのファイル名、関連情報、又は本文等の文字長を判別し、判別した文字長のコンテンツのデータ容量より小さい情報量のコンテンツIDを、取得したコンテンツ毎に生成する。また、コンテンツより小さい情報量のコンテンツIDを、取得したコンテンツ毎に生成する。これにより、ここで生成されるコンテンツIDは、コンテンツよりも情報量が小さくなる。
<第2学習手段>
 第2学習手段は、生成されたコンテンツIDを少なくとも含む参照情報と、過去の対象情報とを用いた機械学習により前記コンテンツモデルデータベースを生成する。
<ユーザ端末7:受信手段>
 受信手段は、ユーザ端末7に備わり、第1評価手段によって取得されたシーンIDリストを受信する。また、第2取得手段によって取得された参照IDリストを受信する。
<ユーザ端末7:判別手段>
 判別手段は、ユーザ端末7に備わり、シーンIDリストの受信の結果に応じて、ユーザ端末のキャッシュ領域に受信したシーンIDリストに含まれるシーンIDが存在するか否かを判別する。また、参照IDリストの受信の結果に応じて、ユーザ端末のキャッシュ領域に受信した参照IDリストに含まれる参照IDが存在するか否かを判別し、キャッシュ領域内にシーンIDリスト、又は参照IDリストが存在すれば、そちらのリストを最初に確認する。キャッシュは、例えば図7に示す名前キャッシュテーブル及びサマリーキャッシュテーブルにされる。
 名前キャッシュテーブルには、例えば、シーンIDとシーン名が各々対応づけられて記憶されている。また、サマリーキャッシュテーブルには、例えば、参照IDが各々対応づけられて記憶されており、参照されることになる。
<ユーザ端末7:問い合わせ手段>
 問い合わせ手段は、ユーザ端末7において、判別手段の判別の結果に応じて、ユーザ端末のキャッシュ領域に存在しない場合は、コンテンツを保有するコンテンツ情報データベースに問い合わせを行う。
 次に、図5(a)は、シーンモデルテーブルの構成の一例を示す模式図である。図5(b)は、シーン用コンテンツモデルテーブル(0FE用)の構成の一例を示す模式図である。
 まず、図5(a)に示すシーンモデルテーブルは、シーンモデルデータベース3に記憶される。シーンモデルテーブルには、例えば、作業者が行うフィールドで行う各作業を識別するシーンIDとそのシーンIDに対応する学習モデルが対応づけられて記憶される。シーンIDは、複数存在し、その各シーンに対応する映像情報の学習モデルが対応づけられて記憶される。
 次に、図5(b)に示すシーン用コンテンツモデルテーブルは、各シーンIDの参照IDと学習モデルが対応づけられて記憶される。図5(b)に示すシーン用コンテンツモデルテーブルでは、例えば、シーンIDが『0FE』の例であり、様々なシーンごとに対応する参照IDが分かれて記憶される。参照IDは、複数存在し、その各シーンに対応する映像情報の学習モデルが対応づけられて記憶される。なお、シーンに対応する映像情報の学習モデルに対し、コンテンツが存在しないこともある。この場合は、例えば、参照IDには『NULL』が記憶される。
 次に、図6(a)は、シーンテーブルの一例を示す模式図である。図6(a)に示すシーンテーブルは、シーンモデルデータベース3に記憶される。シーンテーブルには、例えば、作業者が行うフィールドで行う各作業の映像情報の概略と、その概略の作業を識別するシーンIDが対応づけられて記憶される。シーンIDは複数存在し、その各シーンIDに対応するシーン名が対応づけられて記憶される。
 次に、図6(b)は、コンテンツテーブルの一例を示す模式図である。図6(a)に示すコンテンツテーブルは、コンテンツモデルデータベース4に記憶される。コンテンツテーブルには、例えば、シーンID、参照ID、コンテンツ、コンテンツのサマリー、ハッシュ値が各々対応づけられて記憶される。シーンIDは複数存在し、その各シーンIDに対応するコンテンツサマリーが対応づけられて記憶される。コンテンツテーブルには、ユーザ端末7から取得した映像情報に基づき、ユーザ端末7に出力される複数のコンテンツが記憶される。なお、参照IDは、シーン無指定のコンテンツを含んでもよい。この場合は、シーンIDには『NULL』が記憶される。
 次に、図7(a)は、名前キャッシュテーブルの構成の一例を示す模式図であり、図7(b)は、本実施形態におけるサマリーキャッシュテーブルの構成の一例を示す模式図であり、ユーザ端末7の記憶領域に記憶される。ユーザ端末7は、例えば、管理サーバ2で生成されたシーンIDリストを受信し、記憶領域内に記憶する。ユーザ端末7は、ユーザ端末7に記憶されたシーンIDリストを参照し、その結果に基づいてシーン名リストの返信を管理サーバ2に行うことで、効率のよい絞込みを行うことが可能となる。
 また、ユーザ端末7は、例えば、管理サーバ2で生成された参照IDリストを受信し、記憶領域内に記憶する。ユーザ端末7は、ユーザ端末7に記憶された参照IDリストを参照し、その結果に基づいて参照IDリストの返信を管理サーバ2に行うことで、効率のよい絞込みを行うことが可能となる。
 次に、図8(a)は、メタテーブルの構成の一例を示す模式図であり、図8(b)は、メタカテゴリーマスターテーブルの構成の一例を示す模式図であり、図8(c)は、メタマスターテーブルの構成の一例を示す模式図である。
 まず、図8(a)に示すメタテーブルは、参照IDとメタIDが各々対応付けられ、コンテンツモデルデータベース4に記憶される。メタテーブルは、例えば、1つのコンテンツに対して、複数のメタIDが付与されてもよい。図8(b)に示すメタカテゴリーマスターテーブ及び図8(c)に示すメタマスターテーブルは、メタ情報の分類を管理するものである。例えば、『機種名』、『シリーズ名』等の情報のように、機種や商品に応じて変化するような情報ではなく、例えば、物の性質自体を表す属性として、『色』、『重量』等のように選定して記憶される。
 図9は、本実施形態における情報提供システム1の動作の一例を示すフローチャートである。
<情報提供システム1の動作>
 次に、本実施形態における情報提供システム1の動作の一例について説明する。図9は、本実施形態における情報提供システム1の動作の一例を示すフローチャートである。
<第1取得手段S100>
 まず、第1取得手段201は、ユーザ端末7からから第1映像情報を取得する(第1取得手段S100)。例えば、図12(a)に示すように、第1取得手段201は、ユーザ端末7により対象の機器の映像情報が撮影された映像情報を取得する。第1取得手段201は、例えば、公衆通信網6を介して接続される複数のユーザ端末7であってもよい。第1取得手段は、この場合、各ユーザ端末7の機器識別番号とともに第1映像情報を取得するようにしてもよい。
<第1評価手段S101>
 第1評価手段202は、シーンモデルデータベース3を参照する。シーンモデルデータベース3には、予め取得された過去の第1映像情報、前記過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、前記過去の第1映像情報と前記シーン情報との間における3段階以上のシーン連関度が記憶されており、取得した第1映像情報とシーン情報との間における第1シーン連関度を含むシーンIDリストを取得する。シーンIDは、例えば、図6(a)に示すシーンテーブルより取得されたデータがリスト化されたものとなる。
<第1生成手段S102>
 第1生成手段203は、第1評価手段202で取得されたシーンIDリストに対応するシーン名リストに基づき、シーン名リスト生成する。第1生成手段203は、例えば、図6(a)に示すシーンテーブルを参照し、対応するシーン名リストを生成する。例えば、第1評価手段202で取得されたシーンIDリストに含まれるシーンIDが『0FD』の場合、シーン名として『ABC-999装置の再起動』というシーン名が選択される。例えば、シーンIDが『0FE』の場合、シーン名として『ABC-999装置のメモリを取り外す』というシーン名が選択されることとなる。
<第2取得手段S103>
 次に、第2取得手段204は、ユーザ端末7から、第2映像情報と、シーン名リストから選択されたシーン名に対応する第1シーンIDとを1組とした対象情報を取得する。例えば、図12(b)に示すように、第2取得手段204は、ユーザ端末7により選択されたシーン名(装置D)に対応する第1シーンIDを1組とした対象情報を取得する。
<S104>
 第2評価手段205は、コンテンツモデルデータベース4を参照し、対象情報と、参照IDとの間における第1コンテンツ連関度を含む参照IDリストを取得する。参照IDリストは、例えば、参照IDとコンテンツ連関度等の情報がリスト化される。
<第2生成手段S105>
 第2生成手段206は、第2評価手段205によって取得された参照IDリストに対応する参照サマリーリストを生成する。参照サマリーリストは、参照IDに基づき、例えば図6(b)に示すコンテンツテーブルより参照IDに対応するサマリーが取得される。例えば、参照IDが『1B827-02』の場合は、対応するサマリーは『step 1 四隅のネジを外してから、両手でしっかり ・・・』となる。さらに、この参照IDサマリーリストは、例えば、ユーザ端末7のキャッシュ領域に記録されるよう構成してもよい。
<第3取得手段S106>
 第3取得手段207は、ユーザ端末7を介して、参照サマリーリストから選択された第1参照IDを取得する。第3取得手段207は、例えば、対象の参照IDのみを受信する。このような構成とすることで、ユーザ端末7と管理サーバ2の間における情報転送量を圧縮できる。例えば、図12(c)に示すように、第3取得手段207は、ユーザ端末7から、参照サマリーリストから選択された第1参照ID(『分解手順1 四隅のネジを外してから、両手…』)を取得する。
<出力手段S107>
 出力手段208は、取得した第1参照IDに対応するコンテンツを出力する。コンテンツの出力は、コンテンツ情報データベース5からコンテンツを取得し、ユーザ端末7に出力する。出力されるコンテンツは、例えば、図5に示すように、参照IDが『1B827-02』の場合は、『1B827-02/1.pdf』となる。このファイルがユーザ端末7に出力する。ユーザ端末7における出力は、例えば、図12(d)に示すように、第1参照IDに対応する参照サマリーリストから選択されたコンテンツがユーザ端末7に出力される。
 これにより、本実施形態の情報提供システム1の動作が終了する。
 図10(a)は、本実施形態におけるシーンID生成部の動作の一例を示すフローチャートであり、図10(b)は、本実施形態におけるコンテンツID生成部の動作の一例を示すフローチャートである。
<シーンID生成部の動作>
 まず、図10(a)は、本実施形態におけるシーンID生成部の動作の一例を示すフローチャートである。
 シーンID生成部は、シーン名取得手段S200、シーンID生成手段S201、第1学習手段S202により構成される。
<シーン名取得手段S200>
 シーン名取得手段S200は、シーンモデルデータベース3から、予め取得した過去の第1映像情報及び過去の第1映像情報に対応するシーン名を取得する。
<シーンID生成手段S201>
 シーンID生成手段S201は、シーン名より小さい情報量のシーンIDを、シーン名取得手段S200で取得したシーン名毎に生成する。
<第1学習手段S202>
 第1学習手段S202は、シーンIDを含むシーン情報と、過去の第1映像情報とを用いた機械学習によりシーンモデルデータベース3を生成する。
<コンテンツID生成部の動作>
 次に、図10(b)は、本実施形態におけるコンテンツID生成部の動作の一例を示すフローチャートである。
 コンテンツID生成部は、コンテンツ取得手段S205、コンテンツID生成手段S206、第2学習手段S207により構成される。
<コンテンツ取得手段S205>
 コンテンツ取得手段S205は、コンテンツモデルデータベース4から、予め取得した過去の第2映像情報及び過去の第2映像情報に対応するコンテンツを取得する。
<コンテンツID生成手段S206>
 コンテンツID生成手段S206は、コンテンツより小さい情報量のコンテンツIDを、コンテンツ取得手段S205により取得したコンテンツ毎に生成する。
<第2学習手段S207>
 第2学習手段S207は、コンテンツIDを少なくとも含む参照IDと、過去の対象情報とを用いた機械学習によりコンテンツモデルデータベースを生成する。
 図11は、本本実施形態におけるユーザ端末におけるキャッシュ領域の確認動作の一例を示すフローチャートである。
<受信手段S300>
 受信手段S300は、第1評価手段202によって取得された前記シーンIDリスト、又は第2取得手段によって取得された参照IDリストを受信する。
<判別手段S301>
 判別手段S301は、ユーザ端末7のキャッシュ領域に受信手段S300で受信したシーンIDリストに含まれるシーンIDが存在するか否か、又は受信した参照IDリストに含まれる参照IDが存在するか否かを判別する。
<問い合わせ手段S302>
 問い合わせ手段S302は、判別手段S301の結果、ユーザ端末7のキャッシュ領域に存在しない場合は、コンテンツを保有するコンテンツ情報データベース5に問い合わせを行う。
 これにより、ユーザ端末7とコンテンツ情報データベース5において、適切な情報提供を効率よく行うことが可能となる。
 また、本実施形態によれば、シーンID生成手段及びコンテンツID生成手段は、シーン名及びコンテンツよりも情報量の小さいIDを生成することができる。このため、ユーザ端末7と管理サーバ2の間において、情報量を抑えることができる。これにより、ユーザ端末7と管理サーバ2の間での絞り込みのレスポンスが向上する。さらに、新たに生成したIDでのやり取りを可能とするため、一方のデータベースを更新するとき、対象のIDの修正だけでよく、他方のデータベースを更新する必要がない。これにより、更新時間を短縮でき、フィールドにおける機器等の保全や修理等の作業準備にかかる時間、工数を削減できる。
 また、本実施形態によれば、シーンID生成部を備え、シーン名取得手段、シーンID生成手段、及び第1学習手段を有する。このため、シーンモデルデータベース3に記憶されるシーン名を取得し、シーン名より小さい情報量のシーンIDをシーン名毎に生成できる。これにより、やり取りにかかる通信量をセーブすることができ、早いレスポンスが可能となる。さらに、生成されたシーンIDは、図6(a)に示すシーンテーブルに記憶される。シーンIDは、図6(b)に示すコンテンツテーブルのコンテンツ関連の情報と対応付けられている。これにより、シーンモデルデータベース3のシーンテーブルを更新するとき、対象のIDだけ修正すればよく、他方のコンテンツモデルデータベース4を更新する必要がない。
 また、本実施形態によれば、コンテンツID生成部210を備え、コンテンツ取得手段、コンテンツID生成手段、及び第2学習手段を有する。このため、コンテンツモデルデータベース4に記憶されるコンテンツを取得し、コンテンツより小さい情報量の参照IDをコンテンツ名毎に生成できる。これにより、やり取りにかかる通信量をセーブすることができ、早いレスポンスが可能となる。さらに、生成された参照IDは、図6(b)に示すコンテンツテーブルに記憶される。参照IDは、図8(a)に示すメタテーブルのメタ情報と対応付けられている。これにより、コンテンツモデルデータベース4のコンテンツテーブルを更新するとき、対象のIDだけ修正すればよく、他方のメタテーブルを更新する必要がない。
 また、本実施形態によれば、ユーザ端末7は、頭部又は眼鏡に装着され、ユーザ端末から取得した第1映像情報に基づいて生成された情報を透過状態で表示する表示部を備える機器であればよい。このため、撮影した映像情報に基づき、管理サーバ2に取得される第1映像情報による情報の絞込みが可能となる。取得した第1映像情報に対する操作は、ユーザ端末7に備わる操作に準じて、管理サーバ2とのやり取りがなされる。例えば、何かしらのジェスチャー操作や音声指示であってもよく、ユーザ端末7と管理サーバ2との取り決めにより操作が実行されることとなる。これにより、適切な情報の取得及び提供を効率的に行うことが可能となる。
 また、本実施形態によれば、出力手段208によりユーザ端末7に出力するコンテンツは、テキスト、イラスト、動画、音声の一部、又は全部の情報であればよい。このため、既存の情報資産をそのまま活用できる。これにより、さまざまなコンテンツの提供が可能となる。これにより、既存の情報資産の中で、現場に最適なものを提供することが可能となる。
 また、本実施形態によれば、ユーザ端末7から取得した映像情報に基づき、管理サーバ2からユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供方法は、第1取得手段を行う第1工程と、シーンモデルデータベース3に記憶させる第2工程と、第1評価手段を行う第3工程と、第1生成手段を行う第4工程と、第2取得手段を行う第5工程と、コンテンツモデルデータベース4に記憶させる第6工程と、第2評価手段を行う第7工程と、第2生成手段を行う第8工程と、第3生成手段を行う第9工程と、出力手段を行う第10工程により提供することができる。
 このため、新たに対応させる場合でも、その都度学習モデルを生成する必要が無く、時間と費用がかからず、適切な情報提供を効率よく行うことができる。これにより、フィールドの状況に応じて状態の絞込みを行え、既存の情報資産をそのまま活用できる。さらに、既存の情報資産の中で、現場に最適なものを提供することが可能となる。
 本発明の実施形態を説明したが、各実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1   :情報提供システム
2   :管理サーバ
3   :シーンモデルデータベース
4   :コンテンツモデルデータベース
5   :コンテンツ情報データベース
6   :公衆通信網
7   :ユーザ端末
101 :CPU
102 :ROM
103 :RAM
104 :保存部
105~107 :I/F
108 :入力部分
109 :出力部分
110 :内部バス
201 :第1取得手段
202 :第1評価手段
203 :第1生成手段
204 :第2取得手段
205 :第2評価手段
206 :第2生成手段
207 :第3取得手段
208 :出力手段
209 :シーンID生成部
210 :コンテンツID生成部

Claims (9)

  1.  ユーザ端末から取得した映像情報に基づき、ユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供システムであって、
     前記ユーザ端末から第1映像情報を取得する第1取得手段と、
     予め取得された過去の第1映像情報、前記過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、前記過去の第1映像情報と前記シーン情報との間における3段階以上のシーン連関度が記憶されたシーンモデルデータベースと、
     前記シーンモデルデータベースを参照し、前記第1映像情報と前記シーン情報との間における第1シーン連関度を含むシーンIDリストを取得する第1評価手段と、
     前記シーンIDリストに対応するシーン名リストを生成する第1生成手段と、
     前記ユーザ端末から、第2映像情報と、前記シーン名リストから選択されたシーン名に対応する第1シーンIDとを1組とした対象情報を、取得する第2取得手段と、
    予め取得された過去の第2映像情報とシーンIDとを1組とした過去の対象情報、前記過去の対象情報に紐づけられ、前記コンテンツに対応する参照ID、及び、前記過去の対象情報と前記参照IDとの間における3段階以上のコンテンツ連関度が記憶されたコンテンツモデルデータベースと、
     前記コンテンツモデルデータベースを参照し、前記対象情報と、前記参照IDとの間における第1コンテンツ連関度を含む参照IDリストを取得する第2評価手段と、
     前記参照IDリストに対応する参照サマリーリストを生成する第2生成手段と、
     前記ユーザ端末を介して前記参照サマリーリストから選択された第1参照IDを取得する第3取得手段と、
    取得した前記第1参照IDに対応する前記コンテンツを出力する出力手段と、
     を備えることを特徴とする情報提供システム。
  2.  シーンID生成部をさらに備え、
     前記シーンID生成部は、予め取得した前記過去の第1映像情報及び前記過去の第1映像情報に対応するシーン名を取得するシーン名取得手段と、
     前記シーン名より小さい情報量の前記シーンIDを、前記取得したシーン名毎に生成するシーンID生成手段と、
     前記シーン情報と、前記過去の第1映像情報とを用いた機械学習により前記シーンモデルデータベースを生成する第1学習手段と
     を有することを特徴とする請求項1記載の情報提供システム。
  3.  コンテンツID生成部をさらに備え、
     前記コンテンツID生成部は、予め取得した前記過去の第2映像情報及び前記過去の第2映像情報に対応する前記コンテンツを取得するコンテンツ取得手段と、
     前記コンテンツより小さい情報量のコンテンツIDを、前記取得したコンテンツ毎に生成するコンテンツID生成手段と、
     前記コンテンツIDを少なくとも含む参照情報と、前記過去の対象情報とを用いた機械学習により前記コンテンツモデルデータベースを生成する第2学習手段と
     を有すること特徴とする請求項1又は2記載の情報提供システム。
  4.  前記コンテンツIDは、複数のメタ情報と対応づけられることを特徴とする請求項3記載の情報提供システム。
  5.  前記ユーザ端末は、前記第1評価手段によって取得された前記シーンIDリストを受信する受信手段と、
     前記シーンIDリストの受信の結果に応じて、前記ユーザ端末のキャッシュ領域に受信した前記シーンIDリストに含まれるシーンIDが存在するか否かを判別する判別手段と、
     前記判別の結果に応じて、前記ユーザ端末のキャッシュ領域に存在しない場合は、前記コンテンツを保有するコンテンツ情報データベースに問い合わせる問い合わせ手段と、
     をさらに備えることを特徴とする請求項1~4の何れか1項記載の情報提供システム。
  6.  前記ユーザ端末は、前記第2取得手段によって取得された前記参照IDリストを受信する受信手段と、
     前記参照IDリストの受信の結果に応じて、前記ユーザ端末のキャッシュ領域に受信した前記参照IDリストに含まれる参照IDが存在するか否かを判別する判別手段と、
     前記判別の結果に応じて、前記ユーザ端末のキャッシュ領域に存在しない場合は、前記コンテンツを保有するコンテンツ情報データベースに問い合わせる問い合わせ手段と、
     をさらに備えることを特徴とする請求項1~5の何れか1項記載の情報提供システム。
  7.  前記ユーザ端末は、頭部又は眼鏡に装着され、前記ユーザ端末から取得した第1映像情報に基づいて生成された情報を透過状態で表示する表示部を備えること
     を特徴とする請求項1~6の何れか1項記載の情報提供システム。
  8.  前記コンテンツは、少なくともテキスト、イラスト、動画、音声の一部、又は全部の情報の何れかを含むことを特徴とする請求項1~7の何れか1項記載の情報提供システム。
  9.  ユーザ端末から取得した映像情報に基づき、ユーザ端末に出力する複数のコンテンツの絞込みを行う情報提供方法であって、
     前記ユーザ端末から第1映像情報を取得する第1工程と、
     予め取得された過去の第1映像情報、前記過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、前記過去の第1映像情報と前記シーン情報との間における3段階以上のシーン連関度をシーンモデルデータベースに記憶する第2工程と、
     前記シーンモデルデータベースを参照し、前記第1映像情報と前記シーンIDとの間におけるシーン連関度を含むシーンIDリストを取得する第3工程と、
     前記シーンIDリストに対応するシーン名リストを生成する第4工程と、
     前記ユーザ端末から、第2映像情報と、前記シーン名リストから選択されたシーン名に対応する第1シーンIDとを1組とした対象情報を、取得する第5工程と、
     予め取得された過去の第2映像情報とシーンIDとを1組とした前記過去の対象情報、前記対象情報に紐づけられ、前記コンテンツに対応する参照ID、及び、前記過去の対象情報と前記参照IDとの間における3段階以上のコンテンツ連関度をコンテンツモデルデータベースに記憶する第6工程と、
     前記コンテンツモデルデータベースを参照し、前記対象情報と、前記参照IDとの間における第1コンテンツ連関度を含む参照IDリストを取得する第7工程と、
     前記参照IDリストに対応する参照サマリーリストを生成する第8工程と、
     前記ユーザ端末を介して前記参照サマリーリストから選択された第1参照IDを取得する第9工程と、
     取得した前記第1参照IDに対応する前記コンテンツを出力する第10工程と、
     を備えることを特徴とする情報提供方法。
PCT/JP2019/028626 2018-07-31 2019-07-22 情報提供システム及び情報提供方法 WO2020026871A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/604,079 US11341714B2 (en) 2018-07-31 2019-07-22 Information service system and information service method
CN201980003667.8A CN110972519B (zh) 2018-07-31 2019-07-22 信息提供系统和信息提供方法
DE112019000045.4T DE112019000045T5 (de) 2018-07-31 2019-07-22 Informationsdienstleistungssystem und Informationsdienstleistungsverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-144513 2018-07-31
JP2018144513A JP6542445B1 (ja) 2018-07-31 2018-07-31 情報提供システム及び情報提供方法

Publications (1)

Publication Number Publication Date
WO2020026871A1 true WO2020026871A1 (ja) 2020-02-06

Family

ID=67212234

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028626 WO2020026871A1 (ja) 2018-07-31 2019-07-22 情報提供システム及び情報提供方法

Country Status (5)

Country Link
US (1) US11341714B2 (ja)
JP (1) JP6542445B1 (ja)
CN (1) CN110972519B (ja)
DE (1) DE112019000045T5 (ja)
WO (1) WO2020026871A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6933345B1 (ja) * 2020-07-20 2021-09-08 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6808808B1 (ja) * 2019-12-24 2021-01-06 湯田 秋夫 眼鏡内のaiアシスタント、画像認識機能の記憶補助装置。
CN111223058B (zh) * 2019-12-27 2023-07-18 杭州雄迈集成电路技术股份有限公司 一种图像增强方法
JP6800453B1 (ja) * 2020-05-07 2020-12-16 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
CN117454142B (zh) * 2023-12-26 2024-04-16 北京奇虎科技有限公司 数据生成方法、装置、存储介质以及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092227A (ja) * 2016-11-30 2018-06-14 ソニー株式会社 提示制御装置、提示制御方法およびプログラム
JP2018097437A (ja) * 2016-12-08 2018-06-21 株式会社テレパシージャパン ウェアラブル情報表示端末及びこれを備えるシステム
JP2018097580A (ja) * 2016-12-13 2018-06-21 富士ゼロックス株式会社 情報処理装置およびプログラム

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56125691A (en) 1980-03-07 1981-10-02 Hitachi Ltd Intermediate slab executing method of nuclear reactor base
US6959235B1 (en) 1999-10-28 2005-10-25 General Electric Company Diagnosis and repair system and method
WO2003038660A2 (en) 2001-10-31 2003-05-08 Essibuy.Com Interactive electronic references systems and methods
US20040183918A1 (en) 2003-03-20 2004-09-23 Eastman Kodak Company Producing enhanced photographic products from images captured at known picture sites
US20040230564A1 (en) 2003-05-16 2004-11-18 Horatiu Simon Filtering algorithm for information retrieval systems
US8799401B1 (en) 2004-07-08 2014-08-05 Amazon Technologies, Inc. System and method for providing supplemental information relevant to selected content in media
EP1669896A3 (en) 2004-12-03 2007-03-28 Panscient Pty Ltd. A machine learning system for extracting structured records from web pages and other text sources
US20080052281A1 (en) 2006-08-23 2008-02-28 Lockheed Martin Corporation Database insertion and retrieval system and method
JP4743390B2 (ja) 2005-04-28 2011-08-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報提供装置、制御方法およびプログラム
US7627564B2 (en) 2005-06-21 2009-12-01 Microsoft Corporation High scale adaptive search systems and methods
JP4729352B2 (ja) * 2005-07-08 2011-07-20 富士通株式会社 作業支援システム,作業支援方法および作業支援用プログラム
JP4923042B2 (ja) 2006-04-04 2012-04-25 パナソニック株式会社 個人情報管理装置
JP5130732B2 (ja) 2006-07-27 2013-01-30 富士通株式会社 振り返りデータ処理方法、振り返りデータ評価方法及び装置
JP5175852B2 (ja) 2007-07-31 2013-04-03 パナソニック株式会社 映像解析装置、映像解析による人物間の評価値算出方法
JP2011090348A (ja) 2007-12-25 2011-05-06 J Magic Kk 広告管理システム、広告管理サーバ、広告管理方法、プログラム、および閲覧クライアント
US8041695B2 (en) 2008-04-18 2011-10-18 The Boeing Company Automatically extracting data from semi-structured documents
JP4876103B2 (ja) 2008-06-23 2012-02-15 株式会社日立製作所 保守点検システム
US10007882B2 (en) 2008-06-24 2018-06-26 Sharon Belenzon System, method and apparatus to determine associations among digital documents
US8994645B1 (en) * 2009-08-07 2015-03-31 Groundspeak, Inc. System and method for providing a virtual object based on physical location and tagging
JP2011170690A (ja) 2010-02-19 2011-09-01 Sony Corp 情報処理装置、情報処理方法、およびプログラム。
KR101180278B1 (ko) 2010-02-25 2012-09-07 연세대학교 산학협력단 증강 현실을 이용한 사용자 설명서 제공 단말기, 서버 및 방법
JP5515890B2 (ja) * 2010-03-15 2014-06-11 オムロン株式会社 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体
WO2012006578A2 (en) 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
US8860760B2 (en) 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US20120086792A1 (en) * 2010-10-11 2012-04-12 Microsoft Corporation Image identification and sharing on mobile devices
US8989950B2 (en) 2011-02-15 2015-03-24 Bosch Automotive Service Solutions Llc Diagnostic tool with smart camera
RU2487403C1 (ru) 2011-11-30 2013-07-10 Федеральное государственное бюджетное учреждение науки Институт системного программирования Российской академии наук Способ построения семантической модели документа
US20130266228A1 (en) 2012-04-10 2013-10-10 Siemens Industry, Inc. Automatic part identification and workflow generation
US9854328B2 (en) * 2012-07-06 2017-12-26 Arris Enterprises, Inc. Augmentation of multimedia consumption
US11397462B2 (en) * 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
JP2014085730A (ja) 2012-10-19 2014-05-12 Mitsubishi Heavy Ind Ltd 機器の損傷解析支援システム及び損傷解析支援方法
EP2775408A1 (en) 2013-03-07 2014-09-10 ABB Technology AG Mobile device for identifying devices for technical maintenance
CN103218854B (zh) * 2013-04-01 2016-04-20 成都理想境界科技有限公司 在增强现实过程中实现部件标注的方法及增强现实系统
JP6188400B2 (ja) 2013-04-26 2017-08-30 オリンパス株式会社 画像処理装置、プログラム及び画像処理方法
US9129161B2 (en) 2013-05-31 2015-09-08 Toyota Jidosha Kabushiki Kaisha Computationally efficient scene classification
US10096003B2 (en) 2013-05-31 2018-10-09 Javid Vahid Apparatus, methods and systems for knowledge based maintenance
JP2014238680A (ja) 2013-06-07 2014-12-18 株式会社日立システムズ 保守装置、保守プログラムおよび保守方法
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
KR20150105149A (ko) 2014-03-07 2015-09-16 삼성메디슨 주식회사 도움말 정보를 제공하는 의료 영상 장치 및 그 도움말 정보 제공 방법
FR3023948B1 (fr) * 2014-07-21 2017-12-22 Airbus Operations Sas Procede d'aide a la maintenance d'un aeronef par realite augmentee.
US9858720B2 (en) * 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
EP3060966B1 (en) 2014-07-30 2021-05-05 SZ DJI Technology Co., Ltd. Systems and methods for target tracking
CN104134229A (zh) * 2014-08-08 2014-11-05 李成 实时交互的增强现实系统以及方法
JP6516464B2 (ja) * 2014-12-15 2019-05-22 Kddi株式会社 ウェアラブル検索システム
DE102014226554A1 (de) 2014-12-19 2016-06-23 Robert Bosch Gmbh Identifikations- und Reparaturunterstützungs-Vorrichtung und -Verfahren
US9348920B1 (en) 2014-12-22 2016-05-24 Palantir Technologies Inc. Concept indexing among database of documents using machine learning techniques
JP6693704B2 (ja) 2015-03-30 2020-05-13 株式会社バンダイナムコエンターテインメント サーバシステム
US10354182B2 (en) 2015-10-29 2019-07-16 Microsoft Technology Licensing, Llc Identifying relevant content items using a deep-structured neural network
CN105425960B (zh) * 2015-11-12 2018-07-31 小米科技有限责任公司 信息匹配方法及装置
JP6822061B2 (ja) * 2015-11-13 2021-01-27 株式会社リコー 情報処理装置、情報処理方法、情報処理システム及びプログラム
CN107239725B (zh) * 2016-03-29 2020-10-16 阿里巴巴集团控股有限公司 一种信息展示方法、装置及系统
JPWO2017169907A1 (ja) 2016-03-29 2019-02-07 日本電気株式会社 作業支援装置、作業支援方法および記録媒体
JP6452168B2 (ja) 2016-06-15 2019-01-16 Necフィールディング株式会社 保守作業手順データ管理装置、システム、方法及びプログラム
WO2017216929A1 (ja) 2016-06-16 2017-12-21 株式会社オプティム 医療機器情報提供システム、医療機器情報提供方法及びプログラム
JP6521923B2 (ja) 2016-09-21 2019-05-29 株式会社 日立産業制御ソリューションズ 作業支援装置及び作業支援方法
US10783451B2 (en) 2016-10-12 2020-09-22 Accenture Global Solutions Limited Ensemble machine learning for structured and unstructured data
JP6719373B2 (ja) 2016-12-21 2020-07-08 ヤフー株式会社 判定システム、判定方法、及び判定プログラム
CN106920071B (zh) * 2017-02-23 2018-03-27 广东电网有限责任公司教育培训评价中心 变电站现场作业辅助方法和系统
JP6267841B1 (ja) 2017-04-28 2018-01-24 株式会社オプティム ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP7021428B2 (ja) 2017-05-15 2022-02-17 ダイキン工業株式会社 製品の情報生成システム
CN107168537B (zh) * 2017-05-19 2020-07-07 山东万腾电子科技有限公司 一种协同式增强现实的可穿戴作业指导方法及系统
JP6260979B1 (ja) 2017-06-05 2018-01-17 クリスタルメソッド株式会社 事象評価支援システム、事象評価支援装置、及び事象評価支援プログラム
CN107391984A (zh) * 2017-06-19 2017-11-24 全球能源互联网研究院 一种电力作业处理方法及系统
JP2019021150A (ja) 2017-07-20 2019-02-07 オリンパス株式会社 工事支援装置
JP2019032593A (ja) 2017-08-04 2019-02-28 オリンパス株式会社 撮影システム、撮影装置、および撮影方法
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技(深圳)有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
CN107766432A (zh) * 2017-09-18 2018-03-06 维沃移动通信有限公司 一种数据交互方法、移动终端及服务器
CN109658455B (zh) 2017-10-11 2023-04-18 阿里巴巴集团控股有限公司 图像处理方法和处理设备
CN107817897A (zh) * 2017-10-30 2018-03-20 努比亚技术有限公司 一种信息智能显示方法及移动终端
JP2018206341A (ja) 2017-11-16 2018-12-27 クリスタルメソッド株式会社 事象評価支援システム、事象評価支援装置、及び事象評価支援プログラム
US10528816B2 (en) 2017-11-30 2020-01-07 Salesforce.Com, Inc. System and method for retrieving and displaying supplemental information and pertinent data using augmented reality
US10417501B2 (en) 2017-12-06 2019-09-17 International Business Machines Corporation Object recognition in video
JP6321879B1 (ja) 2017-12-20 2018-05-09 グレイステクノロジー株式会社 作業支援システム及び作業支援プログラム
US20190236489A1 (en) 2018-01-30 2019-08-01 General Electric Company Method and system for industrial parts search, harmonization, and rationalization through digital twin technology
US10922585B2 (en) 2018-03-13 2021-02-16 Recogni Inc. Deterministic labeled data generation and artificial intelligence training pipeline
US11093747B2 (en) 2018-04-16 2021-08-17 Peerwell, Inc. Hazard recognition
US10956817B2 (en) 2018-04-18 2021-03-23 Element Ai Inc. Unsupervised domain adaptation with similarity learning for images
JP6651190B1 (ja) 2019-03-29 2020-02-19 株式会社 情報システムエンジニアリング 機械学習用のデータ構造、学習方法及び情報提供システム
US11429809B2 (en) 2019-09-24 2022-08-30 Beijing Sensetime Technology Development Co., Ltd Image processing method, image processing device, and storage medium

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092227A (ja) * 2016-11-30 2018-06-14 ソニー株式会社 提示制御装置、提示制御方法およびプログラム
JP2018097437A (ja) * 2016-12-08 2018-06-21 株式会社テレパシージャパン ウェアラブル情報表示端末及びこれを備えるシステム
JP2018097580A (ja) * 2016-12-13 2018-06-21 富士ゼロックス株式会社 情報処理装置およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6933345B1 (ja) * 2020-07-20 2021-09-08 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
WO2022019222A1 (ja) * 2020-07-20 2022-01-27 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法
JP2022020290A (ja) * 2020-07-20 2022-02-01 株式会社 情報システムエンジニアリング 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
DE112019000045T5 (de) 2020-08-06
JP6542445B1 (ja) 2019-07-10
JP2020021287A (ja) 2020-02-06
US20210166468A1 (en) 2021-06-03
US11341714B2 (en) 2022-05-24
CN110972519A (zh) 2020-04-07
CN110972519B (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
WO2020026871A1 (ja) 情報提供システム及び情報提供方法
WO2020202825A1 (ja) 情報提供システム及び情報提供方法
WO2020202824A1 (ja) 情報提供システム及び情報提供方法
JP6651190B1 (ja) 機械学習用のデータ構造、学習方法及び情報提供システム
JP4941779B2 (ja) 作業手順書生成装置、方法、及び、プログラム
CN111567060B (zh) 质量检查装置、质量检查方法及程序
JP6020196B2 (ja) 情報提供装置及びプログラム
WO2012127757A1 (ja) 履歴収集装置、推薦装置、履歴収集方法、およびコンピュータ読み取り可能な記録媒体
JP2010244151A (ja) 生産性管理方法および生産性管理装置
CN114546220A (zh) 页面配置方法及装置、存储介质、计算机设备
JP2009526309A (ja) 複数の製造業者の機器の保守を容易にする動的な情報の知識ベース
KR20180106941A (ko) 기기 정보 관리 시스템
JP2022136068A (ja) 情報表示装置、情報表示システム、情報表示プログラム、学習方法及びデータ構造
JP2013235472A (ja) 装置情報管理装置、装置情報取得システム、装置情報取得方法およびプログラム
JP2007036716A (ja) サーバ装置、撮影装置、撮影情報提供システム、撮影情報提供方法及びプログラム
US11971708B2 (en) Method for providing context based artefact access
WO2022097293A1 (ja) 連携装置、システム、方法、及び非一時的なコンピュータ可読媒体
JP7103153B2 (ja) 情報処理装置、サービス表示方法およびサービス表示プログラム
WO2017098617A1 (ja) 情報提供方法、情報提供プログラムおよび情報提供装置
JP6489250B1 (ja) 候補抽出装置、候補抽出方法及びプログラム
CN111615690B (zh) 会话控制装置、会话控制方法以及程序
JP2007041639A (ja) 部品特定プログラム
CN114371867A (zh) 关于业务规则的信息处理方法、设备和介质
JP2021189827A (ja) 電子機器、ログ収集システム、及び、電子機器の制御方法
US20090240559A1 (en) Competitor Offering Analysis for Product Catalogs

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19844363

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19844363

Country of ref document: EP

Kind code of ref document: A1