JP6651189B1 - 機械学習用のデータ構造、学習方法及び情報提供システム - Google Patents
機械学習用のデータ構造、学習方法及び情報提供システム Download PDFInfo
- Publication number
- JP6651189B1 JP6651189B1 JP2019127965A JP2019127965A JP6651189B1 JP 6651189 B1 JP6651189 B1 JP 6651189B1 JP 2019127965 A JP2019127965 A JP 2019127965A JP 2019127965 A JP2019127965 A JP 2019127965A JP 6651189 B1 JP6651189 B1 JP 6651189B1
- Authority
- JP
- Japan
- Prior art keywords
- information
- meta
- reference information
- scene
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title description 50
- 238000011156 evaluation Methods 0.000 claims abstract description 39
- 238000003384 imaging method Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 abstract description 43
- 238000010586 diagram Methods 0.000 abstract description 41
- 238000012545 processing Methods 0.000 description 50
- 238000004364 calculation method Methods 0.000 description 45
- 238000012986 modification Methods 0.000 description 33
- 230000004048 modification Effects 0.000 description 33
- 238000000605 extraction Methods 0.000 description 26
- 238000010276 construction Methods 0.000 description 22
- 230000008569 process Effects 0.000 description 21
- 230000000474 nursing effect Effects 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 239000000284 extract Substances 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 238000013473 artificial intelligence Methods 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000003306 harvesting Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001802 infusion Methods 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000003287 bathing Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000029142 excretion Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- KKJUPNGICOCCDW-UHFFFAOYSA-N 7-N,N-Dimethylamino-1,2,3,4,5-pentathiocyclooctane Chemical compound CN(C)C1CSSSSSC1 KKJUPNGICOCCDW-UHFFFAOYSA-N 0.000 description 1
- 206010012289 Dementia Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001272996 Polyphylla fullo Species 0.000 description 1
- 208000004210 Pressure Ulcer Diseases 0.000 description 1
- 230000002745 absorbent Effects 0.000 description 1
- 239000002250 absorbent Substances 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000002473 artificial blood Substances 0.000 description 1
- 238000010241 blood sampling Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003801 milling Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000004745 nonwoven fabric Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000010412 perfusion Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000000243 solution Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/432—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Library & Information Science (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Optics & Photonics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
図1〜図7を参照して、本実施形態における情報提供システム100の構成の一例について説明する。図1は、本実施形態における情報提供システム100の全体の構成を示すブロック図である。
図5は、情報提供装置1の構成の一例を示す模式図である。情報提供装置1として、パーソナルコンピュータ(PC)のほか、スマートフォンやタブレット端末等の電子機器が用いられてもよい。情報提供装置1は、筐体10と、CPU101と、ROM102と、RAM103と、保存部104と、I/F105〜107とを備える。各構成101〜107は、内部バス110により接続される。
取得部11は、取得データ等の各種情報を取得する。取得部11は、メタID推定処理用データベースを構築するための学習データを取得する。
メタID選択部12は、メタID推定処理用データベースを参照し、取得データに基づいて、複数のメタIDのうち第1メタIDを選択する。メタID選択部12は、例えば図3に示したメタID推定処理用データベースを用いた場合、取得データに含まれる「第1画像データ」と同一又は類似する評価対象情報(例えば「画像データA」)を選択する。また、メタID選択部12は、例えば図3に示したメタID推定処理用データベースを用いた場合、取得データに含まれる「第1画像データ」と「インシデント情報」と同一又は類似する評価対象情報(例えば「画像データB」と「インシデント情報A」)を選択する。
コンテンツID選択部13は、参照用データベースを参照し、第1メタIDに基づいて、複数のコンテンツIDのうち第1コンテンツIDを選択する。コンテンツID選択部13は、例えば図3に示した参照用データベースを用いた場合、選択した第1メタID「IDaa」「IDab」、「IDac」に紐づけられるコンテンツID(例えば「コンテンツID−A」「コンテンツID−B」)を第1コンテンツIDとして選択する。図3に示した参照用データベースでは、「コンテンツID−A」は、メタID「IDaa」「IDab」に紐づけられ、「コンテンツID−B」は、メタID「IDaa」「IDac」に紐づけられる。即ち、コンテンツID選択部13は、第1メタID「IDaa」「IDab」、「IDac」のうちの何れか及びこれらの組み合わせ、に紐づけられるコンテンツIDを第1コンテンツIDとして選択する。コンテンツID選択部13は、第1メタIDを検索クエリとして用い、この検索クエリに一致又は部分一致した結果を第1コンテンツIDとして選択する。
参照情報選択部14は、参照用データベースを参照し、第1コンテンツIDに基づいて、複数の参照情報のうち第1参照情報を選択する。参照情報選択部14は、例えば図3に示した参照用データベースを用いた場合、選択した第1コンテンツID「コンテンツID−A」に対応する参照情報(例えば「参照情報A」)を第1参照情報として選択する。
入力部15は、情報提供装置1に各種情報を入力する。入力部15は、I/F105を介して学習データ、取得データ等の各種情報を入力するほか、例えばI/F106を介して入力部分108から各種情報を入力する。
出力部16は、第1メタID、参照情報等を出力部分109等に出力する。出力部16は、例えば公衆通信網7を介して、ユーザ端末5等に第1メタID、参照情報等を送信する。
記憶部17は、機械学習用のデータ構造、取得データ等の各種情報を保存部104に記憶し、必要に応じて保存部104に記憶された各種情報を取出す。また、記憶部17は、メタID推定処理用データベース、参照用データベース、後述するコンテンツデータベース、後述するシーンモデルデータベース等の各種データベースを、保存部104に記憶し、必要に応じて保存部104に記憶された各種データベースを取出す。
制御部18は、本発明を適用した機械学習用のデータ構造を用いて、第1データベースを構築するための機械学習を実行する。制御部18は、線形回帰、ロジスティック回帰、サポートベクターマシーン、決定木、回帰木、ランダムフォレスト、勾配ブースティング木、ニューラルネットワーク、ベイズ、時系列、クラスタリング、アンサンブル学習等により機械学習を実行する。
計装機器4は、プラントやプロセスが使命を果たすように装備された測定装置や制御装置等の工業計器類(検出部、表示部、調整部、操作部)である。計装機器4は、ある調節計の出力が他の調節計の目標値(設定値)となるように制御するカスケード制御に用いられる計装機器であってもよい。計装機器4は、制御対象の制御出力を出している法の調節計である1次調節計であってもよいし、目標値を与えられる方の調節計である2次調節計であってもよい。計装機器4は、結果を見てから修正動作を行って制御するフィードバック制御に用いられる計装機器であってもよい。計装機器4は、外乱の影響を除去するように制御するフィードフォワード制御に用いられる計装機器であってもよい。計装機器4は、例えば、工場や製造ライン等に設置される機器である。計装機器4は、面積式流量計、タービン式流量計、容積式流量計、電磁流量計等の液体や気体の流量を測定する機器であってもよい。計装機器4は、オリフィス、ベンチュリ管、ノズル等であってもよい。計装機器4は、バルブ、アングル弁、三方弁、バタフライ弁、ダンパ、ルーパ、ボール弁等であってもよい。計装機器4は、伝送器であってもよい。計装機器4は、ダイアフラム式、電動式、電磁式、ピストン式のバルブであってもよい。計装機器4は、気圧計、真空計等の圧力を測定する機器であってもよい。計装機器4は、加速度計、慣性計測装置等の加速度を測定する機器であってもよい。計装機器4は、回路計、電流計、電圧計、抵抗計、検流計、周波数計、静電容量計、オシロスコープ、ネットワーク・アナライザ (高周波回路)、スペクトラムアナライザ、SWR計、パワー計、ディップメータ、アンテナ・アナライザ等の電気を測定する機器であってもよい。計装機器4は、温度計、体温計等の温度を測定する機器であってもよい。計装機器4は、時計、ストップウォッチ等の時間を計測する機器であってもよい。計装機器4は、分光光度計、蛍光光度計、天体望遠鏡等の光を計測する機器であってもよい。計装機器4は、電離箱、ガイガー=ミュラー計数管、シンチレーション検出器、半導体検出器流量計等の放射線を計測する機器であってもよい。計装機器4は、プラントやプロセスにおける各種計装機器を制御するための中央制御室にある、各種計装機器をモニタリングするモニタリング機器であってもよい。
ユーザ端末5は、計装機器4を管理するユーザが保有する端末を示す。ユーザ端末5として、主にHMD(ヘッドマウントディスプレイ)の1種類であるホロレンズ(登録商標)であってもよい。ユーザは、ユーザ端末5の第1メタID、第1参照情報をヘッドマウントディスプレイ又はホロレンズ等の透過して表示する表示部を介して、作業エリアや特定の計装機器を透過して確認することができる。これによりユーザは、目の前の状況を確認しつつ、取得された取得データに基づいて、選択されるマニュアル等を合わせて確認することが可能となる。ユーザ端末5は、この他、携帯電話(携帯端末)、スマートフォン、タブレット型端末、ウェアラブル端末、パーソナルコンピュータ、IoT(Internet of Things)デバイス等の電子機器のほか、あらゆる電子機器で具現化されたものが用いられてもよい。ユーザ端末5は、例えば公衆通信網7を介して情報提供装置1と接続されるほか、例えば情報提供装置1と直接接続されてもよい。ユーザは、ユーザ端末5を用いて、情報提供装置1から第1参照情報を取得するほか、例えば情報提供装置1の制御を行ってもよい。
サーバ6には、上述した各種情報が記憶される。サーバ6には、例えば公衆通信網7を介して送られてきた各種情報が蓄積される。サーバ6には、例えば保存部104と同様の情報が記憶され、公衆通信網7を介して情報提供装置1と各種情報の送受信が行われてもよい。すなわち、情報提供装置1は、保存部104の代わりにサーバ6を用いてもよい。
公衆通信網7は、情報提供装置1等が通信回路を介して接続されるインターネット網等である。公衆通信網7は、いわゆる光ファイバ通信網で構成されてもよい。また、公衆通信網7は、有線通信網には限定されず、無線通信網等の公知の通信網で実現してもよい。
次に、本実施形態における情報提供システム100の動作の一例について説明する。図7は、本実施形態における情報提供システム100の動作の一例を示すフローチャートである。
先ず、取得部11は、取得データを取得する(取得ステップS11)。取得部11は、入力部15を介して、取得データを取得する。取得部11は、ユーザ端末5により撮像された第1画像データと、サーバ6等に記憶されたインシデント情報と、を有する取得データを取得する。取得部11は、例えば記憶部17を介して取得データを保存部104に保存する。
次に、メタID選択部12は、メタID推定処理用データベースを参照し、取得データに基づいて、複数のメタIDのうち第1メタIDを選択する(メタID選択ステップS12)。メタID選択部12は、取得部11により取得された取得データを取得し、保存部104に保存されたメタID推定処理用データベースを取得する。メタID選択部12は、1つの取得データに対して1つの第1メタIDを選択するほか、例えば1つの取得データに対して複数の第1メタIDを選択してもよい。メタID選択部12は、例えば記憶部17を介して、選択した第1メタIDを保存部104に保存する。
次に、コンテンツID選択部13は、参照用データベースを参照し、第1メタIDに基づいて、複数のコンテンツIDのうち第1コンテンツIDを選択する(コンテンツID選択ステップS13)。コンテンツID選択部13は、メタID選択部12により選択された第1メタIDを取得し、保存部104に保存された参照用データベースを取得する。コンテンツID選択部13は、第1メタIDに対して1つの第1コンテンツIDを選択するほか、例えば1つの第1メタIDに対して複数の第1コンテンツIDを選択してもよい。つまり、コンテンツID選択部13は、第1メタIDを検索クエリとして用い、この検索クエリに一致又は部分一致した結果を第1コンテンツIDとして選択する。コンテンツID選択部13は、例えば記憶部17を介して、選択した第1コンテンツIDを保存部104に保存する。
次に、参照情報選択部14は、参照用データベースを参照し、第1コンテンツIDに基づいて、複数の参照情報のうち第1参照情報を選択する(参照情報選択ステップS14)。参照情報選択部14は、コンテンツID選択部13により選択された第1コンテンツIDを取得し、保存部104に保存された参照用データベースを取得する。参照情報選択部14は、1つの第1コンテンツIDに対応する1つの第1参照情報を選択する。参照情報選択部14は、複数の第1コンテンツIDを選択したとき、それぞれの第1コンテンツIDに対応するそれぞれの第1参照情報を選択してもよい。これにより、複数の第1参照情報が選択される。参照情報選択部14は、例えば記憶部17を介して、選択した第1参照情報を保存部104に保存する。
次に、情報提供装置1の第1変形例について、説明する。本変形例では、主に、第1取得部21、第1評価部22、第1生成部23、取得部11、メタID選択部12、コンテンツID選択部13が、上述した実施形態と相違する。以下では、これら相違する点について、主に説明をする。図8は、本実施形態における情報提供装置1の機能の第1変形例を示す模式図である。なお、図8に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に記憶されたプログラムを実行することにより実現される。また、各機能は、例えば人工知能により制御されてもよい。ここで、「人工知能」は、いかなる周知の人工知能技術に基づくものであってもよい。
第1取得部21は、第1映像情報を取得する。第1取得部21は、ユーザ端末5から第1映像情報を取得する。第1映像情報は、作業者によって撮影された機器や部品等であり、例えば、HMD(ヘッドマウントディスプレイ)やホロレンズ等により撮影される。撮影された映像は、リアルタイムでサーバ6に送信されてもよい。また、撮影されている映像が、第1映像情報として取得されてもよい。第1映像情報は、例えば、フィールドのユーザが備えるユーザ端末5のカメラ等により撮影された映像である。第1映像情報は、例えば、静止画、動画、何れであっても良く、ユーザによる撮影、又はユーザ端末5の設定で、自動的に撮像されてもよい。さらに、ユーザ端末5のメモリ等に記録されている映像情報に読み込ませたり、公衆通信網7経由で取得する等してもよい。
第1評価部22は、シーンモデルデータベースを参照し、第1映像情報とシーンIDを含むシーン情報との間における第1シーン連関度を含むシーンIDリストを取得する。第1評価部22は、シーンモデルデータベースを参照し、取得した第1映像情報と一致、一部一致、又は類似する過去の第1映像情報を選択し、選択された過去の第1映像情報に紐づけられたシーンIDを含むシーン情報を選択し、選択された過去の第1映像情報とシーン情報との間におけるシーン連関度に基づいて第1シーン連関度を算出する。第1評価部22は、算出された第1シーン連関度を含むシーンIDを取得し、シーンIDリストに基づいて選択されたシーン名リストを、ユーザ端末5に表示する。
第1生成部23は、第1評価部22により取得されたシーンIDリストに対応するシーン名リストを生成する。生成されるシーン名リストは、例えば、『シーンID』、『シーン連関度』等を有する。
取得部11は、第1画像データと、シーン名リストから選択されたシーン名に対応する第1シーンIDと、を1組として有する取得データを取得する。
図14は、本実施形態における情報提供システムを使用した変形例を示す模式図である。メタID選択部12は、メタID推定処理用データベースを参照し、取得データに基づいて、複数のメタIDを抽出し、複数のメタIDを含むメタIDリストを生成する。メタIDリストは、複数のメタIDがリスト化されている。メタID選択部12は、メタIDリストに対応する参照サマリーリストを生成する。詳細には、メタID選択部12は、コンテンツデータベースを参照し、生成したメタIDリストに含まれるそれぞれのメタIDに紐づくコンテンツIDを取得する。
コンテンツID選択部13は、参照用データベースとコンテンツデータベースとを参照し、第1メタIDに基づいて、複数のコンテンツIDのうち第1コンテンツIDを選択する。コンテンツID選択部13は、例えば図14に示したコンテンツデータベースを用いた場合、第1メタID「IDaa」に紐づけられるコンテンツID(例えば「コンテンツID−A」「コンテンツID−B」等)を第1コンテンツIDとして選択する。このとき、コンテンツ連関度の高い(例えばコンテンツ連関度が60%である)「コンテンツID−A」を選択するようにしてもよい。コンテンツ連関度にあらかじめ閾値を設定しておき、その閾値より高いコンテンツ連関度を有するコンテンツIDを第1コンテンツIDとして選択するようにしてもよい。
次に、本実施形態における情報提供システム100の動作の第1変形例について説明する。図18は、本実施形態における情報提供システム100の動作の第1変形例を示すフローチャートである。
まず、第1取得部21は、ユーザ端末5から第1映像情報を取得する(第1取得ステップS21)。第1取得部21は、ユーザ端末5により特定の計装機器4の映像情報が撮影された第1映像情報を取得する。
次に、第1評価部22は、シーンモデルデータベースを参照し、取得した第1映像情報とシーン情報との間における第1シーン連関度を含むシーンIDリストを取得する(第1評価ステップS22)。
次に、第1生成部23は、第1評価部22で取得されたシーンIDリストに対応するシーン名リストを生成する(第1生成ステップS23)。第1生成部23は、例えば、図13に示すシーンテーブルを参照し、取得したシーンIDリストに対応するシーン名リストを生成する。例えば、第1評価部22で取得されたシーンIDリストに含まれるシーンIDが『0FD』の場合、シーン名として『ABC-999装置の再起動』というシーン名が選択される。例えば、シーンIDが『OFE』の場合、シーン名として『ABC-999装置のメモリを取り外す』というシーン名が選択されることとなる。
次に、取得部11は、第1画像データと、シーン名リストから選択されたシーン名に対応する第1シーンIDと、を1組として有する取得データを取得する(取得ステップS24)。シーン名リストから選択されたシーン名に対応するシーンIDが第1シーンIDとなる。
次に、メタID選択部12は、取得データに基づいて、複数のメタIDを抽出し、複数のメタIDを含むメタIDリストを生成する(メタID選択ステップS25)。メタID選択部12は、メタIDリストに対応する参照サマリーリストを生成する。メタID選択部12は、生成した参照サマリーリストをユーザ端末5に送信する。そして、ユーザ端末5は、送信された参照サマリーリストから1又は複数の参照情報のサマリーと、この参照情報のサマリーに対応するメタIDと、を選択する。ユーザ端末5は、選択した参照情報のサマリーと、メタIDと、を情報提供装置1に送信する。そして、メタID選択部12は、ユーザ端末5により参照サマリーリストから選択されたメタIDを第1メタIDとして選択する。
次に、コンテンツID選択部13は、参照用データベースとコンテンツデータベースとを参照し、第1メタIDに基づいて、複数のコンテンツIDのうち第1コンテンツIDを選択する(コンテンツID選択ステップS26)。コンテンツID選択部13は、メタID選択部12により選択された第1メタIDを取得し、保存部104に保存された参照用データベースとコンテンツデータベースとを取得する。コンテンツID選択部13は、第1メタIDに対して1つの第1コンテンツIDを選択するほか、例えば1つの第1メタIDに対して複数の第1コンテンツIDを選択してもよい。コンテンツID選択部13は、例えば記憶部17を介して、選択した第1コンテンツIDを保存部104に保存する。
装置が医療機器の場合、情報提供システム100は、医療機器を使用する臨床工学技士等の医療関係者等のユーザに利用される。情報提供システム100は、主に臨床工学技士等の医療関係者が使用する医療機器を対象として用いられる。情報提供システム100は、医療機器の画像データを有する取得データから、医療機器に関する作業を行うユーザが作業を実施する上で適した第1参照情報を選択する。情報提供システム100は、例えば医療機器のマニュアルをユーザに提供できるほか、例えば医療機器に関するインシデント情報をユーザに提供できる。これにより、ユーザは、医療機器のマニュアルや医療機器に関するインシデントを把握することができる。
装置が介護機器の場合、情報提供システム100は、介護機器を使用する介護士等の介護関係者等のユーザに利用される。情報提供システム100は、主に介護士等の介護関係者が使用する介護機器を対象として用いられる。情報提供システム100は、介護機器の画像データを有する取得データから、介護機器に関する作業を行うユーザが作業を実施する上で適した第1参照情報を選択する。情報提供システム100は、例えば介護機器のマニュアルをユーザに提供できるほか、例えば介護機器に関するインシデント情報をユーザに提供できる。これにより、ユーザは、介護機器のマニュアルや介護機器に関するインシデントを把握することができる。
装置が建設機械の場合、情報提供システム100は、建設機械を使用する建設関係者等のユーザに利用される。情報提供システム100は、主に建設関係者が使用する建設機械を対象として用いられる。情報提供システム100は、建設機械の画像データを有する取得データから、建設機械に関する作業を行うユーザが作業を実施する上で適した第1参照情報を選択する。情報提供システム100は、例えば建設機械のマニュアルをユーザに提供できるほか、例えば建設機械に関するインシデント情報をユーザに提供できる。これにより、ユーザは、建設機械のマニュアルや建設機械に関するインシデントを把握することができる。
装置が工作機械の場合、情報提供システム100は、工作機械を使用するユーザに利用される。情報提供システム100は、主にユーザが使用する工作機械を対象として用いられる。情報提供システム100は、工作機械の画像データを有する取得データから、工作機械に関する作業を行うユーザが作業を実施する上で適した第1参照情報を選択する。情報提供システム100は、例えば工作機械のマニュアルをユーザに提供できるほか、例えば工作機械に関するインシデント情報をユーザに提供できる。これにより、ユーザは、工作機械のマニュアルや工作機械に関するインシデントを把握することができる。
装置が農業機械の場合、情報提供システム100は、農業機械を使用する農業関係者等のユーザに利用される。情報提供システム100は、主に農業関係者が使用する農業機械を対象として用いられる。情報提供システム100は、農業機械の画像データを有する取得データから、農業機械に関する作業を行うユーザが作業を実施する上で適した第1参照情報を選択する。情報提供システム100は、例えば農業機械のマニュアルをユーザに提供できるほか、例えば農業機械に関するインシデント情報をユーザに提供できる。これにより、ユーザは、農業機械のマニュアルや農業機械に関するインシデントを把握することができる。
装置が輸送機械の場合、情報提供システム100は、輸送機械を使用するユーザに利用される。情報提供システム100は、主にユーザが使用する輸送機械を対象として用いられる。情報提供システム100は、輸送機械の画像データを有する取得データから、輸送機械に関する作業を行うユーザが作業を実施する上で適した第1参照情報を選択する。情報提供システム100は、例えば輸送機械のマニュアルをユーザに提供できるほか、例えば輸送機械に関するインシデント情報をユーザに提供できる。これにより、ユーザは、輸送機械のマニュアルや輸送機械に関するインシデントを把握することができる。
装置がロボットの場合、情報提供システム100は、ロボットを使用するユーザに利用される。情報提供システム100は、主にユーザが使用するロボットを対象として用いられる。情報提供システム100は、ロボットの画像データを有する取得データから、ロボットに関する作業を行うユーザが作業を実施する上で適した第1参照情報を選択する。情報提供システム100は、例えばロボットのマニュアルをユーザに提供できるほか、例えばロボットに関するインシデント情報をユーザに提供できる。これにより、ユーザは、ロボットのマニュアルやロボットに関するインシデントを把握することができる。
次に、情報提供装置1の第2変形例について、説明する。本変形例では、主に、外部情報取得部31と、外部情報比較部32と、外部情報類似度算出部33と、チャンク参照情報抽出部34と、チャンク参照情報類似度算出部35と、を更に備える点で、上述した実施形態と相違する。また、保存部104に、更にコンテンツ関連性データベースと、外部情報類似度算出用データベースと、チャンク参照情報類似度推定処理用データベースとが、保存される点で、上述した実施形態と相違する。以下では、これら相違する点について、主に説明をする。図20は、本実施形態における情報提供装置1の機能の第2変形例を示す模式図である。なお、図20に示した各機能は、CPU101が、RAM103を作業領域として、保存部104等に記憶されたプログラムを実行することにより実現される。また、各機能は、例えば人工知能により制御されてもよい。ここで、「人工知能」は、いかなる周知の人工知能技術に基づくものであってもよい。
図22は、コンテンツ関連性データベースの一例を示す模式図である。コンテンツ関連性データベースは、参照情報をチャンク構造に分割した複数のチャンク参照情報と、チャンク参照情報の作成に用いられた外部情報とが記憶される。
外部情報類似度算出用データベースは、外部情報を用いて機械学習により構築される。機械学習の方法として、例えば外部情報をベクトル化した上で教師データとして学習させる。ベクトル化された外部情報は、外部情報における外部情報ラベルに対応させて、外部情報類似度算出用データベースに記憶される。ベクトル化された外部情報は、外部情報に対応させて、外部情報類似度算出用データベースに記憶されてもよい。
チャンク参照情報類似度推定処理用データベースは、チャンク参照情報を用いて機械学習により構築される。機械学習の方法として、例えばチャンク参照情報をベクトル化した上で教師データとして学習させる。ベクトル化されたチャンク参照情報は、チャンク参照情報におけるチャンク参照情報ラベルに対応させて、チャンク参照情報類似度推定処理用データベースに記憶される。ベクトル化されたチャンク参照情報は、チャンク参照情報に対応させて、チャンク参照情報類似度推定処理用データベースに記憶されてもよい。
外部情報取得部31は、外部情報、特定の外部情報等の各種情報を取得する。特定の外部情報は、これから外部情報類似度を算出すべき対象となる外部情報である。
外部情報比較部32は、コンテンツ関連性データベースに記憶された外部情報と、外部情報取得部31により取得した特定の外部情報と、を比較する。外部情報比較部32は、外部情報と、特定の外部情報と、が一致するか、一致しないか、を判定する。
外部情報類似度算出部33は、外部情報比較部32により外部情報と特定の外部情報とが一致しない場合、外部情報類似度算出用データベースを参照し、外部情報類似度算出用データベースに記憶された外部情報と、外部情報取得部31により取得された特定の外部情報と、の類似度を示す外部情報類似度を算出する。外部情報類似度算出部33は、外部情報の特徴量を用いて、外部情報類似度算出する。外部情報の特徴量として、例えば外部情報がベクトル化されて表現されてもよい。外部情報類似度算出部33は、特定の外部情報をベクトル化した上で、外部情報類似度算出用データベース内でベクトル化された外部情報とのベクトル演算により、特定の外部情報と外部情報との外部情報類似度を算出する。
チャンク参照情報抽出部34は、算出された外部情報類似度に基づいて、複数の外部情報から第1外部情報を選択し、コンテンツ関連性データベースを参照し、選択した第1外部情報に対応するチャンク参照情報を第1チャンク参照情報として抽出する。チャンク参照情報抽出部34は、複数の外部情報から1つの第1外部情報を選択したとき、選択した1つの第1外部情報に対応する1つのチャンク参照情報を第1チャンク参照情報として抽出する。また、チャンク参照情報抽出部34は、複数の第1外部情報を選択したとき、選択したそれぞれの第1外部情報に対応するチャンク参照情報をそれぞれ第1チャンク参照情報として抽出してもよい。
チャンク参照情報類似度算出部35は、チャンク参照情報類似度推定処理用データベースを参照し、チャンク参照情報と、チャンク参照情報抽出部34により抽出された第1チャンク参照情報と、の類似度を示すチャンク参照情報類似度を算出する。チャンク参照情報類似度算出部35は、チャンク参照情報の特徴量を用いて、チャンク参照情報類似度を算出する。チャンク参照情報の特徴量として、例えばチャンク参照情報がベクトル化されて表現されてもよい。チャンク参照情報類似度算出部35は、特定のチャンク参照情報をベクトル化した上で、チャンク参照情報類似度推定処理用データベース内でベクトル化されたチャンク参照情報とのベクトル演算により、特定のチャンク参照情報とチャンク参照情報とのチャンク参照情報類似度を算出する。
次に、本実施形態における情報提供システム100の動作の第2変形例について説明する。図25は、本実施形態における情報提供システム100の動作の第2変形例を示すフローチャートである。
外部情報取得部31は、例えば仕様書等がチャンク構造に分割された外部情報を特定の外部情報として1又は複数取得する(外部情報取得ステップS31)。外部情報取得ステップS31は、参照情報選択ステップS14の後に行われる。
次に、外部情報比較部32は、コンテンツ関連性データベースに記憶された外部情報と、外部情報取得部31により取得した特定の外部情報と、を比較する(外部情報比較ステップS32)。外部情報比較部32は、外部情報と、特定の外部情報と、が一致するか、一致しないか、を判定する。
次に、外部情報類似度算出部33は、外部情報比較部32により外部情報と特定の外部情報とが一致しない場合、外部情報類似度算出用データベースを参照し、外部情報類似度算出用データベースに記憶された外部情報と、外部情報取得部31により取得された特定の外部情報と、の類似度を示す外部情報類似度を算出する(外部情報類似度算出ステップS33)。
チャンク参照情報抽出部34は、算出された外部情報類似度に基づいて、複数の外部情報から第1外部情報を選択し、コンテンツ関連性データベースを参照し、選択した第1外部情報に対応するチャンク参照情報を第1チャンク参照情報として抽出する(第1チャンク参照情報抽出ステップS34)。
次に、チャンク参照情報類似度算出部35は、チャンク参照情報類似度推定処理用データベースを参照し、チャンク参照情報類似度推定処理用データベースに記憶されたチャンク参照情報と、チャンク参照情報抽出部34により抽出された第1チャンク参照情報と、の類似度を示すチャンク参照情報類似度を算出する(チャンク参照情報類似度算出ステップS35)。
次に、チャンク参照情報抽出部34は、チャンク参照情報類似度に基づいて、第1チャンク参照情報とは異なる第2チャンク参照情報を更に1又は複数抽出する(第2チャンク参照情報抽出ステップS36)。
情報提供装置1の第3変形例では、外部情報取得部31と、外部情報比較部32と、外部情報類似度算出部33と、チャンク参照情報抽出部34と、チャンク参照情報類似度算出部35と、を備える。また、保存部104に、更にコンテンツ関連性データベースと、外部情報類似度算出用データベースと、チャンク参照情報類似度推定処理用データベースとが、保存される。
情報提供装置1の第4変形例では、更にアクセス制御部を備える点で、第2変形例及び第3変形例と相違する。アクセス制御部は、例えば、CPU101が、RAM103を作業領域として、保存部104等に記憶されたプログラムを実行することにより実現される。
4 :計装機器
5 :ユーザ端末
6 :サーバ
7 :公衆通信網
10 :筐体
11 :取得部
12 :メタID選択部
13 :コンテンツID選択部
14 :参照情報選択部
15 :入力部
16 :出力部
17 :記憶部
18 :制御部
21 :第1取得部
22 :第1評価部
23 :第1生成部
31 :外部情報取得部
32 :外部情報比較部
33 :外部情報類似度算出部
34 :チャンク参照情報抽出部
35 :チャンク参照情報類似度算出部
100 :情報提供システム
101 :CPU
102 :ROM
103 :RAM
104 :保存部
105 :I/F
106 :I/F
107 :I/F
108 :入力部分
109 :出力部分
110 :内部バス
S11 :取得ステップ
S12 :メタID選択ステップ
S13 :コンテンツID選択ステップ
S14 :参照情報選択ステップ
S21 :第1取得ステップ
S22 :第1評価ステップ
S23 :第1生成ステップ
S24 :取得ステップ
S25 :メタID選択ステップ
S31 :外部情報取得部ステップ
S32 :外部情報比較ステップ
S33 :外部情報類似度算出ステップ
S34 :第1チャンク参照情報抽出ステップ
S35 :チャンク参照情報類似度算出ステップ
S36 :第2チャンク参照情報抽出ステップ
Claims (2)
- 装置に関する作業を行うユーザが作業を実施する上で適した参照情報を選択する情報提供システムであって、
特定の装置及び前記特定の装置を識別するための特定の識別ラベル、を撮像した第1画像データを有する取得データを取得する取得手段と、
画像データを有する評価対象情報、及び前記評価対象情報に紐づくメタID、を有する学習データを複数備えた機械学習用のデータ構造を用いて、機械学習により構築された第1データベースと、
前記第1データベースを参照し、前記取得データに基づいて、複数の前記メタIDのうち第1メタIDを選択するメタID選択手段と、
前記メタIDに紐づくコンテンツIDと、前記コンテンツIDに対応する前記参照情報とが複数記憶された第2データベースと、
前記第2データベースを参照し、前記第1メタIDに基づいて、複数の前記コンテンツIDのうち第1コンテンツIDを選択するコンテンツID選択手段と、
前記第2データベースを参照し、前記第1コンテンツIDに基づいて、複数の前記参照情報のうち第1参照情報を選択する参照情報選択手段とを備え、
前記画像データは、
前記装置と、
前記装置を識別するための識別ラベルと、
を示す画像を有し、
第1映像情報を取得する第1取得手段と、
予め取得された過去の第1映像情報、前記過去の第1映像情報に紐づけられたシーンIDを含むシーン情報、及び、前記過去の第1映像情報と前記シーン情報との間における3段階以上のシーン連関度が記憶されたシーンモデルデータベースと、
前記シーンモデルデータベースを参照し、前記第1映像情報と前記シーン情報との間における第1シーン連関度を含むシーンIDリストを取得する第1評価手段と、
前記シーンIDリストに対応するシーン名リストを生成する第1生成手段と、更に備え、
前記取得手段は、前記第1画像データと、前記シーン名リストから選択されたシーン名に対応する第1シーンIDと、を1組として有する前記取得データを取得すること
を特徴とする情報提供システム。 - 前記メタID選択手段は、
複数の前記メタIDを含むメタIDリストを生成し、
前記メタIDリストに対応する参照サマリーリストを生成し、
前記参照サマリーリストから選択された前記第1メタIDを選択すること
を特徴とする請求項1記載の情報提供システム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/962,085 US11651023B2 (en) | 2019-03-29 | 2020-03-25 | Information providing system |
CN202011308857.1A CN112287148A (zh) | 2019-03-29 | 2020-03-25 | 信息提供系统 |
CN202080002402.9A CN112020711A (zh) | 2019-03-29 | 2020-03-25 | 信息提供系统 |
DE112020000012.5T DE112020000012T5 (de) | 2019-03-29 | 2020-03-25 | Informations-Bereitstellungssystem |
DE112020000028T DE112020000028A5 (de) | 2019-03-29 | 2020-03-25 | Informations-Bereitstellungssystem |
PCT/JP2020/013358 WO2020203561A1 (ja) | 2019-03-29 | 2020-03-25 | 情報提供システム |
US17/029,980 US11934446B2 (en) | 2019-03-29 | 2020-09-23 | Information providing system |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019069367 | 2019-03-29 | ||
JP2019069367 | 2019-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6651189B1 true JP6651189B1 (ja) | 2020-02-19 |
JP2020166803A JP2020166803A (ja) | 2020-10-08 |
Family
ID=69568431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019127965A Active JP6651189B1 (ja) | 2019-03-29 | 2019-07-09 | 機械学習用のデータ構造、学習方法及び情報提供システム |
Country Status (5)
Country | Link |
---|---|
US (2) | US11651023B2 (ja) |
JP (1) | JP6651189B1 (ja) |
CN (2) | CN112020711A (ja) |
DE (2) | DE112020000028A5 (ja) |
WO (1) | WO2020203561A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021084807A1 (ja) * | 2019-10-31 | 2021-05-06 | 株式会社 情報システムエンジニアリング | 情報提供システム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6800453B1 (ja) * | 2020-05-07 | 2020-12-16 | 株式会社 情報システムエンジニアリング | 情報処理装置及び情報処理方法 |
EP4386643A1 (en) | 2022-12-12 | 2024-06-19 | Bayerische Motoren Werke Aktiengesellschaft | Method for counting a value of a usage of traverse bar for motor vehicles in a production line of the motor vehicle, computer program product, computer-readable storage medium as well as production line |
Family Cites Families (123)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS56125691A (en) | 1980-03-07 | 1981-10-02 | Hitachi Ltd | Intermediate slab executing method of nuclear reactor base |
CA2096374C (en) | 1992-05-18 | 2006-08-08 | Michael A. Sandifer | Computer aided maintenance and repair information system for equipment subject to regulatory compliance |
US6959235B1 (en) | 1999-10-28 | 2005-10-25 | General Electric Company | Diagnosis and repair system and method |
US7225399B2 (en) | 2001-10-31 | 2007-05-29 | Engineered Support System, Inc. | Systems and methods for generating interactive electronic reference materials |
US7039625B2 (en) | 2002-11-22 | 2006-05-02 | International Business Machines Corporation | International information search and delivery system providing search results personalized to a particular natural language |
US20040183918A1 (en) | 2003-03-20 | 2004-09-23 | Eastman Kodak Company | Producing enhanced photographic products from images captured at known picture sites |
US20040230564A1 (en) | 2003-05-16 | 2004-11-18 | Horatiu Simon | Filtering algorithm for information retrieval systems |
US7296011B2 (en) * | 2003-06-20 | 2007-11-13 | Microsoft Corporation | Efficient fuzzy match for evaluating data records |
JP2005196540A (ja) | 2004-01-08 | 2005-07-21 | Sony Corp | メタデータ関連情報管理システム,メタデータ関連情報管理方法,関連メタデータ管理サーバ,メタデータ参照端末およびコンピュータプログラム |
US9799060B2 (en) | 2004-04-01 | 2017-10-24 | Google Inc. | Content access with handheld document data capture devices |
US8799401B1 (en) * | 2004-07-08 | 2014-08-05 | Amazon Technologies, Inc. | System and method for providing supplemental information relevant to selected content in media |
EP1669896A3 (en) | 2004-12-03 | 2007-03-28 | Panscient Pty Ltd. | A machine learning system for extracting structured records from web pages and other text sources |
US20060136362A1 (en) | 2004-12-22 | 2006-06-22 | Jones Michael P | Systems and methods for data conversion |
US20080052281A1 (en) | 2006-08-23 | 2008-02-28 | Lockheed Martin Corporation | Database insertion and retrieval system and method |
US7444216B2 (en) | 2005-01-14 | 2008-10-28 | Mobile Productivity, Inc. | User interface for display of task specific information |
JP4743390B2 (ja) | 2005-04-28 | 2011-08-10 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 情報提供装置、制御方法およびプログラム |
US8732025B2 (en) * | 2005-05-09 | 2014-05-20 | Google Inc. | System and method for enabling image recognition and searching of remote content on display |
US7627564B2 (en) | 2005-06-21 | 2009-12-01 | Microsoft Corporation | High scale adaptive search systems and methods |
CN101416198B (zh) * | 2006-04-04 | 2010-09-01 | 松下电器产业株式会社 | 个人信息管理装置 |
JP2008022103A (ja) * | 2006-07-11 | 2008-01-31 | Matsushita Electric Ind Co Ltd | テレビ番組動画像ハイライト抽出装置及び方法 |
JP5130732B2 (ja) | 2006-07-27 | 2013-01-30 | 富士通株式会社 | 振り返りデータ処理方法、振り返りデータ評価方法及び装置 |
WO2009016833A1 (ja) | 2007-07-31 | 2009-02-05 | Panasonic Corporation | 映像解析装置、映像解析による人物間の評価値算出方法 |
JP2011090348A (ja) | 2007-12-25 | 2011-05-06 | J Magic Kk | 広告管理システム、広告管理サーバ、広告管理方法、プログラム、および閲覧クライアント |
US8041695B2 (en) | 2008-04-18 | 2011-10-18 | The Boeing Company | Automatically extracting data from semi-structured documents |
JP4876103B2 (ja) * | 2008-06-23 | 2012-02-15 | 株式会社日立製作所 | 保守点検システム |
KR20110027729A (ko) | 2008-06-24 | 2011-03-16 | 샤론 벨렌손 | 특허 문헌에 적용 가능한 검색 엔진 및 그 방법 |
CN101315652A (zh) * | 2008-07-17 | 2008-12-03 | 张小粤 | 医院内部的临床医学信息系统的构成及其信息查询方法 |
JP2011170690A (ja) | 2010-02-19 | 2011-09-01 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム。 |
KR101180278B1 (ko) | 2010-02-25 | 2012-09-07 | 연세대학교 산학협력단 | 증강 현실을 이용한 사용자 설명서 제공 단말기, 서버 및 방법 |
JP5515890B2 (ja) | 2010-03-15 | 2014-06-11 | オムロン株式会社 | 画像処理装置、画像処理方法、画像処理システム、制御プログラムおよび記録媒体 |
JP2011198245A (ja) | 2010-03-23 | 2011-10-06 | Canon Inc | 文書管理システム |
WO2012006578A2 (en) * | 2010-07-08 | 2012-01-12 | The Regents Of The University Of California | End-to-end visual recognition system and methods |
US8860760B2 (en) | 2010-09-25 | 2014-10-14 | Teledyne Scientific & Imaging, Llc | Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene |
US20120086792A1 (en) | 2010-10-11 | 2012-04-12 | Microsoft Corporation | Image identification and sharing on mobile devices |
US8989950B2 (en) | 2011-02-15 | 2015-03-24 | Bosch Automotive Service Solutions Llc | Diagnostic tool with smart camera |
US20130010068A1 (en) * | 2011-04-12 | 2013-01-10 | Radiation Monitoring Devices, Inc. | Augmented reality system |
US9367770B2 (en) * | 2011-08-30 | 2016-06-14 | Digimarc Corporation | Methods and arrangements for identifying objects |
RU2487403C1 (ru) | 2011-11-30 | 2013-07-10 | Федеральное государственное бюджетное учреждение науки Институт системного программирования Российской академии наук | Способ построения семантической модели документа |
CN103294693A (zh) * | 2012-02-27 | 2013-09-11 | 华为技术有限公司 | 搜索方法、服务器及系统 |
CN103365924B (zh) * | 2012-04-09 | 2016-04-06 | 北京大学 | 一种互联网信息搜索的方法、装置和终端 |
US20130266228A1 (en) * | 2012-04-10 | 2013-10-10 | Siemens Industry, Inc. | Automatic part identification and workflow generation |
US9854328B2 (en) | 2012-07-06 | 2017-12-26 | Arris Enterprises, Inc. | Augmentation of multimedia consumption |
US8757485B2 (en) * | 2012-09-05 | 2014-06-24 | Greatbatch Ltd. | System and method for using clinician programmer and clinician programming data for inventory and manufacturing prediction and control |
US9336541B2 (en) * | 2012-09-21 | 2016-05-10 | Paypal, Inc. | Augmented reality product instructions, tutorials and visualizations |
JP2014085730A (ja) | 2012-10-19 | 2014-05-12 | Mitsubishi Heavy Ind Ltd | 機器の損傷解析支援システム及び損傷解析支援方法 |
US20140111542A1 (en) * | 2012-10-20 | 2014-04-24 | James Yoong-Siang Wan | Platform for recognising text using mobile devices with a built-in device video camera and automatically retrieving associated content based on the recognised text |
CN103064936B (zh) * | 2012-12-24 | 2018-03-30 | 北京百度网讯科技有限公司 | 一种基于语音输入的图像信息提取分析方法及装置 |
US10438050B2 (en) | 2013-02-27 | 2019-10-08 | Hitachi, Ltd. | Image analysis device, image analysis system, and image analysis method |
EP2775408A1 (en) * | 2013-03-07 | 2014-09-10 | ABB Technology AG | Mobile device for identifying devices for technical maintenance |
JP6188400B2 (ja) | 2013-04-26 | 2017-08-30 | オリンパス株式会社 | 画像処理装置、プログラム及び画像処理方法 |
US20140320677A1 (en) | 2013-04-26 | 2014-10-30 | iStoc Oy | Portable electrical device, external entity, and system comprising them |
JP2014224877A (ja) | 2013-05-15 | 2014-12-04 | 株式会社ベネッセコーポレーション | 学習支援システム、表示制御方法、プログラム及び情報記憶媒体 |
US10096003B2 (en) * | 2013-05-31 | 2018-10-09 | Javid Vahid | Apparatus, methods and systems for knowledge based maintenance |
US9129161B2 (en) * | 2013-05-31 | 2015-09-08 | Toyota Jidosha Kabushiki Kaisha | Computationally efficient scene classification |
WO2014195945A1 (en) * | 2013-06-05 | 2014-12-11 | Top Image Systems Ltd. | Document information retrieval for augmented reality display |
JP2014238680A (ja) * | 2013-06-07 | 2014-12-18 | 株式会社日立システムズ | 保守装置、保守プログラムおよび保守方法 |
JP2015106862A (ja) | 2013-12-02 | 2015-06-08 | 日本放送協会 | コンテンツ情報取得装置およびそのプログラム、ならびに、コンテンツ配信装置 |
CN103699625B (zh) * | 2013-12-20 | 2017-05-10 | 北京百度网讯科技有限公司 | 基于关键词进行检索的方法及装置 |
KR20150105149A (ko) | 2014-03-07 | 2015-09-16 | 삼성메디슨 주식회사 | 도움말 정보를 제공하는 의료 영상 장치 및 그 도움말 정보 제공 방법 |
CN103886063B (zh) * | 2014-03-18 | 2017-03-08 | 国家电网公司 | 一种文本检索方法和装置 |
FR3023948B1 (fr) * | 2014-07-21 | 2017-12-22 | Airbus Operations Sas | Procede d'aide a la maintenance d'un aeronef par realite augmentee. |
WO2016015251A1 (en) | 2014-07-30 | 2016-02-04 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
US9697432B2 (en) * | 2014-12-09 | 2017-07-04 | International Business Machines Corporation | Generating support instructions by leveraging augmented reality |
DE102014226554A1 (de) * | 2014-12-19 | 2016-06-23 | Robert Bosch Gmbh | Identifikations- und Reparaturunterstützungs-Vorrichtung und -Verfahren |
US9348920B1 (en) | 2014-12-22 | 2016-05-24 | Palantir Technologies Inc. | Concept indexing among database of documents using machine learning techniques |
JP6693704B2 (ja) | 2015-03-30 | 2020-05-13 | 株式会社バンダイナムコエンターテインメント | サーバシステム |
WO2016170786A1 (ja) | 2015-04-21 | 2016-10-27 | パナソニックIpマネジメント株式会社 | 情報処理システム、情報処理方法、およびプログラム |
CN106294358A (zh) * | 2015-05-14 | 2017-01-04 | 北京大学 | 一种信息的检索方法及系统 |
US10600015B2 (en) | 2015-06-24 | 2020-03-24 | Karl Storz Se & Co. Kg | Context-aware user interface for integrated operating room |
US10354182B2 (en) | 2015-10-29 | 2019-07-16 | Microsoft Technology Licensing, Llc | Identifying relevant content items using a deep-structured neural network |
CN106815252B (zh) * | 2015-12-01 | 2020-08-25 | 阿里巴巴集团控股有限公司 | 一种搜索方法和设备 |
WO2017169907A1 (ja) | 2016-03-29 | 2017-10-05 | 日本電気株式会社 | 作業支援装置、作業支援方法および記録媒体 |
US11210777B2 (en) * | 2016-04-28 | 2021-12-28 | Blancco Technology Group IP Oy | System and method for detection of mobile device fault conditions |
JP6452168B2 (ja) | 2016-06-15 | 2019-01-16 | Necフィールディング株式会社 | 保守作業手順データ管理装置、システム、方法及びプログラム |
WO2017216929A1 (ja) | 2016-06-16 | 2017-12-21 | 株式会社オプティム | 医療機器情報提供システム、医療機器情報提供方法及びプログラム |
JP6521923B2 (ja) | 2016-09-21 | 2019-05-29 | 株式会社 日立産業制御ソリューションズ | 作業支援装置及び作業支援方法 |
US10783451B2 (en) | 2016-10-12 | 2020-09-22 | Accenture Global Solutions Limited | Ensemble machine learning for structured and unstructured data |
CN107958007B (zh) * | 2016-10-18 | 2022-03-29 | 浙江格林蓝德信息技术有限公司 | 病例信息检索方法及装置 |
US20180150598A1 (en) * | 2016-11-30 | 2018-05-31 | General Electric Company | Methods and systems for compliance accreditation for medical diagnostic imaging |
JP2018092227A (ja) | 2016-11-30 | 2018-06-14 | ソニー株式会社 | 提示制御装置、提示制御方法およびプログラム |
JP2018097437A (ja) | 2016-12-08 | 2018-06-21 | 株式会社テレパシージャパン | ウェアラブル情報表示端末及びこれを備えるシステム |
JP6883195B2 (ja) | 2016-12-13 | 2021-06-09 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置およびプログラム |
JP6719373B2 (ja) | 2016-12-21 | 2020-07-08 | ヤフー株式会社 | 判定システム、判定方法、及び判定プログラム |
CN106920071B (zh) | 2017-02-23 | 2018-03-27 | 广东电网有限责任公司教育培训评价中心 | 变电站现场作业辅助方法和系统 |
WO2018198319A1 (ja) | 2017-04-28 | 2018-11-01 | 株式会社オプティム | ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム |
EP3401918A1 (en) | 2017-05-12 | 2018-11-14 | Samsung Electronics Co., Ltd. | Method of providing scan protocol information to medical devices and electronic devices |
JP7021428B2 (ja) | 2017-05-15 | 2022-02-17 | ダイキン工業株式会社 | 製品の情報生成システム |
US10152571B1 (en) | 2017-05-25 | 2018-12-11 | Enlitic, Inc. | Chest x-ray differential diagnosis system |
JP6260979B1 (ja) | 2017-06-05 | 2018-01-17 | クリスタルメソッド株式会社 | 事象評価支援システム、事象評価支援装置、及び事象評価支援プログラム |
JP6582328B2 (ja) * | 2017-06-20 | 2019-10-02 | 本田技研工業株式会社 | 情報出力システム、情報出力方法、及びプログラム |
JP2019021150A (ja) | 2017-07-20 | 2019-02-07 | オリンパス株式会社 | 工事支援装置 |
CN107403194B (zh) | 2017-07-26 | 2020-12-18 | 广州慧扬健康科技有限公司 | 基于t-SNE的皮肤癌图像识别可视化系统 |
JP2019032593A (ja) | 2017-08-04 | 2019-02-28 | オリンパス株式会社 | 撮影システム、撮影装置、および撮影方法 |
CN107491518B (zh) * | 2017-08-15 | 2020-08-04 | 北京百度网讯科技有限公司 | 一种搜索召回方法和装置、服务器、存储介质 |
CN109658455B (zh) | 2017-10-11 | 2023-04-18 | 阿里巴巴集团控股有限公司 | 图像处理方法和处理设备 |
WO2019079430A1 (en) | 2017-10-17 | 2019-04-25 | Verily Life Sciences Llc | SYSTEMS AND METHODS FOR SEGMENTING SURGICAL VIDEOS |
US20190122124A1 (en) | 2017-10-23 | 2019-04-25 | Honeywell International Inc. | System and method for cognitive troubleshooting assistance |
JP6936957B2 (ja) | 2017-11-07 | 2021-09-22 | オムロン株式会社 | 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム |
JP2018206341A (ja) | 2017-11-16 | 2018-12-27 | クリスタルメソッド株式会社 | 事象評価支援システム、事象評価支援装置、及び事象評価支援プログラム |
US11222081B2 (en) * | 2017-11-27 | 2022-01-11 | Evoqua Water Technologies Llc | Off-line electronic documentation solutions |
US10528816B2 (en) * | 2017-11-30 | 2020-01-07 | Salesforce.Com, Inc. | System and method for retrieving and displaying supplemental information and pertinent data using augmented reality |
US10417501B2 (en) * | 2017-12-06 | 2019-09-17 | International Business Machines Corporation | Object recognition in video |
JP6321879B1 (ja) | 2017-12-20 | 2018-05-09 | グレイステクノロジー株式会社 | 作業支援システム及び作業支援プログラム |
JP6924413B2 (ja) | 2017-12-25 | 2021-08-25 | オムロン株式会社 | データ生成装置、データ生成方法及びデータ生成プログラム |
US20190236489A1 (en) | 2018-01-30 | 2019-08-01 | General Electric Company | Method and system for industrial parts search, harmonization, and rationalization through digital twin technology |
US10592726B2 (en) * | 2018-02-08 | 2020-03-17 | Ford Motor Company | Manufacturing part identification using computer vision and machine learning |
US10517681B2 (en) | 2018-02-27 | 2019-12-31 | NavLab, Inc. | Artificial intelligence guidance system for robotic surgery |
US10796153B2 (en) * | 2018-03-12 | 2020-10-06 | International Business Machines Corporation | System for maintenance and repair using augmented reality |
US10922585B2 (en) * | 2018-03-13 | 2021-02-16 | Recogni Inc. | Deterministic labeled data generation and artificial intelligence training pipeline |
US11093747B2 (en) | 2018-04-16 | 2021-08-17 | Peerwell, Inc. | Hazard recognition |
US10956817B2 (en) | 2018-04-18 | 2021-03-23 | Element Ai Inc. | Unsupervised domain adaptation with similarity learning for images |
US10768605B2 (en) | 2018-07-23 | 2020-09-08 | Accenture Global Solutions Limited | Augmented reality (AR) based fault detection and maintenance |
US10810543B2 (en) * | 2018-07-30 | 2020-10-20 | Maplebear, Inc. | Populating catalog data with item properties based on segmentation and classification models |
US10482675B1 (en) * | 2018-09-28 | 2019-11-19 | The Toronto-Dominion Bank | System and method for presenting placards in augmented reality |
WO2020120180A1 (en) | 2018-12-10 | 2020-06-18 | Koninklijke Philips N.V. | Systems and methods for augmented reality-enhanced field services support |
CN109782902A (zh) | 2018-12-17 | 2019-05-21 | 中国科学院深圳先进技术研究院 | 一种操作提示方法及眼镜 |
US10755128B2 (en) | 2018-12-18 | 2020-08-25 | Slyce Acquisition Inc. | Scene and user-input context aided visual search |
US11531901B2 (en) * | 2018-12-26 | 2022-12-20 | General Electric Company | Imaging modality smart find maintenance systems and methods |
JP6651190B1 (ja) | 2019-03-29 | 2020-02-19 | 株式会社 情報システムエンジニアリング | 機械学習用のデータ構造、学習方法及び情報提供システム |
US11429809B2 (en) | 2019-09-24 | 2022-08-30 | Beijing Sensetime Technology Development Co., Ltd | Image processing method, image processing device, and storage medium |
JP6800453B1 (ja) | 2020-05-07 | 2020-12-16 | 株式会社 情報システムエンジニアリング | 情報処理装置及び情報処理方法 |
JP6933345B1 (ja) | 2020-07-20 | 2021-09-08 | 株式会社 情報システムエンジニアリング | 情報処理装置及び情報処理方法 |
KR102419018B1 (ko) * | 2021-08-05 | 2022-07-08 | 한화시스템 주식회사 | 항공기 정보 관리 시스템 및 항공기 정비방법 |
-
2019
- 2019-07-09 JP JP2019127965A patent/JP6651189B1/ja active Active
-
2020
- 2020-03-25 WO PCT/JP2020/013358 patent/WO2020203561A1/ja active Application Filing
- 2020-03-25 CN CN202080002402.9A patent/CN112020711A/zh active Pending
- 2020-03-25 DE DE112020000028T patent/DE112020000028A5/de active Pending
- 2020-03-25 DE DE112020000012.5T patent/DE112020000012T5/de active Pending
- 2020-03-25 CN CN202011308857.1A patent/CN112287148A/zh active Pending
- 2020-03-25 US US16/962,085 patent/US11651023B2/en active Active
- 2020-09-23 US US17/029,980 patent/US11934446B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021084807A1 (ja) * | 2019-10-31 | 2021-05-06 | 株式会社 情報システムエンジニアリング | 情報提供システム |
Also Published As
Publication number | Publication date |
---|---|
US20220019614A1 (en) | 2022-01-20 |
US20210011944A1 (en) | 2021-01-14 |
CN112020711A (zh) | 2020-12-01 |
JP2020166803A (ja) | 2020-10-08 |
CN112287148A (zh) | 2021-01-29 |
WO2020203561A1 (ja) | 2020-10-08 |
US11934446B2 (en) | 2024-03-19 |
DE112020000028A5 (de) | 2021-03-04 |
US11651023B2 (en) | 2023-05-16 |
DE112020000012T5 (de) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6651189B1 (ja) | 機械学習用のデータ構造、学習方法及び情報提供システム | |
Nguyen et al. | Skeleton-based abnormal gait detection | |
WO2021084822A1 (ja) | 情報提供システム | |
Neloy et al. | Machine learning based health prediction system using IBM cloud as PaaS | |
Strzelecki et al. | Machine learning for biomedical application | |
WO2020203558A1 (ja) | 学習方法及び情報提供システム | |
CN117423423B (zh) | 一种基于卷积神经网络的健康档案整合方法、设备及介质 | |
Mansouri et al. | Predicting hospital length of stay of neonates admitted to the NICU using data mining techniques | |
Vicente-Samper et al. | Intelligent monitoring platform to evaluate the overall state of people with neurological disorders | |
TW202032578A (zh) | 應用於臨床輔助診斷的模組化醫學檢驗決策支援系統及方法 | |
DE112020000028A1 (de) | Informations-Bereitstellungssystem | |
Permanasari et al. | A web-based decision support system of patient time prediction using iterative dichotomiser 3 algorithm | |
WO2020203560A1 (ja) | 学習方法及び情報提供システム | |
Gomula et al. | A preliminary attempt to rules generation for mental disorders | |
Zhang et al. | Revolutionizing healthcare mapping with quantum remote sensing based data analysis using deep learning model | |
Kurdi | Toward an Electronic Resource for Systematic Reviews in Computing | |
Wu et al. | iT2DMS: a standard-based diabetic disease data repository and its pilot experiment on diabetic retinopathy phenotyping and examination results integration | |
Chen et al. | Joint prediction scheme of pulmonary infection risk after renal transplantation | |
Kumar et al. | Role of Artificial Intelligence in e-Health ATM for Rural Health Care | |
CN109313928A (zh) | 医疗信息提供系统以及医疗信息提供方法 | |
TJ | An Android Based Monitoring and Alarm System for Patients with Chronic Obtrusive Disease. | |
Alotaibi et al. | Optimal Deep Recurrent Neural Networks for IoT-enabled Human Activity Recognition in Elderly and Disabled Persons | |
JP2023013487A (ja) | 学習システム、学習装置、学習方法、及びプログラム | |
Cedeno-Moreno et al. | Computer Vision System Based on the Analysis of Gait Features for Fall Risk Assessment in Elderly People | |
Syahidin et al. | Hybrid Methods for Feature Selection Algorithms in the Field of Medical Records |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190717 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190801 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190801 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191015 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6651189 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |