JP7365967B2 - 行動選択システム及び行動選択方法 - Google Patents
行動選択システム及び行動選択方法 Download PDFInfo
- Publication number
- JP7365967B2 JP7365967B2 JP2020092616A JP2020092616A JP7365967B2 JP 7365967 B2 JP7365967 B2 JP 7365967B2 JP 2020092616 A JP2020092616 A JP 2020092616A JP 2020092616 A JP2020092616 A JP 2020092616A JP 7365967 B2 JP7365967 B2 JP 7365967B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- state
- transition
- target system
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 title claims description 187
- 238000010187 selection method Methods 0.000 title claims description 11
- 230000007704 transition Effects 0.000 claims description 137
- 238000000034 method Methods 0.000 claims description 119
- 230000003542 behavioural effect Effects 0.000 claims description 36
- 238000013480 data collection Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 description 115
- 230000006399 behavior Effects 0.000 description 84
- 238000012545 processing Methods 0.000 description 38
- 238000010586 diagram Methods 0.000 description 22
- 238000004519 manufacturing process Methods 0.000 description 13
- 230000008859 change Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000002787 reinforcement Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 3
- 102200097286 rs199472825 Human genes 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図4は、事前行動選択情報生成部5の事前行動選択情報生成処理を示すフローチャートである。事前行動選択情報生成部5は、制御部2の指示により事前行動選択情報生成処理を開始し(S201)、事前行動頻度情報生成部10が事前行動頻度情報生成処理を行い(S202)、事前遷移確率生成部11が事前遷移確率生成処理を行い(S203)、事前行動則生成部12が事前行動則生成処理を行い(S204)、事前表示情報生成部13が事前表示情報生成処理を行い(S205)、事前行動選択情報生成処理を終了する(S206)。
Claims (12)
- 対象システムの遷移元状態と、前記対象システムの行動と、該行動により該遷移元状態から遷移した前記対象システムの遷移後状態と、を対応付けた時系列の実績データを前記対象システムから収集するデータ収集部と、
前記対象システムの現在の状態を前記遷移元状態とし、前記実績データから、該遷移元状態と、該遷移元状態において前記対象システムが取るべき行動と、該行動により前記対象システムが該遷移元状態から遷移すると予測される前記遷移後状態と、を対応付けた行動則を生成する事前行動選択情報生成部とを有し、
前記事前行動選択情報生成部は、
前記実績データにおいて前記遷移元状態と前記行動と前記遷移後状態の全てが一致するレコード毎に頻度を算出し、該遷移元状態と該行動と該遷移後状態と該頻度とを対応付けた行動頻度情報を生成する行動頻度情報生成部と、
前記行動頻度情報において異なる前記行動により同一の前記遷移元状態から異なる前記遷移後状態に遷移するそれぞれの遷移確率を各頻度に基づいて算出し、該遷移元状態と該行動と該遷移後状態と該遷移確率とを対応付けた遷移確率情報を生成する遷移確率生成部と、
前記遷移確率情報に基づいて、前記遷移元状態から該遷移元状態と接続する前記遷移後状態のうちで状態価値が最も高い前記遷移後状態へ遷移する場合の前記行動と該遷移元状態と該遷移後状態とを対応付けた前記行動則を生成する行動則生成部と
を有することを特徴とする行動選択システム。 - 請求項1に記載の行動選択システムにおいて、
前記事前行動選択情報生成部は、
前記遷移確率情報及び前記行動則を表示するための表示データを生成し、該表示データをもとに前記遷移確率情報及び前記行動則を表示部に表示させる事前表示情報生成部
をさらに有することを特徴とする行動選択システム。 - 請求項1に記載の行動選択システムにおいて、
前記対象システムの現在の状態と前記行動則に基づいて、該現在の状態に対応する前記対象システムが取るべき前記行動を推奨行動として選択する運用時行動選択情報生成部
をさらに有することを特徴とする行動選択システム。 - 請求項3に記載の行動選択システムにおいて、
前記運用時行動選択情報生成部は、
前記推奨行動を選択する行動選択部と、
前記行動選択部によって選択された前記推奨行動を前記対象システムに対して指示する行動指示部と
を有することを特徴とする行動選択システム。 - 請求項4に記載の行動選択システムにおいて、
前記運用時行動選択情報生成部は、
前記対象システムの現在の状態と前記推奨行動と前記予測される遷移後状態を表示するための表示データを生成し、該表示データをもとに、前記対象システムの現在の状態と前記推奨行動と前記予測される遷移後状態を表示部に表示させる運用時表示情報生成部
をさらに有することを特徴とする行動選択システム。 - 請求項5に記載の行動選択システムにおいて、
前記運用時表示情報生成部は、
前記対象システムの現在の状態から取るべき行動の入力を受け付ける入力手段を前記表示部に表示させるためのデータを含んだ前記表示データを生成し、
前記行動指示部は、
前記表示データをもとに前記表示部に表示された前記入力手段を介して前記取るべき行動の入力を受け付けた場合に、前記推奨行動に代えて、該取るべき行動を前記対象システムに対して指示する
ことを特徴とする行動選択システム。 - 請求項5に記載の行動選択システムにおいて、
前記運用時表示情報生成部は、
前記対象システムが選択した行動の時系列情報を前記表示部に表示させるためのデータを含んだ前記表示データを生成し、前記表示データをもとに、該時系列情報を前記表示部に表示させる
ことを特徴とする行動選択システム。 - 行動選択システムが行う行動選択方法であって、
対象システムの遷移元状態と、前記対象システムの行動と、該行動により該遷移元状態から遷移した前記対象システムの遷移後状態と、を対応付けた時系列の実績データを前記対象システムから収集するデータ収集ステップと、
前記対象システムの現在の状態を前記遷移元状態とし、前記実績データから、該遷移元状態と、該遷移元状態において前記対象システムが取るべき行動と、該行動により前記対象システムが該遷移元状態から遷移すると予測される前記遷移後状態と、を対応付けた行動則を生成する事前行動選択情報生成ステップと
を有し、
前記事前行動選択情報生成ステップでは、
前記実績データにおいて前記遷移元状態と前記行動と前記遷移後状態の全てが一致するレコード毎に頻度を算出し、該遷移元状態と該行動と該遷移後状態と該頻度とを対応付けた行動頻度情報を生成する行動頻度情報生成ステップと、
前記行動頻度情報において異なる前記行動により同一の前記遷移元状態から異なる前記遷移後状態に遷移するそれぞれの遷移確率を各頻度に基づいて算出し、該遷移元状態と該行動と該遷移後状態と該遷移確率とを対応付けた遷移確率情報を生成する遷移確率生成ステップと、
前記遷移確率情報に基づいて、前記遷移元状態から該遷移元状態と接続する前記遷移後状態のうちで状態価値が最も高い前記遷移後状態へ遷移する場合の前記行動と該遷移元状態と該遷移後状態とを対応付けた前記行動則を生成する行動則生成ステップと
を有することを特徴とする行動選択方法。 - 請求項8に記載の行動選択方法において、
前記対象システムの現在の状態と前記行動則に基づいて、該現在の状態に対応する前記対象システムが取るべき前記行動を推奨行動として選択する運用時行動選択情報生成ステップ
をさらに有することを特徴とする行動選択方法。 - 請求項9に記載の行動選択方法において、
前記運用時行動選択情報生成ステップは、
前記推奨行動を選択する行動選択ステップと、
前記行動選択ステップによって選択された前記推奨行動を前記対象システムに対して指示する行動指示ステップと
を有することを特徴とする行動選択方法。 - 請求項10に記載の行動選択方法において、
前記運用時行動選択情報生成ステップは、
前記対象システムの現在の状態と前記推奨行動と前記予測される遷移後状態を表示するための表示データを生成し、該表示データをもとに、前記対象システムの現在の状態と前記推奨行動と前記予測される遷移後状態を表示部に表示させる運用時表示情報生成ステップ
をさらに有することを特徴とする行動選択方法。 - 請求項11に記載の行動選択方法において、
前記運用時表示情報生成ステップは、
前記対象システムの現在の状態から取るべき行動の入力を受け付ける入力手段を前記表示部に表示させるためのデータを含んだ前記表示データを生成し、
前記行動指示ステップは、
前記表示データをもとに前記表示部に表示された前記入力手段を介して前記取るべき行動の入力を受け付けた場合に、前記推奨行動に代えて、該取るべき行動を前記対象システムに対して指示する
ことを特徴とする行動選択方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020092616A JP7365967B2 (ja) | 2020-05-27 | 2020-05-27 | 行動選択システム及び行動選択方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020092616A JP7365967B2 (ja) | 2020-05-27 | 2020-05-27 | 行動選択システム及び行動選択方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021189621A JP2021189621A (ja) | 2021-12-13 |
JP7365967B2 true JP7365967B2 (ja) | 2023-10-20 |
Family
ID=78850288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020092616A Active JP7365967B2 (ja) | 2020-05-27 | 2020-05-27 | 行動選択システム及び行動選択方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7365967B2 (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004102681A (ja) | 2002-09-10 | 2004-04-02 | Fujitsu Ltd | 行動データ表示方法および行動データ表示装置 |
JP2011204036A (ja) | 2010-03-25 | 2011-10-13 | Institute Of National Colleges Of Technology Japan | 経験強化型強化学習システム、経験強化型強化学習方法および経験強化型強化学習プログラム |
JP2013058059A (ja) | 2011-09-08 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
JP2017199267A (ja) | 2016-04-28 | 2017-11-02 | 富士通株式会社 | フロー生成プログラム、フロー生成方法およびフロー生成装置 |
JP2018126799A (ja) | 2017-02-06 | 2018-08-16 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
JP2018151876A (ja) | 2017-03-13 | 2018-09-27 | 株式会社日立製作所 | 機械学習に使用される経験を格納する経験データベースを更新する方法 |
US20190220744A1 (en) | 2018-01-17 | 2019-07-18 | Hengshuai Yao | Method of generating training data for training a neural network, method of training a neural network and using neural network for autonomous operations |
JP2019139352A (ja) | 2018-02-07 | 2019-08-22 | 株式会社ロボケン | 情報処理装置、情報処理装置の制御方法及びプログラム |
US20190385022A1 (en) | 2018-06-15 | 2019-12-19 | Google Llc | Self-supervised robotic object interaction |
JP2020056737A (ja) | 2018-10-04 | 2020-04-09 | 株式会社明電舎 | 自動操縦ロボットの制御装置及び制御方法 |
-
2020
- 2020-05-27 JP JP2020092616A patent/JP7365967B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004102681A (ja) | 2002-09-10 | 2004-04-02 | Fujitsu Ltd | 行動データ表示方法および行動データ表示装置 |
JP2011204036A (ja) | 2010-03-25 | 2011-10-13 | Institute Of National Colleges Of Technology Japan | 経験強化型強化学習システム、経験強化型強化学習方法および経験強化型強化学習プログラム |
JP2013058059A (ja) | 2011-09-08 | 2013-03-28 | Sony Corp | 情報処理装置、情報処理方法、及び、プログラム |
JP2017199267A (ja) | 2016-04-28 | 2017-11-02 | 富士通株式会社 | フロー生成プログラム、フロー生成方法およびフロー生成装置 |
JP2018126799A (ja) | 2017-02-06 | 2018-08-16 | セイコーエプソン株式会社 | 制御装置、ロボットおよびロボットシステム |
JP2018151876A (ja) | 2017-03-13 | 2018-09-27 | 株式会社日立製作所 | 機械学習に使用される経験を格納する経験データベースを更新する方法 |
US20190220744A1 (en) | 2018-01-17 | 2019-07-18 | Hengshuai Yao | Method of generating training data for training a neural network, method of training a neural network and using neural network for autonomous operations |
JP2019139352A (ja) | 2018-02-07 | 2019-08-22 | 株式会社ロボケン | 情報処理装置、情報処理装置の制御方法及びプログラム |
US20190385022A1 (en) | 2018-06-15 | 2019-12-19 | Google Llc | Self-supervised robotic object interaction |
JP2020056737A (ja) | 2018-10-04 | 2020-04-09 | 株式会社明電舎 | 自動操縦ロボットの制御装置及び制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021189621A (ja) | 2021-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5218109B2 (ja) | 可視化データ処理装置、可視化データ処理装置の制御方法、及び可視化データ処理装置の制御プログラム | |
CN110462644A (zh) | 用于系统的自动化和控制的认知工程技术的系统和方法 | |
JP7064356B2 (ja) | 将来状態推定装置および将来状態推定方法 | |
JP7365967B2 (ja) | 行動選択システム及び行動選択方法 | |
Lipovszki et al. | Simulating complex systems and processes in LabVIEW | |
CN112654943A (zh) | 制造系统设计辅助装置 | |
JP3369734B2 (ja) | 3次元計算機支援設計装置及び方法 | |
JP6567720B1 (ja) | データ前処理装置、データ前処理方法及びデータ前処理プログラム | |
JP2608085B2 (ja) | 生産計画シミュレーション装置 | |
JP7044730B2 (ja) | 生産設備運転支援システムおよび生産設備運転支援方法 | |
Shalin | The roles of humans and computers in distributed planning for dynamic domains | |
Hultgren et al. | The concept of digital twins in the manufacturing industry: A study untangling the digital twin concept to utilize its benefits | |
JP6775740B1 (ja) | 設計支援装置、設計支援方法及び設計支援プログラム | |
JP2022045731A (ja) | 情報処理装置、情報処理システムおよび情報処理方法 | |
WO2024090367A1 (ja) | 情報処理方法、コンピュータプログラム及び情報処理装置 | |
JP2585311B2 (ja) | プログラム作成方法 | |
Preiss | Future CAD systems | |
JPH1145176A (ja) | 編集装置、編集方法及び記録媒体 | |
JP5208891B2 (ja) | ハイブリッドモデルシミュレーション装置および方法 | |
JP3720867B2 (ja) | 候補解生成方法および装置 | |
JP7380376B2 (ja) | 情報処理装置およびラダープログラムを表示するためのプログラム | |
JP7259322B2 (ja) | 情報処理装置、学習モデル生成プログラム及び学習モデル生成方法 | |
Byrnes et al. | Visualizing proof search for theorem prover development | |
KR20010043870A (ko) | 프로그램머블 컨트롤러의 주변장치 및 그 주변장치의모니터 방법 | |
JPH0421229B2 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220707 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230530 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230704 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231010 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7365967 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |