JP6689507B2 - 情報処理システム - Google Patents
情報処理システム Download PDFInfo
- Publication number
- JP6689507B2 JP6689507B2 JP2019542650A JP2019542650A JP6689507B2 JP 6689507 B2 JP6689507 B2 JP 6689507B2 JP 2019542650 A JP2019542650 A JP 2019542650A JP 2019542650 A JP2019542650 A JP 2019542650A JP 6689507 B2 JP6689507 B2 JP 6689507B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- model
- function
- data
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 18
- 238000000034 method Methods 0.000 claims description 40
- 230000007115 recruitment Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 99
- 238000010801 machine learning Methods 0.000 description 30
- 238000012790 confirmation Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Stored Programmes (AREA)
Description
学習データを入力するデータ入力手段と、
学習方法を入力する学習方法入力手段と、
前記データ入力手段により入力された所定の前記学習データと、前記学習方法入力手段により入力された所定の前記学習方法の組を選択する学習条件選択手段と、
前記学習条件選択手段により選択された前記学習データを含むデータ又は学習方法の少なくともいずれか一方を用いて学習を実行する学習手段と、
前記学習手段により実行された学習の結果の採用又は不採用を決定する採用決定手段と、
推論方法を入力する推論入力手段と、
前記採用決定手段により採用が決定された前記学習の結果と、前記推論入力手段により入力された前記推論方法とを組にしてモデルバージョンとし、前記モデルバージョンを1つ又はそれ以上を、管理するタスク毎に用意するモデル管理手段と、
前記モデル管理手段に紐づいた実行選択手段であって、当該モデル管理手段の管理するモデルバージョンと実行環境を選択する実行選択手段と、
前記実行選択手段により選択された前記実行環境において、前記実行選択手段により選択された前記モデルバージョンを実行させる実行選択手段と、
を備える。
機械学習管理運用システムは、サーバとクライアント等ネットワークを介する複数台の情報装置により構成される実施形態等、各種各様な実施形態を取ることができる。ただし、以下説明の便宜上、本実施形態では、機械学習管理運用システムは、図1に示す情報処理装置で構成されるものとして説明する。
RAM13には、CPU11又はGPU14が各種の処理を実行する上において必要なデータ等も適宜記憶される。
入力部18は、各種ハードウェア鉛等で構成され、各種情報を入力する。
記憶部19は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部20は、インターネットを含むネットワークNを介して他の装置との間で行う通信を制御する。
また、図1の学習処理装置の記憶部19においては、学習データが記憶される学習データDB200と、モデルの各バージョンが記憶されるモデルDB300及びモデルDB400と、実行環境データが記憶される実行環境データDB500とが設けられる。
即ち、図2の例では、モデルDB300やモデルDB400の夫々は、所定の1つのタスクについて、1つ又はそれ以上のモデルバージョン(図2の例ではいずれも3つのモデルバージョン)を記憶する。そこで、モデル管理部107は、このようなモデルDB300やモデルDB400等のタスク毎のモデルDBを用いて、各モデルバージョンをタスク毎に管理することもできる。
即ち、データの収集状況に応じてモデルを更新したり、様々な実行環境で動かすという運用が従来大変であったという課題が存在した。
本発明が適用される機械学習管理運用システムは、モデル管理の容易化を図ることができるため、このような課題を解決可能である、という効果を奏することができる。
図3の例の学習ジョブ進行状況確認画面は、図1の出力部17に表示される。なお、この点は、後述する図4の例及び図5の例でも同様である。
ユーザは、図3の例の学習ジョブ進行状況確認画面を用いることで、学習部14(図2)で実行される学習についてのひとつの学習定義(Job Definition)にたいして、複数の学習ジョブの夫々を相互に独立して個別に実行することができる。
ここで、学習定義は、例えばVer.11やVer.12等の複数のバージョンで管理されており、所定のバージョンの学習定義が上述の「ひとつの学習定義」に相当する。
学習ジョブには、学習部104で学習が実行される際に用いられるもの、即ち、学習条件選択部103により選択されたデータ又は学習方法の少なくともいずれか一方が含まれている。
ユーザは、図3の例の学習ジョブ進行状況確認画面を用いることで、複数のジョブの夫々について、「ステータス」、「コメント」、「実行ユーザ」、「進行状況」、「対応する学習定義のバージョン」、「任意で定義した項目と数値」、「経過時間」、「実行開始日時」、「ジョブ実行時のログ」、「学習状況詳細確認」の確認、及び「学習結果のダウンロード」をすることができる。
図4の例の学習ジョブ進行状況確認画面は、図3の例の学習ジョブ進行状況確認画面のうち下側の「Main」に相当するものであるが、図3の例とは異なる状況(実行ユーザがコメントを記載している状況)のものである。
例えば実行ユーザは、図4の例の学習ジョブ進行状況確認画面を用いることで、各学習ジョブの夫々にコメントを残すことができる。その結果、機械学習管理運用システム(図1の情報処理装置1)は、当該学習ジョブを実行した経緯や結果へのコメントを記録することができる。一定期間をおいてからの確認、又は実行ユーザ以外のユーザが学習ジョブを調査するときに有用である。
図5の例の学習ジョブ進行状況確認画面は、図3の例の学習ジョブ進行状況確認画面のうち下側の「Main」に相当するものであるが、図3及び図4の各例とは異なる状況(実行ユーザがコメントを記載している状況)のものである。
ユーザは、図5の例の学習ジョブ進行状況確認画面を用いること(特に同図の太線枠で囲まれている箇所を視認すること)で、「任意で定義した項目と数値」、「ステータス」、及び「進行状況」の指標により、複数ある学習ジョブのうちからもっとも効果が高いと思われる学習ジョブを選択し、又は順序づけをして、それらを図1の出力部17に表示する機能を機械学習管理運用システム(図1の情報処理装置1)に発揮させることができる。
図6の例のモデルのバージョン管理画面は、図1の出力部17に表示される。なお、この点は、後述する図7の例及び図8の例でも同様である。
ユーザは、図6の例のモデルのバージョン管理画面を用いることで、モデル管理部107により管理されている(モデルDB300やモデルDB400等に記憶されている)モデルバージョンの更新履歴及び更新毎に使用したソースコードを管理できる。ユーザは、モデルバージョンの夫々の更新において、そのバージョン番号(Version)及び、更新時のコメントを記録させることができる。ユーザは、コメントに、更新の経緯や、デプロイした結果のメモ等記録させることができる。
図7の例のモデルのバージョン確認画面は、図6の例のモデルのバージョン管理画面のうち右上の領域に相当するものであるが、図6の例とは異なる状況(ユーザが新たなモデルバージョンの作成を所望している状況)のものである。
ユーザは、図7の例のモデルのバージョン管理画面において、“Create Version“のソフトウェアボタンを押下操作することにより、新たなモデルバージョン(モデルの新規バージョン)を作成することができる。
上述の図7の例のモデルのバージョン管理画面において、“Create Version“のソフトウェアボタンの押下操作がなされると、図1の出力部17に表示される画面が、図8の例のモデルのバージョン管理画面に遷移する。
ユーザは、図8の例のモデルのバージョン管理画面を用いることで、新たなモデルバージョン(モデルの新規バージョン)の作成(その指示操作)ができると共に、「バージョン番号(Version)」や「利用する実行環境」の設定その他の設定を指定できる。
図9の例のモデルバージョン管理画面は、図8の例のモデルのバージョン管理画面のうち下側の領域に相当するものである。換言すると、ユーザは、新たなモデルバージョン(モデルの新規バージョン)の作成(その指示操作)をしている際に、スクロール操作等をすることで、図1の出力部17に表示される画面を、図8の例のモデルのバージョン管理画面から図9の例のモデルのバージョン管理画面に遷移させることができる。
ユーザは、図9の例のモデルのバージョン管理画面において、“Source Code”の下方の灰色の領域に対して、ソースコード(アイコン)をドラッグ&ドロップさせる操作をするか、又は、選択ダイアログから該当ファイル(ソースコード)を選択する操作をすることができる。
(1)クラウドでのモデル学習のデータを利用したAIコンサルティング推薦システム。
(2)学習結果と共にモデルのソースコードを独立して管理する機能。
(3)Super Awesome Model Platform(samp)の機能。
(4)モデル学習の達成度に応じた課金プランの機能。
(5)精度改善を保証したBlue/Greenデプロイメントの機能。
(6)Web API(Application Programming Interface)の確認用インターフェースを有する機能。
(7)同じモデルをデプロイメントという概念を用いて、用途毎に管理する機能。
(8)推論のリクエスト(生データ)と推論のレスポンス(推論結果)を自動保存的に保存する機能。
(9)推論結果に関しての可視化(モニタリング、グラフ化)、及びアラートの機能。
(10)推論結果の可視化の機能。
(11)推論結果の真値チェックの機能。
推薦システムは、クラウドのみで完結しているので、ユーザの行動履歴を把握できている。
例えば、これくらいのデータとこれくらいのカテゴリに対して、これくらいの精度しか出てないのはおかしい、となった場合に、推薦システムは、コンサルタントに相談しよう、とユーザに推薦することができる。
ユーザは、推薦システムを利用することで、ソースコードを解析して利用しているネットワーク等がわかる。
推薦システムは、チャットボットと比較しての独創性があるものである。
推薦システムは、そこから適切なコンサルティングを推薦できる。
推薦システムは、行動履歴に応じて、困ったポイントをあらかじめ理解した状態でコンサルタントに依頼を出すことができる。
推薦システムは、日本、インド、US、世界各国に対応できる。
その結果、推薦システムは、ユーザの行動履歴及びモデルの学習に用いるソースコードを解析することにより、適切なタイミングで適切なAIコンサルティングを推薦することが可能になる、という効果を奏することができる。
従来において、ローカルでの開発だとディレクトリによる管理等、手運用になってしまう。
これに対して、機能(2)により、学習に使用したデータセット、コード、パラメータ、ログがバージョン管理されたモデルのソースコードがクラウド上で紐づけられている。
その結果、学習結果とソースコードを別管理できるので、ライセンスの問題を解決できる。
さらに、機能(2)は、ソフトウェア著作権とモデルの権利を分けて管理できる。
その結果、機能(2)は、モデル学習の結果として生成される成果物と推論を実行するソースコードを別々のコンポーネントとして管理することで、夫々に異なる権利/ランセンスを適用できる、という効果を奏することができる。
機能(3)は、入出力データの前処理を利用者(ユーザ)から隠蔽して提供している。
機能(3)は、ユーザのプログラムと実行環境を独立にするための仕組みである。
機能(3)は、HTTP(Hypertext Transfer Protocol)である。
機能(3)は、クラウド上でのイベント駆動できる。
機能(3)は、エッジデバイス上での実行できる。
機能(3)は、一ユーザとしての開発者の作業工数の削減ができる。
機能(4)は、機械学習クラウドオンリーの新しい効果を有する。
機能(4)は、学習結果に満足できない場合はコミットをしないことでコスト削減できる。
機能(4)は、学習に時間がかかる場合は延長できる。
機能(4)は、最終的にキャンセルすることもできる。
即ち、クラウドでのモデル学習において「オープン」と「コミット」という操作を以下のように定義するものとする。
「オープン」は、学習の開始を表すものとする。「コミット」は、学習を完了し、学習結果からモデルを作成することを表すものとする。
この場合、機能(4)は、モデル学習の課金を「オープン」時と「コミット」時に課金されるようにし、「オープン」時の価格を「コミット」時の価格よりも低く抑えることで、顧客(ユーザ)は学習が完了するまでのコストを削減することができる、という効果を奏することができる。
機能(5)は、UI(User Interface)上で瞬時に切り替えることができる。
機能(5)は、ひとつ或いは複数のテストデータセットを各エンドポイントにリクエストとして送ることで、異なるバージョン間の精度比較ができる。
機能(5)は、精度比較は可視化されており、ベストなものをプライマリーとして選択できる。
その結果、機能(5)は、APIのアップデート時に、同一のデータセットを用いて、現行バージョンと新バージョンの精度の比較をすることができる。比較結果を確認しながら、新バージョンに切り替えるかどうかを決定できる、という効果を奏することができる。
機能(5)は、同一条件下における複数バージョンの精度比較結果をBlue/Greenデプロイメントに用いることができる。
機能(6)のインターフェースは、入力画像と出力の比較のしやすさを維持しつつ、視認性を上げるために夫々の描画領域を独立させている。
機能(6)は、入力画像の加工ができる。
機能(6)は、アノテーションサービスと紐づいているデータレイクのファイルを入力等に使える。
機能(6)は、結果と比較もできる。
機能(6)は、出力結果を解析してbounding boxを入力画像に重ねたり、出力を工夫できる。
機能(6)により、Webブラウザで利用可能な確認用のインターフェースが用意できる。
このインターフェースは、入力データ描画エリアと出力データ描画エリアの分かれており、夫々を独立してスクロール可能である。これによって、入力画像と出力の比較のしやすさを維持しつつ、視認性を上げている。
入力データとしては以下のデータ(a)乃至(c)が利用可能である。
(a)プラットフォームに組み込まれたサンプル画像。
(b)アップロードした画像。
(c)データレイクに保存された画像と教師データ(非構造化テキストデータ)。
ここで、データ(c)の教師データがある場合は、非構造化テキストデータを解析して、色分けされた矩形として画像に重ね合わせることで視認性を向上させる。
出力データとしては非構造化テキストデータ又は画像を推論結果として取得することができる。
その場合、画像の場合はそのまま描画する。また、非構造化テキストデータを解析し、色分けされた矩形として画像に重ね合わせる。
機能(6)は、これらのインターフェースを提供することができるので、入力と出力の比較が容易になるという効果を奏することができる。
その結果、機能(7)は、あるモデルを複数のインフラストラクチャー上で実行でき、実行に必要なインフラストラクチャーの規模やプログラムの設定を「デプロイメント」という単位で管理できる、という効果を奏することができる。
即ち、推論は、100%の精度が出るわけでも、100%正しいわけでもない。そのため、推論したデータと結果を確認しないと正しい精度を測ることができない。さらに精度を向上させるアクションも難しい。あとから精度をチェックするための仕組みが必要となる。
機能(8)は、このような課題を解決することができるので、推論した結果を自動的に保存することで、あとから簡単に精度のチェックができる、という効果を奏することができる。
即ち、推論を行う外部環境で一定水準を満たさないケースが起こりうる。例えばカメラで人数カウントを行う場合、カメラ設置環境の証明を変えるだけでも精度に大きく関わり精度が下がる場合がある。その場合は異常検知して対処する必要がある。
機能(9)は、このような課題を解決することができるので、異常にいち早く検知し、対処することができる、という効果を奏することができる。
即ち、推論した結果が正しいのかを数値では測れないケースにおいて、人の目で確認し精度をチェックする必要になる。確認しやすいようにデータの保存とデータのチェックが必要になる。
機能(10)は、データのチェックを行うための開発やワークフローが不要になる、という効果を奏することができる。
即ち、推論した結果が正しいのかを数値では測れないケースにおいて、人の目で確認し精度をチェックする必要がある。推論した結果をサンプリングした一部のデータに対して人手のアノテーション代行を行い、真値をチェックする。
その結果、機能(11)は、真値チェックするための人のアサイン、管理コストを下げることができる、という効果を奏することができる。
換言すると、図2の機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が機械学習管理運用システムに備えられていれば足り、機械学習管理運用システムの構成は特に図1の例に限定されず、かつ、この機能を実現するためにどのような機能ブロックを用いるのかは特に図2の例に限定されない。また、機能ブロックの存在場所も、図2に特に限定されず、任意でよい。例えば、機械学習管理運用システムはサーバとクライアントとを含む構成としてもよく、この場合、図1の情報処理装置1の各機能ブロックをサーバ又はクライアントに分散させて移譲させてもよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
即ち、本発明が適用される情報処理システムは、
学習データを入力するデータ入力手段(例えば図2の学習データ入力部101)と、
学習方法を入力する学習方法入力手段(例えば図2の学習方法入力部102)と、
前記データ入力手段により入力された所定の前記学習データと、前記学習方法入力手段により入力された所定の前記学習方法の組を選択する学習条件選択手段(例えば図2の学習条件選択部103)と、
前記学習条件選択手段により選択された前記学習データを含むデータ又は学習方法の少なくともいずれか一方を用いて学習を実行する学習手段(例えば図2の学習部104)と、
前記学習手段により実行された学習の結果の採用又は不採用を決定する採用決定手段(例えば図2の採用決定部105)と、
推論方法を入力する推論入力手段(例えば図2の推論入力部106)と、
前記採用決定手段により採用が決定された前記学習の結果と、前記推論入力手段により入力された前記推論方法とを組にしてモデルバージョンとし、前記モデルバージョンを1つ又はそれ以上を、管理するタスク毎に用意するモデル管理手段(例えば図2のモデル管理部107)と、
前記モデル管理手段に紐づいた実行選択手段であって、当該モデル管理手段の管理するモデルバージョンと実行環境を選択する実行選択手段(例えば図2の実行選択部108)と、
前記実行選択手段により選択された前記実行環境において、前記実行選択手段により選択された前記モデルバージョンを実行させる実行選択手段(例えば図2の実行実施部109)と、
を備える。
Claims (1)
- 学習データを入力するデータ入力手段と、
学習方法を入力する学習方法入力手段と、
前記データ入力手段により入力された所定の前記学習データと、前記学習方法入力手段により入力された所定の前記学習方法の組を選択する学習条件選択手段と、
前記学習条件選択手段により選択された前記学習データを含むデータ又は学習方法の少なくともいずれか一方を用いて学習を実行する学習手段と、
前記学習手段により実行された学習の結果の採用又は不採用を決定する採用決定手段と、
推論方法を入力する推論入力手段と、
前記採用決定手段により採用が決定された前記学習の結果と、前記推論入力手段により入力された前記推論方法とを組にしてモデルバージョンとし、前記モデルバージョンを1つ又はそれ以上を、管理するタスク毎に用意するモデル管理手段と、
前記モデル管理手段に紐づいた実行選択手段であって、当該モデル管理手段の管理するモデルバージョンと実行環境を選択する実行選択手段と、
前記実行選択手段により選択された前記実行環境において、前記実行選択手段により選択された前記モデルバージョンを実行させる実行実施手段と、
を備える情報処理システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018028235 | 2018-02-20 | ||
JP2018028235 | 2018-02-20 | ||
PCT/JP2019/006319 WO2019163823A1 (ja) | 2018-02-20 | 2019-02-20 | 情報処理システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020065908A Division JP7281427B2 (ja) | 2018-02-20 | 2020-04-01 | 情報処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019163823A1 JPWO2019163823A1 (ja) | 2020-04-09 |
JP6689507B2 true JP6689507B2 (ja) | 2020-04-28 |
Family
ID=67688294
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019542650A Active JP6689507B2 (ja) | 2018-02-20 | 2019-02-20 | 情報処理システム |
JP2020065908A Active JP7281427B2 (ja) | 2018-02-20 | 2020-04-01 | 情報処理システム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020065908A Active JP7281427B2 (ja) | 2018-02-20 | 2020-04-01 | 情報処理システム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6689507B2 (ja) |
WO (1) | WO2019163823A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7032366B2 (ja) * | 2019-10-09 | 2022-03-08 | 株式会社日立製作所 | 運用支援システム及び方法 |
TW202226078A (zh) | 2020-11-10 | 2022-07-01 | 日商東京威力科創股份有限公司 | 模型管理系統、模型管理方法及模型管理程式 |
WO2022210017A1 (ja) * | 2021-03-31 | 2022-10-06 | 日本電気株式会社 | Ai分析システム、利用料算出方法、及び、記録媒体 |
JPWO2023032637A1 (ja) | 2021-08-31 | 2023-03-09 | ||
CN117882170A (zh) | 2021-08-31 | 2024-04-12 | 东京毅力科创株式会社 | 信息处理方法、信息处理装置、以及基板处理系统 |
JP7285417B1 (ja) | 2022-03-04 | 2023-06-02 | 株式会社エクサウィザーズ | 情報処理方法、情報処理システム及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6697159B2 (ja) * | 2016-07-13 | 2020-05-20 | 富士通株式会社 | 機械学習管理プログラム、機械学習管理装置および機械学習管理方法 |
-
2019
- 2019-02-20 JP JP2019542650A patent/JP6689507B2/ja active Active
- 2019-02-20 WO PCT/JP2019/006319 patent/WO2019163823A1/ja active Application Filing
-
2020
- 2020-04-01 JP JP2020065908A patent/JP7281427B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2020113319A (ja) | 2020-07-27 |
JP7281427B2 (ja) | 2023-05-25 |
JPWO2019163823A1 (ja) | 2020-04-09 |
WO2019163823A1 (ja) | 2019-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6689507B2 (ja) | 情報処理システム | |
US9141345B2 (en) | Simplified user controls for authoring workflows | |
US20080244594A1 (en) | Visual scripting of web services for task automation | |
US20210303271A1 (en) | Providing services for assisting programming | |
AU2013338563A1 (en) | System and method for applying a business rule management system to a customer relationship management system | |
KR101312446B1 (ko) | 사용자의 행위 로그를 이용한 모바일 어플리케이션의 사용성 분석 장치 및 방법 | |
JP2018067286A (ja) | モデル妥当性確認システムおよび方法 | |
US9286361B2 (en) | Extract-transform-load processor controller | |
US20180005150A1 (en) | Business process model analyzer and runtime selector | |
JP6890083B2 (ja) | 事業価値評価装置および事業価値評価方法 | |
Pinto et al. | TOM: a model-based gui testing framework | |
US20140089224A1 (en) | Modeling an enterprise | |
Jespersen | Dashboard design guidelines for improved evidence based decision making in public health in developing countries | |
US10515330B2 (en) | Real time visibility of process lifecycle | |
Weber et al. | Measuring and explaining cognitive load during design activities: A fine-grained approach | |
JP2022032819A (ja) | Rpa開発運用管理装置、rpa開発運用管理システム、rpa開発運用管理方法、プログラム、及び、記録媒体 | |
JP5098632B2 (ja) | 活動管理装置、活動管理システムおよび活動管理プログラム | |
Júnior et al. | An interface prototype proposal to a semiautomatic process model verification method based on process modeling guidelines | |
WO2018080714A1 (en) | House of quality for federated manufacturing apps | |
Rantanen | Feasibility evaluation of the legacy software system migration | |
Ponsard et al. | Guiding cloud developers to build energy aware applications | |
Graf et al. | CAE/VR Integration–A Qualitative Assessment of Advanced Visualization for Interactive Conceptual Simulations (ICS) in Industrial Use | |
Shah et al. | Considerations in the testing of a minimum viable product in healthcare | |
Chadha | We Built It, Now What? | |
Ramil Díaz | Web module for widget based reports generation from report templates |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190806 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190806 |
|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190905 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200401 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6689507 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |