JP7231511B2 - 管理装置、管理方法、および管理プログラム - Google Patents

管理装置、管理方法、および管理プログラム Download PDF

Info

Publication number
JP7231511B2
JP7231511B2 JP2019139086A JP2019139086A JP7231511B2 JP 7231511 B2 JP7231511 B2 JP 7231511B2 JP 2019139086 A JP2019139086 A JP 2019139086A JP 2019139086 A JP2019139086 A JP 2019139086A JP 7231511 B2 JP7231511 B2 JP 7231511B2
Authority
JP
Japan
Prior art keywords
environment
information
management
environment information
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019139086A
Other languages
English (en)
Other versions
JP2021022231A (ja
Inventor
理宇 平井
豪一 小野
大介 石井
祐次 緒方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2019139086A priority Critical patent/JP7231511B2/ja
Priority to EP20186830.4A priority patent/EP3772024A1/en
Priority to US16/937,262 priority patent/US11388223B2/en
Priority to SG10202007042XA priority patent/SG10202007042XA/en
Publication of JP2021022231A publication Critical patent/JP2021022231A/ja
Application granted granted Critical
Publication of JP7231511B2 publication Critical patent/JP7231511B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/96Management of image or video recognition tasks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • General Factory Administration (AREA)

Description

本発明は、管理対象を管理する管理装置、管理方法、および管理プログラムに関する。
従来、DNN(ディープニューラルネットワーク)を用いた学習推論システムは、学習用のデータセットを大量に必要とする。通常の学習フローでは、エッジ端末で取得したデータセットはクラウドサーバに転送される。クラウドサーバは、データセットを用いて、精度向上のためエッジ環境に合わせた学習済みモデルを生成する。
背景技術の一例として、たとえば、特許文献1は、コンテキスト化AI推論を開始し実行する様々なシステムおよび方法を開示する。このシステムおよび方法の一例では、推論モデルを呼び出すためにゲートウェイコンピューティングデバイスを用いて実行される動作は、推論動作の要求を受信して処理すること、モデル仕様およびエッジデバイスからのコンテキストデータに基づいてリモートサービス上の推論モデルの実装を選択すること、および、推論モデルからの結果がエッジデバイスに返されるように、推論モデルの選択された実装を実行すること、を含む。また、推論モデルを要求するためにエッジコンピューティングデバイスを用いて実行される動作は、コンテキストデータを収集すること、推論要求を生成すること、推論要求をゲートウェイデバイスに送信すること、および実行結果を受信し処理することを含む。
米国特許公開2019/42955号公報
しかしながら、一部のエッジ端末では、データセットの転送に掛かる通信コストや権利の観点で、データセットの転送は困難である。また、特許文献1の従来技術は、エッジ環境である車両のAI推論モデルの種類やセンサ種別、エッジデバイスのスペックなどの情報に基づいて、クラウド環境であるデータセンタで管理される学習済みモデルをリクエストする。しかしながら、新規のエッジ環境に対応する学習済みモデルの生成については言及されていない。
本発明は、エッジ端末からクラウドサーバへのデータセットの転送を回避しつつ、学習の高精度化を図ることを目的とする。
本願において開示される発明の一側面となる管理装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、前記管理対象と通信可能な通信インタフェースと、を有し、前記プロセッサは、前記管理対象の1つである第1データ処理装置の第1環境を示す第1環境情報を受信する受信処理と、前記受信処理によって受信された第1環境情報と、前記管理対象の1つである第2データ処理装置の第2環境を示す第2環境情報と、の関連度を示す関連情報を生成する第1生成処理と、前記第1生成処理によって生成された関連情報と、前記第2環境で前記第2データ処理装置が推論に用いる第2学習済みモデルと、に基づいて、前記第1環境で前記第1データ処理装置が推論に用いる第1学習済みモデルを生成する第2生成処理と、前記第2生成処理によって生成された第1学習済みモデルを前記第1データ処理装置に送信する送信処理と、を実行し、前記第1環境情報および前記第2環境情報は、前記第1環境情報および前記第2環境情報に共通の環境を規定する複数の環境項目の値を有し、前記複数の環境項目の各々には、前記環境項目の重要度が設定されており、前記第1生成処理では、前記プロセッサは、前記第1環境情報および前記第2環境情報の間において同一の環境項目の値の一致数および前記環境項目の重要度に基づいて、前記関連情報を生成することを特徴とする。
本発明の代表的な実施の形態によれば、エッジ端末からクラウドサーバへのデータセットの転送を回避しつつ、学習の高精度化を図ることができる。前述した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。
図1は、実施例1にかかる管理システムのシステム構成例を示す説明図である。 図2は、図1に示した環境情報DBの一例を示す説明図である。 図3は、実施例1にかかる一致数計数テーブルの一例を示す説明図である。 図4は、実施例1にかかるモデル配合条件と学習済みモデルとを示す説明図である。 図5は、CNNのある1層に存在するニューラルネットワーク処理例を示す説明図である。 図6は、CNNの全層(層数L)の重みフィルタの一例を示す説明図である。 図7は、CNNの全層(層数L)の重みフィルタの値である学習済みモデルの一例を示す説明図である。 図8は、コンピュータのハードウェア構成例を示すブロック図である。 図9は、実施例1にかかる管理システムのシーケンス例を示すシーケンス図である。 図10は、更新後の環境情報DBの一例を示す説明図である。 図11は、更新後の一致数計数テーブルの一例を示す説明図である。 図12は、実施例2にかかる一致数計数テーブルの一例を示す説明図である。 図13は、実施例2にかかるモデル配合条件と学習済みモデルとを示す説明図である。 図14は、実施例3にかかる管理システムのシステム構成例を示す説明図である。 図15は、実施例3にかかる管理システムのシーケンス例を示すシーケンス図である。 図16は、CNNの認識精度の推移を示すグラフである。 図17は、モデルDBに記憶されている学習済みモデルの一例を示す説明図である。 図18は、実施例4にかかる環境情報DBの一例を示す説明図である。 図19は、エッジ端末に関する一致数計数テーブルの一例を示す説明図である。 図20は、実施例4にかかるモデル配合条件と学習済みモデルとを示す説明図である。
<管理システムのシステム構成例>
図1は、実施例1にかかる管理システムのシステム構成例を示す説明図である。管理システム100は、管理装置101と、エッジ環境102とを有する。管理装置101およびエッジ環境102は、インターネット、LAN(Local Area Network)、WAN(Wide Area Network)などのネットワーク103(有線、無線問わない)を介して通信可能に接続される。なお、管理システム100では、エッジ環境102は1つであるが、エッジ環境102は管理システム100内に複数存在してもよい。
管理装置101は、クラウド環境である。エッジ環境102は、管理装置101の管理対象であり、エッジサーバと、1以上のエッジ端末Ti(iは1≦i≦nを満たす整数)と、により構成される。図1では、エッジ環境102には、n-1台のエッジ端末T1~Tn-1が配置されており、エッジ端末Tnがエッジ環境102に新規に追加される。エッジサーバは、エッジ環境102のゲートウェイであり、管理装置101と各エッジ端末Tiとの通信可能に接続する。
図1では、エッジ環境102は、たとえば、工場であり、エッジ端末Tiは作業機械やロボット、車両である。エッジ端末Tiは移動体である必要はない。なお、エッジ環境102は、工場に限られない。たとえば、エッジ環境102は、商品を入出庫する倉庫でもよい。エッジサーバの機能は、各エッジ端末Tiが有していてもよい。
管理装置101は、エッジ端末T1~Tn-1の各環境情報からブレンドレシピを生成し、生成したブレンドレシピを学習済みモデルLM1~LMn-1にブレンドすることで、新規に追加されたエッジ端末Tnの学習済みモデルLMnを、データセットの学習を実行することなく生成する。
具体的には、たとえば、管理装置101は、モデルDB110と、環境情報DB111と、第1通信部112と、算出部113と、配合部114と、を有する。モデルDB110は、エッジ端末Tiごとに学習済みモデルLMiを記憶する。学習済みモデルLMiは、学習用のデータセットを学習することによって得られるDNNの重みパラメータであるが、管理装置101は、データセットを有していないため、データセットを学習しない。このため、学習済みモデルLMiは、外部から用意されたデータである。
環境情報DB111は、エッジ端末Tiごとに環境情報を記憶する。環境情報とは、エッジ端末Tiの環境を示す情報である。エッジ端末Tiの環境とは、エッジ端末Ti自身またはその周囲の状況である。たとえば、エッジ端末Tiに実装されたDNNの用途、エッジ端末Tiの配置位置、エッジ端末Tiの種類、エッジ端末Tiを操作するユーザ、エッジ端末Ti内部または外部の温度、エッジ端末Tiの挙動、エッジ端末Tiによる作業時間帯が挙げられる。環境情報の一部は、各エッジ端末Tiに接続されたカメラなどのセンサ123により検出される。環境情報DB111の詳細は、図2で後述する。
第1通信部112は、新規に追加されたエッジ端末Tnから環境情報Enを受信し、生成したエッジ端末Tnの学習済みモデルLMnをエッジ端末Tnに送信する。
算出部113は、新規なエッジ端末Tnに関するモデル配合条件Cnを算出する。モデル配合条件Cnが上述したブレンドレシピである。モデル配合条件Cnは、たとえば、エッジ端末T1~Tn-1の既存の環境情報E1~En-1(図2を参照)と、エッジ端末Tnの環境情報Enとの関連度、具体的には一致数により決定される関連情報である。
配合部114は、既存の学習済みモデルLM1~LMn-1にモデル配合条件Cnを配合して、エッジ端末Tnの学習済みモデルLMnを生成する。上述した一致数が高いほど、エッジ端末Tnの学習済みモデルLMnは、既存の学習済みモデルLM1~LMn-1に近い重みパラメータとなる。
図1にモデルブレンド例となる式1を示す。左辺はエッジ端末Tnの学習済みモデルLMnである。右辺の分母のn-1は、エッジ端末T1~Tn-1の台数である。右辺の分子の項Riは、既存のエッジ端末Tiの環境情報Eiとエッジ端末Tnとの一致数に基づく重みであり、モデル配合条件Cnの一要素となる。一致数が高いほど重みが大きくなり、その学習済みモデルLMiが学習済みモデルLMnに占める影響度が高くなる。
エッジサーバ120は、第2通信部121を有する。第2通信部121は、エッジ端末Tnからの環境情報Enを管理装置101に転送したり、管理装置101からの学習済みモデルLMnをエッジ端末Tnに転送したりする。
エッジ端末Tiは、学習済みモデルLMiと推論部122とセンサ123とを有する。推論部122は、たとえば、DNNの一例である畳み込みニューラルネットワーク(CNN)である。推論部122は、CNNに学習済みモデルLMiを適用し、センサ123の1つであるカメラからの画像データをCNNに入力することにより、推論結果を出力する。エッジ端末Tiは推論結果を用いてエッジ端末Ti自身の挙動または接続された他の装置を制御する。
このように、管理装置101は、エッジ端末T1~Tn-1の各環境情報からブレンドレシピであるモデル配合条件Cnを生成し、生成したモデル配合条件Cnを学習済みモデルLM1~LMn-1にブレンドすることで、新規に追加されたエッジ端末Tnの学習済みモデルLMnを、データセットの学習を実行することなく生成する。
また、エッジ端末Tnは、学習済みモデルLMnを用いて推論を実行する。これにより、エッジ端末Tnは、データセットを管理装置101にアップロードする必要がない。したがって、データセットの転送に掛かる通信コストが発生しない。また、データセットの管理装置101へのアップロードが不要となるため、データセットの漏洩が防止される。また、管理装置101は、データセットを用いた学習機能を実装する必要がないため、計算負荷の低減化を図ることができる。
<環境情報DB111>
図2は、図1に示した環境情報DB111の一例を示す説明図である。環境情報DB111は、エッジ番号200ごとに、p個(pは1以上の整数)のエッジ情報e1~epを有する。たとえば、エッジ情報eは、環境項目として、たとえば、DNN用途e1、エッジ環境e2、3M情報e3、Man情報e4、…、時間情報epを含む。1つの行のエッジ情報の組み合わせがそのエッジ番号200で特定されるエッジ端末Tiの環境情報Eiである。
なお、3M情報e3とは、マシン、メソッド、およびマテリアルの3つのうち少なくとも1つを含む情報である。Man情報e4は、エッジ端末Tiのユーザに関する情報(たとえば、ユーザの人数や容姿、性別など)である。本例では、環境情報E1~En-1が環境情報DB111に記憶されており、エッジ環境102にエッジ端末Tnが追加され、管理装置101がエッジ端末Tnから環境情報Enを受信したことにより、環境情報Enを追加登録した状態を示す。
<一致数計数テーブル>
図3は、実施例1にかかる一致数計数テーブルの一例を示す説明図である。一致数計数テーブル300は、既存の環境情報Eiと新規のエッジ端末Tiの環境情報Enとのエッジ情報の一致数301を計数するテーブルである。既存の環境情報Eiと新規のエッジ端末Tiの環境情報Enとのエッジ情報が一致した場合の値を「1」、不一致の場合の値を「0」とする。行方向の合計値が環境情報Eiとの一致数hiとなる。
<モデル配合条件と学習済みモデル>
図4は、実施例1にかかるモデル配合条件と学習済みモデルとを示す説明図である。(A)は、エッジ端末Tnのモデル配合条件Cnを示し、(B)は、学習済みモデルLMnの計算式の一例を示す。モデル配合条件Cnは、重みR1~Rn-1の組み合わせである。重みRiの分母Σ(h)は、一致数h1~hn-1の総和である。(B)の式は、図1の式1のRiにモデル配合条件Cnを代入した式となる。
<学習済みモデルLMi>
図5は、CNNのある1層に存在するニューラルネットワーク処理例を示す説明図である。(A)は入力特徴マップ501、(B)は重みフィルタ502、(C)は出力特徴マップ503を示す。入力特徴マップ501と重みフィルタ502との乗算結果が出力特徴マップ503となり、次の層の入力特徴マップ501となる。
入力特徴マップ501は、入力チャネル数であるN個のH×W行列により構成される。たとえば、入力特徴マップ501が画像データ由来の行列である場合、入力チャネル数Nは、R(赤)、G(緑)、B(青)の3つである。Hは入力特徴マップ501の高さ(列方向の要素数)であり、Wは入力特徴マップ501の幅(行方向の要素数)である。
重みフィルタ502は、k×k行列である。重みフィルタ502も入力チャネル数であるN個の行列により構成される。入力チェネルごとに入力特徴マップ501を重みフィルタ502でラスタスキャンすることで、入力チャネルごとに出力特徴マップ503が得られる。H´は出力特徴マップ503の高さ(列方向の要素数)であり、W´は出力特徴マップ503の幅(行方向の要素数)である。
図6は、CNNの全層(層数L)の重みフィルタ502の一例を示す説明図である。1層目の重みフィルタ502-1は入力チャネル数N分のk×k行列で構成される。Mは出力チャネル番号である。2層目の重みフィルタ502-2は入力チャネル数N分のk×k行列で構成される。Mは出力チャネル番号である。L層目の重みフィルタ502-Lは入力チャネル数N分のk×k行列で構成される。Mは出力チャネル番号である。
図7は、CNNの全層(層数L)の重みフィルタ502の値である学習済みモデルLMiの一例を示す説明図である。値706は、層番号701、入力チェネル番号702、出力チャネル番号703、重み(縦)704、および重み(横)705の1次元ベクトルVである。全1次元ベクトルを列方向に配列した行列(重みフィルタ502)が学習済みモデルLMiである。
<コンピュータのハードウェア構成例>
つぎに、コンピュータのハードウェア構成例について説明する。コンピュータとは、図1に示した管理装置101、エッジサーバ120およびエッジ端末Tiである。
図8は、コンピュータのハードウェア構成例を示すブロック図である。コンピュータ800は、プロセッサ801と、記憶デバイス802と、入力デバイス803と、出力デバイス804と、通信インタフェース(通信IF)805と、を有する。プロセッサ801、記憶デバイス802、入力デバイス803、出力デバイス804、および通信IF805は、バス806により接続される。
プロセッサ801は、コンピュータ800を制御する。プロセッサは、CPU(Central Processing Unit)およびGPU(Graphics Processing Unit)を含む。記憶デバイス802は、プロセッサ801の作業エリアとなる。また、記憶デバイス802は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス802としては、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、フラッシュメモリがある。
入力デバイス803は、データを入力する。入力デバイス803としては、たとえば、キーボード、マウス、タッチパネル、テンキー、スキャナがある。出力デバイス804は、データを出力する。出力デバイス804としては、たとえば、ディスプレイ、プリンタがある。通信IF805は、ネットワーク103と接続し、データを送受信する。
管理装置101では、第1通信部112、算出部113、および配合部114は、具体的には、たとえば、記憶デバイス802に記憶されたプログラムをプロセッサ801に実行させることにより実現される。モデルDB110および環境情報DB111は、具体的には、たとえば、図8に示した記憶デバイス802により実現される。エッジサーバ120では、第2通信部121は、具体的には、たとえば、記憶デバイス802に記憶されたプログラムをプロセッサ801に実行させることにより実現される。エッジ端末Tnでは、推論部122は、具体的には、たとえば、記憶デバイス802に記憶されたプログラムをプロセッサ801に実行させることにより実現される。
<管理システム100のシーケンス例>
図9は、実施例1にかかる管理システム100のシーケンス例を示すシーケンス図である。エッジ端末Tnは、温度センサなどの環境センサ123Aやカメラ123Bなどのセンサ123から環境情報Enを検出し、エッジサーバ120の第2通信部121を経由して管理装置101の第1通信部112に環境情報Enを送信する(ステップS901)。なお、管理装置101のユーザが管理端末900から環境情報Enを入力(ステップS900)することにより、管理装置101の第1通信部112に送信してもよい(ステップS901)。第1通信部112は、受信した環境情報Enを算出部113に出力する。
算出部113は、モデル配合条件Cnを算出して配合部114に出力する(ステップS902)。配合部114は、モデル配合条件Cnを既存の学習済みモデルLM1~LMn-1に混合して、エッジ端末Tnの学習済みモデルLMnを生成する(ステップS903)。そして、配合部114は、生成した学習済みモデルLMnをモデルDB110に登録する(ステップS904)。これにより、たとえば、新たな学習済みモデルLMn+1を生成する場合には、学習済みモデルLMnは既知の学習済みモデルLMiの1つとして扱われる。
配合部114は、学習済みモデルLMnを含むデプロイ指示を第1通信部112に出力する(ステップS905)。第1通信部112は、エッジサーバ120の第2通信部121を経由してデプロイ指示をエッジ端末Tnに送信する(ステップS906)。エッジ端末Tnは、デプロイ指示を受信すると、学習済みモデルLMnを推論部122のCNNに適用する。そして、カメラ123Bから画像データがCNNに入力されると、推論部122は推論結果を出力する(ステップS907)。これにより、エッジ端末Tnは、エッジ端末Tiは推論結果を用いてエッジ端末Ti自身の挙動または接続された他の装置を制御する。
このように、管理装置101は、エッジ端末T1~Tn-1の各環境情報からブレンドレシピであるモデル配合条件Cnを生成し、生成したモデル配合条件Cnを学習済みモデルLM1~LMn-1にブレンドすることで、新規に追加されたエッジ端末Tnの学習済みモデルLMnを、データセットの学習を実行することなく生成する。
また、エッジ端末Tnは、学習済みモデルLMnを用いて推論を実行する。これにより、エッジ端末Tnは、データセットを管理装置101にアップロードする必要がない。したがって、データセットの転送に掛かる通信コストが発生しない。また、データセットの管理装置101へのアップロードが不要となるため、データセットの漏洩が防止される。また、管理装置101は、データセットを用いた学習機能を実装する必要がないため、計算負荷の低減化を図ることができる。
なお、実施例1では、エッジ端末Tnがエッジ環境102に新規に追加された場合について説明したが、既存のエッジ端末Tiの環境情報Eiが更新される場合も、エッジ端末Tnの新規追加と同様にブレンドすればよい。
図10は、更新後の環境情報DB111の一例を示す説明図である。図10では、環境情報Enのエッジ環境e2、3M情報e3、および時間情報epが更新された状態を示す。
図11は、更新後の一致数計数テーブル300の一例を示す説明図である。図11では、図10に示した更新後の環境情報Enにより、エッジ番号#1におけるエッジ環境e2、3M情報e3、および時間情報epの値が「1」に更新され、エッジ番号#n-1の時間情報epの値が「1」に更新された状態を示す。
このように、たとえば、エッジ端末Tnの環境情報Enが更新された場合でも、管理装置101は、環境情報Enの新規追加と同様にあらたな学習済みモデルLMnを生成し、モデルDB110に更新することができる。他の環境情報E1~En-1が更新された場合も同様である。
また、エッジ環境102からエッジ端末T3が撤去された場合を想定する。この場合、管理装置101は、学習済みモデルLM3をモデルDB110から削除する。管理装置101は、学習済みモデルLM1、LM2、LM4~LMnをそのまま利用してもよい。また、管理装置101は、エッジ番号#がi=3よりも大きい学習済みモデルLM4~LMnを、エッジ端末T3の影響を排除するために更新してもよい。
たとえば、管理装置101は、環境情報E4について、算出部113により、他の環境情報E1,E2,E5~Enとの一致度を算出して、配合部114により、あらたな学習済みモデルLM4を生成してもよい。他の環境情報E5~Enについても同様である。
これにより、学習済みモデルLMiの更新についても新規追加と同様、管理装置101は、データセットの学習を実行することなく生成することができる。また、エッジ端末Tiは、更新後の学習済みモデルLMiを用いて推論を実行する。これにより、エッジ端末Tiは、データセットを管理装置101にアップロードする必要がない。したがって、データセットの転送に掛かる通信コストが発生しない。また、データセットの管理装置101へのアップロードが不要となるため、データセットの漏洩が防止される。また、管理装置101は、データセットを用いた学習機能を実装する必要がないため、計算負荷の低減化を図ることができる。
実施例2について説明する。実施例2では、実施例1において、一致度をエッジ情報に応じて重み付けする例である。ここでは、実施例2の説明を中心に説明するため、実施例1と共通部分については同一符号を付し、その説明を省略する。
<一致数計数テーブル>
図12は、実施例2にかかる一致数計数テーブルの一例を示す説明図である。実施例1の一致数計数テーブル300との違いは、実施例2の一致数計数テーブル1200では、各エッジ情報ej(1≦j≦p)に固有の重み係数wjが付与されており、かつ、一致数301が重み付き一致数1001に変更されている点である。重み係数wjはあらかじめ設定された値である。重み係数wjは、たとえば、0以上の整数とする。重み係数w1~wpがすべて1の場合、一致数計数テーブル1200は、実施例1の一致数計数テーブル300と同じテーブルになる。
エッジ番号iのエッジ端末Tiにおけるエッジ情報ejの一致または不一致を示す値(1または0)をxijとする。重み付き一致数Siは、Si=Σ(wj×xij)となる。すなわち、xijが1の場合に限り、重み係数wjが重み付き一致数Siに反映される。
<モデル配合条件と学習済みモデル>
図13は、実施例2にかかるモデル配合条件と学習済みモデルとを示す説明図である。(A)はモデル配合条件Cnを示し、(B)は、学習済みモデルLMnの計算式の一例を示す。モデル配合条件Cnは、重みR1~Rn-1の組み合わせである。重みRiの分母Σ(S)は、一致数S1~Sn-1の総和である。(B)の式は、図1の式1のRiにモデル配合条件Cnを代入した式となる。
このように、実施例2によれば、エッジ情報ejに重み係数wjで重み付けすることにより、様々なエッジ環境102にカスタマイズされたエッジ端末Tnの学習済みモデルLMnを生成することができる。
つぎに、実施例3について説明する。実施例1および実施例2のエッジサーバ120は、エッジ環境102のゲートウェイとして機能する通信装置としたが、実施例3では、エッジ端末Tiからのデータセットを用いて学習を実行して、学習結果として学習済みモデルLMiを生成する例である。ここでは、実施例3の説明を中心に説明するため、実施例1および実施例2と共通部分については同一符号を付し、その説明を省略する。
<管理システム100のシステム構成例>
図14は、実施例3にかかる管理システム100のシステム構成例を示す説明図である。エッジサーバ120は、学習部1401を有する。学習部1401は、具体的には、たとえば、記憶デバイス802に記憶されたプログラムをプロセッサ801に実行させることにより実現される。学習部1401は、推論部122と同一構成のCNNにより構成される。
<管理システム100のシーケンス例>
図15は、実施例3にかかる管理システム100のシーケンス例を示すシーケンス図である。あるエッジ端末(ここでは、エッジ端末Tnとする)は、学習済みモデルLMnを管理装置101から受信すると(ステップS906)、推論部122に適用し、センサ123からの画像データを入力することにより、推論結果を出力する(ステップS907)。推論結果が誤りである場合、エッジ端末Tnのユーザは、推論結果に正解データを割り付けてデータセットを設定する。学習部1401は、エッジ端末Tnのユーザに設定されたデータセットをCNNに与えて学習済みモデルLMn´を生成する(ステップS1508)。
学習部1401は、学習済みモデルLMn´を推論部122に出力するとともに、第2通信部121から管理装置101の第1通信部112に送信する(ステップS1509)。推論部122に出力することにより、エッジ端末Tnは、管理装置101からの学習済みモデルLMn´を待つことなく推論を実行することができる。
管理装置101は、学習済みモデルLMn´を配合部114に出力する。配合部114は、モデルDB110において学習済みモデルLMnを学習済みモデルLMn´に更新する(ステップS1510)。これにより、管理装置101は、学習済みモデルLMn´を配合部114による混合に適用することができる。
図16は、CNNの認識精度の推移を示すグラフである。実施例1および実施例2における新規の学習済みモデルLMnを適用したCNNの認識精度は、特許文献1のような従来技術よりも高い。また、実施例3を適用することにより、データセットの作成時間経過後においては、実施例3における新規の学習済みモデルLMn´を適用したCNNの認識精度は、実施例1および実施例2よりも高くなる。
このように、実施例3によれば、学習済みモデルLMn´の高精度化を図ることができる。また、管理装置101ではなくエッジサーバ120で学習を実行することにより、管理装置101へのデータセットのアップロードを防止することができる。したがって、データセットの転送に掛かる通信コストが発生しない。また、データセットの管理装置101へのアップロードが不要となるため、データセットの漏洩が防止される。また、管理装置101は、データセットを用いた学習機能を実装する必要がないため、計算負荷の低減化を図ることができる。
つぎに、実施例4について説明する。実施例1~実施例3では、エッジ端末Tiの増減により、管理装置101がデータセットを用いることなく学習済みモデルLMiを生成する例について説明した。これに対し、実施例4は、エッジ端末Tiの環境情報Eiが時間方向に存在する場合に最新の学習済みモデルLMiを生成する例について説明する。ここでは、実施例4の説明を中心に説明するため、実施例1~実施例3と共通部分については同一符号を付し、その説明を省略する。
<学習済みモデルLMi>
図17は、モデルDB110に記憶されている学習済みモデルLMiの一例を示す説明図である。学習済みモデルLMiは、学習済みモデルLMi(t1)、LMi(t2)、…、LMi(tj)、…、LMi(t(m-1))を含む。t1~t(m-1)は、時刻を示すタイムステップであり、jが小さいほど過去の時刻を示す。学習済みモデルLMi(tm)は、時刻tmの環境情報Emによりあらたに追加される学習済みモデルである。
<環境情報DB111>
図18は、実施例4にかかる環境情報DB111の一例を示す説明図である。環境情報DB111は、エッジ端末Tiごとに環境情報テーブル111(Ti)を記憶する。環境情報テーブル111(Ti)は、時刻1800ごとに環境情報E1(Ti)を記憶する。
<一致数計数テーブル>
図19は、エッジ端末Tiに関する一致数計数テーブルの一例を示す説明図である。図1では、例としてエッジ番号#がi=1のエッジ端末T1に関する一致数計数テーブル300(T1)を示す。図3では、エッジ番号200ごとにエッジ情報e1~epの値が配列されているが、図19では、時刻1800ごとにエッジ情報e1~epの値が配列されている。なお、実施例2のように、重み係数w1~wpを適用してもよい。
既存の環境情報E1(tj)と新規のエッジ端末T1の環境情報E1(tm)とのエッジ情報が一致した場合の値を「1」、不一致の場合の値を「0」とする。行方向の合計値が環境情報E1(tj)との一致数gjとなる。
<モデル配合条件と学習済みモデル>
図20は、実施例4にかかるモデル配合条件と学習済みモデルとを示す説明図である。(A)は例としてエッジ番号#がi=1のエッジ端末T1に関するモデル配合条件を示し、(B)は、学習済みモデルLM1の計算式の一例を示す。モデル配合条件C1は、重みR1~Rn-1の組み合わせである。重みRiの分母Σ(g)は、一致数g1~gm-1の総和である。(B)の式は、図1の式1のRiにモデル配合条件C1を代入した式となる。
このように、管理装置101は、エッジ端末Tiの時間方向の環境情報Ei(T1)~Ei(t(m-1))からブレンドレシピであるモデル配合条件Ciを生成し、生成したモデル配合条件Ciを学習済みモデルLMi(T1)~LMi(t(m-1))にブレンドすることで、新規に環境情報Ei(Tm)が追加されたエッジ端末Tiの学習済みモデルLMi(tm)を、データセットの学習を実行することなく生成する。
また、エッジ端末Tiは、学習済みモデルLMi(tm)を用いて推論を実行する。これにより、エッジ端末Tiは、データセットを管理装置101にアップロードする必要がない。したがって、データセットの転送に掛かる通信コストが発生しない。また、データセットの管理装置101へのアップロードが不要となるため、データセットの漏洩が防止される。また、管理装置101は、データセットを用いた学習機能を実装する必要がないため、計算負荷の低減化を図ることができる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加、削除、または置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
Ci モデル配合条件
Ei 環境情報
LMi 学習済みモデル
Ti エッジ端末
100 管理システム
101 管理装置
102 エッジ環境
110 モデルDB
111 環境情報DB
112 第1通信部
113 算出部
114 配合部
120 エッジサーバ
121 第2通信部
122 推論部
123 センサ
300、1200 一致数計数テーブル
301、1001 一致数
1401 学習部

Claims (9)

  1. 管理対象にアクセス可能な管理装置であって、
    プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、前記管理対象と通信可能な通信インタフェースと、を有し、
    前記プロセッサは、
    前記管理対象の1つである第1データ処理装置の第1環境を示す第1環境情報を受信する受信処理と、
    前記受信処理によって受信された第1環境情報と、前記管理対象の1つである第2データ処理装置の第2環境を示す第2環境情報と、の関連度を示す関連情報を生成する第1生成処理と、
    前記第1生成処理によって生成された関連情報と、前記第2環境で前記第2データ処理装置が推論に用いる第2学習済みモデルと、に基づいて、前記第1環境で前記第1データ処理装置が推論に用いる第1学習済みモデルを生成する第2生成処理と、
    前記第2生成処理によって生成された第1学習済みモデルを前記第1データ処理装置に送信する送信処理と、を実行し、
    前記第1環境情報および前記第2環境情報は、前記第1環境情報および前記第2環境情報に共通の環境を規定する複数の環境項目の値を有し、
    前記複数の環境項目の各々には、前記環境項目の重要度が設定されており、
    前記第1生成処理では、前記プロセッサは、前記第1環境情報および前記第2環境情報の間において同一の環境項目の値の一致数および前記環境項目の重要度に基づいて、前記関連情報を生成する、
    ことを特徴とする管理装置。
  2. 請求項1に記載の管理装置であって、
    前記受信処理では、前記プロセッサは、前記第1データ処理装置が前記管理対象として新たに追加された場合に、前記第1環境情報を受信する、
    ことを特徴とする管理装置。
  3. 請求項1に記載の管理装置であって、
    前記受信処理では、前記プロセッサは、前記第1データ処理装置において前記第1環境情報が新たに追加された場合に、新たに追加された前記第1環境情報を受信する、
    ことを特徴とする管理装置。
  4. 請求項2に記載の管理装置であって、
    前記第2生成処理では、前記プロセッサは、前記第1環境情報を前記第2環境情報として保存する、
    ことを特徴とする管理装置。
  5. 請求項1に記載の管理装置であって、
    前記第1生成処理では、前記プロセッサは、前記第1環境情報と、前記第1環境情報よりも過去の時点における前記第2データ処理装置の前記第2環境を示す前記第2環境情報と、の関連度を示す前記関連情報を生成する、
    ことを特徴とする管理装置。
  6. 請求項5に記載の管理装置であって、
    前記第1生成処理では、前記プロセッサは、前記受信処理によって新たに受信された第1環境情報と、前記第2環境情報と、の関連度を示す関連情報を生成する、
    ことを特徴とする管理装置。
  7. 請求項6に記載の管理装置であって、
    前記第2生成処理では、前記プロセッサは、前記第1環境情報を前記第2環境情報として保存する、
    ことを特徴とする管理装置。
  8. 管理対象にアクセス可能な管理装置が実行する管理方法であって、
    前記管理装置は、プログラムを実行するプロセッサと、前記プログラムを記憶する記憶デバイスと、前記管理対象と通信可能な通信インタフェースと、を有し、
    前記管理方法は、
    前記プロセッサが、
    前記管理対象の1つである第1データ処理装置の第1環境を示す第1環境情報を受信する受信処理と、
    前記受信処理によって受信された第1環境情報と、前記管理対象の1つである第2データ処理装置の第2環境を示す第2環境情報と、の関連度を示す関連情報を生成する第1生成処理と、
    前記第1生成処理によって生成された関連情報と、前記第2環境で前記第2データ処理装置が推論に用いる第2学習済みモデルと、に基づいて、前記第1環境で前記第1データ処理装置が推論に用いる第1学習済みモデルを生成する第2生成処理と、
    前記第2生成処理によって生成された第1学習済みモデルを前記第1データ処理装置に送信する送信処理と、を実行し、
    前記第1環境情報および前記第2環境情報は、前記第1環境情報および前記第2環境情報に共通の環境を規定する複数の環境項目の値を有し、
    前記複数の環境項目の各々には、前記環境項目の重要度が設定されており、
    前記第1生成処理では、前記プロセッサは、前記第1環境情報および前記第2環境情報の間において同一の環境項目の値の一致数および前記環境項目の重要度に基づいて、前記関連情報を生成する、
    ことを特徴とする管理方法。
  9. 管理対象を管理する処理をプロセッサに実行させるための管理プログラムであって、
    前記プロセッサに、
    前記管理対象の1つである第1データ処理装置の第1環境を示す第1環境情報を受信する受信処理と、
    前記受信処理によって受信された第1環境情報と、前記管理対象の1つである第2データ処理装置の第2環境を示す第2環境情報と、の関連度を示す関連情報を生成する第1生成処理と、
    前記第1生成処理によって生成された関連情報と、前記第2環境で前記第2データ処理装置が推論に用いる第2学習済みモデルと、に基づいて、前記第1環境で前記第1データ処理装置が推論に用いる第1学習済みモデルを生成する第2生成処理と、
    前記第2生成処理によって生成された第1学習済みモデルを前記第1データ処理装置に送信する送信処理と、を実行させ、
    前記第1環境情報および前記第2環境情報は、前記第1環境情報および前記第2環境情報に共通の環境を規定する複数の環境項目の値を有し、
    前記複数の環境項目の各々には、前記環境項目の重要度が設定されており、
    前記第1生成処理では、前記プロセッサに、前記第1環境情報および前記第2環境情報の間において同一の環境項目の値の一致数および前記環境項目の重要度に基づいて、前記関連情報を生成させる、
    ことを特徴とする管理プログラム。
JP2019139086A 2019-07-29 2019-07-29 管理装置、管理方法、および管理プログラム Active JP7231511B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019139086A JP7231511B2 (ja) 2019-07-29 2019-07-29 管理装置、管理方法、および管理プログラム
EP20186830.4A EP3772024A1 (en) 2019-07-29 2020-07-21 Management device, management method, and management program
US16/937,262 US11388223B2 (en) 2019-07-29 2020-07-23 Management device, management method, and management program
SG10202007042XA SG10202007042XA (en) 2019-07-29 2020-07-23 Management device, management method, and management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019139086A JP7231511B2 (ja) 2019-07-29 2019-07-29 管理装置、管理方法、および管理プログラム

Publications (2)

Publication Number Publication Date
JP2021022231A JP2021022231A (ja) 2021-02-18
JP7231511B2 true JP7231511B2 (ja) 2023-03-01

Family

ID=71738010

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019139086A Active JP7231511B2 (ja) 2019-07-29 2019-07-29 管理装置、管理方法、および管理プログラム

Country Status (4)

Country Link
US (1) US11388223B2 (ja)
EP (1) EP3772024A1 (ja)
JP (1) JP7231511B2 (ja)
SG (1) SG10202007042XA (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7022173B2 (ja) * 2020-06-09 2022-02-17 株式会社日立製作所 コンピューティングサービス管理装置、方法、およびプログラム
WO2023013131A1 (ja) * 2021-08-04 2023-02-09 コニカミノルタ株式会社 情報処理システムおよび情報処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015207105A (ja) 2014-04-18 2015-11-19 Necフィールディング株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US20160217387A1 (en) 2015-01-22 2016-07-28 Preferred Networks, Inc. Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment
WO2018173121A1 (ja) 2017-03-21 2018-09-27 株式会社Preferred Networks サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8421859B2 (en) * 2008-04-24 2013-04-16 GM Global Technology Operations LLC Clear path detection using a hierachical approach
US8509982B2 (en) * 2010-10-05 2013-08-13 Google Inc. Zone driving
US8706416B2 (en) * 2012-04-03 2014-04-22 Ford Global Technologies, Llc System and method for determining a vehicle route
CN107067015B (zh) 2016-10-27 2020-09-11 武汉烽火众智数字技术有限责任公司 一种基于多特征深度学习的车辆检测方法及装置
US10013773B1 (en) * 2016-12-16 2018-07-03 Waymo Llc Neural networks for object detection
US10032111B1 (en) * 2017-02-16 2018-07-24 Rockwell Collins, Inc. Systems and methods for machine learning of pilot behavior
US11308391B2 (en) * 2017-03-06 2022-04-19 Baidu Usa Llc Offline combination of convolutional/deconvolutional and batch-norm layers of convolutional neural network models for autonomous driving vehicles
US11501139B2 (en) * 2017-05-03 2022-11-15 Intel Corporation Scaling half-precision floating point tensors for training deep neural networks
US10572773B2 (en) * 2017-05-05 2020-02-25 Intel Corporation On the fly deep learning in machine learning for autonomous machines
US10060751B1 (en) * 2017-05-17 2018-08-28 Here Global B.V. Method and apparatus for providing a machine learning approach for a point-based map matcher
US10346724B2 (en) * 2017-06-22 2019-07-09 Waymo Llc Rare instance classifiers
US10031526B1 (en) * 2017-07-03 2018-07-24 Baidu Usa Llc Vision-based driving scenario generator for autonomous driving simulation
US10474161B2 (en) * 2017-07-03 2019-11-12 Baidu Usa Llc High resolution 3D point clouds generation from upsampled low resolution lidar 3D point clouds and camera images
US10957201B2 (en) * 2017-09-15 2021-03-23 Qualcomm Incorporated System and method for relative positioning based safe autonomous driving
US11250336B2 (en) 2017-12-28 2022-02-15 Intel Corporation Distributed and contextualized artificial intelligence inference service
US10785297B2 (en) * 2018-10-23 2020-09-22 International Business Machines Corporation Intelligent dataset migration and delivery to mobile internet of things devices using fifth-generation networks
US10928826B2 (en) * 2018-10-26 2021-02-23 Lyft, Inc. Sensor fusion by operations-control vehicle for commanding and controlling autonomous vehicles
US11373099B2 (en) 2018-12-28 2022-06-28 Intel Corporation Artificial intelligence inference architecture with hardware acceleration
KR20190094128A (ko) * 2019-07-23 2019-08-12 엘지전자 주식회사 IoT 기기 정보 제공 방법, IoT 기기 정보 제공 장치 및 지능형 컴퓨팅 디바이스
US11409697B2 (en) * 2019-08-18 2022-08-09 Capitis Solutions Inc. Efficient configuration compliance verification of resources in a target environment of a computing system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015207105A (ja) 2014-04-18 2015-11-19 Necフィールディング株式会社 情報処理装置、情報処理システム、情報処理方法、及びプログラム
US20160217387A1 (en) 2015-01-22 2016-07-28 Preferred Networks, Inc. Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment
WO2018173121A1 (ja) 2017-03-21 2018-09-27 株式会社Preferred Networks サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム

Also Published As

Publication number Publication date
US11388223B2 (en) 2022-07-12
US20210037084A1 (en) 2021-02-04
EP3772024A1 (en) 2021-02-03
SG10202007042XA (en) 2021-02-25
JP2021022231A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
US20210248651A1 (en) Recommendation model training method, recommendation method, apparatus, and computer-readable medium
Dong et al. Integrating experts' weights generated dynamically into the consensus reaching process and its applications in managing non-cooperative behaviors
US11029961B2 (en) Calculating wait time for batch scheduler jobs
US8818922B2 (en) Method and apparatus for predicting application performance across machines with different hardware configurations
KR102342678B1 (ko) 개인화 컨텐츠 추천을 위한 실시간 그래프기반 임베딩 구축 방법 및 시스템
CN109726813A (zh) 任务的强化和模仿学习
CN109690576A (zh) 在多个机器学习任务上训练机器学习模型
JP6723233B2 (ja) データ許可を制御する方法及び装置
JP7231511B2 (ja) 管理装置、管理方法、および管理プログラム
AU2020333769A1 (en) Automated path-based recommendation for risk mitigation
JP2021532457A (ja) 知能客体強化学習方法、装置、デバイス、及び媒体
JP6892424B2 (ja) ハイパーパラメータチューニング方法、装置及びプログラム
CN110114784A (zh) 递归神经网络
CN110447041A (zh) 噪声神经网络层
Yan et al. Adaptive primal-dual stochastic gradient method for expectation-constrained convex stochastic programs
Iutzeler et al. Asynchronous level bundle methods
JP5896862B2 (ja) テスト装置及びテスト方法及びプログラム
Wang et al. A double extrapolation primal-dual algorithm for saddle point problems
JP2021144461A (ja) 学習装置及び推論装置
CN117056595A (zh) 一种交互式的项目推荐方法、装置及计算机可读存储介质
Wang et al. Learning elastic constitutive material and damping models
US8531734B2 (en) Cluster model for controlling color in a color marking device
AU2021467490A1 (en) Power graph convolutional network for explainable machine learning
Pessin et al. Investigation on the evolution of an indoor robotic localization system based on wireless networks
KR102261055B1 (ko) 클릭율 최대화를 위한 이미지 디자인 파라미터 최적화 방법 및 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230216

R150 Certificate of patent or registration of utility model

Ref document number: 7231511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150