JP6827400B2 - 制御システム - Google Patents

制御システム Download PDF

Info

Publication number
JP6827400B2
JP6827400B2 JP2017204158A JP2017204158A JP6827400B2 JP 6827400 B2 JP6827400 B2 JP 6827400B2 JP 2017204158 A JP2017204158 A JP 2017204158A JP 2017204158 A JP2017204158 A JP 2017204158A JP 6827400 B2 JP6827400 B2 JP 6827400B2
Authority
JP
Japan
Prior art keywords
mobile
sensor information
data
server
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017204158A
Other languages
English (en)
Other versions
JP2019079157A (ja
Inventor
有哉 岡留
有哉 岡留
文鵬 魏
文鵬 魏
敏子 相薗
敏子 相薗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017204158A priority Critical patent/JP6827400B2/ja
Priority to US16/112,976 priority patent/US11435706B2/en
Publication of JP2019079157A publication Critical patent/JP2019079157A/ja
Application granted granted Critical
Publication of JP6827400B2 publication Critical patent/JP6827400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、データを選別する制御システムに関する。
近年、複数のIoT(Internet of things:モノのインターネット)デバイスから得られる情報を中央処理サーバで処理し、機械学習を進める技術の開発が進められている。
特許文献1には、「車載装置は、自装置に保存されているパラメータを用いて画像認識処理を行うと、これに用いられた画像データを学習データとし、学習サーバに送信する。一方、学習サーバは、各車載装置からの学習データが一定以上蓄積されると、該学習データに基づき画像認識処理についての学習処理を行ってパラメータを更新し(S205,S215)、更新後のパラメータを各車載装置に提供する(S220)。そして、車載装置は、更新後のパラメータを取得すると、以後、該パラメータを用いて画像認識処理を行う。」ことが開示されている(要約参照)。
特開2015-135552号公報
しかしながら、特許文献1では複数の車載デバイスからのデータを保存し続ける必要がある。そのため、車載デバイス、通信機器学習または記憶装置や処理を行うサーバ等は大量のデータを扱う必要が生じるが、必要なデータと不要なデータとを選別し、取り扱うデータ量を低減させることが考慮されていない。
本発明は上記課題を鑑みたものであり、学習に用いるデータの選別を行い、取り扱うデータ量を低減させたシステムや装置を提供することを目的とする。
本発明の制御システムの一例を挙げるならば、学習済みモデルを生成する第1の処理装置と、生成された学習済みモデルを用いて動作し入力手段を有する第2の処理装置と、を有する制御システムにおいて、第2の処理装置は、入力手段から入力された情報を第1の処理装置に送信し、第1の処理装置は、送信された入力された情報が、学習済みモデルで指定された領域とは異なる領域に属する情報である場合には、受信した異なる領域に属する情報と学習済みモデルとを基に、更新された学習済みモデルを生成することを特徴とする。
本発明によれば、取り扱うデータ量を低減させることが可能となる。
第1の実施の形態に係る複数の移動体からなる学習システムの構成を示すブロック図である。 第1の実施の形態に係る移動体のシステム構成を示すブロック図である。 第1の実施の形態に係る中央処理サーバのシステム構成を示すブロック図である。 第1の実施の形態に係る中央処理サーバのデータ選別処理を示すフローチャートである。 第1の実施の形態に係る移動体のデータ選別処理を示すフローチャートである。 第1の実施の形態に係るデータ選別プログラムのフローチャートである。 第1の実施の形態に係るデータ選別モデル更新処理のフローチャートである。 第1の実施の形態に係るデータ保存量に関するグラフである。 第1の実施の形態に係る一定期間毎のデータ保存量に関するグラフである。 第1の実施の形態に係るデータ選別プログラムの概念図である。 第1の実施の形態に係るデータ選別モデル更新処理の概念図である。 第1の実施の形態に係る固定観測体のシステム構成を示すブロック図である。 第1の実施の形態に係る単一の移動体からなる学習システムの構成を示すブロック図である。 第1の実施の形態に係る複数の学習システムからなるシステムの構成を示すブロック図である。
以下、本発明に係る学習システムの実施形態について図面を用いて説明する。
(第1の実施形態)
図1〜図11を用いて本発明に係る第1の実施形態を説明する。
図1は、制御システム1の構成を示すブロック図である。なお、本明細書は主に学習システムについて説明するため制御システム1を学習システム1とも呼ぶ。学習システム1は、複数のエージェント10、10a、10bと、これらのエージェントはとネットワーク20に接続されている。
また、ネットーワーク20はには中央処理サーバ30が接続されている。ネットワーク20は有線でも無線であってもよい。エージェント10は、自走手段を有する装置である。エージェント10の周辺の環境や情報を入力し自律的に動作する移動体10として説明するが、自走手段がないエージェントであってもよい。
この場合は自走せずに配置された場所の周辺の環境や情報を入力することによって動作する。例えば、人間の言葉や入力手段による質問を入力とし、記憶された情報や学習済みモデルを用いてその質問に回答する。
第1の実施形態において本システムは、いわゆるリモートブレーン方式のシステムである。エージェント10は自走による移動が可能であり、たとえば周囲の状況を認識して自律移動をする各エージェント10をエージェントとし、高度な演算処理を行う中央処理サーバ30とが機能を分担している。
図2は移動体10の構成を示すブロック図である。移動体10は、移動体10の周囲を撮影するカメラ201Aおよび環境音や人の音声を取得するマイク202Aと、移動体10の観測した情報を保存、環境認識処理、データ選別処理や局所学習処理等を行う移動体演算装置203と、移動体10を自律的に移動させる移動体動作制御部204と、通信を行う移動体通信部205と、外部入出力を行う移動体入出力部206とを備える。
撮像素子であるカメラ201Aは、可視領域の波長を観測可能な撮像素子が2次元に配列された、いわゆるカラーカメラである。マイク202Aは、人の可聴領域の音波振動を感知するコイルを持つ、いわゆるダイナミックマイクである。ダイナミックマイクに限らずエージェント10の周辺の音や音声が検出できる手段であればよい。
カメラ201Aはカラー情報が取得できない、いわゆるモノクロカメラや、深度情報を追加で取得できる、いわゆるデプスカメラであっても実施できる。マイク202Aは他の方式、例えばコンデンサ方式や圧電方式により音波情報を取得してもよい。
カメラ201Aは、移動体10の周囲を撮影し、撮影して得られた映像を、移動体画像入力部201Bに出力する。カメラ201Aは、所定の周期、たとえば16.7ms周期(60fps程度)で画像を連続的に撮影することで、移動体10の周囲の撮影映像を取得する。移動体画像入力部201Bにより取り込まれた画像は、移動体10内の通信バスを通り、画像センサ情報として移動体演算装置203へ入力される。画像や動画の撮像周期はどのようなものであってもよいが、本発明では取得した情報の選別(選択)を行うことが可能であるため連続性がある程度確保できる程度の周期で情報を取得することが望ましい。
また、マイク201Aは、移動体10の環境音など周囲の音波をデジタル信号に変換し、得られたデジタル信号を移動体音入力部201Bに出力する。マイク201Bは、所定のサンプリング周波数、例えば44.1KHzで連続的に音波信号をデジタル信号に変換することで連続的に周囲の音波を取得する。
移動体音入力部202Bにより取り込まれたデジタル信号は、移動体10内の通信バスを通り、音センサ情報として移動体演算装置203へ入力される。
移動体演算装置203と移動体画像入力部201B、移動体音入力部202Bは通信バスを通じ相互に情報を授受する。移動体演算装置203へ入力される画像センサ情報や音センサ情報等を「センサ情報」と呼ぶ。
移動体演算装置203はCPU、ROM、RAM、I/O及びこれらを接続するバス等からなる周知のコンピュータ、例えばPC等で構成され、ROMに記憶されたプログラムやRAMにロードされたプログラム等に従い、移動体10を統括制御する。
また、移動体演算装置203は移動体計算処理部203Aと移動体メモリ部204Bを持つ。移動体計算処理部203Aでは、移動体演算装置203へ入力されたセンサ情報から外界状況を認識する機能や、後述する前記センサ情報をデータ選別処理に従い移動体メモリ部203Bに保存し、中央処理サーバ30へ送信するか否かを決定する機能等をもつ。
移動体メモリ部203Bでは計算処理部203Aで行われたデータ選別処理結果に従い、前記センサ情報の保存を行う。データ選別処理についての詳細は後述する。また、移動体計算処理部203Aと移動体メモリ部203Bは相互に情報を授受する。
移動体メモリ部203Bを移動体演算装置203のROMとして用いても良い。また、移動体演算部301では上記以外の機能、例えば環境認識モデルの局所学習処理の機能を持っても良い。
移動体動作制御部204は、移動体10を自律的に移動させる装置を制御する制御部である。移動体動作制御部204は、例えば不図示の移動体10の外界を測定するセンサを用いて移動体10の実環境における相対位置や絶対位置を計測し、モータと車輪等から構成される移動機構を制御し、目標位置まで移動する構成として良い。
なお、車輪に限らずリニアレールやワイヤ等を用いるものであってもよく、移動体10が自律的に移動できる手段であっても実施できる。
移動体通信部205は、中央処理サーバ30とネットワーク20を通じて通信を行う。移動体通信部205は、移動体計算処理部203Bでのデータ選別処理の結果、得られた残すべきセンサ情報を中央処理サーバ30に送信する。
移動体通信部205は中央処理サーバ30から新規データ選別モデルを受信すると、移動体演算部203に該データ選別モデルを送信する。移動体演算部203は、該データ選別モデルを受信すると、移動体計算処理部203Aのデータ選別モデルの更新処理を行う。
移動体入出力部206は、キースイッチ等の外部入力装置と、音を出力するスピーカ、または画面に各種情報を提示する液晶ディスプレイなどの表示装置のいずれか一つ以上を有することが望ましい。
移動体入出力部206では、例えば図8に示す保存されたデータの総量に関するグラフや図9に示す一定期間におけるデータの保存量に関するグラフといった、データ量削減効果に関するグラフを視覚的に表示しても良い。
このような表示を行うことで、データ選別の結果を可視化できるため、管理者はどのようなデータが扱われたかを知ることができる。また、選別されなかったデータと保存された(選別された)データの総量を表示することで削減された通信量を知ることができる。
また、中央処理サーバ30との通信状況、例えばセンサ情報の送信状況やデータ選別モデルの受信状況を表示しても良い。このような構成とすることで、センサ情報の送信とモデルの受信が非同期で行われていることを確認、例えば時差のある地点に置かれた移動体10が休止状態の際にもモデルの更新が行われることを確認することができる。
すなわち、第一の地域の空港等で使用される移動体が取得したデータから選別されたデータを、第二の地域の空港等がの移動体が休止中であっても、その選択されたデータを反映させるモデルを更新することができる。
図3は中央処理サーバ30の構成を示すブロック図である。中央処理サーバ30は、複数の移動体10から送信されたセンサ情報を保存、データ選別処理や学習処理等を行うサーバ演算装置301と、ネットワーク20を通じて移動体10との通信を行うサーバ通信部302と、外部入出力を行うサーバ入出力部303とを備える。
サーバ演算装置301はCPU、ROM、RAM、I/Oやこれらを接続するバス等からなる周知のコンピュータ、例えばPC等で構成され、ROMに記憶されたプログラムやRAMにロードされたプログラム等に従い、学習システム1の処理を決定する。
また、サーバ演算装置301はサーバ計算処理部301Aとサーバメモリ部301Bを持つ。サーバ計算処理部301Aでは、後述する前記センサ情報をデータ選別処理に従いサーバメモリ部301Bに保存するかを決定する機能や、サーバメモリ部301Bに保存されているセンサ情報を用いてデータ選別モデルの学習処理を行う機能等をもつ。
サーバメモリ部301Bでは計算処理部301Aで行われたデータ選別処理結果に従い、前記センサ情報の保存を行う。また、サーバ計算処理部203Aとサーバメモリ部203Bは相互に情報を授受する。サーバメモリ部203Bをサーバ演算装置203のROMとして用いても良い。また、サーバ演算部301では上記以外の機能、例えば環境認識モデルの学習処理機能を持っても良い。
サーバ通信部302は、各移動体10とネットワーク20を通じて通信を行う。サーバ通信部302は、サーバ計算処理部203Bでのデータ選別モデルの学習処理の結果、更新されたデータ選別モデルを各移動体10に送信する。サーバ通信部302は各移動体からセンサ情報を受信すると、サーバ演算部301に該センサ情報を送信する。
サーバ入出力部303は、中央処理サーバ30に接続するキーボードやマウスなどの入力装置および各種情報を提示する液晶ディスプレイなどの表示装置等の少なくともいずれか一つ以上を有するとよい。
サーバ入出力部303では、移動体入出力部206と同様に、例えば図8に示す保存されたデータの総量に関するグラフや図9に示す一定期間におけるデータの保存量に関するグラフといった、データ量削減効果に関するグラフを視覚的に表示しても良い。また、各移動体10との通信状況、例えばセンサ情報の受信状況やデータ選別モデルの送信状況を表示しても良い。
中央処理サーバ30を用いるシステム構成について説明したが、必ずしも移動体10と中央処理サーバ30が必要ではなく、移動体10のコンピュータの処理能力が高い場合には、中央処理サーバ30を移動体10に内蔵し実施することも可能である。
中央処理サーバ30を用いる場合には、移動体10のコンピュータを中央処理サーバ30を内蔵する場合に比べて簡素化することが可能である。また、中央処理サーバ30の機能を複数の移動体10に分散して実施することも可能である。
(中央処理サーバのデータ選別処理)
図4は中央処理サーバ30のサーバ演算装置301で実行されるデータ選別処理のフローチャートを示す。なお、本処理はサーバ演算装置301で連続的に実行される。連続的に実行とは繰り返し実行されることである。
ステップS401において、サーバ演算装置301はサーバ通信部302を通し、受信した各移動体10のセンサ情報を取得する。次のステップS402において、データ選別プログラムに基づき、入力されたセンサ情報を保存するか破棄するかを決定し、ステップS403へ進む。センサ情報を保存することをデータ選別と呼ぶ。なお、データ選別プログラムの詳細については図6を用いて後述する。
ステップS403において、センサ情報を保存する場合は、ステップS404へ進み、該センサ情報を破棄する場合は、ステップS405へ進む。
ステップS404において、該センサ情報をサーバメモリ部301Bに保存し、ステップS406へ進む。ステップS406において、データ選別モデルを、新規に保存されたセンサ情報を用いて学習処理により更新し、ステップS407へ進む。
なお、データ選別モデルの学習処理による更新の処理方法については図7を用いて後述する。ステップS407において、更新したデータ選別モデルをサーバ通信部302から各移動体10へと送信し、プログラムを終了する。
ステップS405において、該センサ情報の削除処理を行い、データ選別処理を終了する。
(各移動体のデータ選別処理)
図5は移動体10の移動体演算装置203で実行されるデータ選別処理のフローチャートを示す。なお、本処理は移動体演算装置203において連続的に実行される。
ステップS501において、移動体演算装置203は移動体画像入力部201Bおよび移動体音入力部202Bから入力されるセンサ情報を取得し、ステップS402へ進む。
ステップS402において、データ選別プログラムに基づき、該センサ情報を保存するか破棄するかを決定し、ステップS502へ進む。なお、データ選別プログラムについては図6で詳述する。
ステップS502において、該センサ情報を保存する場合は、ステップS503へ進み、該センサ情報を破棄する場合は、ステップS505へ進む。ステップS503において、該センサ情報を移動体メモリ部301Bに保存し、ステップS504へ進む。
ステップS504において、該センサ情報を移動体通信部205から中央処理サーバ30へ送信し、ステップS506へ進む。ステップS505において、データの削除処理を行い、ステップS506へ進む。
ステップS506において、移動体通信部205にて中央処理サーバ30と通信を行い、データ選別モデルの更新を確認し、ステップS507へ進む。ステップS507において、データ選別モデルが更新されている場合、ステップS508へ進み、更新されていない場合、プログラムを終了する。
ステップS508において、移動体通信部205にて中央処理サーバ30と通信を行い、データ選別モデルを受信し、ステップS509へ進む。ステップS509において、既存のデータ選別モデルを、受信したデータ選別モデルで上書きすることにより更新し、プログラムを終了する。
(データ選別プログラム402の動作)
図6は移動体10の移動体演算装置203および中央処理サーバ30のサーバ演算装置301で実行されるデータ選別プログラムのフローチャートを示す。また、データ選別プログラムの概念図を図10に示す。データ選別プログラム402の動作を図6と図10を用いて説明する。
ステップS601において、本プログラムが移動体10で実行される場合は移動体画像入力部201Bおよび移動体音入力部202Bから入力されるセンサ情報を取得し、中央処理サーバ30で実行される場合はサーバ通信部302を通し、受信した各移動体10のセンサ情報を取得し、ステップS602へ進む。ステップS601は図10中のセンサ情報601に対応する。
ステップS602において、前記センサ情報をデータ選別モデルへ入力し、低次元空間における位置を計算し、ステップS603へ進む。ステップS602は概念図10中の602に対応する。
低次元空間における位置を計算とは、入力されたセンサ情報を入力されたセンサ情報の次元を低くした上で確率分布へ変換することである。例えば、画像データがRGBの3次元データである場合に、輝度へ変換した1次元のデータに変換することが低次元に変換することである。低次元に変換されたデータをさらに確率分布へ変換する。音声データであれば、サンプリングレートを低くすることが挙げられる。これらに限られず元の入力されたセンサ情報が低次元になればよい。
なお、データ処理の効率化のため、複数回変換を行い、入力されたデータよりも変換を行った中間データが高次元となっても実施できる。
ステップS603において、センサ情報の低次元空間における位置と既存のセンサ情報により計算された確率分布を比較し、前記位置の生起確率を算出し、ステップS604へ進む。ステップS603は概念図10中の603に対応する。既存のセンサ情報とは、現在のモデルで使用されているセンサ情報である。
ステップS604において、生起確率が70%以上であればステップS605へ、70%未満であればステップS606へ進む。なお、生起確率は70%以外の数値、例えば50%や90%としても良い。
ステップS605において、センサ情報の破棄フラグをONにし、プログラムを終了する。ステップS605は図10中の605に対応する。すなわち、この場合のセンサ情報は既に学習済みであるため、不要なデータとして破棄し、移動体10は中央サーバ30に送信しない、または、中央サーバ30は不要なデータとして削除する。これによりセンサ情報を保存せず記憶領域を有効活用できる。
ステップS606において、センサ情報の保存フラグをONにし、プログラムを終了する。ステップS606は図10中の606に対応する。この場合のセンサ情報は学習が必要な情報であるため、必要なデータとして記憶部に保存または記憶させ、移動体10は中央サーバ30に送信する、または、中央サーバ30は必要なデータとして保存または記憶する。これにより学習が必要なセンサ情報を効率よく残し、学習モデルに反映させることができる。
すなわち、センサ情報が低次元空間における学習済みモデルの指定された領域に属する場合には、そのセンサ情報を破棄し、異なる領域に属する場合には、新規データであるため、学習済みモデルに反映または取り込むことで、学習済みもであるを更新するということである。
さらに、換言するば、送信されたセンサ情報が、学習済みモデルで指定された領域とは異なる領域に属する情報である場合には、受信した異なる領域に属する情報と学習済みモデルとを基に、更新された学習済みモデルを生成するということである。
これらの指定された領域と異なる領域を表示手段に示すことができる。また、併せて、低次元空間におけるセンサ情報の位置を表示することで、どのようなセンサ情報が必要または不要と判定されたかを示すことができる。
また、入力されたセンサ情報が、学習済みモデルで指定された領域とは異なる領域に属する情報である場合には、異なる領域に属する情報を他の移動体10や中央処理サーバ30に送信することができる。これらのやりとりは、第一の移動体10と第二の移動体10との間でも実施でき、第一の移動体10と中央処理サーバ30との間であっても実施できる。
なお、本プログラムで用いるデータ選別モデルはセンサ情報を低次元空間へ写像する関数、例えば多項式関数、ハッシュ関数、ニューラルネットとして良い。また、既存のセンサ情報により計算された確率分布には、例えば正規分布を用いても良い。
(データ選別モデルの更新処理406の動作)
図6は中央処理サーバ30のサーバ演算装置301で実行されるデータ選別モデルの更新処理406のフローチャートを示す。また、データ選別モデルの更新処理406の概念図を図11に示す。これら図6と図11とを用いてデータ選別モデルの更新処理の動作について説明する。
ステップS701において、サーバメモリ部301Bに保存されているセンサ情報を取得し、ステップS702へ進む。ステップS701は図11中のセンサ情報701に対応する。ステップS702において、関数を用いて各センサ情報を低次元空間における確率分布に変換し、ステップS703へ進む。
ステップS702は図11中の変換702に対応する。ステップS703において、S702で用いた関数とは別の関数を用いて確率分布からセンサ情報を再現する。
ステップS703は図11中の再現703に対応する。ステップS704において、前記センサ情報と再現されたセンサ情報の誤差を計算する。ステップS704は概念図11中の再現されたセンサ情報704とセンサ情報701の間での誤差の計算に対応する。なお、前記誤差は例えば二乗誤差などの単調増加関数を用いるとよい。
ステップS705において、前記誤差が最小となるよう各関数の学習処理を行い、ステップS706へ進む。なお、学習処理には公知の確率的方策勾配法や最小二乗法を用いても良い。ステップS706において、更新後の関数のパラメータ等をサーバメモリ部301Bへ保存し、処理を終了する。
上述した第1の実施の形態によれば、以下のような作用効果が得られる。
(1)学習システム1において、複数の移動体10および中央処理サーバ30にてデータの選別が行われる。そして、中央処理サーバ30で更新されるデータ選別モデルは各移動体10と共有され、常に更新される。そのため、各移動体の移動体メモリ部203Bおよび中央処理サーバ30のサーバメモリ部301Bのそれぞれで保存されるセンサ情報の削減を図ることができる。これにより、データ保存にかかるコストを低減することができる。
(2)本実施形態のデータ選別モデルによれば、機械学習処理、例えば画像認識や動作学習を行うために必要なデータの保存を図ることができる。そのため、中央処理サーバ30において、サーバメモリ部301Bに保存された選別後の少量のデータから、機械学習処理を従来と同等の性能で実現することができる。
(3)また、中央処理サーバ30における機械学習処理は選別後の少量データから実行されるため、高速な学習処理を実現することができる。
(4)各移動体10において、各移動体10の設置場所が異なることが想定される。例えば空港や商業施設にそれぞれ設置された移動体10では、動作生成等の学習処理に用いられるパラメータの最適値に差異が生じると考えられる。これに対し、各移動体10内の移動体メモリ部203Bに保存された選別後のセンサ情報を、移動体演算装置203において学習処理に用いることができる。この場合、データ量が削減されているため、高速な学習処理を実現することができる。
(5)各移動体10がネットワーク20を通じてセンサ情報を中央処理サーバ30へ送信する際、選別されたセンサ情報のみを送信する。そのため、すべてのセンサ情報をやり取りする場合と比べ、通信量を低減することができる。
(変形例1)
移動体10は大容量ストレージ、例えばHDDやSSDとしての移動体メモリ部203Bを持たなくても良い例である。すなわち、移動体10に選別されたセンサ情報は移動体10内に保存されず、選別されたセンサ情報を中央処理サーバ30へ送るとなる。このとき、各移動体10の動作生成等の最適パラメータを中央処理サーバにより更新しても良い。
このような場合には、中央処理サーバ30には、各移動体10からそれぞれセンサ情報が送信されるが、センサ情報を受信した中央処理サーバ30は、上記したデータ選別を行うことで、破棄するデータとモデルに反映せるデータを効率よく判別し、不要なデータを保存せず、効率よく記憶部を使用することができる。
また、各移動体に対してすべてのデータを送信することなく、必要なデータを用いて更新されたモデルを送信することができ、各移動体10へ送信するデータ量を小さくすることができる。。
(変形例2)
中央処理サーバ30で実行される図4のデータ選別処理において、ステップ406およびステップ407の処理はデータが保存されるたびに実行されるのではなく、ある期間、例えば1日毎に実行されても良い。これにより効率よくデータ選別、モデルの更新を行うことができる。
(変形例3)
移動体10で実行される図5のデータ選別処理において、ステップ503の中央処理サーバへのデータ送信処理は、新規センサ情報が得られるたびに実行されるのではなく、ある期間、例えば1日毎に実行されても良い。これにより効率よくデータ選別、モデルの更新を行うことができる。(第2の実施形態)
図12を参照して、学習システムの第2の実施形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主にエージェントが移動体ではなく固定観測体、例えば監視カメラである点で異なる。図1の移動体10と同様、学習システム1は複数の固定観測体40により構成される。
図12は固定観測体40の構成を示すブロック図である。固定観測体40は、固定観測体40の周囲を撮影するカメラ801と、固定観測体40の観測した情報を保存、環境認識処理、データ選別処理や局所学習処理等を行う固定観測体演算装置802と、通信を行う固定観測体通信部803と、外部入出力を行う固定観測体入出力部804とを備える。
固定観測体40のカメラ801で観測され、固定観測体画像入力部801Aにより得られたデジタル画像をセンサ情報とし、固定体演算装置802の固定観測体計算処理部802Aでデータ選別処理を実行する。そして、ネットワーク20を通じて選別されたセンサ情報を中央処理サーバ30へ送信する。中央処理サーバ30からは更新されたデータ選別モデルが各固定観測体40へネットワーク20を通じ、送信される。
上述した実施形態であっても、第1の実施形態と同様の作用効果を得ることができる。
(第3の実施形態)
図13を参照して、学習システムの第3の実施形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、主にエージェントが複数の移動体でなく、単一の移動体である点が異なる。
図13は、学習システム2の構成を示すブロック図である。学習システム2は、単一の移動体10と、前記移動体とネットワーク20で接続された中央処理サーバ30とを備える。
上述した実施形態においても、第1の実施例と同様の作用効果を得ることができる。
(第4の実施形態)
図14を参照して、学習システムの第4の実施形態を説明する。以下の説明では、第1の実施の形態と同じ構成要素には同じ符号を付して相違点を主に説明する。特に説明しない点については、第1の実施の形態と同じである。本実施の形態では、単一の学習システムでなく、複数の学習システムから構成されている点で異なる。
図14は、複数の学習システムの構成を示すブロック図である。学習システム110、120、130は、複数の移動体10と、各移動体10同士を接続するネットワーク20とを備える。学習システム110と120は各学習システム内のネットワーク20を通じて接続されている。各学習システムは異なるセンサ情報を取得しうる、例えば学習システム110は商業施設に配置された移動体10群、学習システム120は空港施設に配置された移動体10群とすると、異なるセンサ情報を取得しうる。本学習システムには中央処理サーバ30で行われていた処理を各移動体10が担当しても良いし、ある特定の移動体10に中央処理サーバ30の役割を持たせても良い。また、各学習システムに含まれる移動体10の数は同数でなくても良い。
このような構成によれば、新たな学習システム130を構成する際、予め稼働し、センサ情報を選別取得していた学習システム110と120のセンサ情報を用いて画像認識モデルや対話モデル、データ選別モデルの学習処理を行うことができる。
上述した実施形態においては、第1の実施例と同様の作用効果に加え、以下の作用効果を得ることができる。
(6)新たな学習システム130を構成する際、予め選別された少量のデータのみを用いて学習処理を行う。そのため、新たな学習システム130の学習処理を高速に完了することができる。
また、上記したセンサ情報を低次元化した位置について、図10または図11のようにセンサ情報を低次元化した位置と併せて表示手段に表示できる。この場合、必要または不要と判断されたセンサ情報を所定期間保持または記憶させ、表示することでどのようなデータを移動体10または中央処理サーバ30が処理しているかを管理者等が確認することができる。
図6のステップS604で説明した生起確率との関係を表示することで、不要と判断されたが学習モデルに取り込みたいセンサ情報を個別に取り込むこともできる。また、必要と判断されたセンサ情報であっても、管理者等の判断で不要に変更することもできる。
所定期間分のセンサ情報を表示することで、移動体10がどのようなセンサ情報を入力しているかを管理者等が知ることができ、生起確率を変更することでデータ選別を効率よく行うこともできる。
本発明は上記の実施形態に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
1・・・学習システム
10・・・移動体
20・・・ネットワーク
30・・・中央処理サーバ
201・・・カメラ
201A・・・移動体画像処理装置
202・・・マイク
202B・・・移動体音処理装置
203・・・移動体演算装置
203A・・・移動体計算処理部
203B・・・移動体メモリ部
204・・・移動体動作制御部
205・・・移動体通信部
206・・・移動体入出力部
301・・・サーバ演算装置
301A・・・サーバ通信部
301B・・・サーバメモリ部
302・・・サーバ通信部
303・・・サーバ入出力部
801・・・カメラ
802・・・固定観測体演算装置
802A・・・固定観測体計算処理部
802B・・・固定観測体メモリ部
803・・・固定観測体通信部
804・・・固定観測体入出力部

Claims (1)

  1. 学習済みモデルを生成する第1の処理装置と、生成された前記学習済みモデルを用いて動作し入力手段を有する第2の処理装置と、を有する制御システムにおいて、
    前記第2の処理装置は、前記入力手段から入力された情報を前記第1の処理装置に送信し、
    前記第1の処理装置は、送信された前記入力された情報が、前記学習済みモデルで指定された領域とは異なる領域に属する情報である場合には、受信した前記異なる領域に属する情報と前記学習済みモデルとを基に、更新された学習済みモデルを生成し、
    前記領域は、情報の次元を低くした低次元空間の領域であり
    前記第2の処理装置は、前記入力された情報が、前記学習済みモデルで指定された領域とは異なる領域に属する情報である場合には、前記異なる領域に属する情報を保存して前記第1の処理装置に送信し、前記入力された情報が、前記学習済みモデルで指定された領域とは異なる領域に属する情報でない場合には、前記異なる領域に属さない情報を保存せずに破棄し、
    前記制御システムは、
    前記第2の処理装置が保存した前記入力された情報のデータの総量や、一定期間における前記入力された情報のデータの保存量を表示する表示手段を有すること
    を特徴とする制御システム。
JP2017204158A 2017-10-23 2017-10-23 制御システム Active JP6827400B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017204158A JP6827400B2 (ja) 2017-10-23 2017-10-23 制御システム
US16/112,976 US11435706B2 (en) 2017-10-23 2018-08-27 Control system and control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017204158A JP6827400B2 (ja) 2017-10-23 2017-10-23 制御システム

Publications (2)

Publication Number Publication Date
JP2019079157A JP2019079157A (ja) 2019-05-23
JP6827400B2 true JP6827400B2 (ja) 2021-02-10

Family

ID=66169986

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017204158A Active JP6827400B2 (ja) 2017-10-23 2017-10-23 制御システム

Country Status (2)

Country Link
US (1) US11435706B2 (ja)
JP (1) JP6827400B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7460366B2 (ja) 2019-12-27 2024-04-02 川崎重工業株式会社 訓練データ選別装置、ロボットシステム及び訓練データ選別方法
WO2021236316A1 (en) * 2020-05-18 2021-11-25 Schlumberger Technology Corporation Automated similarity measurement and property estimation

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7552030B2 (en) * 2002-01-22 2009-06-23 Honeywell International Inc. System and method for learning patterns of behavior and operating a monitoring and response system based thereon
US8712929B1 (en) * 2007-11-30 2014-04-29 Intellectual Assets Llc Dynamic data filtering system and method
US8700550B1 (en) * 2007-11-30 2014-04-15 Intellectual Assets Llc Adaptive model training system and method
JP2009259156A (ja) * 2008-04-21 2009-11-05 Mitsubishi Electric Corp シミュレーション装置
JP5224280B2 (ja) * 2008-08-27 2013-07-03 株式会社デンソーアイティーラボラトリ 学習データ管理装置、学習データ管理方法及び車両用空調装置ならびに機器の制御装置
JP5674499B2 (ja) * 2011-02-07 2015-02-25 株式会社日立製作所 センシング装置
JP5808605B2 (ja) 2011-08-17 2015-11-10 株式会社日立製作所 異常検知・診断方法、および異常検知・診断システム
JP5301717B1 (ja) * 2012-08-01 2013-09-25 株式会社日立パワーソリューションズ 設備状態監視方法およびその装置
US20140365403A1 (en) * 2013-06-07 2014-12-11 International Business Machines Corporation Guided event prediction
JP5538597B2 (ja) * 2013-06-19 2014-07-02 株式会社日立製作所 異常検知方法及び異常検知システム
JP6044556B2 (ja) * 2014-01-16 2016-12-14 株式会社デンソー 学習システム、車載装置、及び、サーバ
US10963810B2 (en) * 2014-06-30 2021-03-30 Amazon Technologies, Inc. Efficient duplicate detection for machine learning data sets
TWM490697U (en) * 2014-08-22 2014-11-21 Mian-Zhi Liu Roll call device
JP2016191973A (ja) 2015-03-30 2016-11-10 日本電気株式会社 情報転送装置、学習システム、情報転送方法及びプログラム
EP3188041B1 (en) * 2015-12-31 2021-05-05 Dassault Systèmes Update of a machine learning system
US10452467B2 (en) * 2016-01-28 2019-10-22 Intel Corporation Automatic model-based computing environment performance monitoring

Also Published As

Publication number Publication date
US20190121303A1 (en) 2019-04-25
US11435706B2 (en) 2022-09-06
JP2019079157A (ja) 2019-05-23

Similar Documents

Publication Publication Date Title
JP2022504704A (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
JP2022518745A (ja) 目標の位置取得方法、装置、コンピュータ機器及びコンピュータプログラム
CN114418069B (zh) 一种编码器的训练方法、装置及存储介质
CN115699082A (zh) 缺陷检测方法及装置、存储介质及电子设备
CN110766610B (zh) 一种超分辨率图像的重建方法及电子设备
CN113065635A (zh) 一种模型的训练方法、图像增强方法及设备
JP6827400B2 (ja) 制御システム
CN112184548A (zh) 图像超分辨率方法、装置、设备及存储介质
CN112084959B (zh) 一种人群图像处理方法及装置
CN108898647A (zh) 图像处理方法、装置、移动终端以及存储介质
US20190348062A1 (en) System and method for encoding data using time shift in an audio/image recognition integrated circuit solution
CN113014804A (zh) 图像处理方法、装置、电子设备和可读存储介质
US20240161254A1 (en) Information processing apparatus, information processing method, and program
CN110083742B (zh) 一种视频查询方法和装置
CN114677350A (zh) 连接点提取方法、装置、计算机设备及存储介质
US20200057932A1 (en) System and method for generating time-spectral diagrams in an integrated circuit solution
US11349894B1 (en) Bandwidth-dependent media stream compression
WO2018211602A1 (ja) 学習装置、推定装置、学習方法及びプログラム
WO2024041392A1 (zh) 图像处理方法、装置、存储介质及设备
JP2021089493A (ja) 情報処理装置およびその学習方法
WO2021016932A1 (zh) 数据处理方法、装置及计算机可读存储介质
CN108846817A (zh) 图像处理方法、装置以及移动终端
CN114640785A (zh) 站点模型更新方法及系统
CN113536876A (zh) 一种图像识别方法和相关装置
CN114004265A (zh) 一种模型训练方法及节点设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200114

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200128

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210119

R150 Certificate of patent or registration of utility model

Ref document number: 6827400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150