JP6236035B2 - Information collection system - Google Patents

Information collection system Download PDF

Info

Publication number
JP6236035B2
JP6236035B2 JP2015119253A JP2015119253A JP6236035B2 JP 6236035 B2 JP6236035 B2 JP 6236035B2 JP 2015119253 A JP2015119253 A JP 2015119253A JP 2015119253 A JP2015119253 A JP 2015119253A JP 6236035 B2 JP6236035 B2 JP 6236035B2
Authority
JP
Japan
Prior art keywords
information
data
event
event information
occurrence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015119253A
Other languages
Japanese (ja)
Other versions
JP2017004358A (en
Inventor
雅春 奧
雅春 奧
Original Assignee
株式会社smart−FOA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社smart−FOA filed Critical 株式会社smart−FOA
Priority to JP2015119253A priority Critical patent/JP6236035B2/en
Priority to PCT/JP2016/066329 priority patent/WO2016199658A1/en
Publication of JP2017004358A publication Critical patent/JP2017004358A/en
Application granted granted Critical
Publication of JP6236035B2 publication Critical patent/JP6236035B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/418Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00Testing or monitoring of control systems or parts thereof
    • G05B23/02Electric testing or monitoring
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Alarm Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • General Factory Administration (AREA)

Description

本発明は、工場やオフィス等で発生する現場データを収集する情報収集システムに関する。   The present invention relates to an information collection system that collects on-site data generated in a factory or office.

工場やオフィス等においては、各種の設備が稼働しており、それら設備を監視するデータ発生装置が観測値、エラー情報及びステータス情報等の設備に対する観測結果を示す現場データを出力する。データ発生装置は、設備のセンサ、FA(Factory Automation)を制御するプログラマブルロジックコントローラ、製品をカウントするコンピュータ、ユーザが情報入力可能なモバイル端末等である。   Various facilities are operating in factories, offices, and the like, and a data generator that monitors the facilities outputs field data indicating observation results for the facilities such as observation values, error information, and status information. The data generation device is a facility sensor, a programmable logic controller that controls factory automation (FA), a computer that counts products, a mobile terminal that allows a user to input information, and the like.

現場データは、コード化された、若しくは観測結果である数値として出力され、発生場所や日時情報が付加されたイベント情報として、固定資産管理者によりモニタリングされる。固定資産管理者は、例えば、工場では設備の保守管理者であり、オフィスではサーバ等の設備管理者である。   The on-site data is output as a numerical value that is coded or an observation result, and is monitored by the fixed asset manager as event information to which the occurrence location and date / time information is added. The fixed asset manager is, for example, a facility maintenance manager in a factory and a facility manager such as a server in an office.

このイベント情報は、工場やオフィスの稼働管理、製品の品質管理、経営管理等の操業に寄与する貴重な情報である。しかしながら、設備から直接出力されるイベント情報は、コード若しくは単なる観測数値、及び発生場所や発生日時等の直接的な意味以外には、2次的、3次的な意味を有していない。従来は、現場レベルで得られた情報を管理や経営レベルに至るまでの間に各層で順次解釈し直し、イベント情報を2次的、3次的な意味を持つ情報に変化させていくことで、各レベルにおいてイベント情報を活用していた。そのため、現場レベルと管理や経営レベルとでは、情報の伝わり方にタイムラグが発生しがちとなり、現場レベルと経営管理レベルが遊離しがちとなっている。   This event information is valuable information that contributes to operations such as factory and office operation management, product quality management, and business management. However, the event information output directly from the facility does not have secondary or tertiary meanings other than the direct meanings such as codes or simple observation numerical values, occurrence location and occurrence date and time. Conventionally, the information obtained at the site level is sequentially re-interpreted at each layer until it reaches the management and management level, and event information is changed into information with secondary and tertiary meanings. The event information was used at each level. Therefore, a time lag tends to occur in the way of information transmission between the site level and the management or management level, and the site level and the business management level tend to be liberated.

そこで、出願人は、特願2011−104532号のように、各レベルにおいてリアルタイムにイベント情報を共有することのできる情報収集システムを提唱している。この情報収集システムは、現場データに付加する各補足情報の種類を定義するモデルが収容された辞書を記憶しておく。また、各種各内容の補足情報が記憶されたデータベースを用意しておく。そして、辞書に従って、データベースから各補足情報を検索し、検索された各補足情報を現場データに追加してイベント情報を生成する。   Therefore, the applicant has proposed an information collection system that can share event information in real time at each level as in Japanese Patent Application No. 2011-104532. This information collection system stores a dictionary in which models that define the types of supplementary information added to field data are accommodated. In addition, a database storing supplementary information of various contents is prepared. Then, according to the dictionary, each supplementary information is searched from the database, and each searched supplementary information is added to the field data to generate event information.

検索においては、イベント情報に含まれる現場データ及び追加された各補足情報のうちの各種組み合わせを検索キーとし、他の種類の最適内容の補足情報を検索する。すなわち、出願人が提唱する情報収集システムは、現場データを取っ掛かりとして、現場データの内容、これまで追加してきた各補足情報の内容に最適な内容の補足情報を追加する。   In the search, other types of supplemental information of optimum contents are searched using various combinations of the field data included in the event information and each of the added supplemental information as search keys. That is, the information collection system proposed by the applicant adds the supplementary information having the optimum contents to the contents of the field data and the contents of each supplementary information added so far, using the field data as a starting point.

これにより、イベント情報は、現場データに対する単なる背景情報のみならず、現場データの内容に対する解釈や評価等の説明情報も加わることになり、情報伝達に即時性を有することになる。つまり、利用者側からは、必要とする内容が直接的かつ分かりやすく記述されたイベント情報が発生しているように見え、解釈の作業を要することなく、そのイベント情報の到達の時点で、イベント情報の持つ2次的、3次的な意味内容を理解することができる。従って、現場レベルから経営管理レベルに至るまで、イベント情報の到達のタイムラグを解消するのみならず、イベント情報に対する理解のタイムラグをも解消することができる。   As a result, the event information includes not only simple background information for the field data but also explanatory information such as interpretation and evaluation of the contents of the field data, and has immediacy in information transmission. In other words, from the user side, it seems that the event information describing the required contents directly and in an easy-to-understand manner has occurred, and when the event information arrives without requiring any interpretation work, Can understand secondary and tertiary meanings of information. Therefore, from the on-site level to the business management level, not only the arrival time lag of event information but also the understanding time lag of event information can be eliminated.

特開2006−164182号公報JP 2006-164182 A

工場やオフィス等において、現場で発生する特定事象を捕捉しているのは、センサやプログラマブルロジックコントローラのみではない。現場には、現場全体又は現場の局所を動画撮影するビデオカメラや、静止画を撮影するスチルカメラや、音声を録音するマイクロフォンも設置されており、これら機器も特定事象を記録していることがある。ビデオカメラ、スチルカメラ及びマイクロフォン等のレコーダもデータ発生装置として情報収集システムに組み込み、これらレコーダが発生させるレコーディングデータを現場データとして生かし、イベント情報を生成することができれば非常に有益である。   In factories and offices, it is not only sensors and programmable logic controllers that capture specific events that occur on site. At the site, video cameras that shoot the entire site or local area, still cameras that shoot still images, and microphones that record audio are installed, and these devices also record specific events. is there. It would be very beneficial if recorders such as video cameras, still cameras, and microphones were also incorporated in the information collection system as data generators, and recording data generated by these recorders could be used as field data to generate event information.

例えば、火災報知機が煙や温度から火災を検知する前に、ビデオカメラ等が小さな炎や火花を捉えていることはよくあることである。つまり、レコーダによって記録される範囲は非常に広い。例えば、温度センサの設置箇所近傍まで延焼が拡がらなければ、温度センサは火災を検知できない。一方、カメラは、温度センサの設置箇所のみならず、その設置箇所を含めた広域を監視範囲とすることができるので、火災を温度センサよりも早く記録している場合が多い。また、稼働物同士の衝突は、稼働物の停止や稼働物のモータトルクの異常によってセンシング可能であるが、稼働物の停止やモータトルクの異常にまで至らない段階で、衝突音が発生している場合があり、マイクロフォンは、稼働物同士の衝突をこれらより早く記録している場合が多い。   For example, before a fire alarm detects a fire from smoke or temperature, a video camera or the like often catches small flames or sparks. That is, the range recorded by the recorder is very wide. For example, if the fire spread does not spread to the vicinity of the temperature sensor installation location, the temperature sensor cannot detect a fire. On the other hand, since the camera can set not only the installation location of the temperature sensor but also a wide area including the installation location, the fire is often recorded earlier than the temperature sensor. In addition, the collision between operating objects can be sensed by stopping the operating object or abnormal motor torque of the operating object, but when the operating object stops or the motor torque does not become abnormal, a collision sound is generated. In many cases, the microphone records the collision between the working objects earlier than these.

しかしながら、適切な背景情報や説明情報を現場データに付加してイベント情報を生成するには、情報収集システムが現場データの意味内容を把握しなくてはならないが、レコーダから出力されるレコーディングデータは、意味内容を直接は把握できる現場データとはいえない。その理由は、第1に、レコーディングデータは、特定オブジェクト単体を記録するのみならず、特定オブジェクト以外も大量に記録されたバルキーデータである。第2に、特定オブジェクトの表示位置、表示時間帯、録音時間帯も一定でないことがあり、特定オブジェクト自体をノイズと区分けする設定が予め講じられない。第3に、特定オブジェクト自体も一定形状をとるわけではなく、特定オブジェクトを表現する規定コードを予め決定できない。   However, in order to generate event information by adding appropriate background information and explanation information to the site data, the information collection system must understand the meaning of the site data, but the recording data output from the recorder is However, it cannot be said to be on-site data that can directly grasp the meaning. The first reason is that the recording data is not only a single specific object but also a large amount of bulk data recorded other than the specific object. Second, the display position, the display time zone, and the recording time zone of the specific object may not be constant, and settings for distinguishing the specific object itself from noise cannot be taken in advance. Thirdly, the specific object itself does not have a fixed shape, and a regulation code representing the specific object cannot be determined in advance.

例示すると、炎が写った動画において、常時炎のみが写っているわけではない。炎が必ず一定時間帯に出現するとは限らない。炎は一定形状をとらない。すなわち、画像、動画及び音声データは、特定オブジェクト以外のノイズを多く含んで、特定オブジェクトとノイズが直接的には判別不能に混在化したデータであるため、意味内容を直接把握することができない。   For example, in a video showing a flame, only the flame is not always shown. Flames do not always appear at certain times. The flame does not take a certain shape. That is, the image, the moving image, and the audio data include data other than the specific object, and are data in which the specific object and the noise are mixed in an indistinguishable directly, so that the semantic content cannot be directly grasped.

そのため、従来、画像、動画及び音声データといったレコーディングデータは、センサの温度情報等の他の現場データに対して付加される背景情報や説明情報としての扱いにすぎなかった。または、撮影・録画時間、カメラやマイクの設置場所といった、画像、動画及び音声データの発生経緯を現場データとして取り扱い、その現場データに対して付加される背景情報や説明情報としての扱いにすぎなかった。このように、従来、画像、動画又は音声データが捉えた特定の事象に背景や説明を加えたイベント情報を生成することはできなかった。   For this reason, conventionally, recording data such as images, moving images, and audio data has only been handled as background information or explanatory information added to other field data such as sensor temperature information. Or, the history of image, video, and audio data, such as shooting / recording time and camera / microphone installation location, is handled as on-site data, and it is only treated as background information or explanatory information added to the on-site data. It was. Thus, conventionally, it has not been possible to generate event information in which a background or explanation is added to a specific event captured by an image, a moving image, or audio data.

本発明は、上記のような従来技術の問題点を解決するために提案されたもので、画像、動画及び音声データといったレコーディングデータからイベント情報を生成することのできる情報収集システムを提供することを目的とする。   The present invention has been proposed to solve the above-described problems of the prior art, and provides an information collection system capable of generating event information from recording data such as images, moving images, and audio data. Objective.

上記目的を達成するために、本発明に係る情報収集システムは、レコーディングデータを記録するレコーダにネットワークを介して接続された情報収集システムであって、前記レコーディングデータを標準パターンで走査して特定事象の発生を検知する解析部と、特定内容の現場データを予め記憶し、前記解析部の特定事象発生検知に応答して、特定事象の発生を示す当該現場データをメモリに記憶させる第1の現場データ生成部と、各種各内容の補足情報が記憶されたデータベースと、前記メモリに前記現場データが出現すると、前記レコーダが記録した前記特定事象の発生背景と前記特定事象の評価及び解釈を示し、前記現場データの特定内容に応じた内容の補足情報を前記データベースから探索し、前記現場データを核として、探索された前記補足情報と前記レコーディングデータを含めた操業用のイベント情報を生成するイベント情報生成部と、前記現場データの種類に応じて前記イベント情報に含める前記補足情報の種類を特定した、前記イベント情報のモデルを記憶する辞書記憶部と、前記レコーディングデータを解析して時系列上の前後データで変化の発生を検知する変化検出部と、変化アリを示すデータを予め記憶し、前記変化検出部の不特定事象発生検知に応答して、当該変化アリを示す当該データを前記現場データとしてメモリに記憶させる第2の現場データ生成部と、前記イベント情報を表示する表示部を有するシステム設計支援端末と、を備え、前記イベント情報生成部は、前記変化検出部による検知を契機にして、前記モデルに示される種類の前記補足情報のグループから、前記現場データ及び既に含められた前記補足情報を検索キーとして、他の前記補足情報を絞り込み、前記第2の現場データ生成部により生成された前記現場データを核として、前記モデル又は前記標準パターンの設計用の前記イベント情報を生成し、前記システム設計支援端末は、前記モデル又は前記標準パターンの設計用の前記イベント情報を前記表示部に表示すること、を特徴とする。 In order to achieve the above object, an information collection system according to the present invention is an information collection system connected to a recorder for recording data via a network, and the recording data is scanned with a standard pattern for a specific event. An analysis unit for detecting the occurrence of an event and a first site that stores field data of specific contents in advance and stores the site data indicating the occurrence of the specific event in memory in response to the detection of the specific event occurrence of the analysis unit A data generation unit, a database in which supplementary information of various contents is stored, and when the on-site data appears in the memory, shows the occurrence background of the specific event recorded by the recorder and the evaluation and interpretation of the specific event, Search the database for supplementary information with content according to the specific content of the site data, and search using the site data as a core. Said supplementary information and the event information generating unit that generates event information for operations, including the recording data to determine the kind of the supplementary information to be included in the event information in accordance with the type of the field data, said event information A dictionary storage unit that stores a model of the above, a change detection unit that analyzes the recording data and detects the occurrence of changes in the data before and after the time series, and stores data indicating change ants in advance, A system design support terminal having a second field data generation unit that stores the data indicating the change ant in the memory as the field data in response to detection of an unspecified event occurrence, and a display unit that displays the event information; The event information generation unit is triggered by detection by the change detection unit, and the supplement of the type shown in the model From the group of information, the model is refined by using the on-site data and the already-included supplemental information as a search key, narrowing down the other supplementary information, and using the on-site data generated by the second on-site data generation unit as a core. Alternatively, the event information for designing the standard pattern is generated, and the system design support terminal displays the event information for designing the model or the standard pattern on the display unit .

前記レコーダは、ビデオカメラ、スチルカメラ又はマイクロフォンであり、前記レコーディングデータは、動画データ、定期的に撮影される複数の静止画データ、又は音声データであるようにしてもよい。   The recorder may be a video camera, a still camera, or a microphone, and the recording data may be moving image data, a plurality of still image data that are periodically shot, or audio data.

ーザとのマンマシンインターフェースを有し、前記特定事象の発生を示す現場データに対応する前記モデルを、ユーザによる入力に従って生成するモデル設計部と、ユーザとのマンマシンインターフェースを有し、前記特定事象の発生により現れるオブジェクトの標準パターンをユーザの入力に従って生成する特徴設計部と、を更に備えるようにしてもよい。 Has a man-machine interface with the User chromatography The, the model corresponding to the scene data indicating the occurrence of the specific event, the modeling unit for generating according to input by the user, has a man-machine interface with the user, the A feature design unit that generates a standard pattern of an object that appears due to the occurrence of a specific event according to a user input may be further provided.

前記システム設計支援端末は、前記モデル設計部と前記特徴設計部を含むようにしてもよい。 The system design support terminal may include the feature design portion and the model design unit.

前記情報収集システムは、前記レコーダに加え、前記現場データを直接発生させるデータ発生装置にネットワークを介して接続され、前記イベント情報生成部は、前記データ発生装置が発生させた現場データが出現すると、前記現場データが示す内容に応じた補足情報を前記データベースから探索し、前記データ発生装置の前記現場データを核として、探索された前記補足情報を含めた前記イベント情報を生成し、前記変化検出部による検知を契機にして生成される前記イベント情報には、前記変化の発生の時刻前後に前記データ発生装置から発生した前記現場データを前記補足情報として含めるようにしてもよい。   In addition to the recorder, the information collection system is connected via a network to a data generation device that directly generates the field data, and the event information generation unit, when the field data generated by the data generation device appears, Search the supplementary information according to the content indicated by the field data from the database, generate the event information including the searched supplement information using the field data of the data generation device as a core, and the change detection unit The event information generated when triggered by the detection may include the on-site data generated from the data generator before and after the occurrence of the change as the supplementary information.

前記情報収集システムは、前記レコーダに加え、前記現場データを直接発生させるデータ発生装置にネットワークを介して接続され、前記イベント情報生成部は、前記データ発生装置が発生させた現場データが出現すると、前記現場データが示す内容に応じた補足情報を前記データベースから探索し、前記データ発生装置の前記現場データを核として、探索された前記補足情報を含めた前記イベント情報を生成し、前記変化検出部による検知を契機にして生成される前記イベント情報には、前記変化の発生の時刻前後に前記データ発生装置から発生した前記現場データに基づく前記イベント情報を前記補足情報として含めるようにしてもよい。   In addition to the recorder, the information collection system is connected via a network to a data generation device that directly generates the field data, and the event information generation unit, when the field data generated by the data generation device appears, Search the supplementary information according to the content indicated by the field data from the database, generate the event information including the searched supplement information using the field data of the data generation device as a core, and the change detection unit The event information generated when triggered by the detection may include the event information based on the field data generated from the data generator before and after the occurrence of the change as supplementary information.

前記解析部は、警備員の身体的又は着衣の特徴を模した前記標準パターンで前記レコーディングデータを走査し、警備員の到着を前記特定事象の発生として検知するようにしてもよい。   The analysis unit may scan the recording data with the standard pattern imitating the physical characteristics of the guard or clothing, and detect the arrival of the guard as the occurrence of the specific event.

前記データベースには、前記レコーディングデータに記録された警備員の現実の到着時刻と、警備員の到着予定時刻と、遅刻限度時間と、遅刻報知と、正常時間内到着報知とを内容とする各補足情報が記憶され、前記イベント情報生成部は、前記現実の到着時刻と、警備員の到着予定時刻と、遅刻限度時間とに基づき、前記遅刻報知か前記正常時間内到着報知の一方の前記補足情報を選択して前記イベント情報に含めるようにしてもよい。   In the database, each supplement containing the actual arrival time of the guard recorded in the recording data, the estimated arrival time of the guard, the late limit time, the late notice, and the arrival notice within the normal time Information is stored, and the event information generation unit is configured to provide the supplementary information of either the late notification or the normal time arrival notification based on the actual arrival time, the estimated arrival time of the guard, and the late limit time. May be selected and included in the event information.

前記解析部は、炎の特徴を模した前記標準パターンで前記レコーディングデータを走査し、出火を前記特定事象の発生として検知するようにしてもよい。   The analysis unit may scan the recording data with the standard pattern simulating the characteristics of a flame and detect a fire as the occurrence of the specific event.

前記データベースには、前記レコーディングデータに記録された出火時刻と出火場所を内容とする各補足情報が記憶され、前記イベント情報生成部は、前記出火時刻と前記出火場所を前記イベント情報に含めるようにしてもよい。   The database stores each supplementary information that includes the fire time and the fire place recorded in the recording data, and the event information generation unit includes the fire time and the fire place in the event information. May be.

前記データベースには、前記出火場所近傍の各種センサの計測値が各補足情報として記憶され、前記イベント情報生成部は、前記出火時刻と前記出火場所に加えて前記センサの計測値を前記イベント情報に含めるようにしてもよい。   In the database, measurement values of various sensors in the vicinity of the fire location are stored as supplementary information, and the event information generation unit adds the sensor measurement values to the event information in addition to the fire time and the fire location. It may be included.

前記解析部は、メンテナンス員の身体的又は着衣の特徴を模した前記標準パターンで前記レコーディングデータを走査し、メンテナンス員の到着を前記特定事象の発生として検知するようにしてもよい。   The analysis unit may scan the recording data with the standard pattern imitating the physical or clothing characteristics of a maintenance worker and detect the arrival of the maintenance worker as the occurrence of the specific event.

前記データベースには、前記レコーディングデータに記録されたメンテナンス員の現実の到着時刻と、メンテナンス員の駆け付けを要する事象の発生時刻が各補足情報が記憶され、前記イベント情報生成部は、前記到着時刻と前記発生時刻とに基づき、前記メンテナンス員の駆け付け時間を演算して前記補足情報として前記イベント情報に含めるようにしてもよい。   The database stores each supplementary information including the actual arrival time of the maintenance staff recorded in the recording data and the occurrence time of the event requiring maintenance by the maintenance staff, and the event information generating unit Based on the occurrence time, the rush time of the maintenance staff may be calculated and included in the event information as the supplementary information.

前記解析部は、特定人物の身体的特徴を模した前記標準パターンと、人の特徴を模した前記標準パターンの各々で前記レコーディングデータを走査し、不審者又は侵入者の発生を検知するようにしてもよい。   The analysis unit scans the recording data with each of the standard pattern imitating a physical characteristic of a specific person and the standard pattern imitating a human characteristic, and detects the occurrence of a suspicious person or an intruder. May be.

前記レコーダは、設備が有する画面を視野に収めて設置され、前記解析部は、特定画像、特定文字、特定文字列、特定記号、又は特定記号列を模した前記標準パターンで前記レコーディングデータを走査し、前記設備の特定事象の報知を検知するようにしてもよい。   The recorder is installed in view of a screen of equipment, and the analysis unit scans the recording data with the standard pattern simulating a specific image, a specific character, a specific character string, a specific symbol, or a specific symbol string. And you may make it detect the alert | report of the specific event of the said installation.

前記解析部は、人の特徴を模した前記標準パターンの各々で前記レコーディングデータを走査し、且つ前記標準パターンで特定された人のオブジェクトの変化を検知し、前記第1の現場データ生成部は、患者の転倒を含む不審挙動の発生を示す前記現場データを予め記憶し、前記解析部の検知に応答して、当該患者の転倒を含む不審挙動の発生を示す前記現場データをメモリに記憶させるようにしてもよい。   The analysis unit scans the recording data with each of the standard patterns simulating human characteristics, and detects a change in a person's object specified by the standard pattern. The field data indicating occurrence of suspicious behavior including a patient's fall is stored in advance, and the field data indicating occurrence of suspicious behavior including the patient's fall is stored in a memory in response to detection by the analysis unit. You may do it.

本発明によれば、レコーディングデータが記録する特定事象と其の発生背景及び特定事象の評価や解釈を含むイベント情報を生成することができ、レコーディングデータを補足資料としてではなく、主要資料として扱うことができる。   According to the present invention, it is possible to generate event information including a specific event recorded by the recording data, its occurrence background, and evaluation and interpretation of the specific event, and the recording data is handled as a main material, not as a supplementary material. Can do.

本実施形態に係る情報収集システムを含むネットワーク構成を示すブロック図である。It is a block diagram which shows the network structure containing the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムが生成するイベント情報の模式図である。It is a schematic diagram of the event information which the information collection system concerning this embodiment generates. 本実施形態に係る情報収集システムのイベント情報の生成を示す模式図である。It is a schematic diagram which shows the production | generation of the event information of the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムが有するモデルの模式図である。It is a schematic diagram of the model which the information collection system concerning this embodiment has. 本実施形態に係る情報収集システムが記憶する設計用のイベント情報のモデルを示す模式図である。It is a schematic diagram which shows the model of the event information for design which the information collection system which concerns on this embodiment memorize | stores. 本実施形態に係る情報収集システムの有するシステム設計支援端末の構成を示すブロック図である。It is a block diagram which shows the structure of the system design support terminal which the information collection system which concerns on this embodiment has. 本実施形態に係る情報収集システムによるレコーディングデータに基づく設計用のイベント情報生成を示すフローチャートである。It is a flowchart which shows the event information generation for design based on the recording data by the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムによるレコーディングデータに基づく操業用のイベント情報生成を示すフローチャートである。It is a flowchart which shows the event information generation for operation based on the recording data by the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムの警備員到着のイベント情報に関する設計過程から生成過程までを示す模式図である。It is a schematic diagram which shows from the design process to the production | generation process regarding the event information of the guard arrival of the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムの火災早期発見のイベント情報に関する設計過程から生成過程までを示す模式図である。It is a schematic diagram which shows from the design process to the production | generation process regarding the event information of the early fire detection of the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムの火災早期発見のイベント情報に関する設計過程から生成過程までを示す模式図である。It is a schematic diagram which shows from the design process to the production | generation process regarding the event information of the early fire detection of the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムのメンテナンス員到着のイベント情報に関する設計過程から生成過程までを示す模式図である。It is a schematic diagram which shows from the design process to the production | generation process regarding the event information of the maintenance worker arrival of the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムの侵入者発見のイベント情報に関する設計過程から生成過程までを示す模式図である。It is a schematic diagram which shows from the design process to the production | generation process regarding the event information of intruder discovery of the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムの装置停止のイベント情報に関する設計過程から生成過程までを示す模式図である。It is a schematic diagram which shows from the design process to the production | generation process regarding the event information of the apparatus stop of the information collection system which concerns on this embodiment. 本実施形態に係る情報収集システムの不審挙動発見のイベント情報に関する設計過程から生成過程までを示す模式図である。It is a schematic diagram which shows from the design process to the production | generation process regarding the event information of suspicious behavior discovery of the information collection system which concerns on this embodiment.

以下、本発明に係る情報収集システムの実施形態について図面を参照して詳細に説明する。   Embodiments of an information collection system according to the present invention will be described below in detail with reference to the drawings.

(構成)
図1は、本実施形態に係る情報収集システムを含むネットワーク構成を示すブロック図である。情報収集システム1はネットワーク300に接続されている。ネットワーク300には、データベース2と、1機以上のデータ発生装置100と、1機以上のレコーダ200が更に接続されている。ネットワーク300は、IEEE802.3等の有線通信プロトコル、IEEE802.11で規定される無線通信プロトコル、その他のプロトコルに準拠したネットワークであり、有線LAN網、無線LAN網、インターネット網、若しくは専用回線等の通信回線、又はこれらの複合である。
(Constitution)
FIG. 1 is a block diagram showing a network configuration including an information collection system according to this embodiment. The information collection system 1 is connected to the network 300. The network 300 is further connected to the database 2, one or more data generators 100, and one or more recorders 200. The network 300 is a network that complies with a wired communication protocol such as IEEE 802.3, a wireless communication protocol defined by IEEE 802.11, and other protocols, such as a wired LAN network, a wireless LAN network, the Internet network, or a dedicated line. It is a communication line or a combination of these.

データ発生装置100は、工場、オフィス又は住宅に設置されたセンサ装置、FAを制御するPLC、又はモバイル端末である。センサ装置は、センサ本体とコンピュータ又はマイコンを有し、ネットワーク300を介してデータ送信可能である。センサ装置は、例えば温度計、流量計、エンコーダ、電圧計、電流計等の各種物理量を観測し、又は近接センサ等のように通過した製品のロットナンバー等の各種数値をカウントする。PLCは、例えば製品のプロセス完了やエラー等のステータスを監視する。すなわち、データ発生装置100は、現場データ100aを発生させる。現場データ100aは、観測結果情報、ロットナンバー情報又はステータス情報等の設備や製品に対する観測結果である。   The data generation device 100 is a sensor device installed in a factory, office, or residence, a PLC that controls an FA, or a mobile terminal. The sensor device has a sensor main body and a computer or a microcomputer, and can transmit data via the network 300. The sensor device observes various physical quantities such as a thermometer, a flow meter, an encoder, a voltmeter, and an ammeter, or counts various numerical values such as a lot number of a product passed like a proximity sensor. The PLC monitors statuses such as product process completion and errors, for example. That is, the data generation device 100 generates the field data 100a. The field data 100a is observation results for equipment and products such as observation result information, lot number information, or status information.

レコーダ200は、工場やオフィス等の現場の様子を監視すべく設置される。レコーダ200は、ビデオカメラ本体、静止画を撮影するカメラ本体、又はマイクロフォン本体と、コンピュータ又はマイコンを有し、ネットワーク300を介してデータ送信可能である。レコーダ200は、動画又は静止画を撮影し、若しくは音声を録音し、動画データ、画像データ、又は音声データであるレコーディングデータ200aを発生させる。   The recorder 200 is installed to monitor the state of the site such as a factory or office. The recorder 200 includes a video camera main body, a camera main body that captures a still image, or a microphone main body, and a computer or a microcomputer, and can transmit data via the network 300. The recorder 200 shoots a moving image or a still image or records a sound, and generates recording data 200a that is moving image data, image data, or sound data.

データ発生装置100及びレコーダ200は、現場データ100a及びレコーディングデータ200aに自らの送信元IPアドレスを付加し、情報収集システム1のIPアドレス及び情報収集アプリケーションのポート番号を含むTCPやIPを宛先アドレスとしてヘッダを付加し、ネットワーク300に送出する。   The data generation device 100 and the recorder 200 add their transmission source IP addresses to the field data 100a and the recording data 200a, and use TCP or IP including the IP address of the information collection system 1 and the port number of the information collection application as a destination address. A header is added and sent to the network 300.

情報収集システム1は、データ発生装置100が発生させた現場データ100aに各種の補足情報2aを追加していくことで、イベント情報1aを生成する。また、情報収集システム1は、レコーディングデータ200aを解析して、解析結果から現場データ100aを生成し、生成された現場データ100aに各種の補足情報2aを追加していくことで、イベント情報1aを構築する。イベント情報1aは、現場データ100aに補足情報2aが付加された一連のデータである。補足情報2aは、現場データ100aの内容を補足する情報であり、事象発生の背景情報、発生事象の説明情報、発生事象の解析情報、又はその他各種の有用情報である。   The information collection system 1 generates event information 1a by adding various supplementary information 2a to the on-site data 100a generated by the data generator 100. Further, the information collection system 1 analyzes the recording data 200a, generates on-site data 100a from the analysis result, and adds various supplementary information 2a to the generated on-site data 100a, thereby obtaining the event information 1a. To construct. The event information 1a is a series of data in which supplementary information 2a is added to the field data 100a. The supplementary information 2a is information that supplements the content of the on-site data 100a, and is background information of event occurrence, explanation information of the occurrence event, analysis information of the occurrence event, or other various useful information.

データベース2には、各種各内容の補足情報2aが現場データ100aや他の補足情報2aと相互に関連づけられて記憶されている。情報収集システム1は、データベースマネージメントシステム(DBMS)としてデータベース2を検索し、補足情報2aを取得する。   The database 2 stores supplementary information 2a of various contents in association with the on-site data 100a and other supplementary information 2a. The information collection system 1 searches the database 2 as a database management system (DBMS), and acquires supplementary information 2a.

この情報収集システム1及びデータベース2は、コンピュータを含み構成され、CPUやMPU等のプロセッサ、RAM、OS及び情報収集アプリケーションが記憶されたHDDやSSD等の外部記憶装置、及びネットワークアダプタを備えている。情報収集システム1は、単一のコンピュータ又は分散型コンピュータ群である。また、情報収集システム1とデータベース2とは一体又はネットワーク300上に分散した別個のコンピュータである。   The information collection system 1 and the database 2 are configured to include a computer, and include a processor such as a CPU and an MPU, a RAM, an OS, an external storage device such as an HDD and an SSD in which an information collection application is stored, and a network adapter. . The information collection system 1 is a single computer or a distributed computer group. The information collection system 1 and the database 2 are separate computers that are integrated or distributed on the network 300.

情報収集アプリケーションは、コンピュータを情報収集システム1として機能させるプログラムコード又は制御プログラムであり、具体的にはオブジェクトコード又は機械語命令である。このプログラムコード又は制御プログラムは、様々なソースコードプログラム言語で書き込まれ、次いでプロセッサにふさわしい実行可能機械コード若しくは命令にコンパイル又はアセンブルされる態様で格納されていてもよい。このアプリケーションは、CDROM、DVDROM又はUSBメモリ等の可搬記憶媒体や、サーバ等のネットワーク上の記憶媒体に保存され、外部記憶装置へインストールされる。情報収集システム1を構成するコンピュータは、可搬記憶媒体を読み取り可能なドライブを有し、またサーバ等のネットワーク上の記憶媒体にアクセス可能にネットワークに接続されている。   The information collection application is a program code or a control program that causes a computer to function as the information collection system 1, and is specifically an object code or a machine language instruction. This program code or control program may be stored in a manner written in various source code programming languages and then compiled or assembled into executable machine code or instructions suitable for the processor. This application is stored in a portable storage medium such as a CDROM, DVDROM, or USB memory, or a storage medium on a network such as a server, and installed in an external storage device. The computer constituting the information collection system 1 has a drive capable of reading a portable storage medium, and is connected to the network so as to be accessible to a storage medium on the network such as a server.

図2は、この情報収集システム1の構成を示すブロック図である。情報収集システム1は、外部記憶装置のアプリケーションをプロセッサで処理することにより、メモリ11と、解析エンジン12と、特徴記憶部13と、変化検出エンジン14と、辞書記憶部15と、イベント情報生成部16と、システム設計支援端末17と、現場データ記憶部18を備える。   FIG. 2 is a block diagram showing the configuration of the information collection system 1. The information collection system 1 processes an application of an external storage device with a processor, thereby allowing a memory 11, an analysis engine 12, a feature storage unit 13, a change detection engine 14, a dictionary storage unit 15, and an event information generation unit. 16, a system design support terminal 17, and a field data storage unit 18.

メモリ11は、RAM又は外部記憶装置を含み構成される。メモリ11は、ネットワーク300に送出された現場データ100a及びレコーディングデータ200aを一時的に記憶する。   The memory 11 includes a RAM or an external storage device. The memory 11 temporarily stores the on-site data 100a and the recording data 200a sent to the network 300.

解析エンジン12は、プロセッサと外部記憶装置を含み構成される。解析エンジン12は、特徴記憶部13を参照し、メモリ11に記憶されたレコーディングデータ200aを解析する。解析内容は、特定事象の発生であり、例えば特定オブジェクトの出現、特定オブジェクトの態様変化、不特定オブジェクトの出現、又はこれらの組み合わせ等を解析する。解析エンジン12は、レコーディングデータ200aに特定事象の発生が記録されていれば、その特定事象の発生を示す現場データ100aをメモリ11に記憶させる。   The analysis engine 12 includes a processor and an external storage device. The analysis engine 12 refers to the feature storage unit 13 and analyzes the recording data 200 a stored in the memory 11. The analysis content is the occurrence of a specific event. For example, the appearance of a specific object, a change in the form of a specific object, the appearance of an unspecified object, or a combination thereof is analyzed. If the occurrence of the specific event is recorded in the recording data 200a, the analysis engine 12 stores the field data 100a indicating the occurrence of the specific event in the memory 11.

特徴記憶部13には標準パターン131が記憶されている。標準パターン131は、特定オブジェクトの特徴を示す。標準パターン131は、静止画データや動画データに対し、特徴点を二次元状に配列することで特定物体や特定文字を形作った形状情報、特定物体や特定文字の色情報、又はこれらの組み合わせである。また、標準パターン131は、音声データに対し、特定音声の周波数、振幅、音色、スペクトル又はこれらの組み合わせ等である。   A standard pattern 131 is stored in the feature storage unit 13. The standard pattern 131 shows the characteristics of a specific object. The standard pattern 131 is a shape information that forms a specific object or a specific character by arranging feature points two-dimensionally with respect to still image data or moving image data, color information of the specific object or a specific character, or a combination thereof. is there. The standard pattern 131 is the frequency, amplitude, timbre, spectrum, or combination thereof of the specific sound with respect to the sound data.

例えば、標準パターン131は、黄色のヘルメットを被った警備員をデータ内から見分けるために、ヘルメットの形状を表す形状情報と黄色等の色情報の組み合わせである。解析エンジン12は、レコーディングデータ200aの各フレームを特徴点の配列と色情報の分布に変換し、フレームの各領域と標準パターン131と照合する。一領域の特徴点の配列及び色情報の分布が標準パターン131とマッチすると、解析エンジン12は、規定内容を示す現場データ100aをメモリ11に記憶させる。規定内容を示す現場データ100aは、例えば警備員到着を示すテキストデータであり、現場データ記憶部18に予め記憶されている。   For example, the standard pattern 131 is a combination of shape information indicating the shape of a helmet and color information such as yellow in order to distinguish a guard wearing a yellow helmet from the data. The analysis engine 12 converts each frame of the recording data 200a into an array of feature points and a distribution of color information, and collates each area of the frame with the standard pattern 131. When the arrangement of feature points in one region and the distribution of color information match the standard pattern 131, the analysis engine 12 stores the field data 100a indicating the specified contents in the memory 11. The on-site data 100a indicating the prescribed content is, for example, text data indicating arrival of a guard, and is stored in advance in the on-site data storage unit 18.

また、例えば、標準パターン131は、搬送設備と被搬送製品とが衝突していることをデータから特定するために、金属が擦れる金切り音のスペクトルデータである。解析エンジン12は、レコーディングデータ200aの各時間区間のスペクトルデータと標準パターン131とを照合する。そして、例えば、マッチの結果として、異音発生を示すテキストデータにより成る現場データ100aをメモリ11に記憶させる。   Further, for example, the standard pattern 131 is spectrum data of a cutting sound that a metal rubs in order to specify from data that the transport facility and the product to be transported collide with each other. The analysis engine 12 collates the spectrum data of each time interval of the recording data 200a with the standard pattern 131. Then, for example, as a result of the match, field data 100a composed of text data indicating the occurrence of abnormal noise is stored in the memory 11.

変化検出エンジン14は、プロセッサと外部記憶装置を含み構成される。この変化検出エンジン14は、メモリ11に記憶されたレコーディングデータ200aを解析する。解析内容は、レコーダ200が捉える状況の変化である。変化検出エンジン14は、レコーディングデータ200aに変化が記録されていれば、変化の発生を示す現場データ100aを現場データ記憶部18から読み出してメモリ11に記憶させる。   The change detection engine 14 includes a processor and an external storage device. The change detection engine 14 analyzes the recording data 200a stored in the memory 11. The analysis content is a change in the situation captured by the recorder 200. If a change is recorded in the recording data 200 a, the change detection engine 14 reads out the site data 100 a indicating the occurrence of the change from the site data storage unit 18 and stores it in the memory 11.

すなわち、変化検出エンジン14は、レコーディングデータ200aが記録した各時点の静止画、フレーム又は音声と、その前時点の静止画、フレーム又は音声とを比較する。変化検出エンジン14は、比較対象の一定以上の相違により、変化を示す現場データ100aをメモリ11に記憶させる。現場データ記憶部18は、変化発生を示すテキストデータを予め記憶している。   That is, the change detection engine 14 compares the still image, frame, or sound at each time point recorded by the recording data 200a with the still image, frame, or sound at the previous time point. The change detection engine 14 stores on-site data 100a indicating a change in the memory 11 due to a difference of a certain level or more to be compared. The on-site data storage unit 18 stores in advance text data indicating the occurrence of a change.

イベント情報生成部16は、プロセッサを含み構成される。イベント情報生成部16は、辞書記憶部15を参照し、データベース2又はメモリ11から補足情報2aを取得することで、イベント情報1aを生成する。補足情報2は、代表的にはデータベース2から取得されるが、イベント情報生成部16がアクセス可能な場所であれば、例えばメモリ11や既に生成されたイベント情報1aの集積場所から取得されるようにしてもよい。   The event information generation unit 16 includes a processor. The event information generation unit 16 refers to the dictionary storage unit 15 and acquires the supplemental information 2a from the database 2 or the memory 11, thereby generating the event information 1a. The supplementary information 2 is typically acquired from the database 2, but may be acquired from, for example, the memory 11 or a collection location of the already generated event information 1 a if the event information generation unit 16 is accessible. It may be.

イベント情報1aは、図3に示すように、メモリ11に記憶された現場データ100aを核として、補足情報2aが連なる一連のデータである。データベース2に記憶された情報の他、メモリ11に記憶された現場データ100a、レコーディングデータ200a、及び現場データ100aやレコーディングデータ200aの一部情報、既に生成されたイベント情報1aも補足情報2aとして取り扱うようにしてもよい。   As shown in FIG. 3, the event information 1a is a series of data in which supplementary information 2a is linked with the field data 100a stored in the memory 11 as a core. In addition to the information stored in the database 2, the on-site data 100a, the recording data 200a stored on the memory 11, the on-site data 100a and part of the recording data 200a, and already generated event information 1a are also handled as supplementary information 2a. You may do it.

辞書記憶部15は、外部記憶装置を含み構成され、イベント情報1aのモデル151が現場データ100aの種類に応じて記憶されている。図4は、辞書記憶部15に記憶されたモデル151を示す模式図である。モデル151は複数の補足種別情報152を含む。補足種別情報152は、イベント情報1aに付加する補足情報2aの種別を示す。また、モデル151は、各補足種別情報152にクエリ情報154を対にして有する。クエリ情報154は、補足種別情報152に属する補足情報2aのグループから1つの補足情報2aを絞り込むための検索条件である。このモデル151はイベント種別情報153で特定される。イベント種別情報153は、モデル151が示すイベント情報1aの核となる現場データ100aの種別を示す。   The dictionary storage unit 15 includes an external storage device, and stores a model 151 of event information 1a according to the type of the on-site data 100a. FIG. 4 is a schematic diagram showing the model 151 stored in the dictionary storage unit 15. The model 151 includes a plurality of supplement type information 152. The supplement type information 152 indicates the type of the supplement information 2a added to the event information 1a. Further, the model 151 has query information 154 as a pair with each supplement type information 152. The query information 154 is a search condition for narrowing down one supplementary information 2a from the group of supplementary information 2a belonging to the supplement type information 152. This model 151 is specified by the event type information 153. The event type information 153 indicates the type of the on-site data 100a that is the core of the event information 1a indicated by the model 151.

イベント情報生成部16は、メモリ11に記憶された現場データ100aの種別と合致するイベント種別情報153を手がかりに、辞書記憶部12からモデル151を探索する。現場データ100aの種別とイベント種別情報153は、例えば現場データ100aを発生させたデータ発生装置100のIPアドレス、又は現場データ100aの特定内容である。   The event information generation unit 16 searches the dictionary storage unit 12 for the model 151 using the event type information 153 that matches the type of the field data 100a stored in the memory 11 as a clue. The type of the on-site data 100a and the event type information 153 are, for example, the IP address of the data generating apparatus 100 that generated the on-site data 100a, or specific contents of the on-site data 100a.

図5に示すように、イベント情報生成部16は、該当のモデル151に含まれる各補足種別情報152で括られる補足情報2aのグループを特定する。イベント情報生成部16は、クエリ情報154を利用して其のグループから補足情報2aを絞り込む。クエリ情報154は、現場データ100aの種類、現場データ100aの内容、既に追加された補足情報2aの内容、又はこれらの組み合わせ、若しくはこれらをパラメータとして大小比較や一致不一致等を演算する演算式、若しくは演算結果に応じて選択される補足情報2aの内容を示す。イベント情報生成部16は、現場データ100aを核としたイベント情報1aに、絞り込まれた補足情報2aを追加していく。   As illustrated in FIG. 5, the event information generation unit 16 identifies a group of supplementary information 2 a that is bundled with each supplement type information 152 included in the corresponding model 151. The event information generation unit 16 uses the query information 154 to narrow down the supplementary information 2a from the group. The query information 154 includes the type of the on-site data 100a, the content of the on-site data 100a, the content of the supplemental information 2a that has already been added, or a combination thereof, or an arithmetic expression that calculates a size comparison or match / mismatch using these as parameters, or The content of the supplementary information 2a selected according to a calculation result is shown. The event information generation unit 16 adds the supplemental information 2a that has been narrowed down to the event information 1a with the field data 100a as a core.

例えば、温度を示す現場データ、許容温度範囲を示す補足情報2a、及び現場データ100aが示す温度の正常又は異常を示す補足情報2aを含むイベント情報1aのモデル151が辞書記憶部15に記憶されている。イベント情報生成部16は、温度を示す現場データ100aを含むイベント情報1aに許容温度範囲を示す補足情報2aを追加する。また、イベント情報生成部16は、クエリ情報154に従って、現場データ100aが示す温度と既に追加した補足情報2aの許容温度範囲とを比較し、比較の結果に応じて指定されたキーワードをデータベース2から検索し、例えば正常を示す補足情報2aに絞り込んで、イベント情報1aに更に追加する。   For example, a model 151 of event information 1a including on-site data indicating temperature, supplementary information 2a indicating an allowable temperature range, and supplementary information 2a indicating normality or abnormality of the temperature indicated by the on-site data 100a is stored in the dictionary storage unit 15. Yes. The event information generation unit 16 adds supplementary information 2a indicating the allowable temperature range to the event information 1a including the field data 100a indicating the temperature. Further, the event information generation unit 16 compares the temperature indicated by the on-site data 100a with the allowable temperature range of the supplemental information 2a that has already been added in accordance with the query information 154, and the keyword specified according to the comparison result is retrieved from the database 2. Search, for example, narrow down to supplementary information 2a indicating normality, and further add to event information 1a.

ここで、イベント情報1aは、由来、用途及び必要とする人によって2種類に大別される。データ発生装置100で発生した現場データ100a又は解析エンジン12で生成された現場データ100aを核とした操業用のイベント情報1aと、変化検出エンジン14で生成された現場データ100aを核とした設計用のイベント情報1aとに大別される。操業用のイベント情報1aは、現場や営業やバックオフィスや経営等の操業に携わる人に必要とされる情報である。設計用のイベント情報1aは、標準パターン131の設計に携わる人、及びレコーディングデータ200aから抽出された特定事象のイベント情報1aに関するモデル151の設計に携わる人に必要とされる情報である。   Here, the event information 1a is roughly classified into two types according to origin, usage, and required people. Event data 1a for operation centered on the site data 100a generated by the data generator 100 or the site data 100a generated by the analysis engine 12, and for the design centered on the site data 100a generated by the change detection engine 14 Event information 1a. The event information 1a for operation is information required for a person who is engaged in operations such as on-site, sales, back office or management. The design event information 1a is information necessary for a person who is involved in designing the standard pattern 131 and a person who is involved in designing the model 151 related to the event information 1a of the specific event extracted from the recording data 200a.

すなわち、レコーディングデータ200aの中身が変化したことを捉えたことを報知する設計用のイベント情報1aが設計者に参照され、設計者が其の変化を特定事象の発生として把握し、且つ特定事象のイベント情報1aが操業関係者に必要と判断された際に、レコーディングデータ200aから特定事象を捉えるための標準パターン131と、レコーディングデータ200aから抽出された特定事象を示す現場データ100aと、その現場データ100aを核として追加する補足情報2aを示すモデル151が作成される。   That is, the design event information 1a for notifying that the content of the recording data 200a has been changed is referred to by the designer, the designer grasps the change as the occurrence of the specific event, and the specific event When it is determined that the event information 1a is necessary for the operation personnel, the standard pattern 131 for capturing the specific event from the recording data 200a, the site data 100a indicating the specific event extracted from the recording data 200a, and the site data A model 151 indicating supplementary information 2a to be added with 100a as a nucleus is created.

そのため、図6に示すように、辞書記憶部15には、設計用のイベント情報1aのモデル151が記憶され、このモデル151には、変化アリのテキスト情報である現場データ100aを示すイベント種別情報153と、例えば、変化時刻を示す補足種別情報152と、変化の発生場所を示す補足種別情報152と、変化発生場所の近辺にあるデータ発生装置100(図中、センサA)の現場データ100aを示す補足種別情報152、レコーディングデータ200aを示す補足種別情報152等が含められ、各補足種別情報152に対応してクエリ情報154が関連付けられている。   Therefore, as shown in FIG. 6, a model 151 of event information 1a for design is stored in the dictionary storage unit 15, and this model 151 includes event type information indicating field data 100a that is text information of a changing ant. 153, for example, supplement type information 152 indicating the change time, supplement type information 152 indicating the place where the change occurred, and on-site data 100a of the data generator 100 (sensor A in the figure) in the vicinity of the change place. The supplement type information 152 shown, the supplement type information 152 showing the recording data 200a, and the like are included, and the query information 154 is associated with each supplement type information 152.

これに対し、操業用のイベント情報1aに含められる補足情報2aは、現場レベルで活用可能な直接部門用の補足情報2aに限らず、現場データ100aから間接的に導かれ、営業活動を管理する各種管理レベルで活用可能な間接部門用の補足情報2a、及び経営レベルで活用可能な経営判断用の補足情報2aである。直接部門としては、主に製造部門や製造管理部門が挙げられ、間接部門としては、総務、営業、経理、管理等の各部署が挙げられる。これら補足情報2aを示す補足種別情報152とクエリ情報154が操業用のイベント情報1aのモデル151に含められている。   On the other hand, the supplementary information 2a included in the event information 1a for operation is not limited to the supplementary information 2a for the direct department that can be utilized at the field level, but indirectly derived from the field data 100a to manage the sales activities. It is supplementary information 2a for indirect departments that can be used at various management levels, and supplementary information 2a for management judgment that can be used at the management level. The direct department mainly includes the manufacturing department and the manufacturing management department, and the indirect department includes departments such as general affairs, sales, accounting, and management. The supplement type information 152 indicating the supplement information 2a and the query information 154 are included in the model 151 of the event information 1a for operation.

次に、図7に示すように、システム設計支援端末17は、プロセッサ及び設計者とのマンマシンインターフェースを含み構成される。マンマシンインターフェースは、設計者への情報提供と設計者からの操作入力を受け付ける端末であり、例えば液晶パネルや有機ELパネルやプリンタ等の表示機器、及びキーボードやマウスやタッチパネルや音声入力装置等の入力機器である。このシステム設計支援端末17は、設計者のモデル151及び標準パターン131の生成を支援する。すなわち、システム設計支援端末17は、表示部171、モデル設計ツール172及び特徴設計ツール173を備えている。   Next, as shown in FIG. 7, the system design support terminal 17 includes a processor and a man-machine interface with the designer. The man-machine interface is a terminal that accepts information to the designer and receives operation inputs from the designer. For example, a display device such as a liquid crystal panel, an organic EL panel, or a printer, and a keyboard, mouse, touch panel, voice input device, etc. It is an input device. This system design support terminal 17 supports the generation of the designer's model 151 and standard pattern 131. That is, the system design support terminal 17 includes a display unit 171, a model design tool 172, and a feature design tool 173.

表示部171は、表示機器を含み構成され、設計用のイベント情報1aを表示する。モデル設計ツール172は、マンマシンインターフェースを含み構成され、レコーディングデータ200aを由来とするイベント情報1aのモデル151を設計者の入力に従って作成し、作成されたモデル151を辞書記憶部15に記憶させる。特徴設計ツール173は、マンマシンインターフェースを含み構成され、レコーディングデータ200aから特定事象を抽出する標準パターン131を設計者の入力に従って作成し、作成された標準パターン131を特徴記憶部13に記憶させる。   The display unit 171 includes a display device, and displays design event information 1a. The model design tool 172 includes a man-machine interface, creates a model 151 of event information 1a derived from the recording data 200a in accordance with the designer's input, and stores the created model 151 in the dictionary storage unit 15. The feature design tool 173 is configured to include a man-machine interface, creates a standard pattern 131 for extracting a specific event from the recording data 200a according to the designer's input, and stores the created standard pattern 131 in the feature storage unit 13.

(動作)
このような情報収集システム1の動作について説明する。図8は、設計用イベント情報1aの生成動作を示すフローチャートである。まず、図8に示すように、レコーダ200は、定期的又は連続してレコーディングデータ200aを発生させ(ステップS01)、定期的に又は連続してレコーディングデータ200aを情報収集システム1に送信する(ステップS02)。情報収集システム1は、レコーディングデータ200aを受信すると(ステップS03)、受信したレコーディングデータ200aをメモリ11に記憶する。
(Operation)
The operation of such an information collection system 1 will be described. FIG. 8 is a flowchart showing an operation of generating the design event information 1a. First, as shown in FIG. 8, the recorder 200 generates the recording data 200a periodically or continuously (step S01), and transmits the recording data 200a to the information collection system 1 regularly or continuously (step S01). S02). When receiving the recording data 200a (step S03), the information collecting system 1 stores the received recording data 200a in the memory 11.

変化検出エンジン14は、メモリ11のレコーディングデータ200aに含まれる時系列上の各前後データを比較する(ステップS04)。比較の結果、前後のデータが相違していると(ステップS04,Yes)、変化検出エンジン14は、予め記憶している変化アリを示すテキストデータを現場データ100aとしてメモリ11に記憶させる(ステップS05)。   The change detection engine 14 compares the preceding and following data on the time series included in the recording data 200a of the memory 11 (step S04). As a result of the comparison, if the preceding and succeeding data are different (step S04, Yes), the change detection engine 14 stores the text data indicating the change ant stored in the memory 11 as the field data 100a (step S05). ).

イベント情報生成部16は、現場データ100aの出現を検知する(ステップS06)。そして、イベント情報生成部16は、変化アリを示す現場データ100aに対応するモデル151を辞書記憶部151から検索する(ステップS07)。検索の手がかりであるイベント種別情報153としては、変化アリというテキストデータであってもよいし、変化検出エンジン14が発生させたことを示す情報を現場データ100aに付加しておき、その情報であってもよい。   The event information generation unit 16 detects the appearance of the site data 100a (step S06). Then, the event information generation unit 16 searches the dictionary storage unit 151 for the model 151 corresponding to the on-site data 100a indicating the changing ant (step S07). The event type information 153, which is a clue to the search, may be text data called a change ant, or information indicating that the change detection engine 14 has been generated is added to the on-site data 100a. May be.

該当のモデル151が特定されると、イベント情報生成部16は、モデル151に含まれる補足種別情報152と一致する補足情報2aのグループを絞り込む(ステップS08)。すなわち、補足種別情報152と同一属性の補足情報2aを収集する。更に、補足種別情報152と対になってモデル151に記憶されているクエリ情報154に従って、絞り込んだグループから特定内容の補足情報2aを更に絞り込む(ステップS09)。   When the corresponding model 151 is specified, the event information generation unit 16 narrows down the group of supplementary information 2a that matches the supplement type information 152 included in the model 151 (step S08). That is, the supplement information 2a having the same attribute as the supplement type information 152 is collected. Further, in accordance with the query information 154 stored in the model 151 in a pair with the supplement type information 152, the supplement information 2a having specific contents is further narrowed down from the narrowed down group (step S09).

特定内容の補足情報2aが絞り込まれると、イベント情報生成部16は、絞り込んだ補足情報2aを変化アリの現場データ100aを核とするイベント情報1aに追加する(ステップS10)。例えば、可変長のデータファイルを生成し、そのデータファイルに現場データ100aと補足情報2aのデータを追加する。ステップS08〜ステップS10の補足情報2aの追加は、モデル151の最後の補足種別情報152に関する追加が終了するまで繰り返される(ステップS11)。   When the supplementary information 2a having the specific contents is narrowed down, the event information generating unit 16 adds the narrowed-down supplementary information 2a to the event information 1a having the spot data 100a of the changing ant as a core (Step S10). For example, a variable-length data file is generated, and the field data 100a and the supplementary information 2a are added to the data file. The addition of the supplement information 2a in steps S08 to S10 is repeated until the addition of the last supplement type information 152 of the model 151 is completed (step S11).

設計用のイベント情報1aには、変化アリを示す現場データ100aを核として、例えば、変化時間帯を示す補足情報2a、レコーディング場所を示す補足情報2a、及びレコーディングデータ200aを補足情報2aとして追加される。変化時間帯について、変化検出エンジン14は、レコーディングデータ200aの始めから変化のあった時までの経過時間をレコーディングデータ200aのタイムスタンプに加算して、その加算値に変化時間帯を示す補足種別情報152の属性を与え、データベース2やメモリ11等のイベント情報生成部16がアクセス可能な領域に記憶させておけばよい。   In the design event information 1a, for example, the supplementary information 2a indicating the change time zone, the supplementary information 2a indicating the recording location, and the recording data 200a are added as supplementary information 2a with the field data 100a indicating the change ant as a core. The For the change time zone, the change detection engine 14 adds the elapsed time from the beginning of the recording data 200a to the time when the change occurred to the time stamp of the recording data 200a, and the supplement type information indicating the change time zone in the added value. 152 attributes may be assigned and stored in an area accessible by the event information generation unit 16 such as the database 2 or the memory 11.

レコーディング場所について、変化検出エンジン14は、レコーダ200のIPアドレスとレコーディング場所を示すテキストデータを対にして予め記憶しておき、レコーディングデータ200aに付加された送信元アドレスをレコーディング場所のテキストデータに変換して、そのテキストデータに変化時間帯を示す補足種別情報152の属性を与えてデータベース2等に記憶させておけばよい。レコーディングデータ200aについて、イベント情報生成部16の検索先をメモリ11とし、検索条件を変化検出エンジン14が抽出した送信元アドレスとの一致とすればよい。   For the recording location, the change detection engine 14 stores in advance a pair of the IP address of the recorder 200 and text data indicating the recording location, and converts the transmission source address added to the recording data 200a into the text data of the recording location. Then, the attribute of the supplement type information 152 indicating the change time zone may be given to the text data and stored in the database 2 or the like. For the recording data 200a, the search destination of the event information generation unit 16 may be the memory 11, and the search condition may be the same as the transmission source address extracted by the change detection engine 14.

図9は、レコーディングデータ200aを由来とする操業用のイベント情報1aの生成動作を示すフローチャートである。図9に示すように、レコーダ200は、定期的又は連続してレコーディングデータ200aを発生させ(ステップS21)、定期的に又は連続してレコーディングデータ200aを情報収集システム1に送信する(ステップS22)。情報収集システム1は、レコーディングデータ200aを受信すると(ステップS23)、受信したレコーディングデータ200aをメモリ11に記憶する。   FIG. 9 is a flowchart showing an operation for generating event information 1a for operation derived from the recording data 200a. As shown in FIG. 9, the recorder 200 generates recording data 200a periodically or continuously (step S21), and transmits the recording data 200a to the information collection system 1 regularly or continuously (step S22). . When receiving the recording data 200a (step S23), the information collecting system 1 stores the received recording data 200a in the memory 11.

解析エンジン12は、メモリ11のレコーディングデータ200aを特徴記憶部13の標準パターン131で走査する(ステップS24)。標準パターン131にマッチしたオブジェクトが発見されると(ステップS25,Yes)、解析エンジン12は、予め記憶された特定事象発生を示す現場データ100aをメモリ11に記憶させる(ステップS26)。   The analysis engine 12 scans the recording data 200a in the memory 11 with the standard pattern 131 in the feature storage unit 13 (step S24). When an object that matches the standard pattern 131 is found (step S25, Yes), the analysis engine 12 stores the field data 100a indicating the occurrence of a specific event stored in advance in the memory 11 (step S26).

イベント情報生成部16は、現場データ100aの出現を検知する(ステップS27)。イベント情報生成部16は、特定事象発生を示す現場データ100aに対応するモデル151を辞書記憶部151から検索する(ステップS28)。検索の手がかりであるイベント種別情報153としては、現場データ100aの内容そのものであってもよいし、現場データ100aの内容とレコーダ200のレコーディング場所の組み合わせであってもよい。レコーディング場所は、例えば解析エンジン12が解析したレコーディングデータ200aに付加されている送信元IPアドレスとしてもよい。   The event information generation unit 16 detects the appearance of the site data 100a (step S27). The event information generation unit 16 searches the dictionary storage unit 151 for the model 151 corresponding to the on-site data 100a indicating the occurrence of the specific event (step S28). The event type information 153 that is a clue to the search may be the content of the on-site data 100a itself, or a combination of the content of the on-site data 100a and the recording location of the recorder 200. The recording location may be, for example, a transmission source IP address added to the recording data 200a analyzed by the analysis engine 12.

該当のモデル151が特定されると、イベント情報生成部16は、特定されたモデル151に含まれる補足種別情報152と一致する補足情報2aのグループを絞り込む(ステップS29)。更に、補足種別情報152と対になったクエリ情報154が示す検索条件に従って、絞り込んだグループから特定内容の補足情報2aを更に絞り込む(ステップS30)。   When the corresponding model 151 is identified, the event information generation unit 16 narrows down the group of supplementary information 2a that matches the supplement type information 152 included in the identified model 151 (step S29). Further, according to the search condition indicated by the query information 154 paired with the supplement type information 152, the supplement information 2a having specific contents is further narrowed down from the narrowed down group (step S30).

特定内容の補足情報2aが絞り込まれると、イベント情報生成部16は、絞り込んだ補足情報2aを特定事象発生の現場データ100aを核とするイベント情報1aに追加する(ステップS31)。ステップS29〜ステップS31の補足情報2aの追加は、モデル151の最後の補足種別情報152に関する追加が終了するまで繰り返される(ステップS32)。   When the supplementary information 2a having the specific content is narrowed down, the event information generating unit 16 adds the narrowed-down supplementary information 2a to the event information 1a having the on-site data 100a of the specific event occurrence as a core (Step S31). The addition of the supplement information 2a in steps S29 to S31 is repeated until the addition of the last supplement type information 152 of the model 151 is completed (step S32).

(作用)
(警備員の到着イベント)
更に、このような情報収集システム1の適用例を図10を参照して示す。工場のエントランスに動画を撮影するレコーダ200が設置されたものとする。このレコーダ200が発生させたレコーディングデータ200aには、工場巡回中の警備員が時刻T1にフレームインして映っていたものとする。
(Function)
(Guard arrival event)
Furthermore, an application example of such an information collection system 1 will be shown with reference to FIG. It is assumed that a recorder 200 for shooting a moving image is installed at the factory entrance. In the recording data 200a generated by the recorder 200, it is assumed that the security guards traveling around the factory are shown framed in at time T1.

このレコーディングデータ200aは、メモリ11に記憶される。変化検出エンジン14は、レコーディングデータ200aを解析する。時刻T1のフレームとその1フレーム前のフレームを比較した結果、警備員のオブジェクトの存在の違いにより、変化検出エンジン14は、変化アリの現場データ100aを生成する。   The recording data 200a is stored in the memory 11. The change detection engine 14 analyzes the recording data 200a. As a result of comparing the frame at time T <b> 1 with the previous frame, the change detection engine 14 generates the change ant spot data 100 a due to the difference in the presence of the guard object.

イベント情報生成部16は、変化アリのテキストデータと一致するイベント種別情報153を手がかりにモデル151(図示省略)を検索する。該当のモデル151には、現場データ100aに対して、変化の時刻を示す補足種別情報152と、レコーダ200の設置場所を示す補足種別情報152、及びレコーディングデータ200aを示す補足種別情報152が含まれている。   The event information generation unit 16 searches the model 151 (not shown) using the event type information 153 that matches the text data of the changing ant as a clue. The corresponding model 151 includes supplemental type information 152 indicating the time of change, supplemental type information 152 indicating the installation location of the recorder 200, and supplemental type information 152 indicating the recording data 200a with respect to the site data 100a. ing.

イベント情報生成部16は、変化の時刻を示す補足種別情報152に従って、データベース2から時刻T1を示す補足情報2aを取得する。時刻T1を示す補足情報2aは、変化検出エンジン14が変化を検出した段階で生成し、データベース2に記憶させている。イベント情報生成部16は、時刻T1を示す補足情報2aを変化アリの現場データ100aを核にしたイベント情報1aに追加する。   The event information generation unit 16 acquires supplementary information 2a indicating the time T1 from the database 2 in accordance with the supplementary type information 152 indicating the time of change. The supplementary information 2a indicating the time T1 is generated and stored in the database 2 when the change detection engine 14 detects a change. The event information generating unit 16 adds the supplementary information 2a indicating the time T1 to the event information 1a having the change ant spot data 100a as a core.

また、イベント情報生成部16は、レコーダ200の設置場所を示す補足種別情報152に従って、メモリ11のレコーディングデータ200aから送信元IPアドレスを抽出し、送信元IPアドレスに関連付けられた工場のエントランスを示す補足情報2aを取得する。イベント情報生成部16は、工場のエントランスを示す補足情報2aを変化アリの現場データ100aを核にしたイベント情報1aに追加する。   Further, the event information generation unit 16 extracts the transmission source IP address from the recording data 200a of the memory 11 according to the supplement type information 152 indicating the installation location of the recorder 200, and indicates the factory entrance associated with the transmission source IP address. Supplemental information 2a is acquired. The event information generation unit 16 adds the supplementary information 2a indicating the entrance of the factory to the event information 1a having the change ant spot data 100a as a core.

また、イベント情報生成部16は、レコーディングデータ200aを示す補足種別情報152に従って、メモリ11のレコーディングデータ200aを取得する。イベント情報生成部16は、レコーディングデータ200aを補足情報2aとして、変化アリの現場データ100aを核にしたイベント情報1aに追加する。   Further, the event information generation unit 16 acquires the recording data 200a in the memory 11 according to the supplement type information 152 indicating the recording data 200a. The event information generation unit 16 adds the recording data 200a as supplementary information 2a to the event information 1a having the changed ant spot data 100a as a core.

このように、変化アリの情報、変化時刻の情報、レコーダ200の設置場所の情報、及び変化を捉えたレコーディングデータ200aは、同じイベント情報1aに纏められる。このイベント情報1aは、設計用であり、システム設計支援端末17の表示部171に表示される。すなわち、設計者により、イベント情報1aに含まれたレコーディングデータ200aを再生され、警備員が時刻T1に工場のエントランスに到着したことを理解できる。   As described above, the information about the change ant, the information about the change time, the information about the installation location of the recorder 200, and the recording data 200a capturing the change are collected in the same event information 1a. This event information 1 a is for design and is displayed on the display unit 171 of the system design support terminal 17. That is, the designer can understand that the recording data 200a included in the event information 1a has been reproduced, and the security guard has arrived at the factory entrance at time T1.

設計者は、このイベント情報1aの閲覧の結果、操業用のイベント情報1aを発生させることが必要であると判断したものとする。特徴設計ツール173は、レコーディングデータ200aの時刻T1に位置するフレームから特徴点を抽出する。すなわち、警備員が被る黄色のヘルメットの形状情報及び色情報が抽出される。特徴設計ツール173は、マンマシンインターフェースによる設計者の操作の下、警備員が被る黄色のヘルメットの形状情報及び色情報を標準パターン131とし、特徴記憶部13に記憶させる。また、特徴設計ツール173は、マンマシンインターフェースによる設計者の操作の下、例えば警備員到着というテキストデータを生成し、現場データ100aとして標準パターン131に関連付けて記憶させる。   It is assumed that the designer has determined that it is necessary to generate event information 1a for operation as a result of browsing the event information 1a. The feature design tool 173 extracts feature points from the frame located at the time T1 of the recording data 200a. That is, the shape information and color information of the yellow helmet worn by the guard are extracted. The feature design tool 173 stores the shape information and color information of the yellow helmet worn by the guard as a standard pattern 131 in the feature storage unit 13 under the operation of the designer through the man-machine interface. In addition, the feature design tool 173 generates text data such as arrival of a guard, for example, under the operation of the designer through a man-machine interface, and stores the text data in association with the standard pattern 131 as field data 100a.

更に、モデル設計ツール172は、マンマシンインターフェースによる設計者の操作の下、警備員到着という現場データ100aを核としたイベント情報1aのモデル151を作成し、辞書記憶部15に記憶させる。例えば、警備員到着というテキストデータをイベント種別情報153とする。   Further, the model design tool 172 creates a model 151 of the event information 1a centered on the field data 100a of arrival of the guard under the operation of the designer through the man-machine interface, and stores the model 151 in the dictionary storage unit 15. For example, text data indicating arrival of a guard is assumed to be event type information 153.

モデル151には、警備員到着時刻の補足種別情報152を含める。また、警備員到着時刻をデータベース2から取得するクエリ情報154を生成する。   The model 151 includes supplementary type information 152 of the guard arrival time. Moreover, the query information 154 for acquiring the guard arrival time from the database 2 is generated.

モデル151には、警備員到着規定時刻の補足種別情報152を含める。到着規定時刻の補足情報152をデータベース2に記憶させる。クエリ情報154の検索式に従って検索した結果、警備員到着規定時刻の補足情報152が絞り込まれるように、クエリ情報154を生成する。モデル151には、遅刻限度時間の補足種別情報152を含める。遅刻限度時間の補足情報152をデータベース2に記憶させる。   The model 151 includes supplementary type information 152 of the guard arrival time. The supplementary information 152 of the prescribed arrival time is stored in the database 2. As a result of searching according to the search formula of the query information 154, the query information 154 is generated so that the supplementary information 152 of the guard arrival time is narrowed down. The model 151 includes supplementary type information 152 for the late limit time. The supplementary information 152 for the late limit time is stored in the database 2.

また、モデル151には、警備員到着適否の補足種別情報152を含める。警備員到着時刻を示す補足情報2aから警備員到着規定時刻の補足情報2aの値を差分した結果が遅刻限度時間の補足情報2aの値以内に収まるか判断する判断式と、判断の結果に応じて選択する補足情報2aを指定するクエリ情報154を生成する。また、判断の結果に関連付けて、正常を示す補足情報2aと遅刻を示す補足情報2aをデータベース2に記憶させる。   In addition, the model 151 includes supplementary type information 152 for whether or not the guard arrives. According to a judgment formula for judging whether the result of subtracting the value of supplementary information 2a at the guard arrival time from the supplementary information 2a indicating the arrival time of the guard is within the value of supplementary information 2a for the late limit time, and according to the judgment result Query information 154 specifying the supplementary information 2a to be selected is generated. Further, the supplementary information 2a indicating normality and the supplementary information 2a indicating lateness are stored in the database 2 in association with the determination result.

このモデル151が作成された後、レコーダ200がレコーディングデータ200aを発生させると、解析エンジン12は、警備員が被る黄色のヘルメットの形状情報及び色情報を標準パターン131でレコーディングデータ200aを走査する。走査の結果、マッチしたオブジェクトが検出されると、警備員到着の現場データ100aをメモリ11に記憶させ、検出時刻を内容とする警備員到着時刻の補足情報2aをデータベース2に記憶させる。   After the model 151 is created, when the recorder 200 generates the recording data 200a, the analysis engine 12 scans the recording data 200a with the standard pattern 131 for the shape information and color information of the yellow helmet worn by the guard. When a matched object is detected as a result of the scanning, the security guard arrival field data 100a is stored in the memory 11, and the supplementary information 2a of the security guard arrival time including the detection time is stored in the database 2.

イベント情報生成部16は、警備員到着の現場データ100aがメモリ11に出現すると、警備員到着のイベント種別情報153を手がかりにモデル151を検索する。そして、モデル151に含まれる警備員到着時刻の補足種別情報152とこれと対になったクエリ情報154とにより、メモリ11に記憶されている時刻T1の補足情報2aを取得し、警備員到着の現場データ100aを核とするイベント情報1aに追加する。   When the security guard arrival field data 100 a appears in the memory 11, the event information generation unit 16 searches the model 151 using the guard arrival event type information 153 as a clue. And the supplement information 2a of the time T1 memorize | stored in the memory 11 is acquired from the supplement type information 152 of the guard arrival time included in the model 151 and the query information 154 paired therewith, and the arrival of the guard The site data 100a is added to the event information 1a.

また、モデル151に含まれる警備員到着規定時刻の補足種別情報152と遅刻限度時間の補足種別情報152とこれらと対になったクエリ情報154に対して、警備員到着規定時刻T2の補足情報2aと遅刻限度時間T3の補足情報2aをデータベース2から取得し、イベント情報1aに追加する。   Further, the supplementary information 2a of the guard arrival prescribed time T2 with respect to the supplementary type information 152 of the guard arrival prescribed time included in the model 151, the supplementary type information 152 of the late limit time, and the query information 154 paired therewith. The supplementary information 2a of the late limit time T3 is acquired from the database 2 and added to the event information 1a.

更に、モデル151に含まれる警備員到着適否の補足種別情報152とこれと対になったクエリ情報154に対して、到着時刻T1が遅刻限度時間T3の範囲内に収まるか判断し、判断の結果に応じて、正常を示す補足情報2a又は遅刻を示す補足情報2aをデータベース2から取得し、イベント情報1aに追加する。   Further, it is determined whether or not the arrival time T1 falls within the range of the late limit time T3 with respect to the supplementary type information 152 of security guard arrival / disappearance included in the model 151 and the query information 154 paired therewith. Accordingly, the supplementary information 2a indicating normality or the supplementary information 2a indicating lateness is acquired from the database 2 and added to the event information 1a.

これにより、工場のエントランスを撮影するレコーダ200のレコーディングデータ200aに基づき、警備員が到着したことを示し、その到着が正常であるか遅刻であるかを説明する説明情報と、その説明情報の背景となる到着規定時間と到着時間を示す背景情報とが付加されたイベント情報1aが生成される。   Thereby, based on the recording data 200a of the recorder 200 that captures the entrance of the factory, it is indicated that the guard has arrived, the explanation information explaining whether the arrival is normal or late, and the background of the explanation information Event information 1a to which the prescribed arrival time and background information indicating the arrival time are added is generated.

(火災早期発見イベント1)
更に、このような情報収集システム1の適用例を図11に示す。工場のコンベアを動画撮影するレコーダ200が設置されたものとする。コンベアには、他に温度センサと搬送速度計の各データ発生装置100が設けられているものとする。
(Fire early detection event 1)
Furthermore, an application example of such an information collection system 1 is shown in FIG. It is assumed that a recorder 200 for capturing a moving image of a factory conveyor is installed. In addition, it is assumed that each data generator 100 of a temperature sensor and a conveyance speed meter is provided on the conveyor.

このレコーディングデータ200aは、メモリ11に記憶される。変化検出エンジン14は、レコーディングデータ200aを解析する。時刻T1のフレームとその1フレーム前のフレームを比較した結果、温度センサの設置場所と離れた位置に現れた小さな炎のオブジェクトの存在の違いにより、変化検出エンジン14は、変化アリの現場データ100aをメモリ11に記憶させる。   The recording data 200a is stored in the memory 11. The change detection engine 14 analyzes the recording data 200a. As a result of comparing the frame at time T1 with the frame one frame before, the change detection engine 14 detects the change ant field data 100a due to the difference in the presence of a small flame object that appears at a position away from the temperature sensor installation location. Is stored in the memory 11.

イベント情報生成部16は、変化アリのテキストデータと一致するイベント種別情報153を手がかりにモデル151を検索する。該当のモデル151には、現場データ100aに対して、変化の時刻を示す補足種別情報152と、レコーダ200の設置場所を示す補足種別情報152、及びレコーディングデータ200aを示す補足種別情報152が含まれている。   The event information generation unit 16 searches the model 151 using the event type information 153 that matches the text data of the changing ant. The corresponding model 151 includes supplemental type information 152 indicating the time of change, supplemental type information 152 indicating the installation location of the recorder 200, and supplemental type information 152 indicating the recording data 200a with respect to the site data 100a. ing.

イベント情報生成部16は、モデル151に従って、変化アリの現場データ100aを核として、コンベアを示す補足情報2aと変化の時刻を示す補足情報2aと出火を捉えたレコーディングデータ200aをイベント情報1aに追加する。   According to the model 151, the event information generating unit 16 adds the supplementary information 2a indicating the conveyor, the supplementary information 2a indicating the time of change, and the recording data 200a capturing the fire to the event information 1a with the spot data 100a of the changing ant as the core. To do.

設計者は、このイベント情報1aの閲覧の結果、操業用のイベント情報1aを発生させることが必要であると判断したものとする。特徴設計ツール173は、炎の色情報が抽出される。特徴設計ツール173は、マンマシンインターフェースによる設計者の操作の下、炎の色情報を標準パターン131とし、特徴記憶部13に記憶させる。また、特徴設計ツール173は、マンマシンインターフェースによる設計者の操作の下、例えば出火警報というテキストデータを生成し、現場データ100aとして標準パターン131に関連付けて記憶させる。   It is assumed that the designer has determined that it is necessary to generate event information 1a for operation as a result of browsing the event information 1a. The feature design tool 173 extracts flame color information. The feature design tool 173 stores the flame color information in the feature storage unit 13 as the standard pattern 131 under the operation of the designer through the man-machine interface. In addition, the feature design tool 173 generates text data such as a fire alarm, for example, under the operation of the designer through a man-machine interface, and stores the text data in association with the standard pattern 131 as field data 100a.

更に、モデル設計ツール172は、マンマシンインターフェースによる設計者の操作の下、出火時刻と出火場所とコンベアの温度とコンベアの搬送速度を示す各補足種別情報152とレコーディングデータ200aの補足種別情報152を含めたモデル151を作成し、辞書記憶部15に記憶させる。   Further, the model design tool 172 receives supplementary type information 152 indicating the fire time, the place of fire, the temperature of the conveyor, and the conveying speed of the conveyor and the supplementary type information 152 of the recording data 200a under the operation of the designer through the man-machine interface. An included model 151 is created and stored in the dictionary storage unit 15.

このモデル151が作成された後、レコーダ200がレコーディングデータ200aを発生させると、解析エンジン12は、炎の色情報を標準パターン131でレコーディングデータ200aを走査する。走査の結果、マッチしたオブジェクトが検出されると、出火の現場データ100aをメモリ11に記憶させ、検出時刻を内容とする出火時刻の補足情報2aをデータベース2に記憶させる。   After the model 151 is created, when the recorder 200 generates the recording data 200a, the analysis engine 12 scans the recording data 200a with the standard pattern 131 for the flame color information. When a matched object is detected as a result of the scanning, the on-site data 100a of the fire is stored in the memory 11, and the supplementary information 2a of the fire time including the detection time is stored in the database 2.

イベント情報生成部16は、出火のイベント種別情報153を手がかりにモデル151を検索する。そして、モデル151に含まれる出火時刻と出火場所とコンベアの温度とコンベアの搬送速度とレコーディングデータ200aを示す各補足種別情報152とこれらと対になったクエリ情報154とにより、各補足情報2aを取得し、出火の現場データ100aを核とするイベント情報1aに追加する。   The event information generation unit 16 searches for the model 151 using the event type information 153 of the fire. Then, each supplement information 2a is obtained from each supplement type information 152 indicating the fire time, the fire place, the conveyor temperature, the conveyor speed, the recording data 200a, and the query information 154 paired therewith, included in the model 151. Acquired and added to the event information 1a having the fire site data 100a as a core.

出火時刻の補足情報2aは、解析エンジン12が炎のオブジェクトを発見したときの時刻データをデータベース2から取得する。出火場所の補足情報2aは、レコーディングデータ200aの送信元IPアドレスを場所の情報に変換することで取得する。コンベアの温度とコンベアの搬送速度の各補足情報2aは、温度計と搬送速度計の各データ発生装置100が発生させた現場データ100aをメモリ11から取得する。レコーディングデータ200aの補足情報2aは、メモリ11から取得する。   As the supplementary information 2a of the fire time, time data when the analysis engine 12 discovers a flame object is acquired from the database 2. The fire place supplementary information 2a is obtained by converting the source IP address of the recording data 200a into place information. The supplementary information 2a for the conveyor temperature and the conveyor conveyance speed is obtained from the memory 11 by the field data 100a generated by the data generators 100 for the thermometer and the conveyance speed meter. The supplementary information 2a of the recording data 200a is acquired from the memory 11.

これにより、出火を捉えたレコーダ200のレコーディングデータ200aに基づき、出火が発生したことを示し、その出火時間及び場所の背景情報と、出火時のコンベア温度及び搬送速度の背景情報が付加されたイベント情報1aが生成される。   Thus, based on the recording data 200a of the recorder 200 that captures the fire, an event that indicates that a fire has occurred, the background information of the fire time and place, and the background information of the conveyor temperature and transport speed at the time of the fire is added. Information 1a is generated.

(火災早期発見イベント2)
モデル151の他の態様を火災早期発見イベントに基づき更に図12に例示する。辞書記憶部15には、変化アリのテキストデータと一致するイベント種別情報153で特定される設計用のイベント情報1aのモデル151が記憶されている。このモデル151には、現場データ100aに対して、変化の時刻を示す補足種別情報152と、レコーダ200の設置場所を示す補足種別情報152、レコーダ200が視野に収める設備のデータ発生装置100が発生させる現場データ100aのイベント情報1aを示す補足種別情報152、及びレコーディングデータ200aを示す補足種別情報152が含まれている。
(Fire early detection event 2)
Another aspect of the model 151 is further illustrated in FIG. 12 based on the early fire detection event. The dictionary storage unit 15 stores a model 151 of design event information 1a specified by event type information 153 that matches the text data of the changing ant. This model 151 generates supplementary type information 152 that indicates the time of change, supplementary type information 152 that indicates the installation location of the recorder 200, and a data generator 100 for the equipment that the recorder 200 can keep in view. The supplement type information 152 indicating the event information 1a of the on-site data 100a to be recorded and the supplement type information 152 indicating the recording data 200a are included.

イベント情報生成部16は、モデル151に従って、変化アリの現場データ100aを核として、コンベアを示す補足情報2aと変化の時刻を示す補足情報2aと、レコーダ200が視野に収める設備のデータ発生装置100が発生させる現場データ100aのイベント情報1aと、出火を捉えたレコーディングデータ200aをイベント情報1aに追加する。レコーダ200が視野に収める設備のデータ発生装置100が発生させる現場データ100aのイベント情報1aは、出火時刻前後に発生した現場データ100aを含むイベント情報1aをデータベース2等から検索して取得される。   According to the model 151, the event information generating unit 16 uses the on-site data 100a of the changing ant as a core, the supplementary information 2a indicating the conveyor, the supplementary information 2a indicating the time of change, and the data generator 100 of the equipment that the recorder 200 puts in the field of view. Is added to the event information 1a, the event information 1a of the field data 100a generated by the recording and the recording data 200a capturing the fire. The event information 1a of the on-site data 100a generated by the data generation device 100 of the equipment that the recorder 200 has in the field of view is acquired by searching the database 2 or the like for event information 1a including the on-site data 100a generated before and after the fire time.

(メンテナンス員到着イベント)
更に、このような情報収集システム1の適用例を図13に示す。工場内を動画撮影するレコーダ200が設置されたものとする。このレコーダ200が発生させたレコーディングデータ200aに基づき、システム設計支援端末17がメンテナンス員の駆け付け時間を報知するイベント情報1aのモデル151を生成したものとする。
(Maintenance staff arrival event)
Furthermore, an application example of such an information collection system 1 is shown in FIG. It is assumed that a recorder 200 that captures moving images inside the factory is installed. Based on the recording data 200a generated by the recorder 200, the system design support terminal 17 generates the model 151 of the event information 1a for notifying the rushing time of the maintenance staff.

このモデル151は、メンテナンス員到着の現場データ100aに対し、駆け付け事象発生時刻の補足種別情報152と到着時刻の補足種別情報152と駆け付け時間の補足種別情報152が含められる。駆け付け事象発生時刻の補足種別情報152には、メンテナンス員の到着時刻以前に発生した特定内容のイベント情報1aから特定事象の発生時刻を抽出するクエリ情報154が関連付けられる。特定内容のイベント情報1aとは、例えば異常やエラー等の補足情報2aが追加されたイベント情報1aである。   The model 151 includes supplementary type information 152 of the rushing event occurrence time, supplementary type information 152 of the arrival time, and supplementary type information 152 of the rushing time with respect to the on-site data 100a of the maintenance worker arrival. Query information 154 for extracting the occurrence time of a specific event from event information 1a having specific contents that occurred before the arrival time of the maintenance staff is associated with the supplementary type information 152 of the rush event occurrence time. The event information 1a having specific contents is event information 1a to which supplementary information 2a such as abnormality or error is added.

このモデル151が作成された後、レコーダ200がレコーディングデータ200aを発生させると、解析エンジン12は、メンテナンス員の特徴を表した標準パターン131でレコーディングデータ200aを走査する。走査の結果、マッチしたオブジェクトが検出されると、メンテナンス員到着の現場データ100aをメモリ11に記憶させ、検出時刻を内容とするメンテナンス員到着時刻の補足情報2aをデータベース2に記憶させる。   After the model 151 is created, when the recorder 200 generates the recording data 200a, the analysis engine 12 scans the recording data 200a with the standard pattern 131 representing the characteristics of the maintenance staff. When a matched object is detected as a result of the scanning, the maintenance worker arrival field data 100a is stored in the memory 11, and the maintenance worker arrival time supplementary information 2a containing the detection time is stored in the database 2.

イベント情報生成部16は、メモリ11内にメンテナンス員到着の現場データ100aが発生したことを受けて、モデル151に従い、メンテナンス員到着の現場データ100aとメンテナンス員到着時刻の補足情報2aをイベント情報1aに追加する。   In response to the occurrence of the maintenance staff arrival field data 100a in the memory 11, the event information generation unit 16 converts the maintenance staff arrival spot data 100a and the maintenance staff arrival time supplement information 2a into the event information 1a according to the model 151. Add to

また、イベント情報生成部16は、駆け付け事象発生時刻の補足種別情報152と対になったクエリ情報154により、第1に、異常又はエラーの補足情報2aを含むイベント情報1aをデータベース2やメモリ11から検索する。第2に、該当のイベント情報1aから現場データ100aの発生時刻を抽出する。第3に、抽出した発生時刻とメンテナンス員到着時刻を比較する。第4に、抽出した発生時刻がメンテナンス員到着時刻であるイベント情報1aを絞る。そして、絞られたイベント情報1aを補足情報2aとして、メンテナンス員到着のイベント情報1aに追加する。   In addition, the event information generation unit 16 first acquires the event information 1a including the abnormality or error supplement information 2a based on the query information 154 paired with the supplement type information 152 of the rushing event occurrence time. Search from. Second, the occurrence time of the on-site data 100a is extracted from the corresponding event information 1a. Third, the extracted occurrence time is compared with the maintenance worker arrival time. Fourth, the event information 1a whose extracted occurrence time is the maintenance worker arrival time is narrowed down. Then, the narrowed-down event information 1a is added as supplementary information 2a to the event information 1a when the maintenance staff arrives.

また、イベント情報生成部16は、駆け付け時間の補足種別情報152と対になったクエリ情報154により、イベント情報1a内のメンテナンス員到着時刻の補足情報2aから駆け付け事象発生時刻の補足情報2aの値を差分し、差分値を駆け付け時間の補足情報2aとして更にイベント情報1aに追加する。   Further, the event information generation unit 16 uses the query information 154 paired with the supplement type information 152 of the rush time to determine the value of the supplement information 2a of the rush event occurrence time from the supplement information 2a of the maintenance worker arrival time in the event information 1a. And the difference value is added to the event information 1a as supplementary information 2a for the rush time.

これにより、工場を撮影するレコーダ200のレコーディングデータ200aに基づき、メンテナンス員が到着したことを示し、その到着時刻と駆け付け事象発生時刻のタイムラグを説明する説明情報が付加されたイベント情報1aが生成される。   Thereby, based on the recording data 200a of the recorder 200 that shoots the factory, event information 1a is generated, which indicates that the maintenance staff has arrived and is added with explanatory information explaining the time lag between the arrival time and the rushing event occurrence time. The

(侵入者発生イベント)
更に、このような情報収集システム1の適用例を図14に示す。住宅の玄関外を動画撮影するレコーダ200が設置されたものとする。モデル設計ツール172は、設計者によるマンマシンインターフェースの操作の下、人の特徴を模した標準パターン131bと、住人の個性を模した標準パターン131aを生成し、特徴記憶部13に記憶させる。
(Intruder occurrence event)
Furthermore, an application example of such an information collection system 1 is shown in FIG. It is assumed that a recorder 200 that takes a moving image outside the entrance of the house is installed. The model design tool 172 generates a standard pattern 131b that imitates human characteristics and a standard pattern 131a that imitates the personality of a resident under the operation of the man-machine interface by the designer, and stores the standard pattern 131a in the characteristic storage unit 13.

解析エンジン12は、人一般の特徴を模した標準パターン131bでレコーディングデータ200aを走査し、玄関外に人の存在を検知すると、その人のオブジェクトと住人の個性を模した標準パターン131aとを照合する。標準パターン131aがマッチしなければ、解析エンジン12は、侵入者発見を示す現場データ100aを生成し、メモリ11に記憶させる。   When the analysis engine 12 scans the recording data 200a with a standard pattern 131b simulating the characteristics of a general person and detects the presence of a person outside the entrance, the analysis engine 12 compares the person's object with the standard pattern 131a simulating the personality of a resident. To do. If the standard pattern 131a does not match, the analysis engine 12 generates site data 100a indicating intruder discovery and stores it in the memory 11.

侵入者発見を示す現場データ100aがメモリ11に出現すると、イベント情報生成部16は、侵入者発見のイベント種別情報153を含むモデル151に従って、イベント情報1aを生成する。イベント情報1aには、侵入者発見の時刻を示す補足情報2aと玄関外を示す補足情報2aを含める。   When the field data 100a indicating intruder discovery appears in the memory 11, the event information generation unit 16 generates event information 1a according to a model 151 including event type information 153 for intruder discovery. The event information 1a includes supplementary information 2a indicating the time of intruder discovery and supplementary information 2a indicating outside the entrance.

これにより、住宅の玄関外を撮影するレコーダ200のレコーディングデータ200aに基づき、侵入者の発見を示し、その侵入時刻と侵入場所を説明する説明情報が付加されたイベント情報1aが生成される。   Thereby, based on the recording data 200a of the recorder 200 that captures the outside of the entrance of the house, event information 1a is generated that indicates the discovery of the intruder and is added with explanatory information that describes the time and location of the intrusion.

(報知表示の発生イベント)
更に、このような情報収集システム1の適用例を図15に示す。例えば半導体製造装置等の設備の表示画面100dを動画撮影するレコーダ200が設置されたものとする。表示画面表示画面100dには、半導体製造装置のステータス、製造中の半導体のロットナンバーや製品番号、製造中の半導体の品質等が文字メッセージとして表示される。モデル設計ツール172は、設計用のイベント情報1aを参照した設計者によるマンマシンインターフェースの操作の下、例えば、装置停止を示す現場データ100a、装置停止を示す特定文字列を模した標準パターン131、及び操業用のイベント情報1aに関するモデル151を生成する。
(Events for notification display)
Furthermore, an application example of such an information collection system 1 is shown in FIG. For example, it is assumed that a recorder 200 that captures a moving image of a display screen 100d of equipment such as a semiconductor manufacturing apparatus is installed. On the display screen display screen 100d, the status of the semiconductor manufacturing apparatus, the lot number and product number of the semiconductor being manufactured, the quality of the semiconductor being manufactured, and the like are displayed as text messages. The model design tool 172 operates, for example, on-site data 100a indicating device stop, a standard pattern 131 imitating a specific character string indicating device stop, under the operation of the man-machine interface by the designer referring to the design event information 1a. And the model 151 regarding the event information 1a for operation is produced | generated.

解析エンジン12は、装置停止を示す特定文字列を模した標準パターン131でレコーディングデータ200aを走査し、特定文字列の表示を検知すると、装置停止を示す現場データ100aを生成し、メモリ11に記憶させる。   When the analysis engine 12 scans the recording data 200a with the standard pattern 131 imitating a specific character string indicating the device stop and detects the display of the specific character string, the analysis engine 12 generates the field data 100a indicating the device stop and stores it in the memory 11. Let

装置停止を示す現場データ100aがメモリ11に出現すると、イベント情報生成部16は、装置停止のイベント種別情報153を含むモデル151に従って、イベント情報1aを生成する。モデル151には、操作停止のイベント種別情報153に対して、停止時刻の補足種別情報152、停止装置の補足種別情報152、製造ロットナンバーの補足種別情報152、及びエラー内容の補足種別情報152が含められる。   When the field data 100a indicating the apparatus stop appears in the memory 11, the event information generation unit 16 generates the event information 1a according to the model 151 including the event type information 153 of the apparatus stop. The model 151 includes stop type supplement type information 152, stop device supplement type information 152, production lot number supplement type information 152, and error type supplement type information 152 for the operation type event type information 153. Included.

イベント情報生成部16は、解析エンジン12が発生させた操作停止の現場データ100aを核として、装置停止の時刻15:00、半導体製造装置が停止したこと、半導体製造装置に設置された各種のデータ発生装置100の一つである製造ロットナンバーの現場データ100a、及びエラー内容をイベント情報1aに含める。   The event information generation unit 16 uses the operation stop field data 100a generated by the analysis engine 12 as a core, the device stop time 15:00, the semiconductor manufacturing apparatus is stopped, and various data installed in the semiconductor manufacturing apparatus. The production lot number field data 100a, which is one of the generation devices 100, and error contents are included in the event information 1a.

これにより、設備の表示画面を撮影するレコーダ200のレコーディングデータ200aに基づき、設備が表示するメッセージの内容を示し、そのメッセージが示す事象の発生時刻と、設備を対象とする各種観測結果により成る説明情報が付加されたイベント情報1aが生成される。   Thereby, based on the recording data 200a of the recorder 200 that captures the display screen of the equipment, the contents of the message displayed by the equipment are shown, and the explanation is made of the occurrence time of the event indicated by the message and the various observation results for the equipment. Event information 1a to which information is added is generated.

(不審挙動者発見イベント)
更に、このような情報収集システム1の適用例を図16に示す。例えば病院内を動画撮影するレコーダ200が設置されたものとする。モデル設計ツール172は、設計者によるマンマシンインターフェースの操作の下、例えば通常の歩行態様を有する患者を模した標準パターン131を特徴記憶部13に記憶させる。
(Suspicious behavior discovery event)
Further, an application example of such an information collection system 1 is shown in FIG. For example, it is assumed that a recorder 200 that captures moving images in a hospital is installed. The model design tool 172 stores, for example, a standard pattern 131 simulating a patient having a normal walking mode in the feature storage unit 13 under the operation of the man-machine interface by the designer.

解析エンジン12は、通常の歩行態様を有する患者を模した標準パターン131でレコーディングデータ200aを走査し、患者のオブジェクトを追跡し、オブジェクトが大きく変化すると、患者の転倒等を示す不審挙動者発見を示す現場データ100aを生成し、メモリ11に記憶させる。不審挙動者発見を示す現場データ100aがメモリ11に出現すると、イベント情報生成部16は、不審挙動者発見のイベント種別情報153を含むモデル151に従って、イベント情報1aを生成する。イベント情報1aには、不審挙動者発見の時刻と発見場所を示す補足情報2aとして含める。   The analysis engine 12 scans the recording data 200a with a standard pattern 131 that imitates a patient having a normal walking mode, tracks the patient's object, and detects a suspicious behaviour that indicates a fall of the patient when the object changes greatly. The on-site data 100a shown is generated and stored in the memory 11. When the site data 100a indicating the suspicious behaviour discovery appears in the memory 11, the event information generation unit 16 generates the event information 1a according to the model 151 including the event type information 153 for the suspicious behaviour discovery. The event information 1a includes supplementary information 2a indicating the time and place of discovery of the suspicious behaviour.

これにより、病院内を撮影するレコーダ200のレコーディングデータ200aに基づき、転倒した患者等の不審挙動者発見を示し、不審挙動の時刻と場所により成る説明情報が付加されたイベント情報1aが生成される。   Thereby, based on the recording data 200a of the recorder 200 that captures the inside of the hospital, event information 1a that indicates the discovery of a suspicious behavior person such as a fallen patient and is added with explanatory information including the time and place of the suspicious behavior is generated. .

(効果)
以上のように、レコーディングデータ200aを記録するレコーダ200にネットワーク300を介して接続される情報収集システム1は、特定事象の発生を示す現場データ100aを予め用意しておき、レコーディングデータ200aを標準パターン131で走査して特定事象の発生を検知すると、その現場データ100aをメモリ11に記憶させる。データベース2には、各種各内容の補足情報2aを記憶しておき、メモリ11に現場データ100aが出現すると、その現場データ100aを核としてイベント情報1aを生成する。すなわち、現場データ100aの特定内容に応じた内容の補足情報2aをデータベース2から探索し、現場データ100aを核とするイベント情報1aに、探索された補足情報2aとレコーディングデータ200aを含める。
(effect)
As described above, the information collection system 1 connected to the recorder 200 that records the recording data 200a via the network 300 prepares the field data 100a indicating the occurrence of the specific event in advance, and the recording data 200a is used as the standard pattern. When the occurrence of a specific event is detected by scanning at 131, the on-site data 100 a is stored in the memory 11. The database 2 stores supplementary information 2a of various contents, and when the site data 100a appears in the memory 11, the event information 1a is generated using the site data 100a as a core. That is, the supplementary information 2a having contents corresponding to the specific contents of the on-site data 100a is searched from the database 2, and the searched supplement information 2a and the recording data 200a are included in the event information 1a having the on-site data 100a as a core.

これにより、レコーディングデータ200aのみからイベント情報1aを生成することができ、レコーダ200をデータ発生装置100の一つとしてシステムに組み入れることが可能となる。   As a result, the event information 1a can be generated only from the recording data 200a, and the recorder 200 can be incorporated into the system as one of the data generators 100.

また、現場データの種類に応じてイベント情報に含める補足情報の種類を特定したモデルを記憶しておき、モデルに示される種類の補足情報のグループから、現場データ及び既に含められた補足情報を検索キーとして、他の補足情報を絞り込むようにした。   Stores a model that identifies the type of supplemental information to be included in the event information according to the type of field data, and searches the group of supplemental information of the type indicated in the model for field data and supplemental information already included Narrow down other supplementary information as a key.

すなわち、レコーディングデータ200aから特定事象を検知した結果、その結果として直ちにイベント情報1aを生成するのではなく、イベント情報1aの核となる現場データ100aを生成するようにした。これにより、データ発生装置100が発生させた現場データ100aとレコーダ200の発生させたレコーディングデータ200aを同一のシステムで区別なく扱うことができ、システムの設計者及びイベント情報1aを必要とする操業に関わる人にとって利便性が高まる。   That is, as a result of detecting a specific event from the recording data 200a, the event data 1a is generated immediately instead of immediately generating the event information 1a. Thereby, the field data 100a generated by the data generator 100 and the recording data 200a generated by the recorder 200 can be handled without distinction in the same system, and the system designer and the operation that requires the event information 1a can be performed. Convenience increases for those involved.

更に、この情報収集システム1は、ユーザとのマンマシンインターフェースを有し、特定事象の発生を示す現場データ100aに対応するモデル151を、ユーザによる入力に従って生成するモデル設計部172と、ユーザとのマンマシンインターフェースを有し、特定事象の発生により現れるオブジェクトの標準パターン131をユーザの入力に従って生成する特徴設計部13とを更に備える。そして、レコーディングデータ200aを解析して時系列上の前後データで変化の発生を検知すると、変化アリを示す現場データ100aをメモリ11に記憶させる。   Further, the information collection system 1 has a man-machine interface with the user, and generates a model 151 corresponding to the field data 100a indicating the occurrence of the specific event according to the input by the user, and the user It further includes a feature design unit 13 that has a man-machine interface and generates a standard pattern 131 of an object that appears upon occurrence of a specific event in accordance with a user input. When the recording data 200a is analyzed and the occurrence of change is detected in the time series data before and after, the on-site data 100a indicating the change ant is stored in the memory 11.

まず、システム設計者は、設備の特性や稼働状況、工場やオフィスの人的及び物的流れ等の各種情報を物的及び人的資料から収集し、レコーダ200の設置場所を検討し、そのレコーダ200のレコーディングデータ200aに記録され、且つ関心のある特定事象を予想して、レコーディングデータ200aに基づくイベント情報1aのモデル151を設計することが考えられる。   First, the system designer collects various information such as the characteristics and operating conditions of the equipment, the human and physical flow of the factory and office from the physical and human resources, examines the installation location of the recorder 200, and the recorder It is conceivable to design a model 151 of event information 1a based on the recording data 200a in anticipation of a specific event of interest recorded in the 200 recording data 200a.

しかしながら、この資料の収集、及び収集結果に基づく特定事象の予測は、トライアンドエラーを伴う大変に労力の必要とする作業である。この情報収集システム1では、レコーディングデータ200aに基づくイベント情報1aの生成と同じシステムによって、レコーディングデータ200aにどのような特定事象が記録され得るかを示すイベント情報1aを設計者に提供できる。   However, the collection of this material and the prediction of specific events based on the collection results are very labor-intensive tasks involving trial and error. In this information collection system 1, event information 1a indicating what specific events can be recorded in the recording data 200a can be provided to the designer by the same system as the generation of the event information 1a based on the recording data 200a.

そのため、レコーディングデータ200aに基づくイベント情報1aのモデル生成の労力を飛躍的に軽減できる。また、実際に起こり得る特定事象に対するイベント情報1aをより確実に操業関係者に提供できるようになるため、レコーディングデータ200aに基づくイベント情報1aを生成する情報収集システム1の信頼性を高めることができる。   Therefore, it is possible to drastically reduce the labor for generating the model of the event information 1a based on the recording data 200a. Further, since the event information 1a for a specific event that can actually occur can be provided to the operation personnel more reliably, the reliability of the information collection system 1 that generates the event information 1a based on the recording data 200a can be improved. .

この設計用のイベント情報には、レコーディングデータ200aの変化が出現した時刻前後に発生したデータ発生装置100の現場データ100a、又はこの現場データ100aに基づくイベント情報1aを補足情報2aとして含めるようにしてもよい。   The event information for design includes, as supplementary information 2a, on-site data 100a of the data generation device 100 generated before or after the time when the change of the recording data 200a appears, or event information 1a based on the on-site data 100a. Also good.

これにより、各種データ発生装置100が発生させる現場データ100aと絡めて、レコーディングデータ200aに記録された変化を評価することができ、レコーディングデータ200aに基づく操業用のイベント情報1aの必要性の程度をシステム設計者が評価することが容易となる。例えば、センサの出力に基づくイベント情報1aのみの提供で十分なのか、これに加えてレコーディングデータ200aに基づく操業用のイベント情報1aの提供は有益であるのかを評価できる。   Thereby, it is possible to evaluate the change recorded in the recording data 200a in association with the on-site data 100a generated by the various data generators 100, and to determine the degree of necessity of the event information 1a for operation based on the recording data 200a. It becomes easy for the system designer to evaluate. For example, it can be evaluated whether it is sufficient to provide only the event information 1a based on the output of the sensor, or in addition, whether the provision of the event information 1a for operation based on the recording data 200a is beneficial.

具体的には、解析エンジン12は、警備員の身体的又は着衣の特徴を模した標準パターン131でレコーディングデータ200aを走査し、警備員の到着を特定事象の発生として検知するようにすることで、センサ等のデータ発生装置100では操業関係者に提供困難であったイベント情報1aを簡便に提供することが可能となる。   Specifically, the analysis engine 12 scans the recording data 200a with a standard pattern 131 that imitates the physical or clothing characteristics of the guard, and detects the arrival of the guard as the occurrence of a specific event. In the data generation device 100 such as a sensor, it is possible to easily provide the event information 1a that has been difficult to provide to the operation personnel.

例えば、データベース2には、レコーディングデータ200aに記録された警備員の現実の到着時刻と、警備員の到着予定時刻と、遅刻限度時間と、遅刻報知と、正常時間内到着報知とを内容とする各補足情報2aを記憶しておく。そして、現実の到着時刻と、警備員の到着予定時刻と、遅刻限度時間とに基づき、遅刻報知か正常時間内到着報知の一方の補足情報2aを選択してイベント情報1aに含めることができる。これにより、警備員到着のイベント情報1aを閲覧するだけで、警備員の勤務態度等を評価することが可能となり、レコーディングデータ200aに基づくイベント情報1aの利点である。   For example, the database 2 contains the actual arrival time of the security guard recorded in the recording data 200a, the estimated arrival time of the security guard, the late limit time, the late notice, and the arrival notice within the normal time. Each supplementary information 2a is stored. Then, based on the actual arrival time, the estimated arrival time of the guard, and the late limit time, one of the supplementary information 2a for the late notification or the normal time arrival notification can be selected and included in the event information 1a. Thereby, it becomes possible to evaluate the work attitude of the security guard only by browsing the event information 1a of arrival of the security guard, which is an advantage of the event information 1a based on the recording data 200a.

また、解析エンジン12は、炎の特徴を模した標準パターン131でレコーディングデータ200aを走査し、出火を特定事象の発生として検知するようにすることで、火災報知機等が検知困難な初期の出火をより迅速に報知するイベント情報1aを提供することができる。   In addition, the analysis engine 12 scans the recording data 200a with the standard pattern 131 that imitates the characteristics of the flame, and detects the fire as the occurrence of a specific event, so that the initial fire that is difficult for a fire alarm or the like to detect is detected. It is possible to provide event information 1a for more quickly informing the user.

また、データベース2には、出火場所近傍の各種センサの計測値が各補足情報2aとして記憶され、出火時刻と出火場所に加えてセンサの計測値をイベント情報1aに含めるようにした。これにより、例えばセンサの位置等の出火検知方法を改善することや、出火原因の特定及び対策が容易となる。例えば、コンベアより出火した場合、レコーディングデータ200aに基づくイベント情報1aがあれば、出火が起こりやすい箇所の特定、その特定に基づく温度センサの設置箇所見直し、コンベアの搬送速度等の出火原因の特定、コンベアの搬送速度の見直し等が容易となる。   The database 2 stores the measured values of various sensors in the vicinity of the fire place as each supplementary information 2a, and includes the sensor measured values in the event information 1a in addition to the fire time and the fire place. Thereby, for example, it becomes easy to improve the fire detection method such as the position of the sensor, and to identify and take measures against the fire. For example, if there is event information 1a based on the recording data 200a when a fire breaks out from the conveyor, the location where the fire is likely to occur is identified, the location of the temperature sensor is reviewed based on the identification, the cause of the fire such as the conveyor transport speed, It becomes easy to review the conveyor speed.

また、解析エンジン12は、メンテナンス員の身体的又は着衣の特徴を模した標準パターン131でレコーディングデータ200aを走査し、メンテナンス員の到着を特定事象の発生として検知することで、トラブル発生からメンテナンス員によるトラブル終息までの時間見直しの一助となり、レコーディングデータ200aに基づくイベント情報1aの利点である。   Further, the analysis engine 12 scans the recording data 200a with a standard pattern 131 that imitates the physical or clothing characteristics of the maintenance staff, and detects the arrival of the maintenance staff as the occurrence of a specific event. This is an advantage of the event information 1a based on the recording data 200a.

また、レコーダ200は、半導体製造装置等の設備が有する画面を視野に収めて設置され、解析エンジン12は、特定画像、特定文字、特定文字列、特定記号、又は特定記号列を模した標準パターン131でレコーディングデータ200aを走査し、設備の特定事象の報知を検知するようにした。これにより、設備から現場データ100aを情報収集システム1に送出する仕組みを構築しなくとも、レコーダ200を利用して設備の観測結果に基づくイベント情報1aを生成することができ、工場やオフィスのシステム構築が容易且つ低コスト化できる。   The recorder 200 is installed with a screen of equipment such as a semiconductor manufacturing apparatus in view, and the analysis engine 12 is a standard pattern imitating a specific image, a specific character, a specific character string, a specific symbol, or a specific symbol string. In 131, the recording data 200a is scanned to detect the notification of the specific event of the equipment. Accordingly, event information 1a based on the observation result of the facility can be generated using the recorder 200 without constructing a mechanism for sending the field data 100a from the facility to the information collecting system 1, and the system of the factory or office Construction is easy and cost can be reduced.

また、解析エンジン12は、人の特徴を模した標準パターン131の各々でレコーディングデータ200aを走査し、且つ標準パターン131で特定された人のオブジェクトの変化を検知し、患者の転倒を含む不審挙動の発生を示す現場データ100aをメモリ11に記憶させるようにして、イベント情報1aの生成のきっかけを作るようにしてもよい。患者等に不審挙動を検知するセンサを装着する必要なく、患者の不審挙動を迅速に知ることができ、レコーディングデータ200aに基づくイベント情報の利点である。   In addition, the analysis engine 12 scans the recording data 200a with each of the standard patterns 131 imitating human characteristics, detects changes in the human object specified by the standard patterns 131, and performs suspicious behavior including the fall of the patient. On-site data 100a indicating the occurrence of the event information 1a may be stored in the memory 11 to create a trigger for generating the event information 1a. This is an advantage of the event information based on the recording data 200a because it is possible to quickly know the suspicious behavior of the patient without having to attach a sensor for detecting the suspicious behavior to the patient or the like.

1 情報収集システム
1a イベント情報
11 メモリ
12 解析エンジン
13 特徴記憶部
131 標準パターン
14 変化検出エンジン
15 辞書記憶部
151 モデル
152 補足種別情報
153 イベント種別情報
154 クエリ情報
16 イベント情報生成部
17 システム設計支援端末
171 表示部
172 モデル設計ツール
173 特徴設計ツール
18 現場データ記憶部
2 データベース
2a 補足情報
100 データ発生装置
100a 現場データ
200 レコーダ
200a レコーディングデータ
300 ネットワーク
1 Information Collection System 1a Event Information 11 Memory 12 Analysis Engine 13 Feature Storage Unit 131 Standard Pattern 14 Change Detection Engine 15 Dictionary Storage Unit 151 Model 152 Supplemental Type Information 153 Event Type Information 154 Query Information 16 Event Information Generation Unit 17 System Design Support Terminal 171 Display unit 172 Model design tool 173 Feature design tool 18 Field data storage unit 2 Database 2a Supplementary information 100 Data generator 100a Field data 200 Recorder 200a Recording data 300 Network

Claims (4)

レコーディングデータを記録するレコーダにネットワークを介して接続された情報収集システムであって、
前記レコーディングデータを標準パターンで走査して特定事象の発生を検知する解析部と、
特定内容の現場データを予め記憶し、前記解析部の特定事象発生検知に応答して、特定事象の発生を示す当該現場データをメモリに記憶させる第1の現場データ生成部と、
各種各内容の補足情報が記憶されたデータベースと、
前記メモリに前記現場データが出現すると、前記レコーダが記録した前記特定事象の発生背景と前記特定事象の評価及び解釈を示し、前記現場データの特定内容に応じた内容の補足情報を前記データベースから探索し、前記現場データを核として、探索された前記補足情報と前記レコーディングデータを含めた操業用のイベント情報を生成するイベント情報生成部と、
前記現場データの種類に応じて前記イベント情報に含める前記補足情報の種類を特定した、前記イベント情報のモデルを記憶する辞書記憶部と、
前記レコーディングデータを解析して時系列上の前後データで変化の発生を検知する変化検出部と、
変化アリを示すデータを予め記憶し、前記変化検出部の不特定事象発生検知に応答して、当該変化アリを示す当該データを前記現場データとしてメモリに記憶させる第2の現場データ生成部と、
前記イベント情報を表示する表示部を有するシステム設計支援端末と、
を備え、
前記イベント情報生成部は、
前記変化検出部による検知を契機にして、前記モデルに示される種類の前記補足情報のグループから、前記第2の現場データ生成部により生成された前記現場データ及び既に含められた前記補足情報を検索キーとして、他の前記補足情報を絞り込み、前記第2の現場データ生成部により生成された前記現場データを核として、前記レコーダが記録した不特定の変化の発生を報知する、前記モデル又は前記標準パターンの設計用の前記イベント情報を生成し、
前記システム設計支援端末は、
前記モデル又は前記標準パターンの設計用の前記イベント情報を前記表示部に表示すること、
を特徴とする情報収集システム。
An information collection system connected via a network to a recorder for recording data,
An analysis unit that scans the recording data with a standard pattern and detects the occurrence of a specific event;
A first field data generation unit that stores field data of specific contents in advance, and stores the field data indicating the occurrence of the specific event in a memory in response to the specific event occurrence detection of the analysis unit;
A database that stores supplementary information for each type of content;
When the on-site data appears in the memory, the occurrence background of the specific event recorded by the recorder and the evaluation and interpretation of the specific event are indicated, and supplementary information of content corresponding to the specific content of the on-site data is searched from the database Then, with the field data as a core, an event information generating unit that generates event information for operation including the searched supplementary information and the recording data,
A dictionary storage unit that stores a model of the event information that identifies the type of supplementary information to be included in the event information according to the type of the field data;
A change detection unit that analyzes the recording data and detects the occurrence of change in the data before and after the time series;
A second field data generation unit that stores data indicating a change ant in advance, and stores the data indicating the change ant in the memory as the field data in response to the unspecified event occurrence detection of the change detection unit;
A system design support terminal having a display unit for displaying the event information;
With
The event information generation unit
In response to detection by the change detection unit, the field data generated by the second field data generation unit and the already included supplement information are searched from the group of the supplement information of the type indicated in the model. The model or the standard that narrows down the other supplementary information as a key and notifies the occurrence of an unspecified change recorded by the recorder with the on-site data generated by the second on-site data generation unit as a core. Generate the event information for pattern design,
The system design support terminal is
Displaying the event information for designing the model or the standard pattern on the display unit;
An information collection system characterized by
前記レコーダは、ビデオカメラ、スチルカメラ又はマイクロフォンであり、
前記レコーディングデータは、動画データ、定期的に撮影される複数の静止画データ、又は音声データであること、
を特徴とする請求項1記載の情報収集システム。
The recorder is a video camera, a still camera or a microphone,
The recording data is moving image data, a plurality of still image data periodically shot, or audio data;
The information collection system according to claim 1.
ーザとのマンマシンインターフェースを有し、前記特定事象の発生を示す現場データに対応する前記モデルを、ユーザによる入力に従って生成するモデル設計部と、
ユーザとのマンマシンインターフェースを有し、前記特定事象の発生により現れるオブジェクトの標準パターンをユーザの入力に従って生成する特徴設計部と、
を更に備えること、
を特徴とする請求項1又は2記載の情報収集システム。
Has a man-machine interface with the User chromatography The, the model corresponding to the scene data indicating the occurrence of the specific event, the modeling unit for generating according to input from the user,
A feature design unit that has a man-machine interface with a user and generates a standard pattern of an object that appears upon occurrence of the specific event according to a user input;
Further comprising,
The information collection system according to claim 1 or 2 , characterized by the above-mentioned.
前記システム設計支援端末は、前記モデル設計部と前記特徴設計部を含むこと、The system design support terminal includes the model design unit and the feature design unit;
を特徴とする請求項3記載の情報収集システム。The information collection system according to claim 3.
JP2015119253A 2015-06-12 2015-06-12 Information collection system Active JP6236035B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015119253A JP6236035B2 (en) 2015-06-12 2015-06-12 Information collection system
PCT/JP2016/066329 WO2016199658A1 (en) 2015-06-12 2016-06-02 Information gathering system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015119253A JP6236035B2 (en) 2015-06-12 2015-06-12 Information collection system

Publications (2)

Publication Number Publication Date
JP2017004358A JP2017004358A (en) 2017-01-05
JP6236035B2 true JP6236035B2 (en) 2017-11-22

Family

ID=57504022

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015119253A Active JP6236035B2 (en) 2015-06-12 2015-06-12 Information collection system

Country Status (2)

Country Link
JP (1) JP6236035B2 (en)
WO (1) WO2016199658A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022260150A1 (en) 2021-06-09 2022-12-15 Ultimatrust株式会社 Information processing device, program, and data processing method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6709765B2 (en) 2017-09-15 2020-06-17 株式会社エクセディ Torque fluctuation suppressing device, torque converter, and power transmission device
JP7187813B2 (en) * 2018-04-26 2022-12-13 東芝三菱電機産業システム株式会社 Plant monitoring control system
CN109788249B (en) * 2018-12-27 2020-12-25 浙江蓝卓工业互联网信息技术有限公司 Video monitoring control method based on industrial internet operating system
JP7363032B2 (en) * 2019-01-10 2023-10-18 オムロン株式会社 Information management device and information management method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112674A (en) * 1997-09-29 1999-04-23 Canon Inc Remote monitoring system
JP2000207018A (en) * 1999-01-19 2000-07-28 Toshiba Corp Plant monitor device
JP4958129B1 (en) * 2011-05-09 2012-06-20 株式会社smart−FOA Information collection system, information collection method, information collection program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022260150A1 (en) 2021-06-09 2022-12-15 Ultimatrust株式会社 Information processing device, program, and data processing method

Also Published As

Publication number Publication date
WO2016199658A1 (en) 2016-12-15
JP2017004358A (en) 2017-01-05

Similar Documents

Publication Publication Date Title
JP6236035B2 (en) Information collection system
JP6048688B2 (en) Event analysis apparatus, event analysis method, and computer program
KR101133924B1 (en) Active image monitoring system using motion pattern database, and method thereof
US10915419B2 (en) Industrial control system, and assistance apparatus, control assist method, and program thereof
US11037420B2 (en) Method and apparatus for tiered analytics in a multi-sensor environment
CN103775129A (en) Method for early warning of dangerous sources of coal mine
JP2017208005A (en) Sensor data analysis system and sensor data analysis method
CN111553305B (en) System and method for identifying illegal videos
JP2010049532A (en) Operation monitoring support apparatus
CN103455313B (en) Method and device for associating input information with output information of detected system
CN117035419B (en) Intelligent management system and method for enterprise project implementation
CN107077563A (en) Information processor, information processing method and program
JP2017097628A (en) Maintenance system
CN108566528A (en) A kind of monitor video storage system
JP2012208793A (en) Security system
CN110472749A (en) The long-distance monitoring method and monitoring device of equipment
CN112381435A (en) Gridding directional pushing management method for dynamic risk in hydropower station operation process
US20110157355A1 (en) Method and System for Detecting Events in Environments
CN112181786B (en) Configuration method, device and equipment for inspection application
Khajavi et al. Digital twin for safety and security: Perspectives on building lifecycle
JP2018147389A (en) Manufacturing management method and manufacturing management system
CN108388873A (en) A kind of supervisory systems of machine vision, method and client computer, storage medium
JP7210982B2 (en) Information processing device, information processing method, and program
US20200249667A1 (en) Apparatus And Method For Alarm Management
JP2010102649A (en) Apparatus and method for supporting data analysis, computer program and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170214

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170214

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171027

R150 Certificate of patent or registration of utility model

Ref document number: 6236035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350