JP7004131B2 - Management system, management method and management program - Google Patents
Management system, management method and management program Download PDFInfo
- Publication number
- JP7004131B2 JP7004131B2 JP2017007861A JP2017007861A JP7004131B2 JP 7004131 B2 JP7004131 B2 JP 7004131B2 JP 2017007861 A JP2017007861 A JP 2017007861A JP 2017007861 A JP2017007861 A JP 2017007861A JP 7004131 B2 JP7004131 B2 JP 7004131B2
- Authority
- JP
- Japan
- Prior art keywords
- management
- management target
- location
- image
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007726 management method Methods 0.000 title claims description 230
- 238000012790 confirmation Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 description 57
- 238000010276 construction Methods 0.000 description 18
- 239000000463 material Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 238000003466 welding Methods 0.000 description 11
- 238000013145 classification model Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 239000004566 building material Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、管理対象の所在位置を管理する管理システム、管理方法及び管理プログラムに関する。 The present invention relates to a management system, a management method, and a management program for managing the location of a management target.
建設現場において使用される機器は、作業状況に応じて使用する場所が変わる。このため、各機器の所在位置を的確に管理する必要があった。
そこで、従来、資機材の状況を管理するための技術が検討されている(例えば、非特許文献1参照。)。この非特許文献1に記載の技術においては、建設作業員が携帯するICタグや機材などに取り付けたICタグを、エレベーターに設置されたICタグリーダで読み取る。これにより、移動させた資機材、移動時期及び移動先等を記録する。
The place of equipment used at the construction site changes depending on the work situation. Therefore, it is necessary to accurately manage the location of each device.
Therefore, conventionally, a technique for managing the status of materials and equipment has been studied (see, for example, Non-Patent Document 1). In the technique described in Non-Patent Document 1, an IC tag attached to an IC tag or equipment carried by a construction worker is read by an IC tag reader installed in an elevator. In this way, the materials and equipment moved, the time of movement, the destination, etc. are recorded.
更に、建設現場で使用される機器の稼働状況を管理するための技術も検討されている(例えば、特許文献1参照。)。この特許文献1に記載の技術においては、機器に取り付けた加速度センサから取得した計測情報を用いて、機器の状態を判定する。 Further, a technique for managing the operating status of equipment used at a construction site is also being studied (see, for example, Patent Document 1). In the technique described in Patent Document 1, the state of the device is determined by using the measurement information acquired from the acceleration sensor attached to the device.
非特許文献1に記載の技術を用いて資機材を管理する場合、管理する対象の資機材のそれぞれにICタグを取り付ける必要がある。従って、ICタグが取り付けられていない資機材を管理することができない。 When managing materials and equipment using the technology described in Non-Patent Document 1, it is necessary to attach an IC tag to each of the materials and equipment to be managed. Therefore, it is not possible to manage materials and equipment to which the IC tag is not attached.
本発明は、上記課題に鑑みてなされ、その目的は、管理対象の所在位置を効率的に把握して管理するための管理システム、管理方法及び管理プログラムを提供することにある。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a management system, a management method, and a management program for efficiently grasping and managing the location of a management target.
・上記課題を解決する管理システムは、管理対象を識別する管理対象識別情報と、前記管理対象の位置情報とを関連付けて記憶した管理情報記憶部と、移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムであって、前記制御部は、前記撮影装置によって撮影された画像と撮影位置情報とを取得し、前記画像に含まれる管理対象について、前記撮影位置情報を用いて所在位置を特定し、前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録する。これにより、移動体の撮影装置を用いて、管理対象の所在位置を効率的に把握して管理することができる。 -The management system that solves the above problems stores the management information storage unit that stores the management target identification information that identifies the management target in association with the position information of the management target, and the image from the photographing device attached to the moving body. It is a management system including a control unit for acquisition, and the control unit acquires an image captured by the imaging device and imaging position information, and obtains the imaging position information for a management target included in the image. The location is specified by using it, and the location is recorded in the management information storage unit in association with the management target identification information of the management target. As a result, it is possible to efficiently grasp and manage the location of the management target by using the photographing device of the moving body.
・上記管理システムにおいて、前記制御部は、前記画像に基づいて管理対象の使用状態を特定し、前記管理対象識別情報及び前記所在位置に関連付けて、前記使用状態を前記管理情報記憶部に記録することが好ましい。これにより、管理対象の使用状態も把握することができる。 -In the management system, the control unit identifies the usage state of the management target based on the image, associates the management target identification information with the location position, and records the usage state in the management information storage unit. Is preferable. This makes it possible to grasp the usage status of the management target.
・上記管理システムにおいて、前記移動体の所在位置を記録する移動体情報記憶部を更に備え、前記制御部は、前記画像情報を撮影した撮影位置を、前記移動体の所在位置として特定し、前記移動体の所在位置を前記移動体情報記憶部に記録することが好ましい。これにより、管理対象の所在位置だけでなく、移動体の所在位置も併せて把握して管理することができる。 -The management system further includes a mobile information storage unit that records the location position of the moving body, and the control unit specifies the photographing position where the image information is taken as the location position of the moving body, and the above-mentioned It is preferable to record the location position of the moving body in the moving body information storage unit. As a result, not only the location of the management target but also the location of the moving body can be grasped and managed.
・上記管理システムにおいて、前記移動体の所在位置が撮影禁止領域に含まれる場合には、前記撮影装置は撮影を停止することが好ましい。これにより、移動体が撮影禁止領域に入った場合には、撮影を禁止することができる。 -In the management system, when the location position of the moving body is included in the shooting prohibited area, it is preferable that the shooting device stops shooting. As a result, when the moving object enters the shooting prohibited area, shooting can be prohibited.
本発明によれば、管理対象の所在位置を効率的に把握して管理することができる。 According to the present invention, the location of the management target can be efficiently grasped and managed.
以下、図1~図7を用いて、管理対象の所在位置を管理する管理システム、管理方法及び管理プログラムを具体化した一実施形態を説明する。本実施形態では、建設現場で用いる移動可能な機器(例えば、溶接機やポンプ等)を管理対象として管理する。 Hereinafter, an embodiment in which a management system, a management method, and a management program for managing the location of the management target are embodied will be described with reference to FIGS. 1 to 7. In this embodiment, movable equipment (for example, a welding machine, a pump, etc.) used at a construction site is managed as a management target.
図1に示すように、本実施形態の管理システム10は、複数の移動体ユニット11に接続された管理サーバ20を備えている。
As shown in FIG. 1, the
図2に示すように、移動体ユニット11には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット11は、建設現場で移動しながら作業を行なう作業者のヘルメットH1の横に取り付けられている。
As shown in FIG. 2, a wearable terminal that functions as a photographing device is used for the
図1に示すように、移動体ユニット11は、撮影部12、送信部13及び制御部14を備えている。
撮影部12は、CCDカメラ等により構成されている。この撮影部12は、作業者の前方を撮影して動画(画像)を生成する。
As shown in FIG. 1, the
The photographing
送信部13は、撮影部12で撮影した動画を、所定容量毎に、管理サーバ20に送信する。
制御部14は、撮影部12の撮影開始や撮影停止を制御したり、送信部13の送信開始や送信停止等を制御したりする。制御部14は、この移動体ユニット11を特定する撮影装置識別情報を保持している。
The
The
管理サーバ20は、入力部16及び表示部17を備えている。入力部16は、キーボードやポインティングデバイスである。表示部17は、ディスプレイであって、管理対象の所在位置等を表示する。
The
管理サーバ20は、制御部21、建築総合情報記憶部22、特徴点情報記憶部23、禁止区域情報記憶部24、被写体情報記憶部25、動画情報記憶部26及び所在情報記憶部27を備えている。
The
制御部21は、CPU、RAM、ROM等を備え、後述する処理(管理段階、位置特定段階、被写体特定段階等の各処理)を行なう。そのための管理プログラムを実行することにより、制御部21は、管理部211、位置特定部212、被写体特定部213として機能する。
The
管理部211は、管理対象の所在を管理する処理を実行する。本実施形態では、移動体ユニット11において撮影した動画を取得し、この動画により管理対象の管理を行なう。
位置特定部212は、動画に基づいて撮影位置及び撮影方向を推定し、撮影視野を特定する処理を実行する。本実施形態では、位置特定部212は、公知のv-SLAM(visual Simultaneous Localization And Mapping)を用いて、撮影位置を特定する。
The
The
被写体特定部213は、特定した撮影視野内にある被写体(物)の管理対象と、この被写体の状態とを特定する処理を実行する。本実施形態の被写体特定部213は、ディープラーニングの畳み込みニューラルネットワークを用いる。具体的には、被写体特定部213は、学習によって生成した学習済み分類モデルに、撮影フレームの分割領域の画像を入力して、管理対象物と状態、又は材料を特定する。この学習のため、被写体特定部213は、公知の手法に基づいて、被写体情報記憶部25に記憶された多量の教師データを用いて、ディープラーニングにより学習した学習済み分類モデルを、被写体情報記憶部25に記憶する。
The
建築総合情報記憶部22には、建設中の建築物に関する建築総合情報が記録されている。本実施形態では、建築総合情報として、BIM(Building Information Modeling)データを用いる。この建築総合情報は、建築物を構成するオブジェクト、属性情報及びロケーション情報を含んで構成されている。オブジェクトには、オブジェクトIDが付与された3次元モデルにより構成される。属性情報には、オブジェクトID、オブジェクト名、オブジェクトのタイプ、面積、材質、製品情報、コスト等の仕様に関する情報が含まれる。ロケーション情報には、このオブジェクトが配置される位置(座標)に関する情報が含まれる。
The building comprehensive
オブジェクトIDは、オブジェクトを特定するための識別子である。
オブジェクト名は、このオブジェクトの名称である。
タイプ、面積、材質、製品情報、コストは、このオブジェクトのタイプ(構造種別や建具種別)、面積、材質、製品情報、コストである。
The object ID is an identifier for identifying an object.
The object name is the name of this object.
The type, area, material, product information, and cost are the type (structural type and fitting type), area, material, product information, and cost of this object.
ロケーション情報には、このオブジェクトが配置される場所(工区)を特定する識別子に関するデータが記録される。工区とは、建設物の建設工事を段階的に進めていく上で、建設物に複数ある住戸(室)を空間的(隣接した住戸)及び時間的(作業時間)にまとめたグループであり、例えば、建設物の各階や階の一部の住戸といった工区が決められる。 In the location information, data regarding an identifier that identifies the location (work zone) where this object is placed is recorded. A construction zone is a group that organizes multiple dwelling units (rooms) in a building spatially (adjacent dwelling units) and temporally (working hours) in order to proceed with the construction work of the building in stages. For example, a construction area such as each floor of a building or a part of a dwelling unit on the floor is decided.
特徴点情報記憶部23には、移動体ユニット11の所在位置(撮影位置)を特定するための建設現場における特徴点に関する情報が記憶されている。この特徴点情報は、建設中の建築物の内部から撮影した際に画像の特徴となる部分に関する情報である。特徴点情報には、特徴点識別子、この特徴点を特定する画像の特徴量、この特徴点の位置(xyz座標)が含まれている。
The feature point
禁止区域情報記憶部24には、撮影禁止区域を判定するための禁止区域情報が記録されている。この禁止区域情報は、後述する管理処理の実行前に予め登録される。禁止区域情報は、禁止区域についての禁止区域識別子、区域名、位置(座標)に関するデータを含んで構成されている。撮影禁止区域とは、例えば、作業者が使用するトイレ等である。
The prohibited area
被写体情報記憶部25には、被写体の特定や被写体の状態の判定に用いる情報が記憶されている。これら情報は、後述する管理処理の実行前に予め登録される。
具体的には、図3(a)に示すように、被写体情報記憶部25には、学習済み分類モデル251、教師データ252及び個体認識データ255が記憶されている。
The subject
Specifically, as shown in FIG. 3A, the subject
学習済み分類モデル251には、教師データ252を用いて、管理対象及び状態を特定するためのディープラーニングにより生成した学習済分類モデルが記録される。この学習済み分類モデル251は、管理対象識別子及び状態識別子に関連付けられている。
In the trained
管理対象識別子データ領域には、物の種類を特定するための識別子(ここでは名称)に関するデータが記録される。ここで、物の種類とは、建築に用いられる建築要素(例えば、建築材料や納まり等)や材料、建設現場で用いられる機器(例えば、溶接機やポンプ等)等である。 In the managed identifier data area, data related to an identifier (here, a name) for specifying the type of an object is recorded. Here, the types of objects are building elements (for example, building materials, fittings, etc.) and materials used for construction, equipment used at construction sites (for example, welding machines, pumps, etc.), and the like.
状態識別子データ領域には、管理対象識別子によって特定される被写体の状態を特定するための識別子が記録されている。例えば、被写体が溶接機である場合、使用中、又は停止中等を示す識別子が記録されている。 In the state identifier data area, an identifier for specifying the state of the subject specified by the managed identifier is recorded. For example, when the subject is a welding machine, an identifier indicating that the subject is in use, stopped, or the like is recorded.
教師データ252は、ディープラーニングの学習済み分類モデルを算出するために用いられる教師データである。教師データ252は、出力層として用いる管理対象識別子、状態識別子、入力層として用いる学習用画像に関するデータを含んで構成される。
管理対象識別子データ領域及び状態識別子データ領域には、管理対象(物)の種類を特定するための識別子、この管理対象の状態を特定するための識別子に関するデータが記録されている。
The
In the management target identifier data area and the state identifier data area, data regarding an identifier for specifying the type of the management target (object) and an identifier for specifying the state of the management target are recorded.
個体認識データ255は、被写体を、同種の物(建築要素や機器)と識別するために個体を認識するために用いるデータである。個体認識データ255は、管理対象識別子、個体識別子、個体特定情報に関するデータを含んで構成されている。
The
管理対象識別子データ領域には、この管理対象の物の種類(例えば、溶接機やポンプ等)を特定するための識別子に関するデータが記録される。
個体識別子データ領域には、各管理対象を個別に特定するための識別子に関するデータが記録される。
In the managed identifier data area, data regarding an identifier for specifying the type of the object to be managed (for example, a welding machine, a pump, etc.) is recorded.
In the individual identifier data area, data regarding an identifier for individually identifying each management target is recorded.
個体特定情報データ領域には、画像において、この管理対象を、同じ物の中で他の個体と区別するための情報が記録されている。この個体特定情報は、例えば、この管理対象に付与した色付マーカの色や管理対象における位置等に関する情報である。 In the individual identification information data area, information for distinguishing this management target from other individuals in the same object is recorded in the image. This individual identification information is, for example, information regarding the color of the colored marker given to the management target, the position in the management target, and the like.
図3(b)に示すように、動画情報記憶部26には、移動体ユニット11において撮影された動画に関する動画管理情報260が記憶される。この動画管理情報260は、動画識別子、動画、撮影装置識別情報、撮影日時、撮影位置、撮影方向に関するデータから構成されている。
As shown in FIG. 3B, the moving image
動画識別子データ領域には、各動画を特定するための識別子に関するデータが記録される。
動画データ領域には、移動体ユニット11において撮影された動画が記録される。
撮影装置識別情報データ領域、撮影日時データ領域、撮影位置データ領域、撮影方向データ領域には、それぞれ、この動画を撮影した装置(移動体ユニット11)、撮影した日時、撮影した位置、撮影した方向に関するデータが記録される。
In the video identifier data area, data relating to an identifier for identifying each video is recorded.
The moving image taken by the
In the shooting device identification information data area, shooting date / time data area, shooting position data area, and shooting direction data area, the device (mobile unit 11) that shot this moving image, the shooting date / time, the shooting position, and the shooting direction, respectively. Data is recorded.
図3(c)に示すように、所在情報記憶部27は、各管理対象の所在に関する情報が記憶される。この所在情報270は、管理対象が建設現場に搬入された場合に登録される。所在情報270は、個体識別子、管理対象識別子、所在位置、状態及び日時に関するデータを含んで構成される。
As shown in FIG. 3C, the location
個体識別子データ領域には、各管理対象を特定するための識別子に関するデータが記録される。
管理対象識別子データ領域には、この管理対象の種類を特定するための識別子に関するデータが記録される。
In the individual identifier data area, data regarding an identifier for identifying each management target is recorded.
In the managed identifier data area, data related to the identifier for specifying the type of the managed target is recorded.
所在位置データ領域には、この管理対象を検知した位置に関するデータが記録される。
状態データ領域には、この管理対象の状態に関するデータが記録される。
日時データ領域には、この管理対象を所在位置で検知した年月日及び時刻に関するデータが記録される。
In the location position data area, data related to the position where this management target is detected is recorded.
Data related to this managed state is recorded in the state data area.
In the date / time data area, data related to the date and time when this management target is detected at the location is recorded.
(管理処理)
次に、図4を用いて、以上のように構成された管理システム10を用いて、管理対象を管理する管理処理について説明する。
(Management process)
Next, with reference to FIG. 4, a management process for managing the management target will be described using the
建設現場において作業を開始する際には、作業者はヘルメットH1に装着された移動体ユニット11を起動する。この場合、移動体ユニット11の制御部14は、撮影部12において動画の撮影を開始し、メモリに記録する。この場合、メモリには、動画に関連付けて動画識別子及び撮影日時が記録される。そして、制御部14は、送信部13を介して、撮影装置識別情報とともに、メモリに記録された動画を、所定容量毎に管理サーバ20に送信する。
When starting work at a construction site, the worker activates the
管理サーバ20の制御部21は、移動体ユニット11からの動画の取得処理を実行する(ステップS1-1)。具体的には、制御部21の管理部211は、移動体ユニット11から、撮影装置識別情報とともに、所定容量の動画を受信する。そして、管理部211は、受信した動画、動画識別子、撮影日時及び撮影装置識別情報を含む動画管理情報260を生成して、動画情報記憶部26に記録する。
The
次に、管理サーバ20の制御部21は、位置推定処理を実行する(ステップS1-2)。具体的には、制御部21の位置特定部212は、直近の位置の特定で用いた特徴点のうち今回のフレーム内に写る可能性がある特徴点を、候補特徴点として特定する。ここでは、位置特定部212は、複数のフレーム情報を用いて、作業者の移動方向、移動速度を予測し、この移動方向、移動速度に基づいて、候補特徴点を特定する。そして、位置特定部212は、今回のフレーム(画像)内において、候補特徴点の特徴量と一致する特徴点を検索する。一致する特徴点を特定した場合には、特定した特徴点の位置(xyz座標)を用いて、撮影位置及び撮影角度を特定し、動画管理情報260に記録する。位置特定部212は、これら撮影位置及び撮影角度と画像とから撮影範囲(撮影視野)を特定する。
Next, the
次に、管理サーバ20の制御部21は、撮影禁止区域かどうかの判定処理を実行する(ステップS1-3)。具体的には、制御部21の管理部211は、推定した撮影位置と、禁止区域情報記憶部24の禁止区域情報の位置(座標)とを比較し、禁止区域に撮影位置が含まれているか否かを判定する。
Next, the
撮影位置が撮影禁止区域内と判定した場合(ステップS1-3において「YES」の場合)、管理サーバ20の制御部21は、移動体ユニット11から取得した動画を削除する。そして、制御部21は、次の動画の受信を待機する。
When it is determined that the shooting position is within the shooting prohibited area (when "YES" in step S1-3), the
一方、撮影位置が撮影禁止区域外と判定した場合(ステップS1-3において「NO」の場合)、管理サーバ20の制御部21は、被写体認識処理を実行する(ステップS1-4)。ここで、制御部21の被写体特定部213は、フレームに含まれる被写体(物)、被写体の所在位置、被写体を識別する情報(オブジェクトIDや個体識別子)等を特定する。この被写体認識処理の詳細については、後述する。
On the other hand, when it is determined that the shooting position is outside the shooting prohibited area (when "NO" in step S1-3), the
次に、管理サーバ20の制御部21は、建築総合情報記憶部への情報追加処理を実行する(ステップS1-5)。具体的には、制御部21の管理部211は、フレームにオブジェクトIDが付与された被写体が含まれている場合、このオブジェクトIDに対応する建築総合情報のオブジェクトの属性情報として、画像、撮影日時、被写体の所在位置及び状態を記録する。
Next, the
次に、位置情報を更新する管理対象があるかどうかの判定処理を実行する(ステップS1-6)。具体的には、制御部21の管理部211は、管理対象識別子が付与された被写体がフレームに含まれている場合には、更新する管理対象があると判定する。
Next, the determination process of whether or not there is a management target for updating the location information is executed (step S1-6). Specifically, the
ここで、位置情報を更新する管理対象があると判定した場合(ステップS1-6において「YES」の場合)、管理サーバ20の制御部21は、管理対象の位置情報の更新処理を実行する(ステップS1-7)。具体的には、制御部21の管理部211は、フレームにおいて特定した管理対象識別子及び個体識別子を含む最新日時の所在情報270を所在情報記憶部27において検索する。そして、管理部211は、該当する所在情報270の所在位置と、特定した所在位置とが異なっている場合には、新たな所在情報270を生成して、所在情報記憶部27に記録する。この場合、管理部211は、所在情報270に、個体識別子、管理対象識別子、所在位置、状態及び日時(撮影日時)を含める。
Here, when it is determined that there is a management target for updating the location information (when "YES" in step S1-6), the
また、管理対象識別子のみを特定した場合には、管理部211は、同じ管理対象識別子及び同じ所在位置を含む所在情報270を検索する。該当する所在情報270を抽出した場合には、その所在情報270の日時を、新たに特定した画像の撮影日時に更新する。また、該当する所在情報270を抽出しなかった場合には、新たな所在情報270を生成して、所在情報記憶部27に記録する。
Further, when only the management target identifier is specified, the
一方、位置情報を更新する管理対象がないと判定した場合(ステップS1-6において「NO」の場合)、管理サーバ20の制御部21は、ステップS1-7の処理をスキップする。
On the other hand, when it is determined that there is no management target for updating the position information (when "NO" in step S1-6), the
そして、管理サーバ20の制御部21は、現場から退場したかどうかの判定処理を実行する(ステップS1-8)。作業者が、現場から退場する場合には、移動体ユニット11に対して退場入力を行なう。この場合、移動体ユニット11の制御部14は、現場から退場と判定し、退場情報を管理サーバ20に送信する。退場情報を受信せず、現場から退場していないと判定した場合(ステップS1-8において「NO」の場合)には、管理サーバ20の制御部21は、ステップS1-1以降の処理を継続する。
Then, the
一方、退場情報を受信し、退場と判定した場合(ステップS1-8において「YES」の場合)には、制御部21の管理部211は、管理処理を終了する。
On the other hand, when the exit information is received and it is determined to exit (when "YES" in step S1-8), the
(被写体認識処理)
次に、図5を用いて、上述した被写体認識処理(ステップS1-4)について説明する。
まず、管理サーバ20の制御部21は、撮影画像について領域分割処理を実行する(ステップS2-1)。具体的には、制御部21の被写体特定部213は、公知の方法を用いて、撮影した動画の各フレーム(画像)に含まれる複数の領域を分割する。例えば、撮影画像に含まれるエッジや、画素の色相情報や彩度情報を用いて領域分割を行なう。
(Subject recognition processing)
Next, the above-mentioned subject recognition process (step S1-4) will be described with reference to FIG.
First, the
そして、管理サーバ20の制御部21は、各分割領域を順次、処理対象として特定し、次の処理を繰り返す。
管理サーバ20の制御部21は、管理対象及び状態の予測処理を実行する(ステップS2-2)。具体的には、制御部21の被写体特定部213は、各分割領域の画像を入力値とし、被写体情報記憶部25に記憶された学習済み分類モデル251を用いて、管理対象及び状態、又は材料を算出する。ここで、柱や壁、床等、ディープラーニングによって、管理対象及び状態を特定できないが、材料を特定できる場合は、材料を特定する。
Then, the
The
図6に示す画像500を取得した場合を想定する。この場合、制御部21は、画像中の輪郭線に基づいて複数の分割領域を生成する。そして、ディープラーニングによって、管理対象の種類及び状態を特定する。例えば、図6に示すように、画像の中央位置において管理対象である停止中の溶接機Mを特定する。また、ディープラーニングでは、火花が出ている際の画像(使用中の溶接機M)を用いて学習を行ない、使用状態を判定する。
It is assumed that the
次に、管理サーバ20の制御部21は、各被写体(各管理対象)を順次、処理対象として特定し、以下の処理を繰り返す。
ここでは、まず、管理サーバ20の制御部21は、所在位置及び個体情報の特定処理を実行する(ステップS2-3)。具体的には、制御部21の被写体特定部213は、画像の撮影位置及び撮影方向を用いて、この画像の被写体の所在位置を特定して、制御部21のメモリに記録する。そして、制御部21の被写体特定部213は、被写体の所在位置でこの被写体の管理対象識別子に対応するオブジェクトが建築総合情報記憶部22に記録されているか否かの判定処理を実行する。ここで、該当するオブジェクトが記録されている場合には、このオブジェクトのオブジェクトIDを特定して、制御部21のメモリに記録する。
Next, the
Here, first, the
一方、該当するオブジェクトが建築総合情報記憶部22に記録されていない場合、制御部21の被写体特定部213は、被写体の画像において、個体特定情報に対応する画像部分を検索する。画像部分に個体特定情報が含まれている場合、被写体特定部213は、個体特定情報が記録された個体認識データ255の個体識別子を特定して、制御部21のメモリに記録する。
On the other hand, when the corresponding object is not recorded in the building comprehensive
例えば、図6に示す画像500において、溶接機Mを特定した場合、画像500の溶接機Mの画像に、溶接機の個体特定情報が含まれているかを判定する。ここで、溶接機Mの画像に、個体特定情報のマーカM1を検出した場合、被写体特定部213は、この個体特定情報に対応する個体識別子を特定する。
For example, when the welding machine M is specified in the
(所在位置確認処理)
次に、図7を用いて、管理対象の所在位置を確認する処理について説明する。例えば、作業者が、これから開始する作業に使用する機器等の管理対象の所在位置を確認する場合を想定する。
(Location confirmation process)
Next, the process of confirming the location of the management target will be described with reference to FIG. 7. For example, it is assumed that the worker confirms the location of the management target such as the equipment used for the work to be started from now on.
まず、管理サーバ20の制御部21は、検索する対象情報の取得処理を実行する(ステップS3-1)。具体的には、制御部21の管理部211は、表示部17のディスプレイに、検索画面を表示する。この検索画面には、検索対象の入力欄及び検索実行ボタンが含まれている。ここで、検索対象として、個体識別子や管理対象識別子を用いることができる。作業者は、入力部16を用いて、所在位置を確認する管理対象に関する情報を、検索画面の入力欄に入力し、検索実行ボタンを選択する。
First, the
管理サーバ20の制御部21は、検索実行処理を実行する(ステップS3-2)。具体的には、制御部21の管理部211は、取得した検索対象情報に一致する個体識別子又は管理対象識別子を有する所在情報270を所在情報記憶部27において抽出する。
The
そして、管理サーバ20の制御部21は、所在位置の表示処理を実行する(ステップS3-3)。具体的には、制御部21の管理部211は、表示部17のディスプレイに、現在の建設工事の進捗状況に合わせた建築物の3次元モデルを表示させる。そして、管理部211は、この3次元モデル上において、検索対象情報に対応する管理対象の所在位置を表示する。この場合、抽出した所在情報270に状態に関する情報が記録されている場合には、管理部211は、この状態に関する情報を含めて表示する。これにより、作業者は、管理対象の所在位置を把握することができる。
Then, the
本実施形態によれば、以下のような効果を得ることができる。
(1)本実施形態では、管理サーバ20の制御部21は、被写体認識処理(ステップS1-4)において撮影画像に含まれる被写体及び被写体の所在位置を特定し、管理対象の位置情報の更新処理を実行する(ステップS1-7)。これにより、移動体ユニット11を用いて、管理対象の所在位置を効率的に把握して管理することができる。
According to this embodiment, the following effects can be obtained.
(1) In the present embodiment, the
(2)本実施形態では、管理サーバ20の制御部21は、被写体認識処理(ステップS1-4)において、管理対象の使用状態を特定し、管理対象の位置情報の更新処理を実行する(ステップS1-7)。これにより、管理対象の使用状態を効率的に把握することができる。
(2) In the present embodiment, the
(3)本実施形態では、管理サーバ20の制御部21は、管理対象及び状態の予測処理(ステップS2-2)の後、所在位置及び個体情報の特定処理(ステップS2-3)を実行する。これにより、画像から被写体(物)を特定するだけでなく、他の同じ種類の物と区別して、個体を管理することができる。
(3) In the present embodiment, the
(4)本実施形態では、移動体ユニット11には、撮影装置として機能するウェアラブル端末を用いる。この移動体ユニット11は、建設現場で移動しながら作業を行なう作業者のヘルメットH1の横に取り付けられている。これにより、作業者が作業のために移動するだけで、その周囲に位置する管理対象の所在位置を把握することができる。
(4) In the present embodiment, the
(5)本実施形態では、撮影禁止区域と判定した場合(ステップS1-3において「YES」の場合)、管理サーバ20の制御部21は、その動画を削除する。これにより、撮影禁止区域の画像を自動的に削除して保存しないようにすることができる。
(5) In the present embodiment, when it is determined that the shooting is prohibited area (when “YES” in step S1-3), the
(6)本実施形態では、管理サーバ20の制御部21は、検索する対象情報の取得処理、検索実行処理及び所在位置の表示処理を実行する(ステップS3-1~S3-3)。これにより、検索した管理対象の現在の所在位置を表示することができる。
(6) In the present embodiment, the
また、上記実施形態は、以下のように変更してもよい。
・上記実施形態においては、管理サーバ20の制御部21は、v-SLAMを用いて、画像の撮影位置及び角度を特定した。画像の撮影位置及び角度の特定は、v-SLAMを用いた処理に限定されるものではない。例えば、PDR(Pedestrian Dead Reckoning)を用いてもよい。この場合には、移動体ユニット11に、加速度センサやジャイロセンサ等を設ける。加速度センサ、移動体ユニット11に印加される加速度に関する加速度情報(加速度の方向、大きさ等)を、3軸方向で検出する。ジャイロセンサは、移動体ユニット11に印加される角速度に関する角速度情報(角速度の方向、大きさ等)を、3軸方向で検出する。そして、送信部13は、撮影した際の加速度センサ及びジャイロセンサの検出値を、画像とともに管理サーバ20に送信する。
Moreover, the above-mentioned embodiment may be changed as follows.
-In the above embodiment, the
・上記実施形態においては、管理サーバ20の制御部21が、位置推定処理(ステップS1-2)及び撮影禁止区域の判定処理(ステップS1-3)を実行した。これら処理を、移動体ユニット11において実行してもよい。この場合、移動体ユニット11の制御部14が、撮影禁止区域と判定した場合、撮影を停止してもよい。具体的には、制御部14が、撮影禁止区域と判定した場合、所定期間、撮影を停止する。
-In the above embodiment, the
また、撮影禁止区域であることを知らせるアラームを出力してもよい。このアラームにより、作業者が撮影を停止する。
そして、位置推定処理において撮影禁止区域を離脱したと判定した場合に、移動体ユニット11の制御部14は、画像の撮影や、管理サーバ20への画像の送信を再開する。
また、移動体ユニット11に、撮影装置において撮影装置に光を取り込む開口部を開閉するカバー部材(例えば、レンズカバー)を設けてもよい。そして、制御部14は、撮影禁止区域に到着したことを判定した場合には、カバーを可動させて開口部を遮蔽する。
Further, an alarm may be output to notify that the area is a shooting prohibited area. This alarm causes the operator to stop shooting.
Then, when it is determined in the position estimation process that the area has left the shooting prohibited area, the
Further, the moving
・上記実施形態においては、移動体ユニット11の撮影部12は、移動体ユニット11を取り付けたヘルメットH1を着用した作業者の前方を撮影した。撮影する方向は、前方に限らず、進行方向に対して後方や左右方向であってもよい。また、半周(180度)や全周(360度)を撮影するようにしてもよい。
-In the above embodiment, the photographing
・上記実施形態においては、溶接機やポンプ等、建設現場で用いる移動可能な機器を、管理対象として説明した。管理対象は、このような機器に限定されるものではない。例えば、高所作業車や足場等や、資材にも適用できる。更に、管理対象は、物に限られず、人物を対象としてもよい。 -In the above embodiment, movable equipment used at a construction site, such as a welding machine and a pump, has been described as a management target. The management target is not limited to such devices. For example, it can be applied to aerial work platforms, scaffolding, and materials. Further, the management target is not limited to the thing, and may be a person.
・上記実施形態においては、管理サーバ20の制御部21は、管理対象の所在位置を特定し、この管理対象の管理を行なった。これに加えて、移動体ユニット11を取り付けたヘルメットH1を着用した作業者の所在位置(現在地)を管理してもよい。この場合、制御部21に、作業者を特定するための作業者識別テーブルを記憶しておく。更に、管理サーバ20は、作業者の所在位置を記憶する作業者情報記憶部を備える。この作業者識別テーブルには、移動体ユニット11を特定する撮影装置識別情報と、作業者を特定する作業者識別情報とを関連付けておく。この作業者は、作業者識別テーブルにおいて対応付けられた撮影装置識別情報の移動体ユニット11を取り付けたヘルメットH1を使用する。管理サーバ20は、画像の撮影位置を特定した場合、この画像とともに取得した撮影装置識別情報に対応する作業者識別子を、作業者識別テーブルを用いて特定する。そして、特定した撮影位置を、この作業者識別子に関連付けて、作業者情報記憶部に記憶する。これにより、管理対象だけでなく、画像を撮影した作業者の所在位置も併せて管理することができる。
-In the above embodiment, the
・上記実施形態においては、移動体ユニット11を、ヘルメットH1と別体として説明した。これに限らず、移動体ユニット11の全てのデバイスがヘルメットH1と一体化したスマートヘルメットを用いてもよい。
-In the above embodiment, the
・上記実施形態の管理対象及び状態の予測処理(ステップS2-2)においては、管理サーバ20の制御部21は、画像を用いて使用状態を特定した。使用状態の特定方法は、画像を用いる場合に限らない。例えば、動画に含まれている音等のように、画像に付随する情報を用いて、管理対象の使用状態を判定することも可能である。この場合、制御部21は、管理対象の使用時に発生する音を、ディープラーニングを使用して判定する。この場合には、発生音の周波数特性を用いて、管理対象の状態を学習する。
-In the management target and state prediction process (step S2-2) of the above embodiment, the
・上記実施形態においては、管理サーバ20の制御部21は、移動体ユニット11から取得した画像に基づいて、管理対象の所在位置を特定した。これに加えて、長期間、所在位置が確認されていない管理対象についての警告を表示部17に出力するようにしてもよい。具体的には、制御部21に、未確認期間を保持させておく。そして、制御部21は、定期的に、現在日時から未確認期間分前の最終確認基準日時を算出する。更に、制御部21は、所在情報記憶部27を用いて個体識別子毎に、最後に所在を確認した日時(所在確認日時)を特定する。そして、制御部21は、最終確認基準日時以降の所在確認日時が記録されていない個体識別子を検索する。最終確認基準日時以降の所在確認日時が記録されていない個体識別子を抽出した場合には、制御部21は、この所在情報270の個体識別子を表示部に表示する。これにより、長期間、所在位置が確認できず使用されていない管理対象について、管理の見直しを促すことができる。
-In the above embodiment, the
・上記実施形態の被写体認識処理において、制御部21の被写体特定部213は、撮影画像について領域分割処理(ステップS2-1)を実行し、この分割領域毎に、管理対象及び状態の予測処理(ステップS2-2)を実行した。管理対象及び状態の予測処理は、領域分割毎に行なう場合に限らず、物体検出による領域抽出によって行ってもよい。
また、管理対象及び状態の予測処理は、ディープラーニングを用いて実行した。管理対象及び状態の予測処理は、画像を用いて特定できれば、公知のSIFT(Scale-Invariant Feature Transform)法等を用いて実行してもよい。
In the subject recognition process of the above embodiment, the
In addition, the management target and state prediction processing was executed using deep learning. The management target and state prediction processing may be executed by using a known SIFT (Scale-Invariant Feature Transform) method or the like if it can be specified by using an image.
・上記実施形態においては、制御部21は、画像から撮影位置を特定した。画像の撮影位置を特定する撮影位置情報は、画像情報に限らず、例えば、全地球測位システム(GPS:Global Positioning System)等の情報を用いてもよい。
-In the above embodiment, the
・上記実施形態においては、管理サーバ20の制御部21は、撮影された動画を、移動体ユニット11から取得した。制御部21が管理対象を管理するために用いる画像は、動画に限られず、所定の時間間隔で撮影した静止画を用いることができる。
-In the above embodiment, the
M…溶接機、H1…ヘルメット、M1…マーカ、10…管理システム、11…移動体ユニット、12…撮影部、13…送信部、14,21…制御部、16…入力部、17…表示部、20…管理サーバ、22…建築総合情報記憶部、23…特徴点情報記憶部、24…禁止区域情報記憶部、25…被写体情報記憶部、26…動画情報記憶部、27…所在情報記憶部、211…管理部、212…位置特定部、213…被写体特定部、251…学習済み分類モデル、252…教師データ、255…個体認識データ、260…動画管理情報、270…所在情報、500…画像。 M ... Welder, H1 ... Helmet, M1 ... Marker, 10 ... Management system, 11 ... Mobile unit, 12 ... Shooting unit, 13 ... Transmitter, 14, 21 ... Control unit, 16 ... Input unit, 17 ... Display unit , 20 ... management server, 22 ... building comprehensive information storage unit, 23 ... feature point information storage unit, 24 ... prohibited area information storage unit, 25 ... subject information storage unit, 26 ... video information storage unit, 27 ... location information storage unit , 211 ... Management unit, 212 ... Position identification unit, 213 ... Subject identification unit, 251 ... Learned classification model, 252 ... Teacher data, 255 ... Individual recognition data, 260 ... Video management information, 270 ... Location information, 500 ... Image ..
Claims (6)
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムであって、
前記制御部は、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録することを特徴とする管理システム。 A management information storage unit that stores the management target identification information that identifies the management target in association with the location information of the management target, and
It is a management system equipped with a control unit that acquires images from a photographing device attached to a moving body.
The control unit
In the image captured by the photographing device , the feature points captured in the image at the moved position are searched for and specified, and the positions of the feature points are used to capture the shooting position and the shooting angle of the captured image. Identify and
Using the specified shooting position and shooting angle, the location of the management target included in the image is specified.
A management system characterized in that the location is recorded in the management information storage unit in association with the management target identification information of the management target.
前記管理対象識別情報及び前記所在位置に関連付けて、前記使用状態を前記管理情報記憶部に記録することを特徴とする請求項1に記載の管理システム。 The control unit identifies the usage state of the management target based on the image, and determines the usage state of the management target.
The management system according to claim 1, wherein the usage state is recorded in the management information storage unit in association with the management target identification information and the location.
前記制御部は、前記画像を撮影した撮影位置を、前記移動体の所在位置として特定し、前記移動体の所在位置を前記移動体情報記憶部に記録し、前記移動体の所在位置が撮影禁止領域に含まれる場合には、前記撮影装置は撮影を停止又は前記撮影禁止領域において撮影した画像を削除することを特徴とする請求項1又は2に記載の管理システム。 Further equipped with a mobile information storage unit for recording the location position of the mobile body, the mobile body information storage unit is further provided.
The control unit identifies the shooting position where the image was taken as the location position of the moving body, records the location position of the moving body in the moving body information storage unit, and shoots the location position of the moving body. The management system according to claim 1 or 2 , wherein when the image is included in the prohibited area, the photographing device stops photographing or deletes an image captured in the prohibited area .
前記制御部は、 The control unit
前記管理対象の管理対象識別情報に関連付けて、前記所在位置及び所在確認日時を前記管理情報記憶部に記録し、 The location and location confirmation date and time are recorded in the management information storage unit in association with the management target identification information of the management target.
現在日時から未確認期間分前となる最終確認基準日時以降の所在確認日時が前記管理情 The location confirmation date and time after the final confirmation reference date and time, which is the unconfirmed period before the current date and time, is the above-mentioned management information.
報記憶部に記録されていない前記管理対象を抽出した場合には、前記管理対象についての警告を出力することを特徴とする請求項1~3の何れか1項に記載の管理システム。The management system according to any one of claims 1 to 3, wherein when the management target that is not recorded in the information storage unit is extracted, a warning about the management target is output.
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムを用いて、前記管理対象を管理する管理方法であって、
前記制御部は、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録することを特徴とする管理方法。 A management information storage unit that stores the management target identification information that identifies the management target in association with the location information of the management target, and
It is a management method for managing the management target by using a management system including a control unit for acquiring an image from a photographing device attached to a moving body.
The control unit
In the image captured by the photographing device , the feature points captured in the image at the moved position are searched for and specified, and the positions of the feature points are used to capture the shooting position and the shooting angle of the captured image. Identify and
Using the specified shooting position and shooting angle, the location of the management target included in the image is specified.
A management method characterized in that the location is recorded in the management information storage unit in association with the management target identification information of the management target.
移動体に取り付けた撮影装置からの画像を取得する制御部とを備えた管理システムを用いて、前記管理対象を管理する管理プログラムであって、
前記制御部を、
前記撮影装置によって撮影された画像内において、移動した位置での画像内に写った特徴点を検索して特定し、前記特徴点の位置を用いて、前記撮影された画像の撮影位置及び撮影角度を特定し、
前記特定した撮影位置及び撮影角度を用いて、前記画像に含まれる管理対象の所在位置を特定し、
前記管理対象の管理対象識別情報に関連付けて、前記所在位置を前記管理情報記憶部に記録する手段として機能させることを特徴とする管理プログラム。 A management information storage unit that stores the management target identification information that identifies the management target in association with the location information of the management target, and
It is a management program that manages the management target by using a management system provided with a control unit that acquires an image from a photographing device attached to a moving body.
The control unit
In the image captured by the photographing device , the feature points captured in the image at the moved position are searched for and specified, and the positions of the feature points are used to capture the shooting position and the shooting angle of the captured image. Identify and
Using the specified shooting position and shooting angle, the location of the management target included in the image is specified.
A management program characterized in that it functions as a means for recording the location of the management target in the management information storage unit in association with the management target identification information of the management target.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007861A JP7004131B2 (en) | 2017-01-19 | 2017-01-19 | Management system, management method and management program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017007861A JP7004131B2 (en) | 2017-01-19 | 2017-01-19 | Management system, management method and management program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018116571A JP2018116571A (en) | 2018-07-26 |
JP7004131B2 true JP7004131B2 (en) | 2022-01-21 |
Family
ID=62984262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017007861A Active JP7004131B2 (en) | 2017-01-19 | 2017-01-19 | Management system, management method and management program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7004131B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7240573B2 (en) * | 2019-03-15 | 2023-03-16 | ダイダン株式会社 | Construction support system and construction support device |
JP7000513B1 (en) | 2020-08-07 | 2022-01-19 | 株式会社インフォマティクス | Structure management business support system |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005216137A (en) | 2004-01-30 | 2005-08-11 | Chugoku Electric Power Co Inc:The | Maintenance support system and method |
JP2006092017A (en) | 2004-09-21 | 2006-04-06 | Komatsu Ltd | Mobile machine management system |
JP2009163578A (en) | 2008-01-08 | 2009-07-23 | Nomura Research Institute Ltd | Data center monitoring apparatus |
JP2012088907A (en) | 2010-10-19 | 2012-05-10 | Tokyo Electric Power Co Inc:The | Facility maintenance information management device and facility maintenance information management system |
JP2012180191A (en) | 2011-03-02 | 2012-09-20 | Hitachi-Ge Nuclear Energy Ltd | Method and device for supporting plant construction |
JP2015102880A (en) | 2013-11-21 | 2015-06-04 | 三菱電機株式会社 | Work support system |
JP2015106356A (en) | 2013-12-02 | 2015-06-08 | 株式会社日立製作所 | Maintenance system of facility apparatus |
-
2017
- 2017-01-19 JP JP2017007861A patent/JP7004131B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005216137A (en) | 2004-01-30 | 2005-08-11 | Chugoku Electric Power Co Inc:The | Maintenance support system and method |
JP2006092017A (en) | 2004-09-21 | 2006-04-06 | Komatsu Ltd | Mobile machine management system |
US20080071470A1 (en) | 2004-09-21 | 2008-03-20 | Komatsu Ltd. | Management System for Moving Machine |
JP2009163578A (en) | 2008-01-08 | 2009-07-23 | Nomura Research Institute Ltd | Data center monitoring apparatus |
JP2012088907A (en) | 2010-10-19 | 2012-05-10 | Tokyo Electric Power Co Inc:The | Facility maintenance information management device and facility maintenance information management system |
JP2012180191A (en) | 2011-03-02 | 2012-09-20 | Hitachi-Ge Nuclear Energy Ltd | Method and device for supporting plant construction |
JP2015102880A (en) | 2013-11-21 | 2015-06-04 | 三菱電機株式会社 | Work support system |
JP2015106356A (en) | 2013-12-02 | 2015-06-08 | 株式会社日立製作所 | Maintenance system of facility apparatus |
Also Published As
Publication number | Publication date |
---|---|
JP2018116571A (en) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7095953B2 (en) | Image management system, image management method, and image management program | |
US9911226B2 (en) | Method for cleaning or processing a room by means of an autonomously mobile device | |
KR102092392B1 (en) | Method and system for automatically collecting and updating information about point of interest in real space | |
JP6904421B2 (en) | Store equipment, store management methods, programs | |
CN105825498B (en) | Measurement data processing device, measurement data processing method, and program | |
US20150103178A1 (en) | Surveillance camera control device and video surveillance system | |
KR102096926B1 (en) | Method and system for detecting change point of interest | |
JP2013131159A (en) | Area monitoring system | |
JP6503079B2 (en) | Specific person detection system, specific person detection method and detection device | |
JP2022042146A (en) | Data processor, data processing method, and data processing program | |
US10783376B2 (en) | Information processing apparatus | |
US11227007B2 (en) | System, method, and computer-readable medium for managing image | |
JP2018163556A (en) | Work management device, work management method, and program | |
JP7004131B2 (en) | Management system, management method and management program | |
KR102189926B1 (en) | Method and system for detecting change point of interest | |
JP2018185240A (en) | Position specifying device | |
JP2004338889A (en) | Image recognition device | |
JP2021035002A (en) | Image specification system and image specification method | |
JP2015230616A (en) | Image processing method and image processor | |
JPH11339139A (en) | Monitoring device | |
US11216969B2 (en) | System, method, and computer-readable medium for managing position of target | |
JPWO2018146959A1 (en) | System, information processing apparatus, information processing method, program, and recording medium | |
JP2018124980A (en) | Self-propelling type moving body and movement control method for moving body | |
JP2019009562A (en) | Monitoring image display system, monitoring image display device, monitoring information management server, and monitoring image display method | |
JP7562398B2 (en) | Location Management System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200923 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210709 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7004131 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |