JP7450794B1 - 通路監視制御方法、装置、デバイス、記憶媒体及びプログラム - Google Patents

Abstract

【課題】巻糸パッケージ生産作業場における通路監視制御方法を提供する。【解決手段】方法は、巻糸パッケージ生産作業場において巻糸パッケージを搬送するために使用する必要があるＡＧＶの車体周辺領域内で収集された走査データを取得することと、複数のカメラのうちの１つにより、複数の監視制御対象通路のうちのいずれかの監視制御対象通路の少なくとも一部の領域に対してビデオ収集を行うことと、車体収集アセンブリによって収集された走査データ及び／又はカメラによって収集されたビデオデータに基づいて目標体が存在すると判定した場合、目標体が位置する目標通路を取得することと、目標体が位置する目標通路の目標予警報情報を生成することと、を含む。【選択図】図１

Description

本開示は、データ処理技術分野に関し、特に通路監視制御方法、装置、デバイス、記憶媒体及びプログラムに関する。

巻糸パッケージ生産作業場において、無人搬送車（Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ、ＡＧＶ）は重要な輸送手段であり、一般的に、無人搬送車両は所定の経路に従って走行し、該経路に作業員が現れると、安全事故、ひいては人員の死傷を引き起こす恐れがあり、従って、上記問題を効果的に解決するため、効果的な監視制御方法が必要となる。

本開示は、従来技術における１つ又は複数の技術的問題を解決又は緩和するために、通路監視制御方法、装置、デバイス、記憶媒体及びプログラムを提供する。

第１態様では、本開示は通路監視制御方法を提供し、当該方法は、
無人搬送車ＡＧＶの車体収集アセンブリによって車体周辺領域内で収集された走査データを取得することであって、前記ＡＧＶは複数のＡＧＶのうちの１つであり、前記複数のＡＧＶにおけるＡＧＶは複数の監視制御対象通路のうちのいずれかの監視制御対象通路を走行し、前記複数の監視制御対象通路は巻糸パッケージ生産作業場において巻糸パッケージを搬送するために使用する必要がある複数の通路であり、前記車体周辺領域は前記ＡＧＶが走行する監視制御対象通路の少なくとも一部の領域を含む、ことと、
カメラによってビデオ収集領域内で収集されたビデオデータを取得することであって、前記カメラは、複数のカメラのうちの１つであり、前記複数の監視制御対象通路のうちのいずれかの監視制御対象通路の少なくとも一部の領域に対してビデオ収集を行うことに用いられ、前記ビデオ収集領域は前記カメラが収集可能な監視制御対象通路の少なくとも一部の領域を含む、ことと、
前記車体収集アセンブリによって収集された走査データ及び／又は前記カメラによって収集されたビデオデータに基づいて目標体が存在すると判定した場合、前記目標体が位置する目標通路を取得し、前記目標通路は前記複数の監視制御対象通路のうちの１つである、ことと、
前記目標体が位置する目標通路の目標予警報情報を生成することと、を含む。

第２態様では、本開示は通路監視制御装置を提供し、当該装置は、
無人搬送車ＡＧＶの車体収集アセンブリによって車体周辺領域内で収集された走査データを取得し、カメラによってビデオ収集領域内で収集されたビデオデータを取得するための取得ユニットであって、前記ＡＧＶは複数のＡＧＶのうちの１つであり、前記複数のＡＧＶにおけるＡＧＶは複数の監視制御対象通路のうちのいずれかの監視制御対象通路を走行し、前記複数の監視制御対象通路は巻糸パッケージ生産作業場において巻糸パッケージを搬送するために使用する必要がある複数の通路であり、前記車体周辺領域は前記ＡＧＶが走行する監視制御対象通路の少なくとも一部の領域を含み、前記カメラは、複数のカメラのうちの１つであり、前記複数の監視制御対象通路のうちのいずれかの監視制御対象通路の少なくとも一部の領域に対してビデオ収集を行うことに用いられ、前記ビデオ収集領域は前記カメラが収集可能な監視制御対象通路の少なくとも一部の領域を含む、取得ユニットと、
前記車体収集アセンブリによって収集された走査データ及び／又は前記カメラによって収集されたビデオデータに基づいて目標体が存在すると判定した場合、前記複数の監視制御対象通路のうちの１つであって、前記目標体が位置する目標通路を取得し、前記目標体が位置する目標通路の目標予警報情報を生成するための処理ユニットと、を備える。

第３態様では、本開示は電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
該メモリには、該少なくとも１つのプロセッサで実行可能な命令が記憶され、該命令は、該少なくとも１つのプロセッサによって実行されると、本開示の実施例におけるいずれか１つの方法を実行させる。

第４態様では、本開示の実施例におけるいずれか１つの方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一時的コンピュータ可読記憶媒体を提供する。
第５態様では、プロセッサにより実行されると、本開示の実施例におけるいずれか１つの方法を実現するためのプログラムを提供する。

このように、本開示の方案によれば、取得された走査データ及び／又はビデオデータを検出することができ、これにより、予警報情報への応答効率を効果的に向上させると共に、異なる粒度の監視制御データによって、トラブルシューティングの効率を効果的に向上させるための基礎を築く。

ここに記載された内容は、本開示の実施例のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して理解を促す。

添付の図面において、別段説明がない限り、複数の図面を通して同一の番号は同一又は類似の部品又は要素を表す。これらの添付図面は、必ずしも縮尺通りに描かれていない。これらの図面は、本開示により提供されるいくつかの実施形態のみを示し、本開示の範囲を限定するものと見なされるべきではないことを理解されたい。
本開示の一実施例による通路監視制御方法の概略フローチャートその一である。 本開示の一実施例による第１検出モデルの構成を示す概略図である。 本開示の一実施例による２つの緻密層を含む第４ネットワーク層の構成を示す概略図である。 本開示の一実施例による第２検出モデルの構成を示す概略図である。 本開示の一実施例による通路監視制御装置の構成を示す概略図である。 本開示の実施例による通路監視制御方法の電子デバイスのブロック図である。

以下、添付の図面を参照して本開示についてさらに詳細に説明する。添付の図面において、同一の参照番号は、機能的に同一又は類似の要素を表す。また、添付の図面において、実施形態の様々な態様が示されているが、別段説明がない限り、これらの添付の図面は、必ずしも縮尺通りに描かれていない。

さらに、本開示をよりよく説明するために、以下の具体的な実施形態にて多くの具体的な詳細を記載されている。当業者は、本開示が特定の詳細がなくても同様に実施され得ることを理解すべきである。いくつかの実施例では、本開示の主旨を不明瞭とならないように、当業者によく知られている方法、手段、構成要素、及び回路などは詳細に説明されていない。
現在、巻糸パッケージ生産作業場において、生産された巻糸パッケージは一般的に無人搬送車（Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ、ＡＧＶ）によって指定された位置に搬送されるが、ＡＧＶを使用する巻糸パッケージ生産作業場において、人と車両が混在して走行することがあり、特に通路が狭い場合、衝突事故が発生する恐れがあり、ＡＧＶの破損をもたらし、ひいては人員の死傷を引き起こすことがある。従って、ＡＧＶの損傷を減少させ且つ人員の傷害を効果的に回避するために、リアルタイムで効率的な監視制御方法が必要である。

これに基づき、本開示の方案は通路監視制御方法を提供し、それによりＡＧＶが走行しようとする複数の通路をリアルタイム且つ効率的に監視制御する。

具体的には、図１は本出願の一実施例による通路監視制御方法の概略フローチャートその一である。この方法は、任意選択で、パーソナルコンピュータ、サーバ、サーバクラスタなどの電子デバイスに適用される。この方法は、少なくとも以下の内容の少なくとも一部を含む。図１に示すように、以下を含む。

ステップＳ１０１において、ＡＧＶの車体収集アセンブリによって車体周辺領域内で収集された走査データを取得する。

ここで、前記ＡＧＶは複数のＡＧＶのうちの１つであり、前記複数のＡＧＶにおけるＡＧＶは複数の監視制御対象通路のうちのいずれかの監視制御対象通路を走行する。前記複数の監視制御対象通路は巻糸パッケージ生産作業場において巻糸パッケージを搬送するために使用する必要がある複数の通路であり、前記車体周辺領域は前記ＡＧＶが走行する監視制御対象通路の少なくとも一部の領域を含む。

一例では、ＡＧＶの先頭に車体収集アセンブリ（例えば、レーザレーダ）が設けられる。さらに、前記ＡＧＶの車尾に車体収集アセンブリ（例えば、レーザレーダ）が設けられてもよく、このように、監視制御対象通路におけるＡＧＶは常に走行進行方向においてデータを収集することができる。

ステップＳ１０２において、カメラによってビデオ収集領域内で収集されたビデオデータを取得する。

ここで、前記カメラは複数のカメラのうちの１つであり、前記カメラは前記複数の監視制御対象通路のうちのいずれかの監視制御対象通路の少なくとも一部の領域に対してビデオ収集を行うことに用いられ、前記ビデオ収集領域は前記カメラが収集可能な監視制御対象通路の少なくとも一部の領域を含む。

理解すべきことは、同一の監視制御対象通路に少なくとも１つのカメラを設置することができ、監視制御対象通路を監視制御することに用いられる。さらに、同一の監視制御対象通路に２つ又は２つ以上のカメラが設置された場合、異なるカメラのビデオ収集領域は異なってもよく、監視制御対象通路を監視制御できればよく、本開示の方案はカメラが設置される具体的な位置を限定しない。さらに、異なる監視制御対象通路に設置されるカメラの数は、同じであってもよく、異なっていてもよく、本開示の方案ではこれを限定しない。

ステップＳ１０３において、前記車体収集アセンブリによって収集された走査データ及び／又は前記カメラによって収集されたビデオデータに基づいて目標体が存在すると判定した場合、前記目標体が位置する目標通路を取得する。

ここで、前記目標通路は複数の監視制御対象通路のうちの１つである。

理解すべきことは、本開示の方案は前記車体収集アセンブリによって収集された走査データに基づいて目標体が存在すると判定した場合、前記目標体が位置する目標通路を取得することができ、あるいは、前記カメラによって収集されたビデオデータに基づいて目標体が存在すると判定した場合、前記目標体が位置する目標通路を取得することができ、あるいは、前記車体収集アセンブリによって収集された走査データ及び前記カメラによって収集されたビデオデータに基づいて目標体が存在すると判定した場合、前記目標体が位置する目標通路を取得することができる。

一例では、前記目標体は、具体的には人、作業を停止しているＡＧＶの少なくとも１つを含むことができるがこれらに限定されない。

ステップＳ１０４において、前記目標体が位置する目標通路の目標予警報情報を生成する。

一例では、前記目標予警報情報は予め設定された予警報信号を含み、例えば、予警報オーディオ（例えば、予め設定された放送）、予警報信号灯、予警報電話などであり、本開示の方案はこれを限定しない。

したがって、本開示の方案は、取得された走査データ及び／又はビデオデータに基いて、目標体が存在するか否かを検出することができ、それにより目標体が位置する目標通路を迅速に測位し、さらに目標通路に対する目標予警報情報を生成し、このように、予警報情報への応答効率を効果的に向上させると共に、異なる粒度の監視制御データによって、トラブルシューティングの効率を効果的に向上させるための基礎を築く。

さらに、巻糸パッケージ生産の応用シシナリオにおいて、本開示の方案は生成された予警報情報に基づき、作業員に迅速に通知することができ、それによりタイムリーに回避し又は危険排除を行うことができ、このように、ＡＧＶや生産装置の損傷を効果的に減少させると共に人員の傷害を効果的に回避するための技術的サポートを提供し、さらに作業場の正常作動を最大限に確保し、作業場の安全性を向上させるための技術的サポートを提供する。

本開示の方案の１つの具体的な例において、以下の方式を用いて前記目標体が位置する目標通路の目標予警報情報を得ることができる。具体的には、以上に記載の前記車体収集アセンブリによって収集された走査データ及び／又は前記カメラによって収集されたビデオデータに基づいて目標体が存在すると判定した場合、前記目標体が位置する目標通路を取得し、前記目標体が位置する目標通路の目標予警報情報を生成すること（即ち以上に記載のステップＳ１０３）は、具体的には以下のいずれか１つを含む。
方式１において、前記車体収集アセンブリによって収集された走査データに基づいて、走査データに目標体が存在すると判定した場合、走査データにおいて目標体が位置する目標通路を取得し、走査データにおいて目標体が位置する目標通路の走査予警報情報を生成する。
理解すべきことは、方式１において、ＡＧＶの車体収集アセンブリによって収集された走査データを検出することができ、それにより目標体が存在するか否かを判定し、且つ目標体が存在すると判定した場合、走査データにおいて目標体が位置する目標通路を取得し、この時、走査データにおいて目標体が位置する目標通路の走査予警報情報を直接生成する。

方式２において、前記カメラによって収集されたビデオデータに基づいて、ビデオデータに目標体が存在すると判定した場合、ビデオデータにおいて目標体が位置する目標通路を取得し、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成する。
理解すべきことは、方式２において、カメラによってビデオ収集領域内で収集されたビデオデータを検出することができ、それにより目標体が存在するか否かを判定し、且つ目標体が存在すると判定した場合、ビデオデータにおいて目標体が位置する目標通路を取得し、この時、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を直接生成する。
なお、以上の前記走査データに存在する「目標体」と、前記ビデオデータに存在する「目標体」とは同一の「目標体」であってもよく、異なる２つの「目標体」であってもよく、本開示の方案ではこれを限定しない。
方式３において、前記車体収集アセンブリによって収集された走査データに基づいて、走査データに目標体が存在すると判定した場合、走査データにおいて目標体が位置する目標通路を取得し、前記カメラによって収集されたビデオデータに基づいて、ビデオデータに目標体が存在すると判定した場合、ビデオデータにおいて目標体が位置する目標通路を取得し、走査データにより取得された目標体が位置する目標通路と、前記ビデオデータにより取得された目標体が位置する目標通路とは同じであると判定した場合、目標通路に対する混合予警報情報を生成する。

つまり、方式３において、走査データに目標体が存在すると判定した場合、予警報情報を直接生成せず、また、ビデオデータに目標体が存在すると判定した場合も、予警報情報を直接生成せず、該走査データにおいて目標体が位置する目標通路が、該ビデオデータにおいて目標体が位置する目標通路と同じであるか否かをさらに判定するようにし、さらに、走査データにおいて目標体が位置する目標通路が、該ビデオデータにおいて目標体が位置する目標通路と同じである場合に、混合予警報情報を生成する。あるいは、走査データにおいて目標体が位置する目標通路が、該ビデオデータにおいて目標体が位置する目標通路と異なる場合、走査データに対して、走査データにおいて目標体が位置する目標通路の走査予警報情報を生成し、ビデオデータに対して、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成することができる。

例えば、一例では、車体収集アセンブリによって収集された走査データを検出し、走査データに作業員甲が存在することが判定され、さらに作業員甲が位置する目標通路が取得され、また、カメラによってビデオ収集領域内で収集されたビデオデータを検出し、ビデオデータにも作業員甲が存在することが判定され、さらに作業員甲が位置する目標通路が取得された場合、この時、車体収集アセンブリによって収集された領域及びカメラによって収集された領域はいずれも同一の監視制御対象通路に対応していること、即ち両者の目標通路は同一であることを示し、これに基づき、目標通路に対する混合予警報情報を生成する。

あるいは、別の例では、車体収集アセンブリによって収集された走査データを検出し、走査データに作業員甲が存在すると判定され、さらに作業員甲が位置する目標通路が取得され、また、カメラによってビデオ収集領域内で収集されたビデオデータを検出し、ビデオデータに作業員乙が存在すると判定され、さらに作業員乙が位置する目標通路が取得された場合、この時、両者の目標通路が同じである、すなわち同じ通路に属している場合、同じ目標通路内に作業員甲と作業員乙が同時に存在していると判定することができ、この時、目標通路に対する混合予警報情報を生成する。

また、別の例では、車体収集アセンブリによって収集された走査データを検出し、走査データに作業員甲が存在すると判定され、さらに作業員甲が位置する目標通路が取得され、また、カメラによってビデオ収集領域内で収集されたビデオデータを検出し、ビデオデータに作業員乙が存在すると判定され、さらに作業員乙が位置する目標通路が取得された場合、この時、両者の目標通路が異なる場合、２つの異なる目標通路において、いずれも作業員が存在すると判定することができ、この時、各目標通路に対して各々の予警報情報を生成し、例えば、走査データに対して、走査データにおいて目標体が位置する目標通路の走査予警報情報を生成し、ビデオデータに対して、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成する。

なお、実際の応用において、異なるシナリオのニーズに応じて、以上の三つの方式のうちのいずれか１つを選択して予警報情報を生成することができ、又はそのうちの２つを選択してもよく、３つのすべてを選択してもよく、本開示の方案ではこれを限定しない。

本開示の方案の１つの具体的な例において、前記混合予警報情報、走査予警報情報、及びビデオ予警報情報は、三者の優先度が次第に低くなる。

すなわち、この例では、前記混合予警報情報の優先度は走査予警報情報よりも高く、前記走査予警報情報はビデオ予警報情報よりも高い。

理解すべきことは、異なる優先度の予警報情報は異なってもよく、このようにすることで、作業員が現在の予警報情報の優先度を明確に区別しやすく、それによって監視制御の粒度をさらに改善することができる。

さらに、以上に記載の優先度に基づき、異なる処理措置を設定することができる。例えば、方式３で生成された混合予警報情報は、最高レベルの危険に属しており、この時、混合予警報情報を生成すると共に、さらに目標通路を走行しているＡＧＶを遠隔制御する最高レベルの制御コマンドを生成することができ、該最高レベルの制御コマンドはＡＧＶに現在の動作状態を調整するように制御することに用いられ、例えば、現在の正常動作状態から一時停止状態に調整し、且つ予め設定された時間で停止した後、正常動作状態に回復し、あるいは、目標体を回避するように、現在の計画経路を調整する等である。

また、例えば、方式１で生成された走査予警報情報は、次高レベルの危険に属しており、この時、走査予警報情報を生成すると共に、さらに目標通路が走行しているＡＧＶを遠隔制御する次高レベルの制御コマンドを生成することができ、該次高レベルの制御コマンドはＡＧＶに現在の走行速度を調整するように制御することに用いられ、例えば、減速処理等である。また、例えば、方式２で生成されたビデオ予警報情報は、一般的なレベルの危険に属しており、この時、ビデオ予警報情報のみを生成し、作業員に提示する。

このように、異なる予警報状況に対して、相応する応急措置を行うことができ、監視制御の粒度を大幅に改善し、作業場の正常作動を最大限に確保し、作業場での作業の安全性を向上させるための基礎を築く。

本開示の方案の１つの具体的な例において、走査データを取得した後、以下の方式を用いて走査データに目標体が存在するか否かを判定することができ、具体的なプロセスは以下を含む。

前記車体収集アセンブリによって収集された走査データに含まれる走査画像を第１検出モデルに入力して、第１検出結果を得る。ここで、前記第１検出モデルは画像に目標体の少なくとも一部の局所特徴が存在するか否かを識別することに用いられ、前記第１検出結果は走査データに含まれる走査画像に目標体が存在するか否かを表す。

理解すべきことは、走査データに含まれる走査画像は目標体の少なくとも一部の局所特徴を含む可能性があり、例えば作業員の肢体部位である。この時、第１検出モデルを用いて走査画像を識別して、目標体の少なくとも一部の局所特徴が存在するか否かを判定し、さらに走査データに含まれる走査画像に目標体が存在するか否かを判定する。

さらに、１つの具体的な例において、以下の方式を用いて第１検出結果を得ることができる。具体的には、前記車体収集アセンブリによって収集された走査データに含まれる走査画像を第１検出モデルに入力して、第１検出結果を得ることは、具体的には以下を含む。
ステップ１－１において、走査画像におけるエッジ領域を除去し、走査画像におけるコア領域に対応するサブ画像を得るように、前記車体収集アセンブリによって収集された走査データに含まれる走査画像に対して前処理を行う。

例えば、走査画像におけるエッジ領域を除去し、走査画像において通路が位置する領域（即ちコア領域）を保留し、さらに走査画像における通路の領域（即ちコア領域）に対応するサブ画像を得、このように、後続の第１検出モデルを用いて画像識別を行う識別処理の効率を効果的に向上させ、更にモデルの処理効率を向上させる。

理解すべきことは、上述の前処理は、走査データに含まれる走査画像に対して画像スケーリング処理、画像中の画素値の正規化処理などを実行することをさらに含み得る。
ステップ１－２において、走査画像におけるコア領域に対応するサブ画像を第１検出モデルに入力して、第１検出結果を得る。
ここで、前記第１検出モデルは、走査画像におけるコア領域に対応するサブ画像に対して特徴抽出を行って、コア領域の特徴マップを得、コア領域の特徴マップに目標体の少なくとも一部の局所特徴が存在するか否かを検出することに用いられる。
さらに、１つの具体的な例において、前記第１検出モデルは少なくとも第１ネットワーク層、第２ネットワーク層、及び第３ネットワーク層を含む。

ここで、前記第１ネットワーク層は、サブ画像に対応する少なくとも１つの特徴マップを得るように、コア領域に対応するサブ画像に対して特徴抽出を行うことに用いられ、ここで、少なくとも１つの特徴マップにおける特徴マップの数は、特徴マップの特徴ブロックのサイズと負の相関がある。さらに、一例では、前記第１ネットワーク層はサブ画像に対して特徴抽出を行う過程において、抽出された特徴マップの特徴ブロックのサイズを低下させることができ、例えばプリセット値まで低下させ、それにより特徴マップの数を増加させ、このように、モデルの複雑度を保証する前提で、豊富な特徴情報を得、さらにモデル識別結果の精度を向上させる。
さらに、前記第２ネットワーク層は、サブ画像に対応する少なくとも１つの特徴マップに基づいて、目標体の少なくとも一部の局所特徴が存在するか否かを予測し、確率値を得ることに用いられる。例えば、０より大きく１より小さい具体的な値が得られる。
さらに、前記第３ネットワーク層は、前記第２ネットワーク層によって得られた確率値を処理し、第１値又は第２値を得、前記第１検出結果は前記第１値又は第２値であり、前記第１値は、目標体の少なくとも一部の局所特徴が存在することを表すことに用いられ、前記第２値は、目標体の少なくとも一部の局所特徴が存在しないことを表すことに用いられる。

例えば、一例では、以上に記載の第１ネットワーク層は深さ残差ネットワーク（Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｎｅｔｗｏｒｋ、ＲｅｓＮｅｔ）層であってもよく、さらに、以上に記載の第２ネットワーク層は多層パーセプトロン（ＭｕｌｔｉＬａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ、ＭＬＰ）層であってもよく、さらに、前記第３ネットワーク層は非線形活性化層であってもよく、例えばＳ字型曲線（Ｓｉｇｍｏｉｄ）関数層であり、図２に示すように、まず、走査画像におけるコア領域に対応するサブ画像を第１検出モデルにおけるＲｅｓＮｅｔ層に入力して、サブ画像に対応する少なくとも１つの特徴マップを得、次に、前記サブ画像に対応する少なくとも１つの特徴マップをＭＬＰ層に入力して、サブ画像に目標体の少なくとも一部の局所特徴が存在する確率値を予測し、最後に、予測して得られた確率値をＳｉｇｍｏｉｄ層に入力して、出力結果を得、例えば第１値又は第２値であり、さらに、出力結果が第１値である場合、前記サブ画像に目標体の少なくとも一部の局所特徴が存在すると考えられ、あるいは、出力結果が第２値である場合、前記サブ画像に目標体の少なくとも一部の局所特徴が存在しないと考えられる。

本開示の方案の１つの具体的な例において、ビデオデータを取得した後、さらに以下の方式を用いてビデオデータに目標体が存在するか否かを判定することができ、具体的なプロセスは以下を含む。
前記カメラによって収集されたビデオデータを第２検出モデルに入力して、第２検出結果を得る。ここで、前記第２検出モデルはビデオデータに目標体が存在するか否か（例えば、目標体の全体輪郭が存在するか否か）を識別することに用いられる。前記第２検出結果はビデオデータに目標体が存在するか否か、例えば目標体の全体輪郭が存在するか否かを表す。

ここで、前記第２検出モデルの時間複雑度は前記第１検出モデルの時間複雑度より大きい。
理解すべきことは、前記第２検出モデルは目標体の輪郭全体を識別する一方、第１検出モデルは目標体の局所特徴を識別するため、従って、処理効率の点で、第１検出モデルの処理効率は第２検出モデルの処理効率よりも優れていてもよく、例えば、第１検出モデルの時間複雑度は前記第２検出モデルの時間複雑度より小さく、このように、粒度が異なる監視制御を効果的に確保すると共に、本開示の方案による通路監視制御方法の処理効率全体を効果的に向上する。
本開示の方案の１つの具体的な例において、以下の方式を用いて第２検出結果を得ることができる。具体的には、上記の前記カメラによって収集されたビデオデータを第２検出モデルに入力して、第２検出結果を得ることは、具体的には以下を含む。
ステップ２－１において、ビデオ画像セットを得るように、前記カメラによって収集されたビデオデータに対して前処理を行う。

ここで、前記ビデオ画像セットは少なくとも１組の隣接する２フレームのビデオ画像を含む。前記隣接する２フレームのビデオ画像は、隣接する２フレームのビデオ画像の特徴マップ間の差異値は予め設定された差異値より大きい要件を満たす。ここで、前記予め設定された差異値は経験値であり、実際のニーズに応じて設定することができ、本開示の方案ではこれを限定しない。

つまり、ビデオデータを取得した後、ビデオデータから要件を満たすビデオ画像を選別する必要があり、例えば、隣接する２フレームの特徴マップの差異が大きいビデオ画像を選択して、ビデオ画像セットを形成することで、モデル処理効率を最大限に向上させることができる。
ステップ２－２において、前記ビデオ画像セットにおける各ビデオ画像を第２検出モデルに入力して、ビデオ画像に対応するサブ結果を得る。例えば、各ビデオ画像に対応するサブ結果を得る。
ステップ２－３において、前記ビデオ画像セットの全てのビデオ画像のサブ結果のうち、少なくとも１つのサブ結果が第３値である場合、前記第３値を第２検出結果とし、あるいは、前記ビデオ画像セットの各ビデオ画像のサブ結果がいずれも第４値である場合、前記第４値を第２検出結果とする。前記第３値は目標体が存在することを表すことに用いられ、前記第４値は目標体が存在しないことを表すことに用いられる。

つまり、サブ結果のうちの１つでも第３値である場合、例えば１など予め設定されたキャラクターである場合、該ビデオデータに目標体が存在することを示し、そうでなければ、全てのサブ結果がいずれも第４値である場合、例えばいずれも０である場合、前記ビデオデータに目標体が存在しないことを示す。
さらに、１つの具体的な例において、前記第２検出モデルは少なくとも第４ネットワーク層、第５ネットワーク層、及び第６ネットワーク層を含む。

ここで、前記第４ネットワーク層は順に接続された少なくとも２つの緻密層を含み、ここで、直前の緻密層により得られた接続特徴マップは、次の緻密層の初期特徴マップとなり、例えば、図３に示すように、前記第４ネットワーク層は２つの緻密層を含み、ここで、１つ目の緻密層により得られた接続特徴マップは、２つ目の緻密層の初期特徴マップとなる。さらに、前記２つの緻密層における緻密層は初期特徴マップに対して畳み込み処理を行って、畳み込み特徴マップを得、初期特徴マップと畳み込み特徴マップとに対して接続処理を行って、接続特徴マップを得ることに用いられる。ここで、前記少なくとも２つの緻密層における最初の緻密層の初期特徴マップはビデオ画像に基づいて得られる。このように、計算量を効果的に減少すると共に、推論速度及び特徴抽出の豊富度並びに精度を効果的に確保した上で、特徴マップのサイズを減少させることができる。
さらに、前記第５ネットワーク層は前記少なくとも２つの緻密層における最後の緻密層により得られた接続特徴マップに対して特徴集約を行って、目標特徴マップを得ることに用いられる。

さらに、前記第６ネットワーク層は前記目標特徴マップに対して予測を行って、前記第３値又は前記第４値を得ることに用いられる。ここで、前記第３値は目標体が存在することを表すことに用いられる。前記第４値は目標体が存在しないことを表すことに用いられる。

例えば、一例では、以上に記載の第４ネットワーク層は、クロースステージ部分ネットワーク（Ｃｒｏｓｓ Ｓｔａｇｅ Ｐａｒｔｉａｌ Ｎｅｔｗｏｒｋｓ、ＣＳＰＮｅｔ）層であり、例えば、前記ＣＳＰＮｅｔ層は２つの緻密層を含むことができ、さらに、以上に記載の第５ネットワーク層は経路集約ネットワーク（Ｐａｔｈ Ａｇｇｒｅｇａｔｉｏｎ Ｎｅｔｗｏｒｋ、ＰＡＮｅｔ）層であってもよく、さらに、以上に記載の第６ネットワーク層は予測（Ｐｒｅｄｉｃｔｉｏｎ）層であってもよい。図４に示すように、まず、ビデオ画像セットにおけるビデオ画像を第２検出モデルにおけるＣＳＰＮｅｔ層に入力して、ビデオ画像に対応する接続特徴マップを得、次に、前記接続特徴マップをＰＡＮｅｔ層に入力して、特徴集約処理された目標特徴マップを得、最後に、前記目標特徴マップを予測層に入力して、出力結果を得、例えば、第３値又は第４値である。さらに、出力結果が第３値である場合、前記ビデオデータに目標体が存在すると考えられ、あるいは、出力結果が第４値である場合、前記ビデオデータに目標体が存在しないと考えられる。

本開示の方案の１つの具体的な例において、ビデオデータにおいて目標体が位置する目標通路を取得した後、該方法は具体的に、
前記目標通路にＡＧＶが走行しているか否かを判定することをさらに含み、
さらに、以上に記載のビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成することは具体的に、
ＡＧＶが走行していると判定した場合、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成することを含む。

つまり、ビデオデータに目標体が存在することが検出され、及び前記目標体が位置する目標通路が判定された場合、さらに前記目標通路内にＡＧＶが走行しているか否かを判定することができる。さらに、ＡＧＶが走行していれば、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成する一方、そうでなければ、ビデオ予警報情報を生成する必要がない。

さらに、一例では、目標通路にＡＧＶが走行していると判定した場合、さらに前記目標体と前記ＡＧＶとの間の距離を判定することができ、さらに前記目標体と前記ＡＧＶとの間の距離が予め設定された安全距離より小さい場合、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成する。
ここで、前記予め設定された安全距離は経験値であり、実際のニーズに応じて設定することができ、本開示の方案ではこれを限定しない。

以上のように、本開示の方案が提供する通路監視制御方法は、従来技術に比べて、以下の利点を有する。
第１に、目標体検出の処理効率及び正確率を向上させる。本開示の方案は異なる監視制御データに対して、異なる検出モデルを用いて処理を行い、このように、検出の処理効率、及び目標体を識別する正確率を大幅に向上させることができる。
第２に、予警報への応答効率を向上させる。本開示の方案は異なる監視制御粒度のデータを監視制御し、通路内の安全状況を迅速に知ることができ、目標体が存在する通路に対して、予警報情報を迅速に生成することができ、このように、作業員がタイムリーに相応な処理措置を取ることに役立つ。
第３に、作業場の安全性を向上させる。本開示の方案は、巻糸パッケージ生産作業場内の安全上のトラブルの発生率を効果的に低下させるための技術的サポートを提供することができ、さらにＡＧＶ、生産装置の損傷を減少させ、及び人員の傷害を効果的に回避するための基礎を築き、このように、作業場の正常作動を最大限に確保し、及び作業場全体の安全性を向上させることができる。

本開示の方案はさらに通路監視制御装置を提供し、図５に示すように、該装置は、
無人搬送車ＡＧＶの車体収集アセンブリによって車体周辺領域内で収集された走査データを取得し、カメラによってビデオ収集領域内で収集されたビデオデータを取得するための取得ユニット５０１であって、前記ＡＧＶは複数のＡＧＶのうちの１つであり、前記複数のＡＧＶにおけるＡＧＶは複数の監視制御対象通路のうちのいずれかの監視制御対象通路を走行し、前記複数の監視制御対象通路は巻糸パッケージ生産作業場において巻糸パッケージを搬送するために使用する必要がある複数の通路であり、前記車体周辺領域は前記ＡＧＶが走行する監視制御対象通路の少なくとも一部の領域を含み、前記カメラは、複数のカメラのうちの１つであり、前記複数の監視制御対象通路のうちのいずれかの監視制御対象通路の少なくとも一部の領域に対してビデオ収集を行うことに用いられ、前記ビデオ収集領域は前記カメラが収集可能な監視制御対象通路の少なくとも一部の領域を含む、取得ユニット５０１と、
前記車体収集アセンブリによって収集された走査データ及び／又は前記カメラによって収集されたビデオデータに基づいて目標体が存在すると判定した場合、前記複数の監視制御対象通路のうちの１つであって、前記目標体が位置する目標通路を取得し、前記目標体が位置する目標通路の目標予警報情報を生成するための処理ユニット５０２と、を備える。

本開示の方案の１つの具体的な例において、前記処理ユニットは具体的には、
前記車体収集アセンブリによって収集された走査データに基づいて、走査データに目標体が存在すると判定した場合、走査データにおいて目標体が位置する目標通路を取得して、走査データにおいて目標体が位置する目標通路の走査予警報情報を生成することと、
前記カメラによって収集されたビデオデータに基づいて、ビデオデータに目標体が存在すると判定した場合、ビデオデータにおいて目標体が位置する目標通路を取得して、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成することと、
前記車体収集アセンブリによって収集された走査データに基づいて、走査データに目標体が存在すると判定した場合、走査データにおいて目標体が位置する目標通路を取得し、前記カメラによって収集されたビデオデータに基づいて、ビデオデータに目標体が存在すると判定した場合、ビデオデータにおいて目標体が位置する目標通路を取得し、走査データにより取得された目標体が位置する目標通路と、前記ビデオデータにより取得された目標体が位置する目標通路とは同じであると判定した場合、目標通路に対する混合予警報情報を生成することと、
のいずれか１つに用いられる。

本開示の方案の１つの具体的な例において、前記混合予警報情報、走査予警報情報、及びビデオ予警報情報は、三者の優先度が次第に低くなる。
本開示の方案の１つの具体的な例において、前記処理ユニットは、
前記車体収集アセンブリによって収集された走査データに含まれる走査画像を第１検出モデルに入力して、第１検出結果を得ることであって、前記第１検出モデルは画像に目標体の少なくとも一部の局所特徴が存在するか否かを識別することに用いられ、前記第１検出結果は走査データに含まれる走査画像に目標体が存在するか否かを表す、ことにさらに用いられる。

本開示の方案の１つの具体的な例において、前記処理ユニットは具体的に、
走査画像におけるエッジ領域を除去し、走査画像におけるコア領域に対応するサブ画像を得るように、前記車体収集アセンブリによって収集された走査データに含まれる走査画像に対して前処理を行うことと、
走査画像におけるコア領域に対応するサブ画像を第１検出モデルに入力して、第１検出結果を得ることと、に用いられ、
ここで、前記第１検出モデルは、走査画像におけるコア領域に対応するサブ画像に対して特徴抽出を行って、コア領域の特徴マップを得、コア領域の特徴マップに目標体の少なくとも一部の局所特徴が存在するか否かを検出することに用いられる。

本開示の方案の１つの具体的な例において、そのうち、前記第１検出モデルは少なくとも第１ネットワーク層、第２ネットワーク層及び第３ネットワーク層を含み、
ここで、前記第１ネットワーク層は、サブ画像に対応する少なくとも１つの特徴マップを得るように、コア領域に対応するサブ画像に対して特徴抽出を行うことに用いられ、ここで、少なくとも１つの特徴マップにおける特徴マップの数は、特徴マップの特徴ブロックのサイズと負の相関があり、
前記第２ネットワーク層は、サブ画像に対応する少なくとも１つの特徴マップに基づいて、目標体の少なくとも一部の局所特徴が存在するか否かを予測し、確率値を得ることに用いられ、
前記第３ネットワーク層は、確率値を処理し、目標体の少なくとも一部の局所特徴が存在することを表すための第１値、又は目標体の少なくとも一部の局所特徴が存在しないことを表すための第２値を得、前記第１検出結果は前記第１値又は第２値であることに用いられる。
本開示の方案の１つの具体的な例において、前記処理ユニットは、
前記カメラによって収集されたビデオデータを第２検出モデルに入力して、第２検出結果を得ることにさらに用いられ、ここで、前記第２検出モデルはビデオデータに目標体が存在するか否かを識別することに用いられ、前記第２検出結果はビデオデータに目標体が存在するか否かを表し、前記第２検出モデルの時間複雑度は前記第１検出モデルの時間複雑度より大きい。

本開示の方案の１つの具体的な例において、前記処理ユニットは具体的に、
ビデオ画像セットを得るように、前記カメラによって収集されたビデオデータに対して前処理を行うことであって、前記ビデオ画像セットは少なくとも１組の隣接する２フレームのビデオ画像を含み、前記隣接する２フレームのビデオ画像は、隣接する２フレームのビデオ画像の特徴マップ間の差異値は予め設定された差異値より大きい要件を満たす、ことと、
前記ビデオ画像セットにおける各ビデオ画像を第２検出モデルに入力して、ビデオ画像に対応するサブ結果を得ることと、
前記ビデオ画像セットの全てのビデオ画像のサブ結果のうち、少なくとも１つのサブ結果が、目標体が存在することを表すための第３値である場合、前記第３値を第２検出結果とし、あるいは、前記ビデオ画像セットの各ビデオ画像のサブ結果がいずれも、目標体が存在しないことを表すための第４値である場合、前記第４値を第２検出結果とすることと、に用いられる。

本開示の方案の１つの具体的な例において、前記第２検出モデルは少なくとも第４ネットワーク層、第５ネットワーク層、及び第６ネットワーク層を含み、
前記第４ネットワーク層は順に接続された少なくとも２つの緻密層を含み、ここで、直前の緻密層により得られた接続特徴マップは、次の緻密層の初期特徴マップとなり、前記２つの緻密層における緻密層は、初期特徴マップに対して畳み込み処理を行って、畳み込み特徴マップを得、初期特徴マップと畳み込み特徴マップとに対して接続処理を行って、接続特徴マップを得ることに用いられ、前記少なくとも２つの緻密層における最初の緻密層の初期特徴マップはビデオ画像に基づいて得られ、
前記第５ネットワーク層は前記少なくとも２つの緻密層における最後の緻密層により得られた接続特徴マップに対して特徴集約を行って、目標特徴マップを得ることに用いられ、
前記第６ネットワーク層は前記目標特徴マップに対して予測を行って、前記第３値又は前記第４値を得ることに用いられる。

本開示の方案の１つの具体的な例において、前記処理ユニットは、
ビデオデータにおいて目標体が位置する目標通路を取得した後、前記目標通路にＡＧＶが走行しているか否かを判定することと、
ＡＧＶが走行していると判定した場合、ビデオデータにおいて目標体が位置する目標通路のビデオ予警報情報を生成することと、にさらに用いられる。

本開示の実施例における装置の各ユニットの具体的な機能及び例示的な説明は、上記方法の実施例における対応するステップの関連説明を参照することができ、ここでは繰り返し述べない。

本開示の技術的解決策では、ユーザの個人的情報の取得、記憶、及びアプリケーションは、関連する法律及び規則の規定に準拠し、公序良俗に違反しない。

図６は本開示の一実施例による電子デバイスの構造ブロック図である。図６に示すように、該電子デバイスはメモリ６１０とプロセッサ６２０とを含み、メモリ６１０にはプロセッサ６２０で実行可能なコンピュータプログラムが記憶される。メモリ６１０及びプロセッサ６２０の数は、１つ又は複数であり得る。メモリ６１０は、１つ又は複数のコンピュータプログラムを記憶することができ、該１つ又は複数のコンピュータプログラムは、該電子デバイスによって実行されると、該電子デバイスに上記の方法の実施例により提供される方法を実行させる。該電子デバイスはさらに以下を含むことができる。通信インターフェース６３０は、外部デバイスと通信し、データのインタラクション・伝送を行うことに用いられる。

メモリ６１０、プロセッサ６２０、及び通信インターフェース６３０が独立して実装される場合、メモリ６１０、プロセッサ６２０、及び通信インターフェース６３０は、バスを介して互いに接続され、相互間の通信を行うことができる。該バスは、ＩＳＡ（ＩｎｄｕＳｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ）バス、ＰＣＩ（ＰｅｒｉｐｈｅｒalＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ）バス、又はＥＩＳＡ（ＥｘｔｅｎｄｅｄＩｎｄｕＳｔｒｙＳｔａｎｄａｒｄＡｒｃｈｉｔｅｃｔｕｒｅ）バスなどであり得る。該バスは、アドレスバス、データバス、制御バスなどに分類することができる。説明を容易にするために、図６に一本の太線のみで示すが、一本のバス又は一種類のバスのみを示すものではない。

任意選択で、具体的な実装形態では、メモリ６１０、プロセッサ６２０、及び通信インターフェース６３０が１つのチップ上に集積される場合、メモリ６１０、プロセッサ６２０、及び通信インターフェース６３０は、内部インターフェースを介して相互間の通信を行うことができる。

上記プロセッサは中央処理装置（ＣｅｎｔｒａｌＰｒｏｃｅＳＳｉｎｇＵｎｉｔ、ＣＰＵ）であってもよく、さらに他の汎用プロセッサ、デジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅＳＳｉｎｇ、ＤＳＰ）、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ、ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアアセンブリ等であってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであり得る。なお、プロセッサは、ＡｄｖａｎｃｅｄＲＩＳＣＭａｃｈｉｎｅＳ（ＡＲＭ）アーキテクチャをサポートするプロセッサであり得る。

さらに、選択的に、上記メモリは読み出し専用メモリ及びランダムアクセスメモリを含んでもよく、さらに不揮発性ランダムアクセスメモリを含んでもよい。該メモリは、揮発性メモリ又は不揮発性メモリのいずれかであり得るか、あるいは揮発性メモリと不揮発性メモリの両方を含み得る。ここで、不揮発性メモリは、ＲＯＭ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ＰＲＯＭ（ＰｒｏｇｒａｍｍａｂｌｅＲＯＭ）、ＥＰＲＯＭ（ＥｒａＳａｂｌｅＰＲＯＭ）、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥＰＲＯＭ）、又はフラッシュメモリを含むことができる。揮発性メモリは、外部キャッシュとして機能するランダムアクセスメモリ（ＲＡＭ）を含むことができる。限定ではなく例として、多くの形態のＲＡＭが利用可能である。例えば、スタティックランダムアクセスメモリ（ＳｔａｔｉｃＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅＳＳＭｅｍｏｒｙ、ＤＲＡＭ）、シナリオクロナスＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕＳＤＲＡＭ、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤｏｕｂｌｅＤａｔａＤａｔｅＳＤＲＡＭ、ＤＤＲＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（ＥｎｈａｎｃｅｄＳＤＲＡＭ、ＥＳＤＲＡＭ）、シナリオクリンクＤＲＡＭ（ＳｙｎｃｈｌｉｎｋＤＲＡＭ、ＳＬＤＲＡＭ）及びダイレクトＲＡＭＢＵＳＲＡＭ（ＤｉｒｅｃｔＲＡＭＢＵＳＲＡＭ、ＤＲＲＡＭ）である。

上述の実施例では、全体的又は部分的に、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合に、全体又は一部はコンピュータプログラム製品の形態で実装され得る。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータ命令がロードされ、コンピュータ上で実行されると、本開示の実施例によるプロセス又は機能が全体的又は部分的に生成される。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、前記コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ、ＤＳＬ））又は無線（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、マイクロ波等）を介して、１つのウェブサイトサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイトサイト、コンピュータ、サーバ、又はデータセンタに送信されてもよい。前記コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体、又は１つもしくは複数の利用可能な媒体と統合されたサーバ、データセンタなどを含むデータ記憶デバイスであり得る。前記使用可能な媒体は、磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ、ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートディスク（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ、ＳＳＤ））などであり得る。なお、本開示で言及されるコンピュータ可読記憶媒体は、不揮発性記憶媒体、言い換えれば、非一時的記憶媒体であり得る。

当業者は上記実施例を実現する全部又は一部のステップがハードウェアによって実装されてもよく、プログラムによって関連するハードウェアに命令して実装されてもよく、前記プログラムはコンピュータ可読記憶媒体に記憶されてもよく、上記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよいことを理解することができる。

本開示の実施例の説明において、参照用語"１つの実施例"、"いくつかの実施例"、"例"、"具体的な例"、又は"いくつかの例"等の説明は該実施例又は例に関連して説明された具体的な特徴、構造、材料又は特徴が本開示の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明された具体的な特徴、構造、材料又は特徴はいずれか１つ又は複数の実施例又は例において適切な方式で組み合わせることができる。さらに、当業者は、本明細書に記載された異なる実施形態又は例及び異なる実施形態又は例の特徴を、互いに矛盾しない範囲で組み合わせてもよい。

本開示の実施例の説明において、「／」は、別段の説明がない限り、又はという意味を表し、例えば、Ａ／Ｂは、Ａ又はＢのいずれかを表し得る。本明細書における「及び／又は」は関連オブジェクトの関連関係を説明することに過ぎず、三種類の関係が存在してもよいことを示し、例えば、Ａ及び／又はＢは、以下を示すことができる。Ａが単独で存在し、Ａ及びＢが同時に存在し、Ｂが単独で存在するという三種類の状況である。

本開示の実施例の説明では、「第１」及び「第２」という用語は、説明の目的のみのために使用され、相対的な重要性を示す又は暗示するものと解釈されるべきではなく、示される技術的特徴の数を暗示するものと解釈されるべきではない。したがって、「第１」及び「第２」として定義される特徴は、明示的又は暗黙的に、そのような特徴のうちの１つ又は複数を含み得る。本開示の実施例の説明において、「複数」とは、別段の説明がない限り、２つ以上を意味する。

以上は本開示の例示的な実施例に過ぎず、本開示を限定するものではなく、本開示の精神及び原則の範囲内で、行われた任意の修正、同等置換、改良等は、いずれも本開示の保護範囲内に含まれるべきである。

Claims (21)

1. 無人搬送車ＡＧＶの車体収集アセンブリによって車体周辺領域内で収集された走査データを取得し、前記走査データに基づいて、前記走査データに第１目標体が存在すると判定した場合、前記第１目標体が位置する第１目標通路を取得することであって、前記ＡＧＶは複数のＡＧＶのうちの１つであり、前記複数のＡＧＶにおけるＡＧＶは複数の監視制御対象通路のうちのいずれかの監視制御対象通路を走行し、前記複数の監視制御対象通路は巻糸パッケージ生産作業場において巻糸パッケージを搬送するために使用する必要がある複数の通路であり、前記車体周辺領域は前記ＡＧＶが走行する監視制御対象通路の少なくとも一部の領域を含み、前記第１目標通路は前記複数の監視制御対象通路のうちの１つである、ことと、
   カメラによってビデオ収集領域内で収集されたビデオデータを取得し、前記ビデオデータに基づいて、前記ビデオデータに第２目標体が存在すると判定した場合、前記第２目標体が位置する第２目標通路を取得することであって、前記カメラは、複数のカメラのうちの１つであり、前記複数の監視制御対象通路のうちのいずれかの監視制御対象通路の少なくとも一部の領域に対してビデオ収集を行うことに用いられ、前記ビデオ収集領域は前記カメラが収集可能な監視制御対象通路の少なくとも一部の領域を含み、前記第２目標通路は前記複数の監視制御対象通路のうちの１つである、ことと、
   前記第１目標体が位置する前記第１目標通路が、前記第２目標体が位置する前記第２目標通路と同じであるか否かを判定することと、
   前記第１目標通路が前記第２目標通路と同じであると判定した場合に、該第１目標通路及び該第２目標通路に対する混合予警報情報を生成し、
   前記第１目標通路が前記第２目標通路と異なると判定した場合に、前記走査データに対して前記第１目標通路に対する走査予警報情報を生成し、前記ビデオデータに対して前記第２目標通路に対するビデオ予警報情報を生成することであって、前記混合予警報情報、走査予警報情報、及びビデオ予警報情報は、三者の優先度が次第に低くなることと、を含む、
   通路監視制御方法。
2. 前記混合予警報情報に基づいて最高レベルの制御コマンドを生成し、前記最高レベルの制御コマンドは該第１目標通路及び該第２目標通路を走行しているＡＧＶに現在の動作状態を一時停止状態に調整し、または現在の計画経路を調整するように制御することに用いられ、
   前記走査予警報情報に基づいて次高レベルの制御コマンドを生成し、前記次高レベルの制御コマンドは前記第１目標通路を走行しているＡＧＶに現在の走行速度を調整するように制御することに用いられ、
   前記ビデオ予警報情報に基づいて提示情報を生成し、前記提示情報は一般的なレベルの危険を提示するように用いられる、
   請求項１に記載の通路監視制御方法。
3. 前記通路監視制御方法は、
   前記車体収集アセンブリによって収集された走査データに含まれる走査画像を第１検出モデルに入力して、第１検出結果を得ることであって、前記第１検出モデルは画像に目標体の少なくとも一部の局所特徴が存在するか否かを識別することに用いられ、前記第１検出結果は走査データに含まれる走査画像に前記第１目標体が存在するか否かを表す、ことをさらに含む、
   請求項１に記載の通路監視制御方法。
4. 前記車体収集アセンブリによって収集された走査データに含まれる走査画像を第１検出モデルに入力して、第１検出結果を得ることは、
   走査画像におけるエッジ領域を除去し、走査画像におけるコア領域に対応するサブ画像を得るように、前記車体収集アセンブリによって収集された走査データに含まれる走査画像に対して前処理を行うことと、
   走査画像におけるコア領域に対応するサブ画像を第１検出モデルに入力して、第１検出結果を得ることと、を含み、
   ここで、前記第１検出モデルは、走査画像におけるコア領域に対応するサブ画像に対して特徴抽出を行って、コア領域の特徴マップを得、コア領域の特徴マップに目標体の少なくとも一部の局所特徴が存在するか否かを検出することに用いられる、
   請求項３に記載の通路監視制御方法。
5. 前記第１検出モデルは少なくとも第１ネットワーク層、第２ネットワーク層、及び第３ネットワーク層を含み、
   前記第１ネットワーク層は、サブ画像に対応する少なくとも１つの特徴マップを得るように、コア領域に対応するサブ画像に対して特徴抽出を行うことに用いられ、ここで、少なくとも１つの特徴マップにおける特徴マップの数は、特徴マップの特徴ブロックのサイズと負の相関があり、
   前記第２ネットワーク層は、サブ画像に対応する少なくとも１つの特徴マップに基づいて、目標体の少なくとも一部の局所特徴が存在するか否かを予測し、確率値を得ることに用いられ、
   前記第３ネットワーク層は、確率値を処理し、目標体の少なくとも一部の局所特徴が存在することを表すための第１値、又は目標体の少なくとも一部の局所特徴が存在しないことを表すための第２値を得、前記第１検出結果は前記第１値又は第２値であることに用いられる、
   請求項４に記載の通路監視制御方法。
6. 前記通路監視制御方法は、
   前記カメラによって収集されたビデオデータを第２検出モデルに入力して、第２検出結果を得ることをさらに含み、ここで、前記第２検出モデルはビデオデータに目標体が存在するか否かを識別することに用いられ、前記第２検出結果はビデオデータに前記第２目標体が存在するか否かを表し、前記第２検出モデルの時間複雑度は前記第１検出モデルの時間複雑度より大きい、
   請求項３に記載の通路監視制御方法。
7. 前記カメラによって収集されたビデオデータを第２検出モデルに入力して、第２検出結果を得ることは、
   ビデオ画像セットを得るように、前記カメラによって収集されたビデオデータに対して前処理を行うことであって、前記ビデオ画像セットは少なくとも１組の隣接する２フレームのビデオ画像を含み、前記隣接する２フレームのビデオ画像は、隣接する２フレームのビデオ画像の特徴マップ間の差異値は予め設定された差異値より大きい要件を満たす、ことと、
   前記ビデオ画像セットにおける各ビデオ画像を第２検出モデルに入力して、ビデオ画像に対応するサブ結果を得ることと、
   前記ビデオ画像セットの全てのビデオ画像のサブ結果のうち、少なくとも１つのサブ結果が、目標体が存在することを表すための第３値である場合、前記第３値を第２検出結果とし、あるいは、前記ビデオ画像セットの各ビデオ画像のサブ結果がいずれも、目標体が存在しないことを表すための第４値である場合、前記第４値を第２検出結果とすることと
   、を含む、
   請求項６に記載の通路監視制御方法。
8. 前記第２検出モデルは少なくとも第４ネットワーク層、第５ネットワーク層、及び第６ネットワーク層を含み、
   前記第４ネットワーク層は順に接続された少なくとも２つの緻密層を含み、ここで、直前の緻密層により得られた接続特徴マップは、次の緻密層の初期特徴マップとなり、前記２つの緻密層における緻密層は、初期特徴マップに対して畳み込み処理を行って、畳み込み特徴マップを得、初期特徴マップと畳み込み特徴マップとに対して接続処理を行って、接続特徴マップを得ることに用いられ、前記少なくとも２つの緻密層における最初の緻密層の初期特徴マップはビデオ画像に基づいて得られ、
   前記第５ネットワーク層は前記少なくとも２つの緻密層における最後の緻密層により得られた接続特徴マップに対して特徴集約を行って、目標特徴マップを得ることに用いられ、
   前記第６ネットワーク層は前記目標特徴マップに対して予測を行って、前記第３値又は前記第４値を得ることに用いられる、
   請求項７に記載の通路監視制御方法。
9. 前記通路監視制御方法は、ビデオデータにおいて前記第２目標体が位置する第２目標通路を取得した後、
   前記第２目標通路にＡＧＶが走行しているか否かを判定することをさらに含み、
   ここで、前記ビデオデータに対して前記第２目標通路に対するビデオ予警報情報を生成することは、
   ＡＧＶが走行していると判定した場合、ビデオデータにおいて前記第２目標体が位置する前記第２目標通路のビデオ予警報情報を生成することを含む、
   請求項１に記載の通路監視制御方法。
10. 無人搬送車ＡＧＶの車体収集アセンブリによって車体周辺領域内で収集された走査データを取得し、前記走査データに基づいて、前記走査データに第１目標体が存在すると判定した場合、前記第１目標体が位置する第１目標通路を取得し、カメラによってビデオ収集領域内で収集されたビデオデータを取得し、前記ビデオデータに基づいて、前記ビデオデータに第２目標体が存在すると判定した場合、前記第２目標体が位置する第２目標通路を取得するための取得ユニットであって、前記ＡＧＶは複数のＡＧＶのうちの１つであり、前記複数のＡＧＶにおけるＡＧＶは複数の監視制御対象通路のうちのいずれかの監視制御対象通路を走行し、前記複数の監視制御対象通路は巻糸パッケージ生産作業場において巻糸パッケージを搬送するために使用する必要がある複数の通路であり、前記車体周辺領域は前記ＡＧＶが走行する監視制御対象通路の少なくとも一部の領域を含み、前記第１目標通路は前記複数の監視制御対象通路のうちの１つであり、前記カメラは、複数のカメラのうちの１つであり、前記複数の監視制御対象通路のうちのいずれかの監視制御対象通路の少なくとも一部の領域に対してビデオ収集を行うことに用いられ、前記ビデオ収集領域は前記カメラが収集可能な監視制御対象通路の少なくとも一部の領域を含み、前記第２目標通路は前記複数の監視制御対象通路のうちの１つである、取得ユニットと、
    前記第１目標体が位置する前記第１目標通路が、前記第２目標体が位置する前記第２目標通路と同じであるか否かを判定し、前記第１目標通路が前記第２目標通路と同じであると判定した場合に、該第１目標通路及び該第２目標通路に対する混合予警報情報を生成し、前記第１目標通路が前記第２目標通路と異なると判定した場合に、前記走査データに対して前記第１目標通路に対する走査予警報情報を生成し、前記ビデオデータに対して前記第２目標通路に対するビデオ予警報情報を生成するための処理ユニットであって、前記混合予警報情報、走査予警報情報、及びビデオ予警報情報は、三者の優先度が次第に低くなる、処理ユニットと、を備える、
    通路監視制御装置。
11. 前記処理ユニットは、
    前記混合予警報情報に基づいて最高レベルの制御コマンドを生成し、前記最高レベルの制御コマンドは該第１目標通路及び該第２目標通路を走行しているＡＧＶに現在の動作状態を一時停止状態に調整し、または現在の計画経路を調整するように制御することに用いられ、
    前記走査予警報情報に基づいて次高レベルの制御コマンドを生成し、前記次高レベルの制御コマンドは前記第１目標通路を走行しているＡＧＶに現在の走行速度を調整するように制御することに用いられ、
    前記ビデオ予警報情報に基づいて提示情報を生成し、前記提示情報は一般的なレベルの危険を提示するように用いられる、
    ことにさらに用いられる、
    請求項１０に記載の通路監視制御装置。
12. 前記処理ユニットは、
    前記車体収集アセンブリによって収集された走査データに含まれる走査画像を第１検出モデルに入力して、第１検出結果を得ることであって、前記第１検出モデルは画像に目標体の少なくとも一部の局所特徴が存在するか否かを識別することに用いられ、前記第１検出結果は走査データに含まれる走査画像に前記第１目標体が存在するか否かを表す、ことにさらに用いられる、
    請求項１０に記載の通路監視制御装置。
13. 前記処理ユニットは具体的に、
    走査画像におけるエッジ領域を除去し、走査画像におけるコア領域に対応するサブ画像を得るように、前記車体収集アセンブリによって収集された走査データに含まれる走査画像に対して前処理を行うことと、
    走査画像におけるコア領域に対応するサブ画像を第１検出モデルに入力して、第１検出結果を得ることと、に用いられ、
    ここで、前記第１検出モデルは、走査画像におけるコア領域に対応するサブ画像に対して特徴抽出を行って、コア領域の特徴マップを得、コア領域の特徴マップに目標体の少なくとも一部の局所特徴が存在するか否かを検出することに用いられる、
    請求項１２に記載の通路監視制御装置。
14. 前記第１検出モデルは少なくとも第１ネットワーク層、第２ネットワーク層、及び第３ネットワーク層を含み、
    前記第１ネットワーク層は、サブ画像に対応する少なくとも１つの特徴マップを得るように、コア領域に対応するサブ画像に対して特徴抽出を行うことに用いられ、ここで、少なくとも１つの特徴マップにおける特徴マップの数は、特徴マップの特徴ブロックのサイズと負の相関があり、
    前記第２ネットワーク層は、サブ画像に対応する少なくとも１つの特徴マップに基づいて、目標体の少なくとも一部の局所特徴が存在するか否かを予測し、確率値を得ることに用いられ、
    前記第３ネットワーク層は、確率値を処理し、目標体の少なくとも一部の局所特徴が存在することを表すための第１値、又は目標体の少なくとも一部の局所特徴が存在しないことを表すための第２値を得、前記第１検出結果は前記第１値又は第２値であることに用いられる、
    請求項１３に記載の通路監視制御装置。
15. 前記処理ユニットは、
    前記カメラによって収集されたビデオデータを第２検出モデルに入力して、第２検出結果を得ることにさらに用いられ、ここで、前記第２検出モデルはビデオデータに目標体が存在するか否かを識別することに用いられ、前記第２検出結果はビデオデータに前記第２目標体が存在するか否かを表し、前記第２検出モデルの時間複雑度は前記第１検出モデルの時間複雑度より大きい、
    請求項１２に記載の通路監視制御装置。
16. 前記処理ユニットは具体的に、
    ビデオ画像セットを得るように、前記カメラによって収集されたビデオデータに対して前処理を行うことであって、前記ビデオ画像セットは少なくとも１組の隣接する２フレームのビデオ画像を含み、前記隣接する２フレームのビデオ画像は、隣接する２フレームのビデオ画像の特徴マップ間の差異値は予め設定された差異値より大きい要件を満たす、ことと、
    前記ビデオ画像セットにおける各ビデオ画像を第２検出モデルに入力して、ビデオ画像に対応するサブ結果を得ることと、
    前記ビデオ画像セットの全てのビデオ画像のサブ結果のうち、少なくとも１つのサブ結果が、目標体が存在することを表すための第３値である場合、前記第３値を第２検出結果とし、あるいは、前記ビデオ画像セットの各ビデオ画像のサブ結果がいずれも、目標体が存在しないことを表すための第４値である場合、前記第４値を第２検出結果とすることと、に用いられる、
    請求項１５に記載の通路監視制御装置。
17. 前記第２検出モデルは少なくとも第４ネットワーク層、第５ネットワーク層、及び第６ネットワーク層を含み、
    前記第４ネットワーク層は順に接続された少なくとも２つの緻密層を含み、ここで、直前の緻密層により得られた接続特徴マップは、次の緻密層の初期特徴マップとなり、前記２つの緻密層における緻密層は、初期特徴マップに対して畳み込み処理を行って、畳み込み特徴マップを得、初期特徴マップと畳み込み特徴マップとに対して接続処理を行って、接続特徴マップを得ることに用いられ、前記少なくとも２つの緻密層における最初の緻密層の初期特徴マップはビデオ画像に基づいて得られ、
    前記第５ネットワーク層は前記少なくとも２つの緻密層における最後の緻密層により得られた接続特徴マップに対して特徴集約を行って、目標特徴マップを得ることに用いられ、
    前記第６ネットワーク層は前記目標特徴マップに対して予測を行って、前記第３値又は前記第４値を得ることに用いられる、
    請求項１６に記載の通路監視制御装置。
18. 前記処理ユニットは、
    ビデオデータにおいて前記第２目標体が位置する第２目標通路を取得した後、前記第２目標通路にＡＧＶが走行しているか否かを判定することと、
    ＡＧＶが走行していると判定した場合、ビデオデータにおいて前記第２目標体が位置する第２目標通路のビデオ予警報情報を生成することと、にさらに用いられる、
    請求項１０から請求項１４のいずれか１項に記載の通路監視制御装置。
19. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
    前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項９のいずれか１項に記載の通路監視制御方法を実行させる、電子デバイス。
20. コンピュータに請求項１から請求項９のいずれか１項に記載の通路監視制御方法を実行させるコンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体。
21. プロセッサにより実行されると、請求項１から請求項９のいずれか１項に記載の通路監視制御方法を実現するためのプログラム。