JP7062753B2 - Monitoring system and monitoring method - Google Patents

Monitoring system and monitoring method Download PDF

Info

Publication number
JP7062753B2
JP7062753B2 JP2020508227A JP2020508227A JP7062753B2 JP 7062753 B2 JP7062753 B2 JP 7062753B2 JP 2020508227 A JP2020508227 A JP 2020508227A JP 2020508227 A JP2020508227 A JP 2020508227A JP 7062753 B2 JP7062753 B2 JP 7062753B2
Authority
JP
Japan
Prior art keywords
cane
support
behavior
image
white cane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020508227A
Other languages
Japanese (ja)
Other versions
JPWO2019181609A1 (en
Inventor
幸 藤井
正紀 住吉
洸 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of JPWO2019181609A1 publication Critical patent/JPWO2019181609A1/en
Application granted granted Critical
Publication of JP7062753B2 publication Critical patent/JP7062753B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本発明は、所定のエリアを撮像した画像を監視装置により監視する監視システムに関する。 The present invention relates to a monitoring system in which an image obtained by capturing an image of a predetermined area is monitored by a monitoring device.

従来、カメラで撮像した画像に対して画像処理を実施して、画像中の所定の物体を検出する機能を備えた監視システムが実用されている。例えば、特許文献１には、画像の所定エリア内から観察物体を判定し、観察物体から物体特徴情報を作成し、物体特徴情報から行動タイプを決定し、観察物体が注意物体か否かを判定する技術が開示されている。 Conventionally, a surveillance system having a function of performing image processing on an image captured by a camera and detecting a predetermined object in the image has been put into practical use. For example, in Patent Document 1, an observation object is determined from within a predetermined area of an image, object feature information is created from the observation object, an action type is determined from the object feature information, and it is determined whether or not the observation object is a caution object. The technology to be used is disclosed.

特開２０１７－０２８３６４号公報Japanese Unexamined Patent Publication No. 2017-028364

上記のような監視システムの一形態として、駅などの監視エリア内に白杖を持った人物が存在することを検出し、駅員等に通知する白杖検知システムが存在する。しかしながら、従来の白杖検知システムでは、白杖を持った人物が存在することを通知することは可能であるが、駅などをいつも利用していてサポートが不要な人物なのか、初めて駅を利用するためにサポートを必要としている人物なのかの判断は行えなかった。 As one form of the above-mentioned monitoring system, there is a white cane detection system that detects the existence of a person holding a white cane in a monitoring area such as a station and notifies station staff or the like. However, with the conventional white cane detection system, it is possible to notify that there is a person with a white cane, but it is the first time to use the station because it is a person who always uses the station etc. and does not need support. I couldn't tell if he was in need of support to do so.

本発明は、上記のような従来の事情に鑑みて為されたものであり、特定の施設に訪れた視覚障がい者に対してサポートの必要性を判定することが可能な技術を提供することを目的とする。 The present invention has been made in view of the above-mentioned conventional circumstances, and provides a technique capable of determining the need for support for a visually impaired person who visits a specific facility. The purpose.

本発明では、上記の目的を達成するために、監視システムを以下のように構成した。
すなわち、所定のエリアを撮像した画像を監視装置により監視する監視システムにおいて、前記監視装置が、前記撮像装置により撮影された画像から所定の杖を検出する杖検出手段と、前記杖検出手段により前記杖が検出された場合に、その後の一定時間内における前記杖の挙動を解析する杖挙動解析手段と、前記杖挙動解析手段による前記杖の挙動の解析結果に基づいて、前記杖の使用者に対するサポートの必要性の有無を判定する要サポート者判定手段とを備えたことを特徴とする。In the present invention, in order to achieve the above object, the monitoring system is configured as follows.
That is, in a monitoring system in which an image of a predetermined area is monitored by a monitoring device, the monitoring device uses a cane detecting means for detecting a predetermined cane from an image taken by the imaging device and the cane detecting means. When a cane is detected, the cane behavior analysis means for analyzing the behavior of the cane within a certain period of time thereafter, and the cane behavior analysis means for the user of the cane based on the analysis result of the behavior of the cane. It is characterized by being provided with a means for determining a person requiring support to determine whether or not support is necessary.

このような構成により、不慣れな場所にいる視覚障がい者が周囲の状況を把握するためにより頻繁に白杖を振っている様子を捉えて、その視覚障がい者サポートを必要としている状況であることを判別することが可能となる。 With such a configuration, it is possible to capture the situation where a visually impaired person in an unfamiliar place is waving a white cane more frequently in order to grasp the surrounding situation, and that the situation is in need of the visually impaired person's support. It becomes possible to discriminate.

ここで、前記杖挙動解析手段は、前記杖の挙動として、前記一定時間内における前記杖の振り回数を測定し、前記要サポート者判定手段は、前記杖の振り回数が所定の閾値を超える場合に、前記杖の使用者に対するサポートの必要性があると判定する構成としてもよい。 Here, the cane behavior analysis means measures the number of times the cane is swung within a certain period of time as the behavior of the cane, and the support-requiring person determining means is when the number of times the cane is swung exceeds a predetermined threshold value. In addition, it may be configured to determine that there is a need for support for the user of the cane.

なお、前記杖の挙動は、例えば、前記杖に付された特定の模様部を追跡することにより解析してもよく、あるいは、前記杖の先端を追跡することにより解析してもよい。 The behavior of the cane may be analyzed, for example, by tracking a specific pattern portion attached to the cane, or by tracking the tip of the cane.

本発明によれば、特定の施設に訪れた視覚障がい者に対してサポートの必要性を判定することが可能になる。 According to the present invention, it becomes possible to determine the need for support for a visually impaired person who visits a specific facility.

本発明の一実施形態に係る白杖検知システムの概要を説明する図である。It is a figure explaining the outline of the white cane detection system which concerns on one Embodiment of this invention. 図１の白杖検知システムの機能ブロックの例を示す図である。It is a figure which shows the example of the functional block of the white cane detection system of FIG. 白杖の振り回数の測定について説明する図である。It is a figure explaining the measurement of the number of swings of a white cane. 白杖の例を示す図である。It is a figure which shows the example of a white cane. 携帯無線機の例を示す図である。It is a figure which shows the example of the portable radio. 白杖検知装置による処理のフローチャートの例を示す図である。It is a figure which shows the example of the flowchart of the process by a white cane detection device.

本発明の一実施形態について、図面を参照して説明する。
図１には、本発明の一実施形態に係る白杖検知システムの概要を示してある。図２には、図１の白杖検知システムの機能ブロックの例を示してある。白杖検知システムは監視システムの一形態であり、以下では、鉄道の駅に適用する場合を例にして説明する。An embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows an outline of a white cane detection system according to an embodiment of the present invention. FIG. 2 shows an example of a functional block of the white cane detection system of FIG. The white cane detection system is a form of a monitoring system, and the case where it is applied to a railway station will be described below as an example.

一般的に、駅を利用する視覚障がい者（特に、その駅に不案内な人物）１０１は、白杖１０２を使用しながら、点字ブロック１０３に沿って改札１０４を通過する。そこで、本システムでは、駅構内の改札１０４の入場前にある点字ブロック１０３付近のエリアを撮像する撮像装置１０７を設置する。撮像装置１０７は、点字ブロック１０３付近を通過する人物の様子を、その人物が白杖を使用している場合には白杖も含めて撮影できるように配置される。 Generally, a visually impaired person (particularly, a person who is unfamiliar with the station) 101 who uses a station passes through the ticket gate 104 along the Braille block 103 while using the white cane 102. Therefore, in this system, an image pickup device 107 for imaging an area near the Braille block 103 in front of the entrance of the ticket gate 104 in the station yard is installed. The image pickup apparatus 107 is arranged so that the state of a person passing near the Braille block 103 can be photographed including the white cane when the person is using the white cane.

撮像装置１０７は、ネットワーク１０８を介して、システムを構成する各機器と通信可能に接続される。撮像装置１０７としては、撮影した画像を圧縮符号化してネットワーク１０８へ送出するためのエンコーダを内蔵したネットワークカメラや、別体のエンコーダを介してネットワーク１０８に接続されるアナログカメラなど、種々の形式の装置を使用することができる。画像データは、ネットワーク１０８内の伝送量を削減するために、ＪＰＥＧ形式やＨ．２６５などの符号化方式により圧縮処理されてもよい。 The image pickup apparatus 107 is communicably connected to each device constituting the system via the network 108. The image pickup device 107 includes various types of devices such as a network camera having a built-in encoder for compressing and encoding a captured image and sending it to the network 108, and an analog camera connected to the network 108 via a separate encoder. Can be used. The image data is in JPEG format or H.I. It may be compressed by a coding method such as 265.

本システムのネットワーク１０８は、図２に示すように、ネットワークスイッチ（ＮＷ－ＳＷ）２０１を中心に構成（一般的には複数台で構成）されている。撮像装置１０７により撮影された画像は、イーサネット（登録商標）プロトコルに従って変換され、ネットワークスイッチ２０１を介してデコーダ１１０に送信される。デコーダ１１０は、受信した画像データを画像に戻し、デコーダ１１０に接続されたモニタ１１２に表示させることができる。 As shown in FIG. 2, the network 108 of this system is configured around a network switch (NW-SW) 201 (generally, a plurality of units are configured). The image taken by the image pickup device 107 is converted according to the Ethernet® protocol and transmitted to the decoder 110 via the network switch 201. The decoder 110 can return the received image data to an image and display it on the monitor 112 connected to the decoder 110.

また、撮像装置１０７から送信される画像データは、白杖検知装置１１１にも伝送されて、白杖検知装置１１１で画像解析が行われる。ネットワークスイッチ２０１には更に、無線送信システム１０９が接続されており、無線（例えば、列車無線システム）を介して携帯無線機１１３との音声通信やデータ通信が可能となっている。
なお、図２では、無線送信システム１０９と携帯無線機１１３の間を除いて、各機器がＬＡＮケーブルで接続されているが、無線により通信可能に接続されても構わない。Further, the image data transmitted from the image pickup device 107 is also transmitted to the white cane detection device 111, and the image analysis is performed by the white cane detection device 111. A wireless transmission system 109 is further connected to the network switch 201, enabling voice communication and data communication with the portable radio 113 via radio (for example, a train radio system).
In FIG. 2, each device is connected by a LAN cable except between the wireless transmission system 109 and the portable wireless device 113, but wireless communication may be possible.

白杖検知装置１１１は、白杖検出部１２１と、白杖挙動解析部１２２と、要サポート者判定部１２３と、サポート指示部１２４とを有している。
白杖１０２を持った視覚障がい者１０１が駅構内に現れ、撮像装置１０７で撮影されると、その画像データが白杖検知装置１１１に送信される。白杖検知装置１１１は、受信した画像データに対して、白杖検出部１２１により画像処理を行って、画像内に含まれる白杖１０２の検出を行う。白杖を検出する方法としては、背景差分画像を用いる方法や、ハフ変換、ディープラーニングの技術などを用いることができ、例えば、特開２０１５－３２１３３号公報、特開２０１２－１２４６５９号公報、特開２０１６－０５７９９８号公報に開示された技術を用いることができる。The white cane detection device 111 includes a white cane detection unit 121, a white cane behavior analysis unit 122, a support-requiring person determination unit 123, and a support instruction unit 124.
When a visually impaired person 101 holding a white cane 102 appears in the station yard and is photographed by the image pickup device 107, the image data is transmitted to the white cane detection device 111. The white cane detection device 111 performs image processing on the received image data by the white cane detection unit 121 to detect the white cane 102 contained in the image. As a method for detecting a white cane, a method using a background subtraction image, a Hough transform, a deep learning technique, or the like can be used. The technique disclosed in Japanese Patent Publication No. 2016-05798 can be used.

白杖検知装置１１１は、白杖１０２が検出されると、白杖挙動解析部１２２により白杖１０２の挙動を解析する。本例では、白杖１０２の挙動として、白杖１０２が一定時間内に振られた回数を測定する。不慣れな場所にいる視覚障がい者は、周囲の状況を把握するためにより頻繁に白杖を振ることが想定されるので、白杖振り回数を計測することで、その場所に不慣れでサポートを必要としている状況であるか否かを判別することが可能となる。 When the white cane 102 is detected, the white cane detection device 111 analyzes the behavior of the white cane 102 by the white cane behavior analysis unit 122. In this example, as the behavior of the white cane 102, the number of times the white cane 102 is shaken within a certain period of time is measured. Visually impaired people in unfamiliar places are expected to swing the white cane more frequently in order to grasp the surrounding situation, so by measuring the number of times the white cane is swung, they are unfamiliar with the place and need support. It is possible to determine whether or not the situation is present.

図４に示すように、多くの白杖は、先端より手前側の所定の位置に、人の目に留まり易い色（例えば、赤色）で塗装された模様部４０１を有している。そこで、白杖挙動解析部１２２は、この模様部４０１を画像から検出してその位置を追跡することで、白杖振り回数の測定を行う。なお、白杖にペイントされている他の模様や、白杖の先端を手掛かりにして、それらの位置を追跡することで白杖振り回数の測定を行ってもよい。 As shown in FIG. 4, many white canes have a pattern portion 401 painted in a color (for example, red) that is easily noticed by human eyes at a predetermined position on the front side of the tip. Therefore, the white cane behavior analysis unit 122 measures the number of times the white cane is swung by detecting the pattern portion 401 from the image and tracking the position thereof. The number of swings of the white cane may be measured by tracking the positions of other patterns painted on the white cane or the tip of the white cane as a clue.

白杖振り回数の測定について、図３を参照して具体的に説明する。撮像装置１０７は１秒間に所定数の画像（ＮＴＳＣ方式では１秒間に３０枚）を撮影している。図３では、左から右に向かって時系列に各画像（フレーム）を並べて表示しており、各フレームにおいて視覚障がい者１０１が白杖１０２を振っている状況が撮影されている。説明の便宜上、白杖１０２には模様部４０１があるものとする。 The measurement of the number of times the white cane is swung will be specifically described with reference to FIG. The image pickup apparatus 107 captures a predetermined number of images per second (30 images per second in the NTSC system). In FIG. 3, each image (frame) is displayed side by side in chronological order from left to right, and a situation in which a visually impaired person 101 is waving a white cane 102 is photographed in each frame. For convenience of explanation, it is assumed that the white cane 102 has a pattern portion 401.

図３では、フレーム毎に模様部４０１の位置が移動している状況を示しており、模様部４０１の位置を分かり易くするために、模様部４０１の中心を基準点３０１（白丸）とし、その座標を（ｘn ，ｙn ）で表している。各フレームにおいて、実線の白杖はそのフレームにおける実際の白杖を示しており、破線の白杖は１つ前のフレームにおける白杖を示している。なお、破線の白杖は説明の便宜のために表したものであり、実際の画像には映っていない。
白杖挙動解析部１２２は、画像処理技術（例えば、画像内の物体の動きベクトルを求めるオプティカルフローの技術）を用いて基準点３０１の位置を追跡することで、一定時間（例えば、５秒間）に白杖１０２が振られた回数を計測する。FIG. 3 shows a situation in which the position of the pattern portion 401 is moving for each frame. In order to make the position of the pattern portion 401 easy to understand, the center of the pattern portion 401 is set as a reference point 301 (white circle). The coordinates are represented by (x n , y n ). In each frame, the solid white cane indicates the actual white cane in that frame, and the broken white cane indicates the white cane in the previous frame. The broken white cane is shown for convenience of explanation and is not shown in the actual image.
The white cane behavior analysis unit 122 tracks the position of the reference point 301 using an image processing technique (for example, an optical flow technique for obtaining a motion vector of an object in an image) for a certain period of time (for example, 5 seconds). The number of times the white cane 102 is swung is measured.

白杖検知装置１１１は、白杖挙動解析部１２２により解析された白杖の挙動に基づいて、白杖１０２を使用している視覚障がい者１０１（以下、白杖使用者ともいう）が要サポート者か否かを要サポート者判定部１２３により判定する。本例では、白杖の挙動を表す一定時間内の白杖振り回数が、所定の閾値を超えた場合に要サポート者であると判定し、そうでない場合は要サポート者ではないと判定する。 The white cane detection device 111 requires support from a visually impaired person 101 (hereinafter, also referred to as a white cane user) who is using the white cane 102 based on the behavior of the white cane analyzed by the white cane behavior analysis unit 122. Whether or not the person is a person is determined by the support person determination unit 123. In this example, if the number of times the white cane is swung within a certain period of time, which represents the behavior of the white cane, exceeds a predetermined threshold value, it is determined that the person requires support, and if not, it is determined that the person does not require support.

白杖検知装置１１１は、白杖１０２を使用している視覚障がい者１０１が要サポート者であると判定された場合には、サポート指示部１２４により駅職員にサポートを指示する。具体的には、サポート指示部１２４は、無線送信システム１０９を介して、駅職員１０６の携帯している携帯無線機１１３に、要サポート者の存在を駅職員１０６に報知する報知メッセージを出力させる。携帯無線機１１３は、例えば図５に示すように、要サポート者（視覚障がい者）がいる改札口の情報を含み且つその改札口にサポートに向かうよう促す報知メッセージを、画面表示及び音声出力する。 When it is determined that the visually impaired person 101 using the white cane 102 is a person requiring support, the white cane detection device 111 instructs the station staff to support by the support instruction unit 124. Specifically, the support instruction unit 124 causes the portable radio 113 carried by the station staff 106 to output a notification message notifying the station staff 106 of the existence of a person requiring support via the radio transmission system 109. .. As shown in FIG. 5, for example, the portable radio 113 includes screen display and voice output of a notification message including information on a ticket gate with a person requiring support (visually impaired) and urging the ticket gate to go to support. ..

上記の報知メッセージにおいて、駅職員が向かうべき改札口は、撮像装置と改札口との対応付けデータがあれば、要サポート者を撮影した撮像装置から特定できる。また、改札口の情報以外のメッセージ部分は、固定メッセージとすることができる。報知メッセージは、白杖検知装置１１１から送出してもよいし、白杖検知装置１１１からの指示に従って無線送信システム１０９から送出してもよい。なお、駅職員１０６がタブレット装置を携帯している場合には、タブレット装置に画像データを含めて送信して、現地の状況を表示させるようにしてもよい。 In the above notification message, the ticket gate to which the station staff should go can be identified from the image pickup device in which the person requiring support is photographed if there is the correspondence data between the image pickup device and the ticket gate. Further, the message part other than the information at the ticket gate can be a fixed message. The notification message may be transmitted from the white cane detection device 111, or may be transmitted from the wireless transmission system 109 according to the instruction from the white cane detection device 111. When the station staff 106 carries a tablet device, the image data may be included in the tablet device and transmitted to display the local situation.

また、サポート指示部１２４は、視覚障がい者１０１のサポートの必要があると判断すると、デコーダ１１０を制御して、その人物を撮影している撮像装置１０７によるライブ映像をモニタ１１２に表示させる。駅に複数の撮像装置が設置されている場合には、該当する撮像装置のライブ映像を表示するように強制的に切り替えてもよい。これにより、モニタ１１２を監視している駅管理者１０５は、映像で現地の状況をリアルタイムに確認することができ、駅職員１０６に適切な指示を行うことができるようになる。 Further, when the support instruction unit 124 determines that the visually impaired person 101 needs to be supported, the support instruction unit 124 controls the decoder 110 to display the live image of the image pickup device 107 that is photographing the person on the monitor 112. When a plurality of image pickup devices are installed at a station, the live image of the corresponding image pickup device may be forcibly switched to be displayed. As a result, the station manager 105 monitoring the monitor 112 can confirm the local situation on the video in real time, and can give appropriate instructions to the station staff 106.

図６には、白杖検知装置１１１による処理のフローチャートの例を示してある。
白杖検知装置１１１は、撮像装置１０７により撮影された画像を取得し（ステップＳ１１）、その画像に対して白杖検出処理を行う（ステップＳ１２）。
白杖検出処理の結果、白杖１０２が検出されなかった場合（ステップＳ１３；Ｎｏ）には、撮影画像の取得（ステップＳ１１）に戻る。一方、白杖１０２が検出された場合（ステップＳ１３；Ｙｅｓ）には、その後の所定期間内の白杖振り回数を測定する（ステップＳ１４）。FIG. 6 shows an example of a flowchart of processing by the white cane detection device 111.
The white cane detection device 111 acquires an image taken by the image pickup device 107 (step S11), and performs a white cane detection process on the image (step S12).
If the white cane 102 is not detected as a result of the white cane detection process (step S13; No), the process returns to the acquisition of the captured image (step S11). On the other hand, when the white cane 102 is detected (step S13; Yes), the number of times the white cane is swung within a predetermined period thereafter is measured (step S14).

その結果、白杖振り回数が所定の閾値以下であった場合（ステップＳ１５；Ｎｏ）には、白杖使用者は要サポート者ではないと判断して、撮影画像の取得（ステップＳ１１）に戻る。一方、白杖振り回数が所定の閾値を超えた場合（ステップＳ１５；Ｙｅｓ）には、白杖使用者は要サポート者であると判断して、携帯無線機１１３による要サポート者の存在報知、およびモニタ１１２による撮像装置１０７のライブ映像の表示を実行させる。 As a result, when the number of times the white cane is swung is equal to or less than a predetermined threshold value (step S15; No), it is determined that the white cane user is not a support-requiring person, and the process returns to the acquisition of the captured image (step S11). .. On the other hand, when the number of times the white cane is swung exceeds a predetermined threshold (step S15; Yes), it is determined that the white cane user is a support-requiring person, and the presence of the support-requiring person is notified by the portable radio 113. And the display of the live image of the image pickup apparatus 107 by the monitor 112 is executed.

以上のように、本例の監視システムは、白杖検知装置１１１において、白杖検出部１２１が、撮像装置１０７により撮影された画像から白杖１０２を検出し、白杖挙動解析部１２２が、白杖検出部１２１により白杖１０２が検出された場合に、その後の一定時間内において白杖１０２が振られた回数を測定し、要サポート者判定部１２３が、白杖挙動解析部１２２による測定回数（白杖振り回数）を所定の閾値と比較して、白杖１０２を使用している視覚障がい者１０１に対するサポートの必要性の有無を判定し、サポート指示部１２４が、要サポート者判定部１２３によりサポートの必要があると判定された場合に、駅職員１０６にサポートの必要があることを報知するように構成されている。 As described above, in the monitoring system of this example, in the white cane detection device 111, the white cane detection unit 121 detects the white cane 102 from the image taken by the image pickup device 107, and the white cane behavior analysis unit 122 determines. When the white cane 102 is detected by the white cane detection unit 121, the number of times the white cane 102 is swung within a certain period of time thereafter is measured, and the support required person determination unit 123 measures by the white cane behavior analysis unit 122. The number of times (the number of times the white cane is swung) is compared with a predetermined threshold value to determine whether or not support is necessary for the visually impaired person 101 using the white cane 102, and the support instruction unit 124 determines the person requiring support. When it is determined by 123 that support is necessary, it is configured to notify the station staff 106 that support is necessary.

このような構成によれば、不慣れな場所にいる視覚障がい者が周囲の状況を把握するためにより頻繁に白杖を振っている様子を捉えて、その視覚障がい者サポートを必要としている状況であることを判別することができる。したがって、真にサポートを必要としている人物に対してのみ駅職員にサポートを促すことができ、駅職員の労力を軽減することが可能となる。 According to such a configuration, it is a situation in which a visually impaired person in an unfamiliar place needs support for the visually impaired person by capturing the appearance of waving a white cane more frequently in order to grasp the surrounding situation. It can be determined. Therefore, it is possible to encourage the station staff to support only the person who really needs the support, and it is possible to reduce the labor of the station staff.

ここで、本例では、白杖検知装置１１１が、本発明に係る監視装置に対応している。なお、本発明に係る監視装置の機能を撮像装置１０７に内蔵して、撮像装置１０７が要サポート者の有無を判別するようにしてもよい。 Here, in this example, the white cane detection device 111 corresponds to the monitoring device according to the present invention. The function of the monitoring device according to the present invention may be built into the image pickup device 107 so that the image pickup device 107 determines the presence or absence of a person requiring support.

また、白杖の挙動は、白杖が振られた回数以外の観点から解析してもよい。例えば、白杖の振り方（白杖の移動パターン）を解析するようにしてもよい。すなわち、不慣れな場所にいる視覚障がい者に特有の白杖の振り方をパターン化して事前に登録しておき、同様な振り方が検出された場合に、要サポート者と判定することが考えられる。 Further, the behavior of the white cane may be analyzed from a viewpoint other than the number of times the white cane is swung. For example, the method of swinging the white cane (movement pattern of the white cane) may be analyzed. In other words, it is conceivable to pattern and register in advance how to swing the white cane, which is peculiar to visually impaired people in unfamiliar places, and if a similar swing is detected, it is considered to be a person requiring support. ..

ところで、白杖の挙動は、白杖が他の通行人により撮像装置から一時的に隠されて撮影できなかった場合などに正しく解析できない恐れがある。そこで、別の手段により要サポート者か否かを判断する仕組みを追加してもよい。具体的には、例えば、駅構内への入口と改札口とに撮像装置を設置しておき、それぞれの撮像装置で撮像された画像から白杖を検出するようにする。そして、白杖を使用している白杖使用者が入口から改札口に移動するまでに要した移動時間を計測し、移動時間が所定の時間を超えた場合に、その白杖使用者はサポートが必要であると判断する。 By the way, the behavior of the white cane may not be correctly analyzed when the white cane is temporarily hidden from the image pickup device by another passerby and cannot be photographed. Therefore, a mechanism for determining whether or not the person needs support may be added by another means. Specifically, for example, an image pickup device is installed at the entrance to the station yard and the ticket gate, and the white cane is detected from the image captured by each image pickup device. Then, the movement time required for the white cane user using the white cane to move from the entrance to the ticket gate is measured, and if the movement time exceeds a predetermined time, the white cane user supports it. Is necessary.

入口から改札口までの移動時間を計測する場合には、同時に複数の白杖使用者がいることも想定されるので、各々の撮像装置で撮影された人物が、同じ人物か違う人物かを判断する必要がある。同じ人物か否かを判断する方法としては、例えば、白杖使用者が入口を通過時に、入口の撮像装置による撮影画像から白杖使用者の服装や持ち物の画像を検出してキー画像として登録しておき、白杖使用者が改札口を通過時に、改札口の撮像装置による撮影画像からキー画像と同様な特徴量を持つ画像が検出された場合に、入口で撮影された人物と改札口で撮影された人物とを同一人物と判断する方法が考えられる。 When measuring the travel time from the entrance to the ticket gate, it is assumed that there are multiple white cane users at the same time, so it is determined whether the person photographed by each image pickup device is the same person or a different person. There is a need to. As a method of determining whether or not the person is the same person, for example, when the white cane user passes through the entrance, the image of the white cane user's clothes and belongings is detected from the image taken by the image pickup device at the entrance and registered as a key image. However, when the white cane user passes through the ticket gate, if an image with the same feature amount as the key image is detected from the image taken by the image pickup device at the ticket gate, the person and the ticket gate taken at the entrance. It is conceivable to determine that the person photographed in is the same person.

なお、上記の説明では、白杖を使用する視覚障がい者のサポートについて説明したが、他の色（例えば、黄色や赤色）の杖を使用する視覚障がい者のサポートに対しても本発明を適用できることは言うまでもなく、視覚障がい者に使用される可能性がある杖の特徴を予め設定しておけばよい。また、駅の改札口の他に、エレベータやエスカレータの乗り場、階段、プラットホームなどを監視して、要サポート者の有無を判別するようにしてもよい。また、本システムを適用する施設は、鉄道の駅に限られず、デパートやイベント会場などの各種の施設に適用することができる。 In the above description, the support for the visually impaired person who uses the white cane has been described, but the present invention is also applied to the support for the visually impaired person who uses the cane of another color (for example, yellow or red). Needless to say, it is only necessary to preset the characteristics of the cane that may be used by the visually impaired. In addition to the ticket gates of stations, elevators, escalators, stairs, platforms, etc. may be monitored to determine whether or not there is a person requiring support. In addition, the facilities to which this system is applied are not limited to railway stations, but can be applied to various facilities such as department stores and event venues.

以上、本発明について詳細に説明したが、本発明は、ここに記載されたシステムに限定されるものではなく、上記以外のシステムにも広く適用できることは言うまでもない。
また、本発明は、例えば、本発明に係る処理を実行する方法や方式、そのような方法や方式を実現するためのプログラム、そのプログラムを記憶する記憶媒体などとして提供することも可能である。Although the present invention has been described in detail above, it is needless to say that the present invention is not limited to the system described here and can be widely applied to systems other than the above.
Further, the present invention can be provided, for example, as a method or method for executing the process according to the present invention, a program for realizing such a method or method, a storage medium for storing the program, or the like.

本発明は、所定のエリアを撮像した画像を監視装置により監視する監視システムに利用することができる。 The present invention can be used in a monitoring system in which an image obtained by capturing an image of a predetermined area is monitored by a monitoring device.

１０１：視覚障がい者、 １０２：白杖、 １０３：点字ブロック、 １０４：改札、
１０５：駅管理者、 １０６：駅職員、 １０７：撮像装置、 １０８：ネットワーク、 １０９：無線送信システム、 １１０：デコーダ、 １１１：白杖検知装置、 １１２：モニタ、 １１３：携帯無線機、 １２１：白杖検出部、 １２２：白杖挙動解析部、 １２３：要サポート者判定部、 １２４：サポート指示部、 ２０１：ネットワークスイッチ（ＮＷ－ＳＷ）、 ３０１：基準点、 ４０１：模様部101: Visually impaired, 102: White cane, 103: Braille block, 104: Ticket gate,
105: Station manager, 106: Station staff, 107: Imaging device, 108: Network, 109: Wireless transmission system, 110: Decoder, 111: White cane detector, 112: Monitor, 113: Portable radio, 121: White Cane detection unit, 122: White cane behavior analysis unit, 123: Support required person determination unit, 124: Support instruction unit, 201: Network switch (NW-SW), 301: Reference point, 401: Pattern unit

Claims (5)

駅構内への入口と改札口を含む所定のエリアをそれぞれ撮影する複数の撮像装置が設置されており、これら撮像装置により撮像した画像を監視装置により監視する監視システムにおいて、
前記監視装置が、
前記画像から所定の杖を検出する杖検出手段と、
前記杖検出手段により前記杖が検出された場合に、その後の一定時間内における前記杖の挙動を解析する杖挙動解析手段と、
前記杖挙動解析手段による前記杖の挙動の解析結果に基づいて、前記杖の使用者に対するサポートの必要性の有無を判定する第１の要サポート者判定手段と、
前記入口の撮像装置による画像と前記改札口の撮像装置による画像とに基づいて、前記杖の使用者が前記入口から前記改札口に移動するまでに要した移動時間を計測し、当該移動時間が所定の時間を超えた場合に、前記杖の使用者に対するサポートの必要性があると判定する第２の要サポート者判定手段とを備えたことを特徴とする監視システム。 In a monitoring system in which multiple image pickup devices are installed to take pictures of a predetermined area including the entrance to the station yard and the ticket gate, and the images captured by these image pickup devices are monitored by the monitoring device.
The monitoring device
A cane detecting means for detecting a predetermined cane from the image,
When the cane is detected by the cane detecting means, the cane behavior analysis means for analyzing the behavior of the cane within a certain period of time thereafter, and the cane behavior analysis means.
Based on the analysis result of the behavior of the cane by the cane behavior analysis means, the first support- requiring person determination means for determining whether or not the support for the user of the cane is necessary and the support-requiring person determination means .
Based on the image taken by the image pickup device at the entrance and the image taken from the image pickup device at the ticket gate, the movement time required for the user of the cane to move from the entrance to the ticket gate is measured, and the movement time is measured. A monitoring system including a second means for determining a person requiring support, which determines that there is a need for support for the user of the cane when a predetermined time is exceeded . 請求項１に記載の監視システムにおいて、
前記杖挙動解析手段は、前記杖の挙動として、前記一定時間内における前記杖の振り回数を測定し、
前記第１の要サポート者判定手段は、前記杖の振り回数が所定の閾値を超える場合に、前記杖の使用者に対するサポートの必要性があると判定することを特徴とする監視システム。 In the monitoring system according to claim 1,
The cane behavior analysis means measures the number of swings of the cane within a certain period of time as the behavior of the cane.
The first support- requiring person determining means is a monitoring system characterized in that when the number of swings of the cane exceeds a predetermined threshold value, it is determined that there is a need for support for the user of the cane. 請求項１に記載の監視システムにおいて、
前記杖挙動解析手段は、前記杖に付された特定の模様部を追跡することで、前記杖の挙動を解析することを特徴とする監視システム。 In the monitoring system according to claim 1,
The cane behavior analysis means is a monitoring system characterized in that the behavior of the cane is analyzed by tracking a specific pattern portion attached to the cane. 請求項１に記載の監視システムにおいて、
前記杖挙動解析手段は、前記杖の先端を追跡することで、前記杖の挙動を解析することを特徴とする監視システム。 In the monitoring system according to claim 1,
The cane behavior analysis means is a monitoring system characterized in that the behavior of the cane is analyzed by tracking the tip of the cane. 駅構内への入口と改札口を含む所定のエリアをそれぞれ撮影する複数の撮像装置が設置されており、これら撮像装置により撮像した画像を監視装置により監視する監視方法において、
前記監視装置が、前記画像から所定の杖が検出された場合に、その後の一定時間内における前記杖の挙動を解析し、前記杖の挙動の解析結果に基づいて、前記杖の使用者に対するサポートの必要性の有無を判定する第１の要サポート者判定処理と、前記入口の撮像装置による画像と前記改札口の撮像装置による画像とに基づいて、前記杖の使用者が前記入口から前記改札口に移動するまでに要した移動時間を計測し、当該移動時間が所定の時間を超えた場合に、前記杖の使用者に対するサポートの必要性があると判定する第２の要サポート者判定処理とを実行することを特徴とする監視方法。 A plurality of image pickup devices are installed to photograph a predetermined area including an entrance to a station yard and a ticket gate, and in a monitoring method in which images captured by these image pickup devices are monitored by a monitoring device.
When a predetermined cane is detected from the image, the monitoring device analyzes the behavior of the cane within a certain period of time thereafter, and based on the analysis result of the behavior of the cane, supports the user of the cane. Based on the first support-requiring person determination process for determining the presence or absence of the need for the wand, and the image taken by the image pickup device at the entrance and the image taken from the image pickup device at the ticket gate, the user of the wand enters the ticket gate from the entrance. A second support-requiring person determination process that measures the movement time required to move to the mouth and determines that there is a need for support for the user of the cane when the movement time exceeds a predetermined time. A monitoring method characterized by performing and .
JP2020508227A 2018-03-20 2019-03-11 Monitoring system and monitoring method Active JP7062753B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018052835 2018-03-20
JP2018052835 2018-03-20
PCT/JP2019/009704 WO2019181609A1 (en) 2018-03-20 2019-03-11 Monitoring system and monitoring method

Publications (2)

Publication Number Publication Date
JPWO2019181609A1 JPWO2019181609A1 (en) 2021-03-11
JP7062753B2 true JP7062753B2 (en) 2022-05-06

Family

ID=67987819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020508227A Active JP7062753B2 (en) 2018-03-20 2019-03-11 Monitoring system and monitoring method

Country Status (2)

Country Link
JP (1) JP7062753B2 (en)
WO (1) WO2019181609A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021087065A (en) * 2019-11-26 2021-06-03 西日本旅客鉄道株式会社 Station monitoring system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258515A (en) 2004-03-09 2005-09-22 Koito Ind Ltd Device for sensing traveling object
JP2007274234A (en) 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology White cane user detection system using stereo camera
WO2017159060A1 (en) 2016-03-18 2017-09-21 日本電気株式会社 Information processing device, control method, and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3804963B2 (en) * 2004-06-23 2006-08-02 株式会社京三製作所 White cane sensor and pedestrian support device
JP2016063305A (en) * 2014-09-16 2016-04-25 株式会社日立ビルシステム Guiding device for visually impaired person

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258515A (en) 2004-03-09 2005-09-22 Koito Ind Ltd Device for sensing traveling object
JP2007274234A (en) 2006-03-30 2007-10-18 National Institute Of Advanced Industrial & Technology White cane user detection system using stereo camera
WO2017159060A1 (en) 2016-03-18 2017-09-21 日本電気株式会社 Information processing device, control method, and program

Also Published As

Publication number Publication date
WO2019181609A1 (en) 2019-09-26
JPWO2019181609A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
KR101729327B1 (en) A monitoring system for body heat using the dual camera
KR101215948B1 (en) Image information masking method of monitoring system based on face recognition and body information
KR102260120B1 (en) Apparatus for Performing Recognition of Activity Based on Deep Learning and Driving Method Thereof
JP2018085597A (en) Person behavior monitoring device and person behavior monitoring system
KR101309366B1 (en) System and Method for Monitoring Emergency Motion based Image
JP2004021495A (en) Monitoring system and monitoring method
JP2021108149A (en) Person detection system
KR100822476B1 (en) Remote emergency monitoring system and method
CN110969561A (en) Emergency evacuation method for dense crowd
KR20090001848A (en) Method and system monitoring facial expression
JP2009227450A (en) Monitoring device for inside of car of elevator
JP2005323046A (en) Monitoring system and monitoring camera
KR20210072285A (en) System for analyzing cctv image information for occupancy realtime monitoring, and method for the same
KR20160074208A (en) System and method for providing safety service using beacon signals
JP2020145511A (en) Camera device, person detection method, and person detection system
JP2016092693A (en) Imaging apparatus, imaging apparatus control method, and program
JP7062753B2 (en) Monitoring system and monitoring method
KR100887942B1 (en) System for sensing abnormal phenomenon on realtime and method for controlling the same
KR102580434B1 (en) Dangerous situation detection device and dangerous situation detection method
CN106385559A (en) Three-dimensional monitoring system
JP2009033564A (en) Display device and display program
KR102116396B1 (en) Apparatus for Recognizing Second-class Citizen and Driving Method Thereof
KR101656642B1 (en) Group action analysis method by image
CN114529979A (en) Human body posture identification system, human body posture identification method and non-transitory computer readable storage medium
KR101695127B1 (en) Group action analysis method by image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220420

R150 Certificate of patent or registration of utility model

Ref document number: 7062753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150