JP6340538B2 - 生体探索システム - Google Patents
生体探索システム Download PDFInfo
- Publication number
- JP6340538B2 JP6340538B2 JP2016049026A JP2016049026A JP6340538B2 JP 6340538 B2 JP6340538 B2 JP 6340538B2 JP 2016049026 A JP2016049026 A JP 2016049026A JP 2016049026 A JP2016049026 A JP 2016049026A JP 6340538 B2 JP6340538 B2 JP 6340538B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- image data
- individual
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 23
- 238000004891 communication Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 17
- 238000012544 monitoring process Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000037396 body weight Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010006 flight Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/55—UAVs specially adapted for particular uses or applications for life-saving or rescue operations; for medical use
- B64U2101/56—UAVs specially adapted for particular uses or applications for life-saving or rescue operations; for medical use for locating missing persons or animals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
- G08B13/1965—Systems specially adapted for intrusion detection in or around a vehicle the vehicle being an aircraft
Description
本発明は屋内又は屋外等の所定の範囲内で特定の人等を探すための生体探索システムに関するものである。
従来、人探索システムとして例えば、迷子探索システムが提案されている（特許文献１参照）。
上記の迷子探索システムは、遊園地等の施設に入場する人によって携帯され、質問信号を受信したときに、予め登録されている固有情報を送信するＩＤタグと、前記施設内の所定場所に配置され、前記ＩＤタグを付けた人が通過するときに、このＩＤタグに前記質問信号を送信して、前記ＩＤタグの固有情報の送信を促す質問器と、前記施設内の所定場所に配置され、前記ＩＤタグを付けた人が通過するときに、この人物の画像を取り込むカメラ装置と、このカメラ装置で得られた各人の画像および前記質問器で得られた各ＩＤタグの固有情報とを対にして、各人の識別用データを作成する管理装置とを備えるものである。
迷子探索システムによる探索は、施設入場者の写真をカメラで撮影し、撮影された画像をＩＤと対にして自動的に記録し、迷子が発生した時に、該当するＩＤを点在する質問機が読み取った履歴を参考にして、存在場所を大まかに特定し、その人の顔写真をプリントアウトして、係員が施設内を探すというものである。
また、複数の監視カメラ装置を連携して追跡対象の移動体の映像を補足する監視システムが公知である（特許文献２参照）。
上記監視システムは、監視カメラ装置が画像認識機能を備え、撮影した追跡対対象者の映像と特徴情報をネットワークを介して他の監視カメラ装置に伝送するように構成することで、追跡対象を追跡し続けることが可能とされている。
上記特許文献１に記載されている迷子探索システムは、カメラが固定されているため、探索対象者をカメラにより追跡することは不可能である。
また上記特許文献２に記載されている監視システムでは、監視対象者を複数のカメラを切り替えて追跡することが可能であるが、各カメラの位置が固定されていることから、死角が発生するという問題は避けられない。また監視対象者をカメラで追跡することができたとしても、カメラからの距離が遠くなると、対象者が小さな姿でしか確認できないことになってしまい、画像認識が困難になってしまうという問題があった。
本発明の目的は、無人移動体を使って特定の生体個体を捜索する生体探索システムを提供することである。
上記課題を解決するため、本発明の生体探索システムは、生体個体を被探索体として探す生体探索システムであって、無人移動体と、前記無人移動体と通信ネットワークで接続されたサーバと、を備え、前記無人移動体は、周囲を観察するカメラと、空間または地上を移動するための移動手段と、前記カメラで観察している画像から生体個体の特徴部分が検出されたときに、その観察画像の画像データを取り込む画像データ処理手段と、を有し、前記サーバは、前記被探索体の個体識別情報を記録可能なデータベースと、前記画像データを前記個体識別情報と対比して、前記画像データの生体個体が前記被探索体か否かを判別する個体識別手段と、を有していることを特徴とする。
また、上記課題を解決するため本発明の生体探索システムは、生体個体である人を被探索体として探す生体探索システムであって、周囲を観察するカメラと、空間または地上を移動するための移動手段と、前記カメラで観察している画像から人の顔が検出されたときに、その観察画像の画像データを取り込む画像データ処理手段と、を有する無人移動体を備え、前記無人移動体は、前記カメラで観察している画像から人を検出したときに、その人の顔の検出が可能な位置に自動的に移動することを特徴とする。
また、本発明の生体探索システムは、前記無人移動体と通信ネットワークで接続されたサーバをさらに備え、前記サーバが、前記被探索体の個体識別情報である前記被探索体の顔情報を記録可能なデータベースと、前記画像データを前記顔情報と対比して、前記画像データの人が前記被探索体か否かを判別する個体識別手段と、を有する構成としてもよい。
また、本発明の生体探索システムは、前記無人移動体が無人航空機である構成としてもよい。
また、本発明の生体探索システムは、前記無人移動体として、複数の前記無人移動体を用いる構成としてもよい。
また、本発明の生体探索システムは、前記無人移動体が、前記サーバにより前記画像データの生体個体が前記被探索体と判定されたときに、その生体個体を追尾する構成としてもよい。
また、本発明の生体探索システムは、前記無人移動体が、前記サーバにより前記画像データの生体個体が前記被探索体と判定されたときに、予め登録されたメッセージをその生体個体に送る構成としてもよい。
本発明の生体探索システムによれば、被探索体である生体個体を速やかに探し出すことが可能となる。
以下、本発明の生体探索システムについて、図面を用いて詳細に説明する。図１は本発明の生体探索システムの一実施例の概略の構成を示す説明図である。図１に示す実施例は、被探索体として特定の人Ｓ（被探索者）を探す場合の人探索システムの例であり、無人移動体として無人航空機（マルチコプタ３０）用いた場合の例である。
図１の人探索システムは、室内又は室外の所定の範囲内において、被探索体として依頼人から依頼された特定の個人（生体個体）を探すためのものである。人探索システム１０は、マルチコプタ３０、サーバ５０を有し、無人航空機３０とサーバ５０は、通信ネットワーク９０により接続されていて、互いにデータの送受信が可能に構成されている。サーバ５０は、例えば探索センタ等に設置され、係員によりデータの入力操作等の操作が行われる。
通信ネットワーク９０は、公衆の便に供される共用ネットワーク、独自の専用ネットワークのいずれを用いてもよい。通信ネットワーク９０と無線航空機３０の間は無線方式で接続される。また通信ネットワーク９０とサーバ５０は無線方式又は有線方式のいずれの方式で接続されていてもよい。共用ネットワークは、通常の有線の固定電話回線、携帯電話回線等を用いることができる。
図２は図１の生体探索システムの無人移動体の構成を示すブロック図である。図１の人探索システムは、マルチコプタ３０を無人移動体として用いる。図２に示すようにマルチコプタ３０は、空間を飛行して任意に移動することが可能な移動手段３００を有する。マルチコプタ３０の移動手段３００は、揚力を発生させる複数の回転翼３１０、飛行動作等を制御する制御部３２０、各部品に電力を供給するためのバッテリ３４０等から構成されている。マルチコプタ３０は自律して移動することが可能に形成されている。
本発明において無人移動体としては、無人航空機以外に、自動運転が可能に構成されている無人自動車等を用いることができる。尚、マルチコプタ等の無人航空機を用いると、混雑している人ごみの中等でも、人をかき分ける必要がなく、また人の手の届かない高さの位置を飛行して移動することができるので、いたずらされたりする可能性が低くなる。
また上記のマルチコプタは、自律して移動可能なものであるが、無人移動体は、遠隔操作によって移動可能なものであってもよい。
各回転翼３１０にはＤＣモータ３１１が結合されており、ＥＳＣ（Ｅｌｅｃｔｒｉｃ Ｓｐｅｅｄ Ｃｏｎｔｒｏｌｌｅｒ）３１２を介して、制御部３２０に接続されている。制御部３２０は、ＣＰＵ（中央処理装置）３２３、ＲＡＭ／ＲＯＭ（記憶装置）３２２、及びＰＷＭコントローラ３２４等から構成される。制御部３２０には、更に加速度センサ、ジャイロセンサ（角速度センサ）、気圧センサ、地磁気センサ（電子コンパス）等のセンサ群３２５、ＧＰＳ受信器３２６等が接続されている。
マルチコプタ３０の制御は、移動手段３００のＰＷＭコントローラ３２４により、ＥＳＣ３１２を介してＤＣモータ３１１の回転速度の調節により行う。すなわち複数の回転翼３１０の回転方向や回転速度のバランス等を適宜調節することにより、マルチコプタ３０の姿勢や位置を制御することが可能である。
例えば、制御部３２０のＲＡＭ／ＲＯＭ３２２には、マルチコプタ３０の飛行時における飛行制御アルゴリズムが実装された飛行制御プログラムが記憶されている。制御部３２１はセンサ群３２５等から取得した情報を用いて、飛行制御プログラムによりマルチコプタ３０の姿勢及び位置を制御することができる。このようにマルチコプタ３０は、移動手段３００により、所定の範囲内を飛行して被探索体の探索のための移動を行うことが可能に構成されている。
マルチコプタ３０は、周囲を観察するためのカメラ３５０、該カメラからの静止画の画像データを取り込むための画像データ処理手段３６０、画像データ処理手段３６０で取り込んだ画像データをサーバ５０に送信したり、サーバ５０からのデータを受信するための通信手段３７０を備えている。通信手段３７０は無線送受信が可能な通信装置が用いられる。
カメラ３５０は、マルチコプタ３０の周囲をモニタリングして観察するのに用いられ、必要に応じ、静止画像を取り込むことが可能なものであればよい。カメラ３５０としては、可視光により画像を形成する可視光カメラ、赤外線により画像を形成する赤外線カメラ等を用いることができる。カメラ３５０は監視カメラ等に用いられる撮像素子を用いることができる。
マルチコプタ３０に、複数台のカメラ３５０を設けてもよい。例えば、異なる４方向に向けて４台のカメラ３５０を設置してもよい。またカメラ３５０として、マルチコプタの底面に３６０度カメラとして、マルチコプタの全周囲を観察可能に取り付けでもよい。
マルチコプタ３０は、人の顔を探索体の特徴部分と定め、カメラ３５０で観察している画像に人の顔が検出された場合に、当該観察画像の静止画の画像データを取り込むことが可能に構成された画像データ処理手段３６０を備えている。
画像データ処理手段３６０は、移動体やサーバに画像データを取り込むことが可能な手段であれば使用することができる。具体的には、画像データを記録装置等に記録するための処理、画像データを一時的に記憶装置に記憶する処理、画像データをサーバ等に送信する処理等が挙げられる。
画像データ処理手段３６０は、人の顔の検出（顔検出ということもある）を行うために顔検出手段が用いられる。顔検出手段は、モニタリングしている画像をリアルタイムで画像処理して、パターン分析、パターン識別等を行い、人の顔が認識された場合、顔検出されたとする。
また、この画像データ処理手段３６０は、観察している画像に人体のシルエットが認識された場合に、人の検出と判別する人検出手段を有している。人検出手段は、顔検出と同様に、画像処理して、パターン分析、パターン認識等を行い、画像中に人体のシルエットの姿があることが認識された場合に、人検出されたとする。
なお本発明の画像処理を行う際の、顔検出とは、顔である部分の場所を検出することであり、顔認識とは、顔を検出したうえで、その顔の特徴情報から個人を特定する処理のことである。
マルチコプタ３０は、マイクロフォン等の音声入力装置３８０、音や画像、映像等の出力装置３９０を備えている。音声入力装置３８０は、被探索者を発見した際に、該被探索者の音声を入力して探索センタの係員等との会話等に用いることができる。出力装置３９０は、例えばスピーカ等の音声出力装置、液晶ディスプレイ等の画像表示装置やプロジェクター等の画像投影装置等が挙げられる。出力装置３９０は、被探索者に対するメッセージの付与（伝達）、探索センタの係員が被探索者と会話を行うのに利用される
サーバ５０は、被探索者Ｓの個体識別情報、依頼人の電話番号、メールアドレス等の通知先情報等の探索データの記録が可能なデータベース５１０と、被探索者Ｓが発見された際に依頼人に通知するための通知手段５２０、カメラから入力した探索者の画像を含む画像データと対比して該探索体が被探索者であるか否かの判別に用いられる個体識別手段５３０、前記データベース５１０に前記探索データを入力するための入力装置５４０等を備えている。通信ネットワーク９０とサーバ５０は。制御装置を介して行われる。
データベース５１０に登録される探索データは、探索の範囲、被探索者の個体識別情報、依頼人の連絡先情報以外に、付加情報として、要追跡の有無のデータ、被探索者に対する依頼人からの音声メッセージ、映像メッセージ等が挙げられる。
データベース５１０に登録される被探索者の個体識別情報は、例えば個人の顔写真等の画像データ、個人の服装の色等の情報、個人の身長、体重等のデータ等が用いられる。
通知手段５２０は、音声、文字、画像等を通信可能な通信機器等であり、具体的には携帯電話、パソコン、ファクシミリ等が挙げられる。通知手段５２０が通知する通知先としては、携帯電話、管理センタ、インターネット等が挙げられる。通知手段５２０は、個体識別手段５３０により被探索体Ｓが発見された際に、制御装置５５０が連絡先をデータベース５１０から検索し、その連絡先に、通知手段５２０を用いて発見の通知を行うことができる。通知は、音声、文字、画像データ、それらを組み合わせたもの等を用いることができる。
以下図１の人探索システムの探索手順について説明する。図３は人探索システムの手順を示すフローチャートである。探索手順として、例えば、次のステップで進めることができる。
Ｓ１１０：予め依頼人から提供された被探索データを登録するデータ登録ステップ。
Ｓ１２０：移動体がカメラで周囲を観察しながら探索範囲内を移動する移動ステップ。
Ｓ１３０：カメラの観察画像の中に人がいるか否かを判別して人検出を行う人検出ステップ。
Ｓ１４０：カメラの観察画像に顔があるか否かを判別して顔検出を行う顔検出ステップ。
Ｓ１５０：カメラの観察画像に予め定めた特徴部分を検出した場合、対象探索体を検出したと判断して、カメラの観察画像を画像データとして取り込む画像データ処理ステップ。
Ｓ１６０：画像データの対象探索体と被探索体の個体識別情報とを対比して対象探索体の個体認識を行う個体認識ステップ。
Ｓ１７０：個体認識ステップで画像データの対象探索体が個体識別情報と一致した場合、被探索体を発見したものとして、通知手段が依頼人に被探索体発見の通知を行う発見通知ステップ。以下、これらのステップについて説明する。
Ｓ１１０：予め依頼人から提供された被探索データを登録するデータ登録ステップ。
Ｓ１２０：移動体がカメラで周囲を観察しながら探索範囲内を移動する移動ステップ。
Ｓ１３０：カメラの観察画像の中に人がいるか否かを判別して人検出を行う人検出ステップ。
Ｓ１４０：カメラの観察画像に顔があるか否かを判別して顔検出を行う顔検出ステップ。
Ｓ１５０：カメラの観察画像に予め定めた特徴部分を検出した場合、対象探索体を検出したと判断して、カメラの観察画像を画像データとして取り込む画像データ処理ステップ。
Ｓ１６０：画像データの対象探索体と被探索体の個体識別情報とを対比して対象探索体の個体認識を行う個体認識ステップ。
Ｓ１７０：個体認識ステップで画像データの対象探索体が個体識別情報と一致した場合、被探索体を発見したものとして、通知手段が依頼人に被探索体発見の通知を行う発見通知ステップ。以下、これらのステップについて説明する。
図３に示すように、先ず、データ登録ステップＳ２１０では、探索センタの作業者が依頼人から提供された探索データをサーバ５０の入力装置５４０を用いてデータベース５１０に登録する。
次いで、移動ステップＳ１２０では、サーバ５０の制御装置５５０から通信ネットワーク９０を介して、マルチコプタ３０に制御信号を送り、カメラ３５０で周囲を観察しながら所定の探索範囲を移動する。
次いで、人検出ステップＳ１３０では、カメラ３５０の観察画像の中に人がいるか否かを判断して人検出を行う。人検出ステップＳ１３０で人が検出されなかった場合（ＮＯ）は移動ステップＳ１２０に戻り、マルチコプタ３０は探索範囲内を更に移動する。人検出ステップ１２０で人が検出された場合（ＹＥＳ）次の顔検出ステップＳ１４０に進む。人検出ステップＳ１２０では、人体のシルエットを認識した際に人の検出と判別する。
顔検出ステップＳ１４０では、カメラの観察画像に顔の画像があるか否かを判別する。顔の画像が無い場合（ＮＯ）は移動ステップＳ１２０に戻り、マルチコプタ３０を移動させる。マルチコプタ３０の移動は、顔検出ができるように、人の顔の正面側等の位置に移動させる。一方、顔の画像が検出できた場合（ＹＥＳ）は、探索者を検出したと判断して画像データ処理ステップＳ１５０に進む。
画像データ処理ステップＳ１５０では、カメラ３５０の画像を画像データ処理手段３６０により画像データとして記憶する。記憶された画像データは、制御装置３９２により通信手段３７０を用いて通信ネットワーク９０を介してサーバ５０に送られる。
次にサーバ５０では、個体認識ステップＳ１６０を行う。個体認識ステップＳ１６０は、サーバ５０に送られた画像データを、制御装置５５０を介して個体識別手段５３０に送り、データベースの個人識別情報として登録されている被探索者の顔情報を用いて、顔情報画像データの人（探索者）が被探索者であるか否かを判別する。判別は、登録されている単一或いは複数の顔情報と顔の画像データを対比して、予め定められた一致率を超える場合に、被探索体と一致したと判断して、次の発見通知ステップＳ１７０に進む。一方、対比の結果、一致率に届かなかった場合は、不一致として移動ステップＳ１２０に戻り、マルチコプタ３０を移動させる。
発見通知ステップＳ１７０では、被探索者Ｓを発見したとして、依頼人に、通知手段５２０を用いて被探索者の発見の通知を行う。通知は、予め登録されている通知先（携帯電話、管理センタ、インターネット）に、発見の事実を知らせる。
発見通知ステップＳ１７０では、発見された場所の位置情報を追加して通知することができる。位置情報は、屋外であればマルチコプタ３０のＧＰＳ受信機の位置情報を利用することができる。また屋内であれば、周囲の映像やマルチコプタが自己位置推定に用いた位置情報等を用いることができる。
次いで、データベース５１０に探索データの付加情報の有無を照会して、付加情報が無い場合は、処理を終了する。また付加情報がある場合は、引き続きメッセージ付与ステップＳ１９０、追尾ステップＳ２００等の処理を行う。
メッセージ付与ステップＳ１９０は、マルチコプタ３０の出力装置を用いて、予めデータベースに登録されている依頼人からの音声メッセージや映像メッセージ等を被探索者Ｓに伝達する。また、カメラ３５０、マイクロフォン等の音声入力装置３８０と画像、音声等の出力装置３９０を用いて、サーバ５０側の管理センタの係員と被探索者Ｓとの間で音声通話や画像付通話等を行って、発見された被探索者とコミニケーションをとることも可能である。
追尾ステップＳ２００では、データベースの探索データに要追跡のフラグを立てられた人物については、マルチコプタ３０が被探索者Ｓを引き続き追尾するように、マルチコプタ３０の飛行を制御して、被探索者Ｓの監視を継続する。
追尾ステップＳ２００では、追尾して監視を行う場合、１台のマルチコプタ３０では、同時に予め指定されていた探索範囲を探索することができなくなる。この場合、予備のマルチコプタを準備しておいて、追尾の開始と共に予備のマルチコプタを出動させて、指定された範囲の探索を引き継ぐようにすることができる。
また、追尾ステップＳ２００の追尾を、別のマルチコプタを出動させて行うようにすることもできる。この場合、全体監視用のマルチコプタと追尾監視用のマルチコプタを分けることで、それぞれに要請される機能に特化することができる。例えば、全体監視用のマルチコプタは、構造下部に３６０度カメラを装備したり、４方向に向けて４台のカメラを設置して同時に撮影処理する等、大型で長時間作動するものとし、一方、追尾用マルチコプタは、単一のカメラだけ搭載し、低騒音で小型の装置として構成することができる。
また全体監視用マルチコプタと追尾用マルチコプタを併用する場合、追尾用マルチコプタが十分小型であれば、全体監視用のマルチコプタに追尾用マルチコプタを搭載しておいて、追尾の際にここから出動するように構成してもよい。
以上、本発明の実施の形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の改変が可能である。
本発明において被探索体である生体個体としては、上記した人に限定されず、犬、猫等のペット、その他の動物等の各種の生体の個体等に適用することができる。
また上記実施例では、カメラで撮影した画像データをサーバに送って、画像サーバに設けた個体識別手段により個体認識ステップの処理を行っているが、マルチコプタのＣＰＵ等の性能が十分高性能で顔認識が可能であれば、マルチコプタに個体識別手段を設けて、サーバから被探索体の顔データのみを受け取り、マルチコプタ上のみで個体認識ステップを行うことも可能である。
但し、顔認識の演算処理には高性能なＣＰＵと大きなデータベースが必要であるのに対し、顔検出、人検出等の演算処理は、顔認識の演算処理と比較して軽量である。そのため、マルチコプタ等に高性能のＣＰＵを搭載することはコスト等の点で現実的ではないこともあり、実施例で説明したように、画像データを通信ネットワーク経由でサーバに送り、サーバで顔認識の処理を行うのが合理的である。
また上記実施例は、個体認識に可視光カメラを用いて、撮影した画像データの顔情報を利用した顔認識技術で被探索者を検出するものであるが、個体識別情報として、服装の色や柄等を用いてもよい。また、カメラとして赤外線カメラを用いた場合には、赤外線カメラにより得られる熱分布画像により、被探索体の温度を検知して、体温等の温度データを生体の個体識別情報として利用して、個体識別を行うようにすることも可能である。
また顔検出以外の他のデータを顔検出と併用して、個体認識の精度を向上させることもできる。他のデータとしては、被探索体の体重、身長等の大きさの情報、服装の色等が挙げられる。例えば、顔がマルチコプタのカメラを向いていない場合に、上記のデータは、有効である。
Ｓ 人（被探索体）
１０ 人探索システム（生体探索システム）
３０ マルチコプタ
３００ 移動手段
３５０ カメラ
３６０ 画像データ処理手段
３７０ 通信手段
３９０ 出力装置
５０ サーバ
５１０ データベース
５２０ 通知手段
５３０ 個体識別手段
５４０ 入力装置
９０ 通信ネットワーク
１０ 人探索システム（生体探索システム）
３０ マルチコプタ
３００ 移動手段
３５０ カメラ
３６０ 画像データ処理手段
３７０ 通信手段
３９０ 出力装置
５０ サーバ
５１０ データベース
５２０ 通知手段
５３０ 個体識別手段
５４０ 入力装置
９０ 通信ネットワーク
Claims (7)
- 生体個体を被探索体として探す生体探索システムであって、
無人移動体と、
前記無人移動体と通信ネットワークで接続されたサーバと、を備え、
前記無人移動体は、
周囲を観察するカメラと、
空間または地上を移動するための移動手段と、
前記カメラで観察している画像から生体個体の特徴部分が検出されたときに、その観察画像の画像データを取り込む画像データ処理手段と、を有し、
前記サーバは、
前記被探索体の個体識別情報を記録可能なデータベースと、
前記画像データを前記個体識別情報と対比して、前記画像データの生体個体が前記被探索体か否かを判別する個体識別手段と、を有していることを特徴とする生体探索システム。 - 生体個体である人を被探索体として探す生体探索システムであって、
周囲を観察するカメラと、
空間または地上を移動するための移動手段と、
前記カメラで観察している画像から人の顔が検出されたときに、その観察画像の画像データを取り込む画像データ処理手段と、を有する無人移動体を備え、
前記無人移動体は、前記カメラで観察している画像から人を検出したときに、その人の顔の検出が可能な位置に自動的に移動することを特徴とする生体探索システム。 - 前記無人移動体と通信ネットワークで接続されたサーバをさらに備え、
前記サーバは、
前記被探索体の個体識別情報である前記被探索体の顔情報を記録可能なデータベースと、
前記画像データを前記顔情報と対比して、前記画像データの人が前記被探索体か否かを判別する個体識別手段と、を有していることを特徴とする請求項２に記載の生体探索システム。 - 前記無人移動体は、無人航空機であることを特徴とする請求項１または請求項２に記載の生体探索システム。
- 前記無人移動体として、複数の前記無人移動体を用いることを特徴とする請求項１または請求項２に記載の生体探索システム。
- 前記無人移動体は、前記サーバにより前記画像データの生体個体が前記被探索体と判定されたときに、その生体個体を追尾することを特徴とする請求項１または請求項３に記載の生体探索システム。
- 前記無人移動体は、前記サーバにより前記画像データの生体個体が前記被探索体と判定されたときに、予め登録されたメッセージをその生体個体に送ることを特徴とする請求項１または請求項３に記載の生体探索システム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016049026A JP6340538B2 (ja) | 2016-03-11 | 2016-03-11 | 生体探索システム |
| PCT/JP2017/006844 WO2017154595A1 (ja) | 2016-03-11 | 2017-02-23 | 生体探索システム |
| US16/080,907 US20190057252A1 (en) | 2016-03-11 | 2017-02-23 | Living body search system |
| CN201780016358.5A CN108781276A (zh) | 2016-03-11 | 2017-02-23 | 生物体搜索系统 |
| CN202010181198.3A CN111401237A (zh) | 2016-03-11 | 2017-02-23 | 生物体搜索系统 |
| US16/685,323 US20200089943A1 (en) | 2016-03-11 | 2019-11-15 | Living body search system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016049026A JP6340538B2 (ja) | 2016-03-11 | 2016-03-11 | 生体探索システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018044840A Division JP6390015B2 (ja) | 2018-03-13 | 2018-03-13 | 生体探索システム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017163511A JP2017163511A (ja) | 2017-09-14 |
| JP2017163511A5 JP2017163511A5 (ja) | 2018-02-01 |
| JP6340538B2 true JP6340538B2 (ja) | 2018-06-13 |
Family
ID=59790425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016049026A Active JP6340538B2 (ja) | 2016-03-11 | 2016-03-11 | 生体探索システム |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US20190057252A1 (ja) |
| JP (1) | JP6340538B2 (ja) |
| CN (2) | CN111401237A (ja) |
| WO (1) | WO2017154595A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7034659B2 (ja) * | 2017-10-12 | 2022-03-14 | 能美防災株式会社 | 移動ロボット |
| JP7052305B2 (ja) * | 2017-11-13 | 2022-04-12 | トヨタ自動車株式会社 | 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム |
| JP6977492B2 (ja) * | 2017-11-13 | 2021-12-08 | トヨタ自動車株式会社 | 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム |
| JP7000805B2 (ja) | 2017-11-13 | 2022-01-19 | トヨタ自動車株式会社 | 動物救援システムおよび動物救援方法、ならびにそれに使用されるサーバおよびプログラム |
| JP6870584B2 (ja) * | 2017-11-13 | 2021-05-12 | トヨタ自動車株式会社 | 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム |
| CN109814588A (zh) * | 2017-11-20 | 2019-05-28 | 深圳富泰宏精密工业有限公司 | 飞行器以及应用于飞行器的目标物追踪系统和方法 |
| JP2019101766A (ja) * | 2017-12-03 | 2019-06-24 | 株式会社グランゲートジャパン | ユーザ支援システム |
| WO2019140699A1 (en) * | 2018-01-22 | 2019-07-25 | SZ DJI Technology Co., Ltd. | Methods and system for multi-target tracking |
| JP7101799B2 (ja) * | 2018-10-05 | 2022-07-15 | イームズロボティクス株式会社 | 監視システム、管理装置、監視方法、管理装置の制御プログラム |
| JP2020150381A (ja) * | 2019-03-13 | 2020-09-17 | 三菱電機エンジニアリング株式会社 | 位置情報検知システム |
| WO2022064691A1 (ja) * | 2020-09-28 | 2022-03-31 | 日本電気株式会社 | 集荷支援装置、集荷支援方法、及び、プログラム記録媒体 |
| IT202100002021A1 (it) * | 2021-02-01 | 2022-08-01 | Wenvent It S R L | Sistema e metodo di acquisizione dati immagine da un dispositivo volante |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7505610B2 (en) * | 2003-08-07 | 2009-03-17 | Intelitroc Inc. | Integrated portable identification and verification device |
| JP4506381B2 (ja) * | 2004-09-27 | 2010-07-21 | 沖電気工業株式会社 | 単独行動者及びグループ行動者検知装置 |
| CN201217501Y (zh) * | 2008-06-13 | 2009-04-08 | 金笛 | 悬浮式航空摄像自主飞行器系统 |
| JP5674406B2 (ja) * | 2010-09-30 | 2015-02-25 | 綜合警備保障株式会社 | 自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラム |
| CN102186056B (zh) * | 2011-03-29 | 2013-03-20 | 河北师范大学 | 手机远程控制智能视频监控系统及其监控方法 |
| CN102521578B (zh) * | 2011-12-19 | 2013-10-30 | 中山爱科数字科技股份有限公司 | 一种入侵检测和识别方法 |
| US20140316614A1 (en) * | 2012-12-17 | 2014-10-23 | David L. Newman | Drone for collecting images and system for categorizing image data |
| US20140351016A1 (en) * | 2013-05-22 | 2014-11-27 | Syed S. Khundmiri | Generating and implementing campaigns to obtain information regarding products and services provided by entities |
| CN203528817U (zh) * | 2013-06-18 | 2014-04-09 | 桂林理工大学 | 一种基于无人机的山地旅游紧急救援系统 |
| JP6022627B2 (ja) * | 2014-03-27 | 2016-11-09 | 株式会社電通 | 避難支援システム、避難支援用管理プログラム、避難支援用端末アプリケーションプログラム及び避難支援方法 |
| CN103895462A (zh) * | 2014-04-15 | 2014-07-02 | 北京航空航天大学 | 一种可实现人脸检测和光伏发电的陆空两用搜救装置 |
| JP6469962B2 (ja) * | 2014-04-21 | 2019-02-13 | 薫 渡部 | 監視システム及び監視方法 |
| US20160072771A1 (en) * | 2014-09-08 | 2016-03-10 | Mark Krietzman | Health and other use of collection of archival digital data |
| CN104794468A (zh) * | 2015-05-20 | 2015-07-22 | 成都通甲优博科技有限责任公司 | 一种基于无人机动平台的人脸检测与跟踪方法 |
| US10586464B2 (en) * | 2015-07-29 | 2020-03-10 | Warren F. LeBlanc | Unmanned aerial vehicles |
| CN105117022A (zh) * | 2015-09-24 | 2015-12-02 | 北京零零无限科技有限公司 | 一种控制无人机随脸转动的方法和装置 |
| US10040551B2 (en) * | 2015-12-22 | 2018-08-07 | International Business Machines Corporation | Drone delivery of coffee based on a cognitive state of an individual |
-
2016
- 2016-03-11 JP JP2016049026A patent/JP6340538B2/ja active Active
-
2017
- 2017-02-23 WO PCT/JP2017/006844 patent/WO2017154595A1/ja active Application Filing
- 2017-02-23 CN CN202010181198.3A patent/CN111401237A/zh not_active Withdrawn
- 2017-02-23 US US16/080,907 patent/US20190057252A1/en not_active Abandoned
- 2017-02-23 CN CN201780016358.5A patent/CN108781276A/zh active Pending
-
2019
- 2019-11-15 US US16/685,323 patent/US20200089943A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017163511A (ja) | 2017-09-14 |
| US20200089943A1 (en) | 2020-03-19 |
| CN111401237A (zh) | 2020-07-10 |
| CN108781276A (zh) | 2018-11-09 |
| US20190057252A1 (en) | 2019-02-21 |
| WO2017154595A1 (ja) | 2017-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6340538B2 (ja) | 生体探索システム | |
| US11097690B2 (en) | Identifying and authenticating autonomous vehicles and passengers | |
| US10370102B2 (en) | Systems, apparatuses and methods for unmanned aerial vehicle | |
| JP5674307B2 (ja) | 対象者検出システムおよび対象者検出方法 | |
| US10198954B2 (en) | Method and apparatus for positioning an unmanned robotic vehicle | |
| US10101196B2 (en) | Device for UAV detection and identification | |
| US9237267B2 (en) | Imaging systems, moving bodies, and imaging control methods for remote monitoring of a moving target | |
| US20190005310A1 (en) | Public service system and method using autonomous smart car | |
| JP2017163511A5 (ja) | ||
| US11373398B2 (en) | Methods and systems for operating a moving platform to determine data associated with a target person or object | |
| KR20180040839A (ko) | 공항 로봇 및 그를 포함하는 공항 로봇 시스템 | |
| KR102440819B1 (ko) | 순찰 드론을 포함하는 지역 감시 시스템 | |
| US20210171046A1 (en) | Method and vehicle system for passenger recognition by autonomous vehicles | |
| CN109634271A (zh) | 一种室内移动服务机器人及其控制方法 | |
| JP6390015B2 (ja) | 生体探索システム | |
| CN209560365U (zh) | 一种室内移动服务机器人 | |
| KR20180040255A (ko) | 공항 로봇 | |
| JP6751501B2 (ja) | 監視システム | |
| US11893867B2 (en) | Monitoring system and unmanned ground vehicle | |
| JP7073729B2 (ja) | 撮影システム | |
| JP2019139642A (ja) | 位置検出装置、位置検出システム、及び位置検出方法 | |
| JP7057468B1 (ja) | 管理システム、管理方法及びプログラム | |
| US20220188394A1 (en) | Person specifying device, person specifying method, and recording medium | |
| KR20220029806A (ko) | 사용자의 드론 제어 명령을 반영하는 드론을 이용한 보안 서비스 제공 방법 | |
| JP2023141027A (ja) | 無人機、プログラム、情報処理方法及び情報処理システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171211 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171211 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171211 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180405 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6340538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |