JP7024396B2 - 人物探索システム - Google Patents

人物探索システム Download PDF

Info

Publication number
JP7024396B2
JP7024396B2 JP2017249853A JP2017249853A JP7024396B2 JP 7024396 B2 JP7024396 B2 JP 7024396B2 JP 2017249853 A JP2017249853 A JP 2017249853A JP 2017249853 A JP2017249853 A JP 2017249853A JP 7024396 B2 JP7024396 B2 JP 7024396B2
Authority
JP
Japan
Prior art keywords
person
image
vehicle
autonomous
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017249853A
Other languages
English (en)
Other versions
JP2019117449A (ja
Inventor
功 包原
和宏 梅田
英男 長谷川
強志 岡田
信次郎 永崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017249853A priority Critical patent/JP7024396B2/ja
Priority to CN201811577396.0A priority patent/CN109960735A/zh
Priority to US16/225,622 priority patent/US10824863B2/en
Publication of JP2019117449A publication Critical patent/JP2019117449A/ja
Priority to US17/036,967 priority patent/US20210027060A1/en
Application granted granted Critical
Publication of JP7024396B2 publication Critical patent/JP7024396B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0269System arrangements wherein the object is to detect the exact location of child or item using a navigation satellite system, e.g. GPS

Description

本発明は、人物探索システムに関する。
従来、監視カメラにより撮像された画像を用いて、徘徊者(例えば認知症患者)や迷子などを検出するための技術が知られている。例えば特許文献1は、遊園地等に設置された監視カメラの画像から人物を検出し、登録された迷子情報と比較することにより迷子判定を行う技術を開示する。
特開2015-102960号公報 特開2015-092320号公報
しかし、特許文献1の技術では、遊園地等に設置された監視カメラを用いて人物検出が行われるため、探索対象者である徘徊者や迷子が監視カメラによる撮像エリアに居ない場合の人物検出は不可能であった。
また従来、特許文献2が示すように、自動運転する移動体がネットワークを介して交信することで形成される自動運転交通システムが知られている。しかし、かかる交通システムが探索対象者の検出に利用されることはなかった。
本発明は上記課題に鑑みてなされたものであり、その目的は、移動体を含むシステムを用いて探索対象者を迅速に検出するための技術を提供することである。
本発明が提供するのは、
画像を撮像する撮像手段と、位置情報を取得する位置情報取得手段とを備え、所定の運行指令に従って移動する自律移動体と、
前記自律移動体に送信される前記運行指令を生成する運行指令生成手段と、
前記画像から人物像を検出する人物検出手段と、
前記画像から検出された前記人物像が、所定の探索条件に該当する探索対象者のものであるかどうかを判定する人物判定手段と、
を有することを特徴とする人物探索システムである。
自律移動体は、所定の運行指令に基づいて自律移動を行う移動体である。自律移動体は、自動運転車両であってもよい。運行指令とは、例えば、目的地や移動経路に関する情報、経路上で提供するサービスに関する情報などを含んだ情報である。例えば、自律移動体が、貨客の輸送を行うことを目的としたものである場合、所定の経路によって貨客の輸送を行う指令とすることができる。また、自律移動体が、店舗や施設、設備を移動させることを目的としたものである場合、所定の場所まで走行したのちに施設等を展開し、サービスの提供を行う指令とすることができる。
本発明は、かかる自律移動体を、探索対象者を検出するために利用するという特徴を持つ。そのため本発明の自律移動体は、カメラ等の撮像手段とGPS等の位置情報取得手段を備える。
人物探索システムは、上述の運行指令を生成する運行指令生成手段と、撮像画像から人物像を検出する人物検出手段と、検出された人物像が探索対象者のものであるかどうかを判定する人物判定手段とを備える。これらの手段は、例えば自律移動体と通信可能なサーバ装置が備えていても良いし、自律移動体が備えていても良い。
かかる構成によると、運行中の自律移動体が取得した画像を用いて迅速で精度の高い徘徊者の検出が可能になる。
前記人物探索システムは、画像から人物を検出するために、様々な手法を採用することができる。
例えば、人物探索システムが記憶部をさらに有し、人物判定手段は、予め前記記憶部に保存された前記探索対象者に関する情報と、前記人物像とに基づいて判定を行っても良い。
また例えば、人物検出手段は、複数の前記画像のそれぞれから前記人物像を検出し、前記人物判定手段は、同一人物を撮像した複数の前記人物像に基づいて前記判定を行っても良い。
また例えば、人物探索システムがユーザが情報を入力する入力手段をさらに有し、前記人物判定手段は、前記入力手段からの入力に基づいて前記判定を行ってもよい。
このように、様々な検出方法が用意されているため、実際の装置構成に応じた好適な手法を採用したり、複数の手法を組み合わせて検出の精度を向上させたりできる。
前記人物探索システムは、自律移動体による撮像画像から探索対象者を検出した後、当該探索対象者の保護や発見などの行動に移る。保護に際には例えば、探索対象者を自律移動体に搭乗させる方法を採用できる。
また探索対象者を発見する際に、前記人物探索システムが複数の前記自律移動体を有しているのであれば、前記複数の自律移動体それぞれの位置情報に基づいて、前記自律移動体が前記人物を発見するときの移動範囲または移動経路を決定することもできる。
このように、人物探索システムを用いることで、迅速な発見・保護が可能になる。
なお、本発明は、上記手段の少なくとも一部を含む人物探索システムとして特定することができる。また、前記人物探索システムが行う方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
本発明によれば、移動体を含むシステムを用いて探索対象者を迅速に検出するための技術を提供することができる。
第1の実施形態にかかる人物探索システムの概要構成を示す図。 人物探索システムが有する構成要素を示すブロック図。 自律走行車両の外観を示す図。 システムの構成要素間におけるデータの流れを示すフロー図。 道路ネットワークを例示する図。 第1の実施形態における人物探索処理を示すフロー図。 第2の実施形態における探索対象者保護の処理を示すフロー図。
以下に図面を参照して、この発明を実施するための形態を、実施例に基づいて例示的に詳しく説明する。ただし、この実施の形態に記載されている構成部品の寸法、材質、形状
それらの相対配置などは、発明が適用される装置の構成や各種条件により適宜変更されるべきものである。すなわち、この発明の範囲を以下の実施の形態に限定する趣旨のものではない。
[第1の実施形態]
<システム概要>
第1の実施形態に係る人物探索システムの概要について、図1を参照しながら説明する。本実施形態に係る人物探索システムは、与えられた指令に基づいて自律走行を行う複数の自律走行車両(100A,100B,100C,…,100n)と、当該指令を発行するサーバ装置200を含む。以下、複数の自律走行車両を個々に区別しないで総称する場合には、単に自律走行車両100という。自律走行車両100は、所定のサービスを提供する自動運転車両であり、サーバ装置200は、複数の自律走行車両100を管理する装置である。
自律走行車両100は、個体ごとに異なる機能を持つことができる多目的移動体であり、典型的には、道路上を自動運転および無人運転可能な車両である。自律走行車両100は、例えば、所定のルートを走行する送迎車、利用者の要請に応じて運行されるオンデマンドタクシー、任意の移動先で営業を行うことができる移動店舗などである。自律走行車両100が、貨客の輸送を目的としたものである場合、所定のルートを運行しながら輸送を行うことができる。また、自律走行車両100が、店舗や施設、設備を移動させることを目的としたものである場合、目的地まで走行したのちに施設等を展開し、営業を行うことができる。また、自律走行車両100は、設備やインフラの監視、防犯対策等のために道路を巡回する車両であってもよい。この場合、所定の巡回経路に従って走行を行うようにしてもよい。自律走行車両100がバッテリで動作する場合、Electric Vehicle(EV)パレットとも呼ばれる。
例えば図1においては、自律走行車両100Aは所定の巡回経路を移動する監視車両、自律走行車両100Bは所定の開設位置に移動店舗を解説するための車両、自律走行車両100Cは利用者70を送迎するオンデマンドタクシーである。図中の探索対象者50については後述する。
なお、自律走行車両100は、必ずしも無人車両である必要はない。例えば、営業要員や接客要員、保安要員などが搭乗していてもよい。また、自律走行車両100は、必ずしも完全なる自律走行が可能な車両でなくてもよい。例えば、状況に応じて人が運転ないし運転の補助を行う車両であってもよい。
さらに、自律走行車両100は、ユーザからの要求を受け付け、ユーザに反応し、ユーザからの要求に対して所定の処理を実行し、処理結果をユーザに報告する機能を有する。なお、ユーザからの要求のうち、自律走行車両100単独では処理できないものについては、当該要求をサーバ装置200に転送し、サーバ装置200と連携して処理してもよい。
サーバ装置200は、自律走行車両100に対して運行を指令する装置である。例えば、EVパレットをオンデマンドタクシーとして利用する場合、利用者70からの要請を受け、迎車に向かう地点および目的地を取得したうえで、付近を走行中の自律走行車両100Cに対して、「出発地から目的地まで人を輸送する」旨の運行指令を、位置情報や利用者70を特定する情報とともに送信する。また、監視車両である自律走行車両100Aに対しては、「所定の経路を走行しながら街路の監視を行う」という運行指令を送信する。また、移動店舗として使用する自律走行車両100Bに対しては「所定の地点まで走行して店舗を展開する」という運行指令を送信する。このように、運行指令には、走行以外に自律走行車両100が行うべき動作を含ませてもよい。
本実施形態に係る人物探索システムは、さらに、サーバ装置200が徘徊者や迷子を検出するために、自律走行車両100を介して画像を収集する機能を有する。すなわち自律走行車両100は、撮像手段を用いて自車周辺の画像を撮像し、サーバ装置200に送信する。その際、GPSにより取得した位置情報を画像に関連付けて送信することも好ましい。サーバ装置200は、各自律走行車両100から受信した画像に基づいて徘徊者や迷子を検出する。
<システム構成>
図2は、図1に示した自律走行車両100とサーバ装置200の構成の一例を概略的に示したブロック図である。
(自律走行車両)
自律走行車両100は、サーバ装置200から取得した運行指令に従って走行する車両である。具体的には、無線通信を介して取得した運行指令に基づいて走行経路を生成し、車両の周辺をセンシングしながら適切な方法で道路上を走行する。
自律走行車両100は、センサ101、位置情報取得部102、制御部103、駆動部104、通信部105、カメラ106を含んで構成される。自律走行車両100は、不図示のバッテリから供給される電力で動作する。
センサ101は、車両周辺のセンシングを行う手段であり、典型的にはステレオカメラ、レーザスキャナ、LIDAR、レーダなどを含んで構成される。センサ101が取得した情報は、制御部103に送信される。
位置情報取得部102は、車両の現在位置を取得する手段であり、複数のGPS衛星からGPS信号を受信し、時刻情報等に基づいて位置情報(緯度、経度、高度等)を取得するGPS受信器などを含んで構成される。位置情報取得部102が取得した情報は、制御部103に送信される。
制御部103は、センサ101から取得した情報に基づいて、自律走行車両100の制御を行うコンピュータである。制御部103は、例えば、マイクロコンピュータによって構成される。制御部103は、機能モジュールとして、運行計画生成部1031、環境検出部1032、走行制御部1033を有している。各機能モジュールは、ROM(Read Only Memory)等の記憶手段に記憶されたプログラムをCPU(Central Processing Unit
)(いずれも不図示)によって実行することで実現してもよい。
運行計画生成部1031は、サーバ装置200から運行指令を取得し、自車両の運行計画を生成する。本実施形態において、運行計画とは、自律走行車両100が走行する経路と、経路の一部または全部において自律走行車両100が行うべき処理を規定したデータである。運行計画に含まれるデータの例として、例えば、以下のようなものが挙げられる。
(1)自車両が走行する経路を道路リンクの集合によって表したデータ
自車両が走行する経路は、例えば、不図示の記憶手段に記憶された地図データを参照し、与えられた出発地と目的地に基づいて自動的に生成してもよい。また、外部のサービスを利用して生成してもよい。
(2)経路上の地点において自車両が行うべき処理を表したデータ
自車両が行うべき処理には、例えば、「人を乗降させる」「荷物の積み下ろしを行う」「移動店舗を展開/撤収する」「データの収集を行う」といったものがあるが、これらに限られない。
運行計画生成部1031が生成した運行計画は、後述する走行制御部1033へ送信される。
環境検出部1032は、センサ101が取得したデータに基づいて、車両周辺の環境を検出する。検出の対象は、例えば、車線の数や位置、自車両の周辺に存在する車両の数や位置、自車両の周辺に存在する障害物(例えば歩行者、自転車、構造物、建築物など)の数や位置、道路の構造、道路標識などであるが、これらに限られない。自律的な走行を行うために必要なものであれば、検出の対象はどのようなものであってもよい。
また、環境検出部1032は、検出した物体をトラッキングしてもよい。例えば、直前に検出した物体の座標と、現在の物体の座標との差分から、当該物体の相対速度を求めてもよい。
環境検出部1032が検出した、環境に関するデータ(以下、環境データ)は、後述する走行制御部1033へ送信される。
走行制御部1033は、運行計画生成部1031が生成した運行計画と、環境検出部1032が生成した環境データ、ならびに、位置情報取得部102が取得した自車両の位置情報に基づいて、自車両の走行を制御する。例えば、所定の経路に沿って走行し、かつ、自車両を中心とする所定の安全領域内に障害物が進入しないように自車両を走行させる。車両を自律走行させる方法については、公知の方法を採用することができる。さらに車両制御には、ドアの施解錠や開閉やエンジンのオンオフなどの任意の制御を含めて良い。
駆動部104は、走行制御部1033が生成した指令に基づいて、自律走行車両100を走行させる手段である。駆動部104は、例えば、車輪を駆動するためのモータやインバータ、ブレーキ、ステアリング機構、二次電池等を含んで構成される。
通信部105は、自律走行車両100をネットワークに接続するための通信手段である。本実施形態では、3GやLTE等の移動体通信サービスを利用して、ネットワーク経由で他の装置(例えばサーバ装置200)と通信を行うことができる。なお、通信部105は、他の自律走行車両100と車々間通信を行うための通信手段をさらに有していてもよい。
カメラ106は、自律走行車両100の車体に設けられた車載カメラである。カメラ106として例えば、Charged-Coupled Devices(CCD)、Metal-oxide-semiconductor(MOS)あるいはComplementary Metal-Oxide-Semiconductor(CMOS)等のイメージ
センサを用いた撮影装置を利用できる。
図3は、自律走行車両100の外観を例示した図である。図示したように、本実施形態では、自律走行車両100は、車載されたカメラ106を有しており、画像(静止画または動画)を取得することができる。カメラ106は、可視光カメラであってもよいし、赤外線カメラ等であってもよい。なお、図3にはカメラを一つ示しているが、車体の複数の箇所に複数のカメラ106が設けられていてもよい。例えば、前方、後方、左右側方にそれぞれカメラが設置されていてもよい。撮像は、サーバ装置200からの撮像指令に応じて随時行ってもよいし、定期的に撮像を繰り返しても良い。
探索対象者とは、人物探索システムが自律走行車両100を用いて探索する対象であり、徘徊者や迷子や行方不明者などの人物や、ペットなどの生物も含まれ得る。
(サーバ装置)
次に、サーバ装置200について説明する。
サーバ装置200は、複数の自律走行車両100の走行位置を管理し、運行指令を送信する装置である。サーバ装置200は、例えば、利用者からタクシー配車のリクエストを受けた場合に、出発地および目的地を取得したうえで、付近を走行中であり、タクシーと
して機能可能な自律走行車両100に対して運行指令を送信する。
サーバ装置200は、通信部201、制御部202、記憶部203、ユーザインタフェース205を有して構成される。
通信部201は、車両側の通信部105と同様の、ネットワーク経由で自律走行車両100と通信を行うための通信インタフェースである。
制御部202は、サーバ装置200の制御を司る手段である。制御部202は、例えば、CPUによって構成される。
制御部202は、機能モジュールとして車両情報管理部2021、運行指令生成部2022、人物検出部2023、人物判定部2024を有している。各機能モジュールは、ROM等の記憶手段に記憶されたプログラムをCPU(いずれも不図示)によって実行することで実現してもよい。
ユーザインタフェース205は、ユーザが情報を入力するための入力手段であり、画像を表示する液晶ディスプレイや有機ELディスプレイなどの表示装置、マウスやキーボードなどの入力装置を含んで構成される。
車両情報管理部2021は、管理下にある複数の自律走行車両100を管理する。具体的には、例えば、所定の周期ごとに複数の自律走行車両100から位置情報を受信し、日時と関連付けて後述の記憶部203に記憶させる。また、必要に応じて、自律走行車両100の特性に関するデータ(以下、車両情報)を保持および更新する。車両情報は、例えば、自律走行車両100の識別子、用途・種別、待機地点(車庫や営業所)に関する情報、扉タイプ、車体サイズ、積載量、搭乗可能人数、満充電時における走行可能距離、現時点における走行可能距離、現在のステータス(空車、実車、走行中、営業中等)などであるが、これ以外であってもよい。
運行指令生成部2022は、自律走行車両100の運行リクエストを外部から受けた場合に、派遣する自律走行車両100を決定し、運行リクエストに応じた運行指令を生成する。運行リクエストには、例えば、以下のようなものがあるが、これ以外であってもよい。
(1)貨客の輸送リクエスト
出発地および目的地、ないし、巡回経路を指定して、貨客の輸送を行うためのリクエストである。
(2)特定の機能を持つ自律走行車両の派遣リクエスト
店舗(例えば、飲食店、販売店、ショーケース等)、事業者の営業拠点(例えば、プライベートオフィス、営業所等)、公共施設(例えば、市役所窓口、図書館、医療拠点等)として機能し得る自律走行車両100に対して派遣を依頼するリクエストである。派遣先は、単一の地点であってもよいし、複数の地点であってもよい。派遣先が複数の地点である場合、当該複数の地点でそれぞれサービスを提供するものであってもよい。
(3)道路を巡回するリクエスト
設備やインフラの監視、防犯対策等のために道路を巡回するリクエストである。
運行リクエストは、例えば、ネットワーク等を介して利用者から取得する。なお、運行リクエストの送信元は、必ずしも一般の利用者である必要はなく、例えば、自律走行車両100を運行する事業者などであってもよい。
運行指令の送信先となる自律走行車両100は、車両情報管理部2021が取得した各車両の位置情報および車両情報(どのような機能を持つ車両であるか)等に応じて決定される。
人物検出部2023は、運行指令に従って運行中の自律走行車両100から受信した画像を解析し、人物像が含まれているかどうかを検出する。人物の検出には既存の技術を利用できる。例えば、人物の特定に効果の大きい顔部分を検出する場合、テンプレート処理により正面顔や横顔など所定の形状パターンを抽出する、人物の皮膚に特有の色を検出する、輝度エッジ情報を検出する、顔に特有の動きを検出する、などの方法がある。また、動画像の複数のフレームを比較して動きのある領域を抽出し、その動き領域の形状や動き方に基づいて人物像を検出してもよい。他にも、トラッキングやオプティカルフローなど種々の画像処理技術を利用できる。また、顔以外の部位や、服装や持参物などを用いた検出も可能である。
人物検出部2023は、検出済みの人物像を、記録部203に保存または人物判定部2024に送信する。人物像には、位置情報や、撮像時間を示すタイムスタンプを関連付けることが好ましい。また、人物像を特徴量に変換することにより、データ量やデータ転送時間を削減できる。
人物判定部2024は、人物検出部2023によって検出された人物像が、所定の探索条件に該当する探索対象者のものかどうかを判定する。探索条件は、当該人物像が探索対象者に該当するか否かを判断するために設定される条件であり、例えば次のようなものがある。
(1)人物像の特徴が、記憶部203に保存された探索対象者の特徴と一致する
この探索条件を利用するためには、予め外部装置(不図示)からサーバ装置200に徘徊者や迷子に関する情報を受信し、記憶部203に保存しておく。外部装置として例えば、警察、自治体、病院、学校、迷子センター、報道機関などの組織が行方不明者情報を配信するサーバがある。人物判定部2024は、記憶部203に保存された情報と人物検出部2023から出力された情報を比較し、特徴量の一致度が所定の閾値を超えた場合に探索対象者であると判断する。
(2)人物の行動が、記憶部203に保存された探索対象者の特徴と一致する
また、上記外部装置から受信した情報に、徘徊者に関する詳細な情報(例えば、行動パターンや、現在または過去の住所や勤務先など)が含まれている場合、徘徊者が現れる場所や行動経路を推定できることがある。
(3)人物の行動が、徘徊者等に特有の行動パターンと一致する
この探索条件は、上記(1)や(2)のように特定の人物を探索するのではなく、大量に得られた画像データから徘徊者や迷子を探索する場合に利用される。また、この探索条件は、動画像や、同一人物を異なるタイミングで撮像した複数の静止画像が得られる場合に利用できる。徘徊者や迷子は、特有の行動パターンを示すことがある。人物判定部2024は、かかる特有の行動パターンが見出された場合に探索対象者であると判断する。
具体的には、まず2枚の画像に同一人物が含まれる場合、トラッキング等によって他の画像から当該人物を抽出し、その人物の行動パターンを取得する。特有の行動パターンとして例えば、以下のようなものがある。
・道が分からず同じ場所を繰り返し通過する。
・移動速度が低下したり、同じ場所に長時間立ち止まったりする。ただし、バス停のような長時間立ち止まっても不自然でない場所は除外する。
・夜間に山道に居るなど、目的の不明な行動をしている。
(4)ユーザにより指定される
人物判定部2024は、ユーザインタフェース205を使用したユーザからの指定に基づいて、画像中の人物を探索対象者だと判定しても良い。この場合、ユーザは表示装置に表示された画像から探索対象者を特定し、マウスやキーボードを用いて指定を行う。
なお、上記(1)~(4)の何れかを組み合わせても良いし、これ以外の条件を利用しても構わない。
記憶部203は、情報を記憶する手段であり、RAM、磁気ディスクやフラッシュメモリなどの記憶媒体により構成される。
<通常時における運行動作>
次に、前述した各構成要素が行う処理について説明する。図4は、利用者のリクエストに基づいてサーバ装置200が運行指令を生成し、自律走行車両100が運行を開始するまでのデータフローを説明する図であり、EVパレットによる一般的な動作形態を示している。本例では、図5に示した道路ネットワークを自律走行車両100が運行する例を挙げて説明を行う。
自律走行車両100は、サーバ装置200に対して周期的に位置情報を通知する。例えば、図5の例の場合、自律走行車両100が、ノードAに位置する旨をサーバ装置200に通知し、車両情報管理部2021が、自律走行車両100とノードAを関連付けて記憶部203に記憶させる。なお、位置情報は、必ずしもノード自体の位置情報でなくてもよい。例えば、ノードやリンクを特定するための情報であってもよい。また、リンクを複数の区間に分割してもよい。また、道路ネットワークは必ずしもノードとリンクによって表されたものでなくてもよい。自律走行車両100が移動した場合、位置情報は都度更新される。
利用者が、不図示の通信手段を介してサーバ装置200に対して運行リクエストを送信すると(ステップS11)、サーバ装置200(運行指令生成部2022)が、運行リクエストに応じて運行指令を生成する(ステップS12)。運行指令は、出発地と目的地を指定するものであってもよいし、目的地のみを指定するものであってもよい。また、走行経路を指定するものであってもよい。また、経路上にて行うべき処理や、提供すべきサービスに関する情報を含んでいてもよい。ここでは、ノードBからノードCまで人員の輸送を行うリクエストが発行されたものとする。
ステップS13では、運行指令生成部2022が、サービスを提供する自律走行車両100を選択する。例えば、運行指令生成部2022は、記憶された自律走行車両100の位置情報および車両情報を参照し、リクエストされたサービスを提供可能であって、所定の時間以内に利用者の元へ派遣可能な自律走行車両100を決定する。ここでは、図5に示したノードAに位置する車両が選択されたものとする。これに応じて、サーバ装置200から、対象の自律走行車両100へ運行指令が送信される(ステップS14)。
ステップS15では、自律走行車両100(運行計画生成部1031)が、受信した運行指令に基づいて運行計画を生成する。本例の場合、例えば、図5の実線で示した経路を走行し、ノードBおよびCにて人員を乗車および降車させ、ノードDへ帰還する旨の運行計画を生成する。生成された運行計画は走行制御部1033へ送信され、運行が開始される(ステップS16)。なお、運行中においても、サーバ装置200に対する位置情報の送信は周期的に行われる。
なお、ここでは外部(利用者)から送信された運行リクエストに基づいて運行指令を生成する例を挙げたが、運行指令は、必ずしも外部から送信された運行リクエストに基づいて生成されなくてもよい。例えば、サーバ装置200が自律的に運行指令を生成してもよい。また、運行計画の生成は、必ずしも運行指令に基づいたものでなくてもよい。例えば、街路の監視等を行う目的で自律走行車両100を巡回させるような場合、自律走行車両100が、外部からの指示を受けずに運行計画を生成してもよい。また、運行計画の生成
はサーバ装置200が行ってもよい。
<具体的な処理フロー>
次に、図6を参照しつつ、適宜図4との対比を交えながら、本発明に特有の処理フローの一例を説明する。このフローは、外部からの依頼に応じて徘徊者を検出する場合であり、上記探索条件(1)に対応する。なお細かい説明は省略するが、図4の場合と同様に、サーバ装置200は利用者からの運行リクエストに応じて運行指令を作成する。
警察や自治体などの組織は、徘徊者に関する情報(例えば顔や服装の写真や、それらに基づく特徴量など)をサーバ装置200に送信する(ステップS21)。サーバ装置200は、不図示の運行リクエストに基づいてステップS22において、運行指令とともに、車載のカメラ106を用いて車両周辺の画像を撮像する旨の指令を生成する。なお、ステップS23で対象車両を決定する前にある程度徘徊者の位置を絞り込んでも良い。絞込には、組織から受信した情報を利用できる。また、徘徊者が位置情報を発信可能な携帯端末(例えばスマートフォン)を保有している場合、その位置情報を利用できる。
そして、生成された撮像指令を含む運行指令を自律走行車両100に送信する(ステップS24)。図示したように、複数の自律走行車両100に一斉に運行指令を送信しても構わない。また、既に運行指令に従って動作している自律走行車両100に対しては、撮像指令のみを送信しても良い。撮像指令には、撮像タイミングや撮像周期、動画像と静止画像の別などを含めることができる。
運行指令を受信した自律走行車両100は、運行計画を作成して運行を開始する(ステップS25,S26)とともに、カメラ106を用いた撮像を行う(ステップS27)。そして、撮像した画像を位置情報とともにサーバ装置200に送信する。
サーバ装置200は、人物検出部2023による人物検出処理を行い、人物像を検出する(ステップS28)。続いて、人物判定部2024による人物判定処理を行い、検出された人物像が探索対象者であるかどうかを判定する(ステップS29)。組織から送信された徘徊者情報と一致する人物が発見された場合、カメラ106による撮像画像と位置情報を関連付けて送信する(ステップS210)。
以上説明したように、本実施形態によれば、運行中の自律走行車両100のカメラ106による撮像画像に基づいて、徘徊者や迷子などの探索対象者を検出できる。その結果、当該人物を迅速に発見できるようになる。なお、それぞれの自律走行車両100は、車載カメラによる撮像画像を提供するだけで良いため、運行指令に従った動作を中断する必要はない。
[第2の実施形態]
本実施形態では、サーバ装置200が人物判定を行った結果に基づいて、探索対象者を探索・保護する方法について説明する。以下、第1の実施形態と同じ構成については同じ符号を付し、説明を簡略化する。なお、本実施形態のサーバ装置の制御部202は、後述する発見指令生成手段および保護指令生成手段を有する。これらは、車両情報管理部2021等と同様な機能モジュールである。
図7は、本実施形態の処理の一例を示すフロー図である。このフローは、実施形態1のフローが終了した時点でサーバ装置200により実行されるものである。図7の処理を一定期間ごとに繰り返し実行してもよい。本フローにおける探索対象は、外部の組織から探索依頼のあった徘徊者とする。
ステップS31で、サーバ装置200は、人物判定処理(図6のS29に相当)の結果に基づいて、各自律走行車両の撮像した画像から徘徊者を発見できているかどうかを判断
する。徘徊者が発見されていた場合、サーバ装置200は、記憶部203に保存されている画像の撮像時刻に基づき、徘徊者が最後に検出された時間を特定する。また、特定された画像の撮像場所を示す位置情報を取得する(ステップS32)。
ステップS33において、サーバ装置200は、徘徊者が最後に検出された時間と位置に基づいて、その行動範囲を予測する。同一の人物が複数回検出された場合は、徘徊者の移動方向や移動速度に基づいた予測を行うこともできる。そして、発見指令生成手段は、予測された行動範囲内や付近に位置する自律走行車両100に対して、当該徘徊者を発見するための新たな運行指令を送信する(ステップS34)。この発見指令を生成する際に、通信部201を介してそれぞれの自律走行車両100と通信を行って探索行動を実施可能かどうか問い合わせ、実施可能だと回答した自律走行車両100の位置に基づいて探索範囲を割り当ててもよい。
発見指令には、探索するべき移動範囲や移動経路が含まれる。さらに、カメラ106による撮像頻度を通常よりも高くする旨の指示を含めてもよい。これにより、徘徊者の予測行動範囲内をしらみつぶしに撮像して、迅速な発見に結びつけることができる。
ステップS35において、サーバ装置200の人物検出部2023および人物判定部2024は、各自律走行車両から受信した画像を元に、徘徊者を発見できたかどうかを判断する。ステップS36において、保護指令生成手段は、徘徊者を発見した自律走行車両100を徘徊者の近くに移動させて保護を指示する。保護の方法として、自律走行車両のスピーカやディスプレイ(不図示)を用いて徘徊者に呼び掛けを行って車内に搭乗してもらい、自宅などに送り届ける方法がある。なお、徘徊者が不信感を抱かないように、徘徊者の家族や関係者の音声・画像を使って呼び掛けを行ってもよい。また、徘徊者を発見した自律走行車両100は、徘徊者を見逃さないように追跡したり、周辺の車両と通信を行って徘徊者の見守りを引き継いだりしても良い。また、徘徊者の付近にいる警察官などの第三者に応援を要請しても良い。
以上のように、本実施形態によれば、検出された徘徊者等を自律走行車両100によって保護することができる。また、多数の自律走行車両100が協働して徘徊者を探索したり、見守ったりすることができるので、迅速な発見や保護が可能になる。
[変形例]
本発明の実施形態や各構成要素は上記に限定されるものではなく、以下に示すように種々に組み合わせたり変形させたりしても構わない。
自律走行車両100の制御部103の情報処理能力が十分であれば、各実施形態に示したようにサーバ装置200を設ける代わりに、複数の自律走行車両同士が協調動作することによってシステムを運営しても良い。その場合、いずれかの自律走行車両100が運行指令を生成してもよいし、処理の内容ごとに指令役となる自律走行車両100を交代しても良い。言い換えると、少なくとも自律走行車両100が撮像した画像に基づいて徘徊者等を検出する機能がいずれかの構成要素に備わっていれば、本発明の人物探索システムを実現可能である。
また、各実施形態に示したサーバ装置200の役割の一部を自律走行車両100が担っても良い。例えば、車載カメラにより撮像された画像からの人物検出や判定処理を、自律走行車両100の制御部が行っても良い。これにより、サーバ装置200と通信することなく自律走行車両100の側で徘徊者を特定できるため、迅速な発見や通信容量の削減が可能になる。
100:自律走行車両、102:位置情報取得部、106:カメラ、2022:運行指令生成部、2023:人物検出部、2024:人物判定部

Claims (8)

  1. 画像を撮像する撮像手段と、位置情報を取得する位置情報取得手段とを備え、所定の運行指令に従って移動する自律移動体と、
    自律移動によって所定のタスクを前記自律移動体に行わせる第一の指令と、前記自律移動中に前記撮像手段を利用して画像を撮像させる第二の指令と、を含む運行指令を生成し、前記自律移動体に送信する第一の指令手段と、
    前記画像から人物像を検出する人物検出手段と、
    前記画像から検出された前記人物像が、所定の探索条件に該当する探索対象者のものであるかどうかを判定する人物判定手段と、
    第一の自律移動体によって撮像された画像から前記探索対象者が発見された場合に、前記第一の自律移動体の位置情報に基づく、前記探索対象者を発見するための第三の指令を生成し、第二の自律移動体に送信する第二の指令手段と、
    を有することを特徴とする人物探索システム。
  2. 記憶部をさらに有し、
    前記人物判定手段は、予め前記記憶部に保存された前記探索対象者に関する情報と、前記人物像とに基づいて判定を行う
    ことを特徴とする請求項1に記載の人物探索システム。
  3. 前記人物検出手段は、複数の前記画像のそれぞれから前記人物像を検出し、
    前記人物判定手段は、同一人物を撮像した複数の前記人物像に基づいて前記判定を行う
    ことを特徴とする請求項1または2に記載の人物探索システム。
  4. ユーザが情報を入力する入力手段をさらに有し、
    前記人物判定手段は、前記入力手段からの入力に基づいて前記判定を行う
    ことを特徴とする請求項1から3のいずれか1項に記載の人物探索システム。
  5. 前記第一または第二の自律移動体に対して、前記人物判定手段により前記探索対象者でのものであると判定された前記人物像に対応する人物を保護するように指令を行う保護指令生成手段をさらに有する
    ことを特徴とする請求項1から4のいずれか1項に記載の人物探索システム。
  6. 前記第一または第二の自律移動体は、前記探索対象者を搭乗させることにより保護する
    ことを特徴とする請求項に記載の人物探索システム。
  7. 前記第三の指令には、前記第二の自律移動体が移動すべき範囲または経路が含まれる、
    ことを特徴とする請求項1から6のいずれか1項に記載の人物探索システム。
  8. 前記探索対象者は、徘徊者または迷子である
    ことを特徴とする請求項1から8のいずれか1項に記載の人物探索システム。
JP2017249853A 2017-12-26 2017-12-26 人物探索システム Active JP7024396B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017249853A JP7024396B2 (ja) 2017-12-26 2017-12-26 人物探索システム
CN201811577396.0A CN109960735A (zh) 2017-12-26 2018-12-19 人物搜索系统
US16/225,622 US10824863B2 (en) 2017-12-26 2018-12-19 Systems for searching for persons using autonomous vehicles
US17/036,967 US20210027060A1 (en) 2017-12-26 2020-09-29 Person search system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017249853A JP7024396B2 (ja) 2017-12-26 2017-12-26 人物探索システム

Publications (2)

Publication Number Publication Date
JP2019117449A JP2019117449A (ja) 2019-07-18
JP7024396B2 true JP7024396B2 (ja) 2022-02-24

Family

ID=66950438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017249853A Active JP7024396B2 (ja) 2017-12-26 2017-12-26 人物探索システム

Country Status (3)

Country Link
US (2) US10824863B2 (ja)
JP (1) JP7024396B2 (ja)
CN (1) CN109960735A (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7156215B2 (ja) * 2019-09-04 2022-10-19 トヨタ自動車株式会社 サーバ装置、移動店舗、及び情報処理システム
CN110491128A (zh) * 2019-09-23 2019-11-22 广西交通职业技术学院 一种基于大数据的智慧交通系统
JP7282199B2 (ja) * 2019-11-14 2023-05-26 三菱電機株式会社 合流支援装置および合流支援方法
JP7188369B2 (ja) * 2019-12-04 2022-12-13 株式会社デンソー 車内監視システム、車内監視装置、及び車内監視プログラム
JP7011640B2 (ja) * 2019-12-27 2022-01-26 コイト電工株式会社 捜索システム
CN111210590B (zh) * 2019-12-27 2021-10-19 恒大智慧科技有限公司 智慧社区内儿童走失预警方法、设备及可读存储介质
JP7110254B2 (ja) * 2020-01-30 2022-08-01 コイト電工株式会社 捜索システム
CN113468358A (zh) * 2020-03-30 2021-10-01 本田技研工业株式会社 搜索辅助系统、搜索辅助方法、车载装置以及存储介质
CN111611904B (zh) * 2020-05-15 2023-12-01 新石器慧通(北京)科技有限公司 基于无人车行驶过程中的动态目标识别方法
JP2022096058A (ja) * 2020-12-17 2022-06-29 トヨタ自動車株式会社 移動体
JP7411614B2 (ja) 2021-09-30 2024-01-11 本田技研工業株式会社 探索システム、探索方法、およびプログラム
WO2023058143A1 (ja) * 2021-10-06 2023-04-13 日本電信電話株式会社 予測装置、予測方法、及びプログラム
CN114332768B (zh) * 2021-12-30 2022-09-16 江苏国盈信息科技有限公司 智慧型社区安防管理方法及系统
WO2023209757A1 (ja) * 2022-04-25 2023-11-02 三菱電機株式会社 移動体見守りサービス運用統括装置、移動体見守りサービス用制御装置及び移動体見守りサービス運用システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007172116A (ja) 2005-12-20 2007-07-05 Csk Green Taxi:Kk タクシーの配車案内システム
JP2015102960A (ja) 2013-11-22 2015-06-04 Kddi株式会社 迷子判定装置、迷子判定方法およびコンピュータプログラム
JP2015111906A (ja) 1999-09-22 2015-06-18 鯨田 雅信 検索システム及び方法
JP2015179333A (ja) 2014-03-18 2015-10-08 株式会社日本総合研究所 自動運転交通システムを利用した地域見守システム及び地域見守方法
JP2016091411A (ja) 2014-11-07 2016-05-23 株式会社デンソー 自動配車システム、センタ装置
WO2017159680A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム記録媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003233877A (ja) * 2002-02-06 2003-08-22 Toshiba Corp 被保護者探索システムおよびその方法
JP2007241377A (ja) * 2006-03-06 2007-09-20 Sony Corp 検索システム、撮像装置、データ保存装置、情報処理装置、撮像画像処理方法、情報処理方法、プログラム
JP5730518B2 (ja) * 2010-08-27 2015-06-10 株式会社日立国際電気 特定人物検知システムおよび特定人物検知方法
US10742475B2 (en) * 2012-12-05 2020-08-11 Origin Wireless, Inc. Method, apparatus, and system for object tracking sensing using broadcasting
JP6257318B2 (ja) 2013-09-30 2018-01-10 株式会社日本総合研究所 自動運転交通システムにおける移動体、移動体の連携配車装置、及びその配車方法
KR20160138542A (ko) * 2014-03-28 2016-12-05 얀마 가부시키가이샤 자율 주행 작업 차량
US10599150B2 (en) * 2016-09-29 2020-03-24 The Charles Stark Kraper Laboratory, Inc. Autonomous vehicle: object-level fusion
US10233021B1 (en) * 2016-11-02 2019-03-19 Amazon Technologies, Inc. Autonomous vehicles for delivery and safety
AU2017365026B2 (en) * 2016-11-22 2021-02-04 Amazon Technologies, Inc. Methods for autonomously navigating across uncontrolled and controlled intersections
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest
US11042155B2 (en) * 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
WO2019010437A1 (en) * 2017-07-06 2019-01-10 Cubic Corporation SELF-CONTAINED PRIVATE CAR ROAD BASED ON CLASSIFICATION
JP6780625B2 (ja) * 2017-10-26 2020-11-04 トヨタ自動車株式会社 自動運転車両の配車システム、及び自動運転車両
CN111727413A (zh) * 2017-12-27 2020-09-29 直流电资本有限责任公司 用于访问来自其他车辆的补充感知数据的方法
US10324467B1 (en) * 2017-12-29 2019-06-18 Apex Artificial Intelligence Industries, Inc. Controller systems and methods of limiting the operation of neural networks to be within one or more conditions
US11940798B2 (en) * 2018-07-06 2024-03-26 Toyota Research Institute, Inc. System, method, and computer-readable medium for an autonomous vehicle to pass a bicycle
US11345342B2 (en) * 2019-09-27 2022-05-31 Intel Corporation Potential collision warning system based on road user intent prediction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015111906A (ja) 1999-09-22 2015-06-18 鯨田 雅信 検索システム及び方法
JP2007172116A (ja) 2005-12-20 2007-07-05 Csk Green Taxi:Kk タクシーの配車案内システム
JP2015102960A (ja) 2013-11-22 2015-06-04 Kddi株式会社 迷子判定装置、迷子判定方法およびコンピュータプログラム
JP2015179333A (ja) 2014-03-18 2015-10-08 株式会社日本総合研究所 自動運転交通システムを利用した地域見守システム及び地域見守方法
JP2016091411A (ja) 2014-11-07 2016-05-23 株式会社デンソー 自動配車システム、センタ装置
WO2017159680A1 (ja) 2016-03-17 2017-09-21 日本電気株式会社 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム記録媒体

Also Published As

Publication number Publication date
US10824863B2 (en) 2020-11-03
CN109960735A (zh) 2019-07-02
US20190197859A1 (en) 2019-06-27
JP2019117449A (ja) 2019-07-18
US20210027060A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
JP7024396B2 (ja) 人物探索システム
JP7040936B2 (ja) 情報収集システムおよび情報収集装置
JP7047374B2 (ja) 情報収集システム
US11393215B2 (en) Rescue system and rescue method, and server used for rescue system and rescue method
JP7052338B2 (ja) 情報収集システム
JP7052343B2 (ja) 自律移動体および情報収集システム
US9230336B2 (en) Video surveillance
US10796132B2 (en) Public service system and method using autonomous smart car
US10553113B2 (en) Method and system for vehicle location
JP7009987B2 (ja) 自動運転システム及び自動運転方法
CN107924040A (zh) 图像拾取装置、图像拾取控制方法和程序
US10827725B2 (en) Animal rescue system and animal rescue method, and server used for animal rescue system and animal rescue method
US20190236520A1 (en) Movable body, service providing method, storage medium and service providing system
JP2018180810A (ja) 交通違反検知装置、システム、交通違反検知方法およびプログラム
JP7145971B2 (ja) 自律車両による乗客認識のための方法および車両システム
JPWO2020100922A1 (ja) データ配信システム、センサデバイス及びサーバ
CN110264727A (zh) 面向智慧社区停车应用的多模式自主智能无人系统及方法
JP6973294B2 (ja) 車両捜索システムおよび車両捜索方法
US20200233416A1 (en) Mobile object system
KR20230003818A (ko) 스마트 도주 차량 추적 시스템 및 이를 이용한 스마트 도주 차량 추적 방법
JP2020135650A (ja) 情報処理装置、情報処理システムおよび情報処理方法
JP2021103446A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220124

R151 Written notification of patent or utility model registration

Ref document number: 7024396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151