JP7411614B2 - 探索システム、探索方法、およびプログラム - Google Patents

探索システム、探索方法、およびプログラム Download PDF

Info

Publication number
JP7411614B2
JP7411614B2 JP2021161620A JP2021161620A JP7411614B2 JP 7411614 B2 JP7411614 B2 JP 7411614B2 JP 2021161620 A JP2021161620 A JP 2021161620A JP 2021161620 A JP2021161620 A JP 2021161620A JP 7411614 B2 JP7411614 B2 JP 7411614B2
Authority
JP
Japan
Prior art keywords
information
search
search target
unit
mobile object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021161620A
Other languages
English (en)
Other versions
JP2023051130A (ja
Inventor
佐知子 山本
慎一郎 小橋
誠 長谷川
鞠花 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2021161620A priority Critical patent/JP7411614B2/ja
Priority to US17/951,141 priority patent/US20230102926A1/en
Publication of JP2023051130A publication Critical patent/JP2023051130A/ja
Application granted granted Critical
Publication of JP7411614B2 publication Critical patent/JP7411614B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0287Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Electromagnetism (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Traffic Control Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、探索システム、探索方法、およびプログラムに関する。
従来、所定の運行指令に従って移動する自律移動体に設けられた撮像手段から撮像された画像から人物像を検出し、検出した人物像が所定の探索条件に該当する探索対象者のものであるかどうかを判定する技術が知られている(例えば、特許文献1参照)。
特開2019-117449号公報
しかしながら、従来の技術では、自律移動体の撮像手段は常に起動し続けているため、撮影に抵抗があるユーザに不快感を与える可能性があった。また一方で、ユーザのために撮影を中止すると、データが集まらずに対象物が探索できない場合があった。
本発明の態様は、このような事情を考慮してなされたものであり、ユーザに不快感を与えることを抑制しながら、より効率的に対象物を探索することができる探索システム、探索方法、およびプログラムを提供することを目的とする。
この発明に係る探索システム、探索方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る探索システムは、所定エリア内を移動する一以上の搭乗型移動体と、前記搭乗型移動体を管理する移動体管理サーバとを含む探索システムであって、探索対象に関する情報の登録を受け付ける受付部と、前記受付部により前記探索対象に関する情報の登録が受け付けられた場合に、前記一以上の搭乗型移動体に搭載された撮像部を起動させる撮像制御部と、前記撮像部により撮像された前記搭乗型移動体の周囲の画像を取得する取得部と、前記取得部により取得された画像に前記探索対象が含まれているか否かを判定する判定部と、を備える探索システムである。
(2):上記(1)の態様において、前記撮像制御部は、前記撮像部を起動または停止させる場合に、前記撮像部が起動または停止することを示す情報を、前記撮像部が搭載された搭乗型移動体に搭乗するユーザに通知するものである。
(3):上記(1)または(2)の態様において、前記撮像制御部は、前記所定エリア内に存在する一以上の搭乗型移動体のうち、前記探索対象が存在すると推定されるエリア内に存在する搭乗型移動体の撮像部を起動させるものである。
(4):上記(1)~(3)のうち何れか一つの態様において、前記取得部は、前記搭乗型移動体の位置を取得し、前記撮像制御部は、前記判定部により前記画像に前記探索対象が含まれていると判定された場合に、前記取得部により取得された前記搭乗型移動体の位置情報に基づいて、前記探索対象の位置および前記撮像部により撮像された画像を含む情報を、前記探索対象の探索を依頼した依頼者に通知するものである。
(5):上記(4)の態様において、前記依頼者が搭乗型移動体に搭乗している場合、前記依頼者が搭乗している搭乗型移動体を前記探索対象の位置まで移動させる動作制御部を更に備えるものである。
(6):上記(5)の態様において、前記動作制御部は、前記探索対象が移動した場合、前記搭乗型移動体を前記探索対象に追従して移動させるものである。
(7):上記(4)~(6)のうち何れか一つの態様において、前記取得部は、前記搭乗型移動体に搭乗するユーザが所持する端末装置の位置情報を取得し、取得した位置情報を前記搭乗型移動体の位置情報とするものである。
(8):上記(1)~(7)のうち何れか一つの態様において、前記撮像制御部は、前記判定部により前記取得部により取得された画像に前記探索対象が含まれていると判定された場合に、前記搭乗型移動体の撮像部による撮像を停止させるものである。
(9):この発明の一態様に係る探索方法は、所定エリア内を移動する一以上の搭乗型移動体を管理する移動体管理サーバのコンピュータが、探索対象に関する情報の登録を受け付け、前記探索対象に関する情報の登録が受け付けられた場合に、前記一以上の搭乗型移動体に搭載された撮像部を起動させ、前記撮像部により撮像された前記搭乗型移動体の周囲の画像を取得し、取得した前記画像に前記探索対象が含まれているか否かを判定する、探索方法である。
(10):この発明の一態様に係るプログラムは、所定エリア内を移動する一以上の搭乗型移動体を管理する移動体管理サーバのコンピュータに、探索対象に関する情報の登録を受け付けさせ、前記探索対象に関する情報の登録が受け付けられた場合に、前記一以上の搭乗型移動体に搭載された撮像部を起動させ、前記撮像部により撮像された前記搭乗型移動体の周囲の画像を取得させ、取得された前記画像に前記探索対象が含まれているか否かを判定させる、プログラムである。
上記(1)~(10)の態様によれば、ユーザに不快感を与えることを抑制しながら、より効率的に対象物を探索することができる。
実施形態に係る探索システム1の構成図である。 ユーザ情報182の内容について説明するための図である。 移動体情報184の内容について説明するための図である。 探索情報186の内容について説明するための図である。 実施形態の端末装置200の構成図である。 実施形態の搭乗型移動体300の外観を示す斜視図である。 全方向移動車輪312の斜視図である。 搭乗型移動体300の全方向移動車輪312の動作の詳細について説明するための図である。 搭乗型移動体300の一例を示す構成図である。 探索システム1により実行させる処理の一例を示すシーケンス図である。 所定エリア内に存在する一以上の搭乗型移動体300のうち、カメラ318を起動させる搭乗型移動体300を選択することについて説明するための図である。 端末装置200のディスプレイに表示される画像IM10の一例を示す図である。 探索依頼者に探索対象を最終確認させるための画像IM20の一例を示す図である。 カメラによる撮像を停止することを通知する画像IM30の一例を示す図である。 探索依頼者を探索対象の位置まで移動させることについて説明するための図である。
以下、図面を参照し、本発明の探索システム、探索方法、およびプログラムの実施形態について説明する。以下の説明では、ユーザを搭乗させて所定エリア内を移動する搭乗型移動体と、搭乗型移動体を管理する移動体管理サーバとを含む探索システムについて説明する。所定エリアとは、例えば、テーマパークやレジャーランド、アミューズメントパーク、動物園、水族館、ショッピングモール等の所定の広さを有する施設のエリアである。また、所定エリアは、緯度経度等の位置情報によって指定された範囲内のエリアであってもよい。
[システム構成]
図1は、実施形態に係る探索システム1の構成図である。探索システム1は、例えば、移動体管理サーバ100と、一以上のユーザU1~Unの端末装置200-1~200-nと、ユーザU1~Unのそれぞれが搭乗する一以上の搭乗型移動体300-1~300-nとを備える。以下、一以上のユーザU1~Unのそれぞれを区別して説明する場合を除き、単に「ユーザU」と称して説明する。端末装置200-1~200-n、搭乗型移動体300-1~300-nについても同様に、「端末装置200」、「搭乗型移動体300」と称して説明する。移動体管理サーバ100と、端末装置200とは、例えば、ネットワークNWを介して互いに通信可能である。ネットワークNWは、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、電話回線、公衆回線、専用回線、プロバイダ装置、無線基地局等を含む。移動体管理サーバ100は、「探索装置」の一例である。また、端末装置200と、搭乗型移動体300とは、例えば、Wi-Fi(登録商標)、Bluetooth(登録商標)、その他の近距離無線通信の通信規格に基づいて互いに通信可能である。
移動体管理サーバ100は、搭乗型移動体300を利用するユーザUを管理したり、搭乗型移動体300の動作を制御する。また、移動体管理サーバ100は、搭乗型移動体300とユーザUの端末装置200とを対応付けて管理する。端末装置200は、例えば、ユーザUが所持しながら搭乗型移動体300に搭乗可能な携帯端末であり、具体的にはスマートフォンやタブレット端末である。端末装置200は、ユーザUが所有する端末装置である。搭乗型移動体300は、ユーザUを搭乗させて所定エリア内を移動する移動体である。搭乗型移動体300は、例えば、ユーザUが所定エリア内を移動するために探索システム1におけるサービス提供側から貸与される。例えば、搭乗型移動体300は、ユーザUを搭乗型移動体300のシート上に座らせた状態またはステップ上に立たせた状態で移動可能な車両、マイクロモビリティ、ロボット等である。搭乗型移動体300は、ユーザUによる操作に基づく動作指令または移動体管理サーバ100からの動作指令に基づいてユーザUを搭乗させた状態で所定エリア内を移動したり所定動作を実行する。所定動作とは、搭乗型移動体300の移動や、搭乗型移動体300に設けられたカメラ(撮像部の一例)による撮影(撮像)等である。以下では、所定エリアがテーマパークであるものとして説明する。
[移動体管理サーバ]
移動体管理サーバ100は、例えば、通信部110と、登録部120と、取得部130と、管理部140と、撮像制御部150と、動作制御部160と、記憶部180とを備える。登録部120と、取得部130と、管理部140と、撮像制御部150と、動作制御部160とは、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置等に装着されることで移動体管理サーバ100の記憶装置にインストールされてもよい。移動体管理サーバ100は、例えば、端末装置200とネットワークNWを介して互いに通信し、各種データを送受信するクラウドサーバとして機能してもよい。
記憶部180は、上記の各種記憶装置、或いはSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現されてよい。記憶部180には、例えば、ユーザ情報182、移動体情報184、探索情報186、プログラム、その他各種情報が格納される。また、記憶部180には、テーマパークの地図情報が格納されていてもよい。ユーザ情報182、移動体情報184、および探索情報186の詳細については後述する。
通信部110は、ネットワークNWを介して端末装置200、その他の外部装置と通信する。
登録部120は、探索システム1を利用するユーザUに関する情報を登録する。具体的には、登録部120は、端末装置200からユーザUに関する情報を受け付け、受け付けた情報を記憶部180のユーザ情報182に格納する。
図2は、ユーザ情報182の内容について説明するための図である。ユーザ情報182は、例えば、探索システム1の利用時等にユーザを認証する認証情報に、住所、氏名、年齢、性別、端末情報、および搭乗型移動体情報等が対応付けられた情報である。認証情報には、例えば、利用者を識別する識別情報であるユーザIDやパスワード等が含まれる。また、認証情報には、指紋情報や虹彩情報等の生体認証情報が含まれてもよい。端末情報には、例えば、ユーザUがテーマパーク内で所持する端末装置200を識別するための識別情報である端末IDや、電話番号、メールアドレス等が含まれる。搭乗型移動体情報には、例えば、ユーザUの端末装置200とBluetooth等を用いた近距離無線通信方式によって通信している搭乗型移動体を識別する識別情報である移動体IDが含まれる。移動体管理サーバ100は、端末情報に基づいて端末装置200と通信したり、搭乗型移動体情報に基づいて搭乗型移動体300を識別し、個別の動作指令を生成したりする。
例えば、登録部120は、端末装置200から利用者登録要求を受け付けた場合に、ユーザ情報182に含まれる各種情報を入力するための画像を生成して、要求を受け付けた端末装置200に表示させ、端末装置200から入力されるユーザ情報を取得する。
また、登録部120は、登録されたユーザ情報182に基づいて探索システム1のサービスを利用するユーザUの認証を行ってもよい。この場合、登録部120は、例えば、端末装置200からサービスの利用要求を受け付けたタイミングでユーザUの認証を行う。例えば、登録部120は、利用要求を受け付けた場合に、ユーザIDやパスワード等の認証情報を入力する認証画像を生成し、生成した画像を要求のあった端末装置200に表示させると共に、表示された画像を用いて入力された入力認証情報に基づいてユーザ情報182の認証情報を参照し、入力認証情報に合致する認証情報が格納されているか否かによって、サービス(探索システム1)の利用を許可するか否かを判定する。例えば、登録部120は、入力認証情報に合致する認証情報がユーザ情報182に含まれる場合にはサービスの利用を許可し、合致する情報が含まれていない場合にはサービスの利用を拒否するか、新規登録を行わせるための処理を行う。
取得部130は、ユーザUが搭乗している搭乗型移動体300に関する情報を取得する。例えば、取得部130は、端末装置200が搭乗型移動体300とBluetooth等の近距離通信方式で通信している場合に、端末装置200から通信中の搭乗型移動体300の識別情報(例えば、移動体ID)と、端末装置200の識別情報(端末ID)と、ユーザIDとを取得する。そして、取得部130は、ユーザIDに基づいてユーザ情報182のユーザIDを参照し、合致するユーザIDに対応付けられている端末情報および搭乗型移動体情報に、端末IDと、移動体IDを格納する。これにより、移動体管理サーバ100は、搭乗型移動体300の利用状況を管理することができる。
また、取得部130は、所定のタイミング(例えば、所定周期)で搭乗型移動体300の位置情報を取得する。例えば、取得部130は、搭乗型移動体300と近距離通信方式で通信している端末装置200から端末装置200の位置情報を取得し、取得した位置情報を搭乗型移動体300の位置情報として取得する。また、取得部130は、取得した位置情報を移動体情報184として記憶部180に格納する。
図3は、移動体情報184の内容について説明するための図である。移動体情報184は、例えば、移動体IDに、ユーザIDと、位置情報とが対応付けられた情報である。移動体情報184に格納される位置情報は、例えば、緯度経度でもよく、所定エリア(テーマパーク)内でさらに細分化された特定エリア(例えば、冒険エリア、パークエリア、ショッピングエリアの地点)でもよい。
また、取得部130は、搭乗型移動体300に設けられたカメラにより撮像された搭乗型移動体300の周囲の画像(例えば、所定時間ごとの静止画または動画)を取得する。
管理部140は、取得部130により取得された情報に基づいて、所定エリア内の搭乗型移動体300の位置や動作、ユーザUによる利用状況を管理する。また、管理部140は、搭乗型移動体300のカメラの起動や停止を管理してもよい。管理部140は、例えば、受付部142と、判定部144とを備える。受付部142は、テーマパーク内における探索対象物の登録を受け付け、受け付けた情報を探索情報186として記憶部180に格納する。
図4は、探索情報186の内容について説明するための図である。探索情報186には、探索対象と、特徴情報と、画像情報と、場所・時間情報等とが対応付けられている。探索対象には、例えば、エリア内で迷子になった人物(例えば、子供、高齢者)や動物(例えば、犬、猫)、紛失物(例えば、スーツケース、鞄、財布、傘)等が含まれる。特徴情報は、探索対象を特定するための外形、外観を含む情報である。例えば、探索対象が人である場合、特徴情報は、性別、身長、年齢、服装、髪型、帽子や眼鏡を着用しているか否か等の複数の特徴要素(項目)を含む情報であり、探索対象がスーツケース等の物体の場合には、物体の大きさや色、メーカー等の複数の特徴要素を含む情報である。また、探索対象の画像情報が存在する場合、管理部140は、画像情報から特徴情報を生成してもよい。この場合、管理部140は、取得した探索対象の画像に対して周知の画像処理(例えば、二値化処理、エッジ検出処理、クラスタリング処理、画像特徴量抽出処理等)を行って、探索対象部分に対する特徴情報を生成する。場所・時間情報には、見失った(または紛失した)場所や時間に関する情報が格納される。
なお、上述した探索情報186に含まれる情報は、例えば、テーマパーク内での探索対象の探索を依頼する依頼者(以下、探索依頼者と称する)が所有する端末装置200から登録されてもよい。この場合、管理部140は、探索情報186の各項目に格納される情報を取得するための問い合わせ情報を生成して、探索依頼者の端末装置200に送信し、探索依頼者から回答を取得する。これにより、探索に有効な情報を取得することができる。
判定部144は、取得部130により取得された画像に探索対象が含まれているか否かを判定する。例えば、取得部130により取得されたカメラが撮像した周囲の画像(撮像画像)の解析によって得られる特徴情報と、探索対象の特徴情報との合致度合に基づいて、撮像画像に探索対象が含まれるか否かを判定する。合致度合は、例えば、特徴情報に含まれる複数の特徴要素のうち、一致する要素がどのぐらいあるかによって導出されてもよく、特徴要素ごとまたは特徴情報全体の類似度によって導出されてもよい。また、合致度合は、例えば、それぞれの要素ごとの差分の合計に基づいて導出されてもよい。また、合致度合は、機械学習(ニューラルネットワーク)や深層学習(ディープラーニング)等のAI(人工知能:Artificial Intelligence)による機能を用いて、比較される二つの情報から導出されてもよく、他の手法を用いて導出されてもよい。
撮像制御部150は、管理部140により探索対象に関する情報が受け付けられた場合に、探索対象の位置情報等に基づいてテーマパーク内に存在する一以上の搭乗型移動体300のうち、カメラ(撮像部の一例)を動作させる搭乗型移動体300を選定する。また、選定された搭乗型移動体300に搭載されたカメラを動作させ、搭乗型移動体300の周囲の画像を撮像させる。なお、撮像制御部150は、カメラが撮像する方向を、特定方向(例えば、搭乗型移動体300の正面方向)に限定する制御を行ってもよい。また、撮像制御部150は、周囲が暗い(または暗い時間帯である)場合に、撮像時に搭乗型移動体300に搭載された発光部を発光させて周囲を明るくさせる制御を行ってもよい。また、撮像制御部150は、管理部140の制御により撮像中のカメラを停止させる制御を行ってもよい。
動作制御部160は、撮像制御部150により撮像対象となった所定エリア内に存在する搭乗型移動体300に所定の動作を実行させたり、実行を停止(終了)するための情報(動作制御情報)を生成し、生成した情報を端末装置200に送信する。所定の動作とは、搭乗型移動体300を移動させたり、搭乗型移動体300のカメラを起動させたり、発光部を発光(点灯、点滅)させたり、音を出力させる動作のうち少なくとも一つである。また、動作制御部160は、動作制御情報に加えて(または代えて)、エリア(テーマパーク)の地図情報等を端末装置200に送信してもよい。
また、動作制御部160は、搭乗型移動体300のカメラを起動または停止させる場合に、カメラが起動または停止することを示す情報を生成し、生成した情報を端末装置200に送信して、そのカメラが搭載された搭乗型移動体300に搭乗するユーザUに通知してもよい。
[端末装置]
次に、端末装置200の構成について説明する。図5は、実施形態の端末装置200の構成図である。端末装置200は、例えば、端末側通信部210と、入力部220と、出力部230と、位置情報取得部240と、アプリ実行部250と、出力制御部260と、端末側記憶部270とを備える。位置情報取得部240と、アプリ実行部250と、出力制御部260とは、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置やカードスロット等に装着されることで端末装置200の記憶装置にインストールされてもよい。アプリ実行部250および出力制御部260は「通知部」の一例である。
端末側記憶部270は、上記の各種記憶装置、或いはEEPROM、ROM、RAM等により実現されてもよい。端末側記憶部270には、例えば、移動体管理アプリ(探索アプリ)272、プログラム、その他各種情報が格納される。
端末側通信部210は、例えば、ネットワークNWを利用して、移動体管理サーバ100、搭乗型移動体300、その他の外部装置と通信を行う。また、端末側通信部210は、例えば、Wi-Fi、Bluetooth、DSRC(Dedicated Short Range Communication)、その他の通信規格に基づいて無線通信を行ったり、搭乗型移動体300との間で近距離通信(NFC;Near Field Communication)を実行する近距離通信機能を備えてもよい。
入力部220は、例えば、各種キーやボタン等の操作によってユーザUの入力を受け付ける。また、入力部220は、マイク等の音声入力部を備え、音声入力部によりユーザUの音声や端末装置200の周囲の音を入力してもよい。出力部230は、ユーザUに情報を出力する。出力部230は、例えば、ディスプレイ(表示部)やスピーカ(音声出力部)である。ディスプレイは、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)ディスプレイ等である。入力部220は、タッチパネルとしてディスプレイと一体に構成されていてもよい。ディスプレイは、出力制御部260の制御により、実施形態における各種情報を表示する。スピーカは、例えば、出力制御部260の制御により、所定の音(音声、音楽、警告音、効果音等)を出力する。
位置情報取得部240は、例えば、内蔵されたGPS(Global Positioning System)装置(不図示)により端末装置200の位置情報を取得する。位置情報には、例えば、緯度経度が含まれる。
アプリ実行部250は、端末側記憶部270に記憶された移動体管理アプリ272が実行されることで実現される。移動体管理アプリ272は、例えば、ネットワークNWを介して外部装置からダウンロードしたものが端末装置200にインストールされている。移動体管理アプリ272は、ユーザUに対して、移動体管理サーバ100から提供された画像をディスプレイに表示させて通知したり、移動体管理サーバ100から提供された情報に対応する音声をスピーカから出力させて通知するように、出力制御部260を制御するアプリケーションプログラムである。
アプリ実行部250は、入力部220により入力された情報や端末側記憶部270に記憶されている情報等を、端末側通信部210を介して移動体管理サーバ100や搭乗型移動体300に送信する。入力部220により入力された情報には、例えば、ユーザUの登録や認証に関する情報等が含まれる。また、アプリ実行部250は、移動体管理サーバ100から得られた情報(動作制御情報)や端末装置200の位置情報、地図情報等をユーザUが搭乗している搭乗型移動体300に送信したり、搭乗型移動体300から得られた情報をユーザIDや位置情報と共に移動体管理サーバ100に送信したりする。
出力制御部260は、アプリ実行部250の制御により、出力部230のディスプレイに表示させる画像の内容や表示態様、スピーカに出力させる音声の内容や出力態様を制御する。
[搭乗型移動体]
次に、搭乗型移動体300について説明する。図6は、実施形態の搭乗型移動体300の外観を示す斜視図である。図6において、搭乗型移動体300の幅方向をx方向、前後方向をy方向、上下方向をz方向という。搭乗型移動体300の前方向は、y軸の正方向(紙面奥側から紙面手前側に向かう方向、以下+y軸方向という。)であり、後方向はy軸の負方向(紙面手前側から紙面奥側に向かう方向、以下-y軸方向という。)である。
図6に示す搭乗型移動体300は、例えば、基体310と、全方向移動車輪312と、シート313と、ステップ314とを備える。基体310は、例えば樹脂製のカバーパネル等で内部が覆われている。基体310の内部の構成については後述する。
図7は、全方向移動車輪312の斜視図である。全方向移動車輪312は、大径車輪312Aと、小径車輪312Bと、旋回用車輪312Cと、第1モータMT1と、第2モータMT2と,第3モータMT3を備える。大径車輪312Aは、x軸回りに回転可能な車輪である。大径車輪312Aは、第1モータMT1により回転させられる。
小径車輪312Bは、大径車輪312Aの幅方向中央断面における半径方向の直線に直交する軸回りに回転可能な車輪である。全方向移動車輪312は、複数の小径車輪312Bを備えている。複数の小径車輪312Bは、大径車輪312Aの周方向に沿って互いに略等間隔で配置されている。複数の小径車輪312Bは、第2モータMT2により一斉に回転させられる。
旋回用車輪312Cは、y軸回りに回転可能な車輪である。旋回用車輪312Cは、大径車輪312Aよりも小径である。旋回用車輪312Cは、第3モータMT3により回転させられる。全方向移動車輪312は、大径車輪312A、小径車輪312B、または旋回用車輪312Cのうち少なくともいずれか1つを回転させることにより、搭乗型移動体300を移動させる。全方向移動車輪312の動作の詳細については、後述する。
シート313は、基体310の上方に取り付けられている。シート313は、搭乗型移動体300に搭乗するユーザUが着座する部材である。ステップ314は、基体310の前方下部に取り付けられる。ステップ314は、ユーザUが脚部を載置する部材である。シート313およびステップ314は、幅および高さを調整可能である。
また、搭乗型移動体300には、ランプ等の発光部316や、音声を出力するスピーカ317等を備えていてもよい。発光部316は、一または複数の所定の色による点灯または点滅が可能である。スピーカ317は、所定の音(音声、音楽、警告音、効果音等)を出力する。なお、発光部316およびスピーカ317は、それぞれが搭乗型移動体300の任意の箇所に一以上取り付けられていればよく、図6に示す取り付け位置に限定されるものではない。
また、搭乗型移動体300には、カメラ(撮像部の一例)318が設けられていてもよい。カメラ318は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ318は、例えば、周期的に繰り返し搭乗型移動体300の周辺(少なくとも搭乗型移動体300の前方を含む周囲)を撮像する。カメラ318は、ステレオカメラであってもよく、暗視カメラ(night vision camera)を備えていてもよい。なお、カメラ318は、搭乗型移動体300の任意の箇所に一以上取り付けられていればよく、図6に示す位置に限定されるものではない。
続いて、搭乗型移動体300の全方向移動車輪312の動作の詳細について説明する。図8は、搭乗型移動体300の全方向移動車輪312の動作の詳細について説明するための図である。全方向移動車輪312は、搭乗型移動体300が旋回等の予備動作を行うことなく現在位置から直ちに任意方向(360度の全方向)に進み出すことを可能にする車輪である。全方向移動車輪312は、例えば、前輪としての大径車輪312Aと、後輪としての旋回用車輪312Cとを備え、前輪の大径車輪312Aの接地部(径方向の縁の部分)に複数の小径車輪312Bを備える。
大径車輪312Aは、主に前後方向への直進移動を実現する車輪である。小径車輪312Bは、大径車輪312Aの回転方向(円周方向)を軸として回転することにより、主にその場での横方向の移動を実現する車輪である。一方、後輪の旋回用車輪312Cは、大径車輪312Aよりも径が小さく、大径車輪312Aの回転軸に直交する回転軸で回転することにより、主に旋回移動を実現する車輪である。
全方向移動車輪312は、上述した大径車輪312A、小径車輪312B、および旋回用車輪312Cの回転をそれぞれ独立して制御可能なモータMT1~MT3を備える。このような構成により、全方向移動車輪312は、前後移動に加えて、前・後輪の横方向への移動速度差を利用することで、真横や斜め等、様々な方向に動くだけでなく、曲がることやその場での旋回といった機敏な動きも実現することができる。
ここで、搭乗型移動体300の前方向は図8におけるy軸の正方向(紙面奥側から紙面手前側に向かう方向、以下+y軸方向という。)であり、後方向はy軸の負方向(紙面手前側から紙面奥側に向かう方向、以下-y軸方向という。)である。例えば、図8の動作例M1(前進・後進)に示すように、全方向移動車輪312は、大径車輪312Aを矢印A1の方向に回転させることによって前進し、矢印A2の方向に回転させることによって後進する。
また、図8の動作例M2(左右移動)に示すように、全方向移動車輪312は、小径車輪312Bを矢印A3の方向に回転させることにより向きを変えずにその場で左方向に移動することができる。この場合、旋回用車輪312Cは、左右方向の移動に応じて矢印A4方向に自然回転するように構成されてもよいし、小径車輪312Bの回転量に応じて矢印A4方向に回転するように制御されてもよい。また、全方向移動車輪312は、小径車輪312Bを矢印A3と逆方向に回転させることにより向きを変えずにその場で右方向に移動することができる。なお、ここでいう左方向は、図6における左方向であり、x軸の負方向(-x軸方向)に対応し、右方向は、図6における右方向であり、x軸の正方向(+x軸方向)に対応する。なお、複数の小径車輪312Bは、全ての車輪が同時に回転するように構成されてもよいし、接地部の車輪のみが回転するように構成されてもよい。
図8の動作例M3(その場旋回)に示すように、全方向移動車輪312は、旋回用車輪312Cを矢印A5の方向に回転させることにより大径車輪312Aの接地点P1を中心としてその場で矢印A6方向に旋回することができ、矢印A5と逆方向に回転させることにより矢印A6と逆方向にその場で旋回することができる。
図8の動作例M4(旋回走行)に示すように、全方向移動車輪312は、大径車輪312Aを矢印A7方向に回転させ、旋回用車輪312Cを矢印A8方向に回転させることにより、矢印A9の方向に旋回しながら前進することができる(旋回走行)。また、全方向移動車輪312は、大径車輪312Aを矢印A7と逆方向に回転させ、旋回用車輪312Cを矢印A8方向に回転させることにより、矢印A9の逆方向に旋回しながら後進することができる。またこの例において、全方向移動車輪312は、旋回用車輪312Cを矢印A8と逆方向に回転させることにより、旋回中心を右側にとりながら前進または後進することができる。
なお、全方向移動車輪312の実現方法は図8の方法に限定されない。全方向移動車輪312は任意の既存技術で実現されてよい。また、搭乗型移動体300は、1つの全方向移動車輪312を備えてもよいし、複数の全方向移動車輪312を備えてもよい。さらに、搭乗型移動体300は、全方向移動車輪312に加えて、通常の車輪を補助的な車輪として備えてもよい。
次に、搭乗型移動体300の機能構成について説明する。図9は、搭乗型移動体300の一例を示す構成図である。搭乗型移動体300は、例えば、通信装置320と、センサ340と、制御装置350とを備える。通信装置320、センサ340、および制御装置350は、例えば基体310内に設けられている。搭乗型移動体300は、基体310の他、例えば、全方向移動車輪312と、シート313と、ステップ314と、発光部316と、スピーカ317と、カメラ318とを備える。
通信装置320は、例えば、Wi-Fi、Bluetooth、DSRC、その他の通信規格に基づいて無線通信を行う。通信装置320は、端末装置200により送信される電気信号を受信し、制御装置350に出力する。通信装置320は、制御装置350により出力される電気信号を端末装置200送信する。通信装置320に代えて(または加えて)、端末装置200との間で近距離通信(NFC)を実行する近距離通信機能を備えてもよい。
センサ340は、例えば、着座センサ341と、周囲センサ342と、加速度センサ343と、角速度センサ344とを備える。着座センサ341は、ユーザU(搭乗者)がシート313に着座しているか否かの着座状態を検知する。着座センサ341は、ユーザUの着座状態を示す着座信号を制御装置350に出力する。
周囲センサ342は、搭乗型移動体300の周辺における物体を検出するセンサである。また、周囲センサ342は、例えば、検出した物体と搭乗型移動体300の間の距離を検出する。周囲センサ342は、検出した物体及び検出した物体の搭乗型移動体300の間の距離に関する周辺物体信号を制御装置350に出力する。周囲センサ342は、例えば、超音波を媒体とした超音波センサでもよいし、光を媒体とした光センサでもよいし、搭乗型移動体300の周辺の画像を撮像する画像センサでもよい。画像センサは、カメラ318と一体に構成されていてもよい。
加速度センサ343は、基体310またはシート313の一以上の任意の箇所に取り付けられる。加速度センサ343は、取り付け箇所に作用する加速度を検出して制御装置350に出力する。角速度センサ(ジャイロセンサ)344は、基体310またはシート313の一以上の任意の箇所に取り付けられる。角速度センサ344は、取り付け箇所に作用する角速度を検出して制御装置350に出力する。
制御装置350は、通信装置320およびセンサ340から得られる情報等に基づいて、搭乗型移動体300の動作を制御する。制御装置350は、例えば、認証処理部360と、指令生成部370と、モータ制御部380と、出力制御部390と、撮像制御部395とを備える。認証処理部360は、例えば、認証部361と、解除部362とを備える。指令生成部370は、例えば、判定部371と、検知部372と、生成部373と、重心推定部374と、バランス制御部375とを備える。
これらの構成要素は、例えば、CPU等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSIやASIC、FPGA、GPU等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め搭乗型移動体300に設けられるHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることで記憶装置にインストールされてもよい。記憶装置には、自車に付与された移動体IDや端末装置200から得られる端末IDや、位置情報、地図情報、動作指令等が記憶されていてもよい。
認証部361は、搭乗型移動体300に搭乗する(または搭乗している)ユーザUの認証を行う。認証部361は、Bluetooth等を用いて周辺(所定距離以内)に存在する端末装置200と近距離通信を行い、最初に通信が確立された端末装置200または最も近い端末装置200により、端末装置200に関する情報(例えば、端末IDやユーザID)を取得し、取得した情報に基づいて端末装置200を所持するユーザUに使用権を設定する。なお、認証部361は、例えば、着座センサ341によりユーザUがシート313に着座していると判定された場合に、上記の認証を行ってもよい。使用権が設定されている状態では、端末装置200と搭乗型移動体300とは通信中の状態になる。認証部361は、一人のユーザUに使用権が設定されている場合(使用権が解除されていない場合)には、他の端末装置200との通信を行わない(つまり、複数のユーザに同時に使用権は設定されない)。
解除部362は、ユーザUが搭乗型移動体300から離れた後の経過時間を計測する。解除部362は、ユーザUが搭乗型移動体300から離れて所定時間が経過した後に、解除条件が満たされたとしてユーザUの搭乗型移動体300に対する使用権を解除する。所定時間は一定でもよいし、特定の条件により変動する時間でもよい。特定の条件は、例えば、搭乗型移動体300の停車位置、時間帯、ユーザUと一緒にテーマパーク内の特定エリアを訪れた人数、家族や友人等の人間関係等でよい。解除条件は、その他の条件でもよい。例えば、ユーザUが使用権を解除する意思を示す操作をし、その操作に応じた信号を解除部362が取得したことを解除条件としてもよい。
指令生成部370は、例えば、搭乗型移動体300に対する動作制御や出力制御の指令を生成する。判定部371は、着座センサ341により出力される着座信号に基づいて、ユーザUが着座しているか否かを判定する。また、判定部371は、着座信号により、ユーザUがシート313に着座していると判定した後に、シート313に着座していないと判定された場合に、ユーザUが搭乗型移動体300から離れたと判定してもよい。
検知部372は、搭乗型移動体300に対するユーザUの操作内容および端末装置200から取得された動作制御情報を検知する。また、検知部372には、周囲センサ342により検出された搭乗型移動体300の周囲の状況を検出してもよい。周囲の状況とは、例えば、周囲に存在する他の搭乗型移動体300や、地図情報および端末装置200の位置情報に基づいてテーマパーク内のどの位置にいるか等に関する情報である。
生成部373は、搭乗型移動体300に対する各種指令を生成する。例えば、生成部373は、端末装置200から取得された移動体管理サーバ100からの動作制御情報に基づいて、撮像制御部395によりカメラ318を起動させたり、撮像を停止させるための指令を生成し、生成した指令を撮像制御部395に出力する。また、生成部373は、動作制御情報に基づいて、発光部316により所定色の光を点灯または点滅させるための指令や、スピーカによって所定の音(音声、楽器音、警報)を出力させるための指令を生成し、生成した指令を出力制御部390に出力する。また、生成部373は、動作制御情報に基づき、ユーザUの操作によらずに搭乗型移動体300を移動させるための指令を生成し、生成した指令をモータ制御部380に出力する。
重心推定部374およびバランス制御部375は、主に搭乗型移動体300にユーザUが搭乗しているときに機能する。重心推定部374は、加速度センサ343および角速度センサ344の出力に基づいて、搭乗型移動体300に搭乗したユーザU、基体310、シート313を含む物体の重心を推定する。
バランス制御部375は、重心推定部374により推定された重心の位置を、基準位置(静止状態における重心位置)に戻す方向の制御情報(動作指令)を生成する。例えば、バランス制御部375は、重心の位置が基準位置よりも右後方に偏している場合、右後方に向かう加速度を指示する情報(指令)を生成する。また、ユーザUによる操作(アクション指令)が加速前進であり、重心の位置が基準位置よりも後ろである場合、バランス制御部375は、加速前進によって重心の位置が更に後ろに偏しないように加速度を抑制してもよいし、一度後退して重心の位置を前に誘導してから加速前進を開始してもよい。指令生成部370は、バランス制御部375により生成された制御(指令)を、モータ制御部380に出力する。
モータ制御部380は、指令生成部370により出力された制御情報に基づいて、全方向移動車輪312に取り付けられた各モータを個別に制御する。例えば、モータ制御部380では、搭乗型移動体300にユーザUが搭乗している場合と搭乗型移動体300からユーザUが搭乗(着座)しているときと搭乗していないときで異なる制御を実行してもよい。
搭乗型移動体300にユーザUが搭乗している場合には、このような制御によって、搭乗型移動体300に搭乗するユーザUは、自身の体勢変化によって重心を所望の方向に動かすことにより、搭乗型移動体300を所望の方向に移動させることができる。つまり、搭乗型移動体300は、ユーザUの重心移動を、搭乗型移動体300に対する操縦操作として認識し、操縦操作に応じた移動動作を行う。
出力制御部390は、指令生成部370により出力された制御情報に基づいて、発光部316により所定の色で点灯または点滅させたり、スピーカ317により所定の音(音声、音楽、警告音、効果音等)を出力させたりする。
撮像制御部395は、カメラ318の起動や停止を制御する。また、撮像制御部395は、カメラ318により撮像された画像を、通信装置320を介して端末装置200に送信する。
なお、搭乗型移動体300により実行される機能は、内部に搭載されたバッテリ(不図示)から供給される電力によって実行される。バッテリは、搭乗型移動体300の外部に設けられた充電装置によって充電されてもよく、他のバッテリと交換できるように着脱自在であってもよい。また、バッテリは、全方向移動車輪312のモータにより回生される電気を充電することもできる。
[探索システムにより実行される処理]
次に、探索システム1により実行される処理について説明する。図10は、探索システム1により実行させる処理の一例を示すシーケンス図である。図10の例では、説明の便宜上、一つの移動体管理サーバ100と、端末装置200と、搭乗型移動体300とを用いて説明するが、条件を満たす他の端末装置および搭乗型移動体300についても同様の処理が実行される。また、図10の例では、端末装置200と移動体管理サーバ100との間で認証処理が実施され、端末装置200のユーザUに対して、探索システム1が提供するサービスを利用する許可が得られているものとする。
図10の例において、ユーザUが搭乗型移動体300に搭乗した場合、端末装置200は、Bluetooth等を用いた近距離通信により搭乗型移動体300と通信を行い(ステップS100)、通信が確立した場合(利用が許可された場合)に、搭乗型移動体300の識別情報(移動体ID)を取得する(ステップS102)。次に、端末装置200の位置情報取得部240は、端末装置200の位置情報を取得する(ステップS104)。次に、端末装置200は、取得した位置情報と、端末IDと、移動体IDとを移動体管理サーバ100に送信する(ステップS106)。移動体管理サーバ100は、端末装置200により取得した端末装置200の位置情報を搭乗型移動体300の位置情報として管理する(ステップS108)。ステップS104~S108の処理は、端末装置200と搭乗型移動体300とが近距離通信で接続されている間、所定周期で繰り返し実行されてもよい。
次に、移動体管理サーバ100の受付部142は、探索依頼者から探索対象に関する情報を受け付ける(ステップS110)。次に、撮像制御部150は、受け付けた情報に基づいて、カメラを起動させる搭乗型移動体を選定する(ステップS112)。
図11は、所定エリア内に存在する一以上の搭乗型移動体300のうち、カメラ318を起動させる搭乗型移動体300を選択することについて説明するための図である。図11の例では、所定エリアAR10内に存在する複数の搭乗型移動体300を概略的に示している。以下では、所定エリアAR10がテーマパークであり、探索対象が迷子の子供(図中の人物P11~P13のうちの人物P12)であるものとして説明する。所定エリアAR10は、テーマの内容や種類等によって更に細分化された分割エリア(大きさが所定エリアAR10未満の特定エリア)が存在する。図11の例では、エリアAR10内に2つの分割エリアAR11、AR12を有する。
動作制御部160は、探索対象に関する情報(探索情報186)に含まれる場所・時間情報や特徴情報に基づいて、カメラ318を起動させる搭乗型移動体300を選定する。例えば、子供が分割エリアAR12で迷子になった場合、動作制御部160は、分割エリアAR12内に迷子が存在すると推定し、分割エリアAR12に存在する搭乗型移動体300-2、300-3を、カメラ318を起動させる対象として選定する。また、特徴情報に迷子の子供が女の子である場合、動作制御部160は、女の子が好むテーマに対応する分割エリア(例えば、プリンセスエリア)に女の子が存在すると推定し、そのエリアに存在する搭乗型移動体300をカメラ318と起動させる対象として選定してもよい。また、場所・時間情報に含まれる見失った時間から所定時間以上経過した場合、動作制御部160は、エリアAR10内に存在する全ての搭乗型移動体300-1~300-3を、カメラ318を起動させる対象として選定する。
図10に戻り、移動体管理サーバ100は、選定した搭乗型移動体300のカメラ318を起動させるための起動指令を含む動作制御情報を生成し(ステップS114)、生成した動作制御情報を選定した搭乗型移動体300が通信している端末装置200に送信する(ステップS116)。なお、ステップS116の処理において、移動体管理サーバ100は、起動指令に加えて、探索対象に関する情報(例えば、特徴情報)やカメラ318を起動させることをユーザUに通知するための情報、テーマパークの地図情報等を送信してもよい。
端末装置200は、移動体管理サーバ100から送信された動作制御情報等を受信して、受信した情報を通信中の搭乗型移動体300に送信する(ステップS118)。また、端末装置200は、カメラ318を起動するための動作制御情報を受信した場合に、カメラ318を起動させることをユーザUに通知する画像を生成し、生成した画像をディスプレイに表示させてユーザUに通知する(ステップS120)。図12は、端末装置200のディスプレイに表示される画像IM10の一例を示す図である。画像IM10には、例えば、カメラ318を起動させることを示す情報が含まれる。図12の例では、画像IM10に「探索依頼があったため、一時的にカメラを起動します。」といった文字情報が表示されている。画像IM10を表示してユーザUに通知することで、カメラ318を起動する目的や用途をユーザUに知らせることができ、無断で撮像が開始されることがないため、ユーザUの不快感を緩和させることができる。
また、画像IM10には、ユーザUに探索対象に関する情報を通知するためのアイコンIC11が表示されていてもよい。アイコンIC11が選択された場合、移動体管理サーバ100から送信された探索対象に関する情報(例えば、特徴情報や画像情報)を表示させる。これにより、撮像させるだけでなく、ユーザUにも目視によって探索対象を探してもらうことができ、より効率的に探索対象を見つけることができる。また、画像IM10には、アイコンIC11に代えて(または加えて)、ユーザUがカメラ318の起動を拒否するためのアイコンIC12が表示されていてもよい。例えば、ユーザUがどうしても現在の場所や状況での撮像を拒否したい場合(例えば、トイレにいる場合や買い物で財布を出している場合)には、アイコンIC12を選択して撮像を拒否する。この場合、端末装置200は、移動体管理サーバ100および搭乗型移動体300にカメラ318の起動を中止することを示す情報が送信され、カメラ318の起動(撮像)が中止される。これにより、ユーザUの意思によってカメラの起動を中止させることができる。以下では、ユーザUによりアイコンIC12が選択されていない場合について説明する。
図10に戻り、搭乗型移動体300は、端末装置200からのカメラ起動指令に基づいてカメラを起動し(ステップS122)、搭乗型移動体300の周囲の撮像を開始する(ステップS124)。なお、周囲の撮像は、搭乗型移動体300の移動中であっても、停止中であっても実行される。次に、搭乗型移動体300は、撮像した画像(以下、撮像画像と称する)を、端末装置200に送信する(ステップS126)。端末装置200は、受信した撮像画像を、端末装置200の現在位置および時刻の情報と共に、移動体管理サーバ100に送信する(ステップS128)。
移動体管理サーバ100の判定部144は、受信した撮像画像の画像解析を行い、画像に含まれる物体ごとの特徴情報を取得し、取得した特徴情報と、探索対象の特徴情報との合致度合に基づいて、撮像画像に探索対象が含まれるか否かを判定する(ステップS130)。例えば、判定部144は、特徴情報の合致度合が閾値以上である場合に、撮像画像に探索対象が含まれていると判定し、閾値未満である場合に、撮像画像に探索対象が含まれていないと判定する。以下では、判定部144により撮像画像に探索対象が含まれていると判定されたものとして説明を続ける。
撮像画像に探索対象が含まれていると判定された場合、移動体管理サーバ100は、探索依頼者に最終的な確認をさせるための情報を生成し、生成した情報を探索依頼者の端末装置等に出力して通知する(ステップS132)。
図13は、探索依頼者に探索対象を最終確認させるための画像IM20の一例を示す図である。画像IM20には、例えば、文字情報表示領域AR21と、撮像画像表示領域AR22と、スイッチ表示領域AR23とが含まれる。文字情報表示領域AR21には、探索対象に対する問い合わせ情報に関する情報が表示される。図13の例において、文字情報表示領域AR21には、「探索対象は、この人ですか?」という文字情報が表示されている。
撮像画像表示領域AR22には、探索対象が含まれていると判定された撮像画像IM21と、撮像画像を撮像した時間および場所に関する情報が表示されている。図13の例では、撮影時間として15時20分が表示され、撮影場所として端末装置200の位置情報に対応付けられたエリアAR12が表示されている。スイッチ表示領域AR23には、例えば、画像IM21に探索対象が含まれていることを示すアイコンIC21と、画像IM21に探索対象が含まれていないことを示すアイコンIC22とが含まれる。探索依頼者によりアイコンIC21が選択された場合、画像IM21に探索対象が含まれていることを示す情報が移動体管理サーバ100に通知され、アイコンIC22が選択された場合、画像IM21に探索対象が含まれていないことを示す情報が移動体管理サーバ100に通知される。画像IM21に探索対象が含まれていない場合には、その後の判定によって、新たに撮像画像に探索対象が含まれていると判定された場合に、同様の通知が行われる。上述の処理は、画像IM21に探索対象が含まれている場合または探索依頼を受け付けてから所定時間が経過するまで繰り返し実行される。
また、画像IM21に探索対象が含まれている場合(アイコンIC21が選択された場合)、移動体管理サーバ100は、カメラ318による撮像を停止させる停止指令を含む動作制御情報を生成し(ステップS134)、生成した動作制御情報を、カメラ318を停止させる搭乗型移動体300と通信中の端末装置200に送信する(ステップS136)。端末装置200は、動作制御情報等を受信して通信中の搭乗型移動体300に送信する(ステップS138)。また、端末装置200は、カメラ318が停止することを示す情報をディスプレイに表示してユーザUに通知する(ステップS140)。
図14は、カメラによる撮像を停止することを通知する画像IM30の一例を示す図である。図14の例において、画像IM30には、探索対象が無事に見つかりましたので、カメラを停止します。」という文字情報が表示されている。画像IM30による通知を行うことで、ユーザUに、探索対象が見つかったことによる安堵感を与えることができると共に、カメラによる撮像が停止されるため、カメラ動作による不快感を抑制することができる。
図10に戻り、搭乗型移動体300は、停止指令を含む動作制御情報を受信して、カメラによる撮像を停止させる(ステップS142)。これにより、本シーケンスの処理は、終了する。なお、上述したステップS120、S132、S140による通知は、画像に代えて(または加えて)、通知する情報の一部または全部を音声で行ってもよい。
上述した処理により、探索依頼者は、探索対象が見つかった場合に、画像IM20に表示される撮影(撮像)場所に向かって移動することで、探索対象を直接見つけることができる。なお、探索依頼者が搭乗型移動体300に搭乗している場合、移動体管理サーバ100は、探索依頼者が搭乗する搭乗型移動体300を探索対象が見つかったエリアまで移動させるための動作制御情報を生成し、生成した動作制御情報を探索依頼者の端末装置200に送信してもよい。
図15は、探索依頼者を探索対象の位置まで移動させることについて説明するための図である。図15の例において、ユーザU4は、探索依頼者であり、搭乗型移動体300-4に搭乗し、搭乗型移動体300-4と通信中の端末装置200-4を所持しているものとする。このような場面について、移動体管理サーバ100は、撮像画像IM21を撮像した搭乗型移動体300-2に搭乗するユーザU2が所持する端末装置200-2の位置に向かって搭乗型移動体300-4を移動させる動作制御情報を生成し、生成した動作制御情報を、端末装置200-4を介して搭乗型移動体300-4に送信する。これにより、搭乗型移動体300-4は、探索対象(図15の例では人物P12)がいる付近に移動することができる。
なお、移動体管理サーバ100または端末装置200-4は、搭乗型移動体300-4を探索対象がいる付近に移動させている場合に、探索対象の位置まで移動させていることを示す画像を生成して、端末装置200-4のディスプレイに表示させてもよい。また、移動体管理サーバ100または端末装置200-4は、地図情報に探索対象が見つかった位置をプロットした画像や、搭乗型移動体300-4の現在位置から探索対象が見つかった位置までの経路に関する画像を生成して、端末装置200-4のディスプレイに表示させてもよい。これにより、探索依頼者は、探索対象までの距離等をより正確に取得することができる。
また、図15に示すように探索対象(人物P12)が移動する場合、移動体管理サーバ100は、撮像画像IM21を撮像した搭乗型移動体300-2に、探索対象を追従させる動作指令を生成して、搭乗型移動体300-2に送信してもよい。これにより、探索対象を再び見失うことなく、搭乗型移動体300-4は、探索対象付近に移動することができる。なお、移動体管理サーバ100は、追従移動を実行させる場合に、搭乗型移動体300-2の発光部316を発光させたり、スピーカ317から所定の音を出力させて探索依頼者に見つけ易くしてもよい。また、移動体管理サーバ100は、端末装置200に追従していることを示す情報をディスプレイに表示させてユーザU2に通知してもよい。これにより、搭乗型移動体300-2の追従移動によるユーザU2の違和感や不快感を緩和させることができる。
また、移動体管理サーバ100は、端末装置200-2と200-4との位置情報が所定距離以内になった場合に、ユーザU4が探索対象に近付けたと判定して、搭乗型移動体300-2の追従動作を終了させる動作制御情報を生成して、端末装置200-2を介して搭乗型移動体300-2に送信してもよい。
<変形例>
上述した実施形態では、搭乗型移動体300のカメラ318により撮像された画像に探索対象が含まれるか否かを判定する処理を、移動体管理サーバ100の判定部144で実行したが、これに代えて、搭乗型移動体300の判定部371で実行させてもよい。この場合、搭乗型移動体300は、例えば、端末装置200を介して移動体管理サーバ100から探索情報186を取得し、判定部371によって、撮像画像の解析結果に基づく特徴情報と、探索情報186に含まれる特徴情報との合致度合から撮像画像に探索対象が含まれるか否かを判定する。
また、実施形態では、カメラ318による撮像画像に探索対象が含まれるか否かを判定する処理を、端末装置200のアプリ実行部250(移動体管理アプリ272)によって実行されてもよい。この場合、端末装置200は、移動体管理サーバ100から探索情報186を取得すると共に、搭乗型移動体300から撮像画像を取得し、アプリ実行部250によって、撮像画像の解析結果に基づく特徴情報と、探索情報186に含まれる特徴情報との合致度合から撮像画像に探索対象が含まれるか否かを判定する。
また、実施形態では、移動体管理サーバ100と搭乗型移動体300とが端末装置200を介して通信していたが、これに代えて移動体管理サーバ100と搭乗型移動体300とが直接通信してもよい。この場合、搭乗型移動体300に位置情報を取得する位置情報取得部や、移動体管理サーバ100と通信する通信機能が設けられる。また、この場合には、ユーザUが搭乗していない搭乗型移動体300に対して、カメラの起動や停止に関する動作や移動に関する動作が実行可能になる。例えば、移動体管理サーバ100は、ユーザUが搭乗していない場合には、搭乗型移動体300から位置情報等を取得することで、カメラを起動させる対象であるか否かを選定し、選定された搭乗型移動体300に対して所定の動作を実行させるための動作制御情報を生成し、搭乗型移動体300に送信することができる。これにより、ユーザUが搭乗している搭乗型移動体300だけでなく、ユーザUが搭乗していない搭乗型移動体300も用いて、より効率的に探索対象を探索することができる。
また、実施形態において、端末装置200は、ユーザUが所有するものとしたが、探索システム1によって搭乗型移動体300と共に貸与されるものであってもよい。この場合、移動体管理サーバ100は、予め端末装置200と搭乗型移動体300とを対応付けて管理する。また、この場合には、ユーザ情報182にユーザUの個別情報(認証情報、住所、氏名、年齢、性別)等を含めなくてもよい。これにより、端末装置200を所有していないユーザU(例えば、子供や高齢者)であっても、本サービスを利用することができる。
また、上述した実施形態では、カメラ318の起動や停止に関する情報を端末装置200に出力してユーザUに通知したが、通知を行わなくてもよい。これにより、ユーザUが意識することなく、撮像画像を取得することができる。
以上の通り説明した実施形態によれば、所定エリア内を移動する一以上の搭乗型移動体300と、搭乗型移動体300を管理する移動体管理サーバ100とを含む探索システム1であって、探索対象に関する情報の登録を受け付ける受付部142と、受付部142により探索対象に関する情報の登録が受け付けられた場合に、一以上の搭乗型移動体300に搭載された撮像部(カメラ318)を起動させる撮像制御部150と、撮像部により撮像された搭乗型移動体の周囲の画像を取得する取得部130と、取得部130により取得された画像に探索対象が含まれているか否かを判定する判定部144と、を備えることにより、ユーザに不快感を与えることを抑制しながら、より効率的に対象物を探索することができる。
また、実施形態によれば、エリア内で探索を行う必要が生じた場合にのみ、エリア内の搭乗型移動体300のカメラを一時的に起動させるため、探索時に多くのデータを集めることができ、効率的に探索対象物を探索することができる。また、実施形態によれば、移動体管理サーバ100と搭乗型移動体300とが通信を行うためにテーマパーク等のエリアに新たな通信設備を設置する必要がなく、ユーザUが所有する端末装置200を介して通信することができるため、設備コストを抑制することができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
探索対象に関する情報の登録を受け付け、
前記探索対象に関する情報の登録が受け付けられた場合に、前記一以上の
所定エリア内を移動する一以上の搭乗型移動体に搭載された撮像部を起動させ、
前記撮像部により撮像された前記搭乗型移動体の周囲の画像を取得し、
取得した前記画像に前記探索対象が含まれているか否かを判定する、
ように構成されている、探索装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…探索システム、100…移動体管理サーバ、110…通信部、120…登録部、130…取得部、140…管理部、142…受付部、144…判定部、150…撮像制御部、160…動作制御部、180…記憶部、200…端末装置、210…端末側通信部、220…入力部、230…出力部、240…位置情報取得部、250…アプリ実行部、260,390…出力制御部、270…端末側記憶部、300…搭乗型移動体、320…通信装置、340…センサ、350…制御装置、360…認証処理部、370…指令生成部、380…モータ制御部、395…撮像制御部

Claims (9)

  1. 所定エリア内を移動する一以上の搭乗型移動体と、前記搭乗型移動体を管理する移動体管理サーバとを含む探索システムであって、
    探索対象に関する情報の登録を受け付ける受付部と、
    前記受付部により前記探索対象に関する情報の登録が受け付けられた場合に、前記一以上の搭乗型移動体に搭載された撮像部を起動させる撮像制御部と、
    前記撮像部により撮像された前記搭乗型移動体の周囲の画像を取得する取得部と、
    前記取得部により取得された画像に前記探索対象が含まれているか否かを判定する判定部と、を備え、
    前記撮像制御部は、
    前記所定エリア内に存在する一以上の搭乗型移動体のうち、前記探索対象が存在すると推定されるエリア内に存在する搭乗型移動体の撮像部を起動させ、
    前記探索対象を見失った時間から所定時間以上経過した場合に、前記所定エリア内に存在する全ての搭乗型移動体の撮像部を起動させる、
    索システム。
  2. 前記撮像制御部は、前記撮像部を起動または停止させる場合に、前記撮像部が起動または停止することを示す情報を、前記撮像部が搭載された搭乗型移動体に搭乗するユーザに通知する、
    請求項1に記載の探索システム。
  3. 前記取得部は、前記搭乗型移動体の位置を取得し、
    前記撮像制御部は、前記判定部により前記画像に前記探索対象が含まれていると判定された場合に、前記取得部により取得された前記搭乗型移動体の位置情報に基づいて、前記探索対象の位置および前記撮像部により撮像された画像を含む情報を、前記探索対象の探索を依頼した依頼者に通知する、
    請求項1または2に記載の探索システム。
  4. 前記依頼者が搭乗型移動体に搭乗している場合、前記依頼者が搭乗している搭乗型移動体を前記探索対象の位置まで移動させる動作制御部を更に備える、
    請求項に記載の探索システム。
  5. 前記動作制御部は、前記探索対象が移動した場合、前記搭乗型移動体を前記探索対象に追従して移動させる、
    請求項に記載の探索システム。
  6. 前記取得部は、前記搭乗型移動体に搭乗するユーザが所持する端末装置の位置情報を取得し、取得した位置情報を前記搭乗型移動体の位置情報とする、
    請求項からのうち何れか1項に記載の探索システム。
  7. 前記撮像制御部は、前記判定部により前記取得部により取得された画像に前記探索対象が含まれていると判定された場合に、前記搭乗型移動体の撮像部による撮像を停止させる、
    請求項1からのうち何れか1項に記載の探索システム。
  8. 所定エリア内を移動する一以上の搭乗型移動体を管理する移動体管理サーバのコンピュータが、
    探索対象に関する情報の登録を受け付け、
    前記探索対象に関する情報の登録が受け付けられた場合に、前記一以上の搭乗型移動体に搭載された撮像部を起動させ、
    前記撮像部により撮像された前記搭乗型移動体の周囲の画像を取得し、
    取得した前記画像に前記探索対象が含まれているか否かを判定し、
    前記所定エリア内に存在する一以上の搭乗型移動体のうち、前記探索対象が存在すると推定されるエリア内に存在する搭乗型移動体の撮像部を起動させ、
    前記探索対象を見失った時間から所定時間以上経過した場合に、前記所定エリア内に存在する全ての搭乗型移動体の撮像部を起動させる、
    探索方法。
  9. 所定エリア内を移動する一以上の搭乗型移動体を管理する移動体管理サーバのコンピュータに、
    探索対象に関する情報の登録を受け付けさせ、
    前記探索対象に関する情報の登録が受け付けられた場合に、前記一以上の搭乗型移動体に搭載された撮像部を起動させ、
    前記撮像部により撮像された前記搭乗型移動体の周囲の画像を取得させ、
    取得された前記画像に前記探索対象が含まれているか否かを判定させ、
    前記所定エリア内に存在する一以上の搭乗型移動体のうち、前記探索対象が存在すると推定されるエリア内に存在する搭乗型移動体の撮像部を起動させ、
    前記探索対象を見失った時間から所定時間以上経過した場合に、前記所定エリア内に存在する全ての搭乗型移動体の撮像部を起動させる、
    プログラム。
JP2021161620A 2021-09-30 2021-09-30 探索システム、探索方法、およびプログラム Active JP7411614B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021161620A JP7411614B2 (ja) 2021-09-30 2021-09-30 探索システム、探索方法、およびプログラム
US17/951,141 US20230102926A1 (en) 2021-09-30 2022-09-23 Search system, search method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021161620A JP7411614B2 (ja) 2021-09-30 2021-09-30 探索システム、探索方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2023051130A JP2023051130A (ja) 2023-04-11
JP7411614B2 true JP7411614B2 (ja) 2024-01-11

Family

ID=85721929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021161620A Active JP7411614B2 (ja) 2021-09-30 2021-09-30 探索システム、探索方法、およびプログラム

Country Status (2)

Country Link
US (1) US20230102926A1 (ja)
JP (1) JP7411614B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134590A (ja) 2011-12-26 2013-07-08 Denso Corp 車載装置制御システム、集中制御装置、車載装置、およびプログラム
WO2015125430A1 (ja) 2014-02-18 2015-08-27 パナソニックIpマネジメント株式会社 蓄電装置の制御方法、蓄電装置及びプログラム
JP2018169880A (ja) 2017-03-30 2018-11-01 トヨタ自動車株式会社 車両捜索システム、ナンバープレート情報蓄積装置、および方法
JP2019117449A (ja) 2017-12-26 2019-07-18 トヨタ自動車株式会社 人物探索システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013134590A (ja) 2011-12-26 2013-07-08 Denso Corp 車載装置制御システム、集中制御装置、車載装置、およびプログラム
WO2015125430A1 (ja) 2014-02-18 2015-08-27 パナソニックIpマネジメント株式会社 蓄電装置の制御方法、蓄電装置及びプログラム
JP2018169880A (ja) 2017-03-30 2018-11-01 トヨタ自動車株式会社 車両捜索システム、ナンバープレート情報蓄積装置、および方法
JP2019117449A (ja) 2017-12-26 2019-07-18 トヨタ自動車株式会社 人物探索システム

Also Published As

Publication number Publication date
JP2023051130A (ja) 2023-04-11
US20230102926A1 (en) 2023-03-30

Similar Documents

Publication Publication Date Title
JP6489083B2 (ja) 乗員情報取得システム
JP6168636B2 (ja) 移動体呼び寄せシステム、呼び寄せ装置及び無線通信装置
JP6275285B2 (ja) 物流システム、荷物運搬方法、及びプログラム
JP2020149708A (ja) 自動運転車及び自動運転車用プログラム
US10647250B1 (en) Directed acoustic alert notification from autonomous vehicles
AU2016355605A1 (en) Controlling autonomous vehicles in connection with transport services
CN105898089A (zh) 移动终端、移动终端的控制方法、车辆的控制系统及车辆
US20220128999A1 (en) Directed interaction of customers with autonomous vehicles
JP2023539250A (ja) 遺失物の通知方法、装置、電子機器、記憶媒体及びコンピュータプログラム
JP6458106B1 (ja) 移動手段においてコンテンツを提供するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、コンテンツ提供装置、およびコンテンツ提供システム
JP6869172B2 (ja) 自律移動体の運用方法
JP7411614B2 (ja) 探索システム、探索方法、およびプログラム
JP6854018B2 (ja) 自動運転車及び自動運転車用プログラム
JP7303522B2 (ja) 歩行制御装置
JP7329022B2 (ja) 移動体管理装置、移動体管理方法、およびプログラム
JP7230728B2 (ja) 移動体システム
JP6754893B2 (ja) 画像生成装置及び画像生成方法
US11964398B2 (en) Systems and methods for autonomous robot distributed processing
JP2019075805A (ja) 移動手段においてコンテンツを提供するためにコンピュータで実行される方法、当該方法をコンピュータに実行させるプログラム、コンテンツ提供装置、およびコンテンツ提供システム
CN116758686A (zh) 移动体管理装置、移动体管理方法及存储介质
JP7016696B2 (ja) 自律移動体の運用方法
KR102437584B1 (ko) 퍼스널 모빌리티용 배터리 관리 및 공유 시스템
JP7507806B2 (ja) 自動運転車及び自動運転車用プログラム
JP6985930B2 (ja) 自律移動体の運用方法
JP6752709B2 (ja) 電子機器、電子機器の動作方法および制御プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R150 Certificate of patent or registration of utility model

Ref document number: 7411614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150