JP6631694B2 - 捜索支援装置、捜索支援システム、捜索支援方法及びプログラム - Google Patents

Description

本開示は、捜索支援装置等に関する。

防犯等の目的で物体を認識したり追尾したりする技術が知られている。特許文献１は、不審者を監視して当該不審者に警告を行う技術を開示している。特許文献２は、警報音のほかに発光や振動によって移動体の接近を装着者に通知する技術を開示している。特許文献３は、人物の行動パターンに基づいて不審者であるか否かを判定する技術を開示している。

特開２００８−１１７１３２号公報 特開２００９−１８７３５５号公報 特開２０１０−２１１５１４号公報

特許文献１〜３に記載された技術において、物体の認識や捜索には、カメラによる撮影が行われる。しかし、特許文献１〜３に記載された技術のいずれによっても、認識された物体のカメラや装着者からみた方向を撮影画像に基づいて特定することはできない。

本開示の例示的な目的の一つは、捜索者による物体の発見を容易にすることである。

本開示の一態様に係る捜索支援装置は、撮影画像を示す画像データと、当該撮影画像の撮影方向に関連付けられた方向データとを取得する取得手段と、前記取得された画像データを用いて、所定の条件を満たす物体を認識する認識手段と、前記取得された方向データを用いて、前記認識された物体の方向を特定する特定手段と、前記特定された方向を示す報知データを出力する出力手段とを含む。

本開示の別の態様に係る捜索支援システムは、画像データを出力するクライアント装置と、前記画像データに基づいて所定の条件を満たす物体を認識するサーバ装置とを含み、前記クライアント装置は、前記サーバ装置と通信する第１の通信手段と、撮影画像を示す画像データを出力する撮影手段と、前記撮影画像の撮影方向に関連付けられた方向データを出力する検知手段と、前記物体が認識されたことを報知する報知手段とを含み、前記サーバ装置は、前記クライアント装置と通信する第２の通信手段と、前記画像データを用いて前記物体を認識する認識手段と、前記方向データを用いて、前記認識された物体の方向を特定する特定手段と、前記特定された方向を示す報知データを出力する出力手段とを含む。

本開示のさらに別の態様に係る捜索支援方法は、撮影画像を示す画像データと、当該撮影画像の撮影方向に関連付けられた方向データとを取得し、前記取得された画像データを用いて、所定の条件を満たす物体を認識し、前記取得された方向データを用いて、前記認識された物体の方向を特定し、前記特定された方向を示す報知データを出力する。

本開示のさらに別の態様に係るプログラム記録媒体は、コンピュータに、撮影画像を示す画像データと、当該撮影画像の撮影方向に関連付けられた方向データとを取得する処理と、前記取得された画像データを用いて、所定の条件を満たす物体を認識する処理と、前記取得された方向データを用いて、前記認識された物体の方向を特定する処理と、前記特定された方向を示す報知データを出力する処理とを実行させるためのプログラムをコンピュータ読取可能に記録する。

本開示によれば、捜索者による物体の発見を容易にすることが可能である。

図１は、捜索支援装置の構成の一例を示すブロック図である。 図２は、捜索支援装置の動作の一例を示すフローチャートである。 図３は、捜索支援システムの構成の一例を示すブロック図である。 図４は、サーバ装置及びクライアント装置の動作の一例を示すシーケンスチャートである。 図５は、捜索支援システムの構成の別の例を示すブロック図である。 図６は、クライアント装置の構成の一例を示すブロック図である。 図７は、カメラ部及び測位部の構成の一例を示す図である。 図８は、触覚インタフェース部の構成の一例を示す図である。 図９は、捜索支援システムの動作の一例を示すシーケンスチャートである。 図１０は、送信処理の一例を示すフローチャートである。 図１１は、データの関連付けを説明するための図である。 図１２は、認識処理の一例を示すフローチャートである。 図１３は、バイブレータの振動パターンの一例を示す図である。 図１４は、バイブレータの振動パターンの別の例を示す図である。 図１５は、バイブレータの振動パターンのさらに別の例を示す図である。 図１６は、捜索者と特定人物の位置関係を例示する図である。 図１７は、コンピュータ装置のハードウェア構成の一例を示すブロック図である。

［第１実施形態］
図１は、一実施形態に係る捜索支援装置１００の構成を示すブロック図である。捜索支援装置１００は、ユーザによる物体の捜索を支援するための情報処理装置である。ユーザは、歩行しながら、又は車両によって移動しながら、所定の物体を捜索する。ここでいう物体は、物体認識技術により認識可能な物体であり、例えば、特定の人物である。ただし、本実施形態において捜索対象とされる物体は、他の物体と識別可能な一定の特徴を有していれば、特定の人物に限定されない。以下においては、捜索支援装置１００のユーザのことを「捜索者」ともいう。

一の態様において、捜索支援装置１００は、捜索者が所持又は装着する電子機器とデータを授受することによって物体の捜索を支援する。あるいは、捜索支援装置１００は、捜索者が所持又は装着する電子機器の一機能として実現されてもよい。

捜索支援装置１００は、取得部１１０と、認識部１２０と、特定部１３０と、出力部１４０とを少なくとも含む。捜索支援装置１００は、例えば、所定のプログラムを実行することによってこれらの構成要素に相当する機能を実現することができる。

取得部１１０は、物体の認識に必要なデータを取得する。取得部１１０は、撮影画像（静止画又は動画）を示す画像データと、当該撮影画像の撮影方向と関連付けられた方向を示す方向データとを少なくとも取得する。取得部１１０は、例えば、イメージセンサ又はイメージセンサを含む撮影機器（カメラ等）から画像データを取得することができる。また、取得部１１０は、いわゆる電子コンパスのような、地磁気に基づいて方位を計測する機器から方向データを取得することができる。

本実施形態において、画像データ及び方向データは、互いに関連付けられている。具体的には、方向データが示す方向は、画像データが示す撮影画像の撮影方向と関連付けられている。ここでいう撮影方向は、撮影画像からみた正面の方向、換言すれば撮影画像を撮影した撮影部の光軸方向に相当する。例えば、方向データは、画像データが示す撮影画像がいずれの方向を撮影した画像であるのかを示す。なお、本実施形態において、画像データは、撮影方向が一定ではなく変化し得る。

認識部１２０は、取得部１１０により取得された画像データを用いて所定の物体を認識する。認識部１２０は、周知の物体認識技術を用いて物体を認識する。認識部１２０により認識される物体は、所定の条件を満たす物体である。ここでいう所定の条件は、例えば、データベースにあらかじめ登録されている。

一の態様において、認識部１２０は、撮影画像に対してパターンマッチングを実行し、所定の条件を満たす画像を検出した場合に所定の物体を認識したと判断する。認識部１２０は、物体の認識に各種の画像特徴量を用いることができる。認識部１２０が用いる画像特徴量は、認識される物体に応じて異なり得る。

なお、撮影画像は、認識対象の物体を常に含むとは限らない。また、認識部１２０は、撮影画像に認識対象の物体が含まれる場合であっても、当該物体の一部が他の物体に遮蔽されているなどして認識に失敗することもあり得る。したがって、認識部１２０は、物体の認識を試行しているともいえる。

特定部１３０は、認識部１２０により認識された物体の方向を特定する。特定部１３０は、取得部１１０により取得された方向データを用いて物体の方向を特定することができる。ここでいう方向とは、例えば、撮影画像における所定の方向（例えば正面）からのずれをいう。すなわち、特定部１３０は、撮影画像において、認識部１２０により認識された物体が所定の方向からどの程度ずれた方向にあるかを特定しているともいえる。また、特定部１３０は、物体の方向に加え、当該方向における位置、すなわち奥行き（撮影位置からの距離）を特定してもよい。

出力部１４０は、報知データを出力する。ここにおいて、報知データとは、所定の物体の存在を報知するためのデータをいう。報知データは、特定部１３０により特定された方向を示す。一の態様において、出力部１４０は、捜索者が所持又は装着する電子機器に報知データを出力する。あるいは、出力部１４０は、所定の記憶媒体に報知データを出力してもよい。

図２は、捜索支援装置１００の動作を示すフローチャートである。ステップＳ１１において、取得部１１０は、画像データ及び方向データを取得する。ステップＳ１２において、認識部１２０は、ステップＳ１１において取得された画像データに基づいて所定の物体を認識する。

ステップＳ１３において、認識部１２０は、物体認識の成否を判断する。認識部１２０は、物体が認識されれば（ステップＳ１３：ＹＥＳ）、物体の認識に成功したことを特定部１３０に通知する。また、認識部１２０は、物体が認識されなければ（ステップＳ１３：ＮＯ）、ステップＳ１１以降の処理を再度実行させる。この場合、取得部１１０は、物体認識が行われていない新たな画像データを取得する。

物体が認識された場合、特定部１３０は、ステップＳ１４において、ステップＳ１２において認識された物体の方向を特定する。ステップＳ１５において、出力部１４０は、ステップＳ１４において特定された方向を示す報知データを出力する。

以上のとおり、本実施形態に係る捜索支援装置１００は、画像データに対応する方向データを取得し、認識された物体の方向を方向データに基づいて特定する構成を有する。この構成により、捜索支援装置１００は、捜索者による物体の発見を容易にすることが可能である。例えば、捜索支援装置１００は、画像データの撮影方向が変化した場合であっても、方向データにより示される方向が撮影方向と関連付けられているため、認識された物体の方向を特定することが可能である。

［第２実施形態］
図３は、別の実施形態に係る捜索支援システム２００の構成を示すブロック図である。捜索支援システム２００は、サーバ装置２１０と、クライアント装置２２０とを有する。サーバ装置２１０及びクライアント装置２２０は、ネットワーク２３０によって通信可能に相互接続されている。なお、捜索支援システム２００におけるサーバ装置２１０及びクライアント装置２２０の数は、特に限定されない。

なお、本実施形態以降の実施形態において、第１実施形態に記載された用語と同一の用語は、特に定義又は説明がある場合を除き、第１実施形態と同様の意味で用いられる。また、本実施形態以降の実施形態において、第２実施形態と同一の符号を付された構成要素は、第２実施形態と同様の構成又は機能を有する。上述された実施形態と重複する説明は、適宜省略される。

クライアント装置２２０は、捜索者によって所持され、捜索者とともに移動する電子機器である。クライアント装置２２０は、例えば、スマートフォンであってもよいし、いわゆるウェアラブル端末であってもよい。あるいは、捜索者が車両に乗車しながら捜索を行う場合、クライアント装置２２０は、当該車両に搭載された車載機器であってもよい。

また、クライアント装置２２０は、複数の機器によって構成されてもよい。例えば、クライアント装置２２０は、ウェアラブル端末とスマートフォンの組み合わせによって構成されてもよい。この場合、ウェアラブル端末及びスマートフォンは、互いに協働することによってクライアント装置２２０に相当する機能を実現する。

クライアント装置２２０は、撮影部２２１と、検知部２２２と、報知部２２３と、通信部２２４とを含む。撮影部２２１は、１又は複数のイメージセンサを含む。イメージセンサは、クライアント装置２２０の特定の位置に設置され、特定の方向を撮影する。撮影部２２１は、画像データを出力する。検知部２２２は、方向を検知するセンサを含む。検知部２２２は、例えば、電子コンパスを含んで構成される。検知部２２２は、方向データを出力する。

報知部２２３は、サーバ装置２１０から送信された報知データに従って情報を報知する。報知部２２３は、例えば、バイブレータ、ディスプレイなどを有する。通信部２２４は、サーバ装置２１０に画像データ及び方向データを送信し、サーバ装置２１０から報知データを受信する。

サーバ装置２１０は、第１実施形態の捜索支援装置１００の一例に相当する。サーバ装置２１０は、クライアント装置２２０から画像データ及び方向データを受信し、画像データに基づいて物体を認識する。また、サーバ装置２１０は、報知データをクライアント装置２２０に送信する。

サーバ装置２１０は、画像処理部２１１と通信部２１２とを含む。画像処理部２１１は、捜索支援装置１００の構成、すなわち、取得部１１０、認識部１２０、特定部１３０及び出力部１４０に相当する構成を有する。通信部２１２は、クライアント装置２２０に報知データを送信し、クライアント装置２２０から画像データ及び方向データを受信する。サーバ装置２１０は、いわゆるエッジサーバ、すなわち、エッジコンピューティングを利用し、エンドユーザに対して物理的及びネットワーク的に近くに分散配置されたサーバ装置であってもよい。

図４は、サーバ装置２１０及びクライアント装置２２０の動作を示すシーケンスチャートである。ステップＳ２１において、クライアント装置２２０は、画像データ及び方向データを生成する。ステップＳ２２において、クライアント装置２２０は、ステップＳ２１において生成された画像データ及び方向データをサーバ装置２１０に送信する。

画像データ及び方向データは、例えば、時刻を表す時刻データによって関連付けられる。すなわち、画像データ及び方向データは、ある時刻における撮影画像と当該時刻におけるイメージセンサの撮影方向が特定可能なデータ構造を有する。

クライアント装置２２０から画像データ及び方向データを受信すると、サーバ装置２１０は、ステップＳ２３において所定の物体を認識し、ステップＳ２４において当該物体の方向を特定する。ステップＳ２３、Ｓ２４の処理の詳細は、第１実施形態のステップＳ１２、Ｓ１４の処理と同様である。

ステップＳ２５において、サーバ装置２１０は、報知データをクライアント装置２２０に送信する。報知データを受信すると、クライアント装置２２０は、ステップＳ２６において報知データに応じた処理を実行する。例えば、クライアント装置２２０は、物体の方向を画像又は振動によって報知する。

本実施形態に係る捜索支援システム２００は、第１実施形態の捜索支援装置１００と同様の効果を奏することができる。すなわち、捜索支援システム２００は、画像データに対応する方向データを取得し、認識された物体の方向を方向データに基づいて特定する構成を有することにより、捜索者による物体の発見を容易にすることが可能である。

また、捜索支援システム２００は、物体認識をサーバ装置２１０で実行する構成を採用することにより、同構成を有しない場合に比べ、クライアント装置２２０の負荷を軽減することが可能である。また、この構成により、サーバ装置２１０は、クライアント装置２２０が複数ある場合に、それぞれに対応する物体認識をまとめて実行することが可能である。

［第３実施形態］
図５は、さらに別の実施形態に係る捜索支援システム３００の構成を示すブロック図である。捜索支援システム３００は、クラウドサーバ３１０と、エッジサーバ３２０と、クライアント装置３３０とを含む。クラウドサーバ３１０、エッジサーバ３２０及びクライアント装置３３０の数は、特に限定されない。

本実施形態において、認識対象の物体は、あらかじめ登録された特定の人物である。認識対象の人物は、例えば、指名手配犯や行方不明者である。認識対象の人物は、外観の一部（顔、服装、所持品など）が既知であり、この既知の部分によって他人と識別される。

クラウドサーバ３１０は、データベース３１１を有するサーバ装置である。データベース３１１は、認識対象の人物を示す人物データを蓄積したデータベースである。クラウドサーバ３１０は、人物データの登録を受け付け、人物データをエッジサーバ３２０に送信する。

人物データは、認識対象の人物を特徴付けるデータである。人物データは、例えば、認識される人物の顔を撮影した画像データを含む。あるいは、人物データは、認識される人物の特徴を画像特徴量によって記述したデータであってもよい。また、人物データは、認識される人物の識別情報や属性情報（氏名、年齢、性別、身長など）を含んでもよい。

エッジサーバ３２０は、物体認識を実行するサーバである。エッジサーバ３２０は、第２実施形態のサーバ装置２１０と同様の構成を有する。エッジサーバ３２０は、クラウドサーバ３１０から人物データの一部又は全部を受信し、この人物データを用いて物体認識を実行する。

複数のエッジサーバ３２０は、それぞれ異なる人物データを記憶していてもよい。すなわち、複数のエッジサーバ３２０は、認識対象の人物が異なっていてもよい。例えば、ある場所に対応するエッジサーバ３２０と別の場所に対応するエッジサーバ３２０とでは、人物データが異なっていてもよい。

クライアント装置３３０は、捜索者に所持される電子機器である。クライアント装置３３０は、複数のエッジサーバ３２０のいずれかとデータを授受し、エッジサーバ３２０による物体の認識結果に応じた処理を実行する。クライアント装置３００は、移動通信網などのネットワークを介してエッジサーバ３２０に接続される。

図６は、クライアント装置３３０の詳細な構成を示すブロック図である。クライアント装置３３０は、第１ユニット３３０Ａと第２ユニット３３０Ｂに大別される。第１ユニット３３０Ａは、捜索者の頭部に装着される。第１ユニット３３０Ａの各部は、例えば、ヘルメットやヘッドギアに装着されている。第１ユニット３３０Ａは、カメラ部３３１と、測位部３３２と、触覚インタフェース部３３３と、第１通信部３３４とを含む。

第２ユニット３３０Ｂは、第１ユニット３３０Ａと通信可能な範囲にあれば、その位置は特に限定されない。例えば、第２ユニット３３０Ｂは、捜索者が着用している衣服のポケットの中や捜索者の携行品（バッグ等）の中にあってもよい。第２ユニット３３０Ｂは、例えば、スマートフォン等の移動通信端末であってもよい。第２ユニット３３０Ｂは、第２通信部３３５と、第３通信部３３６と、制御部３３７とを含む。

カメラ部３３１は、複数のイメージセンサを有する。第１ユニット３３０Ａにおいて、この複数のイメージセンサは、撮影方向が互いに異なるように配置される。イメージセンサの数は、特定の数に限定されないが、それぞれの画角（撮影範囲）などを考慮して適宜に決定される。一の態様において、イメージセンサは、全方位（すなわち３６０°）が同時に撮影できるように配置される。カメラ部３３１は、第２実施形態の撮影部２２１の一例に相当する。

測位部３３２は、地磁気センサを有し、地磁気に基づいて特定の方向の方位を検出する。ここでいう特定の方向は、捜索者が第１ユニット３３０Ａを頭部に装着した場合の正面の方向、すなわち捜索者の顔が向いている方向に相当する。なお、測位部３３２は、第１ユニット３３０Ａの特定の位置に配置され、第１ユニット３３０Ａとの相対的な位置関係が一定であるとする。測位部３３２は、このような特定の方向を示す方向データを出力する。方向データは、例えば、ここでいう特定の方向と基準方向（例えば北）との差を示す方位角によって特定の方向を表現する。また、測位部３３２は、位置を表す位置データを取得する。例えば、測位部３３２は、ＧＰＳ（Global Positioning System）などの航法衛星システムに準拠した信号に基づいて第１ユニット３３０Ａの位置（すなわち捜索者の位置）を特定する。この場合、位置データは、捜索者の位置を緯度及び経度によって表す。測位部３３２による測位（すなわち位置特定）の具体的な手法は、特に限定されない。測位部３３２は、第２実施形態の検知部２２２の一例に相当する。

触覚インタフェース部３３３は、複数のバイブレータを有する。触覚インタフェース部３３３は、振動制御データに応じて、特定のバイブレータのみが振動し、他のバイブレータが振動しないように複数のバイブレータを制御することができる。また、触覚インタフェース部３３３は、バイブレータによる振動の強度を変更できるように構成されてもよい。触覚インタフェース部３３３は、第２実施形態の報知部２２３の一例に相当する。

第１通信部３３４は、第２ユニット３３０Ｂの第２通信部３３５との間でデータを授受する。第１通信部３３４及び第２通信部３３５は、有線接続されてもよいが、Bluetooth（登録商標）等の所定の無線通信方式に従って無線接続されてもよい。

第３通信部３３６は、エッジサーバ３２０に接続するインタフェースである。第３通信部３３６は、エッジサーバ３２０から受信したデータを制御部３３７に供給し、第２通信部３３５又は制御部３３７から取得したデータをエッジサーバ３２０に送信する。第３通信部３３６は、第２実施形態の通信部２２４の一例に相当する。

制御部３３７は、クライアント装置３３０の各部の動作を制御する。例えば、制御部３３７は、画像データ、方向データ及び位置データを関連付ける。あるいは、制御部３３７は、振動制御データに基づいて触覚インタフェース部３３３の動作を制御する。なお、制御部３３７は、時刻を特定する機能を有する。

図７は、カメラ部３３１、測位部３３２の構成の一例を示す図である。この例において、カメラ部３３１は、イメージセンサＩＳ１、ＩＳ２、ＩＳ３、ＩＳ４、ＩＳ５、ＩＳ６、ＩＳ７及びＩＳ８を有する。また、測位部３３２は、地磁気センサＭＳ１を有する。また、この例において、捜索者の正面側には、イメージセンサＩＳ１が設置される。したがって、イメージセンサＩＳ１は、捜索者の前方を撮影する。同様に、イメージセンサＩＳ３、ＩＳ５、ＩＳ７は、それぞれ捜索者の右方（ＩＳ３）、後方（ＩＳ５）、左方（ＩＳ７）を撮影する。

説明の便宜上、以下においては、捜索者からみた正面を撮影方向の基準とし、この方向を０°とする。この場合、捜索者の右、後、左は、それぞれ９０°（右）、１８０°（後）、２７０°（左）である。イメージセンサＩＳ１〜ＩＳ８の撮影方向は、それぞれ、隣り合うイメージセンサの撮影方向と４５°ずつ異なっている。したがって、地磁気センサＭＳ１からの方向データとイメージセンサＩＳ１〜ＩＳ８からの画像データとにより、いずれかの画像データから物体が認識された場合に当該物体のおおよその方向（北方向、北西方向といった程度）が特定可能である。

なお、この撮影方向は、捜索者の向きを基準とした方向であるため、特定の方位（すなわち東西南北）とは必ずしも一致しない。つまり、捜索者が進行方向を変えたり首を旋回させたりすれば、撮影方向と実際の方位との対応関係も変化する。

図８は、触覚インタフェース部３３３の構成の一例を示す図である。この例において、触覚インタフェース部３３３は、バイブレータＢ０１〜Ｂ２５を有する。また、この例において、捜索者の正面側には、バイブレータＢ０１及びＢ１７が設置される。同様に、バイブレータＢ０５及びＢ１９、Ｂ０９及びＢ２１、Ｂ１３及びＢ２３は、それぞれ捜索者の右方（Ｂ０５及びＢ１９）、後方（Ｂ０９及びＢ２１）、左方（Ｂ１３及びＢ２３）に設置される。また、バイブレータＢ２５は、捜索者の頭頂部に設置される。

なお、イメージセンサ、地磁気センサ又はバイブレータの配置は、図７又は図８に例示された配置に限定されない。また、カメラ部３３１は、各イメージセンサによって撮影された撮影画像を個々の画像データとして出力してもよいが、複数の撮影画像を合成した画像データを出力してもよい。また、カメラ部３３１は、捜索者の前後左右だけでなく上方（又は下方）を撮影するイメージセンサを含んでもよい。

図９は、捜索支援システム３００の動作の概要を示すシーケンスチャートである。ステップＳ３１において、エッジサーバ３２０は、クラウドサーバ３１０から人物データを受信する。ステップＳ３２において、エッジサーバ３２０は、人物データを登録する。エッジサーバ３２０は、ステップＳ３２において登録された人物データに基づいて物体（本実施形態においては人物）を認識する。この人物データによって識別される人物のことを、以下においては「特定人物」ともいう。

ステップＳ３３において、クライアント装置３３０は、データの送信処理を実行する。ここでいう送信処理は、取得されたデータ（画像データ、方向データ及び位置データ）を関連付ける処理を含む。クライアント装置３３０は、ステップＳ３４において、送信処理によって関連付けられたデータをエッジサーバ３２０に送信する。

図１０は、ステップＳ３３の送信処理を示すフローチャートである。ステップＳ３３１において、クライアント装置３３０（具体的には制御部３３７）は、第１ユニット３３０Ａから送信された画像データ、方向データ及び位置データを取得する。ステップＳ３３２において、クライアント装置３３０は、ステップＳ３３１において取得されたデータを時刻データに基づいて関連付ける。

図１１は、ステップＳ３３２におけるデータの関連付けを説明するための図である。クライアント装置３３０は、図１１に例示されるように、同時刻に取得されたデータに対して同一の時刻を割り当てることによって、画像データ、方向データ及び位置データを関連付ける。

なお、クライアント装置３３０による関連付けの手法は、エッジサーバ３２０がその関連付けを特定できる手法であれば、特に限定されない。例えば、クライアント装置３３０は、画像データ、方向データ及び位置データに時刻データを埋め込んでもよく、同じ時刻に対応する画像データ、方向データ、位置データ及び時刻データを結合して一群のデータにしてもよい。

ステップＳ３５において、エッジサーバ３２０は、ステップＳ３４において送信されたデータに基づいて認識処理を実行する。ここでいう認識処理は、人物データに基づいて登録された特定人物を認識する処理である。人物データにより与えられる所定の条件を満たす人物、すなわち特定人物が認識された場合、エッジサーバ３２０は、ステップＳ３６において報知データをクライアント装置３３０に送信する。また、エッジサーバ３２０は、ステップＳ３７において、ステップＳ３５において認識された特定人物に関連するデータ（当該特定人物の識別情報、認識された方向など）を送信する。

なお、ステップＳ３７の処理は、必須の処理ではない。すなわち、エッジサーバ３２０は、特定人物が認識された場合であっても、ステップＳ３７の処理を実行しなくてもよい。また、特定人物が認識されなかった場合、エッジサーバ３２０は、ステップＳ３６、Ｓ３７の処理を実行しない。

図１２は、ステップＳ３５の認識処理の一例を示すフローチャートである。ステップＳ３５１において、エッジサーバ３２０は、人間の顔を検出する。すなわち、エッジサーバ３２０は、ステップＳ３５１において、撮影画像から人間の顔らしい特徴を有する領域を検出する。エッジサーバ３２０は、一般物体認識の周知技術を用いて顔を検出することが可能である。

ステップＳ３５２において、エッジサーバ３２０は、ステップＳ３５１において検出された顔が特定人物の顔であるか判断する。ステップＳ３５２の処理のことを、以下においては「顔認識」ともいう。顔認識は、顔認証とも呼ばれる。エッジサーバ３２０は、特定物体認識の周知技術を用いて顔を検出することが可能である。具体的には、エッジサーバ３２０は、ステップＳ３２において登録された人物データを参照することによって顔認識を実行することが可能である。

ステップＳ３５３において、エッジサーバ３２０は、ステップＳ３５２において認識された顔の撮影画像における方向を特定する。例えば、エッジサーバ３２０は、特定人物の顔が認識された位置を撮影方向によって特定する。すなわち、エッジサーバ３２０は、捜索者の撮影時における正面を基準として何度の撮影方向に特定人物が認識されたかを判断する。

なお、このときエッジサーバ３２０は、ステップＳ３５２において認識された顔の大きさに基づいて、捜索者から特定人物までのおおよその距離を算出してもよい。捜索者を基準とした特定人物の方向と距離が特定されれば、これらと捜索者の位置とに基づいて特定人物の位置を特定することができる。

ステップＳ３５４において、エッジサーバ３２０は、報知データを生成する。報知データは、ステップＳ３５３において特定された撮影方向を示すデータや撮影時刻を示す時刻データを含み得る。また、報知データは、特定人物の位置を示すデータを含んでもよい。

ステップＳ３８において、クライアント装置３３０は、報知データに基づいてバイブレータを振動させる。例えば、クライアント装置３３０は、報知データに含まれる撮影方向を示すデータを用いて特定人物の方向を特定し、振動させるべきバイブレータを決定する。なお、クライアント装置３３０は、報知する時点での捜索者の方向が撮影時の方向から変化している場合には、その変化分を加算又は減算して特定人物の方向を特定してもよい。また、クライアント装置３３０は、捜索者と特定人物との距離に応じて振動の強度を異ならせてもよい。

エッジサーバ３２０及びクライアント装置３３０は、画像データが生成される毎に、ステップＳ３３〜Ｓ３８の処理を繰り返す。その結果、捜索者の位置及び向きは、時間の経過に応じて変化し得る。同様に、特定人物の位置も、時間の経過に応じて変化し得る。

したがって、捜索者と特定人物の位置関係は、時々刻々と変化する可能性がある。例えば、捜索者からみた特定人物の位置は、左前方から右前方へと前方を横切るように移動したり、捜索者に近付いたり、捜索者から遠ざかったりする可能性がある。このような場合、エッジサーバ３２０は、振動させるバイブレータを変えたり、バイブレータの振動強度を変えたりすることによって特定人物の移動を捜索者に報知する。

図１３〜図１５は、バイブレータの振動パターンを例示する図である。図１３は、特定人物の位置が左前方から右前方へと移動する場合を示している。この場合、触覚インタフェース部３３３は、バイブレータＢ１５、Ｂ１６、Ｂ０１、Ｂ０２、Ｂ０３の順に振動させる。

図１４は、捜索者の背後にいる特定人物が捜索者に接近する場合を示している。この場合、触覚インタフェース部３３３は、バイブレータＢ２１、Ｂ２５の順に振動させる。また、図１５は、捜索者の背後にいる特定人物が捜索者から離れる場合を示している。この場合、触覚インタフェース部３３３は、バイブレータＢ２１、Ｂ０９の順に振動させる。

あるいは、触覚インタフェース部３３３は、図１４又は図１５の例の場合、後方に相当するバイブレータＢ０９、Ｂ２１、Ｂ２５のうちの振動させるバイブレータの個数を増減させたり、バイブレータの振動強度を変化させたりすることによって、特定人物との距離の変化を捜索者に報知してもよい。

本実施形態に係る捜索支援システム３００は、第２実施形態の捜索支援システム２００と同様の効果を奏することができる。すなわち、捜索支援システム３００は、画像データに対応する方向データを取得し、認識された物体の方向を方向データに基づいて特定する構成を有することにより、捜索者による物体の発見を容易にすることが可能である。また、捜索支援システム３００は、物体認識をクライアント装置３３０で実行する場合に比べ、クライアント装置３３０の負荷を軽減することが可能である。

また、捜索支援システム３００は、特定人物の捜索に際し、捜索者の人的能力を補助することができる。ここでいう人的能力は、視覚や聴覚に加え、記憶力などを含む。つまり、捜索支援装置１００は、捜索者の人的能力のみによっては発見できない可能性がある特定人物を発見できる可能性を高めることに寄与するといえる。

例えば、人間は、自らの視覚のみによっては、前後左右を同時に視認することはできない。また、人間の視覚では、群衆の中から特定の人物を見分けたりすることが困難な場合もある。したがって、捜索者は、仮に特定人物が自らの近くにいた場合であったとしても、当該人物を正確に発見できるとは限らない。

捜索支援システム３００は、このような場合において、捜索者の視覚を補助することが可能である。例えば、捜索支援システム３００は、捜索者にとっての正面であるか否かを問わず、複数の撮影方向により画像を撮影するため、捜索者が視認できないような位置に特定人物がいた場合であっても当該人物を認識することが可能である。

また、捜索支援システム３００は、特定人物の存在を振動により捜索者に報知する構成を有することにより、捜索者の視覚及び聴覚を妨げないようにすることが可能である。したがって、捜索者は、捜索支援システム３００からの情報の取得に視覚及び聴覚を用いる必要がなく、視覚及び聴覚を（自らによる）捜索者の発見に集中させることが可能である。

［変形例］
本開示は、上述された第１実施形態〜第３実施形態に限定されない。本開示は、上述された実施形態に対して当業者が把握し得る変形又は応用を適用した実施形態を含み得る。例えば、本開示は、以下に記載される変形例を含む。また、本開示は、本明細書に記載された事項を必要に応じて適宜に組み合わせた形態を含み得る。例えば、特定の実施形態を用いて説明された事項は、矛盾を生じない範囲において、他の実施形態に対しても適用され得る。

（変形例１）
クライアント装置３３０は、特定人物の存在を振動以外の態様で捜索者に報知してもよい。例えば、クライアント装置３３０は、触覚インタフェース部３３３に代えて、又は触覚インタフェース部３３３とともに、画像又は音声によって特定人物の存在を報知する構成を有してもよい。クライアント装置３３０は、その報知の態様に応じた形状（眼鏡型、ヘッドホン型など）で構成されてもよい。あるいは、クライアント装置３３０は、画像又は音声によって特定人物の存在を報知する構成を第２ユニット３３０Ｂに含んでもよい。

（変形例２）
クライアント装置３３０は、人間以外の物体に搭載されてもよい。例えば、クライアント装置３３０は、ロボット又は自動運転車に搭載されてもよい。この場合、クライアント装置３３０は、触覚インタフェース部３３３に代えて、ロボット又は自動運転車に報知データを供給する構成を有する。この場合、捜索者は、ロボット又は自動運転車を遠隔操作したり、撮影画像を遠隔から確認したりすることも可能である。

（変形例３）
捜索対象とされる物体の数は、特定の数に限定されない。例えば、捜索支援システム３００は、複数の特定人物を同時に認識できるように構成されてもよい。このような場合において、クライアント装置３３０は、複数の特定人物が認識されたときに、振動パターンを特定人物の人数に応じて変えてもよい。また、クライアント装置３３０は、複数の特定人物が認識された場合に、それぞれの人物の方向に対応するバイブレータを交互に振動させてもよい。

（変形例４）
捜索支援システム３００は、捜索者が複数いる場合（すなわち、クライアント装置３３０が複数ある場合）において、いずれかのクライアント装置３３０が特定人物を認識したとき、当該装置が特定人物を認識したことを他のクライアント装置に報知してもよい。

例えば、クラウドサーバ３１０又はエッジサーバ３２０は、特定のクライアント装置３３０において特定人物が認識された場合に、当該装置からの距離が所定の範囲内にある他のクライアント装置３３０に当該特定人物がいる可能性があることを報知してもよい。クラウドサーバ３１０又はエッジサーバ３２０は、特定人物が認識されたことを全てのクライアント装置３３０に報知してもよい。

また、エッジサーバ３２０は、複数のクライアント装置３３０が同時刻に同一の特定人物を認識できた場合、当該複数のクライアント装置３３０からの位置データと方向データとに基づいて特定人物の位置を特定することが可能である。エッジサーバ３２０は、複数のクライアント装置３３０が同一の特定人物を認識できていれば、特定人物（又はクライアント装置３３０）の位置が変化しても特定人物の座標を特定し続けることが可能である。

図１６は、捜索者（２名）と特定人物の位置関係を例示する図である。この例において、点Ｐ１及びＰ２は、それぞれ捜索者の位置を示す。また、点Ｐｘは、特定人物の位置を示す。ここにおいて、点Ｐ１及びＰ２の座標とそれぞれの座標からみた点Ｐｘの方向が与えられると、点Ｐｘの座標は、一意的に特定可能である。

（変形例５）
本開示に係る各装置（捜索支援装置１００、サーバ装置２１０、クライアント装置２２０、クラウドサーバ３１０、エッジサーバ３２０及びクライアント装置３３０）の具体的なハードウェア構成は、さまざまなバリエーションを含み、特定の構成に限定されない。例えば、これらの装置は、ソフトウェアを用いて実現されてもよく、複数のハードウェアを用いて各種処理を分担するように構成されてもよい。

図１７は、本開示に係る装置を実現するコンピュータ装置４００のハードウェア構成の一例を示すブロック図である。コンピュータ装置４００は、ＣＰＵ（Central Processing Unit）４０１と、ＲＯＭ（Read Only Memory）４０２と、ＲＡＭ（Random Access Memory）４０３と、記憶装置４０４と、ドライブ装置４０５と、通信インタフェース４０６と、入出力インタフェース４０７とを備える。本開示に係る装置は、図１７に示される構成（又はその一部）によって実現され得る。

ＣＰＵ４０１は、ＲＡＭ４０３を用いてプログラム４０８を実行する。プログラム４０８は、ＲＯＭ４０２に記憶されていてもよい。また、プログラム４０８は、メモリカード等の記録媒体４０９に記録され、ドライブ装置４０５によって読み出されてもよいし、外部装置からネットワーク４１０を介して送信されてもよい。通信インタフェース４０６は、ネットワーク４１０を介して外部装置とデータをやり取りする。入出力インタフェース４０７は、周辺機器（入力装置、表示装置など）とデータをやり取りする。通信インタフェース４０６及び入出力インタフェース４０７は、データを取得又は出力する手段として機能することができる。

なお、本開示に係る装置の構成要素は、単一の回路（プロセッサ等）によって構成されてもよいし、複数の回路の組み合わせによって構成されてもよい。ここでいう回路（circuitry）は、専用又は汎用のいずれであってもよい。

上述された実施形態において単体の装置として説明された構成は、複数の装置に分散して設けられてもよい。例えば、サーバ装置２１０又はエッジサーバ３２０は、クラウドコンピューティング技術などを用いて、複数のコンピュータ装置によって実現されてもよい。

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。

この出願は、２０１６年３月１７日に出願された日本出願特願２０１６−０５３５６９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 捜索支援装置
１１０ 取得部
１２０ 認識部
１３０ 特定部
１４０ 出力部
２００、３００ 捜索支援システム
２１０ サーバ装置
２１１ 画像処理部
２１２ 通信部
２２０、３３０ クライアント装置
２２１ 撮影部
２２２ 検知部
２２３ 報知部
２２４ 通信部
３１０ クラウドサーバ
３２０ エッジサーバ
３３１ カメラ部
３３２ 測位部
３３３ 触覚インタフェース部
３３４ 第１通信部
３３５ 第２通信部
３３６ 第３通信部
３３７ 制御部
４００ コンピュータ装置

Claims (7)

1. 撮影画像を示す画像データと、当該撮影画像の撮影方向に関連付けられた方向データとを取得する取得手段と、
   前記取得された画像データを用いて、所定の条件を満たす物体を認識する認識手段と、
   前記取得された方向データを用いて、前記認識された物体の方向を特定する特定手段と、
   前記特定された方向を示す報知データを出力する出力手段と、
   前記報知データに基づいて振動が制御される複数のバイブレータを含むクライアント装置に前記報知データを送信する通信手段と、
   を備える捜索支援装置。
2. 前記取得手段は、前記画像データと、当該画像データにより示される撮影画像が撮影された時刻に関連付けられた前記方向データとを取得する
   請求項１に記載の捜索支援装置。
3. 前記取得手段は、前記画像データ及び前記方向データを、複数の機器から取得し、
   前記認識手段は、前記複数の機器のそれぞれから取得された前記画像データを用いて前記物体を認識し、前記複数の機器のそれぞれから取得された前記方向データを用いて前記物体の方向を特定する
   請求項１又は請求項２に記載の捜索支援装置。
4. 前記取得手段は、前記画像データと、前記方向データと、当該画像データにより示される撮影画像が撮影された位置を示す位置データとを取得し、
   前記特定手段は、前記取得された方向データ及び位置データを用いて、前記認識された物体の位置を特定する
   請求項３に記載の捜索支援装置。
5. 画像データを出力するクライアント装置と、前記画像データに基づいて所定の条件を満たす物体を認識するサーバ装置とを備え、
   前記クライアント装置は、前記サーバ装置と通信する第１の通信手段と、
   撮影画像を示す画像データを出力する撮影手段と、
   前記撮影画像の撮影方向に関連付けられた方向データを出力する検知手段と、
   前記物体が認識されたことを報知する報知手段とを備え、
   前記サーバ装置は、
   前記クライアント装置と通信する第２の通信手段と、
   前記画像データを用いて前記物体を認識する認識手段と、
   前記方向データを用いて、前記認識された物体の方向を特定する特定手段と、
   前記特定された方向を示す報知データを出力する出力手段とを備え、
   前記報知手段は、
   複数のバイブレータを備え、当該複数のバイブレータによる振動を前記報知データに基づいて制御する
   捜索支援システム。
6. 撮影画像を示す画像データと、当該撮影画像の撮影方向に関連付けられた方向データとを取得し、
   前記取得された画像データを用いて、所定の条件を満たす物体を認識し、
   前記取得された方向データを用いて、前記認識された物体の方向を特定し、
   前記特定された方向を示す報知データを出力し、
   前記報知データに基づいて振動が制御される複数のバイブレータを含むクライアント装置に前記報知データを送信する
   捜索支援方法。
7. コンピュータに、
   撮影画像を示す画像データと、当該撮影画像の撮影方向に関連付けられた方向データとを取得する処理と、
   前記取得された画像データを用いて、所定の条件を満たす物体を認識する処理と、
   前記取得された方向データを用いて、前記認識された物体の方向を特定する処理と、
   前記特定された方向を示す報知データを出力する処理と、
   前記報知データに基づいて振動が制御される複数のバイブレータを含むクライアント装置に前記報知データを送信する処理と
   を実行させるためのプログラム。

Images