JP7389222B2 - オブジェクト認識システム及び受信端末 - Google Patents

Description

本開示は、オブジェクト認識システム及び受信端末に関する。

人や機器等のオブジェクトを特定し、該オブジェクトに係る拡張現実表示を行う技術が知られている（例えば特許文献１参照）。オブジェクトは、例えばカメラ付きのデバイスによるオブジェクトの撮影、及び画像処理等を用いたオブジェクト認識技術等により特定され得る。

ＷＯ２０１８／１６７９６６

例えば現実空間のオブジェクトを仮想空間に忠実に再現するためには、あらゆる場所、あらゆるオブジェクトの特定を行う必要がある。このような特定は、画像処理等を伴うため、多大な労力が必要となる。

本開示は上記実情に鑑みてなされたものであり、オブジェクトの特定に係る労力を軽減することができるオブジェクト認識システム及び受信端末を提供することを目的とする。

本開示の一態様に係るオブジェクト認識システムは、自己位置推定を行う送信端末及び受信端末を備え、送信端末は、オブジェクトを撮像する第１撮像部と、第１撮像部によって撮像されたオブジェクトを画像認識する認識部と、認識部によって画像認識されたオブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部と、特定部によって特定されたオブジェクト情報を仲介装置に送信する送信部と、を備え、受信端末は、仲介装置からオブジェクト情報を受信する第２受信部と、自己位置推定結果及び第２受信部によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う表示部と、を備える。

本開示の一態様に係るオブジェクト認識システムでは、送信端末により撮像され、画像認識されたオブジェクトから拡張現実表示に係るメタデータが取得される。また、送信端末の自己位置推定結果を考慮してオブジェクトの位置が導出される。そして、メタデータとオブジェクトの位置とを関連付けたオブジェクト情報が、仲介装置を介して受信端末に送信される。また、受信端末がオブジェクト情報に含まれるオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示が行われる。このように、オブジェクトのメタデータ及びオブジェクトの位置が、オブジェクト情報として送信端末から受信端末に共有され、受信端末がオブジェクトの位置に対応する位置に到達した際に、受信端末において、受信したオブジェクト情報に含まれるメタデータに基づく拡張現実表示が行われることにより、受信端末では、当該オブジェクト情報に係るオブジェクトに関する情報が表示されることとなる。これにより、受信端末では、当該オブジェクト情報に係るオブジェクトの画像認識を行うことなく、オブジェクトが特定される。以上のように、本発明の一態様に係るオブジェクト認識システムによれば、受信端末における画像認識が不要になることによって、オブジェクトの特定に係る労力を軽減することができる。また、本発明の一態様に係るオブジェクト認識システムでは、受信端末における画像認識が不要になることにより、電力消費を軽減することができる。また、本発明の一態様に係るオブジェクト認識システムでは、受信端末によっては画像認識することができない（受信端末の画角の外に存在する）オブジェクトのオブジェクト情報についても送信端末から受信端末に共有されるため、オブジェクトの特定をより効率的に行うことができる。

本開示の一態様によれば、オブジェクトの特定に係る労力を軽減することができる。

実施形態に係るオブジェクト認識システムの機能構成を示すブロック図である。 送信端末が行う処理の一例を示すフローチャートである。 受信端末が行う処理の一例を示すフローチャートである。 実施形態に係る拡張現実表示の一例を示す図である。 静的オブジェクト及び動的オブジェクトの経時的な認識と共有との関係を示す図である。 変形例に係る送信端末の機能構成を示すブロック図である。 送信端末及び受信端末のハードウェア構成を示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。図面の説明において、同一又は同等の要素には同一符号を用い、重複する説明を省略する。

図１は、実施形態に係るオブジェクト認識システム１の機能構成を示すブロック図である。オブジェクト認識システム１は、送信端末１０がオブジェクトの画像認識結果に応じた拡張現実表示に係るメタデータ、及びオブジェクトの位置を受信端末３０に共有し、受信端末３０が該オブジェクトに係る画像認識を行うことなく、受信端末３０において該オブジェクトに係る拡張現実表示を行うシステムである。オブジェクトとは、各種物体である。オブジェクトには、動かずに停止している（又は、所定期間内における動く量が無視できる程度に少ない）物体（以下、「静的オブジェクト」という。）、及び、所定期間内における動く量が所定値よりも多い物体（以下、「動的オブジェクト」という。）の双方を含みうる。例えば、構造物、看板、ポスター等は上述した静的オブジェクトとされ、人や自動車は上述した動的オブジェクトとされてもよい。オブジェクト認識システム１は、送信端末１０（第１端末）及び受信端末３０（第２端末）を備えている。送信端末１０及び受信端末３０は、それぞれネットワークＮに通信可能に接続されている。送信端末１０及び受信端末３０は、それぞれ複数台で構成され得る。

送信端末１０は、ネットワークＮと通信可能な通信端末であり、例えばスマートフォン、タブレット端末、ウェアラブル端末、携帯ゲーム機等により構成され得る。送信端末１０は自己位置推定を行うことができる。自己位置推定とは、端末自身が現在どこに存在しているのかを推定することであり、例えばＳＬＡＭ（Simultaneous Localization And Mapping）等の技術により実現し得る。ＳＬＡＭとは、カメラ、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。ＳＬＡＭの具体的な一例として、カメラにより撮像された画像を用いたＶｉｓｕａｌ ＳＬＡＭが挙げられる。送信端末１０は、自己位置推定結果から、送信端末１０の位置及び方位等を取得することができる。送信端末１０は、第１撮像部１１と、認識部１２と、特定部１３と、送信部１４と、を備える。

第１撮像部１１は、オブジェクトを撮像する機能要素である。より詳細には、第１撮像部１１は、オブジェクトの画像を撮像すると共に、該画像の撮像日時を示す時間情報を取得することができる。画像には複数のオブジェクトが含まれていてもよい。

認識部１２は、第１撮像部１１によって撮像されたオブジェクトを画像認識する機能要素である。画像認識の手法は限定されない。画像認識が行われることにより、オブジェクトの識別情報（オブジェクトが何であるかを示す情報）が特定される。

特定部１３は、認識部１２によって画像認識されたオブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する機能要素である。特定部１３は、認識部１２による画像認識結果に基づいて、拡張現実表示に係るメタデータを特定する。メタデータには、例えばオブジェクトの識別情報、オブジェクトの属性、及びオブジェクトの拡張現実表示に係る情報等が含まれている。オブジェクトの識別情報は、オブジェクトが何であるか（例えば「テレビ」等）を示す情報である。オブジェクトの属性は、オブジェクトのカテゴリ（例えば「電化製品」等）を示す情報である。オブジェクトの拡張現実表示に係る情報は、拡張現実表示の内容、拡張現実表示の位置（オブジェクトに対してどの位置に拡張現実表示を行うか）等の情報である。また、特定部１３は、自己位置推定結果に基づきオブジェクトの位置を特定する。特定部１３は、例えば、自己位置推定により取得した送信端末１０の位置及び方位を基準とすると、送信端末１０とオブジェクトとの距離が把握できるため、該オブジェクトの位置を取得することができる。オブジェクトの位置は、例えば座標、又は送信端末１０からの距離等により表されてもよい。特定部１３は、特定したメタデータとオブジェクトの位置とを関連付けた情報をオブジェクト情報とする。

送信部１４は、特定部１３によって特定されたオブジェクト情報を仲介装置２０に送信する機能要素である。送信するタイミングは限定されず、例えば定期的であってもよく、オブジェクト情報が特定される都度であってもよい。

仲介装置２０は、送信端末１０から受信したオブジェクト情報等を受信端末３０に送信（仲介）するネットワークＮ上の装置であり、例えばクラウドコンピューティングの装置又は装置群により構成され得る。仲介装置２０及びネットワークＮの構成は限定されない。

受信端末３０は、ネットワークＮと通信可能な通信端末であり、例えばスマートフォン、タブレット端末、ウェアラブル端末、携帯ゲーム機等により構成され得る。受信端末３０は、送信端末１０と同様に自己位置推定を行うことができる。受信端末３０及び送信端末１０は、それぞれの自己位置推定結果を互いに共有することにより、互いの位置を把握してもよい。受信端末３０及び送信端末１０は、例えば互いの位置が把握できた場合等にグルーピング（又はペアリング）されてもよい。そして、グルーピングされた端末間でのみ、オブジェクト情報が共有されてもよい。なお、送信端末１０及び受信端末３０は、互いに同じ機能を有する端末であってもよく、互いに送信端末１０及び受信端末３０の双方になり得るものであってもよい。受信端末３０は、第２受信部３１と、第２撮像部３２と、表示部３３と、を備える。

第２受信部３１は、仲介装置２０からオブジェクト情報を受信する機能要素である。受信するタイミングは限定されず、例えば定期的であってもよく、受信端末３０の位置又は方位が変更されたタイミングであってもよい。受信する対象のオブジェクト情報は、例えば、オブジェクト情報に含まれるオブジェクトの位置を基準として、受信端末３０の位置から所定の範囲内のオブジェクト情報であってもよい。

第２撮像部３２は、オブジェクトを撮像する機能要素である。より詳細には、第２撮像部３２は、オブジェクトの画像を撮像すると共に、該画像の撮像日時を示す時間情報を取得することができる。画像には複数のオブジェクトが含まれていてもよい。

表示部３３は、自己位置推定結果及び第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う機能要素である。表示部３３は、自己位置推定結果及び第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末３０がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行ってもよい。表示部３３は、自己位置推定結果を考慮して、第２撮像部３２によって撮像されている領域の座標系を導出し、第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置が、座標系に含まれる場合に、該位置に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行ってもよい。オブジェクトの位置の拡張現実表示は限定されず、例えば方角、距離、矢印等の記号、枠、強調表示、文字等のいずれか又は組み合わせによって示されてもよい。

図２は、送信端末１０が行う処理の一例を示すフローチャートである。図２では、認識する対象のオブジェクトをテレビとして説明する。

送信端末１０は、自己位置推定を実行する（ステップＳ１１）。送信端末１０は、自己位置推定結果から、例えば建物内における送信端末１０の位置及び方位等を取得する。

第１撮像部１１は、オブジェクトを撮像する（ステップＳ１２）。例えば、送信端末１０の方位（画角内）にテレビが存在する場合、第１撮像部１１によってテレビの画像が取得される。

認識部１２は、第１撮像部１１によって撮像されたオブジェクトを画像認識する（ステップＳ１３）。認識部１２は、例えばテレビの画像に対し画像認識を実行し、拡張現実表示に係るメタデータを取得する。メタデータは、例えばテレビを識別する識別情報、テレビを示す属性等の情報を含み得る。

特定部１３は、認識部１２によって画像認識されたオブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する（ステップＳ１４）。送信端末１０は、例えば、建物内における送信端末１０の位置及び方位を基準として、送信端末１０とテレビとの距離を把握することにより、テレビの位置を取得する。特定部１３は、テレビのメタデータと、テレビの位置とを関連付けたオブジェクト情報を特定する。

送信部１４は、特定部１３によって特定されたオブジェクト情報を仲介装置２０に送信する（ステップＳ１５）。

図３は、受信端末３０が行う処理の一例を示すフローチャートである。図３は、図２と同様に、認識する対象のオブジェクトをテレビとして説明する。図３はまた、図２で説明した送信端末１０と同じ建物内に受信端末３０が存在するものとして説明する。図３において、受信端末３０は、第２撮像部３２により任意のオブジェクトの撮像を実行しているものとする。

受信端末３０は、自己位置推定を実行する（ステップＳ２１）。受信端末３０は、自己位置推定結果から、例えば建物内における受信端末３０の位置及び方位等を取得する。

第２受信部３１は、仲介装置２０からオブジェクト情報を受信する（ステップＳ２２）。

表示部３３は、自己位置推定結果を考慮して、第２撮像部３２によって撮像されている領域の座標系を導出し、第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置が、座標系に含まれる場合に、該位置に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う（ステップＳ２３）。表示部３３は、例えばオブジェクト情報に含まれるテレビの位置を示すように、矢印及び文字等により拡張現実表示を行ってもよい。

本実施形態において、受信端末３０は、第２撮像部３２による撮像を実行しなくてもよい。表示部３３は、自己位置推定結果及び第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末３０がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行ってもよい。表示部３３は、例えば受信端末３０の方位にテレビがない場合、テレビが存在する方位に受信端末３０を向けるように促すメッセージ等により拡張現実表示を行ってもよい。

図４は、実施形態に係る拡張現実表示の一例を示す図である。図４は、送信端末１０によってオブジェクト（例えば、ペットボトル）の撮像及び画像認識を行った結果、「紅茶のペットボトル」を示す情報を含むメタデータが取得されていることを示す。受信端末３０は仲介装置２０を介して、送信端末１０が認識したペットボトルのメタデータとペットボトルの位置とが関連付けられて特定されたオブジェクト情報を受信する。受信端末３０は、自己位置推定結果を考慮して、第２撮像部３２によって撮像されている領域の座標系を導出する。受信端末３０はまた、受信したオブジェクト情報に含まれるペットボトルの位置が、座標系に含まれるかどうかを判定する。図４の受信端末３０では、含まれていると判定され、オブジェクト情報に含まれるメタデータに基づいて「紅茶のペットボトルがあります」等のメッセージを含む拡張現実表示がなされていることを示す。このように、受信端末３０は、送信端末１０から送信されたオブジェクト情報を利用することによって、オブジェクト認識を実行することなく、撮像しているオブジェクトに関する拡張現実表示を行うことができる。

次に、本実施形態に係るオブジェクト認識システム１の作用効果について説明する。

本実施形態に係るオブジェクト認識システム１は、自己位置推定を行う送信端末１０及び受信端末３０を備え、送信端末１０は、オブジェクトを撮像する第１撮像部１１と、第１撮像部１１によって撮像されたオブジェクトを画像認識する認識部１２と、認識部１２によって画像認識されたオブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部１３と、特定部１３によって特定されたオブジェクト情報を仲介装置２０に送信する送信部１４と、を備え、受信端末３０は、仲介装置２０からオブジェクト情報を受信する第２受信部３１と、自己位置推定結果及び第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置に基づき、受信端末３０がオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行う表示部３３と、を備える。

本実施形態に係るオブジェクト認識システム１では、送信端末１０により撮像され、画像認識されたオブジェクトから拡張現実表示に係るメタデータが取得される。また、送信端末１０の自己位置推定結果を考慮してオブジェクトの位置が導出される。そして、メタデータとオブジェクトの位置とを関連付けたオブジェクト情報が、仲介装置２０を介して受信端末３０に送信される。また、受信端末３０がオブジェクト情報に含まれるオブジェクトの位置に対応する位置に到達した際に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示が行われる。このように、オブジェクトのメタデータ及びオブジェクトの位置が、オブジェクト情報として送信端末１０から受信端末３０に共有され、受信端末３０がオブジェクトの位置に対応する位置に到達した際に、受信端末３０において、受信したオブジェクト情報に含まれるメタデータに基づく拡張現実表示が行われることにより、受信端末３０では、当該オブジェクト情報に係るオブジェクトに関する情報が表示されることとなる。これにより、受信端末３０では、当該オブジェクト情報に係るオブジェクトの画像認識を行うことなく、オブジェクトが特定される。以上のように、本実施形態に係るオブジェクト認識システムによれば、受信端末３０における画像認識が不要になることによって、オブジェクトの特定に係る労力を軽減することができる。また、本実施形態に係るオブジェクト認識システム１では、受信端末３０における画像認識が不要になることにより、電力消費を軽減することができる。また、本実施形態に係るオブジェクト認識システム１では、受信端末３０によっては画像認識することができない（受信端末３０の画角の外に存在する）オブジェクトのオブジェクト情報についても送信端末１０から受信端末３０に共有されるため、オブジェクトの特定をより効率的に行うことができる。

本実施形態に係るオブジェクト認識システム１において、受信端末３０は、オブジェクトを撮像する第２撮像部３２をさらに備え、表示部３３は、自己位置推定結果を考慮して、第２撮像部３２によって撮像されている領域の座標系を導出し、第２受信部３１によって受信されたオブジェクト情報に含まれるオブジェクトの位置が、座標系に含まれる場合に、該位置に、オブジェクト情報に含まれるメタデータに基づく拡張現実表示を行ってもよい。このような構成により、撮像されている領域の座標系に、受信したオブジェクト情報に含まれるオブジェクトの位置が含まれているかどうかが判定される。含まれている場合、オブジェクト情報に含まれるメタデータに基づいて拡張現実表示が実行される。したがって、既に送信端末１０により撮像されたオブジェクトについて、受信端末３０はオブジェクト認識を実行することなく、撮像しているオブジェクトに関する拡張現実表示がなされる。また、このような構成によれば、第２撮像部３２によって撮像されたオブジェクトと、該オブジェクトに係る拡張現実表示とを共に（併せて）表示することができ、オブジェクトをより効果的に特定することができる。

［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記実施形態に限定されるものではない。本開示はその要旨を逸脱しない範囲で様々な変形が可能である。

送信部１４は、送信端末１０の識別情報を仲介装置２０にさらに送信してもよい。仲介装置２０は、受信端末３０にオブジェクト情報を送信した回数を送信端末１０の識別情報ごとにカウントしてもよい。送信端末１０の識別情報は、例えばユーザＩＤ、送信端末１０自身を識別する装置ＩＤ等を含み得る。このような構成により、受信端末３０に対するオブジェクト情報の送信回数が、送信端末１０ごとにカウントされる。送信回数が多いほど、受信端末３０でオブジェクト情報が利用されたことを示す。言い換えると、送信回数は、送信端末１０がオブジェクト認識により受信端末３０に貢献した度合いを示すことができる。このように、貢献度合いを導出し示すことにより、ユーザがオブジェクト認識に係る操作を行うモチベーションを高めることができる。仲介装置２０は、受信端末３０において実際に拡張現実表示がなされた回数をカウントしてもよい。この場合、受信端末３０は、拡張現実表示がなされた回数とオブジェクト情報を識別する情報等を仲介装置２０に送信するように構成されてもよい。

別の変形例において、認識部１２は、画像認識によって静的オブジェクト又は動的オブジェクトを示す分類情報をさらに認識してもよい。特定部１３は、認識部１２によって認識された分類情報及び第１撮像部１１によって撮像された撮像日時を示す時間情報をさらに関連付けた前記オブジェクト情報を特定してもよい。第２受信部３１は、オブジェクト情報に含まれる分類情報が静的オブジェクトであるオブジェクト情報、及び、オブジェクト情報に含まれる分類情報が動的オブジェクトであり、かつオブジェクト情報に含まれる時間情報が予め定められた時間内であるオブジェクト情報のみを受信してもよい。このような構成により、画像認識によって、静的オブジェクトであるか動的オブジェクトであるかを示す分類情報が認識される。分類情報が静的オブジェクトである場合、オブジェクト情報が受信端末３０に共有される。分類情報が動的オブジェクトである場合、撮像日時を示す時間情報が予め定められた時間内のオブジェクト情報のみが受信端末３０に共有される。したがって、受信端末３０は、所定の時間より前に撮像された動的オブジェクトに関するオブジェクト情報を受信しない。なお、時間情報を撮像日時としているが、例えば認識部１２による画像認識の実行日時、又は送信部１４による送信日時等としてもよい。

図５は、変形例に係る静的オブジェクト及び動的オブジェクトの経時的な認識と共有との関係を示す図である。図５の四角枠はそれぞれ、送信端末１０が静的オブジェクトＡ，Ｂ，Ｃ，Ｄ及び動的オブジェクトＡ´，Ｂ´，Ｃ´，Ｄ´を経時的に認識したことを示す。以下、時点ｔ１，ｔ２，ｔ３のそれぞれにおいて、受信端末３０が受信する対象のオブジェクト情報を説明する。

時点ｔ１において、静的オブジェクトＡ及び動的オブジェクトＡ´が認識されている。静的オブジェクトは、認識時点以降もオブジェクトの位置が変わらないと想定される。したがって、静的オブジェクトは一度認識されると、オブジェクト情報を改めて特定する必要がない。一方、動的オブジェクトは、受信端末３０が受信した時点でオブジェクトの位置が変わっている可能性がある。ここで、受信端末３０は、例えばオブジェクトの撮像日時を示す時間情報が数秒以内のもののみ、動的オブジェクトに関するオブジェクト情報を受信してもよい。この場合、時点ｔ１において、受信端末３０は静的オブジェクトＡ及び動的オブジェクトＡ´を受信する。

時点ｔ１と時点ｔ２との間に、新たな静的オブジェクトＢ，Ｃが認識されている。また、時点ｔ１とｔ２との間に、動的オブジェクトＢ´及びＣ´が認識されているが、ここでは時点ｔ２から予め定められた時間内（例えば、数秒以内）に撮像されたものではないとする。この場合、時点ｔ２において、受信端末３０は静的オブジェクトＡ，Ｂ，Ｃを受信する。

時点ｔ３において、新たな静的オブジェクトＤ及び動的オブジェクトＤ´が認識されている。この場合、時点ｔ３において、受信端末３０は静的オブジェクトＡ，Ｂ，Ｃ，Ｄ及び動的オブジェクトＤ´を受信する。

別の変形例において、認識部１２は、画像認識によって静的オブジェクト又は動的オブジェクトを示す分類情報をさらに認識してもよい。特定部１３は、分類情報が静的オブジェクトであるオブジェクトのみ、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出されるオブジェクトの位置とを関連付けたオブジェクト情報を特定してもよい。このような構成により、画像認識によって、静的オブジェクトであるか動的オブジェクトであるかを示す分類情報が認識される。そして、分類情報が静的オブジェクトである場合のみ、オブジェクト情報が受信端末３０に共有される。このことにより、オブジェクト認識システム１の全体的な処理効率が高くなる。また、位置が変わる可能性のある動的オブジェクトを除くことによって、受信端末３０において、拡張現実表示をより正確に行うことができる。

別の変形例において、第２受信部３１は、オブジェクト情報に含まれるオブジェクトの位置が受信端末３０の方位に存在するオブジェクト情報のみを受信してもよい。このような構成により、受信端末３０の方位（例えば画角内）に存在するオブジェクト情報のみが受信端末３０に共有される。このことにより、受信端末３０が受信するオブジェクト情報の量を軽減することができる。また、受信端末３０の方位に存在するオブジェクトのオブジェクト情報のみが受信端末３０に共有されることによって、受信端末３０において、各オブジェクトの特定をより正確に行うことができる。

図６は、変形例に係る送信端末１０の機能構成を示すブロック図である。送信端末１０は、仲介装置２０から、他の送信端末１０によって認識されたオブジェクトに関するオブジェクト情報を受信する第１受信部１５をさらに備えてもよい。認識部１２は、他の送信端末１０によって認識されたオブジェクトを認識しなくてもよい。このような構成により、送信端末１０が複数ある場合において、他の送信端末１０（第３端末）から送信端末１０（第１端末）にオブジェクト情報が共有される。送信端末１０（第１端末）は、受信したオブジェクト情報に関するオブジェクトについて、改めて認識しない。したがって、送信端末１０は重複した処理を避けることができ、オブジェクト認識の処理効率を高めることができる。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線で）接続し、これら複数の装置により実現されてもよい。

例えば、上記実施形態における送信端末１０及び受信端末３０などは、上記実施形態の送信端末１０及び受信端末３０の処理を行うコンピュータとして機能してもよい。図７は、本実施形態に係る送信端末１０及び受信端末３０のハードウェア構成の一例を示す図である。上述の送信端末１０及び受信端末３０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、及びバス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。送信端末１０及び受信端末３０のハードウェア構成は、図１に示された各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

送信端末１０及び受信端末３０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、及び／又はデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、送信端末１０の第１撮像部１１は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、上記実施形態に係るオブジェクト認識方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバ、その他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１及びメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、送信端末１０及び受信端末３０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更された態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

本明細書で説明した各態様／実施形態の処理手順、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理されてもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いられてもよいし、組み合わせて用いられてもよいし、実行に伴って切り替えて用いられてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）によって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報及び信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。

上述したパラメータに使用される名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。

「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」との両方を意味する。

本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（including）」、「含んでいる（comprising）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈又は技術的に明らかに１つのみしか存在しない装置であることが示されていなければ、複数の装置をも含むものとする。

１０…送信端末、１１…第１撮像部、１２…認識部、１３…特定部、１４…送信部、１５…第１受信部、２０…仲介装置、３０…受信端末、３１…第２受信部、３２…第２撮像部、３３…表示部。

Claims (7)

1. 自己位置推定を行う送信端末及び受信端末を備えるオブジェクト認識システムであって、
   前記送信端末は、
   オブジェクトを撮像する第１撮像部と、
   前記第１撮像部によって撮像された前記オブジェクトを画像認識する認識部と、
   前記認識部によって画像認識された前記オブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出される前記オブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部と、
   前記特定部によって特定された前記オブジェクト情報を仲介装置に送信する送信部と、
   を備え、
   前記受信端末は、
   前記仲介装置から前記オブジェクト情報を受信する第２受信部と、
   自己位置推定結果及び前記第２受信部によって受信された前記オブジェクト情報に含まれる前記オブジェクトの位置に基づき、前記受信端末が前記オブジェクトの位置に対応する位置に到達した際に、前記オブジェクト情報に含まれる前記メタデータに基づく拡張現実表示を行う表示部と、
   を備え、
   前記認識部は、画像認識によって静的オブジェクト又は動的オブジェクトを示す分類情報をさらに認識し、
   前記特定部は、前記認識部によって認識された前記分類情報及び前記第１撮像部によって撮像された撮像日時を示す時間情報をさらに関連付けた前記オブジェクト情報を特定し、
   前記第２受信部は、前記オブジェクト情報に含まれる前記分類情報が静的オブジェクトである前記オブジェクト情報、及び、前記オブジェクト情報に含まれる前記分類情報が動的オブジェクトでありかつ前記オブジェクト情報に含まれる前記時間情報が予め定められた時間内である前記オブジェクト情報のみを受信する、
   オブジェクト認識システム。
2. 前記受信端末は、オブジェクトを撮像する第２撮像部をさらに備え、
   前記表示部は、自己位置推定結果を考慮して、前記第２撮像部によって撮像されている領域の座標系を導出し、前記第２受信部によって受信された前記オブジェクト情報に含まれる前記オブジェクトの位置が、前記座標系に含まれる場合に、該位置に、前記オブジェクト情報に含まれる前記メタデータに基づく拡張現実表示を行う、
   請求項１記載のオブジェクト認識システム。
3. 前記送信部は、前記送信端末の識別情報をさらに送信し、
   前記仲介装置は、前記受信端末に前記オブジェクト情報を送信した回数を前記送信端末の識別情報ごとにカウントする、
   請求項１又は２記載のオブジェクト認識システム。
4. 前記認識部は、画像認識によって静的オブジェクト又は動的オブジェクトを示す分類情報をさらに認識し、
   前記特定部は、前記分類情報が静的オブジェクトである前記オブジェクトのみ、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出される前記オブジェクトの位置とを関連付けたオブジェクト情報を特定する、
   請求項１～３いずれか一項記載のオブジェクト認識システム。
5. 前記第２受信部は、前記オブジェクト情報に含まれる前記オブジェクトの位置が前記受信端末の方位に存在する前記オブジェクト情報のみを受信する、請求項１～４いずれか一項記載のオブジェクト認識システム。
6. 自己位置推定を行う送信端末及び受信端末を備えるオブジェクト認識システムであって、
   前記送信端末は、
   オブジェクトを撮像する第１撮像部と、
   前記第１撮像部によって撮像された前記オブジェクトを画像認識する認識部と、
   前記認識部によって画像認識された前記オブジェクトについて、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出される前記オブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部と、
   前記特定部によって特定された前記オブジェクト情報を仲介装置に送信する送信部と、
   を備え、
   前記受信端末は、
   前記仲介装置から前記オブジェクト情報を受信する第２受信部と、
   自己位置推定結果及び前記第２受信部によって受信された前記オブジェクト情報に含まれる前記オブジェクトの位置に基づき、前記受信端末が前記オブジェクトの位置に対応する位置に到達した際に、前記オブジェクト情報に含まれる前記メタデータに基づく拡張現実表示を行う表示部と、
   を備え、
   前記送信端末は、前記仲介装置から、他の送信端末によって認識されたオブジェクトに関するオブジェクト情報を受信する第１受信部をさらに備え、
   前記認識部は、前記他の送信端末によって認識されたオブジェクトを認識しない、
   オブジェクト認識システム。
7. 自己位置推定を行う送信端末であって、
   オブジェクトを撮像する第１撮像部と、
   前記第１撮像部によって撮像された前記オブジェクトを画像認識する認識部と、
   前記認識部によって画像認識された静的オブジェクトを示す前記オブジェクトのみ、認識結果に応じた拡張現実表示に係るメタデータと、自己位置推定結果を考慮して導出される前記オブジェクトの位置とを関連付けたオブジェクト情報を特定する特定部と、
   前記特定部によって特定された前記オブジェクト情報を仲介装置に送信する送信部と、
   を備え、
   前記仲介装置から、他の送信端末によって認識されたオブジェクトに関するオブジェクト情報を受信する第１受信部をさらに備え、
   前記認識部は、前記他の送信端末によって認識されたオブジェクトを認識しない、
   送信端末。

Images