JP6528409B2 - 対象表示システム、管理装置、対象表示方法及び管理プログラム - Google Patents

対象表示システム、管理装置、対象表示方法及び管理プログラム Download PDF

Info

Publication number
JP6528409B2
JP6528409B2 JP2015003977A JP2015003977A JP6528409B2 JP 6528409 B2 JP6528409 B2 JP 6528409B2 JP 2015003977 A JP2015003977 A JP 2015003977A JP 2015003977 A JP2015003977 A JP 2015003977A JP 6528409 B2 JP6528409 B2 JP 6528409B2
Authority
JP
Japan
Prior art keywords
target
signal
identifier
unit
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015003977A
Other languages
English (en)
Other versions
JP2016130874A (ja
Inventor
祐介 犬塚
祐介 犬塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2015003977A priority Critical patent/JP6528409B2/ja
Priority to US14/993,629 priority patent/US9959469B2/en
Priority to EP16150830.4A priority patent/EP3046048A1/en
Priority to TW105100771A priority patent/TWI661359B/zh
Priority to KR1020160004077A priority patent/KR101846060B1/ko
Publication of JP2016130874A publication Critical patent/JP2016130874A/ja
Application granted granted Critical
Publication of JP6528409B2 publication Critical patent/JP6528409B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/42Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422Technical drawings; Geographical maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Telephonic Communication Services (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画像を使用して物体の場所を特定する技術に関する。
近年、さまざまな物がインターネットに接続されるInternet of Things(IoT)と呼ばれる概念が提唱されている。今後はさまざまな物がインターネットへ接続され、インターネットへ接続される物の数は加速度的に増加すると予想されている。IoTデバイスは2020年までに260億ユニットを超えるという予測も存在する。
ここでいう「物」は、コンピュータなどのIT(Internet Technology)関連機器だけでなく、家電製品、キオスク端末、自動車、照明、及び、建物や街頭に設置されているさまざまな種センサなどが例として挙げられる。以上の例に限らず、現実世界のあらゆる物がIoTにおける「物」であり得る。
このように現実世界のあらゆる物が通信ネットワークに接続されるようになると、通信ネットワーク上では識別子により「物」を特定し、その「物」と通信できても、現実世界ではユーザがその「物」を識別することが困難になる状況が想定される。以下、通信ネットワークをネットワークとも表記する。
特許文献1には、ビデオ映像において、例えばLED(Light Emitting Diode)等の光源の点滅パターンによってID(IDentification)が表されたマーカを認識する情報家電操作システムが記載されている。特許文献1では、IDは、例えば、MAC(Media Access Control)アドレスやIP(Internet Protocol)アドレスなどである。
特許文献2には、固有の点滅パターンで点滅するLEDによって実現されるLEDマーカを、カメラによって撮影した画像において検出する光学マーカシステムが記載されている。特許文献1に記載されているLEDマーカシステムは、撮影空間内におけるLEDマーカの位置と画像において検出されたLEDマーカの位置とに基づいて、LEDマーカを撮影したカメラの位置を推定する。
特開2012−037919号公報 特開2009−033366号公報
特許文献1の技術では、点滅パターンが、マーカのIPアドレスやMACアドレスなどの、マーカに一意に付与されたIDを表すように、LEDを点滅させる。すなわち、特許文献1の技術では、マーカに、そのマーカに固有の点滅パターンが割り当てられる。特許文献2の技術では、LEDマーカに、そのLEDマーカに固有の点滅パターンが付与される。
IoTが一般化するに従って、インターネットに接続される物の数は劇的に増大する。特許文献1の技術では、IDが割り当てられているマーカをそれらの物に付加する場合、IDを重複させないために、IDの長さを長くする必要がある。その場合、IDを表す点滅パターンの長さも増大する。特許文献2の技術では、それらの物に付加するマーカに一意に固有の点滅パターンを割り当てる場合、それらの物の数の増加に応じて、点滅パターンの長さも増加する。
しかし、一般的なビデオカメラでは、撮影されるフレームの数は毎秒約30枚である。すなわち、単位時間当たりに認識可能な点滅の回数は限られる。従って、点滅パターンによってマーカを認識するのに必要な時間は、点滅パターンの長さ、すなわち、点滅パターンの点滅の回数の増大に応じて増加する。すなわち、特許文献1及び2の技術では、インターネットに接続される物にマーカを割り当てる場合、マーカの認識に必要な時間の、それらの物の数の増大に応じた増加を防ぐことはできない。
本発明の目的の1つは、対象の数が増加しても、対象が発する信号に基づく対象の認識に必要な時間の増加を抑制できる対象表示システムを提供することにある。
本発明の一態様に係る対象表示システムは、対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を生成する管理手段と、前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する、複数の発信装置の中から選択された前記発信装置である前記対象装置に対して、生成された前記対象識別子を送信する信号情報送信手段と、前記信号を感知するセンサによる感知の結果に基づいて、前記対象装置に送信された前記対象識別子を表す前記信号を、前記対象装置が発信する信号である対象信号として検出する信号検出手段と、撮影された映像における、前記対象信号が発信されている発信領域を特定する特定手段と、前記映像において特定された前記発信領域にマークが付与された前記映像を出力する表示制御手段と、を備える。
本発明の一態様に係る管理装置は、対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する発信装置の中から選択された前記発信装置である前記対象装置を特定する対象装置識別子を送信する端末装置から、前記対象装置識別子を受信する指示受信手段と、前記対象識別子を生成する管理手段によって生成された前記対象識別子を、前記対象装置に対して送信する信号情報送信手段と、を備え、前記信号情報送信手段は、さらに、前記端末装置に対して、前記対象識別子を送信し、前記端末装置は、映像を撮影し、前記対象識別子を受信するのに応じて、当該対象識別子を表す前記信号を、当該信号を感知するセンサによる感知の結果に基づいて検出し、撮影した前記映像における、検出した前記信号が発信された部分を特定し、特定した前記部分にマークが付与された前記映像を出力する。
本発明の一態様に係る対象表示方法は、対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を生成し、前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する、複数の発信装置の中から選択された前記発信装置である前記対象装置に対して、生成された前記対象識別子を送信し、前記信号を感知するセンサによる感知の結果に基づいて、前記対象装置に送信された前記対象識別子を表す前記信号を、前記対象装置が発信する信号である対象信号として検出し、撮影された映像における、前記対象信号が発信されている発信領域を特定し、前記映像において特定された前記発信領域にマークが付与された前記映像を出力する。
本発明の一態様に係る管理プログラムは、コンピュータを、対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する発信装置の中から選択された前記発信装置である前記対象装置を特定する対象装置識別子を送信する端末装置から、前記対象装置識別子を受信する指示受信手段と、前記対象識別子を生成する管理手段によって生成された前記対象識別子を、前記対象装置に対して送信する信号情報送信手段と、して動作させ、前記信号情報送信手段は、さらに、前記端末装置に対して、前記対象識別子を送信し、前記端末装置は、映像を撮影し、前記対象識別子を受信するのに応じて、当該対象識別子を表す前記信号を、当該信号を感知するセンサによる感知の結果に基づいて検出し、撮影した前記映像における、検出した前記信号が発信された部分を特定し、特定した前記部分にマークが付与された前記映像を出力する。
本発明には、対象の数が増加しても、対象が発する信号に基づく対象の認識に必要な時間の増加を抑制できるという効果がある。
図1は、本発明の第1、第2の実施形態の対象表示システム1の構成を表すブロック図である。 図2は、本発明の第1、第2の実施形態の対象表示システム1の全体像の例を模式的に表す図である。 図3は、本発明の第1の実施形態の対象表示システム1の動作の例を表すフローチャートである。 図4は、本発明の第1の実施形態における対象選択処理の動作の例を表すフローチャートである。 図5は、本発明の第1の実施形態の発信開始処理の例を表すフローチャートである。 図6は、本発明の第1の実施形態の対象表示処理の例を表すフローチャートである。 図7は、本発明の各実施形態の装置情報記憶部205が記憶する装置状態の例を表す図である。 図8は、本発明の第1の実施形態の第1の変形例の対象表示システム1Aの構成を表すブロック図である。 図9は、本発明の第1の実施形態の第2の変形例の対象表示システム1Bの構成を表すブロック図である。 図10は、本発明の第1の実施形態の第2の変形例の対象表示システム1Bの構成の全体像を模式的に表す図である。 図11は、本発明の第1の実施形態の第3の変形例の対象表示システム1Cの構成を表すブロック図である。 図12は、本発明の第1の実施形態の第3の変形例の対象表示システム1Cの、対象表示処理の動作を表すフローチャートである。 図13は、本発明の第1の実施形態の発信装置300の動作の例を表すフローチャートである。 図14は、本発明の第2の実施形態の端末装置100の動作の例を表すフローチャートである。 図15は、本発明の第2の実施形態の管理装置200の動作の例を表すフローチャートである。 図16は、本発明の第2の実施形態の対象受信処理を表すフローチャートである。 図17は、本発明の第2の実施形態の発信開始処理の例を表すフローチャートである。 図18は、本発明の第2の実施形態の発信終了処理の例を表すフローチャートである。 図19は、本発明の第3の実施形態の対象表示システム1Dの構成の例を表すブロック図である。 図20は、本発明の第3の実施形態の端末装置100Dの動作の例を表すフローチャートである。 図21は、本発明の第3の実施形態の、対象表示処理の例を表すフローチャートである。 図22は、本発明の第4の実施形態の対象表示システム1Eの構成の例を表すブロック図である。 図23は、本発明の第4の実施形態の管理装置200Eの動作の例を表すフローチャートである。 図24は、本発明の第4の実施形態の支援信号発信開始処理の例を表すフローチャートである。 図25は、本発明の第4の実施形態の、支援装置の抽出を模式的に表す図である。 図26は、本発明の第4の実施形態の、支援信号発信終了処理の例を表すフローチャートである。 図27は、本発明の第4の実施形態の端末装置100Dの動作の例を表すフローチャートである。 図28は、本発明の第4の実施形態の、推定位置表示処理の例を表すフローチャートである。 図29は、本発明の第4の実施形態の変形例の管理装置200Eの動作の例を表すフローチャートである。 図30は、本発明の第4の実施形態の変形例の端末装置100Dの動作の例を表すフローチャートである。 図31は、本発明の第4の実施形態の変形例の対象表示処理の例を表すフローチャートである。 図32は、本発明の第5の実施形態の対象表示システム1Fの構成の例を表すブロック図である。 図33は、本発明の第5の実施形態の管理装置200Fの動作を表す第1のフローチャートである。 図34は、本発明の第5の実施形態の管理装置200Fの動作を表す第2のフローチャートである。 図35は、本発明の第5の実施形態の経路案内開始処理の例を表すフローチャートである。 図36は、本発明の第5の実施形態の端末装置100の動作の例を表す第1のフローチャートである。 図37は、本発明の第5の実施形態の端末装置100の動作の例を表す第2のフローチャートである。 図38は、本発明の第5の実施形態の経路案案内表示処理の例を表すフローチャートである。 図39は、本発明の第6の実施形態の対象表示システム1Gの構成の例を表すブロック図である。 図40は、本発明の第6の実施形態の端末装置100の動作の例を表すフローチャートである。 図41は、本発明の第6の実施形態の管理装置200の動作の例を表すフローチャートである。 図42は、本発明の第6の実施形態の発信装置300Gの動作の例を表すフローチャートである。 図43は、本発明の第7の実施形態の対象表示システム1Hの構成の例を表すブロック図である。 図44は、本発明の各実施形態に係る、端末装置と、管理装置と、発信装置とを実現することができる、コンピュータ1000のハードウェア構成の一例を表す図である。
前述のように、Internet of Things(IoT)と呼ばれる概念が提唱され、さまざまな「物」がインターネットに接続されている。インターネットに接続される物の数が増大する状況において、ユーザは、ネットワーク上で識別した「物」を、現実世界において、発見すること及び特定することが困難となることが想定される。
そのような、ネットワーク上では特定されている「物」(すなわち電子的に判明している「物」)の、現実世界における位置を示すには、拡張現実(Augumented Reality、AR)の技術を用いるのが適している。
拡張現実とは、人が知覚する現実環境をコンピュータにより拡張する技術である。拡張現実の技術に基づく装置は、一般的に、カメラで撮影されたリアルタイムの現実の映像に電子的に生成された画像を重ね合わせて、ディスプレイに表示する。または、現実の技術に基づく装置は、ディスプレイが備える透過型のスクリーンに電子的に生成された画像を描画することによって、透過型のスクリーン越しの現実の情景に電子的に生成された画像を重ね合わせる。ユーザは、そのようなディスプレイを見ることによって、現実の映像だけでは得られない付随情報をリアルタイムに得ることができる。
拡張現実には、大別して、位置情報ベースの拡張現実と画像認識ベースの拡張現実の2種類が存在する。
位置情報ベースの拡張現実では、GPS(Global Positionin System)や無線ネットワークなどを用いて、ユーザ自身の現在位置が測位される。情報表示の対象の座標はデータベース等から取得される。ユーザ及び対象の相対位置と、電子コンパスで得たユーザ自身の姿勢とを元に、対象のディスプレイ上の位置が計算される。そして、対象の情報をディスプレイ上で、対象の像に、例えば対象に関する情報が重ねて表示される。この方法は、主にランドマークや店舗などの検索に利用されることが多い。しかし、対象がディスプレイ上で表示される位置の精度は、GPSなどの測位の精度に依存する。GPSなどの測位の精度は、建造物等より小さい物の位置を特定するには精度が低い。そのため、位置情報ベースの拡張現実は、物レベルの情報提示には適さない。しかし、位置情報ベースの拡張現実には、画像認識ベースの拡張現実に対して、物が視界内に存在しない場合であっても、その物の大まかな方向をユーザへ提示することが可能であるという優位点がある。そのため、位置情報ベースの拡張現実は、画像認識ベースの拡張現実に対する補助として用いることができる。
画像認識ベースの拡張現実では、撮影された画像において、情報表示の対象が認識される。そして、撮影された画像の、認識された対象の場所に、例えば対象に関する情報が重ねて表示される。対象の認識は、その対象に特徴的なパターンを検出することによって行われる。そして、その対象に特徴的なパターンが検出された場所が、対象の場所として特定される。検出するパターンとして、対象そのものの形状、対象物に張り付けられた2次元タグ、LED等の1次元の発光点滅パターンなどがある。
しかし、対象そのものの形状を検出することによって対象を認識する方法は、他の方法と比較して、認識の精度が低い。また、対象そのものの形状を検出することによって対象を認識する方法には、認識の対象と同一の形状の物体が多数並ぶ状況では、認識の対象と、同一の形状の他の物体を区別できないという問題がある。また、2次元タグを検出することによって対象を認識する方法では、認識の対象の全てに、2次元タグを貼り付ける必要がある。しかし、IoTのようにあらゆる物が認識の対象になりうる場合、認識の対象すべて(すなわち、全ての物)に2次元タグを貼り付ける必要がある。しかし、認識の対象として全ての物に2次元タグを貼り付けることは現実的ではない。また、全ての物に2次元タグを貼り付けた場合、景観が損なわれるという問題がある。
よって、本発明の対象領域では、LED等を点滅させることによる1次元の発光点滅パターンを検出することによって、対象を認識する方法が適している。その理由は、LED等の点滅パターンを検出することによる認識方法は、認識の処理を行っていない間は、対象物の見た目を損ねることがないからである。さらに、その方法には、発光パターンをソフトウェアによって制御できるという、自由度の高さもあるためである。またLEDは、ほぼすべての電子機器に表示用デバイスとして搭載されているので、追加コストが低いという利点もある。
本発明の各実施形態に係る対象表示システムは、ユーザがネットワーク上で識別した「物」を現実世界で識別することを、拡張現実の技術を用いて補助するシステムである。
具体的な利用シーンとしては、例えば、保守作業員などに、保守の対象である、端末、照明、又はセンサ類等の物のうち、例えば交換が必要な物を指示するケースが考えられる。この場合、交換が必要な物は、故障し、通信及び発光をできない可能性がある。そのため、例えば、現実世界において、交換が必要な物の、位置的に近傍に存在する他の物を発光させることによって、交換が必要な物の近傍に存在する物の場所を認識してもよい。
第二の利用シーンとして、現実の物により提供されるサービスを利用するユーザに、そのサービスを提供する物がどれであるかを指示するケースが考えられる。この場合、ユーザは、事前に、例えばインターネット経由で、インターネットにアクセスできる場所において、サービスを提供する物を検索する。ユーザは、検索によって得られた候補の中から、サービスを提供している物を選択する。ユーザは、サービスの提供を受けるために、選択した、サービスを提供する物にアクセスする。すなわち、ユーザは、現実世界において、選択した物が存在する場所に赴く。その際、上述の対象表示システムは、ユーザにサービスを提供する物の現実世界における場所を、ユーザに指示する。サービスを提供するための準備に時間がかかる場合、ユーザがサービスの提供を受ける物として選択した物に、ユーザは、例えばインターネット経由で、サービスの提供を要求してもよい。サービスを提供する物は、インターネット上でユーザによって選択された際、サービスの提供の要求に応じて、そのユーザに提供されるサービスの準備を開始してもよい。第二の利用シーンの具体例として、カーシェアリングにおける、予約した車の利用がある。ユーザは、インターネット経由で車を予約し、そしてその車を利用する際、本実施形態の対象表示システムを使用して、予約した車を確認すればよい。第二の利用シーンの具体例として、インターネットを経由する、写真のプリントの要求がある。ユーザは、インターネット経由で写真のプリントを要求し、その写真を受け取る際、本実施形態の対象表示システムを使用して、その写真を出力した端末を探せばよい。第二の利用シーンの具体例として、インターネットを経由した、自動販売機に対するコーヒーなどの注文がある。ユーザは、インターネット経由で、自動販売機に、ドリップの時間が必要なコーヒーのように、提供の準備に時間がかかる飲食物等を予約する。さらに、自動販売機は、予約の際、ユーザの位置情報を取得すればよい。自動販売機は、取得した位置情報をもとにユーザが自動販売機の場所に特着する時刻を推定し、ユーザが予約した飲食物等が推定した時刻に完成するように、飲食物等を準備する。ユーザは、本実施形態の対象表示システムを使用して、飲食物等を準備する自動販売機を探せばよい。
第三の利用シーンとして、ユーザにナビゲーションを行うケースである。本実施形態の対象表示システムは、目的地(例えばユーザが指定した物)までの経路の近くに存在する機器のLED等を使用して、ユーザに対するナビゲーションを行えばよい。
以下では、上述の利用シーンにおける例を、実施形態として詳細に説明する。
<第1の実施形態>
次に、本発明の第1の実施の形態について図面を参照して詳細に説明する。
図1は、本実施形態の対象表示システム1の構成を表すブロック図である。図1を参照すると、本実施形態の対象表示システム1は、端末装置100と、管理装置200と、発信装置300とを含む。端末装置100と管理装置200とは、通信可能に接続されている。端末装置100と発信装置300とは、通信可能に接続されている。
図2は、本実施形態の対象表示システム1の全体像の例を模式的に表す図である。図2を参照すると、端末装置100と、管理装置200と、発信装置300とは、通信ネットワーク4を介して、通信可能に接続されている。通信ネットワーク4は、無線によるネットワークであっても、有線によるネットワークであっても、無線によるネットワークと有線によるネットワークの組み合わせであってもよい。
本発明の第1の実施形態の対象表示システム1は、概略、例えば以下のように動作する。まず、端末装置100は、通信ネットワーク4を介して端末装置100と接続されている管理装置200から、管理装置200が記憶する、発信装置300の識別子である装置識別子を読み出す。端末装置100は、ユーザの操作に従って、装置識別子が読み出された発信装置300から、1台の発信装置300を選択する。管理装置200(又は端末装置100)は、発信される信号を表す信号識別子を割り当てる。
信号識別子を割り当てた管理装置200(又は端末装置100)は、割り当てられた信号識別子を、選択した発信装置300に送信する。発信装置300は、受信した信号識別子を表す信号を発信する。信号は、例えば、点滅する光である。発信装置300は、例えば、信号識別子に応じた点滅パターンに従ってLEDを発光させることによって、信号識別子に応じた点滅パターンで点滅する光を照射する。
端末装置100は、発信装置300が発信する、その発信装置300に送信された信号識別子に応じた信号を、センサによって検出する。前述のように信号が点滅する光である場合、センサはカメラである。端末装置100は、カメラによって撮影された映像において、発信装置300に送信した信号識別子を表す点滅パターンで点滅している領域を検出する。端末装置100は、カメラによって撮影された映像の、検出された領域を含む領域又は検出された領域の近傍に、マークを表示する。マークは、矢印、矩形、円、又はその他の図形であってもよい。マークは、例えば濃淡値及び色の少なくとも一方を変更することによって、又は、点滅によって強調された、検出された領域であってもよい。端末装置100は、マークが表示された映像を出力する。端末装置100は、映像に表示されたマークによって、発信装置300の場所をユーザに知らせる。ユーザは、映像に表示されたマークによって、発信装置300の場所を知ることができる。
以下では、以上のような動作を行う対象表示システム1について、さらに詳しく説明する。
図1によると、端末装置100は、入力部101と、指示送信部102と、センサ103と、信号検出部105と、特定部106と、表示制御部107と、表示部108と、位置測定部109とを含む。
管理装置200は、指示受信部201と、管理部202と、信号情報送信部203と、装置検索部204と、装置情報記憶部205とを含む。
発信装置300は、制御部301と、信号発信部302とを含む。
位置測定部109は、端末装置100の位置を、例えば、GPS(Global Positioning System)の技術を使用して測定する。その場合、位置測定部109は、GPSによって位置を測定する回路等を使用して実現されていればよい。位置測定部109は、例えば、電子コンパスによって、端末装置100の方向を測定してもよい。その場合、端末装置100は、電子コンパスを実現する回路等を使用して実現されていればよい。
入力部101は、ユーザによる操作を受け付ける。入力部101は、例えば、ユーザが入力部101に行った操作を信号に変換する。そして、入力部101は、ユーザが行った操作を表す信号を、指示送信部102に送信する。入力部101は、例えば、タッチパネルやキーボードである。
指示送信部102は、入力部101から受信した、ユーザが行った操作を表す信号をもとに、その操作によってユーザが入力した指示を特定する。そして、指示送信部102は、特定された、ユーザによって入力された指示を表すデータ値を、管理装置200の指示受信部201に送信する。すなわち、指示送信部102は、ユーザによる指示を、指示送信部102に送信する。指示送信部102は、ユーザによって入力された指示に加えて、位置測定部109が測定した、端末装置100の位置を、指示受信部201に送信してもよい。
本実施形態では、ユーザは、入力部101を操作することによって、例えば以下のように、信号を発信する発信装置300を指定する。
ユーザは、まず、入力部101を介して、発信装置300の一覧(例えば装置識別子の集合)の送信を要求する指示を入力する。その場合、指示送信部102は、ユーザによる指示として、発信装置300の一覧の送信を要求する指示を、指示受信部201に送信する。その場合、後述のように、例えば指示に対する応答として、指示受信部201から発信装置300の一覧が返信される。ユーザは、発信装置300の一覧の送信を要求する指示として、発信装置300の検索条件を送信してもよい。その場合、指示送信部102は、ユーザによる指示として、発信装置300の検索条件を、指示受信部201に送信する。その場合、後述のように、例えば指示に対する応答として、指示受信部201から、送信した検索条件に合致する発信装置300の一覧が返信される。返信された、発信装置300の一覧は、例えば表示部108に表示される。検索条件は、例えば、位置測定部109によって測定された位置及びその位置からの距離であってもよい。指示受信部201は、装置検索部204によって検索された、位置測定部109によって測定された位置から検索条件として送信された距離以内の場所に存在する発信装置300の一覧を返信してもよい。
ユーザは、入力部101を使用して、例えば表示部108に表示されている発信装置300の一覧の中から、いずれかの発信装置300を選択する操作を行う。その場合、指示送信部102は、選択された発信装置300(すなわち、対象装置)を特定する情報(すなわち、対象装置識別子)を、指示受信部201に送信する。以下の説明では、発信装置300を特定する情報を、「装置識別子」と表記する。発信装置300のうち、ユーザによって選択された発信装置300である対象装置を特定する情報を、「対象装置識別子」とも表記する。
なお、ユーザは、発信装置300の一覧からいずれかの発信装置300を選択するのではなく、発信装置300を特定する情報を、直接、端末装置100に入力してもよい。その場合、指示送信部102は、ユーザによって入力された、発信装置300を特定する情報(すなわち、上述の装置識別子)を、指示受信部201に送信すればよい。
管理装置200は、端末装置100から装置識別子を受信するのに応じて、以下で詳しく述べるように、発信される信号が表す信号識別子を生成する。そして、管理装置200は、受信した装置識別子によって表される発信装置300に、生成した信号識別子を割り当てる。管理装置200は、割り当てた信号識別子を、端末装置100の信号検出部105に送信する。また、管理装置200は、割り当てた信号識別子を、受信した装置識別子によって表される、ユーザによって選択された発信装置300(すなわち対象装置)に送信する。信号識別子を受信した場合、発信装置300は、受信した信号識別子を表す信号を発信する。
センサ103は、発信装置300が発信する信号を、その信号の点滅パターンを特定できる精度で感知する。そして、センサ103は、感知した信号を表すセンサ信号として、信号が発信されている方向を特定できるセンサ信号を出力する。発信装置300が発信する信号がLEDによって放射される光である場合、センサ103は、例えば、動画像(すなわち映像)を撮影できるカメラである。そして、センサ103は、センサ信号として、映像を出力する。後述されるように、発信装置300が発信する信号が音波である場合、センサ103は、例えばマイクロフォンアレイである。その場合、端末装置100は、さらに、カメラを備える。後述される本実施形態の第3の変形例の説明において、発信装置300が発信する信号が音波である場合について詳細に説明する。本発明の各実施形態の説明では、主に、発信装置300が発信する信号がLEDによって放射される光である場合について説明する。
信号検出部105は、管理装置200から、信号識別子を受信する。信号検出部105は、センサ103が出力するセンサ信号をもとに、受信した信号識別子によって表される信号を検出する。
特定部106は、端末装置100のセンサ103(又は端末装置100が備える撮影装置)によって撮影された映像において、信号検出部105によって検出される信号の発信源の場所を特定する。
上述のように、センサ103がカメラである場合、センサ信号は映像である。その場合、例えば特定部106が、撮影された映像において、点滅している領域を特定すればよい。そして、信号検出部105が、その点滅が、受信した信号識別子によって表される信号であるか否かを検出すればよい。以下の説明では、特定部106によって点滅している領域として特定された映像の領域を、「発信領域の候補」と表記する。そして、信号検出部105によって、信号識別子によって表される信号が検出された発信領域の候補を、「発信領域」と表記する。信号識別子のうち、対象装置に割り当てられた信号識別子を、「対象識別子」と表記する。対象識別子を表す信号が検出された発信領域を、「対象領域の発信領域」とも表記する。
表示制御部107は、撮影された映像の、特定部106によって特定された、信号の発生源の場所に、例えばあらかじめ定められたマークを表示する。そして、表示制御部107は、検出された信号の発信源の場所にマークが表示された映像を、表示部108に出力する。
表示部108は、表示制御部107によってマークが表示された映像を出力する。表示部108は、例えば、ディスプレイ装置、又はタッチパネルなどによって実現される。
管理装置200の指示受信部201は、端末装置100の指示送信部102から、ユーザによる指示を受信する。
受信した指示が、発信装置300の一覧を要求する指示である場合、指示受信部201は、発信装置300の一覧を表す情報を、例えば装置検索部204を介して装置情報記憶部205から読み出す。そして、指示受信部201は、例えば指示に対する応答として、発信装置300の一覧を表す情報を、端末装置100の指示送信部102に送信する。発信装置300の一覧を要求する指示として、発信装置300の検索条件を受信した場合、指示受信部201は、検索条件を装置検索部204に送信する。そして、指示受信部201は、装置検索部204によって抽出された、その検索条件に合致する発信装置300の一覧を、装置検索部204から受信する。指示受信部201は、装置検索部204から受信した発信装置300の一覧を、例えば指示に対する応答として、端末装置100の指示送信部102に返信する。
受信した指示が、対象装置である発信装置300を特定する装置識別子である場合、指示受信部201は、受信した装置識別子を管理部202に送信する。
装置情報記憶部205は、発信装置300毎に、装置状態を記憶する。本実施形態では、発信装置300の装置状態は、発信装置300の識別子である装置識別子に関連付けられている。以下の説明における「発信装置300の装置状態」は、その発信装置300の装置識別子に関連付けられている装置状態である。装置状態は、その発信装置300が設置されている位置を表すデータ値である装置位置と、その発信装置300の発信の状態を表す発信状態とを含む。装置情報記憶部205は、複数の発信装置300について、装置状態を記憶していればよい。発信装置300の装置状態が装置情報記憶部205に格納されている場合、「その発信装置300は、その装置情報記憶部205が含まれる管理装置200の管理下にある」と表記する。
図7は、装置情報記憶部205が記憶する装置状態の例を表す図である。
図7に示す例では、発信装置300が信号を発信している場合、その発信装置300の発信状態の値は、その発信装置300が発信する信号が表す信号識別子である。発信装置300が信号を発信していない場合、その発信装置300の発信状態の値は、信号を発信していないことを表す「停止中」を示す値である。発信装置300が信号を発信している場合の、その発信装置300の発信状態の値は、信号を発信していないことを表す、あらかじめ定められた値であってもよい。そして、装置状態は、さらに、発信装置300に付与されている信号識別子の値を含んでいればよい。設置位置の値は、例えば、発信装置300が設置されている位置の緯度及び経度である。設置位置の値は、例えば、建物内などにおいて定義された座標系によって表される座標であってもよい。
図7に示すように、装置状態は、例えば、発信装置300の種類である「種類」、発信装置300に付与された名称である「名称」、及び他のデータ値を含んでいてもよい。例えば、「要求端末」は、発信装置300を対象装置として選択した端末装置100の識別子である。「要求端末」は、2台以上の端末装置100の識別子を含んでいてもよい。「動作状態」は、発信装置300が正常に動作しているか否かを表す。図7の例では、「正常」は発信装置300が正常に動作していることを表し、「障害」は発信装置300が正常に動作していないことを表す。「サービス」は、ユーザにサービスを提供する装置である発信装置300が、提供することができるサービスの種類を表す。これらの装置状態は、本発明の他の実施形態に係る対象表示装置によって使用される。
装置検索部204は、装置情報記憶部205が記憶する装置状態において、指示受信部201から受信した検索条件に合致する装置状態を検索する。それにより、装置検索部204は、管理装置200の管理下にある発信装置300から、指示受信部201から受信した検索条件に装置状態が合致する発信装置300を抽出する。装置検索部204は、抽出された発信装置300の装置識別子を、指示受信部201を介して、端末装置100に送信する。装置検索部204は、装置識別子に加えて、抽出された発信装置300の他の装置状態の値を、指示受信部201を介して、端末装置100に送信してもよい。
管理部202は、指示受信部201を介して、端末装置100から、対象装置である発信装置300の装置識別子を受信した場合、その装置識別子が表す発信装置300に割り当てる、信号識別子を生成する。そして、管理部202は、生成した信号識別子を、その装置識別子が表す発信装置300(すなわち対象装置)に割り当てる。信号識別子の例については後で詳細に説明する。管理部202は、その信号識別子を、信号情報送信部203を介して、端末装置100の信号検出部105に送信する。管理部202は、さらに、その信号識別子を、信号情報送信部203を介して、受信した装置識別子によって特定される発信装置300の制御部301に送信する。すなわち、管理部202は、信号識別子を信号情報送信部203に送信し、そして、信号情報送信部203は、受信した信号識別子を端末装置100の信号検出部105と、発信装置300の制御部301とに送信する。管理部202は、装置情報記憶部205に格納されている、受信した装置識別子によって特定される発信装置300の装置状態の、発信状態の値を、信号を発信していることを表す値に変更する。上述のように、発信装置300が信号を発信している場合、その発信装置300の発信状態の値は、その発信装置300が発信している信号が表す信号識別子であってもよい。その場合、管理部202は、装置情報記憶部205に格納されている、受信した装置識別子によって特定される発信装置300の装置状態の、発信状態の値を、生成した信号識別子に変更すればよい。
管理部202は、例えば、以下に示す例のいずれかの方法によって、信号識別子を生成してもよい。
(1)ユニークなユーザID
管理部202は、端末装置100を使用するユーザのユーザIDを、信号識別子にしてもよい。ユーザIDは、例えば、ユーザに全世界で一意に割り当てられた、固有のIDであってもよい。その場合、ユーザIDを重複なく採番する全世界で共通のシステムが必要であるが、高々世界人口に相当する数を識別できればよい。その数は、IoTデバイスの数より小さい。発信装置300は、ユーザIDのビットパターンをそのまま点滅パターンとして使用することによって、信号の発信(例えばLEDを点滅させることによる発光)を行ってもよい。発信装置300は、ユーザIDに対して所定の変換を行うことによって得られるビットパターンを点滅パターンとして使用することによって、信号の発信を行ってもよい。
(2)任意長の乱数
管理部202は、例えばユーザIDを乱数のシードとして使用することによって得られる、任意長の乱数を、信号識別子として使用してもよい。乱数のシードは、他の値であってもよい。その場合、管理部202は、例えばユーザIDをシードとして使用することによって得られる乱数を、信号情報送信部203を介して、発信装置300及び端末装置100に送信する。そして、発信装置300は、受信した乱数のビットパターンをそのまま点滅パターンとして使用することによって、信号の発信を行う。
(3)乱数生成アルゴリズムと、その乱数生成アルゴリズムに初期値として与える任意長の乱数
管理部202は、乱数生成アルゴリズムと、その乱数生成アルゴリズムに初期値(シード)として与える任意長の乱数との組み合わせを、信号識別子として使用してもよい。その場合、管理部202は、例えば、乱数生成アルゴリズムの識別子と、乱数発生の初期値として与える乱数とを、信号情報送信部203を介して、発信装置300及び端末装置100に送信すればよい。発信装置300(例えば後述する制御部301)及び端末装置100(例えば信号検出部105)は、受信した識別子によって表される乱数生成アルゴリズムに従って、受信した乱数を乱数発生の初期値として使用して、乱数を発生させるよう設計されていればよい。
(4)定期的に送出される乱数
管理部202は、所定の時間間隔で、定期的に乱数を発生し、発生した乱数を、信号情報送信部203を介して、発信装置300及び端末装置100に送信してもよい。
信号情報送信部203は、管理部202から信号識別子を受信する。信号情報送信部203は、受信した信号識別子を、発信装置300の制御部301及び端末装置100の信号検出部105に送信する。本発明の各実施形態の説明では、端末装置100のユーザによる操作によって選択され、管理部202に送信された装置識別子によって特定される発信装置300(上述のように、対象装置)について生成された信号識別子を、「対象識別子」とも表記する。
制御部301は、例えば管理装置200の信号情報送信部203から、信号によって発信される識別子である信号識別子を受信する。制御部301は、あらかじめ定められた規則に従って、信号識別子を表す信号のパターン(例えばビットパターン)を生成する。信号は、前述のように、点滅する光である。その場合、信号である光の点滅のパターン(すなわち点滅パターン)は、そのビットパターンによって表されていればよい。
制御部301は、信号発信部302に、信号識別子を表す信号のパターンに従った信号を発信させる。信号が点滅する光である場合、例えばLEDである信号発信部302を、信号識別子を表す点滅パターンに従って点滅させる。点滅パターンは、上述のように、例えば、ビットパターンである。制御部301は、例えば、そのビットパターンの先頭ビットから順に、ビット毎に、ビットが1である場合、信号発信部302を所定時間点灯させ、ビットが0である場合、信号発信部302を所定時間点灯させる動作を繰り返せばよい。制御部301は、そのビットパターンの全てのビットについて、ビットの値に応じて信号発信部302を点灯又は消灯さる動作を完了した場合、再び、そのビットパターンの先頭ビットから順に、同じ動作を繰り返せばよい。
信号発信部302は、制御部301による制御によって、信号識別子を表す信号のパターンに従って、信号を発信する。信号が点滅する光である場合、上述のように、信号発信部302は、例えばLEDによって実現される。信号発信部302がLEDである場合、信号発信部302は、信号識別子を表す点滅パターンに従って点滅する光を照射する。以下の説明では、信号発信部302が光を照射している状態を、点灯状態(又は、ON状態)と表記する。信号発信部302が光を照射していない状態を、消灯状態(又は、OFF状態)と表記する。
信号発信部302は、あらかじめ定められた固定された周波数で、点滅する光を照射してもよい。信号発信部302は、端末装置100のセンサ103(すなわち、カメラ)に応じた、そのセンサ103よって撮影された映像において点滅を認識できる周波数で、点滅する光を照射してもよい。その場合、端末装置100が、例えば管理装置200の指示受信部201、管理部202、及び信号情報送信部203を介して、センサ103によって撮影された映像において点滅を認識できる周波数の値を、発信装置300の制御部301に送信してもよい。制御部301は、照射される光が、受信した周波数の値によって表される周波数で点滅するように、信号発信部302を制御すればよい。発信装置300は、受信した周波数の値によって表される周波数で点滅する光を照射できるよう設計されていればよい。
点滅パターンにおいて、例えば、複数回のON状態が連続することによって、信号発信部302が継続的に発光する場合、信号発信部302が発光している期間が何回のON状態に相当するかを、撮影された映像をもとに正確に認識することは容易ではない。同様に、複数回のOFF状態が連続することによって、信号発信部302が継続的に消灯する場合、信号発信部302が消灯している期間が何回のOFF状態に相当するかを、撮影された映像をもとに正確に認識することは容易ではない。そのため、点滅パターンは、ON状態又はOFF状態が長時間継続することがないように設定されればよい。例えば、制御部301は、信号識別子を、ONとOFFが適度に混在するようにエンコードすることによって、点滅パターンを生成すればよい。一例として、制御部301は、信号識別子をマンチェスター符号化することによって、点滅パターンを生成すればよい。この場合、制御部301は、信号識別子を表す点滅パターンに従った信号発信部302の発光を繰り返す際、点滅パターンに従った点滅と、次の点滅との間の区切りとして、一定期間OFF状態を継続させればよい。信号検出部105は、一定時間OFF状態が継続した後の点滅が、信号識別子を表す点滅であるか否かを判定することによって、信号識別子を表す信号を検出すればよい。
以下の説明では対象装置に付与された信号識別子を、「対象識別子」と表記する。そして、対象識別子を表す信号を、「対象信号」と表記する。
端末装置100のセンサ103が、60fps(frame per second)の映像を撮影できる場合、センサ103によって発信装置300を撮影した映像から、最大で1秒間に30ビットのビットパターンを読み取ることができる。この場合、マンチェスター符号化された30ビットのデータによって表すことができる、マンチェスター符号化前のデータの最大サイズは、15ビットである。すなわち、信号発信部302は、1秒間に15ビットの信号識別子を表す信号を発信することができる。信号識別子の長さが15ビットである場合、32767通りの信号識別子が存在しうる。また、サンプリングレートが80kHzである高速なイメージセンサも開発されている。センサ103として、そのような高速なイメージセンサを使用する場合、1秒より短い時間で15ビットより長い識別子を使用することも可能である。すなわち、信号発信部302は、1秒より短い時間で、15ビットより長い信号識別子を表す信号を発信することができる。高速なイメージセンサをセンサ103として使用する場合、人間が点滅パターンを認識できないほど高速に、センサ103を点滅させることができる。その場合、LEDの照明やインジケータを、照明やインジケータとしての役割を保ったまま、信号発信部302としても動作させることができる。
例えばサンプリングレート80kHzであるような高速なイメージセンサでは、連続するフレーム間における、発信装置300の像の違いは小さい。しかし、60fps等の通常のカメラによって発信装置300を撮影した場合、連続するフレーム間における、発信装置300の像は、同一とは言えないほど相違が大きくなる。その場合、例えば、特定部106が、映像から特徴点を検出し、検出した特徴点をもとに、フレーム間で関連付けられた特徴点の位置が一定になるように、フレーム間の位置合わせを行えばよい。そして、特定部106は、位置合わせが行われた連続フレームにおいて、点滅パターンの有無を検出すればよい。
すなわち、特定部106は、例えば、位置合わせを行った連続するフレーム間の、例えば各画素が、それらのフレームのその画素と同じ位置の画素の輝度の差を表す、差分画像を生成すればよい。そして、特定部106は、例えばあらかじめ定められた閾値より、差分の絶対値が大きい画素を、信号発信部302の像の候補として抽出する。特定部106は、信号発信部302の像の候補として、継続して抽出された領域を、信号発信部302の像として検出すればよい。そして、信号検出部105が、信号発信部302の像として検出された領域の輝度の変化を表すパターンが、信号識別子を表す点滅パターンと合致するか否かを判定すればよい。
信号発信部302の像として検出された領域の輝度の変化を表すパターンが、信号識別子を表す点滅パターンと合致する場合、表示制御部107は、映像の、信号発信部302の像として検出された領域に、あらかじめ定められたマークを表示する。表示制御部107は、信号発信部302の像として検出された領域にマークが重なるように、マークを表示してもよい。表示制御部107は、信号発信部302の像として検出された領域にマークが重ならないように、マークを表示してもよい。なお、映像のマークを表示することを、映像にマークを付与するとも表記する。そして、表示制御部107は、マークが表示された映像を、表示部108に出力する。マークは、あらかじめ定められた図形であってもよい。マークは、信号発信部302の像として検出された領域を強調する表示であればよい。マークの表示によって、端末装置100のユーザは、発信装置300の場所を知ることができる。なお、信号発信部302の像として検出された領域が、上述の「発信領域」である。
信号発信部302は、赤外線LEDであってもよい。そして、信号発信部302は、可視光ではなく、赤外線の点滅によって、信号識別子を表す信号を発信してもよい。その場合点滅パターンに従って発信される点滅の周波数が低くても、人間は肉眼でその点滅を認識することはできない。従って、多数の発信装置300がそれぞれ異なる点滅パターンに従ったLEDの点滅を行っても、端末装置100のユーザや他の人間は、煩わしさを感じない。
また、入力部101は、ユーザによる、マークの表示の終了を指示する操作である終了指示を受け付ける。終了指示が受け付けられた場合、指示送信部102は、対象信号の発信の終了を指示する終了指示を、指示受信部201に送信する。終了指示は、対象信号の発信の終了が指示される発信装置300の識別子を含んでいてもよい。指示受信部201が終了指示を受信した場合、管理部202は、装置情報記憶部205が記憶する、マークの表示を終了が指示される発信装置300の発信状態を、発信を行っていないことを表す値に変更する。そして、信号情報送信部203は、発信装置300の制御部301に、終了指示を送信する。終了指示を受信した場合、発信装置300の制御部301は、信号発信部302に信号の発信を終了させる。
次に、本実施形態の対象表示システム1の動作について、図面を参照して詳細に説明する。以下では、対象表示システム1が含む端末装置100が1台であり、対象表示システム1を利用しているユーザが1人である場合の、対象表示システム1の動作の例について説明する。また、以下の本実施形態の対象表示システム1の動作の説明では、信号は点滅する光であり、センサ103はカメラである。
図3は、本実施形態の対象表示システム1の動作の例を表すフローチャートである。
まず、対象表示システム1は、例えば発信装置300のリストから、対象装置として1つの発信装置300を選択する対象選択処理を行う(ステップS1001)。
図4は、本実施形態における対象選択処理の動作の例を表すフローチャートである。
図4を参照すると、ユーザは、入力部101を使用して、発信装置300に関する検索条件を入力する。指示送信部102は、入力部101によって入力された検索条件を受け付ける(ステップS1011)。検索条件は、発信装置300の装置状態のいずれかに関する条件であればよい。検索条件が、端末装置100の位置からの距離に関する条件(例えばその距離が所定値以下であること)である場合、位置測定部109は、端末装置100の位置を測定する。検索条件は、全ての発信装置300であってもよい。
次に、対象表示システム1は、検索条件に合致する発信装置300を抽出する(ステップS1012)。その際、指示送信部102は、検索条件を、指示受信部201を介して、装置検索部204に送信する。
装置検索部204は、装置情報記憶部205に格納されている、発信装置300の装置状態のうち、検索条件に合致する装置状態を抽出する。検索条件が全ての発信装置300である場合、装置検索部204は、装置記憶部205に装置情報が格納されている全ての発信装置300を抽出する。装置検索部204は、抽出した発信装置300の一覧(例えば、識別子や名称のリスト等)を、応答として、指示受信部201を介して指示送信部102に返信する。
次に、例えば表示部108が、抽出された発信装置300の一覧を表示する(ステップS1013)。
ユーザは、抽出された発信装置300の一覧の中から、いずれかの発信装置300を選択する操作を、入力部101を使用して行う。
指示送信部102は、入力部101を介して、表示された発信装置300の一覧からユーザによって選択された発信装置300である、対象装置の指定を受け付ける(ステップS1014)。
指示送信部102は、指示受信部201を介して、対象装置を特定するデータ値(すなわち、対象装置の識別子である対象装置識別子)を、管理部202に送信すればよい。管理部202は、対象装置を特定するデータ値を受け付ければよい。以上で、図4に示す対象選択処理は終了する。
次に、図3のステップS1002において、対象表示システム1は、対象装置である発信装置300に、対象装置に付与された信号識別子である対象識別子を表す信号の発信を開始させる、発信開始処理を行う。
図5は、本実施形態の発信開始処理の例を表すフローチャートである。
図5を参照すると、管理部202は、信号識別子を生成し、生成した信号識別子を対象装置に付与する(ステップS1023)。
そして、管理部202は、信号情報送信部203を介して、生成し対象装置に付与した信号識別子である対象識別子を、対象装置に送信する(ステップS1024)。さらに、管理部202は、装置情報記憶部205が記憶する、対象装置の上述の発信状態を、対象信号を発信していることを表す値に変更してもよい。信号情報送信部203は、管理部202から対象識別子を受信し、受信した対象識別子を対象装置に送信する。以上で、図5に示す本実施形態の発信開始処理は終了する。
次に、図3のステップS1003において、対象表示システム1は、撮影した映像における、対象信号が発信されている場所である発信領域に、マークを表示し、マークが表示された映像を出力する対象表示処理を行う。
図6は、本実施形態の対象表示処理の例を表すフローチャートである。
図6を参照すると、まず、特定部106が、カメラであるセンサ103によって撮影された映像において、対象信号が発信されている部分(すなわち発信領域)の候補を特定する(ステップS1031)。前述のように、特定部106は、フレーム間の画素値の差の絶対値が、継続的に大きい領域を、発信領域の候補として特定すればよい。
次に、信号検出部105は、発信領域の候補において、対象装置に付与された信号識別子を表す信号(対象信号)を検出する(ステップS1032)。
発信領域の候補において対象信号が検出されない場合(ステップS1033においてNo)、対象表示システム1は、図6に示す動作をステップS1031から繰り返す。
発信領域の候補において対象信号が検出された場合(ステップS1033においてYes)、特定部106は、対象信号が検出された発信領域の候補を、発信領域として特定する。そして、表示制御部107は、映像の、特定された発信領域に、マークを表示する(ステップS1034)。表示制御部107は、発信領域にマークが表示された映像を、表示部108に出力する(ステップS1035)。以上で、対象表示システム1は、図6に示す動作を終了する。
ユーザは、マークが表示された映像を見ながら、例えば、対象装置を探す。例えば対象装置が見つかった場合、ユーザは、対象表示システム1に、マークの表示を終了する指示である終了指示を入力する。
次に、図3のステップS1004において、対象表示システム1は、ユーザによる終了指示の入力を検出する。入力部101は、ユーザによる操作を受け付け、受け付けたユーザによる操作を表す信号を指示送信部102に送信する。指示送信部102は、受信した信号が表す操作が、終了指示であるか否かを判定する。判定の結果、受信した信号が表す操作が終了指示である場合、指示送信部102は、終了指示の入力を検出する。
ユーザによる終了指示の入力が検出されない場合(ステップS1005においてNo)、対象表示システム1は、ステップS1003からの動作を行う。例えば、ユーザが入力部101に対する操作を行っていない場合、又は、ユーザが行った操作が終了指示でない場合、ユーザによる終了指示の入力は検出されない。
ユーザによる終了指示の入力が検出された場合(ステップS1005においてYes)、指示送信部102は、指示受信部201を介して、管理部202に、終了指示を送信する。管理部202は、受信した終了指示を送信した端末装置100のユーザが選択した対象装置に終了指示を送信する指示を、信号情報送信部203に送信する。信号情報送信部203は、受信した終了指示を送信した端末装置100のユーザが選択した対象装置に、終了指示を送信する(ステップS1043)。指示受信部201が指示送信部102から終了指示を受信した場合、前述のように、管理部202は、装置情報記憶部205が記憶する対象装置の発信状態を、対象信号を発信していないことを表す値に変更してもよい。そして、信号情報送信部203が、発信装置300の制御部301に、終了指示を送信すればよい。終了指示を受信した制御部301は、信号発信部302が対象信号の発信を終了するよう制御する。
次に、本実施形態の発信装置300の動作について、図面を参照して詳細に説明する。
図13は、本実施形態の発信装置300の動作の例を表すフローチャートである。
図13に示す動作の開始時において、信号発信部302は信号を発信していない。
発信装置300の制御部301は、信号識別子の受信を検出する(ステップS1201)。信号識別子の受信が検出されない場合(ステップS1202においてNo)、制御部301は、ステップS1201における信号識別子の受信の検出を継続する。
信号識別子の受信が検出された場合(ステップS1202においてYes)、制御部301は、信号発信部302による、受信した信号識別子を表す信号の発信を開始する(ステップS1203)。前述のように、信号発信部302がLEDであり、信号が点滅する光である場合、制御部301は、受信した信号識別子を表す点滅パターンに従って、信号発信部302を点滅させる。
制御部302は、信号発信部302に信号を発信させながら、終了指示の受信を検出する(ステップS1204)。終了指示の受信が検出されない場合(ステップS1205においてNo)、制御部302は、ステップS1204における、終了指示の受信の掲出を継続する。
終了指示の受信が検出された場合(ステップS1205においてYes)、制御部302は、信号発信部302による信号の発信を終了する(ステップS1206)。
以上で説明した本実施形態には、対象の数が増加しても、対象が発する信号に基づく対象の認識に必要な時間の増加を抑制できるという、包括的な効果がある。
その理由は、管理部202が、対象信号が表す対象識別子を生成し、付与された対象識別子を表す対象信号を発信する対象装置に、生成した象識別子を付与するからである。対象装置に付与されているIPアドレスなどの、対象装置に割り当てられている既存の識別子より短いビット数の識別子を付与することによって、対象装置を特定する識別子を表す信号の情報量は減少する。従って、対象装置が識別子を表す信号を発信し終わるまでの時間は短くなる。
また、本実施形態には、以下に示す、第1から第6までの効果がある。
第1の効果は、ネットワークに接続された、捜索の対象になりうるデバイスの数が増大した場合でも、ネットワークに接続されている機器を実空間で容易に捜索できることである。その理由は、本実施形態の端末装置100に、拡張現実の技術が用いられているからである。本実施形態で用いられている拡張現実の技術は、具体的には、ユーザが装着又は保持する端末装置100が、捜索の対象である機器が発信する信号が発信されている場所を特定し、その端末装置100が撮影した映像に、特定した場所を示すことである。本実施形態の端末装置100は、そのような拡張現実の技術を用いて、捜索の対象である機器の位置を表示するので、ユーザは捜索の対象である装置を、実空間で容易に捜索できる。
第2の効果は、捜索の対象を特定する精度を向上させることができることである。その理由は、本実施形態の端末装置100は、捜索の対象が発信する信号によって、捜索の対象の場所を特定するからである。画像において物体の場所を特定する方法として、その物体の形状をもとに、画像においてその物体の像を検出する方法がある。しかし、物体の形状に基づいて物体の像を検出する方法の検出精度は、高くない。また、同一の形状を備える複数の物体が存在する場合、それらの物体を区別することは困難である。それに対して、本実施形態では、端末装置100が、例えばLEDが発する光の、捜索の対象に固有な点滅パターンを検出することによって、撮影された映像における捜索の対象の場所を特定する。従って、本実施形態では、前述の、物体の形状に基づく方法と比較して、検索の対象を検出する精度を向上させることができる。
第3の効果は、景観が損なわれないことである。その理由は、本実施形態では、多くの機器が備えるLEDや、表面に備える必要がないスピーカを使用して、捜索の対象の場所を特定するからである。そのことにより、シール等で実現されるARタグを、捜索の対象になりうるすべての対象の機器に張り付ける必要がないので、景観が損なわれない。また、新たにLEDを取り付ける必要がある場合であっても、取り付けられたLEDは、使用されていない間は目立たない。取り付けられたLEDが赤外線を発するLEDである場合、信号を発信している間であっても、そのLEDは目立たない。
第4の効果は、ネットワークに接続された、捜索の対象になりうる対象の数が増大した場合でも、捜索の対象を特定するのに必要な時間を抑制することができることである。その理由は、管理装置200が、近傍の空間で識別子が重複しないように識別子の長さを選択することができるからである。そのため、検索の対象に割り当てる識別子の長さを抑えることができる。すなわち、識別子を表す信号の点滅パターンの長さを抑えることができる。従って、一定の周波数でLEDを点滅させた場合の、識別子を表す点滅パターンで点滅するのに必要な時間を抑制することができる。一般的なフレームレートで映像を撮影するカメラを使用して、点滅パターンを認識できる周波数で、LEDを点滅させた場合の、識別子を表す点滅パターンで点滅するのに必要な時間を、実用上現実的な時間内に押さえることもできる。
第5の効果は、セキュリティやプライバシー上のリスクを低減することができることである。その理由は、ネットワークIDやユーザ自身の識別子を捜索の対象に割り当てた場合、信号を観測することによって、ネットワークIDやユーザ自身の識別子を知ることができる可能性がある。本実施形態では、ランダムに生成した識別子を使用することができる。従って、ネットワークIDやユーザ自身の識別子を秘匿することができるので、セキュリティやプライバシー上のリスクを低減することができる。
第6の効果は、捜索の対象に割り当てる識別子を、ネットワーク全体で重複しないように管理する必要がないことである。その理由は、例えば管理装置200が、捜索の対象が選択される度に、識別子を生成するからである。そして、生成された識別子は、管理装置200と、捜索の対象を選択したユーザの端末装置100との間で、通信ネットワーク4を介して共有されるからである。識別子が共有されるので、管理装置200が、捜索の対象が選択される度に生成する識別子は、必ずしも同一でなくてよい。
<第1の実施形態の第1の変形例>
次に、第1の実施形態の第1の変形例について、図面を参照して詳細に説明する。
図8は、本変形例の対象表示システム1Aの構成を表すブロック図である。
図8を参照すると、本変形例の対象表示システム1Aは、端末装置100Aと、管理装置200Aと、発信装置300とを含む。図8に示す対象表示システム1Aの構成を、図1に示す対象表示システム1の構成と比較すると、対象表示システム1Aは、端末装置100の代わりに端末装置100Aを含み、管理装置200の代わりに管理装置200Aを含む。端末装置100A、管理装置200A、及び発信装置300は、例えば通信ネットワーク4によって通信可能に接続されている。
本変形例の端末装置100Aは、第1の実施形態の端末装置100の構成要素に加えて、指示受信部201と、管理部202と、信号情報送信部203と、装置検索部204とを含む。本実施形態の管理装置200Aは、装置情報記憶部205と、通信部208とを含む。本変形例の発信装置300は、第1の実施形態の発信装置300と同じである。
本変形例の対象表示システム1Aの構成は、以下の相違を除き、第1の実施形態の対象表示システム1と同じである。本変形例では、管理装置200Aではなく、端末装置100Aが、指示受信部201と、管理部202と、信号情報送信部203と、装置検索部204と含む。また、本実施形態の管理部202及び装置検索部204は、通信部208を介して、装置情報記憶部205に格納されている、発信装置300に関する発信状態及びその他の情報の、読み出し及び書き込みを行う。通信部208は、装置情報記憶部205に格納されている、発信装置300に関する発信状態及びその他の情報を読み出す要求を端末装置100から受信した場合、読み出しが要求された情報を装置情報記憶部205から読み出す。通信部208は、読み出した情報を、端末装置100に返信する。通信部208は、装置情報記憶部205に、発信装置300に関する発信状態及びその他の情報を書き込む要求を受信した場合、書き込みが要求された情報を、装置情報記憶部205に格納する。その場合、通信部208は、書き込みを行ったことを表す応答を、端末装置100に返信してもよい。本変形例では、端末装置100A(端末装置100Aに含まれる管理部202)が、信号識別子を生成し、生成した信号識別子を発信装置300に送信する。
次に、本変形例の対象表示システム1Aの動作について、図面を参照して説明する。
本変形例の対象表示システム1Aの動作は、図3〜6に示す、第1の実施形態の対象表示システム1の動作と同じである。
<第1の実施形態の第2の変形例>
次に、第1の実施形態の第2の変形例について、図面を参照して詳細に説明する。
図9は、本変形例の対象表示システム1Bの構成を表すブロック図である。
図9を参照すると、本変形例の対象表示システム1Bは、端末装置100Bと、発信装置300とを含む。図9に示す対象表示システム1Bの構成を、図1に示す対象表示システム1の構成と比較すると、対象表示システム1Bは、端末装置100及び管理装置200の代わりに端末装置100Bを含む。
図10は、本変形例の対象表示システム1Bの構成の全体像を模式的に表す図である。図10に示すように、端末装置100Bは、例えば、通信ネットワーク4を介して、発信装置300と通信可能に接続されている。
本変形例の端末装置100Bは、第1の実施形態の端末装置100の構成要素に加えて、指示受信部201と、管理部202と、信号情報送信部203と、装置検索部204と、装置情報記憶部205とを含む。本変形例の端末装置100Bは、第1の実施形態の管理装置200としても動作する。本変形例の発信装置300は、第1の実施形態の発信装置300と同じである。
次に、本変形例の対象表示システム1Bの動作について、図面を参照して説明する。
本変形例の対象表示システム1Bの動作は、図3〜6に示す、第1の実施形態の対象表示システム1の動作と同じである。
<第1の実施形態の第3の変形例>
次に、第1の実施形態の第3の変形例について、図面を参照して詳細に説明する。
図11は、本変形例の対象表示システム1Cの構成を表すブロック図である。
図11を参照すると、本変形例の対象表示システム1Cは、端末装置100Cと、管理装置200と、発信装置300とを含む。図11に示す対象表示システム1Cの構成を、図1に示す対象表示システム1の構成と比較すると、対象表示システム1Cは、端末装置100の代わりに端末装置100Cを含む。図11に示す端末装置100Cの構成を図1に示す端末装置100の構成と比較すると、端末装置100Cは、さらに、撮影部104を含む。撮影部104は、例えばカメラである。センサ103は、信号検出部105に接続されている。撮影部104は、特定部106に接続されている。
本変形例では、発信装置300の信号発信部302は、信号として、光ではなく、音波を発信する。信号発信部302は、例えばスピーカである。信号発信部302が発信する信号は、可聴周波数より高い周波数の超音波であってもよい。信号発信部302が発信する信号は、可聴周波数より低い周波数の超低周波音であってもよい。以下の説明では、可聴周波数の音波、超音波、超低周波音を、「音波」又は単に「音」と表記する。センサ103は、音波の発信源の方向を特定できる音声信号を出力する、マイクロフォンアレイである。センサ103のマイクロフォンアレイとして、既存のさまざまなマイクロフォンアレイを使用することができる。
信号検出部105は、音波である信号の発信源の方向を特定する。さらに、信号検出部105は、信号が、対象装置に割り当てられた対象識別子を表すか否かを判定する。
特定部106は、信号検出部105によって特定された、信号の発信源の方向が、撮影部104によって撮影された映像のどの部分であるかを推定する。特定部106は、信号の発信源の方向に当たる部分として推定した部分を、発信領域として特定する。
信号検出部105は、まず、マイクロフォンアレイであるセンサ103によって感知された、音波の有無を検出すればよい。音波が検出された場合、信号検出部105は、マイクロフォンアレイの方向を基準とした、その音波が発信される方向を特定すればよい。さらに、信号検出部105は、その音波が対象識別子を表す信号パターンに従った音波であるか否かを判定すればよい。特定部106は、対象識別子を表す点滅パターンに従った音波が発信される方向として検出された方向と、映像を撮影するカメラ及びセンサ103であるマイクロフォンアレイの位置の関係とをもとに、映像における信号の発信源の場所を推定すればよい。その場合、映像を撮影するカメラ及びマイクロフォンアレイの位置の関係(例えば、マイクロフォンアレイ向けられている方向と、映像を撮影するカメラが取り付けられている方向との関係)は、あらかじめ実験的に測定されていればよい。
以上で説明した相違を除き、本変形例の対象表示システム1Cの構成は、第1の実施形態の対象表示システム1の構成と同じである。
次に、本変形例の対象表示システム1Cの動作について、図面を参照して詳細に説明する。
図3は、本変形例の対象表示システム1Cの動作を表すフローチャートである。本変形例の対象表示システム1Cの動作は、ステップS1003の対象表示処理の動作を除き、図3〜5に示す第1の実施形態の対象表示システム1Cの動作と同じである。
図12は、本変形例の対象表示システム1Cの、対象表示処理の動作を表すフローチャートである。
図12を参照すると、まず、信号検出部105が、センサ103によって出力される、センサ103が検知した音波を表す信号をもとに、対象装置に付与された信号識別子(すなわち対象識別子)が表す信号(すなわち対象信号)を検出する(ステップS1032)。
対象信号が検出されない場合(ステップS1033においてNo)、信号検出部105は、対象信号の検出を継続する(ステップS1032)。
対象信号が検出された場合(ステップS1033においてYes)、センサ103によって出力される信号をもとに、信号検出部105は、対象信号が発信されている方向を特定する。そして、特定部106は撮影部104によって撮影された映像において、対象信号が発信されている部分(発信領域)を特定する(ステップS1031C)。特定部106は、対象信号が発信されている方向、マイクロフォンアレイであるセンサ103とカメラである撮影部104の位置関係、撮影部104のカメラパラメータなどをもとに、発信領域を特定すればよい。
図12に示す、本変形例の対象表示システム1CのステップS1034及びステップS1035の動作は、それぞれ、図6に示す、第1の実施形態の対象表示システム1の、ステップS1034及びステップS1035の動作と同じである。
<第2の実施形態>
次に、本発明の第2の実施形態について、図面を参照して詳細に説明する。
図1は、本実施形態の対象表示システム1の構成の例を表すブロック図である。図1に示すように、本実施形態の対象表示システム1の構成は、第1の実施形態の対象表示システム1の構成と同じであってもよい。本実施形態では、対象表示システム1は、2台以上の端末装置100を含んでいてもよい。そして、2人以上のユーザが、異なる端末装置100を使用して、独立に対象装置を選択してもよい。異なる2人以上のユーザが、同一の発信装置300を対象装置として選択してもよい。以下の説明では、発信装置300は、信号として、点滅する光を照射する。
本実施形態の装置情報記憶部205は、信号識別子が付与された発信装置300の装置情報として、その発信装置300に付与された信号識別子と、その信号識別子が送信された端末装置100の識別子とをさらに含む装置情報を記憶する。発信装置300に付与された信号識別子が送信された端末装置100は、後述されるように、例えば、その発信装置300を対象装置として選択した端末装置100である。発信装置300に付与された信号識別子が、2台以上の端末装置100に送信された場合、その発信装置300の信号識別子は、それらの2台以上の端末装置100の識別子を含む。信号識別子が付与された発信装置300の装置情報は、信号識別子と端末装置100の識別子とを含まない。
本実施形態の管理部202は、対象装置として選択された発信装置300の装置識別子に関連付けられている信号識別子が、装置情報記憶部205に格納されていない場合、その発信装置300に信号識別子を付与する。そして、管理部202は、その発信装置300の装置状態の一部として、付与した信号識別子と、その発信装置300を対象装置として選択した端末装置100の識別子とを、装置情報記憶部205に格納する。そして、管理部202は、信号情報送信部203を介して、付与した信号識別子を、その信号識別子が付与された発信装置300の制御部301及びその発信装置300を対象装置として選択した端末装置100の信号検出部105に送信する。信号情報送信部203は、管理部202から、付与された信号識別子を受信する。信号情報送信部203は、付与された信号識別子を、その信号識別子が付与された発信装置300の制御部301及びその発信装置300を対象装置として選択した端末装置100の信号検出部105に送信する。
本実施形態の管理部202は、対象装置として選択された発信装置300に付与されている場合、すなわち、装置情報記憶部205に格納されている、その発信装置300の装置状態が信号識別子を含む場合、その発信装置300に新たに信号識別子を付与しない。また、その場合、管理部202は、その発信装置300に信号識別子を送信しない。管理部202は、その発信装置300に付与された信号識別子を装置情報記憶部205から読み出し、読み出した信号識別子を、その発信装置300を対象装置として選択した端末装置100に送信する。加えて、管理部202は、その発信装置300を対象装置として選択した端末装置100の識別子を、その発信装置300の装置状態の一部として、装置情報記憶部205に格納する。装置状態が図7に例示する装置状態である場合、管理部202は、対象装置として選択された発信装置300の装置状態の「要求端末」の値に、その発信装置300を対象装置として選択した端末装置100の識別子を追加する。
管理部202は、第1の実施形態の管理部202と同様に、指示受信部201を介して、端末装置100から終了指示を受信する。端末装置100から終了指示を受信した場合、管理部202は、その端末装置100の識別子に関連付けられている発信装置300の装置識別子に、他の端末装置100の識別子がさらに関連付けられているか否かを特定する。以下の説明において、終了指示を送信した端末装置100の識別子に関連付けられている発信装置300を、「表示終了発信装置」と表記する。
表示終了発信装置の装置識別子に、他の端末装置100の識別子がさらに関連付けられている場合、管理部202は、表示終了発信装置の装置識別子に関連付けられている、終了指示を送信した端末装置100の識別子を装置情報記憶部205から消去する。装置情報記憶部205が図7に示すような装置状態を記憶している場合、管理部202は、表示終了発信装置の装置状態の要求端末から、終了指示を送信した端末装置100の識別子を消去する。そして、この場合、管理部202は、表示終了発信装置に、終了指示を送信しない。
表示終了発信装置の装置識別子に、他の端末装置100の識別子が関連付けられていない場合、管理部202は、表示終了発信装置の装置識別子に関連付けられている信号識別子を、装置情報記憶部205から消去する。管理部202は、さらに、表示終了発信装置の装置識別子に関連付けられている、終了指示を送信した端末装置100の識別子を、装置情報記憶部205から消去する。装置情報記憶部205が図7に示すような装置状態を記憶している場合、管理部202は、表示終了発信装置の装置状態の要求端末から、終了指示を送信した端末装置100の識別子を消去する。さらに、管理部202は、表示終了発信装置の装置状態の、発信状態の値を、信号識別子から「停止中」を表す値に変更する。そして、管理部202は、表示終了発信装置に、終了指示を送信する。
次に、本実施形態の対象表示システム1の動作について、図面を参照して詳細に説明する。以下では、対象表示システム1の動作を、端末装置100の動作と、管理装置200の動作とに分けて説明する。
図14は、本実施形態の端末装置100の動作の例を表すフローチャートである。
図14を参照すると、本実施形態の端末装置100は、まず、対象選択処理を行う(ステップS1001)。ステップS1001における対象選択処理は、図4に示す、第1の実施形態における対象選択処理と同じである。
次に、指示送信部102は、ユーザによって選択された発信装置300(すなわち対象装置)の装置識別子を、管理装置200の指示受信部201に送信する(ステップS2001)。
対象装置の装置識別子を受信した場合、管理装置200は、その対象装置に既に信号識別子が付与されていれば、その対象装置に付与されている信号識別子を装置情報記憶部205から読み出す。管理装置200は、対象装置の装置識別子を送信した端末装置100の信号検出部105に対して、読み出した信号識別子を送信する。
対象装置の装置識別子を受信した場合、管理装置200は、その対象装置に信号識別子が付与されていなければ、その対象装置に信号識別子を割り当てる。管理装置200は、対象装置に割り当てた信号識別子を装置情報記憶部205に格納する。そして、管理装置200は、対象装置に割り当てた信号識別子を、発信装置300及び端末装置100の信号検出部105に送信する。
以上の管理装置200の動作については、後で詳細に説明する。
信号検出部105は、管理装置200から、対象装置に付与された信号識別子(対象識別子)を受信する(ステップS2002)。
そして、端末装置100は、対象表示処理を行う(ステップS1003)。本実施形態の対象表示処理は、図6に示す、第1の実施形態の対象表示処理と同じである。
端末装置100のユーザは、信号の発信源の領域である発信領域にマークが表示された映像を見ながら、対象装置として選択した発信装置300を探せばよい。対象装置として選択した発信装置300が見つかった場合、端末装置100のユーザは、入力部101を使用して、端末装置100に終了指示を入力する。
指示送信部102は、入力部101を介した、ユーザによる、マークが表示された映像の出力を終了する指示を表す、あらかじめ定められた操作の入力を、終了指示の入力として検出する(ステップS1004)。終了指示の入力が検出されない場合(ステップS1005においてNo)、端末装置100は、ステップS1003以降の動作を繰り返すことによって、対象表示処理を継続する。終了指示の入力が検出された場合(ステップS1005においてYes)、指示送信部102は、終了指示を、管理装置200に送信する。終了指示を受信した場合の管理装置200の動作については、後で詳細に説明する。そして、端末装置100は、マークが表示された映像の表示部108への出力を終了する。この場合、端末装置100は、映像へのマークの表示を終了してもよい。端末装置100は、映像の出力を終了してもよい。
次に、本実施形態の管理装置200の動作について、図面を参照して詳細に説明する。
図15は、本実施形態の管理装置200の動作の例を表すフローチャートである。
図15を参照すると、管理装置200は、対象装置を特定する、対象装置の装置識別子を受信する、対象受信処理を行う(ステップS2101)。
図16は、本実施形態の対象受信処理を表すフローチャートである。
図16を参照すると、まず、指示受信部201が、端末装置100の指示送信部102から、発信装置300に関する検索条件を受信する(ステップS2111)。次に、装置検索部204が、受信した検索条件に、装置情報記憶部205に格納されている装置状態が合致する発信装置300を抽出する(ステップS2112)。装置検索部204は、指示受信部201を介して、抽出した発信装置300の一覧を、端末装置100の指示送信部102に返信する(ステップS2113)。
端末装置100は、受信した発信装置300の一覧を表示する。端末装置100のユーザは、発信装置300の一覧の中から、発信装置300を選択する。端末装置100の指示送信部102は、ユーザによって選択された発信装置300である対象装置の装置識別子を、指示受信部201に送信する。
指示受信部201は、端末装置100の指示送信部102から、対象装置の装置識別子を受信する(ステップS2114)。以上で、図16に示す、対象受信処理は終了する。
次に、図15のステップS2101において、管理装置200は、発信開始処理を行う。
図17は、本実施形態の発信開始処理の例を表すフローチャートである。
図17を参照すると、管理部202は、ステップS2114において受信した装置識別子によって特定される対象装置に付与されている、信号識別子の有無を特定する(ステップS2121)。装置情報記憶部205が、対象装置の装置機器別子に関連付けられている信号識別子を記憶している場合、対象装置に信号識別子が付与されている。装置情報記憶部205が、対象装置の装置機器別子に関連付けられている信号識別子を記憶していない場合、対象装置に信号識別子が付与されていない。管理部202は、対象装置の装置識別子に関連付けられている信号識別子が、装置情報記憶部205に格納されているか否かを特定すればよい。
対象装置に信号識別子が付与されていない場合(ステップS2122においてNo)、管理部202は、信号識別子を生成し、生成した信号識別子を対象装置に付与する(ステップS1023)。そして、信号情報送信部203が、対象装置に付与された信号識別子を、その対象装置に送信する(ステップS1024)。対象装置は、信号識別子を受信し、受信した信号識別子を表す信号の発信を開始する。
管理部202は、対象装置の装置識別子を送信した端末装置100を、対象装置に関連付ける(ステップS2126)。すなわち、管理部202は、その端末装置100の識別子を、対象装置の装置識別子に関連付けて、装置情報記憶部205に格納する。言い換えると、管理部202は、その端末装置100の識別子を、装置情報記憶部205に格納されている、対象装置の装置状態に追加する。
対象装置に信号識別子が付与されている場合(ステップS2122においてYes)、管理部202は、対象装置に付与されている信号識別子を、装置情報記憶部205から読み出す(ステップS2125)。対象装置に信号識別子が付与されている場合、対象装置は、付与されている信号識別子を表す信号を発信している。管理部202は、対象装置の装置識別子を送信した端末装置100を、対象装置に関連付ける(ステップS2126)。
以上で、図17に示す発信開始処理の動作は終了する。
次に、図15のステップS2103において、信号情報送信部203は、対象装置に付与されている信号識別子(すなわち、対象識別子)を、端末装置100の信号検出部105に送信する。
対象識別子を受信した端末装置100の信号検出部105は、例えば図14のステップS1003の(すなわち図6に示す)対象表示処理を行う。例えばユーザが対象装置を見つけた場合、ユーザは、端末装置100に、マークが表示された映像の出力の終了を指示する、終了指示を表す操作を行う。ユーザが端末装置100に終了指示を表す操作を行った場合、端末装置100は、管理装置200に対して、終了指示を送信する。端末装置100が管理装置200に対して送信する終了指示は、発信装置300による信号の発信を終了する指示を表す、あらかじめ定められたデータ値であればよい。
次に、指示受信部201は、終了指示の受信を検出する(ステップS2104)。終了指示の受信が検出されない場合(ステップS2105においてNo)、指示受信部201は、終了指示の受信の検出を継続する(ステップS2104)。
終了指示の受信が検出された場合(ステップS2105においてYes)、管理装置200は、発信終了処理を行う(ステップS2106)。
図18は、本実施形態の発信終了処理の例を表すフローチャートである。
図18を参照すると、まず、管理部202は、対象装置と、終了指示を送信した端末装置100との関連付けを解除する(ステップS2141)。すなわち、管理部202は、装置情報記憶部205に格納されている、対象装置の装置状態から、終了指示を送信した端末装置100の識別子を消去する。すなわち、管理部202は、終了指示を送信した端末装置100の状態を、対象装置に付与されている信号識別子がその端末装置100に送信されていない状態に戻す。
対象装置に関連付けられている他の端末装置100が存在する場合(ステップS2142においてYes)、すなわち、対象装置の装置状態が、他の端末装置100の識別子を含む場合、管理部202は、対象装置に、終了指示を送信しない。その場合、対象装置に関連付けられている他の端末装置100のユーザが、その端末装置100において、その対象装置の場所にマークが表示されている映像を表示させている。管理部202が対象装置に終了指示を送信しないので、その対象装置は、信号識別子を表す信号の発信を継続する。そして、管理装置200は、図18に示す発信終了処理を終了する。
対象装置に付与されている信号識別子が送信された他の端末装置100が存在しない場合、装置情報記憶部205に格納されている対象装置の装置状態は、他の端末装置100の識別子を含まない。すなわち、対象装置に関連付けられている他の端末装置100が存在しない。対象装置に関連付けられている他の端末装置100が存在しない場合(ステップS2142においてNo)、信号情報送信部203は、対象装置に終了指示を送信する(ステップS2143)。この場合、対象装置は、信号識別子を表す信号の発信を終了する。そして、管理部202は、装置情報記憶部205に格納されている対象装置の装置状態から、その対象装置に付与されている信号識別子を消去すればよい。すなわち、管理部202は、その対象装置の状態を、信号識別子が付与されていない状態にする。管理装置200は、図18に示す発信終了処理を終了する。
以上で、図15に示す、本実施形態の管理装置200の動作は終了する。
本実施形態の発信装置300の動作は、第1の実施形態の発信装置300の動作と同じである。従って、その説明を省略する。
以上で説明した本実施形態には、第1の実施形態と同じ効果がある。その理由は、第1の実施形態の効果が生じる理由と同じである。
本実施形態には、次に示す第7の効果もある。
第7の効果は、捜索の対象に固有な識別子を付与することなく、複数のユーザが、異なる端末装置100を使用して、同時に、同一の対象を検索することができることである。その理由は、ユーザが、他のユーザが既に捜索の対象として選択している対象を、捜索の対象として選択した場合、他のユーザがその対象を捜索の対象として選択した際に生成した識別子を、そのユーザが使用する端末に送信するからである。この場合、端末のユーザは、その端末に送信された識別子が、新たに生成された識別子であるか、既に生成されていた識別子であるかを区別できない。そのため、ユーザ間における、プライバシー情報等の流出の問題も生じない。
第7の効果については、例えば以下のように言い換えることもできる。
本実施形態には、さらに、2人以上のユーザが、同じ対象装置の場所を表すマークが表示された映像を、異なる端末装置100に表示させることができるという効果がある。
その理由は、発信装置300に信号識別子が関連付けられている場合、管理部202は、その発信装置300には新たに信号識別子を付与しないからである。管理部202は、発信装置300に信号識別子が割り当てられている場合、その信号識別子を、その発信装置300を新たに対象装置として選択した端末装置100に送信する。そして、端末装置100において、ユーザが、対象装置を表すマークの表示を終了しても、他の端末装置100がその対象装置に関連付けられている場合、対象装置に信号の発信を終了させないからである。他の端末装置100がその対象装置に関連付けられている場合、他の端末装置100が対象装置を表すマークの表示を継続している。従って、2人以上のユーザが、同じ対象装置の場所を表すマークが表示された映像を、異なる端末装置100に表示させることができる。
<第3の実施形態>
次に、本発明の第3の実施形態について、図面を参照して詳細に説明する。
本実施形態は、対象信号が検出されない場合に、対象信号の発信領域の位置の代わりに、対象信号の発信領域の推定位置をユーザに知らせる実施形態である。
図19は、本実施形態の対象表示システム1Dの構成の例を表すブロック図である。
図19を図1と比較すると、本実施形態の対象表示システム1Dは、端末装置100の代わりに、端末装置100Dを含む。端末装置100Dは、端末装置100の構成要素に加えて、推定部110を含む。
本実施形態の位置測定部109は、端末装置100の位置に加えて、端末装置100の方向を検出する。位置測定部109は、例えば、GPSを利用した測位装置によって、端末装置100の緯度及び経度を、端末装置100の位置として検出してもよい。位置測定部109は、例えば3軸電子コンパス及び3軸加速度センサによって、端末装置100のセンサ103が向いている方向を検出するよう設計されていてもよい。位置測定部109によって測定される方向の基準の方向と、センサ103が向いている方向との関係が、既知であってもよい。
信号検出部105によって、対象識別子を表す信号が検出されない場合、推定部110は、端末装置100Dの位置及び対象装置の位置をもとに、センサ103によって撮影された映像における、対象装置の像の位置を推定する。その場合、表示制御部107は、センサ103によって撮影された映像の、推定部110によって推定された、対象装置の像の位置に、マークを表示する。そして、表示制御部107は、マークが表示された映像を表示部108に出力する。
以上の相違を除き、本実施形態の対象表示システム1Dは、第2の実施形態の対象表示システム1と同じである。
図20は、本実施形態の端末装置100Dの動作の例を表すフローチャートである。
図20と図14とを比較すると、端末装置100Dの図20に示す動作のうち、ステップS3001の対象表示処理以外のステップの動作は、第2の実施形態の端末装置100の、図14において同じ符号が付与されているステップの動作と同じである。従って、図20に示す各ステップの動作のうち、ステップS3001以外のステップの動作の説明は省略する。
図21は、本実施形態の、ステップS3001における対象表示処理の例を表すフローチャートである。
図21と図6とを比較すると、本実施形態の端末装置100DのステップS1031の動作は、第2の実施形態の端末装置100のステップS1031の動作と同じである。
また、対象信号が検出された場合(ステップS1032においてYes)の、本実施形態の端末装置100Dの動作は、第2の実施形態の端末装置100の、対象信号が検出された場合の動作と同じである。従ってこの場合の動作の説明は省略する。
対象信号が検出されない場合(ステップS1032においてNo)、位置測定部109は、端末装置100の位置及び方向を測定する(ステップS3031)。
次に、推定部110は、指示送信部102を介して、対象装置の位置の送信を管理装置200に要求することによって、対象装置の位置を取得する(ステップS3032)。対象装置の位置は、例えば、対象装置が設置されている場所の緯度及び経度であればよい。管理装置200は、指示受信部201が端末装置100Dの指示送信部102から、対象装置の位置の送信を要求された場合、装置検索部204に、対象装置の位置の送信の要求を送信すればよい。装置検索部204は、対象装置の位置を装置情報記憶部205から読みだし、読み出した対象装置の位置を、指示受信部201を介して、端末装置100Dの指示送信部102に返信すればよい。指示送信部102は、返信された対象装置の位置を、推定部110に転送すればよい。
次に、推定部110は、端末装置100Dの、推定された位置及び方向と、対象装置の位置と、カメラであるセンサ103のカメラパラメータなどをもとに、センサ103によって撮影された映像における、対象信号の発信領域を推定する(ステップS3033)。推定部110は、例えば、センサ103の光軸に対する、対象装置が設置されている場所の方向を算出すればよい。そして、推定部110は、センサ103によって撮影された映像における、算出された方向を含む所定角度の範囲が撮影された領域を、対象信号の発信領域として推定すればよい。
次に、表示制御部107は、映像の発信領域にマークを表示する(ステップS1034)。そして、マークが表示された映像を、表示部108に出力する(ステップS1035)。
以上で説明した本実施形態には、第1及び第2の実施形態と同じ効果がある。その理由は、それらの効果が生じた理由と同じである。
例えば、対象装置が発信する信号(すなわち点滅する光)が障害物などによって遮蔽されている場合や、対象装置が信号を発信できない状態である場合、対象装置が発信する信号を検知できない。本実施形態には、そのような、対象装置が発信する信号をセンサ103が検知できない場合であっても、ユーザは、対象装置が設置されている場所の方向に向かうことができるという効果がある。
その理由は、推定部110が、センサ103が撮影する映像における発信領域を推定するからである。従って、対象装置が発信する対象信号が信号検出部105によって検出されない場合であっても、表示制御部107は、センサ103によって撮影された映像の、推定された発信領域に、マークを表示することができる。従って、対象装置が発信する信号をセンサ103が検知できない場合であっても、ユーザは、対象装置が設置されている場所の方向に向かうことができる。
<第4の実施形態>
次に、本発明の第4の実施形態について、図面を参照して詳細に説明する。本実施形態は、対象装置に障害がある場合に、対象信号の発信領域の推定位置にマークを表示することによって、対象装置の概略位置をユーザに知らせる実施形態である。
図22は、本実施形態の対象表示システム1Eの構成の例を表すブロック図である。図22に示す対象表示システム1Eの構成と図19に示す第3の実施形態の対象表示システム1Dの構成とを比較すると、対象表示システム1Eは、管理装置200の代わりに管理装置200Eを含む。
本実施形態の管理部202は、対象装置における障害の有無を検出する。
管理部202は、例えば、制御部301に、信号発信部302が信号の発信を行えるか否かを問い合わせてもよい。そして、制御部301から、信号発信部302が信号の発信を行えることを表す応答を受信した場合、管理部202は、対象装置に障害がないことを検出すればよい。それ以外の場合、管理部202は、対象装置に障害があることを検出すればよい。この場合、発信装置300の制御部301は、信号発信部302が正常に動作するか否かを自己診断できるよう設計されていればよい。
管理部202は、対象装置に信号識別子を送信した後の、対象装置からの応答の有無をもとに、対象装置における障害の有無を検出してもよい。その場合、発信装置300の制御部301は、例えば、受信した信号識別子を表す信号を、信号発信部302が発信し始めた場合、管理部202に応答を返すよう設計されていればよい。管理部202は、対象装置から応答があった場合、対象装置に障害がないことを検出し、それ以外の場合、対象装置に障害があることを検出すればよい。
対象装置に障害があることが検出されない場合、本実施形態の管理部202は、第2の実施形態の管理部202と同様に動作する。
対象装置に障害があることが検出された場合、管理部202は、装置検索部204を介して、対象装置の位置からの近さが、あらかじめ定められた基準に合致する位置に設置されている、対象装置ではない発信装置300を、支援装置として抽出する。具体的には、管理部202は、検索条件として、例えば、設置されている位置の、対象装置の位置からの距離が所定距離以下であることを、装置検索部204に送信する。装置検索部204は、受信した検索条件に合致する発信装置300を抽出し、抽出した発信装置300のリストを、管理部202に送信する。管理部202は、装置検索部204から受信したリストに含まれる発信装置300のうち、対象装置ではない発信装置300を、支援装置に決定する。
対象装置に障害があることが検出された場合、本実施形態の管理部202は、さらに、支援装置の各々に、異なる信号識別子を付与する。以下の説明では、支援装置に付与された信号識別子を、「支援信号識別子」と表記する。管理部202は、支援装置に付与した支援信号識別子を、装置情報記憶部205に格納する。信号情報送信部203は、支援装置の各々に、付与した支援信号識別子を送信する。
なお、管理部202は、支援装置に他の端末装置100Dが関連付けられ、その支援装置に既に信号識別子(対象識別子又は支援信号識別子)が関連付けられている場合、その支援装置に支援信号識別子を付与しない。また、その場合、管理部202は、その支援装置に、新たに支援信号識別子を送信しない。
対象装置に障害があることが検出された場合、本実施形態の管理部202は、さらに、信号情報送信部203を介して、端末装置100Dに支援信号識別子を送信する。管理部202は、支援信号識別子である信号識別子に、その信号識別子が支援信号であることを表すデータ値を付加して、端末装置100Dに送信してもよい。管理部202は、支援信号識別子と、その支援信号識別子が送信された支援装置の装置識別子との組み合わせを、端末装置100Dに送信してもよい。管理部202は、支援信号識別子と、その支援信号識別子が送信された支援装置が設置されている場所を表すデータ値とを、端末装置100Dに送信してもよい。そして、管理部202は、その端末装置100Dの識別子を、支援装置の識別子の各々に関連付けて、装置情報記憶部205に格納する。
なお、管理部202は、支援装置に他の端末装置100Dが関連付けられ、その支援装置に既に信号識別子(対象識別子又は支援信号識別子)が関連付けられている場合、その信号識別子を、装置情報記憶部205から読み出す。そして、管理部202は、読み出した信号識別子を、支援信号識別子として、端末装置100Dに送信する。
支援信号識別子が送信された端末装置100Dから終了指示を受信した場合、管理部202は、その端末装置100Dに送信した支援信号識別子が付与された支援装置の各々に、終了指示を送信する。
なお、支援装置に他の端末装置100Dが関連付けられている場合、管理部202は、支援信号識別子が送信された端末装置100Dから終了指示を受信しても、その支援装置に終了指示を送信しない。
そして、管理部202は、装置情報記憶部205において、支援装置の各々と端末装置100Dの識別子との関連付けを解除する。すなわち、管理部202は、支援装置の各々に関連付けられている端末装置100Dの識別子を、装置情報記憶部205から削除する。
本実施形態の端末装置100Dの、例えば信号検出部105は、管理装置200Eから受信した信号識別子が、対象識別子であるか、又は、支援信号識別子であるかを判定する。
本実施形態の端末装置100Dは、管理装置200Eから受信した信号識別子が対象識別子である場合、第2の実施形態と同様に動作する。
管理装置200Eから受信した信号識別子が支援信号識別子である場合、信号検出部105は、支援信号識別子を表す信号である支援信号を検出する。特定部106は、撮影された映像において、支援信号識別子が発信されている領域を、支援信号の発信領域として特定する。推定部110は、対象装置の位置、検出された支援信号識別子が付与されている支援装置の位置、支援信号が検出された発信領域、端末装置100Dの位置及び方向、センサ103のカメラパラメータなどをもとに、映像における対象装置の像の位置を算出する。推定部110が映像における対象装置の像の位置を算出する方法として、既存のさまざまな方法が適用可能である。推定部110は、算出した対象領域の像の位置が、対象装置の発信領域(すなわち、対象信号が発信されている領域)であると推定する。
推定部110は、例えば、指示送信部102を介して、対象装置の位置の送信を、管理装置200Eに要求すればよい。また、信号情報送信部203から支援装置の識別子を受信した場合、推定部110は、支援装置の位置の送信を、管理装置200Eに要求すればよい。管理装置200Eの装置検索部204は、端末装置100Dに対象装置の位置の送信を要求された場合、対象装置の位置を装置情報記憶部205から読み出せばよい。そして、装置検索部204は、読み出した対象装置の位置を、指示受信部201を介して、端末装置100Dに返信すればよい。同様に、装置検索部204は、端末装置100Dに支援装置の位置の送信を要求された場合、支援装置の位置を装置情報記憶部205から読み出せばよい。そして、装置検索部204は、読み出した支援装置の位置を、指示受信部201を介して、端末装置100Dに返信すればよい。
推定部110によって支援装置の発信領域が推定された場合、本実施形態の表示制御部107は、映像における、推定された発信領域にマークを表示する。表示制御部107は、マークが表示された映像を、表示部108に出力する。
本実施形態の対象表示システム1Eは、以上で説明したことを除いて、第2の実施形態の対象表示システム1と同じである。
次に、本実施形態の対象表示システム1Eの動作について、図面を参照して詳細に説明する。
まず、管理装置200Eの動作について説明する。
図23は、本実施形態の管理装置200Eの動作の例を表すフローチャートである。
まず、管理装置200Eは、対象受信処理を行う(ステップS2101)。図23のステップS2101の動作は、図15に示す、第2の実施形態の管理装置200のステップS2101における動作と同じである。
次に、管理部202は、対象装置の障害を検出する(ステップS4101)。すなわち、管理部202は、対象装置の障害の有無を検出する。対象装置の障害が検出されない場合(ステップS4102においてNo)、管理装置200Eは、ステップS2102からステップS2106までの動作を行う。図23に示す、ステップS2102からステップS2106までの動作は、図15に示す、第2の実施形態の管理装置200の、同じ符号が付与されたステップの動作と同じである。従って、それらの説明を省略する。
対象装置の障害が検出された場合(ステップS4102においてYes)、管理装置200Eは、支援信号発信開始処理を行う(ステップS4103)。
図24は、本実施形態の支援信号発信開始処理の例を表すフローチャートである。
まず、管理部202は、例えば装置検索部204によって、対象装置の位置からの近さが、あらかじめ定められた基準に合致する位置に設置されている、前述の障害が検出された対象装置ではない発信装置300を、支援装置として抽出する(ステップS4111)。管理部202は、例えば、対象装置の位置から所定距離以内に設置されている発信装置300を、支援装置として抽出すればよい。管理部202は、抽出された支援装置の各々の障害の有無を検出し、障害が検出された支援装置を、支援装置から除外してもよい。
図25は、支援装置の抽出を模式的に表す図である。図25において、破線によって描かれた楕円に含まれる発信装置300は、対象装置である発信装置300と、対象に障害が検出された場合に支援装置として抽出された発信装置300とを表す。
管理部202は、ステップS4111において抽出された支援装置から、1つの、未選択の支援装置を選択する(ステップS4112)。そして、管理部202は、選択した支援装置に信号識別子が付与されているか否かを判定する。管理部202は、選択した支援装置に関連付けられている信号識別子が、装置情報記憶部205に格納されているか否かを特定すればよい。選択した支援装置に関連付けられている信号識別子が装置情報記憶部205に格納されている場合、管理部202は、選択した支援装置に信号識別子が付与されていると判定する。選択した支援装置に関連付けられている信号識別子が装置情報記憶部205に格納されていない場合、管理部202は、選択した支援装置に信号識別子が付与されていないと判定する。
選択された支援装置に信号識別子が付与されていない場合(ステップS4113においてNo)、管理部202は、信号識別子を生成し、選択された支援装置に付与する(ステップS4114)。管理部202は、生成した信号識別子を、選択された支援装置に関連付けて、装置情報記憶部205に格納すればよい。
管理部202は、選択された支援装置に付与した信号識別子を、その支援装置に送信する(ステップS4115)。前述のように支援装置に付与された信号識別子が、支援信号識別子である。管理装置200Eは、ステップS4115の動作の後、後述する、ステップS4117の動作を行う。
選択された支援装置に信号識別子が付与されている場合(ステップS4113においてYes)、選択された支援装置に関連付けられている信号識別子が装置情報記憶部205に格納されている。その場合、管理部202は、装置情報記憶部205から、選択された支援装置に関連付けられている信号識別子を、支援信号識別子として装置情報記憶部205から読み出す(ステップS4116)。
そして、ステップS4117において、管理部202は、対象装置の識別子を送信した端末装置100Dを、選択された支援装置に関連付ける。すなわち、管理部202は、対象装置の識別子を送信した端末装置100Dの識別子を、選択された支援装置の装置識別子に関連付けて、装置情報記憶部205に格納する。
選択されていない支援装置が存在する場合(ステップS4118においてNo)、管理装置200Eは、ステップS4112以降の動作を繰り返す。全ての支援装置が選択された場合(ステップS4118においてYes)、管理装置200Eは、図24に示す動作を終了する。
図23に示す動作において、次に、管理部202は、信号情報送信部203を介して、それぞれの支援装置の支援信号識別子を、端末装置100Dに送信する(ステップS4104)。前述のように、管理部202は、支援装置の識別子と支援信号識別子との組み合わせなどを、端末装置100Dに送信すればよい。
この場合、端末装置100Dは、上述のように、支援信号の発信領域を推定し、映像の、推定された発信領域にマークを表示し、マークが表示された映像を表示部108に出力する。ユーザがマークの表示された映像の出力を終了させる場合、端末装置100Dの入力装置に対して、ユーザは、終了指示を表す操作を行う。終了指示が行われた場合、端末装置100Dは、管理装置200Eに、終了指示を送信する。
管理装置200Eの例えば指示受信部201が、端末装置100Dからの終了指示の受信を検出する(ステップS4105)。終了指示の受信が検出されない場合(ステップS4106においてNo)、指示受信部201は、終了指示の受信の検出を継続する(ステップS4105)。終了指示の受信が検出された場合(ステップS4106においてYes)、管理装置200Eは、支援信号発信終了処理を行う(ステップS4107)。
図26は、本実施形態の、支援信号発信終了処理の例を表すフローチャートである。
図26を参照すると、まず、管理部202は、終了指示を送信した端末装置100Dに関連付けられている支援装置を選択する(ステップS4121)。管理部202は、選択した支援装置と、終了指示を送信した端末装置100Dとの関連付けを解除する(ステップS4122)。管理部202は、装置情報記憶部205から、選択した支援装置の識別子に関連付けられている、終了指示を送信した端末装置100Dの識別子を消去すればよい。
選択した支援装置に関連付けられている他の端末装置100Dが存在しない場合(ステップS4123においてNo)、管理部202は、信号情報送信部203を介して、選択した支援装置に終了指示を送信する(ステップS4124)。終了指示を受信した支援装置は、発信を終了する
選択した支援装置に関連付けられている他の端末装置100Dが存在する場合(ステップS4123においてYes)、管理部202は、その支援装置に終了指示を送信しない。
終了指示を送信した端末装置100Dに関連付けられている支援装置が存在する場合(ステップS4125においてYes)、管理装置200Eは、ステップS4121からの動作を繰り返す。終了指示を送信した端末装置100Dに関連付けられている支援装置が存在しない場合(ステップS4125においてNo)、管理装置200Eは、図26に示す動作を終了する。
次に、本実施形態の端末装置100Dの動作について、図面を参照して詳細に説明する。
図27は、本実施形態の端末装置100Dの動作の例を表すフローチャートである。
図27に示すステップS1001及びステップS2001の動作は、図14に示す、第2の実施形態の端末装置100の、同じ符号が付与されたステップの動作と同じである。
対象装置の識別子を管理装置200Eに送信すると、管理装置200Eから、信号識別子が送信される。信号検出部105は、管理装置200Eから、信号識別子を受信する(ステップS4001)。この場合の信号識別子は、対象装置の障害が検出されなかった場合、対象装置に付与された信号識別子である、対象識別子である。この場合の信号識別子は、対象装置の障害が検出された場合、支援装置に付与された信号識別子である、支援信号識別子である。前述のように、支援信号識別子である信号識別子には、その信号識別子が支援信号識別子であることを表すデータ値が付加されていてもよい。信号検出部105は、例えばそのデータ値を利用することによって、受信した信号識別子が、対象識別子であるか否かを判定する。
受信した信号識別子が対象識別子である場合(ステップS4002においてYes)、端末装置100Dは、ステップS1003、ステップS1004、ステップS1005、及びステップS2003の動作を行う、これらの動作は、図15に示す、第2の実施形態の端末装置100の、同じ番号が付与されたステップの動作と同じである。
受信した信号識別子が対象識別子でない場合(ステップS4002においてNo)、端末装置100Dは、推定位置表示処理を行う(ステップS4003)。
図28は、本実施形態の、推定位置表示処理の例を表すフローチャートである。
図28を参照すると、まず、特定部106が、センサ103によって撮影された映像において、信号が発信されている部分(発信領域)の候補を特定する(ステップS4011)。ステップS4011における発信領域の候補を特定する方法は、図6に示すステップS1031の動作において、発信領域の候補を特定する方法と同様である。
次に、信号検出部105は、特定された発信領域の候補において、支援信号を検出する(ステップS4012)。支援信号は、前述のように、支援信号識別子を表す信号(例えば、支援信号識別子を表す点滅パターンに従って点滅する光)である。ステップS4012において支援信号を検出する方法は、図6に示すステップS1032において、対象信号を検出する方法と同様である。
複数の支援信号識別子を受信した場合、信号検出部105は、発信領域の候補において、支援信号識別子の各々について、支援信号識別子を表す支援信号を検出すればよい。ステップS4011において複数の発信領域の候補が特定された場合、信号検出部105は、それぞれの発信領域の候補において、支援信号識別子の各々について、支援信号識別子を表す支援信号を検出すればよい。
支援信号が検出されない場合(ステップS4013においてNo)、端末装置100Dは、ステップS4011からの動作を繰り返すことによって、支援信号の検出を継続する。
支援信号が検出された場合(ステップS4013においてYes)、推定部110は、センサ103が撮影する映像における、対象信号の発信領域を推定する(ステップS4014)。推定部110は、例えば、対象装置の位置、支援装置の位置、支援信号の発信領域、端末装置100Dの位置、及び、センサ103のカメラパラメータなどを使用して、対象信号の発信領域を推定すればよい。
表示制御部107は、センサ103によって撮影された映像の、推定された、対象信号の発信領域に、マークを表示する(ステップS4015)。表示制御部107は、マークが表示された映像を、表示制御部107に出力する(ステップS108)。以上で、端末装置100Dは、図28に示す動作を終了する。
次に、例えば指示送信部102が、ユーザによる終了指示の入力を検出する(ステップS4004)。ユーザによる終了指示の入力が検出されない場合(ステップS4005においてNo)、端末装置100Dは、推定位置表示処理(ステップS4003)と終了指示の入力の検出(ステップS4004)とを繰り返す。
ユーザによる終了指示の入力が検出された場合(ステップS4005においてYes)、指示送信部102は、終了指示を管理装置200Eに送信する(ステップS2003)。端末装置100Dは、以上で、図27に示す動作を終了する。
以上で説明した本実施形態には、第1及び第2の実施形態と同じ効果がある。その理由は、第1及び第2の実施形態の効果が生じる理由と同じである。
本実施形態には、さらに、対象装置が対象信号を発信できない場合であっても、ユーザに対象装置の概略位置を提示できるという効果がある。
その理由は、対象装置に障害が検出された場合、管理部202が、対象装置の位置との近さが所定の基準に合致する発信装置300である支援装置を抽出するからである。そして、管理部202は、支援装置に支援信号識別子を付与し、支援装置に、支援信号識別子を表し信号である支援信号を発信させる。端末装置100Dの推定部110は、支援信号の発信領域等をもとに、対象信号の発信領域を推定する。従って、本実施形態の対象表示システム1Eは、対象装置が対象信号を発信できない場合であっても、ユーザに対象装置の概略位置を提示できる。
<第4の実施形態の変形例>
第4の実施形態の変形例について、図面を参照して詳細に説明する。本変形例は、対象装置の故障の有無に関わらず、対象信号が検出されない場合、対象信号の発信領域を推定する。
図22は、本変形例の対象表示システム1Eの構成の例を表すブロック図である。本変形例の対象表示システム1Eの構成は、第4の実施形態の対象表示システム1Eの構成と同じである。以下では、本変形例と、第4の実施形態との相違点を中心に説明する。
本変形例の管理部202は、対象装置の障害の有無を検出しない。本変形例では、対象の障害の有無によらずに、支援装置を抽出し、抽出した支援装置に支援信号識別子を付与する。管理部202は、対象装置に対象識別子を送信するのに加えて、支援装置に支援信号識別子を送信する。管理部202は、端末装置100Dに、対象識別子及び支援信号識別子を送信する。指示受信部201が終了指示を受信した場合、本変形例の管理装置200Eは、対象装置に対象信号の発信を終了させる発信終了処理、及び、支援装置に支援信号の発信を終了させる支援信号発信終了処理を行う。
本変形例の端末装置100Dの表示制御部107は、信号検出部105によって対象信号が検出された場合、第2の実施形態の表示制御部107と同様に、センサ103によって撮影された映像の、対象信号の発信領域にマークを表示する。信号検出部105は、対象信号が検出されなかった場合、支援信号を検出する。信号検出部105によって支援信号が検出された場合、推定部110が、第4の実施形態の推定部110と同様に、対象信号の発信領域を推定する。そして、本変形例の表示制御部107は、第4の実施形態の表示制御部107と同様に、センサ103によって撮影された映像の、推定された、対象信号の発信領域にマークを表示する。
次に、本変形例の対象表示システム1Eの動作について、図面を参照して詳細に説明する。
まず、本変形例の管理装置200Eの動作について説明する。
図29は、本変形例の管理装置200Eの動作の例を表すフローチャートである。図29の各ステップの動作は、図23に示す第4の実施形態の管理装置200Eの動作における、同じ番号が付与されているステップの動作と同じである。
図29を参照すると、対象受信処理(ステップS2101)、及び、発信開始処理(ステップS2102)の後、管理部202は、信号情報送信部203を介して、対象識別子を端末装置100Dに送信する。さらに、支援信号発信開始処理(ステップS4103)の後、管理部202は、信号情報送信部203を介して、支援信号識別子を端末装置100Dに送信する(ステップS4104)。
そして、指示受信部201は、端末装置100Dからの終了指示の受信を検出し(ステップS2104)、終了指示が検出されない場合(ステップS2105においてNo)、指示受信部201は、終了指示の受信の検出を継続する(ステップS2104)。
終了指示が検出された場合(ステップS2105においてYes)、管理装置200Eは、発信終了処理(ステップS2106)と、支援信号終了処理(ステップS4107)とを行う。
次に、本変形例の端末装置100Dの動作について、図面を参照して詳細に説明する。
図30は、本変形例の端末装置100Dの動作の例を表すフローチャートである。図30において、図27に示す第4の実施形態の端末装置100Dの動作のステップと同じ処理内容のステップには、同じ符号が付与されている。
図30を参照すると、ステップS1001及びステップS2001の動作の後、信号検出部105は、対象識別子を受信する(ステップS2002)。さらに、信号検出部105は、支援信号識別子を受信する(ステップS4002)。そして、本変形例の端末装置100Dは、対象表示処理を行う(ステップS4006)。
図31は、本変形例の対象表示処理の例を表すフローチャートである。図31において、図21に示す第3の実施形態の対象表示処理のステップと同じ処理内容のステップには、同じ符号が付与されている。図31では、さらに、図28に示す第4の実施形態の推定対象表示処理のステップと同じ処理内容のステップには、同じ符号が付与されている。
図31を参照すると、まず、特定部106が、対象信号の発信領域の候補を特定する(ステップS1031)。次に、信号検出部105が、対象信号の発信領域の候補において、対象信号を検出する(ステップS1032)。対象信号が検出された場合(ステップS1033においてYes)、例えば特定部106は、対象信号が検出された発信領域の候補を、発信領域として特定する。表示制御部107は、映像の発信領域にマークを表示し(ステップS1034)、そして、マークが表示された映像を表示部108に出力する(ステップS1035)。
対象信号が検出されない場合(ステップS1033においてNo)、信号検出部105は、特定された発信領域において、支援信号を検出する(ステップS4012)。いずれの発信領域でも支援信号が検出されなかった場合(ステップS4013においてNo)、端末装置100Dは、ステップS1031から図31に示す動作を繰り返す。
支援信号が検出された場合(ステップS4013においてYes)、例えば特定部106は、支援信号が検出された発信領域を、その支援信号の発信領域として特定する。そして、推定部110は、前述のように、特定された、支援領域の発信領域の場所などをもとに、対象信号の発信領域を推定する(ステップS4014)。表示制御部107は、映像の、推定された、対象信号の発信領域にマークを表示し(ステップS1034)、そして、マークが表示された映像を表示部108に出力する(ステップS1035)。
以上で、端末装置100Dは、図31に示す動作を終了する。
次に、図30において、指示送信部102は、ユーザによる終了指示の入力を検出する(ステップS1004)。終了指示の入力が検出されない場合(ステップS1005においてNo)、端末装置100Dは、ステップS4006から、図30に示す動作を繰り返す。終了指示の入力が検出された場合(ステップS1005においてYes)、指示送信部102は、管理装置200Eに、終了指示を送信する(ステップS2003)。以上で、本変形例の端末装置100Dは、図30に示す動作を終了する。
以上で示す本変形例には、第1及び第2の実施形態と同じ効果がある。その理由は、第1及び第2の実施形態の効果が生じる理由と同じである。
本変形例には、さらに、対象装置に障害が生じたり、対象装置が発信する信号である光が一時的に遮蔽されたりする場合であっても、対象装置の概略位置を表示することができるという効果がある。
その理由は、管理装置200Eの管理部202が、対象装置に対象信号を発信させ、さらに、その対象装置の支援装置に、支援信号を発信させるからである。そして、対象信号が検出されない場合、端末装置100Dの信号検出部105が支援信号を検出するからである。推定部110は、支援信号が検出された発信領域の場所などをもとに、対象信号の発信領域を推定する。そして、表示制御部107が、映像の、推定された対象信号の発信領域に、マークを表示し、そして、マークが表示された映像を表示部108に出力する。
<第5の実施形態>
次に、本発明の第5の実施形態について、図面を参照して詳細に説明する。本実施形態は、さらに、ユーザに、対象装置までの経路を案内する実施形態である。
図32は、本実施形態の対象表示システム1Fの構成の例を表すブロック図である。
図32を参照すると、本実施形態の対象表示システム1Fは、端末装置100と、管理装置200Fと、発信装置300とを含む。図32と図1とを比較すると、本実施形態の対象表示システム1Fは、管理装置200の代わりに管理装置200Fを含む。管理装置200Fは、管理装置200の構成要素に加えて、地図記憶部206及び経路検索部207を含む。以下の説明では、本実施形態の対象表示システム1Fは、第2の実施形態の対象表示システム1の管理装置200が、管理装置200Fによって置き換えられた構成を備える。そして、本実施形態の対象表示システム1Fの構成は、第2の実施形態の対象表示システム1が、さらに、後述されるような対象装置までの経路の案内を行う構成に相当する。しかし、本実施形態に係る対象表示システム1Fは、本発明の他の実施形態のいずれかに係る対象表示システムが、後述されるような経路のガイドを行う構成に相当する構成を備えていてもよい。なお、以下の説明では、本実施形態の対象表示システム1Fの、第2の実施形態の対象表示システム1に対する相違を中心に説明する。対象表示システム1Fの、第2の実施形態の対象表示システム1の構成と同じ構成、及び、第2の実施形態の対象表示システム1の動作と同じ動作の説明は、適宜省略される。
地図記憶部206は、地図情報を記憶する。地図情報は、例えば、発信装置300が設置されている建物の中で端末装置100のユーザが歩行できる通路等の位置を表すデータ値を含む情報である。地図情報は、一般的なナビゲーションシステムにおいて利用される地図の情報を含んでいてもよい。
経路検索部207は、地図記憶部206が記憶する地図情報をもとに、端末装置100の位置から対象装置の位置までの経路を探索する。経路は、上述の、発信装置300が設置されている建物の中で端末装置100のユーザが歩行できる通路を含んでいてよい。経路検索部207は、一般的なナビゲーションシステムに使用される技術によって実現されていればよい。
本実施形態の端末装置100の指示送信部102は、対象装置の識別子に加えて、位置測定部109によって測定された、端末装置100の位置を表すデータ値を、管理装置200Fの指示受信部201に送信する。
本実施形態の管理装置200Fの管理部202は、端末装置100の指示送信部102から受信したその端末装置100の位置から、対象装置の位置までの経路を、経路検索部207に探索させる。そして、管理部202は、経路検索部207による探索によって得られた経路からの近さが所定の基準を満たす発信装置300を、装置検索部204に、支援装置として抽出させる。装置検索部204は、経路検索部207による探索によって得られた経路からの近さが所定の基準を満たす発信装置300を、支援装置として抽出する。装置検索部204は、経路検索部207による探索によって得られた経路からの所定距離以内の場所に設置されている発信装置300を、支援装置として抽出すればよい。そして、本実施形態の管理部202は、第4の実施形態の管理部202と同様に、支援装置の各々に、異なる支援信号識別子を付与する。管理部202は、信号情報送信部203を介して、支援装置の各々に、付与した支援信号識別子を送信する。管理部202は、さらに、支援信号識別子と、それらの支援信号識別子が付与された支援装置の、前述の得られた経路の沿った順番とを、端末装置100に送信する。管理部202は、例えば、支援信号識別子が付与された支援装置の、前述の得られた経路の沿った順番で、支援信号識別子を端末装置100に送信してもよい。
指示受信部201が端末装置100から終了指示を受信した場合、管理部202は、例えば、まず、終了指示を送信した端末装置100に関連付けられている発信装置300のうち、他の端末装置100に関連付けられていない発信装置300を特定すればよい。そして、管理部202は、装置情報記憶部205が記憶する、特定した発信装置300の装置状態を、信号を発信していない状態を表す状態に変更する。装置情報記憶部205が図7に例示する装置状態を記憶している場合、管理部202は、装置情報記憶部205が記憶する、特定した発信装置300の発信状態を、「停止中」に変更する。管理部202は、終了指示を送信した端末装置100と、その端末装置100に関連付けられている発信装置300との関連付けを解除する。すなわち、管理部202は、装置情報記憶部205が記憶する装置状態から、終了指示を送信した端末装置100の識別子を消去する。
そして、信号情報送信部203は、終了指示を送信した端末装置100に関連付けられていた、他の端末装置100に関連付けられていない対象装置及び支援装置の各々に、終了指示を送信する。
本実施形態の端末装置100の信号検出部105は、管理装置200Fから、対象識別子に加えて、支援信号識別子を受信する。そして、信号検出部105は、特定部106によって検出された発信領域の候補において、対象信号に加えて、支援信号を検出する。
本実施形態の表示制御部107は、対象信号が検出された発信領域に、対象装置を表すマークを表示する。さらに、表示制御部107は、支援信号が検出された発信領域に、支援装置の順番を表すマークを表示する。支援装置の順番は、検出された支援信号が表す支援信号識別子が付与された支援装置の位置の、前述の経路に沿った、端末装置100の位置からの近さの順番である。順番を表すマークは、ユーザが順番を認識できる表示であればよい。表示制御部107は、順番を、矢印によって表してもよい。表示制御部107は、例えば、順番が連続する支援信号の発信領域を接続する、順番が早い支援信号の発信領域から、順番が遅い支援信号の発信領域に向かう方向の矢印を描くことによって、順番を表してもよい。表示制御部107は、支援信号の発信領域にマークとして図形を表示し、順番を、図形の色及び濃淡の少なくとも一方によって表してもよい。表示制御部107は、例えば、支援信号が検出された発信領域に表示するマークの色又濃淡の少なくとも一方を、その支援信号の順番に応じて順次変化させることによって、順番を表してもよい。表示制御部107は、例えば、順番が早いマークから順にマークを点滅させることによって、順番を表してもよい。
次に、本実施形態の対象表示システム1Fの動作について、図面を参照して詳細に説明する。
図33及び図34は、本実施形態の管理装置200Fの動作を表すフローチャートである。図33において、第2の実施形態の管理装置200の動作を表す図15におけるステップと同じ処理内容のステップには、同じ番号が付与されている。
本実施形態では、第2の実施形態と同じ対象受信処理(ステップS2101)の後に、指示受信部201は、端末装置100からの、経路案内の要求の受信を検出する(ステップS5101)。経路案内の要求の受信が検出されない場合(ステップS5102においてNo)、管理装置200Fは、ステップS2102からステップS2106までの動作を行う。管理装置200Fが行う、ステップS2102からステップS2106までの動作は、図15に示すステップS2102からステップS2106までの動作と同じである。従って、説明を省略する。
経路案内の要求の受信が検出された場合(ステップS5102においてYes)、管理装置200Fは、図34に示す、ステップS2102及びステップS2103の動作を行う。図34に示す、ステップS2102及びステップS2103の動作は、図15に示す、ステップS2102及びステップS2103の動作と同じである。従って、それらの説明を省略する。
次に、管理装置200Fは、経路案内開始処理を行う(ステップS5104)。
図35は、本実施形態の経路案内開始処理の例を表すフローチャートである。
図35を参照すると、まず、経路検索部207が、端末装置100から、その端末装置100の位置を、例えば指示受信部201及び管理部202を介して受信する(ステップS5111)。経路検索部207は、受信した端末装置100の位置から対象装置の位置までの経路を検索する(ステップS5112)。
次に、装置検索部204が、ステップS5112において得られた経路からの近さが所定の基準に合致する位置に設置されている発信装置300を、支援装置として抽出する(ステップS5113)。ステップS5113において、装置検索部204は、例えば、得られた経路からの最短距離が所定値以下である発信装置300を、支援装置として抽出すればよい。
図35のステップS4112からステップS4118までのステップの動作は、図24に示す第4の実施形態の支援信号発信開始処理の、同じ番号が付与されているステップの動作と同じである。従って、詳細な説明を省略する。ステップS4112からステップS4118までのステップの動作によって、管理装置200Fは、各支援装置に支援信号識別子を割り当てる。そして、管理装置200Fは、割り当てた支援信号識別子をその支援信号識別子が割り当てられた支援装置に送信することによって、支援装置に支援信号の発信を開始させる。以上で、管理装置200Fは、図35に示す動作を終了する。
図34を参照すると、次に、管理部202は、信号情報送信部203を介して、端末装置100に、支援信号識別子と、それらの支援信号識別子の順番を表す情報とを、端末装置100に送信する(ステップS5105)。支援信号識別子の順番は、それらの支援信号識別子が割り当てられている支援装置が設置されている位置の、前述の得られた経路に沿った、端末装置100の位置からの近さの順番である。管理部202は、支援信号識別子が割り当てられている支援装置の端末装置100からの近さの順番で、支援信号識別子を送信してもよい。
ユーザによる終了指示の入力が検出されない場合(ステップS2104、ステップS2105においてNo)、指示送信部102は、終了指示の入力の検出を継続する。上述のように、図34のステップS2104及びステップS2105の動作は、図15に示す、同じ番号が付与されたステップの動作と同じである。ユーザによる終了指示の入力が検出された場合(ステップS2104、ステップS2105においてYes)、管理装置200Fは、支援信号発信終了処理(ステップSS4107)と、発信終了処理(ステップS2106)とを行う。支援信号発信終了処理は、支援装置に支援信号の発信を終了させる処理である。発信終了処理は、対象装置に対象信号の発信を終了させる処理である。
ステップSS4107の支援信号発信終了処理は、図26に示す、第4の実施形態の支援信号終了処理と同じである。ステップS2106の発信終了処理は、図18に示す、第2の実施形態の発信終了処理と同じである。
本実施形態の管理装置200Fは、以上で、図34に示す動作を終了する。
次に、本実施形態の端末装置100の動作について、図面を参照して詳細に説明する。
図36及び図37は、本実施形態の端末装置100の動作の例を表すフローチャートである。図36において、第2の実施形態の端末装置100の動作を表す図14におけるステップと同じ処理内容のステップには、同じ番号が付与されている。
図36を参照すると、本実施形態の端末装置100は、第2の実施形態の端末装置100と同様に、対象選択処理を行い(ステップS1001)、選択された対象装置の識別子を、管理装置200Fに送信する(ステップS2001)。
次に、指示送信部102は、ユーザが入力部101を使用して入力する、経路案内の要求を受け付ける(ステップS5001)。ユーザが、経路案内の要求を指示する操作を行わかった場合、指示送信部102が、経路案内の要求を受け付けない。指示送信部102が、経路案内の要求を受け付けなかった場合(ステップS5002においてNo)、本実施形態の管理装置200Fは、図37に示す、ステップS2002からステップS2003までの動作を行う。図37に示す、ステップS2002からステップS2003までの動作は、図14に示す、第2の実施形態の管理装置200の動作における、同じ番号が付与されたステップの動作と同じである。
指示送信部102が、経路案内の要求を受け付けた場合(ステップS5002においてYes)、指示送信部102は、図37に示すように、経路案内の要求を管理装置200Fに送信する(ステップS5003)。さらに、位置測定部109が端末装置100の位置を測定する(ステップS5004)。指示送信部102は、位置測定部109によって測定された位置を、管理装置200に送信する(ステップS5005)。
次に、信号検出部105は、管理装置200から、対象装置に付与された信号識別子である、対象識別子を受信する(ステップS5006)。信号検出部105は、管理装置200から、支援信号識別子と、支援信号識別子の順番を表すデータとを受信する(ステップS5007)。そして、端末装置100は、経路案内表示処理を行う(ステップS5008)。
図38は、本実施形態の経路案案内表示処理の例を表すフローチャートである。
図38に示す動作のうち、ステップS1031からステップS0134までの動作は、第2の実施形態の、図6に示すステップS1031からステップS0134までの動作と同じである。ステップS1031からステップS0134までの動作は、発信領域の候補を特定してから、対象信号が検出された場合に、映像の、対象信号の発信領域にマークを表示するまでの動作である。図38に示す動作のうち、ステップS4012及びステップS4013の動作は、図28に示す、ステップS4012及びステップS4013の動作と同じである。
特定部106は、センサ103によって撮影された映像において、発信領域の候補を特定する(ステップS1031)。信号検出部105は、特定された発信領域の候補において、対象信号を検出する(ステップS1032)。対象信号が検出された場合(ステップS1033においてYes)、表示制御部107は、センサ103によって撮影された映像の、対象信号が検出された発信領域に、対象装置を表すマークを表示する(ステップS1034)。対象信号が検出されない場合(ステップS1033においてNo)、表示制御部107は、ステップS1034におけるマークの表示を行わない。
そして、信号検出部105は、さらに、特定された発信領域の候補において、支援信号を検出する(ステップS4012)。支援信号が検出されない場合(ステップS4013においてNo)、本実施形態の端末装置100は、図38に示す動作を終了する。
支援信号が検出された場合(ステップS4013においてYes)、表示制御部107は、センサ103によって撮影された映像に、前述のように、支援信号の順番を表すマークを表示する(ステップS5014)。
そして、表示制御部107は、マークが表示された映像を、表示部108に出力する(ステップS108)。対象信号が検出された場合、その映像には、対象装置を表すマークが表示されている。支援信号が検出された場合、その映像には、支援装置の順番を表すマークが表示されている。以上で、端末装置100は、図38に示す動作を終了する。
次に、端末装置100は、図37に示す、ステップS1004からステップS2003までの、ユーザによって終了指示が入力された場合終了指示を管理装置200Fに送信する動作を行う。これらの動作は、第2の実施形態の端末装置100の動作を表す図14における、ステップS1004からステップS2003まで動作と同じである。
以上で説明した本実施形態には、第1の実施形態及び第2の実施形態と同じ効果がある。その理由は、第1の実施形態及び第2の実施形態の効果が生じる理由と同じである。
本実施形態には、さらに、ユーザを対象装置まで誘導することができるという効果がある。
その理由は、経路検索部207が、端末装置100から対象装置までの経路を検索し、装置検索部204が、得られた経路からの近さが所定の基準を満たす発信装置300を、支援装置として抽出するからである。そして、管理部202が、信号情報送信部203を介して、抽出された支援装置に、支援信号識別子を送信することによって、支援装置に支援信号を発信させるからである。端末装置100の表示制御部107は、信号検出部105が支援信号を検出した発信領域に、抽出された支援装置の端末装置100からの近さの順番を表すマークを表示する。十分な数の支援装置が抽出されていれば、ユーザは、端末装置100からの近さの順に、支援信号が検出された発信領域を追っていくことによって、対象装置にたどり着くことができる。
<第6の実施形態>
次に、本発明の第6の実施形態について、図面を参照して詳細に説明する。本実施形態に係る発信装置は、ユーザにサービスを提供することができる。
図39は、本実施形態の対象表示システム1Gの構成の例を表すブロック図である。
図39の構成と図1に示す第2の実施形態の対象表示システム1の構成とを比較すると、本実施形態の対象表示システム1Gは、発信装置300の代わりに、発信装置300Gを含む。図39に示す例では、対象表示システム1Gは、1台の発信装置300Gを含んでいる。しかし、対象表示システム1Gは、2台以上の発信装置300Gを含んでいてもよい。対象表示システム1Gは、さらに、1台以上の発信装置300を含んでいてもよい。本実施形態の対象表示システム1Gは、発信装置300Gに対しては、以下で説明する動作を行う。本実施形態の対象表示システム1Gは、発信装置300に対しては、第2の実施形態の対象表示システム1と同様の動作を行う。また、本実施形態の端末装置100及び管理装置200は、本発明の第2の実施形態以外の実施形態に係る端末装置及び管理装置の構成及び機能と、同じ構成及び機能を備えていてもよい。以下では、本実施形態の端末装置100及び管理装置200は、本発明の第2の実施形態に係る端末装置及び管理装置の構成及び機能と、同じ構成及び機能を備える場合について説明する。そして、本実施形態の構成要素のうち、第2の実施形態の構成要素と同じ構成要素には、同じ符号を付与し、その説明を適宜省略する。また、本実施形態の動作のうち、第2の実施形態の動作と同じ動作には、同じ符号を付与し、その説明を適宜省略する。
発信装置300Gは、第2の実施形態の発信装置300の構成要素に加えて、サービス提供部303を含む。
本実施形態の装置情報記憶部205は、発信装置300Gの装置状態として、さらに、その発信装置300Gが含むサービス提供部303が提供できるサービスを表すサービス識別子を記憶する。装置情報記憶部205は、図7に例示する装置状態では、「サービス」として、サービス識別子を記憶していればよい。
本実施形態の端末装置100の指示送信部102は、さらに、入力部101を介したユーザによるサービス要求の入力を検出する。そして、指示送信部102は、入力が検出されたサービス要求によって要求されるサービスを特定する。指示送信部102は、対象装置の識別子に加えて、特定したサービスを表すサービス識別子を、指示受信部201に送信する。
本実施形態の管理装置200の管理部202は、指示受信部201が対象装置の識別子及びサービス識別子を受信した場合、その対象装置がサービス識別子によって表されるサービスを提供可能であるか否かを、その対象装置に問い合わせる。その対象装置からサービスの提供が可能であることを表す応答があった場合、管理部202は、その対象装置に付与された対象識別子に加えて、そのサービス識別子によって表されるサービス提供の指示を、その対象装置に送信する。そのサービス装置から、サービスの提供が可能でないことを表す応答があった場合、管理部202は、指示受信部201を介して、端末装置100に、サービス提供不可の通知を送信する。
サービス提供部303は、ユーザにサービスを提供する。サービス提供部303が提供するサービスは、例えば、写真の印刷や飲料の提供などである。サービス提供部303は、他のサービスを提供してもよい。また、サービス提供部303は、制御部301が管理装置200からサービス提供の指示を受信した場合、サービスを提供する準備を開始する。
サービス提供部303は、ユーザが、そのサービス提供部303を含む対象装置に到着するまでの時間にサービスを提供する準備が終了するように、サービスを提供する準備を開始してもよい。その場合、管理装置200は、例えば、経路検索部207及び地図記憶部206を含んでいればよい。そして、指示受信部201は、端末装置100からサービス識別子を受信するのに加えて、その端末装置100からその端末装置100の位置を取得すればよい。そして、経路検索部207は、端末装置100の位置から対象装置の位置までの経路を探索し、その結果に基づいて、端末装置100の位置を出発してから対象装置の位置に到着するまでの時間を算出すればよい。その算出方法として、既存のナビゲーションシステムに使用されているさまざまな所要時間算出方法が適用可能である。
次に、本実施形態の端末装置100の動作について、図面を参照して詳細に説明する。
図40は、本実施形態の端末装置100の動作の例を表すフローチャートである。
図40を参照すると、端末装置100は、まず、対象選択処理を行う(ステップS1001)。本実施形態の端末装置100は、対象選択処理において、発信装置300Gの一覧を表示する際、表示される発信装置300Gの各々が提供可能なサービスを表示すればよい。そして、指示送信部102は、選択された対象装置の識別子を、管理装置200に送信する。
さらに、指示送信部102は、入力部101を介した、ユーザによる、サービス要求の入力を検出する(ステップS6001)。サービス要求の入力が検出されない場合(ステップS6002においてNo)、端末装置100は、ステップS2002からステップS2003までの動作を行う。本実施形態のステップS2002からステップS2003までの動作は、図14に示す、第2の実施形態のステップS2002からステップS2003までの動作と同じである。
サービス要求の入力を検出した場合(ステップS6002においてYes)、指示送信部102は、サービス要求によって提供が要求されたサービスを表すサービス識別子を、管理装置200に送信する(ステップS6003)。対象装置が要求されたサービスを提供できない場合、管理装置200は、サービス提供不可の通知を指示送信部102に返信する。
サービス提供不可の通知が返信された場合(ステップS6004においてYes)、端末装置100は、図40に示す動作を、ステップS1001の対象選択処理から繰り返す。
サービス提供不可の通知が返信されない場合(ステップS6004においてNo)、端末装置100は、ステップS2002からステップS2003までの動作を行う。
以上で、端末装置100は、図40に示す動作を終了する。
次に、本実施形態の管理装置200の動作について、図面を参照して詳細に説明する。
図41は、本実施形態の管理装置200の動作の例を表すフローチャートである。
図41を参照すると、本実施形態の管理装置200は、対象受信処理を行う(ステップS2101)。ステップS2101における対象受信処理は、図15に示す、第2の実施形態の対象受信処理と同じである。
次に、指示受信部201は、端末装置100からのサービス識別子の受信を検出する(ステップS6101)。指示受信部201は、例えば、対象装置の識別子が送信されてから所定時間内にサービス識別子が送信されない場合、サービス識別子の受信を検出する動作を終了すればよい。サービス識別子の受信が検出されない場合(ステップS6102においてNo)、管理装置200は、ステップS2102からステップS2106までの動作を行う。本実施形態の管理装置200が行う、ステップS2102からステップS2106までの動作は、図15に示す、第2の実施形態の管理装置200が行う、ステップS2102からステップS2106までの動作と同じである。
サービス識別子の受信が検出された場合(ステップS6102においてYes)、管理部202は、例えば信号情報送信部203を介して、対象装置の状態を特定する(ステップS6103)。管理部202は、例えば、対象装置に、受信したサービス識別子によって表されるサービスの提供が可能か否かを問い合わせるメッセージを送信すればよい。そのメッセージに対する応答として、例えばメッセージの送信から所定時間内に、サービスの提供が可能であることを表す応答が、対象装置から返信された場合、管理部202は、対象装置はサービスを提供できる状態であると判定すればよい。それ以外の場合、管理部202は、対象装置はサービスを提供できる状態ではないと判定すればよい。
対象装置がサービスを提供できる状態でない場合(ステップS6104においてNo)、管理部202は、指示受信部201を介して、端末装置100に、サービス提供不可の通知を送信する(ステップS6106)。そして、管理装置200は、図41に示す動作を終了する。
対象装置がサービスを提供できる状態である場合(ステップS6104においてYes)、管理部202は、信号情報送信部203を介して、サービス提供の指示を対象装置に送信する(ステップS6105)。管理部202は、サービス提供の指示として、受信したサービス識別子を送信してもよい。発信装置300Gが複数のサービスを提供することができる場合、発信装置300Gは、サービス提供の指示として受信したサービス識別子が表すサービスを提供する準備を開始すればよい。そして、管理装置200は、ステップS2102からステップS2106までの動作を行った後、図41に示す動作を終了する。
次に、本実施形態の発信装置300Gの動作について、図面を参照して詳細に説明する。
図42は、本実施形態の発信装置300Gの動作の例を表すフローチャートである。図42に示すステップのうち、図13に示す、第1の実施形態の発信装置300の動作におけるステップと同じ処理内容のステップには、同じ符号が付与され、その説明は適宜省略されている。
図42を参照すると、サービス提供部303が、既にサービス提供の準備を開始している場合(ステップS6201においてYes)、制御部301は、信号識別子の受信を検出する(ステップS1201)。信号識別子の受信が検出された場合(ステップS1201においてYes)、発信装置300Gは、ステップS1203からステップS1206までの動作を行う。本実施形態の発信装置300GのステップS1203からステップS1206までの動作は、図13に示す、第1の実施形態の発信装置300のステップS1203からステップS1206までの動作と同じである。そして、発信装置300Gは、図42に示す動作を終了する。信号識別子の受信が検出されない場合(ステップS1201においてNo)、発信装置300Gは、図42に示す動作を、ステップS6201から繰り返す。
サービス提供部303がサービス提供の準備をまだ開始していない場合(ステップS6201においてNo)、制御部301は、サービス提供の指示を検出する(ステップS6202)。例えば、サービス提供の指示が所定時間検出されなかった場合、制御部301はステップS6202の動作を終了すればよい。サービス提供の指示が検出されなかった場合(ステップS6203においてNo)、発信装置300Gは、ステップS1201以降の動作を行う。
サービス提供の指示が検出された場合(ステップS6203においてYes)、サービス提供部303は、サービス提供の準備を開始する(ステップS6204)。そして、発信装置300Gは、ステップS1201以降の動作を行う。
以上の説明は、サービス提供部303が、同時に複数のユーザに対して提供するサービスの準備を行える場合の説明である。
サービス提供部303が提供するサービスの種類や、サービス提供部303の構成によっては、同時に複数のユーザに対して提供するサービスの準備を行えないことがある。その場合、例えば、装置情報記憶部205が記憶する、発信装置300Gの装置状態が、その発信装置300Gがサービスを提供できる状態であるか否かを表す値(以下では、「サービス状態」と表記する)を含んでいればよい。
そして、管理部202は、例えば図41のステップS6103において、対象装置のサービス状態を読み出せばよい。管理部202は、ステップS6104において、読み出したサービス状態をもとに、対象装置がサービスを提供できる状態であるか否かを判定すればよい。
また、発信装置300Gは、ユーザへのサービスの提供が終了した場合、管理装置200に、サービスの提供が可能になったことを表すメッセージを送信すればよい。発信装置300Gからサービスの提供が可能になったことを表すメッセージを受信した場合、管理部202は、装置情報記憶部205が記憶する、その発信装置300Gのサービス状態を、サービスを提供できる状態であることを表す値に変更すればよい。ユーザがサービスの利用を終了した場合、そのユーザは、端末装置100を介して、サービスの利用が終了したことを表すメッセージを、管理装置200に送信してもよい。端末装置100からそのメッセージを受信した場合、管理部202は、装置情報記憶部205が記憶する、その端末装置100に関連付けられた発信装置300Gのサービス状態を、サービスを提供できる状態であることを表す値に変更してもよい。
以上で説明した本実施形態には、第1の実施形態及び第2の実施形態と同じ効果がある。その理由は、第1の実施形態及び第2の実施形態の効果が生じる理由と同じである。
本実施形態には、さらに、サービスを提供する対象装置が設置されている場所に、端末装置100のユーザが到着した際、そのユーザが迅速にサービスを受けられるという効果がある。
その理由は、端末装置100のユーザによる指示をもとに、管理装置200の信号情報送信部203が、対象装置である発信装置300Gの制御部301にサービス準備の指示を送信するからである。サービス準備の指示を受信した場合、制御部301は、サービス提供部303が、サービス提供の準備を開始するように制御する。サービス提供部303は、サービス提供の準備を開始する。
<第7の実施形態>
次に、本発明の第7の実施形態について、図面を参照して詳細に説明する。
図43は、本実施形態の対象表示システム1Hの構成の例を表すブロック図である。
図43を参照すると、本実施形態の対象表示システム1Hは、対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を生成する管理部202と、前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する、複数の発信装置300の中から選択された前記発信装置300である前記対象装置に対して、生成された前記対象識別子を送信する信号情報送信部203と、前記信号を感知するセンサ103による感知の結果に基づいて、前記対象装置に送信された前記対象識別子を表す前記信号を、前記対象装置が発信する信号である対象信号として検出する信号検出部105と、撮影された映像における、前記対象信号が発信されている発信領域を特定する特定部106と、前記映像において特定された前記発信領域にマークが付与された前記映像を出力する表示制御部107と、を備える。
以上で説明した本実施形態には、第1の実施形態の包括的な効果と同じ効果がある。その理由は、第1の実施形態の包括的な効果が生じる理由と同じである。
<他の実施形態>
本発明の各実施形態に係る、端末装置と、管理装置と、発信装置とは、それぞれ、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
図44は、本発明の各実施形態に係る、端末装置と、管理装置と、発信装置とを実現することができる、コンピュータ1000のハードウェア構成の一例を表す図である。図44を参照すると、コンピュータ1000は、プロセッサ1001と、メモリ1002と、記憶装置1003と、I/O(Input/Output)インタフェース1004とを含む。また、コンピュータ1000は、記録媒体1005にアクセスすることができる。メモリ1002と記憶装置1003は、例えば、RAM(Random Access Memory)、ハードディスクなどの記憶装置である。記録媒体1005は、例えば、RAM、ハードディスクなどの記憶装置、ROM(Read Only Memory)、可搬記録媒体である。記憶装置1003が記録媒体1005であってもよい。プロセッサ1001は、メモリ1002と、記憶装置1003に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ1001は、I/Oインタフェース1004を介して、例えば、通信ネットワーク4にアクセスすることができる。プロセッサ1001は、記録媒体1005にアクセスすることができる。記録媒体1005には、コンピュータ1000を、本発明の各実施形態に係る、端末装置と、管理装置と、発信装置とのいずれかとして動作させるプログラムが格納されている。
プロセッサ1001は、記録媒体1005に格納されている、コンピュータ1000を、本発明の各実施形態に係る、端末装置と、管理装置と、発信装置とのいずれかとして動作させるプログラムを、メモリ1002にロードする。そして、プロセッサ1001が、メモリ1002にロードされたプログラムを実行することにより、コンピュータ1000は、メモリ1002にロードされたプログラムに応じた、本発明の各実施形態に係る、端末装置と、管理装置と、発信装置とのいずれかとして動作する。
指示送信部102、信号検出部105、特定部106、表示制御部107、位置測定部109、推定部110、指示受信部201、管理部202、信号情報送信部203、装置検索部204、経路検索部207、制御部301、及び、サービス提供部303は、例えば、プログラムを記憶する記録媒体1005からメモリ1002に読み込まれた、各部の機能を実現することができる専用のプログラムと、そのプログラムを実行するプロセッサ1001により実現することができる。また、装置情報記憶部205、及び、地図記憶部206は、コンピュータ1000が含むメモリ1002やハードディスク装置等の記憶装置1003により実現することができる。あるいは、入力部101、指示送信部102、センサ103、撮影部104、表示部108、信号検出部105、特定部106、表示制御部107、位置測定部109、推定部110、指示受信部201、管理部202、信号情報送信部203、装置検索部204、装置情報記憶部205、地図記憶部206、経路検索部207、制御部301、信号発信部302、及び、サービス提供部303の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
[付記1]
対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を生成する管理手段と、
前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する、複数の発信装置の中から選択された前記発信装置である前記対象装置に対して、生成された前記対象識別子を送信する信号情報送信手段と、
前記信号を感知するセンサによる感知の結果に基づいて、前記対象装置に送信された前記対象識別子を表す前記信号を、前記対象装置が発信する信号である対象信号として検出する信号検出手段と、
撮影された映像における、前記対象信号が発信されている発信領域を特定する特定手段と、
前記映像において特定された前記発信領域にマークが付与された前記映像を出力する表示制御手段と、
を備える対象表示システム。
[付記2]
前記発信装置の各々について、当該発信装置が設置されている位置を記憶する装置情報記憶手段と、
前記装置情報記憶手段に格納されている前記位置に基づいて、前記発信装置を選択する装置検索手段と、をさらに備え、
前記管理手段は、選択された前記発信装置である支援装置の各々について識別子を生成し、
前記信号情報送信手段は、前記支援装置の各々に対して、当該支援装置について生成された識別子である支援識別子を送信し、
前記信号検出手段は、前記支援識別子を表す前記信号である支援信号の各々を検出し、
前記特定手段は、前記映像における、前記支援信号が発信されている部分である支援領域を特定する
付記1に記載の対象表示システム。
[付記3]
前記装置検索手段は、装置情報記憶手段に格納されている前記位置に基づいて、前記対象装置からの距離の近さに応じて複数の前記支援装置を選択し、
前記対象信号が検出されない場合、
前記信号情報送信手段は、前記支援装置の各々に対して、当該支援装置について生成された前記支援識別子を送信し、
前記特定手段は、さらに、前記対象装置が設置されている位置と、前記支援装置が設置されている位置と、特定した前記支援信号発信領域と、に基づいて、前記映像における前記対象装置の領域を推定し、当該領域を前記発信領域として特定する
付記2に記載の対象表示システム。
[付記4]
前記発信装置が設置される位置を含む範囲における地図情報を記憶する地図記憶手段と、
位置を測定する位置測定手段と、
前記地図情報に基づいて、測定された前記位置から前記対象装置の位置までの経路を検索する経路検索手段と、をさらに備え、
前記管理手段は、検索された前記経路からの近さに応じて前記支援装置を選択し、選択された前記経路装置の各々の、前記経路に沿った測定された前記位置からの距離である経路距離を算出し、
前記表示制御手段は、前記映像において特定された前記支援装置の領域に、当該支援装置の前記経路距離に応じたマークが付与された前記映像を出力する
付記2又は3に記載の対象表示システム。
[付記5]
位置を測定する位置測定手段と、
方向を測定する方向測定手段と、をさらに備え、
前記特定手段は、前記対象信号が検出されない場合、測定された前記位置及び前記方向と、前記対象装置が配置されている位置とに基づいて、前記映像における前記対象装置の領域を推定し、推定した当該領域を前記発信領域として特定する
付記1又は2に記載の対象表示システム。
[付記6]
サービスを提供する前記対象装置に対する、前記サービスの提供を予約する予約指示を受信する指示受信手段をさらに備え、
前記信号情報送信手段は、提供する前記サービスの準備を、準備指示を受信するのに応じて行う前記対象装置に対して、前記予約指示を受信した場合に前記準備指示を送信する
付記1乃至5のいずれかに記載の対象表示システム。
[付記7]
前記信号情報送信手段は、周波数の範囲を受信した場合に当該周波数の範囲に含まれる周波数で前記信号を発信する前記対象装置に対して、前記センサが測定することができる前記信号の周波数の範囲を表すデータ値をさらに送信する
付記1乃至6のいずれかに記載の対象表示システム。
[付記8]
対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する発信装置の中から選択された前記発信装置である前記対象装置を特定する対象装置識別子を送信する端末装置から、前記対象装置識別子を受信する指示受信手段と、
前記対象識別子を生成する管理手段によって生成された前記対象識別子を、前記対象装置に対して送信する信号情報送信手段と、を備え、
前記信号情報送信手段は、さらに、前記端末装置に対して、前記対象識別子を送信し、
前記端末装置は、映像を撮影し、前記対象識別子を受信するのに応じて、当該対象識別子を表す前記信号を、当該信号を感知するセンサによる感知の結果に基づいて検出し、撮影した前記映像における、検出した前記信号が発信された部分を特定し、特定した前記部分にマークが付与された前記映像を出力する
管理装置。
[付記9]
前記発信装置に送信された前記対象識別子である発信中識別子を、前記発信装置に関連付けて記憶する装置情報記憶手段を備え、
前記信号情報送信手段は、受信した前記対象装置識別子が表す前記対象装置に前記発信中識別子が関連付けられていない場合、生成され前記対象装置に送信された前記対象識別子を、前記対象装置に送信された前記発信中識別子として、前記発信装置に関連付けて前記装置情報記憶手段に格納し、
前記発信中識別子が前記対象装置に関連付けられている場合、前記装置情報記憶手段から読み出した、前記対象装置に関連付けられている前記発信中識別子を、前記端末装置に送信する
付記8に記載の管理装置。
[付記10]
対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を生成し、
前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する、複数の発信装置の中から選択された前記発信装置である前記対象装置に対して、生成された前記対象識別子を送信し、
前記信号を感知するセンサによる感知の結果に基づいて、前記対象装置に送信された前記対象識別子を表す前記信号を、前記対象装置が発信する信号である対象信号として検出し、
撮影された映像における、前記対象信号が発信されている発信領域を特定し、
前記映像において特定された前記発信領域にマークが付与された前記映像を出力する、
対象表示方法。
[付記11]
前記発信装置の各々について、当該発信装置が設置されている位置を装置情報記憶手段に記憶し、
前記装置情報記憶手段に格納されている前記位置に基づいて、前記発信装置を選択し、
選択された前記発信装置である支援装置の各々について識別子を生成し、
前記支援装置の各々に対して、当該支援装置について生成された識別子である支援識別子を送信し、
前記支援識別子を表す前記信号である支援信号の各々を検出し、
前記映像における、前記支援信号が発信されている部分である支援領域を特定する
付記10に記載の対象表示方法。
[付記12]
装置情報記憶手段に格納されている前記位置に基づいて、前記対象装置からの距離の近さに応じて複数の前記支援装置を選択し、
前記対象信号が検出されない場合、
前記支援装置の各々に対して、当該支援装置について生成された前記支援識別子を送信し、
さらに、前記対象装置が設置されている位置と、前記支援装置が設置されている位置と、特定した前記支援信号発信領域と、に基づいて、前記映像における前記対象装置の領域を推定し、当該領域を前記発信領域として特定する
付記11に記載の対象表示方法。
[付記13]
前記発信装置が設置される位置を含む範囲における地図情報を記憶する地図記憶手段と、
位置を測定し、
前記地図情報に基づいて、測定された前記位置から前記対象装置の位置までの経路を検索し、
検索された前記経路からの近さに応じて前記支援装置を選択し、選択された前記経路装置の各々の、前記経路に沿った測定された前記位置からの距離である経路距離を算出し、
前記映像において特定された前記支援装置の領域に、当該支援装置の前記経路距離に応じたマークが付与された前記映像を出力する
付記11又は12に記載の対象表示方法。
[付記14]
位置を測定し、
方向を測定し、
前記対象信号が検出されない場合、測定された前記位置及び前記方向と、前記対象装置が配置されている位置とに基づいて、前記映像における前記対象装置の領域を推定し、推定した当該領域を前記発信領域として特定する
付記10又は11に記載の対象表示方法。
[付記15]
サービスを提供する前記対象装置に対する、前記サービスの提供を予約する予約指示を受信し、
提供する前記サービスの準備を、準備指示を受信するのに応じて行う前記対象装置に対して、前記予約指示を受信した場合に前記準備指示を送信する
付記10乃至14のいずれかに記載の対象表示方法。
[付記16]
周波数の範囲を受信した場合に当該周波数の範囲に含まれる周波数で前記信号を発信する前記対象装置に対して、前記センサが測定することができる前記信号の周波数の範囲を表すデータ値をさらに送信する
付記10乃至15のいずれかに記載の対象表示方法。
[付記17]
対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する発信装置の中から選択された前記発信装置である前記対象装置を特定する対象装置識別子を送信する端末装置から、前記対象装置識別子を受信し、
前記対象識別子を生成する管理手段によって生成された前記対象識別子を、前記対象装置に対して送信し、
さらに、前記端末装置に対して、前記対象識別子を送信し、
前記端末装置は、映像を撮影し、前記対象識別子を受信するのに応じて、当該対象識別子を表す前記信号を、当該信号を感知するセンサによる感知の結果に基づいて検出し、撮影した前記映像における、検出した前記信号が発信された部分を特定し、特定した前記部分にマークが付与された前記映像を出力する
管理方法。
[付記18]
前記発信装置に送信された前記対象識別子である発信中識別子を、前記発信装置に関連付けて装置情報記憶手段に記憶し、
受信した前記対象装置識別子が表す前記対象装置に前記発信中識別子が関連付けられていない場合、生成され前記対象装置に送信された前記対象識別子を、前記対象装置に送信された前記発信中識別子として、前記発信装置に関連付けて前記装置情報記憶手段に格納し、
前記発信中識別子が前記対象装置に関連付けられている場合、前記装置情報記憶手段から読み出した、前記対象装置に関連付けられている前記発信中識別子を、前記端末装置に送信する
付記17に記載の管理方法。
[付記19]
コンピュータを、
対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する発信装置の中から選択された前記発信装置である前記対象装置を特定する対象装置識別子を送信する端末装置から、前記対象装置識別子を受信する指示受信手段と、
前記対象識別子を生成する管理手段によって生成された前記対象識別子を、前記対象装置に対して送信する信号情報送信手段と、して動作させ、
前記信号情報送信手段は、さらに、前記端末装置に対して、前記対象識別子を送信し、
前記端末装置は、映像を撮影し、前記対象識別子を受信するのに応じて、当該対象識別子を表す前記信号を、当該信号を感知するセンサによる感知の結果に基づいて検出し、撮影した前記映像における、検出した前記信号が発信された部分を特定し、特定した前記部分にマークが付与された前記映像を出力する
管理プログラム。
[付記20]
コンピュータを、
前記発信装置に送信された前記対象識別子である発信中識別子を、前記発信装置に関連付けて記憶する装置情報記憶手段と、
受信した前記対象装置識別子が表す前記対象装置に前記発信中識別子が関連付けられていない場合、生成され前記対象装置に送信された前記対象識別子を、前記対象装置に送信された前記発信中識別子として、前記発信装置に関連付けて前記装置情報記憶手段に格納し、
前記発信中識別子が前記対象装置に関連付けられている場合、前記装置情報記憶手段から読み出した、前記対象装置に関連付けられている前記発信中識別子を、前記端末装置に送信する前記信号情報送信手段と、
して動作させる付記19に記載の管理プログラム。
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
1 対象表示システム
1A 対象表示システム
1B 対象表示システム
1C 対象表示システム
1D 対象表示システム
1E 対象表示システム
1F 対象表示システム
1G 対象表示システム
1H 対象表示システム
4 通信ネットワーク
100 端末装置
100A 端末装置
100B 端末装置
100C 端末装置
100D 端末装置
101 入力部
102 指示送信部
103 センサ
104 撮影部
105 信号検出部
106 特定部
107 表示制御部
108 表示部
109 位置測定部
110 推定部
200 管理装置
200A 管理装置
200E 管理装置
200F 管理装置
201 指示受信部
202 管理部
203 信号情報送信部
204 装置検索部
205 装置情報記憶部
206 地図記憶部
207 経路検索部
300 発信装置
300G 発信装置
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 記憶装置
1004 I/Oインタフェース
1005 記録媒体

Claims (10)

  1. 対象装置に予め付与されている識別子よりもビット数が短い対象識別子であり、当該対象識別子が付与された前記対象装置を所定の範囲において判別可能である前記対象識別子を生成する管理手段と、
    前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する、複数の発信装置の中から選択された前記発信装置である前記対象装置に対して、生成された前記対象識別子を送信する信号情報送信手段と、
    前記信号を感知するセンサによる感知の結果に基づいて、前記対象装置に送信された前記対象識別子を表す前記信号を、前記対象装置が発信する信号である対象信号として検出する信号検出手段と、
    撮影された映像における、前記対象信号が発信されている発信領域を特定する特定手段と、
    前記映像において特定された前記発信領域にマークが付与された前記映像を出力する表示制御手段と、
    位置を測定する位置測定手段と、
    方向を測定する方向測定手段と、
    を備え
    前記特定手段は、前記対象信号が検出されない場合、測定された前記位置及び前記方向と、前記対象装置が配置されている位置とに基づいて、前記映像における前記対象装置の領域を推定し、推定した当該領域を前記発信領域として特定する
    対象表示システム。
  2. 対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を生成する管理手段と、
    前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する、複数の発信装置の中から選択された前記発信装置である前記対象装置に対して、生成された前記対象識別子を送信する信号情報送信手段と、
    前記信号を感知するセンサによる感知の結果に基づいて、前記対象装置に送信された前記対象識別子を表す前記信号を、前記対象装置が発信する信号である対象信号として検出する信号検出手段と、
    撮影された映像における、前記対象信号が発信されている発信領域を特定する特定手段と、
    前記映像において特定された前記発信領域にマークが付与された前記映像を出力する表示制御手段と、
    前記発信装置の各々について、当該発信装置が設置されている位置を記憶する装置情報記憶手段と、
    前記装置情報記憶手段に格納されている前記位置に基づいて、前記発信装置を選択する装置検索手段と、を備え、
    前記管理手段は、選択された前記発信装置である支援装置の各々について識別子を生成し、
    前記信号情報送信手段は、前記支援装置の各々に対して、当該支援装置について生成された識別子である支援識別子を送信し、
    前記信号検出手段は、前記支援識別子を表す前記信号である支援信号の各々を検出し、
    前記特定手段は、前記映像における、前記支援信号が発信されている部分である支援領域を特定する
    対象表示システム。
  3. 前記装置検索手段は、前記装置情報記憶手段に格納されている前記位置に基づいて、前記対象装置からの距離の近さに応じて複数の前記支援装置を選択し、
    前記対象装置に障害があることが検出された場合、
    前記信号情報送信手段は、前記支援装置の各々に対して、当該支援装置について生成された前記支援識別子を送信し、
    前記特定手段は、さらに、前記対象装置が設置されている位置と、前記支援装置が設置されている位置と、特定した前記支援領域と、に基づいて、前記映像における前記対象装置の領域を推定し、当該領域を前記発信領域として特定する
    請求項2に記載の対象表示システム。
  4. 前記発信装置が設置される位置を含む範囲における地図情報を記憶する地図記憶手段と、
    位置を測定する位置測定手段と、
    前記地図情報に基づいて、測定された前記位置から前記対象装置の位置までの経路を検索する経路検索手段と、をさらに備え、
    前記管理手段は、検索された前記経路からの近さに応じて前記支援装置を選択し、選択された前記支援装置の各々の、前記経路に沿った測定された前記位置からの距離である経路距離を算出し、
    前記表示制御手段は、前記映像において特定された前記支援装置の領域に、当該支援装置の前記経路距離に応じたマークが付与された前記映像を出力する
    請求項2又は3に記載の対象表示システム。
  5. 位置を測定する位置測定手段と、
    方向を測定する方向測定手段と、をさらに備え、
    前記特定手段は、前記対象信号が検出されない場合、測定された前記位置及び前記方向と、前記対象装置が配置されている位置とに基づいて、前記映像における前記対象装置の領域を推定し、推定した当該領域を前記発信領域として特定する
    請求項に記載の対象表示システム。
  6. サービスを提供する前記対象装置に対する、前記サービスの提供を予約する予約指示を受信する指示受信手段をさらに備え、
    前記信号情報送信手段は、提供する前記サービスの準備を、準備指示を受信するのに応じて行う前記対象装置に対して、前記予約指示を受信した場合に前記準備指示を送信する
    請求項1乃至5のいずれかに記載の対象表示システム。
  7. 対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する発信装置の中から選択された前記発信装置である前記対象装置を特定する対象装置識別子を送信する端末装置から、前記対象装置識別子を受信する指示受信手段と、
    前記対象識別子を生成する管理手段によって生成された前記対象識別子を、前記対象装置に対して送信する信号情報送信手段と、を備え、
    前記信号情報送信手段は、さらに、前記端末装置に対して、前記対象識別子を送信し、
    前記端末装置は、映像を撮影し、前記対象識別子を受信するのに応じて、当該対象識別子を表す前記信号を、当該信号を感知するセンサによる感知の結果に基づいて検出し、撮影した前記映像における、検出した前記信号が発信された部分を特定し、特定した前記部分にマークが付与された前記映像を出力する
    管理装置。
  8. 前記発信装置に送信された前記対象識別子である発信中識別子を、前記発信装置に関連付けて記憶する装置情報記憶手段を備え、
    前記信号情報送信手段は、受信した前記対象装置識別子が表す前記対象装置に前記発信中識別子が関連付けられていない場合、生成され前記対象装置に送信された前記対象識別子を、前記対象装置に送信された前記発信中識別子として、前記発信装置に関連付けて前記装置情報記憶手段に格納し、
    前記発信中識別子が前記対象装置に関連付けられている場合、前記装置情報記憶手段から読み出した、前記対象装置に関連付けられている前記発信中識別子を、前記端末装置に送信する
    請求項7に記載の管理装置。
  9. 対象装置に予め付与されている識別子よりもビット数が短い対象識別子であり、当該対象識別子が付与された前記対象装置を所定の範囲において判別可能である前記対象識別子を生成し、
    前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する、複数の発信装置の中から選択された前記発信装置である前記対象装置に対して、生成された前記対象識別子を送信し、
    前記信号を感知するセンサによる感知の結果に基づいて、前記対象装置に送信された前記対象識別子を表す前記信号を、前記対象装置が発信する信号である対象信号として検出し、
    撮影された映像における、前記対象信号が発信されている発信領域を特定し、
    位置を測定し、
    方向を測定し、
    前記対象信号が検出されない場合、測定された前記位置及び前記方向と、前記対象装置が配置されている位置とに基づいて、前記映像における前記対象装置の領域を推定し、推定した当該領域を前記発信領域として特定し、
    前記映像において特定された前記発信領域にマークが付与された前記映像を出力する、
    対象表示方法。
  10. コンピュータを、
    対象識別子が付与された対象装置を所定の範囲において判別可能である前記対象識別子を受信するのに応じて当該対象識別子を表す信号を発信する発信装置の中から選択された前記発信装置である前記対象装置を特定する対象装置識別子を送信する端末装置から、前記対象装置識別子を受信する指示受信手段と、
    前記対象識別子を生成する管理手段によって生成された前記対象識別子を、前記対象装置に対して送信する信号情報送信手段と、して動作させ、
    前記信号情報送信手段は、さらに、前記端末装置に対して、前記対象識別子を送信し、
    前記端末装置は、映像を撮影し、前記対象識別子を受信するのに応じて、当該対象識別子を表す前記信号を、当該信号を感知するセンサによる感知の結果に基づいて検出し、撮影した前記映像における、検出した前記信号が発信された部分を特定し、特定した前記部分にマークが付与された前記映像を出力する
    管理プログラム。
JP2015003977A 2015-01-13 2015-01-13 対象表示システム、管理装置、対象表示方法及び管理プログラム Active JP6528409B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015003977A JP6528409B2 (ja) 2015-01-13 2015-01-13 対象表示システム、管理装置、対象表示方法及び管理プログラム
US14/993,629 US9959469B2 (en) 2015-01-13 2016-01-12 Object display system, management apparatus, and object display method for identifying an estimated position of an object apparatus
EP16150830.4A EP3046048A1 (en) 2015-01-13 2016-01-12 Object display system, management apparatus, object display method and recording medium on which management program is recorded
TW105100771A TWI661359B (zh) 2015-01-13 2016-01-12 對象顯示系統、管理裝置、對象顯示方法以及記憶有管理程式之記錄媒體
KR1020160004077A KR101846060B1 (ko) 2015-01-13 2016-01-13 오브젝트 디스플레이 시스템, 관리 장치, 오브젝트 디스플레이 방법 및 관리 프로그램이 기록된 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015003977A JP6528409B2 (ja) 2015-01-13 2015-01-13 対象表示システム、管理装置、対象表示方法及び管理プログラム

Publications (2)

Publication Number Publication Date
JP2016130874A JP2016130874A (ja) 2016-07-21
JP6528409B2 true JP6528409B2 (ja) 2019-06-12

Family

ID=55315295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015003977A Active JP6528409B2 (ja) 2015-01-13 2015-01-13 対象表示システム、管理装置、対象表示方法及び管理プログラム

Country Status (5)

Country Link
US (1) US9959469B2 (ja)
EP (1) EP3046048A1 (ja)
JP (1) JP6528409B2 (ja)
KR (1) KR101846060B1 (ja)
TW (1) TWI661359B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9785839B2 (en) * 2012-11-02 2017-10-10 Sony Corporation Technique for combining an image and marker without incongruity
JP6528409B2 (ja) * 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
US9793987B2 (en) * 2015-07-02 2017-10-17 Nokia Technologies Oy Method and apparatus for recognizing a device
JP2018109855A (ja) * 2016-12-29 2018-07-12 富士通株式会社 情報処理装置、機器およびデータ正誤判断方法
CN110546677A (zh) * 2018-02-23 2019-12-06 弗隆蒂斯株式会社 在应用相互关联规则挖掘的增强现实技术中支持军用装备维修的服务器、方法及可穿戴设备
WO2020003775A1 (ja) * 2018-06-29 2020-01-02 ソニー株式会社 センシングデバイス、センシングデバイスのデバイス管理装置、デバイス選択方法、および、デバイス管理方法
US10972361B2 (en) 2019-01-31 2021-04-06 Dell Products L.P. System and method for remote hardware support using augmented reality and available sensor data
US10880163B2 (en) * 2019-01-31 2020-12-29 Dell Products, L.P. System and method for hardware management and configuration in a datacenter using augmented reality and available sensor data
JP7057300B2 (ja) * 2019-02-22 2022-04-19 ファナック株式会社 制御システム
KR102252110B1 (ko) 2019-08-07 2021-05-17 한국과학기술연구원 중첩된 가상 오브젝트의 용이하고 정확한 선택을 지원하는 사용자 인터페이스 장치 및 이의 제어 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3691488B2 (ja) * 2000-12-22 2005-09-07 ナイルス株式会社 付着物検出装置およびそれを用いた制御装置
JP3927168B2 (ja) * 2002-11-25 2007-06-06 日本電信電話株式会社 実世界オブジェクト認識方法および実世界オブジェクト認識システム
US7412226B2 (en) * 2005-03-14 2008-08-12 Kyocera Wireless Corp. Push-to-locate wireless communication device and method of use
US7708493B2 (en) * 2005-08-26 2010-05-04 Searete, Llc Modifiable display marker
US20080180641A1 (en) * 2007-01-31 2008-07-31 Kuo Ching Chiang Triple mono-color light source projector
US8203530B2 (en) * 2007-04-24 2012-06-19 Kuo-Ching Chiang Method of controlling virtual object by user's figure or finger motion for electronic device
JP2009033366A (ja) 2007-07-25 2009-02-12 Advanced Telecommunication Research Institute International 光学マーカシステム
US8131019B2 (en) * 2007-10-10 2012-03-06 Pitney Bowes Inc. Method and system for capturing images moving at high speed
JP5055402B2 (ja) 2010-05-17 2012-10-24 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
JP2012037919A (ja) * 2010-08-03 2012-02-23 Doshisha 拡張現実感技術を利用した情報家電操作システム
KR101303948B1 (ko) * 2010-08-13 2013-09-05 주식회사 팬택 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
JP5691568B2 (ja) 2011-01-28 2015-04-01 ソニー株式会社 情報処理装置、報知方法及びプログラム
JP6528409B2 (ja) * 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム

Also Published As

Publication number Publication date
TW201640416A (zh) 2016-11-16
KR101846060B1 (ko) 2018-04-06
US20160203369A1 (en) 2016-07-14
KR20160087356A (ko) 2016-07-21
US9959469B2 (en) 2018-05-01
JP2016130874A (ja) 2016-07-21
TWI661359B (zh) 2019-06-01
EP3046048A1 (en) 2016-07-20

Similar Documents

Publication Publication Date Title
JP6528409B2 (ja) 対象表示システム、管理装置、対象表示方法及び管理プログラム
US10620721B2 (en) Position-based location indication and device control
JP4765027B2 (ja) 情報処理装置及び情報処理システム
EP3340177B1 (en) Method and system for creating virtual message onto a moving object and searching the same
US10054665B2 (en) Tracking system and method for tracking a carrier of a mobile communication unit
GB2379309A (en) Recognition and identification apparatus
JP6809539B2 (ja) 情報処理装置、情報処理方法、およびプログラム
SG184301A1 (en) Information processing apparatus, information processing method and program, information processing apparatus, vacant space guidance system, vacant space guidance method and program, image display system, image display method and program
CN110431378B (zh) 相对于自主车辆和乘客的位置信令
US10896513B2 (en) Method and apparatus for surveillance using location-tracking imaging devices
US20180352166A1 (en) Video recording by tracking wearable devices
JP2020510923A (ja) 仮想オブジェクトをレンダリングするためのポータブルデバイス及び方法
JP7192764B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6528311B2 (ja) 行動サポート装置
JP6032283B2 (ja) 監視カメラ管理装置、監視カメラ管理方法およびプログラム
JP5342748B2 (ja) 車載装置及び路側装置
US9723440B2 (en) Prioritized activity based location aware content delivery system
JP2018036847A (ja) 情報処理システム
JP6450332B2 (ja) 誘導システム、誘導サーバ、ユーザ端末、共同利用端末、ユーザ端末の実行方法、及びユーザ端末のプログラム
US20180013842A1 (en) Method and system for providing user with information related to premises
TW202201269A (zh) 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體
KR101563656B1 (ko) 사물인식 시스템 및 방법
KR20180070859A (ko) 영상 촬상 장치를 기반으로 한 주차 차량 탐지 방법 및 주차 차량 탐지 방법을 수행하는 영상 촬상 장치
JP2005115570A (ja) サービス提供方法、装置およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190429

R150 Certificate of patent or registration of utility model

Ref document number: 6528409

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150