JP6747551B2 - 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法 - Google Patents

眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法 Download PDF

Info

Publication number
JP6747551B2
JP6747551B2 JP2019119084A JP2019119084A JP6747551B2 JP 6747551 B2 JP6747551 B2 JP 6747551B2 JP 2019119084 A JP2019119084 A JP 2019119084A JP 2019119084 A JP2019119084 A JP 2019119084A JP 6747551 B2 JP6747551 B2 JP 6747551B2
Authority
JP
Japan
Prior art keywords
wearable terminal
type wearable
distance
arrow
glasses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019119084A
Other languages
English (en)
Other versions
JP2019215871A (ja
Inventor
正人 北田
正人 北田
晃 亀井
晃 亀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JP2019215871A publication Critical patent/JP2019215871A/ja
Application granted granted Critical
Publication of JP6747551B2 publication Critical patent/JP6747551B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0275—Electronic Article Surveillance [EAS] tag technology used for parent or child unit, e.g. same transmission technology, magnetic tag, RF tag, RFID
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0294—Display details on parent unit
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0236—Threshold setting
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0263—System arrangements wherein the object is to detect the direction in which child or item is located
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/0202—Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/0266—System arrangements wherein the object is to detect the exact distance between parent and child or surveyor and item
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen

Description

本発明は、眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法に関する。
上記技術分野において、特許文献１には、眼鏡型ウェアラブル端末に設けられたカメラで撮像された画像中に不審者を特定し、警告メッセージを出力する技術が開示されている。特許文献２には、周辺カメラを備えた眼鏡型の端末によって、装着者に物体が近づいていることを報知する技術が開示されている。
特開２０１０−０８１４８０号公報 特開２０１３−００８３０７号公報
しかしながら、上記文献に記載の技術では、不審者や物体がどこにあるか分からなかった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る端末は、
眼鏡型ウェアラブル端末であって、
表示部と、
前記眼鏡型ウェアラブル端末の位置及び向きを検知する検知部と、
対象物の位置を示す位置情報を受信する通信部と、
前記眼鏡型ウェアラブル端末の位置及び向き並びに前記位置情報を用いて、前記表示部の表示範囲内に前記対象物が含まれているか否かを判定する判定部と、
前記対象物が、前記表示部の表示範囲に無いと判定した場合に、前記対象物の位置を示す少なくとも一つの矢印であって、前記対象物と前記眼鏡型ウェアラブル端末との距離に応じた大きさまたは数の矢印を含む画像を生成する画像生成部と、
前記画像生成部で生成された前記画像を前記表示部に表示させる制御部と、
を備え、
前記画像生成部は、距離が近ければ一つの矢印が距離が遠ければ二つ以上の矢印がそれぞれ表示される、または、距離が近ければ小さな矢印が距離が遠ければ大きな矢印がそれぞれ表示されるように前記画像を生成する眼鏡型ウェアラブル端末。
上記目的を達成するため、本発明に係る方法は、
表示部を含む眼鏡型ウェアラブル端末を用いた通知方法であって、
前記眼鏡型ウェアラブル端末の位置及び向きを検知する検知ステップと、
対象物の位置を示す位置情報を受信する受信ステップと、
前記眼鏡型ウェアラブル端末の位置及び向き並びに前記位置情報を用いて、前記表示部の表示範囲内に前記対象物が含まれているか否かを判定する判定ステップと、
前記対象物が、前記表示部の表示範囲に無いと判定した場合に、前記対象物の位置を示す少なくとも一つの矢印であって、前記対象物と前記眼鏡型ウェアラブル端末との距離に応じた大きさまたは数の矢印を含む画像を生成する画像生成ステップと、
前記画像生成ステップで生成された前記画像を前記表示部に表示させる制御ステップと、
を含み、
前記画像生成ステップは、距離が近ければ一つの矢印が距離が遠ければ二つ以上の矢印がそれぞれ表示される、または、距離が近ければ小さな矢印が距離が遠ければ大きな矢印がそれぞれ表示されるように前記画像を生成する通知方法。
上記目的を達成するため、本発明に係るプログラムは、
表示部を含む眼鏡型ウェアラブル端末の制御プログラムであって、
前記眼鏡型ウェアラブル端末の位置及び向きを検知する検知ステップと、
対象物の位置を示す位置情報を受信する受信ステップと、
前記眼鏡型ウェアラブル端末の位置及び向き並びに前記位置情報を用いて、前記表示部の表示範囲内に前記対象物が含まれているか否かを判定する判定ステップと、
前記対象物が、前記表示部の表示範囲に無いと判定した場合に、前記対象物の位置を示す少なくとも一つの矢印であって、前記対象物と前記眼鏡型ウェアラブル端末との距離に応じた大きさまたは数の矢印を含む画像を生成する画像生成ステップと、
前記画像生成ステップで生成された前記画像を前記表示部に表示させる制御ステップと、
をコンピュータに実行させ、
前記画像生成ステップは、距離が近ければ一つの矢印が距離が遠ければ二つ以上の矢印がそれぞれ表示される、または、距離が近ければ小さな矢印が距離が遠ければ大きな矢印がそれぞれ表示されるように前記画像を生成する眼鏡型ウェアラブル端末の制御プログラム。
本発明によれば、ユーザは眼鏡型ウェアラブル端末を用いて、所定の物体の位置を認識できる。
本発明の第１実施形態に係る眼鏡型ウェアラブル端末の機能構成を示すブロック図である。 本発明の第２実施形態に係る眼鏡型ウェアラブル端末の機能構成を示すブロック図である。 本発明の第２実施形態に係る眼鏡型ウェアラブル端末の外観を示す図である。 本発明の第２実施形態に係る眼鏡型ウェアラブル端末の処理の流れを示すフローチャートである。 本発明の第２実施形態に係る眼鏡型ウェアラブル端末の処理の流れを示すフローチャートである。 本発明の第２実施形態に係る眼鏡型ウェアラブル端末の表示画面例を示す図である。 本発明の第２実施形態に係る眼鏡型ウェアラブル端末の表示画面例を示す図である。 本発明の第２実施形態に係る眼鏡型ウェアラブル端末の表示画面例を示す図である。 本発明の第２実施形態に係る眼鏡型ウェアラブル端末の表示画面例を示す図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
［第１実施形態］
本発明の第１実施形態としての眼鏡型ウェアラブル端末１００について、図１を用いて説明する。図１に示すように、眼鏡型ウェアラブル端末１００は、撮像部１０１と判定部１０２と表示部１０３とを含む。
撮像部１０１は、眼鏡型ウェアラブル端末１００の少なくとも前方を撮像し、判定部１０２は、撮像部１０１で撮像された映像中に所定の対象物が含まれているか否かを判定する。
表示部１０３は、判定部１０２で所定の対象物が含まれていると判定した場合に、所定の対象物の位置を表示する。
上記構成によれば、ユーザは眼鏡型ウェアラブル端末を用いて、より確実に所定の物体の位置を認識できる。
［第２実施形態］
次に本発明の第２実施形態に係る眼鏡型ウェアラブル端末２００について、図２を用いて説明する。図２Ａは、本実施形態に係る眼鏡型ウェアラブル端末２００の機能構成図であり、図２Ｂは、眼鏡型ウェアラブル端末２００の外観図である。
図２Ａに示すように、眼鏡型ウェアラブル端末２００は、前方カメラ２０１、後方カメラ２０２、ディスプレイ２０３、マイク２０４、スピーカ２０５、通信部２０６、操作部２０７、記憶部２０８、制御部２０９を備えている。これらは基本的にハードウェアで実装される機能構成である。また、眼鏡型ウェアラブル端末２００は、画像生成部２１０、対象検知部２１１、距離判定部２１２、接近判定部２１３、顔識別部２１４、混雑度判定部２１５、および位置方位検出部２１６を備えている。これらの構成２１０〜２１６は、基本的にソフトウェアで実装される。つまり記憶部２０８に保存されたプログラムモジュールを制御部２０９が実行することにより実現される機能である。ディスプレイ２０３は左右両方に存在してもよい。また、左右のレンズの範囲を判定して、左右のどちらに表示させるかを判定してもよい。
前方カメラ２０１および後方カメラ２０２は、眼鏡型ウェアラブル端末２００の周辺を撮像する。通信部２０６は、外部の無線タグ２２０と通信可能であり、無線タグ２２０の位置情報を位置検出部２２１から取得する。位置検出部２２１は、ＧＰＳ（Global Positioning System）受信機を備え、無線タグ２２０の地球上の絶対位置を受信してもよい。
操作部２０７は、眼鏡型ウェアラブル端末２００を装着したユーザからの操作を受け付ける。記憶部２０８は、各種プログラムの他、各種データを記憶する。
画像生成部２１０は、ディスプレイ２０３に表示する画像を生成する。具体的には、所定の対象物の位置を表示する画像を生成する。対象検知部２１１は、無線タグ２２０から受信した信号に基づいて所定の対象を検知したり、撮像された画像中に所定の対象物が含まれているかを判定したりする。距離判定部２１２は、無線タグ２２０から受信した信号の強さに基づいて、所定の対象までの距離を判定する。接近判定部２１３は、前方カメラ２０１または後方カメラ２０２で撮像された画像を解析して、急接近してきた物体があるか否かを判定する。
顔識別部２１４は、カメラ２０１、２０２によって撮像された画像を解析して、画像中の顔を識別し、あらかじめ登録した人物が周囲に存在する否か判定する。混雑度判定部２１５は、カメラ２０１、２０２によって撮像された画像を解析して、周囲の混雑度合いを判定する。位置方位検出部２１６は、眼鏡型ウェアラブル端末２００の位置およびその向き（方位）を検出する。
図３Ａ、図３Ｂは、眼鏡型ウェアラブル端末２００の処理の流れを示すフローチャートである。ステップＳ３０１において、無線タグ２２０から、無線タグ２２０の位置情報を含む信号を受信すると、ステップＳ３０３に進む。ステップＳ３０３では、位置方位検出部２１６が検出した眼鏡型ウェアラブル端末２００の位置情報と無線タグ２２０の位置情報とを比較して、眼鏡型ウェアラブル端末２００から見た無線タグ２２０の方向が、ディスプレイ２０３の表示範囲内か判定する（Ｓ３０５）。ディスプレイ２０３の表示範囲については、位置方位検出部２１６で検出した、眼鏡型ウェアラブル端末２００の向き（方位）によって算出できる。例えば、眼鏡型ウェアラブル端末２００の方位が真北の場合には、無線タグ２２０が眼鏡型ウェアラブル端末２００から見て、東経４５度から西経４５度までの間に含まれていればディスプレイ２０３の表示範囲内と判断する。
無線タグ２２０がディスプレイ２０３の表示範囲内であれば、ステップＳ３０７に進み、画像生成部２１０は、無線タグ２２０の位置の上方に、無線タグ２２０が示す対象名と下向きの矢印を表示する。このとき矢印の大きさや数を、眼鏡型ウェアラブル端末２００と無線タグ２２０との距離に応じた大きさ又は数とする。無線タグ２２０が店員や駅員を示す情報を送信するものであれば、図４の画面４０１や画面４０２に示すような表示になる。画面４０１では、対象名表示４１１として「駅員」、位置を示す識別子として矢印４１２が、ガラスディスプレイ越しに見える背景と重なるように表示されている。画面４０２には、対象名表示４２１、４２２として「店員」、位置を示す識別子として矢印４２３、４２４が表示されている。矢印４２４で示されている店員は、眼鏡型ウェアラブル端末２００に近いため、矢印４２４は矢印４２３よりも大きく表示される。対象との距離に応じて矢印の色を変えてもよい。
無線タグ２２０がディスプレイ２０３の表示範囲外であれば、ステップＳ３０９に進み、無線タグ２２０が示す対象名と、方向（表示範囲よりも右側にあるか、左側にあるか）を示す矢印とを表示する。このとき矢印の大きさや数を、眼鏡型ウェアラブル端末２００と無線タグ２２０との距離に応じた大きさまたは数とする。例えば、図５に示す画面５００では、対象名表示５０１としての「駅員」と矢印５０２とが表示される。この例では、駅員が遠いので、矢印５０２が２つ表示されている。さらに遠ければ、矢印は３つ表示される。近ければ、矢印は１つ表示される。無線タグ２２０は、店員や駅員などに限らず、任意の人物または物体に取り付けることができる。無線タグ２２０に自分の子供の情報を保存して、子供の衣服などに取り付ければ、図６に示すように、子供６０１が迷子になっても、眼鏡型ウェアラブル端末２００を装着した親６０２は、画面表示６０３を見て、どの子供がどの方向のどの距離の位置にいるかを即座に認識することができる。
以上説明した図３Ａの処理は、ユーザから対象物の場所を表示するようにリクエスト操作があった場合に開始される。ただし、無線タグ内の情報の属性によっては、定期的に、無線タグ２２０と眼鏡型ウェアラブル端末２００との距離を算出し、所定距離以上離れた場合に、アラート表示（方向および距離を含む）を行なう設定としてもよい。例えば、子供に無線タグを装着させる場合、子供６０１が離れたことを即座に親に知らせることができるようになる。
図３Ｂにおいては、ステップＳ３１１において、接近判定部２１３が、カメラ２０１、２０２で撮像された画像を解析して、眼鏡型ウェアラブル端末２００に向かって近づく接近物体があるか否か判定する。接近物体があれば、ステップＳ３１３からステップＳ３１５に進み、混雑度判定部２１５は、眼鏡型ウェアラブル端末２００を装着したユーザの周囲の混雑度を判定する。さらに判定した混雑度に応じて設定した所定速度（閾値）と、接近物体の接近速度とを比較する。混雑時には、接近人物として誤検出される可能性が高くなるため、所定の速度を高くして、歩行者とのすれ違いに関しての誤検知を低減する。高速移動中（車運転、電車に乗っている等）の場合には、衝突検知をＯＦＦしてもよい。混雑度は、画像内の顔を検出し、検出した顔が所定数以上ある場合に、混在していると判定してもよい。また、混雑度は、監視場所に存在する人の多さの度合いを示す指標値であり、人数、密度、人数および密度の少なくとも一方を用いた計算により得られる値で示されてもよい。例えば、検出した顔の数に基づいて、混雑度の指標を算出する構成とすることもできる。さらに、混雑度を数値として表す手法としては、群衆（人の塊）を検出し、検出した群衆の数を用いて、監視画像内の人数を高精度に推定することもできる。
物体の接近速度が所定速度以上であれば、ステップＳ３１９に進み、画像生成部２１０は、接近物体の位置（方向および距離）を表示する。図７は接近してくる人物についてアラート表示をした場合の画面７００を示している。画面７００に示すように接近してくる人物がいる場合、画像生成部２１０は、対象名表示７０１として「接近注意！」という警告を表示し、位置を示す識別子として矢印７０２を、その人物との距離に応じた大きさで表示する。これらの画像は、ガラスディスプレイ越しに見える背景と重なるように表示される。さらに、接近人物とぶつかった（加速度センサが、所定値以上の加速を検出した）場合には、カメラ２０１、２０２で撮像した映像を記録する。
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

Claims (9)

  1. 眼鏡型ウェアラブル端末であって、
    表示部と、
    前記眼鏡型ウェアラブル端末の位置及び向きを検知する検知部と、
    対象物の位置を示す位置情報を受信する通信部と、
    前記眼鏡型ウェアラブル端末の位置及び向き並びに前記位置情報を用いて、前記表示部の表示範囲内に前記対象物が含まれているか否かを判定する判定部と、
    前記対象物が、前記表示部の表示範囲に無いと判定した場合に、前記対象物の位置を示す少なくとも一つの矢印であって、前記対象物と前記眼鏡型ウェアラブル端末との距離に応じた大きさまたは数の矢印を含む画像を生成する画像生成部と、
    前記画像生成部で生成された前記画像を前記表示部に表示させる制御部と、
    を備え、
    前記画像生成部は、距離が近ければ一つの矢印が距離が遠ければ二つ以上の矢印がそれぞれ表示される、または、距離が近ければ小さな矢印が距離が遠ければ大きな矢印がそれぞれ表示されるように前記画像を生成する眼鏡型ウェアラブル端末。
  2. 前記通信部は、前記対象物の属性情報を前記対象物に付加された無線タグから受信し、前記制御部は、前記表示部において、前記少なくとも一つの矢印のそばに、前記属性情報を表示させる請求項１に記載の眼鏡型ウェアラブル端末。
  3. 前記対象物は、子供であり、前記無線タグは、前記子供の衣服に取り付けられ、前記属性情報は、前記子供の名前である請求項２に記載の眼鏡型ウェアラブル端末。
  4. 前記制御部は、前記表示部の前記表示範囲に前記対象物が含まれていると判断した場合に、前記対象物の上に、下向きの矢印を表示させる請求項１に記載の眼鏡型ウェアラブル端末。
  5. 前記制御部は、前記表示範囲の上部に、前記下向きの矢印を表示させる請求項４に記載の眼鏡型ウェアラブル端末。
  6. 前記位置情報は、全地球測位システムで取得され、地球上の絶対位置を示す情報であり、
    前記判定部は、前記眼鏡型ウェアラブル端末の位置及び向きと前記位置情報とを比較することにより、前記表示部の表示範囲内に前記対象物が含まれているか否かを判定する請求項１に記載の眼鏡型ウェアラブル端末。
  7. 前記判定部は、前記無線タグから受信した信号の強度に応じて、前記眼鏡型ウェアラブル端末と前記無線タグとの距離を周期的に算出し、
    前記制御部は、前記判定部で算出された距離が、所定値を超えた場合に、前記画像生成部で生成された画像を前記表示部に表示させる請求項２に記載の眼鏡型ウェアラブル端末。
  8. 表示部を含む眼鏡型ウェアラブル端末を用いた通知方法であって、
    前記眼鏡型ウェアラブル端末の位置及び向きを検知する検知ステップと、
    対象物の位置を示す位置情報を受信する受信ステップと、
    前記眼鏡型ウェアラブル端末の位置及び向き並びに前記位置情報を用いて、前記表示部の表示範囲内に前記対象物が含まれているか否かを判定する判定ステップと、
    前記対象物が、前記表示部の表示範囲に無いと判定した場合に、前記対象物の位置を示す少なくとも一つの矢印であって、前記対象物と前記眼鏡型ウェアラブル端末との距離に応じた大きさまたは数の矢印を含む画像を生成する画像生成ステップと、
    前記画像生成ステップで生成された前記画像を前記表示部に表示させる制御ステップと、
    を含み、
    前記画像生成ステップは、距離が近ければ一つの矢印が距離が遠ければ二つ以上の矢印がそれぞれ表示される、または、距離が近ければ小さな矢印が距離が遠ければ大きな矢印がそれぞれ表示されるように前記画像を生成する通知方法。
  9. 表示部を含む眼鏡型ウェアラブル端末の制御プログラムであって、
    前記眼鏡型ウェアラブル端末の位置及び向きを検知する検知ステップと、
    対象物の位置を示す位置情報を受信する受信ステップと、
    前記眼鏡型ウェアラブル端末の位置及び向き並びに前記位置情報を用いて、前記表示部の表示範囲内に前記対象物が含まれているか否かを判定する判定ステップと、
    前記対象物が、前記表示部の表示範囲に無いと判定した場合に、前記対象物の位置を示す少なくとも一つの矢印であって、前記対象物と前記眼鏡型ウェアラブル端末との距離に応じた大きさまたは数の矢印を含む画像を生成する画像生成ステップと、
    前記画像生成ステップで生成された前記画像を前記表示部に表示させる制御ステップと、
    をコンピュータに実行させ、
    前記画像生成ステップは、距離が近ければ一つの矢印が距離が遠ければ二つ以上の矢印がそれぞれ表示される、または、距離が近ければ小さな矢印が距離が遠ければ大きな矢印がそれぞれ表示されるように前記画像を生成する眼鏡型ウェアラブル端末の制御プログラム。
JP2019119084A 2016-03-23 2019-06-26 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法 Active JP6747551B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016058025 2016-03-23
JP2016058025 2016-03-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018506777A Division JP6547900B2 (ja) 2016-03-23 2016-12-21 眼鏡型ウェアラブル端末、その制御方法および制御プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020132682A Division JP7092165B2 (ja) 2016-03-23 2020-08-04 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法

Publications (2)

Publication Number Publication Date
JP2019215871A JP2019215871A (ja) 2019-12-19
JP6747551B2 true JP6747551B2 (ja) 2020-08-26

Family

ID=59901036

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018506777A Active JP6547900B2 (ja) 2016-03-23 2016-12-21 眼鏡型ウェアラブル端末、その制御方法および制御プログラム
JP2019119084A Active JP6747551B2 (ja) 2016-03-23 2019-06-26 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法
JP2020132682A Active JP7092165B2 (ja) 2016-03-23 2020-08-04 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018506777A Active JP6547900B2 (ja) 2016-03-23 2016-12-21 眼鏡型ウェアラブル端末、その制御方法および制御プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020132682A Active JP7092165B2 (ja) 2016-03-23 2020-08-04 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法

Country Status (4)

Country Link
US (3) US10565854B2 (ja)
EP (1) EP3435346B1 (ja)
JP (3) JP6547900B2 (ja)
WO (1) WO2017163514A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6862305B2 (ja) * 2017-07-13 2021-04-21 株式会社マキタ 衣服及び報知システム
AU2018380519B2 (en) * 2017-12-05 2022-09-15 Nec Platforms, Ltd. Communication apparatus, communication data recording system, communication method, and program
US11232307B2 (en) * 2018-11-28 2022-01-25 Carl LaMont Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
JP7156242B2 (ja) * 2019-10-18 2022-10-19 トヨタ自動車株式会社 情報処理装置、プログラム及び制御方法
JP7232789B2 (ja) * 2020-03-25 2023-03-03 日立建機株式会社 作業機械
JP7100233B2 (ja) * 2020-07-17 2022-07-13 Ｊｕｗｗａ株式会社 コミュニケーションシステム及びコミュニケーション方法
US11417031B2 (en) * 2020-08-07 2022-08-16 Micron Technology, Inc. Highlighting a tagged object with augmented reality
JP2022081342A (ja) 2020-11-19 2022-05-31 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム
KR20230017975A (ko) * 2021-07-28 2023-02-07 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 인쇄 데이터의 타입 설정
WO2023107122A1 (en) * 2021-12-10 2023-06-15 Hewlett-Packard Development Company, L.P. Person alerts

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10223897A1 (de) * 2002-05-29 2003-12-11 Mueller Weingarten Maschf Werkzeugwechselvorrichtung für Pressen
US7063256B2 (en) * 2003-03-04 2006-06-20 United Parcel Service Of America Item tracking and processing systems and methods
JP2004325459A (ja) * 2004-05-31 2004-11-18 Toshiba Corp 位置情報表示装置、位置情報管理システムおよび位置情報管理方法
JP2010081480A (ja) 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
JP5262747B2 (ja) 2009-01-22 2013-08-14 日本電気株式会社 携帯電話装置
JP2011186681A (ja) * 2010-03-05 2011-09-22 Toshiba Corp 防災情報提供システム及び防災情報配信サーバ
JP4950348B2 (ja) * 2010-03-30 2012-06-13 新日鉄ソリューションズ株式会社 情報提供装置、情報提供方法、及びプログラム
KR101682705B1 (ko) * 2010-06-14 2016-12-06 주식회사 비즈모델라인 알에프리더를 이용한 증강현실 제공 방법
JP2012155655A (ja) * 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
JP2013008307A (ja) * 2011-06-27 2013-01-10 Mitsubishi Motors Corp 歩行者用周辺監視装置
JP2013054509A (ja) * 2011-09-02 2013-03-21 Konica Minolta Business Technologies Inc 情報処理システム、サーバー、および表示方法
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9443414B2 (en) * 2012-08-07 2016-09-13 Microsoft Technology Licensing, Llc Object tracking
JP5868877B2 (ja) 2013-01-22 2016-02-24 東芝テック株式会社 無線タグ通信装置及びプログラム
US9824384B2 (en) * 2013-01-23 2017-11-21 Wal-Mart Stores, Inc. Techniques for locating an item to purchase in a retail environment
JP2014149576A (ja) 2013-01-31 2014-08-21 Seiko Epson Corp 物品位置特定システム及び頭部装着型端末
DE102013207064A1 (de) 2013-04-19 2014-10-23 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Auswahl einer Informationsquelle zur Anzeige auf einer Datenbrille
JP5993361B2 (ja) 2013-12-10 2016-09-14 ソフトバンク株式会社 タグ情報管理装置、プログラム及びタグ情報管理システム
EP3092544A1 (en) * 2014-01-10 2016-11-16 Nokia Technologies Oy Display of a visual representation of a view
CA2926861C (en) * 2014-05-21 2017-03-07 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US11263851B2 (en) 2014-09-11 2022-03-01 Michael K. Proctor Systems and methods for advanced headwear
US10403141B2 (en) * 2016-08-19 2019-09-03 Sony Corporation System and method for processing traffic sound data to provide driver assistance

Also Published As

Publication number Publication date
JP2019215871A (ja) 2019-12-19
US20190279490A1 (en) 2019-09-12
US20200175838A1 (en) 2020-06-04
JP6547900B2 (ja) 2019-07-24
EP3435346A1 (en) 2019-01-30
US20190114899A1 (en) 2019-04-18
WO2017163514A1 (ja) 2017-09-28
US11132887B2 (en) 2021-09-28
US10600311B2 (en) 2020-03-24
EP3435346B1 (en) 2020-08-12
EP3435346A4 (en) 2019-05-01
JP7092165B2 (ja) 2022-06-28
US10565854B2 (en) 2020-02-18
JP2020197733A (ja) 2020-12-10
JPWO2017163514A1 (ja) 2018-08-23

Similar Documents

Publication Publication Date Title
JP6747551B2 (ja) 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法
US9451062B2 (en) Mobile device edge view display insert
KR101766305B1 (ko) 침입 탐지 장치
JP6930426B2 (ja) 映像送信装置、映像送信方法、及びプログラム
KR20170066357A (ko) 보행자 정보 시스템
JP6244120B2 (ja) 映像表示システム及び映像表示用プログラム
US20100001880A1 (en) Detecting and sharing road traffic condition information
JP2016021169A (ja) 仮想音源を提供情報位置に配置する携帯端末、音声提示プログラム及び音声提示方法
Smirnov et al. Smartphone-based identification of dangerous driving situations: Algorithms and implementation
US20220189038A1 (en) Object tracking apparatus, control method, and program
KR101535517B1 (ko) 통학 차량 안전 경보 시스템
JP6120444B2 (ja) ウェアラブルデバイス
Kashevnik et al. Context-based driver support system development: Methodology and case study
Chen et al. Connected vehicle safety science, system, and framework
CN111147738A (zh) 警用车载全景慧眼系统、装置、电子设备及介质
JP6321848B2 (ja) ウェアラブルデバイス
JP2020030718A (ja) 歩行者装置、車載装置、歩車間通信システムおよび安全確認支援方法
JP2020057133A (ja) 情報処理装置、危険車両の情報を記憶させる方法、コンピュータプログラム、及び情報配信システム
JP2021164008A (ja) 情報処理方法、情報処理装置、プログラム及び情報処理システム
WO2021026350A1 (en) Systems and methods of increasing pedestrian awareness during mobile device usage
JP2017157066A (ja) 情報処理装置、情報処理方法、および、情報処理プログラム
JP6749470B2 (ja) 地域安全システム及びサーバ
JP6740644B2 (ja) 報知装置
WO2022244372A1 (ja) 環境状態通知装置、環境状態通知方法及びプログラム
JP7164149B2 (ja) シミュレータ、サーバ、評価システム、評価プログラム、及び評価方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200720

R150 Certificate of patent or registration of utility model

Ref document number: 6747551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150