JP6887198B2 - ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム - Google Patents

ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム Download PDF

Info

Publication number
JP6887198B2
JP6887198B2 JP2019526045A JP2019526045A JP6887198B2 JP 6887198 B2 JP6887198 B2 JP 6887198B2 JP 2019526045 A JP2019526045 A JP 2019526045A JP 2019526045 A JP2019526045 A JP 2019526045A JP 6887198 B2 JP6887198 B2 JP 6887198B2
Authority
JP
Japan
Prior art keywords
person
wearable terminal
information
display
display board
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019526045A
Other languages
English (en)
Other versions
JPWO2019003360A1 (ja
Inventor
俊二 菅谷
俊二 菅谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Publication of JPWO2019003360A1 publication Critical patent/JPWO2019003360A1/ja
Application granted granted Critical
Publication of JP6887198B2 publication Critical patent/JP6887198B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、ウェアラブル端末の表示板に、表示板を透過して見える人物に対して、収集された人物の人物情報を拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムに関する。
近年、人物情報のＩＴ化が進んでいる。例えば、鏡の設置場所を考慮し、鏡の前に居る人物に対して必要な情報を適切なタイミングで提供する表示装置が提供されている（特許文献１）。
特開２０１５-２１０７９７号公報
しかしながら、特許文献１のシステムは、鏡の前にいる人物に対して情報を提供するものであり、第三者の情報を提供できない問題がある。
本発明は、上記課題に鑑み、ウェアラブル端末の視界の画像から人物を特定して、人物に応じて収集した人物情報をウェアラブル端末の表示板に拡張現実として表示するウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラムを提供することを目的とする。
本発明では、以下のような解決手段を提供する。
第１の特徴に係る発明は、ウェアラブル端末の表示板に、人物の人物情報を表示するウェアラブル端末表示システムであって、ウェアラブル端末の視界に入った人物の画像を取得する画像取得手段と、前記画像を画像解析して、人物を特定する特定手段と、前記人物の人物情報を収集する収集手段と、前記ウェアラブル端末の表示板を透過して見える前記人物に対して、選択対象の選択を受け付ける選択受付手段と、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記人物情報を拡張現実として表示するとともに、当該人物と当該人物情報とを異なる表示態様で表示し、当該人物情報のオン／オフを切り替える人物情報表示手段と、を備えるウェアラブル端末表示システムを提供する。
第１の特徴に係る発明は、ウェアラブル端末の表示板に、人物の人物情報を表示するウェアラブル端末表示システムが実行するウェアラブル端末表示方法であって、ウェアラブル端末の視界に入った人物の画像を取得する画像取得ステップと、前記画像を画像解析して、人物を特定する特定ステップと、前記人物の人物情報を収集する収集ステップと、前記ウェアラブル端末の表示板を透過して見える前記人物に対して、選択対象の選択を受け付けるステップと、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記人物情報を拡張現実として表示するとともに、当該人物と当該人物情報とを異なる表示態様で表示し、当該人物情報のオン／オフを切り替える人物情報表示ステップと、を備えるウェアラブル端末表示方法を提供する。
第１の特徴に係る発明は、ウェアラブル端末表示システムに、ウェアラブル端末の視界に入った人物の画像を取得する画像取得ステップ、前記画像を画像解析して、人物を特定する特定ステップ、前記人物の人物情報を収集する収集ステップ、前記ウェアラブル端末の表示板を透過して見える前記人物に対して、選択対象の選択を受け付けるステップ、前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記人物情報を拡張現実として表示するとともに、当該人物と当該人物情報とを異なる表示態様で表示し、当該人物情報のオン／オフを切り替える人物情報表示ステップ、を実行させるためのコンピュータ読み取り可能なプログラムを提供する。
人物をウェアラブル端末の視界に入れるだけで、ウェアラブル端末の表示板に人物の人物情報を表示できる。
図１は、ウェアラブル端末表示システムの概要図である。 図２は、ウェアラブル端末の表示板に人物の人物情報を収集して表示した一例である。
以下、本発明を実施するための最良の形態について説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
本発明のウェアラブル端末表示システムは、ウェアラブル端末の表示板に、表示板を透過して見える人物に対して、収集された人物情報を拡張現実として表示するシステムである。ウェアラブル端末とはスマートグラスやヘッドマウントディスプレイなどの視界がある端末のことをいう。
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるウェアラブル端末表示システムの概要図である。
図１にあるように、ウェアラブル端末表示システムは、制御部が所定のプログラムを読み込むことで実現される、画像取得手段、特定手段、収集手段、人物情報表示手段、を備える。また図示しないが、同様に、判定手段、変更手段、検出手段、アクション結果表示手段、位置方向取得手段、推測手段、ガイドライン表示手段、選択受付手段、を備えてもよい。これらは、アプリケーション型、クラウド型またはその他であってもよい。上述の各手段が、単独のコンピュータで実現されてもよいし、２台以上のコンピュータ（例えば、サーバと端末のような場合）で実現されてもよい。
画像取得手段は、ウェアラブル端末の視界に入った人物の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに人物情報を表示するためには、リアルタイムな画像の方が好ましい。
特定手段は、画像を画像解析して人物を特定する。例えば、人物が、山田太郎さんであるのか、佐藤花子さんであるのか、鈴木一郎さんであるのか、などを特定する。色、形、大きさ、特徴、などから人物を特定できる。人物はこれらに限らない。また、映った人物の全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある人物だけを特定してもよい。視界の中央にある人物だけを特定することで、特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、人物の過去画像を教師データとして機械学習を行う。
収集手段は、人物に応じた人物情報を収集する。人物情報とは、氏名・性別・年齢・住所・職業・役職・家族構成などである。人物情報はこれらに限らない。予め人物情報が登録されたデータベースを参照して人物に応じた人物情報を収集してもよい。例えば、名刺情報などが登録されたデータベースを参照すれば収集できる。また、人物に予め紐付けられたＷｅｂコンテンツにアクセスして人物情報を収集してもよい。例えば、人物と人物情報とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収集できる。また、人物をインターネット検索して検索されたＷｅｂコンテンツから人物情報を収集してもよい。例えば、ホームページなどに人物情報が掲載されているケースがあるので、インターネット検索から収集できる。または、ＳＮＳ（ｓｏｃｉａｌ ｎｅｔｗｏｒｋｉｎｇ ｓｅｒｖｉｃｅ）や口コミサイトなどから、人物情報を収集できることもある。
人物情報表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える人物に対して人物情報を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた人物に対して、破線で描かれた人物情報を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた人物に対して人物情報を拡張現実で表示することで、人物にどのような人物情報があるのかを視覚的に把握することが出来る。拡張現実として表示する人物情報は、表示板を透過して見える人物に重なるように表示しても良いが、人物が見づらくなるので、人物情報の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
判定手段は、表示された人物情報が閲覧されたかどうかを判定する。閲覧中の画像を取得して画像解析をすることで、人物情報が閲覧されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、人物情報が閲覧されたかどうかを判定してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
変更手段は、閲覧されたと判定された場合は人物情報を閲覧済みに変更し、閲覧されていないと判定された場合は人物情報が閲覧されるように注目度を変更する。このようにすることで、どの人物情報が、閲覧されたのか、閲覧されていないのか、を視覚的に把握できる。例えば、人物情報のチェックボックスにチェックを入れることで閲覧済としてもよい。例えば、人物情報にスタンプを押すことで閲覧済としてもよい。また、注目度の変更は、人物情報の色・サイズを変更したり、人物情報が目立つようにスタンプを押したりしてもよい。
検出手段は、表示された人物情報に対するアクションを検出する。アクションは、例えば、ジェスチャーや、手の動き、視線の動き、などである。閲覧中の画像を取得して画像解析をすることで、人物情報に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、人物情報に対するアクションを検出してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
アクション結果表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える人物に対して、アクションに応じた結果を拡張現実として表示する。例えば、人物情報を消すアクションを検出したら人物情報の表示を消してよい。例えば、人物情報に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。例えば、人物情報のページをめくるアクションを検出したらページをめくってもよい。もちろん他のアクションでもよい。
位置方向手段は、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
推測手段は、端末位置と撮像方向とに基づいて、人物の人物位置を推測する。端末位置と撮像方向が分かっていれば、撮像された人物の人物位置を推測することができる。
また、特定手段は、人物位置と画像解析とから、人物を特定してもよい。位置の情報を利用することで特定の精度を向上することができる。例えば、位置の情報によって、山田太郎さんだと特定する精度が向上できれば、それに対応して表示する人物情報の信頼度も向上する。
ガイドライン表示手段は、ウェアラブル端末の表示板に、人物を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
また、取得手段は、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く人物を特定できる。
選択受付手段は、ウェアラブル端末の表示板を透過して見える人物に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える人物を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える人物にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える人物にカーソルを合わせることで選択対象の選択を受け付けてもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
また、人物情報表示手段は、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、人物情報を拡張現実として表示してもよい。選択された選択対象にだけ合わせて人物情報を拡張現実として表示するので、ピンポイントに人物情報を把握することができる。特定された全ての人物に人物情報を表示すると表示板の画面が煩わしくなることがある。
[動作の説明]
次に、ウェアラブル端末表示方法について説明する。本発明のウェアラブル端末表示方法は、ウェアラブル端末の表示板に、表示板を透過して見える人物に対して、収集された人物情報を拡張現実として表示する方法である。
ウェアラブル端末表示方法は、画像取得ステップ、特定ステップ、収集ステップ、人物情報表示ステップ、を備える。また図示しないが、同様に、判定ステップ、変更ステップ、検出ステップ、アクション結果表示ステップ、位置方向取得ステップ、推測ステップ、ガイドライン表示ステップ、選択受付ステップ、を備えてもよい。
画像取得ステップは、ウェアラブル端末の視界に入った人物の画像を取得する。ウェアラブル端末のカメラで撮像された画像を取得してもよい。または、ウェアラブル端末以外であっても、このような画像を取得できるのであれば、それでも構わない。画像とは動画でも静止画でもよい。リアルタイムに人物情報を表示するためには、リアルタイムな画像の方が好ましい。
特定ステップは、画像を画像解析して人物を特定する。例えば、人物が、山田太郎さんであるのか、佐藤花子さんであるのか、鈴木一郎さんであるのか、などを特定する。色、形、大きさ、特徴、などから人物を特定できる。人物はこれらに限らない。また、映った人物の全てを特定してしまうと時間が掛かる場合には、ウェアラブル端末の視界の中央にある人物だけを特定してもよい。視界の中央にある人物だけを特定することで、特定に要する時間を大幅に短縮できる。機械学習によって画像解析の精度を向上させてもよい。例えば、人物の過去画像を教師データとして機械学習を行う。
収集ステップは、人物に応じた人物情報を収集する。人物情報とは、氏名・性別・年齢・住所・職業・役職・家族構成などである。人物情報はこれらに限らない。予め人物情報が登録されたデータベースを参照して人物に応じた人物情報を収集してもよい。例えば、名刺情報などが登録されたデータベースを参照すれば収集できる。また、人物に予め紐付けられたＷｅｂコンテンツにアクセスして人物情報を収集してもよい。例えば、人物と人物情報とを紐づけるＵＲＬなど割当てることでＷｅｂコンテンツから収集できる。また、人物をインターネット検索して検索されたＷｅｂコンテンツから人物情報を収集してもよい。例えば、ホームページなどに人物情報が掲載されているケースがあるので、インターネット検索から収集できる。または、ＳＮＳ（ｓｏｃｉａｌ ｎｅｔｗｏｒｋｉｎｇ ｓｅｒｖｉｃｅ）や口コミサイトなどから、人物情報を収集できることもある。
人物情報表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える人物に対して人物情報を拡張現実として表示する。例えば図２にあるように、ウェアラブル端末の表示板に、表示板を透過して見える実線で描かれた人物に対して、破線で描かれた人物情報を拡張現実として表示している。ここでは理解のために、実線は実物、破線は拡張現実、としている。表示板を透過して見える実線で描かれた人物に対して人物情報を拡張現実で表示することで、人物にどのような人物情報があるのかを視覚的に把握することが出来る。拡張現実として表示する人物情報は、表示板を透過して見える人物に重なるように表示しても良いが、人物が見づらくなるので、人物情報の表示ＯＮ／ＯＦＦを切り替えられるようにしてもよい。
判定ステップは、表示された人物情報が閲覧されたかどうかを判定する。閲覧中の画像を取得して画像解析をすることで、人物情報が閲覧されたかどうかを判定してもよい。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、人物情報が閲覧されたかどうかを判定してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
変更ステップは、閲覧されたと判定された場合は人物情報を閲覧済みに変更し、閲覧されていないと判定された場合は人物情報が閲覧されるように注目度を変更する。このようにすることで、どの人物情報が、閲覧されたのか、閲覧されていないのか、を視覚的に把握できる。例えば、人物情報のチェックボックスにチェックを入れることで閲覧済としてもよい。例えば、人物情報にスタンプを押すことで閲覧済としてもよい。また、注目度の変更は、人物情報の色・サイズを変更したり、人物情報が目立つようにスタンプを押したりしてもよい。
検出ステップは、表示された人物情報に対するアクションを検出する。アクションは、例えば、ジェスチャーや、手の動き、視線の動き、などである。閲覧中の画像を取得して画像解析をすることで、人物情報に対するアクションを検出できる。また、ウェアラブル端末のセンサ情報や、閲覧者に装着されたセンサ情報などから、人物情報に対するアクションを検出してもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
アクション結果表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える人物に対して、アクションに応じた結果を拡張現実として表示する。例えば、人物情報を消すアクションを検出したら人物情報の表示を消してよい。例えば、人物情報に付けられたリンクを開くアクションを検出したらリンクを開いてもよい。例えば、人物情報のページをめくるアクションを検出したらページをめくってもよい。もちろん他のアクションでもよい。
位置方向ステップは、ウェアラブル端末の端末位置と撮像方向とを取得する。例えば、端末位置は、ウェアラブル端末のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）から取得できる。例えば、撮像方向は、ウェアラブル端末で撮像する場合は、ウェアラブル端末の地磁気センサや加速度センサから取得できる。これら以外から取得してもよい。
推測ステップは、端末位置と撮像方向とに基づいて、人物の人物位置を推測する。端末位置と撮像方向が分かっていれば、撮像された人物の人物位置を推測することができる。
また、特定ステップは、人物位置と画像解析とから、人物を特定してもよい。位置の情報を利用することで特定の精度を向上することができる。例えば、位置の情報によって、山田太郎さんだと特定する精度が向上できれば、それに対応して表示する人物情報の信頼度も向上する。
ガイドライン表示ステップは、ウェアラブル端末の表示板に、人物を撮像するためのガイドラインを拡張現実として表示する。例えば、枠や十字などのガイドラインを表示してもよい。ガイドラインに沿って撮像してもらうことで画像解析がしやすくなる。
また、取得ステップは、ガイドラインに沿って撮像された画像を取得してもよい。ガイドラインに沿って撮像された画像だけを取得して画像解析することで、効率良く人物を特定できる。
選択受付ステップは、ウェアラブル端末の表示板を透過して見える人物に対して、選択対象の選択を受け付ける。例えば、ウェアラブル端末の表示板を透過して見える人物を一定時間見ることで選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える人物にタッチして選択対象の選択を受け付けてもよい。例えば、ウェアラブル端末の表示板を透過して見える人物にカーソルを合わせることで選択対象の選択を受け付けてもよい。例えば、視線を検知するセンサ、モーションセンサ、加速度センサなど。
また、人物情報表示ステップは、ウェアラブル端末の表示板に、表示板を透過して見える選択対象にだけ合わせて、人物情報を拡張現実として表示してもよい。選択された選択対象にだけ合わせて人物情報を拡張現実として表示するので、ピンポイントに人物情報を把握することができる。特定された全ての人物に人物情報を表示すると表示板の画面が煩わしくなることがある。
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータにインストールされるアプリケーションであってもよいし、コンピュータからネットワーク経由で提供されるＳａａＳ（ソフトウェア・アズ・ア・サービス）形態であってもよいし、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
上述した機械学習の具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシン、強化学習などを利用してよい。また、ニューラルネットワークを利用して、学習するための特徴量を自ら生成する深層学習（ディープラーニング）であってもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

Claims (11)

  1. ウェアラブル端末の表示板に、人物の人物情報を表示するウェアラブル端末表示システムであって、
    ウェアラブル端末の視界に入った人物の画像を取得する画像取得手段と、
    前記画像を画像解析して、人物を特定する特定手段と、
    前記人物の人物情報を収集する収集手段と、
    前記ウェアラブル端末の表示板を透過して見える前記人物に対して、選択対象の選択を受け付ける選択受付手段と、
    前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記人物情報を拡張現実として表示するとともに、当該人物と当該人物情報とを異なる表示態様で表示し、当該人物情報のオン／オフを切り替える人物情報表示手段と、
    を備えるウェアラブル端末表示システム。
  2. 前記収集手段は、予め人物情報が登録されたデータベースを参照して、前記人物の人物情報を収集する
    請求項１に記載のウェアラブル端末表示システム。
  3. 前記収集手段は、前記人物に予め紐付けられたＷｅｂコンテンツにアクセスして、前記人物情報を収集する
    請求項１に記載のウェアラブル端末表示システム。
  4. 前記収集手段は、前記人物をインターネット検索して、検索されたＷｅｂコンテンツから前記人物情報を収集する
    請求項１に記載のウェアラブル端末表示システム。
  5. 前記表示された人物情報が閲覧されたかどうかを判定する判定手段と、
    前記閲覧されたと判定された場合、人物情報を閲覧済みに変更する変更手段と、
    を備える請求項１に記載のウェアラブル端末表示システム。
  6. 前記表示された人物情報が閲覧されたかどうかを判定する判定手段と、
    前記閲覧されていないと判定された場合、人物情報が閲覧されるように注目度を変更する変更手段と、
    を備える請求項１に記載のウェアラブル端末表示システム。
  7. 前記表示された人物情報に対するアクションを検出する検出手段と、
    前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記人物に対して、前記アクションに応じた結果を拡張現実として表示するアクション結果表示手段と、
    を備える請求項１に記載のウェアラブル端末表示システム。
  8. 前記ウェアラブル端末の、端末位置と撮像方向と、を取得する位置方向取得手段と、
    前記端末位置と前記撮像方向とに基づいて、前記人物の人物位置を推測する推測手段と、
    を備え、
    前記特定手段は、前記人物位置と前記画像解析とから、前記人物を特定する
    請求項１に記載のウェアラブル端末表示システム。
  9. 前記ウェアラブル端末の表示板に、前記人物を撮像するためのガイドラインを拡張現実として表示するガイドライン表示手段を備え、
    前記画像取得手段は、前記ガイドラインに沿って撮像された前記画像を取得する
    請求項１に記載のウェアラブル端末表示システム。
  10. ウェアラブル端末の表示板に、人物の人物情報を表示するウェアラブル端末表示システムが実行するウェアラブル端末表示方法であって、
    ウェアラブル端末の視界に入った人物の画像を取得する画像取得ステップと、
    前記画像を画像解析して、人物を特定する特定ステップと、
    前記人物の人物情報を収集する収集ステップと、
    前記ウェアラブル端末の表示板を透過して見える前記人物に対して、選択対象の選択を受け付けるステップと、
    前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記人物情報を拡張現実として表示するとともに、当該人物と当該人物情報とを異なる表示態様で表示し、当該人物情報のオン／オフを切り替える人物情報表示ステップと、
    を備えるウェアラブル端末表示方法。
  11. ウェアラブル端末表示システムに、
    ウェアラブル端末の視界に入った人物の画像を取得する画像取得ステップ、
    前記画像を画像解析して、人物を特定する特定ステップ、
    前記人物の人物情報を収集する収集ステップ、
    前記ウェアラブル端末の表示板を透過して見える前記人物に対して、選択対象の選択を受け付けるステップ、
    前記ウェアラブル端末の表示板に、前記表示板を透過して見える前記選択対象にだけ合わせて、前記人物情報を拡張現実として表示するとともに、当該人物と当該人物情報とを異なる表示態様で表示し、当該人物情報のオン／オフを切り替える人物情報表示ステップ、
    を実行させるためのコンピュータ読み取り可能なプログラム。
JP2019526045A 2017-06-28 2017-06-28 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム Active JP6887198B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023815 WO2019003360A1 (ja) 2017-06-28 2017-06-28 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019003360A1 JPWO2019003360A1 (ja) 2020-04-16
JP6887198B2 true JP6887198B2 (ja) 2021-06-16

Family

ID=64740452

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019526045A Active JP6887198B2 (ja) 2017-06-28 2017-06-28 ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム

Country Status (4)

Country Link
US (1) US11335044B2 (ja)
JP (1) JP6887198B2 (ja)
CN (1) CN110832438A (ja)
WO (1) WO2019003360A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121056A2 (en) * 2018-12-13 2020-06-18 Orcam Technologies Ltd. Wearable apparatus and methods
JP7453192B2 (ja) 2021-09-27 2024-03-19 Kddi株式会社 ユーザの動的状態に応じて物体認識に基づく情報を提示する携帯装置、プログラム及び方法
WO2024043527A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4405695B2 (ja) * 2000-08-29 2010-01-27 富士通株式会社 更新情報の自動表示方法、装置、媒体およびプログラム
US7069292B2 (en) * 2000-08-29 2006-06-27 Fujitsu Limited Automatic display method and apparatus for update information, and medium storing program for the method
JP2008301355A (ja) * 2007-06-01 2008-12-11 Casio Comput Co Ltd 撮像装置及びそのプログラム
JP5651386B2 (ja) * 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
JP2012114755A (ja) * 2010-11-25 2012-06-14 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
JP5953963B2 (ja) * 2012-06-13 2016-07-20 ソニー株式会社 頭部装着型映像表示装置
KR102120105B1 (ko) * 2014-01-08 2020-06-09 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
US10386637B2 (en) * 2014-01-15 2019-08-20 Maxell, Ltd. Information display terminal, information display system, and information display method
JP2015153157A (ja) * 2014-02-14 2015-08-24 Kddi株式会社 仮想情報管理システム
JP2015210580A (ja) * 2014-04-24 2015-11-24 エイディシーテクノロジー株式会社 表示システム及びウェアラブル機器
JP2015210797A (ja) 2014-04-30 2015-11-24 シャープ株式会社 表示装置
JP2015219850A (ja) * 2014-05-21 2015-12-07 シャープ株式会社 情報管理システム
US20160011421A1 (en) * 2014-07-09 2016-01-14 Sk Planet Co., Ltd. Seller glasses, control method thereof, computer readable medium having computer program recorded therefor and system for providing convenience to customer
JP6137113B2 (ja) * 2014-10-24 2017-05-31 ソニー株式会社 表示装置、表示方法、プログラム
KR20160133972A (ko) * 2015-05-14 2016-11-23 엘지전자 주식회사 결제 정보와 관련된 결제 과정의 진행을 디스플레이부에 디스플레이할 수 있는 착용형 디스플레이 디바이스 및 그 제어 방법
JP2017049763A (ja) * 2015-09-01 2017-03-09 株式会社東芝 電子機器、支援システムおよび支援方法
US9965269B2 (en) * 2016-04-06 2018-05-08 Orcam Technologies Ltd. Systems and methods for determining and distributing an update to an inference model for wearable apparatuses

Also Published As

Publication number Publication date
JPWO2019003360A1 (ja) 2020-04-16
US11335044B2 (en) 2022-05-17
CN110832438A (zh) 2020-02-21
WO2019003360A1 (ja) 2019-01-03
US20200226806A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
US11227326B2 (en) Augmented reality recommendations
US10956007B2 (en) Electronic device and method for providing search result thereof
US9165406B1 (en) Providing overlays based on text in a live camera view
US9269011B1 (en) Graphical refinement for points of interest
US20180247361A1 (en) Information processing apparatus, information processing method, wearable terminal, and program
JP6887198B2 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
CN107690657A (zh) 根据影像发现商户
Anagnostopoulos et al. Gaze-Informed location-based services
CN103562911A (zh) 基于姿势的视觉搜索
JP6097126B2 (ja) レコメンド情報生成装置及びレコメンド情報生成方法
CN117473127A (zh) 计算机实现的方法、系统和非暂时性计算机存储介质
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
CN110998507A (zh) 电子装置及其用于提供搜索结果的方法
KR20220037996A (ko) 시각적 검색 쿼리를 위한 지능형 시스템 및 방법
WO2020016861A1 (en) Method and system for conducting electronic commerce and retailing using emotion detection
Kimura et al. The Reading-Life Log--Technologies to Recognize Texts That We Read
WO2018198320A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US9911237B1 (en) Image processing techniques for self-captured images
WO2019021446A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP6762470B2 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
US11514082B1 (en) Dynamic content selection
WO2018216221A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2019003359A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
WO2018216220A1 (ja) ウェアラブル端末表示システム、ウェアラブル端末表示方法およびプログラム
JP5541868B2 (ja) 画像検索指令システムおよびその動作制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210312

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210312

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210323

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210514

R150 Certificate of patent or registration of utility model

Ref document number: 6887198

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250