JP7011447B2 - Information processing equipment and programs - Google Patents

Information processing equipment and programs Download PDF

Info

Publication number
JP7011447B2
JP7011447B2 JP2017209451A JP2017209451A JP7011447B2 JP 7011447 B2 JP7011447 B2 JP 7011447B2 JP 2017209451 A JP2017209451 A JP 2017209451A JP 2017209451 A JP2017209451 A JP 2017209451A JP 7011447 B2 JP7011447 B2 JP 7011447B2
Authority
JP
Japan
Prior art keywords
user
information
display
extraction unit
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017209451A
Other languages
Japanese (ja)
Other versions
JP2019082825A (en
Inventor
邦臣 石田
美由紀 木村
直之 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2017209451A priority Critical patent/JP7011447B2/en
Publication of JP2019082825A publication Critical patent/JP2019082825A/en
Application granted granted Critical
Publication of JP7011447B2 publication Critical patent/JP7011447B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、現実世界に画像を重畳表示させるための技術に関する。 The present invention relates to a technique for superimposing and displaying an image on the real world.

いわゆるAR(拡張現実)は、現実空間に対して情報の付加・削除・強調・減衰を行うことで、人間が見た現実の世界を拡張するものである。例えば特許文献1には、ユーザ同士の相性スコアを算出し、その相性スコアをARの技術を用いて相手のユーザが居る位置に表示することが開示されている。 So-called AR (Augmented Reality) expands the real world seen by humans by adding, deleting, emphasizing, and attenuating information in the real space. For example, Patent Document 1 discloses that a compatibility score between users is calculated and the compatibility score is displayed at a position where the other user is present by using AR technology.

特開2012-221330号公報Japanese Unexamined Patent Publication No. 2012-221330

ユーザに関する情報をARの技術によって現実世界に重畳表示する場合を想定すると、ユーザに関する情報には様々なものがあるため、どの情報を表示すべきかが課題となる。そこで、本発明は、撮像されたユーザに関する情報群のうち適切な情報を現実世界に重畳して表示することを目的とする。 Assuming that the information about the user is superimposed and displayed in the real world by the AR technology, there are various kinds of information about the user, so the problem is which information should be displayed. Therefore, an object of the present invention is to superimpose and display appropriate information among the captured information groups regarding the user in the real world.

上記課題を解決するため、本発明は、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部とを備え、前記抽出部は、前記第1のユーザに関する情報の各々に対応付けて、前記撮像が行われた場所に関する条件を前記表示条件として記憶する記憶部を備え、前記記憶部に記憶されている前記第1のユーザに関する情報群から、前記撮像が行われた場所が満たす前記表示条件に対応付けられた前記情報を抽出することを特徴とする情報処理装置を提供する。 In order to solve the above problems, the present invention determines display conditions from an acquisition unit that acquires an image captured in a real space including a first user and a group of information about the first user included in the image. The extraction unit includes an extraction unit that extracts the information, and a display control unit that superimposes and displays the information extracted by the extraction unit in a real space including the first user, and the extraction unit relates to the first user. The image pickup is performed from the information group relating to the first user stored in the storage unit, which is provided with a storage unit that stores the condition relating to the place where the image pickup is performed as the display condition in association with each of the information. Provided is an information processing apparatus characterized by extracting the information associated with the display condition satisfied by the place where the information was performed .

また、本発明は、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部とを備え、前記抽出部は、前記第1のユーザに関する情報の各々に対応付けて、前記撮像が行われた時期に関する条件を前記表示条件として記憶する記憶部を備え、前記記憶部に記憶されている前記第1のユーザに関する情報群から、前記撮像が行われた時期が満たす前記表示条件に対応付けられた前記情報を抽出することを特徴とする情報処理装置を提供する。Further, the present invention extracts information according to display conditions from an acquisition unit that acquires a captured image of a real space including a first user and a group of information about the first user included in the captured image. It includes an extraction unit and a display control unit that superimposes and displays the information extracted by the extraction unit in a real space including the first user, and the extraction unit corresponds to each of the information about the first user. In addition, a storage unit for storing the condition relating to the time when the imaging was performed is provided as the display condition, and the time when the imaging is performed is determined from the information group regarding the first user stored in the storage unit. Provided is an information processing apparatus characterized by extracting the information associated with the display condition to be satisfied.

また、本発明は、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部とを備え、前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第1のユーザと前記表示制御部により重畳表示される前記情報を参照する第2のユーザとの関係に関する条件を含み、前記表示制御部は、前記抽出部によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させることを特徴とする情報処理装置を提供する。Further, the present invention extracts information according to display conditions from an acquisition unit that acquires a captured image of a real space including a first user and a group of information about the first user included in the captured image. It includes an extraction unit and a display control unit that superimposes and displays the information extracted by the extraction unit in a real space including the first user. The display control unit includes a condition relating to the time when the image is taken and a condition relating to the relationship between the first user and the second user who refers to the information superimposed and displayed by the display control unit. Provided is an information processing apparatus characterized by superimposing and displaying the information extracted by the extraction unit over a period corresponding to the type of the information.

また、本発明は、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部とを備え、前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第1のユーザと前記表示制御部により重畳表示される前記情報を参照する第2のユーザとの関係に関する条件を含み、前記表示制御部は、前記抽出部によって抽出された情報を、当該情報に対応する前記表示条件に応じた期間にわたって重畳表示させることを特徴とする情報処理装置を提供する。Further, the present invention extracts information according to display conditions from an acquisition unit that acquires a captured image of a real space including a first user and a group of information about the first user included in the captured image. It includes an extraction unit and a display control unit that superimposes and displays the information extracted by the extraction unit in a real space including the first user. The display control unit includes a condition relating to the time when the image is taken and a condition relating to the relationship between the first user and the second user who refers to the information superimposed and displayed by the display control unit. Provided is an information processing apparatus characterized in that the information extracted by the extraction unit is superimposed and displayed for a period corresponding to the display condition corresponding to the information.

また、本発明は、コンピュータを、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、前記抽出部は、前記第1のユーザに関する情報の各々に対応付けて、前記撮像が行われた場所に関する条件を前記表示条件として記憶する記憶部を備え、前記記憶部に記憶されている前記第1のユーザに関する情報群から、前記撮像が行われた場所が満たす前記表示条件に対応付けられた前記情報を抽出するプログラムを提供する。Further, in the present invention, the computer is provided with information according to display conditions from an acquisition unit that acquires an image captured in a real space including a first user and a group of information about the first user included in the image. The extraction unit functions as a display control unit that superimposes and displays the information extracted by the extraction unit and the information extracted by the extraction unit in a real space including the first user, and the extraction unit displays information about the first user. In association with each of them, a storage unit for storing the conditions relating to the place where the imaging was performed is provided as the display condition, and the imaging is performed from the information group regarding the first user stored in the storage unit. Provided is a program for extracting the information associated with the display condition satisfied by the location.

また、本発明は、コンピュータを、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、前記抽出部は、前記第1のユーザに関する情報の各々に対応付けて、前記撮像が行われた時期に関する条件を前記表示条件として記憶する記憶部を備え、前記記憶部に記憶されている前記第1のユーザに関する情報群から、前記撮像が行われた時期が満たす前記表示条件に対応付けられた前記情報を抽出するプログラムを提供する。Further, in the present invention, the computer is provided with information according to display conditions from an acquisition unit that acquires an image captured in a real space including a first user and a group of information about the first user included in the image. The extraction unit functions as a display control unit that superimposes and displays the information extracted by the extraction unit and the information extracted by the extraction unit in a real space including the first user, and the extraction unit displays information about the first user. In association with each of them, a storage unit for storing a condition relating to the time when the imaging was performed is provided as the display condition, and the imaging is performed from the information group regarding the first user stored in the storage unit. Provided is a program for extracting the information associated with the display condition that the time is satisfied.

また、本発明は、コンピュータを、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第1のユーザと前記表示制御部により重畳表示される前記情報を参照する第2のユーザとの関係に関する条件を含み、前記表示制御部は、前記抽出部によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させるプログラムを提供する。Further, in the present invention, the computer is provided with information according to display conditions from an acquisition unit that acquires a captured image of a real space including a first user and a group of information about the first user included in the captured image. The extraction unit functions as a display control unit that superimposes and displays the information extracted by the extraction unit and the information extracted by the extraction unit in the real space including the first user, and the display condition relates to the place where the imaging is performed. The display control unit includes a condition, a condition relating to the time when the imaging is performed, and a condition relating to the relationship between the first user and the second user who refers to the information superimposed and displayed by the display control unit. Provides a program for superimposing and displaying the information extracted by the extraction unit over a period according to the type of the information.

また、本発明は、コンピュータを、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第1のユーザと前記表示制御部により重畳表示される前記情報を参照する第2のユーザとの関係に関する条件を含み、前記表示制御部は、前記抽出部によって抽出された情報を、当該情報に対応する前記表示条件に応じた期間にわたって重畳表示させるプログラムを提供する。Further, in the present invention, the computer is provided with information according to display conditions from an acquisition unit that acquires a captured image of a real space including a first user and a group of information about the first user included in the captured image. The extraction unit functions as a display control unit that superimposes and displays the information extracted by the extraction unit and the information extracted by the extraction unit in the real space including the first user, and the display condition relates to the place where the imaging is performed. The display control unit includes a condition, a condition relating to the time when the imaging is performed, and a condition relating to the relationship between the first user and the second user who refers to the information superimposed and displayed by the display control unit. Provides a program for superimposing and displaying the information extracted by the extraction unit over a period corresponding to the display conditions corresponding to the information.

本発明によれば、撮像されたユーザに関する情報群のうち適切な情報を現実世界に重畳して表示することが可能となる。 According to the present invention, it is possible to superimpose and display appropriate information among the captured information groups regarding the user in the real world.

本発明の一実施形態に係る情報処理システムの構成を例示する図である。It is a figure which illustrates the structure of the information processing system which concerns on one Embodiment of this invention. 撮像表示装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware composition of the image pickup display device. 情報処理装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware composition of an information processing apparatus. 情報処理装置に記憶されているデータベースの一例を示す図である。It is a figure which shows an example of the database stored in the information processing apparatus. 情報処理システムの機能構成の一例を示すブロック図である。It is a block diagram which shows an example of the functional structure of an information processing system. 情報処理システムの動作の一例を示すシーケンスチャートである。It is a sequence chart which shows an example of the operation of an information processing system.

[構成]
図1は、本実施形態の情報処理システム1の一例を示す図である。情報処理システム1は、いわゆるAR(拡張現実)を実現するための処理を行う情報処理装置10と、画像の撮像及び表示を行う複数の撮像表示装置20-1,20-2(以下、これらを撮像表示装置20と総称する)と、情報処理装置10及び撮像表示装置20を通信可能に接続するネットワーク90とを備えている。ネットワーク90は、例えばLAN(Local Area Network)又はWAN(Wide Area Network)、若しくはこれらの組み合わせであり、有線区間又は無線区間を含んでいる。なお、図1には、情報処理装置10を1つ例示し、撮像表示装置20を2つ例示しているが、これらの装置の数はこの例示に限定されず、例えば撮像表示装置20は3つ以上であってもよい。
[Constitution]
FIG. 1 is a diagram showing an example of the information processing system 1 of the present embodiment. The information processing system 1 includes an information processing device 10 that performs processing for realizing so-called AR (augmented reality), and a plurality of imaging display devices 20-1 and 20-2 (hereinafter, these) that capture and display images. It is provided with an image pickup display device 20) and a network 90 for communicably connecting the information processing device 10 and the image pickup display device 20. The network 90 is, for example, a LAN (Local Area Network), a WAN (Wide Area Network), or a combination thereof, and includes a wired section or a wireless section. Note that FIG. 1 illustrates one information processing device 10 and two image pickup display devices 20, but the number of these devices is not limited to this example, and for example, the image pickup display device 20 is 3. It may be one or more.

ARは、現実空間に対して情報の付加・削除・強調・減衰を行うことで、人間が見た現実の世界を拡張するものである。情報処理装置10は、撮像表示装置20によって撮像された現実空間の撮像画像を取得し、その現実空間に対して付加的な画像を重畳した状態で表示するよう、撮像表示装置20を制御する。具体的には、情報処理装置10は、例えば第2のユーザが使用する撮像表示装置20-2が、撮像表示装置20-1を使用する第1のユーザを撮像した場合、撮像された第1のユーザに関する情報群のうち表示条件に応じた情報を抽出し、抽出した情報を、撮像表示装置20-2において、現実空間内の第1のユーザに対応する位置に重畳表示させる。このとき表示対象となる情報群は、撮像された第1のユーザの属性や行動内容、或いは第1のユーザによるSNS(Social Networking Service)への投稿などである。 AR expands the real world as seen by humans by adding, deleting, emphasizing, and attenuating information in the real space. The information processing device 10 controls the image pickup display device 20 so as to acquire an image captured in the real space captured by the image pickup display device 20 and display an additional image superimposed on the real space. Specifically, in the information processing device 10, for example, when the image pickup display device 20-2 used by the second user takes an image of the first user who uses the image pickup display device 20-1, the first image is captured. Information according to the display conditions is extracted from the information group related to the user, and the extracted information is superimposed and displayed on the image pickup display device 20-2 at the position corresponding to the first user in the real space. The information group to be displayed at this time is an imaged attribute or action content of the first user, or a posting to the SNS (Social Networking Service) by the first user.

撮像表示装置20-1,20-2は同じ構成であるから、以下では、撮像表示装置20の構成として説明する。図2は、撮像表示装置20のハードウェア構成を例示する図である。撮像表示装置20は、例えばグラス型、ヘッドマウントディスプレイ型又はコンタクトレンズ型のウェアラブルコンピュータ、或いは、スマートフォン又はタブレットなどの携帯型コンピュータである。ARを実現する装置においては、現実空間の撮像画像を表示する表示面においてARオブジェクトと呼ばれる付加的な画像をその撮像画像に重畳して表示するタイプと、ユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間の所定の位置に重なる表示面上の位置にARオブジェクトを表示するタイプとがある。本実施形態に係る撮像表示装置20はいずれもタイプであってもよく、ARオブジェクトを現実空間に重畳表示させる装置として機能する。 Since the image pickup display devices 20-1 and 20-2 have the same configuration, the configuration of the image pickup display device 20 will be described below. FIG. 2 is a diagram illustrating a hardware configuration of the image pickup display device 20. The image pickup display device 20 is, for example, a glass-type, head-mounted display-type or contact-lens-type wearable computer, or a portable computer such as a smartphone or tablet. In a device that realizes AR, a type that superimposes an additional image called an AR object on a display surface that displays an image captured in real space and displays it, and light placed in front of the user's eyes. In the transparent display surface, there is a type in which an AR object is displayed at a position on the display surface that overlaps with a predetermined position in the real space that is visible to the user through the display surface. The image pickup display device 20 according to the present embodiment may be of any type, and functions as a device for superimposing and displaying an AR object on a real space.

撮像表示装置20は、CPU201(Central Processing Unit)、ROM(Read Only Memory)202、RAM(Random Access Memory)203、補助記憶装置204、通信IF205、撮像部206、表示部207及び操作部208を有する。 The image pickup display device 20 includes a CPU 201 (Central Processing Unit), a ROM (Read Only Memory) 202, a RAM (Random Access Memory) 203, an auxiliary storage device 204, a communication IF 205, an image pickup unit 206, a display unit 207, and an operation unit 208. ..

CPU201は、各種の演算を行うプロセッサである。ROM202は、例えば撮像表示装置20の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。RAM203は、CPU201がプログラムを実行する際のワークエリアとして機能する揮発性メモリである。補助記憶装置204は、例えばHDD(Hard Disk Drive)又はSSD(Solid State Drive)などの不揮発性の記憶装置であり、撮像表示装置20において用いられるプログラム及びデータを記憶する。CPU201がこのプログラムを実行することにより撮像表示装置20はコンピュータ装置として機能し、後述する図5に示される機能が実現される。通信IF205は、所定の通信規格に従ってネットワーク90を介した通信を行うためのインターフェースである。この通信規格は、無線通信の規格であってもよいし、有線通信の規格であってもよい。無線の場合、通信IF205は、例えばLTE(Long Term Evolution)又はWi-Fi(登録商標)等の通信規格で動作するアンテナ及び通信回路を備えている。撮像部206はレンズ及び光学素子を含み、撮像した画像を示す撮像画像データを生成する。表示部207は、例えば液晶パネル及び液晶駆動回路などを含み、画像データに応じた画像を表示する。操作部208は、例えばキーやタッチセンサなどの操作子を含み、ユーザの操作を受け付けてその操作に応じた信号をCPU201に供給する。なお、撮像表示装置20は、図2に例示した構成以外に、例えばGPS(Global Positioning System)ユニットや音声入出力部などの他の構成を含んでいてもよい。 The CPU 201 is a processor that performs various operations. The ROM 202 is a non-volatile memory that stores, for example, a program and data used for starting the image pickup display device 20. The RAM 203 is a volatile memory that functions as a work area when the CPU 201 executes a program. The auxiliary storage device 204 is a non-volatile storage device such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores programs and data used in the image pickup display device 20. When the CPU 201 executes this program, the image pickup display device 20 functions as a computer device, and the function shown in FIG. 5 described later is realized. The communication IF 205 is an interface for performing communication via the network 90 in accordance with a predetermined communication standard. This communication standard may be a wireless communication standard or a wired communication standard. In the case of wireless, the communication IF 205 includes an antenna and a communication circuit that operate according to a communication standard such as LTE (Long Term Evolution) or Wi-Fi (registered trademark). The image pickup unit 206 includes a lens and an optical element, and generates captured image data indicating the captured image. The display unit 207 includes, for example, a liquid crystal panel and a liquid crystal drive circuit, and displays an image corresponding to the image data. The operation unit 208 includes an operator such as a key or a touch sensor, receives an operation of the user, and supplies a signal corresponding to the operation to the CPU 201. In addition to the configuration illustrated in FIG. 2, the image pickup display device 20 may include other configurations such as a GPS (Global Positioning System) unit and an audio input / output unit.

図3は、情報処理装置10のハードウェア構成を例示する図である。情報処理装置10は、CPU101、ROM102、RAM103、補助記憶装置104、及び通信IF105を有するコンピュータ装置である。CPU101は、各種の演算を行うプロセッサである。ROM102は、例えば情報処理装置10の起動に用いられるプログラム及びデータを記憶した不揮発性メモリである。RAM103は、CPU101がプログラムを実行する際のワークエリアとして機能する揮発性メモリある。補助記憶装置104は、例えばHDD又はSSDなどの不揮発性の記憶装置であり、情報処理装置10において用いられるプログラム及びデータを記憶する。CPU101がこのプログラムを実行することにより、後述する図5に示される機能が実現される。通信IF105は、所定の通信規格に従ってネットワーク90を介した通信を行うためのインターフェースである。情報処理装置10は、図3に例示した構成以外に、例えば表示部や操作部などの他の構成を含んでいてもよい。 FIG. 3 is a diagram illustrating a hardware configuration of the information processing apparatus 10. The information processing device 10 is a computer device having a CPU 101, a ROM 102, a RAM 103, an auxiliary storage device 104, and a communication IF 105. The CPU 101 is a processor that performs various operations. The ROM 102 is a non-volatile memory that stores, for example, a program and data used for starting the information processing apparatus 10. The RAM 103 is a volatile memory that functions as a work area when the CPU 101 executes a program. The auxiliary storage device 104 is a non-volatile storage device such as an HDD or SSD, and stores programs and data used in the information processing device 10. When the CPU 101 executes this program, the function shown in FIG. 5 described later is realized. The communication IF 105 is an interface for performing communication via the network 90 in accordance with a predetermined communication standard. The information processing apparatus 10 may include other configurations such as a display unit and an operation unit in addition to the configurations illustrated in FIG.

補助記憶装置104は、図4に例示するようなデータベース(以下、データベースをDBと省略する)を記憶している。このDBは、ARオブジェクトとして現実世界に重畳表示される情報と、その情報を表示するときに満たされるべき表示条件とを含む。より具体的には、このDBにおいては、ユーザ(前述した第1のユーザ及び第2のユーザを含む)を識別するためのユーザIDと、そのユーザに関する情報(ARオブジェクト)と、その情報を表示するときに満たされるべき表示条件とが対応付けられている。なお、表示条件が「-」という表記になっている場合には、その表示条件が無いということを意味している。 The auxiliary storage device 104 stores a database as illustrated in FIG. 4 (hereinafter, the database is abbreviated as DB). This DB includes information superimposed and displayed in the real world as an AR object, and display conditions to be satisfied when displaying the information. More specifically, in this DB, a user ID for identifying a user (including the first user and the second user described above), information about the user (AR object), and the information are displayed. It is associated with the display conditions that should be satisfied when doing so. If the display condition is written as "-", it means that there is no display condition.

図4の例では、例えばユーザID「U01」のユーザの趣味には、趣味1:クライミングと趣味2:歌舞伎鑑賞とがある。このユーザを、撮像された第1のユーザとした場合、趣味1:クライミングという情報を表示する表示条件は、その趣味1であるクライミングと、その情報を参照するユーザ(第2のユーザ)の趣味とが類似していることである。つまり、クライミングに類似する趣味(例えば登山やボルダリング等)を持つ第2のユーザが、ユーザID「U01」の第1のユーザを撮像したときに、第2のユーザの撮像表示装置20において、その第1のユーザ近傍の位置に趣味がクライミングであることが重畳表示されることになる。同様に、ユーザID「U01」のユーザ(第1のユーザ)の趣味2:歌舞伎鑑賞についての表示条件は、撮像場所が歌舞伎演舞場の300m以内であるから、歌舞伎演舞場の300m以内の場所で第2のユーザが第1のユーザを撮像したときに、第1のユーザの趣味が歌舞伎鑑賞であることが第2のユーザの撮像表示装置20において第1のユーザ近傍の位置に重畳表示されることになる。 In the example of FIG. 4, for example, the hobbies of the user with the user ID "U01" include hobby 1: climbing and hobby 2: Kabuki appreciation. When this user is the first user who has been imaged, the display condition for displaying the information of hobby 1: climbing is the hobby of climbing which is the hobby 1 and the hobby of the user (second user) who refers to the information. Is similar to. That is, when a second user having a hobby similar to climbing (for example, mountain climbing, bouldering, etc.) captures the first user with the user ID "U01", the second user's imaging display device 20 captures the image. The fact that the hobby is climbing is superimposed and displayed at a position near the first user. Similarly, the hobby of the user with the user ID "U01" (first user) 2: The display condition for watching Kabuki is within 300 m of the Kabuki performance hall because the imaging location is within 300 m of the Kabuki performance hall. When the second user images the first user at the location of, the hobby of the first user is watching Kabuki at a position near the first user in the image pickup display device 20 of the second user. It will be displayed in a superimposed manner.

また、第1のユーザがSNSに投稿した最新の内容についての表示条件は、第1のユーザと第2のユーザとが同じSNSにおいて所定の関係(例えば相互に“友達の友達”という関係であること)になっていることである。よって、このような関係にある場合に第2のユーザが第1のユーザを撮像したときに、第1のユーザによるSNSへの最新の投稿内容が、第2のユーザの撮像表示装置20において第1のユーザ近傍の位置に重畳表示されることになる。 Further, the display condition for the latest content posted on the SNS by the first user is that the first user and the second user have a predetermined relationship (for example, a mutual "friend of a friend") in the same SNS. That). Therefore, in such a relationship, when the second user images the first user, the latest content posted to the SNS by the first user is the second user's image pickup display device 20. It will be superimposed and displayed at the position near the user of 1.

表示条件には、撮像場所に関する条件と、撮像時期に関する条件と、第2のユーザに関する条件とがあり、これらのうち少なくともいずれか1つがARオブジェクトとしての1つの情報に対応する表示条件として決められている。この表示条件の内容については、例えば第1のユーザが事前に申告することによってその内容が指定され、図4に例示したようなDBに登録される。 The display conditions include a condition relating to the imaging location, a condition relating to the imaging timing, and a condition relating to the second user, and at least one of these is determined as a display condition corresponding to one piece of information as an AR object. ing. The content of this display condition is specified, for example, by the first user reporting in advance, and is registered in the DB as illustrated in FIG.

図5は、情報処理システム1の機能構成の一例を示すブロック図である。図5に示すように、撮像表示装置20においては、画像を撮像する撮像部21と、情報処理装置10による制御の下で画像データに応じた画像を表示する表示部22という機能が実現される。 FIG. 5 is a block diagram showing an example of the functional configuration of the information processing system 1. As shown in FIG. 5, in the image pickup display device 20, the functions of the image pickup unit 21 that captures an image and the display unit 22 that displays an image according to the image data under the control of the information processing device 10 are realized. ..

情報処理装置10においては、第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部11と、撮像画像に含まれる第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部12と、抽出部12によって抽出された情報を、第1のユーザを含む現実空間に所定期間にわたって重畳表示させる表示制御部13という機能が実現される。抽出部12は、前述したデータベースを記憶する記憶部121を含む。上記の表示条件とは、撮像が行われた場所に関する条件、撮像が行われた時期に関する条件、又は、表示制御部13により重畳表示される情報を参照する第2のユーザに関する条件を含む。 In the information processing apparatus 10, information according to display conditions is extracted from an acquisition unit 11 that acquires an image captured in a real space including a first user and a group of information about the first user included in the image. A function called a display control unit 13 is realized, in which the extraction unit 12 and the information extracted by the extraction unit 12 are superimposed and displayed in the real space including the first user for a predetermined period. The extraction unit 12 includes a storage unit 121 that stores the above-mentioned database. The above-mentioned display condition includes a condition regarding a place where an image is taken, a condition regarding a time when an image is taken, or a condition regarding a second user who refers to information superimposed and displayed by the display control unit 13.

撮像表示装置20において、撮像部21はハードウェアとしての撮像部206及び通信IF205によって実現され、表示部22はハードウェアとしての表示部207によって実現される。情報処理装置10において、取得部11はハードウェアとしての通信IF105によって実現され、抽出部12はハードウェアとしてのCPU101及び補助記憶装置104によって実現され、表示制御部13はハードウェアとしてのCPU101及び通信IF105によって実現される。 In the image pickup display device 20, the image pickup unit 21 is realized by the image pickup unit 206 as hardware and the communication IF 205, and the display unit 22 is realized by the display unit 207 as hardware. In the information processing apparatus 10, the acquisition unit 11 is realized by the communication IF 105 as hardware, the extraction unit 12 is realized by the CPU 101 as hardware and the auxiliary storage device 104, and the display control unit 13 communicates with the CPU 101 as hardware. It is realized by IF105.

[動作]
図6を参照して、情報処理システム1の動作例について説明する。第2のユーザは、撮像表示装置20-2を操作して、自身の周囲の撮像を開始する(ステップS11)。このとき、撮像表示装置20-2によって、撮像表示装置20-1を使用する第1のユーザが撮像されたとする。撮像表示装置20-2の撮像部21は、撮像した画像を示す撮像画像データと、第2のユーザのユーザIDとを情報処理装置10に送信する(ステップS12)。
[motion]
An operation example of the information processing system 1 will be described with reference to FIG. The second user operates the image pickup display device 20-2 to start imaging around himself (step S11). At this time, it is assumed that the first user who uses the image pickup display device 20-1 is imaged by the image pickup display device 20-2. The imaging unit 21 of the imaging display device 20-2 transmits the captured image data indicating the captured image and the user ID of the second user to the information processing device 10 (step S12).

情報処理装置10の取得部11は、上記の撮像画像データ及びユーザIDを取得する。抽出部12は、撮像画像データについて画像認識を行って、撮像画像に含まれる第1のユーザを特定する(ステップS13)。ユーザの特定に関しては、例えば撮像された第1のユーザの顔認識を行ってそのユーザを特定する方法であってもよいし、第1のユーザが使用している撮像表示装置20-1に付されている2次元コード等を復号してそのユーザを特定する方法であってもよい。前者の場合には、上述したDBに各ユーザの顔の特徴データが予め登録されており、抽出部12は、撮像画像に含まれる顔画像とDB内の特徴データとを照合して第1のユーザを特定する。また、後者の場合には、上述したDBに、各撮像表示装置20に付されたユーザIDが予め登録されており、抽出部12は、撮像画像に含まれる2次元コードを復号したユーザIDとDB内のユーザIDとを照合して第1のユーザを特定する。 The acquisition unit 11 of the information processing apparatus 10 acquires the captured image data and the user ID. The extraction unit 12 performs image recognition on the captured image data and identifies the first user included in the captured image (step S13). Regarding the identification of the user, for example, a method of identifying the user by recognizing the face of the first user who has been imaged may be used, or the image pickup display device 20-1 used by the first user may be used. It may be a method of specifying the user by decoding the two-dimensional code or the like. In the former case, the feature data of each user's face is registered in advance in the above-mentioned DB, and the extraction unit 12 collates the face image included in the captured image with the feature data in the DB and first. Identify the user. Further, in the latter case, the user ID attached to each image pickup display device 20 is registered in advance in the above-mentioned DB, and the extraction unit 12 together with the user ID obtained by decoding the two-dimensional code included in the image pickup image. The first user is specified by collating with the user ID in the DB.

次に、情報処理装置10の抽出部12は、表示条件の充足状態を判断して、充足された表示条件に応じた情報を抽出する(ステップS14)。図4の例で説明すると、第1のユーザのユーザIDが「U01」である場合、その第1のユーザの趣味はクライミングであり、表示条件はその趣味であるクライミングと、その情報を参照するユーザ(第2のユーザ)の趣味とが類似していることであるから、抽出部12は、DBにおいて第2のユーザの趣味を検索し、その趣味がクライミングに類似しているか否かを判断する。 Next, the extraction unit 12 of the information processing apparatus 10 determines the satisfaction state of the display condition, and extracts the information corresponding to the satisfied display condition (step S14). Explaining with the example of FIG. 4, when the user ID of the first user is "U01", the hobby of the first user is climbing, and the display condition refers to the hobby climbing and its information. Since the hobbies of the user (second user) are similar, the extraction unit 12 searches the hobby of the second user in the DB and determines whether or not the hobby is similar to climbing. do.

情報処理装置10の表示制御部13は、抽出した情報を用いて、撮像表示装置20-2において現実空間に重畳表示させるARオブジェクトを生成する(ステップS15)。上記の例の場合、表示制御部13は、DBから「趣味1:クライミング」という情報を読み出し、この情報に応じた画像(例えばクライミングを意味するアイコン画像やクライミングというメッセージ)を生成したりするなどの加工を行うことで、ARオブジェクトを生成する。ここで生成されるARオブジェクトと、ステップS14にて抽出された情報とは、実質的には同じ意味を持つものである。 The display control unit 13 of the information processing apparatus 10 uses the extracted information to generate an AR object to be superimposed and displayed in the real space in the image pickup display apparatus 20-2 (step S15). In the case of the above example, the display control unit 13 reads the information "hobby 1: climbing" from the DB and generates an image corresponding to this information (for example, an icon image meaning climbing or a message saying climbing). AR object is generated by processing. The AR object generated here and the information extracted in step S14 have substantially the same meaning.

そして、表示制御部13は、生成したARオブジェクトを、その表示位置(例えば撮像表示装置20-2の表示領域において第1のユーザに重なる位置)を指定して撮像表示装置20-2に送信する(ステップS16)。これにより、撮像表示装置20-2において、抽出部12によって抽出された情報を、第1のユーザを含む現実空間に重畳表示させる表示制御がなされることになる。 Then, the display control unit 13 designates the display position (for example, the position overlapping with the first user in the display area of the image pickup display device 20-2) and transmits the generated AR object to the image pickup display device 20-2. (Step S16). As a result, in the image pickup display device 20-2, display control is performed so that the information extracted by the extraction unit 12 is superimposed and displayed in the real space including the first user.

撮像表示装置20-2の表示部22は、情報処理装置10の表示制御部13による制御に従い、ARオブジェクトを指定された現実空間内の第1のユーザの位置に重畳して表示する(ステップS17)。これにより、例えばユーザの眼の前に配置された光透過型の表示面において、ユーザから表示面を介して見える現実空間内の第1のユーザの位置に重なる表示面上の位置にARオブジェクトが表示される。ユーザはこのARオブジェクトを見て、第1のユーザに関する情報を知ることができる。このようにして、撮像されたユーザに関する情報群のうち適切な情報が現実世界に重畳して表示される。情報処理装置10の表示制御部13は、ARオブジェクトを所定期間にわたって重畳表示させ、ステップS16の時点からその所定期間が経過すると撮像表示装置20-2に指示してARオブジェクトの表示を停止させる(ステップS18)。 The display unit 22 of the image pickup display device 20-2 superimposes and displays the AR object on the position of the first user in the designated real space according to the control by the display control unit 13 of the information processing device 10 (step S17). ). As a result, for example, on a light-transmitting display surface arranged in front of the user's eyes, the AR object is placed at a position on the display surface that overlaps with the position of the first user in the real space that can be seen from the user through the display surface. Is displayed. The user can see the AR object and know the information about the first user. In this way, appropriate information from the captured information group about the user is superimposed and displayed on the real world. The display control unit 13 of the information processing apparatus 10 superimposes and displays the AR object over a predetermined period, and when the predetermined period elapses from the time of step S16, instructs the imaging display device 20-2 to stop the display of the AR object (the display of the AR object is stopped). Step S18).

[変形例]
本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の2つ以上の変形例を組み合わせて実施してもよい。
[変形例1]
表示制御部13は、抽出部12によって抽出された情報を、第1のユーザを含む現実空間に重畳表示させるが、このときの表示期間を次のようにしてもよい。例えば第2のユーザによって情報(ARオブジェクト)が閲覧されると、その情報を消去してもよい。つまり、表示制御部13は、重畳表示した情報が第2のユーザによって参照された後は、当該情報の重畳表示を行わない。具体的には、撮像表示装置20-2は、第2のユーザの視線を追尾する構成を備えており、その視線により情報が閲覧されたと判断されると、情報処理装置10にその旨を通知する。この通知に応じて、情報処理装置10の表示制御部13は、撮像表示装置20-2に指示してARオブジェクトの表示を停止させる。
[Modification example]
The present invention is not limited to the embodiments described above. The above-described embodiment may be modified as follows. Further, the following two or more modified examples may be combined and carried out.
[Modification 1]
The display control unit 13 superimposes and displays the information extracted by the extraction unit 12 in the real space including the first user, and the display period at this time may be as follows. For example, when the information (AR object) is viewed by a second user, the information may be deleted. That is, the display control unit 13 does not perform superimposed display of the superimposed display information after the superimposed display information is referred to by the second user. Specifically, the image pickup display device 20-2 has a configuration for tracking the line of sight of the second user, and when it is determined that the information has been viewed by the line of sight, the information processing device 10 is notified to that effect. do. In response to this notification, the display control unit 13 of the information processing device 10 instructs the image pickup display device 20-2 to stop the display of the AR object.

また、表示期間は情報の種類に応じた期間であってもよい。つまり、表示制御部13は、抽出部12によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させる。例えば、図4に例示した情報群のうち、趣味については1分間表示し、最新のSNSの投稿については30秒表示するといった具合である。また、第1のユーザと第2のユーザの趣味が類似する場合にその趣味を表示する場合、表示制御部13は、両者の趣味の類似度が高いほど表示期間を長くしてもよい。 Further, the display period may be a period according to the type of information. That is, the display control unit 13 superimposes and displays the information extracted by the extraction unit 12 over a period corresponding to the type of the information. For example, among the information groups illustrated in FIG. 4, hobbies are displayed for 1 minute, and the latest SNS posts are displayed for 30 seconds. Further, when displaying the hobbies of the first user and the second user when the hobbies are similar, the display control unit 13 may lengthen the display period as the degree of similarity between the hobbies is higher.

また、表示期間が表示条件に応じた期間であってもよい。つまり、表示制御部13は、抽出部12によって抽出された情報を、表示条件に応じた期間にわたって重畳表示させる。例えば、図4に例示した情報群のうち、撮像場所に関する条件を満たすことで表示する情報はAという表示期間にわたって表示し、撮像時期に関する条件を満たすことで表示する情報はBという表示期間にわたって表示し、第2のユーザに関する条件を満たすことで表示する情報はCという表示期間にわたって表示するといった具合である。 Further, the display period may be a period according to the display conditions. That is, the display control unit 13 superimposes and displays the information extracted by the extraction unit 12 over a period corresponding to the display conditions. For example, among the information groups exemplified in FIG. 4, the information displayed by satisfying the condition regarding the imaging location is displayed over the display period A, and the information displayed by satisfying the condition regarding the imaging timing is displayed over the display period B. However, the information to be displayed by satisfying the condition regarding the second user is displayed over the display period of C.

[変形例2]
ARオブジェクトとして表示される情報は、図4の例示に限定されず、第1のユーザに関する情報であれば、どのようなものであってもよい。
また、表示条件は、図4の例示に限定されず、第1のユーザを撮像する撮像時又は第2のユーザに対して表示される表示時に満たされるべき条件であれば、どのようなものであってもよい。
[Modification 2]
The information displayed as the AR object is not limited to the example of FIG. 4, and may be any information as long as it is information about the first user.
Further, the display condition is not limited to the example of FIG. 4, and any condition should be satisfied at the time of imaging for photographing the first user or at the time of display displayed to the second user. There may be.

[そのほかの変形例]
上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック(構成部)は、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。例えば、情報処理装置10の機能の少なくとも一部が撮像表示装置20に実装されてもよい。情報処理装置10の機能の全部が撮像表示装置20に実装された場合、撮像表示装置20が本発明に係る情報処理装置として機能する。
[Other variants]
The block diagram used in the description of the above embodiment shows a block of functional units. These functional blocks (components) are realized by any combination of hardware and / or software. Further, the means for realizing each functional block is not particularly limited. That is, each functional block may be realized by one physically and / or logically coupled device, or directly and / or indirectly by two or more physically and / or logically separated devices. (For example, wired and / or wireless) may be connected and realized by these plurality of devices. For example, at least a part of the functions of the information processing device 10 may be mounted on the image pickup display device 20. When all the functions of the information processing device 10 are mounted on the image pickup display device 20, the image pickup display device 20 functions as the information processing device according to the present invention.

本明細書で説明した各態様/実施形態は、LTE(Long Term Evolution)、LTE-A(LTE-Advanced)、SUPER 3G、IMT-Advanced、4G、5G、FRA(Future Radio Access)、W-CDMA(登録商標)、GSM(登録商標)、CDMA2000、UMB(Ultra Mobile Broadband)、IEEE 802.11(Wi-Fi)、IEEE 802.16(WiMAX)、IEEE 802.20、UWB(Ultra-WideBand)、Bluetooth(登録商標)、その他の適切なシステムを利用するシステム及び/又はこれらに基づいて拡張された次世代システムに適用されてもよい。 Each aspect / embodiment described herein includes LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA. (Registered Trademarks), GSM (Registered Trademarks), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-WideBand), It may be applied to Bluetooth®, other systems that utilize suitable systems and / or next-generation systems that are extended based on them.

本明細書で説明した各態様/実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
本明細書で説明した各態様/実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知(例えば、「Xであること」の通知)は、明示的に行うものに限られず、暗黙的(例えば、その所定の情報の通知を行わない)ことによって行われてもよい。
The processing procedures, sequences, flowcharts, and the like of each aspect / embodiment described in the present specification may be rearranged in order as long as there is no contradiction. For example, the methods described herein present elements of various steps in an exemplary order and are not limited to the particular order presented.
Each aspect / embodiment described in the present specification may be used alone, in combination, or may be switched and used according to the execution. Further, the notification of predetermined information (for example, the notification of "being X") is not limited to the explicit one, but is performed implicitly (for example, the notification of the predetermined information is not performed). May be good.

本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。 The terms "system" and "network" used herein are used interchangeably.

本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。 The information or parameters described herein may be represented by absolute values, relative values from a given value, or other corresponding information. For example, the radio resource may be indexed.

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル(例えば、PUCCH、PDCCHなど)及び情報要素(例えば、TPCなど)は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。 The names used for the parameters described above are not limited in any way. Further, mathematical formulas and the like using these parameters may differ from those expressly disclosed herein. Since the various channels (eg, PUCCH, PDCCH, etc.) and information elements (eg, TPC, etc.) can be identified by any suitable name, the various names assigned to these various channels and information elements are in any respect. However, it is not limited.

本明細書で使用する「判定(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)(例えば、テーブル、データベース又は別のデータ構造での探索)、確認(ascertaining) した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信(receiving) (例えば、情報を受信すること)、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)(例えば、メモリ中のデータにアクセスすること)した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。 As used herein, the terms "determining" and "determining" may include a wide variety of actions. "Judgment" and "decision" are, for example, judgment, calculation, computing, processing, deriving, investigating, looking up (for example, table). , Searching in a database or another data structure), ascertaining can be regarded as "judgment" or "decision". Further, "judgment" and "decision" are receiving (for example, receiving information), transmitting (for example, transmitting information), input (input), output (output), and access. (Accessing) (for example, accessing data in memory) may be regarded as "determination" or "decision". In addition, "judgment" and "decision" are considered to be "judgment" and "decision" when they are resolved, selected, selected, established, and compared. Can include. That is, the "judgment" and "decision" may include the fact that some operation is regarded as "judgment" and "decision".

本発明は、情報処理システム1において行われる処理のステップを備える情報処理方法として提供されてもよい。また、本発明は、撮像表示装置20又は情報処理装置10において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。 The present invention may be provided as an information processing method including steps of processing performed in the information processing system 1. Further, the present invention may be provided as a program executed by the image pickup display device 20 or the information processing device 10. Such a program may be provided in the form of being recorded on a recording medium such as an optical disk, or may be provided in the form of being downloaded to a computer via a network such as the Internet and installed and made available. It is possible.

ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線(DSL)などの有線技術及び/又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び/又は無線技術は、伝送媒体の定義内に含まれる。 Software, instructions, etc. may be transmitted and received via a transmission medium. For example, the software may use wired technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or wireless technology such as infrared, wireless and microwave to website, server, or other. When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。 The information, signals, etc. described herein may be represented using any of a variety of different techniques. For example, data, instructions, commands, information, signals, bits, symbols, chips, etc. that may be referred to throughout the above description are voltages, currents, electromagnetic waves, magnetic fields or magnetic particles, light fields or photons, or any of these. It may be represented by a combination of.

本明細書で説明した用語及び/又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び/又はシンボルは信号(シグナル)であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア(CC)は、キャリア周波数、セルなどと呼ばれてもよい。 The terms described herein and / or the terms necessary for understanding the present specification may be replaced with terms having the same or similar meanings. For example, the channel and / or symbol may be a signal. Also, the signal may be a message. Further, the component carrier (CC) may be referred to as a carrier frequency, a cell, or the like.

本明細書で使用する「第1」、「第2」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、2つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第1及び第2要素への参照は、2つの要素のみがそこで採用され得ること、又は何らかの形で第1要素が第2要素に先行しなければならないことを意味しない。 Any reference to elements using designations such as "first", "second" as used herein does not generally limit the quantity or order of those elements. These designations can be used herein as a convenient way to distinguish between two or more elements. Therefore, references to the first and second elements do not mean that only two elements can be adopted there, or that the first element must somehow precede the second element.

上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。 The "means" in the configuration of each of the above devices may be replaced with a "part", a "circuit", a "device" and the like.

「含む(including)」、「含んでいる(comprising)」、及びそれらの変形が、本明細書或いは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書或いは特許請求の範囲において使用されている用語「又は(or)」は、排他的論理和ではないことが意図される。 As long as "inclusion", "comprising", and variations thereof are used herein or within the scope of the claims, these terms are as comprehensive as the term "comprising". Intended to be targeted. Furthermore, the term "or" as used herein or in the claims is intended to be non-exclusive.

本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。 Throughout this disclosure, if articles are added by translation, for example, a, an, and the in English, these articles are not explicitly indicated by the context to be otherwise. It shall include more than one.

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。 Although the present invention has been described in detail above, it is clear to those skilled in the art that the present invention is not limited to the embodiments described in the present specification. The present invention can be implemented as modifications and modifications without departing from the spirit and scope of the present invention as determined by the description of the scope of claims. Therefore, the description of the present specification is for the purpose of exemplary explanation and does not have any limiting meaning to the present invention.

1…情報処理システム、10…情報処理装置、11…取得部、12…抽出部、121…記憶部、13…表示制御部、20…撮像表示装置、21…撮像部、22…表示部、90…ネットワーク、101…CPU、102…RAM、103…ROM、104…補助記憶装置、105…通信IF、201…CPU、202…RAM、203…ROM、204…補助記憶装置、205…通信IF、206…撮像部、207…表示部、208…操作部。 1 ... Information processing system, 10 ... Information processing device, 11 ... Acquisition unit, 12 ... Extraction unit, 121 ... Storage unit, 13 ... Display control unit, 20 ... Image pickup display device, 21 ... Image pickup unit, 22 ... Display unit, 90 ... Network, 101 ... CPU, 102 ... RAM, 103 ... ROM, 104 ... Auxiliary storage device, 105 ... Communication IF, 201 ... CPU, 202 ... RAM, 203 ... ROM, 204 ... Auxiliary storage device, 205 ... Communication IF, 206 ... Imaging unit, 207 ... Display unit, 208 ... Operation unit.

Claims (8)

第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部とを備え
前記抽出部は、
前記第1のユーザに関する情報の各々に対応付けて、前記撮像が行われた場所に関する条件を前記表示条件として記憶する記憶部を備え、
前記記憶部に記憶されている前記第1のユーザに関する情報群から、前記撮像が行われた場所が満たす前記表示条件に対応付けられた前記情報を抽出する
ことを特徴とする情報処理装置。
An acquisition unit that acquires an image captured in a real space including a first user, and an acquisition unit.
An extraction unit that extracts information according to display conditions from the information group regarding the first user included in the captured image, and an extraction unit.
It is provided with a display control unit that superimposes and displays the information extracted by the extraction unit in the real space including the first user .
The extraction unit
A storage unit is provided that stores the condition relating to the place where the imaging is performed as the display condition in association with each of the information relating to the first user.
From the information group about the first user stored in the storage unit, the information associated with the display condition satisfied by the place where the imaging is performed is extracted.
An information processing device characterized by this.
第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部とを備え、
前記抽出部は、
前記第1のユーザに関する情報の各々に対応付けて、前記撮像が行われた時期に関する条件を前記表示条件として記憶する記憶部を備え、
前記記憶部に記憶されている前記第1のユーザに関する情報群から、前記撮像が行われた時期が満たす前記表示条件に対応付けられた前記情報を抽出する
ことを特徴とする情報処理装置。
An acquisition unit that acquires an image captured in a real space including a first user, and an acquisition unit.
An extraction unit that extracts information according to display conditions from the information group regarding the first user included in the captured image, and an extraction unit.
It is provided with a display control unit that superimposes and displays the information extracted by the extraction unit in the real space including the first user.
The extraction unit
A storage unit is provided that stores the condition relating to the time when the imaging is performed as the display condition in association with each of the information relating to the first user.
From the information group about the first user stored in the storage unit, the information associated with the display condition satisfied by the time when the imaging is performed is extracted.
An information processing device characterized by this .
第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部とを備え、
前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第1のユーザと前記表示制御部により重畳表示される前記情報を参照する第2のユーザとの関係に関する条件を含み、
前記表示制御部は、前記抽出部によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させる
ことを特徴とする情報処理装置。
An acquisition unit that acquires an image captured in a real space including a first user, and an acquisition unit.
An extraction unit that extracts information according to display conditions from the information group regarding the first user included in the captured image, and an extraction unit.
It is provided with a display control unit that superimposes and displays the information extracted by the extraction unit in the real space including the first user.
The display condition refers to a condition relating to the place where the imaging was performed, a condition relating to the time when the imaging was performed, and the information superimposed and displayed by the first user and the display control unit. Including conditions related to user relationships
The display control unit superimposes and displays the information extracted by the extraction unit over a period corresponding to the type of the information.
An information processing device characterized by this .
第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部とを備え、
前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第1のユーザと前記表示制御部により重畳表示される前記情報を参照する第2のユーザとの関係に関する条件を含み、
前記表示制御部は、前記抽出部によって抽出された情報を、当該情報に対応する前記表示条件に応じた期間にわたって重畳表示させる
ことを特徴とする情報処理装置。
An acquisition unit that acquires an image captured in a real space including a first user, and an acquisition unit.
An extraction unit that extracts information according to display conditions from the information group regarding the first user included in the captured image, and an extraction unit.
It is provided with a display control unit that superimposes and displays the information extracted by the extraction unit in the real space including the first user.
The display condition refers to a condition relating to the place where the imaging was performed, a condition relating to the time when the imaging was performed, and the information superimposed and displayed by the first user and the display control unit. Including conditions related to user relationships
The display control unit superimposes and displays the information extracted by the extraction unit over a period corresponding to the display conditions corresponding to the information.
An information processing device characterized by this .
コンピュータを、Computer,
第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、An acquisition unit that acquires an image captured in a real space including a first user, and an acquisition unit.
前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、An extraction unit that extracts information according to display conditions from the information group regarding the first user included in the captured image, and an extraction unit.
前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、The information extracted by the extraction unit is made to function as a display control unit to be superimposed and displayed in the real space including the first user.
前記抽出部は、The extraction unit
前記第1のユーザに関する情報の各々に対応付けて、前記撮像が行われた場所に関する条件を前記表示条件として記憶する記憶部を備え、A storage unit is provided that stores the condition relating to the place where the imaging is performed as the display condition in association with each of the information relating to the first user.
前記記憶部に記憶されている前記第1のユーザに関する情報群から、前記撮像が行われた場所が満たす前記表示条件に対応付けられた前記情報を抽出するFrom the information group about the first user stored in the storage unit, the information associated with the display condition satisfied by the place where the imaging is performed is extracted.
プログラム。program.
コンピュータを、Computer,
第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、An acquisition unit that acquires an image captured in a real space including a first user, and an acquisition unit.
前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、An extraction unit that extracts information according to display conditions from the information group regarding the first user included in the captured image, and an extraction unit.
前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、The information extracted by the extraction unit is made to function as a display control unit to be superimposed and displayed in the real space including the first user.
前記抽出部は、The extraction unit
前記第1のユーザに関する情報の各々に対応付けて、前記撮像が行われた時期に関する条件を前記表示条件として記憶する記憶部を備え、A storage unit is provided that stores the condition relating to the time when the imaging is performed as the display condition in association with each of the information relating to the first user.
前記記憶部に記憶されている前記第1のユーザに関する情報群から、前記撮像が行われた時期が満たす前記表示条件に対応付けられた前記情報を抽出するFrom the information group about the first user stored in the storage unit, the information associated with the display condition satisfied by the time when the imaging is performed is extracted.
プログラム。program.
コンピュータを、
第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、
前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、
前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、
前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第1のユーザと前記表示制御部により重畳表示される前記情報を参照する第2のユーザとの関係に関する条件を含み、
前記表示制御部は、前記抽出部によって抽出された情報を、当該情報の種類に応じた期間にわたって重畳表示させる
プログラム。
Computer,
An acquisition unit that acquires an image captured in a real space including a first user, and an acquisition unit.
An extraction unit that extracts information according to display conditions from the information group regarding the first user included in the captured image, and an extraction unit.
The information extracted by the extraction unit is made to function as a display control unit to be superimposed and displayed in the real space including the first user.
The display condition refers to a condition relating to the place where the imaging was performed, a condition relating to the time when the imaging was performed, and the information superimposed and displayed by the first user and the display control unit. Including conditions related to user relationships
The display control unit superimposes and displays the information extracted by the extraction unit over a period corresponding to the type of the information.
program.
コンピュータを、Computer,
第1のユーザを含む現実空間を撮像した撮像画像を取得する取得部と、An acquisition unit that acquires an image captured in a real space including a first user, and an acquisition unit.
前記撮像画像に含まれる前記第1のユーザに関する情報群から表示条件に応じた情報を抽出する抽出部と、An extraction unit that extracts information according to display conditions from the information group regarding the first user included in the captured image, and an extraction unit.
前記抽出部によって抽出された情報を、前記第1のユーザを含む現実空間に重畳表示させる表示制御部として機能させ、The information extracted by the extraction unit is made to function as a display control unit to be superimposed and displayed in the real space including the first user.
前記表示条件は、前記撮像が行われた場所に関する条件、前記撮像が行われた時期に関する条件、及び、前記第1のユーザと前記表示制御部により重畳表示される前記情報を参照する第2のユーザとの関係に関する条件を含み、The display condition refers to a condition relating to the place where the imaging was performed, a condition relating to the time when the imaging was performed, and the information superimposed and displayed by the first user and the display control unit. Including conditions related to user relationships
前記表示制御部は、前記抽出部によって抽出された情報を、当該情報に対応する前記表示条件に応じた期間にわたって重畳表示させるThe display control unit superimposes and displays the information extracted by the extraction unit over a period corresponding to the display conditions corresponding to the information.
プログラム。program.
JP2017209451A 2017-10-30 2017-10-30 Information processing equipment and programs Active JP7011447B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017209451A JP7011447B2 (en) 2017-10-30 2017-10-30 Information processing equipment and programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017209451A JP7011447B2 (en) 2017-10-30 2017-10-30 Information processing equipment and programs

Publications (2)

Publication Number Publication Date
JP2019082825A JP2019082825A (en) 2019-05-30
JP7011447B2 true JP7011447B2 (en) 2022-01-26

Family

ID=66671158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017209451A Active JP7011447B2 (en) 2017-10-30 2017-10-30 Information processing equipment and programs

Country Status (1)

Country Link
JP (1) JP7011447B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011155639A (en) 2009-12-28 2011-08-11 Panasonic Corp Imaging apparatus
JP2013054494A (en) 2011-09-02 2013-03-21 Sony Corp Information processing apparatus, information processing method, program, recording medium, and information processing system
JP2014035642A (en) 2012-08-08 2014-02-24 Canon Inc Display device, control method therefor, display system, and program
JP2016057827A (en) 2014-09-09 2016-04-21 キヤノン株式会社 Information processing system, control method thereof, and program
JP2017182340A (en) 2016-03-29 2017-10-05 ソニー株式会社 Information processing device, information processing method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011155639A (en) 2009-12-28 2011-08-11 Panasonic Corp Imaging apparatus
JP2013054494A (en) 2011-09-02 2013-03-21 Sony Corp Information processing apparatus, information processing method, program, recording medium, and information processing system
JP2014035642A (en) 2012-08-08 2014-02-24 Canon Inc Display device, control method therefor, display system, and program
JP2016057827A (en) 2014-09-09 2016-04-21 キヤノン株式会社 Information processing system, control method thereof, and program
JP2017182340A (en) 2016-03-29 2017-10-05 ソニー株式会社 Information processing device, information processing method, and program

Also Published As

Publication number Publication date
JP2019082825A (en) 2019-05-30

Similar Documents

Publication Publication Date Title
US11729252B2 (en) Content collection navigation and autoforwarding
CN108027827B (en) Coordinated communication and/or storage based on image analysis
US20190108389A1 (en) Face recognition based on spatial and temporal proximity
US20230010905A1 (en) Content collection navigation queue
US10171731B2 (en) Method and apparatus for image processing
CN104850213B (en) Wearable electronic device and information processing method for wearable electronic device
KR20180066026A (en) Apparatus and methods for face recognition and video analysis for identifying individuals in contextual video streams
KR20170019823A (en) Method for processing image and electronic device supporting the same
KR102657053B1 (en) Media collection navigation with opt-out interstitial
US20170070664A1 (en) Method for processing image and electronic apparatus therefor
JP7224442B2 (en) Method and apparatus for reducing false positives in face recognition
US10504560B2 (en) Electronic device and operation method thereof
JP6999516B2 (en) Information processing equipment
KR102386893B1 (en) Method for securing image data and electronic device implementing the same
US10448063B2 (en) System and method for perspective switching during video access
US9977793B2 (en) Information processing system, information processing method, and information processing apparatus
US20150269188A1 (en) Method and device for providing information using barcode
KR20170046496A (en) Electronic device having camera and image processing method of the same
US10038937B2 (en) Location-specific audio capture and correspondence to a video file
JP7011447B2 (en) Information processing equipment and programs
JP6204957B2 (en) Information processing apparatus, information processing method, and information processing program
US9438651B2 (en) Content display method, program, and content display system
US20150220614A1 (en) Information collection device, system, method and program
US11854580B2 (en) Methods and systems for enhancing user-generated content
KR20150071038A (en) Method for providing social network service using electronic device and electronic device implementing the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220114

R150 Certificate of patent or registration of utility model

Ref document number: 7011447

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150