JP5870929B2 - 情報処理システム、情報処理装置および情報処理方法 - Google Patents

情報処理システム、情報処理装置および情報処理方法 Download PDF

Info

Publication number
JP5870929B2
JP5870929B2 JP2012541709A JP2012541709A JP5870929B2 JP 5870929 B2 JP5870929 B2 JP 5870929B2 JP 2012541709 A JP2012541709 A JP 2012541709A JP 2012541709 A JP2012541709 A JP 2012541709A JP 5870929 B2 JP5870929 B2 JP 5870929B2
Authority
JP
Japan
Prior art keywords
information
information processing
camera
acquired
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012541709A
Other languages
English (en)
Other versions
JPWO2012060039A1 (ja
Inventor
謙一 北谷
謙一 北谷
石田　伸二郎
伸二郎 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2012541709A priority Critical patent/JP5870929B2/ja
Publication of JPWO2012060039A1 publication Critical patent/JPWO2012060039A1/ja
Application granted granted Critical
Publication of JP5870929B2 publication Critical patent/JP5870929B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Studio Devices (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は情報処理システム、および情報処理方法に関し、特にユーザが見ている物体等に関する情報を検索するための情報処理システム、および情報処理方法に関する。
近年、通信システム等の発達により、ユーザが知りたい情報を任意の場所で瞬時に検索することが可能となった。
特許文献１には、各ユーザの嗜好や、各ユーザの置かれている状況等に適合した情報を、各ユーザに対して見易い態様で提示できる通信システムに関する技術が開示されている。図２０は、特許文献１に開示されている通信システムを示すブロック図である。
図２０に示すように、特許文献１に開示されている通信システムは、携帯端末１００と情報記録配信装置３００とを備える。携帯端末１００は、合成表示部１０１と、撮影部１０３と、情報加工部１０５と、通信部１０７と、位置情報取得部１０９と、ユーザ行動情報取得部１１１と、提示情報選択部１１３とを備える。提示情報選択部１１３は、優先度分析部１１５と、表示評価部１１７と、提示情報判別／ 抽出部１１９とを備える。一方、情報記録配信装置３００は、通信部３２１と、情報記録部３２３と、配信用情報判別／抽出部３２５とを備える。
携帯端末１００の合成表示部１０１は、情報加工部１０５によって所定の加工が施された情報と、撮影部１０３によってリアルタイムで連続的に撮影されている画像情報（風景）とを合成処理した上で可視画像として表示することによりユーザに対して情報の提示を行う。合成表示部１０１は、合成部と表示部とによって構成される。
合成部は、情報加工部１０５からの情報と、撮影部１０３からの情報（即ち、撮影部３によってリアルタイムで連続的に撮影されている携帯端末１００の周囲の風景に係る画像情報）とを入力して、それらの情報を合成処理して表示部に出力する。表示部は、合成部からの合成処理された情報を入力して、該情報を可視画像として表示する。このようなプロセスを経ることによって、合成表示部１０１には、風景と所定の情報（つまり、テキスト情報）とが合成された画面がリアルタイムで連続的に表示され、ユーザによって視認される。
また、特許文献２には、目標物に関する詳細情報の入手を容易にすると共に、直感的に目標物を理解することを容易にする作業支援システムに関する技術が開示されている。特許文献３には、保存しておきたい情報をその場で登録し、評価点をその場で入力する携帯型の情報検索装置に関する技術が開示されている。
特許文献４には、運転者の視線方向に対応した情報をヘッドマウントディスプレイ装置に表示する技術が開示されている。特許文献５には、電子視覚装置及び方法に関し、特にナビゲーション、位置及び姿勢装置と組み合わせたイメージのオーグメンテーション（増補）に関する技術が開示されている。
特開２００４−３４３２８８号公報 特開２００１−３４６１５号公報 特開２０００−３３１００６号公報 特開２００４−２１９６６４号公報 特許第３７０００２１号公報
上述したように、特許文献１にかかる技術では、撮影部１０３によってリアルタイムで連続的に撮影されている携帯端末１００の周囲の画像情報（風景）と、所定の情報（テキスト情報）とが合成された画面がリアルタイムで連続的に表示され、ユーザによって視認される。
しかしながら、特許文献１にかかる技術では、リアルタイムで連続的に情報を表示しているため、通信システムの処理の負荷が増大するという問題がある。
よって、本発明の目的は、適切なタイミングでユーザにとって必要な情報を取得することが可能な情報処理システム、および情報処理方法を提供することである。
本発明にかかる情報処理システムは、携帯機器と情報処理装置とを備えた情報処理システムであって、前記携帯機器は、生体情報を取得するセンサと、ユーザの視野に対応した画像を取得するカメラと、前記情報処理装置と無線通信を行なう第１の通信手段と、を備え、前記情報処理装置は、前記携帯機器および公衆ネットワークと無線通信を行なう第２の通信手段と、演算手段と、を備え、前記第１の通信手段は、前記センサで取得した前記生体情報を前記情報処理装置に無線送信し、前記演算手段は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動するための命令を前記第２の通信手段を用いて前記携帯機器に送信し、前記カメラの起動後、前記第１の通信手段は、前記カメラで取得した画像を前記情報処理装置に無線送信し、前記演算手段は、取得した前記画像から特徴を抽出すると共に、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する。
本発明にかかる情報処理システムは、生体情報を取得するセンサと、ユーザの視野に対応した画像を取得するカメラと、公衆ネットワークと無線通信を行なう通信手段と、演算手段と、を備え、前記演算手段は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する。
本発明にかかる、生体情報を取得するセンサと、ユーザの視野に対応した画像を取得するカメラと、公衆ネットワークと無線通信を行なう通信手段と、を備える情報処理システムにおける情報処理方法は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得する。
本発明により、適切なタイミングでユーザにとって必要な情報を取得することが可能な情報処理システム、および情報処理方法を提供することができる。
実施の形態１にかかる情報処理システムを示すブロック図である。 実施の形態１にかかる情報処理システムの他の態様を示すブロック図である。 実施の形態１にかかる情報処理システムにおける処理を説明するためのフローチャートである。 実施の形態１にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態１にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態２にかかる情報処理システムにおける処理を説明するためのフローチャートである。 実施の形態３にかかる情報処理システムを示すブロック図である。 実施の形態３にかかる情報処理システムが備える携帯機器の具体例を示す上面図である。 実施の形態３にかかる情報処理システムが備える携帯機器の具体例を示す側面図である。 実施の形態３にかかる情報処理システムが備える携帯機器の他の具体例を示す上面図である。 実施の形態３にかかる情報処理システムが備える携帯機器の他の具体例を示す側面図である。 実施の形態３にかかる情報処理システムにおける処理を説明するためのフローチャートである。 実施の形態３にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態３にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態４にかかる情報処理システムを示すブロック図である。 実施の形態４にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態５にかかる情報処理システムにおける処理を説明するためのフローチャートである。 実施の形態５にかかる情報処理システムにおける処理を説明するためのフローチャートである。 実施の形態５にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態５にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態５にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態５にかかる情報処理システムにおける処理の具体例を説明するための図である。 実施の形態６にかかる情報処理システムを示すブロック図である。 実施の形態６にかかる情報処理システムにおける処理を説明するためのフローチャートである。 特許文献１に開示されている技術を説明するための図である。
実施の形態１
以下、図面を参照して本発明の実施の形態について説明する。
図１は、本発明の実施の形態１にかかる情報処理システムを示すブロック図である。図１に示す本実施の形態にかかる情報処理システムは、携帯機器１０と情報処理装置２０とを備える。
携帯機器１０は、生体情報を取得するセンサ１１と、ユーザの視野に対応した画像（本明細書において、画像とは動画と静止画を含む）を取得するカメラ１２と、情報処理装置２０と無線通信を行なう通信手段（第１の通信手段）１３と、を備える。情報処理装置２０は、携帯機器１０および公衆ネットワーク（不図示）と無線通信を行なう通信手段（第２の通信手段）２１と、演算手段２２と、を備える。
携帯機器１０が備えるセンサ１１は、ユーザの生体情報を取得するためのセンサであり、例えば、脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きのうちの少なくとも１つを検出可能なセンサである。
脳波を検出するためのセンサは、例えばユーザの頭部に脳波検出用の電極を単数または複数設けることで構成することができる。体温を検出するためのセンサは、例えばサーミスタを用いて構成することができる。血圧や心拍数を検出するためのセンサは、例えば圧電素子や静電容量タイプの圧力センサを用いて構成することができる。発汗を検出するためのセンサは、例えば湿度センサを用いて構成することができる。瞳孔の開き具合や視線の動きを検出するためのセンサは、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の撮像素子を用いて構成することができる。
携帯機器１０が備えるカメラ１２は、ユーザの視野に対応した画像を取得する。これにより、ユーザが実際に見ている物体等の画像を取得することができる。カメラ１２には、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いることができる。
携帯機器１０が備える通信手段１３は、情報処理装置２０（つまり、情報処理装置２０の通信手段２１）と無線通信を行なう。本実施の形態にかかる情報処理システムでは、ユーザが携帯機器１０と情報処理装置２０を携帯して使用するので、携帯機器１０と情報処理装置２０は比較的近距離で無線通信する。例えば、携帯機器１０の通信手段１３と情報処理装置２０の通信手段２１は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の通信規格に準拠した無線技術を用いることができる。
情報処理装置２０が備える通信手段２１は、携帯機器１０（つまり、携帯機器１０の通信手段１３）および公衆ネットワークと無線通信を行なう。通信手段２１が携帯機器１０の通信手段１３と無線通信する場合は、前述したように、例えばＢｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の通信規格に準拠した無線技術を用いることができる。一方、通信手段２１が公衆ネットワークと無線通信する場合は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）等の通信規格以外に、例えばＬＴＥ（Long Term Evolution）を用いてもよい。
情報処理装置２０が備える演算手段２２は、以下で説明する処理を実施する。具体的な説明は後述する。
本実施の形態にかかる情報処理システムにおいて、携帯機器１０には例えばユーザの頭部に装着可能なヘッドマウントディスプレイを用いることができる。また、情報処理装置２０には例えば携帯電話やＰＤＡ等を用いることができる。
なお、図２に示すように、本実施の形態にかかる情報処理システムにおける情報処理装置２０は、更に、記憶手段２３、表示手段２４、および入力手段２５を備えていてもよい。記憶手段２３は、演算手段２２での演算結果や、予め設定された各種パラメータ等を格納することができる。表示手段２４は、情報処理装置２０における各種パラメータを設定する際に、設定画面を表示することができる。
また、情報処理装置２０が携帯電話やＰＤＡである場合は、電話番号、スケジュール、メール、各種アプリケーションの画面を表示することができる。入力手段２５は、各種パラメータの入力、電話番号の入力、スケジュールの入力、メール作成、各種アプリケーションにおける入力等に用いられる。
次に、本実施の形態にかかる情報処理システムの動作について説明する。図３は、本実施の形態にかかる情報処理システムにおける処理を説明するためのフローチャートである。
まず、携帯機器１０が備えるセンサ１１は、ユーザの生体情報を取得する（ステップＳ１）。ここで、生体情報は、例えば、脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きのうちの少なくとも１つである。次に、携帯機器１０が備える通信手段１３は、センサ１１で取得した生体情報を情報処理装置２０に無線送信する（ステップＳ２）。
情報処理装置２０が備える通信手段２１は、携帯機器１０から送信された生体情報を受信し、当該生体情報を演算手段２２へ出力する。演算手段２２は、取得した生体情報に基づきカメラ１２を起動するか否かを決定する（ステップＳ３）。例えば、演算手段２２は、生体情報が、ユーザの集中力が高まっている状態、ユーザが対象物に反応している状態、ユーザが刺激を受けている状態、ユーザが驚いている状態の少なくとも1つを示している場合に、カメラ１２を起動すると決定する。
具体的には、生体情報が脳波である場合、集中力を示す脳波（例えばα波）が通常よりも多い場合に、ユーザの集中力が高くなったと判断することができる。また、ユーザの反応度、ユーザが刺激を受けている状態、ユーザが驚いている状態などを示す脳波をモニターすることで、ユーザが何かに反応している状態、ユーザが刺激を受けている状態、ユーザが驚いている状態と特定することができる。
また、生体情報が体温である場合は、例えばユーザの体温が上昇した場合に、ユーザの集中力や反応度が高くなったと判断することができる。また、生体情報が血圧である場合は、例えばユーザの血圧が上昇した場合に、ユーザが刺激を受けている状態、ユーザが驚いている状態であると判断することができる。また、生体情報が心拍数である場合は、例えばユーザの心拍数が上昇した場合に、ユーザが刺激を受けている状態、ユーザが驚いている状態であると判断することができる。
また、生体情報が発汗の状態である場合は、例えばユーザの発汗が多くなった場合に、ユーザが刺激を受けている状態、ユーザが驚いている状態であると判断することができる。また、生体情報が瞳孔の開き具合である場合は、例えばユーザの瞳孔が開いた場合に、ユーザの集中力が高くなった状態、ユーザが刺激を受けている状態、ユーザが驚いている状態であると判断することができる。また、生体情報が視線の動きである場合は、例えばユーザの視線の動きが小さくなった場合に、ユーザの集中力が高くなったと判断することができる。
また、ユーザが上記各種反応を示す際の脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きの各種パラメータには個人差があるため、情報処理装置２０が備える記憶手段２３に、ユーザが上記各種反応を示している際の各種パラメータを個人毎に登録してもよい。使用するユーザを特定する際は、例えば情報処理装置２０が備える入力手段２５を用いて使用するユーザを設定することができる。
なお、センサ１１が脳波センサである場合、演算手段２２は当該脳波センサから取得した脳波と、個人と当該個人の脳波とを関連付けた情報（予め登録されている）とに基づき、携帯機器を使用している個人を特定してもよい。
情報処理装置２０が備える演算手段２２が、カメラ１２を起動しないと決定した場合（ステップＳ３においてＮｏと判断した場合）、ステップＳ１から処理を繰り返す。一方、演算手段２２が、カメラ１２を起動すると決定した場合（ステップＳ３においてＹｅｓと判断した場合）、カメラ１２を起動するための命令を通信手段２１を用いて携帯機器１０に送信する（ステップＳ４）。
携帯機器１０の通信手段１３でカメラ１２を起動するための命令を受信すると、カメラ１２が起動する（ステップＳ５）。カメラ１２の起動後、通信手段１３は、カメラ１２で取得した画像を情報処理装置２０に無線送信する（ステップＳ６）。
情報処理装置２０が備える演算手段２２は、取得した画像から特徴を抽出する（ステップＳ７）。ここで、特徴とは、ユーザが見ている物体や人物や背景である。図４Ａ、図４Ｂは、本実施の形態にかかる情報処理システムにおける処理の具体例を説明するための図である。
取得した画像から特徴を抽出する際（ステップＳ７）、例えばユーザが注目している対象を特徴として抽出する。図４Ａに示す例において、例えばユーザが車３７に注目している場合、演算手段２２は車３７を特徴の候補として抽出する。ユーザが注目している対象は、例えばユーザの顔の向きや視線の向きを検出することで特定することができる。ユーザの顔の向きを検出する場合は、例えば携帯機器１０にジャイロセンサを設ける。また、ユーザの視線の向きを検出する場合は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を携帯機器１０に設ける。
その後、センサ１１で取得した生体情報に基づき、特徴の候補である車３７に対してユーザがどのような感情を抱いているか検出する。例えば、センサ１１が脳波センサである場合、脳波センサから取得した脳波がポジティブな感情を示す場合、ユーザは特徴の候補である車３７に対して好感を抱いていると判断することができる。この場合、演算手段２２は、特徴の候補である車３７を正式な特徴として抽出することができる。一方、脳波センサから取得した脳波がポジティブな感情を示さない場合（つまり、通常時と同様の脳波であるか、ネガティブな感情を示す脳波の場合）ユーザは特徴の候補である車３７に対して興味を抱いていないと判断することができる。この場合、演算手段２２は、車３７を特徴の候補から除外する。なお、脳波を用いて感情を検出する方法については、例えば特開２００９−５６２３１号公報や特開２００６−９５２６６号公報に開示されている。
また、取得した画像から特徴を抽出する際（ステップＳ７）、次に示す処理を実施してもよい。図４Ａに示す画像８１が取得した画像である場合、演算手段２２は、図４Ｂに示すように、例えば山３５、花３６、車３７をそれぞれ特徴４１、４２、４３として抽出する。演算手段２２は、センサ１１で取得した生体情報に基づき、取得した画像から抽出する特徴を変化させることができる。例えば、センサ１１が脳波センサである場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、取得した画像から抽出する特徴を変化させることができる。
例えば、脳波がポジティブな感情を示す場合、図４Ｂに示す山３５、花３６、車３７のうち、より人工的な物体である車３７を特徴として抽出することができる。一方、脳波がネガティブな感情を示す場合、図４Ｂに示す山３５、車３７、花３６のうち、より自然に近い山３５と花３６を特徴として抽出することができる。
この時、演算手段２２は、予め登録されたポジティブな特徴とネガティブな特徴に分類された情報を用いて、取得した画像から特徴を抽出してもよい。つまり、図４Ａ、図４Ｂに示す例の場合、情報処理装置２０が備える記憶手段２３にポジティブな特徴として車３７を、ネガティブな特徴として山３５と花３６を、予め登録しておく。そして、演算手段２２は、記憶手段２３に予め登録されたこれらの情報を用いて、取得した画像からポジティブな特徴として車３７を、ネガティブな特徴として山３５と花３６を取得した画像から抽出してもよい。
ステップＳ７で抽出された特徴に関する情報は、情報処理装置２０が備える通信手段２１を用いて公衆ネットワークへ送信される（ステップＳ８）。ここで、公衆ネットワークは例えばインターネットやＬＴＥネットワークである。
また、抽出された特徴に関する情報とは、抽出された特徴の画像（画像情報）や抽出された特徴の名称（テキスト情報）などである。抽出された特徴の名称は、例えば抽出された特徴を情報処理装置２０が備えるデータベースを用いて照合することで得ることができる。具体的に説明すると、図４Ｂに示した特徴４２の場合、特徴４２の画像を情報処理装置２０が備えるデータベースを用いて照合することで、特徴４２の一般名称である「花」という情報を得ることができる。この場合、抽出された特徴に関する情報は「花」というテキスト情報となる。
なお、特徴４２の一般名称である「花」という情報以外にも、花の具体的な名称である「αβγ」のテキスト情報を、情報処理装置２０が備えるデータベースを用いて照合することで取得してもよい。この場合、抽出された特徴に関する情報は花の具体的な名称（αβγ）というテキスト情報となる。
一方、抽出された特徴の画像が抽出された特徴に関する情報である場合は、抽出された特徴の画像（図４Ｂに示した特徴４２の場合は、花３６の画像）を公衆ネットワークへ送信する。なお、抽出された特徴に関する情報は、１つの特徴に対して複数であってもよい。つまり、図４Ｂに示した特徴４２に関する情報として、「花」というテキスト情報と抽出された特徴である花３６の画像情報を送信してもよい。公衆ネットワークへ送信される抽出された特徴に関する情報の数や種類は適宜設定することができる。
抽出された特徴に関する情報は、例えば公衆ネットワークにおける情報検索サービスサイトで検索される。情報検索サービスサイトは、例えばクラウドサービスである。その後、情報処理装置２０は通信手段２１を介して抽出された特徴に関する検索結果を取得する（ステップＳ９）。
背景技術で説明した特許文献１にかかる技術では、リアルタイムで連続的に情報を表示しているため、通信システムの処理の負荷が増大するという問題があった。これに対して、本実施の形態にかかる情報処理システムでは、携帯機器１０が備えるセンサ１１でユーザの生体情報を取得し、情報処理装置２０が備える演算手段２２において、取得した生体情報に基づきカメラ１２を起動するか否かを決定している。このため、本実施の形態にかかる情報処理システムでは、例えば、ユーザの集中力が高まっている場合にのみカメラ１２を起動することができるので、情報処理システムにおける情報処理の負担を軽減することができる。
よって、本実施の形態にかかる発明により、適切なタイミングでユーザにとって必要な情報を取得することが可能な情報処理システム、および情報処理方法を提供することができる。
実施の形態２
次に、本発明の実施の形態２について説明する。図５は、本実施の形態にかかる情報処理システムにおける処理を説明するためのフローチャートである。図５に示すように、本実施の形態にかかる発明では、図３に示した実施の形態１にかかる処理にステップＳ１０が追加されている。これ以外は実施の形態１にかかる発明と同様であるので、同一の構成要素には同一の符号を付し、重複した説明は省略する。
図５に示すように、本実施の形態にかかる情報処理システムでは、ステップＳ９において情報処理装置２０が抽出された特徴に関する検索結果を取得した後、情報処理装置２０に取得した検索結果をキーワードとして登録している（ステップＳ１０）。すなわち、情報処理装置２０の演算手段２２は、抽出された特徴に関する検索結果を当該特徴を含む画像と関連付けて登録する。なお、ステップＳ１からステップＳ９までは実施の形態１の場合と同様である。この時、取得した検索結果は、例えば情報処理装置２０が備える記憶手段２３に格納される。
本実施の形態にかかる情報処理システムでは、携帯機器１０が備えるカメラ１２で取得した画像データを情報処理装置２０に保存することで、ユーザの行動のログ（つまり、ライフログ）を蓄積することができる。そして、上記ステップＳ１０において検索結果であるキーワードを画像と関連付けて登録することで、ユーザが後でライフログを見直す際に、この登録されたキーワードを基に画像を呼び出すことができる。
具体的に説明すると、例えば、図４Ａ、図４Ｂに示した画像８１において、山３５を特徴４１として抽出し、この山３５についての検索結果である山の名前「ＤＥＦ山」をキーワードとして、画像８１と関連づけて登録する。これにより、ユーザが後でライフログを見直す際に、「ＤＥＦ山」をキーワードとして検索することで山３５を含む画像８１を表示することができる。
よって、本実施の形態にかかる情報処理システムにより、実施の形態１と同様の効果を得られると共に、蓄積されたライフログを容易に検索することができる情報処理システムを提供することができる。また、本実施の形態にかかる情報処理システムでは、ライフログを蓄積する際に必要なときにだけ情報を記録することができるので、効率的に情報を蓄積することができる。
実施の形態３
次に、本発明の実施の形態３について説明する。図６は、本実施の形態にかかる情報処理システムを示すブロック図である。また、図９は、本実施の形態にかかる情報処理システムにおける処理を説明するためのフローチャートである。図６に示すように、本実施の形態にかかる発明では、実施の形態１にかかる情報処理システムが備える携帯機器１０に表示手段１４が追加されている。また、図９に示すように、本実施の形態にかかる発明では、図３に示した実施の形態１にかかる処理にステップＳ１１、Ｓ１２が追加されている。これ以外は実施の形態１にかかる発明と同様であるので、同一の構成要素には同一の符号を付し、重複した説明は省略する。
図６に示す携帯機器１０が備える表示手段１４は、情報処理装置２０が備える通信手段２１から送信された検索結果（つまり、ステップＳ９で取得された検索結果）を、ユーザがみている実像に対応づけて表示する。
図７Ａ、図７Ｂは、本実施の形態にかかる情報処理システムが備える携帯機器の一例を示す図である。図７Ａは、携帯機器１０の上面図であり、図７Ｂは携帯機器１０の側面図である。本実施の形態にかかる情報処理システムが備える携帯機器１０は、例えばヘッドマウントディスプレイを用いて構成することができる。図７Ａ、図７Ｂに示すように、携帯機器１０はセンサ１１、カメラ１２、通信手段１３、および表示手段１４を備える。
センサ１１は脳波センサであり、ユーザの額に接触することができる位置に配置されている。カメラ１２は、ユーザの視野に対応した画像を取得するために、例えば携帯機器１０の中心部に配置されている。なお、カメラ１２の位置はこの位置に限定されることはなく、ユーザの視野に対応した画像を取得できる位置であれば任意の位置に設けることができる。通信手段１３は、例えばヘッドマウントディスプレイのテンプル部分（側部）に設けることができる。
表示手段１４は、ユーザの左眼と右眼に対応する位置にそれぞれ設けられている。表示手段１４は、ユーザが実像を見ることができるように透明な材料で形成されている。また、表示手段１４は、ステップＳ９で取得された検索結果を、ユーザがみている実像に対応づけて表示することができるように構成されている。表示手段１４として、例えば光学透過ヘッドマウントディスプレイや網膜投影ヘッドマウントディスプレイを用いることができる。なお、図７Ａ、図７Ｂでは、表示手段１４が２つ設けられている例を示したが、表示手段１４は左眼と右眼のいずれか一方に１つ設けられていてもよい。
また、図８Ａ、図８Ｂは、本実施の形態にかかる情報処理システムが備える携帯機器の他の例を示す図である。図８Ａは、携帯機器１０の上面図であり、図８Ｂは携帯機器１０の側面図である。図８Ａ、図８Ｂに示した携帯機器１０では、複数の脳波センサ１１が設けられている点が、図７Ａ、図７Ｂに示した携帯機器１０と異なる。つまり、図８Ａ、図８Ｂに示した携帯機器１０では、ヘッドマウントディスプレイのテンプル部分（側部）にも脳波センサ１１が設けられている。このように複数の脳波センサ１１を設けることで、ユーザの感情の状態等をより詳細に分析することができる。なお、脳波センサ１１を設ける位置は、得ようとする脳波の種類によって適宜変更することができる。
次に、本実施の形態にかかる情報処理システムの動作について説明する。
ステップＳ１からステップＳ９までは実施の形態１の動作と同様であるので重複した説明は省略する。本実施の形態にかかる情報処理システムでは、ステップＳ９において情報処理装置２０が抽出された特徴に関する検索結果を取得した後、この取得した検索結果を通信手段２１を用いて携帯機器１０に送信している（ステップＳ１１）。そして、携帯機器１０が備える表示手段１４を用いて、この取得した検索結果をユーザが見ている実像に対応づけて表示する（ステップＳ１２）。
図１０Ａ、図１０Ｂは、本実施の形態にかかる情報処理システムにおける処理の具体例を説明するための図である。ステップＳ７において、図４Ａの画像８１における山３５と花３６が特徴４１、４２として抽出された場合、表示手段１４は、図１０Ａに示すように、ユーザが見ている実像８２の山３５と花３６に対応づけて、検索結果５１、５２を表示することができる。同様に、ステップＳ７において、図４Ａの画像８１における車３７が特徴４３として抽出された場合、表示手段１４は、図１０Ｂに示すように、ユーザが見ている実像８３の車３７に対応づけて、検索結果５３を表示することができる。
なお、本実施の形態においても、実施の形態１の場合と同様に、演算手段２２は、センサ１１で取得した生体情報に基づき、取得した画像から抽出する特徴を変化させることができる。例えば、センサ１１が脳波センサである場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、取得した画像から抽出する特徴を変化させることができる。
例えば、脳波がポジティブな感情を示す場合、図４Ｂに示す山３５、花３６、車３７のうち、より人工的な物体である車３７を特徴として抽出することができる。一方、脳波がネガティブな感情を示す場合、図４Ｂに示す山３５、花３６、車３７のうち、より自然に近い山３５と花３６を特徴として抽出することができる。
そして、本実施の形態では、脳波がポジティブな感情を示す場合、表示手段１４は、図１０Ｂに示すように、ユーザが見ている実像８３の車３７に対応づけて、検索結果５３を表示することができる。一方、脳波がネガティブな感情を示す場合、表示手段１４は、図１０Ａに示すように、ユーザが見ている実像８２の山３５と花３６に対応づけて、検索結果５１、５２を表示することができる。
また、本実施の形態では、演算手段２２は、センサ１１で取得した生体情報に基づき、表示手段１４を用いて実像に対応づけて表示される検索結果を変化させてもよい。例えば、脳波センサを用いた場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、表示手段１４を用いて実像に対応づけて表示される検索結果を変化させることができる。
例えば、花３６がネガティブな感情の場合とポジティブな感情の場合の両方において抽出されたとする。この場合、脳波がポジティブな感情を示す場合には花の名前のみが、脳波がネガティブな感情を示す場合には花の名前と花言葉が、表示手段１４に表示されるようにしてもよい。
また、例えばユーザが車３７にポジティブな感情を示したとする。この場合は、ユーザが車に興味を示したので、車種、型式、価格等の車の詳細な情報を表示手段１４に表示されるようにしてもよい。
背景技術で説明した特許文献１にかかる技術では、リアルタイムで連続的に情報を表示しているため、通信システムの処理の負荷が増大するという問題があった。また、リアルタイムで連続的に情報が表示されるため、ユーザがこのような情報を不要としている場合であっても情報が表示画面に常に表示され、ユーザの視界が妨害されてしまうという問題があった。
これに対して、本実施の形態にかかる情報処理システムでは、携帯機器１０が備えるセンサ１１でユーザの生体情報を取得し、情報処理装置２０が備える演算手段２２において、取得した生体情報に基づきカメラ１２を起動するか否かを決定している。このため、本実施の形態にかかる情報処理システムでは、例えば、ユーザの集中力が高まっている場合にのみカメラ１２を起動することができるので、情報処理システムにおける情報処理の負担を軽減することができる。
また、情報処理装置２０が備える演算手段２２は、センサ１１で取得した生体情報に基づき、取得した画像から抽出する特徴を変化させることができる。例えば、センサ１１が脳波センサである場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、取得した画像から抽出する特徴を変化させることができる。
また、本実施の形態では、演算手段２２は、センサ１１で取得した生体情報に基づき、表示手段１４を用いて実像に対応づけて表示される検索結果を変化させることができる。例えば、脳波センサを用いた場合、演算手段２２は脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで、表示手段１４を用いて実像に対応づけて表示される検索結果を変化させることができる。
したがって、ユーザに提示されるべき情報のみが表示手段に表示されるため、不要な情報によってユーザの視界が妨害されてしまうことを抑制することができる。
よって、本実施の形態にかかる発明により、適切なタイミングでユーザにとって必要な情報を取得することが可能な情報処理システム、および情報処理方法を提供することができる。
実施の形態４
次に、本発明の実施の形態４について説明する。図１１は、本実施の形態にかかる情報処理システムを示すブロック図である。図１１に示すように、本実施の形態にかかる発明では、実施の形態３にかかる情報処理システムが備える携帯機器１０に音声入力手段１５が追加されている。これ以外は実施の形態１乃至３にかかる発明と同様であるので、同一の構成要素には同一の符号を付し、重複した説明は省略する。
図１１に示す携帯機器１０が備える音声入力手段１５は、ユーザが話した言葉（音声入力手段１５から入力された情報）を通信手段１３へ出力する。通信手段１３は、この音声入力手段１５から入力された情報を情報処理装置２０へ送信する。そして、図９に示したステップＳ８において、情報処理装置２０は抽出された特徴に関する情報と共に、音声入力手段１５から入力された情報を公衆ネットワークへ送信する。本実施の形態では、抽出された特徴に関する情報について検索する際に、音声入力手段１５から入力された情報を用いることができる。このため、ユーザが求めている情報に絞って特徴に関する情報を検索することができる。
次に、本実施の形態にかかる情報処理システムの処理の具体例について説明する。図９におけるステップＳ８において、抽出された特徴に関する情報と共に、音声入力手段１５から入力された情報として「山の高さ」という情報を公衆ネットワークへ送信したとする。すると、特徴である山３５の情報を検索する際に、「ＤＥＦ山」という山の名前と共に、「２３５６ｍ」という山の高さの情報も取得することができる。その結果、図９におけるステップＳ１２において、表示手段１４は、図１２に示すように、山３５の検索結果５４として「ＤＥＦ山」という山の名前と共に、「２３５６ｍ」という山の高さの情報も表示することができる。
このように、抽出された特徴に関する情報と共に、音声入力手段１５から入力された情報を公衆ネットワークへ送信することで、ユーザが求めている情報に絞って特徴に関する情報を検索することができる。このため、情報検索の際のヒット率を向上させることができる。
実施の形態５
次に、本発明の実施の形態５について説明する。本実施の形態では、上記で説明した実施の形態１乃至４におけるステップＳ７（例えば図９参照）以降の処理、つまり取得した画像から特徴を抽出した後の処理が他の実施の形態と異なる。これ以外は実施の形態１乃至４にかかる発明と同様であるので、同一の構成要素には同一の符号を付し、重複した説明は省略する。
本実施の形態では、取得した画像から特徴を抽出した後（つまり、図９のステップＳ７の後）、情報処理装置２０の演算手段２２を用いて抽出された特徴から更に付加情報を取得している。ここで、付加情報とは、例えば文字情報、特徴の細部の特徴、特徴のサイズ、特徴が顔であるか否か、などである。文字情報とは抽出された特徴に付されているロゴマークなどである。また、細部の特徴とは抽出された特徴の細部における形や色などである。
まず、抽出された特徴から文字情報を取得する場合の処理について図１３を用いて説明する。例えば、図９に示したフローチャートのステップＳ７の後、つまり取得した画像から特徴を抽出した後、図１３に示すように、情報処理装置２０の演算手段２２は、抽出された特徴の中に文字情報があるか否かを判断する（ステップＳ２１）。抽出された特徴に文字情報がある場合（ステップＳ２１でＹｅｓと判断した場合）、この文字情報を抽出された特徴の付加情報として取得する（ステップＳ２２）。その後、情報処理装置２０の通信手段２１は、ステップＳ２２で取得した文字情報と、抽出された特徴に関する情報とを公衆ネットワークに送信する。そして、取得した文字情報と抽出された特徴に関する情報とを用いて情報を検索する（ステップＳ２３）。ステップＳ９以降は、図９に示した処理と同様の処理となる。一方、抽出された特徴に文字情報がない場合（ステップＳ２１でＮｏと判断した場合）、図９のステップＳ８の処理へと移動する。
次に、抽出された特徴から細部の特徴を取得する場合の処理について図１４を用いて説明する。例えば、図９に示したフローチャートのステップＳ７の後、つまり取得した画像から特徴を抽出した後、図１４に示すように、情報処理装置２０の演算手段２２は、抽出された特徴の中に細部の特徴があるか否かを判断する（ステップＳ３１）。抽出された特徴に細部の特徴がある場合（ステップＳ３１でＹｅｓと判断した場合）、この細部の特徴を抽出された特徴の付加情報として取得する（ステップＳ３２）。その後、情報処理装置２０の通信手段２１は、ステップＳ３２で取得した細部の特徴に関する情報と、抽出された特徴に関する情報とを公衆ネットワークに送信する。そして、取得した細部の特徴と抽出された特徴に関する情報とを用いて情報を検索する（ステップＳ３３）。ステップＳ９以降は、図９に示した処理と同様の処理となる。一方、抽出された特徴に細部の特徴がない場合（ステップＳ３１でＮｏと判断した場合）、図９のステップＳ８の処理へと移動する。
なお、本実施の形態では、文字情報、特徴の細部の特徴、特徴のサイズ、特徴が顔であるか否か、などの付加情報を複数取得してもよく、またこれらのうちの１つのみを取得してもよい。取得する付加情報の数や組み合わせは任意に設定することができる。
次に、本実施の形態にかかる情報処理システムの処理の具体例について説明する。図１５Ａに示す画像８５を取得した画像とした場合、情報処理装置２０の演算手段２２は、図９のステップＳ７において、図１５Ｂに示した山３５と車３７を特徴４１、４３として抽出する。
付加情報として文字情報を取得する場合、図１３に示すように、情報処理装置２０の演算手段２２は、抽出された特徴４１、４３の中に文字情報があるか否かを判断する（ステップＳ２１）。この時、車３７にはロゴマーク３８である「ＸＹＺ」が付されているので、演算手段２２は、文字情報である「ＸＹＺ」を付加情報として取得する（ステップＳ２２）。その後、情報処理装置２０の通信手段２１は、文字情報である「ＸＹＺ」と抽出された特徴４３（車３７）に関する情報を公衆ネットワークに送信する（ステップＳ２３）。
その後、図９のステップＳ９において、抽出された特徴４３（車３７）の情報について検索する。本実施の形態ではこの検索の際に文字情報である「ＸＹＺ」を用いて検索することができる。つまり、抽出された特徴４３である車３７の情報を検索する際に、製造会社の情報を「ＸＹＺ社」に限定することができるので、情報検索の際のヒット率を向上させることができる。
一方、付加情報として細部の特徴を取得する場合、図１４に示すように、情報処理装置２０の演算手段２２は、抽出された特徴４１、４３の中に細部の特徴があるか否かを判断する（ステップＳ３１）。この時、山３５は図１７に示すように特徴的な部分６１を有するので、演算手段２２は、この特徴的な部分６１を細部の特徴として取得する（ステップＳ３２）。その後、情報処理装置２０の通信手段２１は、ステップＳ３２で取得した細部の特徴６１に関する情報と抽出された特徴３５に関する情報を公衆ネットワークに送信する（ステップＳ３３）。
その後、図９のステップＳ９において、抽出された特徴４１（山３５）の情報について検索する。本実施の形態ではこの検索の際に細部の特徴６１を用いて検索することができる。つまり、抽出された特徴４１である山３５の情報を検索する際に、特徴的な部分６１を用いて検索することができるので、情報検索の際のヒット率を向上させることができる。
図１６は、このようにして取得した検索結果５１、５３をユーザが見ている実像に対応づけて表示している具体例を示す図である（図９のステップＳ１２）。図１６に示すように、抽出された特徴である山３５には、「ＤＥＦ山」という山の名前が表示されている。また、抽出された特徴である車３７には、「ＸＹＺ社製」という製造会社に関する情報と「ＡＢＣ」という車種に関する情報が表示されている。
なお、上記例では、抽出された特徴である山３５と車３７の２つに検索結果５１、５３を表示したが、例えばユーザの好みにより表示する情報を選択してもよい。すなわち、情報処理システムを使用しているユーザが山に興味がなく車に興味がある場合は、車３７にのみ検索結果５３を表示するようにしてもよい。ユーザの好みについては、前述したように、脳波センサで取得した脳波に基づき決定することができる。つまり、脳波がポジティブな感情を示す場合はユーザが興味を示し、逆に脳波が通常時と同様である場合やネガティブな感情を示す場合はユーザが興味を示していないと判断することができる。
また、図１５、図１６に示した例では、車３７の画像が斜めに表示されているため、文字情報を取得する際に、エラーが発生する可能性もある。この場合、演算手段２２は、斜めになっている特徴を正面から見た画像に補整する処理を施した後に、文字を認識してもよい。このように、特徴を正面から見た画像に補整することで、文字認識の精度を向上させることができる。
また、特徴のサイズを付加情報として用いる場合は、例えば特徴である車３７の大きさを取得する。そして、抽出された特徴である車の情報と当該車のサイズの情報とを公衆ネットワークに送信する。この場合、抽出された特徴である車の情報を検索する際に車のサイズの情報を付加情報として用いることができるので、情報検索の際のヒット率を向上させることができる。
以上で説明したように、本実施の形態にかかる情報処理システムでは、情報処理装置２０の演算手段２２を用いて、抽出された特徴の付加情報を取得し、抽出された特徴に関する情報について検索する際にこの付加情報を用いている。よって、抽出された特徴に関する情報を取得する際、情報検索のヒット率を向上させることができる。
実施の形態６
次に、本発明の実施の形態６について説明する。実施の形態１乃至５で説明した情報処理システムは、携帯機器１０と情報処理装置２０とを備えていた。しかし、携帯機器１０と情報処理装置２０は１つの装置として構成されてもよい。例えば、携帯機器１０に情報処理装置２０の機能が含まれるようにしてもよい。本実施の形態では、実施の形態１乃至５で説明した情報処理システムを１つの装置で構成した場合について説明する。
なお、情報処理システムを１つの装置で構成した点以外は、実施の形態１乃至５にかかる発明と同様であるので重複した説明は省略する。また、以下では代表として実施の形態３で示した情報処理システムを１つの装置で構成した場合について説明するが、他の実施の形態にかかる情報処理システムについても同様に適用することができる。
以下、図面を参照して本発明の実施の形態について説明する。
図１８は、本実施の形態にかかる情報処理システム７０を示すブロック図である。なお、本実施の形態では、情報処理システム７０が実施の形態１乃至５で説明した、携帯機器１０と情報処理装置２０とを含む情報処理システムに対応する。図１８に示す本実施の形態にかかる情報処理システム７０は、生体情報を取得するセンサ７１と、ユーザの視野に対応した画像を取得するカメラ７２と、演算手段７３と、抽出された特徴に関する検索結果をユーザがみている実像に対応づけて表示する表示手段７４と、公衆ネットワークと無線通信を行なう通信手段７５と、を備える。
センサ７１、カメラ７２、及び表示手段７４の構成及び動作は、実施の形態１乃至５で説明した情報処理システムの携帯機器１０が備えるセンサ１１、カメラ１２、及び表示手段１４の構成及び動作と同様であるので、重複した説明は省略する。
通信手段７５は、公衆ネットワークと無線通信を行なう。通信手段７５が公衆ネットワークと無線通信する場合は、例えばＬＴＥ（Long Term Evolution）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）等の通信規格を用いることができる。
演算手段７３は、以下で説明する処理を実施する。具体的な説明は後述する。
次に、本実施の形態にかかる情報処理システム７０の動作について説明する。図１９は、本実施の形態にかかる情報処理システム７０における処理を説明するためのフローチャートである。
まず、センサ７１は、ユーザの生体情報を取得する（ステップＳ４１）。ここで、生体情報は、例えば、脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きのうちの少なくとも１つである。演算手段７３は、取得した生体情報に基づきカメラ７２を起動するか否かを決定する（ステップＳ４２）。例えば、演算手段７３は、生体情報がユーザの集中力が高まっている状態を示している場合に、カメラ７２を起動すると決定する。なお、カメラ７２の起動に関する判断は、実施の形態１乃至５で説明した場合と同様であるので説明を省略する。
演算手段７３が、カメラ７２を起動しないと決定した場合（ステップＳ４２においてＮｏと判断した場合）、ステップＳ４１から処理を繰り返す。一方、演算手段７３が、カメラ７２を起動すると決定した場合（ステップＳ４２においてＹｅｓと判断した場合）、カメラ７２を起動する（ステップＳ４３）。
演算手段７３は、カメラ７２で取得した画像から特徴を抽出する（ステップＳ４４）。ここで、特徴とは、ユーザが見ている物体や人物や背景である。取得した画像から特徴を抽出する方法については、実施の形態１乃至５で説明した場合と同様であるので説明を省略する。
ステップＳ４４で抽出された特徴に関する情報は、通信手段７５を用いて公衆ネットワークへ送信される（ステップＳ４５）。ここで、公衆ネットワークは例えばインターネットやＬＴＥネットワークである。
抽出された特徴に関する情報は、例えば公衆ネットワークにおける情報検索サービスサイトで検索される。情報検索サービスサイトは、例えばクラウドサービスである。その後、情報処理システム７０は抽出された特徴に関する検索結果を取得する（ステップＳ４６）。そして、表示手段７４を用いて、この取得した検索結果をユーザが見ている実像に対応づけて表示する（ステップＳ４７）。
以上で説明したように、本実施の形態にかかる情報処理システム７０は、実施の形態１乃至５で説明した情報処理システムを１つの装置で構成しているので、装置構成を簡略化することができる。なお、これ以外の効果については、実施の形態１乃至５で説明した効果と同様である。
以上、本発明を上記実施形態に即して説明したが、上記実施形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。
この出願は、２０１０年１１月２日に出願された日本出願特願２０１０−２４６１３４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０ 携帯機器
１１ センサ
１２ カメラ
１３ 通信手段
１４ 表示手段
２０ 情報処理装置
２１ 通信手段
２２ 演算手段
２３ 記憶手段
２４ 表示手段
２５ 入力手段
４１、４２、４３ 特徴
７０ 情報処理システム
７１ センサ
７２ カメラ
７３ 演算手段
７４ 表示手段
７５ 通信手段
８１、８５ 取得した画像
８２、８３、８４ 実像と検索結果を重ね合わせた画像

Claims (25)

  1. 携帯機器と情報処理装置とを備えた情報処理システムであって、
    前記携帯機器は、
    生体情報を取得するセンサと、
    ユーザの視野に対応した画像を取得するカメラと、
    前記情報処理装置と無線通信を行なう第１の通信手段と、を備え、
    前記情報処理装置は、
    前記携帯機器および公衆ネットワークと無線通信を行なう第２の通信手段と、
    演算手段と、を備え、
    前記第１の通信手段は、前記センサで取得した前記生体情報を前記情報処理装置に無線送信し、
    前記演算手段は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動するための命令を前記第２の通信手段を用いて前記携帯機器に送信し、
    前記カメラの起動後、前記第１の通信手段は、前記カメラで取得した画像を前記情報処理装置に無線送信し、
    前記演算手段は、取得した前記画像から特徴を抽出すると共に、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得し、
    前記演算手段は、前記センサで取得した前記生体情報に基づき、前記カメラで取得した画像から抽出する特徴を変化させる、
    情報処理システム。
  2. 前記演算手段は、前記抽出された特徴に関する検索結果を当該特徴を含む画像と関連付けて登録する、請求項１に記載の情報処理システム。
  3. 前記携帯機器は、表示手段を更に備え、
    前記表示手段は、前記第２の通信手段から送信された前記抽出された特徴に関する検索結果をユーザがみている実像に対応づけて表示する、
    請求項１に記載の情報処理システム。
  4. 前記演算手段は、前記生体情報が前記ユーザの集中力が高くなっている状態、前記ユーザが対象物に反応している状態、前記ユーザが刺激を受けている状態、前記ユーザが驚いている状態のうちの少なくとも1つを示している場合に、前記カメラを起動すると決定する、請求項１乃至３のいずれか一項に記載の情報処理システム。
  5. 前記センサは、脳波、体温、血圧、心拍数、発汗、瞳孔の開き具合、および視線の動きのうちの少なくとも１つを検出可能なセンサである、請求項１乃至４のいずれか一項に記載の情報処理システム。
  6. 前記センサは脳波センサであり、前記演算手段は当該脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで前記カメラで取得した画像から抽出する特徴を変化させる、請求項１乃至４のいずれか１項に記載の情報処理システム。
  7. 前記演算手段は、予め登録されたポジティブな特徴とネガティブな特徴に分類された情報を用いて前記カメラで取得した画像から特徴を抽出する、
    請求項６に記載の情報処理システム。
  8. 前記演算手段は、前記ユーザが注目している対象を特徴の候補として抽出し、前記センサで取得した前記生体情報に基づき、前記特徴の候補を前記特徴として抽出する、請求項１乃至７のいずれか１項に記載の情報処理システム。
  9. 前記ユーザが注目している対象は、前記ユーザの顔の向きおよび視線の向きの少なくとも１つに基づき決定される、請求項８に記載の情報処理システム。
  10. 前記センサが脳波センサである場合、当該脳波センサから取得した脳波がポジティブな感情を示す場合に、前記特徴の候補を前記特徴として抽出する、請求項８または９に記載の情報処理システム。
  11. 前記演算手段は、前記センサで取得した前記生体情報に基づき、前記表示手段を用いて前記実像に対応づけて表示される前記検索結果を変化させる、請求項３に記載の情報処理システム。
  12. 前記センサは脳波センサであり、前記演算手段は当該脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで前記表示手段を用いて前記実像に対応づけて表示される前記検索結果を変化させる、請求項１１に記載の情報処理システム。
  13. 前記センサは脳波センサであり、前記演算手段は当該脳波センサから取得した脳波と、予め登録された、個人と当該個人の脳波とを関連付けた情報とに基づき、前記携帯機器を使用している個人を特定する、請求項１乃至１２のいずれか一項に記載の情報処理システム。
  14. 前記携帯機器は音声入力手段を更に備え、
    前記演算手段は、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報と前記音声入力手段から入力された情報とを送信し、当該抽出された特徴に関する情報と当該音声入力手段から入力された情報とを用いて検索することで当該抽出された特徴に関する検索結果を取得する、
    請求項１乃至１３のいずれか一項に記載の情報処理システム。
  15. 前記演算手段は、前記抽出された特徴から付加情報を取得し、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報と前記付加情報を送信し、当該抽出された特徴に関する情報と当該付加情報とを用いて検索することで当該抽出された特徴に関する検索結果を取得する、
    請求項１乃至１４のいずれか一項に記載の情報処理システム。
  16. 前記演算手段が前記特徴から取得する付加情報は、前記特徴に表示されている文字情報、前記特徴のサイズ、前記特徴が顔であるか否か、および前記特徴の細部の特徴のうちの少なくとも１つである、請求項１５に記載の情報処理システム。
  17. 前記演算手段は、前記特徴および前記付加情報の少なくとも１つを抽出する前に、前記カメラで取得した画像を正面から見た画像に補正する、請求項１５又は１６に記載の情報処理システム。
  18. 情報処理装置であって、
    携帯機器および公衆ネットワークと無線通信を行なう通信手段と、
    演算手段と、を備え、
    前記演算手段は、前記通信手段が前記携帯機器から取得した生体情報に基づきカメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動するための命令を前記通信手段を用いて前記携帯機器に送信し、
    前記演算手段は、前記通信手段が前記携帯機器から取得した画像から特徴を抽出すると共に、前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得し、
    前記演算手段は、前記生体情報に基づき、前記カメラで取得した画像から抽出する特徴を変化させる、
    情報処理装置。
  19. 生体情報を取得するセンサと、
    ユーザの視野に対応した画像を取得するカメラと、
    公衆ネットワークと無線通信を行なう通信手段と、
    演算手段と、を備え、
    前記演算手段は、
    取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、
    前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、
    前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得し、
    前記演算手段は、前記センサで取得した前記生体情報に基づき、前記カメラで取得した画像から抽出する特徴を変化させる、
    情報処理システム。
  20. 携帯機器と情報処理装置とを備えた情報処理システムであって、
    前記携帯機器は、
    生体情報を取得するセンサと、
    ユーザの視野に対応した画像を取得するカメラと、
    前記情報処理装置と無線通信を行なう第１の通信手段と、
    表示手段と、を備え、
    前記情報処理装置は、
    前記携帯機器および公衆ネットワークと無線通信を行なう第２の通信手段と、
    演算手段と、を備え、
    前記第１の通信手段は、前記センサで取得した前記生体情報を前記情報処理装置に無線送信し、
    前記演算手段は、取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動するための命令を前記第２の通信手段を用いて前記携帯機器に送信し、
    前記カメラの起動後、前記第１の通信手段は、前記カメラで取得した画像を前記情報処理装置に無線送信し、
    前記演算手段は、取得した前記画像から特徴を抽出すると共に、前記第２の通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得し、
    前記表示手段は、前記第２の通信手段から送信された前記抽出された特徴に関する検索結果をユーザがみている実像に対応づけて表示し、
    前記演算手段は、前記センサで取得した前記生体情報に基づき、前記表示手段を用いて前記実像に対応づけて表示される前記検索結果を変化させる、
    情報処理システム。
  21. 前記センサは脳波センサであり、前記演算手段は当該脳波センサから取得した脳波がポジティブな感情を示す場合とネガティブな感情を示す場合とで前記表示手段を用いて前記実像に対応づけて表示される前記検索結果を変化させる、請求項２０に記載の情報処理システム。
  22. 情報処理装置であって、
    携帯機器および公衆ネットワークと無線通信を行なう通信手段と、
    演算手段と、を備え、
    前記演算手段は、前記通信手段が前記携帯機器から取得した生体情報に基づきカメラを起動するか否かを決定し、前記カメラを起動すると決定した場合、前記カメラを起動するための命令を前記通信手段を用いて前記携帯機器に送信し、
    前記演算手段は、前記通信手段が前記携帯機器から取得した画像から特徴を抽出すると共に、前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得し、
    前記生体情報に基づき、表示手段を用いてユーザが見ている実像に対応づけて表示される前記検索結果を変化させる、
    情報処理装置。
  23. 生体情報を取得するセンサと、
    ユーザの視野に対応した画像を取得するカメラと、
    公衆ネットワークと無線通信を行なう通信手段と、
    表示手段と、
    演算手段と、を備え、
    前記演算手段は、
    取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、
    前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、
    前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得し、
    前記表示手段は、前記抽出された特徴に関する検索結果をユーザがみている実像に対応づけて表示し、
    前記演算手段は、前記センサで取得した前記生体情報に基づき、前記表示手段を用いて前記実像に対応づけて表示される前記検索結果を変化させる、
    情報処理システム。
  24. 情報処理システムにおける情報処理方法であって、
    前記情報処理システムは、
    生体情報を取得するセンサと、
    ユーザの視野に対応した画像を取得するカメラと、
    公衆ネットワークと無線通信を行なう通信手段と、を備え、
    取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、
    前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、
    前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得し、
    前記センサで取得した前記生体情報に基づき、前記カメラで取得した画像から抽出する特徴を変化させる、
    情報処理方法。
  25. 情報処理システムにおける情報処理方法であって、
    前記情報処理システムは、
    生体情報を取得するセンサと、
    ユーザの視野に対応した画像を取得するカメラと、
    公衆ネットワークと無線通信を行なう通信手段と、
    表示手段と、を備え、
    取得した前記生体情報に基づき前記カメラを起動するか否かを決定し、
    前記カメラを起動すると決定した場合、前記カメラを起動し、前記カメラで取得した画像から特徴を抽出し、
    前記通信手段を用いて前記公衆ネットワークへ前記抽出された特徴に関する情報を送信し、当該抽出された特徴に関する情報を用いて検索することで当該抽出された特徴に関する検索結果を取得し、
    前記センサで取得した生体情報に基づき、前記表示手段を用いてユーザが見ている実像に対応づけて表示される前記検索結果を変化させる、
    情報処理方法。
JP2012541709A 2010-11-02 2011-09-07 情報処理システム、情報処理装置および情報処理方法 Expired - Fee Related JP5870929B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012541709A JP5870929B2 (ja) 2010-11-02 2011-09-07 情報処理システム、情報処理装置および情報処理方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010246134 2010-11-02
JP2010246134 2010-11-02
PCT/JP2011/005006 WO2012060039A1 (ja) 2010-11-02 2011-09-07 情報処理システム、および情報処理方法
JP2012541709A JP5870929B2 (ja) 2010-11-02 2011-09-07 情報処理システム、情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
JPWO2012060039A1 JPWO2012060039A1 (ja) 2014-05-12
JP5870929B2 true JP5870929B2 (ja) 2016-03-01

Family

ID=46024167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012541709A Expired - Fee Related JP5870929B2 (ja) 2010-11-02 2011-09-07 情報処理システム、情報処理装置および情報処理方法

Country Status (5)

Country Link
US (1) US9014754B2 (ja)
EP (1) EP2637078B1 (ja)
JP (1) JP5870929B2 (ja)
CN (1) CN103189817B (ja)
WO (1) WO2012060039A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9411413B2 (en) 2010-08-04 2016-08-09 Apple Inc. Three dimensional user interface effects on a display
US8913056B2 (en) 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
RU2649950C2 (ru) * 2012-08-27 2018-04-05 Сони Корпорейшн Устройство отображения изображения и способ отображения изображения, оконечное устройство передачи информации и способ передачи информации и система отображения изображения
US9691180B2 (en) 2012-09-28 2017-06-27 Intel Corporation Determination of augmented reality information
US9148768B2 (en) * 2013-01-18 2015-09-29 Ruggero Scorcioni Communication system having automated filtering based on mental state decisions
JP6135162B2 (ja) * 2013-02-12 2017-05-31 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、画像表示システム
JP6851133B2 (ja) * 2014-01-03 2021-03-31 ハーマン インターナショナル インダストリーズ インコーポレイテッド ユーザに方向付けられた個人情報アシスタント
CN103995822A (zh) * 2014-03-19 2014-08-20 宇龙计算机通信科技(深圳)有限公司 一种终端及信息搜索方法
JP6166680B2 (ja) * 2014-03-20 2017-07-19 Kddi株式会社 情報記録タイミング推定システム、携帯端末、情報記録タイミング推定方法およびプログラム
JP2015219529A (ja) * 2014-05-13 2015-12-07 東芝テック株式会社 商品情報提示装置およびプログラム
US10302444B2 (en) * 2015-01-30 2019-05-28 Sony Corporation Information processing system and control method
US9503687B2 (en) * 2015-03-24 2016-11-22 Fuji Xerox Co., Ltd. Personalized meeting event capture using egocentric tracking in smart spaces
CN104850229B (zh) * 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
CN106488024A (zh) * 2016-10-18 2017-03-08 珠海格力电器股份有限公司 一种移动终端、移动终端智能拍照方法及系统
WO2018179346A1 (ja) * 2017-03-31 2018-10-04 本田技研工業株式会社 操作システム、サーバ、操作システムにおける制御方法およびプログラム
JP2019047234A (ja) * 2017-08-31 2019-03-22 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、およびプログラム
US11599192B2 (en) 2018-04-26 2023-03-07 Sony Interactive Entertainment Inc. Image presentation apparatus, image presentation method, recording medium, and program
CN109324417A (zh) * 2018-12-13 2019-02-12 宜视智能科技（苏州）有限公司 助视器及其控制方法、计算机存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190573A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 電子図鑑
JP2006267887A (ja) * 2005-03-25 2006-10-05 Konica Minolta Photo Imaging Inc 映像認識手段を備えたヘッドマウントディスプレイ
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
JP2010176346A (ja) * 2009-01-29 2010-08-12 Sony Corp 撮像装置および検索方法、並びにプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
DE50007901D1 (de) * 1999-03-02 2004-10-28 Siemens Ag Nutzung von augmented reality-basistechnologien zur situationsgerechten unterstützung des facharbeiters durch entfernte experten
US7324081B2 (en) * 1999-03-02 2008-01-29 Siemens Aktiengesellschaft Augmented-reality system for situation-related support of the interaction between a user and an engineering apparatus
JP2000331006A (ja) 1999-05-18 2000-11-30 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置
JP2001034615A (ja) 1999-07-16 2001-02-09 Nippon Telegr & Teleph Corp <Ntt> 作業支援システム及び作業支援方法
JP2004219664A (ja) 2003-01-14 2004-08-05 Sumitomo Electric Ind Ltd 情報表示システム及び情報表示方法
JP2004343288A (ja) * 2003-05-14 2004-12-02 Hitachi Ltd 携帯端末、情報配信装置、通信システム、及び携帯端末を利用したユーザへの情報提示方法
JP4590555B2 (ja) * 2004-09-02 2010-12-01 国立大学法人長岡技術科学大学 感性状態判別方法及び装置
US20060104483A1 (en) * 2004-11-12 2006-05-18 Eastman Kodak Company Wireless digital image capture device with biometric readers
KR100718125B1 (ko) * 2005-03-25 2007-05-15 삼성전자주식회사 생체신호와 인공신경회로망을 이용한 생체인식 장치 및방법
US7519200B2 (en) * 2005-05-09 2009-04-14 Like.Com System and method for enabling the use of captured images through recognition
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP2008225904A (ja) * 2007-03-13 2008-09-25 Sony Corp データ処理システム及びデータ処理方法
US8457595B2 (en) * 2007-07-20 2013-06-04 Broadcom Corporation Method and system for processing information based on detected biometric event data
NZ560457A (en) * 2007-08-15 2010-02-26 William Bryan Woodard Image generation system
JP5071850B2 (ja) 2007-09-03 2012-11-14 国立大学法人長岡技術科学大学 認知状態判定装置
JP2009118420A (ja) * 2007-11-09 2009-05-28 Sony Corp 情報処理装置、情報処理方法、プログラム、記録媒体及び情報処理システム
US8098881B2 (en) * 2008-03-11 2012-01-17 Sony Ericsson Mobile Communications Ab Advertisement insertion systems and methods for digital cameras based on object recognition
US20090247219A1 (en) * 2008-03-25 2009-10-01 Jian-Liang Lin Method of generating a function output from a photographed image and related mobile computing device
US20090327272A1 (en) * 2008-06-30 2009-12-31 Rami Koivunen Method and System for Searching Multiple Data Types
CN101839092B (zh) * 2009-03-16 2013-08-21 徐克林 一种可拍照可发信息的防盗报警锁
WO2011042989A1 (ja) * 2009-10-09 2011-04-14 Kikuchi Kouichi 視認情景に対する視認者情感判定装置
JP5043151B2 (ja) 2010-05-24 2012-10-10 オリンパスイメージング株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08190573A (ja) * 1995-01-12 1996-07-23 Hitachi Ltd 電子図鑑
JP2006267887A (ja) * 2005-03-25 2006-10-05 Konica Minolta Photo Imaging Inc 映像認識手段を備えたヘッドマウントディスプレイ
JP2008067219A (ja) * 2006-09-08 2008-03-21 Sony Corp 撮像装置、撮像方法
JP2010176346A (ja) * 2009-01-29 2010-08-12 Sony Corp 撮像装置および検索方法、並びにプログラム

Also Published As

Publication number Publication date
US9014754B2 (en) 2015-04-21
WO2012060039A1 (ja) 2012-05-10
CN103189817B (zh) 2016-08-24
US20130217441A1 (en) 2013-08-22
EP2637078B1 (en) 2020-04-08
EP2637078A1 (en) 2013-09-11
JPWO2012060039A1 (ja) 2014-05-12
CN103189817A (zh) 2013-07-03
EP2637078A4 (en) 2017-05-17

Similar Documents

Publication Publication Date Title
JP5870929B2 (ja) 情報処理システム、情報処理装置および情報処理方法
KR102354428B1 (ko) 이미지를 분석하기 위한 웨어러블기기 및 방법
US10495878B2 (en) Mobile terminal and controlling method thereof
US9262780B2 (en) Method and apparatus for enabling real-time product and vendor identification
US10488208B2 (en) Communication system, control method, and storage medium
JP6312712B2 (ja) 情報表示端末、情報表示システム及び情報表示方法
US9137308B1 (en) Method and apparatus for enabling event-based media data capture
US10554829B2 (en) Information processing device, photographing device, image sharing system, and method of information processing
CN110192386B (zh) 信息处理设备和信息处理方法
US20150381885A1 (en) Glass-type terminal and method for controlling the same
KR20160068830A (ko) 아이 트래킹
JP2010061265A (ja) 人物検索登録システム
US11074292B2 (en) Voice tagging of video while recording
JPWO2019097726A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
US10235805B2 (en) Client terminal and server for guiding a user
JPWO2013024667A1 (ja) 関心地点抽出装置、関心地点抽出方法、及びプログラム
JP2018112753A (ja) 情報表示端末及び情報表示方法
JP2018207220A (ja) 関連情報表示システム
US11041728B2 (en) Intra-route feedback system
KR20150109993A (ko) 사용자의 선호 감정 패턴을 결정하는 방법 및 시스템
WO2015105075A1 (ja) 情報処理装置及び電子機器
US20180292980A1 (en) System, information processing method, and storage medium
KR102251142B1 (ko) 제스처 데이터 수집 및 관리 시스템
CN116932861A (zh) 一种信息推荐方法、装置及车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140818

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151228

R150 Certificate of patent or registration of utility model

Ref document number: 5870929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees