JP6777201B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP6777201B2
JP6777201B2 JP2019132116A JP2019132116A JP6777201B2 JP 6777201 B2 JP6777201 B2 JP 6777201B2 JP 2019132116 A JP2019132116 A JP 2019132116A JP 2019132116 A JP2019132116 A JP 2019132116A JP 6777201 B2 JP6777201 B2 JP 6777201B2
Authority
JP
Japan
Prior art keywords
information
unit
information processing
user
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019132116A
Other languages
English (en)
Other versions
JP2019207720A (ja
Inventor
村田　誠
誠 村田
直樹 澁谷
直樹 澁谷
純子 高林
純子 高林
裕士 瀧本
裕士 瀧本
佐藤　浩司
浩司 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JP2019207720A publication Critical patent/JP2019207720A/ja
Application granted granted Critical
Publication of JP6777201B2 publication Critical patent/JP6777201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24575—Query processing with adaptation to user needs using context
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
近年、自分の行動を記録したり、自分の行動を特定多数、又は、不特定多数の人物に公開したりするためのツールとして、インターネットを利用したソーシャルネットワークサービス（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋ Ｓｅｒｖｉｃｅ：ＳＮＳ）等が普及している。
ここで、ソーシャルネットワークサービスへの自身の行動の記録は、ユーザ自身が投稿するための記事を作成し、必要に応じて画像データ等を記事に添付したうえで、ソーシャルネットワークサービスを管理している管理サーバへとデータを送信することで行われる。そのため、現在行っている行動に夢中になって、投稿するための記事の作成を忘れてしまうなどといったことも生じうる。
かかる状況を減らすために、例えば下記の特許文献１には、ユーザの行動を自動的に認識し、得られた認識結果に基づいて、エンターテインメント性のある文章を自動的に生成する方法が開示されている。
特開２００８−３６５５号公報
上記特許文献１に記載の方法を用いることで、「のんびりした歩行」や「せわしない動作」といった行動パターンを、時系列のデータとして得ることができる。しかしながら、この方法で得られる行動パターンは、比較的短時間に行われるユーザの動作や状態を主に表現したものである。そのため、「今日はデパートで買い物をした」、「昨日はホテルのレストランで食事をした」等のような、具体的な行動内容を行動パターンの履歴から推察することは難しい。また、上記特許文献１に記載の方法で得られる行動パターンを形成する個々の行動自体は、ユーザが目的を持って行っているものではないため、得られた行動パターンに基づいて生成された文章をソーシャルネットワークサービスに投稿したとしても、後から見返してみて面白いと思えるような文章にはなりづらい。
一方、ソーシャルネットワークサービスに投稿して面白いと思えるような記事は、ユーザが行った個々の行動が複雑に絡み合った結果生じた、ユーザを取り巻く様々な状況（コンテキスト）に関する記事である。そこで、ソーシャルネットワークサービスへの投稿に関してユーザの利便性を更に向上させるためには、ユーザを取り巻く状況を認識して、かかる状況の認識結果に基づいてユーザを取り巻く状況を表わした情報を自動的に生成可能な技術を実現することが望ましい。
そこで、本開示では、ユーザのおかれた状況を表わした情報を自動的に生成することが可能な、情報処理装置、情報処理方法及びプログラムを提案する。
本開示によれば、外部装置が備えるセンサから得られる環境情報を取得する情報取得部と、前記環境情報に含まれる画像に対して認識処理を行い、当該画像に含まれるオブジェクトの特徴量を参照して、当該オブジェクトの認識結果として、当該オブジェクトの分類と当該分類に対応するスコアとを出力する認識処理部と、前記認識結果としての前記分類と前記スコアとに基づいて、前記画像から得られるコンテキストを表現するコンテキスト候補情報を生成する状況候補情報生成部と、を備え、機械学習モデルは、事前に収集された複数の画像を学習することによって得られ、前記認識処理に使用される、情報処理装置が提供される。
また、本開示によれば、外部装置が備えるセンサから得られる環境情報を取得することと、前記環境情報に含まれる画像に対して認識処理を行い、当該画像に含まれるオブジェクトの特徴量を参照して、当該オブジェクトの認識結果として、当該オブジェクトの分類と当該分類に対応するスコアとを出力することと、前記認識結果としての前記分類と前記スコアとに基づいて、前記画像から得られるコンテキストを表現するコンテキスト候補情報を生成することと、を含み、機械学習モデルは、事前に収集された複数の画像を学習することによって得られ、前記認識処理に使用される、情報処理方法が提供される。
また、本開示によれば、コンピュータに、外部装置が備えるセンサから得られる環境情報を取得する情報取得機能と、前記環境情報に含まれる画像に対して認識処理を行い、当該画像に含まれるオブジェクトの特徴量を参照して、当該オブジェクトの認識結果として、当該オブジェクトの分類と当該分類に対応するスコアとを出力する認識処理機能と、前記認識結果としての前記分類と前記スコアとに基づいて、前記画像から得られるコンテキストを表現するコンテキスト候補情報を生成する状況候補情報生成機能と、を実現させ、機械学習モデルは、事前に収集された複数の画像を学習することによって得られ、前記認識処理に使用される、プログラムが提供される。
以上説明したように本開示によれば、ユーザのおかれた状況を表わした情報を自動的に生成することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態に係る情報処理システムを説明するための説明図である。 同実施形態に係る情報処理装置の構成の一例を示したブロック図である。 同実施形態に係る情報処理装置が有する認識処理部の構成の一例を示したブロック図である。 同実施形態に係る認識処理部が有する画像解析部の構成の一例を示したブロック図である。 同実施形態に係る認識処理部が有する音声解析部の構成の一例を示したブロック図である。 同実施形態に係る認識処理部が有する場所・行動解析部の構成の一例を示したブロック図である。 同実施形態に係る認識処理部で実施される場所・行動解析処理について説明するための説明図である。 同実施形態に係る認識処理部で実施される場所・行動解析処理について説明するための説明図である。 同実施形態に係る認識処理部で実施される場所・行動解析処理について説明するための説明図である。 同実施形態に係る認識処理部で実施される状況認識処理について説明するための説明図である。 同実施形態に係る認識処理部で実施される状況認識処理について説明するための説明図である。 同実施形態に係る認識処理部における認識結果を説明するための説明図である。 同実施形態に係る認識処理部における認識結果を説明するための説明図である。 同実施形態に係る情報処理装置が有する状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る状況候補情報生成部で実施される状況候補情報生成処理について説明するための説明図である。 同実施形態に係る情報処理装置が有する情報更新部の構成の一例を示したブロック図である。 同実施形態に係る情報処理装置が有する外部機器連携部の構成の一例を示したブロック図である。 同実施形態に係る外部機器連携部で実施される外部機器連携処理について説明するための説明図である。 同実施形態に係る情報処理装置の変形例について説明するための説明図である。 同実施形態に係る情報処理装置の変形例について説明するための説明図である。 同実施形態に係る情報処理装置の表示画面の一例を説明するための説明図である。 同実施形態に係る情報処理装置における状況候補情報生成処理の流れの一例を説明するための説明図である。 同実施形態に係る情報処理装置における状況候補情報生成処理の流れの一例を説明するための説明図である。 同実施形態に係る情報処理方法の流れの一例を示した流れ図である。 本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
１．１．情報処理システムについて
１．２．情報処理装置について
１．３．情報処理装置の変形例について
１．４．表示画面の一例について
１．５．状況候補情報の生成処理の流れの一例について
１．６．情報処理方法について
２．情報処理装置のハードウェア構成について
（第１の実施形態）
＜情報処理システムについて＞
まず、図１を参照しながら、本開示の第１の実施形態に係る情報処理装置を含む情報処理システムについて、簡単に説明する。図１は、本実施形態に係る情報処理システムの全体構成を模式的に示した説明図である。
本実施形態に係る情報処理システムは、インターネット、無線通信ネットワーク、移動体通信網等といった各種のネットワーク１に接続された１又は複数の情報処理装置１０から構成される。図１に示した情報処理システムでは、ネットワーク１にＮ台の情報処理装置１０Ａ〜１０Ｎ（以下、まとめて「情報処理装置１０」と称することもある。）が接続されている。ここで、ネットワーク１に接続されている情報処理装置１０の台数については、特に限定されるものではない。
本実施形態に係る情報処理システムには、ネットワーク１を介して、ソーシャルネットワークシステム等の各種情報投稿サービスを管理する情報投稿サーバ３が接続されている。また、ネットワーク１には、例えば、場所に関する情報を取得可能なサーバや、天気に関する情報を取得可能なサーバ等といった、各種のサービス提供サーバ５が接続されていてもよい。例えば、場所に関する情報を取得可能なサーバの例としては、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）サーバや、無線通信ネットワークを管理するサーバや、移動体通信網を管理するサーバ等がある。
本実施形態に係る情報処理装置１０は、ネットワーク１を介して、情報投稿サーバ３や、サービス提供サーバ５等と、各種情報の送受信を行うことが可能である。
ここで、本実施形態に係る情報処理装置１０の種別については、特に限定されるものではなく、公知の機器を用いて実現することが可能である。例えば、情報処理装置１０は、携帯電話、スマートフォン、タブレット型端末、ノートパソコン等のような、ユーザが携帯可能な携帯情報端末であってもよい。また、情報処理装置１０は、デジタルカメラ等の各種カメラや、カムコーダ等であってもよい。また、情報処理装置１０は、メガネ、時計、各種アクセサリー等のような、ウェアラブル端末であってもよい。
また、本実施形態に係る情報処理装置１０は、各種コンピュータや各種サーバ等といった情報処理サーバ２０と連携しながら、以下で説明するような処理を実施することも可能である。
以上、図１を参照しながら、本実施形態に係る情報処理システムの構成について、簡単に説明した。
＜情報処理装置について＞
次に、図２〜図１９を参照しながら、本実施形態に係る情報処理装置１０について、詳細に説明する。
まず、図２を参照しながら、本実施形態に係る情報処理装置１０の構成を説明する。図２は、本実施形態に係る情報処理装置１０の構成の一例を模式的に示したブロック図である。
本実施形態に係る情報処理装置１０は、図２に示したように、情報取得部１０１と、認識処理部１０３と、状況候補情報生成部１０５と、表示制御部１０７と、状況情報送信部１０９と、情報更新部１１１と、外部機器連携部１１３と、記憶部１１５と、を主に備える。
○情報取得部１０１
情報取得部１０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、入力装置、通信装置、センサ等により実現される。情報取得部１０１は、情報処理装置１０を携帯しているユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報、ユーザのおかれた環境に関する音声情報等の少なくとも何れかを含むユーザ環境情報を取得する。
情報取得部１０１は、所定の時間間隔で、各種の位置情報を取得したり、静止画像や動画像のような各種画像情報を取得したり、音声情報を取得したりする。例えば、情報取得部１０１は、ＧＰＳサーバ、Ｗｉ−Ｆｉ、Ｃｅｌｌ ＩＤ等を利用して、ユーザの存在する位置情報を取得することができる。また、情報取得部１０１は、情報処理装置１０に設けられた各種のカメラを利用して、静止画像や動画像のような画像情報を取得することができる。また、情報取得部１０１は、情報処理装置１０に設けられた各種のマイクを利用して、音声情報を取得することができる。
また、情報取得部１０１は、情報処理装置１０に設けられている各種の生体センサを利用して、ユーザの発汗の有無、ユーザの体温や心拍、ユーザの体表や体内に存在する生体成分等を、ユーザ固有の生体情報として取得することもできる。
なお、情報取得部１０１は、ネットワーク１上に存在する各種のサービス提供サーバ５とデータの送受信を行うことで、各種のユーザ環境情報を取得することも可能である。
情報取得部１０１により取得された上記のような各種のユーザ環境情報は、後述する認識処理部１０３に随時出力されて、認識処理部１０３による各種の認識処理に利用される。また、情報取得部１０１は、後述する認識処理部１０３における認識処理により、ユーザのおかれた環境を特徴づける特徴量が所定の条件を満たした場合には、取得した位置情報や画像情報や音声情報等を、後述する状況候補情報の生成に利用する添付データとして記憶部１１５等に保存する。
また、情報取得部１０１によって取得された各種のユーザ環境情報は、後述する認識処理部１０３及び記憶部１１５以外にも、状況候補情報生成部１０５、表示制御部１０７、状況情報送信部１０９、情報更新部１１１、外部機器連携部１１３等に出力され、適宜利用される。
○認識処理部１０３
認識処理部１０３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。認識処理部１０３は、情報取得部１０１によって取得されたユーザ環境情報に基づき、当該ユーザ環境情報に含まれる位置情報、画像情報及び音声情報等の少なくとも何れかの解析処理を所定の時間間隔で行う。また、認識処理部１０３は、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する状況認識処理を実施する。
この認識処理部１０３は、図３に模式的に示したように、例えば、画像解析部１２１と、音声解析部１２３と、場所・行動解析部１２５と、状況認識部１２７と、を有する。
画像解析部１２１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。画像解析部１２１は、情報取得部１０１により取得された画像情報（すなわち、画像データ）を解析して、画像データに対応する画像の中に存在する顔、風景、料理、各種物体等を認識したり、画像シーンを分類したりする。
この画像解析部１２１は、図４に示したように、顔解析部１３１と、画像シーン分類部１３３と、風景認識部１３５、料理認識部１３７、物体認識部１３９等を更に有している。
顔解析部１３１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。顔解析部１３１は、画像データに対応する画像の中に人物の顔が含まれているか否かを認識する処理部である。顔解析部１３１によって画像データが随時解析されることにより、画像の中に顔が存在しているか否かを特徴づける顔検出特徴量が算出される。また、画像の中に顔が存在していた場合には、顔解析部１３１は、顔に該当する領域を特定したり、認識した顔に該当する人物が誰であるか等を特定したりする。顔解析部１３１によって算出される顔検出特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。その他にも、顔解析部１３１は、顔の数、座標、角度を特定することもできるし、顔検出スコア、顔パーツ位置、笑顔の有無、生物、年齢、人種等といった各種属性を顔検出特徴量として算出することもできる。
画像シーン分類部１３３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。画像シーン分類部１３３は、画像データに対応する画像がどのようなシーンであるかを分類する処理部である。画像シーン分類部１３３によって画像データが随時解析されることにより、画像がどのようなシーンに分類されるかを示したシーン分類特徴量が算出される。また、画像シーン分類部１３３により画像データが随時解析されることで、ユーザが存在する場所（例えば、職場、飲食店等）や、状況（車を運転している、テレビを見ている等）が特定される。画像シーン分類部１３３によって算出されるシーン分類特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。
風景認識部１３５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。風景認識部１３５は、画像データに対応する画像が風景を撮像したものであるか否かを認識する処理部である。風景認識部１３５によって画像データが随時解析されることにより、画像の中に風景が存在しているか否かを特徴づける風景検出特徴量が算出される。また、画像の中に風景が存在していた場合には、風景認識部１３５は、風景に該当する領域を特定したり、認識した風景に該当する場所を特定したりする。風景認識部１３５によって算出される風景検出特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。その他にも、風景認識部１３５は、美しい風景としてのスコアを風景検出特徴量として算出することもできる。
料理認識部１３７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。料理認識部１３７は、画像データに対応する画像の中に料理に対応する部分が含まれているか否かを認識する処理部である。料理認識部１３７によって画像データが随時解析されることにより、画像の中に料理が存在しているか否かを特徴づける料理検出特徴量が算出される。また、画像の中に料理が存在していた場合には、料理認識部１３７は、料理に該当する領域を特定したり、認識した料理のカテゴリ（例えば、ご飯、味噌汁、カレーライス、パスタ、ケーキ・・・等）を特定したりする。料理認識部１３７によって算出される料理検出特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。
物体認識部１３９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。物体認識部１３９は、画像データに対応する画像の中に存在する様々な物体を認識する処理部である。物体認識部１３９によって画像データが随時解析されることにより、画像の中に各種の物体が存在しているか否かを特徴づける物体検出特徴量が算出される。また、画像の中に物体が存在していた場合には、物体認識部１３９は、物体に該当する領域を特定したり、認識した物体の種類を特定したりする。物体認識部１３９によって算出される物体検出特徴量が所定の閾値以上である場合に、認識対象とした画像データが、記憶部１１５等に格納される。
以上説明したような各処理部による処理結果は、情報取得部１０１や、音声解析部１２３、場所・行動解析部１２５及び状況認識部１２７に対して、随時出力される。
なお、以上説明したような各処理部で実施される各種の解析・認識処理の詳細な方法については、特に限定されるものではなく、例えば特開２０１０−１９１９３４号公報等に開示されているような、公知の方法を利用することが可能である。また、画像解析部１２１は、ネットワーク１上に接続されている、画像認識サービスを提供するサービス提供サーバ５を利用して、上記のような画像認識処理を行ってもよい。
再び図３に戻って、本実施形態に係る認識処理部１０３が有する音声解析部１２３について説明する。
音声解析部１２３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。音声解析部１２３は、情報取得部１０１により取得された音声情報（すなわち、音声データ）を解析して、音声データを分類したり、音声データの内容を認識したりする。
この音声解析部１２３は、図５に示したように、音声分類部１４１及び音声認識部１４３等を更に有している。
音声分類部１４１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。音声分類部１４１は、情報取得部１０１により取得された音声データを解析し、音声データに関する特徴量を算出する。より具体的には、音声分類部１４１は、音声データが、会話なのか、笑い声なのか、歓声なのか、破裂音（擬音語）なのか、拍手のような称賛を表す音なのか、音楽なのか等といった、音声データの分類処理を行う。このような音声データの分類処理は、例えば、記憶部１１５等に予め格納されている音声解析用データベース等を参照したり、音声解析用のプログラム等を実行したりすることで実行可能である。
また、音声分類部１４１は、音声データの音量についても解析を行い、例えば音量を数値化して出力してもよい。また、音声分類部１４１は、音声データが会話や笑い声などのように、人間によって生じたものであれば、声を発した人物が、男性なのか、女性なのか、子供なのか、といった点についても解析を行うことが可能である。これらの解析は、例えば、音声を表したスペクトル等を参照して、該当する波形の振幅や、音声データの周波数等を解析することで行なうことが可能である。
なお、音声分類部１４１によって算出される音声データに関する各種の特徴量（例えば、会話検出用特徴量、笑い声検出用特徴量、歓声検出用特徴量、擬音語検出用特徴量、音楽検出用特徴量・・・等）が所定の閾値以上となった場合に、認識対象とした音声データが、記憶部１１５等に格納される。
音声認識部１４３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。音声認識部１４３は、音声データを公知の音声認識処理及び言語認識処理により解析して、音声データの内容をテキストデータ化したり、音声データの内容そのものを認識したりする。これにより、音声データの内容や、音声データに含まれる各種の単語を特定することができる。
以上説明したような各処理部による処理結果は、情報取得部１０１や、画像解析部１２１、場所・行動解析部１２５及び状況認識部１２７に対して随時出力される。
なお、以上説明したような各処理部で実施される各種の解析・認識処理の詳細な方法については、特に限定されるものではなく、例えば特開２０１０−１９１９３４号公報等に開示されているような、公知の方法を利用することが可能である。また、音声解析部１２３は、ネットワーク１上に接続されている、音声認識サービスを提供するサービス提供サーバ５を利用して、上記のような音声認識処理を行ってもよい。
再び図３に戻って、本実施形態に係る認識処理部１０３が有する場所・行動解析部１２５について説明する。
場所・行動解析部１２５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。場所・行動解析部１２５は、情報取得部１０１により取得された位置情報や、加速度センサ等からの出力情報を解析して、ユーザが存在している場所や、ユーザが行っている行動の内容を特定する。
この場所・行動解析部１２５は、図６に示したように、行動認識部１５１、場所情報取得部１５３及び天気情報取得部１５５等を更に有している。
行動認識部１５１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。行動認識部１５１は、情報取得部１０１により取得された位置情報や、加速度センサ等からの出力情報を解析して、ユーザの行動を特徴づける特徴量を算出する。また、行動認識部１５１は、算出した特徴量を更に利用して、ユーザが行っている行動の内容を認識する。これにより、行動認識部１５１は、ユーザが滞留しているのか、移動しているのか、といった判定や、ユーザどのような移動手段で移動しているのかといった判定を行うことができる。その結果、行動認識部１５１は、ユーザが歩いている、走っている、静止している、ジャンプしている、エレベータで移動している、車や電車や自転車で移動している、・・・等といったユーザの状態を把握することができる。
行動認識部１５１で実施される行動認識処理の一例を、図７を参照しながら簡単に説明する。図７は、行動解析処理の一例を模式的に示した説明図である。
行動認識部１５１は、まず、加速度・ジャイロ等のモーションセンサデータを利用し、かかるセンサデータに対して、平均、分散、周波数フィルタ応答等といった公知の信号処理を行うことで、センサデータから特徴量を抽出する。その上で、行動認識部１５１は、ブースティング法、ニューラルネットワーク、隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：ＨＭＭ）法等といった、公知の機械学習・パターン認識技術を利用して、人の動きや姿勢、乗り物等を認識することができる。
また、行動認識部１５１は、認識精度を更に向上させるために、図７に示したように、画像データ及び音声データ（又は、画像解析部１２１や音声解析部１２３による解析結果）を利用してもよい。
行動認識部１５１によって実施される上記のような行動認識処理の詳細は、特に限定されるものではなく、例えば特開２０１０−１９８５９５号公報に開示されているような、公知の方法を利用することが可能である。また、行動認識部１５１は、ネットワーク１上に接続されている、行動認識サービスを提供するサービス提供サーバ５を利用して、上記のような行動認識処理を行ってもよい。
場所情報取得部１５３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。場所情報取得部１５３は、必要に応じて場所取得サービスを提供するサービス提供サーバ５等を利用しながら、情報取得部１０１により取得された位置情報や、気圧センサ等からの出力情報を解析して、ユーザの存在している場所を表わした場所情報を取得する。以下、場所情報取得部１５３で実施される場所情報の取得処理について、図８及び図９を参照しながら、具体的に説明する。図８及び図９は、場所情報の取得処理について説明するための説明図である。
場所情報取得部１５３は、情報取得部１０１によって取得された場所情報のうち、緯度・経度を表わした情報を基にして、記憶部１１５（又は、ネットワーク１上に存在する各種サーバ）等に格納されている場所データベースを検索する。この場所データベースとしては、図８に示したように、自宅、職場、学校等の個人的な場所を格納するプライベート場所データベース（以下、「ＤＢ」と略記する。）と、レストラン、喫茶店、駅、店舗、公園等といった公的な場所を格納するパブリック場所ＤＢと、が存在することが好ましい。
次に、場所情報取得部１５３は、緯度・経度の誤差に応じて、（現在地の緯度・経度＋半径数メートル〜数十メートル）の範囲内で、プライベート場所ＤＢ及びパブリック場所ＤＢを参照しながら、図８に示したような場所候補リストを生成する。図８に示したように、各場所を表わすデータには、場所の名前とカテゴリとが関連付けられている。
場所情報取得部１５３は、かかる場所候補リストを生成する際、気圧センサ等からの出力を用いて、高度（より詳細には、建物等のフロア）の判定を行い、場所候補リストを絞り込んでもよい。
このようにして生成される場所候補リストは、都市部では通常一意には定まらず、図８に例示したように、数個から数十個のリストになる。
次に、場所情報取得部１５３は、場所を認識・確定させるために、図９に示したように、画像データ及び音声データ（又は、画像解析部１２１や音声解析部１２３による解析結果）を利用する。
例えば、場所情報取得部１５３は、画像データからシーンを分類する技術（例えば、事前に大量に収集した画像データから機械学習を用いて判別器を生成する等）によって、レストラン、喫茶店、駅、店舗、公園、自宅、職場、学校等のシーンを分類するとともに、各シーンのスコアを算出させる。この際に、画像シーン分類は、色・輝度以外にデプス・奥行き情報を特徴量として用いてもよい。また、場所情報取得部１５３は、音声を分類する技術（例えば、事前にサンプルを集めて機械学習により判別器を生成する等）によって、会話、笑い声、音楽などの音声シーンを分類するとともに、各音声シーンのスコアを算出させる。
次に、場所情報取得部１５３は、画像シーン分類スコア及び音声シーン分類スコアを、場所カテゴリ判別器に入力する。かかる場所カテゴリ判別器は、例えば、画像シーン分類スコアで「レストラン」が高く、音声分類スコアの「会話」が高かった場合、事前に統計学習された結果を元に、場所カテゴリを「レストラン」と判別する。
なお、場所情報取得部１５３は、上記のような判別器を利用した処理を行わずとも、同様の処理を実施している画像解析部１２１や音声解析部１２３と互いに連携して、画像解析部１２１及び音声解析部１２３による解析結果を適宜利用してもよい。
このようにして得られた場所カテゴリの判別結果を利用して、場所情報取得部１５３は、生成した場所候補リストをソートする。図９に示した例では、場所の判別結果が、「職場」から「○○喫茶」へと変わることとなる。
以上説明したような処理を行うことで、場所情報取得部１５３は、ユーザが存在する場所を表わした場所情報を取得することができる。
再び図６に戻って、天気情報取得部１５５について簡単に説明する。
天気情報取得部１５５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。天気情報取得部１５５は、天気情報取得サービスを提供するサービス提供サーバ５（例えば、天気予報提供サーバ）等を利用して、ユーザが存在している場所の天気、最高気温、最低気温、降水確率、風速、湿度、気圧等といった、各種の天気情報（気象情報）を取得する。このようにして取得された天気情報を利用して、場所・行動解析部１２５は、実施する解析処理の精度を高めることができる。
以上説明したような各処理部による処理結果は、情報取得部１０１や、画像解析部１２１、音声解析部１２３及び状況認識部１２７に対して随時出力される。
再び図３に戻って、本実施形態に係る認識処理部１０３が有する状況認識部１２７について説明する。
状況認識部１２７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。状況認識部１２７は、画像解析部１２１、音声解析部１２３及び場所・行動解析部１２５等によって得られたユーザ環境に関する各種の解析結果を利用して、ユーザのおかれた状況を認識する。
ここで、「ユーザのおかれた状況」とは、「時間」、「場所」及び「行動」に関する解析結果に基づいて更なる認識処理を行うことで推定される、「時間」、「場所」、「行動」が複合的に組み合わされたユーザの生活レベル行動を意味する。このような状況の一例として、例えば、食事、買い物、仕事、人と会う、旅行、遊び、スポーツ、移動、家事、芸術鑑賞、くつろぎ、睡眠、・・・等を挙げることができる。
具体的には、状況認識部１２７は、図１０に模式的に示したように、画像解析結果、音声解析結果、時間解析結果、場所解析結果及び行動解析結果を利用し、ルールベース処理、時系列パターン認識処理等といった方法を適用することで、ユーザのおかれた状況を認識する。また、状況認識部１２７は、ユーザのおかれた状況が変化する毎に、後述する状況候補情報生成部１０５に対して、状況の認識結果を表わした情報を出力する。
ここで、図１０に示した時間解析結果のうち、時刻に関する情報は、情報処理装置１０が保持している時間情報を参照することで得ることができる。また、状況認識部１２７は、かかる時間情報と、一般的な事前知識を用いることで、現在時刻がどのような状況であるかを判断することができる。例えば、着目している日が月曜日〜金曜日であれば、着目している日をウィークデーと特定することができるし、土曜日・日曜日であれば、週末と特定することができる。また、着目している時刻が例えば６〜１１時であれば朝であると判断し、１２〜１５時であれば昼であると判断し、１６〜１８時であれば夕方であると判断し、１９〜翌５時であれば夜であると判断することができる。
更に、状況認識部１２７は、ユーザの行動履歴に基づいてユーザの普段の行動パターンを特定し、ユーザに特化した時刻の状況を判断することも可能である。例えば、普段の行動パターンに基づき、月〜金曜日の８〜９時であれば通勤時間であると判断し、月〜金曜日の９〜１８時であれば勤務時間であると判断し、土曜日の２０〜２１時であれば夕食時間であると判断することができる。
また、図１０に示した画像解析結果は、画像解析部１２１による解析結果を利用することが可能であり、図１０に示した音声解析結果は、音声解析部１２３による解析結果を利用することができる。また、図１０に示した場所解析結果及び行動解析結果は、場所・行動解析部１２５による解析結果を利用することができる。
ここで、状況認識部１２７が実施する状況認識処理のうち、ルールベース処理とは、「時間」、「場所」、「行動」に関する各解析結果に対して、ＩＦ−ＴＨＥＮルールを適用し、条件の合致したルールに該当する状況を、ユーザのおかれた状況であると判断する処理である。このルールベース処理に基づいて、例えば、「勤務時間中に職場にいて、座った状態にあれば、ユーザは『仕事』をしている」、「昼時にレストランにいて、画像データ中に料理が存在しているという状態にあれば、ユーザは『食事』をしている」、「帰宅中にスーパーマーケットの中を歩いていれば、ユーザは『買い物』をしている」、「勤務地から遠く離れた場所にいれば、ユーザは『旅行』をしている」等のように判断を行うことができる。
また、状況認識部１２７が実施する状況認識処理のうち、時系列パターン認識処理とは、隠れマルコフモデル法等のような機械学習技術の一種であり、時間的なパターンのモデル化に適した手法である。この処理では、事前に大量の学習データを用いて、各状況を特徴づける確率モデルを学習させておき、状況認識部１２７への入力データを事前構築した確率モデルに代入することで、ユーザのおかれた状況を認識する手法である。
この手法を用いると、例えば図１１に示したように、画像シーン分類結果が「レストラン→料理→顔」と推移するとともに、行動認識結果が「静止→静止→静止」と推移している場合には、状況認識部１２７は、確率モデルに基づいて、ユーザが「食事」をしていると判断する。また、画像シーン分類結果が「店舗→本→店舗」と推移するとともに、行動認識結果が「歩き→静止→歩き」と推移している場合には、状況認識部１２７は、確率モデルに基づいて、ユーザが「買い物」をしていると判断する。
このようにして得られる状況認識結果の一例を、図１２Ａ及び図１２Ｂに示した。図１２Ａ及び図１２Ｂに示したように、認識処理部１０３で得られる各種の認識結果は、画像解析部１２１、音声解析部１２３及び場所・行動解析部１２５による各解析処理結果と、これら解析処理結果を組み合わせることで得られる状況認識結果（すなわち、ハイレベルコンテクスト）から構成されている。
図１２Ａ及び図１２Ｂに示したような状況認識結果を表わす情報は、状況認識部１２７から状況候補情報生成部１０５へと随時出力される。
○状況候補情報生成部１０５
再び図２に戻って、本実施形態に係る状況候補情報生成部１０５について、詳細に説明する。
状況候補情報生成部１０５は、認識処理部１０３による状況の認識結果を利用して、ユーザのおかれた状況を表す情報と、当該状況におけるユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する。以下、図１３〜図１６を参照しながら、状況候補情報生成部１０５による状況候補情報の生成処理について、具体的に説明する。
状況候補情報生成部１０５によって生成される状況候補情報は、図１３にも示したように、状況を表わすテキストデータと、感情を表わすテキストデータから構成されるテキストデータを少なくとも含む。本実施形態に係る状況候補情報生成部１０５は、感情を表わす表現を付加することにより、表情豊かで自然な文章を生成することが可能となる。
また、状況候補情報には、図１３にも示したように、解析に利用された画像データや音声データが含まれていてもよい。また、テキストデータ、画像データ、音声データ以外にも、ユーザがおかれた状況を表わす各種のデータが添付されていてもよい。
ここで、状況候補情報生成部１０５が自動的に生成する、状況を表わすテキストデータは、図１４Ａに示したように、「『いつ』『どこ』で『だれ』と『なに』を『どうする』。」という文章で成り立っている。ここで、状況を表わすテキストデータのうち「いつ」を表わす部分には、時間認識結果から得られた情報が適用され、「どこ」を表わす部分には、場所認識結果から得られた情報が適用される。また、状況を表わすテキストデータのうち「だれ」を表わす部分には、顔認識結果や音声認識結果から得られた情報が適用され、「なに」を表わす部分には、画像解析結果から得られた情報が適用される。更に、状況を表わすテキストデータのうち「どうする」を表わす部分には、行動認識結果から得られた情報だけでなく、その後複合的に認識した状況認識結果から得られた情報が適用される。
なお、情報投稿サーバ３への投稿を意図した文章を生成する場合、「いつ」に対応する時間認識結果は、それほど重要ではない場合が多い。そこで、「いつ」に対応する時間認識結果を文章中に適用するか否かについては、適宜判断すればよい。ただ、時間認識結果に着目することで、ある行動の前なのか、最中なのか、後なのかを把握できる場合がある。このような場合には、状況候補情報生成部１０５は、時間認識結果を利用して、自動生成する文章の時制（すなわち、現在形、過去形、未来形、完了形・・・等）を適切に選択することができる。
認識処理部１０３から出力されるユーザ環境の解析結果や状況認識結果には、「いつ」、「どこ」、「だれ」、「なに」、「どうする」といった、いわゆる５Ｗ１Ｈに該当する解析結果が存在しない場合も生じうる。そこで、状況候補情報生成部１０５は、図１４Ｂに示したように、一部の解析結果が得られない場合には、自動生成する文章を適宜修正して、自然な文章を生成するようにすればよい。
一方、本実施形態に係る感情を表わす情報は、ユーザの感じる感情をＮ種類に簡略化して表現するとともに、状況に応じて文章候補を切り替えることで生成される。そこで、状況候補情報生成部１０５は、感情を表わすテキストデータを、図１５に例示したような感情表現テーブルを用いて生成する。図１５に示した感情表現テーブルでは、表の列方向がＮ種類（図１５の場合は、３種類）に簡略化した感情に対応しており、表の行方向が状況認識結果に対応している。
感情をどの程度まで簡略化するかについては、特に限定されるものではなく、例えば図１６に示したように、適宜設定すればよい。図１６では、感情の程度をＮ種類に分類した場合や、感情の種類をＮ種類に分類した場合を例示している。
図１６に例示したように感情をＮ種類に簡略化することで、例えば、Ｎ種類のボタンをユーザが選択する等のような最小限のユーザ入力、又は、発汗、心拍、体温センサ等の生体センサを用いた感情センシングにより、ユーザのその時点での感情を反映した文章を、適切に生成することが可能となる。
また、状況に応じて感情を表わす文章候補を切り替えることで、その状況に合わせた最適な表現を選択することが可能となり、自然な文章生成が可能となる。更に、図１５に示したように、ひとつの状況に対して複数の文章候補を割り当てることで、文章のバリエーションを増やすことも可能となる。文章のバリエーションが増えることで、ユーザの飽きにくい文章を生成することも可能となる。
かかる感情表現テーブルは、公知の方法により事前に準備しておくことができる。また、感情表現テーブルは、ユーザがソーシャルネットワークサービスに投稿した文章や、ユーザの発言等を利用して、個人化してもよい。
状況候補情報生成部１０５は、以上のような方法により、ユーザをとりまく状況が変化するごとに、状況認識結果や感情表現テーブルに基づいて状況候補情報を生成する。その後、状況候補情報生成部１０５は、生成した状況候補情報を表示制御部１０７に出力して、ユーザに提示させる。
○表示制御部１０７
再び図２に戻って、本実施形態に係る情報処理装置１０が備える表示制御部１０７について説明する。
表示制御部１０７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、出力装置、通信装置等により実現される。表示制御部１０７は、状況候補情報生成部１０５から出力された、状況候補情報を含む各種の処理結果を、情報処理装置１０が備えるディスプレイ等の出力装置や情報処理装置１０の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、表示制御部１０７によって表示制御が行われている表示画面には、認識処理部１０３による認識結果や、状況候補情報生成部１０５により生成された状況候補情報が、所定の表示画面における所定の領域に随時表示されることとなる。情報処理装置１０のユーザは、情報処理装置１０によって自動的に生成された状況候補情報等といった各種の処理結果を、その場で把握することが可能となる。
○状況情報送信部１０９
状況情報送信部１０９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。状況情報送信部１０９は、状況候補情報生成部１０５により生成された状況候補情報のうちユーザに選択されたものを、ユーザのおかれた状況を表した状況情報として、ソーシャルネットワークサービスを提供する情報投稿サーバ３に送信する。これにより、各種のソーシャルネットワークサービスには、ユーザが投稿を希望する状況情報のみが投稿されることとなる。その結果、ユーザは、自身をとりまく状況に関する情報を自身で準備することなく、簡便に投稿することが可能となる。
○情報更新部１１１
情報更新部１１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。情報更新部１１１は、感情表現テーブルに含まれるユーザの感情を表わす表現を、認識処理部１０３によるユーザ環境に関する解析結果、ユーザによってなされた発言又は文章表現、及び、情報処理装置１０に設けられたセンサからの出力の少なくとも何れかを利用して更新する。以下、図１７を参照しながら、本実施形態に係る情報更新部１１１の構成の一例について、簡単に説明する。図１７は、本実施形態に係る情報処理装置が有する情報更新部の構成の一例を示したブロック図である。
本実施形態に係る情報処理装置１０では、状況候補情報生成部１０５が感情を表わすテキストデータの生成に利用する感情表現テーブルを、ユーザの発言内容を少なくとも用いることによって、ユーザ個人に特化した感情表現テーブルへとカスタマイズしていく。これにより、状況候補情報生成部１０５で自動的に生成される状況候補情報の内容が、あたかもユーザ自身が作成したかのようなリアリティのあるものとなる。
かかる情報更新部１１１は、図１７に示したように、くせ抽出部１６１と、感情表現個人化部１６７と、を少なくとも有し、より好ましくは、状況判定／状況認識部１６３と、感情判定／感情認識部１６５の少なくとも何れかを更に有する。
くせ抽出部１６１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。くせ抽出部１６１は、ユーザによってなされた発言又は文章表現（すなわち、ユーザの音声もしくは音声をテキスト化したもの、又は、ユーザが作成した文章）による普段のユーザ発言から、よく使う単語、よく使う言い回し、方言、口癖等といったユーザのくせを抽出する。
ここで、くせ抽出に用いられるユーザの音声としては、情報処理装置１０に設けられたマイクが取得した音声データや、電話での会話等が用いられる。また、ユーザによってなされた文章表現としては、ユーザが作成したメールや、ソーシャルネットワークサービスへの投稿内容等が用いられる。
これらのデータからユーザのくせを抽出する方法については、特に限定されるものではなく、各種の統計処理や、機械学習技術やパターン認識技術等を適宜適用すればよい。
くせ抽出部１６１が抽出したユーザのくせに関する情報は、感情表現個人化部１６７へと出力する。
状況判定／状況認識部１６３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。状況判定／状況認識部１６３は、ユーザによってなされた発言又は文章表現を利用し、予め登録した状況ごとの出現単語の辞書を用いて状況を判定したり、認識処理部１０３によるユーザ環境に関する解析結果を利用して、状況を認識したりする。これにより、状況判定／状況認識部１６３は、ユーザがどのような状況（例えば、食事中、仕事中等）において着目している発言又は文章表現をしたのかを特定することができる。状況判定／状況認識部１６３は、得られた状況に関する情報を感情表現個人化部１６７へと出力する。これにより、後述する感情表現個人化部１６７では、くせ抽出部１６１により抽出したユーザのくせに加えて、状況判定／状況認識部１６３が取得した状況に応じて、感情を個人化することが可能となる。
なお、状況を判定したり、認識したりする方法については、特に限定されるものではなく、公知の方法を用いてもよいし、ネットワーク１に接続されたサービス提供サーバ５と連携することで、かかる判定／認識処理を実施してもよい。また、認識処理部１０３と連携して、状況判定／状況認識部１６３の機能を実現してもよい。
感情判定／感情認識部１６５は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。感情判定／感情認識部１６５は、ユーザによってなされた発言又は文章表現を利用し、予め登録した感情ごとの出現単語の辞書を用いて感情を判定したり、情報処理装置１０に設けられたセンサからの出力（例えば、生体センサからの発汗、体温、心拍等に関する出力）を利用して、感情を認識したりする。これにより、感情判定／感情認識部１６５は、着目している発言又は文章表現をした際にどのような感情を有していたのか（例えば、嬉しかったのか、疲れていたのか等）を特定することができる。感情判定／感情認識部１６５は、得られた感情に関する情報を感情表現個人化部１６７へと出力する。これにより、後述する感情表現個人化部１６７では、くせ抽出部１６１により抽出したユーザのくせに加えて、感情判定／感情認識部１６５が取得した感情に応じて、感情を個人化することが可能となる。
なお、感情を判定したり、認識したりする方法については、特に限定されるものではなく、公知の方法を用いてもよいし、ネットワーク１に接続されたサービス提供サーバ５と連携することで、かかる判定／認識処理を実施してもよい。
感情表現個人化部１６７は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ等により実現される。感情表現個人化部１６７は、くせ抽出部１６１から出力されたユーザのくせに関する情報、好ましくは、状況や感情に関する情報を更に利用して、感情表現テーブルに関するデータベースに記載されている感情表現テーブルをカスタマイズする。これにより、くせ抽出部１６１から出力されたユーザのくせに関する情報のみを用いた場合には、「語尾に『な』を付ける癖がある」等といった知見に基づいて、感情表現テーブル全体の言い回しをカスタマイズすることができる。また、状況や感情に関する情報を更に利用する場合には、「食事中に嬉しいときは、『まじうまい！』という表現をよく使う」等といった知見に基づいて、感情表現テーブル全体の言い回しをカスタマイズすることができる。
○外部機器連携部１１３
再び図２に戻って、本実施形態に係る情報処理装置１０が備える外部機器連携部１１３について説明する。
外部機器連携部１１３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。外部機器連携部１１３は、相互に通信が可能な他の情報処理装置１０と連携して、状況候補情報生成部１０５による状況候補情報の生成結果の精度向上又は共有を行う。以下、図１８及び図１９を参照しながら、本実施形態に係る外部機器連携部１１３の構成の一例について、簡単に説明する。図１８は、本実施形態に係る情報処理装置が有する外部機器連携部の構成の一例を示したブロック図であり、図１９は、本実施形態に係る外部機器連携部で実施される外部機器連携処理について説明するための説明図である。
この外部機器連携部１１３は、図１８に示したように、グループ化部１７１と、連携処理部１７３と、を有している。
グループ化部１７１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。グループ化部１７１は、認識処理部１０３による顔認識結果や、情報処理装置１０の記憶部１１５等に格納されている、ユーザの知人・友人に関する各種情報が記載されたアドレス帳等を利用して、情報処理装置１０が存在している場所に共に存在している他の情報処理装置１０をグループ化する。場所を共有している情報処理装置１０を所持している複数のユーザは、同じイベントに対して一緒に参加している可能性が高い（例えば、食事会に参加している等）ため、これらの情報処理装置１０をグループ化することで、各情報処理装置１０で生成された状況候補情報の生成結果の精度向上や共有を、効率良く行うことが可能となる。
連携処理部１７３は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、通信装置等により実現される。連携処理部１７３は、グループ化部１７１によってグループ化された複数の情報処理装置１０間で、状況候補情報の精度向上や共有を図る。
例えば、４人のユーザが食事をしている状況を想定する。この場合に、４人のユーザが所持している各情報処理装置１０は、同一の食事内容を様々な方向から撮像しているはずであるから、グループ化された情報処理装置１０間で情報のやり取りを行うことで、情報を共有したり、精度向上を図ったりすることが可能となる。
例えば図１９に示したように、Ａさん及びＢさんが所持しているデバイスが「『うどん』を食べている」という状況認識結果を生成したのに対し、Ｃさんが所持しているデバイスは「『ラーメン』を食べている」という状況認識結果を生成し、Ｄさんが所持しているデバイスでは、何らかの事情で状況認識が行われなかったとする。この場合、各情報処理装置１０の外部機器連携部１１３が互いに連携することで、例えば、Ｃさんのデバイスの認識結果を、多数決によって、「『うどん』を食べている」と状況認識精度を向上させたり、Ｄさんのデバイスに多数を占める状況認識結果を提供できたりするようになる。
この際、連携処理部１７３は、状況を表わすテキストの共有を図るだけでなく、画像データやその他各種のメタデータ等を共有するようにしてもよい。
○記憶部１１５
再び図２に戻って、本実施形態に係る情報処理装置１０が備える記憶部１１５について説明する。
記憶部１１５は、例えば本実施形態に係る情報処理装置１０が備えるＲＡＭやストレージ装置等により実現される。記憶部１１５には、情報処理装置１０によって生成された画像データや音声データ等といった、各種のコンテンツデータが格納される。また、記憶部１１５には、表示画面に表示される各種のオブジェクトデータが格納されている。ここで言うオブジェクトデータには、例えば、アイコン、ボタン、サムネイル等のグラフィカルユーザインターフェース（ＧＵＩ）を構成する任意のパーツ類が含まれる。
また、記憶部１１５には、本実施形態に係る情報処理装置１０が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部１１５は、情報取得部１０１、認識処理部１０３、状況候補情報生成部１０５、表示制御部１０７、状況情報送信部１０９、情報更新部１１１、外部機器連携部１１３等が、自由にデータのリード／ライト処理を行うことが可能である。
以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
＜情報処理装置の変形例について＞
次に、図２０Ａ及び図２０Ｂを参照しながら、以上説明したような本実施形態に係る情報処理装置１０の変形例について、簡単に説明する。図２０Ａ及び図２０Ｂは、本実施形態に係る情報処理装置の変形例について説明するための説明図である。なお、図２０Ａ及び図２０Ｂでは、図２に示した情報処理装置１０が備える各処理部のうち、主要なもののみを図示している。
以上の説明では、本実施形態に係る情報処理装置１０が一つの筺体内に実現されている場合について説明したが、本実施形態に係る情報処理装置１０の各処理部は、複数の機器に分散していてもよい。この場合、各処理部を所持している複数の機器が互いに連携することによって、システム全体として情報処理装置１０の機能が実現されることとなる。
例えば図２０Ａに示した例では、情報処理装置１０には情報取得部１０１のみが実装されており、認識処理部１０３及び状況候補情報生成部１０５は、ネットワーク１に接続されている情報処理サーバ２０に実装されている。図２０Ａに示した例では、情報処理装置１０の情報取得部１０１が取得した各種情報が、ネットワーク１を介して情報処理サーバ２０へと伝送され、情報処理サーバ２０により、認識処理部１０３及び状況候補情報生成部１０５の処理が実施されることとなる。
また、図２０Ｂに示した例では、情報処理装置１０には、情報取得部１０１と、認識処理部１０３のうちユーザ環境を解析する処理部である、画像解析部１２１、音声解析部１２３及び場所・行動解析部１２５と、が実装されている。また、ネットワーク１に接続された情報処理サーバ２０には、認識処理部１０３のうち状況認識部１２７と、状況候補情報生成部１０５と、が実装されている。図２０Ｂに示した例では、情報処理装置１０の情報取得部１０１が各種情報を取得し、画像解析部１２１、音声解析部１２３及び場所・行動解析部１２５が、得られた各種情報を解析することで、ユーザ環境の解析結果を表わした情報を生成する。ユーザ環境の解析結果を表わした情報は、情報処理サーバ２０の状況認識部１２７へと伝送されて、状況認識処理が実施された後、状況候補情報生成部１０５により状況候補情報が生成される。
＜表示画面の一例について＞
次に、図２１を参照しながら、本実施形態に係る情報処理装置１０の表示制御部１０７によって表示制御される表示画面の一例について、具体的に説明する。図２１は、本実施形態に係る情報処理装置の表示画面の一例を説明するための説明図である。
表示制御部１０７によって制御される表示画面には、情報処理装置１０が備えるカメラ等によって撮像される画像が随時表示されている。また、表示画面の一部には、認識処理部１０３によって実施された結果生成される、ユーザ環境に関する特徴量スコアを表示するための領域（特徴量スコア表示領域）や、状況認識結果を表示するための領域（認識結果表示領域）が設けられ、表示制御部１０７によって制御される。また、表示画面に映し出された画像中に顔が存在する場合には、顔に該当する部分に顔検出枠が表示され、料理や物体が存在する場合には、料理／物体検出枠が表示される。更に、認識処理部１０３によって生成された認識結果に基づいて状況候補情報生成部１０５によって状況候補情報が生成されると、生成された状況候補情報は、状況候補情報表示領域に随時表示される。
状況候補情報は、ユーザのおかれた状況が変化するごとに生成されるものであるため、生成された状況候補情報は、状況候補情報表示領域に複数表示されることとなる。表示制御部１０７は、生成された状況候補情報が複数存在することをユーザに示すために、図２１に例示したように、状況候補情報表示領域を階層化したり、スクロールバーに対応するオブジェクトを表示させたりすることが好ましい。
また、表示制御部１０７は、特徴量スコア表示領域や認識結果表示領域は、ユーザに知覚させないようにしてもよい。
＜状況候補情報の生成処理の流れの一例について＞
次に、図２２Ａ及び図２２Ｂを参照しながら、本実施形態に係る情報処理装置１０で実施される状況候補情報の生成処理の流れの一例について、簡単に説明する。図２２Ａ及び図２２Ｂは、本実施形態に係る情報処理装置における状況候補情報生成処理の流れの一例を説明するための説明図である。
本実施形態に係る情報処理装置１０において、先だって説明したような機能を提供するアプリケーションが起動すると、図２２Ａの（ａ）に示したような表示画面が表示され、どのようなソーシャルネットワークサービスに対して、情報を投稿する意思があるかを確認する。ユーザが用いるアカウントを選択すると、選択結果に基づいて、該当するソーシャルネットワークサービスを提供する情報投稿サーバ３との間の接続を確立する準備が行われる。
本実施形態に係る情報処理装置１０が、例えばユーザが身につけるメガネ型又はボタン等のアクセサリー型のウェアラブル端末であるとする。ユーザの移動に伴って、情報処理装置１０は各種の画像データや音声データを取得していく。ここで、図２２Ａの（ｂ）に示したように、情報処理装置１０の位置取得センサからの位置情報により、「ユーザの存在する場所が○○駅である」旨が明らかになったとする。かかる場合、表示画面の状況候補情報表示領域には、「○○駅にいます」という状況候補情報が表示されるとともに、情報投稿サーバ３への投稿処理を開始するための投稿アイコンが表示される。ユーザによって投稿アイコンが選択された場合には、状況情報送信部１０９によって、表示されている状況候補情報が、状況情報として情報投稿サーバ３へと送信される。
次の瞬間に、図２２Ａの（ｃ）に示したように、カメラがある人物を捕らえたものとする。この場合、得られた画像情報に基づいて認識処理部１０３によって認識処理が開始し、人物が特定された時点で、図中に示したように顔検出枠と認識結果とが表示される。引き続き、状況認識部１２７による状況認識結果が終了すると、図２２Ａの（ｄ）に示したように、「Ａさんと○○駅にいます」というテキストと、Ａさんを写した画像データと、が関連付けられた状況候補情報が生成されることとなる。
また、カメラの視野範囲からＡさんが居なくなると、図２２Ｂの（ｅ）に示したように、状況候補情報表示領域には、「○○駅にいます」という状況候補情報が生成されることとなる。
その後、ユーザが移動して、ある喫茶店に入店し、ケーキを注文したものとする。注文したケーキが届けられ、カメラの視野範囲にケーキが存在するようになると、図２２Ｂの（ｆ）に示したように、「○○駅でケーキを食べています」という状況候補情報が表示されるとともに、情報投稿サーバ３への投稿処理を開始するための投稿アイコンが表示される。同時に、表示画面には感情選択アイコンが表示され、ユーザによって現在の感情が選択される。
ユーザによって感情選択アイコンが操作されると、図２２Ｂの（ｇ）に示したように、感情を表わすテキストである「とても美味しい！」という表現が追記されることとなる。また、認識処理部１０３によって喫茶店の名称が特定されると、従来「○○駅」という場所を表わす記載が、より粒度の細かな「○○ケーキ店」へと変更されることとなる。更に、ケーキを写した画像データが、「○○ケーキ店でケーキを食べています。とても美味しい！」というテキストデータに関連付けられることとなる。状況候補情報は、このような流れで自動的に随時生成され、蓄積されていく。
また、表示制御部１０７は、表示画面上に認識結果（例えば、「○○ケーキ店」という名称や、「ケーキ」という物体の認識結果）を改めるためのグラフィカルキーボードを表示可能なようにして、認識結果を変更できるようにしてもよい。
＜情報処理方法について＞
次に、図２３を参照しながら、本実施形態に係る情報処理方法の流れの一例について、簡単に説明する。図２３は、本実施形態に係る情報処理方法の流れの一例を示した流れ図である。
本実施形態に係る情報処理装置１０において、先だって説明したような機能を提供するアプリケーションが起動すると（ステップＳ１０１）、情報取得部１０１によって、位置情報、画像情報、音声情報等のユーザ環境情報が随時取得され、認識処理部１０３へと出力される。
認識処理部１０３は、随時取得される位置情報・画像情報・音声情報等を解析して（ステップＳ１０３）、得られたユーザ環境の解析結果に基づいて、状況認識処理を実施する（ステップＳ１０５）。状況認識部１２７によって生成された状況認識結果は、状況候補情報生成部１０５へと出力される。
状況候補情報生成部１０５は、得られた状況認識結果を少なくとも利用して、状況候補情報を生成する（ステップＳ１０７）。生成された状況候補情報は、表示制御部１０７によって、表示画面に随時表示される（ステップＳ１０９）。
ここで、情報処理装置１０は、ユーザによって、投稿操作がなされたか否かを判断する（ステップＳ１１１）。ユーザによって投稿操作がなされなかった場合、情報処理装置１０は、ステップＳ１０３に戻って、随時取得されるユーザ環境情報の解析を継続する。一方、ユーザによって投稿操作がなされた場合、状況情報送信部１０９は、ユーザによって選択された状況候補情報を、状況情報として情報投稿サーバ３へと送信することにより、投稿処理を行う（ステップＳ１１３）。
その後、情報処理装置１０は、ユーザによって、アプリケーションの終了操作がなされたか否かを判断する（ステップＳ１１５）。ユーザによって終了操作がなされなかった場合、情報処理装置１０は、ステップＳ１０３に戻って、随時取得されるユーザ環境情報の解析を継続する。一方、ユーザによって終了操作がなされた場合、情報処理装置１０は処理を終了する。
以上、図２３を参照しながら、本実施形態に係る情報処理装置１０で実施される情報処理方法の流れについて、簡単に説明した。
（ハードウェア構成について）
次に、図２４を参照しながら、本開示の実施形態に係る情報処理装置１０のハードウェア構成について、詳細に説明する。図２４は、本開示の実施形態に係る情報処理装置１０のハードウェア構成を説明するためのブロック図である。
情報処理装置１０は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置１０は、更に、ホストバス９０７、ブリッジ９０９、外部バス９１１、インターフェース９１３、センサ９１４、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３および通信装置９２５を備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置１０内の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
センサ９１４は、ユーザの動きを検知するセンサや、現在位置を表す情報を取得するセンサ等の検出手段である。かかるセンサの一例として、加速度センサ、重力検知センサ、落下検出センサ等を含む３軸加速度センサ、角速度センサ、手振れ補正センサ、地磁気センサ等を含む３軸ジャイロセンサ等のモーションセンサや、ＧＰＳセンサ等を挙げることができる。また、センサ９１４は、ユーザに固有の生体情報、または、かかる生体情報を取得するために用いられる各種情報を検出する検出手段であってもよい。このような検出手段の一例として、例えば、ユーザの発汗を検知するセンサ、ユーザの体温や心拍を検知するセンサ、ユーザの体表や体内に存在する生体成分を検出するセンサ等を挙げることができる。さらに、センサ９１４は、上述のもの以外にも、温度計、照度計、湿度計などの様々な測定機器を備えていてもよい。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置１０の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、この入力装置９１５を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置９１７は、例えば、情報処理装置１０が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置１０が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した各種データなどを格納する。
ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、フラッシュメモリ、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
接続ポート９２３は、機器を情報処理装置１０に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置１０は、外部接続機器９２９から直接各種データを取得したり、外部接続機器９２９に各種データを提供したりする。
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本開示の実施形態に係る情報処理装置１０の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理部と、
前記認識処理部による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成部と、
を備える、情報処理装置。
（２）
前記認識処理部は、ユーザのおかれた状況が変化する毎に、前記状況候補情報生成部に対して、前記状況の認識結果を表わした情報を出力する、（１）に記載の情報処理装置。
（３）
前記ユーザの感情を表す情報は、認識された前記状況ごとに予め設けられた感情表現テーブルを利用して生成される、（１）又は（２）に記載の情報処理装置。
（４）
前記状況候補情報生成部は、前記ユーザのおかれた状況に関連する前記画像情報及び前記音声情報の少なくとも何れか一方を、前記状況候補情報に含める、（１）〜（３）の何れか１つに記載の情報処理装置。
（５）
前記認識処理部による認識結果と、前記状況候補情報生成部により生成された前記状況候補情報を所定の表示画面における所定の領域に表示させる表示制御部を更に備える、（１）〜（４）の何れか１つに記載の情報処理装置。
（６）
前記認識処理部は、前記ユーザ環境に関する解析結果を利用して、当該解析結果の時間経過に基づく時系列パターン認識処理、又は、所定の条件処理に基づくルールベース処理により、前記状況を認識する、（１）〜（５）の何れか１つに記載の情報処理装置。
（７）
認識された前記状況ごとに予め設けられた感情表現テーブルに含まれるユーザの感情を表わす表現を、前記認識処理部によるユーザ環境に関する解析結果、ユーザによってなされた発言又は文章表現、及び、前記情報処理装置に設けられたセンサからの出力の少なくとも何れかを利用して更新する情報更新部を更に備える、（１）〜（６）の何れか１つに記載の情報処理装置。
（８）
相互に通信が可能な他の前記情報処理装置と連携して、前記状況候補情報生成部による前記状況候補情報の生成結果の精度向上又は共有を行う外部機器連携部を更に備える、（１）〜（７）の何れか１つに記載の情報処理装置。
（９）
前記状況候補情報生成部により生成された前記状況候補情報のうち前記ユーザに選択されたものを、ユーザのおかれた状況を表した状況情報として、ソーシャルネットワークサービスを提供する情報投稿サーバに送信する状況情報送信部を更に備える、（１）〜（８）の何れか１つに記載の情報処理装置。
（１０）
前記情報処理装置は、ユーザが携帯する携帯情報端末、又は、ユーザが身につけるウェアラブル端末である、（１）〜（９）の何れか１つに記載の情報処理装置。
（１１）
ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識することと、
前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成することと、
を含む、情報処理方法。
（１２）
コンピュータに、
ユーザの存在する位置を表す位置情報、ユーザのおかれた環境に関する画像情報及び当該環境に関する音声情報の少なくとも何れかを含むユーザ環境情報に基づき、当該ユーザ環境情報に含まれる前記位置情報、前記画像情報及び前記音声情報の少なくとも何れかの解析処理を所定の時間間隔で行い、得られたユーザ環境に関する解析結果を利用して、ユーザのおかれた状況を認識する認識処理機能と、
前記認識処理機能による前記状況の認識結果を利用して、前記ユーザのおかれた状況を表す情報と、当該状況における前記ユーザの感情を表す情報と、を少なくとも含む、ユーザのおかれた状況の候補を表した状況候補情報を生成する状況候補情報生成機能と、
を実現させるためのプログラム。
１ ネットワーク
３ 情報投稿サーバ
５ サービス提供サーバ
１０ 情報処理装置
２０ 情報処理サーバ
１０１ 情報取得部
１０３ 認識処理部
１０５ 状況候補情報生成部
１０７ 表示制御部
１０９ 状況情報送信部
１１１ 情報更新部
１１３ 外部機器連携部
１１５ 記憶部

Claims (14)

  1. 外部装置が備えるセンサから得られる環境情報を取得する情報取得部と、
    前記環境情報に含まれる画像に対して認識処理を行い、当該画像に含まれるオブジェクトの特徴量を参照して、当該オブジェクトの認識結果として、機械学習モデルを利用して、当該オブジェクトの分類と当該分類に対応するスコアとを出力する認識処理部と、
    前記認識結果としての前記分類と前記スコアとに基づいて、前記画像から得られるコンテキストを表現するコンテキスト候補情報を生成する状況候補情報生成部と、
    を備え、
    前記機械学習モデルは、事前に収集された複数の画像を学習することによって得られ、
    前記スコアは、前記分類の確度の度合いを示す、
    情報処理装置。
  2. 前記センサを備える前記外部装置はカメラである、請求項１に記載の情報処理装置。
  3. 前記オブジェクトは、顔、風景、料理、又は、物体の少なくとも一つを含む、請求項１又は２に記載の情報処理装置。
  4. 前記認識処理部は、前記オブジェクトの分類として顔が含まれるとき、顔の数、顔の位置座標、笑顔の有無、年齢、人種の少なくとも一つを出力する、請求項３に記載の情報処理装置。
  5. 前記認識処理部は、前記オブジェクトの分類として顔が含まれるとき、当該顔に対応する人物名を前記認識結果として出力する、請求項３又は４に記載の情報処理装置。
  6. ディスプレイの所定の領域に、前記認識結果としての前記分類及び前記スコアを表示させる表示制御部をさらに備える、請求項１〜５のいずれか１項に記載の情報処理装置。
  7. 生成したコンテキスト候補情報のうち、ユーザが選択した前記コンテキスト候補情報を、ソーシャルネットワークサービスに送信する送信部を更に備える、請求項１〜６のいずれか１項に記載の情報処理装置。
  8. 前記情報処理装置は、ユーザが携帯する携帯情報端末、又は、ユーザが身に着けるウェアラブル端末である、請求項１〜７のいずれか１項に記載の情報処理装置。
  9. ディスプレイに、前記コンテキスト候補情報とともに感情を表す情報を表示させる表示制御部をさらに備える、請求項１に記載の情報処理装置。
  10. 前記表示制御部は、前記ディスプレイに、前記コンテキスト候補情報とともに、前記オブジェクトの画像の近傍に前記分類に関する情報を表示させる、請求項９に記載の情報処理装置。
  11. 前記認識処理部は、前記環境情報が変化するごとに認識処理を行う、請求項１〜１０のいずれか１項に記載の情報処理装置。
  12. 前記表示制御部は、前記ディスプレイに、ユーザが前記分類に関する情報を変更するためのグラフィカル・ユーザ・インターフェースを表示させる、請求項１０に記載の情報処理装置。
  13. 情報処理装置により、
    外部装置が備えるセンサから得られる環境情報を取得することと、
    前記環境情報に含まれる画像に対して認識処理を行い、当該画像に含まれるオブジェクトの特徴量を参照して、当該オブジェクトの認識結果として、機械学習モデルを利用して、当該オブジェクトの分類と当該分類に対応するスコアとを出力することと、
    前記認識結果としての前記分類と前記スコアとに基づいて、前記画像から得られるコンテキストを表現するコンテキスト候補情報を生成することと、
    を含み、
    前記機械学習モデルは、事前に収集された複数の画像を学習することによって得られ、
    前記スコアは、前記分類の確度の度合いを示す、
    情報処理方法。
  14. コンピュータに、
    外部装置が備えるセンサから得られる環境情報を取得する情報取得機能と、
    前記環境情報に含まれる画像に対して認識処理を行い、当該画像に含まれるオブジェクトの特徴量を参照して、当該オブジェクトの認識結果として、機械学習モデルを利用して、当該オブジェクトの分類と当該分類に対応するスコアとを出力する認識処理機能と、
    前記認識結果としての前記分類と前記スコアとに基づいて、前記画像から得られるコンテキストを表現するコンテキスト候補情報を生成する状況候補情報生成機能と、
    を実現させ、
    前記機械学習モデルは、事前に収集された複数の画像を学習することによって得られ、
    前記スコアは、前記分類の確度の度合いを示す、
    プログラム。
JP2019132116A 2014-05-22 2019-07-17 情報処理装置、情報処理方法及びプログラム Active JP6777201B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014106276 2014-05-22
JP2014106276 2014-05-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016520969A Division JP6558364B2 (ja) 2014-05-22 2015-03-17 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2019207720A JP2019207720A (ja) 2019-12-05
JP6777201B2 true JP6777201B2 (ja) 2020-10-28

Family

ID=54553755

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016520969A Active JP6558364B2 (ja) 2014-05-22 2015-03-17 情報処理装置、情報処理方法及びプログラム
JP2019132116A Active JP6777201B2 (ja) 2014-05-22 2019-07-17 情報処理装置、情報処理方法及びプログラム
JP2019132117A Pending JP2019220194A (ja) 2014-05-22 2019-07-17 情報処理装置、情報処理方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016520969A Active JP6558364B2 (ja) 2014-05-22 2015-03-17 情報処理装置、情報処理方法及びプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019132117A Pending JP2019220194A (ja) 2014-05-22 2019-07-17 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (4) US10311303B2 (ja)
EP (2) EP3591577A1 (ja)
JP (3) JP6558364B2 (ja)
CN (3) CN110083303A (ja)
WO (1) WO2015178078A1 (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565229B2 (en) 2018-05-24 2020-02-18 People.ai, Inc. Systems and methods for matching electronic activities directly to record objects of systems of record
CN104809116B (zh) * 2014-01-24 2018-10-19 腾讯科技（深圳）有限公司 一种收藏内容的方法、装置及终端
US10769796B2 (en) * 2014-03-19 2020-09-08 Sony Corporation Information processing apparatus, information processing method and recording medium
US9760809B2 (en) * 2014-10-20 2017-09-12 Bae Systems Information And Electronic Systems Integration Inc. Systems and methods for multi-factor image recognition
JP6255368B2 (ja) * 2015-06-17 2017-12-27 Ｃｏｃｏｒｏ Ｓｂ株式会社 感情制御システム、システム及びプログラム
KR20170009037A (ko) * 2015-07-15 2017-01-25 삼성전자주식회사 영상 컨텐츠 제공 장치 및 영상 컨텐츠 제공 방법
JP6501404B2 (ja) * 2016-02-05 2019-04-17 Kddi株式会社 他端末からの情報を用いて自端末のユーザ状態を判定する端末、システム、プログラム及び方法
KR20180006137A (ko) * 2016-07-08 2018-01-17 엘지전자 주식회사 단말기 및 그 제어 방법
JP6662746B2 (ja) 2016-10-07 2020-03-11 ファナック株式会社 機械学習部を備えた作業補助システム
US10909371B2 (en) * 2017-01-19 2021-02-02 Samsung Electronics Co., Ltd. System and method for contextual driven intelligence
JP6794872B2 (ja) * 2017-02-21 2020-12-02 沖電気工業株式会社 音声取引システムおよび連携制御装置
KR102651253B1 (ko) * 2017-03-31 2024-03-27 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
US10671840B2 (en) * 2017-05-04 2020-06-02 Intel Corporation Method and apparatus for person recognition using continuous self-learning
JP7073640B2 (ja) * 2017-06-23 2022-05-24 カシオ計算機株式会社 電子機器、感情情報取得システム、プログラム及び感情情報取得方法
US9980100B1 (en) * 2017-08-31 2018-05-22 Snap Inc. Device location based on machine learning classifications
EP3567585A4 (en) * 2017-11-15 2020-04-15 Sony Corporation INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD
JP6807824B2 (ja) * 2017-11-28 2021-01-06 日本電信電話株式会社 行動セグメント抽出装置及び方法
JP7094486B2 (ja) * 2017-12-27 2022-07-04 トヨタ自動車株式会社 情報提供装置
CN108307043A (zh) * 2017-12-28 2018-07-20 努比亚技术有限公司 语音消息转换方法、移动终端及计算机可读存储介质
EP3745275A4 (en) * 2018-01-23 2020-12-09 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND RECORDING MEDIA
WO2019172087A1 (ja) * 2018-03-08 2019-09-12 ソニー株式会社 情報処理装置、端末機器、情報処理方法、およびプログラム
KR102584459B1 (ko) * 2018-03-22 2023-10-05 삼성전자주식회사 전자 장치 및 이의 인증 방법
US11463441B2 (en) 2018-05-24 2022-10-04 People.ai, Inc. Systems and methods for managing the generation or deletion of record objects based on electronic activities and communication policies
US11924297B2 (en) 2018-05-24 2024-03-05 People.ai, Inc. Systems and methods for generating a filtered data set
CN110188886B (zh) * 2018-08-17 2021-08-20 第四范式（北京）技术有限公司 对机器学习过程的数据处理步骤进行可视化的方法和系统
CN112789485A (zh) * 2018-10-02 2021-05-11 松下电器（美国）知识产权公司 信息提供方法
WO2020131138A1 (en) * 2018-12-20 2020-06-25 Google Llc Map search recommendation system based on image content analysis driven geo-semantic index
US11417236B2 (en) * 2018-12-28 2022-08-16 Intel Corporation Real-time language learning within a smart space
CN111753580A (zh) * 2019-03-27 2020-10-09 北京外号信息技术有限公司 光通信装置的识别方法和相应的电子设备
US11941781B2 (en) 2019-11-28 2024-03-26 Samsung Electronics Co., Ltd. Method and apparatus for restoring image
CN111243742B (zh) * 2020-01-14 2023-08-25 中科海微(北京)科技有限公司 一种能够分析儿童用眼习惯的智能眼镜
JP2021135960A (ja) * 2020-02-28 2021-09-13 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
US20230206630A1 (en) * 2020-05-26 2023-06-29 Nec Corporation Information processing device, control method and storage medium
KR102451299B1 (ko) * 2020-09-03 2022-10-06 고려대학교 세종산학협력단 동물의 상황인지를 통한 캡션 생성 시스템
US11783573B2 (en) * 2020-12-21 2023-10-10 Halliburton Energy Services, Inc. Contextual information displayable on wearable devices based on images captured during wellsite operations
US20240046443A1 (en) * 2021-01-08 2024-02-08 Konica Minolta, Inc. Analysis apparatus, analysis system, analysis program, and analysis method
JP7203132B2 (ja) * 2021-03-01 2023-01-12 株式会社Ｎｔｔドコモ 情報処理装置
JP7275175B2 (ja) * 2021-03-01 2023-05-17 株式会社Ｎｔｔドコモ 情報処理装置
WO2023063596A1 (ko) * 2021-10-15 2023-04-20 머지리티 주식회사 사물 기반의 이미지 분석 서비스를 제공하기 위한 장치 및 방법
WO2024062913A1 (ja) * 2022-09-20 2024-03-28 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、および画像処理装置の作動プログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193824A (ja) 2000-04-13 2007-08-02 Fujifilm Corp 画像処理方法
US7921036B1 (en) * 2002-04-30 2011-04-05 Videomining Corporation Method and system for dynamically targeting content based on automatic demographics and behavior analysis
US7319780B2 (en) * 2002-11-25 2008-01-15 Eastman Kodak Company Imaging method and system for health monitoring and personal security
JP2006259641A (ja) * 2005-03-18 2006-09-28 Univ Waseda 音声認識装置及び音声認識用プログラム
JP4507992B2 (ja) * 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5041202B2 (ja) 2006-06-20 2012-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP4891802B2 (ja) * 2007-02-20 2012-03-07 日本電信電話株式会社 コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
US8223374B2 (en) * 2008-06-27 2012-07-17 Kabushiki Kaisha Toshiba Maintenance system of image forming apparatus and maintenance method of the same
US8385971B2 (en) * 2008-08-19 2013-02-26 Digimarc Corporation Methods and systems for content processing
US8520979B2 (en) * 2008-08-19 2013-08-27 Digimarc Corporation Methods and systems for content processing
JP5326910B2 (ja) 2009-01-20 2013-10-30 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5649808B2 (ja) 2009-01-28 2015-01-07 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP5392833B2 (ja) * 2009-08-31 2014-01-22 日本電信電話株式会社 ストーリー生成システム、方法、およびプログラム
JP5440080B2 (ja) * 2009-10-02 2014-03-12 ソニー株式会社 行動パターン解析システム、携帯端末、行動パターン解析方法、及びプログラム
WO2011152844A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
US8655889B2 (en) * 2010-12-10 2014-02-18 Microsoft Corporation Autonomous mobile blogging
JP5708278B2 (ja) * 2011-06-08 2015-04-30 ソニー株式会社 情報処理装置および情報処理方法
JP5830784B2 (ja) * 2011-06-23 2015-12-09 サイバーアイ・エンタテインメント株式会社 画像認識システムを組込んだ関連性検索によるインタレスト・グラフ収集システム
US20130038756A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
JP2013101450A (ja) 2011-11-08 2013-05-23 Sony Corp 情報処理装置及び方法、並びにプログラム
US9087273B2 (en) 2011-11-15 2015-07-21 Facebook, Inc. Facial recognition using social networking information
US20130129142A1 (en) 2011-11-17 2013-05-23 Microsoft Corporation Automatic tag generation based on image content
JP5579202B2 (ja) 2012-01-16 2014-08-27 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
JP6221107B2 (ja) 2012-02-09 2017-11-01 株式会社ニコン 制御装置及びプログラム
WO2013120851A1 (en) * 2012-02-13 2013-08-22 Mach-3D Sàrl Method for sharing emotions through the creation of three-dimensional avatars and their interaction through a cloud-based platform
JP2014038429A (ja) 2012-08-14 2014-02-27 Zenrin Datacom Co Ltd 画像処理装置、画像処理方法および画像処理プログラム
JP2014081770A (ja) 2012-10-16 2014-05-08 Sony Corp 端末装置、端末制御方法、情報処理装置、情報処理方法、およびプログラム
WO2014071375A1 (en) * 2012-11-05 2014-05-08 Brilliant Mobile L.L.C. Media messaging methods, systems, and devices
US10402407B2 (en) * 2013-06-17 2019-09-03 Lenovo (Singapore) Pte. Ltd. Contextual smart tags for content retrieval
CN103390336A (zh) * 2013-06-27 2013-11-13 江苏梦兰神彩科技发展有限公司 一种具有自动发布微博的环境数据采集仪器
US9355123B2 (en) * 2013-07-19 2016-05-31 Nant Holdings Ip, Llc Fast recognition algorithm processing, systems and methods
CN103442199A (zh) * 2013-09-25 2013-12-11 上海云视科技有限公司 紧急状态下自动录音录像的方法及装置

Also Published As

Publication number Publication date
US11763580B2 (en) 2023-09-19
US10853650B2 (en) 2020-12-01
US20200074179A1 (en) 2020-03-05
CN110780707B (zh) 2024-05-24
EP3591577A1 (en) 2020-01-08
US11244163B2 (en) 2022-02-08
JP6558364B2 (ja) 2019-08-14
CN110780707A (zh) 2020-02-11
US20190236368A1 (en) 2019-08-01
JP2019220194A (ja) 2019-12-26
EP3147798A1 (en) 2017-03-29
JP2019207720A (ja) 2019-12-05
WO2015178078A1 (ja) 2015-11-26
US20220122355A1 (en) 2022-04-21
CN106462598A (zh) 2017-02-22
US10311303B2 (en) 2019-06-04
EP3147798A4 (en) 2018-01-17
CN110083303A (zh) 2019-08-02
US20170032186A1 (en) 2017-02-02
JPWO2015178078A1 (ja) 2017-04-20

Similar Documents

Publication Publication Date Title
JP6777201B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11024070B2 (en) Device and method of managing user information based on image
US11503197B2 (en) Retrieving and displaying key words from prior conversations
JP5904021B2 (ja) 情報処理装置、電子機器、情報処理方法、及びプログラム
CN106164962A (zh) 基于用户的显式声明的个性化推荐
CN109635130A (zh) 用于媒体探索的智能自动化助理
US20140191872A1 (en) Information processing apparatus, information processing method, and program
TWI680400B (zh) 基於影像管理使用者資訊的裝置與方法
US11314475B2 (en) Customizing content delivery through cognitive analysis
CN105893771A (zh) 一种信息服务方法和装置、一种用于信息服务的装置
US20230336694A1 (en) Tagging Characteristics of an Interpersonal Encounter Based on Vocal Features
US20220188363A1 (en) Information processing apparatus, information processing method, and program
WO2018051596A1 (ja) 情報処理装置
US20210110846A1 (en) Information processing apparatus, information processing method, and program
WO2019054009A1 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R151 Written notification of patent or utility model registration

Ref document number: 6777201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250