JP7478610B2 - 情報検索装置 - Google Patents
情報検索装置 Download PDFInfo
- Publication number
- JP7478610B2 JP7478610B2 JP2020116165A JP2020116165A JP7478610B2 JP 7478610 B2 JP7478610 B2 JP 7478610B2 JP 2020116165 A JP2020116165 A JP 2020116165A JP 2020116165 A JP2020116165 A JP 2020116165A JP 7478610 B2 JP7478610 B2 JP 7478610B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- user
- unit
- linguistic
- retrieval device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 claims description 38
- 239000013598 vector Substances 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 11
- 238000011156 evaluation Methods 0.000 claims description 9
- 230000008451 emotion Effects 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000003094 perturbing effect Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 52
- 238000010586 diagram Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 20
- 230000009471 action Effects 0.000 description 15
- 238000006243 chemical reaction Methods 0.000 description 15
- 230000003542 behavioural effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 6
- 241000282412 Homo Species 0.000 description 5
- 239000000284 extract Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000035943 smell Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 241000533293 Sesbania emerus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 235000021251 pulses Nutrition 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 235000019568 aromas Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000021189 garnishes Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/632—Query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/242—Query formulation
- G06F16/243—Natural language query formulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/63—Querying
- G06F16/638—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
Description
本発明は、情報検索装置に関する。
本技術分野の背景技術として、特許文献１がある。特許文献１には、「人の行動と当該行動の対象となるモノや場所、状況、時間等との組み合わせを言語情報で記述した行動知識ベース記憶部を備えている。そして、先ず上記行動の対象に関する検出値をセンサから取得し、当該取得した検出値を解析して同一時刻に得られた検出値を統合した後、上記対象を表す言語情報に変換する。そして、この変換された対象を表す言語情報をもとに、上記行動知識ベース記憶部から対応する行動を表す言語情報を検索し、この検索された言語情報の中から出現確率が最も高いものを選択して、文章化し出力する」と記載されている。
この方式によれば、教師データや人手により作成した知識ベースを使用することなく行動を認識できるようにし、これにより多大な手間と時間およびコストを要することなく、しかも認識対象の行動が時間・場所等の状況によって変わる場合であっても、行動を正確に認識することができる（要約参照）。
別の背景技術として、特許文献２がある。特許文献２には、「撮像時の使用者の生体情報と、撮像画像における被写体情報を撮像画像データに関連づけて保存する。検索の際には生体情報と被写体情報を用いて検索条件を生成し、検索を行う。また、検索時の閲覧者の生体情報も検索条件の生成に用いる。撮像画像における被写体情報とは、例えば撮像画像に撮し込まれてる人の画像に関する情報である。つまり撮像者の感情等と、被写体となった人の表情等を条件とし、さらには検索時のユー ザの感情等を加味して、ユーザにとって適切な画像を選択し、表示する。」と記載されている。
この方式によれば、大量の撮像画像データから、簡易かつ適切に撮像画像を検索することができる（要約参照）。
この方式によれば、大量の撮像画像データから、簡易かつ適切に撮像画像を検索することができる（要約参照）。
特許文献１に記載の発明によれば、センサ情報から人間行動の対象となるモノ、場所、状況、時間等の組み合わせを言語化し、行動知識ベースをその言語で検索し、対象に対応する行動を表す言語情報を検索できる。しかし、任意の人間行動を的確に表すために必要十分なモノ、場所、状況、時間等の組み合わせの情報を、その行動が生じる前に想定することは容易でないため、十分な種類のセンサを予め設置することは容易でない。さらに、既存の行動知識ベースを利用するため、個人の趣味嗜好、傾向を反映した情報を提供することも困難である。
また、特許文献２に記載の発明によれば、撮像画像データと、使用者の撮像の際の生体情報と、撮像画像データの解析結果としての被写体情報を取得し、これらを関連付けて記録媒体に記録することで、生体情報および被写体情報を用いて検索処理を実行できる。しかし、生体情報および被写体情報は、センシングする情報の種類、処理するアルゴリズム、使用するセンサ、担当者等により処理結果のフォーマットが異なるため、検索のキーワードとして不適当である。
そこで本発明は、人間およびその行動をセンシングした結果に基づいて、人間およびその行動に関連性の高い情報を出力することを課題とする。
上記課題を解決するために、本発明の情報検索装置は、ユーザの行動をセンシングしたセンサ情報を取得する情報取得部と、前記情報取得部が取得した前記センサ情報を前記ユーザの行動を表す言語情報に言語化する情報言語化部と、言語情報と前記言語情報に関連する各種情報とが関連付けて保存されている汎用的知識データベースと、前記情報言語化部が言語化した言語情報をもとに前記汎用的知識データベースを検索して、前記言語情報および当該言語情報に類似する言語情報に関連付けられた前記各種情報を出力する検索部と、を備えることを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
その他の手段については、発明を実施するための形態のなかで説明する。
本発明によれば、人間およびその行動をセンシングした結果に基づいて、人間およびその行動に関連性の高い情報を出力できる。
以下、本発明の実施形態について図面を用いて詳細に説明するが、本発明は以下の実施形態に限定されることなく、本発明の技術的な概念の中で種々の変形例や応用例をもその範囲に含む。
図１は、本実施形態に係る情報検索装置１を中心としたネットワーク構成を示すブロック図である。
情報検索装置１は、ネットワーク、例えば、インターネット１０１等に接続されたサーバ装置である。ユーザは、自らが保有する端末装置１０２によってインターネット１０１を介して情報検索装置１と通信可能である。
情報検索装置１は、ネットワーク、例えば、インターネット１０１等に接続されたサーバ装置である。ユーザは、自らが保有する端末装置１０２によってインターネット１０１を介して情報検索装置１と通信可能である。
端末装置１０２は、例えばスマートフォン、タブレット、パーソナルコンピュータ等の各種の情報端末装置である。端末装置１０２がスマートフォン等の場合、端末装置１０２は、ゲートウェイ１０３を介してインターネット１０１と接続された移動体通信網１０４の基地局１０５を介して情報検索装置１と通信を行う。もちろん、端末装置１０２は、移動体通信網１０４を介さずにインターネット１０１上の情報検索装置１と通信を行うこともできる。端末装置１０２がタブレット、パーソナルコンピュータの場合、端末装置１０２は、移動体通信網１０４を介さずにインターネット１０１上の情報検索装置１と通信することができる。もちろん、端末装置１０２は、無線ＬＡＮ（Local Area Network）対応機器を用いて、移動体通信網１０４経由で情報検索装置１と通信することもできる。
図２は、情報検索装置１の構成を示すブロック図である。
情報検索装置１は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、ＲＯＭ（Read Only Memory）１３と、大容量記憶部１４を備える。情報検索装置１は、通信制御部１５と、記憶媒体読取部１７と、入力部１８と、表示部１９と、行動推定演算部２９とを備えており、それぞれバスを介してＣＰＵ１１に接続されている。
情報検索装置１は、ＣＰＵ（Central Processing Unit）１１と、ＲＡＭ（Random Access Memory）１２と、ＲＯＭ（Read Only Memory）１３と、大容量記憶部１４を備える。情報検索装置１は、通信制御部１５と、記憶媒体読取部１７と、入力部１８と、表示部１９と、行動推定演算部２９とを備えており、それぞれバスを介してＣＰＵ１１に接続されている。
ＣＰＵ１１は、各種演算を行い、情報検索装置１の各部を集中的に制御するプロセッサである。
ＲＡＭ１２は、揮発性メモリであり、ＣＰＵ１１の作業エリアとして機能する。
ＲＯＭ１３は、不揮発性メモリであり、例えばＢＩＯＳ（Basic Input Output System）等を記憶している。
ＲＡＭ１２は、揮発性メモリであり、ＣＰＵ１１の作業エリアとして機能する。
ＲＯＭ１３は、不揮発性メモリであり、例えばＢＩＯＳ（Basic Input Output System）等を記憶している。
大容量記憶部１４は、各種データを記憶する不揮発性の記憶装置であり、例えばハードディスク等である。大容量記憶部１４には、情報検索プログラム２０がセットアップされている。情報検索プログラム２０は、インターネット１０１等からダウンロードされて、大容量記憶部１４にセットアップされる。なお、後記する記憶媒体１６に情報検索プログラム２０のセットアッププログラムが格納されていてもよい。このとき記憶媒体読取部１７は、記憶媒体１６から情報検索プログラム２０のセットアッププログラムを読み取って、大容量記憶部１４にセットアップする。
通信制御部１５は、例えばＮＩＣ（Network Interface Card）等であり、インターネット１０１等を介して他の装置と通信する機能を有している。
記憶媒体読取部１７は、例えば光ディスク装置等であり、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等である記憶媒体１６のデータを読み取る機能を有している。
記憶媒体読取部１７は、例えば光ディスク装置等であり、ＤＶＤ（Digital Versatile Disc）、ＣＤ（Compact Disc）等である記憶媒体１６のデータを読み取る機能を有している。
入力部１８は、例えばキーボードやマウス等であり、キーコードや位置座標等の情報を入力する機能を有している。
表示部１９は、例えは液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等であり、文字や図形や画像を表示する機能を有している。
行動推定演算部２９は、グラフィックカードやＴＰＵ（Tensor processing unit）等の演算処理ユニットであり、ディープラーニング等の機械学習を実行する機能を有している。
表示部１９は、例えは液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイ等であり、文字や図形や画像を表示する機能を有している。
行動推定演算部２９は、グラフィックカードやＴＰＵ（Tensor processing unit）等の演算処理ユニットであり、ディープラーニング等の機械学習を実行する機能を有している。
図３は、端末装置１０２の構成を示すブロック図である。この端末装置１０２はスマートフォンの例である。
端末装置１０２は、ＣＰＵ１１１と、ＲＡＭ１１２と、不揮発性記憶部１１３とを備えており、これらはＣＰＵ１１１とバスを介して接続されている。端末装置１０２は更に、通信制御部１１４と、表示部１１５と、入力部１１６と、ＧＰＳ（Global Positioning System）部１１７と、スピーカ１１８と、マイク１１９とを備えており、これらもＣＰＵ１１１とバスを介して接続されている。
端末装置１０２は、ＣＰＵ１１１と、ＲＡＭ１１２と、不揮発性記憶部１１３とを備えており、これらはＣＰＵ１１１とバスを介して接続されている。端末装置１０２は更に、通信制御部１１４と、表示部１１５と、入力部１１６と、ＧＰＳ（Global Positioning System）部１１７と、スピーカ１１８と、マイク１１９とを備えており、これらもＣＰＵ１１１とバスを介して接続されている。
ＣＰＵ１１１は、各種演算を行い、端末装置１０２の各部を集中的に制御する機能を備えている。
ＲＡＭ１１２は、揮発性メモリであり、ＣＰＵ１１１の作業エリアとして機能する。
不揮発性記憶部１１３は、半導体記憶装置または磁気記憶装置等から構成され、各種データやプログラムを記憶する。この不揮発性記憶部１１３には、所定のアプリケーションプログラム１２０がセットアップされている。ＣＰＵ１１１がアプリケーションプログラム１２０を実行することにより、情報検索装置１に対して検索したい情報を入力し、かつ情報検索装置１が検索した結果を表示する。
ＲＡＭ１１２は、揮発性メモリであり、ＣＰＵ１１１の作業エリアとして機能する。
不揮発性記憶部１１３は、半導体記憶装置または磁気記憶装置等から構成され、各種データやプログラムを記憶する。この不揮発性記憶部１１３には、所定のアプリケーションプログラム１２０がセットアップされている。ＣＰＵ１１１がアプリケーションプログラム１２０を実行することにより、情報検索装置１に対して検索したい情報を入力し、かつ情報検索装置１が検索した結果を表示する。
通信制御部１１４は、移動体通信網１０４等を介して他の装置と通信する機能を有している。ＣＰＵ１１１は、通信制御部１１４により、情報検索装置１と通信する。
表示部１１５は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、文字や図形や画像や動画を表示する機能を有している。
表示部１１５は、例えば液晶ディスプレイ、有機ＥＬディスプレイ等であり、文字や図形や画像や動画を表示する機能を有している。
入力部１１６は、例えばボタンやタッチパネル等であり、情報を入力する機能を有している。ここで入力部１１６を構成するタッチパネルは、表示部１１５の表面に積層されるとよい。ユーザは、表示部１１５の上層に設けられたタッチパネルを指で触ることにより、入力部１１６に対して情報を入力可能である。
ＧＰＳ部１１７は、測位衛星から受信した電波に基づき、端末装置１０２の現在位置を検出する機能を有している。
スピーカ１１８は、電気信号を音声に変換するものである。
マイク１１９は、音声を収録して電気信号に変換するものである。
ＧＰＳ部１１７は、測位衛星から受信した電波に基づき、端末装置１０２の現在位置を検出する機能を有している。
スピーカ１１８は、電気信号を音声に変換するものである。
マイク１１９は、音声を収録して電気信号に変換するものである。
図４は、情報検索装置１の機能ブロック図である。この機能ブロック図は、情報検索プログラム２０に基づいて情報検索装置１が実行する処理の内容を図示したものである。
情報取得部２１は、或るユーザ環境１３０からセンサ情報を取得する。更に情報取得部２１は、或るユーザが求めるサービスに関する要求や、ユーザに関わる属性情報等を端末装置１０２から取得する。
情報取得部２１は、或るユーザ環境１３０からセンサ情報を取得する。更に情報取得部２１は、或るユーザが求めるサービスに関する要求や、ユーザに関わる属性情報等を端末装置１０２から取得する。
情報言語化部２２は、情報取得部２１が取得したセンサ情報を言語化する。情報言語化部２２は更に、その結果である言葉と言葉に係るセンサ情報とを関連付けて個人履歴データベース２３に保存する。これにより、情報検索装置１は、このユーザに係る過去の行動と現在の行動とを比較した結果を提示可能である。
情報取得部２１がユーザ環境１３０から新たにセンサ情報を取得すると、情報言語化部２２は、そのセンサ情報を再び言語化する。検索部２５は、その結果である言葉等の情報を用いて、汎用的知識データベース２６を検索し、言葉等の情報およびその類似の情報と関連付けられた各種情報を出力する。
情報取得部２１がユーザ環境１３０から新たにセンサ情報を取得すると、情報言語化部２２は、そのセンサ情報を再び言語化する。検索部２５は、その結果である言葉等の情報を用いて、汎用的知識データベース２６を検索し、言葉等の情報およびその類似の情報と関連付けられた各種情報を出力する。
情報取得部２１は、ユーザ環境１３０から様々な手段で、様々な形式のセンサ情報を取得する。ユーザ環境１３０からセンサ情報を取得する手段は、例えはカメラ、マイク等を含むセンシング装置や各種センサである。ユーザ環境１３０から取得するセンサ情報は、脳波等の生体情報を変換した電気信号、インターネット１０１等を経由した天候情報や人流情報、疾病に関する情報、経済情報、環境情報、他の知識データベースからの情報等である。ユーザ環境１３０から取得するセンサ情報の形式は、ＣＳＶ（Comma-Separated Values）やＪＳＯＮ（JavaScript Object Notation）等のテキスト形式、音声データ、画像データ、電圧、デジタル信号、座標値、センサ指示値、特徴量等のうち何れかである。
情報言語化部２２は、情報取得部２１より出力されたセンサ情報を受け取り、言語化する。
情報言語化部２２は、情報取得部２１より出力されたセンサ情報を受け取り、言語化する。
図５は、情報言語化部２２の構成を示すブロック図である。
情報言語化部２２は、受信部２２ａと、変換部２２ｂと、出力部２２ｃと、変換方針決定部２２ｄとを含んで構成される。
情報言語化部２２は、受信部２２ａと、変換部２２ｂと、出力部２２ｃと、変換方針決定部２２ｄとを含んで構成される。
受信部２２ａは、情報取得部２１より出力したセンサ情報を受け取る。ここで、受信部２２ａの動作方式は、受信状態を常に維持してもよく、情報取得部２１より情報が発信されたことを別の信号で確認して受信状態に移行してもよく、受信部２２ａから情報取得部２１に情報の有無を問い合わせてもよい。また、受信部２２ａは、新たなセンシング装置を使用するたびに、その出力形式をユーザが登録できる機能を有してもよい。
変換部２２ｂは、受信部２２ａが受け取ったセンサ情報を言葉等の情報に変換する。以下、変換部２２ｂが変換した言葉等の情報のことを、「言語情報」と記載する場合がある。変換部２２ｂがセンサ情報を言葉等の情報に変換する方針は、変換方針決定部２２ｄに格納されている。変換部２２ｂは、その方針に従って動作する。
変換方針決定部２２ｄには、複数の変換方針の選択肢が予め用意されている。変換方針には、例えば画像やこれを分析して得た被写体の感情を言葉に変換し、数値を機械が理解できる情報に変換し、音声を符号に変換し、匂いや香りを深層学習等により特徴量に変換する、等がある。ユーザは、複数の変換方針から任意に一つを選択可能である。
また、変換方針決定部２２ｄには、複数のセンサ情報の種類と複数の変換後の言葉等の情報の形式が、選択肢として予め用意されてもよい。これによりユーザは、変換方針決定部２２ｄに格納されたセンサ情報の種類と変換後の言葉等の情報の形式を組み合わせて選択することができる。
出力部２２ｃは、変換部２２ｂが言語化した結果である言葉等の情報を言語入力部２４に出力する。出力部２２ｃが出力する言葉等の情報は、何らかの符号化がなされている。これにより、検索部２５が言葉等の情報を用いて汎用的知識データベース２６を検索可能である。
出力部２２ｃは、変換部２２ｂが言語化した結果である言葉等の情報を言語入力部２４に出力する。出力部２２ｃが出力する言葉等の情報は、何らかの符号化がなされている。これにより、検索部２５が言葉等の情報を用いて汎用的知識データベース２６を検索可能である。
図４にもどり説明を続ける。言語入力部２４は、情報言語化部２２の出力結果である言葉等の情報が入力されると、この言葉等の情報を検索部２５に対して出力する。検索部２５は、言葉等の情報を検索のキーワードとして用いる。
言語入力部２４は、検索の負荷に応じて、検索部２５に言葉等の情報を入力するタイミングを変更してもよい。また言語入力部２４は、言語以外のユーザの名前、性別、年齢等の属性情報、過去に情報検索装置１により、このユーザに提示済みの情報等を個人履歴データベース２３より取得し、検索範囲を限定する条件の一つとして入力してもよい。
個人履歴データベース２３は、このユーザが過去に情報検索装置１を使用した際の条件、設定、個人情報、過去にユーザに対して情報検索装置１が提示した情報等を保存し、次回以降、同一ユーザが情報検索装置１を使用した際に参照することができるデータベースである。個人履歴データベース２３により、個人の趣味嗜好に即した情報を提供できる。
検索部２５は、言語入力部２４より入力された言葉等の情報および個人履歴データベース２３より入力された情報をもとに、汎用的知識データベース２６を検索し、入力した言葉等の情報に関連付けて保存されている各種情報を送信内容決定部２７に出力する。
検索部２５は、言葉等の情報の類似度を指標として検索を実行する。検索範囲を限定する条件が入力されている場合は、それをもとに検索範囲が限定される。ここで、言葉の類似性は、例えば同義語であれば類似度が高く、対義語であれば類似度が小さいといった、言語の意味に基づき定義してもよい。または、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）アルゴリズムにおけるＣＢＯＷ（Continuous Bag-of-Words）に代表される、深層学習等を用いた手段により、文章における周辺単語との関係性に応じた単語ベクトルを生成し、そのベクトルどうしの距離に基づいて類似性を定義してもよい。ここで、ベクトルどうしの距離とは、例えばコサイン距離、マンハッタン距離、ユークリッド距離、マハラノビス距離等、類似性を測定できる指標であれば、その種類は限定されない。
送信内容決定部２７は、検索部２５が出力する言葉等の情報に関連付けられた各種情報を受信し、個人履歴データベース２３を参照し、送信部２８に出力する情報を取捨選択する。
例えば、ユーザがゴルフを練習している動画情報を情報取得部２１が受信した場合、その動画情報は個人履歴データベース２３を経由して、送信内容決定部２７に伝達される。検索部２５からは、「ゴルフ」という言葉に関連付けられた情報が複数出力される。送信内容決定部２７は、ゴルフの練習の動画情報に基づき、例えばゴルフのフォームに関する情報のみを選択して、送信部２８に出力する。
送信部２８は、受信した情報をユーザに提供する。ここで、ユーザへの提供手段にはパソコン、スマートフォン、タブレット等のデバイス、音声、嗅覚、味覚等の五感を刺激する手法、仮想現実（ＶＲ：Virtual Reality）、拡張現実（ＡＲ：Augmented Reality）等の様々な手段がある。また、それらの手段を用いる際、情報言語化部２２により言語化された結果を併記することで、ユーザが提示されている情報への理解を深めやすくしてもよい。
図６は、第２の実施形態の情報検索装置１の機能ブロック図である。
第２の実施形態は、汎用的知識データベース２６の少なくとも一部が別システムに存在する点が特徴的である。第２の実施形態において、汎用的知識データベース２６は、自社の別システムのみならず、他社のシステム、クラウド環境等に存在してもよい。
第２の実施形態は、汎用的知識データベース２６の少なくとも一部が別システムに存在する点が特徴的である。第２の実施形態において、汎用的知識データベース２６は、自社の別システムのみならず、他社のシステム、クラウド環境等に存在してもよい。
図７は、第３の実施形態の情報検索装置１の機能ブロック図である。
第３の実施形態の情報検索装置１の特徴は、情報取得部２１および情報言語化部２２がユーザ環境１３０に包含されていることである。第３の実施形態において、情報取得部２１および情報言語化部２２は、エッジ端末により実行されてもよい。また、エッジ端末において言語化された言葉等の情報は、ユーザ環境１３０の外部に発信される際にフィルタリングされ、セキュリティレベルに応じて発信内容が制限されてもよい。これにより、ユーザのプライバシーを守ることができる。
第３の実施形態の情報検索装置１の特徴は、情報取得部２１および情報言語化部２２がユーザ環境１３０に包含されていることである。第３の実施形態において、情報取得部２１および情報言語化部２２は、エッジ端末により実行されてもよい。また、エッジ端末において言語化された言葉等の情報は、ユーザ環境１３０の外部に発信される際にフィルタリングされ、セキュリティレベルに応じて発信内容が制限されてもよい。これにより、ユーザのプライバシーを守ることができる。
図８Ａと図８Ｂは、情報検索装置１を含むシステムの動作を説明するフローチャートである。
ユーザは、センシング装置等が設置されたユーザ環境１３０にいるか、または、センシング装置を身体に装着した状態である。ユーザは更にコンピュータ、タブレット、スマートフォン等の端末装置１０２の表示部１１５、仮想現実または拡張現実等の手段により、情報検索装置１とのユーザインタフェースを提供されている。
ユーザは、センシング装置等が設置されたユーザ環境１３０にいるか、または、センシング装置を身体に装着した状態である。ユーザは更にコンピュータ、タブレット、スマートフォン等の端末装置１０２の表示部１１５、仮想現実または拡張現実等の手段により、情報検索装置１とのユーザインタフェースを提供されている。
センシングデバイスは、ユーザおよびその環境情報を収集している。このセンシングデバイスは、例えば温度、湿度、気圧、加速度、照度、二酸化炭素濃度、人感、着座、距離、におい、味、触覚等を検出する各種センサや、マイク、スマートスピーカ等の音声デバイス、カメラ等の撮像機器などである。
情報取得部２１は、ユーザ環境１３０に係るセンサ情報をセンシング装置から取得する。（Ｓ１０）。
情報取得部２１は、ユーザ環境１３０に係るセンサ情報をセンシング装置から取得する。（Ｓ１０）。
情報言語化部２２は、センシングデバイスが収集したセンサ情報を言語化する（Ｓ１１）。言語化のアルゴリズムの一例を挙げれば、機械学習等によりセンシングデバイスにより収集されたセンサ情報と言葉の組み合わせからなる教師データを予め学習させておき、学習済みのニューラルネットワークにセンシングデバイスが収集したセンサ情報を入力する方法がある。
情報言語化部２２が変換する情報は、必ずしも日本語、英語等の人類が意思疎通に使用する言葉に限られず、例えば、点字等に代表される触覚的な記号による言語情報、機械がそのまま読み込み理解できる符号情報、標識等に代表される視覚的な記号情報、色情報、音声情報、数値情報、嗅覚情報、深層学習のオートエンコーダ等により抽出された特徴量、ベクトル情報などでもよい。情報言語化部２２が変換する情報は、人や機械またはアルゴリズムにとって特定の意味を有するものであればよく、限定されない。
そしてユーザが、自身が求めるサービスに関する要求を端末装置１０２のユーザインタフェースに入力する。情報取得部２１は、端末装置１０２から、この要求を取得する（Ｓ１２）。ここで情報取得部２１が取得する要求は、例えばお手本動作の動画の提示、過去の自分の動作との差分提示、現在の自分の行動の分析など、情報検索装置１の出力に期待する要求である。
なお、情報取得部２１は、当日の日付、時刻、天候、寒暖、流行、混雑、交通手段等の周辺環境に関する情報、または、性別、宗教、同伴者、快不快、喜怒哀楽等の感情、呼吸、脈拍、脳波、怪我、疾病等の健康状態、当日の行動の目標値など、本人および環境に関する様々な属性情報を取得してもよい。
更に情報取得部２１は、取得した要求や属性情報に基づくユーザの設定や行動等を個人履歴データベース２３に蓄積する（Ｓ１３）。この個人履歴データベース２３を分析することで、ユーザが高頻度で設定する内容、ユーザの行動の傾向等を抽出できる。
次に、検索部２５は、情報言語化部２２が変換した言葉等の情報を用い、汎用的知識データベース２６を検索する（Ｓ１３）。汎用的知識データベース２６には、言葉等の情報に関連付けられた動画情報、言葉、音声情報、匂い情報、味覚情報、触覚情報等の各種情報が保存されている。これにより、人間の五感に訴える情報を提供することができる。
更に、この汎用的知識データベース２６には、感情を表す表現を含む情報が格納されている。これにより、ユーザの感情に即した情報を提供することができる。
検索部２５は、検索した言葉等の情報に関連付けられた情報と、検索した言葉等の情報と近い意味の情報に関連付けられた情報を汎用的知識データベース２６から取得し、送信内容決定部２７に出力する（Ｓ１４）。
更に、この汎用的知識データベース２６には、感情を表す表現を含む情報が格納されている。これにより、ユーザの感情に即した情報を提供することができる。
検索部２５は、検索した言葉等の情報に関連付けられた情報と、検索した言葉等の情報と近い意味の情報に関連付けられた情報を汎用的知識データベース２６から取得し、送信内容決定部２７に出力する（Ｓ１４）。
送信内容決定部２７は、個人履歴データベース２３を分析して、高頻度な要求や、ユーザの行動の傾向、趣味、嗜好等を抽出する（Ｓ１５）。
更に送信内容決定部２７は、汎用的知識データベース２６を検索して得られた各種情報、ユーザの高頻度な要求、ユーザの行動の傾向、趣味、嗜好等を総合し、ユーザに提示する情報を選択する（Ｓ１６）。送信内容決定部２７が提示情報を選択する基準は、例えば、過去にユーザから高評価を与えられた提示情報、ユーザが高頻度で要求する情報から僅かに異なり新しい視点を与える提示情報、ユーザの将来の行動を予測した提示情報、直近数回でユーザが触れていない提示情報、人間の健康管理として望ましい提示情報など、様々な基準を設けてよい。
更に送信内容決定部２７は、汎用的知識データベース２６を検索して得られた各種情報、ユーザの高頻度な要求、ユーザの行動の傾向、趣味、嗜好等を総合し、ユーザに提示する情報を選択する（Ｓ１６）。送信内容決定部２７が提示情報を選択する基準は、例えば、過去にユーザから高評価を与えられた提示情報、ユーザが高頻度で要求する情報から僅かに異なり新しい視点を与える提示情報、ユーザの将来の行動を予測した提示情報、直近数回でユーザが触れていない提示情報、人間の健康管理として望ましい提示情報など、様々な基準を設けてよい。
そして、送信内容決定部２７は、このユーザの要求に対して、既に情報を提示済みであるか否かを判定する（Ｓ１７）。送信内容決定部２７は、このユーザの要求に対して既に情報を提示済みならば（Ｙｅｓ）、そのユーザの要求に対して提示済の情報を個人履歴データベース２３から抽出して今回のユーザの行動と比較し（Ｓ１８）、ユーザが提示済の情報をどの様に行動に反映したか評価して、その評価結果を今回の提示情報に反映させる（Ｓ１９）。送信内容決定部２７は、このユーザの要求に対して未だ情報を提示していなければ、ステップＳ２０の処理に進む。
例えば、情報検索装置１が、或るユーザに対して、「もう少し腕を上げるとよい」という情報を提示し、このユーザは、今回の行動で腕が５ｃｍ上がっていた場合を考える。情報検索装置１の送信内容決定部２７は、このユーザにとっての「少し」という言葉は５ｃｍ程度を意味すると個人履歴データベース２３に蓄積する。
ここでユーザに更に３ｃｍ腕を上げさせたければ「もう少し」、更に１０ｃｍ腕を上げさせたければ「大きく」等の表現を使用することが適切である。この「少し」という言葉が示す距離は、ユーザによって異なる。このため、情報検索装置１は、ユーザごとに言葉と客観的な数値との関係を、個人履歴データベース２３に蓄積するとよい。更に、或るユーザに前回提示した情報を、このユーザが反映していない場合、情報検索装置１は、その情報も併せて提示してもよい。
ステップＳ２０において、送信部２８は、最終的に選択された提示情報を端末装置１０２に送信する。端末装置１０２は、表示部１１５を介して提示情報を表示する。この時、情報言語化部２２により変換された言葉等の情報も同時に提示することで、ユーザは提示情報への理解度を更に深められる。
ユーザは、入力部１１６を介して提示情報の評価をフィードバック可能である。入力部１１６を介して入力された評価は、通信制御部１１４により情報検索装置１に送信される。情報取得部２１は、提示情報に対するユーザの評価を端末装置１０２から取得して（Ｓ２１）、個人履歴データベース２３に蓄積すると（Ｓ２２）、図９の処理を終了する。個人履歴データベース２３に蓄積されたユーザ評価により、情報検索装置１は、ユーザの評価が高い情報を選択して提供可能である。例えば、リハビリにおいて腕の角度の情報を提供したが、ユーザの評価を低かった場合には、例えばリハビリにおける歩行の情報などのように、他の観点からの情報を提供することが好適である。
次に、本実施形態に係る情報検索装置１が実行する処理の具体例について説明する。
図９は、本実施形態に係る情報検索装置１が実行する処理の具体例である。まず、ユーザは事前準備として、センサ１２２およびカメラ、マイク等を含むセンシングデバイス１２３が設置されたユーザ環境１３０に移動するか、センサ１２２を身体に装着する。このセンサ１２２は、例えば歩数計や脈拍計、温度計、加速度計等の機能を有する小型のセンサであり、無線でデータを送信する機能を有してもよい。
図９は、本実施形態に係る情報検索装置１が実行する処理の具体例である。まず、ユーザは事前準備として、センサ１２２およびカメラ、マイク等を含むセンシングデバイス１２３が設置されたユーザ環境１３０に移動するか、センサ１２２を身体に装着する。このセンサ１２２は、例えば歩数計や脈拍計、温度計、加速度計等の機能を有する小型のセンサであり、無線でデータを送信する機能を有してもよい。
次に、ユーザは、コンピュータ、タブレット、スマートフォン等の端末装置１０２、仮想現実および拡張現実等の手段により、情報検索装置１に対して希望する動作モードを入力する。
図１０は、端末装置１０２の表示部１１５に表示された動作モード選択画面５１を示す図である。
この動作モード選択画面５１には、スピンコントロール上に「お手本行動」５１１と、「過去の自分の行動と比較」５１２と、「新規提案」５１３が表示されている。この動作モード選択画面５１は、ユーザの要求や属性情報を入力するユーザインタフェースとして機能する。
この動作モード選択画面５１には、スピンコントロール上に「お手本行動」５１１と、「過去の自分の行動と比較」５１２と、「新規提案」５１３が表示されている。この動作モード選択画面５１は、ユーザの要求や属性情報を入力するユーザインタフェースとして機能する。
「お手本行動」５１１は、プロや同レベルの他者等によるお手本動作の提示である。「過去の自分の行動と比較」５１２は、過去の自分自身の動作との差分の表示である。「新規提案」５１３は、新しい視点からの新規提案である。
［具体例１］
以下では、ユーザがゴルフの動作をすると仮定し、情報検索装置１を含むシステム全体の動作を具体的に説明する。以下の説明では、図９を適宜参照している。
上述の事前準備を済ませたユーザは、動作モード選択画面５１において、例えば「お手本行動」５１１を選択する。次に、実際にゴルフの動作をすると、センサ１２２およびセンシングデバイス１２３が取得したスイングの速度、打ち出された球の速度、スイングの姿勢、表情、打球音、使用している道具、周辺環境の温湿度、時刻、呼吸、心拍数等のセンサ情報が情報検索装置１の情報取得部２１に送信される。
以下では、ユーザがゴルフの動作をすると仮定し、情報検索装置１を含むシステム全体の動作を具体的に説明する。以下の説明では、図９を適宜参照している。
上述の事前準備を済ませたユーザは、動作モード選択画面５１において、例えば「お手本行動」５１１を選択する。次に、実際にゴルフの動作をすると、センサ１２２およびセンシングデバイス１２３が取得したスイングの速度、打ち出された球の速度、スイングの姿勢、表情、打球音、使用している道具、周辺環境の温湿度、時刻、呼吸、心拍数等のセンサ情報が情報検索装置１の情報取得部２１に送信される。
情報言語化部２２は、これらセンサ情報から現在の行動を「ゴルフ」という言葉に言語化する。次に、検索部２５は、この「ゴルフ」という言葉を利用して、汎用的知識データベース２６を検索し、「ゴルフ」という言葉に関連付けられたプロの動画情報、打球音、イメージ写真、ルール、人間関係において果たす役割、健康維持に対する効果、競技人口、歴史、費用等の各種情報を抽出する。汎用的知識データベース２６は、言葉を含む情報２６１と、情報２６１に関連付けられた動画２６２、言葉２６３、音声２６４等の各種情報を含んで構成されている。
送信内容決定部２７は、検索部２５が抽出した情報と、ユーザのお手本行動の要求とを合わせて、プロの動画情報をお手本行動として決定する。送信内容決定部２７は、ユーザの行動とプロの行動とを比較して、ユーザの行動をお手本行動に近づけるためのアドバイスを生成する。また送信内容決定部２７は、この提示情報を個人履歴データベース２３にも蓄積する。送信部２８は、この提示情報を端末装置１０２に送信する。
端末装置１０２は、この提示情報を表示部１１５に表示する。
端末装置１０２は、この提示情報を表示部１１５に表示する。
図１１は、端末装置１０２の表示部１１５に表示されたお手本行動画面５２を示す図である。
端末装置１０２の表示部１１５には、お手本行動画面５２が表示される。このお手本行動画面５２には、情報言語化部２２が変換した言葉である「ゴルフ」、ゴルフに係るお手本動画５２１と、被写体の名前や職業や年齢等のお手本動画５２１に関する情報５２２とが同時に表示される。
端末装置１０２の表示部１１５には、お手本行動画面５２が表示される。このお手本行動画面５２には、情報言語化部２２が変換した言葉である「ゴルフ」、ゴルフに係るお手本動画５２１と、被写体の名前や職業や年齢等のお手本動画５２１に関する情報５２２とが同時に表示される。
お手本行動画面５２には更に、ユーザの行動をお手本行動に近づけるためのアドバイス５２３が表示される。このアドバイス５２３は、ユーザの行動とお手本動画とを比較することによって生成される。アドバイス５２３は更に、過去の同一ユーザに提示した情報を受け、ユーザの行動がどの程度変化したかを、個人履歴データベース２３のデータから算出し、個人ごとに最適化されたものである。
評価ボタン５２８は、提示された内容に対するユーザの評価を入力するものである。評価ボタン５２８をタップすると、別画面が開き、そこに評価の文を自由に記述できる。「１～１０より選択」ボタン５２９は、提示された内容に対するユーザの評価を１から１０までの１０段階で入力するものである。
情報検索装置１は、例えば、過去に「もう少し腕を振る」という言葉で情報を提示し、ユーザが５ｃｍ多く腕を振った場合、さらに１０ｃｍ腕を振ることを表現するために、今回は「もっと」という言葉を選択してもよい。この「もう少し」という言葉が示す距離はユーザによって異なるため、ユーザごとに言葉と、客観的な数値との関係を、個人履歴データベース２３に蓄積してもよい。
[具体例２]
以下では、ユーザが介護現場において、リハビリに臨む当事者であると仮定し、情報検索装置１を含むシステムの動作を具体的に説明する。以下の説明では、図９を適宜参照している。
具体例１と同様に、事前準備を済ませたユーザは、図１０に示す動作モード選択画面５１において、例えば「過去の自分の行動と比較」５１２を選択する。
以下では、ユーザが介護現場において、リハビリに臨む当事者であると仮定し、情報検索装置１を含むシステムの動作を具体的に説明する。以下の説明では、図９を適宜参照している。
具体例１と同様に、事前準備を済ませたユーザは、図１０に示す動作モード選択画面５１において、例えば「過去の自分の行動と比較」５１２を選択する。
次に、ユーザがリハビリのために腕を上側に上げる動作をすると、センサ１２２およびセンシングデバイス１２３がそのセンサ情報を取得する。情報言語化部２２は、取得したセンサ情報をもとに「（個人名）」「リハビリ」という言葉に変換する。
次に、検索部２５は、これらの言葉を利用して汎用的知識データベース２６を検索し、「（個人名）」「リハビリ」という言葉に関連付けられた各種情報を検索する。
送信内容決定部２７は、ユーザの「過去の自分の行動と比較」の要求により、今回はユーザの過去の行動データをユーザに提示することが適切と判定する。送信内容決定部２７は、「（個人名）」「リハビリ」という言葉に基づいて、個人履歴データベース２３から過去のリハビリに関する行動情報（動画情報など）を抽出し、この行動情報と現在の動画情報とを比較して提示情報を決定する。なお、送信内容決定部２７は、個人履歴データベース２３からリハビリに関する情報を検索し、リハビリの開始日、過去の行動情報（センサ情報）、過去のユーザ評価、親族との面会日、性格、国籍、宗教、年齢、身長、体重等の情報を抽出してもよい。
また、送信内容決定部２７は、この提示情報を個人履歴データベース２３にも蓄積する。この提示情報は送信部２８により、例えば図１２に示す形式で端末装置１０２の表示部１１５に表示される。
図１２は、端末装置１０２の表示部１１５に表示された「過去の自分の行動と比較」画面５３を示す図である。
「過去の自分の行動と比較」画面５３には、情報言語化部２２が言語化した結果である「（個人名）」「リハビリ」という言葉と、提示情報である「過去の自分」画像５３１と、その日時５３２と、「現在の自分」画像５３３と、その日時５３４とが表示され、更に「腕が＋３０度上がるようになりました」の言葉が表示されている。
「過去の自分の行動と比較」画面５３には、情報言語化部２２が言語化した結果である「（個人名）」「リハビリ」という言葉と、提示情報である「過去の自分」画像５３１と、その日時５３２と、「現在の自分」画像５３３と、その日時５３４とが表示され、更に「腕が＋３０度上がるようになりました」の言葉が表示されている。
「現在の自分」画像５３３には、「過去の自分」画像５３１における腕の位置が破線で示され、更にその角度差が示されている。このように、過去の自分の行動との比較結果は、数字や図面の変化によって具体的に示される。
評価ボタン５３８は、提示された内容に対するユーザの評価を入力するものである。評価ボタン５３８をタップすると、別画面が開き、そこに評価の文を自由に記述できる。「１～１０より選択」ボタン５３９は、提示された内容に対するユーザの評価を１から１０までの１０段階で入力するものである。
[具体例３]
以下では、ユーザに対して好みに合った新製品のコーヒーを提案する状況を想定し、情報検索装置１を含むシステムの動作を具体的に説明する。以下の説明では、図９を適宜参照している。
具体例１と同様に、事前準備を済ませたユーザは、図１０に示す動作モード選択画面５１において、例えば「新規提案」５１３を選択する。
以下では、ユーザに対して好みに合った新製品のコーヒーを提案する状況を想定し、情報検索装置１を含むシステムの動作を具体的に説明する。以下の説明では、図９を適宜参照している。
具体例１と同様に、事前準備を済ませたユーザは、図１０に示す動作モード選択画面５１において、例えば「新規提案」５１３を選択する。
次に、ユーザがコーヒーを飲むと、センサ１２２およびセンシングデバイス１２３がセンサ情報を取得する。情報言語化部２２は、このセンサ情報を「（個人名）」「コーヒー」という言葉に変換する。次に、検索部２５は、変換された言葉で汎用的知識データベース２６を検索し、「（個人名）」「コーヒー」という言葉に関連付けられた、摂取間隔、摂取量、味の好み、香りの好み、付け合わせの好み、ＢＧＭ（Back Ground Music）の好み、摂取場所の好み等の各種情報を抽出する。
送信内容決定部２７は、検索部２５が抽出した各種情報と、ユーザの新規提案の要求とを合わせて、今回は新製品のコーヒーの中でも、味、香り、付け合わせがユーザの好みに合ったコーヒーをユーザに提示することが適切と判定する。この提示する新製品の選択方法は、例えば、ユーザごとに「コーヒー」という言葉と、好みのコーヒーの味、香りとの関係を表す変換ベクトルを保存しておき、新製品のコーヒーの中から、そのユーザの好みを表す変換ベクトルに近い変換ベクトルを持つ製品を選択する。
また送信内容決定部２７は、ユーザの好みを表す変換ベクトルを、正規分布等を用いて微小量摂動させることで、ユーザの好みに沿っているが、一部新しい要素を含む新製品を選択することも可能である。更に送信内容決定部２７は、ユーザの好みを表す変換ベクトルのうち少なくとも一成分をあえて反転させることで、ユーザの好みに沿う部分を残しつつも、ユーザが普段は経験することの少ないと予想される要素が含まれるコーヒーを提案してもよい。
また、この提示情報は、個人履歴データベース２３にも蓄積されている。この提示情報は送信部２８により、例えば図１３に示す形式でお勧め画面５４に表示される。
図１３は、端末装置１０２の表示部１１５に表示されたお勧め画面５４を示す図である。
表示部１１５には、お勧め画面５４が表示されており、情報言語化部２２が言語化した結果である「（個人名）」「コーヒー」という言葉とともに、提案情報が示されている。画像５４１は、お勧めのコーヒー豆の画像である。情報５４２には、コーヒー豆の産地や味や香りや他のユーザの評価が示されている。画像５４３は、カップに淹れられたコーヒーの画像である。情報５４４には、お勧めの飲み方が具体的に記載されている。
表示部１１５には、お勧め画面５４が表示されており、情報言語化部２２が言語化した結果である「（個人名）」「コーヒー」という言葉とともに、提案情報が示されている。画像５４１は、お勧めのコーヒー豆の画像である。情報５４２には、コーヒー豆の産地や味や香りや他のユーザの評価が示されている。画像５４３は、カップに淹れられたコーヒーの画像である。情報５４４には、お勧めの飲み方が具体的に記載されている。
また、この提示された内容に対しても、具体例１と同様、ユーザが評価可能である。
評価ボタン５４８は、提示された内容に対するユーザの評価を入力するものである。評価ボタン５４８をタップすると、別画面が開き、そこに評価の文を自由に記述できる。「１～１０より選択」ボタン５４９は、提示された内容に対するユーザの評価を１から１０までの１０段階で入力するものである。
評価ボタン５４８は、提示された内容に対するユーザの評価を入力するものである。評価ボタン５４８をタップすると、別画面が開き、そこに評価の文を自由に記述できる。「１～１０より選択」ボタン５４９は、提示された内容に対するユーザの評価を１から１０までの１０段階で入力するものである。
（変形例）
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路等のハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、フラッシュメモリカード、ＤＶＤ（Digital Versatile Disk）等の記録媒体に置くことができる。
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
１ 情報検索装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 大容量記憶部
１５ 通信制御部
１６ 記憶媒体
１７ 記憶媒体読取部
１８ 入力部
１９ 表示部
２０ 情報検索プログラム
２１ 情報取得部
２２ 情報言語化部
２２ａ 受信部
２２ｂ 変換部
２２ｃ 出力部
２２ｄ 変換方針決定部
２３ 個人履歴データベース
２４ 言語入力部
２５ 検索部
２６ 汎用的知識データベース
２７ 送信内容決定部
２８ 送信部
２９ 行動推定演算部
１０１ インターネット
１０２ 端末装置
１０３ ゲートウェイ
１０４ 移動体通信網
１０５ 基地局
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ 不揮発性記憶部
１１４ 通信制御部
１１５ 表示部
１１６ 入力部
１１７ ＧＰＳ部
１１８ スピーカ
１１９ マイク
１２０ アプリケーションプログラム
１２１ 無線通信
１２２ センサ
１２３ センシングデバイス
１３０ ユーザ環境
５１ 動作モード選択画面
５１１ 「お手本行動」
５１２ 「過去の自分の行動と比較」
５１３ 「新規提案」
５２ お手本行動画面
５２１ お手本動画
５２２ 情報
５２３ アドバイス
５２８ 評価ボタン
５２９ 「１～１０より選択」ボタン
５３ 「過去の自分の行動と比較」画面
５３１ 「過去の自分」画像
５３２ 日時
５３３ 「現在の自分」画像
５３４ 日時
５３８ 評価ボタン
５３９ 「１～１０より選択」ボタン
５４ お勧め画面
５４１ 画像
５４２ 情報
５４３ 画像
５４４ 情報
５４８ 評価ボタン
５４９ 「１～１０より選択」ボタン
１１ ＣＰＵ
１２ ＲＡＭ
１３ ＲＯＭ
１４ 大容量記憶部
１５ 通信制御部
１６ 記憶媒体
１７ 記憶媒体読取部
１８ 入力部
１９ 表示部
２０ 情報検索プログラム
２１ 情報取得部
２２ 情報言語化部
２２ａ 受信部
２２ｂ 変換部
２２ｃ 出力部
２２ｄ 変換方針決定部
２３ 個人履歴データベース
２４ 言語入力部
２５ 検索部
２６ 汎用的知識データベース
２７ 送信内容決定部
２８ 送信部
２９ 行動推定演算部
１０１ インターネット
１０２ 端末装置
１０３ ゲートウェイ
１０４ 移動体通信網
１０５ 基地局
１１１ ＣＰＵ
１１２ ＲＡＭ
１１３ 不揮発性記憶部
１１４ 通信制御部
１１５ 表示部
１１６ 入力部
１１７ ＧＰＳ部
１１８ スピーカ
１１９ マイク
１２０ アプリケーションプログラム
１２１ 無線通信
１２２ センサ
１２３ センシングデバイス
１３０ ユーザ環境
５１ 動作モード選択画面
５１１ 「お手本行動」
５１２ 「過去の自分の行動と比較」
５１３ 「新規提案」
５２ お手本行動画面
５２１ お手本動画
５２２ 情報
５２３ アドバイス
５２８ 評価ボタン
５２９ 「１～１０より選択」ボタン
５３ 「過去の自分の行動と比較」画面
５３１ 「過去の自分」画像
５３２ 日時
５３３ 「現在の自分」画像
５３４ 日時
５３８ 評価ボタン
５３９ 「１～１０より選択」ボタン
５４ お勧め画面
５４１ 画像
５４２ 情報
５４３ 画像
５４４ 情報
５４８ 評価ボタン
５４９ 「１～１０より選択」ボタン
Claims (13)
- ユーザの行動をセンシングしたセンサ情報を取得する情報取得部と、
前記情報取得部が取得した前記センサ情報を前記ユーザの行動を表す言語情報に言語化する情報言語化部と、
言語情報と前記言語情報に関連する各種情報とが関連付けて保存されている汎用的知識データベースと、
前記情報言語化部が言語化した言語情報をもとに前記汎用的知識データベースを検索して、前記言語情報および当該言語情報に類似する言語情報に関連付けられた前記各種情報を出力する検索部と、
を備えることを特徴とする情報検索装置。 - 各ユーザが前記情報検索装置を使用した際に、当該ユーザに対して前記情報検索装置が提示した情報、および、検索結果への評価を記録する個人履歴データベースと、
前記検索部が抽出した情報と前記個人履歴データベースから抽出した情報とを参照して、前記言語情報および当該言語情報に類似する言語情報に関連付けられた前記各種情報のうち、前記ユーザの評価が高い情報を選択して、当該ユーザへの送信内容として決定する送信内容決定部と、
を備えることを特徴とする請求項１に記載の情報検索装置。 - 前記送信内容決定部は、前記ユーザごとに製品とセンサ情報との関係を表す変換ベクトルを保存し、前記変換ベクトルを用いて選択した製品を当該ユーザへの送信内容として決定する、
ことを特徴とする請求項２に記載の情報検索装置。 - 前記送信内容決定部は、前記ユーザの好みを表す変換ベクトルに近い変換ベクトルを持つ製品を当該ユーザへの送信内容として決定する、
ことを特徴とする請求項３に記載の情報検索装置。 - 前記送信内容決定部は、前記ユーザの好みを表す変換ベクトルを微小量だけ摂動させて選択した製品を当該ユーザへの送信内容として決定する、
ことを特徴とする請求項３に記載の情報検索装置。 - 前記送信内容決定部は、前記ユーザの好みを表す変換ベクトルのうち少なくとも一成分を反転させて選択した製品を当該ユーザへの送信内容として決定する、
ことを特徴とする請求項３に記載の情報検索装置。 - 前記個人履歴データベースには、前記情報言語化部から出力された言語情報が格納される、
ことを特徴とする請求項３に記載の情報検索装置。 - 前記情報言語化部の出力は、符号化されている、
ことを特徴とする請求項１に記載の情報検索装置。 - ユーザの行動をセンシングしたセンサ情報および前記センサ情報が前記ユーザの行動を表す言語情報に言語化された言語情報をエッジ装置から取得する情報取得部と、
言語情報と前記言語情報に関連する各種情報とが関連付けて保存されている汎用的知識データベースと、
前記情報取得部が取得した前記言語情報をもとに前記汎用的知識データベースを検索して、前記言語情報および当該言語情報に類似する言語情報に関連付けられた前記各種情報を出力する検索部と、
を備えることを特徴とする情報検索装置。 - 前記センサ情報が言語化された言語情報はフィルタリングされている、
ことを特徴とする請求項９に記載の情報検索装置。 - ユーザの行動をセンシングしたセンサ情報および前記センサ情報が前記ユーザの行動を表す言語情報に言語化された言語情報を取得する情報取得部と、
前記言語情報をもとに、言語情報と前記言語情報に関連する各種情報とが関連付けて保存されている汎用的知識データベースを検索して、前記言語情報および当該言語情報に類似する言語情報に関連付けられた前記各種情報を出力する検索部と、
を備えることを特徴とする情報検索装置。 - 前記汎用的知識データベースに言語情報と関連付けられ保存される各種情報は、感情を表す表現を含む、
ことを特徴とする請求項１１に記載の情報検索装置。 - 前記汎用的知識データベースに言語情報と関連付けられ保存されている各種情報は、動画情報、音声情報、匂い情報、味覚情報、触覚情報の何れか１つ以上を含む、
ことを特徴とする請求項１１に記載の情報検索装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020116165A JP7478610B2 (ja) | 2020-07-06 | 2020-07-06 | 情報検索装置 |
| US18/008,343 US20230297611A1 (en) | 2020-07-06 | 2021-04-21 | Information search device |
| CN202180039469.4A CN115917581A (zh) | 2020-07-06 | 2021-04-21 | 信息检索装置 |
| PCT/JP2021/016110 WO2022009504A1 (ja) | 2020-07-06 | 2021-04-21 | 情報検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020116165A JP7478610B2 (ja) | 2020-07-06 | 2020-07-06 | 情報検索装置 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2022014034A JP2022014034A (ja) | 2022-01-19 |
| JP2022014034A5 JP2022014034A5 (ja) | 2023-03-06 |
| JP7478610B2 true JP7478610B2 (ja) | 2024-05-07 |
Family
ID=79552898
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020116165A Active JP7478610B2 (ja) | 2020-07-06 | 2020-07-06 | 情報検索装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20230297611A1 (ja) |
| JP (1) | JP7478610B2 (ja) |
| CN (1) | CN115917581A (ja) |
| WO (1) | WO2022009504A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7180940B1 (ja) * | 2022-05-31 | 2022-11-30 | 株式会社エヌアンドエヌ | 情報伝達システムと情報伝達プログラム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002108918A (ja) | 2000-09-27 | 2002-04-12 | Nec Corp | 嗜好学習装置、嗜好学習システム、嗜好学習方法および記録媒体 |
| JP2016126569A (ja) | 2015-01-05 | 2016-07-11 | 日本電信電話株式会社 | 行動認識装置、方法およびプログラム |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4878131B2 (ja) * | 2005-08-04 | 2012-02-15 | 株式会社エヌ・ティ・ティ・ドコモ | ユーザ行動推定システム、ユーザ行動推定方法 |
| US8909624B2 (en) * | 2011-05-31 | 2014-12-09 | Cisco Technology, Inc. | System and method for evaluating results of a search query in a network environment |
| KR102353486B1 (ko) * | 2017-07-18 | 2022-01-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어 방법 |
| KR20200115695A (ko) * | 2019-03-07 | 2020-10-08 | 삼성전자주식회사 | 전자 장치 및 이의 제어 방법 |
-
2020
- 2020-07-06 JP JP2020116165A patent/JP7478610B2/ja active Active
-
2021
- 2021-04-21 CN CN202180039469.4A patent/CN115917581A/zh active Pending
- 2021-04-21 US US18/008,343 patent/US20230297611A1/en active Pending
- 2021-04-21 WO PCT/JP2021/016110 patent/WO2022009504A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002108918A (ja) | 2000-09-27 | 2002-04-12 | Nec Corp | 嗜好学習装置、嗜好学習システム、嗜好学習方法および記録媒体 |
| JP2016126569A (ja) | 2015-01-05 | 2016-07-11 | 日本電信電話株式会社 | 行動認識装置、方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022014034A (ja) | 2022-01-19 |
| US20230297611A1 (en) | 2023-09-21 |
| WO2022009504A1 (ja) | 2022-01-13 |
| CN115917581A (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10951602B2 (en) | Server based methods and systems for conducting personalized, interactive and intelligent searches | |
| US11244163B2 (en) | Information processing apparatus, information processing method, and program | |
| US10956007B2 (en) | Electronic device and method for providing search result thereof | |
| US11954150B2 (en) | Electronic device and method for controlling the electronic device thereof | |
| WO2016189908A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US20210160230A1 (en) | Methods and systems for conducting multi-user personalized, interactive and intelligent searches | |
| US11573988B2 (en) | Storage of point of interest data on a user device for offline use | |
| US20220237915A1 (en) | Electronic apparatus and controlling method thereof | |
| CN110998507B (zh) | 电子装置及其用于提供搜索结果的方法 | |
| KR20200039365A (ko) | 전자 장치 및 이의 제어 방법 | |
| JP6572886B2 (ja) | 情報処理装置および情報処理方法 | |
| JP7478610B2 (ja) | 情報検索装置 | |
| KR20150105514A (ko) | 생체신호기반 서비스 방법 및 이를 적용한 휴대용 단말기 및 컴퓨터로 읽을 수 있는 기록매체 | |
| KR102493790B1 (ko) | 인공지능 기반 장소 연계 안면 인식 정보 생성 방법, 장치 및 시스템 | |
| KR20230081584A (ko) | 자동 및 멀티 모달리티 정보 입력을 활용하는 일상 추적 시스템을 위한 인공지능 기반의 상황 추론 장치 및 방법 | |
| JP2023143752A (ja) | プログラム、情報処理装置、及び方法 | |
| KR20240016815A (ko) | 얼굴 인식 기반 상호작용 상대방에 대한 사용자의 관계 감정 지수를 측정하는 시스템 및 방법 | |
| CN117688159A (zh) | 信息搜索方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230222 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230222 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240422 |