JP6798698B2 - コミュニケーションロボット、制御方法および制御プログラム - Google Patents
コミュニケーションロボット、制御方法および制御プログラム Download PDFInfo
- Publication number
- JP6798698B2 JP6798698B2 JP2017040189A JP2017040189A JP6798698B2 JP 6798698 B2 JP6798698 B2 JP 6798698B2 JP 2017040189 A JP2017040189 A JP 2017040189A JP 2017040189 A JP2017040189 A JP 2017040189A JP 6798698 B2 JP6798698 B2 JP 6798698B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- topic
- input image
- vector
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004891 communication Methods 0.000 title claims description 27
- 238000000034 method Methods 0.000 title claims description 20
- 239000013598 vector Substances 0.000 claims description 109
- 230000006835 compression Effects 0.000 claims description 12
- 238000007906 compression Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000007717 exclusion Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000036421 sense of balance Effects 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Manipulator (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
第4の発明は、各々が画像データと発話文データとを含む複数のデータセットから、同時発生確率の高い単語の特徴ベクトルをN次元に圧縮したトピックパラメータおよび発話コンテンツ中の各発話文の特徴ベクトルをN次元に圧縮した発話用インデックスを利用して、発話コンテンツから発話文を選択して発話する、コミュニケーションロボットのコンピュータが入力された画像から抽出した単語の特徴ベクトルをトピックパラメータを用いてN次元に圧縮した入力画像ベクトルを生成する入力画像ベクトル生成ステップ、発話用インデックスと入力画像ベクトルとの類似度に応じて発話コンテンツから発話文を選択する選択ステップ、および選択された発話文を出力する発話ステップを実行する、コミュニケーションロボットの制御方法である。
このようにトピックベクトル空間では、各文書のベクトル表現は各トピックの混合比率となる。
図1に示すロボット10を、肩に装着して人がたとえば散歩に出る。ステップS41では、CPU24は、カメラ22からの画像データをカメラインタフェース34を通して取得する。そして、ステップS43で、プログラム領域36の画像解析プログラム36d(たとえば、Google Cloud Vision:https//cloud.google.com/vision/)を用いて、その画像データからすべての構成要素を抽出して、特徴ベクトルV_sightを生成する。
20 …スピーカ
22 …カメラ
24 …CPU
30 …メモリ
36 …プログラム領域
38 …データ領域
Claims (5)
- 複数の発話文を発話コンテンツとして登録する発話コンテンツ登録部、
各々が画像データと発話文データとを含む複数のデータセットから、同時発生確率の高い単語の特徴ベクトルをN次元に圧縮したトピックパラメータを登録するトピックパラメータ登録部、
前記発話コンテンツ中の各発話文の特徴ベクトルをN次元に圧縮した発話用インデックスを登録する発話用インデックス登録部、
入力された画像から抽出した単語の特徴ベクトルをN次元に圧縮した入力画像ベクトルを生成する入力画像ベクトル生成部、
前記発話用インデックスと前記入力画像ベクトルとの類似度に応じて前記発話コンテンツから発話文を選択する選択部、および
前記選択された発話文を出力する発話部を備える、コミュニケーションロボット。 - カメラをさらに備え、前記画像は前記カメラが撮影した画像である、請求項1記載のコミュニケーションロボット。
- 前記発話用インデックス登録部および入力画像ベクトル生成部は、それぞれ前記トピックパラメータを用いてN次元圧縮を行う、請求項1または2記載のコミュニケーションロボット。
- 各々が画像データと発話文データとを含む複数のデータセットから、同時発生確率の高い単語の特徴ベクトルをN次元に圧縮したトピックパラメータおよび発話コンテンツ中の各発話文の特徴ベクトルをN次元に圧縮した発話用インデックスを利用して、発話コンテンツから発話文を選択して発話する、コミュニケーションロボットのコンピュータが、
入力された画像から抽出した単語の特徴ベクトルを前記トピックパラメータを用いてN次元に圧縮した入力画像ベクトルを生成する入力画像ベクトル生成ステップ、
前記発話用インデックスと前記入力画像ベクトルとの類似度に応じて前記発話コンテンツから発話文を選択する選択ステップ、および
前記選択された発話文を出力する発話ステップを実行する、コミュニケーションロボットの制御方法。 - 各々が画像データと発話文データとを含む複数のデータセットから、同時発生確率の高い単語の特徴ベクトルをN次元に圧縮したトピックパラメータおよび発話コンテンツ中の各発話文の特徴ベクトルをN次元に圧縮した発話用インデックスを利用して、発話コンテンツから発話文を選択して発話する、コミュニケーションロボットのコンピュータによって実行される制御プログラムであって、
前記制御プログラムは、前記コンピュータを
入力された画像から抽出した単語の特徴ベクトルを前記トピックパラメータを用いてN次元に圧縮した入力画像ベクトルを生成する入力画像ベクトル生成部、
前記発話用インデックスと前記入力画像ベクトルとの類似度に応じて前記発話コンテンツから発話文を選択する選択部、および
前記選択された発話文を出力する発話部
として機能させる、コミュニケーションロボットの制御プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040189A JP6798698B2 (ja) | 2017-03-03 | 2017-03-03 | コミュニケーションロボット、制御方法および制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017040189A JP6798698B2 (ja) | 2017-03-03 | 2017-03-03 | コミュニケーションロボット、制御方法および制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018147145A JP2018147145A (ja) | 2018-09-20 |
JP6798698B2 true JP6798698B2 (ja) | 2020-12-09 |
Family
ID=63591287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017040189A Active JP6798698B2 (ja) | 2017-03-03 | 2017-03-03 | コミュニケーションロボット、制御方法および制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6798698B2 (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001188780A (ja) * | 1999-12-28 | 2001-07-10 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
JP2004193932A (ja) * | 2002-12-11 | 2004-07-08 | Matsushita Electric Ind Co Ltd | ロボットと、それを首周辺部に固定する機構を備えたネックコミュニケーション装置 |
JP2009037050A (ja) * | 2007-08-02 | 2009-02-19 | Toyota Motor Corp | 対話装置と対話用プログラム |
CN101187990A (zh) * | 2007-12-14 | 2008-05-28 | 华南理工大学 | 一种会话机器人系统 |
JP2015148842A (ja) * | 2014-02-04 | 2015-08-20 | 株式会社東芝 | 対話装置、方法およびプログラム |
-
2017
- 2017-03-03 JP JP2017040189A patent/JP6798698B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018147145A (ja) | 2018-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Dube et al. | SegMap: Segment-based mapping and localization using data-driven descriptors | |
CN108932304B (zh) | 基于跨模态的视频时刻定位方法、系统及存储介质 | |
Pigou et al. | Beyond temporal pooling: Recurrence and temporal convolutions for gesture recognition in video | |
US20220198516A1 (en) | Data recommendation method and apparatus, computer device, and storage medium | |
Kanade et al. | First-person vision | |
Bu et al. | Learning high-level feature by deep belief networks for 3-D model retrieval and recognition | |
Buxton | Learning and understanding dynamic scene activity: a review | |
Cuntoor et al. | Activity modeling using event probability sequences | |
García-Bautista et al. | Mexican sign language recognition using kinect and data time warping algorithm | |
KR20200075114A (ko) | 이미지와 텍스트간 유사도 매칭 시스템 및 방법 | |
Murphy et al. | Incremental unsupervised topological place discovery | |
Hu et al. | Safe navigation with human instructions in complex scenes | |
Huang et al. | C-Rnn: a fine-grained language model for image captioning | |
Roh et al. | Human gesture recognition using a simplified dynamic Bayesian network | |
Biswas et al. | Recognizing activities with multiple cues | |
Zhang | Voice keyword retrieval method using attention mechanism and multimodal information fusion | |
CN117033609B (zh) | 文本视觉问答方法、装置、计算机设备和存储介质 | |
JP6798698B2 (ja) | コミュニケーションロボット、制御方法および制御プログラム | |
Le et al. | Tracked-vehicle retrieval by natural language descriptions with multi-contextual adaptive knowledge | |
Cai et al. | Performance analysis of distance teaching classroom based on machine learning and virtual reality | |
Bashmal et al. | Language Integration in Remote Sensing: Tasks, datasets, and future directions | |
CN115169448A (zh) | 一种基于深度学习的三维描述生成和视觉定位的统一方法 | |
Nayak et al. | Design of deep convolution feature extraction for multimedia information retrieval | |
Choe et al. | Semantic video event search for surveillance video | |
Mocanu et al. | An obstacle categorization system for visually impaired people |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201013 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201022 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201112 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6798698 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |