JP7339615B2 - 対話システム - Google Patents

対話システム Download PDF

Info

Publication number
JP7339615B2
JP7339615B2 JP2021002644A JP2021002644A JP7339615B2 JP 7339615 B2 JP7339615 B2 JP 7339615B2 JP 2021002644 A JP2021002644 A JP 2021002644A JP 2021002644 A JP2021002644 A JP 2021002644A JP 7339615 B2 JP7339615 B2 JP 7339615B2
Authority
JP
Japan
Prior art keywords
registrant
text data
audio
video
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021002644A
Other languages
English (en)
Other versions
JP2022107933A (ja
Inventor
智久 末重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to JP2021002644A priority Critical patent/JP7339615B2/ja
Publication of JP2022107933A publication Critical patent/JP2022107933A/ja
Application granted granted Critical
Publication of JP7339615B2 publication Critical patent/JP7339615B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ユーザーの発話に対応して予め記録した音声および動画を表示する対話システムに関するものである。
近年、ユーザーの発話に対して応答を返す多くの対話システムが開発されている。例えば、ユーザーの発話に対して、音声だけで対話するシステム、特許文献１に記述されているような絵画像とテキストを表示させるシステム、特許文献２に記述されているような故人や有名人の静止画像を変形させて音声とともに出力するシステムなどがある。
特開平５－２１６６１８号公報 特許第６６５６４４７号公報
「音声対話システムの構成と今後」月刊パテント2019年7月発行
しかしながら、これまでの対話システムでは、対話する相手が機械的に合成された音声であったり、絵画像であったり、現実の人であっても静止画像を変形させて対話しているように見せている画像であったため、実際に話したい人と対話していると感じる状態ではなかった。
本発明は、上記を解決するために実際に話したい人と対話しているように感じられる対話システムを提供することを目的としている。
本発明は、予め記録された音声および動画の中からユーザーの発話に対応した音声および動画を抽出して表示することを主な特徴としている。また、複数の人の音声および動画を記録しておき、その中からユーザーが話したい人を選択した後、ユーザーの発話に対応した音声および動画を抽出して表示する手段をとることもできる。
本発明の対話システムは、実際に話したい人の音声と動画を表示させるため、機械的な相手ではなく本当に話したい人との対話を楽しむことができる。
さらに、本発明を自治体や企業への問い合わせに利用した場合、人件費の削減が期待できる。また、悩みを持つ人にとっては、通常話すことのできない著名人や故人と話すことにより、前向きに生きていこうとする気持ちが現れ、うつ状態に陥ることや自殺などを食い止めることが期待できる。
図１は全体の構成を示したブロック図である。（実施例１） 図２は全体の構成を示したブロック図である。（実施例２）
本発明の形態を以下の実施例で説明する。
図１は、本発明のブロック図である。入力装置１はカメラ１０１とマイク１０２とを備えており、登録者は入力装置１を用いて応答パターンとして音声および動画を入力する。音声動画処理部２は入力された音声をテキストデータに変換してテキストデータ記録装置３に記録し、音声および動画を音声動画記録装置４に記録する。音声動画記録装置４に記録された音声および動画は1つにまとめて格納され固有の識別子が付与される。テキストデータ記録装置３に記録されたテキストデータにも音声および動画に付与された識別子と同じ識別子が付与される。応答パターンは様々な対話場面を想定して複数記録するとよい。識別子は応答パターンごとに付与される。
入出力装置５はマイク５０１を備えており、ユーザーは入出力装置５を用いて音声を入力する。音声認識部６はユーザーの入力した音声をテキストデータへと変換する。言語理解部７は音声認識部６で得られたテキストデータからユーザーの意図を同定する。言語理解部７の結果は応答事例選択部８に渡され、テキストデータ記録装置３から応答事例に適合または最も近いテキストデータを選択する。応答事例選択部８は選択したテキストデータに付与された識別子を音声動画指定部９に渡し、音声動画指定部９はこの識別子に合致した音声および動画を音声動画記録装置４から抽出し、入出力装置５に送る。入出力装置５は表示部５０２を備えており、送られた音声および動画を再生する。音声認識および言語理解については既知の技術であるため詳細な説明は省略する。
本発明の登録者は有識者や自治体の相談員等が考えられる。登録者は予め想定される質問に対する応答パターンとして音声および動画を登録し、ユーザーの質問に対する応答に近い音声および動画を再生することが出来る。
応答パターンを登録する登録者は音声および動画の入力に先立って登録者に関する固有情報、例えば登録者名を入力装置１に備えたキーボード１０３によって入力する。入力された固有情報は固有情報記録装置１０に記録される。その後、入力装置１を用いて登録者は応答パターンとして音声および動画を入力する。入力された音声および動画は音声動画処理部２に渡され1つにまとめた状態で音声動画記録装置４に記録される。また、音声はテキストデータに変換されテキストデータ記録装置３に記録される。この時、実施例１と同様にテキストデータと音声および動画には同じ固有の識別子が付与されるが、テキストデータには固有情報記録装置１０に記録された固有情報も付与される。
対話を始める際、ユーザーは対話する相手を指定するために入出力装置５に備えたキーボード５０３を用いて対話する相手の固有情報を入力する。入力された固有情報は指定情報一時保管装置１１に一時保管される。次に、ユーザーは入出力装置５を用いて音声を入力し対話を開始する。音声認識部６はユーザーの入力した音声をテキストデータへと変換する。言語理解部７は音声認識部６で得られたテキストデータからユーザーの意図を同定する。言語理解部７の結果は応答事例選択部８に渡される。応答事例選択部８は指定情報一時保管装置１１に一時保管された固有情報に合致し、言語理解部７の結果に適合または最も近いテキストデータをテキストデータ記録装置３から選択する。応答事例選択部８は選択したテキストデータに付与された識別子を音声動画指定部９に渡し、音声動画指定部９はこの識別子に合致した音声および動画を音声動画記録装置４から抽出し、入出力装置５に送る。入出力装置５は送られた音声および動画を再生する。
固有情報記録時のキーボード１０３による入力手段および固有情報指定時のキーボード５０３による入力手段は、キーボードに限らずタブレットでも構わない。また、音声を入力するように構成にすることも考えられる。
固有情報の指定はキーボード５０３を用いて入力する代わりに固有情報記録装置１０に記録された固有情報、例えば登録者名を選択する手段をとってもよい。登録者の固有情報を男女別、年齢等についても登録した場合、20代男性や50代女性等を指定してある特定の層と対話するように構成することも考えられる。
ユーザーの対話手段として入出力装置５を使用して音声で入力するように構成しているが、キーボード等音声以外の入力手段をとるように構成することも可能である。これにより音声による対話が難しい人でも対話を楽しむことができる。
登録者が芸能人の場合、芸能人を指定して宴会等の乾杯の音頭をする音声および動画を再生してもよい。最初に芸能人を指定し、その後ユーザーによる「乾杯の音頭をお願いします」の音声に対して、指定された芸能人の乾杯の音頭の音声および動画が選択され再生される。乾杯の音頭の前に少し挨拶程度の対話をしてもよい。
非常に多くの音声および動画を記録させた場合、芸能人に限らず、著名人や一般人、故人と普通の対話を楽しむことも可能となり、利用する範囲を広げることができる。
１ 入力装置
１０１ カメラ
１０２ マイク
１０３ キーボード
２ 音声動画処理部
３ テキストデータ記録装置
４ 音声動画記録装置
５ 入出力装置
５０１ マイク
５０２ 表示部
５０３ キーボード
６ 音声認識部
７ 言語理解部
８ 応答事例選択部
９ 音声動画指定部
１０ 固有情報記録装置
１１ 指定情報一時保管装置

Claims (2)

  1. カメラとマイクとを有し、登録者が応答パターンとして前記登録者の音声および前記登録者を映す動画を入力する入力装置と、入力された前記登録者の音声をテキストデータに変換してテキストデータ記録装置に記録し、入力された前記登録者の音声および前記登録者を映した動画を音声動画記録装置に記録する音声動画処理部と、ユーザーが前記ユーザーの音声を入力する入出力装置と、入力された前記ユーザーの音声をテキストデータに変換する音声認識部と、前記音声認識部によって変換されたテキストデータからユーザーの意図を同定する言語理解部と、同定されたユーザーの意図に適合または最も近いテキストデータを前記テキストデータ記録装置から選択する応答事例選択部と、前記音声動画記録装置から前記登録者の音声および前記登録者を映した動画を抽出し前記入出力装置に送る音声動画指定部とを備え、前記入出力装置が前記音声動画指定部から送られた前記登録者の音声および前記登録者を映した動画を再生する対話システムにおいて、前記音声動画処理部は前記テキストデータ記録装置に記録されたテキストデータと前記音声動画記録装置に記録された前記登録者の音声および前記登録者を映した動画に対して応答パターンごとに同一の識別子を付与し、前記音声動画指定部は応答事例選択部が選択したテキストデータに付与されている識別子と同じ識別子が付与された前記登録者の音声および前記登録者を映した動画を音声動画記録装置から抽出することを特徴とする対話システム。
  2. 請求項１に記載の前記対話システムにおいて、登録者の固有情報を記録する固有情報記録装置と、ユーザーが指定した固有情報を記録する指定情報一時保管装置とを備え、前記音声動画処理部は前記テキストデータ記録装置に記録するテキストデータに前記固有情報記録装置に記録された固有情報を付与し、前記応答事例選択部はユーザーの意図に適合または最も近いテキストデータを前記テキストデータ記録装置から選択する際に前記指定情報一時保管装置に記録された固有情報に合致するテキストデータを前記テキストデータ記録装置から選択することを特徴とする対話システム。
JP2021002644A 2021-01-12 2021-01-12 対話システム Active JP7339615B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021002644A JP7339615B2 (ja) 2021-01-12 2021-01-12 対話システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021002644A JP7339615B2 (ja) 2021-01-12 2021-01-12 対話システム

Publications (2)

Publication Number Publication Date
JP2022107933A JP2022107933A (ja) 2022-07-25
JP7339615B2 true JP7339615B2 (ja) 2023-09-06

Family

ID=82556162

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021002644A Active JP7339615B2 (ja) 2021-01-12 2021-01-12 対話システム

Country Status (1)

Country Link
JP (1) JP7339615B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296328A (ja) 2002-04-03 2003-10-17 Isao Nagaoka 業界情報提供システム
JP2020160341A (ja) 2019-03-27 2020-10-01 ダイコク電機株式会社 動画出力システム
JP2020204711A (ja) 2019-06-17 2020-12-24 株式会社日立製作所 登録システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05216618A (ja) * 1991-11-18 1993-08-27 Toshiba Corp 音声対話システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296328A (ja) 2002-04-03 2003-10-17 Isao Nagaoka 業界情報提供システム
JP2020160341A (ja) 2019-03-27 2020-10-01 ダイコク電機株式会社 動画出力システム
JP2020204711A (ja) 2019-06-17 2020-12-24 株式会社日立製作所 登録システム

Also Published As

Publication number Publication date
JP2022107933A (ja) 2022-07-25

Similar Documents

Publication Publication Date Title
US11699456B2 (en) Automated transcript generation from multi-channel audio
CN111294463B (zh) 一种智能应答方法及系统
US9318113B2 (en) Method and apparatus for conducting synthesized, semi-scripted, improvisational conversations
US5826234A (en) Device and method for dubbing an audio-visual presentation which generates synthesized speech and corresponding facial movements
US9715873B2 (en) Method for adding realism to synthetic speech
EP2413615A2 (en) Apparatus and method for merging acoustic object information
JP4085924B2 (ja) 音声処理装置
CN105210355B (zh) 用于在电话呼叫的接收者判断不适合说话时应答电话呼叫的设备和相关方法
JPWO2010113438A1 (ja) 音声認識処理システム、および音声認識処理方法
JP2002207753A (ja) マルチメディア情報記録作成提供システム
JP2003255979A (ja) データ編集方法、データ編集装置、データ編集プログラム
CN113194203A (zh) 一种用于听障人士的沟通系统、接听拨打方法及通讯系统
JP2003037826A (ja) 代理画像表示装置およびテレビ電話装置
JP6091690B1 (ja) 議会運営支援システム及び議会運営支援方法
JP2000207170A (ja) 情報処理装置および情報処理方法
JP7339615B2 (ja) 対話システム
WO2021159734A1 (zh) 一种数据处理方法、装置、设备及介质
JP2006201496A (ja) フィルタリング装置
US20120154514A1 (en) Conference support apparatus and conference support method
JP4735640B2 (ja) 音声会議システム
US6501751B1 (en) Voice communication with simulated speech data
JP2019176375A (ja) 動画出力装置、動画出力方法および動画出力プログラム
KR102605178B1 (ko) 가족 관계에 기초하여 음성 데이터를 생성하는 장치, 방법 및 컴퓨터 프로그램
Dabrowski et al. Development of PUEPS corpus of emergency telephone conversations
JP4769086B2 (ja) 声質変換吹替システム、及び、プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230810

R150 Certificate of patent or registration of utility model

Ref document number: 7339615

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150