JP6666393B2

JP6666393B2 - 通話支援システム

Info

Publication number: JP6666393B2
Application number: JP2018142499A
Authority: JP
Inventors: 洋一松浦
Original assignee: 株式会社北陸テクノソリューションズ
Priority date: 2018-07-30
Filing date: 2018-07-30
Publication date: 2020-03-13
Anticipated expiration: 2038-07-30
Also published as: JP2020021992A

Description

本発明は、通話型端末機器を用いて相手方と連絡をとる際、通話の相手方が不在である場合の便宜を図る技術であって、留守番電話機能によって残された音声メッセージ（以下「通話用件」という）の不明確さや、発呼者が用いる言葉の個人差に伴う意思疎通の齟齬を解消する通話支援システムに関するものである。

従来、通話用件として残された内容を保存し、受信者が適宜再生して内容の知得を図る技術や、通話用件をテキスト化し、電子メールで送信することによって、受信者が置かれた環境に関わらず、その通話用件を出来る限り早く確実に受信者に届ける技術が提供されている（下記特許文献１又は特許文献２参照）。

また、意思疎通の齟齬を防止すべく、下記特許文献２には、辞書で単語の一部として認識されなかった音素（ある一つの言語で用いる音の単位で、意味の相違をもたらす最小の単位、又は類似した特長を持つ、意味を区別しない音声の集合体）について、当該音素から推認できる候補のいくつかを表す文字や記号（以下「キャラクター」という）を含む表示を行う技術が記載され、下記特許文献３には、音声認識処理によって発呼者の認証を行い、出来る限り簡易なシーケンスで、悪意の第三者からの不当呼を判定することができる技術が記載されている。

特開２０１７−６９６０７号公報特開２００７−３００６４０号公報特開２０１０−２１３２４２号公報

しかしながら、上記特許文献２の技術では、音素から推認できる候補のいくつかを表すキャラクターを含む表示がされているものの、方言、訛りもしくはローカル（局地的）な発声又は独特な業界用語若しくは口癖など個別事情に対応できないという問題がある。
また、商品の発注など、業務上の発呼である場合には、例えば、同じ商品であっても発呼者それぞれの呼び方が異なる場合があり、例えば、一般名称で発注された場合であっても、発呼者それぞれについて具体的な商品が特定されている場合もある。
そのため、通話内容をそのままテキスト化するだけでは、発注書として出力する機能を果たしえないという問題があった。

本発明は、上記実情に鑑みてなされたものであって、留守番電話機能によって残された音声メッセージの不明確さや、発呼者が用いる言葉の個人差に伴う意思疎通の齟齬を解消し、通話当事者間の個別事情に機動的に対応できる利便性の高い通話支援システムの提供を目的とする。

上記課題を解決するためになされた本発明による通話支援システムは、受信時に、発呼者に対して当該発呼者の人定情報及び通話の目的となる用件情報の提供を求めると共に、提供された人定情報及び用件情報を音声データで保存する通話情報採取手段と、前記音声データをテキストデータに変換する通話情報変換手段と、前記音声データを再生する際に、当該音声データの出力推移をそれに対応するテキストデータの表示に同期させる音声・テキスト同期手段と、を備えることを特徴とする。

本発明による通話支援システムは、通話予定者の氏名又は名称などの人定情報及びそれに紐付けられた固有辞書を記憶する個別情報記憶部を備え、前記通話情報変換手段は、前記音声データで定まる音素が一致し又は類似する言語を前記固有辞書から抽出し当該音声データに対応する前記テキストデータの変換候補として採用する構成を採ることもできる。

また、本発明による通話支援システムは、前記人定情報及び用件情報のテキストデータを記入する文書様式を記憶する文書様式記憶部を備え、前記通話情報変換手段は、前記テキストデータを前記文書様式に記入する文書作成手段を備える構成を採ることもできる。

本発明による通話支援システムによれば、通話用件として録音された音声を自動的にテキスト化し、保存された通話音声との照合を効率よく行うことができる。
しかも、通話用件を再生する際に、その音声とテキストの内容を同時に出力するのみならず、両者を同期させて照合できるので、再生者にとっては留守番電話の内容の確認及び理解がしやすく、録音された音声がテキスト化される過程で発生する間違いを容易に認識することが可能となる。
この様に、録音された音声メッセージと、記録されたテキストメッセージを自分の耳と目の双方で把握することで、思い込みや曖昧な記憶によるコミュニケーションエラーを防ぐ効果も期待することができる。

また、固有辞書を記憶する個別情報記憶部を備え、前記通話情報変換手段に、前記音声データで定まる音素が一致し又は類似する言語を前記固有辞書から抽出し当該音声データに対応する前記テキストデータの変換候補として採用する構成を採ることによって、ローカル情報をも加味した通話当事者により近いコミュニケーション能力をコンピュータシステムに与えることが可能となる。

更に、前記人定情報及び用件情報のテキストデータを記入する文書様式を記憶する文書様式記憶部を備え、前記通話情報変換手段に、前記テキストデータを前記文書様式に記入する文書作成手段を備える構成を採ることによって、通話用件を直接書面・伝票化できるのみならず、当該書面と音声との照合によって、顧客などに送付する実際の業務書面の間違いを探す便宜ともなる。

本発明による通話支援システムの表示画面の一例を示す概略図である。本発明による通話支援システムの一例を示す概略図である。本発明による通話支援システムの機能構成の一例を示すブロック図である。本発明による通話支援システムにおける情報の授受の一例を示す説明図である。本発明による通話支援システムの一例を示すハードウエア構成図である。本発明による通話支援システムで用いられるデータテーブルの一例を示す構成図である。本発明による通話支援システムの一例を示す概略図である。

以下、本発明による通話支援システムの実施の形態を、小売店や卸売店や営業所など（以下「店舗」という）に対する商品の発注を目的とする通話が行われる例に基づき詳細に説明する。
図１に示す例は、相手方が不在である場合に、残した音声メッセージの不明確さや使用する言葉の個人差などに伴う意思疎通の齟齬を解消するために、通話用件のテキスト化及び文書化を、店舗に設置された所謂パーソナルコンピュータ（ＰＣ１）を介在して行うものである。

この実施例は、発呼者が発呼箇所に所持し又は携帯する有線又は無線の端末装置４と、発呼を受ける側の店舗に設置された端末装置（図示省略）及び情報処理装置（ＰＣ１）と、発呼者の端末装置４と店舗の端末装置及びＰＣ１との間に介在する有線又は無線の通話・通信ネットワークと、発呼者からの発呼に対応する端末装置又は情報処理装置の通信を整理する端末切替装置（図示省略）とを備えて構成される。

前記端末装置は、固定電話機、携帯電話器又は携帯情報端末その他の通話機能を有する装置である。
前記情報処理装置（ＰＣ１）は、受信した通信情報を受け付ける通信インターフェース、受信者による操作入力及びデータ入力を受け付ける入力インターフェース、並びに保存されている音声データ及びテキストデータを所望の形式で出力する出力インターフェース、並びにＣＰＵ、タイマー及びＲＯＭ又はＲＡＭ等の記憶媒体からなる演算手段などを含むハードウエア資源に、通話支援プログラムの全部又は一部をインストールしたコンピュータシステムとして構成したものである（図５参照）。

前記通話・通信ネットワークは、有線若しくは無線の電話回線又はインターネットなどの情報通信回線を含むローカルネットワーク及びグローバルネットワーク又はその組合せなどである。
前記端末切替装置は、経路制御（ルーティング）を行う装置であって、種々のデータをその処理を担当する装置へ供給するために、コンピュータネットワーク上のデータ配送経路を決定する装置である。

この例は、所望言語の下、用件情報を構成する語彙や用語や商品名などの一般辞書を記憶する一般情報記憶部と、通話予定者の人定情報及びそれに紐付けられた固有辞書を記憶する個別情報記憶部と、前記人定情報及び用件情報のテキストデータを記入する文書様式を記憶する文書様式記憶部と、着信時に発呼者に対して当該発呼者の人定情報及び通話の目的となる用件情報の提供を求める出力を行うと共に、提供された人定情報及び用件情報を音声データ（ファイル）で保存する通話情報採取手段と、前記音声データをテキストデータに変換しテキストファイルとして保存する通話情報変換手段と、前記通話情報採取手段で保存した音声データ及び通話情報変換手段で保存したテキストファイルを出力する再生手段と、前記音声データを再生する際に当該音声データの出力推移をそれに対応するテキストデータの表示に同期させる音声・テキスト同期手段を備える通話支援システムである（図３参照）。

前記個別情報記憶部は、受信者によって登録された通話予定者の名称又は略称若しくは通称及び店舗名又は住所、担当者が使用する一般名称やローカル用語が意図する具体的商品（例えば、「ビール（日本酒）」＝「ビールメーカー（酒蔵）」＋「商品名」など）、個別単価又は発注単位数量など、様々な属性の具体的な名称や数量をデータフィールドとして備えるレコードを体系的に蓄積したデータテーブルを備える（図６参照）。

前記文書様式記憶部は、通話予定者の人定用件、即ち、名称、店舗名及び住所、並びに通話用件、即ち、商品名及び発注量（納入量）などを記入する枠がその文書の機能に応じて設定された受注票、発注書又は納品書などの記入・編集可能な様式を、通話予定者に応じて個別選択的に出力できる様に文書テーブルなどの形で蓄えたものである。

前記通話情報採取手段は、着信時に発呼者に対して当該発呼者の氏名若しくは名称、住所、担当者などの人定情報及び通話の目的となる用件情報の提供を求める際の応対メッセージとなる音声データを保存する応対メッセージ記憶部と、前記応対メッセージを音声として出力する発声手段と、前記応対メッセージに対して提供された人定情報及び用件情報を音声データで保存する音声情報記憶手段を備える。

前記通話情報変換手段は、所謂音声認識を行う機能を持ち、前記音声データから音素群を検出する採音手段と、採音時の時間経過を検出する採音タイマーと、前記音素群から目的言語（日本語など）の文言を抽出し、当該文言に副う語彙などを一般辞書及び固有辞書から抽出し、テキストデータに変換し保存する文字起こし手段を備える。
前記一般辞書及び前記固有辞書は、前記一般情報記憶部又は個別情報記憶部に分けて収録されている。

前記文字起こし手段は、先ず、発呼者を検索し、発呼者がヒットした場合は、当該発呼者の固有辞書を適用し、前記音素群に含まれる前記音素又は音素の組合せ（以下「音素材」という）を順に検索すると共に、前記音声データに含まれる音素材が一致し又は類似する言語を抽出し当該音声データに対応する前記テキストデータに採用する。
発呼者がヒットしない場合には、一般辞書を検索し、前記音声データに含まれる音素材が一致し又は類似する言語を抽出し当該音声データに対応する前記テキストデータに採用する。

前記通話情報変換手段は、例えば、下記の通り、Ｊｓｏｎ形式のデータを出力し保存する。
[
{ "startTime": "0s", "endTime": "0.600s", "word": "氷見|ヒミ" },
{ "startTime": "0.600s", "endTime": "0.700s", "word": "の|ノ" },
{ "startTime": "0.700s", "endTime": "1.100s", "word": "焼肉|ヤキニク" },
{ "startTime": "1.100s", "endTime": "1.400s", "word": "太郎|タロー" },
{ "startTime": "1.400s", "endTime": "1.700s", "word": "です|デス" },
{ "startTime": "1.700s", "endTime": "3.800s", "word": "キッコーマン|キッコーマン" },
{ "startTime": "3.800s", "endTime": "3.800s", "word": "の|ノ" },
{ "startTime": "3.800s", "endTime": "4.300s", "word": "特選|トクセン" },
{ "startTime": "4.300s", "endTime": "4.600s", "word": "丸|ガン,マル" },
{ "startTime": "4.600s", "endTime": "4.600s", "word": "大豆|ダイズ" },
{ "startTime": "4.600s", "endTime": "5.400s", "word": "醤油|ショーユ,ジョーユ" },
{ "startTime": "5.400s", "endTime": "5.500s", "word": "を|オ" },
{ "startTime": "5.500s", "endTime": "6.500s", "word": "一|イチ,イツ,ヒ,ヒト,ビト" },
{ "startTime": "6.500s", "endTime": "6.800s", "word": "箱|ハコ,バコ" } ,
{ "startTime": "9.800s", "endTime": "10.200s", "word": "以上|イジョー" },
{ "startTime": "10.200s", "endTime": "10.400s", "word": "で|デ" },
{ "startTime": "10.400s", "endTime": "10.500s", "word": "お|オ" },
{ "startTime": "10.500s", "endTime": "10.500s", "word": "願い|ネガイ" },
{ "startTime": "10.500s", "endTime": "10.900s", "word": "し|シ" },
{ "startTime": "10.900s", "endTime": "11.100s", "word": "ます|マス" }
]

前記再生手段は、前記テキストデータを前記文書様式に記入し出力する文書作成手段を備える。
前記文書作成手段は、受信者の操作を受けて発行すべき文書の様式を決定し、前記テキストデータから発注日、発注者、発注品、発注数、納期などを抽出し、当該発行文書の所定欄に記入した画像データ又は印刷データなどで出力する。

前記音声・テキスト同期手段は、ディスプレイ装置５を含む画像出力手段と、スピーカーなどを含む音声出力手段などの再生手段の出力を同期させるものである。
前記Ｊｓｏｎ形式のデータは、任意の文字単位で、その開始時間と終了時間が付されている。
この例の音声・テキスト同期手段は、保存されたデータが２文字以上の場合に、１文字あたりの平均所要時間を算出し、前記通話情報採取手段で保存された音声データの再生時間をタイマーで監視し、当該再生時間に、ディスプレイへの出力画像において該当する文字をトレースすることによって、スピーカー（音声）出力とディスプレイ（表示）出力の両者を同期して出力する構成を採る。

例えば、前記「氷見」の文字列は、０〜０．６秒の間で二音採取されているので、一音あたりの所要時間は０．３秒（０．６秒／２音）＝０．３秒となる。
そこで、スピーカー出力とディスプレイ出力の再生処理を同時に開始し、「氷見」の文字を０．３秒ごとにディスプレイに表示し、又はディスプレイに表示されている「氷見」の文字を０．３秒ごとに、ハイライトし、又は背景色の変更する処理などでトレースする。
即ち、前記再生処理の開始から０．３秒経過するまでディスプレイ出力「氷」を顕示し、０．３秒経過時から０．６秒経過に至る間に、ディスプレイ出力「見」又は「氷見」を顕示する。

一方、例えば、前記「キッコーマン」の文字列は、スピーカー出力とディスプレイ出力の再生処理の同時開始後１．７〜３．８秒の間で六音採取されているので、一音あたりの所要時間は（（３．８−１．７）秒／６音）＝０．３５秒となる。
そこで、スピーカー出力とディスプレイ出力の再生処理を同時に開始した後、「キッコーマン」の文字を０．３５秒ごとにディスプレイに表示し、ディスプレイに表示されている「キッコーマン」の文字を０．３５秒ごとにハイライトする処理などを継続する。

即ち、前記再生処理の開始後０．１７秒後から２．０５秒経過するまでは、ディスプレイ出力「キ」又は、「キ」までの文字列を顕示し、２．０６秒経過時から２．４０秒経過に至る間に、ディスプレイ出力「ッ」又は「ッ」までの文字列を顕示し、２．４１秒経過時から２．７５秒経過に至る間に、ディスプレイ出力「コ」又は「コ」までの文字列を顕示し、２．７６秒経過時から３．１１秒経過に至る間に、ディスプレイ出力「ー」又は「ー」までの文字列を顕示し、３．１１秒経過時から３．４５秒経過に至る間に、ディスプレイ出力「マ」又は「マ」までの文字列を顕示し、３．４６秒経過時から３．８０秒経過に至る間に、ディスプレイ出力「ン」又は「ン」までの文字列を顕示する。

この例の音声・テキスト同期手段は、前記音声データを再生する際に、上記の如く、当該音声データの出力推移を対応するテキストデータの表示に反映させる。
音声データの出力推移をテキストデータの表示に反映させる手法には、例えば、音声出力に合わせて該当するテキスト部分の文字色や背景色を変化させてトレースする手法や、ディスプレイ画面に該当するテキスト表示を音声データの出力に合わせて出力する手法（スライドショー：音声の再生スピードに合わせて文字が流れる機能）が挙げられる。

前記テキストデータに一般名称を含む場合には、固有辞書に登録されている具体的商品名等を添えて記載することもできる。
また、出力しようとする文書様式を表示しつつ音声出力に合わせて該当するテキスト部分や該当する欄の文字色や背景色を変化させる手法を採れば、発注者の録音音声を直に聞きながら当該発注者へ発送する文書のチェックを行うことができる。
更に、画面をタッチすることで音声の再生を停止するスイッチを具備するディスプレイ装置５を使用すれば、同期再生を行いながら、テキストの誤りや不明点を適宜修正することが容易となる。

この通話支援システムの例は、受信者の店舗に置かれたＰＣ１と単一又は複数のクラウドサービスで構成することもできる。

例えば、前記通話情報採取手段の前記発声手段及び音声情報記憶部は、第一のクラウドサービス（以下「第一クラウド２」という）を利用し、前記通話情報変換手段の一般辞書による一般的なテキスト変換は、第二のクラウドサービス（以下「第二クラウド３」という）の音声認識ＡＩを利用し、前記通話情報変換手段の固有辞書による個別的なテキスト変換処理と、前記文書作成手段による文書出力と、前記音声・テキスト同期手段による音声を伴うスライドショー機能をＰＣ１に配置することができる（図２参照）。

以上の如く構成された通話支援システムは、先ず、発呼者が所持する端末装置４からの発呼を受けて、受信者側の通話型端末装置は、前記端末切替装置によりその発呼を第一クラウド２へ転送する（図４参照）。
第一クラウド２は、定められた対応メッセージを発呼者へ送信し、当該対応メッセージに対する応答メッセージを録音し音声ファイルとして保存する。

保存された音声ファイルを再生する際、受信者は、ＰＣ１に対してその入力手段を介して再生指令を与える。
再生指令を受けた前記再生手段は、第一クラウド２から音声データを引き出し、第二クラウド３へ送信する。第二クラウド３では、音声認識ＡＩによって当該音声データをテキストデータ化し、再生指令を発した受信者へ返信する。
第二クラウド３からテキストデータを受信した音声・テキスト同期手段は、第一クラウド２から引き出した音声データの音声と共に、当該音声に同期したテキスト表示（以下「同期画像」という）を前記ＰＣ１のディスプレイ装置５に表示する。

例えば、前記通話情報採取手段の前記発声手段及び音声情報記憶部は、前記第一クラウド２に備え、前記通話情報変換手段の一般辞書による一般的なテキスト変換処理及び固有辞書による個別的なテキスト変換処理は、前記第二クラウド３の音声認識ＡＩを利用し、当該第二クラウド３への音声データの引渡し処理及び当該第二クラウド３が出力したテキストデータの保存処理を行う機能は第三クラウド６に備え、前記文書作成手段による文書出力と、前記再生手段及び前記音声・テキスト同期手段による音声を伴うスライドショー機能をＰＣ１に備える構成を採ることもできる（図７参照）。
尚、音声データの聴取には、前記第二クラウド３に備えられた音声認識ＡＩの機能を利用することもできる。

受信者は、前記同期画像を見ながら再生された音声を聞くことによって、音声とテキストとの不一致の有無を検証し、音声とテキストとの不一致を認識した際には、当該テキスト表示の編集機能を利用してテキストデータの修正を行うことができる。
その際、誤ったテキストが表示を見つけた場合には、誤った部分をタッチし、又は所定のキーを押して、誤った部分のテキストのサイズや色を変えるなどのマークを付し、又は一次停止して修正を行い、保存された当該通話用件を更新することができる。

修正されたテキストファイルを印刷する際には、受信者は、ＰＣ１に対してその入力手段を介して文書出力指令を行う。
前記文書出力指令は、所望の文書と、テキストデータを設定して行う。

この様に、固有辞書に基づいて様々な発呼者固有の言い方若しくは呼び方、方言、訛りもしくは独特な発声、又は独特な業界用語若しくは口癖など個別事情を考慮してテキスト化する機能と、音声とテキストを同期した形でテキスト化の誤りを検証する機能を並設する音声・テキストのダブルチェックシステムによれば、比較的軽い手間で留守番電話の伝言を相手に間違いなく伝えられることとなり、受信担当者の在不在に関わらず極めて正確な通話支援を行うことができる。

１ＰＣ，２第一クラウド，３第二クラウド，
４端末装置，５ディスプレイ装置，
６第三クラウド，

Claims

受信時に、発呼者に対して当該発呼者の人定情報及び通話の目的となる用件情報の提供を求めると共に、提供された人定情報及び用件情報を音声データで保存する通話情報採取手段と、
前記音声データをテキストデータに変換し保存する通話情報変換手段と、
前記通話情報採取手段で保存した音声データ及び前記通話情報変換手段で保存したテキストデータを出力する再生手段と、
前記再生手段により前記音声データを再生する際に、当該音声データの出力推移をそれに対応するテキストデータの表示に同期させる音声・テキスト同期手段と、
前記再生手段により前記音声データを再生する際に、当該音声データの再生を一時停止する手段及び前記テキストデータの修正を行う手段と、
を備え、
通話予定者の人定情報及びそれに紐付けられ個別事情を考慮した固有辞書を記憶する個別情報記憶部を備え、
前記通話情報変換手段は、前記音声データで定まる音素が一致し又は類似する言語を前記固有辞書から抽出し当該音声データに対応する前記テキストデータの変換候補として採用することを特徴とする通話支援システム。
前記人定情報及び用件情報のテキストデータを記入する文書様式を記憶する文書様式記憶部を備え、
前記通話情報変換手段は、前記テキストデータを前記文書様式に記入する文書作成手段を備えることを特徴とする請求項１に記載の通話支援システム。