JP7380561B2 - 情報処理システム、情報処理方法及び記憶媒体 - Google Patents

Description

本発明は、情報処理システム、情報処理方法及び記憶媒体に関する。

特許文献１には、店舗内の状態、レジ装置の状態等に基づいてレジ装置の稼働指示等の報知を行う業務支援装置が開示されている。

特開２０１５－１４９０８９号公報

特許文献１に例示されている業務支援装置においては、報知内容の判定に用いられる情報源が限定されているため、状況に応じた適切な業務支援が行えない場合があった。

本発明は、上述の課題に鑑みてなされたものであって、業務状況に応じて適切な業務支援を行い得る情報処理システム、情報処理方法及び記憶媒体を提供することを目的とする。

本発明の一観点によれば、人物の発話を含む音声情報を取得する音声情報取得部と、前記人物の状況に関する状況情報を取得する状況取得部と、前記音声情報及び前記状況情報に基づいて、前記人物の業務を支援するための支援情報を生成する支援情報生成部と、を備える、情報処理システムが提供される。

本発明の他の一観点によれば、人物の発話を含む音声情報を取得するステップと、前記人物の状況に関する状況情報を取得するステップと、前記音声情報及び前記状況情報に基づいて、前記人物の業務を支援するための支援情報を生成するステップと、を備える、情報処理方法が提供される。

本発明の他の一観点によれば、コンピュータに、人物の発話を含む音声情報を取得するステップと、前記人物の状況に関する状況情報を取得するステップと、前記音声情報及び前記状況情報に基づいて、前記人物の業務を支援するための支援情報を生成するステップと、を備える情報処理方法を実行させるためのプログラムが記憶された記憶媒体が提供される。

本発明によれば、業務状況に応じて適切な業務支援を行い得る情報処理システム、情報処理方法及び記憶媒体を提供することができる。

第１実施形態に係る情報処理システムによる業務支援が行われ得る状況の具体例を示す図である。 第１実施形態に係る情報処理システムのハードウェア構成例を示すブロック図である。 第１実施形態に係る情報処理システムの機能ブロック図である。 第１実施形態に係る情報処理システムにより行われる処理の概略を示すフローチャートである。 データベースを参照する処理に用いられるテーブルの具体的な構成例を示す表である。 第２実施形態に係る情報処理システムの機能ブロック図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
本実施形態に係る情報処理システムについて、図１乃至図５を参照しつつ説明する。本実施形態の情報処理システムは、店舗内で商品の販売、サービスの提供等を行う店員の業務支援を行うための業務支援システムである。本実施形態の情報処理システムは、業務支援のための支援情報を生成し、店員に提供するものである。図１を参照して、本実施形態の情報処理システムを用いた業務支援が行われ得る具体的な状況を説明する。

図１は、本実施形態に係る情報処理システム２００による業務支援が行われ得る状況の具体例を示す図である。店舗１００の売場１１０にはカメラ１１３及び端末装置１１４が設置されている。また、売場１１０内には、店員１１１及び顧客１１２がおり、店員１１１及び顧客１１２は、互いに向かい合って端末装置１１４の近くに立っている。店員１１１は、ヘッドセット１１５を頭に装着している。

端末装置１１４は、例えば、キオスク端末であり、情報の提供、チケットの発行、商品の購入予約、料金の支払い等の種々のサービスを提供する装置である。端末装置１１４は、これらのサービスの提供に必要な、表示装置、入力装置、プリンタ、ＩＣ（Integrated Circuit）カードリーダ、バーコードリーダ等を備える。

カメラ１１３は、店舗１００内に設けられた売場１１０内を撮影するための撮像装置である。カメラ１１３は、画像（静止画又は動画）の撮影を行うことができる。また、カメラ１１３は、音声を取得するためのマイクロフォンを備えていてもよく、その場合は、音声データ付きの動画を撮影することができる。カメラ１１３は、情報処理システム２００による処理のために専用に設けられたものであってもよく、防犯カメラの機能を兼ね備えたものであってもよい。

ヘッドセット１１５は、ヘッドフォン１１６及びマイクロフォン１１７が一体化された音響機器である。マイクロフォン１１７は、店員１１１又は顧客１１２の発話を取得する装置である。ヘッドフォン１１６は、音声を店員１１１に対して発する装置である。

カメラ１１３、端末装置１１４及びヘッドセット１１５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）等の通信規格に基づく通信装置を更に備えている。これにより、カメラ１１３、端末装置１１４及びヘッドセット１１５は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等のネットワークＮＷを介して情報処理システム２００と通信可能に接続される。

ヘッドセット１１５と情報処理システム２００とが相互に通信を行うことにより、情報処理システム２００は、マイクロフォン１１７により入力された音声データの受信及びヘッドフォン１１６から出力させるべき音声データの送信を行うことができる。

図１の場面について説明する。顧客１１２は、端末装置１１４に設けられたプリンタを用いてチケットの発行を行おうとしている。しかしながら、顧客１１２は、チケットの発行がうまくいかなかったため、店員１１１を呼んで不具合の対応を求めている。店員１１１は、顧客１１２と対話しながら、不具合の原因を確認しようとしている。以下の説明では、情報処理システム２００は、上述の状況における店員１１１の業務支援を行うものとする。しかしながら、情報処理システム２００により実現され得る業務支援はこれに限定されるものではない。

図２は、情報処理システム２００のハードウェア構成例を示すブロック図である。情報処理システム２００は、例えば、デスクトップＰＣ（Personal Computer）、ノートＰＣ、タブレットＰＣ等のコンピュータであり得る。

情報処理システム２００は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）２５１、ＲＡＭ（Random Access Memory）２５２、ＲＯＭ（Read Only Memory）２５３及びＨＤＤ（Hard Disk Drive）２５４を備える。また、情報処理システム２００は、通信Ｉ／Ｆ（インターフェース）２５５、表示装置２５６及び入力装置２５７を備える。ＣＰＵ２５１、ＲＡＭ２５２、ＲＯＭ２５３、ＨＤＤ２５４、通信Ｉ／Ｆ２５５、表示装置２５６及び入力装置２５７は、バス２５８を介して相互に接続される。なお、表示装置２５６及び入力装置２５７は、これらの装置を駆動するための不図示の駆動装置を介してバス２５８に接続されてもよい。

図２では、情報処理システム２００を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、表示装置２５６及び入力装置２５７は、ＣＰＵ２５１等を含むコンピュータの機能を構成する部分とは別の外付け装置であってもよい。

ＣＰＵ２５１は、ＲＯＭ２５３、ＨＤＤ２５４等に記憶されたプログラムに従って所定の動作を行うとともに、情報処理システム２００の各部を制御する機能をも有するプロセッサである。ＲＡＭ２５２は、揮発性記憶媒体から構成され、ＣＰＵ２５１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ２５３は、不揮発性記憶媒体から構成され、情報処理システム２００の動作に用いられるプログラム等の必要な情報を記憶する。ＨＤＤ２５４は、不揮発性記憶媒体から構成され、処理に必要なデータ、情報処理システム２００の動作用プログラム等の記憶を行う記憶装置である。

通信Ｉ／Ｆ２５５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。表示装置２５６は、液晶ディスプレイ、ＯＬＥＤディスプレイ等であって、画像、文字、インターフェース等の表示に用いられる。入力装置２５７は、キーボード、ポインティングデバイス等であって、ユーザが情報処理システム２００を操作するために用いられる。ポインティングデバイスの例としては、マウス、トラックボール、タッチパネル、ペンタブレット等が挙げられる。表示装置２５６及び入力装置２５７は、タッチパネルとして一体に形成されていてもよい。

なお、図２に示されているハードウェア構成は例示であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。更に、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されるものであってもよい。例えば、ＨＤＤ２５４は、半導体メモリを用いたＳＳＤ（Solid State Drive）に置換されていてもよく、クラウドストレージに置換されていてもよい。

図３は、本実施形態に係る情報処理システム２００の機能ブロック図である。情報処理システム２００は、状況取得部２０１、音声情報取得部２０２、変換部２０３、抽出部２０４、通知部２０５、支援情報生成部２０６及び記憶部２０７を有する。

ＣＰＵ２５１は、ＲＯＭ２５３、ＨＤＤ２５４等に記憶されたプログラムをＲＡＭ２５２にロードして実行する。これにより、ＣＰＵ２５１は、変換部２０３、抽出部２０４及び支援情報生成部２０６の機能を実現する。これらの各部で行われる処理については後述する。ＣＰＵ２５１は、プログラムに基づいて通信Ｉ／Ｆ２５５を制御し、カメラ１１３から画像、動画等の画像情報を取得して所定の処理を行うことにより状況取得部２０１の機能を実現する。ＣＰＵ２５１は、プログラムに基づいて通信Ｉ／Ｆ２５５を制御し、マイクロフォン１１７から音声情報を取得することにより音声情報取得部２０２の機能を実現する。ＣＰＵ２５１は、プログラムに基づいて通信Ｉ／Ｆ２５５を制御し、ヘッドフォン１１６に店員１１１に通知すべき音声情報を送信することにより通知部２０５の機能を実現する。ＣＰＵ２５１は、ＨＤＤ２５４を制御することにより記憶部２０７の機能を実現する。

図４は、本実施形態に係る情報処理システム２００により行われる処理の概略を示すフローチャートである。図４を参照しつつ、情報処理システム２００により行われる処理を説明する。

ステップＳ１０１において、音声情報取得部２０２は、マイクロフォン１１７により取得された店員１１１と顧客１１２との間の対話等の店員１１１又は顧客１１２の発話を含む音声情報を取得する。この音声情報の取得は、例えば、マイクロフォン１１７からネットワークＮＷを介して受信するものであってもよく、マイクロフォン１１７から記憶装置に一旦記録されたデータを読み出すものであってもよい。なお、音声情報取得部２０２は、取得された音声を音声情報として取得する過程において、サンプリング、量子化、ノイズ除去、圧縮等の処理を行い得る。

なお、音声情報に含まれ得る発話は、店員１１１と顧客１１２の対話でなくてもよく、店員１１１又は顧客１１２の単独の発話（例えば、「いらっしゃいませ」等の挨拶）であってもよい。

ステップＳ１０２において、変換部２０３は、音声認識技術により音声情報に含まれる店員１１１又は顧客１１２の発話の内容を文字情報に変換する。変換後の文字情報は、例えばテキストデータであり得る。

ステップＳ１０３において、抽出部２０４は、変換部２０３での変換により得られた文字情報から、支援情報生成部２０６に入力すべきキーワードを抽出する。この抽出処理は、例えば、文字情報の中にあらかじめ登録されている単語があるか否かを検索し、登録されている単語が出現した場合に、その単語をキーワードとして抽出するというものであり得る。あらかじめ登録しておくキーワードは、業務支援の対象を特定するために有用な単語から選択される。

ステップＳ１０４において、状況取得部２０１は、カメラ１１３により取得された売場１１０内の画像を取得する。そして、状況取得部２０１は、画像認識技術により、取得された画像から店員１１１の状況に関する状況情報を取得する。

状況取得部２０１により取得される店員１１１の状況情報とは、店舗１００内における店員１１１の位置に関する情報、店員１１１の作業状態に関する情報等を含み得る。

店員１１１の位置に関する情報とは、例えば、店員１１１が、売場１１０にいるのか、それ以外の場所（例えば、店舗１００内のバックヤード、店舗１００の外等）にいるのかを示す情報であり得る。また、売場１１０内の店員１１１の位置を特定する必要がある場合には、店員１１１の位置に関する情報は、店員１１１が売場１１０内のどこにいるのかを示す情報を更に含んでもよい。具体的には、当該情報は、店員１１１がカウンタ内にいる状況、店員１１１が端末装置１１４の近くにいる状況、店員１１１が商品棚の近くにいる状況等を区別し得る情報を含んでもよい。

店員１１１の作業状態に関する情報とは、例えば、店員１１１が顧客１１２の問い合わせに応対している状況、店員１１１がカウンタで商品の販売をしている状況、店員１１１がバックヤードで待機している状況等を区別し得る情報を含み得る。

以下、作業状態に関する情報の取得についてより具体的に説明する。典型的には、画像から得られた店員１１１の位置と、店員１１１の周囲（近く）に顧客１１２、他の店員又は所定の物品が存在するか否かとに基づいて店員１１１の状況が判定され、店員１１１の作業状態に関する情報が取得され得る。店員１１１の周囲に顧客１１２等が存在するか否かを判定するためには画像処理技術により、画像から店員１１１、顧客１１２等を抽出し、更に、これらの間の画像内の位置関係を判定することが求められる。この画像処理の例について順次説明する。

店員１１１、顧客１１２等の抽出に用いられ得る画像認識技術は、具体的には、あらかじめ記憶されている店員１１１の特徴（例えば特徴量ベクトル）に合致する部分を画像の中から探索することにより、店員１１１の位置等を特定するものであり得る。店員１１１の特徴とは、制服、名札、ヘッドセット１１５等の店員１１１が保持している物品の特徴であってもよく、顔、体型等の店員１１１の生体的特徴であってもよい。例えば、画像内に制服、ヘッドセット１１５等を着用している人物がいる場合には、この人物は、顧客１１２ではなく、店員１１１であると判定される。これにより画像中の店員１１１の有無の判定及びその位置の取得を行うことができる。更に、発話者が店員１１１と顧客１１２のいずれであるのかを区別することもできる。また、画像内に複数の店員１１１が存在している場合には上述の特徴を用いて複数の店員１１１を区別することもできる。このように、店員１１１と顧客１１２等、複数の人物が画像から発見された場合には、人物の属性を取得することができる。

また、同様の手法により、あらかじめ記憶されている物品（例えば、カウンタ、レジスタ、端末装置１１４、商品棚、バックヤードのストアコンピュータ等）の特徴を画像の中から探索することにより物品の有無の判定、その種類の判定及びその位置の取得を行うことができる。あるいは、同様の手法により、顧客１１２を画像の中から探索することにより顧客１１２の有無の判定及びその位置の取得を行うことができる。ここで、顧客１１２を特定するアルゴリズムは、例えば、画像中の人物のうち、着目している店員１１１ではない人物を顧客１１２と判定するものであってもよく、商品カゴ、カート等の顧客１１２が保持している物品の特徴に基づいて判定するものであってもよい。

次に、これらの手法により特定された店員１１１と顧客１１２との位置関係に基づいて、店員１１１の周囲に顧客１１２が存在するか否かを特定するアルゴリズムの例について説明する。本アルゴリズムは、例えば、画像内の店員１１１と顧客１１２の間のピクセル数が、所定のピクセル数以下である場合に、店員１１１の周囲に顧客１１２が存在すると判定し、所定のピクセル数より大きい場合に、店員１１１の周囲に顧客１１２が存在しないと判定するものであり得る。また、画像内に顧客１１２が発見されなかった場合にも同様に店員１１１の周囲に顧客１１２が存在しないと判定され得る。ここで所定のピクセル数は、画像の撮影範囲の実際の大きさと画像のピクセル数との比率に応じて定めることができ、具体的には実際の大きさが数メートルになるようなピクセル数であり得る。この場合、上述のアルゴリズムは、店員１１１から数メートル以内の範囲に顧客１１２が存在するか否かを判定することができる。店員１１１の周囲に他の店員又は所定の物品が存在するか否かを識別する場合にも上記のアルゴリズムが同様に適用され得る。

次に店員１１１の位置と、店員１１１の周囲に存在する人物との関係に基づく店員１１１の作業状態の特定についてより詳細に説明する。

まず、店員１１１の周囲に人物がいない場合について説明する。この場合において、店員１１１の位置がカウンタの近くである場合には、店員１１１の作業状態は、接客待機中であると判定され得る。店員１１１の位置が商品棚の近くである場合には、店員１１１の作業状態は、商品の陳列等の商品管理に関連する作業中であると判定され得る。店員１１１の位置がバックヤードである場合には、店員１１１の作業状態は、在庫管理等の緊急度の低い作業を行っているか、あるいは業務を行っていない状態であると判定され得る。

次に、店員１１１の周囲に顧客１１２がいる場合について説明する。この場合において、店員１１１の位置がカウンタの近くである場合には、店員１１１の作業状態は、顧客１１２に対して商品の販売をしている状態と判定され得る。店員１１１の位置が商品棚の近くである場合には、店員１１１の作業状態は、商品の説明等の商品に関連した顧客対応中であると判定され得る。店員１１１の位置が端末装置１１４の近くである場合には、店員１１１の作業状態は、端末装置１１４に関するトラブル対応を行っている状態であるであると判定され得る。いずれの場合においても店員１１１は、接客対応中であり、緊急度が高い作業を行っているといえる。

次に、店員１１１の周囲に別の店員がいる場合について説明する。この場合において、店員１１１の位置がカウンタの近くである場合には、店員１１１の作業状態は、他の店員と共同で接客をしている状態、又は一方の店員が他方の店員に指導をしている等の共同作業中と判定され得る。店員１１１の位置が商品棚の近くである場合には、店員１１１の作業状態は、商品の陳列等の商品管理に関連する作業を共同で行っているものと判定され得る。店員１１１の位置がバックヤードである場合には、店員１１１の作業状態は、在庫管理等の緊急度の低い作業を共同で行っているか、あるいは業務を行っていない状態であると判定され得る。

以上のように、当該画像認識技術は、店員１１１と店員１１１の周辺にある物体又は人物を識別することにより、店員１１１の位置又は作業状態を特定するものであり得る。

なお、ステップＳ１０１からステップＳ１０３までの処理とステップＳ１０４の処理の順序は逆でもよい。また、ステップＳ１０１からステップＳ１０３までの処理とステップＳ１０４の処理の少なくとも一部が並行して行われてもよい。

ステップＳ１０５において、支援情報生成部２０６は、抽出部２０４により抽出されたキーワードと、状況取得部２０１により取得された状況情報とに基づいて店員１１１の業務を支援するための支援情報を生成する。

支援情報生成部２０６による支援情報の生成のための処理は、機械学習により生成された学習モデルを用いた処理又はデータベースを参照する処理であり得る。

まず、機械学習により生成された学習モデルを用いた処理の例を説明する。本例では、支援情報生成部２０６は、ニューラルネットワーク等の機械学習が可能な数理モデルを有する。キーワードと状況情報の組を学習データとして支援情報生成部２０６に入力し、入力に対応した適切な支援情報が出力されるように機械学習を行うことにより、学習モデルを生成することができる。この学習モデルをあらかじめ支援情報生成部２０６に組み込んでおくことにより、支援情報生成部２０６は、キーワードと状況情報とに基づいて支援情報を生成する処理を行うことができる。この機械学習を活用する手法では、学習用データを準備するだけで自動的にモデルを生成できる利点がある。

次に、データベースを参照する処理の例を説明する。本例では、支援情報生成部２０６は、キーワードと状況情報と支援情報を相互に関連付けたデータベースをあらかじめ記憶部２０７に記憶させておく。このデータベースは、過去の業務支援内容、業務マニュアル等を参照して作成することができる。支援情報生成部２０６は、入力されたキーワードと状況情報に対応する支援情報を記憶部２０７内のデータベースを参照して取得することにより、支援情報の生成を行う。データベースはニューラルネットワーク等の機械学習の数理モデルに比べて可読性が高い。そのため、データベースを参照する手法は、新たなキーワードを追加する等の改訂作業が容易であるという利点がある。なお、このデータベースは、キーワードと状況情報と支援情報とをキーとするテーブルであり得る。

図５を参照して、上述のデータベースを参照する処理に用いられるテーブルの具体的な構成例を説明する。図５には、発話を含む音声情報に基づいて生成された「キーワード」と、状況情報の一つである「店員の位置」と、「支援情報」と、支援情報を通知する対象である「通知先」とをキーとするテーブルが示されている。「店員の位置」に例示されている「端末装置１１４」、「レジスタ」、「商品棚」は、店員がこれらの物体の近くにいることを示している。「店員の位置」に例示されている「バックヤード」は、店員が売場１１０の外のバックヤードにいることを示している。例えば、キーワードとして「チケット」、「発行できない」、「予約番号」が入力され、店員の位置として「端末装置１１４」が入力された場合には、支援情報として、「確認ボタンの押下」をヘッドセットで音声により通知することが図５のテーブルから理解される。このように、本例においては、支援情報生成部２０６は、テーブルを参照することにより、支援情報の生成を行うことができる。

また、本例においては、キーワード及び店員の位置に応じて、後述の通知部２０５による通知先が決定され得るようにテーブルが構成されている。例えば、キーワードとして「チケット」、「発行できない」が入力され、店員１１１の位置として「バックヤード」が入力された場合には、通知先は、「ストアコンピュータの画面」である。この場面では、店員１１１は緊急性が低い状態であると推定されるため、通知部２０５は、バックヤードに設置されているストアコンピュータの画面にマニュアルを表示させて店員１１１に閲覧させることで、確実にトラブルの対処を行わせることができる。このように本例では、キーワードの内容及び店員の位置に応じて適切な通知先を選択して、音声での通知又は画面への表示等による店員への通知を行うことができる。

ステップＳ１０６において、通知部２０５は、支援情報生成部２０６により生成された支援情報を店員１１１に通知するための処理を行う。具体的には、通知部２０５は、支援情報を含む音声データをヘッドフォン１１６に送信する。ヘッドフォン１１６は音声データに基づく音声を出力し、店員１１１に対して業務を支援するための通知を行う。なお、支援情報を音声データに変換する処理には、例えば、テキストデータから音声を生成する文章読み上げ技術が用いられ得る。また、上述のように通知部２０５による通知先は、支援情報生成部２０６での処理に応じて異なっていてもよい。この通知先は、支援情報生成部２０６での処理により、機械学習により生成された学習モデル又はデータベースの参照により決定され得る。

なお、ステップＳ１０２及びステップＳ１０３の処理は省略されてもよい。例えば、支援情報生成部２０６が文章解析技術等により文字情報からそのまま支援情報の生成を行うことが可能な場合には、ステップＳ１０３の処理は省略され得る。また、支援情報生成部２０６が音声情報取得部２０２で取得された音声データから特徴を抽出して、その特徴に基づく支援情報の生成を行うことが可能な場合には、ステップＳ１０２及びステップＳ１０３の処理は省略され得る。

次に、図１に示す状況において、上述の処理の例をより具体的に説明する。以下の例は、本実施形態の処理の流れ及び効果についての理解を補助するための適用例を示したものであり、本実施形態の情報処理システム２００が適用され得る場面を限定するものではない。

図１に示す場面で店員１１１と顧客１１２が行った対話は、以下のとおりであるものとする。

店員１１１「何かお困りでしょうか？」
顧客１１２「予約していたチケットが機械から出てきません。」
店員１１１「チケットが発行できないのですね。予約番号は入力されましたか？」
顧客１１２「はい。入力しました。」

店員１１１が装着しているヘッドセット１１５のマイクロフォン１１７は、この対話のうちの少なくとも店員１１１の発話を含む音声を取得する。ここで、マイクロフォン１１７は店員１１１の口の近傍に設けられているため、店員１１１の発話を取得可能である。音声情報取得部２０２は、ネットワークＮＷを介して、この音声に基づく音声情報を取得する。

変換部２０３は、上述の音声情報から、店員１１１の発話に対応する文字情報を取得する。この文字情報は以下のとおりとなる。なお、この文字情報に、更に顧客１１２の発話が含まれていてもよい。
「何かお困りでしょうか？」
「チケットが発行できないのですね。予約番号は入力されましたか？」

抽出部２０４は、上述の文字情報からあらかじめ登録されているキーワードを抽出する。登録されているキーワードは、業務支援の対象の特定に有用な単語である。上述の例では、キーワードとして、「チケット」、「発行できない」及び「予約番号」が抽出されるものとする。抽出されたこれらのキーワードは、支援情報生成部２０６に入力される。

状況取得部２０１は、カメラ１１３により撮影された画像から店員１１１及び店員１１１の近くにある端末装置１１４を検出する。店員１１１が端末装置１１４の近くにいることを示す状況情報が支援情報生成部２０６に入力される。

上述のように支援情報生成部２０６には、キーワードである「チケット」、「発行できない」及び「予約番号」と店員１１１が端末装置１１４の近くにいることを示す状況情報とが入力される。支援情報生成部２０６は、これらの情報を入力情報とする学習モデル又はデータベース参照等により、「端末装置１１４」、「チケット」、「発行できない」及び「予約番号」に関連する業務についての支援情報を生成する。

具体的には、これらの情報から、端末装置１１４の操作において、予約番号を入力した後にチケットが発行できない場合の対応方法が抽出される。ここでは、端末装置１１４は、予約番号入力後に確認ボタンを押下して入力を確定することでチケットの発行ができる仕様になっているものとする。この場合、例えば、「確認ボタンを押下してください」というテキストメッセージが支援情報として抽出される。

支援情報生成部２０６の処理が図５のテーブルを参照するものである場合について、この処理をより詳細に説明する。この場合には、キーワードである「チケット」、「発行できない」及び「予約番号」と、店員１１１が端末装置１１４の近くにいるという状況情報とに基づき、これらに対応する支援情報と通知先が出力される。この場合の支援情報は、「確認ボタンの押下」を音声で通知するというものであり、通知先はヘッドセットである。

通知部２０５は、「確認ボタンを押下してください」というテキストメッセージを音声に変換してヘッドフォン１１６に送信する。ヘッドフォン１１６は「確認ボタンを押下してください」という音声を店員１１１に通知する。これにより、店員１１１は、端末装置１１４の確認ボタンを押下することで、チケットの発行ができるという操作手順を理解することができ、顧客１１２に操作方法を説明することができる。

以上のように、本実施形態の情報処理システム２００は、店員１１１又は顧客１１２の発話を含む音声情報と、店員１１１の状況に関する状況情報との双方に基づいて支援情報を生成する。音声情報と状況情報の双方を用いる理由を説明する。

音声情報のみを用いる場合には、発話がどのような状況でなされたのかを考慮することができないため、支援情報の生成の前提となる業務状況の情報が不足する場合がある。上述の具体例では、「チケット」、「発行できない」及び「予約番号」のみを用いて支援情報を生成しようとしても、どの装置でチケットが発行できないのかが不明であるため、適切な情報を提供できないおそれがある。

また、状況情報のみを用いる場合には、店員１１１がどのような支援を必要としているのかを示す情報が不足する場合がある。上述の具体例では、店員１１１が端末装置１１４の近くにいることだけでは、店員１１１が何について支援を必要としているのかが不明であるため、適切な情報を提供できないおそれがある。

これに対し、本実施形態の情報処理システム２００は、音声情報と状況情報の双方を用いる。これにより、発話に含まれる支援の具体的内容の基礎となる要望事項と、支援情報の生成の前提となる店員１１１の業務状況に関する情報とを考慮して支援情報を生成することができる。具体的には、音声情報に含まれる「チケット」、「発行できない」及び「予約番号」に、「端末装置１１４」の状況情報が加わることにより、チケットの発行ができない装置が、「端末装置１１４」であることが特定される。したがって、生成される支援情報がより適切なものとなる。

以上のように、本実施形態によれば、店員１１１の業務状況に応じて適切な業務支援を行い得る情報処理システム２００が提供される。

また、従来、店員１１１の作業において、問題が生じたときには、作業マニュアルの参照、コールセンターへの問い合わせ等の追加の作業が発生し、解決に時間がかかるという問題があった。これに対し、本実施形態の情報処理システム２００は、店員１１１が自ら質問を発しなくても、音声情報及び状況情報から自動的に問題点を発見し、状況に応じた適切な支援情報を迅速に提供することができるため、問題解決の効率化が実現される。

［変形例１］
上述の例では、端末装置１１４におけるチケットの発行のトラブルの対応に関する業務支援を例示したが、第１実施形態はこれ以外の業務の支援に用いられ得る。そこで、第１実施形態の適用例についての他の例を変形例１として説明する。本例において、店員１１１は、「プリンタが動作しない」旨の発話をしたものとする。

本例においては、キーワードは、「プリンタ」、「動作しない」等であり得る。そして、出力されるべき支援情報はプリンタの動作方法を示すマニュアル等である。しかしながら、一般的に店舗内には、レジスタ（ＰＯＳ（Point Of Sales）端末）に設けられたレシート用のプリンタ、キオスク端末である端末装置１１４のチケット印刷用のプリンタ、バックヤードのストアコンピュータ付属のプリンタ等の多数のプリンタが存在する。そして、操作手順、トラブル対処方法はプリンタごとに異なっている。そのため、上記キーワードのみでは、どのプリンタの情報を提供すべきかが特定されない。

そこで、支援情報生成部２０６は、店員の位置についての状況情報に基づいて異なるプリンタのマニュアル等を支援情報として生成する。具体的には、店員１１１がカウンタ又はレジスタの近くにいる場合には、支援情報生成部２０６は、レジスタに設けられているプリンタについてのマニュアル等を支援情報として生成する。店員１１１が店舗１００内の端末装置１１４の近くにいる場合には、支援情報生成部２０６は、端末装置１１４に設けられているプリンタについてのマニュアル等を支援情報として生成する。店員１１１がバックヤードにいる場合には、支援情報生成部２０６は、ストアコンピュータに設けられているプリンタについてのマニュアル等を支援情報として生成する。

このように、本変形例では、店員１１１の位置を考慮して支援情報を生成することにより、店員１１１の発話に含まれるキーワード中に「プリンタ」等の明確でないものがある場合であっても店員１１１の位置から情報を補完することができる。これにより、店員１１１の位置に応じて、支援情報の内容を異ならせることができ、より適切な業務支援を行い得る情報処理システムが提供される。

［変形例２］
第１実施形態の適用例についての他の例を変形例２として説明する。本例において、店員１１１は、何らかのトラブルが発生した旨の発話をしたものとする。

本例において、出力されるべき支援情報はトラブルの対処方法である。しかしながら、適切な支援情報の提供方法は、トラブルの内容、店員１１１の状況等により異なる。

そこで、支援情報生成部２０６は、キーワードの内容、状況情報等に基づいて異なるトラブルの対処方法を異なる形態で生成する。具体的には、キーワードに「システムトラブル」等の店舗１００のシステムにトラブルが生じたことを示すものが含まれている場合には、トラブルの内容は業務に多大な影響を及ぼす深刻なものである。そこで、店員１１１が多少時間をかけてでも確実にトラブルを解消できるように、支援情報生成部２０６は、詳細な対処方法を支援情報として生成する。

一方、トラブルの内容が深刻なものでなく、店員１１１がバックヤードにいる場合には、支援情報生成部２０６は、簡潔な対処方法を支援情報として生成する。そして、通知部２０５は、バックヤードのストアコンピュータ、店員１１１の保有する発注端末等に対処方法を簡潔に提示する。また、この表示方法において、チャットのアプリケーションソフトを用いて支援情報を表示させることにより、店員１１１側から質問を受け付けることが可能な構成であってもよい。店員１１１の近くに顧客１１２がいるなど、店員１１１が接客中である場合には、トラブルをすぐに解消できるように、支援情報生成部２０６は、簡潔な対処方法を支援情報として生成する。そして、通知部２０５は、音声により、簡潔な対処方法を店員１１１に提供する。

このように、本変形例では、キーワードの内容、状況情報等に応じて、トラブルの対処方法の提供方法、提供する情報量及び提供先を異ならせることができる。これにより、より適切な業務支援を行い得る情報処理システムが提供される。

［変形例３］
第１実施形態の適用例についての他の例を変形例３として説明する。本例において、店員１１１は、商品棚の商品が陳列されていない旨の発話をしたものとする。

本例においては、出力されるべき支援情報は店員１１１に対しバックヤードに商品を取りに行って商品を陳列するように促す指示である。しかしながら、店員１１１の近くに顧客１１２がいるなど、店員１１１が接客中である場合には、バックヤードに商品を取りに行くことはできない。そのため、このような場合には、支援情報生成部２０６は、支援情報の生成を保留する。これにより、接客中の場面では不適切な支援情報の提示がなされることを抑止することができる。なお、支援情報生成部２０６は、通常通りに支援情報の生成を行った上で、通知部２０５からの通知を保留する処理を行ってもよい。このように、本変形例では、支援情報生成部２０６は、キーワードの内容、店員１１１の状況等に応じて店員１１１に対する支援情報の提供のタイミングを制御する処理を行う。なお、本例において、接客が終了し、店員１１１が待機中になった場合には、保留していた支援情報の生成を行い、店員１１１に対しバックヤードに商品を取りに行く指示を含む支援情報を生成する。

上述の実施形態において説明したシステムは以下の第２実施形態のようにも構成することができる。

［第２実施形態］
図６は、第２実施形態に係る情報処理システム３００の機能ブロック図である。情報処理システム３００は、音声情報取得部３０１、状況取得部３０２及び支援情報生成部３０３を備える。音声情報取得部３０１は、人物の発話を含む音声情報を取得する。状況取得部３０２は、人物の状況に関する状況情報を取得する。支援情報生成部３０３は、音声情報及び状況情報に基づいて、人物の業務を支援するための支援情報を生成する。

本実施形態によれば、業務状況に応じて適切な業務支援を行い得る情報処理システム３００が提供される。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。

上述の実施形態においては、状況取得部２０１は、売場１１０に設置されたカメラ１１３から状況情報の取得を行っているが、店員１１１の状況に関する状況情報が取得可能であれば、これ以外の装置から状況情報を取得してもよい。

例えば、店員１１１がスマートフォン、タブレットＰＣ等のＧＰＳ（Global Positioning System）等による測位が可能な通信端末を保有している場合には、状況取得部２０１は、通信端末から店員１１１の位置を状況情報として取得してもよい。また、店舗１００内にＢＬＥ（Bluetooth（登録商標） Low Energy）のビーコンが設置されており、店員１１１がビーコンからの信号を受信可能な通信端末を保有している場合には、通信端末は、店員１１１の測位を行うことができる。この場合にも、状況取得部２０１は、通信端末から店員１１１の位置を状況情報として取得することができる。

また、店舗１００内にコンピュータ、ＰＯＳ端末等の端末が設置されている場合において、店員１１１がこれらの端末にログインしている場合には、店員１１１はこれらの端末を操作している可能性が高い。そこで、状況取得部２０１は、これらの端末のログイン状態を状況情報として取得することもできる。

上述の例は状況取得部２０１がマイクロフォン１１７とは異なる装置から状況情報を取得する例である。この場合には、マイクロフォン１１７単独では取得が難しい位置情報等を含む状況情報が取得可能である。また、この場合には、画像等の音声情報以外の情報源から状況情報を取得可能であり、情報源が多様化される。

一方、マイクロフォン１１７で取得された音声情報から状況情報を取得できる場合もある。例えば、マイクロフォン１１７で取得される音声の大きさ、音声の高さ、発話の間合い等から店員１１１の状況が把握可能な場合には、状況取得部２０１は、マイクロフォン１１７から状況情報を取得することができる。例えば、接客時は通常時よりも高い音程で発声することが多いため、音声の高さから店員１１１が接客中であるか否かを判別できる場合がある。

また、店舗１００内の互いに異なる場所に複数のマイクロフォンが設置されている場合には、状況取得部２０１は、どのマイクロフォンから音声が取得されたかに基づいて、店員１１１の位置を特定し、その位置を状況情報として取得可能である。例えば、店舗１００内の売場１１０とバックヤードにマイクロフォンが設置されている場合にバックヤードのマイクロフォンから音声が取得されたときには、店員１１１はバックヤードにいるため接客中ではないと判定され得る。なお、マイクロフォンは、店舗１００の天井、壁面、床等の店舗１００自体に設置されていてもよく、端末装置１１４、ＰＯＳ端末、コピー機、商品棚、カウンタ等、店舗１００内の物品に設置されていてもよい。

また、上述の実施形態においては、店員１１１に提供される支援情報は、店員１１１に業務遂行のための知識であるが、この支援情報は店員１１１に対する作業指示であってもよい。例えば、支援情報生成部２０６が、音声情報及び状況情報に基づいて、店員１１１が商品棚に商品の陳列をすべき状況であると判定した場合に、通知部２０５は、店員１１１に商品の陳列を命じる業務指示音声の生成等の処理を行ってもよい。

また、上述の実施形態においては、通知部２０５は、支援情報を含む音声データをヘッドフォン１１６に送信する処理を行っているが、店員１１１への通知が可能であればこれ以外の処理であってもよい。例えば、店員１１１がタブレットＰＣ又はスマートフォン等の表示装置を有する端末を保持している場合には、通知部２０５は、支援情報を含む文字、図形、記号、絵等を表示装置に表示させる処理を行ってもよい。この場合には、チャットのアプリケーションソフトを用いて支援情報を表示させることにより、店員１１１側から質問を受け付けることが可能な構成であってもよい。この場合、店員１１１は追加質問を行うことにより、更に詳細な情報を得ることができる。また、表示装置への表示と音声による通知を併用してもよい。

また、上述の実施形態においては、店員１１１と顧客１１２とが対面している場面を例示しているが、音声通話、テレビ電話等の非対面の接客を行う場面にも適用可能である。

また、上述の実施形態においては、状況情報は提供される支援情報の内容の特定等に用いられているが、店員１１１の状況に基づいて提供される支援情報の分量を調整してもよい。例えば、店員１１１が接客中であれば、迅速に問題を解決する必要があるため支援情報の分量を少なくして簡潔なものとすることが望ましい。これに対し、店員１１１がシステムトラブル等の困難性が高い問題に直面している場合には、詳細な情報が必要であるため、支援情報を充実させることが望ましい。また、店員１１１の状況に基づいて支援情報を提供する装置を変えてもよい。例えば、店員１１１が接客中であれば、接客を中断させないように音声により通知することが望ましく、店員１１１がシステムトラブルに対応している場合には、文書で正確な情報を伝えるため、表示装置への表示により通知することが望ましい。

上述の実施形態において、音声情報取得部２０２による音声情報の取得は常時行われていてもよく、間欠的に行われるものであってもよい。常時音声を取得する場合には、よりリアルタイム性が向上するので、接客頻度が高い店舗等、リアルタイム性が要求される環境において有効である。しかしながら、常時音声情報を取得すると、処理負荷が増大するため、処理負荷の低減が求められる場合又はリアルタイム性がさほど要求されない場合には、音声情報の取得は間欠的に行われてもよい。また、音声情報の取得は所定の条件が満たされたときに行われてもよい。例えば、音声情報取得部２０２に声紋分析の機能を設けておき、店員１１１以外の人物の声が入力された場合にのみ本実施形態の処理を実行するものであってもよい。この場合、接客時には支援情報の提供が行われるようにしつつ、店員１１１の独り言等の重要度が低い音声を無視する処理が可能となる。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ、ＦＰＧＡ等の回路であってもよい。

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disk）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Operating System）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Software as a Service）の形態でユーザに対して提供することもできる。

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
人物の発話を含む音声情報を取得する音声情報取得部と、
前記人物の状況に関する状況情報を取得する状況取得部と、
前記音声情報及び前記状況情報に基づいて、前記人物の業務を支援するための支援情報を生成する支援情報生成部と、
を備える、情報処理システム。

（付記２）
前記状況取得部は、前記人物を含む画像に基づいて前記状況情報を検出する、
付記１に記載の情報処理システム。

（付記３）
前記支援情報生成部は、前記音声情報及び前記状況情報を含む学習データを用いた機械学習により生成された学習モデルを用いて前記支援情報を生成する、
付記１又は２に記載の情報処理システム。

（付記４）
前記支援情報生成部は、前記音声情報、前記状況情報及び前記支援情報が関連付けられたデータベースを参照することにより前記支援情報を生成する、
付記１乃至３のいずれか１項に記載の情報処理システム。

（付記５）
前記音声情報取得部は、店員と顧客との対話から前記音声情報を取得する、
付記１乃至４のいずれか１項に記載の情報処理システム。

（付記６）
前記状況情報は、前記人物の位置に関する情報及び前記人物の作業状態に関する情報の少なくとも１つを含む、
付記１乃至５のいずれか１項に記載の情報処理システム。

（付記７）
前記支援情報を音声の出力又は表示装置への表示により前記人物に通知する通知部を更に備える、
付記１乃至６のいずれか１項に記載の情報処理システム。

（付記８）
前記支援情報は、前記人物に対する業務指示を含む、
付記１乃至７のいずれか１項に記載の情報処理システム。

（付記９）
前記状況取得部は、店員又は顧客の発話が取得される装置とは異なる装置によって取得される情報に基づいて前記状況情報を取得する、
付記１乃至８のいずれか１項に記載の情報処理システム。

（付記１０）
前記音声情報を文字情報に変換する変換部
を更に備える、付記１乃至９のいずれか１項に記載の情報処理システム。

（付記１１）
前記文字情報から前記支援情報生成部に入力すべきキーワードを抽出する抽出部
を更に備える、付記１０に記載の情報処理システム。

（付記１２）
前記状況取得部は、店舗に設置されたカメラにより撮影された、前記人物を含む画像に基づいて前記状況情報を検出する、
付記１乃至１１のいずれか１項に記載の情報処理システム。

（付記１３）
前記音声情報は、前記人物が身につけているマイクロフォン又は店舗に設置されたマイクロフォンにより取得された音声に基づくものである、
付記１乃至１２のいずれか１項に記載の情報処理システム。

（付記１４）
前記支援情報生成部は、前記音声情報及び前記状況情報の少なくとも１つに基づいて、前記支援情報とは異なる支援情報を更に生成する、
付記１乃至１３のいずれか１項に記載の情報処理システム。

（付記１５）
前記支援情報を音声の出力又は表示装置への表示により前記人物に通知する通知部を更に備え、
前記通知部は、前記音声情報及び前記状況情報の少なくとも１つに基づいて、前記表示装置とは異なる装置を介して前記人物に通知を行う、
付記１乃至１４のいずれか１項に記載の情報処理システム。

（付記１６）
前記支援情報生成部は、前記音声情報及び前記状況情報の少なくとも１つに基づいて前記支援情報の前記人物への提供のタイミングを制御する、
付記１乃至１５のいずれか１項に記載の情報処理システム。

（付記１７）
人物の発話を含む音声情報を取得するステップと、
前記人物の状況に関する状況情報を取得するステップと、
前記音声情報及び前記状況情報に基づいて、前記人物の業務を支援するための支援情報を生成するステップと、
を備える、情報処理方法。

（付記１８）
コンピュータに、
人物の発話を含む音声情報を取得するステップと、
前記人物の状況に関する状況情報を取得するステップと、
前記音声情報及び前記状況情報に基づいて、前記人物の業務を支援するための支援情報を生成するステップと、
を備える情報処理方法を実行させるためのプログラムが記憶された記憶媒体。

この出願は、２０１８年７月１８日に出願された日本出願特願２０１８－１３４７５９を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１００ 店舗
１１０ 売場
１１１ 店員
１１２ 顧客
１１３ カメラ
１１４ 端末装置
１１５ ヘッドセット
１１６ ヘッドフォン
１１７ マイクロフォン
２００、３００ 情報処理システム
２０１、３０２ 状況取得部
２０２、３０１ 音声情報取得部
２０３ 変換部
２０４ 抽出部
２０５ 通知部
２０６、３０３ 支援情報生成部
２０７ 記憶部
２５１ ＣＰＵ
２５２ ＲＡＭ
２５３ ＲＯＭ
２５４ ＨＤＤ
２５５ 通信Ｉ／Ｆ
２５６ 表示装置
２５７ 入力装置
２５８ バス
ＮＷ ネットワーク

Claims (10)

1. 人物の発話を含む音声情報を取得する音声情報取得部と、
   前記人物の状況に関する情報であって、前記人物の位置に関する情報を含む状況情報を取得する状況取得部と、
   前記音声情報及び前記状況情報に基づいて、前記人物に業務を遂行させる支援情報を生成する支援情報生成部と、
   を備え、
   前記支援情報生成部は、前記音声情報と前記状況情報とを入力し、当該入力に対応した適切な前記支援情報が出力されるように機械学習を行うことで生成された学習モデルを用いて、前記音声情報取得部により取得した前記音声情報、及び、前記状況取得部により取得した前記状況情報から前記支援情報を生成し、又は、
   前記音声情報、前記状況情報及び前記支援情報が関連付けられたデータベースを参照することにより前記支援情報を生成する、情報処理システム。
2. 前記状況取得部は、前記人物を含む画像に基づいて前記状況情報を検出する、
   請求項１に記載の情報処理システム。
3. 前記音声情報取得部は、店員と顧客との対話から前記音声情報を取得する、
   請求項１又は２に記載の情報処理システム。
4. 前記支援情報を音声の出力又は表示装置への表示により前記人物に通知する通知部を更に備える、
   請求項１乃至３のいずれか１項に記載の情報処理システム。
5. 前記支援情報は、前記人物に対する業務指示を含む、
   請求項１乃至４のいずれか１項に記載の情報処理システム。
6. 前記支援情報生成部は、前記音声情報及び前記状況情報の少なくとも１つに基づいて、前記支援情報とは異なる支援情報を更に生成する、
   請求項１乃至５のいずれか１項に記載の情報処理システム。
7. 前記支援情報を音声の出力又は表示装置への表示により前記人物に通知する通知部を更に備え、
   前記通知部は、前記音声情報及び前記状況情報の少なくとも１つに基づいて、前記表示装置とは異なる装置を介して前記人物に通知を行う、
   請求項１乃至６のいずれか１項に記載の情報処理システム。
8. 前記支援情報生成部は、前記音声情報及び前記状況情報の少なくとも１つに基づいて前記支援情報の前記人物への提供のタイミングを制御する、
   請求項１乃至７のいずれか１項に記載の情報処理システム。
9. コンピュータにより実行される情報処理方法であって、
   人物の発話を含む音声情報を取得する音声取得ステップと、
   前記人物の状況に関する情報であって、前記人物の位置に関する情報を含む状況情報を取得する状況取得ステップと、
   前記音声情報及び前記状況情報に基づいて、前記人物に業務を遂行させる支援情報を生成する支援情報生成ステップと、
   を備え、
   前記支援情報生成ステップでは、前記音声情報と前記状況情報とを入力し、当該入力に対応した適切な前記支援情報が出力されるように機械学習を行うことで生成された学習モデルを用いて、前記音声取得ステップで取得した前記音声情報、及び、前記状況取得ステップで取得した前記状況情報から前記支援情報を生成し、又は、
   前記音声情報、前記状況情報及び前記支援情報が関連付けられたデータベースを参照することにより前記支援情報を生成する、情報処理方法。
10. コンピュータに、
    人物の発話を含む音声情報を取得する音声取得ステップと、
    前記人物の状況に関する情報であって、前記人物の位置に関する情報を含む状況情報を取得する状況取得ステップと、
    前記音声情報及び前記状況情報に基づいて、前記人物に業務を遂行させる支援情報を生成する支援情報生成ステップと、
    を備え、
    前記支援情報生成ステップでは、前記音声情報と前記状況情報とを入力し、当該入力に対応した適切な前記支援情報が出力されるように機械学習を行うことで生成された学習モデルを用いて、前記音声取得ステップで取得した前記音声情報、及び、前記状況取得ステップで取得した前記状況情報から前記支援情報を生成し、又は、
    前記音声情報、前記状況情報及び前記支援情報が関連付けられたデータベースを参照することにより前記支援情報を生成する情報処理方法を実行させるためのプログラム。

Images