JP3241834U - 仮想人物対話装置 - Google Patents

Abstract

【課題】看護師不足を解消するとともに、仮想的な看護師とのリアリティのある会話を実現することができる仮想人物対話装置を提供する。【解決手段】仮想人物対話装置１は、患者の音声情報を取得する音声情報取得部１５と、患者の音声情報に基づいて、その音声情報に対する返答情報を求め、その返答情報を出力する返答情報出力部１６と、看護師の容姿の３次元画像を表示させる表示制御部１７とを備える。【選択図】図１

Description

本考案は、仮想的な看護師と対話可能な仮想人物対話装置に関するものである。

近年、医療現場での医療従事者の不足により、医療従事者の業務負担が益々増してきている。特に、新型コロナウイルスの流行により、医療崩壊が現実味を帯びる事態が発生した。この医療崩壊の実態は、医療従事者の中でも、特に実働できる看護師の不足である。

たとえば医療施設内でクラスターが発生した場合、同じ勤務場所の看護師を全員自宅待機にする必要があり、これにより深刻な看護師不足が発生した。医療現場での看護師の業務は多岐にわたり、看護師不足が医療崩壊を招くといっても過言ではない。

このような看護師不足への対策として、特許文献１には、ナースコールシステムが開示されており、ナースコール子機が、患者の言葉を認識し、看護師に代わって患者と会話をするための人工知能部を備えるシステムが提案されている。

特開２０１０－１４８５５９号公報

しかしながら、特許文献１に記載のようにナースコール子機が看護師に代わって患者と会話する方法では、音声のみの情報であるため、リアリティに欠け、実際に看護師と会話する感覚からは程遠い。

また、たとえば患者が医療に関する質問をした場合、看護師の代わりといえども、医師に代わって医療に関する情報を回答することは、法律上問題がある。

本考案は、上記の問題に鑑み、看護師不足を解消するとともに、仮想的な看護師とのリアリティのある会話を実現することができる仮想人物対話装置を提供することを目的とする。

本考案の仮想人物対話装置は、患者の音声情報を取得する音声情報取得部と、患者の音声情報に基づいて、その音声情報に対する返答情報を求め、その返答情報を出力する返答情報出力部と、看護師の容姿の３次元画像を表示させる表示制御部とを備える。

本考案の仮想人物対話装置によれば、患者の音声情報を取得し、患者の音声情報に基づいて、その音声情報に対する返答情報を求め、その返答情報を出力するとともに、看護師の容姿の３次元画像を表示させるようにしたので、看護師不足を解消するとともに、仮想的な看護師とのリアリティのある会話を実現することができる。

本考案の仮想人物対話装置の一実施形態の概略構成を示すブロック図 看護師の容姿の３次元画像のＡＲ表示の一例を示す図 図１に示す仮想人物対話装置の一実施形態の使用例を説明するためのフローチャート 本考案の仮想人物対話装置のその他の実施形態の概略構成を示すブロック図 医師の容姿の３次元画像のＡＲ表示の一例を示す図

以下、本考案の仮想人物対話装置の一実施形態について、図面を参照しながら詳細に説明する。図１は、本実施形態の仮想人物対話装置１の概略構成を示すブロック図である。

本実施形態の仮想人物対話装置１は、いわゆるＡＲ（Augmented Reality）グラス装置（以下、単にＡＲグラスという）を用いた装置であり、看護師の容姿を表す３次元画像を現実空間にＡＲ表示させるとともに、その看護師との会話を可能とする装置である

本実施形態の仮想人物対話装置１は、図１に示すように、撮影部１０と、表示部１１と、音声入力部１２と、音声出力部１３と、制御部１４と、操作部２０とを備える。

撮影部１０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサなどの撮像素子および結像レンズなど光学系を有し、ＡＲグラスを装着した患者の視野の範囲を撮影するものである。撮影部１０によって撮影された画像は、制御部１４によって表示部１１に表示される。

表示部１１は、図２に示すように、撮影部１０によって撮影された画像を表示するとともに、その現実世界の画像上に後述する看護師の容姿の３次元画像を重ねてＡＲ表示する。表示部１１は、ＡＲグラスの内側（装着者側）に設けられ、立体視される右目用画像と左目用画像を表示させるものであり、液晶ディスプレイやピント調整機能を有する光学系などを備えている。なお、表示部１１の構成としては、既に公知なＡＲグラスの構成を採用することができ、上記の構成に限定されるものではない。

音声入力部１２は、マイク機能を有し、ＡＲグラスを装着した患者の会話の音声入力を受け付ける。

音声出力部１３は、スピーカー機能を有し、音声入力部１２によって受け付けられた患者の音声情報に対する後述する看護師の返答情報を音声出力する。

制御部１４は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、半導体メモリ、ハードディスクおよび通信Ｉ／Ｆなどを備え、ＶＲゴーグル全体を制御する。特に、本実施形態の制御部１４は、音声情報取得部１５と、返答情報出力部１６と、表示制御部１７と、看護師情報記憶部１８と、看護師選択情報受付部１９とを備える。

音声情報取得部１５は、音声入力部１２によって受け付けられた患者の会話の音声情報を取得する。

返答情報出力部１６は、音声情報取得部１５によって取得された患者の音声情報に基づいて、その音声情報に対する返答情報を求め、その返答情報を音声出力部１３に出力する。音声出力部１３は、入力された返答情報に基づいて、返答情報を表す音声を出力する。

本実施形態の返答情報出力部１６は、患者の音声情報とその音声情報に対する返答情報との関係を予め機械学習した学習済モデルを有する。そして、その学習済モデルに対して、音声情報取得部１５によって取得された音声情報を入力することによって、その入力した音声情報に対する返答情報を求める。

そして、本実施形態において、学習済モデルに機械学習させる患者の音声情報と返答情報は、医療に関する情報を含まない日常会話の音声情報と返答情報である。日常会話としては、たとえば医療とは関係のない雑談などであり、患者の身の回りや趣味の話、患者の家族の話や相続の話、病院内の施設に関する質問と回答、医療とは関係のない検査の予定に関する会話などがあるが、医療に関する情報を含まない会話であれば、如何なる内容でもよい。バイタルの結果に関する会話でもよい。

なお、医療に関する情報を含む会話であっても、予め医師によって許可された内容であれば、学習済モデルに機械学習させるようにしてもよい。

また、本実施形態においては、仮想人物対話装置１の返答情報出力部１６が、学習済モデルを備えるようにしたが、これに限らず、仮想人物対話装置１と通信可能な外部サーバ装置に記憶された学習済モデルを使用するようにしてもよい。たとえばChatGPTなどを用いるようにしてもよい。

また、返答情報出力部１６は、たとえば患者の音声情報が、医療に関する質問などを含む音声情報であるか否かを分析し、医療に関する質問などを含む音声情報である場合には、その質問に対しては回答できない旨の返答情報を求めて出力するようにしてもよい。

表示制御部１７は、上述したように撮影部１０によって撮影された画像を表示部１１に表示させるとともに、その現実世界の画像上に看護師の容姿の３次元画像を重ねてＡＲ表示させる。

また、表示制御部１７は、図２に示すように、患者の会話を音声認識することによって取得されたテキスト情報と、返答情報出力部１６によって求められた返答情報のテキスト情報とを含むテキスト表示欄ＴＸを表示させるようにしてもよい。

看護師情報記憶部１８は、複数の看護師の容姿の情報を予め記憶する。複数の看護師の容姿の情報とは、たとえば顔、年齢、性別などが異なる複数の看護師の容姿の情報である。本実施形態においては、仮想人物対話装置１に看護師情報記憶部１８を備えるようにしたが、これに限らず、仮想人物対話装置１と通信可能な外部サーバ装置に複数の看護師の容姿の情報を記憶させるようにしてもよい。

看護師選択情報受付部１９は、看護師情報記憶部１８に記憶された複数の看護師の容姿の情報の中から、患者の所望の看護師の容姿の情報の選択を受け付ける。患者の所望の看護師の容姿の情報の選択方法としては、たとえば患者が、ＡＲグラスに設けられた所定の操作部２０を用いて、複数の看護師の容姿の情報を切り替えて表示または一覧表示するよう指示する操作指示を行う。

表示制御部１７は、上記操作指示に応じて、表示部１１に複数の看護師の容姿の情報を表示させる。そして、患者は、操作部２０を用いて、表示部１１に表示された複数の看護師の容姿の情報の中から、所望の看護師の容姿の情報を選択し、その選択した看護師の容姿の情報が、看護師選択情報受付部１９によって受け付けられる。なお、患者の所望の看護師の容姿の情報の選択方法としては、上述した方法に限らず、その他の方法でもよい。

そして、表示制御部１７は、看護師選択情報受付部１９によって受け付けられた看護師の容姿の情報に基づいて、看護師の容姿の３次元画像を表示部１１にＡＲ表示させる。

なお、表示制御部１７が、表示部１１に看護師の容姿の３次元画像を表示させる際、返答情報に出力タイミングに応じて、看護師の顔の表情を変化させたり、身振り手振りなどの動作をさせて表示させるようにしてもよい。

制御部１４の半導体メモリまたはハードディスクには、仮想人物対話プログラムがインストールされている。制御部１４が備えるＣＰＵによって上記仮想人物対話プログラムが実行されることによって、上記各部の機能が実現される。なお、本実施形態においては、上記各部の機能を、仮想人物対話プログラムによって実現するようにしたが、これに限らず、一部または全部の機能をＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）、その他の電気回路などのハードウェアから構成するようにしてもよい。

操作部２０は、上述したように複数の患者の看護師の情報を表示させる操作指示や、所望の看護師の情報の選択操作などといったユーザ（患者）の種々の操作入力を受け付けるものである。操作部２０の構成としては、公知な種々の構成を用いることができる。

次に、本実施形態の仮想人物対話装置１を使用した際の処理の流れについて、図３に示すフローチャートを参照しながら説明する。

まず、患者が仮想人物対話装置１（ＡＲグラス）を装着する（Ｓ１０）。

次に、患者による仮想人物対話装置１の操作部２０の操作によって、表示部１１に複数の看護師の容姿の情報が表示される（Ｓ１２）。

続いて、患者は、操作部２０を操作することによって、複数の看護師の容姿の情報の中から、所望の看護師の容姿の情報を選択する（Ｓ１４）。

患者によって所望の看護師の容姿の情報が選択されると、その選択された看護師の容姿を表す３次元画像が表示部１１にＡＲ表示される（Ｓ１６）。

次に、患者が、表示部１１にＡＲ表示された看護師に話しかけると、その音声情報が、仮想人物対話装置１によって取得され（Ｓ１８）、仮想人物対話装置１は、取得した音声情報に対する返答情報を求め（Ｓ２０）、その返答情報を音声出力する（Ｓ２２）。

患者が操作部２０を用いて会話の終了を指示するまでＳ１８～Ｓ２２の処理が繰り返して行われ（Ｓ２４，ＮＯ）、会話が継続される。患者が操作部２０を用いて会話の終了を指示した場合には（Ｓ２４，ＹＥＳ）、仮想人物対話装置１の処理が終了する。

上記実施形態の仮想人物対話装置１によれば、患者の音声情報を取得し、患者の音声情報に基づいて、その音声情報に対する返答情報を求め、その返答情報を出力するとともに、看護師の容姿の３次元画像を表示させるようにしたので、看護師不足を解消するとともに、仮想的な看護師とのリアリティのある会話を実現することができる。

また、上記実施形態の仮想人物対話装置１においては、医療に関する情報以外の情報を返答情報として求めて出力するようにしたので、仮想人物対話装置１が、医師に代わって医療に関する情報を返答することがなく、法律上の問題もない。

また、上記実施形態の仮想人物対話装置１においては、複数の看護師の容姿の情報を予め記憶し、複数の看護師の容姿の情報の中から、所望の看護師の容姿の情報の選択を受け付け、その受け付けられた看護師の容姿の情報に基づいて、看護師の容姿の３次元画像を表示させるようにしたので、患者の好みの容姿の看護師との会話を実現することができる。これにより、仮想人物対話装置１の利用頻度を増加させることができ、看護師不足を益々解消することができる。

また、上記実施形態の仮想人物対話装置１においては、返答情報出力部は、予め機械学習した学習済モデルに対して、音声情報を入力することによって、その入力した音声情報に対する返答情報を求めるようにしたので、種々の患者の質問に対して返答することができる。

また、上記実施形態の仮想人物対話装置１では、患者が、ＡＲ表示された看護師との会話を可能とするようにしたが、さらに医師との会話を可能としてもよい。図４は、医師との会話も可能とした仮想人物対話装置２の構成例を示す図である。図４に示す仮想人物対話装置２は、上述した仮想人物対話装置１の構成に加えて、制御部１４が、患者の問診情報を取得する問診情報取得部２１を備える。

そして、仮想人物対話装置２の表示制御部１７は、図５に示すように、医師の容姿の３次元画像を表示部１１にＡＲ表示させるとともに、表示部１１に、問診情報表示欄ＱＣを表示させる。

問診情報表示欄ＱＣには、患者の自覚症状、患者の既往歴、患者の現在の内服薬、患者の家族の既往歴、患者のアレルギーの有無、患者の渡航歴などといった問診の質問内容が表示されるとともに、その問診の質問に対する回答の選択肢が表示される。

患者は、操作部２０を用いて問診の質問に対する回答を選択し、その選択された回答が問診情報として問診情報取得部２１によって取得される。

そして、返答情報出力部１６は、問診情報取得部２１によって取得された患者の問診に対する回答（以下、問診情報という）に基づいて、その問診情報に対する診察結果の情報（以下、診察情報という）を求め、その診察情報を音声出力部１３に出力する。音声出力部１３は、入力された診察情報に基づいて、診察情報を表す音声を出力する。

返答情報出力部１６は、患者の問診情報とその問診情報に対する診察情報との関係を予め機械学習した診察用学習済モデルを有する。そして、その診察用学習済モデルに対して、問診情報取得部１５によって取得された問診情報を入力することによって、その入力した問診情報に対する診察情報を求める。

なお、診察情報は音声出力されるだけでなく、表示部１１においてテキスト情報として表示させるようにしてもよい。

上述したように患者の問診情報を受け付け、その問診情報に基づいて、その問診情報に対する診察情報を求め、その診察情報を出力するとともに、医師の容姿の３次元画像を表示するようにした場合には、医師不足を解消するとともに、仮想的な医師とのリアリティのある会話を実現することができる。

なお、上記実施形態の仮想人物対話装置１，２は、本考案をＡＲグラスに適用した例であるが、これに限らず、本考案をＶＲゴーグルに適用し、看護師および医師の容姿の３次元画像を仮想空間上にＶＲ表示させるようにしてもよい。

また、本考案は、上記実施形態に限定されるものではなく、実施段階でその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の考案を形成することができる。たとえば実施形態に示される全構成要素を適宜組み合わせても良い。このような、考案の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。

本考案に関し、さらに以下の付記を開示する。
（付記１）

本考案の仮想人物対話装置は、患者の音声情報を取得する音声情報取得部と、患者の音声情報に基づいて、その音声情報に対する返答情報を求め、その返答情報を出力する返答情報出力部と、看護師の容姿の３次元画像を表示させる表示制御部とを備える。
（付記２）

付記１記載の仮想人物対話装置において、返答情報出力部は、医療に関する情報以外の情報を返答情報として求めて出力することができる。
（付記３）

付記１または付記２記載の仮想人物対話装置においては、複数の看護師の容姿の情報を予め記憶した看護師情報記憶部と、複数の看護師の容姿の情報の中から、所望の看護師の容姿の情報の選択を受け付ける看護師選択情報受付部とを備え、表示制御部は、看護師選択情報受付部によって受け付けられた看護師の容姿の情報に基づいて、看護師の容姿の３次元画像を表示させることができる。
（付記４）

付記１から付記３いずれかに記載の仮想人物対話装置において、返答情報出力部は、患者の音声情報とその音声情報に対する返答情報との関係を予め機械学習した学習済モデルに対して、音声情報取得部によって取得された音声情報を入力することによって、その入力した音声情報に対する返答情報を求めることができる。
（付記５）

付記１から付記４いずれかに記載の仮想人物対話装置においては、患者の問診情報を受け付ける問診情報受付部を備え、返答情報出力部は、問診情報に基づいて、その問診情報に対する診察情報を求め、その診察情報を出力し、表示制御部は、医師の容姿の３次元画像を表示させることができる。

１，２ 仮想人物対話装置
１０ 撮影部
１１ 表示部
１２ 音声入力部
１３ 音声出力部
１４ 制御部
１５ 音声情報取得部
１５ 問診情報取得部
１６ 返答情報出力部
１７ 表示制御部
１８ 看護師情報記憶部
１９ 看護師選択情報受付部
２０ 操作部
２１ 問診情報取得部
ＱＣ 問診情報表示欄
ＴＸ テキスト表示欄

Claims (5)

1. 患者の音声情報を取得する音声情報取得部と、
   前記患者の音声情報に基づいて、該音声情報に対する返答情報を求め、該返答情報を出力する返答情報出力部と、
   看護師の容姿の３次元画像を表示させる表示制御部とを備えた仮想人物対話装置。
2. 前記返答情報出力部が、医療に関する情報以外の情報を返答情報として求めて出力する請求項１記載の仮想人物対話装置。
3. 複数の前記看護師の容姿の情報を予め記憶した看護師情報記憶部と、
   前記複数の看護師の容姿の情報の中から、所望の看護師の容姿の情報の選択を受け付ける看護師選択情報受付部とを備え、
   前記表示制御部が、前記看護師選択情報受付部によって受け付けられた看護師の容姿の情報に基づいて、前記看護師の容姿の３次元画像を表示させる請求項１記載の仮想人物対話装置。
4. 前記返答情報出力部が、患者の音声情報と該音声情報に対する返答情報との関係を予め機械学習した学習済モデルに対して、前記音声情報取得部によって取得された音声情報を入力することによって、該入力した音声情報に対する返答情報を求める請求項１記載の仮想人物対話装置。
5. 前記患者の問診情報を受け付ける問診情報受付部を備え、
   前記返答情報出力部が、前記問診情報に基づいて、該問診情報に対する診察情報を求め、該診察情報を出力し、
   前記表示制御部が、医師の容姿の３次元画像を表示させる請求項１記載の仮想人物対話装置。

Images