JP7133733B1 - ロボットシステム、ロボット操作方法、及びロボット操作プログラム - Google Patents

Abstract

【課題】歯科医および歯科技工士の患者に対する医療行動が危険な行動であるか否かを判定することができるとともに、患者を癒やし、当該患者の不安を軽減することができる。【解決手段】本開示に係るロボットシステムは、歯科医を支援するロボットシステムであって、患者、歯科医、および歯科技工士を被写体として認識し、歯科医および歯科技工士の患者に対する治療行動を認識可能とする認識部と、認識部が認識した治療行動に対して、画像処理によって、危険な行動であるか否かを判定する行動判定部と、行動判定部の判定結果に基づく音声出力を、歯科医および歯科技工士にのみ伝える音声出力部と、患者、歯科医、および歯科技工士の発する音声に基づいて、患者の口腔領域に対して光を照射する照射部と、患者の口腔領域外において患者に触れることを可能とする可動部と、を制御する制御部と、を備える。【選択図】図１

Description

本発明は、歯科治療のためのロボットシステム、ロボット操作方法、およびロボット操作プログラムに関する。

厚生労働省は平成２７年に医療事故調査制度を施行させた。歯科医療の事故報告では、２０１９年（９５件）、２０２０年（９８件）の過去２年間いずれも１００件近くの事故が報告され、歯科医療の事故は年々増加傾向にある。

近年、歯科医が行う歯科処置の監視にロボットシステムが使用されるようになってきた。例えば、特許文献１に開示のロボットシステムは、歯科医が用いるツールが辿る経路を追跡して、追跡したツールの経路を示すデータを記録する。そして、ツールと供に使用された外科用差し込みバイトの形状、並びに、患者の口の位置情報およびロボットシステムのために確立された原点の位置情報と、ロボットシステムによって記録されたツールの経路を示すデータとを解析することで、ロボットシステムは最終的な患者の状況を判定できるとしている。

しかし、特許文献１に開示のロボットシステムは、歯科医および歯科技工士が行う歯科処置が患者に対して危険な行動であるか否かの判定まではできず、歯科医および歯科技工士が行う歯科処置が患者に対して危険な行動であっても歯科医および歯科技工士に注意を喚起するなど予防措置をとることもできなかった。

また、歯科処置を受ける患者の不安な気持ちが歯科医療における医療事故を誘発することが知られているが、特許文献１に開示のロボットシステムは歯科処置を受ける患者の不安な気持ちを軽減することについては何ら考慮されていない。

特開２０１９－１６２３３９号公報

そこで、本開示は、歯科医および歯科技工士の患者に対する医療行動が危険な行動であるか否かを判定することができるとともに、患者を癒やし、当該患者の不安を軽減することができるロボットシステム、ロボット操作方法、及びロボット操作プログラムを提供することを目的とする。

すなわち、第１の態様に係るロボットシステムは、歯科医を支援するロボットシステムであって、患者、歯科医、および歯科技工士を被写体として認識し、歯科医および歯科技工士の患者に対する治療行動を認識可能とする認識部と、認識部が認識した治療行動に対して、画像処理によって、危険な行動であるか否かを判定する行動判定部と、行動判定部の判定結果に基づく音声出力を、歯科医および歯科技工士にのみ伝える音声出力部と、患者、歯科医、および歯科技工士の発する音声に基づいて、患者の口腔領域に対して光を照射する照射部と、患者の口腔領域外において患者に触れることを可能とする可動部と、を制御する制御部と、を備える。

第２の態様は、第１の態様に係るロボットシステムにおいて、行動判定部は、歯科医および歯科技工士の危険行動を表す画像データを予め学習する学習モデルを備え、学習モデルを用いて認識部が認識した治療行動が危険な行動か否かを判定するものであることとしてもよい。

第３の態様は、第２の態様に係るロボットシステムにおいて、学習モデルは、ディープラーニングにより予め学習されることとしてもよい。

第４の態様は、第１乃至第３の態様の何れか一の態様に係るロボットシステムにおいて、可動部はロボットの腕であり、制御部は、照射部が照射する光の強さおよび色を制御し、可動部であるロボットの腕の動きを制御することとしてもよい。

第５の態様は、第４の態様に係るロボットシステムにおいて、ロボットの腕には、脈拍測定機、体温測定機、および血圧測定機のうち少なくともいずれかが備えられ、取得された患者の脈拍、体温、および血圧のうち少なくとも一つの測定値に基づいて、患者の治療中の精神状態を判定する精神状態判定部を備えることとしてもよい。

第６の態様は、第５の態様に係るロボットシステムにおいて、ロボットは擬人化された外形、若しくは動物を模した外形を備え、ロボットの顔に表示部を備え、精神状態判定部の判定結果にあわせて、表示部に現れるロボットの表情が変化することとしてもよい。

第７の態様は、第４乃至第６の態様に何れか一の態様に係るロボットシステムにおいて、ロボットの手に給水する給水部を備え、ロボットの手とは異なる手に患者が吐出した水を受けるための水受け部を備え、患者は、ロボットの胸部から腹部にかけて座ることとしてもよい。

第８の態様は、第４乃至第７の態様の何れか一の態様に係るロボットシステムにおいて、制御部は、ロボットの腕が口腔領域内に触れないように制御することとしてもよい。

第９の態様は、第１乃至第８の態様の何れか一の態様に係るロボットシステムにおいて、音声出力部は、歯科医および歯科技工士に付帯されるワイヤレスイヤホンであることとしてもよい。

第１０の態様は、第９の態様に係るロボットシステムにおいて、ワイヤレスイヤホンは、骨伝導イヤホンであることとしてもよい。

第１１の態様は、第１乃至第１０の態様の何れか一の態様に係るロボットシステムにおいて、治療行動は、歯科医、および歯科技工士の歯科診療ガイドラインに沿って行われるものであることとしてもよい。

第１２の態様に係るロボット操作方法は、歯科医を支援するロボット操作方法であって、患者、歯科医、および歯科技工士を被写体として認識し、歯科医および歯科技工士の患者に対する治療行動を認識可能とする認識ステップと、認識ステップにおいて認識した治療行動に対して、画像処理によって、危険な行動であるか否かを判定する行動判定ステップと、行動判定ステップにおける判定結果に基づく音声出力を、歯科医および歯科技工士にのみ伝える音声出力ステップと、歯科医、歯科技工士、および患者の発する音声に基づいて、患者の口腔領域に対して光を照射する照射部と、患者の口腔領域外において患者に触れることを可能とするロボットの可動部と、を制御する制御ステップと、を実行する。

第１３の態様に係るロボット操作プログラムは、歯科医を支援するロボット操作プログラムであって、患者、歯科医、および歯科技工士を被写体として認識し、歯科医および歯科技工士の患者に対する治療行動を認識可能とする認識機能と、認識機能において認識した治療行動に対して、画像処理によって、危険な行動であるか否かを判定する行動判定機能と、行動判定機能における判定結果に基づく音声出力を、歯科医および歯科技工士にのみ伝える音声出力機能と、歯科医、歯科技工士、および患者の発する音声に基づいて、患者の口腔領域に対して光を照射する照射部と、患者の口腔領域外において患者に触れることを可能とするロボットの可動部と、を制御する制御機能と、を発揮する。

本開示に係る歯科手術のためのロボットシステム等によれば、歯科医を支援するロボットシステムであって、患者、歯科医、および歯科技工士を被写体として認識し、歯科医および歯科技工士の患者に対する治療行動を認識可能とする認識部と、認識部が認識した治療行動に対して、画像処理によって、危険な行動であるか否かを判定する行動判定部と、行動判定部の判定結果に基づく音声出力を、歯科医および歯科技工士にのみ伝える音声出力部と、患者、歯科医、および歯科技工士の発する音声に基づいて、患者の口腔領域に対して光を照射する照射部と、患者の口腔領域外において患者に触れることを可能とする可動部と、を制御する制御部と、を備えるので、歯科医および歯科技工士の患者に対する医療行動が危険な行動であるか否かを判定することができるとともに、患者を癒やし、当該患者の不安を軽減することができる。

本実施形態に係るロボットシステムの全体構成の概略を示す図である。 本実施形態に係るロボットシステムの機械的構成を説明するブロック図である。 本実施形態に係るロボットシステムの機能的構成を説明するブロック図である。 本実施形態に係るロボット操作プログラムのフローチャートである。

図１乃至図３を参照して、本実施形態に係るロボットシステム１０について説明する。
図１は本実施形態に係るロボットシステム１０の全体構成の概略を示す図であり、図２は本実施形態に係るロボットシステム１０の機械的構成を説明するブロック図であり、図３は本実施形態に係るロボットシステム１０の機能的構成を説明するブロック図である。

（ロボットシステム１０の概要）
図１を参照して、本実施形態に係るロボットシステム１０の概要について説明する。
ロボットシステム１０は、歯科医が患者７０に対して行う診療を支援するロボットシステムであって、コンピュータ２０、監視カメラ３０、診療装置４０、ロボット５０、照明装置（照射部）８５を備える。

コンピュータ２０は、ロボットシステム１０の制御部であって、コンピュータ本体２１、及び、コンピュータ本体２１の周辺機器としてのディスプレイ２２、キーボード２３、プリンタ２４、スピーカ２５、スキャナ２６を備える。

監視カメラ３０は、患者７０、歯科医、及び歯科技工士を被写体とするカメラであり、動画及び静止画を撮影する。図１では、監視カメラ３０が被写体を上方から撮影している様子を示しているが、これに限らず側方から監視カメラ３０が被写体を撮影してもよい。また、複数台の監視カメラ３０を用いて被写体を撮影してもよい。また、本ロボットシステムは、図１に示すように、患者が座る椅子が人型ロボットの形状であってもよい。

診療装置４０は、歯科医が診療中に用いる診療テーブル８０を中心とした装置であり、診療器具８１、インスツルメントホルダ８２、及び診療用ディスプレイ８３を備える。診療器具８１とは、歯科医が診療中に用いる歯科ドリル、ＬＥＤライト、吸入器のことである。インスツルメントホルダ８２とは、診療器具８１を載置し保管する台である。診療用ディスプレイ８３とは、コンピュータ２０からの情報などを表示するための表示装置である。

ロボット５０は、患者７０が座る椅子であり、擬人化された外形、若しくは動物を模した外形を備える。擬人化された外形とは、例えば、侍、サンタクロース、応援団員、警察官、消防隊員など、職種ごとの制服などを着た人物に模した人形の外形のことである。動物を模した外形とは、パンダ、熊、ウサギ、犬、狸、猫、ネズミなどの動物のぬいぐるみなどの外形のことである。ロボット５０の顔は表示部となる顔ディスプレイ部５９となっており、ロボット５０が持つ感情を顔の表情を変化させることで表現する。

ロボット５０は腕部に可動部５１を備える。可動部（腕部）５１は、患者７０の口腔領域外において患者７０に触れることを可能とし、患者７０の上半身を撫でる、もしくは摩るなどして患者７０の不安を和らげることができる。
ロボット５０の可動部（腕部）５１は、患者７０、歯科医、および歯科技工士の発する音声に基づいて、制御部であるコンピュータ２０によって動きが制御される。

また、気温が低い場合、可動部（腕部）５１は、発熱し患者７０を暖めることができる。気温が高い場合、可動部（腕部５１）が冷えて患者７０に冷感を与えることができる。可動部（腕部）５１は、ロボットシステム１０の制御部であるコンピュータ２０によって、可動部（腕部）５１が患者７０の口腔領域内に触れないように制御される。

ロボット５０の腕部５１の先端部は給水部５５になっており、コップ台５８に置かれたコップ５７に水を注ぐことができる。ロボット５０の他方の腕部５１の先端部は水受け部５６になっている。コップ５７の水で患者７０にうがいをさせて、治療で削られた歯、血液、唾液などを水受け部５６に吐出させる。

ロボット５０の腕部５１は、脈拍測定機５２、体温測定機５３、及び血圧測定機５４が内蔵されている。脈拍測定機５２は、ロボット５０の腕部５１に置かれた患者７０の腕から患者７０の脈拍を採取する。体温測定機５３は、ロボット５０の腕部５１に置かれた患者７０の腕から患者７０の体温を採取する。血圧測定機５４は、ロボット５０の腕部５１に置かれた患者７０の腕から患者７０の血圧を採取する。

照明装置（照射部）８５は、患者７０の口腔領域に対して光を照射する。
照明装置（照射部）８５は、患者７０、歯科医、および歯科技工士の発する音声に基づいて、制御部であるコンピュータ２０によって光の強さおよび色が制御される。

（ロボットシステム１０の機械的構成）
以下、ロボットシステム１０の機械的構成について説明する。ロボットシステム１０は、コンピュータ２０、及びコンピュータ２０の外部装置としてロボット５０などを備える。その他の外部装置としては、監視カメラ３０、照射部としての照明装置８５、骨伝導ワイヤレスイヤホン８６、診療用ディスプレイ８３、フットスイッチ８４、及びコンピュータ２０の周辺機器を備える。当該周辺機器としては、ディスプレイ２２、キーボード２３、プリンタ２４、スピーカ２５、スキャナ２６などである。

図２をコンピュータ２０の機械的構成について説明する。
図２を参照して、コンピュータ２０の機械的構成の一例について説明する。図２は本実施形態に係るロボットシステム１０の機械的構成を説明するブロック図である。

コンピュータ２０は、通信インターフェース２０ａ、Read Only Memory（ＲＯＭ）２０ｂ、Random Access Memory（ＲＡＭ）２０ｃ、記憶部２０ｄ、Central Processing Unit（ＣＰＵ）２０ｅ、入出力インターフェース２０ｆなどを備えている。また、コンピュータ２０は、その外部装置として前述したようにロボット５０、監視カメラ３０、照明装置８５、骨伝導ワイヤレスイヤホン８６、診療用ディスプレイ８３、フットスイッチ８４、及びコンピュータ２０の周辺機器を備える。
通信インターフェース２０ａは、主にデータをネットワーク２９に対して入出力を行う機能を備える。

記憶部２０ｄは、記憶装置として利用でき、ロボットシステム１０が動作する上で必要となる後述のロボット操作プログラム、各種アプリケーション、及び当該アプリケーションによって利用される各種データなどが記録される。

入出力インターフェース２０ｆは、ロボット５０、監視カメラ３０などの外部装置に対してデータなどの送受信を行う。

ロボットシステム１０は、後述するロボット操作プログラムをＲＯＭ２０ｂ若しくは記憶部２０ｄに保存し、ＲＡＭ２０ｃなどで構成されるメインメモリにロボット操作プログラムを取り込む。ＣＰＵ２０ｅは、ロボット操作プログラムを取り込んだメインメモリにアクセスして、ロボット操作プログラムを実行する。

（ロボットシステム１０の機能的構成）
図３を参照して、ロボットシステム１０の機能的構成について説明する。
ロボットシステム１０は、コンピュータ２０においてロボット操作プログラムを実行することで、ＣＰＵ２０ｅに画像取得部１００、認識部１１０、行動判定部１２０、音声出力部１３０、測定値取得部１４０、精神状態判定部１５０、表示制御部１６０、及び制御部１７０などを機能部として備える。

画像取得部１００は、監視カメラ３０が撮影した患者７０、歯科医、及び歯科技工士を被写体とする動画及び静止画を取得する。
画像取得部１００は、取得した監視カメラ３０が撮影した画像データをコンピュータ２０のＲＡＭ２０ｃ若しくは記憶部２０ｄに記憶する。

認識部１１０は、患者７０、歯科医、および歯科技工士を被写体として認識し、歯科医および歯科技工士の患者７０に対する治療行動を認識可能とす。
認識部１１０は、ＲＡＭ２０ｃ若しくは記憶部２０ｄに記憶された監視カメラ３０の画像データに係る歯科医及び歯科技工士の患者７０に対する治療行動を認識する。

行動判定部１２０は、認識部１１０が認識した治療行動に対して、画像処理によって、危険な行動であるか否かを判定する。
行動判定部１２０は、歯科医および歯科技工士の危険行動を表す画像データを予め学習する学習モデル１２１を備え、学習モデル１２１を用いて認識部１１０が認識した治療行動が危険な行動か否かを判定するものである。
治療行動は、歯科医、および歯科技工士の歯科診療ガイドラインに沿って行われるものである。
学習モデル１２１は、ディープラーニングにより予め学習される。

音声出力部１３０は、行動判定部１２０の判定結果に基づく音声出力を、歯科医および歯科技工士にのみ伝える。
音声出力部１３０は、歯科医および歯科技工士に付帯されるワイヤレスイヤホンである。
ワイヤレスイヤホンは、骨伝導イヤホン８６である。

測定値取得部１４０は、脈拍測定機５２、体温測定機５３、および血圧測定機５４が測定した患者７０の脈拍、体温、および血圧を取得する。

精神状態判定部１５０は、取得された患者７０の脈拍、体温、および血圧のうち少なくとも一つの測定値に基づいて、患者７０の治療中の精神状態を判定する。
本実施形態では、精神状態判定部１５０は、測定値取得部１４０が取得した患者７０の脈拍、体温、および血圧に基づいて、患者７０の治療中の精神状態を判定する。

ロボット５０の顔に設けられた表示部となる顔ディスプレイ部５９は、精神状態判定部１５０の判定結果にあわせて、顔ディスプレイ部５９に現れるロボット５０の表情が変化する。
表示制御部１６０は、精神状態判定部１５０の判定結果にあわせて顔ディスプレイ部５９に表示するロボット５０の表情を制御する。

制御部１７０は、患者７０、歯科医、および歯科技工士の発する音声に基づいて、患者７０の口腔領域に対して光を照射する照明装置（照射部）８５と、患者の口腔領域外において患者に触れることを可能とする可動部（腕部）５１と、を制御する。

制御部１７０は照射制御部１７１及び可動制御部１７２を備える。照射制御部１７１は患者７０、歯科医、および歯科技工士の発する音声に基づいて、照明装置（照射部）８５の照射する光の強さ及び色を制御する。可動制御部１７２は患者７０、歯科医、および歯科技工士の発する音声に基づいて、可動部であるロボット５０の腕部５１の動きを制御する。

ロボットシステム１０は、ベースと、第１端部と第２端部とを有するグラウンディングアームであって、グラウンディングアームの第１端部がベースに結合され、グラウンディングアームの第２端部が患者の口に対してロボットシステム１０のための原点を確立するために患者の口内の固定構造体に結合されるように構成され、グラウンディングアームの第２端部がベースに対して少なくとも６自由度を有する、グラウンディングアームと、第１端部と第２端部とを有する作業アームであって、作業アームの第１端部がベースから延び、作業アームの第２端部が歯科外科処置時に使用するための１つ又はそれ以上のツールと結合されるように構成され、作業アームの一部分がベースに対して少なくとも６自由度を有しかつ患者の口内の骨に開口部を形成しかつ形成された開口部の中にインプラントを設置する、ために移動可能である、作業アームと、グラウンディングアーム及び作業アームの位置を監視するための１つ又はそれ以上のセンサであって、１つ又はそれ以上のセンサが、患者の口の少なくとも一部分の術後仮想次元プラントレベルモデルを生成するために使用される位置データを生成する、１つ又はそれ以上のセンサと、を備えてもよい。

一般的に、本発明の様々な実施形態は、互いに至近に配置される歯科治療ユニット及び患者用椅子を備える歯科治療装置であり、この装置には、歯科治療器具用の処置アーム、表示画面等の歯科環境で用いられる他の何らかの機器又はデバイスを保持するアーム、の少なくとも一方が構造的に接続され、この歯科治療装置は、歯科治療ユニットの少なくとも物理的に至近に配置されてアクチュエータによって移動させられるように配置される少なくとも１つのアーム部を備え、このアーム部には、Ｘ線源及び画像情報受信機が互いに離れて配置され、この装置では、撮像手段を担持するように配置されるアーム部と患者用椅子とは、アーム部が患者用椅子の実質的に上方にあるか又は位置決め可能であるように互いに対して配設される。

危険状態の例としては、限定されるものではないが、複数のロボットアーム、複数の器具、またはロボットアームと器具との間で衝突が発生している（または発生しようとしている）衝突状態、現在のタスクまたはタスクのステップに対して誤った器具がロボットアームに取り付けられる誤ったエンド器具の状態、ロボットアームに取り付けられた器具のうちの一つが故障しているか、または交換する必要がある故障器具状態、通電された器具に関連する危険が検出されている通電された器具の危険状態、および、危険が、例えば、状態データから検出された事象またはパターンに基づいて予測される潜在的危険状態が挙げられる。

この危険度評価部は、ロボット本体の一連の動作を定める動作プログラムを入力とし、この動作プログラムからロボットの複数の動作状態を抽出する動作抽出部と、これら複数の動作状態の中からロボットの動作状態を選択する動作選択部と、この動作選択部で選択されたロボットの動作状態に対応するハンドの動作状態を算出する動作状態算出部と、ハンドの動作方向に依存する形状特徴量を算出する形状特徴量算出部と、当該形状特徴量に基づいて評価値を算出する評価値算出部とを備えている。

危険インジケータには、限定されるものではないが、一人以上の患者のバイタルサインおよび／または他の健康指標が、所定の範囲外にあることと、オペレータ（例えば、外科医）のバイタルサインおよび／または他の健康指標のうちの一つ以上が、所定の範囲外であることと、声を上げて話すタスクのために出席する個人のうちの一人以上（例えば、外科手術チームのうちの一人以上）と、警告の単語または語句を話すタスクのために出席する個人のうちの一人以上（例えば、外科手術チームの一人以上）と、が含まれうる。

カメラやマイクなどの認識装置を備え、マイクからの音声出力や接続されたモニタへの外部出力が行える、人とコミュニケーションを行うロボットと、そのロボットに直接接続されている磁気ディスクなどの外部記憶装置において、ロボットの持つ行動データ記憶部には図に示すデータが、行動履歴記憶部にはデータが、外部記憶装置の持つ行動データ記憶部にはデータが格納されているとする。

しかし、制御部は、例えば、所定の対象による接触時間の不足などに関わらず、センサ部のバイタルセンサから取得したバイタルサインの測定値のうち、体温、脈拍、血圧のうちのいずれか１つでも取得できなかった測定値があった場合には、動作モードを接触持続動作モードに設定し、少なくとも前回取得できなかった項目の測定値が取得できるように、接触持続動作を決定および実行するようにしてもよい。

また、例えば、所定時間が経過した場合には、所定の対象による接触は持続しているものの所定時間内にバイタルサインの測定値を取得できなかったとして単に処理をステップに進めたが、別途、体温、脈拍、血圧のうち少なくとも１つを取得するための動作を実行するようにしてもよい。

なお、以上説明した例では、ユーザの状況の変化を判断する一例として「体温」を検知しているが、本実施例はこれに限定されず、例えばユーザの心拍、発汗量、脳波、または活動量等を検知してユーザ状況の普段との変化を判断してもよい。

しかし、限定されない例のように、とりわけ、考えられる医学的緊急事態にロボットがユーザの体温を測ることが必要とされる際、または遠隔地の委任ユーザが、ロボットに人との物理的接触を行うよう命令を出す際、医療ロボットは接触してもよい。

（ロボット操作方法及びロボット操作プログラム）
次に、図４を参照して、本実施形態に係るロボット操作方法についてロボット操作プログラムとともに説明する。図４は本実施形態に係るロボット操作プログラムのフローチャートである。

図４に示す様に、ロボット操作プログラムは、画像取得ステップＳ１００、認識ステップＳ１１０、行動判定ステップＳ１２０、音声出力ステップＳ１３０、測定値取得ステップＳ１４０、精神状態判定ステップＳ１５０、表示制御ステップＳ１６０、制御ステップＳ１７０などを含む。

ロボットシステム１０は、コンピュータ２０のＲＯＭ２０ｂ若しくは記憶部２０ｄに保存されたロボット操作プログラムをメインメモリに取り込み、ＣＰＵ２０ｅによりロボット操作プログラムを実行する。

ロボット操作プログラムは、コンピュータ２０のＣＰＵ２０ｅに対して、画像取得機能、認識機能、行動判定機能、音声出力機能、測定値取得機能、精神状態判定機能、表示制御機能、制御機能などの機能を実現させる。

これらの機能は図４のフローチャートに示す順序で処理を行う場合を例示したが、これに限らず、これらの順番を適宜入れ替えてロボット操作プログラムを実行してもよい。

なお、上記した各機能は、前述のロボットシステム１０の画像取得部１００、認識部１１０、行動判定部１２０、音声出力部１３０、測定値取得部１４０、精神状態判定部１５０、表示制御部１６０、制御部１７０の説明と重複するため、その詳細な説明は省略する。

画像取得機能は、監視カメラ３０が撮影した患者７０、歯科医、及び歯科技工士を被写体とする動画及び静止画を取得する（Ｓ１００：画像取得ステップ）。

認識機能は、患者７０、歯科医、および歯科技工士を被写体として認識し、歯科医および歯科技工士の患者７０に対する治療行動を認識可能とする（Ｓ１１０：認識ステップ）。

行動判定機能は、認識部１１０が認識した治療行動に対して、画像処理によって、危険な行動であるか否かを判定する（Ｓ１２０：行動判定ステップ）。

音声出力機能は、行動判定部１２０の判定結果に基づく音声出力を、歯科医および歯科技工士にのみ伝える（Ｓ１３０：音声出力ステップ）。

測定値取得機能は、脈拍測定機５２、体温測定機５３、および血圧測定機５４が測定した患者７０の脈拍、体温、および血圧を取得する（Ｓ１４０：測定値取得ステップ）。

精神状態判定機能は、取得された患者７０の脈拍、体温、および血圧のうち少なくとも一つの測定値に基づいて、患者７０の治療中の精神状態を判定する（Ｓ１５０：精神状態判定ステップ）。

表示制御機能は、精神状態判定部１５０の判定結果にあわせて顔ディスプレイ部５９に表示するロボット５０の表情を制御する（Ｓ１６０：表示制御ステップ）。

制御機能は、患者７０、歯科医、および歯科技工士の発する音声に基づいて、患者７０の口腔領域に対して光を照射する照明装置（照射部）８５と、患者の口腔領域外において患者に触れることを可能とする可動部（腕部）５１と、を制御する（Ｓ１７０：制御ステップ）。

上記の実施形態によれば、ロボットシステム１０は、歯科医および歯科技工士の患者に対する治療行動が危険な行動であるか否かを判定し、当該判定結果に基づく音声出力を歯科医および歯科技工士に伝えることができる。従って、歯科医および歯科技工士は、自分の治療行動が危険な行動であるか否かを認識しながら患者に対して治療をすることができる。

上記の実施形態によれば、患者７０、歯科医、および歯科技工士の発する音声に基づいて、患者７０の口腔領域に対して照射する光の強さおよび色を調整することができる。従って、患者７０が光を眩しいと感じた時に声を発することで患者自身の意思で当該光を弱めることができる。さらに、歯科医おおび歯科技工士は、治療行動中に光が弱いと感じた時に声を発することで当該光を強めることができるため、治療行動を中断しなくてもよい。

上記の実施形態によれば、患者７０、歯科医、および歯科技工士の発する音声に基づいて、ロボット５０の腕部５１の動きを制御することができる。従って、患者７０はロボット５０の腕部５１の位置を変えたい時など腕部５１を動かしたいときに患者７０自身の意思で腕部５１を動かすことができる。さらに、歯科医および歯科技工士は、治療中に患者７０が不安を感じている場合に、歯科医および歯科技工士の声に基づいて腕部５１を動かして患者７０の身体を撫でたり摩ったりして患者７０の不安を軽減することができる。

上記の実施形態によれば、画像処理に用いる学習モデルは、ディープラーニングにより学習されるため、当該学習モデルは画像処理に対して高い性能を示すことができる。さらに、機械学習による学習モデルの学習は着目するべき特徴量を人間の手で選択する必要があるが、ディープラーニングによる学習モデルの学習では特徴量の学習や選択なども機械が自動で行うため、人の手で情報を与える必要がない分、手間がかからない。

上記の実施形態によれば、ロボット５０の腕部５１には脈拍測定機、体温測定機、および血圧測定機が備えられており診療中の患者７０の脈拍、体温、および血圧を測定することができる。従って、診療中に患者７０の体調に異変が生じたことを検知することができる。

上記の実施形態によれば、ロボット５０は擬人化された外形、若しくは動物を模した外形を備えているので、ユーモア、愛嬌のある外形のロボット５０を用いることで、歯科治療に連想される恐い、痛い、及び不安などのイメージを軽減することができ、患者７０は歯科治療から受ける不安、緊張、および恐怖などを軽減することができる。さらに、ロボット５０の手に給水部５５を備え、他方の手に水受け部５６を備えているので、ロボット５０はユーモア、および楽しさを演出することができ患者７０の緊張および不安を軽減することができる。

上記の実施形態によれば、ロボット５０は、精神状態判定部１５０の判定結果にあわせて顔ディスプレイ部５９に現れるロボット５０の表情を変化させることができる。従って、精神状態判定部１５０によって患者７０が不安を感じていると判定された場合に顔ディスプレイ部５９に患者７０を楽しませる表情を表示して患者７０の不安を軽減させることができる。さらに、精神状態判定部１５０の判定結果に対応した表情を顔ディスプレイ部５９に表示させることで、歯科医および歯科技工士に患者７０の診療中の精神状態を報知することができる。

上記の実施形態によれば、音声出力部８６に骨伝導ワイヤレスイヤホンを用いる。骨伝導ワイヤレスイヤホンはこれを付帯している歯科医および歯科技工士の耳の穴を塞がないので、付帯したままでも周囲の音が聞こえ、人と会話をすることもできる。

本開示は上記した実施形態に係るロボットシステム１０、ロボット操作方法、及びロボット操作プログラムに限定されるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。

（他の実施形態）
以下に本開示に係る他の実施形態について記載する。
支援モジュールは、ロボットアームの一つに取り付けられた通電された器具が、内視鏡の視野の外側にある、ロボットアームの一つに取り付けられた通電された器具が、患者の身体と接触していない、ロボットアームの一つに取り付けられた通電された器具が、静止位置（すなわち、現在、対応するロボットアームによって移動されている）にない、ロボットアームの一つに取り付けられた通電された器具が、患者の身体の特定の部分（例えば、血管）の所定の距離内にある、および／またはロボットアームの一つに取り付けられた通電された器具が、別の器具（別の通電された器具であってもよく、または非通電の器具であってもよい）と接触していることを状態データから検出するとき、外科手術ロボットシステムが、通電された器具を通電するのに安全でない状態にあることを検出するように構成されうる。

また、他の実施形態に係るロボットシステムは、ロボットと、ロボットを制御するロボット制御装置と、ロボット制御装置からの要求に応じて画像処理を行う情報処理装置とを備えるロボットシステムであって、情報処理装置は、物体の形状を示す形状データの入力を受け付ける受付部と、物体を含む領域を撮像した撮像画像を取得する取得部と、形状データと撮像画像に基づいて、基準寸法単位を設定する設定部と、設定部により設定された基準寸法単位に基づいて画像処理を行う画像処理部と、画像処理部による画像処理の結果をロボット制御装置に出力する出力部と、を備え、ロボット制御装置は、情報処理装置から取得した当該結果に基づいて、ロボットを制御する。

他の実施形態に係るロボットシステムにおいて、既に記憶された教示位置情報（教示点）の修正や、教示点の取り消しなどの機能をもたせてもよいまた、上記実施形態では、視覚的に認識可能なように通知する通知ライトを通知部として用いる例を示したが、たとえば、通知部を、音声や、振動などで通知するように構成してもよい。

他の実施形態に係るロボットシステムでは、機械学習器の状態観測部に入力される状態変数は、作業意図認識部の出力であり、作業意図認識部は、人の行動に基づくプラス報酬を、プラス報酬に設定される状態変数に変換して状態観測部に出力し、人の行動に基づくマイナス報酬を、マイナス報酬に設定される状態変数に変換して状態観測部に出力し、人の顔表情に基づくプラス報酬を、プラス報酬に設定される状態変数に変換して状態観測部に出力し、人の顔表情に基づくマイナス報酬を、マイナス報酬に設定される状態変数に変換して状態観測部に出力することが好ましい。

他の実施形態に係るロボットシステムでは行動認識部と備えてもよく、当該行動認識部は、行動認識センサからの信号やロボットセンサからの信号を処理するデータ処理部、人間の移動軌跡を認識するための移動軌跡認識部、人間を撮像したデータによって人間の動作の認識や年齢判断を行う動作、年齢認識部、これら移動軌跡認識部、動作、年齢認識部が人間の移動軌跡や能動的動作、年齢などを判断するため、移動軌跡パターンや、移動速度、静止時間等の統計データ、電話している、何か食べているなどの能動動作パターン、年齢判断のための身長、服装、性別、泣いている動作などの判断データなどを記憶した移動軌跡、動作、年齢データベース、移動軌跡認識部の認識結果や中央サーバからの指示で人間がサービス対象者であるかどうかを判断するための確認動作をロボットに行わせる確認動作指示部等で構成されている。

音声認識部では、騒音データ管理部に格納されたその環境の騒音レベルに対応した入力ゲイン、ノイズフィルタの周波数応答特性、およびスピーカの音量レベルなどの各パラメータを参照すると共に、運動状態量検出器からのロボットの脚部・腕部の動きを入力し、ロボットが発する動作音や足音を把握して注目音声を識別し易くすると共に、音の波形から、人が発する音声であるか、何らかの物体同士がぶつかり合う衝撃音であるかを推定すると共に、人が発する音声パターンを標準パターンと比較してその内容を理解する処理を行う。

また、例えば、音声認識部は、さらに、センシング情報に基づいて第２の方向における移動物体を認識し、判定部は、追い越す制御を実行することが判定されたことに応じて、さらに、音声認識部により移動物体が認識されたかを判定し、生成部は、移動物体が認識されなかったことに応じて、第１の情報を生成してもよい。

画像処理では、分光カメラで撮像した物体のスペクトル画像を用いて検査を行う画像処理であって、分光カメラの撮像範囲にある物体を分光カメラで撮像して、スペクトル画像を取得する撮像処理を実行する撮像部制御部と、スペクトル画像に対して画像処理を実行し、画像処理の結果を検査結果として出力する検査処理を実行する検査部と、検査結果に基づいて物体に対する操作を行う信号を送信する送信処理を実行する通信部と、撮像処理と、検査処理と、送信処理との作業手順を設定する設定部と、を有し、設定部は、検査処理を、撮像処理が終了した後に実行させ、送信処理を、撮像処理が終了した後、検査処理が終了する前に実行させるように作業手順を設定してもよい。

他の実施形態に係る画像処理に用いられる制御装置は、被写体としての物品の形状を記憶する記憶部と、カメラが物品を撮像した第一画像から、一部の領域である対象領域の第二画像を抽出する抽出部と、第二画像を処理することで、対象領域内に写し出される少なくとも３つの部位からカメラまでの距離を検出する距離検出部と、少なくとも３つの部位での距離を用いて対象領域内に写し出される平面を推定する平面推定部と、カメラの光軸に対する推定平面の角度を検出する角度検出部と、記憶部に記憶される物品の形状と、推定平面の角度とを用いて、第一画像上に写し出される物品の輪郭を推定する輪郭推定部と、物品の輪郭を用いて、第一画像上で物品を特定する特定部とを備えてもよい。

この画像処理は、プロセッサーを備え、プロセッサーは、被写体を撮影して画像を取得するための撮影パラメータと、画像に対する画像処理を行うための画像処理パラメータとの組み合わせにより構成された複数組のパラメータ設定を受け付け、複数組のパラメータ設定に基づいて、撮影と画像処理とを含む処理シーケンスを実行して結果画像を出力し、結果画像に含まれる特徴量を予め定められた判定条件に基づいて良否判定し、複数組のパラメータ設定に対する処理シーケンスの実行結果を示す複数の縮小画像をそれぞれ複数の結果画像として表示部に一覧表示させる、ように構成されてもよい。

また、この画像処理は、被写体を撮影して画像を取得するための撮影パラメータと、画像に対する画像処理を行うための画像処理パラメータの組み合わせにより構成された複数組のパラメータ設定を受け付けるパラメータ受付部と、複数組のパラメータ設定に基づいて、撮影と画像処理とを含む処理シーケンスを実行して結果画像を出力するシーケンス実行部と、結果画像に含まれる特徴量を予め定められた判定条件に基づいて良否判定する判定部と、複数組のパラメータ設定に対する処理シーケンスの実行結果を示す複数の縮小画像をそれぞれ複数の結果画像として表示部に一覧表示させる一覧表示実行部と、が備えられた装置によって行われてもよい。

以上のように、他の実施形態に係る会話支援装置では、表示部（画像表示部）に表示された画像の一部を選択する入力部を備え、画像処理部は、入力部によって選択された画像の一部が認識結果である場合、選択された認識に対応する他の認識候補を表示部に表示させ、認識候補のうち入力部によって選択された候補に認識結果を修正し、修正した認識結果を、通信部を介して他の会話支援装置に送信させてもよい。

他の実施形態に係る危険状態の例としては、限定されるものではないが、複数のロボットアーム、複数の器具、またはロボットアームと器具との間で衝突が発生している（または発生しようとしている）衝突状態、現在のタスクまたはタスクのステップに対して誤った器具がロボットアームに取り付けられる誤ったエンド器具の状態、ロボットアームに取り付けられた器具のうちの一つが故障しているか、または交換する必要がある故障器具状態、通電された器具に関連する危険が検出されている通電された器具の危険状態、および、危険が、例えば、状態データから検出された事象またはパターンに基づいて予測される潜在的危険状態が挙げられる。

他の実施形態に係るロボットは、上記態様において、ロボットの可動部位に設けられる駆動部と、ハンズフリー用音声出力部から音声が出力される場合、当該音声の出力に合わせて、駆動部を駆動させて可動部位を動かす駆動制御部と、をさらに備え、状態判定部は、上記状態として、着信時に駆動部が可動部位を動かしている状態か否かを判定し、可動部位を動かしている状態でないと判定された場合、音声出力制御部は、着信をユーザに報知する着信音声および通話音声をハンズフリー用音声出力部から出力させ、駆動制御部は、着信音声および通話音声に合わせて駆動部を駆動させて可動部位を動かし、可動部位を動かしている状態と判定された場合、音声出力制御部は、着信音声を出力させないとともに、通話音声をハンドセット用音声出力部から出力させ、駆動制御部は、着信音声および通話音声に合わせて駆動部を駆動させなくてもよい。

他の実施形態において、画像に基づいて歯科医および歯科技工士が把持する物体を認識する物体認識部を更に備え、行動判定部は、顔認識部の認識結果と、姿勢認識部の認識結果と、物体認識部の認識結果と、に基づいて歯科医および歯科技工士の行動を判定してもよい。

続いて、注意情報配信サーバにおける歯科医および歯科技工士の行動判定部に相当する部位は、注意情報配信サーバにおける診療中行動情報記憶部に相当する部位に記憶されている診療中行動情報に基づいて、許容行動判定部により第２許容行動情報に該当する注意情報が除外された後の注意情報を、歯科医および歯科技工士が行う可能性のある行動に該当するか否かを判定する。

他の実施形態において、監視カメラは、歯科医および歯科技工士の指によって操作される器具などの被操作物に近接して設けられており、行動判定部は、近接物認識部が近接物（指又は掌）を認識する場合に、歯科医および歯科技工士の行動を、被操作物の操作行動として判定してもよい。

他の実施形態において、行動判定部は、警告処理部が所定の態様で警告処理を実施している場合に、現時点での歯科医および歯科技工士の操作の内容、歯科医および歯科技工士の状態、及び、診療環境と、警告処理を開始した時点での項目とを比較することにより、歯科医および歯科技工士が所定の安全行動を実施したか否かを判定する。

音声判定部、表情判定部、行動判定部は、それぞれ、対象ロボットの発話に対する反応を、対象ユーザの音声、表情、行動に基づいて、肯定的な反応である「ポジティブ（Positive）」、否定的な反応である「ネガティブ（Negative）」、肯定的でも否定的でもない中立的な反応である「ニュートラル（Neutral）」の３つの極性に分類することにより判定する。

他の実施形態に係るロボットは、上記態様において、ロボットの可動部位に設けられる駆動部と、ハンズフリー用音声出力部から音声が出力される場合、当該音声の出力に合わせて、駆動部を駆動させて可動部位を動かす駆動制御部と、をさらに備え、状態判定部は、状態として、着信時に駆動部が可動部位を動かしている状態か否かを判定し、可動部位を動かしている状態でないと判定された場合、音声出力制御部は、着信をユーザに報知する着信音声および通話音声をハンズフリー用音声出力部から出力させ、駆動制御部は、着信音声および通話音声に合わせて駆動部を駆動させて可動部位を動かし、可動部位を動かしている状態と判定された場合、音声出力制御部は、着信音声を出力させないとともに、通話音声をハンドセット用音声出力部から出力させ、駆動制御部は、着信音声および通話音声に合わせて駆動部を駆動させなくてもよい。

他の実施形態に係るロボットは、上記態様において、ロボットの可動部位に設けられる駆動部と、ハンズフリー用音声出力部から通話音声が出力される場合、当該通話音声の出力に合わせて、駆動部を駆動させて可動部位を動かす駆動制御部と、をさらに備え、状態判定部は、上記状態として、駆動部が駆動可能な状態か否かを判定し、音声出力制御部は、駆動可能な状態と判定された場合、通話音声をハンズフリー用音声出力部から出力させ、駆動可能な状態でないと判定された場合、通話音声をハンドセット用音声出力部から出力させてもよい。

他の実施形態に係るロボットは、上記態様において、ロボットの可動部位に設けられる駆動部と、ハンズフリー用音声出力部から音声が出力される場合、当該音声の出力に合わせて、駆動部を駆動させて可動部位を動かす駆動制御部と、をさらに備え、状態判定部は、上記状態として、着信時に駆動部が可動部位を動かしている状態か否かを判定し、音声出力制御部は、可動部位を動かしている状態でないと判定された場合、通話音声をハンズフリー用音声出力部から出力させ、可動部位を動かしている状態と判定された場合、通話音声をハンドセット用音声出力部から出力させてもよい。

他の実施形態に係るロボットは、上記態様において、ロボットの周囲にいる人物を検知する検知部をさらに備え、状態判定部は、上記状態として、検知部が検知した人物が通話音声を聞かせてもよい人物のみであるか否かを判定し、音声出力制御部は、通話音声を聞かせてもよい人物のみが検知された状態と判定された場合、通話音声をハンズフリー用音声出力部から出力させ、通話音声を聞かせてもよい人物のみが検知された状態でないと判定された場合、通話音声をハンドセット用音声出力部から出力させてもよい。

なお、「ロボットの状態を判定する」とは、「ロボットが音声をハンズフリー用音声出力部から出力するモードとなっているか否かを判定する」、「ロボットの周囲にいる人物を検知した結果、当該人物が通話音声を聞かせてもよい人物のみであるか否かを判定する」、「ロボットの駆動部を駆動可能な状態か否かを判定する」、「着信時に、ロボットが動作をしている状態か否かを判定する」などが挙げられる。

他の実施形態に係るロボットシステムは音声認識装置を備えてもよく、当該音声認識装置は、歯科診療に関連する情報を提供する音声認識装置であって、周囲の音を検出し、検出結果に基づいて音声信号を出力するマイクと、マイクが出力した音声信号に対して音声認識処理を実行するプロセッサーと、スピーカと、メモリとを備え、プロセッサーは、音声信号の音声認識処理の結果から歯科診療に関する単語及び音の少なくとも一方を含む第１音声データを抽出し、第１音声データから歯科診療の注意レベルを特定する歯科診療注意レベル特定部と、音声認識処理の結果から、第１音声データに対応する音がマイクで検出された時間の前後一定期間においてマイクで検出された音に対応する第２音声データを抽出し、第２音声データから第１音声データに関連する地域を特定する、又は第１音声データの発話者の移動履歴を示す移動履歴データを用いて第１音声データに関連する地域を特定する地域特定部と、特定された地域と、特定された歯科診療の注意レベルとを対応付けた特定歯科診療情報を生成し、メモリに蓄積する特定歯科診療情報生成部と、蓄積された特定歯科診療情報から特定の歯科診療注意レベルに応じた音声メッセージを生成する出力情報生成部とを備え、スピーカは、音声メッセージを出力してもよい。

他の実施形態に係るロボットシステムは音声認識装置を備えてもよく、当該音声認識装置は、入力された音声を認識し、認識結果により対話を行う音声認識装置であって、入力された音声を音声認識辞書を用いて認識して認識結果を出力する音声認識手段と、音声認識手段の認識結果によりシステム状態を遷移させて応答を行う対話制御手段と、今回の認識結果でシステム状態が先に進まず停滞している状態である停滞状態から脱出したか否かを判定するとともに、停滞状態から脱出したと判定した場合、今回の認識結果が言い直しおよび言い換えの少なくとも１つであるか否かを判定する停滞脱出判定手段と、言い直しまたは言い換えであると判定された場合、対話制御に関する設定および音声認識に関する設定の少なくとも１つを変更する変更制御手段とを備えることとしてもよい。

他の実施形態に係るロボットシステムは支援モジュールを備えてもよく、支援モジュールは、支援モジュールが、ロボットアームの一つに取り付けられた通電された器具が、内視鏡の視野の外側にある、ロボットアームの一つに取り付けられた通電された器具が、患者の身体と接触していない、ロボットアームの一つに取り付けられた通電された器具が、静止位置（すなわち、現在、対応するロボットアームによって移動されている）にない、ロボットアームの一つに取り付けられた通電された器具が、患者の身体の特定の部分（例えば、血管）の所定の距離内にある、および／またはロボットアームの一つに取り付けられた通電された器具が、別の器具（別の通電された器具であってもよく、または非通電の器具であってもよい）と接触していることを状態データから検出するとき、外科手術ロボットシステムが、通電された器具を通電するのに安全でない状態にあることを検出するように構成されうる。

たとえば、画像解析手段が、モーションヒストリーイメージング（ＭＨＩ）処理によって、ＭＨＩ画像情報を生成し、ＭＨＩ画像情報を解析して、障害物が動いているか否か、障害物の移動速度が一定の速度であるか否か、障害物の動きに規則性があるか否かを判定しているが、モーションヒストリーイメージング処理によって、ＭＨＩ画像情報を生成し、ＭＨＩ画像情報を解析して、障害物が動いているか否か、障害物の移動速度が一定の速度であるか否か、障害物の動きに規則性があるか否かを判定することは必ずしも必要でなく、他の方法によって、障害物が動いているか否か、障害物の移動速度が一定の速度であるか否か、障害物の動きに規則性があるか否かを判定するようにしてもよい。

他の実施形態では、互いに至近に配置される歯科治療ユニット及び患者用椅子を備える歯科治療装置であり、この装置には、歯科治療器具用の処置アーム、表示画面等の歯科環境で用いられる他の何らかの機器又はデバイスを保持するアーム、の少なくとも一方が構造的に接続され、この歯科治療装置は、歯科治療ユニットの少なくとも物理的に至近に配置されてアクチュエータによって移動させられるように配置される少なくとも１つのアーム部を備え、このアーム部には、Ｘ線源及び画像情報受信機が互いに離れて配置され、この装置では、撮像手段を担持するように配置されるアーム部と患者用椅子とは、アーム部が患者用椅子の実質的に上方にあるか又は位置決め可能であるように互いに対して配設されてもよい。

他の実施形態に係るロボットシステムは、判定対象行動設定部、行動情報取得部、発話情報取得部、記憶判定部、修正行動情報生成部、および出力部を備えてもよく、判定対象行動設定部は、対象者の記憶を判定する対象となる判定対象行動を設定し、行動情報取得部は、判定対象行動に関する対象者の行動情報を取得し、発話情報取得部は、判定対象行動に対する対象者の発話情報を取得し、記憶判定部は、発話情報が、行動情報と一致するか否かを判断して、発話情報が一致しない場合、対象者が対象者の記憶から行動情報を引き出すことができないと判定し、発話情報が一致する場合、対象者が対象者の記憶から行動情報を引き出すことができると判定し、記憶判定部が、対象者の記憶から対象者が行動情報を引き出すことができないと判定した場合、修正行動情報生成部は、対象者が行った行動情報を、対象者以外の者が行ったという情報に変更した修正行動情報を生成し、出力部は、修正行動情報を出力することを特徴としてもよい。

他の実施形態に係るロボットシステムはコマンド出力部をさらに備えてもよく、第２行動を指定する操作が入力された場合、画像出力部は、第２行動の実行または予約を指定させるための問い合わせ画像を表示部に出力し、コマンド出力部は、問い合わせ画像の表示中に実行を指定する操作が入力された場合、第２行動を車両に実行させるためのコマンドを第１のタイミングにおいて自動運転制御部に出力し、問い合わせ画像の表示中に予約を指定する操作が入力された場合、第１のタイミングより後の第２のタイミングにおいてコマンドを自動運転制御部に出力するしてもよい。

他の実施形態に係るロボットシステムは行動候補決定部をさらに備えてもよく、行動候補決定部は、検出情報入力部から現在取得される検出情報に基づく複数の環境パラメータの値と診療履歴をもとに、過去の類似の診療環境下において歯科医が実行した行動の実績値が第３閾値以下の行動を、実行不可行動として選択し、画像生成部は、歯科医の規定の行動を表す複数の第１画像を生成し、当該規定の行動の内、行動候補決定部において実行不可行動として選択された行動の第１画像を実行不可を示す表示態様で生成し、画像出力部は、生成された複数の第１画像を表示部に出力することとしてもよい。

他の実施形態に係るロボットシステムは認識結果提示装置を備えてもよく、当該認識結果提示装置において、提示部は、認識対象が存在する方向へ光を照射する光照射部を含み、提示方法決定部は、危険度判定部によって第１の危険度であると判定された場合の光の色と、危険度判定部によって第２の危険度であると判定された場合の光の色とを異ならせてもよい。

他の実施形態に係るロボットシステムは発行部を備えてもよく、発光部は、不可視光の照射によって発光し、対象物に係る各種情報を含む蛍光情報部であり、検出部は、不可視光画像の中の蛍光情報部に基づき対象物に関する各種情報を読取る情報読取部を有し、ロボット制御部は、情報読取部により読取られた対象物に関する各種情報に応じたロボットの動作を制御することとしてもよい。

また、他の実施形態に係る画像処理は、平面推定部によって推定された推定平面と垂直な方向である第一方向にカメラの光軸の方向を合わせるようにカメラを方向付ける方向決定部を備え、輪郭推定部は、光軸が第一方向に方向付けられたカメラが物品を撮像した第三画像に写し出される物品の輪郭を、記憶部に記憶される物品の形状を用いて推定してもよい。

また、例えば、提示方法決定部によってレーザ光を赤色にする提示方法に決定された場合、レーザ照射部は、人物検出部によって検出された第１の危険度の人物（認識対象）が存在する位置の地面に向けて、赤色の所定の形状のレーザ光を照射してもよい。

また、他の実施形態に係るロボットシステムのロボットは、人間と相互作用することによって相互に意思疎通するロボットであって、ロボット周辺の映像を取得するカメラと、ロボット周辺の音を取得するマイクと、ロボットが人間に触れられていることを検知するセンサと、外部の充電器から電力を充電し、ロボットに電力を供給する電源と、処理部と、を備え、処理部は、取得された映像及び取得された音のいずれかに基づいて、ロボットが相互作用している対象者が、子供及び大人であるか又は子供のみであるかを判断し、取得された映像、取得された音及びセンサの検知結果のいずれかに基づいて、ロボットが相互作用している対象者との相互作用量を検出し、ロボットが相互作用している対象者が子供及び大人であり、且つ、相互作用量が閾値以上である場合は、ロボットに対して、ロボットが子供と継続して相互作用するか否かを大人に確認するための第１処理を実行させ、ロボットが相互作用している対象者が子供及び大人であり、且つ、相互作用量が閾値未満である場合は、ロボットに対して、大人及び子供が継続してロボットに相互作用することを大人にリクエストするための第２処理を実行させ、ロボットが相互作用している対象者が子供のみであり、且つ、相互作用量が閾値以上である場合は、ロボットに対して、ロボットが子供と相互作用することをやめるための第３処理を実行させ、ロボットが相互作用している対象者が子供のみであり、且つ、相互作用量が閾値未満である場合は、ロボットに対して、子供が継続してロボットに相互作用するように子供を誘導するための処理を実行させてもよい。

また、他の実施形態に係るロボットシステムのロボットは、担当領域に対するタスクを実行中に受信ステップで受信したロボット群それぞれのロボット情報を記憶するためのメモリを有し、ロボット群それぞれのロボット情報は、さらに、ロボットが受信ステップで受信した時刻を示す時間情報を含み、選択処理ステップでは、複数のロボットのうち第１ロボットと現在通信可能および過去通信可能であった第１ロボット以外の複数のロボットであるロボット群の中から支援対象のロボットを選択し、残タスク取得ステップでは、さらに、メモリに記憶されているロボットと過去通信可能であった複数のロボットのうちの少なくとも一のロボット情報および時間情報と、ロボットの現在位置とを用いて、ロボットが少なくとも一それぞれまで移動した時点での少なくとも一それぞれの残りタスクを推定することで、少なくとも一を含むロボット群の各ロボットの残りタスクを取得するとしてもよい。

また、選択処理ステップでは、さらに、担当領域に対するタスクを完了した場合、かつ、担当領域の中に存在するロボットがロボット群の中から支援対象ロボットを選択できないとき、ロボットが担当領域の外に移動する領域外移動ステップを含み、受信ステップでは、さらに、領域外移動ステップでロボットが移動中に複数のロボットのうちロボット群以外のロボットと通信可能となったときに、ロボットはロボット群以外のロボットから現在位置を示す位置情報およびタスクの進捗状況を示すタスク情報を含むロボット情報を受信し、残タスク取得ステップでは、さらに、ロボットが、ロボットの現在位置と受信ステップで受信したロボット群以外のロボットのロボット情報とを用いて、ロボットがロボット群以外のロボットの現在位置まで移動した時点での残りタスクを取得し、選択ステップでは、さらに、ロボットが、残タスク取得ステップで取得した残りタスクに基づいて、ロボット群以外のロボットを支援対象のロボットとして選択するとしてもよい。

また、ロボットは、担当領域に対するタスクを実行中に受信ステップで受信したロボット群それぞれのロボット情報を記憶するためのメモリを有し、ロボット群それぞれのロボット情報は、さらに、ロボットが受信ステップで受信した時刻を示す時間情報を含み、選択処理ステップでは、さらに、ロボットが、メモリに記憶されているロボット情報の少なくとも一を、担当領域に対するタスクを完了した時点を基準とした所定期間外に受信していた場合、ロボットが担当領域内を移動する領域内移動ステップを含み、受信ステップでは、さらに、領域内移動ステップでロボットが移動中に少なくとも一に対応するロボットと通信可能となったときに、ロボットはロボット情報の少なくとも一を受信し、残タスク取得ステップでは、少なくとも一に対応するロボットを含むロボット群の各ロボットの残りタスクを取得するとしてもよい。

また、他の実施形態に係るロボットシステムは移動制御装置を備えてもよく、当該移動制御装置は、それぞれ割り当てられた担当領域に対するタスクを実行する自律移動型の複数のロボットで構成されるロボットシステムにおけるロボットの移動制御装置であって、ロボットに割り当てられた担当領域に対するタスクを完了した場合、複数のロボットのうち、ロボットと通信可能であるロボット以外の複数のロボットであるロボット群の中から支援対象のロボットを選択する選択処理部と、ロボットに、選択処理により選択した支援対象のロボットであるロボットに割り当てられた担当領域に移動を開始させる移動制御部と、担当領域への移動中に、複数のロボットのうちロボットと新たに通信可能になった場合、支援対象のロボットをロボットに変更するか否かを判定する変更判定部とを備え、移動制御部は、さらに、変更判定部において支援対象のロボットをロボットに変更すると判定された場合、ロボットに、ロボットに割り当てられた担当領域に移動を開始させる。

上記した他の実施形態によれば、ロボットアームと、ロボットアームが取り付けられたロボット本体とを有するロボット機構部と、移動体又は動物又は人の３つの物体のうちいずれか又は複数の物体を認識する物体認識部と、ロボット機構部の一部を用いて遮蔽動作を行わせることにより、物体認識部で認識された物体のロボット機構部の作業空間への侵入を遮りつつ、ロボット機構部のロボットアームによる作業を行わせるようにロボット機構部を制御する制御部とを備え、制御部は、物体認識部で認識された物体とロボット機構部の作業空間との相対位置関係に応じて、遮蔽動作を行う位置や遮蔽動作の種類を変えて遮蔽動作を行うようにロボット機構部を制御するロボットシステムを提供する。

他の実施形態に係るロボットシステムは、周囲の環境を検知するセンサ部と、顔画像を表示する表示部と、を備えたロボットを制御するロボットシステムであって、センサ部による検知結果を示す出力値が所定の範囲から外れると、センサ部からの出力値に応じた行動をユーザに促す表情の顔画像を表示部に表示させる表示制御部と、出力値、及び、出力値が所定の範囲から外れてからの経過時間の少なくとも一方に基づいて、行動をユーザに促す度合いを設定する度合い設定部と、を備え、表示制御部は、設定された度合いに応じた表情の顔画像を表示部に表示させることとしてもよい。

他の実施形態に係るロボットシステムは機械学習装置を備えてもよく、当該機械学習装置は、学習部による影響度の学習後において、ロボットの取り出し動作前の画像データが撮像装置から出力された場合、当該画像データに基づき容器内での複数のワークのバラ積み状況を認識し、ハンド部によって容器から各ワークを取り出すときのロボットの行動パターンとして、影響度が最小となる行動パターンを、ワーク毎に決定する行動決定部を、更に備える構成であってもよい。

また、他の実施形態に係るロボットシステムのロボットの直接入力実行処理プログラムは、登録されているプログラムにない動作をロボットに行わせるためのものであり、ユーザによって各軸の角度が直接入力された場合に、その入力された値に従った動作を行わせるためのものである。なお、ロボットの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより音源の方向の推定、障害物の推定、直接音か反射音かの判別、地図情報の生成等の処理を行ってもよい。

そして、自律行動するロボットは、収録した音響信号が反射音である場合は、第１の方向に進むように制御し、収録した音響信号が直接音である場合は、第１の方向とは異なる音源の方向である第２の方向に進むように制御する。

また、他の実施形態に係るロボットシステムのワイヤレスイヤホンは、操作ボタンを備え、視覚障害者による操作ボタンの押下を検出し、押下の操作信号をスマートフォンに供給してもよい。ワイヤレスイヤホンは、例えばBluetooth（登録商標）などの近距離無線通信によってスマートフォンからの音声信号を受信し、音として出力する。

また、他の実施形態に係るロボットシステムの通知情報の作成については、例えば、予め登録されている複数のフォーマットのいずれかに対して話題情報を当てはめることにより作成されてもよいし、あるいは、ニューラルネットワークやディープラーニングなどの公知の機械学習技術を採用することにより、より自然な対話を成立させるためのシナリオを作成してもよい。例えば、モデルは、ユーザが発する音声の癖等を予め学習したモデルであってもよいし、例えばディープラーニング等の各種学習技術によって学習が継続的に行われるものであってもよい。なお、判定部が用いる学習済みモデルは、教師無し学習を行うことによって生成されてもよいし、ディープラーニングを用いた機械学習で生成されてもよい。サーバは、これらの特徴情報に基づいて、ディープラーニング等の既知の手法によりユーザ検出を行ってもよい。特徴抽出によるクラスタの形成（クラスタ分析）と、特徴抽出にともなうクラスタへの当てはめ（ディープラーニング）は同時並行的に実行されてもよい。

また、他の実施形態に係るロボットシステムのソフトウェアの制御により、再生されるべき複数の音声データと、そのセリフのテキストを含む複数の字幕テキストデータがあらかじめ関連付けられたデータベースが設けられている場合には、公知の音声認識技術を用いて音声テキストを生成する代わりに、そのデータベースを用いて動画データから抽出された音声に関連付けられた字幕テキストデータを音声テキストとして取得してもよい。音声認識部は、入力された音響信号から、人の発話音声がある区間の音響信号を人の発話音声の音声信号として得て、得られた人の発話音声の音声信号に対して音声認識技術を適用することでユーザの発話内容を表すテキストを得る構成としてもよい。

本開示では、人型や動物型のロボットを想定しているが、音声対話ロボットの形状は任意に設計可能であり、アクチュエータは、音声対話ロボットの物理的な動作に広く用いることができる。近年、このような人型または動物型ロボットにおいては、ＡＩの研究目的の対象にとどまらず、所謂「人間のパートナー」としての将来的な利用が考えられている。ロボットは、少なくとも頭部を含む人型ロボットで構成されてもよいし、動物型ロボットで構成されてもよい。

例えば、データ処理モジュールは、画像を処理して、動作（例えば、歩く、座る、物をつかむ、ドアを開ける、犬を可愛がる、物を取るなど）、ジェスチャ（例えば、右手を振る、左手を振る、うなずく、腕をひねるなど）、身体部分（例えば、顔、手、腕など）、顔の表情（例えば、笑う、しかめる、泣く、驚く、怒るなど）、体位（例えば、両足で立つ、左足で立つ、右足で立つ、仰臥、伏臥、右側横臥、左側横臥など）、身体的外見（例えば、発疹などの皮膚の状態、たるんだ顔、衣服など）、物体（例えば、茶碗、犬、猫、スーツケース、鍵など）を認識してもよい。

また、他の実施形態に係るロボットシステムにおいて、画像に基づいて監視カメラに近接する近接物（指又は掌）を認識する近接物認識部と、画像から、相対的に解像度が高い高解像度画像と、相対的に解像度が低い低解像度画像と、を生成する画像処理部と、を更に備え、顔認識部と姿勢認識部は、高解像度画像に基づいて認識を行い、近接物認識部は、低解像度画像に基づいて認識を行ってもよい。

他の実施形態に係るロボットシステムは撮影顔画像候補識別部（撮像画像候補識別手段）を備えてもよく、当該撮影顔画像候補識別部（撮像画像候補識別手段）は、固有顔画像データ取得部と、ＲＦＩＤ識別番号取得部と、グループ作成部とを制御すると共に、顔認識部から出力される特徴パラメータと、固有顔画像データ取得部で取得された固有顔画像データの特徴パラメータとの差が所定のしきい値以下であるかどうかを判定し、しきい値以下である場合に顔確度を算出してもよい。

一方、肌色抽出部により撮影画像から顔判定領域が検出されなかった場合、顔判定部は、撮影画像内に矩形の顔判定領域を設定し、Ｈａａｒ－Ｌｉｋｅ特徴を用いてその顔判定領域が顔を表すか否かを判定し、撮影画像の全体に亘って顔判定領域を走査し、判定を繰り返してもよい。この場合、主制御部は、この行動制御コマンドに加え、所定の表情（例えば、驚いた顔、悲しい顔など）を再現する座標にある表示部の複数の発光ダイオードを点灯するための行動制御コマンドと、所定の音声（例えば、「おっとっと」、「危ない、危ない」、「何かありそう」など）をロボットに発話させる行動制御コマンドとを、それぞれ、表示制御部と音声制御部とに出力してもよい。

なお、他の実施形態に係るロボットシステムのロボットにおいて、音声を出力するスピーカと、情報を表示するディスプレイと、をさらに備え、ロボットを充電台に移動させて欲しいことを示す行動は、ロボットを充電台に移動させて欲しいことを示す音声を、スピーカから出力すること、及び、ロボットを充電台に移動させて欲しいことを示す情報をディスプレイに表示すること、の少なくともいずれか一つを含んでいてもよい。

また、他の実施形態に係るロボットシステムのロボットにおいて、音声を出力するスピーカと、情報を表示するディスプレイと、をさらに備え、ロボットがユーザに近づいたことを喜ぶ行動は、ロボットがユーザに近づいたことを喜ぶことを示す音声を、スピーカから出力すること、及び、ロボットがユーザに近づいたことを喜ぶことを示す情報をディスプレイに表示すること、の少なくともいずれか一つを含んでいてもよい。

また、他の実施形態に係るロボットシステムのロボットにおいて、音声を出力するスピーカと、情報を表示するディスプレイと、ロボット周辺の音を取得するマイクと、をさらに備え、ユーザとの対話を誘発する行動は、ユーザとの対話を誘発する音声をスピーカから出力すること、ディスプレイをユーザに向けること、及び、マイクをユーザに向けること、の少なくともいずれか一つを含んでいてもよい。

また、他の実施形態に係るロボットシステムのロボットにおいて、更に、ディスプレイを備え、処理部は、制御部を含み、処理は、制御部がディスプレイを子供に向けること、及び、ディスプレイに、装置の表情が、両目及び口によってシンボリックに表された表示を表示することを含み、表示は、装置の表情を示し、表情は、悲しみ又は苦しみに対応してもよい。

また、他の実施形態に係るロボットシステムにおいて、更に、ディスプレイを備え、処理部は、制御部を含み、処理は、制御部がディスプレイを大人に向けること、及び、ディスプレイに、装置の行動が両目及び口によってシンボリックに表された表示を表示することを含み、表示は、装置が質問している行動を示してもよい。

１０ ロボットシステム
２０ コンピュータ（制御部）
２０ａ 通信インターフェース
２０ｂ ＲＯＭ（Read Only Memory）
２０ｃ ＲＡＭ（Random Access Memory）
２０ｄ 記憶部
２０ｅ ＣＰＵ（Central Processing Unit）
２１ コンピュータ本体
２２ ディスプレイ
２３ キーボード
２４ プリンタ
２５ スピーカ
２６ スキャナ
２７ ネットワーク
３０ 監視カメラ
３１ ケーブル
３２ ケーブル
４０ 診療装置
５０ ロボット
５１ 可動部（腕部）
５２ 脈拍測定機
５３ 体温測定機
５４ 血圧測定機
５５ 給水部
５６ 水受け部
５７ コップ
５８ コップ台
５９ 顔ディスプレイ部（表示部）
６０ スピーカ部
６１ マイク部
６２ 腹部
６３ 胸部
７０ 患者
８０ 診療デーブル
８１ 診療器具
８２ インスツルメントホルダ
８３ 診療用ディスプレイ
８４ フットスイッチ
８５ 照明装置（照射部）
８６ 骨伝導ワイヤレスイヤホン（音声出力部）
１００ 画像取得部
１１０ 認識部
１２０ 行動判定部
１２１ 学習モデル
１３０ 音声出力部
１４０ 測定値取得部
１５０ 精神状態判定部
１６０ 表示制御部
１７０ 制御部
１７１ 照射制御部
１７２ 可動制御部

Claims (12)

1. 歯科医を支援するロボットシステムであって、
   患者、歯科医、および歯科技工士を被写体として認識し、前記歯科医および前記歯科技工士の前記患者に対する治療行動を認識可能とする認識部と、
   前記認識部が認識した前記治療行動に対して、画像処理によって、危険な行動であるか否かを判定する行動判定部と、
   前記行動判定部の判定結果に基づく音声出力を、前記歯科医および前記歯科技工士にのみ伝える音声出力部と、
   前記患者、前記歯科医、および前記歯科技工士の発する音声に基づいて、前記患者の口腔領域に対して光を照射する照射部と、前記患者の口腔領域外において前記患者に触れることを可能とする可動部と、を制御する制御部と、
   を備えるロボットシステム。
2. 前記行動判定部は、前記歯科医および前記歯科技工士の危険行動を表す画像データを予め学習する学習モデルを備え、前記学習モデルを用いて前記認識部が認識した前記治療行動が危険な行動か否かを判定するものであることを特徴とする請求項１記載のロボットシステム。
3. 前記学習モデルは、ディープラーニングにより予め学習されることを特徴とする請求項２記載のロボットシステム。
4. 前記可動部はロボットの腕であり、
   前記制御部は、前記照射部が照射する光の強さおよび色を制御し、前記可動部である前記ロボットの腕の動きを制御することを特徴とするとする請求項１乃至３の何れか一項記載のロボットシステム。
5. 前記ロボットの腕には、脈拍測定機、体温測定機、および血圧測定機のうち少なくともいずれかが備えられ、
   取得された前記患者の脈拍、体温、および血圧のうち少なくとも一つの測定値に基づいて、前記患者の治療中の精神状態を判定する精神状態判定部を備えることを特徴とする請求項４記載のロボットシステム。
6. 前記ロボットは擬人化された外形、若しくは動物を模した外形を備え、
   前記ロボットの顔に表示部を備え、
   前記精神状態判定部の判定結果にあわせて、前記表示部に現れる前記ロボットの表情が変化することを特徴とする請求項５記載のロボットシステム。
7. 前記ロボットの手に給水する給水部を備え、
   前記ロボットの前記手とは異なる手に前記患者が吐出した水を受けるための水受け部を備え、
   前記患者は、前記ロボットの胸部から腹部にかけて座ることを特徴とする請求項４乃至６のいずれか一項記載のロボットシステム。
8. 前記制御部は、前記ロボットの腕が前記口腔領域内に触れないように制御することを特徴とする請求項４乃至７の何れか一項記載のロボットシステム。
9. 前記音声出力部は、前記歯科医および前記歯科技工士に付帯されるワイヤレスイヤホンであることを特徴とする請求項１乃至８の何れか一項記載のロボットシステム。
10. 前記ワイヤレスイヤホンは、骨伝導イヤホンであることを特徴とする請求項９記載のロボットシステム。
11. 前記治療行動は、歯科医、および歯科技工士の歯科診療ガイドラインに沿って行われるものであることを特徴とする請求項１乃至１０の何れか一項記載のロボットシステム。
12. 前記ロボットシステムは、患者が座る椅子が人型ロボットの形状であることを特徴とする請求項１乃至１１の何れか一項記載のロボットシステム。
    

Images