JP7026105B2 - サービス提供システム - Google Patents

Description

本発明は、移動可能なロボットを用いたサービス提供システムに関する。

近年、人型ロボットを介護の分野で利用することが検討されており、サービス需要者へのレクリエーションに利用された例がある。人間の感情を理解し、簡単な会話ができる人型ロボットを活用することで、更なるヒーリング効果が期待されている。

なお、本発明に関連する技術として、防犯や介護のためのロボットなどが知られる（例えば特許文献１乃至４参照。）。

国際公開第１５／０９３３８２号パンフレット 特開２００８－２５０６３９号公報 特開２００７－１５６６８９号公報 国際公開第１５／１４５５４３号パンフレット

上述したように、ロボットの介護分野への応用が試みられているが、そのほとんどが単機能であったり、その運用において職員の補助を必要としたりする。つまり、予めプログラムされた特定の機能においては、介護職員の負担軽減に役に立ってはいるが、それだけではロボットの運用コストに比べて十分な負担軽減の効果があるとは言えない。

介護施設においては、サービス需要者各個人に応じたパーソナルケアが重要であり、それが職員にとって負担になっている。たとえば、そのようなケアを実現するために、職員は教育や経験を通じて、つまり時間をかけてスキルを獲得する必要がある。また、夜間勤務も職員にとって大きな負担となり得る。夜間は限られた人数で対応する場合が多く、徘徊等の見守り業務について、負担軽減が望まれている。

本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。

本発明は、移動型のロボットと、前記ロボットと協働する支援装置とを備え、複数のサービスを提供するサービス提供システムであって、前記複数のサービスの運用を管理し、所定の条件で運用するサービスを切り換えるサービス制御部と、前記ロボットに備わるカメラで撮影した前記サービスの需要者の映像をもとに、前記需要者を識別する識別部と、人物の特徴量を識別要素として記録し、前記識別部による前記需要者の識別の処理において取得した映像から得られる特徴量として、マスク又はサングラスの装着・非装着時の顔の特徴量、又は歩容解析に関する特徴量をディープラーニングによって抽出して前記識別要素に反映させた上で、前記需要者の登録を行う登録部と、前記ロボットに備わり、前記登録の際に登録操作を受け付ける入力インタフェースと、前記識別された前記需要者に応じた応答を行う応答部と、前記サービスの運用状況及び前記識別の実行結果を、所定の条件のもと、前記サービスの提供者の端末に通知する通知部と、を備え、人物毎に複数の前記特徴量が群として登録され、前記特徴量には、照合対象との間の類似度の平均値である類似推定度、又は前記群の中で当該特徴量が照合結果に寄与した割合であるヒット率、が対応して、登録日と共に登録され、前記群において、前記類似推定度又は前記ヒット率が高くなるように前記特徴量の更新動作が行われ、当該更新動作は、更新前の前記特徴量の前記類似推定度が前記類似推定度について定められた閾値以下であり、かつ更新後の前記特徴量と更新前の前記特徴量における顔の向きの差が所定の値以下である場合、又は、更新前の前記特徴量の前記ヒット率が前記ヒット率について定められた閾値以下であり、かつ更新前の前記特徴量の前記登録日から所定経過が経過している場合、において、行われる。
前記需要者に関する情報を保持するパーソナルデータ保持部を備え、前記サービス制御部は、前記識別部で識別された前記需要者に関する情報を、前記パーソナルデータ保持部を参照して、前記需要者に適したサービスを提供してもよい。

本発明によると、介護等のサービスを提供する際に、サービス提供側の負担を軽減することができる。

実施形態に係る、介護サービス提供システムの構成を概略的に示した機能ブロック図である。 実施形態に係る、ロボットとサーバの構成を示す機能ブロック図である。 実施形態に係る、手動顔登録の処理のフローを説明する図である。 実施形態に係る、自動顔登録処理の概念図である。 実施形態に係る、自動顔登録のフローチャートである。 実施形態に係る、複数のアプリの切り替えによるマルチロール運用の概念図である。 実施形態に係る、図６の用途１の概略処理のフローチャートである。 実施形態に係る、図６の用途２の概略処理のフローチャートである。 実施形態に係る、図６の用途３の概略処理のフローチャートである。 実施形態に係る、介護サービス提供システムで実現する各種機能例を纏めて示すテーブルである。 実施形態に係る、「３．個人昔話語り掛け機能」の実行時のイメージ図である。 実施形態に係る、「４．個人向けリハビリ体操指導機能」の実行時のイメージ図である。 実施形態に係る、「５．個人メンタル診断機能」の実行時のイメージ図である。 実施形態に係る、「６．夜間見守り機能」の実行時のイメージ図である。 実施形態に係る、「７．夜間外出管理機能」の実行時のイメージ図である。 実施形態に係る、「１０．職員教育支援機能」の実行時のイメージ図である。

次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。

本実施形態では、介護サービス等を提供するシステムにおいて、ライブ顔照合（ＬＦＭ）によってロボットが各人を識別することにより、各種のアプリケーションを実行し、サービス提供側の職員の負担軽減とサービス向上（パーソナルケアの充実）の両方を同時に実現するものである。ロボットがより多くのタスクをこなすことにより、職員の負担軽減を実現する。例えば個人のスケジュール管理、メンタル管理、夜間の見守り等により負担軽減を図り、ロボットを用いたパーソナルケアをより充実させる。以下、詳細に説明する。

図１は、本実施形態の介護サービス提供システム１の構成を概略的に示した機能ブロック図である。図２は、ロボット２とサーバ４の構成を示す機能ブロック図である。

介護サービス提供システム１は、ロボット２と、ネットワーク３と、サーバ４と、情報端末５と、外部サーバ６とを有する。なお、図２では、ネットワーク３を省略して示している。

ロボット２は、例えば人型のロボットであり、介護施設やデイケアセンター等の施設内（主に館内）で、各種のサービス提供を行ったり、職員のサービス提供のサポートを行ったりする。具体的には、ロボット２は、人間との間のコミュニケーション要素に対応するインタフェース（センサ）として、顔９３の向きや手９１、足９２等を運動させる挙動部２１と、相手を撮影するカメラ２２と、相手の話す声を選択的にピックアップするマイク群２３と、音声を発声するスピーカ２４と、タッチディスプレイ２５とを備える。更に、それらを通じた相手への応答を指示制御する応答動作入力部２６と、それらを通じて得られた相手の応答を、所定の形式の情報として出力する応答動作出力部２７と、を備える。また各センサで得られた信号を扱いやすいデータとして出力するようなインタフェースとして、音声出力部２９、音声入力部３０、映像出力部３１と備える。

ネットワーク３は、ロボット２、サーバ４、情報端末５及び外部サーバ６との間を通信可能に接続するものであり、例えば、無線ＬＡＮ（Local Area Network）が利用できる。

サーバ４は、顔照合や、複数の業務（タスク）のプログラム（ワークフロー）などを、ロボット２のバックエンド（すなわち、支援装置）として実行する。サーバ４は、ワークフローエンジン４１（以下、「ＷＦエンジン４１」と称する。）と、音声処理エンジン７０と、画像処理エンジン８０と、データベース部９０とを備える。

音声処理エンジン７０は、ノイズキャンセラ７１と、音声認識部７２と、特定会話エンジン７３と、翻訳エンジン７４とを備える。ノイズキャンセラ７１は、マイク群２３で取得した音声データのノイズを除去し、クリアーな音声データを音声認識部７２に出力する。音声認識部７２は、人の話し言葉を認識する。認識手法としては、公知の技術、例えば統計的手法や動的時間伸縮法を用いることができる。特定会話エンジン７３は、ロボット２のスピーカ２４から出力すべき会話（言葉）を合成し、音声データとしてロボット２へ出力する。翻訳エンジン７４は、設定されている言語と異なる言語を認識する場合に、翻訳を実行する。

画像処理エンジン８０は、顔検出器（＃１）４６ａと、顔検出器（＃２）４６ｂと、顔登録部４７と、顔照合部４９と、人物検出部５０と、人物判定部５１とを備える。

データベース部９０は、顔ＤＢ４８と、顔照合部４９とを備える。

サーバ４は、PaaS、IaaSなどのクラウドサービスの様に、データセンタなどに集約して設けられることができ、あるいは、エッジヘビーコンピューティングを実現するオンプレミスのサーバとしてもよい。またＷＦエンジン４１は、介護サービス提供システム１を統括的に制御し、かつ、他の構成要素と協同で各種アプリケーションを実行するものであって、その一部または全部をロボット２の内部に設けることができる。

顔検出器（＃１）４６ａ、顔検出器（＃２）４６ｂは、映像出力部３１から取得した画像に対して、例えばJoint Haar-like特徴のExhaustive searchで顔検出処理を行い、検出した顔の画像、その特徴量及び各種の属性を所定のフォーマットで出力する。

顔検出や識別の処理は一般的に、固定サイズ（例えば５６×４８画素）の画像の所定の場所に顔が位置したときに最も良く判別されるように設計されているため、出力される顔画像は、切り出し位置やスケールが注意深く選ばれることが望ましい。

出力される属性には、原画像における画像サイズや位置、顔らしさの度合い、顔向きなどが含まれうる。出力される特徴量は、Joint Haar-like特徴そのもの、或いは弱識別器の出力などが利用でき、それらに加え、実測した本人の顔の３次元プロファイルがラベル付けされたJoint Haar-like特徴量を用いて学習させた学習機械の出力を使用することができる。

このように生成された３Ｄモデル特徴量は、現実の顔の立体的特徴を表現しうる。あるいはこのようなハンドデザインの特徴量に代えて、DeepFaceのような畳み込みニューラルネットの最終段の出力（活性化関数で処理される前の値である）を用いてもよい。顔検出器（＃１）４６ａは顔登録時、顔検出器（＃２）４６ｂが顔照合時の検出を担う点で異なるが、実質的には同じものであり、ロボット２の内部に備えられてもよい。

顔登録部４７は、顔検出器（＃１）４６ａからの顔特徴量を、人物ＩＤと対応付けて顔ＤＢ４８に登録する。人物ＩＤは、新規に登録される人物に対しては新たに自動的に付与されるが、既知の人物については、その人物の人物ＩＤを指定して登録することが求められる。また１つの人物ＩＤに対して登録できる顔特徴量の数には上限があり、Ｍ個（例えば６個）とする。

顔特徴量は、それが抽出された画像における顔の向きによって影響されるため、登録できるＭ個の顔には、異なる向きの顔を適切に選ぶことが推奨されうる。これらとは別に、顔ＤＢ４８は、人物ＩＤ毎に１つの代表特徴量を保持してもよい。例えば立体的特徴が利用できる場合、その成分のうち、顔向きに応じて信頼できる成分のみを寄せ集めることで、代表特徴量を合成することができる。

顔ＤＢ４８は、人物ＩＤ毎に、名前（呼び名）、登録日、識別回数（照合によって一致と判断された回数）、平均スコア、最新照合日、要更新フラグ（後述）、その他の属性を対応付けて記録することができ、顔特徴量毎に、顔画像、登録日、過去の照合での類似推定度、ヒット率などを記録することができる。類似推定度とは、ある人物が（最大Ｍ個の顔特徴量のいずれかによって）識別された時に、顔特徴量毎に、照合対象との間で算出される類似度を、平均化したものである。

ヒット率とは、ある人物についての顔特徴量のセットの中で、照合結果に寄与した割合を示す。寄与した割合は、例えば、識別回数のうちその顔特徴量が最も一致していた回数の割合として定義でき、或いは、その顔特徴量を用いずに残りの（すなわち（Ｍ－１）個組の）顔特徴量だけから合成した３Ｄ顔特徴量と、全て（すなわちＭ個組）の顔特徴量から得られた３Ｄ顔特徴量とのマハラノビス距離として定義できる。

顔ＤＢ４８はまた、更新の履歴を保持することができ、例えば自動顔登録（図３の説明で後述）で更新される前の記録を、再現可能に保持することができる。

顔照合部４９は、顔検出器（＃１）４６ａからの顔特徴量と同一人物と推定される顔特徴量を、顔ＤＢ４８の中から検索して、識別された人物ＩＤやその属性、人物の確からしさの値（スコア）などを出力する。なお顔照合部４９は、顔ＤＢ４８から読み出した記録を所定の人数分だけキャッシュすることができ、更新された最新照合日、平均スコア、ヒット率などの属性は適時、顔ＤＢ４８に書き戻される。

また映像出力部３１から取得した同じ画像から、顔照合部４９による照合と、人物判定器５１による類似検索が行われた場合などには、判明した人物ＩＤが、類似検索ＤＢ５２に提供され、顔ＤＢ４８と類似検索ＤＢ５２の間で記録の対応付けに利用される。また識別された人物ＩＤの記録で、要更新フラグが真に設定されているときは、照合に用いた顔検出器（＃１）４６ａからの顔特徴量と、識別された人物ＩＤ等が、類似検索ＤＢ５２に仮登録される。仮登録は、人物ＩＤによる一致検索だけが可能な様態で簡易に行われる。

本例では、顔検出器（＃１）４６ａ、顔ＤＢ４８、顔照合部４９によって、ＬＦＭが実現される。

人物検出器５０は、映像出力部３１から取得した画像に対して、人物検出処理を行う。人物検出器５０は最初に、カメラ２２の視野に相当する画像の中から、人物らしい領域（関心領域）を抽出するとともに追跡する。

最初の関心領域は、動きのある部分を検出するフレーム間差分法や、ステレオ視や飛行時間計測による距離画像で前景を検出する方法、ロボット２が備えるその他のセンサに支援される方法、或いは画素単位で類似する領域をグルーピングするセレクティブサーチの方法で、検出されうる。関心領域は、画像上の矩形領域として定義され、位置の類似性に基づいて、フレーム間で関心領域が関連付けられる。このとき、過度に大きい或いは小さい領域、持続性の乏しい領域は破棄される。このようにして、同一の被写体に由来する時系列画像を抽出する。

次に、人物検出器５０は、関心領域の時系列画像のサイズを正規化し、色ヒストグラム、ＣＳＳ（Color Self-Similarity）、ＨＯＧ（Histograms of Oriented Gradients）、ＨＯＦ（Histograms of Optical Flow）、ＤＯＴ(Dominant Orientation Templates)、ＭＢＨ（Motion Boundary Histogram）、Space Time Interest Point、Dense Trajectoryなどの特徴量を抽出する。

次に、人物検出器５０は、ブースティングや多層パーセプトロン、分離型格子隠れマルコフモデルなどの学習機械によって、その特徴量が人を意味するか否かを判別する。なお、この判別は、初期の関心領域だけでなく、その位置を少しずらした複数のバージョンの関心領域についても行われることが一般的である。

そして人と判別された場合、人物検出器５０は、例えばオートエンコーダを用いて、その特徴量を高々数千次元程度にまで次元圧縮し、人物特徴量として出力する。この特徴量は時系列画像から得られた時間的／空間的情報を含んでおり、顔の特徴だけでなく人の歩容などをも識別可能に表現しうる。

空間的情報に注目した場合、顔認識に特化した特徴量と異なり、眼鼻口などの個々の顔パーツの検出状況に過度に影響されないという性質がある。このため撮影環境の変化に対する耐性などにおいて、通常の顔認識とは異なる挙動を見せる。また、服装、携行物、その他人の像と一緒に映り込んだ車椅子、ベビーカー、歩行補助具なども、副次的に特徴量に取り込まれ得る。

オートエンコーダには、予めさまざまな人物の様々な動作や姿勢の画像を用いて学習させたものを用い、運用中には更新しない。次元圧縮は、オートエンコーダに限らず、部分空間法や、多次元尺度構成法（MDS）、Isomap、Locally Linear Embedding、Stochastic Neighbor Embedding、Semidefinite Embedding、Robust Euclidian Embedding、Diffusio n Map、Laplacian Eigenmapsなどの多様体学習手法が単体で或いはオートエンコーダと組合せて利用できる。多様体学習の手法を用いることで、人物特徴量空間上で、同一人物の特徴量が、他人のそれとは十分に離れたある一点に集約されやすくなる。人物特徴量は、後の距離計算を容易にするために、その軸の尺度が標準偏差などに基づいて正規化されることが望ましい。

人物判定器５１は、人物検出器５０からの人物特徴量を、類似検索ＤＢ５２から検索が容易になるようにクラスタリング及び／又は木構造化して、類似検索ＤＢ５２に登録する。クラスタのサイズは、検索において区別されるべきクラス（つまり個々の人物）より大きくても小さくてもよい。

この登録動作と平行して、人物判定器５１は、人物検出器５０から入力された特徴量によく類似する特徴量の登録を類似検索ＤＢ５２から検索して出力する動作を行うことができる。人物特徴量は、それが人物の全身像、顔、手のどれに由来するものかを区別可能な情報や、地理的場所、時刻情報などを含むことができ、もし有用であれば、それらも参照したクラスタリングが為される。クラスタの構造はLSH（Locality Sensitive Hashing）、ｋｄ木、NAQ木、M木、CM木、PM木、k 最近傍グラフ、MLR（Multi-Layer Ring-based）インデックスなどで表現でき、２つの特徴量の類似度は、その特徴量間の距離の近さによって表現できる。距離の計量には、マンハッタン距離、ユークリッド距離、ミンコフスキー距離などの１つまたは組合せが利用できる。

類似検索ＤＢ５２は、例えば非リレーショナルＤＢであり、クラスタに相当する複数のカラムストアと、クラスタの構造あるいはデータ間の構造を記述するグラフデータベースとを用いて実現されうる。非リレーショナルＤＢは通常、ロック機能やトランザクション処理を提供しないが、そのかわり高速に動作する。類似検索ＤＢ５２は、サーバ２に設けられる、１つ或いは複数のフラッシュメモリデバイスに保存される。フラッシュメモリデバイスとＣＰＵの間は、直接或いはコントローラを介して、“ＤＤＲ３”メモリバス或いは４本以上のＰＣＩ Ｅｘｐｒｅｓｓ（登録商標）バスによって接続されることが望ましい。

情報端末５は、ロボット２の運用のために介護職員などに携帯される端末（例えば、スマートフォンやタブレット端末）であり、ＷＦエンジン４１などで報知すべきと判断された情報などを表示したり、職員の操作を受付けてサーバ４に各種情報や応答を送信する。

外部サーバ６は、ビッグデータ分析や人工知能（ＡＩ）などの新しい機能を、クラウドサービスなどとして提供するサーバである。外部サーバ６は、どのような顔特徴量を組合せて用いると顔照合の精度が向上するかについて学習した学習ＡＩ部６１を有する。学習のアルゴリズムとしては、例えばFactorization Machinesなどが利用できる。オンライン学習をする場合、顔ＤＢ４８の更新履歴が、学習ＡＩ部６１に提供されうる。

次に、顔照合を利用する上で必要となる、顔登録アプリケーションの処理動作を説明する。顔登録には、サービス需要者の人物に意識的にロボット２に対面してもらって行う手動顔登録と、会話中などにロボット２の側で既知の顔を検知すると、現在の顔を追加的に登録する自動顔登録とがある。

図３に、本実施形態における手動顔登録の処理フローを示す。この処理は、主にＷＦエンジン４１によって実行され、サービス需要者（登録される本人）やサポート職員が、ロボット２のトーク（音声）及びタッチディスプレイ２５の表示に従って所定の動作を行うことにより進行する。以後、サービス需要者を登録者（registrant）とも呼ぶ。また手動登録された顔は以後、基本画像として顔ＤＢ４８に記憶される。

この処理のプログラムが開始すると、登録開始指示操作（Ｓ１）として、ＷＦエンジン４１は応答動作入力２６に対して、タッチディスプレイ２５に所定の表示を行うように指示するとともに、音声入力部３０に対して、スピーカ２４から発せられるべき音声の読上げデータを指示する。これにより、図示されるように、タッチディスプレイ２５には「登録」ボタンＢ１１が表示され、スピーカ２４からは「顔認証用の顔登録を行います。登録ボタンを押して下さい。」（Ｔ１）という音声が再生される。

つづいて、登録開始処理（Ｓ２）が行われる。スタート指示操作処理（Ｓ２Ａ）として、タッチディスプレイ２５上の「登録」ボタンＢ１１が押下されたことが、応答動作出力部２７を介してＷＦエンジン４１に伝えられるまで待機し、押下が伝えられ場合には次の顔撮影処理に進む。顔撮影通知処理（Ｓ２Ｂ）として、ＷＦエンジン４１は、図示されるように、タッチディスプレイ２５に「スタート」ボタンＢ２１を表示させ、スピーカ２４に「スタートボタンを押して、私の１ｍ前に立って下さい。３秒後に写真撮影が始まります。」（Ｔ２）という音声を再生させ、その後３秒待機する。

つぎに、顔撮影取得処理（Ｓ３）が行われる。まず、撮影実行処理（Ｓ３Ａ）として、ＷＦエンジン４１は、カメラ２２に、画像を２秒間隔で６枚撮影するように指示する。またこの間、スピーカ２４に「２秒毎に６枚撮影します。６枚表示されたら１枚選んで“ＯＫ”を押してください。」（Ｔ３）という音声を再生させる。そして、画像が撮影される都度、その画像をタッチディスプレイ２５に追加的に表示させる。図示では「顔１」画像Ｂ３１～「顔６」画像Ｂ３６が表示されて状態を示している。またＷＦエンジン４１は、撮影された画像を順次、映像出力部３１から出力させ、それを顔検出器４６ａに受信させ、顔検出を行わせる。画像選択処理（Ｓ３Ｂ）として、タッチディスプレイ２５に「ＯＫ」ボタンＢ３７を追加的に表示し、表示中の画像のいずれか１つを押下する操作及び「ＯＫ」ボタンＢ３７の押下操作を待つ。

続いて、名前入力処理（Ｓ４）として、ＷＦエンジン４１は、図示されるように、タッチディスプレイ２５に、選択された顔画像Ｂ４１（本例では「顔３」）と、登録者名の入力欄Ｂ４２と、入力するためのキーボードＢ４３と、「ＯＫ」ボタンＢ４４を再描画させ、また、スピーカ２４に「名前をカタカナで入力して下さい。入力が終わったらＯＫを押してください。」（Ｔ４）という音声を再生させ、「ＯＫ」ボタンＢ４４が押下されるまで待機する。

登録終了処理（Ｓ５）として、ＷＦエンジン４１は、図示されるように、タッチディスプレイ２５に「登録終了」ボタンＢ５１を表示させ、スピーカ２４に「登録終了しました。登録終了ボタンを押して下さい。」（Ｔ５）という音声を再生させる。また、選択された顔画像を基本画像として登録する処理を、顔登録部に行わせる。その結果、選択された画像の特徴量や、入力された登録者名や、時刻や、基本画像か否かの属性などが、独自の人物ＩＤと対応付けられて顔ＤＢに登録される。このとき、選択されなかった５個の画像も、同一人物の非基本画像として当該人物ＩＤと対応付けられて顔ＤＢに登録されうる。つまり顔ＤＢは、１人の人物に対し、所定の複数（本例では６つ）の顔を登録できる。これらを登録顔群と呼ぶ。また、登録顔の１つ１つは、照合に用いられた回数、類似推定度、識別回数（同一人物と判断された回数）などの照合の状況に関する属性を保持することができる。

図４及び図５を参照して自動顔登録処理について説明する。図４は、本実施形態における自動顔登録処理の概念図である。図５は自動顔登録のフローチャートである。

自動顔登録処理は、登録顔の登録から所定の日数が経過したり、登録者の顔照合時のスコアに低下の傾向が見られたりしたことを契機に開始され、バックグラウンドで自動的に動作する。この処理は、ＷＦエンジン４１によって実行されてもよい。本例の自動顔登録の基礎となる概念は、登録顔群の中で、相対的にヒット率の高い、或いは類似推定度の高いレコードは維持する一方、それが低いレコードは、新しい顔で更新するというものである。

例えば、図４では登録顔群４００に、顔画像（１）Ｐ０１～顔画像（１０）Ｐ１０・・・の特徴量が抽出されており、それぞれの特徴量にはヒット率（または類似推定度）が関連づけられている。図中では、各顔画像の下にヒット率（％）を示している。顔ＤＢ４８には、「登録１－１」Ｒ０１～「登録１－６」Ｒ０６に特徴量が記録される。ここで、「登録１－１」Ｒ０１には基本画像の特徴量（一般には初期登録時の特徴量）が登録される。また、「登録１－２」Ｒ０２～「登録１－６」Ｒ０６の５つには、上記の更新処理により自動追加される。例えば、登録顔群４００において、ヒット率が上位５位（ここではヒット率９１以上）の顔画像（１）Ｐ０１、顔画像（６）Ｐ０６、顔画像（８）Ｐ０８、顔画像（９）Ｐ０９、顔画像（１０）Ｐ１０の５つの特徴量に更新される。

図５を参照して自動顔登録処理のフローを説明する。まず、特徴量ソート処理（Ｓ１１）として、自動顔登録の対象とのなる人物ＩＤについて、各特徴量の記録を顔ＤＢ４８から読出し、対応するヒット率または類似推定度でソートする。そしてヒット率または類似推定度の最も低いものから順に１つ選択する。

つぎに、更新可否判断処理（Ｓ１２）として、選択された特徴量の記録が、更新されるべきか否かを判断する。それは例えば、ヒット率等がある閾値以下であり且つ登録日から所定期間以上経過していること、或いは、その記録の類似推定度がある閾値以下であり且つ顔向きの差が所定以内の他の記録があること、等の条件によって判断される。

特徴量検索処理（Ｓ１３）として、更新可否判断処理（Ｓ１２）において更新されるべきと判断された特徴量の記録が１つでもある場合、人物ＩＤと同一人物と思われる画像を、類似検索ＤＢ５２から検索して取り出す。その１つの方法は、類似検索ＤＢ５２の中から、当該人物ＩＤが付与されている記録を検索する方法である。類似検索ＤＢ５２に記録があっても、対応する画像が保持されていない或いは保持された画像が十分に鮮明な顔画像を含んでいない場合がある。そこで、顔ＤＢ４８の中の当該人物ＩＤについての要更新フラグを「真」にセットしたのち、所定時間後などに処理を再開する。

そのようにして人物ＩＤで検索された顔画像の数がまだ十分でない場合、類似検索処理（Ｓ１４）として、人物ＩＤ以外を検索条件（キー）にして、類似検索ＤＢ５２から、同一人物と推定される記録を類似検索する。キーは、当該人物ＩＤと対応付けられている類似検索ＤＢ５２中の記録の特徴量、顔ＤＢ４８に保持されている当該人物の顔画像から取り出した人物特徴量などが使用できる。これらの検索結果をキーにして再度類似検索を行うことを繰り返すと、結果的に変化にとんだ十分な数の顔画像を得ることができる。これらの類似検索結果とＳ１３の人物ＩＤ検索結果とを併せて、置換え先候補とする。

候補選択処理（Ｓ１５）として、置換え先候補の内のＮ個（Ｎ＜Ｍ）を選択するとともに、顔ＤＢ４８の記録の内の維持されるべきＭ－Ｎ個を選択する。これは一種の組合せ最適化問題であり、最小化すべき最適化関数（評価値）は、顔照合の不正確性である。顔照合の不正確性は、例えば誤認識率と認識漏れ率の積として定義でき、或いは、本人の顔画像で顔照合したときの類似度あるいはその関数であるスコアが高いほど小さくなり、顔特徴量空間上で最も距離の近い何人かの他人との類似度等が低いほど大きくなるように設計された任意の関数で定義できる。

組合せ最適化問題の計算には、周知の分枝限定法、局所探索法、量子アニーリング、或いは数理計画問題としての解法などが利用できる。あるいは、最適解にこだわらず、局所的な悪値から抜け出したり、特異な（局所）最適値があるときに辺縁からそこへ近づけさせることができるだけでもよい。Ｎ自体も最適化の対象になり得る。

最適化関数は、定義に近似させて、Ｍ個の顔向きと顔特徴量の関数として計算でき、例えば、外部サーバ６の学習ＡＩ部６１はそのような特異的な悪条件などを学習させた識別器やニューラルネットを有しており、人物判定器５１等から、置換え後のＭ個の顔向きと顔特徴量を引き数として渡すことで、学習ＡＩ部６１から関数値が出力されうる。或いはこのステップＳ１５の処理そのものを学習ＡＩ部６１が行ってもよい。特異的な悪条件は、オンライン学習が可能である。つまり実際に顔特徴量を更新した前後でのスコアの変化の内、特に有意のものを学習データとして用いることができる。

次に、本実施形態の１つの特徴である介護サービス提供システム１（ユーザ体験上ではロボット２）のマルチロール化について説明する。図６に複数のアプリの切り替えによるマルチロール運用の概念を示す。ここでは、用途１の介護、用途２のモード切替及び用途３の見守りの３つの運用について説明する。なお、図７～９はそれぞれ用途１～３の運用時の処理概要を示すフローチャートである。

用途１の介護の運用では、運用時間として当日の７：００～１７：００が設定されており、声掛け・挨拶機能や出欠管理機能が実行される。例えば、介護サービス提供システム１は、朝食時に食堂に出てくる人やデイサービスに出席した人への声掛けや、スケジュール情報の通知を行う。また、出欠をとり統計管理を行う。欠席者がいれば、担当者の情報端末５にその旨を通知する。

図７のフローチャートを参照して具体的に説明する。ロボット２は、人を認識すると、サーバ４と協同して、顔の検出（Ｓ２１）、顔照合（Ｓ２２）を行い、登録者（registra nt）を特定する。このとき年齢や性別も判別する（Ｓ２３）。ＷＦエンジン４１が処理を行い（Ｓ２４）、スピーカ２４やタッチディスプレイ２５を用いて応答する（Ｓ２５）。例えば、「おはよう、○○さん」といった挨拶や「今日は××時から体操の時間があるよ」といったスケジュール情報を連絡する。登録者を検出した場合、初回であればその登録者が出席した旨を職員の情報端末５に通知する（Ｓ２６）。また、ロボット２が認識した結果は、所定のＤＢに集計され、必要に応じて、指定されている時刻や所定時間毎（例えば、１時間毎）に、情報端末５に通知される（Ｓ２７）。

用途２のモード切換の運用では、運用時間として当日の１７：００～１７：３０が設定されており、運用を介護から見守りに変更する処理が行われ、ロボット２は所定位置に移動する。ロボット２が所定位置に着いたら、自動的にモードが次の運用に切換処理が行われたり、情報端末５に対してモード切換の準備が整った旨が通知される。

図８のフローチャートを参照して具体的に説明する。ＷＦエンジン４１による処理が実行され（Ｓ３１）、モード切換が開始する（Ｓ３２）。このとき、用途３へ移行するまでのスケジュールが取得される。その後、ロボット２が所定位置に移動する（Ｓ３３）。ロボット２が所定位置につくと、予めの設定に応じて所定位置に着いて直ぐに、または所定の時刻で自動的にモード切換が実行され（Ｓ３４）、次の運用である用途３（見守り）が開始する（Ｓ３５）。また、職員の情報端末５へ切換完了の通知がなされる。なお、モード切換は、モード切換準備完了した旨の通知を行い（Ｓ３６）、職員等の指示を受けて行われてもよい。

用途３の見守りの運用では、夜間見守り機能が実行され、廊下等で徘徊している登録者を識別し、名前で声掛けしたり、検出結果を職員の情報端末５へ通知する。

図９のフローチャートを参照して具体的に説明する。ロボット２は、人を認識すると、サーバ４と協同して、顔の検出（Ｓ４１）、顔照合（Ｓ４２）を行い、登録者を特定する。このとき年齢や性別も判別する（Ｓ４３）。ＷＦエンジン４１が処理を行い（Ｓ４４）、スピーカ２４やタッチディスプレイ２５を用いて応答する（Ｓ４５）。例えば、「○○さん、こんばんは、おでかけですか」といった挨拶を音声出力する。また、登録者を検出した場合、その旨を職員の情報端末５に通知され（Ｓ４６）、また、所定のＤＢに集計される（Ｓ４７）。このとき、情報端末５には、その登録者の登録されている写真、検出したときに撮影した画像、検出した時刻や場所等が表示される。職員は、その通知を見ることで、登録者の場所に駆けつけるといった素早い対応が可能となる。また、ＤＢに集計された情報をもとに、以降のその登録者に対する対応を検討することが効率的・効果的となる。

このように、移動可能なロボット２を活用することで、時間帯に応じて適当な場所に移動し、スケジュール（日中・夜間）に応じて二つの運用サポートを可能にする。当然、３つ以上の運用サポートも可能である。夜間の見守り時には、従来では、所定の位置にカメラを配置してシステムを実現していたため、運用に合わせて柔軟に配置を変えたりすることはできなかった。しかし、本実施形態の介護サービス提供システム１では、スケジュールデータを与えることで自動的に時間毎の配置を行い、機能を実現することができる。

図１０は介護サービス提供システム１で実現する各種機能例を纏めて示すテーブルである。ここでは、１０項の機能とそれぞれの目的・動作等を示している。

「１．声掛け・挨拶機能」では、上述したように、顔認識処理等によって登録者の個人を特定し、名前で挨拶する。その際に、出欠管理を行い、例えば、食堂へ出てきた登録者の出席者を把握することで、配膳係の情報端末５へ通知し、その登録者専用のメニューを用意するといったサービスを提供できる。また、欠席している場合、職員の情報端末５にその旨を通知することで、職員は欠席の登録者の部屋に様子を確認しに行く、という対応が可能となる。出欠確認の結果は、例えば、図示しない所定の履歴ＤＢや出欠管理ＤＢ等へ記録される。

「２．個人毎のスケジュール管理機能」では、上述したように、個人のスケジュールに基づいて、登録者へ行動を促したり、確認したりする。個人のスケジュールは、図示しないスケジュールＤＢに記録されている。管理項目としては、例えば、「薬を飲む時間」、「入浴時間」、「リハビリの時間」、「イベントの時間」等がある。

「３．個人昔話語り掛け機能」について、図１１にその機能実行時のイメージ図を示す。この機能では、登録者の個人の生い立ち、エピソード、人間関係等のパーソナル情報がパーソナルＤＢ５３に記録されている。それらパーソナル情報から選択して会話を作成しロボット２から音声出力する。

登録者との会話では、例えば、図示のように、「○○さん、昔話をしましょうか」（Ｔ３１）、「今日はどこから聞きたいですか？」（Ｔ３２）、「では、高校時代のお話をしましょうね」（Ｔ３３）といった、会話がなされる。パーソナルＤＢ５３には、例えば、プレゼンテーションソフトで作成したファイルを職員がアップロードし、会話時にタッチディスプレイ２５に表示させたり、そのコメント欄に記載されているテキストデータを音声変換して出力するといった処理がなされてもよい。

「４．個人向けリハビリ体操指導機能」について、図１２にその機能実行時のイメージ図を示す。この機能では、個人に適したメニューでリハビリを指導する。リハビリメニューの選択には、例えばパーソナルＤＢ５３に記録されている、登録者の体調に関する情報や、医師からの指導等が参照される。リハビリ履歴は、パーソナルＤＢ５３に記録され、リハビリ終了後、職員の情報端末５へ通知される。

登録者との会話では、例えば、図示のように、「○○さん、今日もリハビリ頑張りましょう」（Ｔ４１）、「今日は膝の屈伸からやりましょう」（Ｔ４２）、「はい、よくできました」（Ｔ４３）といった、会話がなされる。

「５．個人メンタル診断機能」について、図１３にその機能実行時のイメージ図を示す。この機能では、サーバ４に接続される外部のメンタル判定サーバ５５が、ロボット２からの映像、具体的には個人の動き全体等を見てメンタル診断を行う。診断結果は、ロボット２からその個人に通知され、また、パーソナルＤＢ５３に記録され、さらに、職員の情報端末５へ通知される。メンタル判定項目として、「攻撃性」「ストレス」「緊張」「疑心」「安定性」「カリスマ性」「活力」「自制心」「抑圧」「神経質」等がある。これらの診断結果の組み合わせによって、「アルツハイマー」「パーキンソン病」「鬱病」「パニック障害」等の診断が可能である。画像からメンタル判断を行う技術は、近年、各種提案されており、それら公知の技術を用いることができる。

登録者との会話では、例えば、図示のように、「○○さん、おはようございます。」（Ｔ５１）、「今日からメンタル診断を行います。前の席にお掛け下さい」（Ｔ５２）、「はい、ありがとうございました。少しストレスがあるようですね。」（Ｔ５３）といった、会話がなされる。

「６．夜間見守り機能」について、図１４にその機能実行時のイメージ図を示す。この機能では、廊下等を徘徊している個人を識別し、名前で特定する。その際に、ロボット２のみでなく、監視カメラ９９も併用してもよい。ある、個人の特定のたびに情報端末５へ通知してもよいし、一定時間以上経過してまた検出したら情報端末５へ通知するようにしてもよい。登録者との会話では、例えば、図示のように、「○○さん、こんばんは」（Ｔ６１）といった会話がなされる。

「７．夜間外出管理機能」について、図１５にその機能実行時のイメージ図を示す。この機能では、所定の管理サーバに外出許可者を登録しておき、入館ドア９７から外に出ようとする個人を識別し、外出可否判定を行う。外出許可者については、入館ドア制御部９８を制御して入館ドア９７を開く。これは職員も含む。また、外出非許可者については、入館ドア９７は開かず、職員の情報端末５へ通知する。

「８．夜間不審者検知機能」では、所定の管理サーバに不審者情報を登録しておき、入館しようとする個人を識別し、不審者登録されている場合には、ドアを開かず、情報端末５へ通知する。この機能では、ロボット２だけでなく、敷地内の監視カメラを併用してもよい。

「９．徘徊者検知機能」では、施設から外に出てしまった入居者を、ロボット２及び敷地内外の監視カメラで識別し、徘徊者を発見した場合、情報端末５に通知される。

「１０．職員教育支援機能」について、図１６にその機能実行時のイメージ図を示す。この機能では、ベテラン職員の代わりに、新人職員の教育を支援する。ここでは、職員は、入居者（登録者）の状況を適切に把握する必要があることから、パーソナルＤＢ５３に入居者（登録者）の各種情報が記録されて教育に利用される。また、教育カリキュラムＤＢ５４には、職員毎の教育受講履歴が記録されている。

職員「△×」との会話では、例えば、図示のように、「△×さん、今日は○○さんについて、勉強しましょう」（Ｔ１０１）、「○○さんは、東京都港区で１９４７年６月１４日に三女として生まれました」といった会話がなされる。

以上説明した様に、本実施形態の介護サービス提供システム１では、介護・見守り対象者登録は、ロボット２及び付帯する操作パネル（タッチディスプレイ２５）を介して会話しながら行うことができます。登録者の登録画像を基本顔とし、複数の顔をバックグランド処理側で登録することでより精度や経年変化の対応を高めることができます。

また、移動可能なロボット２を活用することで時間帯に応じて適当な場所に移動し、スケジュール（日中・夜間）に応じて複数の運用サポートを実現できます。例えば、日中は、介護者サポートのため、顔照合による声かけ・出席確認・スタッフへの通知を行い、夜間は、見守りとしての機能を実現する。従来では、それぞれの位置にカメラを配置してシステムを実現していたため、運用に合わせて柔軟に配置を変えたりすることはできなかったが、本実施形態の介護サービス提供システム１では、スケジュールデータを与えることで自動的に時間毎の配置を行い、機能を実現することができる。このように各現場に応じたサービスを提供することで、現在介護の現場で大きな課題となっている人手不足を解消し、さらに各時間毎に違うサービスの提供が行えるため、日々のスタッフ人員、対応スケジュールに合わせて柔軟な運用が可能となる。また、登録を自動化により経年変化への対応を可能とすることで、運用スタッフの負担軽減につながる。

また、本実施形態の介護サービス提供システム１は、例えば、上記各処理を実行する方法或いは装置や、そのような方法をコンピュータに実現させるためのプログラムや、当該プログラムを記録する一過性ではない有形の媒体などとして提供することもできる。

以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、介護サービス提供システム１では、学習ＡＩ（ＤＬ：ディープラーニング）を以下のように活用することができる。（１）顔照合時の類似性の高い照合顔付近の映像をＤＬ側に渡し、本人推定のパーツ（要素）を増やしていく
（１ａ）歩容解析（歩き方解析）
（１ｂ）マスクやサングラス着用時の顔データ（２）これらの類似性データベースを作り、顔照合に加え判定基準とすることで撮影時の環境変化への耐用性を高める。

１ 介護サービス提供システム２ ロボット３ ネットワーク４ サーバ５ 情報端末６ 外部サーバ２１ 挙動部２２ カメラ２３ マイク群２４ スピーカ２５ タッチディスプレイ２６ 応答動作入力部２７ 応答動作出力部２９ 音声出力部３０ 音声入力部３１ 映像出力部４１ ＷＦエンジン４６ａ 顔検出器（＃１）４６ｂ 顔検出器（＃２）４７ 顔登録部４８ 顔ＤＢ４９ 顔照合部５０ 人物検出部５１ 人物判定部５２ 類似検索ＤＢ５３ パーソナルＤＢ５４ 教育カリキュラムＤＢ５５ メンタル判定サーバ６１ 学習ＡＩ部７０ 音声処理エンジン７１ ノイズキャンセラ７２ 音声認識部７３ 特定会話エンジン７４ 翻訳エンジン８０ 画像処理エンジン９０ データベース部

Claims (2)

1. 移動型のロボットと、前記ロボットと協働する支援装置とを備え、複数のサービスを提供するサービス提供システムであって、
   前記複数のサービスの運用を管理し、所定の条件で運用するサービスを切り換えるサービス制御部と、
   前記ロボットに備わるカメラで撮影した前記サービスの需要者の映像をもとに、前記需要者を識別する識別部と、
   人物の特徴量を識別要素として記録し、前記識別部による前記需要者の識別の処理において取得した映像から得られる特徴量として、マスク又はサングラスの装着・非装着時の顔の特徴量、又は歩容解析に関する特徴量をディープラーニングによって抽出して前記識別要素に反映させた上で、前記需要者の登録を行う登録部と、
   前記ロボットに備わり、前記登録の際に登録操作を受け付ける入力インタフェースと、
   前記識別された前記需要者に応じた応答を行う応答部と、
   前記サービスの運用状況及び前記識別の実行結果を、所定の条件のもと、前記サービスの提供者の端末に通知する通知部と、を備え、
   人物毎に複数の前記特徴量が群として登録され、
   前記特徴量には、照合対象との間の類似度の平均値である類似推定度、又は前記群の中で当該特徴量が照合結果に寄与した割合であるヒット率、が対応して、登録日と共に登録され、
   前記群において、前記類似推定度又は前記ヒット率が高くなるように前記特徴量の更新動作が行われ、
   当該更新動作は、
   更新前の前記特徴量の前記類似推定度が前記類似推定度について定められた閾値以下であり、かつ更新後の前記特徴量と更新前の前記特徴量における顔の向きの差が所定の値以下である場合、
   又は、
   更新前の前記特徴量の前記ヒット率が前記ヒット率について定められた閾値以下であり、かつ更新前の前記特徴量の前記登録日から所定経過が経過している場合、
   において、行われる、
   ことを特徴とするサービス提供システム。
2. 前記需要者に関する情報を保持するパーソナルデータ保持部を備え、
   前記サービス制御部は、前記識別部で識別された前記需要者に関する情報を、前記パーソナルデータ保持部を参照して、前記需要者に適したサービスを提供することを特徴とする請求項１に記載のサービス提供システム。

Images