JP6794819B2 - 画像プリントシステム - Google Patents

Description

本発明は、介護施設や医療機関等の利用者（入居者）と利用者家族とが写真を共有すると共に、利用者が容易に画像プリントを行うことができる画像プリントシステムに関する。

老人ホーム等の介護施設や病院等の医療機関では、入居（入院）している利用者を楽しませるために様々なイベントが行われている。イベント時には、介護士等の施設職員が利用者を撮影し、施設発行の新聞に写真を掲載したり、施設のブログに画像をアップロードしたりしている。しかし、利用者によっては、職員が撮影を行う際に身構えてしまい、笑顔が少なくなることがあった。また、撮影した画像は施設ＰＣの記憶装置に保存されているものの、利用者毎に分類されておらず、利用者家族から利用者が写った写真の要求があった場合に、写真を探す手間がかかっていた。

利用者家族は、施設から送られてくる新聞や手紙、ブログ等で利用者の写真をみることができるが、利用者家族から施設への写真の提供は行われていないことが多く、利用者が家族写真をみることはあまりなかった。携帯電話やスマートフォン等の携帯端末を所有している利用者は、家族から送られてくる写真をみることができる。しかし、携帯端末の画面は小さいため、写真が見難いという問題があった。また、利用者の多くは携帯端末の操作に不慣れな高齢者であり、携帯端末に送られてきた画像をプリンタから出力することは極めて困難であった。

特開２０１２−２５２４０９号公報

本発明は、利用者を撮影した画像や利用者家族から提供された画像を利用者と利用者家族とが共有すると共に、共有画像の確認及びプリント出力を利用者が容易に行うことができる画像プリントシステムを提供することを課題とする。

本発明による画像プリントシステムは、利用者と対話を行い、前記利用者に情報を提示する表示部、及び前記利用者を撮影する撮影部を有し、撮影した画像データを送信するロボットと、前記ロボットから前記画像データを受信すると共に、外部端末から画像データを受信し、受信した画像データを利用者毎に分類して記憶部に保存するサーバと、を備え、前記ロボットは、対話中の利用者に対応する画像データを前記サーバから受信して前記表示部に表示し、表示している画像のうち、利用者に選択された画像を前記サーバに通知し、前記サーバは、前記ロボットからの通知に応じて、前記利用者に選択された画像のデータをプリンタへ転送し、プリント出力を行わせるものである。

本発明の一態様では、前記サーバは、前記外部端末からアクセスがあると、認証処理を行い、対応する利用者の画像データを前記記憶部から取り出して、前記外部端末へ送信する。

本発明の一態様では、前記サーバは、前記ロボットから受信した画像データから顔部分を検出し、複数の利用者の顔画像が登録された顔画像データベースと照合して顔認識処理を行い、前記画像データに写っている利用者を特定し、前記画像データを前記記憶部に保存する。

本発明の一態様では、前記ロボットは、対話中の利用者を前記撮影部で撮影して、撮影した画像データを前記サーバへ送信し、前記サーバは、前記ロボットから受信した画像データから顔部分を検出し、複数の利用者の顔画像が登録された顔画像データベースと照合して顔認識処理を行い、前記ロボットと対話中の利用者を特定し、特定した利用者の新着画像が前記記憶部に保存されている場合に、前記新着画像を前記ロボットへ送信し、前記ロボットは、前記新着画像を前記表示部に表示する。

本発明による画像プリントシステムは、利用者に情報を提示する表示部、前記利用者を撮影する撮影部、及び前記撮影部が撮影した画像データを送信する通信部を有する撮影システムと、前記撮影システムから前記画像データを受信すると共に、外部端末から画像データを受信し、受信した画像データを利用者毎に分類して記憶部に保存するサーバと、を備え、前記撮影システムは、前記撮影部が撮影している利用者に対応する画像データを前記サーバから受信して前記表示部に表示し、表示している画像のうち、利用者に選択された画像を前記サーバに通知し、前記サーバは、前記撮影システムからの通知に応じて、前記利用者に選択された画像のデータをプリンタへ転送し、プリント出力を行わせるものである。

本発明によれば、利用者を撮影した画像や利用者家族から提供された画像を利用者と利用者家族とが共有すると共に、共有画像の確認及びプリント出力を利用者が容易に行うことができる。

本発明の実施形態に係る画像プリントシステムの設置例を示す図である。 （ａ）〜（ｃ）は共有する画像の例を示す図である。 同実施形態に係る画像プリントシステムのブロック構成図である。 同実施形態に係るロボットの外観図である。 同実施形態に係るロボットのブロック構成図である。 撮影及び画像データ保存の流れを説明するフローチャートである。 同実施形態に係る画像プリント方法を説明するフローチャートである。 別の実施形態に係る撮影システムの概略図である。 別の実施形態に係る撮影システムのブロック構成図である。

以下、本発明の実施の形態を図面に基づいて説明する。

本実施形態に係る画像プリントシステムは、老人ホーム等の介護施設や医療機関に設置されるものであり、入居（入院）している利用者を撮影した画像や、利用者家族から提供された画像を、利用者と利用者家族とで共有できるようにし、利用者が選択した画像をプリント出力するものである。

図１は画像プリントシステムを介護施設に設置した例を示し、図２は施設の利用者（入居者）と利用者家族とが共有する画像の例を示す。画像プリントシステムは、サーバ１０、対話型のロボットＲ、及びプリンタＰを備え、ロボットＲに内蔵されたカメラ４１（図４、図５参照）を使用して利用者Ｕの撮影を行う。

ロボットＲは、利用者Ｕと会話を行ったり、利用者Ｕに画像や動画を提示したりする。このとき、ロボットＲは、通信ネットワークを介して通信可能なサーバ１０と連携して、利用者Ｕとの会話や、利用者Ｕへの画像等の提供を行う。また、ロボットＲは、自身で適切な会話を学習すると共に、サーバ１０と連携して利用者Ｕとの会話をより適切に進められるように学習する。

ロボットＲは、内蔵のカメラ４１で利用者Ｕを撮影し、撮影画像データをサーバ１０へ送信する。例えば、ロボットＲは、利用者Ｕと会話中に撮影を行ったり、施設で行われるクリスマス会や誕生日会などのイベント時に撮影を行ったりする。

ロボットＲは、利用者家族の端末Ｔから送信された画像や、ロボットＲが撮影した利用者Ｕの画像を、利用者Ｕに提示する。利用者Ｕがプリント出力したい画像を選択すると、ロボットＲは、選択された画像をサーバ１０に通知する。

サーバ１０は、ロボットＲから送信された撮影画像データや、利用者家族から提供された画像データを、利用者毎に保存する。サーバ１０は、利用者Ｕがプリント出力を望む画像をロボットＲから通知されると、プリンタＰを制御し、選択された画像のプリント出力を行う。プリンタＰは、例えば高解像度のカラープリンタである。

サーバ１０は、ロボットＲから受信した撮影画像データの加工（補正）を行うことができる。また、サーバ１０は、ロボットＲにより撮影された利用者Ｕの画像を利用者家族が閲覧できるようにすると共に、利用者家族が選択した画像のデータを利用者家族の端末Ｔ（以下、家族端末Ｔと記載する）へ送信する。

このような画像プリントシステムにより、利用者家族は、図２（ａ）に示すような、ロボットＲとの会話中に撮影された利用者Ｕの画像や、図２（ｂ）に示すような、利用者Ｕが写ったイベント時の画像を閲覧し、画像データを取得することができる。施設職員が撮影を行う場合、職員が構えたカメラを見て表情が硬くなることがあるが、ロボットＲが内蔵のカメラ４１で自動撮影するため、利用者の自然な笑顔を撮影することができる。

また、この画像プリントシステムにより、利用者Ｕは、図２（ｃ）に示すような、利用者家族から提供された家族が写った画像を確認し、プリンタＰからプリント出力することができる。ロボットＲに表示された画像を選択するだけなので、所望のプリント物を容易に取得することができる。

次に、画像プリントシステムのサーバ１０及びロボットＲの構成について説明する。図３に示すように、サーバ１０は、第１通信処理部１１、画像処理部１２、顔認識処理部１３、画像検索部１４、第２通信処理部１５、認証部１６、プリント制御部１７、施設に入居している全利用者の顔画像が予め登録されている顔画像データベース１８、及びロボットＲが撮影した画像データや、利用者家族から提供された画像データを、利用者毎に分類して（フォルダ分けして）保存する記憶部１９を有する。

サーバ１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、通信モジュール、半導体メモリ等の補助記憶装置を備えた少なくとも１台のコンピュータで構成され、各機能はＣＰＵがプログラムを実行することで実現される。

第１通信処理部１１はロボットＲとの通信処理を行い、データの送受信を行う。画像処理部１２は、ロボットＲから受信した撮影画像データの加工を行う。画像処理部１２が行う処理は、例えば色調補正やリサイズ等である。また、画像処理部１２は、撮影日時やイベント名との文字入れを行ってもよい。

顔認識処理部１３は、ロボットＲから受信した撮影画像データから１又は複数の顔部分を抽出し、顔画像データベース１８と比較して、撮影画像に写っている１人又は複数人の利用者を識別する。撮影画像データは、識別された利用者に対応する記憶部１９内のフォルダに保存される。

画像検索部１４は、ロボットＲと対話中の利用者について、この利用者が前回ロボットＲと対話を行った後に記憶部１９に追加された画像（未確認の新着画像）を検索する。また、画像検索部１４は、家族端末Ｔからアクセスがあった場合に、記憶部１９を検索し、利用者Ｕの画像を取り出す。

第２通信処理部１５は、家族端末Ｔ（外部端末）との通信処理を行い、データの送受信を行う。

認証部１６は、家族端末Ｔからのアクセスがあると、ＩＤやパスワード等を用いた認証処理を行う。家族端末Ｔが認証されると、第２通信処理部１５は、記憶部１９内の利用者の画像を閲覧可能に表示したり、家族端末Ｔから受信した画像データを記憶部１９に保存したりする。

プリント制御部１７は、プリンタＰを制御し、プリンタＰへ転送した画像データのプリント出力を行う。

図４はロボットＲの外観を示し、図５はロボットＲの概略構成を示す。ロボットＲは、頭部、胴体、腕等を有する人型ロボットであり、インタフェース部４０、データ処理部５０、記憶部６０及び通信部６２を備える。

インタフェース部４０は、利用者と情報をやり取りするための部分であり、カメラ４１、タッチパネル４２、マイク４３、スピーカ４４及びセンサ４５を有する。データ処理部５０は、インタフェース部４０に入力された情報の解析やインタフェース部４０から出力する情報の生成等に必要なデータ処理を行うための部分であり、画像処理部５１、入力処理部５２、音声認識部５３、出力処理部５４及び対話制御部５５を有する。ロボットＲは、ＣＰＵ、ＲＡＭ、通信モジュール、補助記憶装置等を有するコンピュータを備え、データ処理部５０の各機能は、ＣＰＵがプログラムを実行することで実現される。

カメラ４１は、ロボットＲの頭部に設けられており、利用者を撮影する撮影部である。画像処理部５１は、利用者の動作（例えば手を掲げる等のジェスチャ）を検出する。

タッチパネル４２は、ロボットＲの胴体部に設けられており、利用者が視認可能な情報を表示する表示部である。出力処理部５４は、タッチパネル４２における情報表示に必要なデータ処理を行う。また、タッチパネル４２は、利用者の操作を検出する。入力処理部５２は、ユーザ操作に応じたデータ処理を行う。タッチパネル４２の代わりに、情報を表示するディスプレイと、利用者の操作を受け付ける操作パネルとを設けてもよい。

マイク４３は、利用者の音声を検出する。音声認識部５３は、公知の音声認識処理を用いて、マイク４３が検出した音声を認識し、認識した音声を所定のフォーマット（例えばテキスト形式）に変換する。

スピーカ４４は、ロボットＲの頭部に設けられており、音声を出力する。対話制御部５５は、スピーカ４４が発する音声を生成するためのデータ処理を行う。例えば、対話制御部５５は、各種の音データを合成し、テキスト形式で指定された内容（情報）を音声に変換する。

センサ４５は、物体（人）の接近を検出する。例えば、センサ４５は赤外光を出力し、物体からの反射光を検出する。入力処理部５２は、センサ４５の検出結果に基づいて、利用者がロボットＲの近くにいるか否かを判定することができる。

記憶部６０には、ロボットＲが実行する行動を定めた反応ルールが格納されており、ロボットＲは反応ルールに従って各種の行動を行う。対話制御部５５は、反応ルールを参照し、入力処理部５２により処理されたデータや、音声認識部５３により認識された音声に対するロボットＲの行動を決定する。

例えば、ロボットＲは、人物の接近を検知すると、「声をかける」という行動を選択し、「こんにちは」という音声を出力する。ロボットＲは、会話をしている利用者をカメラ４１で撮影し、撮影画像をサーバ１０へ送信する。サーバ１０は、撮影画像から利用者を識別し、ロボットＲに利用者の名前等を通知する。ロボットＲは「○○さん、調子はどうですか？」など利用者の名前を発する。

ロボットＲは、利用者に対し、記憶部１９の利用者別画像フォルダに含まれる画像をタッチパネル４２に表示する。利用者がタッチパネル４２を操作し、プリントしたい画像を選択すると、ロボットＲが選択された画像をサーバ１０に通知する。

ロボットＲは、施設で催されるイベント時に、カメラ４１で撮影を行い、撮影画像データをサーバ１０へ送信する。画像処理部５１が笑顔検出機能を用いて笑顔を検出した際に、カメラ４１がシャッターを切ってもよい。

次に、イベント時にロボットＲが撮影を行い、サーバ１０に画像データを保存する流れを図６に示すフローチャートを用いて説明する。

イベントが始まると、ロボットＲは移動・旋回し（ステップＳ１１）、利用者を撮影する（ステップＳ１２）。ロボットＲは、撮影画像データをサーバ１０へ転送する（ステップＳ１３）。ロボットＲによる移動、撮影はイベント終了まで繰り返し行われる（ステップＳ１１〜Ｓ１４）。

サーバ１０は、ロボットＲから受信した撮影画像データに対して顔認識処理を施し、撮影された利用者を特定する（ステップＳ１５）。サーバ１０は、ロボットＲから受信した複数の撮影画像データを、写っている利用者毎に分類し（ステップＳ１６）、記憶部１９に利用者別に保存する（ステップＳ１７）。記憶部１９への保存前に、画像処理部１２が撮影画像データの加工を行ってもよい。

なお、図６に示すフローチャートでは、イベント終了後にサーバ１０の処理が行われるように示されているが、イベントと並行して行ってもよい。

次に、利用者が、利用者家族と共有する画像をプリント出力する方法を図７に示すフローチャートを用いて説明する。

利用者がロボットＲに近付くと、ロボットＲは利用者に話しかけ、会話を行う。ロボットＲは、カメラ４１で利用者の顔を撮影し、顔画像をサーバ１０へ送信する。サーバ１０は、ロボットＲから受信した顔画像を顔画像データベース１８内の画像と照合し、顔認識処理を行い、利用者を識別する（ステップＳ２１）。サーバ１０は、識別した利用者の名前等の情報をロボットＲに通知する。利用者の名前を知ることで、ロボットＲは、より親しく利用者と会話を行うことができる。

なお、利用者の顔画像データベースをロボットＲが保持し、ロボットＲが顔認識処理を行って利用者を識別してもよい。また、利用者が、自身が入居する部屋のキーを読取機（図示略）にかざし、読取機がキーに内蔵されたＩＣチップから利用者の個人情報を取得して、利用者を識別するようにしてもよい。

サーバ１０は、記憶部１９を検索し、ロボットＲが会話をしている利用者に対応する未確認の新着画像があるかを確認する（ステップＳ２２）。新着画像は、利用者家族が家族端末Ｔからアップロードした画像や、イベント時にロボットＲが撮影した画像である。

新着画像がある場合（ステップＳ２３＿Ｙｅｓ）、サーバ１０は新着画像のデータをロボットＲに送信する。ロボットＲは、「新着画像があるよ」という音声を出力すると共に、サーバ１０から受信した新着画像データをタッチパネル４２に表示する（ステップＳ２４）。

ロボットＲは、「プリントしたい画像を選択してね」という音声を出力し、利用者からの画像選択を受け付ける。利用者がロボットＲのタッチパネル４２を操作し、画像を選択すると（ステップＳ２５）、ロボットＲは選択された画像をサーバ１０に通知する。

サーバ１０は、プリンタＰを制御し、利用者に選択された画像をプリント出力する（ステップＳ２６）。

新着画像がない場合（ステップＳ２３＿Ｎｏ）、ロボットＲは利用者と会話を続けながら、カメラ４１で利用者を撮影する（ステップＳ２７）。例えば、ロボットＲは、笑顔検出機能を用いて利用者の顔の表情を認識し、笑顔を検出して自動的にシャッターを切る。利用者は、撮影されていることに気付かないため、会話中の自然な笑顔の表情を撮影することができる。

ロボットＲは、撮影画像データをサーバ１０へ転送する（ステップＳ２８）。サーバ１０は、記憶部１９内の利用者別画像フォルダに撮影画像データを保存する（ステップＳ２９）。

このように、本実施形態によれば、利用者は、ロボットＲとの会話の中で、家族から送られてきた画像や、イベント時にロボットＲが撮影した画像を確認することができる。また、気に入った画像を、ロボットＲのタッチパネル４２を操作して選択するという簡易な操作で、プリンタＰからプリント出力することができる。

利用者家族は、施設のイベント時やロボットＲとの会話中の利用者の画像を、家族端末Ｔで確認することができる。ロボットＲに内蔵されたカメラ４１で自動撮影しているため、利用者家族は、利用者の自然な笑顔をみることができる。また、ロボットＲのカメラ４１で撮影された画像は、サーバ１０で加工することで、自動的に高品質な仕上がりにすることができる。

上記実施形態では、利用者と利用者家族とで画像を共有する例について説明したが、動画を共有できるようにしてもよい。利用者が、動画再生中に気に入ったシーンを選択すると、選択された再生時刻をロボットＲがサーバ１０に通知し、サーバ１０が、選択された時刻の静止画を動画から切り出してプリンタＰからプリント出力してもよい。

上記実施形態では、イベント中にロボットＲが移動・旋回を繰り返して撮影を行う例について説明したが、ロボットＲは動かずに、固定位置で撮影を行ってもよい。

画像プリントシステムは、画像や動画だけでなく、利用者の日々のバイタル情報、服薬履歴、リハビリの状況等の情報を共有できるようにしてもよい。

上記実施形態では、ロボットＲを用いて利用者を撮影したり、利用者家族から提供された画像を利用者に提示したりしていたが、ロボットＲの代わりに、撮影装置及び表示装置を用いてもよい。

例えば、ロボットＲの代わりに、図８に示すような撮影システム１４０を用いることができる。図９は撮影システム１４０の機能を示すブロック図である。撮影システム１４０は、カメラ（撮影部）１４１、タッチパネル１４２、スピーカ１４３、読取機１４４、及び制御装置１４５を備える。制御装置１４５は、画像処理部１４６、入力処理部１４７、出力処理部１４８及び通信部１４９を有する。制御装置１４５は、ＣＰＵ、ＲＡＭ、通信モジュール、補助記憶装置等を有するコンピュータによって構成され、制御装置１４５の各機能は、ＣＰＵがプログラムを実行することで実現される。

カメラ１４１は、例えばデジタルカメラであり、利用者を撮影して撮影画像データを生成する。カメラ１４１は、例えばタッチパネル１４２の上に設置される。

画像処理部１４６は、カメラ１４１から撮影画像データを受け取り、利用者の動作（例えば手を掲げる等のジェスチャ）を検出したり、画像処理を行ったりする。

タッチパネル１４２は、利用者が視認可能な情報を表示する。出力処理部１４８は、タッチパネル１４２における情報表示に必要なデータ処理を行う。また、タッチパネル１４２は、利用者のタッチ操作を検出する。入力処理部１４７は、ユーザ操作に応じたデータ処理を行う。タッチパネル１４２の代わりに、情報を表示するディスプレイと、利用者の操作を受け付ける操作ボタン等を設けてもよい。

スピーカ１４３は、音声案内等を出力する。出力処理部１４８は、スピーカ１４３の出力音声を生成するためのデータ処理を行う。

読取機１４４は、利用者が所持する鍵やカードに内蔵されたＩＣチップから利用者の個人情報を取得する。

例えば、撮影システム１４０は、カメラ１４１の撮影画像、又はセンサ（図示略）により利用者の接近を検知すると、タッチパネル１４２にキャラクター画像をアニメーション表示し、「鍵を読取機にかざしてください」という音声をスピーカ１４３から出力する。利用者が鍵をかざすと、読取機１４４が利用者の個人情報を取得し、通信部１４９が、この個人情報をサーバ１０へ送信する。

サーバ１０は、記憶部１９を検索し、撮影システム１４０の前にいる利用者に対応する未確認の新着画像があるかを確認し、新着画像のデータを撮影システム１４０へ送信する。撮影システム１４０は、「新着画像があります」という音声をスピーカ１４３から出力すると共に、サーバ１０から受信した新着画像データをタッチパネル１４２に表示する。

撮影システム１４０は、「プリントしたい画像を選択してください」という音声をスピーカ１４３から出力すると共にタッチパネル１４２に文字で表示し、利用者からの画像選択を受け付ける。利用者がタッチパネル１４２を操作し、画像を選択すると、撮影システム１４０は選択された画像をサーバ１０に通知する。サーバ１０は、プリンタＰを制御し、利用者に選択された画像をプリント出力する

また、撮影システム１４０は、一連の処理の最中に、カメラ１４１で利用者の自然な表情を撮影し、撮影画像データをサーバ１０へ送信する。この撮影画像データは、サーバ１０の記憶部１９内の利用者別画像フォルダに保存され、利用者家族が閲覧できる。

施設のイベント時は、撮影システム１４０をイベントスペースへ移動させる。カメラ１４１がイベントの様子を自動で撮影し、撮影画像データがサーバ１０へ送信される。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０ サーバ
１１ 第１通信処理部
１２ 画像処理部
１３ 顔認識処理部
１４ 画像検索部
１５ 第２通信処理部
１６ 認証部
１７ プリント制御部
１８ 顔画像データベース
１９ 記憶部
４０ インタフェース部
４１ カメラ
４２ タッチパネル
４４ スピーカ
５０ データ処理部
６０ 記憶部
６２ 通信部
１４０ 撮影システム

Claims (3)

1. 利用者と対話を行い、前記利用者に情報を提示する表示部、及び前記利用者を撮影する撮影部を有し、撮影した画像データを送信するロボットと、
   前記ロボットから前記画像データを受信すると共に、外部端末から画像データを受信し、受信した画像データを利用者毎に分類して記憶部に保存するサーバと、
   を備え、
   前記ロボットは、対話中の利用者に対応する画像データを前記サーバから受信して前記表示部に表示し、表示している画像のうち、利用者に選択された画像を前記サーバに通知し、
   前記サーバは、前記ロボットからの通知に応じて、前記利用者に選択された画像のデータをプリンタへ転送し、プリント出力を行わせ、
   前記ロボットは、対話中の利用者を前記撮影部で撮影して、撮影画像データを前記サーバへ送信し、
   前記サーバは、前記外部端末からアクセスがあると、認証処理を行い、対応する利用者の前記ロボットとの対話中の撮影画像データを前記記憶部から取り出して、前記外部端末へ送信することを特徴とする画像プリントシステム。
2. 前記サーバは、前記ロボットから受信した画像データから顔部分を検出し、複数の利用者の顔画像が登録された顔画像データベースと照合して顔認識処理を行い、前記画像データに写っている利用者を特定し、前記画像データを前記記憶部に保存することを特徴とする請求項１に記載の画像プリントシステム。
3. 前記サーバは、前記ロボットから受信した画像データから顔部分を検出し、複数の利用者の顔画像が登録された顔画像データベースと照合して顔認識処理を行い、前記ロボットと対話中の利用者を特定し、特定した利用者の新着画像が前記記憶部に保存されている場合に、前記新着画像を前記ロボットへ送信し、
   前記ロボットは、前記新着画像を前記表示部に表示することを特徴とする請求項１又は２に記載の画像プリントシステム。

Images