JP6891489B2 - 画像提供システム - Google Patents

Description

本発明は、介護施設や医療機関等の利用者（入居者）と利用者家族とが写真を共有することができる画像提供システムに関する。

老人ホーム等の介護施設や病院等の医療機関では、入居（入院）している利用者を楽しませるために様々なイベントが行われている。イベント時には、介護士等の施設職員が利用者を撮影し、施設発行の新聞に写真を掲載したり、施設のブログに画像をアップロードしたりしている。しかし、利用者によっては、職員が撮影を行う際に身構えてしまい、笑顔が少なくなることがあった。また、撮影した画像は施設ＰＣの記憶装置に保存されているものの、利用者毎に分類されておらず、利用者家族から利用者が写った写真の要求があった場合に、写真を探す手間がかかっていた。

利用者家族は、施設から送られてくる新聞や手紙、ブログ等で利用者の写真をみることができるが、利用者家族から施設への写真の提供は行われていないことが多く、利用者が家族写真をみることはあまりなかった。

特開２０１２−２５２４０９号公報

本発明は、利用者を撮影した画像や利用者家族から提供された画像を利用者と利用者家族とが共有することができる画像提供システムを提供することを課題とする。

本発明による画像提供システムは、利用者に情報を提示する表示部、及び前記利用者を撮影する撮影部、及び前記撮影部が撮影した画像データを送信する通信部を有する撮影システムと、前記撮影システムから前記画像データを受信すると共に、外部端末から画像データを受信し、受信した画像データを利用者毎に分類して記憶部に保存するサーバと、を備え、前記撮影システムは、前記撮影部が撮影している利用者に対応する画像データを前記サーバから受信して前記表示部に表示し、表示している画像のうち、利用者に選択された画像を前記サーバに通知し、前記サーバは、前記撮影システムからの通知に応じて、前記利用者に選択された画像のデータを利用者端末へ送信するものである。

本発明の一態様では、前記サーバは、前記外部端末からアクセスがあると、認証処理を行い、対応する利用者の画像データを前記記憶部から取り出して、前記外部端末へ送信する。

本発明の一態様では、前記サーバは、前記撮影システムから受信した画像データから顔部分を検出し、複数の利用者の顔画像が登録された顔画像データベースと照合して顔認識処理を行い、前記画像データに写っている利用者を特定し、前記画像データを前記記憶部に保存する。

本発明の一態様では、前記撮影システムは、前記利用者を前記撮影部で撮影して、撮影した画像データを前記サーバへ送信し、前記サーバは、前記撮影システムから受信した画像データから顔部分を検出し、複数の利用者の顔画像が登録された顔画像データベースと照合して顔認識処理を行い、前記利用者を特定し、特定した利用者の新着画像が前記記憶部に保存されている場合に、前記新着画像を前記撮影システムへ送信し、前記撮影システムは、前記新着画像を前記表示部に表示する。

本発明の一態様では、前記サーバは、前記撮影システムからの通知に応じて、前記利用者に選択された画像のデータをプリンタへ転送し、プリント出力を行わせる。

本発明によれば、利用者を撮影した画像や利用者家族から提供された画像を利用者と利用者家族とが共有することができる。

本発明の実施形態に係る画像提供システムの設置例を示す図である。 （ａ）〜（ｃ）は共有する画像の例を示す図である。 同実施形態に係る画像提供システムのブロック構成図である。 同実施形態に係る撮影システムの外観図である。 同実施形態に係る撮影システムのブロック構成図である。 撮影システムでの表示画面の一例を示す図である。 撮影及び画像データ保存の流れを説明するフローチャートである。 同実施形態に係る画像提供方法を説明するフローチャートである。

以下、本発明の実施の形態を図面に基づいて説明する。

本実施形態に係る画像提供システムは、老人ホーム等の介護施設や医療機関に設置されるものであり、入居（入院）している利用者を撮影した画像や、利用者家族から提供された画像を、利用者と利用者家族とで共有できるようにし、利用者が選択した画像を、利用者が所有する携帯端末や、利用者の部屋に設置されたコンピュータ等の利用者端末へ転送し、閲覧できるようにするものである。

図１は画像提供システムを介護施設に設置した例を示し、図２は施設の利用者（入居者）と利用者家族とが共有する画像の例を示す。画像提供システムは、サーバ１０及び撮影システム４０及びプリンタＰを備え、撮影システム４０のカメラ４１（図４、図５参照）を使用して利用者の撮影を行う。

撮影システム４０は、利用者に画像や動画を提示したり、キャラクター画像をアニメーション表示して利用者と会話を行ったりする。このとき、撮影システム４０は、通信ネットワークを介して通信可能なサーバ１０と連携して、利用者との会話や、利用者への画像等の提供を行う。

撮影システム４０は、カメラ４１で利用者を撮影し、撮影画像データをサーバ１０へ送信する。例えば、撮影システム４０は、利用者と会話中に撮影を行ったり、施設で行われるクリスマス会や誕生日会などのイベント時に撮影を行ったりする。

撮影システム４０は、利用者家族の端末Ｔ（以下、家族端末Ｔと記載する）から送信された画像や、撮影システム４０が撮影した利用者の画像を、タッチパネル４２（図４、図５参照）に表示して、利用者に提示する。利用者が、自身が所有する携帯端末や、自分の部屋に設置されたコンピュータ等の利用者端末３０で閲覧したい画像を選択すると、撮影システム４０は、選択された画像をサーバ１０に通知する。

サーバ１０は、撮影システム４０から送信された撮影画像データや、利用者家族から提供された画像データを、利用者毎に保存する。サーバ１０は、利用者が閲覧を望む画像を撮影システム４０から通知されると、選択された画像のデータを利用者端末３０へ転送する。

また、利用者は、撮影システム４０で提示された画像から、プリント出力したい画像を選択することができる。サーバ１０は、利用者がプリント出力を望む画像を撮影システム４０から通知されると、プリンタＰを制御し、選択された画像のプリント出力を行う。プリンタＰは、例えば高解像度のカラープリンタである。

サーバ１０は、撮影システム４０から受信した撮影画像データの加工（補正）を行うことができる。また、サーバ１０は、撮影システム４０により撮影された利用者の画像を利用者家族が閲覧できるようにすると共に、利用者家族が選択した画像のデータを家族端末Ｔへ送信する。

このような画像提供システムにより、利用者家族は、図２（ａ）に示すような、撮影システム４０との会話中又は撮影システム４０の操作中に撮影された利用者の画像や、図２（ｂ）に示すような、利用者が写ったイベント時の画像を閲覧し、画像データを取得することができる。施設職員が撮影を行う場合、職員が構えたカメラを見て表情が硬くなることがあるが、撮影システム４０がカメラ４１で自動撮影するため、利用者の自然な笑顔を撮影することができる。

また、この画像提供システムにより、利用者は、図２（ｃ）に示すような、利用者家族から提供された家族が写った画像を確認し、利用者端末３０へ転送したり、プリンタＰからプリント出力したりすることができる。撮影システム４０に表示された画像を選択するだけなので、所望の画像のデータやプリント物を容易に取得することができる。

次に、サーバ１０及び撮影システム４０の構成について説明する。図３に示すように、サーバ１０は、第１通信処理部１１、画像処理部１２、顔認識処理部１３、画像検索部１４、第２通信処理部１５、認証部１６、第３通信処理部１７、プリント制御部１８、施設に入居している全利用者の顔画像が予め登録されている顔画像データベース２０、及び撮影システム４０が撮影した画像データや、利用者家族から提供された画像データを、利用者毎に分類して（フォルダ分けして）保存する記憶部２１を有する。

サーバ１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、通信モジュール、半導体メモリ等の補助記憶装置を備えた少なくとも１台のコンピュータで構成され、各機能はＣＰＵがプログラムを実行することで実現される。

第１通信処理部１１は撮影システム４０との通信処理を行い、データの送受信を行う。画像処理部１２は、撮影システム４０から受信した撮影画像データの加工を行う。画像処理部１２が行う処理は、例えば色調補正やリサイズ等である。また、画像処理部１２は、撮影日時やイベント名との文字入れを行ってもよい。

顔認識処理部１３は、撮影システム４０から受信した撮影画像データから１又は複数の顔部分を抽出し、顔画像データベース２０と比較して、撮影画像に写っている１人又は複数人の利用者を識別する。撮影画像データは、識別された利用者に対応する記憶部２１内のフォルダに保存される。

画像検索部１４は、撮影システム４０と対話中の利用者について、この利用者が前回撮影システム４０と対話を行った後に記憶部２１に追加された画像（未確認の新着画像）を検索する。また、画像検索部１４は、家族端末Ｔからアクセスがあった場合に、記憶部２１を検索し、利用者の画像を取り出す。

第２通信処理部１５は、家族端末Ｔ（外部端末）との通信処理を行い、データの送受信を行う。

認証部１６は、家族端末Ｔからのアクセスがあると、ＩＤやパスワード等を用いた認証処理を行う。家族端末Ｔが認証されると、第２通信処理部１５は、記憶部２１内の利用者の画像を閲覧可能に表示したり、家族端末Ｔから受信した画像データを記憶部２１に保存したりする。

第３通信処理部１７は、利用者端末３０との通信処理を行い、データの送受信を行う。

プリント制御部１８は、プリンタＰを制御し、プリンタＰへ転送した画像データのプリント出力を行う。

図４は撮影システム４０の外観を示し、図５は撮影システム４０の概略構成を示す。撮影システム４０は、カメラ（撮影部）４１、タッチパネル４２、スピーカ４３、マイク４４、及び制御装置４５を備える。制御装置４５は、画像処理部４６、入力処理部４７、出力処理部４８及び通信部４９を有する。制御装置４５は、ＣＰＵ、ＲＡＭ、通信モジュール、補助記憶装置等を有するコンピュータによって構成され、制御装置４５の各機能は、ＣＰＵがプログラムを実行することで実現される。

カメラ４１は、例えばデジタルカメラであり、利用者を撮影して撮影画像データを生成する。カメラ４１は、例えばタッチパネル４２の上に設置される。

画像処理部４６は、カメラ４１から撮影画像データを受け取り、利用者の動作（例えば手を掲げる等のジェスチャ）を検出したり、画像処理を行ったりする。

タッチパネル４２は、利用者が視認可能な情報を表示する。出力処理部４８は、タッチパネル４２における情報表示に必要なデータ処理を行う。また、タッチパネル４２は、利用者のタッチ操作を検出する。入力処理部４７は、ユーザ操作に応じたデータ処理を行う。タッチパネル４２の代わりに、情報を表示するディスプレイと、利用者の操作を受け付ける操作ボタン等を設けてもよい。

スピーカ４３は、音声案内等を出力する。出力処理部４８は、スピーカ４３が発する音声を生成するためのデータ処理を行う。例えば、出力処理部４８は、各種の音データを合成し、テキスト形式で指定された内容（情報）を音声に変換する。

マイク４４は、利用者の音声を検出する。入力処理部４７は、公知の音声認識処理を用いて、マイク４４が検出した音声を認識し、認識した音声を所定のフォーマット（例えばテキスト形式）に変換する。

例えば、撮影システム４０は、図示しないセンサにより人物の接近を検知すると、キャラクター画像をアニメーション表示して、「こんにちは」という音声を出力する。撮影システム４０は、会話をしている利用者をカメラ４１で撮影し、撮影画像をサーバ１０へ送信する。サーバ１０は、撮影画像から利用者を識別し、撮影システム４０に利用者の名前等を通知する。撮影システム４０は、「○○さん、調子はどうですか？」など利用者の名前を発する。

サーバ１０は、記憶部２１を検索し、撮影システム４０の前にいる利用者に対応する未確認の新着画像があるかを確認し、新着画像のデータを撮影システム４０へ送信する。撮影システム４０は、「新着画像があります」という音声をスピーカ４３から出力すると共に、サーバ１０から受信した新着画像データをタッチパネル４２に表示する。

図６はタッチパネル４２の表示画面の一例を示す。タッチパネル４２には、キャラクター画像６１と共に、複数の新着画像６２、画像データを利用者端末６３へ転送することを指示する転送指示ボタン６３、画像のプリント出力を指示するプリント指示ボタン６４が表示される。利用者がタッチパネル４２を操作し、画像６２を選択し、転送指示ボタン６３又はプリント指示ボタン６４を押すと、撮影システム４０は、選択された画像及び指示された処理をサーバ１０に通知する。

また、撮影システム４０は、一連の処理の最中に、カメラ４１で利用者の自然な表情を撮影し、撮影画像データをサーバ１０へ送信する。画像処理部４６が笑顔検出機能を用いて笑顔を検出した際に、カメラ４１がシャッターを切ってもよい。この撮影画像データは、サーバ１０の記憶部２１内の利用者別画像フォルダに保存され、利用者家族が閲覧できる。

施設のイベント時は、施設職員が撮影システム４０をイベントスペースへ移動させる。撮影システム４０は、イベント中にカメラ４１で撮影を行い、撮影画像データをサーバ１０へ送信する。

撮影システム４０は、利用者が所持する鍵やカードに内蔵されたＩＣチップから利用者の個人情報を取得する読取機を備えていてもよい。撮影システム４０に接近した利用者の顔認証が出来なかった場合、「鍵を読取機にかざしてください」という音声をスピーカ４３から出力する。利用者が鍵をかざすと、読取機が利用者の個人情報を取得し、通信部４９が、この個人情報をサーバ１０へ送信する。サーバ１０は、個人情報から利用者を特定し、撮影システム４０に利用者の名前等を通知する。

次に、イベント時に撮影システム４０が撮影を行い、サーバ１０に画像データを保存する流れを図７に示すフローチャートを用いて説明する。

施設職員等が、イベント中、撮影システム４０を移動させたり、向きを変えたりする（ステップＳ１１）。撮影システム４０は、イベント中の利用者を撮影する（ステップＳ１２）。撮影システム４０は、撮影画像データをサーバ１０へ転送する（ステップＳ１３）。撮影システムの移動、撮影はイベント終了まで繰り返し行われる（ステップＳ１１〜Ｓ１４）。

サーバ１０は、撮影システム４０から受信した撮影画像データに対して顔認識処理を施し、撮影された利用者を特定する（ステップＳ１５）。サーバ１０は、撮影システム４０から受信した複数の撮影画像データを、写っている利用者毎に分類し（ステップＳ１６）、記憶部２１に利用者別に保存する（ステップＳ１７）。記憶部２１への保存前に、画像処理部１２が撮影画像データの加工を行ってもよい。

なお、図７に示すフローチャートでは、イベント終了後にサーバ１０の処理が行われるように示されているが、イベントと並行して行ってもよい。

次に、利用者が、利用者家族と共有する画像を利用者端末３０へ転送力する方法を図８に示すフローチャートを用いて説明する。

利用者が撮影システム４０に近付くと、撮影システム４０はキャラクター画像をアニメーション表示しながら利用者に話しかけ、会話を行う。撮影システム４０は、カメラ４１で利用者の顔を撮影し、顔画像をサーバ１０へ送信する。サーバ１０は、撮影システム４０から受信した顔画像を顔画像データベース２０内の画像と照合し、顔認識処理を行い、利用者を識別する（ステップＳ２１）。サーバ１０は、識別した利用者の名前等の情報を撮影システム４０に通知する。利用者の名前を知ることで、撮影システム４０は、より親しく利用者と会話を行うことができる。

なお、利用者の顔画像データベースを撮影システム４０が保持し、撮影システム４０が顔認識処理を行って利用者を識別してもよい。また、利用者が、自身が入居する部屋のキーを読取機にかざし、読取機がキーに内蔵されたＩＣチップから利用者の個人情報を取得して、利用者を識別するようにしてもよい。

サーバ１０は、記憶部２１を検索し、撮影システム４０が会話をしている利用者に対応する未確認の新着画像があるかを確認する（ステップＳ２２）。新着画像は、利用者家族が家族端末Ｔからアップロードした画像や、イベント時に撮影システム４０が撮影した画像である。

新着画像がある場合（ステップＳ２３＿Ｙｅｓ）、サーバ１０は新着画像のデータを撮影システム４０に送信する。撮影システム４０は、「新着画像があります」という音声を出力すると共に、サーバ１０から受信した新着画像データをタッチパネル４２に表示する（ステップＳ２４）。

撮影システム４０は、「好みの画像を選んだら、自分の端末に転送するか、又はプリントするか選んでね」という音声を出力し、利用者からの画像選択、及び処理選択を受け付ける。利用者がタッチパネル４２を操作し、画像及び処理を選択すると（ステップＳ２５）、撮影システム４０は選択された画像及び処理をサーバ１０に通知する。

サーバ１０は、選択された画像のデータを利用者端末３０へ転送する（ステップＳ２６）。あるいはまた、サーバ１０は、プリンタＰを制御し、利用者に選択された画像をプリント出力する。

新着画像がない場合（ステップＳ２３＿Ｎｏ）、撮影システム４０は利用者と会話を続けながら、カメラ４１で利用者を撮影する（ステップＳ２７）。例えば、撮影システム４０は、笑顔検出機能を用いて利用者の顔の表情を認識し、笑顔を検出して自動的にシャッターを切る。利用者は、撮影されていることに気付かないため、会話中の自然な笑顔の表情を撮影することができる。

撮影システム４０は、撮影画像データをサーバ１０へ転送する（ステップＳ２８）。サーバ１０は、記憶部２１内の利用者別画像フォルダに撮影画像データを保存する（ステップＳ２９）。

このように、本実施形態によれば、利用者は、撮影システム４０との会話の中で、家族から送られてきた画像や、イベント時に撮影システム４０が撮影した画像を確認することができる。また、気に入った画像を、撮影システム４０のタッチパネル４２を操作して選択するという簡易な操作で、利用者端末３０へ転送したり、プリンタＰからプリント出力したりすることができる。

利用者家族は、施設のイベント時や撮影システム４０との会話中の利用者の画像を、家族端末Ｔで確認することができる。撮影システム４０に設けられたカメラ４１で自動撮影しているため、利用者家族は、利用者の自然な笑顔をみることができる。また、カメラ４１で撮影された画像は、サーバ１０で加工することで、自動的に高品質な仕上がりにすることができる。

上記実施形態では、利用者と利用者家族とで画像を共有する例について説明したが、動画を共有できるようにしてもよい。利用者が、気に入った動画を選択すると、サーバ１０は選択された動画データを利用者端末３０へ転送する。利用者が、動画再生中に気に入ったシーンを選択し、撮影システム４０が選択された再生時刻をサーバ１０に通知し、サーバ１０が、選択された時刻の静止画を動画から切り出して、利用者端末３０へ転送したり、プリンタＰからプリント出力したりしてもよい。

上記実施形態では、利用者が撮影システム４０に接近した際に、利用者を識別して新着画像の有無を確認していたが、サーバ１０は、各利用者の新着画像が登録されると、新着画像があることを利用者端末３０に通知してもよい。

画像提供システムは、画像や動画だけでなく、利用者の日々のバイタル情報、服薬履歴、リハビリの状況等の情報を共有できるようにしてもよい。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１０ サーバ
１１ 第１通信処理部
１２ 画像処理部
１３ 顔認識処理部
１４ 画像検索部
１５ 第２通信処理部
１６ 認証部
１７ 第３通信処理部
１８ プリント制御部
２０ 顔画像データベース
２１ 記憶部
３０ 利用者端末
４０ 撮影システム
４１ カメラ
４２ タッチパネル
４３ スピーカ
４４ マイク

Claims (4)

1. 利用者に情報を提示する表示部、及び前記利用者を撮影する撮影部、及び前記撮影部が撮影した画像データを送信する通信部を有する撮影システムと、
   前記撮影システムから前記画像データを受信すると共に、外部端末から画像データを受信し、受信した画像データを利用者毎に分類して記憶部に保存するサーバと、
   を備え、
   前記撮影システムは、前記撮影部が撮影している利用者に対応する画像データを前記サーバから受信して前記表示部に表示し、表示している画像のうち、利用者に選択された画像を前記サーバに通知し、
   前記サーバは、前記撮影システムからの通知に応じて、前記利用者に選択された画像のデータを利用者端末へ送信し、
   前記撮影システムは、前記利用者を前記撮影部で撮影して、撮影した画像データを前記サーバへ送信し、
   前記サーバは、前記撮影システムから受信した画像データから顔部分を検出し、複数の利用者の顔画像が登録された顔画像データベースと照合して顔認識処理を行い、前記利用者を特定し、特定した利用者の新着画像が前記記憶部に保存されている場合に、前記新着画像を前記撮影システムへ送信し、
   前記撮影システムは、前記新着画像を前記表示部に表示することを特徴とする画像提供システム。
2. 前記サーバは、前記外部端末からアクセスがあると、認証処理を行い、対応する利用者の画像データを前記記憶部から取り出して、前記外部端末へ送信することを特徴とする請求項１に記載の画像提供システム。
3. 前記サーバは、前記撮影システムから受信した画像データから顔部分を検出し、複数の利用者の顔画像が登録された顔画像データベースと照合して顔認識処理を行い、前記画像データに写っている利用者を特定し、前記画像データを前記記憶部に保存することを特徴とする請求項１又は２に記載の画像提供システム。
4. 前記サーバは、前記撮影システムからの通知に応じて、前記利用者に選択された画像のデータをプリンタへ転送し、プリント出力を行わせることを特徴とする請求項１乃至３のいずれかに記載の画像提供システム。

Images