WO2016031405A1 - 脳機能障害者生活支援装置 - Google Patents
脳機能障害者生活支援装置 Download PDFInfo
- Publication number
- WO2016031405A1 WO2016031405A1 PCT/JP2015/069972 JP2015069972W WO2016031405A1 WO 2016031405 A1 WO2016031405 A1 WO 2016031405A1 JP 2015069972 W JP2015069972 W JP 2015069972W WO 2016031405 A1 WO2016031405 A1 WO 2016031405A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- face image
- life support
- support device
- motion portrait
- created
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61G—TRANSPORT, PERSONAL CONVEYANCES, OR ACCOMMODATION SPECIALLY ADAPTED FOR PATIENTS OR DISABLED PERSONS; OPERATING TABLES OR CHAIRS; CHAIRS FOR DENTISTRY; FUNERAL DEVICES
- A61G12/00—Accommodation for nursing, e.g. in hospitals, not covered by groups A61G1/00 - A61G11/00, e.g. trolleys for transport of medicaments or food; Prescription lists
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/70—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mental therapies, e.g. psychological therapy or autogenous training
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/26—Devices for calling a subscriber
- H04M1/27—Devices whereby a plurality of signals may be stored simultaneously
- H04M1/274—Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Epidemiology (AREA)
- Social Psychology (AREA)
- Veterinary Medicine (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- Developmental Disabilities (AREA)
- Child & Adolescent Psychology (AREA)
- Nursing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Psychology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Accommodation For Nursing Or Treatment Tables (AREA)
- Telephone Function (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Processing Or Creating Images (AREA)
Abstract
介護老人ホームなどの介護施設で手軽に扱えて脳機能障害者の生活を支援する脳機能障害者生活支援装置ＬＳを提供するもので、通話機能を有するタブレット端末にモーションポートレート画像を作成するモーションポートレート画像作成手段１０を構築し、通話時に近親者の顔画像を対話内容に合わせて変化させるようにした脳機能障害者生活支援装ＬＳである。
Description
本発明は、脳機能障害者生活支援装置に関する。さらに詳しくは、認知症患者などの脳機能障害を有する高齢者（以下、単に脳機能障害高齢者という）に家族と電話を介して会話を楽しませるなどして日常生活を支援する脳機能障害者生活支援装置に関する。
従来より、脳機能障害高齢者の治療の一環として回想法が取り入れられている。この回想法においては、話相手はその高齢者の人生における思い出を共感的な態度で聞くことが必要とされている。かかる脳機能障害高齢者と共感的な態度で話相手になれる相手としては、家族などの近親者が最も相応しい。
しかしながら、核家族化が進展している現在、脳機能障害高齢者は、有料介護老人ホームなどの介護施設に入所しているのが一般的であるため、家族が常時、脳機能障害高齢者の話相手となるのは、事実上不可能である。
かかる状況を改善しようとして、特許文献１には、遠隔対話支援装置および遠隔対話支援方法が提案されている。
しかしながら、特許文献１の提案にかかるものにあっては、設備が複雑であるため、手軽に扱えないという問題がある。
しかしながら、核家族化が進展している現在、脳機能障害高齢者は、有料介護老人ホームなどの介護施設に入所しているのが一般的であるため、家族が常時、脳機能障害高齢者の話相手となるのは、事実上不可能である。
かかる状況を改善しようとして、特許文献１には、遠隔対話支援装置および遠隔対話支援方法が提案されている。
しかしながら、特許文献１の提案にかかるものにあっては、設備が複雑であるため、手軽に扱えないという問題がある。
本発明はかかる従来技術の課題に鑑みなされたものであって、有料介護老人ホームなどの介護施設で手軽に扱えて脳機能障害者の生活を支援する脳機能障害者生活支援装置を提供することを目的としている。
本発明の脳機能障害者生活支援装置は、通話機能を有するタブレット端末にモーションポートレート画像を作成するモーションポートレート画像作成手段を構築してなる脳機能障害者の生活を支援する脳機能障害者生活支援装置であって、前記支援装置は、当該支援装置を使用する脳機能障害者の近親者の顔画像データと、前記近親者の音声データとを同近親者の電話番号と関連づけて有し、通話時に受信した電話番号から当該近親者を特定し、前記特定した近親者の顔画像データから同近親者の音声データに基づいてモーションポートレート顔画像を作成し、当該通話時に表示部に表示することを特徴とする。
本発明の脳機能障害者生活支援装置においては、通話相手の音声を選択的に録音して同通話相手の音声データを作成し、前記音声データに基づいてモーションポートレート顔画像を作成するようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、作成したモーションポートレート顔画像を再生時に再生音声に同期させて表示部に表示するようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音声データにキーワードが付与されてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音楽や歌が格納され、格納された音楽や歌の再生時にその音楽や歌に合わせてモーションポートレート顔画像が作成されるようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音声データが想定対話に基づいて作成され、前記音声データによりモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像が、当該音声データが音声として出力されると想定されるタイミングに一致させ表示部に表示されるようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、通話時の通話内容をサーチして所定のキーワードを検出し、検出したキーワードに基づいて格納されている音声データ群から該当するキーワードを含む音声データを選択するようされてなるのが好ましい。
しかして、本発明の脳機能障害者生活支援装置は、例えばロボットに配設される。
その場合、ロボットが走行ロボットとされてなるのが好ましく、またロボットが接触式センサと、該センサからの接触信号に応答して動作する動作部を有してなるのも好ましい。
本発明の脳機能障害者生活支援装置においては、通話相手の音声を選択的に録音して同通話相手の音声データを作成し、前記音声データに基づいてモーションポートレート顔画像を作成するようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、作成したモーションポートレート顔画像を再生時に再生音声に同期させて表示部に表示するようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音声データにキーワードが付与されてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音楽や歌が格納され、格納された音楽や歌の再生時にその音楽や歌に合わせてモーションポートレート顔画像が作成されるようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、音声データが想定対話に基づいて作成され、前記音声データによりモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像が、当該音声データが音声として出力されると想定されるタイミングに一致させ表示部に表示されるようにされてなるのが好ましい。
また、本発明の脳機能障害者生活支援装置においては、通話時の通話内容をサーチして所定のキーワードを検出し、検出したキーワードに基づいて格納されている音声データ群から該当するキーワードを含む音声データを選択するようされてなるのが好ましい。
しかして、本発明の脳機能障害者生活支援装置は、例えばロボットに配設される。
その場合、ロボットが走行ロボットとされてなるのが好ましく、またロボットが接触式センサと、該センサからの接触信号に応答して動作する動作部を有してなるのも好ましい。
本発明は、前記の如く構成されているので、脳機能障害者のベッド上やベッド上のテーブルに載置することができ、脳機能障害者がベッドに居ながらにして近親者との対話を楽しむなどして生活の質を向上できるという優れた効果を奏する。
図１は本発明の実施形態１に係る脳機能障害者生活支援装置のブロックである。
図２は同脳機能障害者生活支援装置のモーションポートレート画像作成手段の機能ブロック図である。
図３は本発明の実施形態２に係る同脳機能障害者生活支援装置のモーションポートレート画像作成手段の機能ブロック図である。
図４は同脳機能障害者生活支援装置の待ち受け画面を示す図である。
図５は本発明の実施形態３に係る脳機能障害者生活支援装置のブロックである。
図６は通常のモーションポートレート画像を示す図である。
図７は感性制御技術により喜びを強調したモーションポートレート画像を示す図である。
図８は感性制御技術により目の喜びを強調したモーションポートレート画像を示す図である。
図９は感性制御技術により口の喜びを強調したモーションポートレート画像を示す図である。
図１０は本発明の実施形態４に係る脳機能障害者生活支援装置のモーションポートレート画像作成手段のブロックである。
図１１は本発明の実施形態５に係る脳機能障害者生活支援装置のブロックである。
図１２は同実施形態の動物顔画像加工手段のブロック図である。
図１３は本発明の応用例１のブロックである。
図１４は同応用例１の要部概略図である。
図１５は同応用例のロボットのブロック図である。
図１６は同応用例１のロボットコントローラのブロック図である。
図１７は本発明の応用例２の概略図である。
図１８は本発明の変形例の概略図である。
図２は同脳機能障害者生活支援装置のモーションポートレート画像作成手段の機能ブロック図である。
図３は本発明の実施形態２に係る同脳機能障害者生活支援装置のモーションポートレート画像作成手段の機能ブロック図である。
図４は同脳機能障害者生活支援装置の待ち受け画面を示す図である。
図５は本発明の実施形態３に係る脳機能障害者生活支援装置のブロックである。
図６は通常のモーションポートレート画像を示す図である。
図７は感性制御技術により喜びを強調したモーションポートレート画像を示す図である。
図８は感性制御技術により目の喜びを強調したモーションポートレート画像を示す図である。
図９は感性制御技術により口の喜びを強調したモーションポートレート画像を示す図である。
図１０は本発明の実施形態４に係る脳機能障害者生活支援装置のモーションポートレート画像作成手段のブロックである。
図１１は本発明の実施形態５に係る脳機能障害者生活支援装置のブロックである。
図１２は同実施形態の動物顔画像加工手段のブロック図である。
図１３は本発明の応用例１のブロックである。
図１４は同応用例１の要部概略図である。
図１５は同応用例のロボットのブロック図である。
図１６は同応用例１のロボットコントローラのブロック図である。
図１７は本発明の応用例２の概略図である。
図１８は本発明の変形例の概略図である。
以下、添付図面を参照しながら本発明を実施形態に基づいて説明するが、本発明はかかる実施形態のみに限定されるものではない。
実施形態１
本発明の実施形態１に係る脳機能障害者生活支援装置（以下、単に支援装置という）を図１に概略図で示す。
支援装置ＬＳは、図１に示すように、通話機能を有するタッチパネル式表示入力部（以下、単に表示入力部という）ＴＰを備えたタブレット端末（以下、単に端末という）に、モーションポートレート画像を作成するモーションポートレート画像作成手段１０を構築してなるものとされる。
ここで、モーションポートレート画像とは、二次元画像データを演算処理して作成される擬似三次元画像をいう。より具体的には、幾つかの基本表情、例えば３２の基本表情を任意の割合で混合することにより、様々な表情として作成された擬似三次元画像をいう。
モーションポートレート画像作成手段１０は、図２に示すように、脳機能障害高齢者の家族などの近親者（以下、近親者で代表する）の電話番号を格納する電話番号格納部１１と、受信した電話番号から当該近親者を特定する近親者特定部１２と、近親者の顔の二次元画像データを格納する二次元顔画像データ格納部１３と、特定した近親者（以下、特定近親者という）の二次元顔画像データを抽出する二次元顔画像データ抽出部１４と、想定対話時音声データ格納部１５と、想定対話時音声データ選択部１６と、選択された想定対話時音声データに基づいて二次元顔画像データを所定の処理基準により演算処理してモーションポートレート顔画像を作成する画像演算部１７と、画像演算部１７により作成されたモーションポートレート顔画像を蓄積する顔画像蓄積部１８と、顔画像蓄積部１８に蓄積された顔画像を所定のタイミングで順次出力する顔画像出力部１９と、を有するものとされる。
想定対話時音声データ格納部１５に格納される想定対話時音声データは、脳機能障害高齢者と電話で対話する可能性のある全ての近親者について事前に作成される。可能性のある近親者全員について音声データを作成するのは、作成されるモーションポートレート顔画像を対話の状況に応じた顔にできるだけ近づけるためである。
想定対話には、近況を尋ねるもの、誕生日を祝うもの、病気からの快復を喜ぶものなどが含まれる。また、想定対話に基づいて作成された想定対話時音声データは、想定対話時音声データ選択部１６の選択の便宜のために当該近親者名が付されるとともに、適当な検索キーワードが付されて想定対話時音声データ格納部１５に格納される。例えば、近況を尋ねるものにあっては、「近況」、誕生日を祝うものにあっては、「誕生日」、病気からの快復を喜ぶものにあっては、「病気」というような検索キーワードが付される。
想定対話時音声データ選択部１６は、特定近親者名およびキーワードに基づいて特定近親者の想定対話時音声データ群から所望の想定対話時音声データを選択して抽出するものとされる。
次に、かかる構成とされたモーションポートレート画像作成手段１０によるモーションポートレート顔画像の作成について説明する。
処理１：受信した電話番号から通話の主を特定する。すなわち、近親者特定部１２は、電話番号格納部１１に格納されている電話番号を参照して電話の主を特定する。つまり、電話してきた近親者を特定する。
処理２：特定近親者の顔画像データを抽出する。すなわち、二次元顔画像データ抽出部１４は、二次元顔画像データ格納部１３に格納されている二次元顔画像データから特定近親者の顔画像データを抽出する。
処理３：特定近親者が話す最初の数フレーズからキーワードを抽出し、ついで抽出したキーワードに基づいて特定近親者の想定対話時音声データ群から該当する音声データを選択して抽出する。すなわち、想定対話時音声データ選択部１６は、特定近親者が話す最初の数フレーズをサーチしてその中に含まれるキーワードを抽出し、ついで抽出したキーワードに基づいて想定対話時音声データ格納部１５に格納されている特定近親者の想定対話時音声データ群から該当する音声データを選択して抽出する。
処理４：抽出した音声データに基づいて抽出した二次元顔画像データに対して所定の演算処理をなしてモーションポートレート顔画像を作成する。すなわち、画像演算部１７は、抽出された音声データに基づいて抽出された二次元画像データに対して予め規定されている幾つかの基本表情、例えば３２の基本表情を任意の割合で混合するという画像処理をしてモーションポートレート顔画像を逐次作成する。
処理５：逐次作成されたモーションポートレート顔画像を逐次蓄積する。すなわち、顔画像蓄積部１８は、画像演算部１７により逐次作成されたモーションポートレート顔画像を作成された順に記憶する。
処理６：蓄積された顔画像を表示入力部ＴＰに作成された順に所定のタイミングで表示させる。すなわち、顔画像出力部１９は、顔画像蓄積部１８に蓄積されている顔画像を作成された順に表示入力部ＴＰに逐次出力する。この出力は、想定対話時音声データが音声として出力されると想定されるタイミングにマッチさせてなされるものとされる。というのは、そうすることにより、対話内容と表示される顔画像とのずれを少なくすることができるからである。
なお、かかる機能を有するモーションポートレート画像作成手段１０は、端末に前記処理を実行できるようプログラムを格納することにより実現される。
このように、本実施形態によれば、脳機能障害高齢者と近親者との電話による対話において、表示入力部ＴＰに表示される近親者の顔を対話内容にほぼマッチさせて変化させることができる。そのため、脳機能障害高齢者の脳機能の回復に貢献する度合が大きい。
実施形態２
本発明の実施形態２に係る支援装置ＬＳのモーションポートレート画像作成手段２０を図３に機能ブロック図で示す。
実施形態２は、実施形態１を改変してなるものであって、実施形態１のモーションポートレート画像作成手段１０の機能を拡張して、通話時の近親者の音声を選択的に録音して、当該近親者名およびキーワードを付与して音声データとして格納できるよう実対話時音声データ格納部２１を付加して拡張モーションポートレート画像作成手段２０としてなるものとされ、格納された実対話時音声データは、後述する再生モードにおけるモーションポートレート顔画像作成時に音声データとして利用するものとされる。
ここで、通話時の近親者の音声を選択的に録音するのは、本発明者らの実験によって、脳機能障害高齢者は録音された通話によっても対話を充分に楽しめることが確認されたことによる。
このように、本実施形態によれば、モーションポートレート顔画像作成時に実際の通話時の音声データを利用しているので、対話内容にモーションポートレート顔画像が完全にマッチするという実施形態１では得られない効果が得られる。
次に、かかる構成とされた支援装置ＬＳによる脳機能障害高齢者の生活支援について説明する。なお、以下において「直接モード」とは、支援装置ＬＳにより脳機能障害高齢者が近親者と直接対話する態様をいい、「再生モード」とは、支援装置ＬＳに録音した近親者の通話内容を再現して対話する態様をいう。
事前準備
近親者の顔画像（顔画像データ）、近親者の顔アイコン、近親者の電話番号、および近親者の想定対話時音声データを支援装置ＬＳに格納する。
直接モードによる場合（実施形態１における使用態様）
手順１：支援装置ＬＳを待ち受け状態とする。すなわち、表示入力部ＴＰに近親者の顔アイコンを表示させる。図４に待ち受け画面の一例を示す。図中、丸で囲まれた符号Ａ，Ｂ，Ｃはそれぞれ近親者Ａ，Ｂ，Ｃを表す。
手順２：近親者からの着信があると、受信した電話番号から近親者を特定する。
手順３：着信音を鳴らすとともに、特定近親者の顔アイコンを変化させて特定近親者からの電話であることを知らせる。例えば、顔アイコンをハイライトさせる。
手順４：通話が開始されると、特定近親者の顔画像を表示入力部ＴＰに大きく表示する。例えば、特定近親者の顔画像ウインドウを開く。
手順５：通話内容からキーワードを検出し、そのキーワードに基づいて想定対話時音声データを選択する。
手順６：選択された音声データに基づいて表示されている顔画像を変化させる。つまり、その音声データに基づいてモーションポートレート顔画像を作成して表示入力部ＴＰに表示する。
手順７：通話が終了すると、特定近親者の顔画像ウインドウを閉じて待ち受け画面に戻す。
このように、直接モードによる場合は、近親者は脳機能障害高齢者と直接対話ができるので、脳機能障害高齢者が元気でいることが確認できる。一方、脳機能障害者は、対話時に顔画像が対話の内容にほぼマッチして変化するので、対話時における脳への刺激の増大が図られて症状を改善することができる。
再生モードによる場合（実施形態２における使用態様）
手順１１：再生モードを起動する。この起動はタイマーを設定しておいて、設定された時刻になされてもよい。
手順１２：対話させる近親者を選択する。この選択は、例えば、表示されている近親者の顔画像をボタンとし、再生する近親者の顔画像をタッチすることによりなされる。
手順１３：選択された近親者の顔画像ウインドウを開く。
手順１４：選択した近親者の実対話時音声データ群から脳機能障害高齢者の状況にマッチした実対話時音声データを選択する。例えば、病気からの快復を喜ぶ「病気」のキーワードが付与された実対話時音声データを検索して選択する。
手順１５：選択された音声データに基づいて表示されている顔画像を変化させる。つまり、その音声データに基づいてモーションポートレート顔画像を作成して表示入力部ＴＰに表示する。
手順１６：実対話時音声データの再生が終了すると、選択した近親者の顔画像ウインドウを閉じて待ち受け画面に戻す。
このように、再生モードによる場合、近親者に負担をかけることなく、脳機能障害高齢者は対話により脳機能の活性化を図ることができる。
実施形態３
本発明の実施形態３を図５にブロック図で示す。
実施形態３は、実施形態１および実施形態２を改変してなるものであって、モーションポートレート画像作成手段１０，２０に感性制御技術手段３０を付加してなるものとされる。
ここで、感性制御技術とは、韻律情報からロバストな基本周波数を検出し、音声と情動と脳活動との整合性を確認しながら求めるパラメータにより、人の情動を１０段階でマグニチュードを検知し、そこから感情レベル（感性度合）を自動的に付与する技術をいう。
しかして、本実施形態では、感性制御技術手段３０から得られた感性度合に応じてモーションポートレート画像作成の際に、基本画像の混合割合を変化させてモーションポートレート画像を作成するものとされる。
図６に、通常のモーションポートレート画像を示す。図７に、感性制御技術手段３０から得られた喜びの度合を基に、「喜び」を強調して作成されたモーションポートレート画像を対比して示す。
この場合、混合割合を適宜調節することにより、図８に示すように「目の喜び」や、図９に示すように「口の喜び」を強調したモーションポートレート画像とすることもできる。
このように、本実施形態では、感性制御技術手段３０により得られた感性度合により標準的なモーションポートレート画像を修正しているので、作成された顔画像を通話中（録音再生におけるものも含む）の近親者の感情にマッチしたものとすることができる。
実施形態４
本発明の実施形態４のモーションポートレート画像作成手段１０を図１０にブロック図で示す。
実施形態４は、実施形態１を改変してなるものであって、モーションポートレート画像作成手段１０にバックグランドミュージック格納部（以下、ＢＧＭ格納部という）４０を付加してなるものとされる。
ＢＧＭ格納部４０は、主として脳機能障害高齢者が若い頃に好きだった曲を格納するものとされ、格納された曲は通話時にバックグランドミュージックとして出力されるものとされる。この場合、通話してきた近親者は、バックグランドミュージックに合わせて歌うこともできる。また、歌に合わせてモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像は表示入力部ＴＰに表示されるようにされてもよい。
このように、本実施形態によれば、通話してきた近親者は、脳機能障害高齢者が若い頃に好きだったバックグランドミュージックに合わせて歌うことができ、しかもその歌に合わせてモーションポートレート顔画像を作成することができるので、脳機能障害者の脳機能の回復を促進することができる。
実施形態５
本発明の実施形態５を図１１にブロック図で示す。
実施形態５は、実施形態２を改変してなるものであって、動物顔画像加工手段５０と表示切替手段６０とを付加し、支援装置ＬＳにペット的機能を付与してなるものとされる。
動物顔画像加工手段５０は、動物の二次元顔画像を画像処理してモーションポートレート顔画像とするものであって、図１２に示すように、動物顔加工指示部５１と、動物顔画像データ格納部５２と、動物顔画像データ抽出部５３と、動物顔画像演算部５４と、動物顔画像蓄積部５５と、動物顔画像出力部５６とを含むものとされる。
動物顔加工指示部５１は、例えば表示入力部ＴＰに表示されている動物の顔へのタッチに応答して、表示入力部ＴＰに表示されている動物の顔画像の加工を指示するものとされる。
動物顔画像データ格納部５２は、表示入力部ＴＰに表示される動物の顔画像データを格納するものとされる。格納される顔画像データは、例えば脳機能障害高齢者が若い頃に飼っていた動物、例えば猫や犬の顔画像データとされる。また、顔画像データの格納は、動物顔画像データ抽出部５３の抽出の便宜を考慮して識別番号を付して格納される。
動物顔画像データ抽出部５３は、動物顔画像データ格納部５２に格納されている動物の顔画像データから指定された顔画像データを抽出するものとされる。顔画像データの指定は、例えば介護者が識別番号を指定することによりなされる。
動物顔画像演算部５４は、予め規定されている幾つかの基本表情、例えば１６の基本表情を任意の割合で混合するという画像処理をし、動物の顔のモーションポートレート画像を逐次作成する。例えば、猫が笑っているような画像を作成する。
動物顔画像蓄積部５５は、動物顔画像演算部５４により逐次作成された動物の顔のモーションポートレート画像を逐次蓄積する。
動物顔画像出力部５６は、動物顔画像蓄積部５５に蓄積された動物の顔のモーションポートレート画像を適宜間隔で表示入力部ＴＰに出力する。例えば、一定間隔で出力する。
表示切替手段６０は、入力に応答して、例えば近親者からの電話に応答して、表示入力部ＴＰに表示されている顔画像を近親者の顔画像に切り替えるものとされる。なお、表示入力部ＴＰに切替ボタンを表示しておき、切替ボタンがタッチされることにより、表示画面が切り替えられるようにされてもよい。
このように、本実施形態では、表示入力部ＴＰに動物、例えば脳機能障害者がかつて飼っていた猫などの顔を表示するとともに、そのモーションポートレート画像を表示するようにされているので、支援装置ＬＳの玩具化、例えばペットおもちゃ化することができ、脳機能障害者の脳機能改善に寄与する効果が大きくなる。
次に、本実施形態の支援装置ＬＳをロボットに組み込んだ応用例について説明する。
応用例１
本発明の応用例を図１３にブロック図で示し、図１４に要部を概略図で示す。
ロボットＲは、図１５に示すように、下部ＲＬと上部ＲＵとからなるものとされ、スピーカー１４０と下部ＲＬに上部ＲＵを傾動させる傾動機構１５０とが設けられ、上部ＲＵに触覚センサ（接触式センサ）ＴＳと、腕（動作部）１０２と、その腕１０２を動作させる腕動作機構１６０が設けられるとともに、支援装置ＬＳを収納する収納凹部１０４も設けられてなるものとされる。収納凹部１０４は、例えば正面中央部に設けられる。ここで、ロボットＲの形態は、架空の動物に似せられている。
スピーカー１４０は、本応用例ではステレオタイプとされている。
傾動機構１５０は、サーボモータ（図示省略）を中心的構成要素として備えてなるものとされ、例えば下部ＲＬの中央に設けられる。傾動機構１５０は、公知の傾動機構を好適に用いることができ、その構成に特に限定はない。例えば、サーボモータの回転軸に上部ＲＵ底部に下部ＲＬ側に突出させて設けられた傾動部材を係合することにより、回転軸を回動させて傾動させることができる。
触覚センサＴＳは、例えば金属ワイヤからなる静電容量式タッチセンサとされ、上部ＲＵの適宜位置、例えば両脇に配設される。
腕１０２は右腕１０２Ｒと左腕１０２Ｌとを含むものとされる。また、腕動作機構１６０はサーボモータ（図示省略）を中心的構成要素として備えてなるものとされ、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒと、左腕１０２Ｌを動作させる左腕動作機構１６０Ｌとを含む。腕動作機構１６０による腕１０２の動作は、本応用例では、腕１０２を上下に振るような動作とされる。かかる腕１０２の動作は、例えばサーボモータの回転軸を腕１０２の基端部と係合させることにより実現される。
ロボットコントローラＲＣは、図１６に示すように、入力部１７１と、メモリ１７２と、演算処理部１７３と、出力部１７４と、電源処理部１７５とを備えてなるものとされる。ロボットコントローラＲＣは、具体的には、後述する機能を実現するためのプログラムが格納されたマイコンを中心に構成される。
入力部１７１には、支援装置ＬＳからの音声入力信号、触覚センサＴＳからの検知信号が入力される。
メモリ１７２には、入力部１７１に入力された音声入力信号、触覚センサＴＳからの検知信号、演算処理部１７３の演算処理に必要なデータなどが格納される。
演算処理部１７３は、スピーカー制御信号演算処理手段と、サーボモータ制御信号演算処理手段とを含むものとされる。
スピーカー制御信号演算処理手段は、音声入力信号に基づいて演算処理をしてスピーカーを制御する制御信号を生成するものとされる。
サーボモータ制御信号演算処理手段は、触覚センサＴＳからの検知信号に基づいて演算処理をしてサーボモータの制御信号を生成するものとされる。
例えば、右側の触覚センサＴＳがタッチされた場合には、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒのサーボモータに右腕１０２Ｒを上下に動かす制御信号を生成し、両方の触覚センサＴＳがタッチされた場合には、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒのサーボモータおよび左腕１０２Ｌを動作させる左腕動作機構１６０Ｌのサーボモータに右腕１０２Ｒおよび左腕１０２Ｌを同時に上下に動かす制御信号を生成し、左側の触覚センサＴＳが上方に移動させられた場合には、傾動機構１５０のサーボモータに上部ＲＵを右側に傾動させる制御信号を生成する。
出力部１７４は、演算処理部１７３により生成された制御信号をスピーカー１４０、サーボモータなどに出力するものとされる。
電源処理部１７５は、商用電源からの交流電流を処理してロボットコントローラＲＣ内で必要とされる直流電流、スピーカー用直流電流、サーボモータ駆動電流を生成するものとされる。より具体的には、電源処理部１７５は、ＡＣ／ＤＣコンバータおよびＤＣ／ＤＣコンバータを有していて、１００Ｖの交流電流から１２Ｖの直流電流を生成し、さらに１２Ｖの直流電流（駆動電流）から５Ｖの直流電流（制御電流）などを生成するものとされる。
このように、本応用例では支援装置ＬＳをロボットＲに組み込んだ上に、ロボットＲが脳機能障害高齢者の触覚センサＴＳへのタッチに応じて反応するので、癒し効果を発生するとともにロボットＲがペット的な役割も果たす、という支援装置ＬＳ単独では得られない効果も奏する。
応用例２
本発明の応用例２を図１７に示す。応用例２は応用例１のロボットＲを簡略化してなるものであって、ロボットＲを箱状体とし、上辺部に耳状の可動体Ｅを配設してなるものとされる。
耳状の可動体Ｅは、サーボモータ駆動とされ、ロボットＲの正面中央に設けられた収納凹部に収納された支援装置ＬＳからの指令により動作するようにされている。例えば、根本を起点として左右方向に動くようにされている。
支援装置ＬＳは、例えば実施形態５に係るものとされ、表示入力部ＴＰに表示されている動物の顔がタッチされることにより、耳状の可動体Ｅに対する動作指令が生成されるようにされている。
このように、本応用例では、支援装置ＬＳの表示入力部ＴＰに表示されている動物の顔をタッチすることにより、耳状の可動体Ｅが左右方向に動くようにされているので、癒し効果が増大する。また、ロボットＲが箱状体に簡素化されているので、その取扱いも容易となる。
以上、本発明を実施形態を中心説明してきたが、本発明はかかる実施形態および応用例に限定されるものではなく、種々改変が可能である。
例えば、支援装置ＬＳに脳機能障害高齢者が好きな歌を収録して、モーションポートレート画像作成手段１０や拡張モーションポートレート画像作成手段２０にフェイスシング（株式会社タカラトミー商品名）を搭載しておき、脳機能障害者が触覚センサＴＳをタッチすると、近親者が曲に合わせて歌うような仕草をするようにされてもよい。こうすることにより、脳機能障害高齢者の機能回復がより一層促進される。
また、図１８に示すように、支援装置ＬＳは移動ロボット（走行ロボット）ＭＲに搭載されるようにさてもよい。こうすることにより、脳機能障害高齢者の車椅子による移動の際にも近親者と電話による対話を楽しむことができる。
実施形態１
本発明の実施形態１に係る脳機能障害者生活支援装置（以下、単に支援装置という）を図１に概略図で示す。
支援装置ＬＳは、図１に示すように、通話機能を有するタッチパネル式表示入力部（以下、単に表示入力部という）ＴＰを備えたタブレット端末（以下、単に端末という）に、モーションポートレート画像を作成するモーションポートレート画像作成手段１０を構築してなるものとされる。
ここで、モーションポートレート画像とは、二次元画像データを演算処理して作成される擬似三次元画像をいう。より具体的には、幾つかの基本表情、例えば３２の基本表情を任意の割合で混合することにより、様々な表情として作成された擬似三次元画像をいう。
モーションポートレート画像作成手段１０は、図２に示すように、脳機能障害高齢者の家族などの近親者（以下、近親者で代表する）の電話番号を格納する電話番号格納部１１と、受信した電話番号から当該近親者を特定する近親者特定部１２と、近親者の顔の二次元画像データを格納する二次元顔画像データ格納部１３と、特定した近親者（以下、特定近親者という）の二次元顔画像データを抽出する二次元顔画像データ抽出部１４と、想定対話時音声データ格納部１５と、想定対話時音声データ選択部１６と、選択された想定対話時音声データに基づいて二次元顔画像データを所定の処理基準により演算処理してモーションポートレート顔画像を作成する画像演算部１７と、画像演算部１７により作成されたモーションポートレート顔画像を蓄積する顔画像蓄積部１８と、顔画像蓄積部１８に蓄積された顔画像を所定のタイミングで順次出力する顔画像出力部１９と、を有するものとされる。
想定対話時音声データ格納部１５に格納される想定対話時音声データは、脳機能障害高齢者と電話で対話する可能性のある全ての近親者について事前に作成される。可能性のある近親者全員について音声データを作成するのは、作成されるモーションポートレート顔画像を対話の状況に応じた顔にできるだけ近づけるためである。
想定対話には、近況を尋ねるもの、誕生日を祝うもの、病気からの快復を喜ぶものなどが含まれる。また、想定対話に基づいて作成された想定対話時音声データは、想定対話時音声データ選択部１６の選択の便宜のために当該近親者名が付されるとともに、適当な検索キーワードが付されて想定対話時音声データ格納部１５に格納される。例えば、近況を尋ねるものにあっては、「近況」、誕生日を祝うものにあっては、「誕生日」、病気からの快復を喜ぶものにあっては、「病気」というような検索キーワードが付される。
想定対話時音声データ選択部１６は、特定近親者名およびキーワードに基づいて特定近親者の想定対話時音声データ群から所望の想定対話時音声データを選択して抽出するものとされる。
次に、かかる構成とされたモーションポートレート画像作成手段１０によるモーションポートレート顔画像の作成について説明する。
処理１：受信した電話番号から通話の主を特定する。すなわち、近親者特定部１２は、電話番号格納部１１に格納されている電話番号を参照して電話の主を特定する。つまり、電話してきた近親者を特定する。
処理２：特定近親者の顔画像データを抽出する。すなわち、二次元顔画像データ抽出部１４は、二次元顔画像データ格納部１３に格納されている二次元顔画像データから特定近親者の顔画像データを抽出する。
処理３：特定近親者が話す最初の数フレーズからキーワードを抽出し、ついで抽出したキーワードに基づいて特定近親者の想定対話時音声データ群から該当する音声データを選択して抽出する。すなわち、想定対話時音声データ選択部１６は、特定近親者が話す最初の数フレーズをサーチしてその中に含まれるキーワードを抽出し、ついで抽出したキーワードに基づいて想定対話時音声データ格納部１５に格納されている特定近親者の想定対話時音声データ群から該当する音声データを選択して抽出する。
処理４：抽出した音声データに基づいて抽出した二次元顔画像データに対して所定の演算処理をなしてモーションポートレート顔画像を作成する。すなわち、画像演算部１７は、抽出された音声データに基づいて抽出された二次元画像データに対して予め規定されている幾つかの基本表情、例えば３２の基本表情を任意の割合で混合するという画像処理をしてモーションポートレート顔画像を逐次作成する。
処理５：逐次作成されたモーションポートレート顔画像を逐次蓄積する。すなわち、顔画像蓄積部１８は、画像演算部１７により逐次作成されたモーションポートレート顔画像を作成された順に記憶する。
処理６：蓄積された顔画像を表示入力部ＴＰに作成された順に所定のタイミングで表示させる。すなわち、顔画像出力部１９は、顔画像蓄積部１８に蓄積されている顔画像を作成された順に表示入力部ＴＰに逐次出力する。この出力は、想定対話時音声データが音声として出力されると想定されるタイミングにマッチさせてなされるものとされる。というのは、そうすることにより、対話内容と表示される顔画像とのずれを少なくすることができるからである。
なお、かかる機能を有するモーションポートレート画像作成手段１０は、端末に前記処理を実行できるようプログラムを格納することにより実現される。
このように、本実施形態によれば、脳機能障害高齢者と近親者との電話による対話において、表示入力部ＴＰに表示される近親者の顔を対話内容にほぼマッチさせて変化させることができる。そのため、脳機能障害高齢者の脳機能の回復に貢献する度合が大きい。
実施形態２
本発明の実施形態２に係る支援装置ＬＳのモーションポートレート画像作成手段２０を図３に機能ブロック図で示す。
実施形態２は、実施形態１を改変してなるものであって、実施形態１のモーションポートレート画像作成手段１０の機能を拡張して、通話時の近親者の音声を選択的に録音して、当該近親者名およびキーワードを付与して音声データとして格納できるよう実対話時音声データ格納部２１を付加して拡張モーションポートレート画像作成手段２０としてなるものとされ、格納された実対話時音声データは、後述する再生モードにおけるモーションポートレート顔画像作成時に音声データとして利用するものとされる。
ここで、通話時の近親者の音声を選択的に録音するのは、本発明者らの実験によって、脳機能障害高齢者は録音された通話によっても対話を充分に楽しめることが確認されたことによる。
このように、本実施形態によれば、モーションポートレート顔画像作成時に実際の通話時の音声データを利用しているので、対話内容にモーションポートレート顔画像が完全にマッチするという実施形態１では得られない効果が得られる。
次に、かかる構成とされた支援装置ＬＳによる脳機能障害高齢者の生活支援について説明する。なお、以下において「直接モード」とは、支援装置ＬＳにより脳機能障害高齢者が近親者と直接対話する態様をいい、「再生モード」とは、支援装置ＬＳに録音した近親者の通話内容を再現して対話する態様をいう。
事前準備
近親者の顔画像（顔画像データ）、近親者の顔アイコン、近親者の電話番号、および近親者の想定対話時音声データを支援装置ＬＳに格納する。
直接モードによる場合（実施形態１における使用態様）
手順１：支援装置ＬＳを待ち受け状態とする。すなわち、表示入力部ＴＰに近親者の顔アイコンを表示させる。図４に待ち受け画面の一例を示す。図中、丸で囲まれた符号Ａ，Ｂ，Ｃはそれぞれ近親者Ａ，Ｂ，Ｃを表す。
手順２：近親者からの着信があると、受信した電話番号から近親者を特定する。
手順３：着信音を鳴らすとともに、特定近親者の顔アイコンを変化させて特定近親者からの電話であることを知らせる。例えば、顔アイコンをハイライトさせる。
手順４：通話が開始されると、特定近親者の顔画像を表示入力部ＴＰに大きく表示する。例えば、特定近親者の顔画像ウインドウを開く。
手順５：通話内容からキーワードを検出し、そのキーワードに基づいて想定対話時音声データを選択する。
手順６：選択された音声データに基づいて表示されている顔画像を変化させる。つまり、その音声データに基づいてモーションポートレート顔画像を作成して表示入力部ＴＰに表示する。
手順７：通話が終了すると、特定近親者の顔画像ウインドウを閉じて待ち受け画面に戻す。
このように、直接モードによる場合は、近親者は脳機能障害高齢者と直接対話ができるので、脳機能障害高齢者が元気でいることが確認できる。一方、脳機能障害者は、対話時に顔画像が対話の内容にほぼマッチして変化するので、対話時における脳への刺激の増大が図られて症状を改善することができる。
再生モードによる場合（実施形態２における使用態様）
手順１１：再生モードを起動する。この起動はタイマーを設定しておいて、設定された時刻になされてもよい。
手順１２：対話させる近親者を選択する。この選択は、例えば、表示されている近親者の顔画像をボタンとし、再生する近親者の顔画像をタッチすることによりなされる。
手順１３：選択された近親者の顔画像ウインドウを開く。
手順１４：選択した近親者の実対話時音声データ群から脳機能障害高齢者の状況にマッチした実対話時音声データを選択する。例えば、病気からの快復を喜ぶ「病気」のキーワードが付与された実対話時音声データを検索して選択する。
手順１５：選択された音声データに基づいて表示されている顔画像を変化させる。つまり、その音声データに基づいてモーションポートレート顔画像を作成して表示入力部ＴＰに表示する。
手順１６：実対話時音声データの再生が終了すると、選択した近親者の顔画像ウインドウを閉じて待ち受け画面に戻す。
このように、再生モードによる場合、近親者に負担をかけることなく、脳機能障害高齢者は対話により脳機能の活性化を図ることができる。
実施形態３
本発明の実施形態３を図５にブロック図で示す。
実施形態３は、実施形態１および実施形態２を改変してなるものであって、モーションポートレート画像作成手段１０，２０に感性制御技術手段３０を付加してなるものとされる。
ここで、感性制御技術とは、韻律情報からロバストな基本周波数を検出し、音声と情動と脳活動との整合性を確認しながら求めるパラメータにより、人の情動を１０段階でマグニチュードを検知し、そこから感情レベル（感性度合）を自動的に付与する技術をいう。
しかして、本実施形態では、感性制御技術手段３０から得られた感性度合に応じてモーションポートレート画像作成の際に、基本画像の混合割合を変化させてモーションポートレート画像を作成するものとされる。
図６に、通常のモーションポートレート画像を示す。図７に、感性制御技術手段３０から得られた喜びの度合を基に、「喜び」を強調して作成されたモーションポートレート画像を対比して示す。
この場合、混合割合を適宜調節することにより、図８に示すように「目の喜び」や、図９に示すように「口の喜び」を強調したモーションポートレート画像とすることもできる。
このように、本実施形態では、感性制御技術手段３０により得られた感性度合により標準的なモーションポートレート画像を修正しているので、作成された顔画像を通話中（録音再生におけるものも含む）の近親者の感情にマッチしたものとすることができる。
実施形態４
本発明の実施形態４のモーションポートレート画像作成手段１０を図１０にブロック図で示す。
実施形態４は、実施形態１を改変してなるものであって、モーションポートレート画像作成手段１０にバックグランドミュージック格納部（以下、ＢＧＭ格納部という）４０を付加してなるものとされる。
ＢＧＭ格納部４０は、主として脳機能障害高齢者が若い頃に好きだった曲を格納するものとされ、格納された曲は通話時にバックグランドミュージックとして出力されるものとされる。この場合、通話してきた近親者は、バックグランドミュージックに合わせて歌うこともできる。また、歌に合わせてモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像は表示入力部ＴＰに表示されるようにされてもよい。
このように、本実施形態によれば、通話してきた近親者は、脳機能障害高齢者が若い頃に好きだったバックグランドミュージックに合わせて歌うことができ、しかもその歌に合わせてモーションポートレート顔画像を作成することができるので、脳機能障害者の脳機能の回復を促進することができる。
実施形態５
本発明の実施形態５を図１１にブロック図で示す。
実施形態５は、実施形態２を改変してなるものであって、動物顔画像加工手段５０と表示切替手段６０とを付加し、支援装置ＬＳにペット的機能を付与してなるものとされる。
動物顔画像加工手段５０は、動物の二次元顔画像を画像処理してモーションポートレート顔画像とするものであって、図１２に示すように、動物顔加工指示部５１と、動物顔画像データ格納部５２と、動物顔画像データ抽出部５３と、動物顔画像演算部５４と、動物顔画像蓄積部５５と、動物顔画像出力部５６とを含むものとされる。
動物顔加工指示部５１は、例えば表示入力部ＴＰに表示されている動物の顔へのタッチに応答して、表示入力部ＴＰに表示されている動物の顔画像の加工を指示するものとされる。
動物顔画像データ格納部５２は、表示入力部ＴＰに表示される動物の顔画像データを格納するものとされる。格納される顔画像データは、例えば脳機能障害高齢者が若い頃に飼っていた動物、例えば猫や犬の顔画像データとされる。また、顔画像データの格納は、動物顔画像データ抽出部５３の抽出の便宜を考慮して識別番号を付して格納される。
動物顔画像データ抽出部５３は、動物顔画像データ格納部５２に格納されている動物の顔画像データから指定された顔画像データを抽出するものとされる。顔画像データの指定は、例えば介護者が識別番号を指定することによりなされる。
動物顔画像演算部５４は、予め規定されている幾つかの基本表情、例えば１６の基本表情を任意の割合で混合するという画像処理をし、動物の顔のモーションポートレート画像を逐次作成する。例えば、猫が笑っているような画像を作成する。
動物顔画像蓄積部５５は、動物顔画像演算部５４により逐次作成された動物の顔のモーションポートレート画像を逐次蓄積する。
動物顔画像出力部５６は、動物顔画像蓄積部５５に蓄積された動物の顔のモーションポートレート画像を適宜間隔で表示入力部ＴＰに出力する。例えば、一定間隔で出力する。
表示切替手段６０は、入力に応答して、例えば近親者からの電話に応答して、表示入力部ＴＰに表示されている顔画像を近親者の顔画像に切り替えるものとされる。なお、表示入力部ＴＰに切替ボタンを表示しておき、切替ボタンがタッチされることにより、表示画面が切り替えられるようにされてもよい。
このように、本実施形態では、表示入力部ＴＰに動物、例えば脳機能障害者がかつて飼っていた猫などの顔を表示するとともに、そのモーションポートレート画像を表示するようにされているので、支援装置ＬＳの玩具化、例えばペットおもちゃ化することができ、脳機能障害者の脳機能改善に寄与する効果が大きくなる。
次に、本実施形態の支援装置ＬＳをロボットに組み込んだ応用例について説明する。
応用例１
本発明の応用例を図１３にブロック図で示し、図１４に要部を概略図で示す。
ロボットＲは、図１５に示すように、下部ＲＬと上部ＲＵとからなるものとされ、スピーカー１４０と下部ＲＬに上部ＲＵを傾動させる傾動機構１５０とが設けられ、上部ＲＵに触覚センサ（接触式センサ）ＴＳと、腕（動作部）１０２と、その腕１０２を動作させる腕動作機構１６０が設けられるとともに、支援装置ＬＳを収納する収納凹部１０４も設けられてなるものとされる。収納凹部１０４は、例えば正面中央部に設けられる。ここで、ロボットＲの形態は、架空の動物に似せられている。
スピーカー１４０は、本応用例ではステレオタイプとされている。
傾動機構１５０は、サーボモータ（図示省略）を中心的構成要素として備えてなるものとされ、例えば下部ＲＬの中央に設けられる。傾動機構１５０は、公知の傾動機構を好適に用いることができ、その構成に特に限定はない。例えば、サーボモータの回転軸に上部ＲＵ底部に下部ＲＬ側に突出させて設けられた傾動部材を係合することにより、回転軸を回動させて傾動させることができる。
触覚センサＴＳは、例えば金属ワイヤからなる静電容量式タッチセンサとされ、上部ＲＵの適宜位置、例えば両脇に配設される。
腕１０２は右腕１０２Ｒと左腕１０２Ｌとを含むものとされる。また、腕動作機構１６０はサーボモータ（図示省略）を中心的構成要素として備えてなるものとされ、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒと、左腕１０２Ｌを動作させる左腕動作機構１６０Ｌとを含む。腕動作機構１６０による腕１０２の動作は、本応用例では、腕１０２を上下に振るような動作とされる。かかる腕１０２の動作は、例えばサーボモータの回転軸を腕１０２の基端部と係合させることにより実現される。
ロボットコントローラＲＣは、図１６に示すように、入力部１７１と、メモリ１７２と、演算処理部１７３と、出力部１７４と、電源処理部１７５とを備えてなるものとされる。ロボットコントローラＲＣは、具体的には、後述する機能を実現するためのプログラムが格納されたマイコンを中心に構成される。
入力部１７１には、支援装置ＬＳからの音声入力信号、触覚センサＴＳからの検知信号が入力される。
メモリ１７２には、入力部１７１に入力された音声入力信号、触覚センサＴＳからの検知信号、演算処理部１７３の演算処理に必要なデータなどが格納される。
演算処理部１７３は、スピーカー制御信号演算処理手段と、サーボモータ制御信号演算処理手段とを含むものとされる。
スピーカー制御信号演算処理手段は、音声入力信号に基づいて演算処理をしてスピーカーを制御する制御信号を生成するものとされる。
サーボモータ制御信号演算処理手段は、触覚センサＴＳからの検知信号に基づいて演算処理をしてサーボモータの制御信号を生成するものとされる。
例えば、右側の触覚センサＴＳがタッチされた場合には、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒのサーボモータに右腕１０２Ｒを上下に動かす制御信号を生成し、両方の触覚センサＴＳがタッチされた場合には、右腕１０２Ｒを動作させる右腕動作機構１６０Ｒのサーボモータおよび左腕１０２Ｌを動作させる左腕動作機構１６０Ｌのサーボモータに右腕１０２Ｒおよび左腕１０２Ｌを同時に上下に動かす制御信号を生成し、左側の触覚センサＴＳが上方に移動させられた場合には、傾動機構１５０のサーボモータに上部ＲＵを右側に傾動させる制御信号を生成する。
出力部１７４は、演算処理部１７３により生成された制御信号をスピーカー１４０、サーボモータなどに出力するものとされる。
電源処理部１７５は、商用電源からの交流電流を処理してロボットコントローラＲＣ内で必要とされる直流電流、スピーカー用直流電流、サーボモータ駆動電流を生成するものとされる。より具体的には、電源処理部１７５は、ＡＣ／ＤＣコンバータおよびＤＣ／ＤＣコンバータを有していて、１００Ｖの交流電流から１２Ｖの直流電流を生成し、さらに１２Ｖの直流電流（駆動電流）から５Ｖの直流電流（制御電流）などを生成するものとされる。
このように、本応用例では支援装置ＬＳをロボットＲに組み込んだ上に、ロボットＲが脳機能障害高齢者の触覚センサＴＳへのタッチに応じて反応するので、癒し効果を発生するとともにロボットＲがペット的な役割も果たす、という支援装置ＬＳ単独では得られない効果も奏する。
応用例２
本発明の応用例２を図１７に示す。応用例２は応用例１のロボットＲを簡略化してなるものであって、ロボットＲを箱状体とし、上辺部に耳状の可動体Ｅを配設してなるものとされる。
耳状の可動体Ｅは、サーボモータ駆動とされ、ロボットＲの正面中央に設けられた収納凹部に収納された支援装置ＬＳからの指令により動作するようにされている。例えば、根本を起点として左右方向に動くようにされている。
支援装置ＬＳは、例えば実施形態５に係るものとされ、表示入力部ＴＰに表示されている動物の顔がタッチされることにより、耳状の可動体Ｅに対する動作指令が生成されるようにされている。
このように、本応用例では、支援装置ＬＳの表示入力部ＴＰに表示されている動物の顔をタッチすることにより、耳状の可動体Ｅが左右方向に動くようにされているので、癒し効果が増大する。また、ロボットＲが箱状体に簡素化されているので、その取扱いも容易となる。
以上、本発明を実施形態を中心説明してきたが、本発明はかかる実施形態および応用例に限定されるものではなく、種々改変が可能である。
例えば、支援装置ＬＳに脳機能障害高齢者が好きな歌を収録して、モーションポートレート画像作成手段１０や拡張モーションポートレート画像作成手段２０にフェイスシング（株式会社タカラトミー商品名）を搭載しておき、脳機能障害者が触覚センサＴＳをタッチすると、近親者が曲に合わせて歌うような仕草をするようにされてもよい。こうすることにより、脳機能障害高齢者の機能回復がより一層促進される。
また、図１８に示すように、支援装置ＬＳは移動ロボット（走行ロボット）ＭＲに搭載されるようにさてもよい。こうすることにより、脳機能障害高齢者の車椅子による移動の際にも近親者と電話による対話を楽しむことができる。
本発明は、介護産業やロボット産業に適用できる。
ＬＳ 脳機能障害者生活支援装置
Ｒ ロボット
Ｅ 可動体
ＲＣ ロボットコントローラ
ＲＬ 下部
ＲＵ 上部
ＭＲ 移動ロボット、走行ロボット
ＴＰ タッチパネル式表示入力部
ＴＳ 触覚センサ、接触式センサ
１０ モーションポートレート画像作成手段
１１ 電話番号格納部
１２ 近親者特定部
１３ 二次元顔画像データ格納部
１４ 二次元顔画像データ抽出部
１５ 想定対話時音声データ格納部
１６ 想定対話時音声データ選択部
１７ 画像演算部
１８ 顔画像蓄積部
１９ 顔画像出力部
２０ 拡張モーションポートレート画像作成手段
２１ 実対話時音声データ格納部
３０ 感性制御技術手段
４０ バックグランドミュージック格納部
５０ 動物顔画像加工手段
６０ 表示切替手段
１０２ 腕、動作部
１０２Ｒ 右腕
１０２Ｌ 左腕
１０４ 収納凹部
１４０ スピーカー
１５０ 傾動機構
１６０ 腕動作機構
１６０Ｒ 右腕動作機構
１６０Ｌ 左腕動作機構
１７１ 入力部
１７２ メモリ
１７３ 演算処理部
１７４ 出力部
１７５ 電源処理部
Ｒ ロボット
Ｅ 可動体
ＲＣ ロボットコントローラ
ＲＬ 下部
ＲＵ 上部
ＭＲ 移動ロボット、走行ロボット
ＴＰ タッチパネル式表示入力部
ＴＳ 触覚センサ、接触式センサ
１０ モーションポートレート画像作成手段
１１ 電話番号格納部
１２ 近親者特定部
１３ 二次元顔画像データ格納部
１４ 二次元顔画像データ抽出部
１５ 想定対話時音声データ格納部
１６ 想定対話時音声データ選択部
１７ 画像演算部
１８ 顔画像蓄積部
１９ 顔画像出力部
２０ 拡張モーションポートレート画像作成手段
２１ 実対話時音声データ格納部
３０ 感性制御技術手段
４０ バックグランドミュージック格納部
５０ 動物顔画像加工手段
６０ 表示切替手段
１０２ 腕、動作部
１０２Ｒ 右腕
１０２Ｌ 左腕
１０４ 収納凹部
１４０ スピーカー
１５０ 傾動機構
１６０ 腕動作機構
１６０Ｒ 右腕動作機構
１６０Ｌ 左腕動作機構
１７１ 入力部
１７２ メモリ
１７３ 演算処理部
１７４ 出力部
１７５ 電源処理部
Claims (13)
- 通話機能を有するタブレット端末にモーションポートレート画像を作成するモーションポートレート画像作成手段を構築してなる脳機能障害者の生活を支援する脳機能障害者生活支援装置であって、
前記支援装置は、当該支援装置を使用する脳機能障害者の近親者の顔画像データと、前記近親者の音声データとを同近親者の電話番号と関連づけて有し、
通話時に受信した電話番号から当該近親者を特定し、
前記特定した近親者の顔画像データから同近親者の音声データに基づいてモーションポートレート顔画像を作成し、当該通話時に表示入力部に表示する
ことを特徴とする脳機能障害者生活支援装置。 - 通話相手の音声を選択的に録音して同通話相手の音声データを作成し、前記音声データに基づいてモーションポートレート顔画像を作成するようにされてなることを特徴とする請求項１記載の脳機能障害者生活支援装置。
- 作成したモーションポートレート顔画像を再生時に再生音声に同期させて表示入力部に表示するようにされてなることを特徴とする請求項２記載の脳機能障害者生活支援装置。
- 音声データにキーワードが付与されてなることを特徴とする請求項１または２記載の脳機能障害者生活支援装置。
- 音楽や歌が格納され、格納された音楽や歌の再生時にその音楽や歌に合わせてモーションポートレート顔画像が作成されるようにされてなることを特徴とする請求項１記載の脳機能障害者生活支援装置。
- 音声データが想定対話に基づいて作成され、前記音声データによりモーションポートレート顔画像が作成され、作成されたモーションポートレート顔画像が、当該音声データが音声として出力されると想定されるタイミングに一致させ表示入力部に表示されるようにされてなることを特徴とする請求項１記載の脳機能障害者生活支援装置。
- 通話時の通話内容をサーチして所定のキーワードを検出し、検出したキーワードに基づいて格納されている音声データ群から該当するキーワードを含む音声データを選択するようされてなることを特徴とする請求項４記載の脳機能障害者生活支援装置。
- 通話時における近親者の感性度合を自動的に判定する感性制御技術手段を有し、前記判定された感性度合に基づいてモーションポートレート顔画像を修正することを特徴とする請求項１記載の脳機能障害者生活支援装置。
- 動物の顔画像が表示されるようにされ、かつ、前記表示された動物の顔画像のモーションポートレート顔画像が作成されるようにされてなることを特徴とする請求項１記載の脳機能障害者生活支援装置。
- 請求項１ないし請求項９のいずれか一項に記載の脳機能障害者生活支援装置が配設されてなることを特徴とするロボット。
- ロボットが走行ロボットとされてなることを特徴とする請求項１０記載のロボット。
- ロボットが接触式センサと、該センサからの接触信号に応答して動作する動作部を有してなることを特徴とする請求項１０記載のロボット。
- 請求項９記載の脳機能障害者生活支援装置が配設されてなるロボットであって、表示された動物の顔画像がタッチされると動作する可動体を有してなることを特徴する請求項１０記載のロボット。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014171358A JP6149230B2 (ja) | 2014-03-28 | 2014-08-26 | 脳機能障害者生活支援装置 |
| JP2014-171358 | 2014-08-26 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2016031405A1 true WO2016031405A1 (ja) | 2016-03-03 |
Family
ID=55400939
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2015/069972 WO2016031405A1 (ja) | 2014-08-26 | 2015-07-02 | 脳機能障害者生活支援装置 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6149230B2 (ja) |
| WO (1) | WO2016031405A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11212882B2 (en) | 2016-10-07 | 2021-12-28 | Sony Corporation | Information processing apparatus and information processing method for presentation of a cooking situation based on emotion of a user |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11003894B2 (en) | 2016-06-27 | 2021-05-11 | Sony Corporation | Information processing system, storage medium, and information processing method to make a response to a user on a basis of an episode constructed from an interaction with a user |
| CN111128400B (zh) * | 2019-11-26 | 2023-09-12 | 泰康保险集团股份有限公司 | 医学护理资料的处理方法及装置、存储介质、电子设备 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999067067A1 (fr) * | 1998-06-23 | 1999-12-29 | Sony Corporation | Robot et systeme de traitement d'information |
| JP2002176632A (ja) * | 2000-12-08 | 2002-06-21 | Mitsubishi Electric Corp | 携帯電話機及び画像伝送方法 |
| JP2004164649A (ja) * | 2002-11-14 | 2004-06-10 | Eastman Kodak Co | 刺激に応じてポートレート画像を変更するシステム及び方法 |
| JP2004214895A (ja) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | 通信補助装置 |
| JP2005208367A (ja) * | 2004-01-23 | 2005-08-04 | Matsushita Electric Ind Co Ltd | 音声再生処理装置及び電話端末 |
| US20080165195A1 (en) * | 2007-01-06 | 2008-07-10 | Outland Research, Llc | Method, apparatus, and software for animated self-portraits |
| JP2009033255A (ja) * | 2007-07-24 | 2009-02-12 | Ntt Docomo Inc | 制御装置、移動通信システム及び通信端末 |
| JP2011097531A (ja) * | 2009-11-02 | 2011-05-12 | Advanced Telecommunication Research Institute International | 傾聴対話持続システム |
| WO2013019402A1 (en) * | 2011-08-02 | 2013-02-07 | Microsoft Corporation | Finding a called party |
| JP2014072772A (ja) * | 2012-09-28 | 2014-04-21 | Nec Corp | 通信システム |
| JP2014095753A (ja) * | 2012-11-07 | 2014-05-22 | Hitachi Systems Ltd | 音声自動認識・音声変換システム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4986741B2 (ja) * | 2007-06-28 | 2012-07-25 | 三洋電機株式会社 | 電子機器及びそのメニュー画面表示方法 |
| JP5291735B2 (ja) * | 2011-02-24 | 2013-09-18 | ソネットエンタテインメント株式会社 | 似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム |
| JP2014061042A (ja) * | 2012-09-20 | 2014-04-10 | Interlink:Kk | パズルゲームプログラム |
-
2014
- 2014-08-26 JP JP2014171358A patent/JP6149230B2/ja not_active Expired - Fee Related
-
2015
- 2015-07-02 WO PCT/JP2015/069972 patent/WO2016031405A1/ja active Application Filing
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999067067A1 (fr) * | 1998-06-23 | 1999-12-29 | Sony Corporation | Robot et systeme de traitement d'information |
| JP2002176632A (ja) * | 2000-12-08 | 2002-06-21 | Mitsubishi Electric Corp | 携帯電話機及び画像伝送方法 |
| JP2004164649A (ja) * | 2002-11-14 | 2004-06-10 | Eastman Kodak Co | 刺激に応じてポートレート画像を変更するシステム及び方法 |
| JP2004214895A (ja) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | 通信補助装置 |
| JP2005208367A (ja) * | 2004-01-23 | 2005-08-04 | Matsushita Electric Ind Co Ltd | 音声再生処理装置及び電話端末 |
| US20080165195A1 (en) * | 2007-01-06 | 2008-07-10 | Outland Research, Llc | Method, apparatus, and software for animated self-portraits |
| JP2009033255A (ja) * | 2007-07-24 | 2009-02-12 | Ntt Docomo Inc | 制御装置、移動通信システム及び通信端末 |
| JP2011097531A (ja) * | 2009-11-02 | 2011-05-12 | Advanced Telecommunication Research Institute International | 傾聴対話持続システム |
| WO2013019402A1 (en) * | 2011-08-02 | 2013-02-07 | Microsoft Corporation | Finding a called party |
| JP2014072772A (ja) * | 2012-09-28 | 2014-04-21 | Nec Corp | 通信システム |
| JP2014095753A (ja) * | 2012-11-07 | 2014-05-22 | Hitachi Systems Ltd | 音声自動認識・音声変換システム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11212882B2 (en) | 2016-10-07 | 2021-12-28 | Sony Corporation | Information processing apparatus and information processing method for presentation of a cooking situation based on emotion of a user |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015192844A (ja) | 2015-11-05 |
| JP6149230B2 (ja) | 2017-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4595436B2 (ja) | ロボット、その制御方法及び制御用プログラム | |
| CN109463004A (zh) | 数字助理服务的远场延伸 | |
| CN110168526A (zh) | 用于媒体探索的智能自动化助理 | |
| JP4946200B2 (ja) | エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法 | |
| CN109262606B (zh) | 装置、方法、记录介质以及机器人 | |
| JP2009104020A (ja) | 音声認識装置 | |
| JP6158179B2 (ja) | 情報処理装置および情報処理方法 | |
| WO2016031405A1 (ja) | 脳機能障害者生活支援装置 | |
| JP4622384B2 (ja) | ロボット、ロボット制御装置、ロボットの制御方法およびロボットの制御用プログラム | |
| JP2019111181A (ja) | ゲームプログラムおよびゲーム装置 | |
| CN110503968A (zh) | 一种音频处理方法、装置、设备及可读存储介质 | |
| JP2012226695A (ja) | 誘導指示装置、誘導指示方法及びそのプログラム | |
| US20160125295A1 (en) | User-interaction toy and interaction method of the toy | |
| JP6833209B2 (ja) | 発話促進装置 | |
| JP6122849B2 (ja) | 情報処理装置及び情報処理方法 | |
| US20050062726A1 (en) | Dual display computing system | |
| US20180157397A1 (en) | System and Method for Adding Three-Dimensional Images to an Intelligent Virtual Assistant that Appear to Project Forward of or Vertically Above an Electronic Display | |
| TW200929108A (en) | Limb interactively learning method and apparatus | |
| JP2007334251A (ja) | エージェント装置、プログラム、及び音声供給方法 | |
| CN110097883A (zh) | 用于在主设备处访问配套设备的呼叫功能的语音交互 | |
| JPH04338817A (ja) | 電子機器の制御装置及び制御方法 | |
| JP6217003B2 (ja) | 端末装置、睡眠言動記録方法及び睡眠言動記録プログラム | |
| Ramadas et al. | Hypnotic computer interface (hypCI) using GEORGIE: An approach to design discrete voice user interfaces | |
| JP2004017185A (ja) | ロボット制御装置 | |
| JP2010221893A (ja) | 車載情報機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15836280 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 15836280 Country of ref document: EP Kind code of ref document: A1 |